JP2020013488A

JP2020013488A - 端末装置、情報処理方法、及びプログラム

Info

Publication number: JP2020013488A
Application number: JP2018136992A
Authority: JP
Inventors: 勇規坂本; Yuki Sakamoto; 中西　義人; Yoshito Nakanishi; 義人中西; 山内　隆伸; Takanobu Yamauchi; 隆伸山内
Original assignee: Omron Healthcare Co Ltd
Current assignee: Omron Healthcare Co Ltd
Priority date: 2018-07-20
Filing date: 2018-07-20
Publication date: 2020-01-23
Anticipated expiration: 2038-07-20
Also published as: JP7147318B2; DE112019002928T5; WO2020017300A1; CN112352226A; US20210133454A1

Abstract

【課題】ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置を提供する。【解決手段】一態様に係る端末装置は、表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する認識部と、前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、前記説明情報に含まれる前記説明文を提示する提示部と、を備える。【選択図】図１

Description

本発明は、例えば、電子機器に関する説明をユーザに提供する技術に関する。

電子機器の表示画面に不明な表示要素（例えばピクトグラム）が表示された場合のように電子機器について不明なことがある場合には、スマートフォンなどの端末装置で電子機器に関連するＷｅｂサイトにアクセスし、電子機器の電子マニュアル（操作ガイドと称されることもある）を参照するということが一般に行われている。

上記の方法では、所望する情報（例えばピクトグラムの意味を説明する説明文）に到達するまでの手順が多い。例えば、Ｗｅｂサイトにアクセスするために検索などの操作が必要となる。さらに、所望する情報が電子マニュアル内のどこにあるかを探索する必要がある。電子マニュアルではキーワード検索を利用できることがあるが、検索を行うためにキーワードを入力する必要がある。また、ピクトグラムなどの表示要素については、ユーザは、どのようなキーワードで検索を行えばよいかわからず、キーワード検索を利用可能な電子マニュアルであったとしても、所望する情報を何ページにもわたって探索することになる。さらに、該当する電子マニュアルにたどりつくための検索を行うためには、正しい商品名又は型式といった情報が必要となる場合があるが、そのような情報が容易に得られないことも多々ある。

例えば、引用文献１には、電子マニュアルを表示する端末装置が開示されている。この端末装置は、複数のポイントを含む車両の画像を表示し、ユーザにタップされたポイントに対応する部位の項目を示す吹き出しを画像上に重ね合わせて表示する。そして、端末装置は、ユーザが吹き出しをタップしたことに応答して、前記の項目に応じたマニュアル情報を表示する。

特開２０１６−１６２１５５号公報

引用文献１では、マニュアル情報へのアクセスは容易である。しかしながら、マニュアル情報から所望する情報を探索する必要があり、所望する情報に容易に到達することはできない。

本発明は、上記の事情に着目してなされたものであり、ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置、情報処理方法、及びプログラムを提供することを目的とする。

本発明は、上記課題を解決するために、以下の構成を採用する。

一態様に係る端末装置は、表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する認識部と、前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、前記説明情報に含まれる前記説明文を提示する提示部と、を備える。

上記の構成によれば、ユーザが端末装置の撮像装置で電子機器を撮影すると、電子機器に表示中の表示内容に含まれる表示要素が認識され、認識された表示要素の説明文がユーザに提示される。このように、ユーザは、表示要素の説明を得るためには、電子機器の撮影を含む簡単な操作を行えばよい。したがって、ユーザは、電子機器に表示中の表示要素の説明を容易に得ることができる。

一態様では、前記表示要素は、ピクトグラムであってよい。当該構成によれば、キーワードで表現することが難しいピクトグラムであっても、その説明を容易に得ることが可能になる。

一態様では、上記端末装置は、表示装置と、前記撮像装置による撮像を行う動作モードにおいて、前記認識部による認識が行われる範囲を示すガイドを前記表示装置に表示させる表示制御部と、をさらに備えてよい。当該構成によれば、撮影時にユーザがその意味を知りたい表示要素を選択することが可能になる。このため、ユーザにとって利便性が向上する。

一態様では、前記説明情報取得部は、インターネットを経由して外部記憶装置から前記説明情報を取得してよい。当該構成によれば、説明情報はそれを提示する直前にインターネット経由で取得される。それにより、最新の説明情報をユーザに提示することができるようになる。

一態様では、前記説明情報は、前記表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含んでよく、前記提示部は、前記Ｗｅｂページへのハイパーリンクをさらに提示してよい。当該構成によれば、ユーザは表示要素のより詳細な説明を容易に得ることができるようになる。

本発明によれば、ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置、情報処理方法、及びプログラムを提供することができる。

図１は、一実施形態に係る端末装置を例示する図である。図２は、一実施形態に係る血圧計の外観を示す図である。図３は、一実施形態に係る端末装置のハードウェア構成を例示するブロック図である。図４は、一実施形態に係る端末装置のソフトウェア構成を例示するブロック図である。図５は、一実施形態に係る端末装置に表示される撮影画面を例示する図である。図６は、一実施形態に係る端末装置に表示される説明画面を例示する図である。図７は、一実施形態に係る端末装置によって実行される情報処理方法を例示するフローチャートである。

以下、図面を参照しながら本発明の実施形態を説明する。

［適用例］
図１を参照して、本発明が適用される場面の一例について説明する。図１は、一実施形態に係る端末装置１０を例示する。端末装置１０は、典型的には、カメラ１１及びタッチスクリーン１２を搭載したモバイルデバイスである。端末装置１０は、例えば、スマートフォン、タブレットＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistance）、携帯電話機などであり得る。

端末装置１０は、電子機器に関する取扱説明サービスを提供する。取扱説明サービスは、電子機器の表示画面（表示装置の画面）に表示される表示要素（項目と称されることもある）の説明文をユーザに提示するサービスである。ここで、表示要素とは、電子機器の表示画面に表示される表示内容に含まれる情報を指し、それ単体で意味を成すものである。例えば、電子機器の一例である血圧計２０は、最高血圧（収縮期血圧）の測定値、最低血圧（拡張期血圧）の測定値、日付、時刻、ピクトグラム（単に「ピクト」と称されることもある）、エラーコード、エラーメッセージなどの表示要素を表示することが可能である。ピクトグラムは、情報を絵記号で表現したものである。エラーコードは、血圧計２０に発生し得るエラーの種類（内容）に割り当てられたコードである。例えば、ユーザは、血圧計２０の表示画面２１に表示されているピクトグラムが何を意味するかわからないことがあり、そのピクトグラムの意味を知りたいと望むことがある。その場合、ユーザは、端末装置１０のカメラ１１を使用して血圧計２０を撮影し、それにより、そのピクトグラムの説明文を得ることができる。

端末装置１０は、カメラ１１及びタッチスクリーン１２に加えて、情報処理部１３を備える。

カメラ１１は、対象物を撮像して撮像画像を生成する。対象物は、表示装置を搭載した電子機器である。電子機器は、個人又は家庭向けの健康機器であるが、これに限定されない。健康機器の例には、血圧計、心電計、体重計、体組成計、歩数計、睡眠計など、人間の身体に関する指標を測定する測定機器や、経皮的末梢神経電気刺激（ＴＥＮＳ）マッサージ器など、人間の身体に対する治療を行う治療機器が含まれる。また、電子機器は、電話機、オーディオ機器、エアコンディショナのリモコンなどであってもよい。また、電子機器は、オフィス、工場、又は病院などで使用されるものであってもよい。図１の例では、対象物は家庭用の血圧計２０である。カメラ１１は、本発明の「撮像装置」に相当する。

タッチスクリーン１２は、表示装置１２Ａと、表示装置１２Ａの画面（例えば液晶パネル）に設けられたタッチパネル１２Ｂと、を備える。表示装置１２Ａは、情報処理部１３から画像データを受け取り、この画像データに応じた画像を表示する。タッチパネル１２Ｂは、指などの物体が接触した画面上の位置（接触位置）を検出し、接触位置を表す操作信号を情報処理部１３に出力する。情報処理部１３は、表示装置１２Ａへ与えた画像データとタッチパネル１２Ｂから受け取った操作信号とに基づいて、ユーザによる操作の内容を判断する。

情報処理部１３は、カメラ１１から撮像画像を受け取る。情報処理部１３は、受け取った撮像画像に基づいて、血圧計２０の表示画面２１に表示された表示要素を認識し、認識した表示要素に関する説明情報を表示装置１２Ａに表示させる。

以上のように、本実施形態に係る端末装置１０は、カメラ１１で血圧計２０を撮像し、血圧計２０に表示されている表示要素を認識し、認識した表示要素に関する説明情報をユーザに提示する。このため、ユーザは、表示要素の説明を得るためには、血圧計２０の撮影を含む簡単な操作を行えばよい。したがって、ユーザは、血圧計２０に表示されているピクトグラムなどの表示要素の説明を容易に得ることができる。

次に、一実施形態に係る端末装置について詳細に説明する。

［構成例］
＜血圧計＞
まず、本実施形態に係る端末装置を説明するために参照する血圧計について説明する。

図２は、電子機器としての血圧計２００の外観を例示する。図２に示される血圧計２００は、オシロメトリック式の血圧計であって、本体２０１とユーザの上腕に巻き付けられるカフ（腕帯）とが別体である据置型の血圧計である。なお、図２では、簡略化のために、カフ及び本体２０１とカフとを接続するエアチューブについては図示が省略されている。また、血圧計２００は一般的な血圧計であってよいので、血圧計２００についての詳細な説明は省略する。

本体２０１には、血圧計２００のブランド（製造業者）を表すブランド情報２０２及び血圧計２００の型式を表す型式情報２０３が印字されている。

本体２０１は、入力装置として複数のプッシュ式ボタン２１１〜２１６を備える。ボタン２１１は、血圧測定を開始するためのボタンである。ボタン２１１が押下されると、血圧計２００の電源が入り、血圧計２００は血圧測定を開始する。血圧測定中にボタン２１１が押下されると、血圧計２００は血圧測定を停止（中断）する。ボタン２１２は、時計を合わせるためのボタンである。ボタン２１３は、記録（履歴）を閲覧するためのボタンである。ボタン２１５、２１６は、時計合わせ、閲覧する記録の選択などに使用される。ボタン２１４は、最高血圧、最低血圧、及び脈拍数の平均値を閲覧するためのボタンである。平均値は、例えば、直近１週間に得られた測定値の平均である。ボタン２１４が押下されると、朝に実施した測定に関する平均値が表示される。ボタン２１４がもう一度押下されると、晩に実施した測定に関する平均値が表示される。

本体２０１は、表示装置２２０及びランプ２３１、２３２をさらに備える。表示装置２２０は、日付、時刻、最高血圧値、最低血圧値、脈拍数、血圧値レベル表示、体動マーク、カフマーク、測定完了表示、エラーコードなどの複数の表示要素を表示することができる。体動マーク及びカフマークはピクトグラムの例である。図２の例では、表示装置２２０は、セグメント方式の液晶表示装置である。このため、各表示要素が表示される領域（位置）は決まっている。図２では、血圧測定が完了した直後における血圧計２００が示されており、いくつかの表示要素は表示装置２２０の画面に表示されていない。

表示装置２２０の画面は、領域２２１〜２２９を含む複数の領域を備える。日付は領域２２１に表示され、時刻は領域２２２に表示される。測定完了表示は領域２２３に表示される。最高血圧値は領域２２４に表示され、最低血圧値は領域２２５に表示され、脈拍数は領域２２６に表示される。血圧値レベル表示は領域２２７に表示される。血圧値レベル表示は、血圧の状態を１７段階で表現する。体動マークは領域２２８に表示される。体動マークは、測定中に体が動いたことを表す。測定中に体が動いたことが検出されなかった場合には、体動マークは点灯しない。カフマークは領域２２９に表示される。カフマークは、カフが適切な強さで巻かれているか否かを示す。図２に示されるカフマークは、カフが適切な強さで巻かれていることを表す。

領域２２４及び／又は領域２２６には、エラーコードが表示されることもある。血圧計２００に生じたエラーの種類に応じた複数のエラーコードが用意される。例えば、エラーコード「Ｅ１」は、カフが本体２０１に正しく接続されていないことを表す。エラーコード「Ｅ２」は、測定中に腕又は体が動いたために測定が失敗したことを表す。エラーコード「Ｅｒ」は、本体２０１が故障していることを表す。

ランプ２３１は、カフの巻き方が適切であるときに点灯する。ランプ２３２は、カフの巻き方が不適切であるときに点灯する。

血圧計２００は、図２に示した構成に限定されない。例えば、表示装置２２０は、ドットマトリクス方式の表示装置であってもよい。また、血圧計２００が通信機能を有しないことを想定するが、血圧計２００は、Bluetooth（登録商標）モジュールなどの無線モジュールを備えていてもよい。血圧計２００は、ウェアラブル型の血圧計であってもよい。

＜端末装置＞
（ハードウェア構成）
図３を参照して、一実施形態に係る端末装置１００のハードウェア構成の一例を説明する。図３に示される例では、端末装置１００は、制御部１０１、記憶部１０５、表示装置１０６、入力装置１０７、通信インタフェース１０８、カメラ１０９、スピーカ１１０、マイクロフォン１１１、及び電池１１２を備える。

制御部１０１は、ＣＰＵ（Central Processing Unit）１０２、ＲＡＭ（Random Access Memory）１０３、ＲＯＭ（Read Only Memory）１０４などを含み、各構成要素を制御する。記憶部１０５は、例えば、ハードディスクドライブ（ＨＤＤ）、半導体メモリ（例えばフラッシュメモリ）などの補助記憶装置であり、制御部１０１で実行されるプログラムや、プログラムを実行するために必要な設定データなどを非一時的に記憶する。記憶部１０５が備える記憶媒体は、コンピュータその他装置、機械等が記録されたプログラムなどの情報を読み取り可能なように、当該プログラムなどの情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。なお、いくつかのプログラムは、ＲＯＭ１０４に記憶されていてよい。

表示装置１０６は、情報を表示する。具体的には、表示装置１０６は、制御部１０１から画像データを受け取り、受け取った画像データに応じた画像を表示する。表示装置１０６は、例えば、液晶表示装置又は有機ＥＬ（Electro-Luminescence）ディスプレイであり得る。有機ＥＬディスプレイは、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイと呼ばれることもある。

入力装置１０７は、ユーザからの端末装置１０に対する操作を受け付ける。典型的には、入力装置１０７は、表示装置１０６の画面に設けられたタッチパネルを備える。タッチパネルは、指などの物体が接触した表示装置１０６の画面上の位置（接触位置）を検出し、接触位置を表す操作信号を制御部１０１に出力する。制御部１０１は、表示装置１０６に与えた画像データとタッチパネルから受け取った操作信号とに基づいて、ユーザが行った操作の内容を判断する。タッチパネルは、例えば、静電容量式のタッチパネルであり得る。入力装置１０７は、プッシュ式ボタンをさらに備えてもよい。

通信インタフェース１０８は、外部装置と通信するためのインタフェースである。通信インタフェース１０８は、外部装置に情報を送信したり、外部装置から情報を受信したりする。通信インタフェース１０８は、例えば、アンテナを含む無線モジュールを備える。一例では、通信インタフェース１０８は、ＬＴＥ（登録商標）（Long Term Evolution）モジュール及びBluetoothモジュールを備える。これにより、端末装置１００は、ＬＴＥモジュールを用いて、移動体通信網を介してＷｅｂサーバなどの装置と通信したり、Bluetoothモジュールを用いて、ユーザが所有する他の端末装置と直接に通信したりすることができる。なお、通信インタフェース１０８は、マイクロＵＳＢ（Universal Serial Bus）コネクタなどの端子を備えていてもよい。

カメラ１０９は、対象物を撮像して撮像画像を生成し、撮像画像のデータを制御部１０１に出力する。カメラ１０９は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサと、ＣＣＤ又はＣＭＯＳセンサの出力に基づいて撮像画像を生成する画像処理回路と、を含む。カメラ１０９は本発明の「撮像装置」に相当する。なお、画像処理回路が行う処理の少なくとも一部は制御部１０１によって行われてもよい。この場合、本発明の「撮像装置」はカメラ１０９及び制御部１０１によって実現される。

スピーカ１１０は、制御部１０１から供給される音響信号を音に変換する。マイクロフォン１１１は、音を電気信号に変換する。マイクロフォン１１１は、ユーザが音声で端末装置１００に対する操作（例えば文字入力）を行うことを可能にする。

電池１１２は、各構成要素に電力を供給する。電池１１２は、例えば、充電可能なバッテリである。

なお、端末装置１００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１０１は、複数のプロセッサを含んでいてもよい。

（ソフトウェア構成）
図４を参照して、端末装置１００のソフトウェア構成の一例を説明する。図４に示される例では、端末装置１００は、マニュアル情報取得部１５１、入力部１５２、表示制御部１５３、認識部１５４、説明情報取得部１５５、提示部１５６、及びマニュアル情報記憶部１６１を備える。マニュアル情報取得部１５１、入力部１５２、表示制御部１５３、認識部１５４、説明情報取得部１５５、及び提示部１５６は、端末装置１００の制御部１０１が記憶部１０５に記憶されたプログラムを実行することによって下記の処理を実行する。制御部１０１がプログラムを実行する際は、制御部１０１は、プログラムをＲＡＭ１０３に展開する。そして、制御部１０１は、ＲＡＭ１０３に展開されたプログラムをＣＰＵ１０２により解釈及び実行して、各構成要素を制御する。マニュアル情報記憶部１６１は記憶部１０５により実現される。

マニュアル情報取得部１５１は、血圧計２００に関するマニュアル情報を取得し、このマニュアル情報をマニュアル情報記憶部１６１に記憶させる。マニュアル情報は、血圧計２００が表示可能な各表示要素に関する説明情報と、各表示要素の画像データと、を含む。各表示要素に関する説明情報は、その表示要素の説明文を含む。説明情報は、その表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含んでよい。例えば、ユーザが入力装置１０７を用いて血圧計２００の型式情報（例えばHEM-XXXXT）を入力すると、マニュアル情報取得部１５１は、入力された型式情報に関連付けられたマニュアル情報を、通信インタフェース１０８を介してインターネット上のサーバから取得する。

入力部１５２は、ユーザ入力を受け付ける。ユーザ入力は、例えば、カメラ１０９による撮影を行う撮影モードにおいて撮影を実行する指示、型式情報などである。型式情報はマニュアル情報取得部１５１へ与えられる。例えば、入力部１５２は、タッチパネルから操作信号を受け取り、表示制御部１５３から、表示装置１０６に表示中の画像の内容を表す表示内容情報を受け取り、操作信号及び表示内容情報に基づいて、ユーザが入力した指示の内容を特定する。

表示制御部１５３は、表示装置１０６を制御する。表示制御部１５３は、画像を表示装置１０６に表示させる。例えば、表示制御部１５３は、説明情報を含む説明画面（例えば図６に示される説明画面６００）を表示装置１０６に表示させる。表示制御部１５３は、撮影モードにおいて、その意味を知りたい表示要素を収めるべき範囲を示すガイドを表示装置１０６に表示させてよい。この範囲は、後述する認識部１５４による認識が行われることになる認識範囲に対応する。

認識部１５４は、カメラ１０９から撮像画像を受け取る。認識部１５４は、この撮像画面に基づいて、血圧計２００の表示画面に表示された表示要素を認識する。具体的には、認識部１５４は、撮像画像から認識範囲に対応する部分画像を抽出し、部分画像とマニュアル情報記憶部１６１に記憶されているマニュアル情報に含まれる画像データとの比較に基づいて、血圧計２００の表示装置２２０に表示されている表示要素を認識する。本実施形態で認識対象とする表示要素は、例えば、ピクトグラム、エラーコード、及び／又はエラーメッセージである。例えば、認識部１５４は、抽出した部分画像と各表示要素の画像データとのマッチングを行うことにより、抽出した部分画像にその表示要素が含まれるか否かを判定する。認識部１５４は、認識した表示要素を示す情報を含む認識結果を出力する。なお、認識部１５４は、ニューラルネットワークなどのＡＩ（Artificial Intelligence）技術を使用した画像認識を行うものであってもよい。

説明情報取得部１５５は、認識部１５４により認識された表示要素に関する説明情報を取得する。具体的には、説明情報取得部１５５は、マニュアル情報記憶部１６１に記憶されているマニュアル情報から、認識部１５４により認識された表示要素に関する説明情報を抽出する。

提示部１５６は、説明情報取得部１５５により取得された説明情報をユーザに提示する。本実施形態では、提示部１５６は、表示制御部１５３であり、表示要素の説明文を表示装置１０６に表示させる。提示部１５６は、表示要素に関連するＷｅｂページへのハイパーリンクを表示装置１０６に表示させてもよい。他の実施形態では、提示部１５６は、説明文を音声合成し、スピーカ１１０を通じて説明文を出力してよい。なお、説明文は、表示装置１０６に表示されるとともに、スピーカ１１０を通じて音声として出力されてもよい。

図５は、撮影モードで表示装置１０６に表示されるガイドの一例を示す。図５に示されるように、表示制御部１５３は、ガイドとしてのフレーム５０１と、カメラ１０９で撮影されることになる画像と、を表示装置１０６に表示させる。図５では、カメラ１０９で撮影されることになる画像は示されていない。ユーザは、特定の表示要素（例えば体動マーク）がフレーム５０１内に収まるようにして血圧計２００を撮影する。これにより、特定の表示要素に関する説明情報が提示されることになる。

なお、表示制御部１５３は、ユーザがその意味を知りたい表示要素を選択するためのポインタを表示してもよい。それにより、２つの表示要素が近接する場合にも、１つの表示要素を選択することが容易になる。また、表示制御部１５３は、撮影モードにおいてガイドを表示しなくてもよい。この場合、ユーザは、例えば、カメラ１０９のズーム機能を用いて特定の表示要素を選択的に撮影する。

説明画面６００は、認識部１５４により認識された表示要素の画像６０１と、その表示要素に関する説明情報６０２と、を含む。図６の例では、説明情報６０２は、表示要素に関する説明文６０２Ａと、その表示要素に関連するＷｅｂページへのハイパーリンク６０２Ｂと、を含む。ユーザがハイパーリンク６０２Ｂをタップしたことに応答して、ブラウザが起動し、Ｗｅｂページがブラウザに表示される。Ｗｅｂページには、動画が埋め込まれていてもよい。カフマークに関連するＷｅｂページは、例えば、カフの装着方法を説明する動画を含む。これにより、ユーザは、取扱説明書（例えば電子マニュアル）に一般に記載される各表示要素に関する説明よりも詳細な説明を得ることができる。

説明画面６００は、オペレータを呼び出すためのボタン６０３をさらに含んでいてもよい。典型的には、ボタン６０３は、最初は非アクティブであって、ユーザがハイパーリンク６０２Ｂをタップした後にアクティブ化される。ユーザがアクティブな状態のボタン６０３をタップしたことに応答して、端末装置１００の制御部１０１は、血圧計２００に関するコールセンターに発呼する。ユーザが何度も連続してオペレータを呼び出すことを防止するために、ボタン６０３は、一旦ボタン６０３が押されてから所定時間（例えば１時間）が経過するまでは非アクティブ又は非表示にされてもよい。

なお、本実施形態では、端末装置１００の機能がいずれも汎用のプロセッサによって実現される例について説明している。しかしながら、機能の一部又は全部が１又は複数の専用のプロセッサにより実現されてもよい。

［動作例］
図７は、端末装置１００が取扱説明サービスを提供する際の動作フローを例示する。

図７のステップＳ１１では、端末装置１００の制御部１０１は、カメラ１０９から撮像画像を取得する。例えば、ユーザは、血圧計２００の表示画面に表示された体動マークの意味を調べるために、端末装置１００上で取扱説明アプリケーションを起動させる。取扱説明アプリケーションが起動すると、端末装置１００は撮影モードになる。ユーザはカメラ１０９で体動マークが表示画面に表示された状態の血圧計２００を撮影し、カメラ１０９は撮像画像を制御部１０１に出力する。具体的には、ユーザは、体動マークが認識範囲に対応するフレーム５０１内に収まるようにしてカメラ１０９で血圧計２００を撮影する。

ステップＳ１２では、制御部１０１は、認識部１５４として動作し、取得した撮像画像に基づいて、血圧計２００の表示画面に表示された表示要素を認識する。例えば、制御部１０１は、撮像画像から認識範囲に対応する部分画像を抽出し、部分画像と複数の画像データとのマッチングを行い、類似度が最も高い画像データに対応する表示要素を特定する。例えば、制御部１０１は、血圧計２００の表示画面に体動マークが表示されていることを認識する。

ステップＳ１３では、制御部１０１は、説明情報取得部１５５として動作し、認識した表示要素に関する説明情報を取得する。例えば、制御部１０１は、記憶部１０５に記憶されているマニュアル情報から、体動マークに関連付けられた説明情報を抽出する。

ステップＳ１４では、制御部１０１は、提示部１５６として動作し、取得した説明情報に含まれる説明文を表示装置１０６に表示させる。例えば、制御部１０１は、体動マークの説明文を含む説明画面（例えば図６に示される説明画面６００）を表示装置１０６に表示させる。説明画面は、体動マークに関連するＷｅｂページへのハイパーリンクをさらに含んでいてもよい。

このようにして、端末装置１００は、血圧計２００に表示された表示要素に関する説明情報を表示する。

なお、図７に示した処理手順は一例に過ぎず、処理手順又は各処理の内容を適宜変更することが可能である。例えば、ステップＳ１２において制御部１０１が複数の表示要素を認識した場合、制御部１０１は、表示要素それぞれに関する説明情報を表示装置１０６に表示させてよい。あるいは、制御部１０１は、ユーザに１つの表示要素を選択させるために、認識した複数の表示要素を表示装置１０６に一覧で表示させてもよい。この場合、ユーザによって選択された表示要素に関する説明情報が表示装置１０６に表示されることになる。

［効果］
上述した端末装置１００は、表示内容が表示画面に表示された状態の血圧計２００をカメラ１０９で撮像することで生成された撮像画像に基づいて、表示内容に含まれる表示要素を認識し、認識した表示要素の説明文を含む説明情報を取得し、その説明情報を表示装置１０６に表示する。これにより、ユーザは、血圧計２００の撮影を含む簡単な操作を行うことにより、表示要素に関する説明情報を得ることができる。言い換えると、ユーザは、少ない手順で表示要素に関する説明情報に到達することができる。したがって、ユーザは、電子機器に表示されている表示要素の意味を素早くかつ容易に知ることができる。

ユーザは、ユーザがその意味を知りたい表示要素がガイド（例えば図５に示したフレーム５０１）内に収まるようにカメラ１０９で撮影を行う。すなわち、ユーザがその意味を知りたい表示要素の選択は、カメラ１０９での撮影によりなされる。このため、ピクトグラムのようなキーワードで表現することが困難な表示要素についても、簡単にその説明を得ることが可能である。

［変形例］
なお、この発明は上記実施形態に限定されるものではない。

例えば、マニュアル情報取得部１５１及びマニュアル情報記憶部１６１は必ずしも必要というわけではない。マニュアル情報取得部１５１及びマニュアル情報記憶部１６１が設けられない実施形態では、端末装置１００は、取扱説明サービスを提供するたびに、インターネット経由でマニュアル情報を保持するサーバにアクセスする。例えば、認識部１５４は、通信インタフェース１０８を介してサーバから、型式情報に関連付けられた画像データを取得し、取得した画像データと撮像画像とに基づいて認識を行う。説明情報取得部１５５は、インターネット経由で、認識部１５４により認識された表示要素に関する説明情報を取得する。例えば、説明情報取得部１５５は、通信インタフェース１０８を介してサーバに、認識部１５４により認識された表示要素に関する説明情報を要求する要求信号を送信し、通信インタフェース１０８を介してサーバから、その表示要素に関する説明情報を受信する。説明情報は任意のタイミングで更新されることがある。取扱説明サービスを提供するたびに説明情報を取得することにより、最新の説明情報をユーザに提示することができるようになる。さらに、端末装置１００がマニュアル情報を保持しておく必要がないので、記憶資源を節約することができる。

また、端末装置１００がその都度インターネット経由で説明情報を取得するようにした場合には、製造業者は、サーバによって収集された要求信号に基づいて、ユーザがどのような情報を要求したかを把握することが可能である。すなわち、製造業者は、製品（この例では血圧計２００）の改善に役立つ情報を得ることができる。要求信号は、ユーザによって選択された表示要素を特定する情報とともに、ユーザに関する情報を含んでよい。ユーザに関する情報は、例えば、ユーザの性別及び／又は年齢を含む。

上述した実施形態では、ユーザが血圧計２００の型式情報を入力している。一実施形態では、端末装置１００は、撮像画像から血圧計２００の型式を識別する型式識別部を備えていてもよい。型式識別部は、制御部１０１が記憶部１０５に記憶されたプログラムを実行することによって所定の処理を実行する。

一例では、図２に示されるように血圧計２００の表示画面の近傍に型式情報２０３が印字されており、いずれかの表示要素がガイド（例えば図５に示されるフレーム５０１）内に収まるように血圧計２００を撮影した場合には、撮像画像に型式情報２０３が含まれる。型式識別部は、撮像画像に対して文字認識を行い、それにより血圧計２００の型式を識別する。型式情報２０３に代えて又は追加して、血圧計２００の表示画面の近傍に、型式を識別するための識別符号が設けられてもよい。識別符号は、例えば２次元コードであり得る。型式識別部は、撮像画像に含まれる識別符号を解読し、それにより血圧計２００の型式を識別する。識別符号は、取扱説明アプリケーションを起動するための命令を含んでいてもよい。この場合、識別符号がカメラ１０９により読み込まれると、制御部１０１は、取扱説明アプリケーションを起動するとともに、血圧計２００の型式を識別する。

マニュアル情報記憶部１６１では、複数の型式それぞれに関連付けてマニュアル情報が記憶されている。認識部１５４は、マニュアル情報記憶部１６１から、上述した型式識別部により識別された型式に関連付けられたマニュアル情報を読み出し、撮像画像から認識範囲に対応する部分画像を抽出し、抽出した部分画像と読み出したマニュアル情報に含まれる画像データとの比較に基づいて、電子機器の表示装置に表示されている表示要素を認識する。説明情報取得部１５５は、マニュアル情報記憶部１６１から、認識部１５４により認識された表示要素に関する説明情報を取得する。提示部１５６は、説明情報取得部１５５により取得された説明情報をユーザに提示する。

端末装置１００が型式識別部を備える場合には、ユーザが型式情報を入力する必要がなくなる。このため、ユーザにとって利便性が向上する。

取扱説明サービスは、血圧測定結果などを記録し管理するための健康管理アプリケーションの一機能であってもよい。例えば、健康管理アプリケーションのユーザインタフェースに、取扱説明サービスを実行するためのヘルプボタンが設けられる。ユーザがそのボタンをタップすると、図７を参照して説明した処理が実行される。

要するに本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

［付記］
上記各実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限られない。

表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置（１０９）と、
前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する認識部（１５４）と、
前記表示要素の説明文を含む説明情報を取得する説明情報取得部（１５５）と、
前記説明情報に含まれる前記説明文を提示する提示部（１５６）と、
を備える端末装置（１００）。

１０…端末装置、
１１…カメラ、
１２…タッチスクリーン、
１２Ａ…表示装置、
１２Ｂ…タッチパネル、
１３…情報処理部、
２０…血圧計、
２１…表示画面、
１００…端末装置、
１０１…制御部、
１０２…ＣＰＵ、
１０３…ＲＡＭ、
１０４…ＲＯＭ、
１０５…記憶部、
１０６…表示装置、
１０７…入力装置、
１０８…通信インタフェース、
１０９…カメラ、
１１０…スピーカ、
１１１…マイクロフォン、
１１２…電池、
１５１…マニュアル情報取得部、
１５２…入力部、
１５３…表示制御部、
１５４…認識部、
１５５…説明情報取得部、
１５６…提示部、
１６１…マニュアル情報記憶部、
２００…血圧計、
２０１…本体、
２０２…ブランド情報、
２０３…型式情報、
２１１〜２１６…ボタン、
２２０…表示装置。

Claims

表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、
前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する認識部と、
前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、
前記説明情報に含まれる前記説明文を提示する提示部と、
を備える端末装置。
前記表示要素は、ピクトグラムである、請求項１に記載の端末装置。
表示装置と、
前記撮像装置による撮像を行う動作モードにおいて、前記認識部による認識が行われる範囲を示すガイドを前記表示装置に表示させる表示制御部と、
をさらに備える請求項１又は２に記載の端末装置。
前記説明情報取得部は、インターネットを経由して外部記憶装置から前記説明情報を取得する、請求項１乃至３のいずれか１項に記載の端末装置。
前記説明情報は、前記表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含み、前記提示部は、前記Ｗｅｂページへのハイパーリンクをさらに提示する、請求項１乃至４のいずれか１項に記載の端末装置。
表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置を備える端末装置によって実行される情報処理方法であって、
前記撮像画像から、前記表示内容に含まれる前記表示要素を認識する過程と、
前記表示要素の説明文を含む説明情報を取得する過程と、
前記説明情報に含まれる前記説明文を提示する過程と、
を備える情報処理方法。
請求項１乃至５のいずれか１項に記載の端末装置が備える各部としてコンピュータを機能させるためのプログラム。