JP2020013487A - 端末装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置を提供する。【解決手段】一態様に係る端末装置は、表示装置と、少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する提示画像生成部と、前記提示画像を前記表示装置に表示させる第１の表示制御部と、前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける入力部と、前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、前記説明文を前記表示装置に表示させる第２の表示制御部と、を備える。【選択図】図１

Description

本発明は、例えば、電子機器に関する説明をユーザに提供する技術に関する。

電子機器の表示画面に不明な表示要素（例えばピクトグラム）が表示された場合のように電子機器について不明なことがある場合には、スマートフォンなどの端末装置で電子機器に関連するＷｅｂサイトにアクセスし、電子機器の電子マニュアル（操作ガイドと称されることもある）を参照するということが一般に行われている。

上記の方法では、所望する情報（例えばピクトグラムの意味を説明する説明文）に到達するまでの手順が多い。例えば、Ｗｅｂサイトにアクセスするために検索などの操作が必要となる。さらに、所望する情報が電子マニュアル内のどこにあるかを探索する必要がある。電子マニュアルではキーワード検索を利用できることがあるが、検索を行うためにキーワードを入力する必要がある。また、ピクトグラムなどの表示要素については、ユーザは、どのようなキーワードで検索を行えばよいかわからず、キーワード検索を利用可能な電子マニュアルであったとしても、所望する情報を何ページにもわたって探索することになる。さらに、該当する電子マニュアルにたどりつくための検索を行うためには、正しい商品名又は型式といった情報が必要となる場合があるが、そのような情報が容易に得られないことも多々ある。

例えば、引用文献１には、電子マニュアルを表示する端末装置が開示されている。この端末装置は、複数のポイントを含む車両の画像を表示し、ユーザにタップされたポイントに対応する部位の項目を示す吹き出しを画像上に重ね合わせて表示する。そして、端末装置は、ユーザが吹き出しをタップしたことに応答して、前記の項目に応じたマニュアル情報を表示する。

特開２０１６−１６２１５５号公報

引用文献１では、マニュアル情報へのアクセスは容易である。しかしながら、マニュアル情報から所望する情報を探索する必要があり、所望する情報に容易に到達することはできない。

本発明は、上記の事情に着目してなされたものであり、ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置、情報処理方法、及びプログラムを提供することを目的とする。

本発明は、上記課題を解決するために、以下の構成を採用する。

一態様に係る端末装置は、表示装置と、少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する提示画像生成部と、前記提示画像を前記表示装置に表示させる第１の表示制御部と、前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける入力部と、前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、前記説明文を前記表示装置に表示させる第２の表示制御部と、を備える。

上記の構成によれば、ユーザが端末装置の撮像装置で電子機器を撮影すると、電子機器に表示中の表示内容に対応する提示画像が端末装置の表示装置に表示される。そして、ユーザが提示画像に含まれるいずれかの表示要素を選択すると、選択された表示要素の説明文が端末装置の表示装置に表示される。このように、ユーザは、表示要素の説明を得るためには、撮影と選択とを含む簡単な操作を行えばよい。したがって、ユーザは、電子機器に表示中の表示要素の説明を容易に得ることができる。

一態様では、前記表示要素は、ピクトグラムであってよい。当該構成によれば、キーワードで表現することが難しいピクトグラムであっても、その説明を容易に得ることが可能になる。

一態様では、前記提示画像生成部は、前記提示画像として、前記表示内容を再現した画像を生成してよい。当該構成によれば、電子機器に表示中の表示内容と同様の画像が端末装置の表示装置に表示されるので、ユーザは表示要素を選択する操作を直感的に行うことができるようになる。

一態様では、前記説明情報取得部は、前記ユーザ入力に応答して、インターネット経由で前記説明情報を取得してよい。当該構成によれば、説明情報はそれを提示する直前にインターネット経由で取得される。それにより、最新の説明情報をユーザに提示することができるようになる。

一態様では、上記の端末装置は、前記撮像画像に含まれる前記表示内容に対応する部分画像に基づいて、前記電子機器の型式を識別する型式識別部をさらに備えてもよく、前記説明情報取得部は、前記型式に関連付けられた前記説明情報を取得してよい。当該構成によれば、ユーザが型式情報を端末装置に入力する必要がなくなる。このため、ユーザにとって利便性がさらに向上する。

一態様では、前記説明情報は、前記表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含んでよく、前記第２の表示制御部は、前記Ｗｅｂページへのハイパーリンクを前記表示装置にさらに表示させてよい。当該構成によれば、ユーザは表示要素のより詳細な説明を容易に得ることができるようになる。

本発明によれば、ユーザが電子機器に表示されている表示要素の説明を容易に得ることを可能にする端末装置、情報処理方法、及びプログラムを提供することができる。

図１は、一実施形態に係る端末装置を例示する図である。 図２は、一実施形態に係る血圧計の外観を示す図である。 図３は、一実施形態に係る端末装置のハードウェア構成を例示するブロック図である。 図４は、一実施形態に係る端末装置のソフトウェア構成を例示するブロック図である。 図５は、一実施形態に係る端末装置に表示される撮影画面を例示する図である。 図６は、一実施形態に係る端末装置に表示される選択画面を例示する図である。 図７は、一実施形態に係る端末装置に表示される説明画面を例示する図である。 図８は、一実施形態に係る端末装置によって実行される情報処理方法を例示するフローチャートである。 図９は、一実施形態に係る端末装置に表示される選択画面を例示する図である。

以下、図面を参照しながら本発明の実施形態を説明する。

［適用例］
図１を参照して、本発明が適用される場面の一例について説明する。図１は、一実施形態に係る端末装置１０を例示する。端末装置１０は、典型的には、カメラ１１及びタッチスクリーン１２を搭載したモバイルデバイスである。端末装置１０は、例えば、スマートフォン、タブレットＰＣ（Personal Computer）、ＰＤＡ（Personal Digital Assistance）、携帯電話機などであり得る。

端末装置１０は、電子機器に関する取扱説明サービスを提供する。取扱説明サービスは、電子機器の表示画面（表示装置の画面）に表示される表示要素（項目と称されることもある）の説明文をユーザに提示するサービスである。ここで、表示要素とは、電子機器の表示画面に表示される表示内容に含まれる情報を指し、それ単体で意味を成すものである。例えば、電子機器の一例である血圧計２０は、最高血圧（収縮期血圧）の測定値、最低血圧（拡張期血圧）の測定値、日付、時刻、ピクトグラム（単に「ピクト」と称されることもある）、エラーコード、エラーメッセージなどの表示要素を表示することが可能である。ピクトグラムは、情報を絵記号で表現したものである。エラーコードは、血圧計２０に発生し得るエラーの種類（内容）に割り当てられたコードである。例えば、ユーザは、血圧計２０の表示画面２１に表示されているピクトグラムが何を意味するかわからないことがあり、そのピクトグラムの意味を知りたいと望むことがある。その場合、ユーザは、端末装置１０のカメラ１１を使用して血圧計２０を撮影し、それにより、そのピクトグラムの説明文を得ることができる。

端末装置１０は、カメラ１１及びタッチスクリーン１２に加えて、情報処理部１３を備える。

カメラ１１は、対象物を撮像して撮像画像を生成する。対象物は、表示装置を搭載した電子機器である。電子機器は、個人又は家庭向けの健康機器であるが、これに限定されない。健康機器の例には、血圧計、心電計、体重計、体組成計、歩数計、睡眠計など、人間の身体に関する指標を測定する測定機器や、経皮的末梢神経電気刺激（ＴＥＮＳ）マッサージ器など、人間の身体に対する治療を行う治療機器が含まれる。また、電子機器は、電話機、オーディオ機器、エアコンディショナのリモコンなどであってもよい。また、電子機器は、病院又は工場で使用されるものであってもよい。図１の例では、対象物は家庭用の血圧計２０である。カメラ１１は、本発明の「撮像装置」に相当する。

タッチスクリーン１２は、表示装置１２Ａと、表示装置１２Ａの画面（例えば液晶パネル）に設けられたタッチパネル１２Ｂと、を備える。表示装置１２Ａは、情報処理部１３から画像データを受け取り、この画像データに応じた画像を表示する。タッチパネル１２Ｂは、指などの物体が接触した画面上の位置（接触位置）を検出し、接触位置を表す操作信号を情報処理部１３に出力する。情報処理部１３は、表示装置１２Ａへ与えた画像データとタッチパネル１２Ｂから受け取った操作信号とに基づいて、ユーザによる操作の内容を判断する。

情報処理部１３は、カメラ１１から撮像画像を受け取る。情報処理部１３は、受け取った撮像画像に基づいて、血圧計２０の表示画面２１に表示された表示内容に対応する提示画像を生成し、提示画像を表示装置１２Ａに表示させる。提示画像は、例えば、血圧計２０の表示画面２１に表示された表示内容を再現した画像である。表示内容は少なくとも１つの表示要素を含み、したがって、提示画像は少なくとも１つの表示要素を含む。

情報処理部１３は、ユーザから提示画像に含まれる表示要素を選択する入力を受け付け、この表示要素に関する説明情報を表示装置１２Ａに表示させる。例えば、提示画像が表示装置１２Ａに表示された状態でユーザがいずれかの表示要素に対応する画面上の領域をタップすると、情報処理部１３は、ユーザによる操作に応答して、その表示要素に関する説明情報を表示装置１２Ａに表示させる。

以上のように、本実施形態に係る端末装置１０は、カメラ１１で血圧計２０を撮像し、血圧計２０に表示されている表示内容に対応する提示画像をユーザに提示し、ユーザから提示画像に含まれる表示要素を選択する入力を受け付け、この表示要素に関する説明情報をユーザに提示する。このため、ユーザは、表示要素の説明を得るためには、血圧計２０の撮影と表示要素の選択とを含む簡単な操作を行えばよい。したがって、ユーザは、血圧計２０に表示されているピクトグラムなどの表示要素の説明を容易に得ることができる。

次に、一実施形態に係る端末装置について詳細に説明する。

［構成例］
＜血圧計＞
まず、本実施形態に係る端末装置を説明するために参照する血圧計について説明する。

図２は、電子機器としての血圧計２００の外観を例示する。図２に示される血圧計２００は、オシロメトリック式の血圧計であって、本体２０１とユーザの上腕に巻き付けられるカフ（腕帯）とが別体である据置型の血圧計である。なお、図２では、簡略化のために、カフ及び本体２０１とカフとを接続するエアチューブについては図示が省略されている。また、血圧計２００は一般的な血圧計であってよいので、血圧計２００についての詳細な説明は省略する。

本体２０１には、血圧計２００のブランド（製造業者）を表すブランド情報２０２及び血圧計２００の型式を表す型式情報２０３が印字されている。

本体２０１は、入力装置として複数のプッシュ式ボタン２１１〜２１６を備える。ボタン２１１は、血圧測定を開始するためのボタンである。ボタン２１１が押下されると、血圧計２００の電源が入り、血圧計２００は血圧測定を開始する。血圧測定中にボタン２１１が押下されると、血圧計２００は血圧測定を停止（中断）する。ボタン２１２は、時計を合わせるためのボタンである。ボタン２１３は、記録（履歴）を閲覧するためのボタンである。ボタン２１５、２１６は、時計合わせ、閲覧する記録の選択などに使用される。ボタン２１４は、最高血圧、最低血圧、及び脈拍数の平均値を閲覧するためのボタンである。平均値は、例えば、直近１週間に得られた測定値の平均である。ボタン２１４が押下されると、朝に実施した測定に関する平均値が表示される。ボタン２１４がもう一度押下されると、晩に実施した測定に関する平均値が表示される。

本体２０１は、表示装置２２０及びランプ２３１、２３２をさらに備える。表示装置２２０は、日付、時刻、最高血圧値、最低血圧値、脈拍数、血圧値レベル表示、体動マーク、カフマーク、測定完了表示、エラーコードなどの複数の表示要素を表示することができる。体動マーク及びカフマークはピクトグラムの例である。図２の例では、表示装置２２０は、セグメント方式の液晶表示装置である。このため、各表示要素が表示される領域（位置）は決まっている。図２では、血圧測定が完了した直後における血圧計２００が示されており、いくつかの表示要素は表示装置２２０の画面に表示されていない。

表示装置２２０の画面は、領域２２１〜２２９を含む複数の領域を備える。日付は領域２２１に表示され、時刻は領域２２２に表示される。測定完了表示は領域２２３に表示される。最高血圧値は領域２２４に表示され、最低血圧値は領域２２５に表示され、脈拍数は領域２２６に表示される。血圧値レベル表示は領域２２７に表示される。血圧値レベル表示は、血圧の状態を１７段階で表現する。体動マークは領域２２８に表示される。体動マークは、測定中に体が動いたことを表す。測定中に体が動いたことが検出されなかった場合には、体動マークは点灯しない。カフマークは領域２２９に表示される。カフマークは、カフが適切な強さで巻かれているか否かを示す。図２に示されるカフマークは、カフが適切な強さで巻かれていることを表す。

領域２２４及び／又は領域２２６には、エラーコードが表示されることもある。血圧計２００に生じたエラーの種類に応じた複数のエラーコードが用意される。例えば、エラーコード「Ｅ１」は、カフが本体２０１に正しく接続されていないことを表す。エラーコード「Ｅ２」は、測定中に腕又は体が動いたために測定が失敗したことを表す。エラーコード「Ｅｒ」は、本体２０１が故障していることを表す。

ランプ２３１は、カフの巻き方が適切であるときに点灯する。ランプ２３２は、カフの巻き方が不適切であるときに点灯する。

血圧計２００は、図２に示した構成に限定されない。例えば、表示装置２２０は、ドットマトリクス方式の表示装置であってもよい。また、血圧計２００が通信機能を有しないことを想定するが、血圧計２００は、Bluetooth（登録商標）モジュールなどの無線モジュールを備えていてもよい。血圧計２００は、ウェアラブル型の血圧計であってもよい。

＜端末装置＞
（ハードウェア構成）
図３を参照して、一実施形態に係る端末装置１００のハードウェア構成の一例を説明する。図３に示される例では、端末装置１００は、制御部１０１、記憶部１０５、表示装置１０６、入力装置１０７、通信インタフェース１０８、カメラ１０９、スピーカ１１０、マイクロフォン１１１、及び電池１１２を備える。

制御部１０１は、ＣＰＵ（Central Processing Unit）１０２、ＲＡＭ（Random Access Memory）１０３、ＲＯＭ（Read Only Memory）１０４などを含み、各構成要素を制御する。記憶部１０５は、例えば、ハードディスクドライブ（ＨＤＤ）、半導体メモリ（例えばフラッシュメモリ）などの補助記憶装置であり、制御部１０１で実行されるプログラムや、プログラムを実行するために必要な設定データなどを非一時的に記憶する。記憶部１０５が備える記憶媒体は、コンピュータその他装置、機械等が記録されたプログラムなどの情報を読み取り可能なように、当該プログラムなどの情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。なお、いくつかのプログラムは、ＲＯＭ１０４に記憶されていてよい。

表示装置１０６は、情報を表示する。具体的には、表示装置１０６は、制御部１０１から画像データを受け取り、受け取った画像データに応じた画像を表示する。表示装置１０６は、例えば、液晶表示装置又は有機ＥＬ（Electro-Luminescence）ディスプレイであり得る。有機ＥＬディスプレイは、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイと呼ばれることもある。

入力装置１０７は、ユーザからの端末装置１０に対する操作を受け付ける。典型的には、入力装置１０７は、表示装置１０６の画面に設けられたタッチパネルを備える。タッチパネルは、指などの物体が接触した表示装置１０６の画面上の位置（接触位置）を検出し、接触位置を表す操作信号を制御部１０１に出力する。制御部１０１は、表示装置１０６に与えた画像データとタッチパネルから受け取った操作信号とに基づいて、ユーザが行った操作の内容を判断する。タッチパネルは、例えば、静電容量式のタッチパネルであり得る。入力装置１０７は、プッシュ式ボタンをさらに備えてもよい。

通信インタフェース１０８は、外部装置と通信するためのインタフェースである。通信インタフェース１０８は、外部装置に情報を送信したり、外部装置から情報を受信したりする。通信インタフェース１０８は、例えば、アンテナを含む無線モジュールを備える。一例では、通信インタフェース１０８は、ＬＴＥ（登録商標）（Long Term Evolution）モジュール及びBluetoothモジュールを備える。これにより、端末装置１００は、ＬＴＥモジュールを用いて、移動体通信網を介してＷｅｂサーバなどの装置と通信したり、Bluetoothモジュールを用いて、ユーザが所有する他の端末装置と直接に通信したりすることができる。なお、通信インタフェース１０８は、マイクロＵＳＢ（Universal Serial Bus）コネクタなどの端子を備えていてもよい。

カメラ１０９は、対象物を撮像して撮像画像を生成し、撮像画像のデータを制御部１０１に出力する。カメラ１０９は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサと、ＣＣＤ又はＣＭＯＳセンサの出力に基づいて撮像画像を生成する画像処理回路と、を含む。カメラ１０９は本発明の「撮像装置」に相当する。なお、画像処理回路が行う処理の少なくとも一部は制御部１０１によって行われてもよい。この場合、本発明の「撮像装置」はカメラ１０９及び制御部１０１によって実現される。

スピーカ１１０は、制御部１０１から供給される音響信号を音に変換する。マイクロフォン１１１は、音を電気信号に変換する。マイクロフォン１１１は、ユーザが音声で端末装置１００に対する操作（例えば文字入力）を行うことを可能にする。

電池１１２は、各構成要素に電力を供給する。電池１１２は、例えば、充電可能なバッテリである。

なお、端末装置１００の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１０１は、複数のプロセッサを含んでいてもよい。

（ソフトウェア構成）
図４を参照して、端末装置１００のソフトウェア構成の一例を説明する。図４に示される例では、端末装置１００は、マニュアル情報取得部１５１、入力部１５２、表示制御部１５３、提示画像生成部１５４、説明情報取得部１５５、及びマニュアル情報記憶部１６１を備える。マニュアル情報取得部１５１、入力部１５２、表示制御部１５３、提示画像生成部１５４、及び説明情報取得部１５５は、端末装置１００の制御部１０１が記憶部１０５に記憶されたプログラムを実行することによって下記の処理を実行する。制御部１０１がプログラムを実行する際は、制御部１０１は、プログラムをＲＡＭ１０３に展開する。そして、制御部１０１は、ＲＡＭ１０３に展開されたプログラムをＣＰＵ１０２により解釈及び実行して、各構成要素を制御する。マニュアル情報記憶部１６１は記憶部１０５により実現される。

マニュアル情報取得部１５１は、血圧計２００に関するマニュアル情報を取得し、このマニュアル情報をマニュアル情報記憶部１６１に記憶させる。マニュアル情報は、血圧計２００が表示可能な各表示要素に関する説明情報と、各表示要素が表示される表示画面上の位置を示す表示位置情報と、各表示要素の画像データと、を含む。各表示要素に関する説明情報は、その表示要素の説明文を含む。説明情報は、その表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含んでよい。例えば、ユーザが入力装置１０７を用いて血圧計２００の型式情報（例えばHEM-XXXXT）を入力すると、マニュアル情報取得部１５１は、入力された型式情報に関連付けられたマニュアル情報を、通信インタフェース１０８を介してインターネット上のサーバから取得する。

入力部１５２は、ユーザ入力を受け付ける。ユーザ入力は、例えば、カメラ１０９を用いた撮影を実行する指示、表示要素を選択する指示、型式情報などである。例えば、入力部１５２は、タッチパネルから操作信号を受け取り、表示制御部１５３から、表示装置１０６に表示中の画像の内容を表す表示内容情報を受け取り、操作信号及び表示内容情報に基づいて、ユーザが入力した指示の内容を特定する。入力部１５２は型式情報をマニュアル情報取得部１５１に与える。入力部１５２はユーザによって選択された表示要素を示す情報を説明情報取得部１５５に与える。

表示制御部１５３は、表示装置１０６を制御する。表示制御部１５３は、画像を表示装置１０６に表示させる。例えば、表示制御部１５３は、提示画像を含む選択画面（例えば図６に示される選択画面６００）を表示装置１０６に表示させる第１の表示制御部１５３１と、説明文を含む説明画面（例えば図７に示される説明画面７００）を表示装置１０６に表示させる第２の表示制御部１５３２と、を備える。表示制御部１５３は、カメラ１０９による撮影を行う撮影モードにおいて、血圧計２００の表示画面を収めるべき範囲を示すガイドを表示装置１０６に表示させてよい。この範囲は、後述する認識部１５４１による認識が行われることになる認識範囲に対応する。

提示画像生成部１５４は、カメラ１０９から撮像画像を受け取り、この撮像画像に基づいて、血圧計２００の表示画面に表示された表示内容に対応する提示画像を生成する。本実施形態では、提示画像生成部１５４は、認識部１５４１及び再現部１５４２を備える。認識部１５４１は、撮像画像から血圧計２００の表示画面に表示された内容を認識する。具体的には、認識部１５４１は、撮像画像と、マニュアル情報記憶部１６１に記憶されているマニュアル情報に含まれる表示位置情報及び画像データと、に基づいて、血圧計２００の表示装置２２０に表示されている表示要素を認識する。例えば、認識部１５４１は、表示位置情報に基づいて、表示要素それぞれが表示される領域を撮像画像上に画定する。続いて、数値が表示される領域の各々については、認識部１５４１は、文字認識を行う。それにより、認識部１５４１は、日付、時刻、測定値、又はエラーコードを認識することができる。体動マークなどの特定の画像が表示される領域の各々については、認識部１５４１は、マニュアル情報に含まれる画像データとの比較に基づいて、その領域に表示要素が表示されているか否かを判定する。認識部１５４１は、例えば、領域２２１〜２２６に関する文字認識結果と、領域２２７〜２２９の各々に対応する表示要素が表示されているか否か（例えば体動マークが表示されているか否か）を表すフラグと、を含む認識結果を出力する。なお、認識部１５４１は、ニューラルネットワークなどのＡＩ（Artificial Intelligence）技術を使用した画像認識を行うものであってもよい。

再現部１５４２は、認識部１５４１から出力された認識結果と、マニュアル情報に含まれる表示位置情報及び各表示要素の画像データと、に基づいて、血圧計２００の表示装置２２０に表示された表示内容を再現した画像を生成する。再現部１５４２によって生成された画像は提示画像として表示装置１０６に表示される。血圧計２００に表示中の表示内容と同様の画像が端末装置１００の表示装置１０６に表示されるので、ユーザは表示要素を選択する操作を直感的に行うことができる。

なお、提示画像生成部１５４は、撮像画像から表示内容に対応する部分画像を抽出し、この部分画像を提示画像として出力してもよい。

説明情報取得部１５５は、ユーザによって選択された表示要素に関する説明情報を取得する。具体的には、説明情報取得部１５５は、マニュアル情報記憶部１６１に記憶されているマニュアル情報から、ユーザによって選択された表示要素に関する説明情報を抽出する。

図５は、撮影モードで表示装置１０６に表示されるガイドの一例を示す。図５に示されるように、表示制御部１５３は、ガイドとしてのフレーム５０１と、カメラ１０９で撮影されることになる画像と、を表示装置１０６に表示させる。図５では、カメラ１０９で撮影されることになる画像は示されていない。ユーザは、血圧計２００の表示画面がフレーム５０１内に収まるようにして血圧計２００を撮影する。このようにフレーム５０１を表示装置１０６に表示することにより、認識部１５４１による認識を容易にすることができる。

図６は、ユーザがその意味を知りたい表示要素を選択するための選択画面６００の一例を示し、図７は、ユーザによって選択された表示要素に関する説明情報を提示するための説明画面７００の一例を示す。図６に示される選択画面６００は、ユーザがカメラ１０９で血圧計２００を撮影した後に表示装置１０６に表示される。選択画面６００は、提示画像６０１と、説明文の提示を望む表示要素を選択することをユーザに促すメッセージ６０２と、を含む。ユーザが提示画像６０１上のいずれかの表示要素をタップした後に図７に示される説明画面７００が表示装置１０６に表示される。

説明画面７００は、ユーザによって選択された表示要素を含む提示画像の部分７０１と、その表示要素に関する説明情報７０２と、を含む。図７の例では、説明情報７０２は、表示要素に関する説明文７０２Ａと、その表示要素に関連するＷｅｂページへのハイパーリンク７０２Ｂと、を含む。ユーザがハイパーリンク７０２Ｂをタップしたことに応答して、ブラウザが起動し、Ｗｅｂページがブラウザに表示される。Ｗｅｂページには、動画が埋め込まれていてもよい。カフマークに関連するＷｅｂページは、例えば、カフの装着方法を説明する動画を含む。これにより、ユーザは、取扱説明書（例えば電子マニュアル）に一般に記載される各表示要素に関する説明よりも詳細な説明を得ることができる。

説明画面７００は、オペレータを呼び出すためのボタン７０３をさらに含んでいてもよい。典型的には、ボタン７０３は、最初は非アクティブであって、ユーザがハイパーリンク７０２Ｂをタップした後にアクティブ化される。ユーザがアクティブな状態のボタン７０３をタップしたことに応答して、端末装置１００の制御部１０１は、血圧計２００に関するコールセンターに発呼する。ユーザが何度も連続してオペレータを呼び出すことを防止するために、ボタン７０３は、一旦ボタン７０３が押されてから所定時間が経過するまでは非アクティブにされてもよい。

なお、本実施形態では、端末装置１００の機能がいずれも汎用のプロセッサによって実現される例について説明している。しかしながら、機能の一部又は全部が１又は複数の専用のプロセッサにより実現されてもよい。

［動作例］
図８は、端末装置１００が取扱説明サービスを提供する際の動作フローを例示する。

図８のステップＳ１１では、端末装置１００の制御部１０１は、カメラ１０９から撮像画像を取得する。例えば、ユーザは、血圧計２００の表示画面に表示された体動マークの意味を調べるために、端末装置１００上で取扱説明アプリケーションを起動させる。取扱説明アプリケーションが起動すると、端末装置１００は撮影モードになる。ユーザはカメラ１０９で体動マークが表示画面に表示された状態の血圧計２００を撮影し、カメラ１０９は撮像画像を制御部１０１に出力する。

ステップＳ１２では、制御部１０１は、提示画像生成部１５４として動作し、取得した撮像画像に基づいて、血圧計２００の表示画面に表示された表示内容に対応する提示画像を生成する。提示画像は、体動マークを含む。例えば、制御部１０１は、血圧計２００の表示画面に表示された表示内容を再現した画像を、提示画像として生成する。

ステップＳ１３では、制御部１０１は、第１の表示制御部１５３１として動作し、生成した提示画像を表示装置１０６に表示させる。例えば、制御部１０１は、提示画像を含む選択画面（例えば図６に示される選択画面６００）を表示装置１０６に表示させる。

ステップＳ１４では、制御部１０１は、入力部１５２として動作し、提示画像に含まれる表示要素の中からユーザによって選択された表示要素を示すユーザ入力を受け取る。例えば、ユーザは、表示装置１０６に表示された体動マークをタッチする。制御部１０１は、入力装置１０７から、ユーザによるタッチに応じた操作信号を受け取り、この操作信号に基づいて、ユーザによって選択された表示要素が体動マークであることを識別する。

ステップＳ１５では、制御部１０１は、説明情報取得部１５５として動作し、ユーザによって選択された表示要素に関する説明情報を取得する。例えば、制御部１０１は、記憶部１０５に記憶されているマニュアル情報から、体動マークに関連付けられた説明情報を抽出する。

ステップＳ１６では、制御部１０１は、第２の表示制御部１５３２として動作し、取得した説明情報を表示装置１０６に表示させる。例えば、制御部１０１は、体動マークの説明文を含む説明画面（例えば図７に示される説明画面７００）を表示装置１０６に表示させる。説明画面は、体動マークに関連するＷｅｂページへのハイパーリンクをさらに含んでいてもよい。

このようにして、端末装置１００は、血圧計２００に表示された表示要素に関する説明情報を表示する。

なお、ステップＳ１１では、血圧計２００の表示画面全体がカメラ１０９のフレーム内に収まるようにユーザが血圧計２００を撮影することを想定する。しかしながら、血圧計２００の表示画面の一部のみがフレーム内に収まるように血圧計２００が撮影されてもよい。また、ステップＳ１６において、説明文は、音声合成され、スピーカ１１０を通じて出力されてもよい。

［効果］
上述した端末装置１００は、表示内容が表示画面に表示された状態の血圧計２００をカメラ１０９で撮像することで生成された撮像画像に基づいて、表示内容に対応する提示画像を生成し、その提示画像を表示装置１０６に表示し、ユーザが選択した表示要素を示すユーザ入力を受け付け、その表示要素の説明文を含む説明情報を取得し、その説明情報を表示装置１０６に表示する。これにより、ユーザは、血圧計２００の撮影及び表示要素の選択を含む簡単な操作を行うことにより、表示要素に関する説明情報を得ることができる。言い換えると、ユーザは、少ない手順で表示要素に関する説明情報に到達することができる。したがって、ユーザは、電子機器に表示されている表示要素の意味を素早くかつ容易に知ることができる。

表示要素の選択は、タッチパネルにタッチすることでなされる。このため、ピクトグラムのようなキーワードで表現することが困難な表示要素についても、簡単にその説明を得ることが可能である。

［変形例］
なお、この発明は上記実施形態に限定されるものではない。

例えば、マニュアル情報取得部１５１及びマニュアル情報記憶部１６１は必ずしも必要というわけではない。マニュアル情報取得部１５１及びマニュアル情報記憶部１６１が設けられない実施形態では、端末装置１００は、取扱説明サービスを提供するたびに、インターネット経由でマニュアル情報を保持するサーバにアクセスする。例えば、提示画像生成部１５４は、通信インタフェース１０８を介してサーバから、型式情報に関連付けられた表示位置情報及び画像データを取得し、取得した表示位置情報及び画像データと撮像画像とに基づいて提示画像を生成する。説明情報取得部１５５は、入力部１５２がユーザ入力を受け取ったことに応答して、インターネット経由で、ユーザ入力により示される表示要素に関する説明情報を取得する。例えば、説明情報取得部１５５は、通信インタフェース１０８を介してサーバに、ユーザによって選択された表示要素に関する説明情報を要求する要求信号を送信し、通信インタフェース１０８を介してサーバから、その表示要素に関する説明情報を受信する。説明情報は任意のタイミングで更新されることがある。取扱説明サービスを提供するたびに説明情報を取得することにより、最新の説明情報をユーザに提示することができるようになる。さらに、端末装置１００がマニュアル情報を保持しておく必要がないので、記憶資源を節約することができる。

また、端末装置１００がその都度インターネット経由で説明情報を取得するようにした場合には、製造業者は、サーバによって収集された要求信号に基づいて、ユーザがどのような情報を要求したかを把握することが可能である。すなわち、製造業者は、製品（この例では血圧計２００）の改善に役立つ情報を得ることができる。例えば、あるピクトグラムの説明情報が多数のユーザによって要求された場合には、製造業者は、そのピクトグラムがユーザにとって理解しづらいものであると判断し、そのピクトグラムのデザインを変更する。要求信号は、ユーザによって選択された表示要素を特定する情報とともに、ユーザに関する情報を含んでよい。ユーザに関する情報は、例えば、ユーザの性別及び／又は年齢を含む。

上述した実施形態では、ユーザが血圧計２００の型式情報を入力している。一実施形態では、端末装置１００は、撮像画像から血圧計２００の型式を識別する型式識別部を備えていてもよい。型式識別部は、制御部１０１が記憶部１０５に記憶されたプログラムを実行することによって所定の処理を実行する。

一例では、図２に示されるように血圧計２００の表示画面の近傍に型式情報２０３が印字されており、ユーザは表示画面と型式情報２０３とをカメラ１０９のフレーム内に収めるように血圧計２００を撮影する。型式識別部は、撮像画像に対して文字認識を行い、それにより血圧計２００の型式を識別する。

他の例では、血圧計２００の表示画面又はハウジングに、型式を識別するための識別符号が設けられる。識別符号は、例えば２次元コードであり得る。型式識別部は、撮像画像に含まれる識別符号を解読し、それにより血圧計２００の型式を識別する。識別符号は、取扱説明アプリケーションを起動するための命令を含んでいてもよい。この場合、識別符号がカメラ１０９により読み込まれると、制御部１０１は、取扱説明アプリケーションを起動するとともに、血圧計２００の型式を識別する。

さらなる例では、型式識別部は、撮像画像に含まれる表示要素の配置に基づいて、血圧計２００の型式を識別する。この例は、表示要素の配置が型式ごとに異なることを利用するものである。また他の例では、型式識別部は、撮像画像に含まれる血圧計２００の外観から血圧計２００の型式を識別する。

マニュアル情報記憶部１６１では、複数の型式それぞれに関連付けてマニュアル情報が記憶されている。提示画像生成部１５４内の認識部１５４１は、マニュアル情報記憶部１６１から、上述した型式識別部により識別された型式に関連付けられたマニュアル情報を読み出し、撮像画像から認識範囲に対応する部分画像を抽出し、抽出した部分画像と読み出したマニュアル情報に含まれる画像データとの比較に基づいて、電子機器の表示装置に表示されている表示要素を認識する。そして、提示画像生成部１５４内の再現部１５４２は、認識部１５４１から出力される認識結果に基づいて提示画像を生成する。

端末装置１００が型式識別部を備える場合には、ユーザが型式情報を入力する必要がなくなる。このため、ユーザにとって利便性が向上する。

取扱説明サービスは、血圧測定結果などを記録し管理するための健康管理アプリケーションの一機能であってもよい。例えば、健康管理アプリケーションのユーザインタフェースに、取扱説明サービスを実行するためのヘルプボタンが設けられる。ユーザがそのボタンをタップすると、図８を参照して説明した処理が実行される。

表示要素を選択する操作は、図６に示されるようなユーザがいずれかの表示要素に対応する画面上の領域をタップすることに限定されない。例えば、図９に示されるように、提示画像９０１が表示画面の中央に配置され、提示画像９０１の外側をタップすることで表示要素を選択するようにしてもよい。例えば、ユーザが体動マークに接続するマーク９０２をタップすると、端末装置１００は、体動マークに関する説明情報を提示する。

要するに本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

［付記］
上記各実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限られない。

表示装置（１０６）と、
少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置（１０９）と、
前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する提示画像生成部（１５４）と、
前記提示画像を前記表示装置に表示させる第１の表示制御部（１５３１）と、
前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける入力部（１５２）と、
前記表示要素の説明文を含む説明情報を取得する説明情報取得部（１５５）と、
前記説明文を前記表示装置に表示させる第２の表示制御部（１５３２）と、
を備える端末装置（１００）。

１０…端末装置、
１１…カメラ、
１２…タッチスクリーン、
１２Ａ…表示装置、
１２Ｂ…タッチパネル、
１３…情報処理部、
２０…血圧計、
２１…表示画面、
１００…端末装置、
１０１…制御部、
１０２…ＣＰＵ、
１０３…ＲＡＭ、
１０４…ＲＯＭ、
１０５…記憶部、
１０６…表示装置、
１０７…入力装置、
１０８…通信インタフェース、
１０９…カメラ、
１１０…スピーカ、
１１１…マイクロフォン、
１１２…電池、
１５１…マニュアル情報取得部、
１５２…入力部、
１５３…表示制御部、
１５３１…第１の表示制御部、
１５３２…第２の表示制御部、
１５４…提示画像生成部、
１５４１…認識部、
１５４２…再現部、
１５５…説明情報取得部、
１６１…マニュアル情報記憶部、
２００…血圧計、
２０１…本体、
２０２…ブランド情報、
２０３…型式情報、
２１１〜２１６…ボタン、
２２０…表示装置。

Claims (8)

1. 表示装置と、
   少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、
   前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する提示画像生成部と、
   前記提示画像を前記表示装置に表示させる第１の表示制御部と、
   前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける入力部と、
   前記表示要素の説明文を含む説明情報を取得する説明情報取得部と、
   前記説明文を前記表示装置に表示させる第２の表示制御部と、
   を備える端末装置。
2. 前記表示要素は、ピクトグラムである、請求項１に記載の端末装置。
3. 前記提示画像生成部は、前記提示画像として、前記表示内容を再現した画像を生成する、請求項１又は２に記載の端末装置。
4. 前記説明情報取得部は、前記ユーザ入力に応答して、インターネット経由で前記説明情報を取得する、請求項１乃至３のいずれか１項に記載の端末装置。
5. 前記撮像画像に含まれる前記表示内容に対応する部分画像に基づいて、前記電子機器の型式を識別する型式識別部をさらに備え、
   前記説明情報取得部は、前記型式に関連付けられた前記説明情報を取得する、請求項１乃至４のいずれか１項に記載の端末装置。
6. 前記説明情報は、前記表示要素に関連するＷｅｂページのＵＲＬ（Uniform Resource Locator）をさらに含み、前記第２の表示制御部は、前記Ｗｅｂページへのハイパーリンクを前記表示装置にさらに表示させる、請求項１乃至５のいずれか１項に記載の端末装置。
7. 表示装置と、少なくとも１つの表示要素を含む表示内容が表示画面に表示された状態の電子機器を撮像して撮像画像を生成する撮像装置と、を備える端末装置によって実行される情報処理方法であって、
   前記撮像画像に基づいて、前記表示内容に対応する提示画像を生成する過程と、
   前記提示画像を前記表示装置に表示させる過程と、
   前記提示画像に含まれる表示要素を選択するユーザ入力を受け付ける過程と、
   前記表示要素の説明文を含む説明情報を取得する過程と、
   前記説明文を前記表示装置に表示させる過程と、
   を備える情報処理方法。
8. 請求項１乃至６のいずれか１項に記載の端末装置が備える各部としてコンピュータを機能させるためのプログラム。