JP2014052898A - 電子機器、制御方法およびプログラム - Google Patents

電子機器、制御方法およびプログラム Download PDF

Info

Publication number
JP2014052898A
JP2014052898A JP2012197763A JP2012197763A JP2014052898A JP 2014052898 A JP2014052898 A JP 2014052898A JP 2012197763 A JP2012197763 A JP 2012197763A JP 2012197763 A JP2012197763 A JP 2012197763A JP 2014052898 A JP2014052898 A JP 2014052898A
Authority
JP
Japan
Prior art keywords
display
image
camera
mobile phone
measurement value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012197763A
Other languages
English (en)
Other versions
JP5898596B2 (ja
Inventor
友康 ▲高▼橋
Tomoyasu Takahashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2012197763A priority Critical patent/JP5898596B2/ja
Priority to US14/424,297 priority patent/US9654743B2/en
Priority to PCT/JP2013/072915 priority patent/WO2014034683A1/ja
Publication of JP2014052898A publication Critical patent/JP2014052898A/ja
Application granted granted Critical
Publication of JP5898596B2 publication Critical patent/JP5898596B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】測定器の構成を複雑化することなく、測定器の測定した値を他の装置へ送信することを可能にする。
【解決手段】電子機器(携帯電話)100は、カメラ13と、ディスプレイ2Aと、コントローラ10とを備える。カメラ13は、測定器の略長方形の表示部を撮影する。ディスプレイ2Aは、カメラ13によって撮影される画像を表示する。コントローラ10は、カメラ13によって撮影される画像における表示部の像が台形となるようにディスプレイ2Aの表示を制御する。コントローラ10は、例えば、カメラ13によって撮影される画像における表示部の像の外形を一致させるべき枠として、台形の枠をディスプレイ2Aに表示させる。
【選択図】図3

Description

本出願は、電子機器、制御方法およびプログラムに関する。
健康管理のために、体重を計測する体重計、血圧を計測する血圧計、歩数を計測する歩数計等の様々な測定器が利用されている。このような測定器には、測定した値を情報処理装置へ送信するための通信機能を持つものがある(例えば、特許文献1および特許文献2参照)。情報処理装置へ送信された値は、各種の分析に用いられる。
特開2008−033834号公報 特開2005−319216号公報
個々の測定器に通信機能を持たせると、構成が複雑化するために、コストの増大を招くとともに、小型化が難しくなる。上記のことから、測定器の構成を複雑化することなく、測定器の測定した値を他の装置で活用することを可能にする電子機器、制御方法およびプログラムに対するニーズがある。
1つの態様に係る電子機器は、健康測定器の略長方形の表示部を撮影するカメラと、前記カメラによって撮影される画像を表示するディスプレイと、前記カメラによって撮影される画像における前記表示部の像が台形となるように前記ディスプレイの表示を制御するコントローラとを備える。
1つの態様に係る制御方法は、カメラ及びディスプレイを備える電子機器の制御方法であって、健康測定器の略長方形の表示部を前記カメラで撮影するステップと、前記カメラによって撮影される画像を前記ディスプレイに表示するステップと、前記カメラによって撮影される画像における前記表示部の像が台形となるように前記ディスプレイの表示を制御するステップとを含む。
1つの態様に係るプログラムは、カメラ及びディスプレイを備える電子機器に、健康測定器の略長方形の表示部を前記カメラで撮影するステップと、前記カメラによって撮影される画像を前記ディスプレイに表示するステップと、前記カメラによって撮影される画像における前記表示部の像が台形となるように前記ディスプレイの表示を制御するステップとを実行させる。
1つの態様に係る電子機器は、健康測定器の略長方形の表示部を撮影するカメラを備える電子機器であって、当該電子機器が前記表示部と正対する場合に、前記カメラが撮影した前記表示部の像を、台形になるように表示するディスプレイをさらに備える。
1つの態様に係る制御方法は、健康測定器の略長方形の表示部を撮影する電子機器における制御方法であって、当該電子機器が前記表示部と正対する場合に、撮影した前記表示部の像を、台形になるように表示するステップを備える。
図1は、実施形態に係る情報提供システムの構成を示す図である。 図2は、情報提供システムの動作の概要を示す図である。 図3は、携帯電話のブロック図である。 図4は、画像に含まれる体組成計の例を示す図である。 図5は、画像に含まれる活動量計の例を示す図である。 図6は、画像に含まれる血圧計の例を示す図である。 図7は、情報提供装置のブロック図である。 図8は、計測値情報の例を示す図である。 図9は、計測値を読み取って送信する処理の手順を示すフローチャートである。 図10は、画面遷移の例を示す図である。 図11は、情報提供システムの動作の変形例を示す図である。 図12は、情報提供システムの動作の他の変形例を示す図である。 図13は、情報提供システムの動作の他の変形例を示す図である。 図14は、情報提供システムの他の構成を示す図である。 図15は、携帯電話自体が画像に写り込む場合の例を示す図である。 図16は、携帯電話自体が写り込んだ画像の例を示す図である。 図17は、携帯電話の影が画像に写り込む場合の例を示す図である。 図18は、携帯電話の影が写り込んだ画像の例を示す図である。 図19は、写り込みが生じない状態の例を示す図である。 図20は、図19に示す状態で撮影される画像の例を示す図である。 図21は、撮影画面の例を示す図である。 図22は、健康測定器とほぼ正対した状態での撮影画面の例を示す図である。 図23は、図19に示す状態での撮影画面の例を示す図である。 図24は、写り込みが生じる可能性を低減するための制御の例を示すフローチャートである。 図25は、図19に示す状態で撮影された画像に台形補正を施した例を示す図である。 図26は、撮影画面の他の例を示す図である。 図27は、健康測定器とほぼ正対した状態での撮影画面の例を示す図である。 図28は、図19に示す状態での撮影画面の例を示す図である。
本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下の実施形態では、電子機器の例として携帯電話を用いて説明を行う。
(実施形態)
図1を参照しながら、実施形態に係る情報提供システムの構成について説明する。図1に示すように、情報提供システムは、携帯電話100と、基地局200と、情報提供装置300aおよび300bと、音声認識装置400と、を含む。以下の説明では、情報提供装置300aおよび300bをいずれであるかを特定することなく情報提供装置300と総称することがある。
携帯電話100は、健康測定器の計測した計測値を読み取り、情報提供装置300へ送信する機能を有する。健康測定器は、健康に関する数値を計測する測定器である。健康測定器は、例えば、体重を計測する体重計、体重に加えて体脂肪率等を計測する体組成計、体温を計測する体温計、血圧を計測する血圧計、脈拍を計測する脈拍計、歩数を計測する歩数計、歩行を含む運動による活動量を計測する活動量計を含む。
携帯電話100は、健康測定器をカメラで撮影することにより、健康測定器が備える表示部に表示される計測値を読み取る。このように表示部に表示される計測値をカメラで撮影することにより、携帯電話100は、健康測定器が通信機能を持たなくても、健康測定器の計測した計測値を読み取ることができる。読み取られた計測値は、携帯電話100が有する通信機能によって情報提供装置300へ送信される。携帯電話100による計測値の読み取りの詳細については後述する。
基地局200、情報提供装置300、および音声認識装置400は、ネットワーク500によって通信可能に接続される。
基地局200は、通信圏内に所在する携帯電話100との間に無線通信回線を確立し、携帯電話100がこの無線通信回線を通じて他の装置と通信することを可能にする。以下では、説明を簡単にするため、携帯電話100の通信に関して説明する場合に、基地局200に関する記載を省略することがある。
情報提供装置300は、携帯電話100から送信される計測値を、携帯電話100の利用者のID(識別番号)および日時(タイムスタンプ)と対応付けて記憶する。情報提供装置300は、それぞれの利用者の識別番号と対応付けて、複数の種類の健康測定器の計測値を記憶することができる。そして、情報提供装置300は、こうして蓄積された計測値に基づいて分析処理を行い、健康に関するアドバイス等の情報を携帯電話100へ送信する。情報提供装置300は、複数存在し、それぞれが異なる運営業者によって運営される。
音声認識装置400は、他の装置から送信される音声情報の内容を音声認識処理によって解析し、解析した内容を送信元の装置へ送信する。例えば、携帯電話100が利用者の音声を記録した音声情報を音声認識装置400へ送信すると、音声認識装置400は、音声情報の内容を音声認識処理によって解析し、解析した内容をテキストデータとして携帯電話100へ送信する。このような仕組みにより、携帯電話100の音声操作が実現される。
情報提供システムの構成は、図1に示した例に限定されない。例えば、情報提供システムに含まれる各種装置の数は、図1に示した数よりも多くてもよいし、少なくてもよい。情報提供システムは、音声認識装置400を含まなくてもよい。情報提供装置300が家庭内のパソコンであり、基地局200が家庭内の無線LANルータであってもよい。
図2を参照しながら、情報提供システムの動作の概要について説明する。図2に示す動作に先立って、健康測定器が計測を実行し、計測値が健康測定器の表示部に表示されているものとする。この状態で、携帯電話100は、カメラを用いて健康測定器を撮影する(ステップS11)。そして、携帯電話100は、撮影された画像に含まれる計測値の位置および種別を判定する(ステップS12)。本出願における撮影は、シャッターが切られたとき(レリーズボタンが押されたとき)に画像を取得することに限定されず、いわゆるライブビューのように、画像を表示部に表示しながら継続的に取得することも含む。
こうして計測値の位置および種別を判定した後、携帯電話100は、撮影された画像から計測値を読み取る(ステップS13)。画像に含まれる計測値の読み取りは、公知の文字認識技術を用いて実現できる。携帯電話100は、読み取った計測値を、付加情報と共に情報提供装置300へ送信する(ステップS14)。付加情報は、情報提供装置300に計測値を分析に利用するために必要な情報である。付加情報は、例えば、計測値の種別を示す値、計測値の単位を示す値等を含む。
撮影された画像から複数の計測値が読み取られた場合、携帯電話100は、計測値を別々に送信してもよいし、まとめて送信してもよい。携帯電話100は、複数の種類の健康測定器から取得した計測値を記憶しておき、何らかのタイミングでそれらをまとめて情報提供装置300へ送信してもよい。この場合、携帯電話100は、それぞれの計測値と対応付けて、計測値を取得した日時を記憶しておき、記憶しておいた日時を送信時に付加情報に含める。
情報提供装置300が複数存在する場合、携帯電話100は、予め決められた情報提供装置300へ計測値および付加情報を送信してもよいし、撮影された画像から取得されたメーカ、種別等の情報に応じて、送信先の情報提供装置300を決定してもよい。
情報提供装置300は、携帯電話100から送信された計測値を、携帯電話100の利用者のIDおよびタイムスタンプと対応付けて記憶する(ステップS15)。利用者のIDは、付加情報から取得してもよいし、携帯電話100から情報提供装置300へ計測値を送信するパケットのヘッダの値に基づいて取得してもよい。タイムスタンプは、付加情報から取得してもよいし、計測値を受信した際の情報提供装置300の計時部の値に基づいて取得してもよい。タイムスタンプは、付加情報から取得する場合、計測値が読み取られた日時、または計測値が送信された日時を示し、情報提供装置300の計時部の値に基づいて取得する場合、計測値が受信された日時を示す。
その後、情報提供装置300は、記憶している計測値に基づいて分析処理を実行する(ステップS16)。分析処理は、何らかの計測値を受信する度に実行してもよいし、特定の種類の計測値(例えば、体重)を受信する度に実行してもよい。あるいは、分析処理は、予め決められた時刻に実行してもよい。
分析処理では、携帯電話100の利用者に関する複数の計測値の経時的な変化等に基づいて、健康に関する分析が行われる。情報提供装置300には複数の利用者に関する計測値が蓄積されるため、情報提供装置300は、分析処理において、複数の利用者に関する計測値を統計的に処理した情報を利用してもよい。
情報提供装置300は、分析結果を携帯電話100へ送信する(ステップS17)。携帯電話100は、送信された分析結果を表示する(ステップS18)。分析結果は、電子メールとして携帯電話100へ送信してもよいし、他の所定の形式で携帯電話100へ送信してもよい。計測値および付加情報がHTTP(HyperText Transfer Protocol)リクエストとして送信され、分析結果がHTML(HyperText Markup Language)形式で応答されるように構成してもよい。
このように、健康測定器から読み取られた計測値を蓄積して分析することにより、個別の計測値からは気付くことが難しい情報を利用者に提供することができる。
図3を参照しながら、携帯電話100の構成について説明する。図3に示すように、携帯電話100は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、GPS(Global Positioning System)レシーバ18とを有する。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、または無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、および図形等を表示する。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、またはスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、またはスタイラスペン等がタッチスクリーン2Bに接触した位置を検出することができる。以下の説明では、タッチスクリーン2Bに対して接触する指、ペン、またはスタイラスペン等を、「接触オブジェクト(接触物)」と呼ぶことがある。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(または超音波方式)、赤外線方式、電磁誘導方式、および荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者は携帯電話100を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。
携帯電話100は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、および接触が検出された回数の少なくとも1つに基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーン2Bに対して行われる操作である。携帯電話100によって判別されるジェスチャは、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、およびピンチアウトを含むがこれらに限定されない。
ボタン3は、利用者によって操作される。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、およびマルチプッシュを含むが、これらに限定されない。
照度センサ4は、携帯電話100の周囲光の照度を検出する。照度は、光の強さ、明るさ、または輝度を示す。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化または超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、タッチスクリーンディスプレイ2が顔に近付けられたことを検出する。照度センサ4および近接センサ5は、一つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、2G、3G、4G等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communia,ctions)、PHS(Personal Handy−phone System)等がある。無線通信規格として、さらに、例えば、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communia,ction)等がある。通信ユニット6は、上述した通信規格の1つまたは複数をサポートしていてもよい。
レシーバ7およびスピーカ11は、音出力部である。レシーバ7およびスピーカ11は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音および音楽を出力するために用いられる。レシーバ7およびスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音入力部である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラムおよびデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bによって検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーションおよび制御プログラムは、通信ユニット6による無線通信または非一過的な記憶媒体を介してストレージ9に導入されてもよい。
ストレージ9は、例えば、制御プログラム9A、メールアプリケーション9B、ブラウザアプリケーション9C、健康管理アプリケーション9D、使用機器情報9X、判定情報9Y、および設定データ9Zを記憶する。制御プログラム9Aは、携帯電話100を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、検出される操作に応じて、アプリケーションを起動または終了させる。
メールアプリケーション9Bは、電子メールの作成、送信、受信、および表示等のための電子メール機能を提供する。ブラウザアプリケーション9Cは、WEBページを表示するためのWEBブラウジング機能を提供する。
健康管理アプリケーション9Dは、健康測定器の表示部に表示される計測値を読み取って情報提供装置300へ送信する機能と、情報提供装置300から送信される分析結果をディスプレイ2Aに表示する機能とを提供する。
使用機器情報9Xには、携帯電話100の利用者が使用する健康測定器(以下、「使用機器」ということがある)の外観上の特徴を示す情報と、その健康測定器が表示する計測値の位置および種別を示す情報とが含まれる。健康測定器の外観上の特徴を示す情報は、例えば、形状(健康測定器全体または一部の形状)、色、計測値の字形、計測値の配置、計測値の近傍に存在する文字列または記号、健康測定器の表面に存在するその他の文字またはシンボルとその位置、の少なくとも1つを含む。健康測定器の表示部に複数の計測値が同時に表示される場合、計測値の位置および種別を示す情報には、それぞれの計測値に対応する情報が含まれる。健康測定器の表示部に表示される計測値が切り替わる場合、計測値の位置および種別を示す情報には、計測値が表示される順序に関する情報が含まれる。
後述するように、使用機器情報9Xには、携帯電話100が新たな健康測定器から計測値を読み取る度に情報が追加される。使用機器情報9Xは、当初は、空であってもよいし、予め選択された健康測定器に対応する情報を保持していてもよい。
判定情報9Yには、撮影された画像のどこにどの計測値が存在するかを判定するための情報が含まれる。具体的には、判定情報9Yには、市場に存在する健康測定器毎に、外観上の特徴に関する情報と、健康測定器が表示する計測値の位置および種別を示す情報とが対応付けて格納される。健康測定器の外観上の特徴を示す情報は、例えば、形状(健康測定器全体または一部の形状)、色、計測値の字形、計測値の配置、計測値の近傍に存在する文字列または記号、健康測定器の表面に存在するその他の文字またはシンボルとその位置、の少なくとも1つを含む。健康測定器の表示部に複数の計測値が同時に表示される場合、計測値の位置および種別を示す情報には、それぞれの計測値に対応する情報が含まれる。健康測定器の表示部に表示される計測値が切り替わる場合、計測値の位置および種別を示す情報には、計測値が表示される順序に関する情報が含まれる。
判定情報9Yには、外観上の特徴がほぼ同じで、表示される計測値の位置および種別が同じ複数の機種をまとめて、1つの健康測定器として情報を格納してもよい。判定情報9Yは、市場に存在する全ての健康測定器に関する情報を網羅しなくてもよい。
判定情報9Yには、未知の健康測定器からも計測値を読み取ることができるように、抽象化された情報も含まれる。具体的には、判定情報9Yには、計測値の種別毎に、計測値の近傍に存在する可能性の高い文字またはシンボルに関する情報が格納される。一般に、計測値の近傍には、計測値の名称または単位の少なくとも一方が存在する。このような名称または単位を計測値の種別と対応付けて格納しておくことにより、名称または単位を手がかりとして、その近傍の計測値を検出し、その計測値の種別を判定することが可能になる。この場合、計測値の検出を容易にするために、名称または単位とともに、それに対応する計測値の相対位置を格納してもよい。例えば、単位を格納する場合、その左側に計測値が存在する旨をさらに格納してもよい。
判定情報9Yには、抽象化された情報として、さらに、計測値の種別毎に、計測値の範囲に関する情報が格納される。例えば、計測値が体温である場合、その範囲として、35℃から40℃の範囲が格納される。例えば、計測値が最高血圧である場合、その範囲として、100mmHgから200mmHgの範囲が格納される。画像中に数値が検出された場合に、その数値を範囲と照合することにより、その数値が計測値であるかと、どの種別の計測値であるかとを判定することができる。
判定情報9Yには、抽象化された情報として、さらに、計測値の配置に関する情報が格納される。複数の計測値が同時に表示される場合、計測値の配置は、メーカまたは健康測定器毎に法則性を有することがある。例えば、脈拍計の場合、上から順に最高血圧、最低血圧、脈拍数が縦に表示されることが多い。画像中に複数の数値が検出された場合にそれらの数値の配置を法則性と照合することにより、それらの数値が計測値であるかと、それぞれがどの種別の計測値であるかとを判定することができる。
判定情報9Yには、健康測定器のメーカおよび種別を判定するための情報も含まれる。具体的には、判定情報9Yには、メーカ毎に、表示される計測値の字形に関する情報が格納される。さらに、判定情報9Yには、メーカ毎別に、健康測定器の表面に印字、刻印、または貼付される会社の名称またはシンボルに関する情報が格納される。さらに、判定情報9Yには、メーカ毎および健康測定器の種別に、健康測定器の表面に印字、刻印、または貼付される型番に関する情報が格納される。判定情報9Yには、健康測定器の外観上の特徴に関する情報と対応付けて、健康測定器のメーカおよび種別を判定するための情報が格納される。判定情報9Yに含まれる上記の抽象化された情報は、健康測定器のメーカまたは種別毎に格納されてもよい。
設定データ9Zは、携帯電話100の動作に関する各種の設定に関する情報を含む。
コントローラ10は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、およびFPGA(Field−Programmable Gate Array)を含むが、これらに限定されない。コントローラ10は、携帯電話100の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データおよび命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、およびスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、レシーバ7、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、およびGPSレシーバ18を含むが、これらに限定されない。
コントローラ10は、例えば、健康管理アプリケーション9Dを実行することにより、健康測定器の表示部に表示される計測値を読み取って情報提供装置300へ送信する機能と、情報提供装置300から送信される分析結果をディスプレイ2Aに表示する機能とを実現する。
カメラ12は、フロントフェイスに面している物体を撮影するインカメラである。カメラ13は、バックフェイスに面している物体を撮影するアウトカメラである。カメラ13は、健康測定器を撮影するためにも用いられる。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、および通信装置を含むが、これらに限定されない。
加速度センサ15は、携帯電話100に働く加速度の方向および大きさを検出する。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、携帯電話100の角度および角速度を検出する。加速度センサ15、方位センサ16およびジャイロスコープ17の検出結果は、携帯電話100の位置および姿勢の変化を検出するために、組み合わせて利用される。GPSレシーバ18は、携帯電話100の位置を検出する。
図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、通信ユニット6による無線通信で他の装置からダウンロードされてもよい。図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu−ray(登録商標)等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、およびソリッドステート記憶媒体を含むが、これらに限定されない。
図3に示した携帯電話100の構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、図3に示した例では、携帯電話100が2つのカメラを備えるが、携帯電話100は、カメラ13のみを備えてもよい。図3に示した例では、携帯電話100が位置および姿勢を検出するために4種類のセンサを備えるが、携帯電話100は、このうちいくつかのセンサを備えなくてもよい。あるいは、携帯電話100は、位置および姿勢の少なくとも1つを検出するための他の種類のセンサを備えてもよい。
図4〜図6を参照しながら、携帯電話100による計測値の読み取りの例について説明する。図4は、カメラ13によって撮影された画像に含まれる体組成計40の例を示す図である。体組成計40は、表示部41と、表面に印字されたメーカ名44と、体脂肪率を計測するための電極45とを有する。表示部41には、体重を示す計測値42aと、体脂肪率を示す計測値43aとが表示されている。さらに、計測値42aの右隣には、体重の単位がKgであることを示す単位42bが表示され、計測値43aの右隣には、体脂肪率が百分率で表示されていることを示すシンボル43bが表示されている。
このような体組成計40が画像に含まれる場合、携帯電話100は、数値である計測値42aおよび計測値43aと、計測値42aの近傍の単位42bと、計測値43aの近傍のシンボル43bとを検出する。さらに、携帯電話100は、計測値42aおよび計測値43aを含む体組成計40の外観上の特徴に関する情報を取得する。例えば、体組成計40の形状40a、体組成計40の色、表示部41の位置、表示部41に表示される情報の字体および配置、メーカ名44を構成する文字、メーカ名44の字体および位置、電極45および電極45の位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値42aが体重を示しており、計測値43aが体脂肪率を示していると判定する。そして、携帯電話100は、文字認識処理によって、体重および体脂肪率を数値データとして取得する。
図5は、カメラ13によって撮影された画像に含まれる活動量計50の例を示す図である。活動量計50は、表示部51と、表面に印字された型番54と、ボタン55と、ボタン56とを有する。表示部51には、歩数を示す計測値52aと、消費カロリーを示す計測値53aとが表示されている。さらに、計測値52aの右隣には、歩数の単位が歩(STEP)であることを示す単位52bが表示され、計測値53aの右隣には、消費カロリーの単位がKcalであることを示す単位53bが表示されている。
このような活動量計50が画像に含まれる場合、携帯電話100は、数値である計測値52aおよび計測値53aと、計測値52aの近傍の単位52bと、計測値53aの近傍の単位53bとを検出する。さらに、携帯電話100は、計測値52aおよび計測値53aを含む活動量計50の外観上の特徴に関する情報を取得する。例えば、活動量計50の形状50a、活動量計50の色、表示部51の位置、表示部51に表示される情報の字体および配置、型番54を構成する文字、型番54の字体および位置、ボタン55および56の形状および位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値52aが歩数を示しており、計測値53aが消費カロリーを示していると判定する。そして、携帯電話100は、文字認識処理によって、歩数および消費カロリーを数値データとして取得する。計測値52aが歩数を示しており、計測値53aが消費カロリーを示していると携帯電話100が判定するタイミングは、文字認識処理を行った後でもよい。
図6は、カメラ13によって撮影された画像に含まれる血圧計60の例を示す図である。血圧計60は、表示部61と、ボタン65とを有する。表示部61には、最高血圧を示す計測値62aと、最低血圧を示す計測値63aと、脈拍数を示す計測値64aとが表示されている。さらに、計測値62aの左隣には、計測値62aが最高血圧を示すことを表す名称62bが印字され、計測値63aの左隣には、計測値63aが最低血圧を示すことを表す名称63bが印字され、計測値64aの左隣には、計測値64aが脈拍数を示すことを表す名称64bが印字されている。
このような血圧計60が画像に含まれる場合、携帯電話100は、数値である計測値62a、計測値63a、および計測値64aと、計測値62aの近傍の名称62bと、計測値63aの近傍の名称63bと、計測値64aの近傍の名称64bとを検出する。さらに、携帯電話100は、計測値62a、計測値63a、および計測値64aを含む血圧計60の外観上の特徴に関する情報を取得する。例えば、血圧計60の形状60a、血圧計60の色、表示部61の位置、表示部61に表示される情報の字体および配置、名称62b〜64bを構成する文字、名称62b〜64bの字体および位置、ボタン65の形状および位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値62aが最高血圧を示しており、計測値63aが最低血圧を示しており、計測値64aが脈拍を示していると判定する。そして、携帯電話100は、文字認識処理によって、最高血圧、最低血圧、および脈拍数を数値データとして取得する。
図7および図8を参照しながら、情報提供装置300の構成について説明する。図7に示すように、情報提供装置300は、通信ユニット301と、コントローラ302と、ストレージ303とを有する。通信ユニット301は、所定のプロトコルに基づく他の装置との通信を可能にする。
コントローラ302は、CPU(Central Processing Unit)等の演算処理装置である。コントローラ302は、情報提供装置300の動作を統括的に制御して各種の機能を実現する。具体的には、コントローラ302は、ストレージ303に記憶されているデータを必要に応じて参照しつつ、ストレージ303に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ302は、データおよび命令に応じて各種の情報処理を実行する。
コントローラ302は、例えば、分析プログラム304を実行することにより、蓄積されている計測値に基づく分析処理を実行する。
ストレージ303は、プログラムおよびデータを記憶する。ストレージ303は、コントローラ302の処理結果を一時的に記憶する作業領域としても利用される。ストレージ303は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ303は、複数の種類の記憶媒体を含んでよい。ストレージ303は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ303は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ303は、例えば、分析プログラム304、および計測値情報306を記憶する。分析プログラム304は、蓄積されている計測値に基づく分析処理を実行するための機能を提供する。
計測値情報306には、携帯電話100から送信される計測値が蓄積される。計測値情報306の例を図8に示す。図8に示すように、計測値情報306は、利用者ID、タイムスタンプ、および種別といった項目と、計測値とその種別を示す名称とが対応付けて格納される複数の項目とを有する。利用者IDの項目には、携帯電話100の利用者を識別するための識別子が格納される。タイムスタンプの項目には、計測値が読み取られた日時、計測値が送信された日時、または計測値が受信された日時が格納される。種別の項目には、計測値が読み取られた健康測定器の種別を示す値が格納される。
図8に示す例のように、計測値情報306は、複数の種類の計測値が時系列に格納できるように構成される。このため、情報提供装置300は、複数の種類の計測値の経時的な変化に基づいて、健康に関する高度な分析を行うことができる。
図9および図10を参照しながら、携帯電話100が計測値を読み取って送信する処理の手順について説明する。図9は、計測値を読み取って送信する処理の手順を示すフローチャートである。図10は、計測値を読み取って送信する場合の画面遷移の例を示す図である。図9および図10に示す動作は、携帯電話100のコントローラ10が健康管理アプリケーション9Dを実行することによって実現される。
図9に示す手順を実行するために、コントローラ10は、まず、健康管理アプリケーション9Dを起動する。健康管理アプリケーション9Dの起動は、例えば、利用者の操作の検出を契機として実行される。健康管理アプリケーション9Dを起動するための操作は、他のアプリケーションを起動するための操作と同様の、メニューに対する操作、またはアイコンに対する操作であってもよい。あるいは、健康管理アプリケーション9Dを起動するための操作は、ロック画面上での操作であってもよい。
ロック画面は、携帯電話100を待機状態から通常の状態へ移行させるための操作が行われる画面である。図10に示すステップS21では、ロック画面31がディスプレイ2Aに表示されている。ロック画面31上には、ロック解除アイコン31a、カメラアイコン31b、および計測値読み取りアイコン31cが配置されている。
ロック解除アイコン31aをフリックまたはドラッグによってカメラアイコン31bの方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、写真撮影のためのアプリケーションを起動する。ロック解除アイコン31aをフリックまたはドラッグによって計測値読み取りアイコン31cの方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、健康管理アプリケーション9Dを起動する。ロック解除アイコン31aをフリックまたはドラッグによって他の方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、ホーム画面または待機状態への移行前に表示されていた画面をディスプレイ2Aに表示させる。
このように、ロック画面に対する操作によって健康管理アプリケーション9Dを起動するように構成することにより、利用者が、健康測定器からの計測値の読み取りを迅速に開始することが可能になる。
健康管理アプリケーション9Dが起動されると、図9に示すように、コントローラ10は、まず、カメラ13を起動する(ステップS101)。そして、コントローラ10は、カメラ13を用いて画像を撮影し(ステップS102)、撮影された画像をディスプレイ2Aに表示する(ステップS103)。
この段階では、図10のステップS22に示すように、画像の撮影のための撮影画面32がディスプレイ2Aに表示される。利用者が体組成計に載った状態でカメラ13を体組成計へ向けると、ステップS22に示すように、体重および体脂肪率を表示部に表示している体組成計が撮影される。
続いて、コントローラ10は、カメラ13が撮影する画像中の数字を検出する(ステップS104)。画像中の数字を検出できない場合、すなわち、計測値を表示している健康測定器が写っていない場合(ステップS105,No)、コントローラ10は、ステップS102以降を再実行する。
カメラ13が撮影する画像中の数字を検出できた場合(ステップS105,Yes)、コントローラ10は、数字の近傍の文字を検出する(ステップS106)。さらに、コントローラ10は、数字を含む機器の形状および色を取得し(ステップS107)、機器に含まれるその他の文字およびシンボルを検出する(ステップS108)。そして、コントローラ10は、検出した数字、文字、およびシンボルの配置を取得する(ステップS109)。ステップS106〜S108の順番は、これに限定されない。
こうして健康測定器の外観上の特徴に関する情報を取得した後、コントローラ10は、取得した情報を使用機器情報9Xと照合する(ステップS110)。外観上の特徴に関する情報の一致の度合いが所定値より高い健康測定器が存在する場合、すなわち、画像中の使用機器が検出された場合(ステップS111,Yes)、コントローラ10は、ステップS115以降を実行する。
画像中の使用機器が検出されない場合(ステップS111,No)、コントローラ10は、使用機器以外の健康測定器を検出するために、取得した健康測定器の外観上の特徴に関する情報を判定情報9Yと照合する(ステップS112)。照合によって画像中の健康測定器を特定できない場合(ステップS113,No)、コントローラ10は、ステップS102以降を再実行する。
照合によって画像中の健康測定器が特定された場合(ステップS113,Yes)、コントローラ10は、特定した健康測定器の情報を使用機器情報9Xに追加する(ステップS114)。具体的には、ステップS104からステップS109で取得された外観上の特徴に関する情報が、ステップS113で特定された健康測定器に対応する判定情報9Y中のデータの計測値の位置および種別を示す情報と対応付けて、使用機器情報9Xに追加される。このように、新たに認識された健康測定器の情報を使用機器情報9Xに格納することにより、その健康測定器に関する処理が次回以降高速化される。その後、コントローラ10は、ステップS115以降を実行する。
ステップS115で、コントローラ10は、検出結果表示画面をディスプレイ2Aに表示させる(ステップS115)。そして、コントローラ10は、撮影された画像に含まれる健康測定器のメーカ名および種別を検出結果表示画面上に表示する(ステップS116)。
続いて、コントローラ10は、カメラ13を用いて画像を撮影し(ステップS117)、撮影された画像を検出結果表示画面上に表示する(ステップS118)。そして、コントローラ10は、画像中の計測値を検出し(ステップS119)、検出した計測値を検出結果表示画面上に表示する(ステップS120)。
この段階では、ディスプレイ2Aには、例えば、図10のステップS23に示すような検出結果表示画面33が表示される。検出結果表示画面33は、画像表示領域33aと、送信ボタン33bと、検出結果表示領域33cとを有する。画像表示領域33aは、撮影された画像が表示される領域である。コントローラ10は、撮影された画像のうち、計測値が表示されている領域を拡大して画像表示領域33aに表示する。このため、健康測定器の表示部を見にくい状況でも、利用者は計測値を容易に把握することができる。利用者が、ステップS120において、タッチスクリーン2Bまたはボタン3等を用いて検出結果を修正できるように、携帯電話100を構成してもよい。
送信ボタン33bは、計測値および付加情報の情報提供装置300への送信の実行を指示するためのボタンである。検出結果表示領域33cは、撮影された画像を解析することによって得られた情報が表示される領域である。
続いて、コントローラ10は、計測値および付加情報の送信指示がなされたかを判定する(ステップS121)。送信指示がなされていない場合(ステップS121,No)、コントローラ10は、ステップS117以降を再実行する。このように、コントローラ10は、送信指示がなされるまで、画像の取得、画像の表示、計測値の検出、および検出値の表示を繰り返す。このため、携帯電話100は、画像に含まれる計測値が変化した場合に、その変化を検出結果に反映させることができる。
例えば、体組成計の場合、計測値が安定するまでにしばらく時間を要することがある。この場合でも、コントローラ10は、計測値の検出を繰り返して実行するので、最新の計測値を検出結果に反映させることができる。さらに、体組成計の場合、利用者の操作に応じて、または時間の経過に応じて、表示部に表示される計測値の種類が変化することがある。この場合でも、コントローラ10は、計測値の検出を繰り返して実行するので、図10のステップS24に示すように、新たに表示された計測値を検出結果に反映させることができる。新たに表示された計測値の種別を判定するために、コントローラ10は、ステップS119において、計測値の近傍の文字またはシンボルの検出と、検出した文字またはシンボルと判定情報9Yとの照合とを実行してもよい。
さらに、コントローラ10は、撮影された画像のうち、計測値が表示されている領域を拡大して画像表示領域33aに表示する処理を繰り返して実行するので、手ぶれによって画像がぶれても、画像中の同じ部分を表示させ続けることができる。このため、携帯電話100は、表示される画像の視認性を高めることができる。
さらに、画像の解析が繰り返して実行されるため、健康測定器の型番を携帯電話100に読み取らせて健康測定器の種別と健康測定器の表示部に表示される計測値の位置および種別とを確定させ、その後に計測値を携帯電話100に読み取らせるという運用を利用者が行うこともできる。
送信指示がなされた場合(ステップS121,Yes)、コントローラ10は、通信ユニット6に、検出した計測値と付加情報とを情報提供装置300へ送信するように指示する(ステップS122)。送信指示は、例えば、検出結果表示画面33に表示される計測値を確認した利用者が、図10のステップS24に示すように、指F1を用いて送信ボタン33bをタップすることによって行われる。
その後、情報提供装置300から分析結果が送信されると、分析結果をディスプレイ2Aに表示する。例えば、コントローラ10は、例えば、図10のステップS25に示す分析結果画面34をディスプレイ2Aに表示する。分析結果画面34は、複数の種別の計測値の経時的な変化を示す履歴表示領域34aと、分析処理によって得られたアドバイスが表示されるアドバイス表示領域34bとを有する。
本出願の開示する実施形態は、発明の要旨および範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態およびその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。
例えば、図3および図7に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
携帯電話100の機能と情報提供装置300の機能は、適宜配置を変更してもよい。例えば、情報提供装置300の機能を携帯電話100が実行してもよい。すなわち、携帯電話100が、計測値の読み取りに加えて、計測値の蓄積および分析を実行してもよい。
あるいは、携帯電話100の機能の一部を情報提供装置300が実行してもよい。携帯電話100の機能の一部を情報提供装置300が実行する場合、画像に含まれる計測値の位置と種別を判定するための処理を情報提供装置300が実行してもよい。この場合、図11に示すように、携帯電話100が画像を情報提供装置300へ送信し、使用機器情報9Xとの照合および判定情報9Yとの照合の両方を情報提供装置300が実行するように構成してもよい。あるいは、図12に示すように、使用機器情報9Xとの照合を携帯電話100が実行して計測値の位置等の判定が不能の場合に携帯電話100が画像を情報提供装置300へ送信し、判定情報9Yとの照合を情報提供装置300が実行するように構成してもよい。図11に示す構成では、携帯電話100の負荷が軽減されるとともに、健康測定器の新機種への対応が容易になる。図12に示す構成では、健康測定器の新機種への対応を容易にしつつ、計測値の位置等の判定に要する時間を短縮することができる。
携帯電話100の機能の一部を情報提供装置300が実行する場合、図13に示すように、携帯電話100が画像および付加情報を情報提供装置300へ送信し、情報提供装置300が計測値の位置等の判定に加えて、計測値の読み取りを実行するように構成してもよい。図13に示す構成では、携帯電話100の負荷がさらに軽減される。
あるいは、携帯電話100の機能の一部を情報提供装置300以外の他の装置に実行させてもよい。例えば、図14に示すように、計測値の位置等の判定を行う機器判定装置600を情報提供システムに追加してもよい。
上記の実施例では、携帯電話100が健康測定器の表示部に表示される計測値を読み取る例について説明したが、計測値の読み取り方はこれに限定されない。例えば、携帯電話100は、アナログ式の健康測定器が有する針と目盛りの位置関係から計測値を読み取ってもよい。
体重計または体組成計等の体重を計測する測定器の計測値を読み取る場合、利用者は、携帯電話100を持ったままで測定器に載ると考えられる。そこで、携帯電話100の重量が計測値に与える影響を除去するために、携帯電話100の重量を予め記憶しておき、計測値を表示している機器が体重を計測する測定器の場合には、体重を示す計測値から携帯電話100の重量を控除するように携帯電話100を構成してもよい。
計測値を数値としてだけではなく、携帯電話100が容易に読み取ることができる符号として表示するように健康測定器を構成してもよい。この場合、計測値だけでなく、計測値の種別および単位等を符号化してもよい。符号化は、例えば、一次元バーコードまたは二次元バーコード用いて実現できる。あるいは、健康測定器の表示部が7セグメントディスプレイの場合、各文字を構成する要素の点滅パターンを符号に割り当てることによって符号化を実現してもよい。
健康測定器に年齢、身長、性別等の利用者の個人情報が登録されている場合、計測値だけでなく、それらの個人情報を表示部に表示するように健康測定器を構成してもよい。このように構成することにより、携帯電話100に登録されていない個人情報を携帯電話100が健康測定器から取得し、情報提供装置300へ送信する等して分析に役立てることが可能になる。個人情報は、文字として健康測定器の表示部に表示されてもよいし、上記のように符号化されて表示されてもよい。個人情報は、予め情報提供装置300に記憶されてもよい。
携帯電話100は、健康測定器の表示部を撮影する画像に携帯電話100の影または携帯電話100自体が写り込む可能性が低くなるように制御を行ってもよい。図15から図18を参照しながら、携帯電話100の影または携帯電話100自体の画像への映り込みについて説明する。
図15は、携帯電話100自体が画像に写り込む場合の例を示す図である。図16は、携帯電話100自体が写り込んだ画像の例を示す図である。図15に示す例では、携帯電話100は、体組成計40の略長方形(正方形を含む)の表示部41をカメラ13で撮影するために、体組成計40のほぼ真上で体組成計40と正対するように、利用者によって保持されている。この場合、表示部41の表面がガラスや透明な樹脂のように光を反射する素材で覆われていると、表示部41の表面が一種の鏡として機能するために、カメラ13が撮影する画像中に携帯電話100自体が写り込むことがある。
例えば、図16に示す画像P1では、表示部41の像P1aの内部に携帯電話100の像P1bが写り込んでいる。このような写り込みは、像P1aの輝度等を部分的に変化させ、像P1aに含まれる計測値の読み取りを困難にすることがある。特に、健康測定器の表示部がバックライトを持たない反射式の表示パネルを用いている場合、表示部の輝度の変化の幅が元々小さいため、写り込みによって生じる輝度差によって計測値の読み取りが困難になる可能性がある。
図17は、携帯電話100の影が画像に写り込む場合の例を示す図である。図18は、携帯電話100の影が写り込んだ画像の例を示す図である。図17に示す例では、天井に光源L1が設けられ、体組成計40は床に置かれている。携帯電話100は、体組成計40の表示部41をカメラ13で撮影するために、光源L1と体組成計40の間で利用者によって保持されている。この場合、光源L1からの光によって体組成計40上に携帯電話100の影ができ、その影が、カメラ13で撮影される画像内に写り込む可能性がある。なお、説明を簡単にするため、携帯電話100を保持する利用者の身体(特に手)については考慮しない。
例えば、図18に示す画像P2では、表示部41の像P2aの一部と重なるように、携帯電話100の像P2bが写り込んでいる。このような影の写り込みは、像P2aの輝度等を部分的に変化させ、像P2aに含まれる計測値の読み取りを困難にすることがある。
このような、携帯電話100の影または携帯電話100自体の画像への映り込みが生じることを避けるために、図19に示すように、携帯電話100を表示部41の真上をから外れた位置で傾けて、表示部41の撮影を行うことが考えられる。図20は、図19に示す状態で撮影される画像の例を示す図である。図20に示す画像P3では、表示部41の像P3aに、携帯電話100の影も携帯電話100自体も写り込んでいない。傾いた状態で撮影されたために像P3aは、上底が下底よりも短い等脚台形に歪んでいるが、台形補正処理を施すことにより、像P3aを計測値の読み取りに適した矩形に補正することができる。
図19に示す状態で利用者に撮影を行わせるには、図20に示す画像P3のように、カメラ13によって撮影される画像における健康測定器の略長方形の表示部の像が上辺と下辺の遠近感の違いにより台形となるように制御を行えばよい。そこで、携帯電話100は、健康測定器の表示部の撮影時に、図21に示すような撮影画面S1をディスプレイ2Aに表示することができる。
撮影画面S1は、上半分を占める画像表示領域S1aと、下半分を占めるメッセージ表示領域S1bとを有する。画像表示領域S1aは、カメラ13によって撮影される画像が継続的に表示される領域である。画像表示領域S1aには、枠w1が含まれる。枠w1は、画像P3における表示部41の像P3aと同様に、上底が下底よりも短い等脚台形の形状を有する。メッセージ表示領域S1bは、利用者へのメッセージが表示される領域である。図21に示す例では、体組成計の表示部が枠に丁度収まるように撮影するように利用者を促すメッセージがメッセージ表示領域S1b内に表示されている。メッセージ表示領域S1bは、携帯電話100を傾けるように促すメッセージをさらに含んでもよい。
このような撮影画面S1をディスプレイ2Aに表示することにより、枠w1は、カメラ13によって撮影される画像における健康測定器の表示部の像の外形を一致させるべき枠として機能する。すなわち、利用者は、撮影画面S1を見ながら、健康測定器の表示部の像の外形が枠w1と一致するように、携帯電話100の位置及び傾きを調整する。その結果、図19に示したような状態で撮影が行われることとなる。
例えば、図15または図17に示したように、携帯電話100が体組成計40のほぼ真上で体組成計40と正対する状態で撮影が行われた場合、図22の例に示すように、表示部41の像は、枠w1と一致しない。このため、利用者は、携帯電話100の位置及び傾きが適切でないことを容易に理解することができる。そして、利用者が携帯電話100の位置及び傾きを調整して、図23の例に示すように、表示部41の像の外形を枠w1させると、図20に示した画像P3が得られる状態、すなわち、図19に示す状態が達成される。
このように、台形の枠w1を含む撮影画面S1を表示することにより、複雑な指示を利用者に与えることなく、好適な状態で利用者に撮影を行わせることができる。さらに、この手法を用いれば、撮影される画像に含まれる表示部の像の形状がほぼ一定になることが期待できる。このため、表示部の像に含まれる計測値を読み取るために像の形状を矩形に補正する台数補正の補正係数を予め決めておくことができ、画像処理の負荷が軽減される。
図24を参照しながら、携帯電話100の影または携帯電話100自体の写り込みが生じる可能性を低減するための制御について説明する。図24は、写り込みが生じる可能性を低減するための制御の例を示すフローチャートである。図24に示す制御は、コントローラ10が、健康管理アプリケーション9Dを実行することにより実現される。
図24に示すように、コントローラ10は、ステップS201として、台形の枠w1を含む撮影画面S1をディスプレイ2Aに表示する。そして、コントローラ10は、ステップS202として、撮影した画像を台形補正するための補正係数を設定する。ここで設定される補正係数は、例えば、枠w1の形状を矩形に補正する係数である。その後、コントローラ10は、ステップS203として、図9に示した処理を実行する。この処理において、コントローラ10は、カメラ13が撮影した画像に含まれる数字、シンボル等を読み取る前に、カメラ13が撮影した画像を、ステップS202で設定した補正係数を用いて台形補正する。
コントローラ10は、図9に示した処理の実行中に、ディスプレイ2Aに表示する枠w1の形状を動的に変化させてもよい。例えば、画像の中の表示部の像の歪みが大き過ぎて数字等の読み取りが困難な場合、コントローラ10は、枠w1の上底を長くする制御、及び、枠w1の上底と下底との距離を広げる制御の少なくとも一方を行ってもよい。このように枠w1の形状を変化させることにより、像の歪みが小さくなる方向へ、換言すれば、携帯電話100と体組成計40がより正対するように、利用者が携帯電話100の位置及び傾きを変化させるように誘導することができる。例えば、表示部の像に含まれる数字等を全体的に読み取ることができない場合に、像の歪みが大き過ぎると判断できる。
あるいは、携帯電話100の影または携帯電話100自体の写り込みのために数字等の読み取りが困難な場合、コントローラ10は、枠w1の上底を短くする制御、及び、枠w1の上底と下底との距離を狭くする制御の少なくとも一方を行ってもよい。このように枠w1の形状を変化させることにより、写り込みの生じ難い方向へ、換言すれば、携帯電話100と体組成計40がより正対しないように、利用者が携帯電話100の位置及び傾きを変化させるように誘導することができる。例えば、表示部の像に含まれる数字等を部分的に読み取ることができない場合に、写り込みが生じていると判断できる。
このように枠w1の形状を動的に変化させる場合、コントローラ10は、ステップS202で設定した補正係数を、変化後の枠w1の形状に合わせて変更する。
上記の説明では、携帯電話100の影または携帯電話100自体の写り込みが生じる可能性を低減するための表示制御の例として、台形の枠w1を表示する例について説明したが、表示制御は、これに限定されない。例えば、コントローラ10は、台形の枠w1を表示させる代わりに、図24に示したステップS202で設定する補正係数を用いて台形補正を施した画像を撮影画面としてディスプレイ2Aに表示させてもよい。このような制御により、例えば、図19に示した状態で撮影される画像P3(図20参照)は、図25に示す画像P4のように歪みのない画像として表示される。
この場合、携帯電話100は、健康測定器の表示部の撮影時に、図26に示すような撮影画面S2をディスプレイ2Aに表示する。撮影画面S2は、上半分を占める画像表示領域S2aと、下半分を占めるメッセージ表示領域S2bとを有する。画像表示領域S2aは、カメラ13によって撮影される画像が継続的に表示される領域である。画像表示領域S2aには、枠w2が含まれる。枠w2は、矩形形状を有する。画像表示領域S2aは、枠w2を含まなくてもよい。メッセージ表示領域S2bは、利用者へのメッセージが表示される領域である。図26に示す例では、体組成計の表示部が枠に丁度収まるように撮影するように利用者を促すメッセージがメッセージ表示領域S2b内に表示されている。
例えば、図15または図17に示したように、携帯電話100が体組成計40のほぼ真上で体組成計40と正対する状態で撮影が行われた場合、図27の例に示すように、表示部41の像は、台形補正が施されるために上辺が下辺よりも長い台形の形状に歪んでおり、さらに、枠w2と一致しない。このため、利用者は、携帯電話100の位置及び傾きが適切でないことを容易に理解することができる。そして、利用者が携帯電話100の位置及び傾きを調整して、図28の例に示すように、画像の歪みを解消させつつ、表示部41の像の外形を枠w2させると、図25に示した画像P4が得られる状態、すなわち、図19に示す状態が達成される。
このように、台形補正後の画像を表示することによっても、複雑な指示を利用者に与えることなく、好適な状態で利用者に撮影を行わせることができる。さらに、この手法を用いれば、表示される画像、すなわち、計測値の読み取りが行われる画像に歪みが少なくなるように利用者が携帯電話100の位置及び傾きを調整するため、歪みの少ない画像を用いて精度よく計測値を読み取ることができる。
換言すれば、本実施形態は、「携帯電話を体組成計に正対させたい」という利用者の心理を利用したもの、すなわち、図27に示すように、表示部41の像が歪んでいると、携帯電話100が体組成計40に対して正対していないと錯覚し、図19に示すように携帯電話100を傾けようとする利用者の心理を利用したものである。
なお、上述の実施形態では、台形の枠w1及び図27に示した表示部41の像を上辺と下辺とが平行な台形にて表示する例を示したものの、実施形態は、携帯電話100と体組成計40とが正対しないように利用者に意識させることができれば、これに限定されない。
上記の実施形態では、電子機器の例として、携帯電話について説明したが、添付の請求項に係る携帯電子機器は、携帯電話に限定されない。添付の請求項に係る電子機器は、携帯電話以外の携帯電子機器であってもよい。携帯電子機器は、例えば、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、およびゲーム機を含むが、これらに限定されない。添付の請求項に係る電子機器は、携帯電子機器以外の電子機器であってもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例および代替可能な構成を具現化するように構成されるべきである。
100 携帯電話
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B メールアプリケーション
9C ブラウザアプリケーション
9D 健康管理アプリケーション
9X 使用機器情報
9Y 判定情報
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
13 カメラ
14 コネクタ
15 加速度センサ
16 方位センサ
17 ジャイロスコープ
18 GPSレシーバ
200 基地局
300a、300b 情報提供装置
301 通信ユニット
302 コントローラ
303 ストレージ
304 分析プログラム
306 計測値情報
400 音声認識装置
500 ネットワーク
600 機器判定装置

Claims (11)

  1. 健康測定器の略長方形の表示部を撮影するカメラと、
    前記カメラによって撮影される画像を表示するディスプレイと、
    前記カメラによって撮影される画像における前記表示部の像が台形となるように前記ディスプレイの表示を制御するコントローラと
    を備える電子機器。
  2. 前記コントローラは、前記カメラによって撮影される画像における前記表示部の像の外形を一致させるべき枠として、台形の枠を前記ディスプレイに表示させる請求項1に記載の電子機器。
  3. 前記台形は、上底が下底よりも短い等脚台形である請求項2に記載の電子機器。
  4. 前記コントローラは、前記カメラによって撮影される画像のうち、前記台形の内部に表示される部分に含まれる計測値を全体的に読み取ることができない場合に、前記台形の上底を長くする制御、及び、前記台形の上底と下底との距離を広げる制御の少なくとも一方を行う請求項2または3に記載の電子機器。
  5. 前記コントローラは、前記カメラによって撮影される画像のうち、前記台形の内部に表示される部分に含まれる計測値を部分的に読み取ることができない場合に、前記台形の上底を短くする制御、及び、前記台形の上底と下底との距離を狭くする制御の少なくとも一方を行う請求項2から4のいずれか1項に記載の電子機器。
  6. 前記コントローラは、前記カメラによって撮影される画像に台形補正を施した画像から前記健康測定器の表示部に表示されている計測値を読み出すとともに、当該台形補正を施した画像を前記ディスプレイに表示させる請求項1に記載の電子機器。
  7. カメラ及びディスプレイを備える電子機器の制御方法であって、
    健康測定器の略長方形の表示部を前記カメラで撮影するステップと、
    前記カメラによって撮影される画像を前記ディスプレイに表示するステップと、
    前記カメラによって撮影される画像における前記表示部の像が台形となるように前記ディスプレイの表示を制御するステップと
    を含む制御方法。
  8. カメラ及びディスプレイを備える電子機器に、
    健康測定器の略長方形の表示部を前記カメラで撮影するステップと、
    前記カメラによって撮影される画像を前記ディスプレイに表示するステップと、
    前記カメラによって撮影される画像における前記表示部の像が台形となるように前記ディスプレイの表示を制御するステップと
    を実行させるプログラム。
  9. 健康測定器の略長方形の表示部を撮影するカメラを備える電子機器であって、
    当該電子機器が前記表示部と正対する場合に、前記カメラが撮影した前記表示部の像を、台形になるように表示するディスプレイをさらに備える電子機器。
  10. 前記ディスプレイは、前記電子機器が前記表示部と正対する場合に、前記表示部の像を、上辺が下辺よりも長い台形になるように表示する請求項9に記載の電子機器。
  11. 健康測定器の略長方形の表示部を撮影する電子機器における制御方法であって、
    当該電子機器が前記表示部と正対する場合に、撮影した前記表示部の像を、台形になるように表示するステップを備える制御方法。
JP2012197763A 2012-08-29 2012-09-07 電子機器、制御方法およびプログラム Active JP5898596B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012197763A JP5898596B2 (ja) 2012-09-07 2012-09-07 電子機器、制御方法およびプログラム
US14/424,297 US9654743B2 (en) 2012-08-29 2013-08-27 Electronic device, information providing system, control method, and control program
PCT/JP2013/072915 WO2014034683A1 (ja) 2012-08-29 2013-08-27 電子機器、情報提供システム、制御方法および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012197763A JP5898596B2 (ja) 2012-09-07 2012-09-07 電子機器、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014052898A true JP2014052898A (ja) 2014-03-20
JP5898596B2 JP5898596B2 (ja) 2016-04-06

Family

ID=50611319

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012197763A Active JP5898596B2 (ja) 2012-08-29 2012-09-07 電子機器、制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP5898596B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123227A1 (ja) * 2016-12-28 2018-07-05 オムロンヘルスケア株式会社 端末装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067321A (ja) * 2006-09-11 2008-03-21 Matsushita Electric Ind Co Ltd データ登録管理装置
JP2010048917A (ja) * 2008-08-20 2010-03-04 Seiko Epson Corp プロジェクタ
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
JP2011199479A (ja) * 2010-03-18 2011-10-06 Toshiba Corp 情報処理装置、情報処理プログラムおよび情報処理方法
JP2012014430A (ja) * 2010-06-30 2012-01-19 Canon Inc 画像処理装置、制御方法、及びプログラム
JP2012019295A (ja) * 2010-07-06 2012-01-26 Canon Inc 表示システム、投影装置及び撮像装置
JP2012065247A (ja) * 2010-09-17 2012-03-29 Toshiba Corp 情報処理装置、方法およびプログラム
JP2012108720A (ja) * 2010-11-17 2012-06-07 Toshiba Corp 情報処理装置、方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008067321A (ja) * 2006-09-11 2008-03-21 Matsushita Electric Ind Co Ltd データ登録管理装置
JP2010048917A (ja) * 2008-08-20 2010-03-04 Seiko Epson Corp プロジェクタ
JP2011081715A (ja) * 2009-10-09 2011-04-21 Toshiba Corp 監視システム及び監視方法
JP2011199479A (ja) * 2010-03-18 2011-10-06 Toshiba Corp 情報処理装置、情報処理プログラムおよび情報処理方法
JP2012014430A (ja) * 2010-06-30 2012-01-19 Canon Inc 画像処理装置、制御方法、及びプログラム
JP2012019295A (ja) * 2010-07-06 2012-01-26 Canon Inc 表示システム、投影装置及び撮像装置
JP2012065247A (ja) * 2010-09-17 2012-03-29 Toshiba Corp 情報処理装置、方法およびプログラム
JP2012108720A (ja) * 2010-11-17 2012-06-07 Toshiba Corp 情報処理装置、方法およびプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123227A1 (ja) * 2016-12-28 2018-07-05 オムロンヘルスケア株式会社 端末装置
JP2018109802A (ja) * 2016-12-28 2018-07-12 オムロンヘルスケア株式会社 端末装置
CN110100284A (zh) * 2016-12-28 2019-08-06 欧姆龙健康医疗事业株式会社 终端装置
RU2727462C1 (ru) * 2016-12-28 2020-07-21 Омрон Хэлткэа Ко., Лтд. Оконечное устройство

Also Published As

Publication number Publication date
JP5898596B2 (ja) 2016-04-06

Similar Documents

Publication Publication Date Title
WO2014034683A1 (ja) 電子機器、情報提供システム、制御方法および制御プログラム
KR102386398B1 (ko) 촬영 모드에 따라 이미지에 대한 표시자를 다르게 제공하는 방법 및 그 전자 장치
JP6070512B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US8838085B2 (en) Use of proximity sensors for interacting with mobile devices
CN110462572A (zh) 电子装置及其控制方法
JP5734910B2 (ja) 情報提供システムおよび情報提供方法
JP6196024B2 (ja) 情報提供システム、電子機器、制御方法及び制御プログラム
CN108475171A (zh) 具有柔性显示器的电子设备以及用于操作电子设备的方法
JP6483452B2 (ja) 電子機器、制御方法、及び制御プログラム
CN103927080A (zh) 控制控件操作的方法和装置
CN109753327A (zh) 一种控件布局方法、终端及计算机可读存储介质
EP3686720A1 (en) Method and apparatus for identifying fingerprint, electronic device, and computer readable storage medium
KR102519578B1 (ko) 전자 장치의 화면 표시 방법 및 그 장치
CN112423138A (zh) 一种搜索结果展示方法及终端设备
JP2015092304A (ja) 情報表示装置
CN108427533A (zh) 电子设备及用于确定电子设备的环境的方法
JP5917999B2 (ja) 情報提供システム、情報提供方法、および電子機器
WO2017050090A1 (zh) 生成gif文件的方法、设备及计算机可读存储介质
JP6096854B1 (ja) 電子機器及び電子機器の動作方法
US20150253932A1 (en) Information processing apparatus, information processing system and information processing method
JP5898596B2 (ja) 電子機器、制御方法およびプログラム
WO2017032180A1 (zh) 电子终端中采集的画面的角度切换方法及装置
JP2013254406A (ja) 表示装置、表示方法及びプログラム。
KR20170096499A (ko) 이동단말기 및 그 제어방법
JP6320671B2 (ja) 電子機器、制御方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160304

R150 Certificate of patent or registration of utility model

Ref document number: 5898596

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150