JP2014045794A - 電子機器、制御方法およびプログラム - Google Patents

電子機器、制御方法およびプログラム Download PDF

Info

Publication number
JP2014045794A
JP2014045794A JP2012188808A JP2012188808A JP2014045794A JP 2014045794 A JP2014045794 A JP 2014045794A JP 2012188808 A JP2012188808 A JP 2012188808A JP 2012188808 A JP2012188808 A JP 2012188808A JP 2014045794 A JP2014045794 A JP 2014045794A
Authority
JP
Japan
Prior art keywords
image
orientation
measurement value
display unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012188808A
Other languages
English (en)
Other versions
JP6320671B2 (ja
Inventor
Naoki Harada
直樹 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2012188808A priority Critical patent/JP6320671B2/ja
Priority to US14/424,297 priority patent/US9654743B2/en
Priority to PCT/JP2013/072915 priority patent/WO2014034683A1/ja
Publication of JP2014045794A publication Critical patent/JP2014045794A/ja
Application granted granted Critical
Publication of JP6320671B2 publication Critical patent/JP6320671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】測定器の構成を複雑化することなく、測定器の測定した値を他の装置へ送信することを可能にする。
【解決手段】電子機器(携帯電話)100は、カメラ13と、コントローラ10とを備える。カメラ13は、測定器の表示部を撮影する。コントローラ10は、カメラ13によって撮影される画像の向きが表示部の向きと一致するように(画像の長手方向と表示部の長手方向とが一致するように)制御を行う。コントローラ10は、カメラ13によって撮影される画像に健康測定器の計測値が含まれると判定した場合に上記の制御を行ってもよい。
【選択図】図3

Description

本出願は、電子機器、制御方法およびプログラムに関する。
健康管理のために、体重を計測する体重計、血圧を計測する血圧計、歩数を計測する歩数計等の様々な測定器が利用されている。このような測定器には、測定した値を情報処理装置へ送信するための通信機能を持つものがある(例えば、特許文献1および特許文献2参照)。情報処理装置へ送信された値は、各種の分析に用いられる。
特開2008−033834号公報 特開2005−319216号公報
個々の測定器に通信機能を持たせると、構成が複雑化するために、コストの増大を招くとともに、小型化が難しくなる。上記のことから、測定器の構成を複雑化することなく、測定器の測定した値を他の装置で活用することを可能にする電子機器、制御方法およびプログラムに対するニーズがある。
1つの態様に係る電子機器は、健康測定器の表示部を撮影するカメラと、前記カメラによって撮影される画像の向きが前記表示部の向きと一致するように制御を行うコントローラとを備える。
1つの態様に係る制御方法は、カメラを備える電子機器の制御方法であって、健康測定器の表示部を前記カメラで撮影するステップと、前記カメラによって撮影される画像の向きが前記表示部の向きと一致するように制御を行うステップとを含む。
1つの態様に係るプログラムは、カメラを備える電子機器に、健康測定器の表示部を前記カメラで撮影するステップと、前記カメラによって撮影される画像の向きが前記表示部の向きと一致するように制御を行うステップとを実行させる。
図1は、実施形態に係る情報提供システムの構成を示す図である。 図2は、情報提供システムの動作の概要を示す図である。 図3は、携帯電話のブロック図である。 図4は、画像に含まれる体組成計の例を示す図である。 図5は、画像に含まれる活動量計の例を示す図である。 図6は、画像に含まれる血圧計の例を示す図である。 図7は、情報提供装置のブロック図である。 図8は、計測値情報の例を示す図である。 図9は、計測値を読み取って送信する処理の手順を示すフローチャートである。 図10は、画面遷移の例を示す図である。 図11は、情報提供システムの動作の変形例を示す図である。 図12は、情報提供システムの動作の他の変形例を示す図である。 図13は、情報提供システムの動作の他の変形例を示す図である。 図14は、情報提供システムの他の構成を示す図である。 図15は、光源の下で体組成計の表示部を撮影する場合の例を示す図である。 図16は、携帯電話の影が写り込んだ画像の例を示す図である。 図17は、携帯電話の影が写り込んだ画像の他の例を示す図である。 図18は、表示部と異なる向きで撮影された画像の例を示す図である。 図19は、表示部と同じ向きで撮影された画像の例を示す図である。 図20は、撮影される画像の向きと画像に含まれる健康測定器の表示部の向きとを一致させるための制御の例を示すフローチャートである。
本発明を実施するための実施形態を、図面を参照しつつ詳細に説明する。以下の実施形態では、電子機器の例として携帯電話を用いて説明を行う。
(実施形態)
図1を参照しながら、実施形態に係る情報提供システムの構成について説明する。図1に示すように、情報提供システムは、携帯電話100と、基地局200と、情報提供装置300aおよび300bと、音声認識装置400と、を含む。以下の説明では、情報提供装置300aおよび300bをいずれであるかを特定することなく情報提供装置300と総称することがある。
携帯電話100は、健康測定器の計測した計測値を読み取り、情報提供装置300へ送信する機能を有する。健康測定器は、健康に関する数値を計測する測定器である。健康測定器は、例えば、体重を計測する体重計、体重に加えて体脂肪率等を計測する体組成計、体温を計測する体温計、血圧を計測する血圧計、脈拍を計測する脈拍計、歩数を計測する歩数計、歩行を含む運動による活動量を計測する活動量計を含む。
携帯電話100は、健康測定器をカメラで撮影することにより、健康測定器が備える表示部に表示される計測値を読み取る。このように表示部に表示される計測値をカメラで撮影することにより、携帯電話100は、健康測定器が通信機能を持たなくても、健康測定器の計測した計測値を読み取ることができる。読み取られた計測値は、携帯電話100が有する通信機能によって情報提供装置300へ送信される。携帯電話100による計測値の読み取りの詳細については後述する。
基地局200、情報提供装置300、および音声認識装置400は、ネットワーク500によって通信可能に接続される。
基地局200は、通信圏内に所在する携帯電話100との間に無線通信回線を確立し、携帯電話100がこの無線通信回線を通じて他の装置と通信することを可能にする。以下では、説明を簡単にするため、携帯電話100の通信に関して説明する場合に、基地局200に関する記載を省略することがある。
情報提供装置300は、携帯電話100から送信される計測値を、携帯電話100の利用者のID(識別番号)および日時(タイムスタンプ)と対応付けて記憶する。情報提供装置300は、それぞれの利用者の識別番号と対応付けて、複数の種類の健康測定器の計測値を記憶することができる。そして、情報提供装置300は、こうして蓄積された計測値に基づいて分析処理を行い、健康に関するアドバイス等の情報を携帯電話100へ送信する。情報提供装置300は、複数存在し、それぞれが異なる運営業者によって運営される。
音声認識装置400は、他の装置から送信される音声情報の内容を音声認識処理によって解析し、解析した内容を送信元の装置へ送信する。例えば、携帯電話100が利用者の音声を記録した音声情報を音声認識装置400へ送信すると、音声認識装置400は、音声情報の内容を音声認識処理によって解析し、解析した内容をテキストデータとして携帯電話100へ送信する。このような仕組みにより、携帯電話100の音声操作が実現される。
情報提供システムの構成は、図1に示した例に限定されない。例えば、情報提供システムに含まれる各種装置の数は、図1に示した数よりも多くてもよいし、少なくてもよい。情報提供システムは、音声認識装置400を含まなくてもよい。情報提供装置300が家庭内のパソコンであり、基地局200が家庭内の無線LANルータであってもよい。
図2を参照しながら、情報提供システムの動作の概要について説明する。図2に示す動作に先立って、健康測定器が計測を実行し、計測値が健康測定器の表示部に表示されているものとする。この状態で、携帯電話100は、カメラを用いて健康測定器を撮影する(ステップS11)。そして、携帯電話100は、撮影された画像に含まれる計測値の位置および種別を判定する(ステップS12)。本出願における撮影は、シャッターが切られたとき(レリーズボタンが押されたとき)に画像を取得することに限定されず、いわゆるライブビューのように、画像を表示部に表示しながら継続的に取得することも含む。
こうして計測値の位置および種別を判定した後、携帯電話100は、撮影された画像から計測値を読み取る(ステップS13)。画像に含まれる計測値の読み取りは、公知の文字認識技術を用いて実現できる。携帯電話100は、読み取った計測値を、付加情報と共に情報提供装置300へ送信する(ステップS14)。付加情報は、情報提供装置300の計測値を分析に利用するために必要な情報である。付加情報は、例えば、計測値の種別を示す値、計測値の単位を示す値等を含む。
撮影された画像から複数の計測値が読み取られた場合、携帯電話100は、計測値を別々に送信してもよいし、まとめて送信してもよい。携帯電話100は、複数の種類の健康測定器から取得した計測値を記憶しておき、何らかのタイミングでそれらをまとめて情報提供装置300へ送信してもよい。この場合、携帯電話100は、それぞれの計測値と対応付けて、計測値を取得した日時を記憶しておき、記憶しておいた日時を送信時に付加情報に含める。
情報提供装置300が複数存在する場合、携帯電話100は、予め決められた情報提供装置300へ計測値および付加情報を送信してもよいし、撮影された画像から取得されたメーカ、種別等の情報に応じて、送信先の情報提供装置300を決定してもよい。
情報提供装置300は、携帯電話100から送信された計測値を、携帯電話100の利用者のIDおよびタイムスタンプと対応付けて記憶する(ステップS15)。利用者のIDは、付加情報から取得してもよいし、携帯電話100から情報提供装置300へ計測値を送信するパケットのヘッダの値に基づいて取得してもよい。タイムスタンプは、付加情報から取得してもよいし、計測値を受信した際の情報提供装置300の計時部の値に基づいて取得してもよい。タイムスタンプは、付加情報から取得する場合、計測値が読み取られた日時、または計測値が送信された日時を示し、情報提供装置300の計時部の値に基づいて取得する場合、計測値が受信された日時を示す。
その後、情報提供装置300は、記憶している計測値に基づいて分析処理を実行する(ステップS16)。分析処理は、何らかの計測値を受信する度に実行してもよいし、特定の種類の計測値(例えば、体重)を受信する度に実行してもよい。あるいは、分析処理は、予め決められた時刻に実行してもよい。
分析処理では、携帯電話100の利用者に関する複数の計測値の経時的な変化等に基づいて、健康に関する分析が行われる。情報提供装置300には複数の利用者に関する計測値が蓄積されるため、情報提供装置300は、分析処理において、複数の利用者に関する計測値を統計的に処理した情報を利用してもよい。
情報提供装置300は、分析結果を携帯電話100へ送信する(ステップS17)。携帯電話100は、送信された分析結果を表示する(ステップS18)。分析結果は、電子メールとして携帯電話100へ送信してもよいし、他の所定の形式で携帯電話100へ送信してもよい。計測値および付加情報がHTTP(HyperText Transfer Protocol)リクエストとして送信され、分析結果がHTML(HyperText Markup Language)形式で応答されるように構成してもよい。
このように、健康測定器から読み取られた計測値を蓄積して分析することにより、個別の計測値からは気付くことが難しい情報を利用者に提供することができる。
図3を参照しながら、携帯電話100の構成について説明する。図3に示すように、携帯電話100は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、GPS(Global Positioning System)レシーバ18とを有する。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、または無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、および図形等を表示する。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、またはスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、またはスタイラスペン等がタッチスクリーン2Bに接触した位置を検出することができる。以下の説明では、タッチスクリーン2Bに対して接触する指、ペン、またはスタイラスペン等を、「接触オブジェクト(接触物)」と呼ぶことがある。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(または超音波方式)、赤外線方式、電磁誘導方式、および荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者は携帯電話100を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。
携帯電話100は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、および接触が検出された回数の少なくとも1つに基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーン2Bに対して行われる操作である。携帯電話100によって判別されるジェスチャは、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、およびピンチアウトを含むがこれらに限定されない。
ボタン3は、利用者によって操作される。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、およびマルチプッシュを含むが、これらに限定されない。
照度センサ4は、携帯電話100の周囲光の照度を検出する。照度は、光の強さ、明るさ、または輝度を示す。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化または超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、タッチスクリーンディスプレイ2が顔に近付けられたことを検出する。照度センサ4および近接センサ5は、一つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、2G、3G、4G等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communia,ctions)、PHS(Personal Handy−phone System)等がある。無線通信規格として、さらに、例えば、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communia,ction)等がある。通信ユニット6は、上述した通信規格の1つまたは複数をサポートしていてもよい。
レシーバ7およびスピーカ11は、音出力部である。レシーバ7およびスピーカ11は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音および音楽を出力するために用いられる。レシーバ7およびスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音入力部である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラムおよびデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bを介して検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーションおよび制御プログラムは、通信ユニット6による無線通信または非一過的な記憶媒体を介してストレージ9に導入されてもよい。
ストレージ9は、例えば、制御プログラム9A、メールアプリケーション9B、ブラウザアプリケーション9C、健康管理アプリケーション9D、使用機器情報9X、判定情報9Y、および設定データ9Zを記憶する。制御プログラム9Aは、携帯電話100を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、検出される操作に応じて、アプリケーションを起動または終了させる。
メールアプリケーション9Bは、電子メールの作成、送信、受信、および表示等のための電子メール機能を提供する。ブラウザアプリケーション9Cは、WEBページを表示するためのWEBブラウジング機能を提供する。
健康管理アプリケーション9Dは、健康測定器の表示部に表示される計測値を読み取って情報提供装置300へ送信する機能と、情報提供装置300から送信される分析結果をディスプレイ2Aに表示する機能とを提供する。
使用機器情報9Xには、携帯電話100の利用者が使用する健康測定器(以下、「使用機器」ということがある)の外観上の特徴を示す情報と、その健康測定器が表示する計測値の位置および種別を示す情報とが含まれる。健康測定器の外観上の特徴を示す情報は、例えば、形状(健康測定器全体または一部の形状)、色、計測値の字形、計測値の配置、計測値の近傍に存在する文字列または記号、健康測定器の表面に存在するその他の文字またはシンボルとその位置、の少なくとも1つを含む。健康測定器の表示部に複数の計測値が同時に表示される場合、計測値の位置および種別を示す情報には、それぞれの計測値に対応する情報が含まれる。健康測定器の表示部に表示される計測値が切り替わる場合、計測値の位置および種別を示す情報には、計測値が表示される順序に関する情報が含まれる。
後述するように、使用機器情報9Xには、携帯電話100が新たな健康測定器から計測値を読み取る度に情報が追加される。使用機器情報9Xは、当初は、空であってもよいし、予め選択された健康測定器に対応する情報を保持していてもよい。
判定情報9Yには、撮影された画像のどこにどの計測値が存在するかを判定するための情報が含まれる。具体的には、判定情報9Yには、市場に存在する健康測定器毎に、外観上の特徴に関する情報と、健康測定器が表示する計測値の位置および種別を示す情報とが対応付けて格納される。健康測定器の外観上の特徴を示す情報は、例えば、形状(健康測定器全体または一部の形状)、色、計測値の字形、計測値の配置、計測値の近傍に存在する文字列または記号、健康測定器の表面に存在するその他の文字またはシンボルとその位置、の少なくとも1つを含む。健康測定器の表示部に複数の計測値が同時に表示される場合、計測値の位置および種別を示す情報には、それぞれの計測値に対応する情報が含まれる。健康測定器の表示部に表示される計測値が切り替わる場合、計測値の位置および種別を示す情報には、計測値が表示される順序に関する情報が含まれる。
判定情報9Yには、外観上の特徴がほぼ同じで、表示される計測値の位置および種別が同じ複数の機種をまとめて、1つの健康測定器として情報を格納してもよい。判定情報9Yは、市場に存在する全ての健康測定器に関する情報を網羅しなくてもよい。
判定情報9Yには、未知の健康測定器からも計測値を読み取ることができるように、抽象化された情報も含まれる。具体的には、判定情報9Yには、計測値の種別毎に、計測値の近傍に存在する可能性の高い文字またはシンボルに関する情報が格納される。一般に、計測値の近傍には、計測値の名称または単位の少なくとも一方が存在する。このような名称または単位を計測値の種別と対応付けて格納しておくことにより、名称または単位を手がかりとして、その近傍の計測値を検出し、その計測値の種別を判定することが可能になる。この場合、計測値の検出を容易にするために、名称または単位とともに、それに対応する計測値の相対位置を格納してもよい。例えば、単位を格納する場合、その左側に計測値が存在する旨をさらに格納してもよい。
判定情報9Yには、抽象化された情報として、さらに、計測値の種別毎に、計測値の範囲に関する情報が格納される。例えば、計測値が体温である場合、その範囲として、35℃から40℃の範囲が格納される。例えば、計測値が最高血圧である場合、その範囲として、100mmHgから200mmHgの範囲が格納される。画像中に数値が検出された場合に、その数値を範囲と照合することにより、その数値が計測値であるかと、どの種別の計測値であるかとを判定することができる。
判定情報9Yには、抽象化された情報として、さらに、計測値の配置に関する情報が格納される。複数の計測値が同時に表示される場合、計測値の配置は、メーカまたは健康測定器毎に法則性を有することがある。例えば、脈拍計の場合、上から順に最高血圧、最低血圧、脈拍数が縦に表示されることが多い。画像中に複数の数値が検出された場合にそれらの数値の配置を法則性と照合することにより、それらの数値が計測値であるかと、それぞれがどの種別の計測値であるかとを判定することができる。
判定情報9Yには、健康測定器のメーカおよび種別を判定するための情報も含まれる。具体的には、判定情報9Yには、メーカ毎に、表示される計測値の字形に関する情報が格納される。さらに、判定情報9Yには、メーカ毎別に、健康測定器の表面に印字、刻印、または貼付される会社の名称またはシンボルに関する情報が格納される。さらに、判定情報9Yには、メーカ毎および健康測定器の種別に、健康測定器の表面に印字、刻印、または貼付される型番に関する情報が格納される。判定情報9Yには、健康測定器の外観上の特徴に関する情報と対応付けて、健康測定器のメーカおよび種別を判定するための情報が格納される。判定情報9Yに含まれる上記の抽象化された情報は、健康測定器のメーカまたは種別毎に格納されてもよい。
設定データ9Zは、携帯電話100の動作に関する各種の設定に関する情報を含む。
コントローラ10は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、およびFPGA(Field−Programmable Gate Array)を含むが、これらに限定されない。コントローラ10は、携帯電話100の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データおよび命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、レシーバ7、およびスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、マイク8、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、およびGPSレシーバ18を含むが、これらに限定されない。
コントローラ10は、例えば、健康管理アプリケーション9Dを実行することにより、健康測定器の表示部に表示される計測値を読み取って情報提供装置300へ送信する機能と、情報提供装置300から送信される分析結果をディスプレイ2Aに表示する機能とを実現する。
カメラ12は、フロントフェイスに面している物体を撮影するインカメラである。カメラ13は、バックフェイスに面している物体を撮影するアウトカメラである。カメラ13は、健康測定器を撮影するためにも用いられる。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、および通信装置を含むが、これらに限定されない。
加速度センサ15は、携帯電話100に働く加速度の方向および大きさを検出する。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、携帯電話100の角度および角速度を検出する。加速度センサ15、方位センサ16およびジャイロスコープ17の検出結果は、携帯電話100の位置および姿勢の変化を検出するために、組み合わせて利用される。GPSレシーバ18は、携帯電話100の位置を検出する。
図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、通信ユニット6による無線通信で他の装置からダウンロードされてもよい。図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu−ray(登録商標)等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、およびソリッドステート記憶媒体を含むが、これらに限定されない。
図3に示した携帯電話100の構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、図3に示した例では、携帯電話100が2つのカメラを備えるが、携帯電話100は、カメラ13のみを備えてもよい。図3に示した例では、携帯電話100が位置および姿勢を検出するために4種類のセンサを備えるが、携帯電話100は、このうちいくつかのセンサを備えなくてもよい。あるいは、携帯電話100は、位置および姿勢の少なくとも1つを検出するための他の種類のセンサを備えてもよい。
図4〜図6を参照しながら、携帯電話100による計測値の読み取りの例について説明する。図4は、カメラ13によって撮影された画像に含まれる体組成計40の例を示す図である。体組成計40は、表示部41と、表面に印字されたメーカ名44と、体脂肪率を計測するための電極45とを有する。表示部41には、体重を示す計測値42aと、体脂肪率を示す計測値43aとが表示されている。さらに、計測値42aの右隣には、体重の単位がKgであることを示す単位42bが表示され、計測値43aの右隣には、体脂肪率が百分率で表示されていることを示すシンボル43bが表示されている。
このような体組成計40が画像に含まれる場合、携帯電話100は、数値である計測値42aおよび計測値43aと、計測値42aの近傍の単位42bと、計測値43aの近傍のシンボル43bとを検出する。さらに、携帯電話100は、計測値42aおよび計測値43aを含む体組成計40の外観上の特徴に関する情報を取得する。例えば、体組成計40の形状40a、体組成計40の色、表示部41の位置、表示部41に表示される情報の字体および配置、メーカ名44を構成する文字、メーカ名44の字体および位置、電極45および電極45の位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値42aが体重を示しており、計測値43aが体脂肪率を示していると判定する。そして、携帯電話100は、文字認識処理によって、体重および体脂肪率を数値データとして取得する。
図5は、カメラ13によって撮影された画像に含まれる活動量計50の例を示す図である。活動量計50は、表示部51と、表面に印字された型番54と、ボタン55と、ボタン56とを有する。表示部51には、歩数を示す計測値52aと、消費カロリーを示す計測値53aとが表示されている。さらに、計測値52aの右隣には、歩数の単位が歩(STEP)であることを示す単位52bが表示され、計測値53aの右隣には、消費カロリーの単位がKcalであることを示す単位53bが表示されている。
このような活動量計50が画像に含まれる場合、携帯電話100は、数値である計測値52aおよび計測値53aと、計測値52aの近傍の単位52bと、計測値53aの近傍の単位53bとを検出する。さらに、携帯電話100は、計測値52aおよび計測値53aを含む活動量計50の外観上の特徴に関する情報を取得する。例えば、活動量計50の形状50a、活動量計50の色、表示部51の位置、表示部51に表示される情報の字体および配置、型番54を構成する文字、型番54の字体および位置、ボタン55および56の形状および位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値52aが歩数を示しており、計測値53aが消費カロリーを示していると判定する。そして、携帯電話100は、文字認識処理によって、歩数および消費カロリーを数値データとして取得する。計測値52aが歩数を示しており、計測値53aが消費カロリーを示していると携帯電話100が判定するタイミングは、文字認識処理を行った後でもよい。
図6は、カメラ13によって撮影された画像に含まれる血圧計60の例を示す図である。血圧計60は、表示部61と、ボタン65とを有する。表示部61には、最高血圧を示す計測値62aと、最低血圧を示す計測値63aと、脈拍数を示す計測値64aとが表示されている。さらに、計測値62aの左隣には、計測値62aが最高血圧を示すことを表す名称62bが印字され、計測値63aの左隣には、計測値63aが最低血圧を示すことを表す名称63bが印字され、計測値64aの左隣には、計測値64aが脈拍数を示すことを表す名称64bが印字されている。
このような血圧計60が画像に含まれる場合、携帯電話100は、数値である計測値62a、計測値63a、および計測値64aと、計測値62aの近傍の名称62bと、計測値63aの近傍の名称63bと、計測値64aの近傍の名称64bとを検出する。さらに、携帯電話100は、計測値62a、計測値63a、および計測値64aを含む血圧計60の外観上の特徴に関する情報を取得する。例えば、血圧計60の形状60a、血圧計60の色、表示部61の位置、表示部61に表示される情報の字体および配置、名称62b〜64bを構成する文字、名称62b〜64bの字体および位置、ボタン65の形状および位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値62aが最高血圧を示しており、計測値63aが最低血圧を示しており、計測値64aが脈拍を示していると判定する。そして、携帯電話100は、文字認識処理によって、最高血圧、最低血圧、および脈拍数を数値データとして取得する。
図7および図8を参照しながら、情報提供装置300の構成について説明する。図7に示すように、情報提供装置300は、通信ユニット301と、コントローラ302と、ストレージ303とを有する。通信ユニット301は、所定のプロトコルに基づく他の装置との通信を可能にする。
コントローラ302は、CPU(Central Processing Unit)等の演算処理装置である。コントローラ302は、情報提供装置300の動作を統括的に制御して各種の機能を実現する。具体的には、コントローラ302は、ストレージ303に記憶されているデータを必要に応じて参照しつつ、ストレージ303に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ302は、データおよび命令に応じて各種の情報処理を実行する。
コントローラ302は、例えば、分析プログラム304を実行することにより、蓄積されている計測値に基づく分析処理を実行する。
ストレージ303は、プログラムおよびデータを記憶する。ストレージ303は、コントローラ302の処理結果を一時的に記憶する作業領域としても利用される。ストレージ303は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ303は、複数の種類の記憶媒体を含んでよい。ストレージ303は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ303は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ303は、例えば、分析プログラム304、および計測値情報306を記憶する。分析プログラム304は、蓄積されている計測値に基づく分析処理を実行するための機能を提供する。
計測値情報306には、携帯電話100から送信される計測値が蓄積される。計測値情報306の例を図8に示す。図8に示すように、計測値情報306は、利用者ID、タイムスタンプ、および種別といった項目と、計測値とその種別を示す名称とが対応付けて格納される複数の項目とを有する。利用者IDの項目には、携帯電話100の利用者を識別するための識別子が格納される。タイムスタンプの項目には、計測値が読み取られた日時、計測値が送信された日時、または計測値が受信された日時が格納される。種別の項目には、計測値が読み取られた健康測定器の種別を示す値が格納される。
図8に示す例のように、計測値情報306は、複数の種類の計測値が時系列に格納できるように構成される。このため、情報提供装置300は、複数の種類の計測値の経時的な変化に基づいて、健康に関する高度な分析を行うことができる。
図9および図10を参照しながら、携帯電話100が計測値を読み取って送信する処理の手順について説明する。図9は、計測値を読み取って送信する処理の手順を示すフローチャートである。図10は、計測値を読み取って送信する場合の画面遷移の例を示す図である。図9および図10に示す動作は、携帯電話100のコントローラ10が健康管理アプリケーション9Dを実行することによって実現される。
図9に示す手順を実行するために、コントローラ10は、まず、健康管理アプリケーション9Dを起動する。健康管理アプリケーション9Dの起動は、例えば、利用者の操作の検出を契機として実行される。健康管理アプリケーション9Dを起動するための操作は、他のアプリケーションを起動するための操作と同様の、メニューに対する操作、またはアイコンに対する操作であってもよい。あるいは、健康管理アプリケーション9Dを起動するための操作は、ロック画面上での操作であってもよい。
ロック画面は、携帯電話100を待機状態から通常の状態へ移行させるための操作が行われる画面である。図10に示すステップS21では、ロック画面31がディスプレイ2Aに表示されている。ロック画面31上には、ロック解除アイコン31a、カメラアイコン31b、および計測値読み取りアイコン31cが配置されている。
ロック解除アイコン31aをフリックまたはドラッグによってカメラアイコン31bの方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、写真撮影のためのアプリケーションを起動する。ロック解除アイコン31aをフリックまたはドラッグによって計測値読み取りアイコン31cの方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、健康管理アプリケーション9Dを起動する。ロック解除アイコン31aをフリックまたはドラッグによって他の方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、ホーム画面または待機状態への移行前に表示されていた画面をディスプレイ2Aに表示させる。
このように、ロック画面に対する操作によって健康管理アプリケーション9Dを起動するように構成することにより、利用者が、健康測定器からの計測値の読み取りを迅速に開始することが可能になる。
健康管理アプリケーション9Dが起動されると、図9に示すように、コントローラ10は、まず、カメラ13を起動する(ステップS101)。そして、コントローラ10は、カメラ13を用いて画像を撮影し(ステップS102)、撮影された画像をディスプレイ2Aに表示する(ステップS103)。
この段階では、図10のステップS22に示すように、画像の撮影のための撮影画面32がディスプレイ2Aに表示される。利用者が体組成計に載った状態でカメラ13を体組成計へ向けると、ステップS22に示すように、体重および体脂肪率を表示部に表示している体組成計が撮影される。
続いて、コントローラ10は、カメラ13が撮影する画像中の数字を検出する(ステップS104)。画像中の数字を検出できない場合、すなわち、計測値を表示している健康測定器が写っていない場合(ステップS105,No)、コントローラ10は、ステップS102以降を再実行する。
カメラ13が撮影する画像中の数字を検出できた場合(ステップS105,Yes)、コントローラ10は、数字の近傍の文字を検出する(ステップS106)。さらに、コントローラ10は、数字を含む機器の形状および色を取得し(ステップS107)、機器に含まれるその他の文字およびシンボルを検出する(ステップS108)。そして、コントローラ10は、検出した数字、文字、およびシンボルの配置を取得する(ステップS109)。ステップS106〜S108の順番は、これに限定されない。
こうして健康測定器の外観上の特徴に関する情報を取得した後、コントローラ10は、取得した情報を使用機器情報9Xと照合する(ステップS110)。外観上の特徴に関する情報の一致の度合いが所定値より高い健康測定器が存在する場合、すなわち、画像中の使用機器が検出された場合(ステップS111,Yes)、コントローラ10は、ステップS115以降を実行する。
画像中の使用機器が検出されない場合(ステップS111,No)、コントローラ10は、使用機器以外の健康測定器を検出するために、取得した健康測定器の外観上の特徴に関する情報を判定情報9Yと照合する(ステップS112)。照合によって画像中の健康測定器を特定できない場合(ステップS113,No)、コントローラ10は、ステップS102以降を再実行する。
照合によって画像中の健康測定器が特定された場合(ステップS113,Yes)、コントローラ10は、特定した健康測定器の情報を使用機器情報9Xに追加する(ステップS114)。具体的には、ステップS104からステップS109で取得された外観上の特徴に関する情報が、ステップS113で特定された健康測定器に対応する判定情報9Y中のデータの計測値の位置および種別を示す情報と対応付けて、使用機器情報9Xに追加される。このように、新たに認識された健康測定器の情報を使用機器情報9Xに格納することにより、その健康測定器に関する処理が次回以降高速化される。その後、コントローラ10は、ステップS115以降を実行する。
ステップS115で、コントローラ10は、検出結果表示画面をディスプレイ2Aに表示させる(ステップS115)。そして、コントローラ10は、撮影された画像に含まれる健康測定器のメーカ名および種別を検出結果表示画面上に表示する(ステップS116)。
続いて、コントローラ10は、カメラ13を用いて画像を撮影し(ステップS117)、撮影された画像を検出結果表示画面上に表示する(ステップS118)。そして、コントローラ10は、画像中の計測値を検出し(ステップS119)、検出した計測値を検出結果表示画面上に表示する(ステップS120)。
この段階では、ディスプレイ2Aには、例えば、図10のステップS23に示すような検出結果表示画面33が表示される。検出結果表示画面33は、画像表示領域33aと、送信ボタン33bと、検出結果表示領域33cとを有する。画像表示領域33aは、撮影された画像が表示される領域である。コントローラ10は、撮影された画像のうち、計測値が表示されている領域を拡大して画像表示領域33aに表示する。このため、健康測定器の表示部を見にくい状況でも、利用者は計測値を容易に把握することができる。利用者が、ステップS120において、タッチスクリーン2Bまたはボタン3等を用いて検出結果を修正できるように、携帯電話100を構成してもよい。
送信ボタン33bは、計測値および付加情報の情報提供装置300への送信の実行を指示するためのボタンである。検出結果表示領域33cは、撮影された画像を解析することによって得られた情報が表示される領域である。
続いて、コントローラ10は、計測値および付加情報の送信指示がなされたかを判定する(ステップS121)。送信指示がなされていない場合(ステップS121,No)、コントローラ10は、ステップS117以降を再実行する。このように、コントローラ10は、送信指示がなされるまで、画像の取得、画像の表示、計測値の検出、および検出値の表示を繰り返す。このため、携帯電話100は、画像に含まれる計測値が変化した場合に、その変化を検出結果に反映させることができる。
例えば、体組成計の場合、計測値が安定するまでにしばらく時間を要することがある。この場合でも、コントローラ10は、計測値の検出を繰り返して実行するので、最新の計測値を検出結果に反映させることができる。さらに、体組成計の場合、利用者の操作に応じて、または時間の経過に応じて、表示部に表示される計測値の種類が変化することがある。この場合でも、コントローラ10は、計測値の検出を繰り返して実行するので、図10のステップS24に示すように、新たに表示された計測値を検出結果に反映させることができる。新たに表示された計測値の種別を判定するために、コントローラ10は、ステップS119において、計測値の近傍の文字またはシンボルの検出と、検出した文字またはシンボルと判定情報9Yとの照合とを実行してもよい。
さらに、コントローラ10は、撮影された画像のうち、計測値が表示されている領域を拡大して画像表示領域33aに表示する処理を繰り返して実行するので、手ぶれによって画像がぶれても、画像中の同じ部分を表示させ続けることができる。このため、携帯電話100は、表示される画像の視認性を高めることができる。
さらに、画像の解析が繰り返して実行されるため、健康測定器の型番を携帯電話100に読み取らせて健康測定器の種別と健康測定器の表示部に表示される計測値の位置および種別とを確定させ、その後に計測値を携帯電話100に読み取らせるという運用を利用者が行うこともできる。
送信指示がなされた場合(ステップS121,Yes)、コントローラ10は、通信ユニット6に、検出した計測値と付加情報とを情報提供装置300へ送信するように指示する(ステップS122)。送信指示は、例えば、検出結果表示画面33に表示される計測値を確認した利用者が、図10のステップS24に示すように、指F1を用いて送信ボタン33bをタップすることによって行われる。
その後、情報提供装置300から分析結果が送信されると、分析結果をディスプレイ2Aに表示する。例えば、コントローラ10は、例えば、図10のステップS25に示す分析結果画面34をディスプレイ2Aに表示する。分析結果画面34は、複数の種別の計測値の経時的な変化を示す履歴表示領域34aと、分析処理によって得られたアドバイスが表示されるアドバイス表示領域34bとを有する。
本出願の開示する実施形態は、発明の要旨および範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態およびその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。
例えば、図3および図7に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
携帯電話100の機能と情報提供装置300の機能は、適宜配置を変更してもよい。例えば、情報提供装置300の機能を携帯電話100が実行してもよい。すなわち、携帯電話100が、計測値の読み取りに加えて、計測値の蓄積および分析を実行してもよい。
あるいは、携帯電話100の機能の一部を情報提供装置300が実行してもよい。携帯電話100の機能の一部を情報提供装置300が実行する場合、画像に含まれる計測値の位置と種別を判定するための処理を情報提供装置300が実行してもよい。この場合、図11に示すように、携帯電話100が画像を情報提供装置300へ送信し、使用機器情報9Xとの照合および判定情報9Yとの照合の両方を情報提供装置300が実行するように構成してもよい。あるいは、図12に示すように、使用機器情報9Xとの照合を携帯電話100が実行して計測値の位置等の判定が不能の場合に携帯電話100が画像を情報提供装置300へ送信し、判定情報9Yとの照合を情報提供装置300が実行するように構成してもよい。図11に示す構成では、携帯電話100の負荷が軽減されるとともに、健康測定器の新機種への対応が容易になる。図12に示す構成では、健康測定器の新機種への対応を容易にしつつ、計測値の位置等の判定に要する時間を短縮することができる。
携帯電話100の機能の一部を情報提供装置300が実行する場合、図13に示すように、携帯電話100が画像および付加情報を情報提供装置300へ送信し、情報提供装置300が計測値の位置等の判定に加えて、計測値の読み取りを実行するように構成してもよい。図13に示す構成では、携帯電話100の負荷がさらに軽減される。
あるいは、携帯電話100の機能の一部を情報提供装置300以外の他の装置に実行させてもよい。例えば、図14に示すように、計測値の位置等の判定を行う機器判定装置600を情報提供システムに追加してもよい。
上記の実施例では、携帯電話100が健康測定器の表示部に表示される計測値を読み取る例について説明したが、計測値の読み取り方はこれに限定されない。例えば、携帯電話100は、アナログ式の健康測定器が有する針と目盛りの位置関係から計測値を読み取ってもよい。
体重計または体組成計等の体重を計測する測定器の計測値を読み取る場合、利用者は、携帯電話100を持ったままで測定器に載ると考えられる。そこで、携帯電話100の重量が計測値に与える影響を除去するために、携帯電話100の重量を予め記憶しておき、計測値を表示している機器が体重を計測する測定器の場合には、体重を示す計測値から携帯電話100の重量を控除するように携帯電話100を構成してもよい。
計測値を数値としてだけではなく、携帯電話100が容易に読み取ることができる符号として表示するように健康測定器を構成してもよい。この場合、計測値だけでなく、計測値の種別および単位等を符号化してもよい。符号化は、例えば、一次元バーコードまたは二次元バーコードを用いて実現できる。あるいは、健康測定器の表示部が7セグメントディスプレイの場合、各文字を構成する要素の点滅パターンを符号に割り当てることによって符号化を実現してもよい。
健康測定器に年齢、身長、性別等の利用者の個人情報が登録されている場合、計測値だけでなく、それらの個人情報を表示部に表示するように健康測定器を構成してもよい。このように構成することにより、携帯電話100に登録されていない個人情報を携帯電話100が健康測定器から取得し、情報提供装置300へ送信する等して分析に役立てることが可能になる。個人情報は、文字として健康測定器の表示部に表示されてもよいし、上記のように符号化されて表示されてもよい。個人情報は、予め情報提供装置300に記憶されてもよい。
携帯電話100は、健康測定器の表示部の縦横比(アスペクト比)に応じて、表示部を撮影する画像の向きが変更されるように制御を行ってもよい。図4に示した体組成計40の表示部41を撮影する場合を例にして、表示部の縦横比と画像の縦横比の関係について説明する。以下の説明において、健康測定器の表示部の向きが撮影される画像の向きと一致するということは、表示部の長手方向が画像の長手方向と一致すること(表示部の短手方向が画像の短手方向と一致すること)を意味する。
図15は、光源の下で体組成計40の表示部41を撮影する場合の例を示す図である。図15に示す例では、天井に光源L1が設けられ、体組成計40は床に置かれている。携帯電話100は、体組成計40の表示部41をカメラ13で撮影するために、光源L1と体組成計40の間で利用者によって保持されている。この場合、光源L1からの光によって体組成計40上に携帯電話100の影ができ、その影が、カメラ13で撮影される画像内に写り込む可能性がある。なお、以下の説明では、説明を簡単にするため、携帯電話100を保持する利用者の身体(特に手)については考慮しない。
図16は、携帯電話100の影が写り込んだ画像の例を示す図である。図16に示す画像P1は、表示部41と異なる向きで撮影されている。すなわち、図16に示す画像P1は、画像P1の長手方向が表示部41の長手方向と一致しない向き(画像P1の短手方向が表示部41の短手方向と一致しない向き)で撮影されている。このため、画像P1中の表示部41の像P1aの向きは、画像P1の向きと一致していない。
画像P1には、携帯電話100の影P1bが写り込んでいる。携帯電話100のタッチスクリーンディスプレイ2は、カメラ13と反対側の面のほぼ全面に設けられ、カメラ13が撮影中の画像を自身のほぼ全体に表示することができるように構成される。このため、カメラ13が撮影する画像の向きは、携帯電話100の向きと一致するので、画像P1中の携帯電話100の影P1bの向きは、画像P1の向きと常に同一となる。
このように、画像P1中には、画像P1と異なる向きの表示部41の像P1aと、画像P1と同じ向きの影P1bとが含まれている。このように向きの異なる像は、図16に示す例のように、一部のみが重なり合う関係になりやすい。このように、表示部41の像P1aの一部に影P1bが重なっている場合、像P1a内部の輝度等が部分的に変化し、この部分的な変化が、像P1a内の計測値の読み取りに悪影響を及ぼす可能性がある。特に、健康測定器の表示部がバックライトを持たない反射式の表示パネルを用いている場合、表示部の輝度の変化の幅が元々小さいため、影によって生じる輝度差によって計測値の読み取りが困難になる可能性がある。
図17は、携帯電話100の影が写り込んだ画像の他の例を示す図である。図17に示す画像P2は、表示部41と同じ向きで撮影されている。すなわち、図17に示す画像P2は、画像P2の長手方向が表示部41の長手方向と一致する向き(画像P2の短手方向が表示部41の短手方向と一致する向き)で撮影されている。このため、画像P2中の表示部41の像P2aの向きは、画像P2の向きと一致している。
画像P2には、携帯電話100の影P2bが写り込んでいる。上述したように、カメラ13が撮影する画像の向きは、携帯電話100の向きと一致する。このため、画像P2中の携帯電話100の影P2bの向きは、画像P2の向きと一致している。
このように、画像P2中には、画像P2と同じ向きの表示部41の像P2aと、画像P2と同じ向きの影P2bとが含まれる。このように向きが同じ像は、図17に示す例のように、一方が他方に含まれる関係になりやすい。さらに、健康測定器の表示部の一般的な大きさ、携帯電話の一般的な大きさ、一般的な室内を想定した場合の光源、携帯電話、及び健康測定器の相対位置等を考慮すると、影P2bは、表示部41の像P2aよりも大きくなることが多いと考えられる。このため、画像P2が表示部41と同じ向きで撮影されている場合には、図17に示す例のように、表示部41の像P2aが影P2bに含まれる関係になりやすい。このような関係にあれば、表示部41の像P2aの内部に影P2bによる輝度等の差は生じないため、影P2bが写り込んだとしても、影P2bが計測値の読み取りに与える影響は小さい。
計測値の読み取りには、影による輝度等の変化以外にも、露出調整(自動露出、自動感度調整)のための測光処理が行われる箇所が影響を及ぼすことがある。健康測定器の表示部の向きと撮影される画像の向きとが異なっていると、画像中での表示部の位置が画像の中心から大きくずれていても表示部全体を撮影することができる。図18は、表示部と異なる向きで撮影された画像の例を示す図である。図18に示す画像P5では、表示部41の像P5aは、表示部41全体を含んでいるが、画像P5の中心から大きく上にずれている。このため、携帯電話100が、既定の動作として中央の領域P5bに基づいて測光処理を行うと、表示部41の像P5aを含まない領域の明るさに基づいて露出調整が行われるために、表示部41の像P5a内の計測値の読み取りが困難になる可能性がある。
例えば、体組成計40の領域P5bに対応する部分の色が白色の場合、撮影される画像全体が暗くなり、表示部41の像P5a内の計測値が黒つぶれする可能性がある。あるいは、体組成計40の領域P5bに対応する部分の色が黒色の場合、撮影される画像全体が明るくなり、表示部41の像P5a内の計測値が白飛びする可能性がある。
一方、健康測定器の表示部の向きと撮影される画像の向きとが同じであれば、全体が撮影された表示部の像の位置は画像の中心から大きくずれ難い。図19は、表示部と同じ向きで撮影された画像の例を示す図である。図19に示す画像P6では、表示部41の像P6aは、表示部41全体を含んでいる。画像P6において、表示部41の像P6aは、図18における表示部41の像P5aとほぼ同じ大きさを有し、画像P6の中心から大きく左にずれた位置に写っているが、右端が画像P6のほぼ中央に位置している。このため、携帯電話100が、既定の動作として中央の領域P6bに基づいて測光処理を行うと、表示部41の像P6aを含む領域の明るさに基づいて露出調整が行われるために、表示部41の像P6a内の計測値の読み取りに適した画像P6が得られる。
このように、撮影される画像の向きと画像に含まれる健康測定器の表示部の向きとを一致させることにより、計測値の読み取りに適した画像が得られる可能性を高くすることができる。例えば、健康測定器からの計測値の読み取りが成功するまで、健康測定器の表示部の撮影と撮影された画像の解析とが繰り返して実行される場合、画像の向きと健康測定器の表示部の向きとを一致させることにより、計測値の読み取りが成功するまでに要する時間を短縮することができる。
図20を参照しながら、撮影される画像の向きと画像に含まれる健康測定器の表示部の向きとを一致させるための制御について説明する。図20は、撮影される画像の向きと画像に含まれる健康測定器の表示部の向きとを一致させるための制御の例を示すフローチャートである。図20に示す制御は、コントローラ10が、健康管理アプリケーション9Dを実行することにより実現される。図20に示す制御は、図9に示した処理と並行して実行される。
図20に示すように、コントローラ10は、健康測定器の表示部の向きが確定する前の初期動作として、健康測定器の表示部の向きが横向きであるものと仮定して制御を実行する。これは、健康測定器の表示部の向きは、横向きであることが多いからである。コントローラ10は、利用者による設定または操作に応じて、健康測定器の表示部の向きが縦向きであるものと仮定して制御を実行するように構成されてもよい。
具体的には、コントローラ10は、ステップS201として、健康測定器の表示部を撮影するための撮影画面を横向きに表示する。撮影画面には、カメラ13によって撮影された画像が継続的に表示される。続いて、コントローラ10は、ステップS202として、図9に示した処理のステップS104において、健康測定器の計測値が検出されかを判定する。計測値が検出されていない場合(ステップS202,No)、コントローラ10はステップS203へ進む。
コントローラ10は、ステップS203として、携帯電話100の向きを判定する。携帯電話100の向きは、加速度センサ15、ジャイロスコープ17等の検出器を用いて判定することができる。携帯電話100の向きが横向きである場合(ステップS204,Yes)、コントローラ10は、ステップS202へ戻る。
携帯電話100の向きが横向きでない場合(ステップS204,No)、コントローラ10は、携帯電話100の向きを横向きにするための制御を行う。具体的には、コントローラ10は、ステップS205として、携帯電話100の向きの変更を促すメッセージをディスプレイ2Aに表示する。コントローラ10は、メッセージの表示に加えて、撮影画面への撮影画像の表示を停止してもよい。画像の表示を停止することにより、画像を撮影する向きが適切でないことを利用者に気付かせることができる。その後、コントローラ10は、ステップS202へ戻る。
図9に示した処理のステップS104において、健康測定器の計測値が検出された場合(ステップS202,Yes)、コントローラ10はステップS206へ進む。コントローラ10は、ステップS206として、撮影中の画像中の表示部の向きを判定する。なお、ここで判定される向きは、表示部の長手方向及び短手方向によって決定される向きであり、計測値が表示される向きとは関係がない。表示部の向きは、例えば、図9に示した処理において計測値が検出された領域の形状、図9に示した処理において特定された健康測定器の機種等に基づいて判定することができる。
続いて、コントローラ10は、ステップS207として、健康測定器の表示部の向きが撮影中の画像の向きと一致するかを判定する。表示部の向きが撮影中の画像の向きと一致する場合(ステップS207,Yes)、コントローラ10は、ステップS210へ進む。
健康測定器の表示部の向きが撮影中の画像の向きと一致しない場合(ステップS207,No)、撮影される画像の向きを表示部の向きと一致させるための制御を行う。具体的には、コントローラ10は、ステップS208として、携帯電話100の向きの変更を促すメッセージをディスプレイ2Aに表示し、ステップS209として、撮影画面の向きを変更する。ステップS208とステップS209は、実行順序を問わない。コントローラ10は、これらの制御に加えて、撮影画面への撮影画像の表示を停止してもよい。その後、コントローラ10は、ステップS210へ進む。
コントローラ10は、ステップS210として、撮影が終了するかを判定する。撮影が終了しない場合(ステップS210,No)、コントローラ10は、ステップS206に戻る。撮影が終了する場合(ステップS210,Yes)、コントローラ10は、図20に示す処理を終了する。コントローラ10は、ステップS210において、常に処理を終了させてもよい。
上記の実施形態では、電子機器の例として、携帯電話について説明したが、添付の請求項に係る携帯電子機器は、携帯電話に限定されない。添付の請求項に係る電子機器は、携帯電話以外の携帯電子機器であってもよい。携帯電子機器は、例えば、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、およびゲーム機を含むが、これらに限定されない。添付の請求項に係る電子機器は、携帯電子機器以外の電子機器であってもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例および代替可能な構成を具現化するように構成されるべきである。
100 携帯電話
2 タッチスクリーンディスプレイ
2A ディスプレイ
2B タッチスクリーン
3 ボタン
4 照度センサ
5 近接センサ
6 通信ユニット
7 レシーバ
8 マイク
9 ストレージ
9A 制御プログラム
9B メールアプリケーション
9C ブラウザアプリケーション
9D 健康管理アプリケーション
9X 使用機器情報
9Y 判定情報
9Z 設定データ
10 コントローラ
11 スピーカ
12 カメラ
13 カメラ
14 コネクタ
15 加速度センサ
16 方位センサ
17 ジャイロスコープ
18 GPSレシーバ
200 基地局
300a、300b 情報提供装置
301 通信ユニット
302 コントローラ
303 ストレージ
304 分析プログラム
306 計測値情報
400 音声認識装置
500 ネットワーク
600 機器判定装置

Claims (11)

  1. 健康測定器の表示部を撮影するカメラと、
    前記カメラによって撮影される画像の向きが前記表示部の向きと一致するように制御を行うコントローラと
    を備える電子機器。
  2. 前記コントローラは、前記カメラによって撮影される画像に前記健康測定器の計測値が含まれると判定した場合に前記制御を行う請求項1に記載の電子機器。
  3. 前記表示部の撮影を行うための撮影画面を表示するディスプレイをさらに備え、
    前記コントローラは、前記カメラによって撮影される画像の向きが前記表示部の向きと一致しない場合には、前記撮影画面の向きを変更する請求項1または2に記載の電子機器。
  4. 前記コントローラは、前記カメラによって撮影される画像の向きが前記表示部の向きと一致しない場合には、当該電子機器の向きを変更するように促すメッセージを前記ディスプレイに表示させる請求項3に記載の電子機器。
  5. 前記ディスプレイは、前記カメラの撮影中は、前記カメラの撮影する画像を表示するように構成され、
    前記コントローラは、前記画像の向きが前記表示部の向きと一致しない場合には、前記ディスプレイによる前記画像の表示を行わせない請求項3または4に記載の電子機器。
  6. 前記コントローラは、前記表示部の向きが確定するまでは、前記表示部の向きが横向きであると仮定して前記制御を行う請求項1から5のいずれか1項に記載の電子機器。
  7. 当該電子機器の向きを検出する検出器をさらに備え、
    前記コントローラは、前記表示部の向きが確定するまでは、当該電子機器の向きが横向きになるように前記制御を行う請求項6に記載の電子機器。
  8. カメラを備える電子機器の制御方法であって、
    健康測定器の表示部を前記カメラで撮影するステップと、
    前記カメラによって撮影される画像の向きが前記表示部の向きと一致するように制御を行うステップと
    を含む制御方法。
  9. 前記カメラによって撮影される画像に前記健康測定器の計測値が含まれるか否かを判定するステップをさらに備え、
    前記制御を行うステップは、前記画像に前記健康測定器の計測値が含まれると判定された場合に実行される請求項8に記載の制御方法。
  10. カメラを備える電子機器に、
    健康測定器の表示部を前記カメラで撮影するステップと、
    前記カメラによって撮影される画像の向きが前記表示部の向きと一致するように制御を行うステップと
    を実行させるプログラム。
  11. 前記カメラによって撮影される画像に前記健康測定器の計測値が含まれるか否かを判定するステップをさらに前記電子機器に実行させ、
    前記制御を行うステップは、前記画像に前記健康測定器の計測値が含まれると判定された場合に実行される請求項10に記載のプログラム。
JP2012188808A 2012-08-29 2012-08-29 電子機器、制御方法およびプログラム Active JP6320671B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012188808A JP6320671B2 (ja) 2012-08-29 2012-08-29 電子機器、制御方法およびプログラム
US14/424,297 US9654743B2 (en) 2012-08-29 2013-08-27 Electronic device, information providing system, control method, and control program
PCT/JP2013/072915 WO2014034683A1 (ja) 2012-08-29 2013-08-27 電子機器、情報提供システム、制御方法および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012188808A JP6320671B2 (ja) 2012-08-29 2012-08-29 電子機器、制御方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2014045794A true JP2014045794A (ja) 2014-03-17
JP6320671B2 JP6320671B2 (ja) 2018-05-09

Family

ID=50606120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012188808A Active JP6320671B2 (ja) 2012-08-29 2012-08-29 電子機器、制御方法およびプログラム

Country Status (1)

Country Link
JP (1) JP6320671B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7510708B1 (ja) 2022-12-28 2024-07-04 株式会社Vitaars プログラム、記憶媒体、情報処理装置及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175572A (ja) * 1999-12-20 2001-06-29 Minolta Co Ltd 携帯電子メール端末および電子メール文書作成方法
JP2005122609A (ja) * 2003-10-20 2005-05-12 Mitsubishi Electric Corp 撮像物認識装置
JP2008067321A (ja) * 2006-09-11 2008-03-21 Matsushita Electric Ind Co Ltd データ登録管理装置
JP2010170461A (ja) * 2009-01-26 2010-08-05 Fujitsu Ltd 清書支援プログラム及び清書支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175572A (ja) * 1999-12-20 2001-06-29 Minolta Co Ltd 携帯電子メール端末および電子メール文書作成方法
JP2005122609A (ja) * 2003-10-20 2005-05-12 Mitsubishi Electric Corp 撮像物認識装置
JP2008067321A (ja) * 2006-09-11 2008-03-21 Matsushita Electric Ind Co Ltd データ登録管理装置
JP2010170461A (ja) * 2009-01-26 2010-08-05 Fujitsu Ltd 清書支援プログラム及び清書支援方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7510708B1 (ja) 2022-12-28 2024-07-04 株式会社Vitaars プログラム、記憶媒体、情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
JP6320671B2 (ja) 2018-05-09

Similar Documents

Publication Publication Date Title
JP6196024B2 (ja) 情報提供システム、電子機器、制御方法及び制御プログラム
WO2014034683A1 (ja) 電子機器、情報提供システム、制御方法および制御プログラム
EP3089066B1 (en) Fingerprint information processing method and electronic device supporting the same
KR102289837B1 (ko) 촬영 방법 및 전자 장치
CN109271081B (zh) 滚动截屏的方法及电子设备
KR102264808B1 (ko) 지문 처리 방법 및 그 전자 장치
JP6070512B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110462572A (zh) 电子装置及其控制方法
KR102636637B1 (ko) 운동 정보를 검출하기 위한 방법 및 그 전자 장치
KR102496410B1 (ko) 전자 장치 및 전자 장치의 소리 출력 방법
CN107977110A (zh) 用于获取指纹信息的电子装置和方法
US10091020B2 (en) Electronic device and gateway for network service, and operation method therefor
CN108959361B (zh) 表单管理的方法和装置
CN106462377A (zh) 用于使用多个显示器输出内容的方法和设备
CN108848313B (zh) 一种多人拍照方法、终端和存储介质
JP5917999B2 (ja) 情報提供システム、情報提供方法、および電子機器
CN109803165A (zh) 视频处理的方法、装置、终端及存储介质
CN108900778A (zh) 一种拍摄方法、移动终端及计算机可读存储介质
CN110933468A (zh) 播放方法、装置、电子设备及介质
CN108924452A (zh) 局部录屏方法、装置及计算机可读存储介质
CN113157172A (zh) 弹幕信息显示方法、发送方法、装置、终端及存储介质
KR20160114434A (ko) 전자 장치 및 전자 장치의 이미지 촬영 방법
KR102477522B1 (ko) 전자 장치 및 그의 카메라 노출 조정 방법
KR20180046032A (ko) 전자 장치 및 그의 동작 방법
KR102246645B1 (ko) 영상 획득을 위한 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180313

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180404

R150 Certificate of patent or registration of utility model

Ref document number: 6320671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150