JP2019111317A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2019111317A
JP2019111317A JP2018200206A JP2018200206A JP2019111317A JP 2019111317 A JP2019111317 A JP 2019111317A JP 2018200206 A JP2018200206 A JP 2018200206A JP 2018200206 A JP2018200206 A JP 2018200206A JP 2019111317 A JP2019111317 A JP 2019111317A
Authority
JP
Japan
Prior art keywords
biological information
detection
unit
subject
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018200206A
Other languages
English (en)
Other versions
JP7415318B2 (ja
Inventor
大塚 利彦
Toshihiko Otsuka
利彦 大塚
高弘 冨田
Takahiro Tomita
高弘 冨田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to CN201811530133.4A priority Critical patent/CN110013102B/zh
Priority to US16/226,407 priority patent/US10915617B2/en
Publication of JP2019111317A publication Critical patent/JP2019111317A/ja
Application granted granted Critical
Publication of JP7415318B2 publication Critical patent/JP7415318B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Abstract

【課題】より精度高く生体情報を測定する。【解決手段】画像処理装置1は、画像解析部112と、生体情報測定部114と、判定選択部113と、を備える。画像解析部112は、撮像部16により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する。生体情報測定部114は、画像解析部112により検出された被写体の複数の部位画像の少なくとも何れかから生体情報を取得する。判定選択部113は、画像解析部112により検出された被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する。判定選択部113は、判定選択部113により判定された生体情報の検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。【選択図】図2

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
近年、ユーザを撮像した画像を解析することにより、ユーザの生体情報を測定する技術が存在する。
例えば特許文献1には、ユーザを撮像した画像から特定の被写体領域として人体の所定の部位を検出して、生体情報の1つである脈波伝搬速度の測定を行うという構成が開示されている。
国際公開第2014/136310号公報
しかしながら、特許文献1に開示の技術等の従来の技術では、撮像状態等によっては、測定精度が低くなってしまう場合があるという問題があった。
本発明は、このような状況に鑑みてなされたものであり、より精度高く生体情報を測定することを目的とする。
上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定手段と、
前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択手段と、
を備えることを特徴とする。
本発明によれば、より精度高く生体情報を測定することができる。
本発明の一実施形態に係る画像処理システムの構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置の前面の外観構成を示す構成図である。 本発明の一実施形態に係る画像処理装置の側面の外観構成を示す構成図である。 本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る画像処理装置の機能的構成のうち、生体情報測定処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る画像処理装置が実行する第1の生体情報測定処理の流れを説明するフローチャートである。 本発明の一実施形態に係る画像処理装置が実行する第2の生体情報測定処理の流れを説明するフローチャート(1/2)である。 本発明の一実施形態に係る画像処理装置が実行する第2の生体情報測定処理の流れを説明するフローチャート(2/2)である。 本発明の一実施形態の変形例に係る画像処理装置が実行する第1の生体情報測定処理の流れを説明するフローチャートである。
以下、本発明の実施形態について、図面を用いて説明する。
本発明の実施形態に係る画像処理装置1は、ユーザが携帯可能な自立式の鏡として構成される。画像処理装置1は、ユーザの複数の部位画像夫々についての生体情報の取得のしやすさを判定する。また、画像処理装置1は、判定された生体情報の取得のしやすさ(すなわち、検出の容易度)に基づいて、ユーザの複数の部位画像から所定の部位画像を選択する。そして、画像処理装置1は、選択された所定の部位画像からユーザの生体情報を取得する。
このような画像処理装置1によれば、生体情報の取得のしやすさという指標に基づいて、生体情報を取得する部位画像を選択することから、より精度高く生体情報を測定することができる。
[システム構成]
図1は、本実施形態に係る画像処理装置1が含まれる画像処理システムSの全体構成を示すブロック図である。図1に示すように、画像処理システムSは、複数の画像処理装置1、ネットワーク2及びサーバ群3を含む。
画像処理装置1の台数には、特に制限はなく、n台(nは、任意の自然数)の画像処理装置1が画像処理システム1に含まれていてよい。なお、以下の説明において、n台の画像処理装置1を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「画像処理装置1」と称する。
画像処理装置1は、上述したとおり生体情報の取得のしやすさという指標に基づいて、生体情報を取得する部位画像を選択する装置である。画像処理装置1は、ネットワーク2を介して、サーバ群3に含まれる各サーバと、相互に通信可能に接続されている。
ネットワーク2は、例えば、インターネットや、LAN(Local Area Network)や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
サーバ群3には、画像処理装置1と協働する各種のサーバが含まれる。例えば、サーバ群3には、画像処理装置1のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群3には、画像処理装置1の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群3には、画像処理装置1により測定された生体情報や、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群3に含まれていてもよい。また、サーバ群3に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
[外観構成]
図2は、本発明の一実施形態に係る画像処理装置1の前面の外観構成を示す構成図である。また、図3は、画像処理装置1の側面の外観構成を示す構成図である。画像処理装置1の前面の大きさは、例えば、ISO(International Organization for Standardization)216で規定されるA4サイズに形成される。
図2及び図3に示すように、画像処理装置1は、鏡部30と、脚部31とを含んで構成される。鏡部30は、反射面を有した鏡である。
また、脚部31及びヒンジ部32は、画像処理装置1を自立させるための機構である。脚部31は、ヒンジ部32によって鏡部30に回動可能に接合される。
図3(A)に示すように、ユーザは、画像処理装置1を携帯する際に、鏡部30の側面と、脚部31の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図3(B)に示すように、ユーザは、画像処理装置1を机等に設置して利用する際には、ヒンジ部32を中心点として脚部31を回動させることにより、画像処理装置1を自立させることができる。なお、画像処理装置1を自立可能とするために、ヒンジ部32は、脚部31が所定の角度を保った状態で保持するための構造を有している。
図2に示すように、画像処理装置1は、外観に表れる構成として、更に、発光部17、入力部18、及び表示部19を備えている。
発光部17は、鏡部30に正対するユーザを照らすために発光する部分である。発光部17が、ユーザを照らすことにより、画像処理装置1は、照明付きの鏡(「女優ミラー」と呼ばれる場合もある。)として機能する。また、発光部17は、後述の生体情報測定処理において、生体情報を取得するために調光される。
発光部17は、鏡部30の上端に複数箇所配置される。ただし、図示の都合上、図2では、1つの発光部17についてのみ符号を付し、他の発光部17については符号を省略する。
入力部18は、ユーザによる操作入力を受け付ける部分である。入力部18は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、画像処理装置1の電源のオン/オフの切り替えを行うためのボタンを図示する。
表示部19は、各種の情報を表示することにより、これら各種の情報をユーザに対して報知する部分である。表示部19は、例えば、文字等のメッセージや、画像等を表示する。画像処理装置1では、鏡部30を構成する反射部の反射面と、表示部19の表示面とが、ユーザから同時に視認可能に、鏡部30に正対するユーザの視認方向に重畳して配置される。
例えば、液晶ディスプレイにより構成された表示部19が、ハーフミラーにより構成された鏡部30の視認方向における奥側に、並行に重ねて配置される。
このような配置により、ユーザは鏡部30により反射された自身の顔と、表示部19に表示された情報とを同時に視認することができる。なお、図2の例では、画面上部に表示部19の表示領域を設け、画面下部に鏡部30の反射領域を設けている。
なお、図2には図示していないが、画像処理装置1は、更に撮像部16を備える。撮像部16は、画像処理装置1の利用時に、鏡部30に正対するユーザを被写体として撮像する部分である。撮像部16は、鏡部30に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、表示部19と同様に、ハーフミラーにより構成された鏡部30の視認方向における奥側に、表示部19と並行に重ねて配置される。
以上、画像処理装置1の外観構造について説明をした。ただし、この構造は一例に過ぎず、画像処理装置1の外観構造は、この例に限定されない。
また、例えば、発光部17が、鏡部30の上部や下部に配置されてもよく、鏡部30の周辺全体に配置されてもよい。更に、例えば、入力部18の数や配置が変更されてもよい。また、例えば、表示部19の一部がタッチパネルとして構成され、入力部18と表示部19とが一体に構成されてもよい。
更に、例えば、表示部19により実現される表示領域は、画面上部に配置してもよいが、他の位置に配置してもよい。例えば、鏡部30の中央部分にユーザの顔が映し出されることを想定し、その中央部分の周辺に表示領域を配置するようにしてもよい。
更に、例えば、画像処理装置1の前面の一部に鏡部30を配置し、前面の他の一部に表示部19を配置するようにしてもよい。つまり、鏡部30と表示部19とを必ずしも重畳して配置させなくてもよい。
更に、例えば、ハーフミラーにより鏡部30を構成し、一般的な液晶ディスプレイにより表示部19を構成するのではなく、一般的な鏡により鏡部30を構成し、透過型の液晶ディスプレイにより表示部19を構成するようにしてもよい。この場合、一般的な鏡により構成された鏡部30が、透過型の液晶ディスプレイにより構成された表示部19の視認方向における奥側に、並行に重ねて配置されるようにするとよい。
[ハードウェア構成]
図4は、画像処理装置1のハードウェアの構成を示すブロック図である。
図4に示すように、画像処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、発光部17と、入力部18と、表示部19と、記憶部20と、通信部21と、ドライブ22と、を備えている。
CPU11は、ROM12に記録されているプログラム、または、記憶部20からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、撮像部16と、発光部17と、入力部18と、表示部19と、記憶部20と、及びドライブ22が接続されている。
撮像部16は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部16にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサは、光電変換素子や、AFE(Analog Front End)等から構成される。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号は、CPU11等に適宜供給される。
発光部17は、RGBカラーモデルにおける各色に対応するLED(Light Emitting Diode)等の発光体と、発光体を制御する制御回路とから構成される。制御回路は、発光体を制御することにより、照度や、RGBカラーモデルに基づいて発光体の発光における色成分を調整する。発光部17は、画像処理装置1の起動と共に、RGBの色成分を所定の状態に調整して発光することにより、ユーザを照らす。この所定の状態とは、鏡部30に映し出されたユーザの顔が自然に見える状態である。また、発光部17は、CPU11からの指示に基づいて、生体情報が測定しやすくなるように、照度や色成分を調整して発光する。
入力部18は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
表示部19は、液晶ディスプレイ等で構成され、CPU11が出力する画像データに対応する画像を表示する。鏡部30は、ハーフミラーで構成され、例えば、ユーザの顔が映し出される。表示部19と、鏡部30の配置については、図2を参照して上述した通りである。
記憶部20は、DRAM(Dynamic Random Access Memory)等の半導体メモリで構成され、各種データを記憶する。
通信部21は、CPU11が、ネットワーク2を介して他の装置(例えば、サーバ群3に含まれる各サーバ)との間で通信を行うための通信制御を行う。
ドライブ22は、リムーバブルメディア100は装着可能なインターフェースにより構成される。ドライブ22には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア100が適宜装着される。リムーバブルメディア100には、後述の生体情報測定処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ22によってリムーバブルメディア100から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部20にインストールされる。
なお、画像処理装置1は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、画像処理装置1は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部を備えていてもよい。
[機能的構成]
図5は、画像処理装置1の機能的構成のうち、生体情報測定処理を実行するための機能的構成を示す機能ブロック図である。
生体情報測定処理とは、画像処理装置1が、ユーザを被写体とした画像を撮像し、撮像した画像からユーザの生体情報を取得する一連の処理である。
生体情報測定処理が実行される場合、図5に示すように、CPU11において、設定制御部111と、画像解析部112と、判定選択部113と、生体情報測定部114と、報知部115とが機能する。
また、記憶部20の一領域には、測定データ記憶部201が設定される。
測定データ記憶部201には、生体情報測定処理に関する各種のデータが格納される。例えば、測定データ記憶部201には、生体情報測定処理において測定された生体情報や、生体情報測定処理の処理対象としたユーザに関して設定された測定領域等のプロファイル情報が格納される。
なお、測定データ記憶部201に格納される各情報は、記憶部20にのみ格納されていてもよいが、ドライブ22によってリムーバブルメディア100に適宜格納されるようにしてもよい。更に、測定データ記憶部201に格納される各情報は、サーバ群3に含まれる測定データに適宜格納されるようにしてもよい。
設定制御部111は、生体情報測定処理に関する設定等の制御を行う部分である。設定制御部111は、例えば、サーバ群3に含まれるアプリケーション配信サーバから、生体情報測定処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定制御部111は、例えば、サーバ群3に含まれる認証サーバと通信を行うことにより、生体情報測定処理を行うユーザを認証する。更に設定制御部111は、例えば、サーバ群3に含まれる測定データ格納サーバと通信を行うことにより、生体情報測定処理において測定された生体情報や、生体情報測定処理の処理対象としたユーザに関して設定された測定領域等のプロファイル情報を更新する。
画像解析部112は、撮像部16が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの複数の部位画像を検出する。例えば、画像解析部112は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の測定領域の検出を行う。また、画像解析部112は、検出した測定領域を判定選択部113に対して通知する。
なお、この画像解析部112により検出された測定領域は、非接触で生体情報を取得するための関心領域(ROI:Region of interest)に相当する。
判定選択部113は、画像解析部112が検出した測定領域に対して、生体情報の取得のしやすさに関する分類を行う。例えば、判定選択部113は、生体情報の取得のしやすさに応じて、測定領域それぞれにレベル付けを行う。
レベル付けは任意の方法で行うことができる。例えば、測定領域が大きいほど、安定した測定領域であると考えられるので、判定選択部113は、測定領域が大きくなるにつれて高いレベルとなるようにレベル付け行う。
あるいは、生体情報測定部114による計測結果に基づいてレベル付けを行う。例えば、生体情報測定部114が検出した脈波に基づいて算出される脈波検出率(脈波の検出に成功する確率)に基づいてレベル付けを行う。この場合、生体情報測定部114が脈波の検出に成功する確率である脈波検出率が高いほど、安定した測定領域であると考えられるので、判定選択部113は、脈拍計測率が高くなるにつれて高いレベルとなるようにレベル付け行う。
また、判定選択部113は、生体情報の測定のしやすさが高くなるように、発光部17を制御して照度や色成分を調整するようにしてもよい。
このようにしてレベル付けを行った判定選択部113は、画像解析部112に検出された複数の測定領域の中で、レベルの高い領域を選択し、選択した測定領域を生体情報測定部114に対して通知する。
生体情報測定部114は、判定選択部113から通知された測定領域の画像を対象として、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報(バイタルデータと呼ばれることもある。)の計測を行う。計測は、例えば、測定領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより行うことができる。生体情報測定部114が計測する生体情報は、例えば、脈拍、脈波、及び血流等である。
また、生体情報測定部114は、1つの測定領域の画像を対象として計測を行ってもよいが、複数の測定領域の画像を対象として計測を行ってもよい。この場合、判定選択部113がレベルの高い測定領域を複数選択する。そして、生体情報測定部114が、この複数の測定領域を対象として測定を行う。この場合、生体情報測定部114は、脈拍の遅延がわかる離れた2点(例えば頬と額、又は、額か頬と手のひら等)の測定領域を対象として測定を行なうことにより、例えば、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。
また、生体情報測定部114は、測定した生体情報に対してノイズ除去等を行うことにより、平均化処理を施すようにしてもよい。
なお、生体情報測定部114による生体情報の測定は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
<参考文献>
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、[online]、平成28年9月27日、[平成29年12月15日検索]、インターネット<URL:http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf>
生体情報測定部114は、測定した生体情報を報知部115や、設定制御部111に対して通知する。
報知部115は、生体情報測定部114が測定した生体情報に基づいて、グラフ、数値、及びアイコン等の生体情報を報知するための画像を生成する。そして、報知部115は、生成した画像を表示部19に対して表示することにより報知を行う。この場合に、報知部115は、鏡部30上のユーザの顔の映っている位置を考慮して報知を行うようにするとよい。鏡部30上のユーザの顔の映っている位置は、鏡部30上の反射位置と表示部19上の表示位置の対応関係と、画像解析部112がフェイストラッキングにより特定したユーザの顔の輪郭位置と、に基づいて、特定することができる。
そして、報知部115は、例えば、ユーザの顔が映っている位置と重複しない領域に(すなわち、ユーザの顔と被らない領域に)、生体情報を報知するための波形データや必要な文字、画像情報を自動配置し表示するようにするとよい。報知部115が、このような情報をリアルタイムにデザインし直して表示することで、健康状態や予防指導の情報等が見やすく伝えことができる。
あるいは、報知部115は、例えば、ユーザの顔が映っている位置に重ねて情報を表示するようにしてもよい。例えば、生体情報を取得しやすくするために、ユーザの顔が鏡部30に正対するように、矢印や吹き出しを使って案内情報を表示するようにしてもよい。例えば、測定領域を安定に保つためフェイストラッキングの輪郭データから顔の位置(上下左右の向き)を正面(輪郭領域が最大になる位置)になるようにガイド(矢印やCG(Computer graphics)による合成など)を表示することでユーザに明示的にフィードバックを行うと、継続して安定した測定領域を確保することができる。
また、報知部115は、これらの表示を組み合わせるようにしてもよい。例えば、報知部115は、図2に示すように、マッサージの内容を示すテキストはユーザの顔が映っている位置と重複しない領域に表示し、マッサージの際の手の動きを示す矢印はユーザの顔が映っている位置に重ねて情報を表示するようにしてもよい。
更に、報知部115は、表示部19への表示以外の方法にて報知を行うようにしてもよい。例えば、報知部115は、図示を省略したスピーカから音声メッセージ等を出力させることによって報知を行うようにしてもよい。
[動作]
次に、画像処理装置1の動作を説明する。ここで、画像処理装置1は、第1の生体情報測定処理と、第2の生体情報測定処理とを行う。
第1の生体情報測定処理は、検出された全ての測定領域に対してレベル付けを行い、レベルが高いと判定された測定領域を対象として生体情報を測定する処理である。すなわち、第1の生体情報測定処理は、処理の都度、レベルの高い場所を選択して測定を行う処理である。
これに対して、第2の生体情報測定処理は、検出された全ての測定領域に対してレベル付けを行い、レベルが高いと判定された測定領域をユーザそれぞれについて紐付けておく。そして、その後は、紐付けてある測定領域を対象として生体情報を測定する処理である。すなわち、第2の生体情報測定処理は、ユーザ毎に設定された場所を選択して測定を行う処理である。
以下では、まず、図6を参照して第1の生体情報測定処理について説明をする。次に、図7及び図8を参照して第2の生体情報測定処理について説明をする。なお、各生体情報測定処理は、画像処理装置1の起動や、ユーザの開始操作と共に開始される。ユーザの開始操作とは、例えば、ユーザによる生体情報測定処理の開始指示操作、もしくは、ユーザによる、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換え指示操作である。
この場合に、何れの生体情報測定処理を行うのかは、設定制御部111による設定や、ユーザの選択操作に応じて決定される。
[第1の生体情報測定処理]
図6は、画像処理装置1が実行する第1の生体情報測定処理の流れを説明するフローチャートである。
ステップS11において、設定制御部111は、初期設定を行う。例えば、設定制御部111は、サーバ群3に含まれるアプリケーション配信サーバから、生体情報測定処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定制御部111は、アプリケーションソフトウェアの動作に伴い、撮像部16や発光部17の設定を行う、そして、設定制御部111は、撮像部16による撮像を開始させると共に、発光部17の発光を開始させる。
ステップS12において、画像解析部112は、フェイストラッキングを行うことにより、測定領域を検出する。具体的には、画像解析部112は、鏡部30の前に正対したユーザを検出し、画像解析を行うことにより、測定領域を更に検出する。測定領域は、例えば、額、頬、顎、及び首等に対応する領域である。
ステップS13において、画像解析部112は、測定領域が検出できたか否かを判定する。測定領域が検出できた場合には、ステップS13においてYesと判定され処理はステップS14に進む。一方で、ユーザの顔の向きが適切でない等の理由で測定領域が検出できない場合には、ステップS13においてNoと判定され、処理は再度ステップS12に戻る。なお、ステップS13において、画像解析部112は、測定領域が1つでも検出できたことを条件としてYesと判定してもよいが、測定領域が所定の数だけ検出できたことを条件としてYesと判定してもよい。
ステップS14において、判定選択部113は、生体情報の測定のしやすさが高くなるように、発光部17を制御して照度や色成分を調整する。なお、この場合に、判定選択部113は、発光部17に加えて表示部19のバックライトを制御して照度や色成分を調整するようにしてもよい。更に、判定選択部113は、通信部21を介した通信により、発光部17に加えて画像処理装置1以外の装置が備える照明器具を制御して照度や色成分を調整するようにしてもよい。これにより、環境に合わせて安定した測定ができるようになる。
ステップS15において、判定選択部113は、ステップS12において検出された測定領域それぞれに対してレベル付けを行う。レベル付けの方法は、上述したように、例えば、測定領域それぞれの大きさや、測定領域それぞれの脈波検出率に応じて行う。なお、脈波検出率に基づいてレベル付けを行う場合には、生体情報測定部114が、検出した測定領域それぞれに対して測定を行い、検出した測定領域それぞれについて脈波検出率を算出する。
ステップS16において、判定選択部113は、ステップS15において行ったレベル付けにおいて、高レベルの測定領域(すなわち、所定レベル以上のレベルが付けられた測定領域)が検出されたか否かを判定する。
高レベルの測定領域が検出された場合は、ステップS16においてYesと判定され、処理はステップS17に進む。一方で、高レベルの測定領域が検出されない場合は、ステップS16においてNoと判定され、処理は再度ステップS14に戻る。
ステップS17において、生体情報測定部114は、高レベルの測定領域から生体情報を測定する。この測定は、上述したように、測定領域の画像に基づいて行われるものであり、ユーザに対しては非接触に行われる。
ステップS18において、判定選択部113は、ステップS17において実際に生体情報を測定する対象とした測定領域に対して、再度レベル付けを行う。そして、この測定領域のレベルが高レベルのままであるか否かを判定する。この測定領域のレベルが高レベルのままである場合には、ステップS18においてYesと判定され、処理はステップS19に進む。
一方で、この測定領域のレベルが変更しており、高レベルでなくなっている場合には、ステップS18においてNoと判定され、処理は再度ステップS14に戻る。例えば、ステップS17における生体情報の測定に、数秒〜数十秒を要すると、測定中にユーザが顔の向き等を変える場合がある。この場合、測定領域が適切に撮像できなくなり、測定領域のレベルが低レベルとなることがあり得る。この場合に、ステップS18においてNoと判定される。
ステップS18の処理において、生体情報を測定後に再度レベルを確認することにより、本実施形態では、高レベルの測定領域のみを対象として(すなわち、精度良く測定できる測定領域のみを対象として)測定された生体情報のみを取得することができる。なお、この再度のレベル付けは、生体情報の測定終了以外の条件に基づいて行われてもよい。例えば、ステップS15にて前回行ったレベル付けから、所定時間(例えば、30分)が経過したことを条件として、この再度のレベル付けを行なうようにしてもよい。すなわち、定期的に、この再度のレベル付けを行なうようにしてもよい。他にも、例えば、ユーザによる操作指示を受け付けたことを条件として、この再度のレベル付けを行なうようにしてもよい。
ステップS19において、報知部115は、ステップS17において測定された生体情報を、表示部19への表示等の方法で報知する。
ステップS20において、設定制御部111は、ステップS17において測定された生体情報を、記憶部20の測定データ記憶部201や、サーバ群3に含まれる測定データ格納サーバ等に保存する。この保存された測定データを、測定対象としたユーザと紐付けておくことで、ユーザの生体情報の履歴を生成することができる。この履歴は、例えば、ユーザの生体情報の推移の分析等の目的に利用することができる。また、保存された測定データを、測定対象としたユーザと紐付けない場合においても、いわゆるビックデータとして統計の分析等に利用することができる。
なお、上述の説明では、便宜上ステップS19の後に、ステップS20を行うと説明しているが、ステップS20を行ってからステップS19を行ってもよく、ステップS19とステップS20を並行して行ってもよい。
ステップS21において、設定制御部111は、第1の生体情報測定処理を終了するか否かを判定する。設定制御部111は、例えば、生体情報が所定の回数だけ測定できたことや、ユーザから処理の終了操作を受け付けたことや、第1の生体情報測定処理を開始してから所定時間が経過したことを第1の生体情報測定処理を終了する条件として、判定を行う。
このような第1の生体情報測定処理を終了する条件が満たされていない場合は、ステップS21においてNoと判定され、処理は再度ステップS17に戻る。一方で、このような第1の生体情報測定処理を終了する条件が満たされた場合は、ステップS21においてYesと判定され、今回の第1の生体情報測定処理は終了する。
なお、次回以降に行われる第1の生体情報測定処理では、ステップS11におけるアプリケーションの取得等の処理を省略するようにしてもよい。
以上説明した第1の生体情報測定処理では、検出された測定領域の中からレベルの高い測定領域を選択し、選択した測定領域を対象として生体情報を測定することができる。ここで、レベルの高い測定領域は、生体情報を測定しやすい測定領域であることから、第1の生体情報測定処理によれば、より精度高く生体情報を測定することができる。
また、第1の生体情報測定処理によれば、生体情報を測定後に、レベルの高い測定領域のままであり、レベルが低下していないことを確認することから、より精度高く生体情報を測定することを保証することができる。
更に、第1の生体情報測定処理によれば、予めユーザのプロファイル情報を登録していなくとも、生体情報を測定することができる。
[第2の生体情報測定処理]
図7及び図8は、画像処理装置1が実行する第2の生体情報測定処理の流れを説明するフローチャートである。
ステップS31において、設定制御部111は、初期設定を行う。初期設定の方法については、上述したステップS11と同様であるので詳細な説明は省略する。
ステップS32において、設定制御部111は、ユーザを識別するための個人認証を試み、個人認証に成功したか否かを判定する。個人認証に成功した場合は、ステップS32においてYesと判定され、処理はステップS33に進む。一方で、個人認証に失敗した場合は、ステップS32においてNoと判定され、ステップS32を繰り返す。なお、個人認証は、例えば、撮像部16が撮像したユーザの顔画像を用いた顔認識や、入力部18に含まれるマイクにて集音したユーザの音声を用いた声紋認識等により行うことができる。また、それ以外にも、所定の生体情報を利用した生体認証や、ユーザから入力されたパスワードを利用した認証等の他の認証方法により個人認証を行うようにしてもよい。
ステップS33において、設定制御部111は、個人認証により特定したユーザについてのプロファイル情報を、サーバ群3に含まれる認証サーバに対して問い合わせる。認証サーバは、問い合わせを受けたユーザについてのプロファイル情報の有無を確認する。そして、認証サーバは、プロファイル情報が存在する場合には、サーバ群3に含まれる測定データ格納サーバから、対応するプロファイル情報を取得する。そして、認証サーバは、取得したプロファイル情報を、問い合わせに対する応答として、設定制御部111に対して送信する。一方で、認証サーバは、プロファイル情報が存在する場合には、その旨を、問い合わせに対する応答として、設定制御部111に対して送信する。
ここで、プロファイル情報には、ユーザの関連情報や、そのユーザについて指定されている個人別領域や、そのユーザについて指定されている測定対象とする生体情報の種類が含まれている。
ここで、ユーザの関連情報とは、例えば、ユーザを識別するための識別情報や、ユーザの名前や年齢、身長体重等の情報や、認証を行うための認証元画像である。
また、個人別領域とは、ユーザそれぞれについて紐付けてある特定の測定領域である。また、個人別領域の数は、測定対象とする生体情報により異なる。例えば、上述したように、脈拍や脈波については、1つの測定領域(例えば、額、頬、顎、及び首等の何れか1つの測定領域)から測定を行うことができる。そのため、脈拍や脈波を測定する場合には、個人別領域は1つでよい。一方で、脈波伝播速度や血圧変動については、脈拍の遅延がわかる離れた2点(例えば頬と額、又は、額か頬と手のひら等)の測定領域から測定を行うことができる。そのため、脈波伝播速度や血圧変動を測定する場合には、個人別領域は2つ必要となる。
なお、プロファイル情報には、測定時における発光部17の設定内容等の、測定に関する関連情報が更に含まれていてもよい。
ステップS34において、設定制御部111は、認証サーバからの応答の内容を確認する。認証サーバからの応答の内容が、プロファイル情報である場合には、ステップS34においてYesと判定され、処理はステップS35に進む。一方で、認証サーバからの応答の内容が、プロファイル情報が存在しない旨である場合には、ステップS34においてNoと判定され、処理はステップS36に進む。
ステップS35において、設定制御部111は、認証サーバからの応答として受信したプロファイル情報を読み込む。
ステップS36において、設定制御部111は、今回処理の対象としているユーザについてのプロファイル情報を生成し、認証サーバへ送信すると共に、プロファイル情報の登録を依頼する。認証サーバは、受信したプロファイル情報を、測定データ格納サーバに格納することにより登録を行う。なお、この段階において、未だ個人別領域の設定が行われていないような場合には、個人別領域以外の情報についてのみ登録を行う。
ステップS37において、設定制御部111は、処理の対象としているユーザについて個人別領域の指定が有るか否かを判定する。
例えば、ステップS35にて読み込んだプロファイル情報に個人別領域の指定が含まれている場合や、ユーザからの操作等に応じて個人別領域の指定がなされている場合には、ステップS37においてYesと判定され、処理はステップS38に進む。一方で、プロファイル情報に個人別領域の指定が含まれておらず、ユーザからの操作等に応じた個人別領域の指定もなされていない場合には、ステップS37においてNoと判定され、処理はステップS42に進む。
ステップS38において、設定制御部111は、プロファイル情報に基づいて、ユーザ個人に応じた設定を行う。例えば、設定制御部111は、プロファイル情報に基づいて、個人別領域や、測定対象とする生体情報の種類や、測定時における発光部17の設定内容等を設定する。つまり、そのユーザについて測定を行うに適した状態に設定をする。
ステップS39において、画像解析部112は、フェイストラッキングを行うことにより、測定領域を検出する。本処理は、上述したステップS12と同じ処理であるので、詳細な説明を省略する。
ステップS40において、判定選択部113は、ステップS39において検出された測定領域に、ステップS38にて設定した個人別領域と同じ領域が含まれているか否かを判定する。なお、個人別領域が1つの場合には、この1つの個人別領域について同じ領域が含まれているか否かを判定する。一方で、個人別領域が2つの場合には、この2つの個人別領域それぞれについて同じ領域が含まれているか否かを判定する。
個人別領域と同じ領域(2つの個人別領域の場合には、そのそれぞれについて同じ領域)が含まれている場合には、ステップS40においてYesと判定され、処理はステップS46に進む。一方で、個人別領域と同じ領域(2つの個人別領域の場合には、そのそれぞれについて同じ領域)が含まれていない場合には、ステップS40においてNoと判定され、処理はステップS41に進む。
ステップS41において、報知部115は、個人別領域と同じ領域が検出されるように、前回の測定時における顔の位置(すなわち、前記個人別領域を検出できた位置)等となるように案内(ナビゲーション)を報知する。例えば、報知部115は、撮像部16により撮像されるユーザの顔の位置や向きが、前回の測定時における位置や向きと同じになるように、矢印や吹き出しを使って案内情報を表示する。ユーザは、この案内表示を参照することにより、前回の測定時における位置や向きと同じになるように、顔の位置や向きを調整することができる。
これにより、次回のステップS39において個人別領域と同じ測定領域が検出され、次回のステップS40においてYesと判定されるようになる。
他方、ステップS42に進んだ場合は、個人別領域を設定するための処理が開始される。具体的には、ステップS42において、判定選択部113は、生体情報の測定のしやすさが高くなるように、発光部17を制御して照度や色成分を調整する。本処理は、上述したステップS14と同じ処理であるので、詳細な説明を省略する。
ステップS43において、判定選択部113は、ステップS32において検出された測定領域それぞれに対してレベル付けを行う。本処理は、上述したステップS15と同じ処理であるので、詳細な説明を省略する。
ステップS44において、判定選択部113は、ステップS43において行ったレベル付けにおいて、高レベルの測定領域(すなわち、所定レベル以上のレベルが付けられた測定領域)が検出されたか否かを判定する。
なお、2つの個人別領域が必要な場合には、異なる場所それぞれで、高レベルの測定領域が検出されたか否かを判定する。例えば、額で1箇所、頬で1箇所というように高レベルの測定領域が検出されたか否かを判定する。
高レベルの測定領域が検出された場合は(2つの個人別領域が必要な場合には、異なる場所それぞれで、高レベルの測定領域が検出された場合は)、ステップS44においてYesと判定され、処理はステップS45に進む。一方で、高レベルの測定領域が検出されない場合は(2つの個人別領域が必要な場合には、異なる場所それぞれで、高レベルの測定領域が検出されない場合は)、ステップS44においてNoと判定され、処理は再度ステップS42に戻る。
ステップS45において、ステップS44にて検出された高レベルの測定領域(2つの個人別領域が必要な場合には、異なる場所それぞれについての、高レベルの測定領域)、を今回処理の対象としているユーザの個人別領域として設定する。なお、異なる場所がどの場所とどの場所であるのかは、ユーザ毎に予め定めておいてもよいし、ステップS44にて検出された高レベルの測定領域がどの場所であるのかに基づいて定めるようにしてもよい。
ステップS46において、ステップS39にて検出された個人別領域や、ステップS45にて設定された個人別領域から生体情報を測定する。この測定は、上述したように、測定領域の画像に基づいて行われるものであり、ユーザに対しては非接触に行われる。
ステップS47において、報知部115は、ステップS46において測定された生体情報を、表示部19への表示等の方法で報知する。本処理は、上述したステップS19と同じ処理であるので、詳細な説明を省略する。
ステップS48において、設定制御部111は、ステップS46において測定された生体情報を、記憶部20の測定データ記憶部201や、サーバ群3に含まれる測定データ格納サーバ等に保存する。本処理は、上述したステップS20と同じ処理であるので、詳細な説明を省略する。
ステップS49において、設定制御部111は、第2の生体情報測定処理を終了するか否かを判定する。本処理は、上述したステップS21と同じ処理であり、第2の生体情報測定処理を終了する条件も、第1の生体情報測定処理を終了する条件と同じとできるので、詳細な説明を省略する。
第2の生体情報測定処理を終了する条件が満たされていない場合は、ステップS49においてNoと判定され、処理は再度ステップS46に戻る。一方で、第2の生体情報測定処理を終了する条件が満たされた場合は、ステップS49においてYesと判定され、処理はステップS50に進む。
ステップS50において、設定制御部111は、今回処理の内容に基づいてプロファイル情報を更新し、認証サーバへ送信すると共に、プロファイル情報の登録を依頼する。例えば、設定制御部111は、今回の処理においてステップS44にて設定した個人別領域や、ステップS42における調光時の発光部17の設定内容等に基づいてプロファイル情報を更新し、認証サーバへ送信すると共に、プロファイル情報の登録を依頼する。
認証サーバは、受信したプロファイル情報を、測定データ格納サーバに格納することにより登録を行う。これにより、次回以降に行われる第2の生体情報測定処理では、ステップS37においてYesと判定されることになり、ステップS42〜ステップS45等の処理を省略することができる。
なお、次回以降に行われる第2の生体情報測定処理では、ステップS31におけるアプリケーションの取得等の処理も省略するようにしてもよい。
以上説明した第2の生体情報測定処理では、ユーザ個人毎に設定された個人別領域を対象として生体情報を測定することができる。ここで、個人別領域は、レベルの高い測定領域から選択されたものであり、生体情報を測定しやすい測定領域であることから、第2の生体情報測定処理によれば、より精度高く生体情報を測定することができる。
また、第2の生体情報測定処理によれば、レベルの高い測定領域が、ユーザ個人毎に異なるような場合であっても、ユーザ個人毎に設定された個人別領域を設定することから、より精度高く生体情報を測定することを保証することができる。
以上のように構成される画像処理装置1は、画像処理装置1は、画像解析部112と、生体情報測定部114と、判定選択部113と、を備える。
画像解析部112は、撮像部16により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する。
生体情報測定部114は、画像解析部112により検出された被写体の複数の部位画像の少なくとも何れかから生体情報を取得する。
判定選択部113は、画像解析部112により検出された被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する。判定選択部113は、判定選択部113により判定された生体情報の検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、生体情報の検出の容易度という指標に基づいて、生体情報の取得に関する選択を行なうことから、より精度高く生体情報を測定することができる。
判定選択部113は、判定選択部113により判定された生体情報の検出の容易度に基づいて、被写体の複数の部位画像から所定の部位画像を選択する。
生体情報測定部114は、判定選択部113により選択された所定の部位画像から被写体の生体情報を取得する。
これにより、生体情報の検出の容易度という指標に基づいて、生体情報を取得する部位画像を選択することから、より生体情報を取得しやすい部位画像から生体情報を測定することができる。
生体情報測定部114は、画像解析部112により検出された被写体の複数の部位画像夫々についての生体情報を取得する。
判定選択部113は、判定選択部113により判定された生体情報の検出の容易度に基づいて、生体情報測定部114により取得される複数の生体情報から生体情報を選択する。
これにより、生体情報の検出の容易度という指標に基づいて、より生体情報を取得しやすい部位画像から計測した生体情報を取得することができる。
生体情報測定部114は、判定選択部113により選択された所定の部位画像についての生体情報の検出の容易度に応じて、生体情報の取得方法を異ならせる。
これにより、例えば、生体情報の検出の容易度が高いほど、測定時間を短くしても、精度高く生体情報を測定することができる。また、仮に生体情報の検出の容易度がそれほど高くない場合には、測定時間を長くすることにより、精度高く生体情報を測定することができる。
判定選択部113は、被写体の複数の部位画像夫々の領域範囲の大きさに基づいて、生体情報の検出の容易度を判定する。
これにより、測定領域が大きいほど、安定した測定領域であるという基準に基づいて、生体情報の検出の容易度を判定することができる。
生体情報測定部114は、被写体の複数の部位画像夫々から被写体の脈拍を検出する。
判定選択部113は、生体情報測定部114により検出された脈拍に基づいて、生体情報の検出の容易度を判定する。
これにより、脈拍という基準に基づいて、生体情報の検出の容易度を判定することができる。
生体情報測定部114は、検出した脈拍に基づいて脈拍計測率を算出し、
判定選択部113は、生体情報測定部114により算出された脈拍計測率に基づいて生体情報の検出の容易度を判定する。
これにより、脈拍計測率が高いほど、安定した測定領域であるという基準に基づいて、生体情報の検出の容易度を判定することができる。
判定選択部113は、撮像部16により撮像された被写体を含む画像が更新される毎に、選択を行う。
これにより、画像が更新されて生体情報の検出の容易度が変化したとしても、より精度高く生体情報を測定することができる。
画像処理装置1は、発光部17を更に備え、
判定選択部113は、被写体の部位画像の生体情報の検出の容易度を判定する場合に、生体情報の検出の容易度が高くなるように発光部17を制御する。
これにより、生体情報の検出の容易度が高くでき、より精度高く生体情報を測定することができる。
画像処理装置1は、報知部115を更に備える。
報知部115は、判定選択部113により選択された部位を報知する。
これにより、被写体であるユーザは、現在どの部位が選択されているのかを把握できるので、選択された部位が適切に撮像されるように、顔の位置等を調整することができる。
報知部115は、判定選択部113により選択された部位画像の領域範囲に応じて、生体情報測定部114により取得された生体情報を報知する。
これにより、被写体であるユーザの顔が映っている位置と重複しない領域に(すなわち、ユーザの顔と被らない領域に)、生体情報を報知するための波形データや必要な文字、画像情報を自動配置し表示することができる。あるいは、ユーザの顔が映っている位置に重ねて情報を表示することもできる。
報知部115は、画像解析部112により検出された被写体の複数の部位画像に基づいて特定される被写体の被撮像位置に応じて、所定の被撮像位置への案内を報知する。
これにより、測定領域が適切に検出される、案内(ナビゲーション)を報知することができる。例えば、撮像部により撮像されるユーザの顔の位置や向きが、適切な位置や向きと同じになるように、矢印や吹き出しを使って案内情報を表示することができる。
判定選択部113は、被写体毎に指定されている複数の部位夫々について、所定の部位画像の選択を行う。
これにより、生体情報の検出の容易度が高い測定領域が、ユーザ個人毎に異なるような場合であっても、より精度高く生体情報を測定することを保証することができる。
判定選択部113は、生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、何れかの部位画像を選択し、該選択した部位画像における検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、生体情報を検出する測定領域を限定できることから、生体情報を検出する処理を軽減することができる。
判定選択部113は、生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、該複数の部位画像をつなぎ合わせ、該つなぎ合わせた部位画像における検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、より広い測定領域を対象として、より精度高く生体情報を測定することができる。
判定選択部113は、生体情報の検出の容易度がもっとも高い部位画像における検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、最も高いレベルの測定領域を対象として、より精度高く生体情報を測定することができる。
[変形例]
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
<生体情報を選択する変形例>
例えば、上述の実施形態における、第1の生体情報測定処理を一部変形するようにしてもよい。例えば、図6を参照して上述したように、第1の生体情報処理では、判定選択部113が、検出された検出領域それぞれにレベル付けを行って(ステップS15の処理に相当)、高レベルの測定領域を選択し(ステップS16の処理に相当)、その後、生体情報測定部114が、生体情報を測定していた(ステップS17の処理に相当)。
これを変形して、まず、生体情報測定部114が、生体情報を取得し測定し(ステップS17の処理に相当)、判定選択部113が、検出された検出領域それぞれにレベル付けを行って(ステップS15の処理に相当)、高レベルの測定領域を選択し(ステップS16の処理に相当)、選択された測定領域の生体情報を取得するようにしてもよい。この変形例における第1の生体情報測定処理について、以下、図9を参照して説明をする。
[変形例における第1の生体情報測定処理]
図9は、画像処理装置1が実行する第1の生体情報測定処理の流れを説明するフローチャートである。
ステップS61において、設定制御部111は、ステップS11と同様にして、初期設定を行う。
ステップS62において、画像解析部112は、ステップS12と同様にして、フェイストラッキングを行うことにより、測定領域を検出する。
ステップS63において、画像解析部112は、測定領域が検出できたか否かを判定する。測定領域が検出できた場合には、ステップS63においてYesと判定され処理はステップS64に進む。一方で、ユーザの顔の向きが適切でない等の理由で測定領域が検出できない場合には、ステップS63においてNoと判定され、処理は再度ステップS62に戻る。
ステップS64において、判定選択部113は、ステップS14と同様にして、生体情報の測定のしやすさが高くなるように、発光部17を制御して照度や色成分を調整する。
ステップS65において、生体情報測定部114は、ステップS62にて検出された全ての測定領域それぞれから生体情報を測定する。この測定は、上述したように、測定領域の画像に基づいて行われるものであり、ユーザに対しては非接触に行われる。
ステップS66において、判定選択部113は、ステップS62において検出された全ての測定領域それぞれに対してレベル付けを行う。レベル付けの方法は、上述したステップS15と同様にして、例えば、測定領域それぞれの大きさや、測定領域それぞれの脈波検出率に応じて行う。
ステップS67において、判定選択部113は、ステップS66において行ったレベル付けにおいて、高レベルの測定領域(すなわち、所定レベル以上のレベルが付けられた測定領域)が検出されたか否かを判定する。高レベルの測定領域が検出された場合は、ステップS67においてYesと判定され、処理はステップS68に進む。一方で、高レベルの測定領域が検出されない場合は、ステップS67においてNoと判定され、処理は再度ステップS64に戻る。
ステップS68において、判定選択部113は、ステップS66において全ての測定領域それぞれから測定された生体情報の中から、ステップS66において行ったレベル付けにおいて高レベルの測定領域から測定した生体情報を選択する。
ステップS69において、報知部115は、ステップS68において選択された生体情報を、表示部19への表示等の方法で報知する。
ステップS70において、設定制御部111は、ステップS68において選択された生体情報を、記憶部20の測定データ記憶部201や、サーバ群3に含まれる測定データ格納サーバ等に保存する。
なお、上述の説明では、便宜上ステップS69の後に、ステップS70を行うと説明しているが、ステップS70を行ってからステップS69を行ってもよく、ステップS69とステップS70を並行して行ってもよい。
ステップS71において、設定制御部111は、変形例における第1の生体情報測定処理を終了するか否かを判定する。設定制御部111は、例えば、生体情報が所定の回数だけ測定できたことや、ユーザから処理の終了操作を受け付けたことや、変形例における第1の生体情報測定処理を開始してから所定時間が経過したことを変形例における第1の生体情報測定処理を終了する条件として、判定を行う。
このような変形例における第1の生体情報測定処理を終了する条件が満たされていない場合は、ステップS71においてNoと判定され、処理は再度ステップS64に戻る。一方で、このような変形例における第1の生体情報測定処理を終了する条件が満たされた場合は、ステップS71においてYesと判定され、変形例における第1の生体情報測定処理は終了する。
なお、次回以降に行われる変形例における第1の生体情報測定処理では、ステップS11におけるアプリケーションの取得等の処理を省略するようにしてもよい。
以上説明した変形例における第1の生体情報測定処理では、検出されたすべての測定領域のそれぞれから生体情報を測定する。また、全ての測定領域それぞれから測定された生体情報の中から、高レベルの測定領域から測定した生体情報を選択する。そして、選択した生体情報を報知する。ここで、レベルの高い測定領域は、生体情報を測定しやすい測定領域であることから、変形例における第1の生体情報測定処理によれば、より精度高く測定された生体情報を選択することができる。
また、本変形における第1の生体情報測定処理によれば、選択に先立って、全ての測定領域について常に生体情報を測定する。そのため、一部の測定領域から測定を行なう場合に比べて、常時、高レベルの測定領域の生体情報を取得することができる。
<測定領域の選択に関する変形例>
上述の実施形態では、ステップS15、ステップS16、及びステップS17において、高レベルの測定領域(すなわち、所定レベル以上のレベルが付けられた測定領域)が検出されたか否かを判定し、高レベルの測定領域が検出されていた場合に、この高レベルの測定領域を対象として生体情報を測定していた。これに限らず、かかる処理を変形するようにしてもよい。
例えば、高レベルの測定領域が複数検出された場合に、この複数の高レベルの測定領域の中から何れか1つの測定領域を選択するようにしてもよい。そして、選択された1つの測定領域から生体情報を検出するようにしてもよい。これにより、生体情報を検出する測定領域を限定できることから、生体情報を検出する処理を軽減することができる。
あるいは、高レベルの測定領域が複数検出された場合に、この複数の高レベルの測定領域をつなぎ合わせて(すなわち、額、頬、顎、及び首といった部位を超えて)1つの測定領域として取り扱うようにしてもよい。そして、このつなぎ合わせた1つの測定領域から生体情報を検出するようにしてもよい。これにより、より広い測定領域を対象として、より精度高く生体情報を測定することができる。
あるいは、高レベルの測定領域(すなわち、所定レベル以上のレベルが付けられた測定領域)が検出されたか否かを判定するのではなく、最も高いレベルの測定領域が何れの測定領域であるか判定するようにしてもよい。そして、最も高いレベルの測定領域であると判定された測定領域から生体情報を検出するようにしてもよい。これにより、最も高いレベルの測定領域を対象として、より精度高く生体情報を測定することができる。
なお、本変形例を、図9を参照して上述した、ステップS66、ステップS67、及びステップS68に適用するようにしてもよい。すなわち、高レベルの測定領域から測定した生体情報を選択する、という処理に本変形例を適用するようにしてもよい。
<他の変形例>
他の変形例として、例えば、上述の実施形態において、ステップS17やステップS46では、測定対象とする測定領域のレベルを考慮することなく、生体情報の測定を行っていた。これを変形して、測定対象とする測定領域のレベルに応じて、生体情報の測定方法を異ならせるようにしてもよい。例えば、測定領域のレベルが高いほど、測定時間を短くするようにしてもよい。
より具体的には、例えば高中低の3段階でレベル付けを行う場合には、高レベル(領域大/脈波検出率高)であれば測定時間を規定値より短縮し、中レベル(領域規定値/脈波検出率規定値)であれば規定値(デフォルト)の測定時間で計測し、低レベル(領域小/脈波検出率小)の場合、測定時間を規定値より長くする。
これにより、測定領域のレベルが高い場合(すなわち、生体情報の取得のしやすさが高い場合)には、短い測定時間で、精度高く生体情報を測定することができる。
また、仮に測定領域のレベルがそれほど高くない場合(すなわち、生体情報の取得のしやすさがそれほど高くない場合)にも、測定時間を長くすることにより、精度高く生体情報を測定することができる。すなわち、レベルがそれほど高くない測定領域しか検出できない場合であっても、精度高く生体情報を測定することができる。
他の変形例として、例えば、上述の実施形態において、第1の生体情報測定処理では、1つの測定領域から測定を行うことを想定していたが、これを変形して、第1の生体情報測定処理においても、脈拍の遅延がわかる離れた2点の測定領域から測定を行うようにしてもよい。つまり、第1の生体情報測定処理により、脈波伝播速度や血圧変動等の生体情報を測定するようにしてもよい。
他の変形例として、例えば、上述の実施形態において、1つの測定領域又は2点の測定領域から測定を行うことを想定していたが、3点以上の測定領域から測定を行うようにしてもよい。
他の変形例として、例えば、上述の実施形態において、画像処理装置1と、サーバ群3に含まれる各サーバとが協働することを想定していたが、各サーバの機能を画像処理装置1に追加して、画像処理装置1のみで全ての処理を行うようにしてもよい。
また、上述の実施形態では、本発明が適用される画像処理装置1は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図5の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図5の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図2のリムーバブルメディア100により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア100は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk),Blu−ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini−Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図4のROM12や、図4、5の記憶部20に含まれるハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定手段と、
前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の複数の部位画像から所定の部位画像を選択し、
前記生体情報取得手段は、前記選択手段により選択された所定の部位画像から前記被写体の生体情報を取得する、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記生体情報取得手段は、前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報を取得し、
前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記生体情報取得手段により取得される複数の生体情報から前記生体情報を選択する、
ことを特徴とする付記1に記載の画像処理装置。
[付記4]
前記生体情報取得手段は、前記選択手段により選択された所定の部位画像についての前記生体情報の検出の容易度に応じて、前記生体情報の取得方法を異ならせる、
ことを特徴とする付記1乃至3の何れか1に記載の画像処理装置。
[付記5]
前記判定手段は、前記被写体の複数の部位画像夫々の領域範囲の大きさに基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする付記1乃至4の何れか1に記載の画像処理装置。
[付記6]
前記被写体の複数の部位画像夫々から前記被写体の脈拍を検出する脈拍検出手段を備え、
前記判定手段は、前記脈拍検出手段により検出された脈拍に基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする付記1乃至5の何れか1に記載の画像処理装置。
[付記7]
前記脈拍検出手段は、前記検出した脈拍に基づいて脈拍計測率を算出し、
前記判定手段は、前記脈拍検出手段により算出された脈拍計測率に基づいて前記生体情報の検出の容易度を判定する、
ことを特徴とする付記6に記載の画像処理装置。
[付記8]
前記選択手段は、前記撮像手段により撮像された前記被写体を含む画像が更新される毎に、前記選択を行う、
ことを特徴とする付記1乃至7の何れか1に記載の画像処理装置。
[付記9]
発光手段を更に備え、
前記判定手段は、前記被写体の部位画像の生体情報の検出の容易度を判定する場合に、前記生体情報の検出の容易度が高くなるように前記発光手段を制御する、
ことを特徴とする付記1乃至8の何れか1に記載の画像処理装置。
[付記10]
前記選択手段により選択された部位を報知する第1の報知手段を更に備える、
ことを特徴とする付記1乃至9の何れか1に記載の画像処理装置。
[付記11]
前記選択手段により選択された部位画像の領域範囲に応じて、前記生体情報取得手段により取得された生体情報を報知する第2の報知手段を更に備える、
ことを特徴とする付記1乃至10の何れか1に記載の画像処理装置。
[付記12]
前記部位検出手段により検出された前記被写体の複数の部位画像に基づいて特定される前記被写体の被撮像位置に応じて、所定の被撮像位置への案内を報知する第3の報知手段を更に備える、
ことを特徴とする付記1乃至11の何れかに記載の画像処理装置。
[付記13]
前記選択手段は、被写体毎に指定されている複数の部位夫々について、前記所定の部位画像の選択を行う、
ことを特徴とする付記1乃至12の何れかに記載の画像処理装置。
[付記14]
前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、何れかの部位画像を選択し、該選択した部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記1乃至13の何れか1に記載の画像処理装置。
[付記15]
前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、該複数の部位画像をつなぎ合わせ、該つなぎ合わせた部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記1乃至13の何れか1に記載の画像処理装置。
[付記16]
前記選択手段は、前記生体情報の検出の容易度がもっとも高い部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記1乃至13の何れか1に記載の画像処理装置。
[付記17]
画像処理装置が実行する画像処理方法であって、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出ステップと、
前記部位検出ステップにより検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得ステップと、
前記部位検出ステップにより検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定ステップと、
前記判定ステップにより判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択ステップと、
を含むことを特徴とする画像処理方法。
[付記18]
コンピュータに、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出機能と、
前記部位検出機能により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得機能と、
前記部位検出機能により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定機能と、
前記判定機能により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択機能と、
を実現させることを特徴とするプログラム。
1・・・画像処理装置,2・・・ネットワーク,3・・・サーバ群,11・・・CPU,12・・・ROM,13・・・RAM,14・・・バス,15・・・入出力インターフェース,16・・・撮像部,17・・・発光部,18・・・入力部,19・・・表示部,20・・・記憶部,21・・・通信部,22・・・ドライブ,100・・・リムーバブルメディア,111・・・設定制御部,112・・・画像解析部,113・・・判定選択部,114・・・生体情報取得部,115・・・報知部,201・・・測定データ記憶部,S・・・画像処理システム

Claims (18)

  1. 撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出手段と、
    前記部位検出手段により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得手段と、
    前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定手段と、
    前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の複数の部位画像から所定の部位画像を選択し、
    前記生体情報取得手段は、前記選択手段により選択された所定の部位画像から前記被写体の生体情報を取得する、
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記生体情報取得手段は、前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報を取得し、
    前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記生体情報取得手段により取得される複数の生体情報から前記生体情報を選択する、
    ことを特徴とする請求項1に記載の画像処理装置。
  4. 前記生体情報取得手段は、前記選択手段により選択された所定の部位画像についての前記生体情報の検出の容易度に応じて、前記生体情報の取得方法を異ならせる、
    ことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。
  5. 前記判定手段は、前記被写体の複数の部位画像夫々の領域範囲の大きさに基づいて、前記生体情報の検出の容易度を判定する、
    ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。
  6. 前記被写体の複数の部位画像夫々から前記被写体の脈拍を検出する脈拍検出手段を備え、
    前記判定手段は、前記脈拍検出手段により検出された脈拍に基づいて、前記生体情報の検出の容易度を判定する、
    ことを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。
  7. 前記脈拍検出手段は、前記検出した脈拍に基づいて脈拍計測率を算出し、
    前記判定手段は、前記脈拍検出手段により算出された脈拍計測率に基づいて前記生体情報の検出の容易度を判定する、
    ことを特徴とする請求項6に記載の画像処理装置。
  8. 前記選択手段は、前記撮像手段により撮像された前記被写体を含む画像が更新される毎に、前記選択を行う、
    ことを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。
  9. 発光手段を更に備え、
    前記判定手段は、前記被写体の部位画像の生体情報の検出の容易度を判定する場合に、前記生体情報の検出の容易度が高くなるように前記発光手段を制御する、
    ことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。
  10. 前記選択手段により選択された部位を報知する第1の報知手段を更に備える、
    ことを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。
  11. 前記選択手段により選択された部位画像の領域範囲に応じて、前記生体情報取得手段により取得された生体情報を報知する第2の報知手段を更に備える、
    ことを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。
  12. 前記部位検出手段により検出された前記被写体の複数の部位画像に基づいて特定される前記被写体の被撮像位置に応じて、所定の被撮像位置への案内を報知する第3の報知手段を更に備える、
    ことを特徴とする請求項1乃至11の何れかに記載の画像処理装置。
  13. 前記選択手段は、被写体毎に指定されている複数の部位夫々について、前記所定の部位画像の選択を行う、
    ことを特徴とする請求項1乃至12の何れかに記載の画像処理装置。
  14. 前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、何れかの部位画像を選択し、該選択した部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
    ことを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。
  15. 前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、該複数の部位画像をつなぎ合わせ、該つなぎ合わせた部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
    ことを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。
  16. 前記選択手段は、前記生体情報の検出の容易度がもっとも高い部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
    ことを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。
  17. 画像処理装置が実行する画像処理方法であって、
    撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出ステップと、
    前記部位検出ステップにより検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得ステップと、
    前記部位検出ステップにより検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定ステップと、
    前記判定ステップにより判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択ステップと、
    を含むことを特徴とする画像処理方法。
  18. コンピュータに、
    撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出機能と、
    前記部位検出機能により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得機能と、
    前記部位検出機能により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定機能と、
    前記判定機能により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択機能と、
    を実現させることを特徴とするプログラム。
JP2018200206A 2017-12-22 2018-10-24 画像処理装置、画像処理方法及びプログラム Active JP7415318B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201811530133.4A CN110013102B (zh) 2017-12-22 2018-12-14 图像处理装置、图像处理方法以及记录介质
US16/226,407 US10915617B2 (en) 2017-12-22 2018-12-19 Image processing apparatus, image processing method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017246941 2017-12-22
JP2017246941 2017-12-22

Publications (2)

Publication Number Publication Date
JP2019111317A true JP2019111317A (ja) 2019-07-11
JP7415318B2 JP7415318B2 (ja) 2024-01-17

Family

ID=67223079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018200206A Active JP7415318B2 (ja) 2017-12-22 2018-10-24 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP7415318B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021151332A (ja) * 2020-03-24 2021-09-30 カシオ計算機株式会社 電子装置、電子装置の制御方法及び電子装置の制御プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
JP2014236877A (ja) * 2013-06-07 2014-12-18 ポーラ化成工業株式会社 肌の美しさの測定方法
JP2016077426A (ja) * 2014-10-14 2016-05-16 富士通株式会社 脈波伝搬速度算出システム、脈波伝搬速度算出方法及び脈波伝搬速度算出プログラム
WO2017085896A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US20170238805A1 (en) * 2016-02-19 2017-08-24 Covidien Lp Systems and methods for video-based monitoring of vital signs
WO2017150169A1 (ja) * 2016-03-03 2017-09-08 パナソニックIpマネジメント株式会社 生体情報抽出装置および生体情報抽出システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010264095A (ja) * 2009-05-15 2010-11-25 Nissan Motor Co Ltd 心拍数測定装置および心拍数測定方法
JP2014236877A (ja) * 2013-06-07 2014-12-18 ポーラ化成工業株式会社 肌の美しさの測定方法
JP2016077426A (ja) * 2014-10-14 2016-05-16 富士通株式会社 脈波伝搬速度算出システム、脈波伝搬速度算出方法及び脈波伝搬速度算出プログラム
WO2017085896A1 (ja) * 2015-11-20 2017-05-26 富士通株式会社 情報処理装置、情報処理方法、および情報処理プログラム
US20170238805A1 (en) * 2016-02-19 2017-08-24 Covidien Lp Systems and methods for video-based monitoring of vital signs
WO2017150169A1 (ja) * 2016-03-03 2017-09-08 パナソニックIpマネジメント株式会社 生体情報抽出装置および生体情報抽出システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021151332A (ja) * 2020-03-24 2021-09-30 カシオ計算機株式会社 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP2023022035A (ja) * 2020-03-24 2023-02-14 カシオ計算機株式会社 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP7238835B2 (ja) 2020-03-24 2023-03-14 カシオ計算機株式会社 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP7392806B2 (ja) 2020-03-24 2023-12-06 カシオ計算機株式会社 電子装置、電子装置の制御方法及び電子装置の制御プログラム

Also Published As

Publication number Publication date
JP7415318B2 (ja) 2024-01-17

Similar Documents

Publication Publication Date Title
US11029830B2 (en) Display control apparatus, display controlling method and display control program for providing guidance using a generated image
CN112741609B (zh) 电子装置、电子装置的控制方法以及介质
JP2021132869A (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
CN110297720B (zh) 通知装置、通知方法及存储通知程序的介质
US20180184899A1 (en) System and method for detection and monitoring of a physical condition of a user
US20220087547A1 (en) Electronic device, control method for electronic device, and recording medium
CN110013102B (zh) 图像处理装置、图像处理方法以及记录介质
CN110993051B (zh) 判定装置、判定方法以及记录介质
JP2019111317A (ja) 画像処理装置、画像処理方法及びプログラム
JP7135466B2 (ja) 表示装置、表示方法及び表示プログラム
JP2020057153A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP7225749B2 (ja) 報知装置、報知方法及びプログラム
JP7238835B2 (ja) 電子装置、電子装置の制御方法及び電子装置の制御プログラム
JP7556203B2 (ja) 電子装置、電子装置の制御プログラム及び電子装置の制御方法
JP7485114B2 (ja) 報知装置、報知方法及びプログラム
CN114430663B (zh) 图像处理装置、图像处理方法以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7415318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150