JP2019111317A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2019111317A JP2019111317A JP2018200206A JP2018200206A JP2019111317A JP 2019111317 A JP2019111317 A JP 2019111317A JP 2018200206 A JP2018200206 A JP 2018200206A JP 2018200206 A JP2018200206 A JP 2018200206A JP 2019111317 A JP2019111317 A JP 2019111317A
- Authority
- JP
- Japan
- Prior art keywords
- biological information
- detection
- unit
- subject
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 137
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims abstract description 116
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 238000000034 method Methods 0.000 claims description 142
- 238000009532 heart rate measurement Methods 0.000 claims description 8
- 230000010365 information processing Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 abstract description 317
- 238000010191 image analysis Methods 0.000 abstract description 27
- 230000008569 process Effects 0.000 description 129
- 238000012986 modification Methods 0.000 description 24
- 230000004048 modification Effects 0.000 description 24
- 238000013500 data storage Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 210000001061 forehead Anatomy 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 4
- 210000003467 cheek Anatomy 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 208000029152 Small face Diseases 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000004087 circulation Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
Description
例えば特許文献1には、ユーザを撮像した画像から特定の被写体領域として人体の所定の部位を検出して、生体情報の1つである脈波伝搬速度の測定を行うという構成が開示されている。
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定手段と、
前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択手段と、
を備えることを特徴とする。
本発明の実施形態に係る画像処理装置1は、ユーザが携帯可能な自立式の鏡として構成される。画像処理装置1は、ユーザの複数の部位画像夫々についての生体情報の取得のしやすさを判定する。また、画像処理装置1は、判定された生体情報の取得のしやすさ(すなわち、検出の容易度)に基づいて、ユーザの複数の部位画像から所定の部位画像を選択する。そして、画像処理装置1は、選択された所定の部位画像からユーザの生体情報を取得する。
図1は、本実施形態に係る画像処理装置1が含まれる画像処理システムSの全体構成を示すブロック図である。図1に示すように、画像処理システムSは、複数の画像処理装置1、ネットワーク2及びサーバ群3を含む。
画像処理装置1の台数には、特に制限はなく、n台(nは、任意の自然数)の画像処理装置1が画像処理システム1に含まれていてよい。なお、以下の説明において、n台の画像処理装置1を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「画像処理装置1」と称する。
図2は、本発明の一実施形態に係る画像処理装置1の前面の外観構成を示す構成図である。また、図3は、画像処理装置1の側面の外観構成を示す構成図である。画像処理装置1の前面の大きさは、例えば、ISO(International Organization for Standardization)216で規定されるA4サイズに形成される。
また、脚部31及びヒンジ部32は、画像処理装置1を自立させるための機構である。脚部31は、ヒンジ部32によって鏡部30に回動可能に接合される。
図3(A)に示すように、ユーザは、画像処理装置1を携帯する際に、鏡部30の側面と、脚部31の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図3(B)に示すように、ユーザは、画像処理装置1を机等に設置して利用する際には、ヒンジ部32を中心点として脚部31を回動させることにより、画像処理装置1を自立させることができる。なお、画像処理装置1を自立可能とするために、ヒンジ部32は、脚部31が所定の角度を保った状態で保持するための構造を有している。
発光部17は、鏡部30の上端に複数箇所配置される。ただし、図示の都合上、図2では、1つの発光部17についてのみ符号を付し、他の発光部17については符号を省略する。
このような配置により、ユーザは鏡部30により反射された自身の顔と、表示部19に表示された情報とを同時に視認することができる。なお、図2の例では、画面上部に表示部19の表示領域を設け、画面下部に鏡部30の反射領域を設けている。
図4は、画像処理装置1のハードウェアの構成を示すブロック図である。
図4に示すように、画像処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、バス14と、入出力インターフェース15と、撮像部16と、発光部17と、入力部18と、表示部19と、記憶部20と、通信部21と、ドライブ22と、を備えている。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部16にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。
AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部16の出力信号として出力される。
このような撮像部16の出力信号は、CPU11等に適宜供給される。
図5は、画像処理装置1の機能的構成のうち、生体情報測定処理を実行するための機能的構成を示す機能ブロック図である。
生体情報測定処理とは、画像処理装置1が、ユーザを被写体とした画像を撮像し、撮像した画像からユーザの生体情報を取得する一連の処理である。
生体情報測定処理が実行される場合、図5に示すように、CPU11において、設定制御部111と、画像解析部112と、判定選択部113と、生体情報測定部114と、報知部115とが機能する。
また、記憶部20の一領域には、測定データ記憶部201が設定される。
なお、この画像解析部112により検出された測定領域は、非接触で生体情報を取得するための関心領域(ROI:Region of interest)に相当する。
また、生体情報測定部114は、測定した生体情報に対してノイズ除去等を行うことにより、平均化処理を施すようにしてもよい。
<参考文献>
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、[online]、平成28年9月27日、[平成29年12月15日検索]、インターネット<URL:http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf>
次に、画像処理装置1の動作を説明する。ここで、画像処理装置1は、第1の生体情報測定処理と、第2の生体情報測定処理とを行う。
第1の生体情報測定処理は、検出された全ての測定領域に対してレベル付けを行い、レベルが高いと判定された測定領域を対象として生体情報を測定する処理である。すなわち、第1の生体情報測定処理は、処理の都度、レベルの高い場所を選択して測定を行う処理である。
この場合に、何れの生体情報測定処理を行うのかは、設定制御部111による設定や、ユーザの選択操作に応じて決定される。
図6は、画像処理装置1が実行する第1の生体情報測定処理の流れを説明するフローチャートである。
なお、次回以降に行われる第1の生体情報測定処理では、ステップS11におけるアプリケーションの取得等の処理を省略するようにしてもよい。
図7及び図8は、画像処理装置1が実行する第2の生体情報測定処理の流れを説明するフローチャートである。
ステップS32において、設定制御部111は、ユーザを識別するための個人認証を試み、個人認証に成功したか否かを判定する。個人認証に成功した場合は、ステップS32においてYesと判定され、処理はステップS33に進む。一方で、個人認証に失敗した場合は、ステップS32においてNoと判定され、ステップS32を繰り返す。なお、個人認証は、例えば、撮像部16が撮像したユーザの顔画像を用いた顔認識や、入力部18に含まれるマイクにて集音したユーザの音声を用いた声紋認識等により行うことができる。また、それ以外にも、所定の生体情報を利用した生体認証や、ユーザから入力されたパスワードを利用した認証等の他の認証方法により個人認証を行うようにしてもよい。
なお、プロファイル情報には、測定時における発光部17の設定内容等の、測定に関する関連情報が更に含まれていてもよい。
例えば、ステップS35にて読み込んだプロファイル情報に個人別領域の指定が含まれている場合や、ユーザからの操作等に応じて個人別領域の指定がなされている場合には、ステップS37においてYesと判定され、処理はステップS38に進む。一方で、プロファイル情報に個人別領域の指定が含まれておらず、ユーザからの操作等に応じた個人別領域の指定もなされていない場合には、ステップS37においてNoと判定され、処理はステップS42に進む。
これにより、次回のステップS39において個人別領域と同じ測定領域が検出され、次回のステップS40においてYesと判定されるようになる。
なお、2つの個人別領域が必要な場合には、異なる場所それぞれで、高レベルの測定領域が検出されたか否かを判定する。例えば、額で1箇所、頬で1箇所というように高レベルの測定領域が検出されたか否かを判定する。
なお、次回以降に行われる第2の生体情報測定処理では、ステップS31におけるアプリケーションの取得等の処理も省略するようにしてもよい。
画像解析部112は、撮像部16により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する。
生体情報測定部114は、画像解析部112により検出された被写体の複数の部位画像の少なくとも何れかから生体情報を取得する。
判定選択部113は、画像解析部112により検出された被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する。判定選択部113は、判定選択部113により判定された生体情報の検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、生体情報の検出の容易度という指標に基づいて、生体情報の取得に関する選択を行なうことから、より精度高く生体情報を測定することができる。
生体情報測定部114は、判定選択部113により選択された所定の部位画像から被写体の生体情報を取得する。
これにより、生体情報の検出の容易度という指標に基づいて、生体情報を取得する部位画像を選択することから、より生体情報を取得しやすい部位画像から生体情報を測定することができる。
判定選択部113は、判定選択部113により判定された生体情報の検出の容易度に基づいて、生体情報測定部114により取得される複数の生体情報から生体情報を選択する。
これにより、生体情報の検出の容易度という指標に基づいて、より生体情報を取得しやすい部位画像から計測した生体情報を取得することができる。
これにより、例えば、生体情報の検出の容易度が高いほど、測定時間を短くしても、精度高く生体情報を測定することができる。また、仮に生体情報の検出の容易度がそれほど高くない場合には、測定時間を長くすることにより、精度高く生体情報を測定することができる。
これにより、測定領域が大きいほど、安定した測定領域であるという基準に基づいて、生体情報の検出の容易度を判定することができる。
判定選択部113は、生体情報測定部114により検出された脈拍に基づいて、生体情報の検出の容易度を判定する。
これにより、脈拍という基準に基づいて、生体情報の検出の容易度を判定することができる。
判定選択部113は、生体情報測定部114により算出された脈拍計測率に基づいて生体情報の検出の容易度を判定する。
これにより、脈拍計測率が高いほど、安定した測定領域であるという基準に基づいて、生体情報の検出の容易度を判定することができる。
これにより、画像が更新されて生体情報の検出の容易度が変化したとしても、より精度高く生体情報を測定することができる。
判定選択部113は、被写体の部位画像の生体情報の検出の容易度を判定する場合に、生体情報の検出の容易度が高くなるように発光部17を制御する。
これにより、生体情報の検出の容易度が高くでき、より精度高く生体情報を測定することができる。
報知部115は、判定選択部113により選択された部位を報知する。
これにより、被写体であるユーザは、現在どの部位が選択されているのかを把握できるので、選択された部位が適切に撮像されるように、顔の位置等を調整することができる。
これにより、被写体であるユーザの顔が映っている位置と重複しない領域に(すなわち、ユーザの顔と被らない領域に)、生体情報を報知するための波形データや必要な文字、画像情報を自動配置し表示することができる。あるいは、ユーザの顔が映っている位置に重ねて情報を表示することもできる。
これにより、測定領域が適切に検出される、案内(ナビゲーション)を報知することができる。例えば、撮像部により撮像されるユーザの顔の位置や向きが、適切な位置や向きと同じになるように、矢印や吹き出しを使って案内情報を表示することができる。
これにより、生体情報の検出の容易度が高い測定領域が、ユーザ個人毎に異なるような場合であっても、より精度高く生体情報を測定することを保証することができる。
これにより、生体情報を検出する測定領域を限定できることから、生体情報を検出する処理を軽減することができる。
これにより、より広い測定領域を対象として、より精度高く生体情報を測定することができる。
これにより、最も高いレベルの測定領域を対象として、より精度高く生体情報を測定することができる。
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態における、第1の生体情報測定処理を一部変形するようにしてもよい。例えば、図6を参照して上述したように、第1の生体情報処理では、判定選択部113が、検出された検出領域それぞれにレベル付けを行って(ステップS15の処理に相当)、高レベルの測定領域を選択し(ステップS16の処理に相当)、その後、生体情報測定部114が、生体情報を測定していた(ステップS17の処理に相当)。
図9は、画像処理装置1が実行する第1の生体情報測定処理の流れを説明するフローチャートである。
ステップS62において、画像解析部112は、ステップS12と同様にして、フェイストラッキングを行うことにより、測定領域を検出する。
ステップS65において、生体情報測定部114は、ステップS62にて検出された全ての測定領域それぞれから生体情報を測定する。この測定は、上述したように、測定領域の画像に基づいて行われるものであり、ユーザに対しては非接触に行われる。
ステップS70において、設定制御部111は、ステップS68において選択された生体情報を、記憶部20の測定データ記憶部201や、サーバ群3に含まれる測定データ格納サーバ等に保存する。
なお、次回以降に行われる変形例における第1の生体情報測定処理では、ステップS11におけるアプリケーションの取得等の処理を省略するようにしてもよい。
上述の実施形態では、ステップS15、ステップS16、及びステップS17において、高レベルの測定領域(すなわち、所定レベル以上のレベルが付けられた測定領域)が検出されたか否かを判定し、高レベルの測定領域が検出されていた場合に、この高レベルの測定領域を対象として生体情報を測定していた。これに限らず、かかる処理を変形するようにしてもよい。
他の変形例として、例えば、上述の実施形態において、ステップS17やステップS46では、測定対象とする測定領域のレベルを考慮することなく、生体情報の測定を行っていた。これを変形して、測定対象とする測定領域のレベルに応じて、生体情報の測定方法を異ならせるようにしてもよい。例えば、測定領域のレベルが高いほど、測定時間を短くするようにしてもよい。
これにより、測定領域のレベルが高い場合(すなわち、生体情報の取得のしやすさが高い場合)には、短い測定時間で、精度高く生体情報を測定することができる。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
換言すると、図5の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置1に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図5の例に限定されない。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
[付記1]
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定手段と、
前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択手段と、
を備えることを特徴とする画像処理装置。
[付記2]
前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の複数の部位画像から所定の部位画像を選択し、
前記生体情報取得手段は、前記選択手段により選択された所定の部位画像から前記被写体の生体情報を取得する、
ことを特徴とする付記1に記載の画像処理装置。
[付記3]
前記生体情報取得手段は、前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報を取得し、
前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記生体情報取得手段により取得される複数の生体情報から前記生体情報を選択する、
ことを特徴とする付記1に記載の画像処理装置。
[付記4]
前記生体情報取得手段は、前記選択手段により選択された所定の部位画像についての前記生体情報の検出の容易度に応じて、前記生体情報の取得方法を異ならせる、
ことを特徴とする付記1乃至3の何れか1に記載の画像処理装置。
[付記5]
前記判定手段は、前記被写体の複数の部位画像夫々の領域範囲の大きさに基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする付記1乃至4の何れか1に記載の画像処理装置。
[付記6]
前記被写体の複数の部位画像夫々から前記被写体の脈拍を検出する脈拍検出手段を備え、
前記判定手段は、前記脈拍検出手段により検出された脈拍に基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする付記1乃至5の何れか1に記載の画像処理装置。
[付記7]
前記脈拍検出手段は、前記検出した脈拍に基づいて脈拍計測率を算出し、
前記判定手段は、前記脈拍検出手段により算出された脈拍計測率に基づいて前記生体情報の検出の容易度を判定する、
ことを特徴とする付記6に記載の画像処理装置。
[付記8]
前記選択手段は、前記撮像手段により撮像された前記被写体を含む画像が更新される毎に、前記選択を行う、
ことを特徴とする付記1乃至7の何れか1に記載の画像処理装置。
[付記9]
発光手段を更に備え、
前記判定手段は、前記被写体の部位画像の生体情報の検出の容易度を判定する場合に、前記生体情報の検出の容易度が高くなるように前記発光手段を制御する、
ことを特徴とする付記1乃至8の何れか1に記載の画像処理装置。
[付記10]
前記選択手段により選択された部位を報知する第1の報知手段を更に備える、
ことを特徴とする付記1乃至9の何れか1に記載の画像処理装置。
[付記11]
前記選択手段により選択された部位画像の領域範囲に応じて、前記生体情報取得手段により取得された生体情報を報知する第2の報知手段を更に備える、
ことを特徴とする付記1乃至10の何れか1に記載の画像処理装置。
[付記12]
前記部位検出手段により検出された前記被写体の複数の部位画像に基づいて特定される前記被写体の被撮像位置に応じて、所定の被撮像位置への案内を報知する第3の報知手段を更に備える、
ことを特徴とする付記1乃至11の何れかに記載の画像処理装置。
[付記13]
前記選択手段は、被写体毎に指定されている複数の部位夫々について、前記所定の部位画像の選択を行う、
ことを特徴とする付記1乃至12の何れかに記載の画像処理装置。
[付記14]
前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、何れかの部位画像を選択し、該選択した部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記1乃至13の何れか1に記載の画像処理装置。
[付記15]
前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、該複数の部位画像をつなぎ合わせ、該つなぎ合わせた部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記1乃至13の何れか1に記載の画像処理装置。
[付記16]
前記選択手段は、前記生体情報の検出の容易度がもっとも高い部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記1乃至13の何れか1に記載の画像処理装置。
[付記17]
画像処理装置が実行する画像処理方法であって、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出ステップと、
前記部位検出ステップにより検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得ステップと、
前記部位検出ステップにより検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定ステップと、
前記判定ステップにより判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択ステップと、
を含むことを特徴とする画像処理方法。
[付記18]
コンピュータに、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出機能と、
前記部位検出機能により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得機能と、
前記部位検出機能により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定機能と、
前記判定機能により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択機能と、
を実現させることを特徴とするプログラム。
Claims (18)
- 撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定手段と、
前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択手段と、
を備えることを特徴とする画像処理装置。 - 前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の複数の部位画像から所定の部位画像を選択し、
前記生体情報取得手段は、前記選択手段により選択された所定の部位画像から前記被写体の生体情報を取得する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生体情報取得手段は、前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報を取得し、
前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記生体情報取得手段により取得される複数の生体情報から前記生体情報を選択する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記生体情報取得手段は、前記選択手段により選択された所定の部位画像についての前記生体情報の検出の容易度に応じて、前記生体情報の取得方法を異ならせる、
ことを特徴とする請求項1乃至3の何れか1項に記載の画像処理装置。 - 前記判定手段は、前記被写体の複数の部位画像夫々の領域範囲の大きさに基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする請求項1乃至4の何れか1項に記載の画像処理装置。 - 前記被写体の複数の部位画像夫々から前記被写体の脈拍を検出する脈拍検出手段を備え、
前記判定手段は、前記脈拍検出手段により検出された脈拍に基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする請求項1乃至5の何れか1項に記載の画像処理装置。 - 前記脈拍検出手段は、前記検出した脈拍に基づいて脈拍計測率を算出し、
前記判定手段は、前記脈拍検出手段により算出された脈拍計測率に基づいて前記生体情報の検出の容易度を判定する、
ことを特徴とする請求項6に記載の画像処理装置。 - 前記選択手段は、前記撮像手段により撮像された前記被写体を含む画像が更新される毎に、前記選択を行う、
ことを特徴とする請求項1乃至7の何れか1項に記載の画像処理装置。 - 発光手段を更に備え、
前記判定手段は、前記被写体の部位画像の生体情報の検出の容易度を判定する場合に、前記生体情報の検出の容易度が高くなるように前記発光手段を制御する、
ことを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。 - 前記選択手段により選択された部位を報知する第1の報知手段を更に備える、
ことを特徴とする請求項1乃至9の何れか1項に記載の画像処理装置。 - 前記選択手段により選択された部位画像の領域範囲に応じて、前記生体情報取得手段により取得された生体情報を報知する第2の報知手段を更に備える、
ことを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 - 前記部位検出手段により検出された前記被写体の複数の部位画像に基づいて特定される前記被写体の被撮像位置に応じて、所定の被撮像位置への案内を報知する第3の報知手段を更に備える、
ことを特徴とする請求項1乃至11の何れかに記載の画像処理装置。 - 前記選択手段は、被写体毎に指定されている複数の部位夫々について、前記所定の部位画像の選択を行う、
ことを特徴とする請求項1乃至12の何れかに記載の画像処理装置。 - 前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、何れかの部位画像を選択し、該選択した部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。 - 前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、該複数の部位画像をつなぎ合わせ、該つなぎ合わせた部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。 - 前記選択手段は、前記生体情報の検出の容易度がもっとも高い部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする請求項1乃至13の何れか1項に記載の画像処理装置。 - 画像処理装置が実行する画像処理方法であって、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出ステップと、
前記部位検出ステップにより検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得ステップと、
前記部位検出ステップにより検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定ステップと、
前記判定ステップにより判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択ステップと、
を含むことを特徴とする画像処理方法。 - コンピュータに、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出機能と、
前記部位検出機能により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得機能と、
前記部位検出機能により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定機能と、
前記判定機能により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択機能と、
を実現させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811530133.4A CN110013102B (zh) | 2017-12-22 | 2018-12-14 | 图像处理装置、图像处理方法以及记录介质 |
US16/226,407 US10915617B2 (en) | 2017-12-22 | 2018-12-19 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017246941 | 2017-12-22 | ||
JP2017246941 | 2017-12-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019111317A true JP2019111317A (ja) | 2019-07-11 |
JP7415318B2 JP7415318B2 (ja) | 2024-01-17 |
Family
ID=67223079
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018200206A Active JP7415318B2 (ja) | 2017-12-22 | 2018-10-24 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7415318B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021151332A (ja) * | 2020-03-24 | 2021-09-30 | カシオ計算機株式会社 | 電子装置、電子装置の制御方法及び電子装置の制御プログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010264095A (ja) * | 2009-05-15 | 2010-11-25 | Nissan Motor Co Ltd | 心拍数測定装置および心拍数測定方法 |
JP2014236877A (ja) * | 2013-06-07 | 2014-12-18 | ポーラ化成工業株式会社 | 肌の美しさの測定方法 |
JP2016077426A (ja) * | 2014-10-14 | 2016-05-16 | 富士通株式会社 | 脈波伝搬速度算出システム、脈波伝搬速度算出方法及び脈波伝搬速度算出プログラム |
WO2017085896A1 (ja) * | 2015-11-20 | 2017-05-26 | 富士通株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
US20170238805A1 (en) * | 2016-02-19 | 2017-08-24 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
WO2017150169A1 (ja) * | 2016-03-03 | 2017-09-08 | パナソニックIpマネジメント株式会社 | 生体情報抽出装置および生体情報抽出システム |
-
2018
- 2018-10-24 JP JP2018200206A patent/JP7415318B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010264095A (ja) * | 2009-05-15 | 2010-11-25 | Nissan Motor Co Ltd | 心拍数測定装置および心拍数測定方法 |
JP2014236877A (ja) * | 2013-06-07 | 2014-12-18 | ポーラ化成工業株式会社 | 肌の美しさの測定方法 |
JP2016077426A (ja) * | 2014-10-14 | 2016-05-16 | 富士通株式会社 | 脈波伝搬速度算出システム、脈波伝搬速度算出方法及び脈波伝搬速度算出プログラム |
WO2017085896A1 (ja) * | 2015-11-20 | 2017-05-26 | 富士通株式会社 | 情報処理装置、情報処理方法、および情報処理プログラム |
US20170238805A1 (en) * | 2016-02-19 | 2017-08-24 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
WO2017150169A1 (ja) * | 2016-03-03 | 2017-09-08 | パナソニックIpマネジメント株式会社 | 生体情報抽出装置および生体情報抽出システム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021151332A (ja) * | 2020-03-24 | 2021-09-30 | カシオ計算機株式会社 | 電子装置、電子装置の制御方法及び電子装置の制御プログラム |
JP2023022035A (ja) * | 2020-03-24 | 2023-02-14 | カシオ計算機株式会社 | 電子装置、電子装置の制御方法及び電子装置の制御プログラム |
JP7238835B2 (ja) | 2020-03-24 | 2023-03-14 | カシオ計算機株式会社 | 電子装置、電子装置の制御方法及び電子装置の制御プログラム |
JP7392806B2 (ja) | 2020-03-24 | 2023-12-06 | カシオ計算機株式会社 | 電子装置、電子装置の制御方法及び電子装置の制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7415318B2 (ja) | 2024-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11029830B2 (en) | Display control apparatus, display controlling method and display control program for providing guidance using a generated image | |
CN112741609B (zh) | 电子装置、电子装置的控制方法以及介质 | |
JP2021132869A (ja) | 電子装置、電子装置の制御方法及び電子装置の制御プログラム | |
CN110297720B (zh) | 通知装置、通知方法及存储通知程序的介质 | |
US20180184899A1 (en) | System and method for detection and monitoring of a physical condition of a user | |
US20220087547A1 (en) | Electronic device, control method for electronic device, and recording medium | |
CN110013102B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
CN110993051B (zh) | 判定装置、判定方法以及记录介质 | |
JP2019111317A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7135466B2 (ja) | 表示装置、表示方法及び表示プログラム | |
JP2020057153A (ja) | 表示制御装置、表示制御方法及び表示制御プログラム | |
JP7225749B2 (ja) | 報知装置、報知方法及びプログラム | |
JP7238835B2 (ja) | 電子装置、電子装置の制御方法及び電子装置の制御プログラム | |
JP7556203B2 (ja) | 電子装置、電子装置の制御プログラム及び電子装置の制御方法 | |
JP7485114B2 (ja) | 報知装置、報知方法及びプログラム | |
CN114430663B (zh) | 图像处理装置、图像处理方法以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7415318 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |