JP7415318B2 - Image processing device, image processing method and program - Google Patents
Image processing device, image processing method and program Download PDFInfo
- Publication number
- JP7415318B2 JP7415318B2 JP2018200206A JP2018200206A JP7415318B2 JP 7415318 B2 JP7415318 B2 JP 7415318B2 JP 2018200206 A JP2018200206 A JP 2018200206A JP 2018200206 A JP2018200206 A JP 2018200206A JP 7415318 B2 JP7415318 B2 JP 7415318B2
- Authority
- JP
- Japan
- Prior art keywords
- biological information
- subject
- body part
- ease
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 155
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000005259 measurement Methods 0.000 claims description 312
- 238000000034 method Methods 0.000 claims description 136
- 238000001514 detection method Methods 0.000 claims description 68
- 238000003384 imaging method Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 9
- 238000009532 heart rate measurement Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 124
- 238000010191 image analysis Methods 0.000 description 22
- 238000013500 data storage Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 230000004048 modification Effects 0.000 description 15
- 238000012986 modification Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 10
- 210000001061 forehead Anatomy 0.000 description 9
- 230000004044 response Effects 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 208000029152 Small face Diseases 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 210000003467 cheek Anatomy 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000008685 targeting Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.
近年、ユーザを撮像した画像を解析することにより、ユーザの生体情報を測定する技術が存在する。
例えば特許文献１には、ユーザを撮像した画像から特定の被写体領域として人体の所定の部位を検出して、生体情報の１つである脈波伝搬速度の測定を行うという構成が開示されている。
In recent years, there has been a technology that measures a user's biological information by analyzing an image of the user.
For example,
しかしながら、特許文献１に開示の技術等の従来の技術では、撮像状態等によっては、測定精度が低くなってしまう場合があるという問題があった。
However, conventional techniques such as the technique disclosed in
本発明は、このような状況に鑑みてなされたものであり、より精度高く生体情報を測定することを目的とする。 The present invention has been made in view of this situation, and an object of the present invention is to measure biological information with higher accuracy.
上記目的を達成するため、本発明の一態様の画像処理装置は、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の異なる部位画像領域を検出し、
検出された前記被写体の複数の異なる部位画像領域夫々についての生体情報の検出の容易度を取得し、
取得された容易度に基づいて、前記複数の異なる部位画像領域から、前記被写体の生体情報の取得を行う部位画像領域を選択し、
部位画像領域の選択後に前記被写体の複数の異なる部位画像領域夫々についての生体情報の検出の容易度の変化の有無を判定し、
判定された前記生体情報の検出の容易度の変化の有無に基づいて、前記複数の部位画像領域において、前記被写体の生体情報の取得を行う部位画像領域を変更し、
前記容易度が高いほど短い測定時間で、前記容易度が低いほど長い測定時間で前記生体情報を取得する、
処理部を備えることを特徴とする。
In order to achieve the above object, an image processing device according to one embodiment of the present invention includes:
Detecting a plurality of different part image regions of the subject from an image including the subject captured by the imaging means,
obtaining the degree of ease of detecting biometric information for each of a plurality of different region image regions of the detected subject;
selecting a body image region from which biological information of the subject is to be acquired from the plurality of different body image regions based on the acquired ease;
determining whether there is a change in the degree of ease of detecting biological information for each of a plurality of different body part image areas of the subject after selecting the body part image area;
changing a body part image area from which biological information of the subject is to be acquired in the plurality of body part image areas based on the determined presence or absence of a change in the degree of ease of detection of the biological information;
The higher the ease, the shorter the measurement time, and the lower the ease, the longer the measurement time to acquire the biological information.
It is characterized by comprising a processing section.
本発明によれば、より精度高く生体情報を測定することができる。 According to the present invention, biological information can be measured with higher accuracy.
以下、本発明の実施形態について、図面を用いて説明する。
本発明の実施形態に係る画像処理装置１は、ユーザが携帯可能な自立式の鏡として構成される。画像処理装置１は、ユーザの複数の部位画像夫々についての生体情報の取得のしやすさを判定する。また、画像処理装置１は、判定された生体情報の取得のしやすさ（すなわち、検出の容易度）に基づいて、ユーザの複数の部位画像から所定の部位画像を選択する。そして、画像処理装置１は、選択された所定の部位画像からユーザの生体情報を取得する。
Embodiments of the present invention will be described below with reference to the drawings.
The
このような画像処理装置１によれば、生体情報の取得のしやすさという指標に基づいて、生体情報を取得する部位画像を選択することから、より精度高く生体情報を測定することができる。
According to such an
［システム構成］
図１は、本実施形態に係る画像処理装置１が含まれる画像処理システムＳの全体構成を示すブロック図である。図１に示すように、画像処理システムＳは、複数の画像処理装置１、ネットワーク２及びサーバ群３を含む。
画像処理装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の画像処理装置１が画像処理システム１に含まれていてよい。なお、以下の説明において、ｎ台の画像処理装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「画像処理装置１」と称する。
[System configuration]
FIG. 1 is a block diagram showing the overall configuration of an image processing system S including an
The number of
画像処理装置１は、上述したとおり生体情報の取得のしやすさという指標に基づいて、生体情報を取得する部位画像を選択する装置である。画像処理装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。
As described above, the
ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。 The network 2 is realized by, for example, the Internet, a LAN (Local Area Network), a mobile phone network, or a combination of these.
サーバ群３には、画像処理装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、画像処理装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、画像処理装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、画像処理装置１により測定された生体情報や、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
The server group 3 includes various servers that cooperate with the
［外観構成］
図２は、本発明の一実施形態に係る画像処理装置１の前面の外観構成を示す構成図である。また、図３は、画像処理装置１の側面の外観構成を示す構成図である。画像処理装置１の前面の大きさは、例えば、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。
[Exterior configuration]
FIG. 2 is a configuration diagram showing the external configuration of the front side of the
図２及び図３に示すように、画像処理装置１は、鏡部３０と、脚部３１とを含んで構成される。鏡部３０は、反射面を有した鏡である。
また、脚部３１及びヒンジ部３２は、画像処理装置１を自立させるための機構である。脚部３１は、ヒンジ部３２によって鏡部３０に回動可能に接合される。
図３（Ａ）に示すように、ユーザは、画像処理装置１を携帯する際に、鏡部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、画像処理装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、画像処理装置１を自立させることができる。なお、画像処理装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための構造を有している。
As shown in FIGS. 2 and 3, the
Further, the leg portion 31 and the hinge portion 32 are mechanisms for making the
As shown in FIG. 3A, when carrying the
図２に示すように、画像処理装置１は、外観に表れる構成として、更に、発光部１７、入力部１８、及び表示部１９を備えている。
As shown in FIG. 2, the
発光部１７は、鏡部３０に正対するユーザを照らすために発光する部分である。発光部１７が、ユーザを照らすことにより、画像処理装置１は、照明付きの鏡（「女優ミラー」と呼ばれる場合もある。）として機能する。また、発光部１７は、後述の生体情報測定処理において、生体情報を取得するために調光される。
発光部１７は、鏡部３０の上端に複数箇所配置される。ただし、図示の都合上、図２では、１つの発光部１７についてのみ符号を付し、他の発光部１７については符号を省略する。
The
The
入力部１８は、ユーザによる操作入力を受け付ける部分である。入力部１８は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、画像処理装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。
The
表示部１９は、各種の情報を表示することにより、これら各種の情報をユーザに対して報知する部分である。表示部１９は、例えば、文字等のメッセージや、画像等を表示する。画像処理装置１では、鏡部３０を構成する反射部の反射面と、表示部１９の表示面とが、ユーザから同時に視認可能に、鏡部３０に正対するユーザの視認方向に重畳して配置される。
The
例えば、液晶ディスプレイにより構成された表示部１９が、ハーフミラーにより構成された鏡部３０の視認方向における奥側に、並行に重ねて配置される。
このような配置により、ユーザは鏡部３０により反射された自身の顔と、表示部１９に表示された情報とを同時に視認することができる。なお、図２の例では、画面上部に表示部１９の表示領域を設け、画面下部に鏡部３０の反射領域を設けている。
For example, a
With this arrangement, the user can view his or her own face reflected by the
なお、図２には図示していないが、画像処理装置１は、更に撮像部１６を備える。撮像部１６は、画像処理装置１の利用時に、鏡部３０に正対するユーザを被写体として撮像する部分である。撮像部１６は、鏡部３０に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、表示部１９と同様に、ハーフミラーにより構成された鏡部３０の視認方向における奥側に、表示部１９と並行に重ねて配置される。
Although not shown in FIG. 2, the
以上、画像処理装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、画像処理装置１の外観構造は、この例に限定されない。
The external structure of the
また、例えば、発光部１７が、鏡部３０の上部や下部に配置されてもよく、鏡部３０の周辺全体に配置されてもよい。更に、例えば、入力部１８の数や配置が変更されてもよい。また、例えば、表示部１９の一部がタッチパネルとして構成され、入力部１８と表示部１９とが一体に構成されてもよい。
Further, for example, the
更に、例えば、表示部１９により実現される表示領域は、画面上部に配置してもよいが、他の位置に配置してもよい。例えば、鏡部３０の中央部分にユーザの顔が映し出されることを想定し、その中央部分の周辺に表示領域を配置するようにしてもよい。
Further, for example, the display area realized by the
更に、例えば、画像処理装置１の前面の一部に鏡部３０を配置し、前面の他の一部に表示部１９を配置するようにしてもよい。つまり、鏡部３０と表示部１９とを必ずしも重畳して配置させなくてもよい。
Furthermore, for example, the
更に、例えば、ハーフミラーにより鏡部３０を構成し、一般的な液晶ディスプレイにより表示部１９を構成するのではなく、一般的な鏡により鏡部３０を構成し、透過型の液晶ディスプレイにより表示部１９を構成するようにしてもよい。この場合、一般的な鏡により構成された鏡部３０が、透過型の液晶ディスプレイにより構成された表示部１９の視認方向における奥側に、並行に重ねて配置されるようにするとよい。
Furthermore, for example, instead of configuring the
［ハードウェア構成］
図４は、画像処理装置１のハードウェアの構成を示すブロック図である。
図４に示すように、画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、発光部１７と、入力部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
[Hardware configuration]
FIG. 4 is a block diagram showing the hardware configuration of the
As shown in FIG. 4, the
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、発光部１７と、入力部１８と、表示部１９と、記憶部２０と、及びドライブ２２が接続されている。
The
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
Although not shown, the
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
The optical lens section includes a lens that condenses light, such as a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. A zoom lens is a lens whose focal length can be freely changed within a certain range.
The
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。
The image sensor includes a photoelectric conversion element, an AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element. A subject image is incident on the photoelectric conversion element from the optical lens section. Therefore, the photoelectric conversion element photoelectrically converts (images) the subject image, accumulates the image signal for a certain period of time, and sequentially supplies the accumulated image signal to the AFE as an analog signal.
The AFE performs various signal processing such as A/D (Analog/Digital) conversion processing on this analog image signal. A digital signal is generated by various signal processing and is output as an output signal of the
Such an output signal from the
発光部１７は、ＲＧＢカラーモデルにおける各色に対応するＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光体と、発光体を制御する制御回路とから構成される。制御回路は、発光体を制御することにより、照度や、ＲＧＢカラーモデルに基づいて発光体の発光における色成分を調整する。発光部１７は、画像処理装置１の起動と共に、ＲＧＢの色成分を所定の状態に調整して発光することにより、ユーザを照らす。この所定の状態とは、鏡部３０に映し出されたユーザの顔が自然に見える状態である。また、発光部１７は、ＣＰＵ１１からの指示に基づいて、生体情報が測定しやすくなるように、照度や色成分を調整して発光する。
The
入力部１８は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
The
表示部１９は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。鏡部３０は、ハーフミラーで構成され、例えば、ユーザの顔が映し出される。表示部１９と、鏡部３０の配置については、図２を参照して上述した通りである。
The
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
The
通信部２１は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。
The
ドライブ２２は、リムーバブルメディア１００は装着可能なインターフェースにより構成される。ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の生体情報測定処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２２によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部２０にインストールされる。
The
なお、画像処理装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、画像処理装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部を備えていてもよい。
Note that the
［機能的構成］
図５は、画像処理装置１の機能的構成のうち、生体情報測定処理を実行するための機能的構成を示す機能ブロック図である。
生体情報測定処理とは、画像処理装置１が、ユーザを被写体とした画像を撮像し、撮像した画像からユーザの生体情報を取得する一連の処理である。
生体情報測定処理が実行される場合、図５に示すように、ＣＰＵ１１において、設定制御部１１１と、画像解析部１１２と、判定選択部１１３と、生体情報測定部１１４と、報知部１１５とが機能する。
また、記憶部２０の一領域には、測定データ記憶部２０１が設定される。
[Functional configuration]
FIG. 5 is a functional block diagram showing a functional configuration for executing biological information measurement processing among the functional configurations of the
The biological information measurement process is a series of processes in which the
When the biological information measurement process is executed, as shown in FIG. Function.
Furthermore, a measurement
測定データ記憶部２０１には、生体情報測定処理に関する各種のデータが格納される。例えば、測定データ記憶部２０１には、生体情報測定処理において測定された生体情報や、生体情報測定処理の処理対象としたユーザに関して設定された測定領域等のプロファイル情報が格納される。
The measurement
なお、測定データ記憶部２０１に格納される各情報は、記憶部２０にのみ格納されていてもよいが、ドライブ２２によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、測定データ記憶部２０１に格納される各情報は、サーバ群３に含まれる測定データに適宜格納されるようにしてもよい。
Note that each piece of information stored in the measurement
設定制御部１１１は、生体情報測定処理に関する設定等の制御を行う部分である。設定制御部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、生体情報測定処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定制御部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、生体情報測定処理を行うユーザを認証する。更に設定制御部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、生体情報測定処理において測定された生体情報や、生体情報測定処理の処理対象としたユーザに関して設定された測定領域等のプロファイル情報を更新する。
The setting
画像解析部１１２は、撮像部１６が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの複数の部位画像を検出する。例えば、画像解析部１１２は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の測定領域の検出を行う。また、画像解析部１１２は、検出した測定領域を判定選択部１１３に対して通知する。
なお、この画像解析部１１２により検出された測定領域は、非接触で生体情報を取得するための関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に相当する。
The
Note that the measurement region detected by the
判定選択部１１３は、画像解析部１１２が検出した測定領域に対して、生体情報の取得のしやすさに関する分類を行う。例えば、判定選択部１１３は、生体情報の取得のしやすさに応じて、測定領域それぞれにレベル付けを行う。
The
レベル付けは任意の方法で行うことができる。例えば、測定領域が大きいほど、安定した測定領域であると考えられるので、判定選択部１１３は、測定領域が大きくなるにつれて高いレベルとなるようにレベル付け行う。
Leveling can be done in any way. For example, since it is considered that the larger the measurement area is, the more stable the measurement area is, the
あるいは、生体情報測定部１１４による計測結果に基づいてレベル付けを行う。例えば、生体情報測定部１１４が検出した脈波に基づいて算出される脈波検出率（脈波の検出に成功する確率）に基づいてレベル付けを行う。この場合、生体情報測定部１１４が脈波の検出に成功する確率である脈波検出率が高いほど、安定した測定領域であると考えられるので、判定選択部１１３は、脈拍計測率が高くなるにつれて高いレベルとなるようにレベル付け行う。
Alternatively, leveling is performed based on the measurement results by the biological
また、判定選択部１１３は、生体情報の測定のしやすさが高くなるように、発光部１７を制御して照度や色成分を調整するようにしてもよい。
Further, the
このようにしてレベル付けを行った判定選択部１１３は、画像解析部１１２に検出された複数の測定領域の中で、レベルの高い領域を選択し、選択した測定領域を生体情報測定部１１４に対して通知する。
The
生体情報測定部１１４は、判定選択部１１３から通知された測定領域の画像を対象として、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報（バイタルデータと呼ばれることもある。）の計測を行う。計測は、例えば、測定領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより行うことができる。生体情報測定部１１４が計測する生体情報は、例えば、脈拍、脈波、及び血流等である。
The biological
また、生体情報測定部１１４は、１つの測定領域の画像を対象として計測を行ってもよいが、複数の測定領域の画像を対象として計測を行ってもよい。この場合、判定選択部１１３がレベルの高い測定領域を複数選択する。そして、生体情報測定部１１４が、この複数の測定領域を対象として測定を行う。この場合、生体情報測定部１１４は、脈拍の遅延がわかる離れた２点（例えば頬と額、又は、額か頬と手のひら等）の測定領域を対象として測定を行なうことにより、例えば、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。
また、生体情報測定部１１４は、測定した生体情報に対してノイズ除去等を行うことにより、平均化処理を施すようにしてもよい。
Furthermore, the biological
Further, the biological
なお、生体情報測定部１１４による生体情報の測定は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
＜参考文献＞
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成２９年１２月１５日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞
Note that the measurement of biological information by the biological
<References>
Tohoku University Cyber Science Center Advanced Information Technology Research Department, Tohoku University Revolutionary Innovation Research Organization, “Successful development of blood circulation status monitoring device “Magic Mirror””, [online], September 27, 2016, [2017 Searched on December 15, 2016], Internet <URL: http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf>
生体情報測定部１１４は、測定した生体情報を報知部１１５や、設定制御部１１１に対して通知する。
The biological
報知部１１５は、生体情報測定部１１４が測定した生体情報に基づいて、グラフ、数値、及びアイコン等の生体情報を報知するための画像を生成する。そして、報知部１１５は、生成した画像を表示部１９に対して表示することにより報知を行う。この場合に、報知部１１５は、鏡部３０上のユーザの顔の映っている位置を考慮して報知を行うようにするとよい。鏡部３０上のユーザの顔の映っている位置は、鏡部３０上の反射位置と表示部１９上の表示位置の対応関係と、画像解析部１１２がフェイストラッキングにより特定したユーザの顔の輪郭位置と、に基づいて、特定することができる。
The
そして、報知部１１５は、例えば、ユーザの顔が映っている位置と重複しない領域に（すなわち、ユーザの顔と被らない領域に）、生体情報を報知するための波形データや必要な文字、画像情報を自動配置し表示するようにするとよい。報知部１１５が、このような情報をリアルタイムにデザインし直して表示することで、健康状態や予防指導の情報等が見やすく伝えことができる。
Then, the
あるいは、報知部１１５は、例えば、ユーザの顔が映っている位置に重ねて情報を表示するようにしてもよい。例えば、生体情報を取得しやすくするために、ユーザの顔が鏡部３０に正対するように、矢印や吹き出しを使って案内情報を表示するようにしてもよい。例えば、測定領域を安定に保つためフェイストラッキングの輪郭データから顔の位置(上下左右の向き)を正面(輪郭領域が最大になる位置)になるようにガイド（矢印やＣＧ（Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）による合成など）を表示することでユーザに明示的にフィードバックを行うと、継続して安定した測定領域を確保することができる。
Alternatively, the
また、報知部１１５は、これらの表示を組み合わせるようにしてもよい。例えば、報知部１１５は、図２に示すように、マッサージの内容を示すテキストはユーザの顔が映っている位置と重複しない領域に表示し、マッサージの際の手の動きを示す矢印はユーザの顔が映っている位置に重ねて情報を表示するようにしてもよい。
Further, the
更に、報知部１１５は、表示部１９への表示以外の方法にて報知を行うようにしてもよい。例えば、報知部１１５は、図示を省略したスピーカから音声メッセージ等を出力させることによって報知を行うようにしてもよい。
Further, the
［動作］
次に、画像処理装置１の動作を説明する。ここで、画像処理装置１は、第１の生体情報測定処理と、第２の生体情報測定処理とを行う。
第１の生体情報測定処理は、検出された全ての測定領域に対してレベル付けを行い、レベルが高いと判定された測定領域を対象として生体情報を測定する処理である。すなわち、第１の生体情報測定処理は、処理の都度、レベルの高い場所を選択して測定を行う処理である。
[motion]
Next, the operation of the
The first biological information measurement process is a process in which all detected measurement areas are leveled and biological information is measured for measurement areas determined to have a high level. That is, the first biological information measurement process is a process in which a high level location is selected and measured each time the process is performed.
これに対して、第２の生体情報測定処理は、検出された全ての測定領域に対してレベル付けを行い、レベルが高いと判定された測定領域をユーザそれぞれについて紐付けておく。そして、その後は、紐付けてある測定領域を対象として生体情報を測定する処理である。すなわち、第２の生体情報測定処理は、ユーザ毎に設定された場所を選択して測定を行う処理である。 On the other hand, in the second biological information measurement process, levels are assigned to all detected measurement areas, and measurement areas determined to have a high level are associated with each user. After that, biological information is measured in the linked measurement area. That is, the second biological information measurement process is a process of selecting a location set for each user and performing measurement.
以下では、まず、図６を参照して第１の生体情報測定処理について説明をする。次に、図７及び図８を参照して第２の生体情報測定処理について説明をする。なお、各生体情報測定処理は、画像処理装置１の起動や、ユーザの開始操作と共に開始される。ユーザの開始操作とは、例えば、ユーザによる生体情報測定処理の開始指示操作、もしくは、ユーザによる、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換え指示操作である。
この場合に、何れの生体情報測定処理を行うのかは、設定制御部１１１による設定や、ユーザの選択操作に応じて決定される。
Below, first, the first biological information measurement process will be explained with reference to FIG. Next, the second biological information measurement process will be explained with reference to FIGS. 7 and 8. Note that each biological information measurement process is started when the
In this case, which biological information measurement process is to be performed is determined according to the setting by the setting
［第１の生体情報測定処理］
図６は、画像処理装置１が実行する第１の生体情報測定処理の流れを説明するフローチャートである。
[First biological information measurement process]
FIG. 6 is a flowchart illustrating the flow of the first biological information measurement process executed by the
ステップＳ１１において、設定制御部１１１は、初期設定を行う。例えば、設定制御部１１１は、サーバ群３に含まれるアプリケーション配信サーバから、生体情報測定処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定制御部１１１は、アプリケーションソフトウェアの動作に伴い、撮像部１６や発光部１７の設定を行う、そして、設定制御部１１１は、撮像部１６による撮像を開始させると共に、発光部１７の発光を開始させる。
In step S11, the setting
ステップＳ１２において、画像解析部１１２は、フェイストラッキングを行うことにより、測定領域を検出する。具体的には、画像解析部１１２は、鏡部３０の前に正対したユーザを検出し、画像解析を行うことにより、測定領域を更に検出する。測定領域は、例えば、額、頬、顎、及び首等に対応する領域である。
In step S12, the
ステップＳ１３において、画像解析部１１２は、測定領域が検出できたか否かを判定する。測定領域が検出できた場合には、ステップＳ１３においてＹｅｓと判定され処理はステップＳ１４に進む。一方で、ユーザの顔の向きが適切でない等の理由で測定領域が検出できない場合には、ステップＳ１３においてＮｏと判定され、処理は再度ステップＳ１２に戻る。なお、ステップＳ１３において、画像解析部１１２は、測定領域が１つでも検出できたことを条件としてＹｅｓと判定してもよいが、測定領域が所定の数だけ検出できたことを条件としてＹｅｓと判定してもよい。
In step S13, the
ステップＳ１４において、判定選択部１１３は、生体情報の測定のしやすさが高くなるように、発光部１７を制御して照度や色成分を調整する。なお、この場合に、判定選択部１１３は、発光部１７に加えて表示部１９のバックライトを制御して照度や色成分を調整するようにしてもよい。更に、判定選択部１１３は、通信部２１を介した通信により、発光部１７に加えて画像処理装置１以外の装置が備える照明器具を制御して照度や色成分を調整するようにしてもよい。これにより、環境に合わせて安定した測定ができるようになる。
In step S14, the
ステップＳ１５において、判定選択部１１３は、ステップＳ１２において検出された測定領域それぞれに対してレベル付けを行う。レベル付けの方法は、上述したように、例えば、測定領域それぞれの大きさや、測定領域それぞれの脈波検出率に応じて行う。なお、脈波検出率に基づいてレベル付けを行う場合には、生体情報測定部１１４が、検出した測定領域それぞれに対して測定を行い、検出した測定領域それぞれについて脈波検出率を算出する。
In step S15, the
ステップＳ１６において、判定選択部１１３は、ステップＳ１５において行ったレベル付けにおいて、高レベルの測定領域（すなわち、所定レベル以上のレベルが付けられた測定領域）が検出されたか否かを判定する。
In step S16, the
高レベルの測定領域が検出された場合は、ステップＳ１６においてＹｅｓと判定され、処理はステップＳ１７に進む。一方で、高レベルの測定領域が検出されない場合は、ステップＳ１６においてＮｏと判定され、処理は再度ステップＳ１４に戻る。 If a high level measurement area is detected, the determination in step S16 is Yes, and the process proceeds to step S17. On the other hand, if a high level measurement area is not detected, the determination in step S16 is No, and the process returns to step S14 again.
ステップＳ１７において、生体情報測定部１１４は、高レベルの測定領域から生体情報を測定する。この測定は、上述したように、測定領域の画像に基づいて行われるものであり、ユーザに対しては非接触に行われる。
In step S17, the biological
ステップＳ１８において、判定選択部１１３は、ステップＳ１７において実際に生体情報を測定する対象とした測定領域に対して、再度レベル付けを行う。そして、この測定領域のレベルが高レベルのままであるか否かを判定する。この測定領域のレベルが高レベルのままである場合には、ステップＳ１８においてＹｅｓと判定され、処理はステップＳ１９に進む。
In step S18, the
一方で、この測定領域のレベルが変更しており、高レベルでなくなっている場合には、ステップＳ１８においてＮｏと判定され、処理は再度ステップＳ１４に戻る。例えば、ステップＳ１７における生体情報の測定に、数秒～数十秒を要すると、測定中にユーザが顔の向き等を変える場合がある。この場合、測定領域が適切に撮像できなくなり、測定領域のレベルが低レベルとなることがあり得る。この場合に、ステップＳ１８においてＮｏと判定される。 On the other hand, if the level of this measurement area has changed and is no longer at a high level, the determination in step S18 is No, and the process returns to step S14 again. For example, if it takes several seconds to several tens of seconds to measure the biometric information in step S17, the user may change the direction of his or her face during the measurement. In this case, the measurement area may not be properly imaged, and the level of the measurement area may become low. In this case, the determination in step S18 is No.
ステップＳ１８の処理において、生体情報を測定後に再度レベルを確認することにより、本実施形態では、高レベルの測定領域のみを対象として（すなわち、精度良く測定できる測定領域のみを対象として）測定された生体情報のみを取得することができる。なお、この再度のレベル付けは、生体情報の測定終了以外の条件に基づいて行われてもよい。例えば、ステップＳ１５にて前回行ったレベル付けから、所定時間（例えば、３０分）が経過したことを条件として、この再度のレベル付けを行なうようにしてもよい。すなわち、定期的に、この再度のレベル付けを行なうようにしてもよい。他にも、例えば、ユーザによる操作指示を受け付けたことを条件として、この再度のレベル付けを行なうようにしてもよい。 In the process of step S18, by checking the level again after measuring the biological information, in this embodiment, the measurement is performed only in the high-level measurement area (that is, only in the measurement area that can be measured with high accuracy). Only biometric information can be acquired. Note that this releveling may be performed based on conditions other than the end of measurement of biological information. For example, the leveling may be performed again on condition that a predetermined time (for example, 30 minutes) has elapsed since the previous leveling in step S15. In other words, this re-leveling may be performed periodically. Alternatively, for example, this re-leveling may be performed on the condition that an operation instruction from the user is received.
ステップＳ１９において、報知部１１５は、ステップＳ１７において測定された生体情報を、表示部１９への表示等の方法で報知する。
In step S19, the
ステップＳ２０において、設定制御部１１１は、ステップＳ１７において測定された生体情報を、記憶部２０の測定データ記憶部２０１や、サーバ群３に含まれる測定データ格納サーバ等に保存する。この保存された測定データを、測定対象としたユーザと紐付けておくことで、ユーザの生体情報の履歴を生成することができる。この履歴は、例えば、ユーザの生体情報の推移の分析等の目的に利用することができる。また、保存された測定データを、測定対象としたユーザと紐付けない場合においても、いわゆるビックデータとして統計の分析等に利用することができる。
In step S20, the setting
なお、上述の説明では、便宜上ステップＳ１９の後に、ステップＳ２０を行うと説明しているが、ステップＳ２０を行ってからステップＳ１９を行ってもよく、ステップＳ１９とステップＳ２０を並行して行ってもよい。 In addition, in the above description, it is explained that step S20 is performed after step S19 for convenience, but step S19 may be performed after step S20, or step S19 and step S20 may be performed in parallel. good.
ステップＳ２１において、設定制御部１１１は、第１の生体情報測定処理を終了するか否かを判定する。設定制御部１１１は、例えば、生体情報が所定の回数だけ測定できたことや、ユーザから処理の終了操作を受け付けたことや、第１の生体情報測定処理を開始してから所定時間が経過したことを第１の生体情報測定処理を終了する条件として、判定を行う。
In step S21, the setting
このような第１の生体情報測定処理を終了する条件が満たされていない場合は、ステップＳ２１においてＮｏと判定され、処理は再度ステップＳ１７に戻る。一方で、このような第１の生体情報測定処理を終了する条件が満たされた場合は、ステップＳ２１においてＹｅｓと判定され、今回の第１の生体情報測定処理は終了する。
なお、次回以降に行われる第１の生体情報測定処理では、ステップＳ１１におけるアプリケーションの取得等の処理を省略するようにしてもよい。
If the conditions for terminating the first biological information measurement process are not satisfied, a negative determination is made in step S21, and the process returns to step S17 again. On the other hand, if the conditions for terminating the first biological information measurement process are satisfied, the determination in step S21 is Yes, and the current first biological information measurement process ends.
Note that in the first biological information measurement process to be performed from next time onward, the process such as acquiring the application in step S11 may be omitted.
以上説明した第１の生体情報測定処理では、検出された測定領域の中からレベルの高い測定領域を選択し、選択した測定領域を対象として生体情報を測定することができる。ここで、レベルの高い測定領域は、生体情報を測定しやすい測定領域であることから、第１の生体情報測定処理によれば、より精度高く生体情報を測定することができる。 In the first biological information measurement process described above, a measurement area with a high level is selected from among the detected measurement areas, and biological information can be measured for the selected measurement area. Here, since a measurement area with a high level is a measurement area in which biological information can be easily measured, according to the first biological information measurement process, biological information can be measured with higher accuracy.
また、第１の生体情報測定処理によれば、生体情報を測定後に、レベルの高い測定領域のままであり、レベルが低下していないことを確認することから、より精度高く生体情報を測定することを保証することができる。 In addition, according to the first biological information measurement process, after measuring the biological information, it is confirmed that the measurement area remains at a high level and the level has not decreased, so that the biological information can be measured with higher accuracy. I can guarantee that.
更に、第１の生体情報測定処理によれば、予めユーザのプロファイル情報を登録していなくとも、生体情報を測定することができる。 Furthermore, according to the first biometric information measurement process, biometric information can be measured even if the user's profile information is not registered in advance.
［第２の生体情報測定処理］
図７及び図８は、画像処理装置１が実行する第２の生体情報測定処理の流れを説明するフローチャートである。
[Second biological information measurement process]
7 and 8 are flowcharts illustrating the flow of the second biological information measurement process executed by the
ステップＳ３１において、設定制御部１１１は、初期設定を行う。初期設定の方法については、上述したステップＳ１１と同様であるので詳細な説明は省略する。
ステップＳ３２において、設定制御部１１１は、ユーザを識別するための個人認証を試み、個人認証に成功したか否かを判定する。個人認証に成功した場合は、ステップＳ３２においてＹｅｓと判定され、処理はステップＳ３３に進む。一方で、個人認証に失敗した場合は、ステップＳ３２においてＮｏと判定され、ステップＳ３２を繰り返す。なお、個人認証は、例えば、撮像部１６が撮像したユーザの顔画像を用いた顔認識や、入力部１８に含まれるマイクにて集音したユーザの音声を用いた声紋認識等により行うことができる。また、それ以外にも、所定の生体情報を利用した生体認証や、ユーザから入力されたパスワードを利用した認証等の他の認証方法により個人認証を行うようにしてもよい。
In step S31, the setting
In step S32, the setting
ステップＳ３３において、設定制御部１１１は、個人認証により特定したユーザについてのプロファイル情報を、サーバ群３に含まれる認証サーバに対して問い合わせる。認証サーバは、問い合わせを受けたユーザについてのプロファイル情報の有無を確認する。そして、認証サーバは、プロファイル情報が存在する場合には、サーバ群３に含まれる測定データ格納サーバから、対応するプロファイル情報を取得する。そして、認証サーバは、取得したプロファイル情報を、問い合わせに対する応答として、設定制御部１１１に対して送信する。一方で、認証サーバは、プロファイル情報が存在する場合には、その旨を、問い合わせに対する応答として、設定制御部１１１に対して送信する。
In step S33, the setting
ここで、プロファイル情報には、ユーザの関連情報や、そのユーザについて指定されている個人別領域や、そのユーザについて指定されている測定対象とする生体情報の種類が含まれている。 Here, the profile information includes information related to the user, an individual area specified for the user, and a type of biological information to be measured specified for the user.
ここで、ユーザの関連情報とは、例えば、ユーザを識別するための識別情報や、ユーザの名前や年齢、身長体重等の情報や、認証を行うための認証元画像である。 Here, the user-related information is, for example, identification information for identifying the user, information such as the user's name, age, height and weight, and an authentication source image for performing authentication.
また、個人別領域とは、ユーザそれぞれについて紐付けてある特定の測定領域である。また、個人別領域の数は、測定対象とする生体情報により異なる。例えば、上述したように、脈拍や脈波については、１つの測定領域（例えば、額、頬、顎、及び首等の何れか１つの測定領域）から測定を行うことができる。そのため、脈拍や脈波を測定する場合には、個人別領域は１つでよい。一方で、脈波伝播速度や血圧変動については、脈拍の遅延がわかる離れた２点（例えば頬と額、又は、額か頬と手のひら等）の測定領域から測定を行うことができる。そのため、脈波伝播速度や血圧変動を測定する場合には、個人別領域は２つ必要となる。
なお、プロファイル情報には、測定時における発光部１７の設定内容等の、測定に関する関連情報が更に含まれていてもよい。
Furthermore, the individual area is a specific measurement area that is linked to each user. Further, the number of individual areas varies depending on the biological information to be measured. For example, as described above, pulses and pulse waves can be measured from one measurement area (for example, any one measurement area such as the forehead, cheek, chin, neck, etc.). Therefore, when measuring pulses and pulse waves, only one individual area is required. On the other hand, pulse wave propagation velocity and blood pressure fluctuation can be measured from two distant measurement areas (for example, cheek and forehead, or forehead, cheek, and palm) where pulse delay can be seen. Therefore, when measuring pulse wave propagation velocity or blood pressure fluctuation, two individual areas are required.
Note that the profile information may further include related information regarding the measurement, such as the settings of the
ステップＳ３４において、設定制御部１１１は、認証サーバからの応答の内容を確認する。認証サーバからの応答の内容が、プロファイル情報である場合には、ステップＳ３４においてＹｅｓと判定され、処理はステップＳ３５に進む。一方で、認証サーバからの応答の内容が、プロファイル情報が存在しない旨である場合には、ステップＳ３４においてＮｏと判定され、処理はステップＳ３６に進む。
In step S34, the setting
ステップＳ３５において、設定制御部１１１は、認証サーバからの応答として受信したプロファイル情報を読み込む。
In step S35, the setting
ステップＳ３６において、設定制御部１１１は、今回処理の対象としているユーザについてのプロファイル情報を生成し、認証サーバへ送信すると共に、プロファイル情報の登録を依頼する。認証サーバは、受信したプロファイル情報を、測定データ格納サーバに格納することにより登録を行う。なお、この段階において、未だ個人別領域の設定が行われていないような場合には、個人別領域以外の情報についてのみ登録を行う。
In step S36, the setting
ステップＳ３７において、設定制御部１１１は、処理の対象としているユーザについて個人別領域の指定が有るか否かを判定する。
例えば、ステップＳ３５にて読み込んだプロファイル情報に個人別領域の指定が含まれている場合や、ユーザからの操作等に応じて個人別領域の指定がなされている場合には、ステップＳ３７においてＹｅｓと判定され、処理はステップＳ３８に進む。一方で、プロファイル情報に個人別領域の指定が含まれておらず、ユーザからの操作等に応じた個人別領域の指定もなされていない場合には、ステップＳ３７においてＮｏと判定され、処理はステップＳ４２に進む。
In step S37, the setting
For example, if the profile information read in step S35 includes a designation of a personal area, or if a personal area is specified in response to an operation by the user, Yes is selected in step S37. It is determined, and the process proceeds to step S38. On the other hand, if the profile information does not include the designation of a personal area, and no personal area is specified in response to an operation by the user, the determination in step S37 is No, and the process returns to step S37. Proceed to S42.
ステップＳ３８において、設定制御部１１１は、プロファイル情報に基づいて、ユーザ個人に応じた設定を行う。例えば、設定制御部１１１は、プロファイル情報に基づいて、個人別領域や、測定対象とする生体情報の種類や、測定時における発光部１７の設定内容等を設定する。つまり、そのユーザについて測定を行うに適した状態に設定をする。
In step S38, the setting
ステップＳ３９において、画像解析部１１２は、フェイストラッキングを行うことにより、測定領域を検出する。本処理は、上述したステップＳ１２と同じ処理であるので、詳細な説明を省略する。
In step S39, the
ステップＳ４０において、判定選択部１１３は、ステップＳ３９において検出された測定領域に、ステップＳ３８にて設定した個人別領域と同じ領域が含まれているか否かを判定する。なお、個人別領域が１つの場合には、この１つの個人別領域について同じ領域が含まれているか否かを判定する。一方で、個人別領域が２つの場合には、この２つの個人別領域それぞれについて同じ領域が含まれているか否かを判定する。
In step S40, the
個人別領域と同じ領域（２つの個人別領域の場合には、そのそれぞれについて同じ領域）が含まれている場合には、ステップＳ４０においてＹｅｓと判定され、処理はステップＳ４６に進む。一方で、個人別領域と同じ領域（２つの個人別領域の場合には、そのそれぞれについて同じ領域）が含まれていない場合には、ステップＳ４０においてＮｏと判定され、処理はステップＳ４１に進む。 If the same area as the individual area (in the case of two individual areas, the same area for each individual area) is included, the determination in step S40 is Yes, and the process proceeds to step S46. On the other hand, if the same area as the individual area (in the case of two individual areas, the same area for each individual area) is not included, the determination in step S40 is No, and the process proceeds to step S41.
ステップＳ４１において、報知部１１５は、個人別領域と同じ領域が検出されるように、前回の測定時における顔の位置（すなわち、前記個人別領域を検出できた位置）等となるように案内（ナビゲーション）を報知する。例えば、報知部１１５は、撮像部１６により撮像されるユーザの顔の位置や向きが、前回の測定時における位置や向きと同じになるように、矢印や吹き出しを使って案内情報を表示する。ユーザは、この案内表示を参照することにより、前回の測定時における位置や向きと同じになるように、顔の位置や向きを調整することができる。
これにより、次回のステップＳ３９において個人別領域と同じ測定領域が検出され、次回のステップＳ４０においてＹｅｓと判定されるようになる。
In step S41, the
As a result, the same measurement area as the individual area will be detected in the next step S39, and YES will be determined in the next step S40.
他方、ステップＳ４２に進んだ場合は、個人別領域を設定するための処理が開始される。具体的には、ステップＳ４２において、判定選択部１１３は、生体情報の測定のしやすさが高くなるように、発光部１７を制御して照度や色成分を調整する。本処理は、上述したステップＳ１４と同じ処理であるので、詳細な説明を省略する。
On the other hand, if the process advances to step S42, processing for setting an individual area is started. Specifically, in step S42, the
ステップＳ４３において、判定選択部１１３は、ステップＳ３２において検出された測定領域それぞれに対してレベル付けを行う。本処理は、上述したステップＳ１５と同じ処理であるので、詳細な説明を省略する。
In step S43, the
ステップＳ４４において、判定選択部１１３は、ステップＳ４３において行ったレベル付けにおいて、高レベルの測定領域（すなわち、所定レベル以上のレベルが付けられた測定領域）が検出されたか否かを判定する。
なお、２つの個人別領域が必要な場合には、異なる場所それぞれで、高レベルの測定領域が検出されたか否かを判定する。例えば、額で１箇所、頬で１箇所というように高レベルの測定領域が検出されたか否かを判定する。
In step S44, the
Note that if two individual areas are required, it is determined whether a high-level measurement area is detected at each different location. For example, it is determined whether high-level measurement areas have been detected, such as one on the forehead and one on the cheek.
高レベルの測定領域が検出された場合は（２つの個人別領域が必要な場合には、異なる場所それぞれで、高レベルの測定領域が検出された場合は）、ステップＳ４４においてＹｅｓと判定され、処理はステップＳ４５に進む。一方で、高レベルの測定領域が検出されない場合は（２つの個人別領域が必要な場合には、異なる場所それぞれで、高レベルの測定領域が検出されない場合は）、ステップＳ４４においてＮｏと判定され、処理は再度ステップＳ４２に戻る。 If a high level measurement area is detected (if two individual areas are required, a high level measurement area is detected at each different location), the determination is Yes in step S44; The process advances to step S45. On the other hand, if a high-level measurement area is not detected (if two individual areas are required, a high-level measurement area is not detected at each different location), the determination is No in step S44. , the process returns to step S42 again.
ステップＳ４５において、ステップＳ４４にて検出された高レベルの測定領域（２つの個人別領域が必要な場合には、異なる場所それぞれについての、高レベルの測定領域）、を今回処理の対象としているユーザの個人別領域として設定する。なお、異なる場所がどの場所とどの場所であるのかは、ユーザ毎に予め定めておいてもよいし、ステップＳ４４にて検出された高レベルの測定領域がどの場所であるのかに基づいて定めるようにしてもよい。 In step S45, the user who is currently processing the high-level measurement area detected in step S44 (if two individual areas are required, the high-level measurement area for each different location) Set as a personal area. Note that the different locations may be determined in advance for each user, or may be determined based on the location of the high-level measurement area detected in step S44. You may also do so.
ステップＳ４６において、ステップＳ３９にて検出された個人別領域や、ステップＳ４５にて設定された個人別領域から生体情報を測定する。この測定は、上述したように、測定領域の画像に基づいて行われるものであり、ユーザに対しては非接触に行われる。 In step S46, biological information is measured from the individual area detected in step S39 and the individual area set in step S45. As described above, this measurement is performed based on an image of the measurement area, and is performed without contacting the user.
ステップＳ４７において、報知部１１５は、ステップＳ４６において測定された生体情報を、表示部１９への表示等の方法で報知する。本処理は、上述したステップＳ１９と同じ処理であるので、詳細な説明を省略する。
In step S47, the
ステップＳ４８において、設定制御部１１１は、ステップＳ４６において測定された生体情報を、記憶部２０の測定データ記憶部２０１や、サーバ群３に含まれる測定データ格納サーバ等に保存する。本処理は、上述したステップＳ２０と同じ処理であるので、詳細な説明を省略する。
In step S48, the setting
ステップＳ４９において、設定制御部１１１は、第２の生体情報測定処理を終了するか否かを判定する。本処理は、上述したステップＳ２１と同じ処理であり、第２の生体情報測定処理を終了する条件も、第１の生体情報測定処理を終了する条件と同じとできるので、詳細な説明を省略する。
In step S49, the setting
第２の生体情報測定処理を終了する条件が満たされていない場合は、ステップＳ４９においてＮｏと判定され、処理は再度ステップＳ４６に戻る。一方で、第２の生体情報測定処理を終了する条件が満たされた場合は、ステップＳ４９においてＹｅｓと判定され、処理はステップＳ５０に進む。 If the conditions for terminating the second biological information measurement process are not met, a negative determination is made in step S49, and the process returns to step S46 again. On the other hand, if the conditions for terminating the second biological information measurement process are met, the determination in step S49 is Yes, and the process proceeds to step S50.
ステップＳ５０において、設定制御部１１１は、今回処理の内容に基づいてプロファイル情報を更新し、認証サーバへ送信すると共に、プロファイル情報の登録を依頼する。例えば、設定制御部１１１は、今回の処理においてステップＳ４４にて設定した個人別領域や、ステップＳ４２における調光時の発光部１７の設定内容等に基づいてプロファイル情報を更新し、認証サーバへ送信すると共に、プロファイル情報の登録を依頼する。
In step S50, the setting
認証サーバは、受信したプロファイル情報を、測定データ格納サーバに格納することにより登録を行う。これにより、次回以降に行われる第２の生体情報測定処理では、ステップＳ３７においてＹｅｓと判定されることになり、ステップＳ４２～ステップＳ４５等の処理を省略することができる。
なお、次回以降に行われる第２の生体情報測定処理では、ステップＳ３１におけるアプリケーションの取得等の処理も省略するようにしてもよい。
The authentication server performs registration by storing the received profile information in the measurement data storage server. As a result, in the second biological information measurement process to be performed from the next time onward, the determination in step S37 will be YES, and processes such as steps S42 to S45 can be omitted.
Note that in the second biological information measurement process to be performed from the next time onward, the process such as acquiring the application in step S31 may also be omitted.
以上説明した第２の生体情報測定処理では、ユーザ個人毎に設定された個人別領域を対象として生体情報を測定することができる。ここで、個人別領域は、レベルの高い測定領域から選択されたものであり、生体情報を測定しやすい測定領域であることから、第２の生体情報測定処理によれば、より精度高く生体情報を測定することができる。 In the second biometric information measurement process described above, biometric information can be measured in an individual area set for each individual user. Here, the individual area is selected from high-level measurement areas and is a measurement area in which biological information can be easily measured. can be measured.
また、第２の生体情報測定処理によれば、レベルの高い測定領域が、ユーザ個人毎に異なるような場合であっても、ユーザ個人毎に設定された個人別領域を設定することから、より精度高く生体情報を測定することを保証することができる。 Furthermore, according to the second biological information measurement process, even if the measurement area with a high level differs for each individual user, an individual area set for each individual user is set, so that it is possible to It is possible to ensure that biometric information is measured with high accuracy.
以上のように構成される画像処理装置１は、画像処理装置１は、画像解析部１１２と、生体情報測定部１１４と、判定選択部１１３と、を備える。
画像解析部１１２は、撮像部１６により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する。
生体情報測定部１１４は、画像解析部１１２により検出された被写体の複数の部位画像の少なくとも何れかから生体情報を取得する。
判定選択部１１３は、画像解析部１１２により検出された被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する。判定選択部１１３は、判定選択部１１３により判定された生体情報の検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、生体情報の検出の容易度という指標に基づいて、生体情報の取得に関する選択を行なうことから、より精度高く生体情報を測定することができる。
The
The
The biological
The
Thereby, selection regarding acquisition of biometric information is made based on the index of ease of detection of biometric information, so biometric information can be measured with higher accuracy.
判定選択部１１３は、判定選択部１１３により判定された生体情報の検出の容易度に基づいて、被写体の複数の部位画像から所定の部位画像を選択する。
生体情報測定部１１４は、判定選択部１１３により選択された所定の部位画像から被写体の生体情報を取得する。
これにより、生体情報の検出の容易度という指標に基づいて、生体情報を取得する部位画像を選択することから、より生体情報を取得しやすい部位画像から生体情報を測定することができる。
The
The biological
As a result, the body part images from which biological information is to be acquired are selected based on the index of the degree of ease of detecting biological information, so that biological information can be measured from body images from which biological information is more easily acquired.
生体情報測定部１１４は、画像解析部１１２により検出された被写体の複数の部位画像夫々についての生体情報を取得する。
判定選択部１１３は、判定選択部１１３により判定された生体情報の検出の容易度に基づいて、生体情報測定部１１４により取得される複数の生体情報から生体情報を選択する。
これにより、生体情報の検出の容易度という指標に基づいて、より生体情報を取得しやすい部位画像から計測した生体情報を取得することができる。
The biological
The
Thereby, based on the index of the degree of ease of detecting biological information, it is possible to acquire biological information measured from a region image where biological information is more easily acquired.
生体情報測定部１１４は、判定選択部１１３により選択された所定の部位画像についての生体情報の検出の容易度に応じて、生体情報の取得方法を異ならせる。
これにより、例えば、生体情報の検出の容易度が高いほど、測定時間を短くしても、精度高く生体情報を測定することができる。また、仮に生体情報の検出の容易度がそれほど高くない場合には、測定時間を長くすることにより、精度高く生体情報を測定することができる。
The biological
Thereby, for example, the higher the degree of ease of detecting biological information, the more accurately biological information can be measured even if the measurement time is shortened. Furthermore, if the degree of ease of detecting biological information is not so high, the biological information can be measured with high accuracy by lengthening the measurement time.
判定選択部１１３は、被写体の複数の部位画像夫々の領域範囲の大きさに基づいて、生体情報の検出の容易度を判定する。
これにより、測定領域が大きいほど、安定した測定領域であるという基準に基づいて、生体情報の検出の容易度を判定することができる。
The
Thereby, the ease of detecting biological information can be determined based on the criterion that the larger the measurement area is, the more stable the measurement area is.
生体情報測定部１１４は、被写体の複数の部位画像夫々から被写体の脈拍を検出する。
判定選択部１１３は、生体情報測定部１１４により検出された脈拍に基づいて、生体情報の検出の容易度を判定する。
これにより、脈拍という基準に基づいて、生体情報の検出の容易度を判定することができる。
The biological
The
Thereby, the ease of detecting biological information can be determined based on the pulse rate.
生体情報測定部１１４は、検出した脈拍に基づいて脈拍計測率を算出し、
判定選択部１１３は、生体情報測定部１１４により算出された脈拍計測率に基づいて生体情報の検出の容易度を判定する。
これにより、脈拍計測率が高いほど、安定した測定領域であるという基準に基づいて、生体情報の検出の容易度を判定することができる。
The biological
The
Thereby, the degree of ease of detecting biological information can be determined based on the criterion that the higher the pulse measurement rate, the more stable the measurement area is.
判定選択部１１３は、撮像部１６により撮像された被写体を含む画像が更新される毎に、選択を行う。
これにより、画像が更新されて生体情報の検出の容易度が変化したとしても、より精度高く生体情報を測定することができる。
The
Thereby, even if the image is updated and the degree of ease of detecting biometric information changes, biometric information can be measured with higher accuracy.
画像処理装置１は、発光部１７を更に備え、
判定選択部１１３は、被写体の部位画像の生体情報の検出の容易度を判定する場合に、生体情報の検出の容易度が高くなるように発光部１７を制御する。
これにより、生体情報の検出の容易度が高くでき、より精度高く生体情報を測定することができる。
The
The
Thereby, the degree of ease in detecting biological information can be increased, and biological information can be measured with higher accuracy.
画像処理装置１は、報知部１１５を更に備える。
報知部１１５は、判定選択部１１３により選択された部位を報知する。
これにより、被写体であるユーザは、現在どの部位が選択されているのかを把握できるので、選択された部位が適切に撮像されるように、顔の位置等を調整することができる。
The
As a result, the user, who is the subject, can understand which body part is currently selected, and thus can adjust the position of the face, etc. so that the selected body part is appropriately imaged.
報知部１１５は、判定選択部１１３により選択された部位画像の領域範囲に応じて、生体情報測定部１１４により取得された生体情報を報知する。
これにより、被写体であるユーザの顔が映っている位置と重複しない領域に（すなわち、ユーザの顔と被らない領域に）、生体情報を報知するための波形データや必要な文字、画像情報を自動配置し表示することができる。あるいは、ユーザの顔が映っている位置に重ねて情報を表示することもできる。
The notifying
As a result, waveform data, necessary characters, and image information for reporting biometric information are placed in an area that does not overlap with the position where the user's face (that is, the subject) is reflected (in other words, in an area that does not overlap with the user's face). It can be automatically arranged and displayed. Alternatively, information can be displayed over the location where the user's face is shown.
報知部１１５は、画像解析部１１２により検出された被写体の複数の部位画像に基づいて特定される被写体の被撮像位置に応じて、所定の被撮像位置への案内を報知する。
これにより、測定領域が適切に検出される、案内（ナビゲーション）を報知することができる。例えば、撮像部により撮像されるユーザの顔の位置や向きが、適切な位置や向きと同じになるように、矢印や吹き出しを使って案内情報を表示することができる。
The
Thereby, guidance (navigation) in which the measurement area is appropriately detected can be notified. For example, the guidance information can be displayed using arrows or speech bubbles so that the position and orientation of the user's face imaged by the imaging unit is the same as the appropriate position and orientation.
判定選択部１１３は、被写体毎に指定されている複数の部位夫々について、所定の部位画像の選択を行う。
これにより、生体情報の検出の容易度が高い測定領域が、ユーザ個人毎に異なるような場合であっても、より精度高く生体情報を測定することを保証することができる。
The
Thereby, even if the measurement area where biometric information is easily detected differs for each individual user, it is possible to ensure that biometric information is measured with higher accuracy.
判定選択部１１３は、生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、何れかの部位画像を選択し、該選択した部位画像における検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、生体情報を検出する測定領域を限定できることから、生体情報を検出する処理を軽減することができる。
When there are a plurality of body part images whose degree of ease of detection of biological information is equal to or higher than a predetermined standard, the
This makes it possible to limit the measurement area for detecting biological information, thereby reducing the amount of processing required to detect biological information.
判定選択部１１３は、生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、該複数の部位画像をつなぎ合わせ、該つなぎ合わせた部位画像における検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、より広い測定領域を対象として、より精度高く生体情報を測定することができる。
If there are a plurality of body part images whose degree of ease of detection of biological information is equal to or higher than a predetermined standard, the
Thereby, biological information can be measured with higher precision over a wider measurement area.
判定選択部１１３は、生体情報の検出の容易度がもっとも高い部位画像における検出の容易度に基づいて、被写体の生体情報の取得に関する選択を行なう。
これにより、最も高いレベルの測定領域を対象として、より精度高く生体情報を測定することができる。
The
Thereby, biological information can be measured with higher accuracy targeting the highest level measurement area.
［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
[Modified example]
The present invention is not limited to the above-described embodiments, and any modifications, improvements, etc. that can achieve the purpose of the present invention are included in the present invention.
＜生体情報を選択する変形例＞
例えば、上述の実施形態における、第１の生体情報測定処理を一部変形するようにしてもよい。例えば、図６を参照して上述したように、第１の生体情報処理では、判定選択部１１３が、検出された検出領域それぞれにレベル付けを行って（ステップＳ１５の処理に相当）、高レベルの測定領域を選択し（ステップＳ１６の処理に相当）、その後、生体情報測定部１１４が、生体情報を測定していた（ステップＳ１７の処理に相当）。
<Modified example of selecting biometric information>
For example, the first biological information measurement process in the embodiment described above may be partially modified. For example, as described above with reference to FIG. 6, in the first biological information processing, the
これを変形して、まず、生体情報測定部１１４が、生体情報を取得し測定し（ステップＳ１７の処理に相当）、判定選択部１１３が、検出された検出領域それぞれにレベル付けを行って（ステップＳ１５の処理に相当）、高レベルの測定領域を選択し（ステップＳ１６の処理に相当）、選択された測定領域の生体情報を取得するようにしてもよい。この変形例における第１の生体情報測定処理について、以下、図９を参照して説明をする。
Modifying this, first, the biological
［変形例における第１の生体情報測定処理］
図９は、画像処理装置１が実行する第１の生体情報測定処理の流れを説明するフローチャートである。
[First biological information measurement process in modified example]
FIG. 9 is a flowchart illustrating the flow of the first biological information measurement process executed by the
ステップＳ６１において、設定制御部１１１は、ステップＳ１１と同様にして、初期設定を行う。
ステップＳ６２において、画像解析部１１２は、ステップＳ１２と同様にして、フェイストラッキングを行うことにより、測定領域を検出する。
In step S61, the setting
In step S62, the
ステップＳ６３において、画像解析部１１２は、測定領域が検出できたか否かを判定する。測定領域が検出できた場合には、ステップＳ６３においてＹｅｓと判定され処理はステップＳ６４に進む。一方で、ユーザの顔の向きが適切でない等の理由で測定領域が検出できない場合には、ステップＳ６３においてＮｏと判定され、処理は再度ステップＳ６２に戻る。
In step S63, the
ステップＳ６４において、判定選択部１１３は、ステップＳ１４と同様にして、生体情報の測定のしやすさが高くなるように、発光部１７を制御して照度や色成分を調整する。
ステップＳ６５において、生体情報測定部１１４は、ステップＳ６２にて検出された全ての測定領域それぞれから生体情報を測定する。この測定は、上述したように、測定領域の画像に基づいて行われるものであり、ユーザに対しては非接触に行われる。
In step S64, the
In step S65, the biological
ステップＳ６６において、判定選択部１１３は、ステップＳ６２において検出された全ての測定領域それぞれに対してレベル付けを行う。レベル付けの方法は、上述したステップＳ１５と同様にして、例えば、測定領域それぞれの大きさや、測定領域それぞれの脈波検出率に応じて行う。
In step S66, the
ステップＳ６７において、判定選択部１１３は、ステップＳ６６において行ったレベル付けにおいて、高レベルの測定領域（すなわち、所定レベル以上のレベルが付けられた測定領域）が検出されたか否かを判定する。高レベルの測定領域が検出された場合は、ステップＳ６７においてＹｅｓと判定され、処理はステップＳ６８に進む。一方で、高レベルの測定領域が検出されない場合は、ステップＳ６７においてＮｏと判定され、処理は再度ステップＳ６４に戻る。
In step S67, the
ステップＳ６８において、判定選択部１１３は、ステップＳ６６において全ての測定領域それぞれから測定された生体情報の中から、ステップＳ６６において行ったレベル付けにおいて高レベルの測定領域から測定した生体情報を選択する。
In step S68, the
ステップＳ６９において、報知部１１５は、ステップＳ６８において選択された生体情報を、表示部１９への表示等の方法で報知する。
ステップＳ７０において、設定制御部１１１は、ステップＳ６８において選択された生体情報を、記憶部２０の測定データ記憶部２０１や、サーバ群３に含まれる測定データ格納サーバ等に保存する。
In step S69, the
In step S70, the setting
なお、上述の説明では、便宜上ステップＳ６９の後に、ステップＳ７０を行うと説明しているが、ステップＳ７０を行ってからステップＳ６９を行ってもよく、ステップＳ６９とステップＳ７０を並行して行ってもよい。 Note that in the above description, for convenience, step S70 is performed after step S69, but step S69 may be performed after step S70, or step S69 and step S70 may be performed in parallel. good.
ステップＳ７１において、設定制御部１１１は、変形例における第１の生体情報測定処理を終了するか否かを判定する。設定制御部１１１は、例えば、生体情報が所定の回数だけ測定できたことや、ユーザから処理の終了操作を受け付けたことや、変形例における第１の生体情報測定処理を開始してから所定時間が経過したことを変形例における第１の生体情報測定処理を終了する条件として、判定を行う。
In step S71, the setting
このような変形例における第１の生体情報測定処理を終了する条件が満たされていない場合は、ステップＳ７１においてＮｏと判定され、処理は再度ステップＳ６４に戻る。一方で、このような変形例における第１の生体情報測定処理を終了する条件が満たされた場合は、ステップＳ７１においてＹｅｓと判定され、変形例における第１の生体情報測定処理は終了する。
なお、次回以降に行われる変形例における第１の生体情報測定処理では、ステップＳ１１におけるアプリケーションの取得等の処理を省略するようにしてもよい。
If the conditions for terminating the first biological information measurement process in such a modified example are not met, a negative determination is made in step S71, and the process returns to step S64 again. On the other hand, if the conditions for terminating the first biological information measurement process in such a modification are satisfied, the determination in step S71 is Yes, and the first biological information measurement process in the modification is completed.
Note that in the first biological information measurement process in the modified example to be performed from the next time onward, the process such as acquiring the application in step S11 may be omitted.
以上説明した変形例における第１の生体情報測定処理では、検出されたすべての測定領域のそれぞれから生体情報を測定する。また、全ての測定領域それぞれから測定された生体情報の中から、高レベルの測定領域から測定した生体情報を選択する。そして、選択した生体情報を報知する。ここで、レベルの高い測定領域は、生体情報を測定しやすい測定領域であることから、変形例における第１の生体情報測定処理によれば、より精度高く測定された生体情報を選択することができる。 In the first biological information measurement process in the modified example described above, biological information is measured from each of all detected measurement areas. Furthermore, biological information measured from a high-level measurement area is selected from among the biological information measured from all measurement areas. Then, the selected biological information is notified. Here, since a measurement area with a high level is a measurement area in which biological information can be easily measured, according to the first biological information measurement process in the modified example, biological information measured with higher accuracy can be selected. can.
また、本変形における第１の生体情報測定処理によれば、選択に先立って、全ての測定領域について常に生体情報を測定する。そのため、一部の測定領域から測定を行なう場合に比べて、常時、高レベルの測定領域の生体情報を取得することができる。 Furthermore, according to the first biological information measurement process in this modification, biological information is always measured for all measurement areas prior to selection. Therefore, compared to the case where measurement is performed from a part of the measurement area, it is possible to constantly obtain high-level biological information from the measurement area.
＜測定領域の選択に関する変形例＞
上述の実施形態では、ステップＳ１５、ステップＳ１６、及びステップＳ１７において、高レベルの測定領域（すなわち、所定レベル以上のレベルが付けられた測定領域）が検出されたか否かを判定し、高レベルの測定領域が検出されていた場合に、この高レベルの測定領域を対象として生体情報を測定していた。これに限らず、かかる処理を変形するようにしてもよい。
<Modification example regarding selection of measurement area>
In the above-described embodiment, in steps S15, S16, and S17, it is determined whether a high-level measurement area (that is, a measurement area assigned a level equal to or higher than a predetermined level) is detected, and the high-level measurement area is determined. When a measurement area has been detected, biological information is measured in this high-level measurement area. The present invention is not limited to this, and such processing may be modified.
例えば、高レベルの測定領域が複数検出された場合に、この複数の高レベルの測定領域の中から何れか１つの測定領域を選択するようにしてもよい。そして、選択された１つの測定領域から生体情報を検出するようにしてもよい。これにより、生体情報を検出する測定領域を限定できることから、生体情報を検出する処理を軽減することができる。 For example, when a plurality of high-level measurement regions are detected, any one measurement region may be selected from among the plurality of high-level measurement regions. Then, biological information may be detected from one selected measurement area. This makes it possible to limit the measurement area for detecting biological information, thereby reducing the amount of processing required to detect biological information.
あるいは、高レベルの測定領域が複数検出された場合に、この複数の高レベルの測定領域をつなぎ合わせて（すなわち、額、頬、顎、及び首といった部位を超えて）１つの測定領域として取り扱うようにしてもよい。そして、このつなぎ合わせた１つの測定領域から生体情報を検出するようにしてもよい。これにより、より広い測定領域を対象として、より精度高く生体情報を測定することができる。 Alternatively, if multiple high-level measurement areas are detected, these multiple high-level measurement areas are connected (i.e., beyond areas such as the forehead, cheeks, chin, and neck) and treated as one measurement area. You can do it like this. Then, biological information may be detected from this one connected measurement area. Thereby, biological information can be measured with higher accuracy over a wider measurement area.
あるいは、高レベルの測定領域（すなわち、所定レベル以上のレベルが付けられた測定領域）が検出されたか否かを判定するのではなく、最も高いレベルの測定領域が何れの測定領域であるか判定するようにしてもよい。そして、最も高いレベルの測定領域であると判定された測定領域から生体情報を検出するようにしてもよい。これにより、最も高いレベルの測定領域を対象として、より精度高く生体情報を測定することができる。 Alternatively, instead of determining whether a high-level measurement area (i.e., a measurement area with a level higher than a predetermined level) has been detected, it may be determined which measurement area has the highest level. You may also do so. Then, biological information may be detected from the measurement area determined to be the measurement area of the highest level. Thereby, biological information can be measured with higher accuracy targeting the highest level measurement area.
なお、本変形例を、図９を参照して上述した、ステップＳ６６、ステップＳ６７、及びステップＳ６８に適用するようにしてもよい。すなわち、高レベルの測定領域から測定した生体情報を選択する、という処理に本変形例を適用するようにしてもよい。 Note that this modification may be applied to step S66, step S67, and step S68 described above with reference to FIG. That is, this modification may be applied to the process of selecting biological information measured from a high-level measurement area.
＜他の変形例＞
他の変形例として、例えば、上述の実施形態において、ステップＳ１７やステップＳ４６では、測定対象とする測定領域のレベルを考慮することなく、生体情報の測定を行っていた。これを変形して、測定対象とする測定領域のレベルに応じて、生体情報の測定方法を異ならせるようにしてもよい。例えば、測定領域のレベルが高いほど、測定時間を短くするようにしてもよい。
<Other variations>
As another modification, for example, in the above-described embodiment, biological information was measured in step S17 and step S46 without considering the level of the measurement area to be measured. This may be modified so that the method of measuring biological information may be changed depending on the level of the measurement area to be measured. For example, the higher the level of the measurement area, the shorter the measurement time may be.
より具体的には、例えば高中低の３段階でレベル付けを行う場合には、高レベル（領域大／脈波検出率高）であれば測定時間を規定値より短縮し、中レベル（領域規定値／脈波検出率規定値）であれば規定値（デフォルト）の測定時間で計測し、低レベル（領域小／脈波検出率小）の場合、測定時間を規定値より長くする。
これにより、測定領域のレベルが高い場合（すなわち、生体情報の取得のしやすさが高い場合）には、短い測定時間で、精度高く生体情報を測定することができる。
More specifically, for example, when assigning levels in three stages (high, middle, and low), if the level is high (large area/high pulse wave detection rate), the measurement time is shortened from the specified value; value/pulse wave detection rate specified value), the measurement is performed using the specified value (default) measurement time, and in the case of a low level (small area/small pulse wave detection rate), the measurement time is made longer than the specified value.
Thereby, when the level of the measurement area is high (that is, when the ease of acquiring biological information is high), biological information can be measured with high accuracy in a short measurement time.
また、仮に測定領域のレベルがそれほど高くない場合（すなわち、生体情報の取得のしやすさがそれほど高くない場合）にも、測定時間を長くすることにより、精度高く生体情報を測定することができる。すなわち、レベルがそれほど高くない測定領域しか検出できない場合であっても、精度高く生体情報を測定することができる。 Furthermore, even if the level of the measurement area is not very high (that is, the ease of obtaining biological information is not very high), it is possible to measure biological information with high accuracy by increasing the measurement time. . That is, even if only a measurement area whose level is not very high can be detected, biological information can be measured with high accuracy.
他の変形例として、例えば、上述の実施形態において、第１の生体情報測定処理では、１つの測定領域から測定を行うことを想定していたが、これを変形して、第１の生体情報測定処理においても、脈拍の遅延がわかる離れた２点の測定領域から測定を行うようにしてもよい。つまり、第１の生体情報測定処理により、脈波伝播速度や血圧変動等の生体情報を測定するようにしてもよい。 As another modification example, for example, in the above-described embodiment, it was assumed that measurement was performed from one measurement area in the first biological information measurement process, but by modifying this, the first biological information In the measurement process as well, measurements may be performed from two separate measurement areas where the pulse delay can be determined. That is, biological information such as pulse wave propagation velocity and blood pressure fluctuation may be measured by the first biological information measurement process.
他の変形例として、例えば、上述の実施形態において、１つの測定領域又は２点の測定領域から測定を行うことを想定していたが、３点以上の測定領域から測定を行うようにしてもよい。 As another modification, for example, in the above-described embodiment, it was assumed that measurement would be performed from one measurement area or two measurement areas, but it may also be possible to perform measurement from three or more measurement areas. good.
他の変形例として、例えば、上述の実施形態において、画像処理装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を画像処理装置１に追加して、画像処理装置１のみで全ての処理を行うようにしてもよい。
As another modification, for example, in the above-described embodiment, it was assumed that the
また、上述の実施形態では、本発明が適用される画像処理装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
Further, in the above-described embodiment, the
For example, the present invention is applicable to electronic devices built into large mirrors such as full-length mirrors, electronic devices built into stationary washstands, and mirror-shaped electronic devices installed in bathrooms.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
The series of processes described above can be executed by hardware or software.
In other words, the functional configuration in FIG. 5 is merely an example and is not particularly limited. That is, it is sufficient that the
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
Further, one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof.
The functional configuration in this embodiment is realized by a processor that executes arithmetic processing, and processors that can be used in this embodiment include various processing units such as a single processor, a multiprocessor, and a multicore processor. In addition, it includes combinations of these various processing devices and processing circuits such as ASICs (Application Specific Integrated Circuits) and FPGAs (Field-Programmable Gate Arrays).
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processes is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer built into dedicated hardware. Further, the computer may be a computer that can execute various functions by installing various programs, such as a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部２０に含まれるハードディスク等で構成される。
A recording medium containing such a program is not only constituted by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
Note that in this specification, the step of writing a program to be recorded on a recording medium is not only a process that is performed chronologically in accordance with the order, but also a process that is not necessarily performed chronologically but in parallel or individually. It also includes the processing to be executed.
Furthermore, in this specification, the term system refers to an overall device composed of a plurality of devices, a plurality of means, and the like.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described above, these embodiments are merely illustrative and do not limit the technical scope of the present invention. The present invention can take various other embodiments, and various changes such as omissions and substitutions can be made without departing from the gist of the present invention. These embodiments and their modifications are included within the scope and gist of the invention described in this specification and the like, as well as within the scope of the invention described in the claims and its equivalents.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得手段と、
前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定手段と、
前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記被写体の複数の部位画像から所定の部位画像を選択し、
前記生体情報取得手段は、前記選択手段により選択された所定の部位画像から前記被写体の生体情報を取得する、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記生体情報取得手段は、前記部位検出手段により検出された前記被写体の複数の部位画像夫々についての生体情報を取得し、
前記選択手段は、前記判定手段により判定された前記生体情報の検出の容易度に基づいて、前記生体情報取得手段により取得される複数の生体情報から前記生体情報を選択する、
ことを特徴とする付記１に記載の画像処理装置。
［付記４］
前記生体情報取得手段は、前記選択手段により選択された所定の部位画像についての前記生体情報の検出の容易度に応じて、前記生体情報の取得方法を異ならせる、
ことを特徴とする付記１乃至３の何れか１に記載の画像処理装置。
［付記５］
前記判定手段は、前記被写体の複数の部位画像夫々の領域範囲の大きさに基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする付記１乃至４の何れか１に記載の画像処理装置。
［付記６］
前記被写体の複数の部位画像夫々から前記被写体の脈拍を検出する脈拍検出手段を備え、
前記判定手段は、前記脈拍検出手段により検出された脈拍に基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする付記１乃至５の何れか１に記載の画像処理装置。
［付記７］
前記脈拍検出手段は、前記検出した脈拍に基づいて脈拍計測率を算出し、
前記判定手段は、前記脈拍検出手段により算出された脈拍計測率に基づいて前記生体情報の検出の容易度を判定する、
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記選択手段は、前記撮像手段により撮像された前記被写体を含む画像が更新される毎に、前記選択を行う、
ことを特徴とする付記１乃至７の何れか１に記載の画像処理装置。
［付記９］
発光手段を更に備え、
前記判定手段は、前記被写体の部位画像の生体情報の検出の容易度を判定する場合に、前記生体情報の検出の容易度が高くなるように前記発光手段を制御する、
ことを特徴とする付記１乃至８の何れか１に記載の画像処理装置。
［付記１０］
前記選択手段により選択された部位を報知する第１の報知手段を更に備える、
ことを特徴とする付記１乃至９の何れか１に記載の画像処理装置。
［付記１１］
前記選択手段により選択された部位画像の領域範囲に応じて、前記生体情報取得手段により取得された生体情報を報知する第２の報知手段を更に備える、
ことを特徴とする付記１乃至１０の何れか１に記載の画像処理装置。
［付記１２］
前記部位検出手段により検出された前記被写体の複数の部位画像に基づいて特定される前記被写体の被撮像位置に応じて、所定の被撮像位置への案内を報知する第３の報知手段を更に備える、
ことを特徴とする付記１乃至１１の何れかに記載の画像処理装置。
［付記１３］
前記選択手段は、被写体毎に指定されている複数の部位夫々について、前記所定の部位画像の選択を行う、
ことを特徴とする付記１乃至１２の何れかに記載の画像処理装置。
［付記１４］
前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、何れかの部位画像を選択し、該選択した部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記１乃至１３の何れか１に記載の画像処理装置。
［付記１５］
前記選択手段は、前記生体情報の検出の容易度が所定基準以上の部位画像が複数存在する場合に、該複数の部位画像をつなぎ合わせ、該つなぎ合わせた部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記１乃至１３の何れか１に記載の画像処理装置。
［付記１６］
前記選択手段は、前記生体情報の検出の容易度がもっとも高い部位画像における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする付記１乃至１３の何れか１に記載の画像処理装置。
［付記１７］
画像処理装置が実行する画像処理方法であって、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出ステップと、
前記部位検出ステップにより検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得ステップと、
前記部位検出ステップにより検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定ステップと、
前記判定ステップにより判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択ステップと、
を含むことを特徴とする画像処理方法。
［付記１８］
コンピュータに、
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像を検出する部位検出機能と、
前記部位検出機能により検出された前記被写体の複数の部位画像の少なくとも何れかから生体情報を取得する生体情報取得機能と、
前記部位検出機能により検出された前記被写体の複数の部位画像夫々についての生体情報の検出の容易度を判定する判定機能と、
前記判定機能により判定された前記生体情報の検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう選択機能と、
を実現させることを特徴とするプログラム。
Below, the invention described in the original claims of this application will be added.
[Additional note 1]
Part detection means for detecting a plurality of part images of the subject from an image including the subject captured by the imaging means;
biological information acquisition means for acquiring biological information from at least one of the plurality of body part images of the subject detected by the body part detection means;
determination means for determining the degree of ease of detecting biological information for each of the plurality of body part images of the subject detected by the body part detection means;
a selection means for making a selection regarding acquisition of the biological information of the subject based on the degree of ease of detection of the biological information determined by the determination means;
An image processing device comprising:
[Additional note 2]
The selection means selects a predetermined part image from the plurality of part images of the subject based on the degree of ease of detection of the biological information determined by the determination means,
The biological information acquisition means acquires biological information of the subject from a predetermined region image selected by the selection means.
The image processing device according to
[Additional note 3]
The biological information acquisition means acquires biological information for each of the plurality of body part images of the subject detected by the body part detection means,
The selection means selects the biological information from a plurality of pieces of biological information acquired by the biological information acquisition means based on the degree of ease of detection of the biological information determined by the determination means.
The image processing device according to
[Additional note 4]
The biological information acquisition means varies the method of acquiring the biological information depending on the degree of ease of detecting the biological information for the predetermined region image selected by the selection means.
The image processing device according to any one of
[Additional note 5]
The determining means determines the ease of detecting the biological information based on the size of the area range of each of the plurality of body part images of the subject.
5. The image processing device according to any one of
[Additional note 6]
comprising a pulse detection means for detecting the pulse of the subject from each of a plurality of region images of the subject;
The determining means determines the ease of detecting the biological information based on the pulse detected by the pulse detecting means.
6. The image processing device according to any one of
[Additional note 7]
The pulse detection means calculates a pulse measurement rate based on the detected pulse,
The determination means determines the ease of detecting the biological information based on the pulse measurement rate calculated by the pulse detection means.
The image processing device according to appendix 6, characterized in that:
[Additional note 8]
The selection means performs the selection every time an image including the subject captured by the imaging means is updated.
8. The image processing device according to any one of
[Additional note 9]
further comprising a light emitting means,
The determining means controls the light emitting means so that the degree of ease of detecting the biological information increases when determining the degree of ease of detecting the biological information of the body part image of the subject.
9. The image processing device according to any one of
[Additional note 10]
further comprising a first notification means for notifying the region selected by the selection means;
The image processing device according to any one of
[Additional note 11]
further comprising a second notifying means for notifying the biological information acquired by the biological information acquiring means according to the area range of the region image selected by the selecting means;
11. The image processing device according to any one of
[Additional note 12]
The apparatus further includes third notification means for notifying guidance to a predetermined imaged position in accordance with the imaged position of the subject specified based on the plurality of body part images of the subject detected by the body part detection means. ,
The image processing device according to any one of
[Additional note 13]
The selection means selects the predetermined part image for each of a plurality of parts designated for each subject;
The image processing device according to any one of
[Additional note 14]
The selection means selects one of the body part images when there are a plurality of body part images in which the degree of ease of detection of the biological information is equal to or higher than a predetermined standard, and based on the degree of ease of detection in the selected body part image, making a selection regarding acquisition of biological information of the subject;
14. The image processing device according to any one of
[Additional note 15]
When there are a plurality of body part images in which the degree of ease of detection of the biological information is equal to or higher than a predetermined standard, the selection means connects the plurality of body part images, and selects the biological information based on the degree of ease of detection in the joined body part images. , making a selection regarding acquisition of biological information of the subject;
14. The image processing device according to any one of
[Additional note 16]
The selection means makes a selection regarding the acquisition of the biological information of the subject based on the degree of ease of detection in the part image in which the degree of ease of detection of the biological information is highest.
14. The image processing device according to any one of
[Additional note 17]
An image processing method executed by an image processing device, the method comprising:
a part detection step of detecting a plurality of part images of the subject from an image including the subject captured by the imaging means;
a biological information acquisition step of acquiring biological information from at least one of the plurality of body part images of the subject detected in the body part detection step;
a determination step of determining the ease of detecting biological information for each of the plurality of body part images of the subject detected in the body part detection step;
a selection step of making a selection regarding acquisition of the biological information of the subject based on the degree of ease of detection of the biological information determined in the determination step;
An image processing method characterized by comprising:
[Additional note 18]
to the computer,
a body part detection function that detects a plurality of body part images of a subject from an image including the subject captured by the imaging means;
a biological information acquisition function that acquires biological information from at least one of the plurality of body part images of the subject detected by the body part detection function;
a determination function that determines the ease of detecting biological information for each of the plurality of body part images of the subject detected by the body part detection function;
a selection function that makes a selection regarding acquisition of the biological information of the subject based on the degree of ease of detection of the biological information determined by the determination function;
A program characterized by realizing the following.
１・・・画像処理装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・発光部，１８・・・入力部，１９・・・表示部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，１００・・・リムーバブルメディア，１１１・・・設定制御部，１１２・・・画像解析部，１１３・・・判定選択部，１１４・・・生体情報取得部，１１５・・・報知部，２０１・・・測定データ記憶部，Ｓ・・・画像処理システム 1... Image processing device, 2... Network, 3... Server group, 11... CPU, 12... ROM, 13... RAM, 14... Bus, 15... Input Output interface, 16... Imaging unit, 17... Light emitting unit, 18... Input unit, 19... Display unit, 20... Storage unit, 21... Communication unit, 22... Drive , 100... Removable media, 111... Setting control section, 112... Image analysis section, 113... Judgment selection section, 114... Biological information acquisition section, 115... Notification section, 201... ...Measurement data storage unit, S...Image processing system
Claims (20)
検出された前記被写体の複数の異なる部位画像領域夫々についての生体情報の検出の容易度を取得し、
取得された容易度に基づいて、前記複数の異なる部位画像領域から、前記被写体の生体情報の取得を行う部位画像領域を選択し、
部位画像領域の選択後に前記被写体の複数の異なる部位画像領域夫々についての生体情報の検出の容易度の変化の有無を判定し、
判定された前記生体情報の検出の容易度の変化の有無に基づいて、前記複数の部位画像領域において、前記被写体の生体情報の取得を行う部位画像領域を変更し、
前記容易度が高いほど短い測定時間で、前記容易度が低いほど長い測定時間で前記生体情報を取得する、
処理部を備えることを特徴とする画像処理装置。 Detecting a plurality of different part image regions of the subject from an image including the subject captured by the imaging means,
obtaining the degree of ease of detecting biometric information for each of a plurality of different region image regions of the detected subject;
selecting a body image region from which biological information of the subject is to be acquired from the plurality of different body image regions based on the acquired ease;
determining whether there is a change in the degree of ease of detecting biological information for each of a plurality of different body part image areas of the subject after selecting the body part image area;
changing a body part image area from which biological information of the subject is to be acquired in the plurality of body part image areas based on the determined presence or absence of a change in the degree of ease of detection of the biological information;
The higher the ease, the shorter the measurement time, and the lower the ease, the longer the measurement time to acquire the biological information.
An image processing device comprising a processing section.
前記被写体の複数の部位画像領域夫々についての生体情報の検出の容易度のレベルを判定し、
前記容易度のレベルが所定値以上である部位画像領域を選択する、
ことを特徴とする請求項１に記載の画像処理装置。 The processing unit includes:
determining the level of ease of detecting biological information for each of the plurality of body part image regions of the subject;
selecting a body part image region in which the ease level is equal to or higher than a predetermined value;
The image processing device according to claim 1, characterized in that:
判定された前記生体情報の検出の容易度に基づいて、前記被写体の複数の部位画像領域から所定の部位画像領域を選択し、
前記選択された所定の部位画像領域から前記被写体の生体情報を取得する、
ことを特徴とする請求項１又は２に記載の画像処理装置。 The processing unit includes:
selecting a predetermined region image region from a plurality of region image regions of the subject based on the determined ease of detection of the biological information;
acquiring biological information of the subject from the selected predetermined region image area ;
The image processing device according to claim 1 or 2, characterized in that:
前記被写体の複数の部位画像領域夫々の領域範囲の大きさが大きいほど、前記生体情報の検出の容易度が高いものとして当該容易度を取得する、
ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。 The processing unit includes:
The larger the size of the region range of each of the plurality of body part image regions of the subject, the higher the degree of ease of detecting the biological information, and acquiring the degree of ease;
The image processing apparatus according to any one of claims 1 to 3 , characterized in that :
前記被写体の複数の部位画像領域夫々から前記被写体の脈拍を検出し、
前記検出された脈拍に基づいて、前記生体情報の検出の容易度を取得する、
ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 The processing unit includes:
detecting the pulse of the subject from each of a plurality of region image regions of the subject;
obtaining the degree of ease of detection of the biological information based on the detected pulse;
The image processing apparatus according to any one of claims 1 to 4 .
前記検出した脈拍に基づいて脈拍計測率を算出し、
前記算出された脈拍計測率に基づいて、前記生体情報の検出の容易度を判定する、
ことを特徴とする請求項５に記載の画像処理装置。 The processing unit includes:
Calculating a pulse measurement rate based on the detected pulse;
determining the ease of detecting the biological information based on the calculated pulse measurement rate;
The image processing device according to claim 5 , characterized in that:
前記撮像手段により撮像された前記被写体を含む画像が更新される毎に、前記選択を行う、
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 The processing unit includes:
performing the selection every time an image including the subject captured by the imaging means is updated;
The image processing device according to any one of claims 1 to 6 .
前記処理部は、前記被写体の部位画像領域の生体情報の検出の容易度を判定する場合に、前記生体情報の検出の容易度が高くなるように前記発光手段を制御する、
ことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。 further comprising a light emitting means,
The processing unit controls the light emitting unit so that the degree of ease of detection of the biological information increases when determining the degree of ease of detection of the biological information in the body part image region of the subject.
The image processing device according to any one of claims 1 to 7 .
選択された部位を報知する、
ことを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。 The processing unit includes:
Notify the selected area,
The image processing device according to any one of claims 1 to 8 .
選択された部位画像領域の領域範囲に応じて、取得された生体情報を報知する、
ことを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。 The processing unit includes:
Notifying the acquired biological information according to the area range of the selected body part image area,
The image processing device according to any one of claims 1 to 9 .
検出された前記被写体の複数の部位画像領域に基づいて特定される前記被写体の被撮像位置に応じて、所定の被撮像位置への案内を報知する、
ことを特徴とする請求項１乃至１０の何れかに記載の画像処理装置。 The processing unit includes:
Notifying guidance to a predetermined imaged position according to an imaged position of the subject specified based on a plurality of detected body part image regions of the subject;
The image processing device according to any one of claims 1 to 10 .
被写体毎に指定されている複数の部位夫々について、前記所定の部位画像領域の選択を行う、
ことを特徴とする請求項１乃至１１の何れかに記載の画像処理装置。 The processing unit includes:
selecting the predetermined region image area for each of a plurality of regions designated for each subject;
The image processing device according to any one of claims 1 to 11 .
前記生体情報の検出の容易度が所定基準以上の部位画像領域が複数存在する場合に、何れかの部位画像領域を選択し、選択した部位画像領域における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。 The processing unit includes:
When there are a plurality of body part image regions in which the degree of ease of detection of the biological information is equal to or higher than a predetermined standard, select any body part image region and determine the degree of ease of detection of the subject based on the degree of ease of detection in the selected body part image region. make choices regarding the acquisition of biometric information;
The image processing apparatus according to any one of claims 1 to 12 .
前記生体情報の検出の容易度が所定基準以上の部位画像領域が複数存在する場合に、前記複数の部位画像領域をつなぎ合わせ、前記つなぎ合わせた部位画像領域における検出の容易度に基づいて、前記被写体の生体情報の取得に関する選択を行なう、
ことを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。 The processing unit includes:
When there are a plurality of body part image regions in which the degree of ease of detection of the biological information is equal to or higher than a predetermined standard, the plurality of body part image regions are joined together, and based on the degree of ease of detection in the joined body part image regions, the Make selections regarding acquisition of biological information of the subject;
The image processing apparatus according to any one of claims 1 to 12 .
ことを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。 The processing unit makes a selection regarding acquisition of the biological information of the subject based on the degree of ease of detection in a region image region where the degree of ease of detection of the biological information is highest.
The image processing apparatus according to any one of claims 1 to 12 .
検出された前記被写体の複数の部位画像領域夫々についての生体情報の検出の容易度として、前記被写体の複数の部位画像領域夫々の領域範囲の大きさを判定し、
判定された前記被写体の複数の部位画像領域夫々の領域範囲の大きさに基づいて、前記複数の部位画像領域から、前記被写体の生体情報の取得を行う部位画像領域を選択する、
処理部を備え、
前記処理部は、
被写体の複数の部位画像領域夫々の領域範囲の大きさが大きいほど、生体情報の検出の容易度が高いと判定する、
ことを特徴とする画像処理装置。 Detecting a plurality of part image regions of the subject from an image including the subject captured by the imaging means,
determining the size of the region range of each of the plurality of body part image regions of the subject as the degree of ease of detection of biological information for each of the plurality of body part image regions of the detected subject;
selecting a body part image area from which biological information of the subject is to be acquired from the plurality of body part image areas, based on the determined size of the area range of each of the plurality of body part image areas of the subject;
Equipped with a processing section,
The processing unit includes:
determining that the larger the size of the region range of each of the plurality of body part image regions of the subject, the higher the degree of ease in detecting biological information;
An image processing device characterized by:
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像領域を検出するステップと、
検出された前記被写体の複数の異なる部位画像領域夫々についての生体情報の検出の容易度を取得するステップと、
取得された容易度に基づいて、前記複数の異なる部位画像領域から、前記被写体の生体情報の取得を行う部位画像領域を選択するステップと、
前記部位画像領域の選択後に前記被写体の複数の異なる部位画像領域夫々についての生体情報の検出の容易度の変化の有無を判定するステップと、
前記判定された前記生体情報の検出の容易度の変化の有無に基づいて、前記複数の部位画像領域において、前記被写体の生体情報の取得を行う部位画像領域を変更するステップと、
前記容易度が高いほど短い測定時間で、前記容易度が低いほど長い測定時間で前記生体情報を取得するステップと、
を含むことを特徴とする画像処理方法。 An image processing method executed by an image processing device, the method comprising:
detecting a plurality of part image regions of the subject from an image including the subject captured by the imaging means;
acquiring the degree of ease of detecting biological information for each of a plurality of different detected body part image regions of the subject;
selecting a body part image area from which biological information of the subject is to be acquired from the plurality of different body part image areas based on the obtained degree of ease;
determining whether there is a change in the degree of ease of detecting biological information for each of a plurality of different body part image areas of the subject after selecting the body part image area;
changing a body part image area from which biological information of the subject is to be acquired in the plurality of body part image areas, based on the determined presence or absence of a change in the degree of ease of detection of the biological information;
acquiring the biological information in a shorter measurement time as the ease level is higher and in a longer measurement time as the ease level is lower ;
An image processing method characterized by comprising:
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像領域を検出するステップと、
検出された前記被写体の複数の部位画像領域夫々についての生体情報の検出の容易度として、前記被写体の複数の部位画像領域夫々の領域範囲の大きさを判定するステップと、
判定された前記被写体の複数の部位画像領域夫々の領域範囲の大きさに基づいて、前記複数の部位画像領域から、前記被写体の生体情報の取得を行う部位画像領域を選択するス
テップと、
を含み、
前記領域範囲の大きさを判定するステップは、被写体の複数の部位画像領域夫々の領域範囲の大きさが大きいほど、生体情報の検出の容易度が高いと判定する、
ことを特徴とする画像処理方法。 An image processing method executed by an image processing device, the method comprising:
detecting a plurality of part image regions of the subject from an image including the subject captured by the imaging means;
determining the size of the region range of each of the plurality of body part image regions of the subject as the degree of ease of detection of biological information for each of the plurality of body part image regions of the detected subject;
selecting a body part image area from which biological information of the subject is to be acquired from the plurality of body part image areas, based on the determined size of the area range of each of the plurality of body part image areas of the subject;
including;
In the step of determining the size of the region range, it is determined that the larger the size of the region range of each of the plurality of body part image regions of the subject, the higher the degree of ease in detecting biological information.
An image processing method characterized by:
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像領域を検出する部位検出機能と、
検出された前記被写体の複数の異なる部位画像領域夫々についての生体情報の検出の容易度を取得する機能と、
前記取得された容易度に基づいて、前記複数の異なる部位画像領域から、前記被写体の生体情報の取得を行う部位画像領域を選択する機能と、
前記部位画像領域の選択後に前記被写体の複数の異なる部位画像領域夫々についての生体情報の検出の容易度の変化の有無を判定する機能と、
前記判定された前記生体情報の検出の容易度の変化の有無に基づいて、記複数の部位画像領域において、前記被写体の生体情報の取得を行う部位画像領域を変更する機能と、
前記容易度が高いほど短い測定時間で、前記容易度が低いほど長い測定時間で前記生体情報を取得する機能と、
を実現させることを特徴とするプログラム。 to the computer,
a body part detection function that detects a plurality of body part image regions of the subject from an image including the subject captured by the imaging means;
a function of acquiring the degree of ease of detecting biological information for each of a plurality of different detected body part image regions of the subject;
a function of selecting a body image region from which biometric information of the subject is to be acquired from the plurality of different body image regions based on the acquired ease;
a function of determining whether there is a change in the degree of ease of detecting biological information for each of a plurality of different body part image areas of the subject after selecting the body part image area;
a function of changing a body part image area from which biological information of the subject is to be acquired in the plurality of body part image areas, based on the presence or absence of a change in the determined ease of detection of the biological information;
A function of acquiring the biological information in a shorter measurement time as the ease level is higher, and in a longer measurement time as the ease level is lower ;
A program characterized by realizing the following.
撮像手段により撮像された被写体を含む画像から当該被写体の複数の部位画像領域を検出する機能と、
検出された前記被写体の複数の部位画像領域夫々についての生体情報の検出の容易度として、前記被写体の複数の部位画像領域夫々の領域範囲の大きさを判定する機能と、
判定された前記被写体の複数の部位画像領域夫々の領域範囲の大きさに基づいて、前記複数の部位画像領域から、前記被写体の生体情報の取得を行う部位画像領域を選択する機能と、
を実現させ、
前記領域範囲の大きさを判定する機能は、被写体の複数の部位画像領域夫々の領域範囲の大きさが大きいほど、生体情報の検出の容易度が高いと判定する、
ことを特徴とするプログラム。 to the computer,
a function of detecting a plurality of part image regions of a subject from an image including the subject captured by the imaging means;
a function of determining the size of the region range of each of the plurality of body part image regions of the subject as the degree of ease of detection of biological information for each of the plurality of body part image regions of the detected subject;
a function of selecting a body part image area from which biometric information of the subject is to be acquired from the plurality of body part image areas, based on the determined size of the area range of each of the plurality of body part image areas of the subject;
Realize,
The function of determining the size of the region range determines that the larger the size of the region range of each of the plurality of body part image regions of the subject, the higher the degree of ease of detecting biological information.
A program characterized by:
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811530133.4A CN110013102B (en) | 2017-12-22 | 2018-12-14 | Image processing apparatus, image processing method, and recording medium |
| US16/226,407 US10915617B2 (en) | 2017-12-22 | 2018-12-19 | Image processing apparatus, image processing method, and recording medium |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017246941 | 2017-12-22 | ||
| JP2017246941 | 2017-12-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019111317A JP2019111317A (en) | 2019-07-11 |
| JP7415318B2 true JP7415318B2 (en) | 2024-01-17 |
Family
ID=67223079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018200206A Active JP7415318B2 (en) | 2017-12-22 | 2018-10-24 | Image processing device, image processing method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7415318B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7238835B2 (en) | 2020-03-24 | 2023-03-14 | カシオ計算機株式会社 | ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD AND ELECTRONIC DEVICE CONTROL PROGRAM |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010264095A (en) | 2009-05-15 | 2010-11-25 | Nissan Motor Co Ltd | Heart rate measuring apparatus and heart rate measuring method |
| JP2014236877A (en) | 2013-06-07 | 2014-12-18 | ポーラ化成工業株式会社 | Method for measuring skin beauty |
| JP2016077426A (en) | 2014-10-14 | 2016-05-16 | 富士通株式会社 | Pulse wave propagation speed calculation system, pulse wave propagation speed calculation method, and pulse wave propagation speed calculation program |
| WO2017085896A1 (en) | 2015-11-20 | 2017-05-26 | 富士通株式会社 | Information processing device, information processing method, and information processing program |
| US20170238805A1 (en) | 2016-02-19 | 2017-08-24 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
| WO2017150169A1 (en) | 2016-03-03 | 2017-09-08 | パナソニックＩｐマネジメント株式会社 | Biological information extracting device and biological information extracting system |
-
2018
- 2018-10-24 JP JP2018200206A patent/JP7415318B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010264095A (en) | 2009-05-15 | 2010-11-25 | Nissan Motor Co Ltd | Heart rate measuring apparatus and heart rate measuring method |
| JP2014236877A (en) | 2013-06-07 | 2014-12-18 | ポーラ化成工業株式会社 | Method for measuring skin beauty |
| JP2016077426A (en) | 2014-10-14 | 2016-05-16 | 富士通株式会社 | Pulse wave propagation speed calculation system, pulse wave propagation speed calculation method, and pulse wave propagation speed calculation program |
| WO2017085896A1 (en) | 2015-11-20 | 2017-05-26 | 富士通株式会社 | Information processing device, information processing method, and information processing program |
| US20170238805A1 (en) | 2016-02-19 | 2017-08-24 | Covidien Lp | Systems and methods for video-based monitoring of vital signs |
| WO2017150169A1 (en) | 2016-03-03 | 2017-09-08 | パナソニックＩｐマネジメント株式会社 | Biological information extracting device and biological information extracting system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019111317A (en) | 2019-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7135472B2 (en) | Display control device, display control method and display control program | |
| US11800989B2 (en) | Electronic device, control method for the electronic device, and storage medium | |
| CN112741609B (en) | Electronic device, control method of electronic device, and medium | |
| US20220087547A1 (en) | Electronic device, control method for electronic device, and recording medium | |
| US10915617B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| US20180184899A1 (en) | System and method for detection and monitoring of a physical condition of a user | |
| JP7415318B2 (en) | Image processing device, image processing method and program | |
| CN110297720B (en) | Notification device, notification method, and medium storing notification program | |
| CN110993051B (en) | Determination device, determination method, and recording medium | |
| JP7135466B2 (en) | Display device, display method and display program | |
| JP2006318374A (en) | Glasses determination device, authentication device, and glasses determination method | |
| US20220230749A1 (en) | Systems and methods for ophthalmic digital diagnostics via telemedicine | |
| JP2020057153A (en) | Display control device, display control method and display control program | |
| JP7392806B2 (en) | Electronic device, control method for electronic device, and control program for electronic device | |
| JP7419720B2 (en) | Image processing device, image processing method, and image processing program | |
| JP7485114B2 (en) | Notification device, notification method, and program | |
| JP2021151304A (en) | Electronic device, control program for electronic device, and control method for electronic device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211007 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230418 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230922 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7415318 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |