JP2021151304A - Electronic device, control program for electronic device, and control method for electronic device - Google Patents
Electronic device, control program for electronic device, and control method for electronic device Download PDFInfo
- Publication number
- JP2021151304A JP2021151304A JP2020052205A JP2020052205A JP2021151304A JP 2021151304 A JP2021151304 A JP 2021151304A JP 2020052205 A JP2020052205 A JP 2020052205A JP 2020052205 A JP2020052205 A JP 2020052205A JP 2021151304 A JP2021151304 A JP 2021151304A
- Authority
- JP
- Japan
- Prior art keywords
- vital data
- unit
- electronic device
- acquired
- vital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 230000017531 blood circulation Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 description 30
- 238000012545 processing Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 20
- 238000005259 measurement Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 210000000467 autonomic pathway Anatomy 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000003796 beauty Effects 0.000 description 5
- 238000013500 data storage Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 208000029152 Small face Diseases 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 102000001554 Hemoglobins Human genes 0.000 description 3
- 108010054147 Hemoglobins Proteins 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
Abstract
Description
本発明は、電子装置、電子装置の制御プログラム及び電子装置の制御方法に関する。 The present invention relates to an electronic device, a control program for the electronic device, and a control method for the electronic device.
従来、人体の映像を撮像し、その撮像された映像から、人体の血流等のバイタルデータを取得する電子装置が知られている。例えば、特許文献１では、人体として、電子装置を使用するユーザを時系列的に撮像して連続した画像データを生成し、その画像データにおける、例えば血液の吸光特性が異なる赤色の光成分と緑色の光成分との２つの時間的な輝度値変化に基づき、血流等のバイタルデータを検出している。
Conventionally, there are known electronic devices that capture an image of a human body and acquire vital data such as blood flow of the human body from the captured image. For example, in
しかし、ユーザの時系列的な撮像の際に、ユーザが、撮像領域内での適正状態から移動したり、異なる方向を向いたりすると、バイタルデータの正確な取得ができない。 However, in the time-series imaging of the user, if the user moves from the proper state in the imaging area or faces in a different direction, the vital data cannot be accurately acquired.
本発明は、取得されたバイタルデータが、適正状態で取得されたものであるか否かを判定可能な電子装置、電子装置の制御プログラム及び電子装置の制御方法を提供することを目的とする。 An object of the present invention is to provide an electronic device, a control program for the electronic device, and a control method for the electronic device, which can determine whether or not the acquired vital data is acquired in an appropriate state.
上記目的を達成するため、本発明の一態様の電子装置は、少なくとも身体の一部を撮像する撮像部により撮像された前記身体の一部の映像に基づいて、前記身体のバイタルデータを取得するバイタルデータ取得部と、前記バイタルデータ取得部により取得された前記バイタルデータを記憶する記憶部と、前記記憶部に記憶されている、過去に適正状態で前記バイタルデータ取得部により取得された、基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、前記バイタルデータ取得部により新たに取得された第２のバイタルデータと、を比較するバイタルデータ比較部と、前記バイタルデータ比較部の比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定部と、を備えることを特徴とする。 In order to achieve the above object, the electronic device of one aspect of the present invention acquires the vital data of the body based on the image of the part of the body captured by the imaging unit that images at least a part of the body. A reference unit stored in the vital data acquisition unit, a storage unit for storing the vital data acquired by the vital data acquisition unit, and a reference stored in the storage unit and acquired by the vital data acquisition unit in an appropriate state in the past. A vital data comparison unit that reads out the first vital data to be used and compares the first vital data with the second vital data newly acquired by the vital data acquisition unit, and the vital data comparison. It is characterized by including an appropriateness determination unit for determining whether or not the second vital data is the appropriate vital data acquired in an appropriate state based on the comparison result of the units.
本発明によれば、取得されたバイタルデータが、適正状態で取得されたものであるか否かを判定可能な電子装置、電子装置の制御プログラム及び電子装置の制御方法を提供することができる。 According to the present invention, it is possible to provide an electronic device, a control program for the electronic device, and a control method for the electronic device, which can determine whether or not the acquired vital data is acquired in an appropriate state.
以下、本発明の実施形態について、図面を用いて説明する。以下の説明において電子装置１として、ユーザが携帯可能な自立式の鏡として構成されるスマートミラーを例にして説明する。ただし、電子装置１は、スマートミラーに限定されず、スマートフォン、タブレット、パーソナルコンピュータ等であってもよい。
スマートミラーとしての電子装置１は、鏡を視認する対象者としてのユーザを撮像し、その撮像した映像に基づいてユーザのバイタルデータを取得する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the following description, as the
The
［システム構成］
図１は、本実施形態に係る電子装置１が含まれる計測システムＳの全体構成を示すブロック図である。図１に示すように、計測システムＳは、複数の電子装置１、ネットワーク２及びサーバ群３を含む。電子装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の電子装置１が計測システムＳに含まれていてもよい。なお、以下の説明において、ｎ台の電子装置１を特に区別することなく説明するので、符号の末尾のアルファベットを省略し、単に「電子装置１」と称する。
[System configuration]
FIG. 1 is a block diagram showing an overall configuration of a measurement system S including the
電子装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。
The
ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
The
サーバ群３には、電子装置１と協働する各種のサーバが含まれる。
例えば、サーバ群３には、電子装置１のユーザを認証するための認証サーバ３ａが含まれる。ユーザの認証には、顔認証や表情認識も含まれる。
また、例えば、サーバ群３には、電子装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバ３ｂが含まれる。
更に、例えば、サーバ群３には、ユーザのプロファイルデータを格納する測定データ格納サーバ３ｃが含まれる。ユーザのプロファイルデータには、ユーザのバイタルデータ等の測定データや、ユーザに関する設定データやユーザによる電子装置１の利用履歴等が含まれる。
The
For example, the
Further, for example, the
Further, for example, the
なお、図１に示した計測システムＳは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
The measurement system S shown in FIG. 1 is only an example, and servers having other functions may be included in the
図２は、電子装置１の前面の外観構成を示す構成図である。また、図３は、電子装置１の側面の外観構成を示す構成図である。電子装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。
FIG. 2 is a configuration diagram showing an external configuration of the front surface of the
［外観構成及びハードウェア構成］
図２及び図３に示すように、電子装置１は、本体部３０と、脚部３１と、ヒンジ部３２と、を含んで構成される。本体部３０は、表示部１８や、図４を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、電子装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に支持される。
[Appearance configuration and hardware configuration]
As shown in FIGS. 2 and 3, the
図３（Ａ）に示すように、ユーザは、電子装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、電子装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、電子装置１を自立して設置することができる。なお、電子装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。
As shown in FIG. 3A, when carrying the
図４は、電子装置１のハードウェアの構成を示すブロック図である。図２及び図４に示すように、電子装置１の本体部３０は、撮像部１６と、入力部１７と、表示部１８と、センサ部２３と、照明部２４と、スピーカ２５とを備える。電子装置１は、さらに、図４に示すように、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェイス１５と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、を備える。
FIG. 4 is a block diagram showing a hardware configuration of the
表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する各種情報に対応する画像を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となる代替画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。ユーザは、表示部１８を視認することにより、これらの多様なデータを一度に把握することができる。
The
撮像部１６は、電子装置１の利用時に、表示部１８に正対するユーザを被写体として撮像するカメラである。撮像部１６は、表示部１８に正対するユーザの顔を含むユーザ画像５１を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。
The
撮像部１６は、図示しないが、光学レンズ部と、イメージセンサと、を備えている。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
Although not shown, the
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。
The image sensor is composed of a photoelectric conversion element, an AFE (Analog Front End), and the like. The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element performs photoelectric conversion (imaging) of the subject image, accumulates an image signal for a certain period of time, and sequentially supplies the accumulated image signal as an analog signal to AFE. AFE executes various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. A digital signal is generated by various signal processing and is output as an output signal of the
入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、「小顔エステ」、「笑顔トレーニング」等の各種のモードへの切り換えボタンや、電子装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。また、入力部１７は、表示部１８に設けられたタッチパネル部分も含む。さらに、入力部１７は、マイクであってもよく、この場合、指示音声に応じて各種情報が入力可能である。
The
センサ部２３は、気温、湿度、照度等を測定する。センサ部２３は、温度センサ、湿度センサ、照度センサ等の複数のセンサによって構成させる。センサ部２３は、図中に示すように、例えば、本体部３０の前面であって、表示部１８の上部に配置される。
The
照明部２４は、表示部１８に正対するユーザを照らすために発光する部分である。照明部の数は複数であってもよい。照明部２４は、図中に示すように、例えば、表示部１８の上部に設けられているが、これに限らず下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。照明部２４が、照度や色成分を調整してユーザを照らすことにより、電子装置１は、照明付きの鏡として機能する。照明部２４の照度は、外光以上であることが好ましい。照明部２４の照度を外光以上の支配的な光とすることで、後述するバイタルデータのより正確な取得が可能となる。
The
スピーカ２５は、ガイダンスを行うための補助データを、ガイド画像５３とともに発音する部分である。スピーカ２５は、図中に示すように、例えば、本体部３０の前面であって、表示部１８の右下に配置されている。
The
以上、電子装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、電子装置１の外観構造は、この例に限定されない。例えば、入力部１７の数や配置が変更されてもよい。
The external structure of the
図４に示すＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
Data and the like necessary for the
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェイス１５も接続されている。入出力インターフェイス１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、センサ部２３と、照明部２４と、スピーカ２５と、が接続されている。
The
記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。記憶部１９には、表示処理におけるガイダンスに関する各種のデータや、ユーザの実像の代替となるアバターに関する各種のデータや、計測を行なうための情報や計測結果を表示するための情報や計測結果を示す情報等が格納される。さらに記憶部１９には、後述するバイタルデータが格納される。なお、上述した各種のデータは、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。
The
通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。
The
ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェイスにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。
The
バッテリ２２は、各部に電力を供給するとともに外部電源に接続されることにより、充電可能に構成される。電子装置１が外部電源に接続されていない状態ではバッテリ２２の電力によって電子装置１が動作する。
The
なお、電子装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、電子装置１は、振動用モータ等で構成され、バイブレーション信号を出力する出力部等を更に備えてもよい。
The
［機能的構成］
図５は、電子装置１の機能的構成のうち、バイタルデータの適正判定処理を実行するための機能的構成を示す機能ブロック図である。
[Functional configuration]
FIG. 5 is a functional block diagram showing a functional configuration for executing a proper determination process of vital data among the functional configurations of the
バイタルデータとは、撮像部１６によって撮像されたユーザの身体の一部の映像から取得される身体に関する生体情報である。換言すると、バイタルデータとは、撮像部１６により取得された身体の一部の映像より取得される輝度値の時間推移及び輝度値の時間推移から取得される血流に関する生体情報である。血流に関する情報は、例えば、赤色の光Ｒ、緑色の光Ｇ又は青色の光Ｂ（ＲＧＢ）の少なくとも１つの輝度値の時間推移である映像脈波を解析して、その解析結果から取得される。バイタルデータは、輝度値によって示される血流量、輝度値の振幅値の変化から得られる脈波振幅値、輝度値の振幅値の間隔から得られる脈拍数、脈拍数の揺らぎから得られる自律神経指標等を含む。
The vital data is biological information about the body acquired from an image of a part of the user's body captured by the
バイタルデータの適正判定処理とは、電子装置１が、ユーザから取得したバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する一連の処理である。本実施形態において適正状態とは、ユーザが、電子装置１（撮像部１６）に対して適正な位置で適正な方向を向いている状態である。
The vital data appropriateness determination process is a series of processes in which the
次に、バイタルデータの適正判定処理を実行する各機能ブロックについて説明する。図５に示すように、制御部としてのＣＰＵ１１において、バイタルデータの適正判定処理を実行する部分として、バイタルデータ取得部１１１と、バイタルデータ比較部１１２と、適正判定部１１３と、通信処理部１１４と、が機能する。
Next, each functional block that executes the appropriateness determination process of vital data will be described. As shown in FIG. 5, in the
バイタルデータ取得部１１１は、撮像部１６により取得された身体の一部の映像より、赤色の光Ｒ、緑色の光Ｇ又は青色の光Ｂ（ＲＧＢ）の少なくとも１つの輝度値の時間推移である映像脈波を解析して、その解析結果からユーザに関するバイタルデータを取得する。バイタルデータは、撮像部１６が取得した映像に基づいて取得されるので、ユーザに接触することなく逐次取得可能である。また、バイタルデータは、実施形態において、撮像部１６が取得した映像うちの一定の関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ，ＲＯＩ）内の画像より取得される。ただし、バイタルデータは、複数の関心領域の画像を対象として計測を行ってもよく、映像全体の領域内の画像より取得されてもよい。
The vital
記憶部１９は、バイタルデータ取得部１１１により取得されたバイタルデータを記憶する。
The
バイタルデータ比較部１１２は、バイタルデータ取得部１１１により、適正状態で取得されて記憶部１９に記憶されている基準となる第１のバイタルデータを読み出す。そして第１のバイタルデータと、バイタルデータ取得部１１１によりリアルタイムに取得された第２のバイタルデータとを比較する。
The vital
適正判定部１１３は、バイタルデータ比較部１１２の比較結果に基づき、リアルタイムに取得された第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する。ここで、図６を参照し、バイタルデータとして緑色の光Ｇの輝度値を採用する場合における適正判定部１１３による適正処理の一例について説明する。
The
図６は、緑色の光Ｇの輝度値の時間的変化を示したグラフである。横軸は時間軸である。縦軸は緑色の光Ｇの輝度値であり、上に行くほど輝度値が低く、下に行くほど輝度値が高い状態を示す換算輝度値である。この例では、ＲＧＢ各色８ビットの出力のイメージセンサを用いて緑信号の輝度を検出し、輝度値の最大値２５５から検出した緑信号の輝度値を減算した数値を輝度値としてプロットされている。また、図６中のＴ１は、バイタルデータ取得部１１１が取得する１回分の期間を示すものとする。
FIG. 6 is a graph showing the temporal change of the brightness value of the green light G. The horizontal axis is the time axis. The vertical axis is the luminance value of the green light G, and is a converted luminance value indicating a state in which the luminance value is lower as it goes up and the luminance value is higher as it goes down. In this example, the brightness of the green signal is detected using an image sensor that outputs 8 bits for each color of RGB, and the value obtained by subtracting the brightness value of the detected green signal from the maximum value 255 of the brightness value is plotted as the brightness value. .. Further, T1 in FIG. 6 indicates a period for one acquisition by the vital
図６では、適正判定部１１３が、新しく取得される緑色の光Ｇの輝度値を監視し、事前に設定される緑色の光Ｇの基準値（輝度値）を下回るか否かに基づいて適正状態か非適正状態かを判定する。上述の通り、輝度値は換算輝度値であるため、基準値を下回る場合は検出される輝度値が相対的に明るくなっていることを示す。この状態は、ユーザが撮像部１６の撮影範囲からいなくなり、壁等の反射によって生じると考えられる。そこで、適正判定部１１３は、新たに取得された輝度値が基準値を下回った場合に、非適正状態となったと判定する。なお、事前に設定される基準値は、適正状態で取得されるユーザの輝度値に基づいて設定されるものであり、具体的な数値等については後述する。この結果、第１期間及び第３期間では輝度値が基準値を上回るため適正状態と判定され、第２期間及び第４期間では輝度値が基準値を下回るため非適正状態と判定されることになる。適正状態と判定されている期間は単位時間Ｔ１ごとにバイタルデータが繰り返し取得され、当該バイタルデータが保存されることになる。一方、非適正状態では取得したバイタルデータは保存されない。
In FIG. 6, the
通信処理部１１４は、例えば、ユーザ認証のためにサーバ群３に含まれる認証サーバ３ａと通信する。また、通信処理部１１４は、第１のバイタルデータや第２のバイタルデータの記憶や読み出しのために、サーバ群３に含まれる測定データ格納サーバ３ｃと通信する。
The
次に、バイタルデータの適正判定処理についてフローチャートを参照して説明する。図７及び図８はバイタルデータの適正判定処理のフローチャートの具体的な例を示す。バイタルデータの適正判定処理は、図７に示す第１のバイタルデータ取得処理と、図８に示す第２のバイタルデータ取得判定処理と、を備える。 Next, the appropriateness determination process of vital data will be described with reference to the flowchart. 7 and 8 show a specific example of a flowchart of the suitability determination process of vital data. The vital data appropriateness determination process includes a first vital data acquisition process shown in FIG. 7 and a second vital data acquisition determination process shown in FIG. 8.
［第１のバイタルデータ取得処理］
（ステップＳ１０１）
ユーザが電子装置１をＯＮにすると、電子装置１は、通信処理部１１４によりネットワーク２を介して、サーバ群３に含まれる各サーバに接続する。ユーザは、認証サーバ３ａにログインし、認証サーバ３ａよりユーザが所有する端末のＩＤを取得する。なおＩＤは、１つの端末を複数ユーザが使用する場合、ユーザごとに取得可能である。
[First vital data acquisition process]
(Step S101)
When the user turns on the
（ステップＳ１０２）
次いで、電子装置１は、表示部１８に種々のメニューを表示する。メニューは、例えば「小顔エステ」や「笑顔トレーニング」等のメニューを含む。
(Step S102)
Next, the
（ステップＳ１０３）
表示されたメニューの中から、ユーザにより、例えば「小顔エステ」や「笑顔トレーニング」等の何らかのメニューが選択されると（ステップＳ１０３，ＹＥＳ）、電子装置１は、次のステップＳ１０４に進む。なお、ユーザによるメニューの選択は、入力部１７から行われる。入力部１７としては、例えば表示部１８のタッチパネルや、表示部１８の下に設けられたにボタンが用いられる。電子装置１は、ユーザによる作業メニューの選択が行われない場合（ステップＳ１０３，ＮＯ）、ステップＳ１０２に戻る。
(Step S103)
When the user selects some menu such as "small face beauty treatment salon" or "smile training" from the displayed menus (steps S103, YES), the
（ステップＳ１０４）
ステップＳ１０４において、電子装置１は、自動的、あるいはユーザからの指示により、照明部２４をＯＮにし、撮像部１６によるユーザの撮像を開始する。電子装置１は、撮像された映像内において、輪郭や部位のパターンマッチングや肌色識別等によるフェイストラッキングを開始する。このときの照明部２４の明るさは、ユーザから得られる映像の輝度の正確性を保つため、外光と比べて支配的であることが好ましい。なお、電子装置１は、フェイストラッキングの際、より正確に顔を認識するために、表示部１８に、例えばガイド枠を表示させてもよい。また、電子装置１は、顔のガイド枠とともに顔のガイド枠内にユーザの顔を移動させることを伝えるガイドとして、例えば、「枠内に顔を移動させてください」といったテキストを表示してもよい。
(Step S104)
In step S104, the
（ステップＳ１０５）
ユーザは正面を向いているものとする。そして、フェイストラッキングにより、顔の位置が認識されると（ステップＳ１０５，ＹＥＳ）、電子装置１は、その位置に基づいて関心領域（ＲＯＩ，Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓ）を設定し、次のステップＳ１０６に進む。フェイストラッキングにおいて顔の位置が特定されない場合（ステップＳ１０５，ＮＯ）、電子装置１は、顔の位置が特定されるまで、ステップＳ１０５を繰り返す。
(Step S105)
It is assumed that the user is facing the front. Then, when the position of the face is recognized by the face tracking (step S105, YES), the
（ステップＳ１０６）
電子装置１のバイタルデータ取得部１１１は、関心領域内の映像信号に含まれる赤色の光Ｒ、緑色の光Ｇ又は青色の光Ｂ（ＲＧＢ）の少なくとも１つの輝度値の時間推移である映像脈波の解析を開始する。実施形態において、バイタルデータ取得部１１１は、緑色の光Ｇの輝度値を解析する。
(Step S106)
The vital
本実施形態において緑色の光Ｇの輝度値を用いるのは、血中のヘモグロビンが緑色の光Ｇを多く吸収する性質を有しているからである。血流が上昇すると、皮膚表面に血液の量が多くなり、単位時間あたりのヘモグロビンの量が増加する。そうすると、血流が上昇する前に比べて、ヘモグロビンによって吸収される緑色の光Ｇが多くなる。したがって、血流の上昇時に検出される緑色の光Ｇの輝度値が低下する。したがって、緑色の光Ｇの輝度値を用いることにより、血流量変化の把握を良好に行うことができる。 The reason why the brightness value of green light G is used in this embodiment is that hemoglobin in blood has a property of absorbing a large amount of green light G. When blood flow increases, the amount of blood on the surface of the skin increases, and the amount of hemoglobin per unit time increases. Then, more green light G is absorbed by hemoglobin than before the blood flow rises. Therefore, the brightness value of the green light G detected when the blood flow rises decreases. Therefore, by using the brightness value of the green light G, it is possible to satisfactorily grasp the change in blood flow.
なお、撮像部１６の撮像素子が光を輝度値に変換する場合は、撮像素子の手前にＲＧＢのフィルタを配置し、ＲＧＢそれぞれの画素の輝度値を算出する。この場合、緑色のフィルタを通った光が緑色の光Ｇの輝度値となる。撮像素子の感度が波長に対してフラットであっても、上述のフィルタによってある程度、波長帯域を絞り込めるので精度よく、緑色の光Ｇを検出できる。
When the image sensor of the
ただし、バイタルデータは、緑色の光Ｇ以外の、赤色の光Ｒ、青色の光Ｂの輝度値の映像脈波を解析して取得してもよい。また、光の外乱を除くために、例えば緑色の光Ｇの輝度値から赤色の光Ｒの輝度値を引いた輝度値差分（Ｇ−Ｒ）や、赤色の光Ｒの輝度値の緑色の光Ｇの輝度値の割合である輝度値割合（Ｒ／Ｇ）を用いてもよい。このような輝度値差分や輝度値割合を用いることで、バイタルデータの取得精度を、環境に合わせて向上させることができる。 However, the vital data may be acquired by analyzing the image pulse wave of the brightness values of the red light R and the blue light B other than the green light G. Further, in order to eliminate the disturbance of light, for example, the luminance value difference (GR) obtained by subtracting the luminance value of the red light R from the luminance value of the green light G, or the green light having the luminance value of the red light R The brightness value ratio (R / G), which is the ratio of the brightness value of G, may be used. By using such a brightness value difference and a brightness value ratio, the acquisition accuracy of vital data can be improved according to the environment.
（ステップＳ１０７）
バイタルデータ取得部１１１による映像脈波の解析は、単位時間ごとに行う。単位時間は、例えば、動画像のフレームレートである。バイタルデータ取得部１１１は、この単位時間ごとの映像脈波の解析を、時間Ｔの間、繰り返して行う。時間Ｔは、脈拍数等の安定したデータが取得できる任意の時間であり、実施形態では一例として５秒である。そして、バイタルデータ取得部１１１は、緑色の光Ｇの映像脈波を解析して、その解析結果からユーザに関する、輝度値によって示される血流量、輝度値の振幅値の変化から得られる脈波振幅値、輝度値の振幅値の間隔から得られる脈拍数、脈拍数の揺らぎから得られる自律神経指標等であるバイタルデータを取得する。
(Step S107)
The analysis of the video pulse wave by the vital
（ステップＳ１０８）
そして、電子装置１は、時間Ｔ経過しない場合（ステップＳ１０８，ＮＯ）、ステップＳ１０７へ戻り、バイタルデータの解析を継続する。
電子装置１は、時間Ｔ経過すると（ステップＳ１０８，ＹＥＳ）、次のステップＳ１０９へ進む。
(Step S108)
Then, when the time T does not elapse (step S108, NO), the
When the time T elapses (steps S108, YES), the
（ステップＳ１０９）
時間Ｔ経過後、電子装置１は、得られた第１のバイタルデータの平均値を算出して、その第１のバイタルデータの平均値や、ステップＳ１０５で設定された関心領域の位置を、表示部１８に表示する。また、電子装置１は、第１のバイタルデータが適正であるかどうかをユーザが判断する選択部も表示部１８に表示する。選択部は、例えば「基準データとして保存（バイタルデータ適正）」と、「基準データを取り直す（バイタルデータ不適正）」との何れかを選択可能なタッチパネルで表示される。
(Step S109)
After the lapse of time T, the
（ステップＳ１１０）
ユーザは、表示部１８に表示された関心領域が表示部１８の中央から大きくずれていたり、第１のバイタルデータの平均値が適正値とかけ離れていたりした場合、「基準データを取り直す」を選択することができる。電子装置１は、ユーザがステップＳ１０９で、「基準データを取り直す」を選択した場合、第１のバイタルデータは適正でないとして、ステップＳ１０４へ戻る。
また、電子装置１は、ユーザがステップＳ１０９で、「基準データとして保存」を選択した場合、第１のバイタルデータは適正であるとして、次のステップＳ１１１へ進む。
(Step S110)
The user selects "Retake reference data" when the area of interest displayed on the
Further, when the user selects "save as reference data" in step S109, the
（ステップＳ１１１）
電子装置１は、第１のバイタルデータを基準値として記憶部１９に保存する。この基準値としての第１のバイタルデータは、フェイストラッキングを用いて、ユーザの顔を特定し、正面を向いているユーザの顔の領域における緑色の光Ｇの輝度値より求めたバイタルデータであり、さらにユーザにより適正であると判定されたものである。したがって、ユーザのバイタルデータとしての信頼性が高い。
なお、上述したステップＳ１０４からステップＳ１１１の第１のバイタルデータの取得ステップは、ステップＳ１０３のメニュー選択が行われる度に行われる。これは、基準となる第１のバイタルデータは経年変化が考えられるので、第１のバイタルデータを、ステップＳ１０３のメニュー選択が行われる度に更新するためである。ただしこれに限らず、第１のバイタルデータの取得は、１日１回、１週間に１回等であってもよい。
(Step S111)
The
The first vital data acquisition step from step S104 to step S111 described above is performed each time the menu is selected in step S103. This is because the reference first vital data may change over time, so the first vital data is updated every time the menu is selected in step S103. However, the present invention is not limited to this, and the first vital data may be acquired once a day, once a week, or the like.
（ステップＳ１１２）
図８は、図７の第１のバイタルデータ取得処理から続く、第２のバイタルデータ取得判定処理のフローチャートの具体的な例である。ステップＳ１０６と同様に、電子装置１のバイタルデータ取得部１１１は、関心領域内の映像信号に含まれる緑色の光Ｇの輝度値の時間推移である映像脈波の解析を開始する。バイタルデータ取得部１１１による映像脈波の解析は、ステップＳ１０７と同様に単位時間ごとに行う。単位時間は、例えば、動画像のフレームレートである。
(Step S112)
FIG. 8 is a specific example of a flowchart of the second vital data acquisition determination process following the first vital data acquisition process of FIG. 7. Similar to step S106, the vital
（ステップＳ１１３）
バイタルデータ取得部１１１は、単位時間ごとの映像脈波の取得を、時間Ｔ１の間、繰り返して行う。時間Ｔ１は一例として時間Ｔより短い３秒である。この場合、第１のバイタルデータの計測時間より短くなるので、バイタルデータの測定がスムーズに進む。ただし、計測時間は３秒に限らず任意でよい。例えば、３秒より長い５秒等にすると、判定の精度を３秒間の場合より向上することができる。
そして、バイタルデータ取得部１１１は、時間Ｔ１の間、繰り返して緑色の光Ｇの輝度値の映像脈波を解析して、その解析結果からユーザに関する、輝度値によって示される血流量、輝度値の振幅値の変化から得られる脈波振幅値、輝度値の振幅値の間隔から得られる脈拍数、脈拍数の揺らぎから得られる自律神経指標等である、リアルタイムで得られた第２のバイタルデータを取得する。さらにバイタルデータ取得部１１１は第２のバイタルデータの時間Ｔ１の平均値を求める。
(Step S113)
The vital
Then, the vital
（ステップＳ１１４）
電子装置１は、ステップＳ１１３で求めた、リアルタイムの第２のバイタルデータの平均値を、第１のバイタルデータと比較する。そして、第２のバイタルデータと第１のバイタルデータとの差が所定範囲内かどうかを判定する。なお、所定範囲内に設定される数値は、実測値や理論値に基づいて設定されるものである。
(Step S114)
The
例えば、緑色の光Ｇの輝度値の場合、第２のバイタルデータの基準のバイタルデータに対する差が６％以内（所定範囲内）の場合、ユーザが正面を向いている適正状態で取得された適正バイタルデータであると判定する。第２のバイタルデータの基準のバイタルデータに対する差が６％より大きい場合、非適正状態で取得された非適正バイタルデータあると判定する。 For example, in the case of the brightness value of green light G, if the difference between the second vital data and the reference vital data is within 6% (within a predetermined range), the appropriateness acquired in the proper state in which the user is facing the front is appropriate. Judged as vital data. If the difference between the second vital data and the reference vital data is greater than 6%, it is determined that there is improper vital data acquired in an improper state.
緑色の光Ｇの振幅である脈波振幅値（ＰＡ）の場合、第２のバイタルデータに対する基準のバイタルデータの差が１４％以内（所定範囲内）の場合、ユーザが正面を向いている適正状態で取得された適正バイタルデータであると判定する。第２のバイタルデータの基準のバイタルデータに対する差が１４％より大きい場合、非適正状態で取得された非適正バイタルデータあると判定する。 In the case of the pulse wave amplitude value (PA), which is the amplitude of the green light G, if the difference between the reference vital data and the second vital data is within 14% (within a predetermined range), the user is facing the front properly. It is determined that the vital data is proper vital data acquired in the state. If the difference between the second vital data and the reference vital data is greater than 14%, it is determined that there is improper vital data acquired in an improper state.
（ステップＳ１１５）
ステップＳ１１４において、リアルタイムで得られた第２のバイタルデータが、適正状態で取得された適正バイタルデータであると判定されると、第２のバイタルデータは記憶部１９に保存される。
なお、ステップＳ１１４において、リアルタイムで得られた第２のバイタルデータが、適正状態で取得された適正バイタルデータであると判定された場合、第２のバイタルデータを適正バイタルデータとして、表示部１８より出力するようにしてもよい。
また、この場合、ステップＳ１１４において、リアルタイムで得られた第２のバイタルデータが、適正状態で取得された適正バイタルデータであると判定されなかった場合、第２のバイタルデータは出力されない。
(Step S115)
In step S114, when it is determined that the second vital data obtained in real time is the proper vital data acquired in the proper state, the second vital data is stored in the
In step S114, when it is determined that the second vital data obtained in real time is the proper vital data acquired in the proper state, the second vital data is set as the proper vital data from the
Further, in this case, if it is not determined in step S114 that the second vital data obtained in real time is the proper vital data acquired in the proper state, the second vital data is not output.
（ステップＳ１１６）
ステップＳ１１４において、リアルタイムで得られた第２のバイタルデータが、非適正状態で取得されたであると判定されると、第２のバイタルデータは削除される。このように不要なデータを削除することにより、記憶部１９に不要なデータを格納する必要がなくなる。ただし非適正バイタルデータを、計測不能データとして記憶部１９に保存してもよい。
(Step S116)
In step S114, when it is determined that the second vital data obtained in real time is acquired in an improper state, the second vital data is deleted. By deleting unnecessary data in this way, it is not necessary to store unnecessary data in the
（ステップＳ１１７）
ステップＳ１１２からステップＳ１１５の第２のバイタルデータ取得判定処理の実行時間が所定時間未満の場合（ステップＳ１１７，ＮＯ）、ステップＳ１１２に戻る。所定時間は、一例として３分程度である。
第２のバイタルデータ取得判定処理の実行時間が所定時間以上になると、第２のバイタルデータ取得判定処理は終了する（ステップＳ１１７，ＹＥＳ）。
(Step S117)
If the execution time of the second vital data acquisition determination process of steps S112 to S115 is less than the predetermined time (steps S117, NO), the process returns to step S112. The predetermined time is about 3 minutes as an example.
When the execution time of the second vital data acquisition determination process exceeds a predetermined time, the second vital data acquisition determination process ends (steps S117, YES).
（ステップＳ１１８）
第２のバイタルデータ取得判定処理が終了すると、電子装置１は、通信処理部１１４を介して第２のバイタルデータを測定データ格納サーバ３ｃに保存する。この際、第２のバイタルデータは、タイムスタンプ、センサ部２３により測定された照度、温度、湿度情報とともに保存される。
(Step S118)
When the second vital data acquisition determination process is completed, the
（ステップＳ１１９）
以上の工程を経てバイタルデータの適正判定処理が終了する。なお、バイタルデータの適正判定処理は、例えば３０分ごとに、Ｓ１０２又はＳ１１２から開始されるようにしてもよい。
(Step S119)
Through the above steps, the process for determining the appropriateness of vital data is completed. The suitability determination process of vital data may be started from S102 or S112 every 30 minutes, for example.
次に、本発明の一実施形態に係る電子装置１の実施例について図９〜図１１を参照して説明する。
Next, an example of the
図９は、撮像部１６により撮像されるユーザの映像の一例を示した図である。図９（Ａ）は、第１のバイタルデータを求めたとき、及びそのときと同じように、ユーザが撮像部１６に対して正面を向いている状態、図９（Ｂ）はユーザが撮像部１６に対して横を向いている状態、図９（Ｃ）はユーザが撮像部１６に対して正面を向いているが、目が下を向いている状態、図９（Ｄ）はユーザが撮像部１６の撮影範囲から外れた状態を示す。
FIG. 9 is a diagram showing an example of a user's image captured by the
図１０は緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの輝度値の時間変化の例を示したグラフである。図１０中の期間Ａは、ユーザが撮像部１６に対して正面を向いている図９（Ａ）の状態、期間Ｂはユーザが撮像部１６に対して横を向いている図９（Ｂ）の状態、期間Ｃはユーザが撮像部１６に対して正面を向いている図９（Ｃ）の状態、期間Ｄはユーザが撮像部１６の撮影範囲から外れた図９（Ｄ）の状態のときを示す。
FIG. 10 is a graph showing an example of time-varying changes in the luminance value of the green light G, the luminance value of the red light R, and the luminance value of the blue light B. The period A in FIG. 10 is the state of FIG. 9 (A) in which the user faces the
図１１は、緑色の光Ｇの輝度値以外のバイタルデータとして、脈波及び脈拍数の時間変化の例を示したグラフである。図１０と同様に、図１１中の期間Ａは、ユーザが撮像部１６に対して正面を向いている図９（Ａ）の状態、期間Ｂはユーザが撮像部１６に対して横を向いている図９（Ｂ）の状態、期間Ｃはユーザが撮像部１６に対して正面を向いている図９（Ｃ）の状態、期間Ｄはユーザが撮像部１６の撮影範囲から外れた図９（Ｄ）の状態のときを示す。
FIG. 11 is a graph showing an example of time change of pulse wave and pulse rate as vital data other than the brightness value of green light G. Similar to FIG. 10, the period A in FIG. 11 is the state of FIG. 9 (A) in which the user faces the
期間Ａは、ユーザが第１のバイタルデータを取得したときと同じように正面を向き、且つ関心領域内に顔が存在する時間である。期間Ａでは、図１０に示すように、緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの何れにおいても、輝度値の時間変化が少ない安定した状態である。また、図１１に示すように、脈波振幅ＰＡ及び脈拍数ＨＲも、相対的に変動が少ない安定状態である。 The period A is the time when the user faces the front as in the case of acquiring the first vital data and the face exists in the region of interest. In the period A, as shown in FIG. 10, the luminance value of the green light G, the luminance value of the red light R, and the luminance value of the blue light B are all in a stable state with little time change of the luminance value. Further, as shown in FIG. 11, the pulse wave amplitude PA and the pulse rate HR are also in a stable state with relatively little fluctuation.
期間Ｂは、ユーザが撮像部１６に対して正面を向いている図９（Ａ）の状態から、撮像部１６に対して横を向いた図９（Ｂ）の状態になり、横向きを維持し、その後、撮像部１６に対して、また正面を向いた図９（Ｃ）の状態になるまでの時間である。即ち、期間Ｂの大部分ではユーザが横向きである。期間Ｂでは、緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの何れにおいても、期間Ａに比べて明るい傾向を示すものの、輝度値の時間変化は少ない安定した状態である。また、図１１に示すように、脈波振幅ＰＡ及び脈拍数ＨＲも、相対的に変動が少ない安定状態である。
During the period B, the state of FIG. 9 (A) in which the user faces the
期間Ｃは、ユーザが撮像部１６に対して正面を向いている図９（Ｃ）の状態が維持される時間である。期間Ｃでは、図１０に示すように、緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの何れにおいても、輝度値の時間変化が少ない安定した状態である。また、図１１に示すように、脈波振幅ＰＡ及び脈拍数ＨＲも、相対的に変動が少ない安定状態である。
The period C is a time during which the state of FIG. 9C in which the user faces the
期間Ｄは、ユーザが撮像部１６に対して正面を向いている図９（Ｃ）の状態から、撮像部１６の撮影範囲から外れて図９（Ｄ）の状態になり、再びユーザが正面を向くまでの時間である。期間Ｄでは、図１０に示すように、緑色の光Ｇの輝度値、赤色の光Ｒの輝度値、及び青色の光Ｂの何れにおいても、輝度値が大きく明るくなる傾向を示す。また、図１１に示すように、脈波振幅ＰＡ及び脈拍数ＨＲも、上下の変動が激しい状態となる。
In the period D, the state of FIG. 9 (C) in which the user faces the front with respect to the
図１０を示して説明した例において、緑色の光Ｇの輝度値をバイタルデータとした場合を考える。期間Ａ、期間Ｂ及び期間Ｃでは、緑色の光Ｇの輝度値をバイタルデータとした場合、基準値である第１のバイタルデータに対して新たに取得される第２のバイタルデータとの差が６％以内となる。即ち、期間Ａ、期間Ｂ及び期間Ｃは適正状態と判定される期間となる。一方、期間Ｄでは、基準値である第１のバイタルデータに対して新たに取得される第２のバイタルデータとの差が６％を超える状態となる。即ち、非適正状態と判定される期間となる。 In the example described with reference to FIG. 10, consider the case where the brightness value of the green light G is used as vital data. In the period A, the period B, and the period C, when the brightness value of the green light G is used as the vital data, the difference between the first vital data, which is the reference value, and the second vital data newly acquired is different. It will be within 6%. That is, the period A, the period B, and the period C are the periods determined to be in the proper state. On the other hand, in the period D, the difference between the first vital data, which is the reference value, and the second vital data newly acquired exceeds 6%. That is, it is a period in which the improper state is determined.
この実施例からも、緑色の光Ｇの輝度値をバイタルデータとした場合、第１のバイタルデータと第２のバイタルデータとの差が６％以内か否かで、適正バイタルデータか非適正バイタルデータであるかを判定できることがわかる。 From this embodiment as well, when the brightness value of the green light G is used as vital data, whether the difference between the first vital data and the second vital data is within 6%, whether the vital data is appropriate or not. It can be seen that it can be determined whether the data is data.
また、赤色の光Ｒの輝度値は緑色の光Ｇの輝度値及び青色の光Ｂの輝度値よりも明るいが、赤色の光Ｒ、緑色の光Ｇ及び青色の光Ｂは、ユーザの向きによって、略同様の傾向を示す。ゆえに、緑色の光Ｇの輝度値以外の赤色の光Ｒの輝度値又は青色の光Ｂの輝度値を用いて、取得されたバイタルデータが、適正状態で取得されたものであるか否かを判定することもできる。更に、脈波振幅ＰＡ及び脈拍数ＨＲにおいても、期間Ａ、期間Ｂ及び期間Ｃでは、相対的に安定しているが、期間Ｄでは乱れが大きくなる。ゆえに、脈波振幅ＰＡ及び脈拍数ＨＲを用いて、又は、緑色の光Ｇの輝度値と脈波振幅ＰＡ及び脈拍数ＨＲとを合わせて、バイタルデータが、適正状態で取得されたものであるか否かを判定できることがわかる。 Further, the brightness value of the red light R is brighter than the brightness value of the green light G and the brightness value of the blue light B, but the red light R, the green light G and the blue light B depend on the direction of the user. , Shows almost the same tendency. Therefore, it is determined whether or not the acquired vital data is acquired in an appropriate state by using the luminance value of the red light R or the luminance value of the blue light B other than the luminance value of the green light G. It can also be determined. Further, the pulse wave amplitude PA and the pulse rate HR are also relatively stable in the period A, the period B and the period C, but the turbulence becomes large in the period D. Therefore, the vital data is acquired in an appropriate state by using the pulse wave amplitude PA and the pulse rate HR, or by combining the brightness value of the green light G with the pulse wave amplitude PA and the pulse rate HR. It can be seen that it can be determined whether or not.
以下、具体的な数値について例示する。
赤色の光Ｒの輝度値の場合、第１のバイタルデータと第２のバイタルデータとの差が１１％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
青色の光Ｂの輝度値の場合、第１のバイタルデータと第２のバイタルデータとの差が６％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
緑色の光Ｇの輝度値から赤色の光Ｒの輝度値を引いた輝度値差分（Ｇ−Ｒ）の場合、第２のバイタルデータにおける輝度値差分（Ｇ−Ｒ）値における、第１のバイタルデータにおける輝度値差分（Ｇ−Ｒ）値に対する差（変化分）が２％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
赤色の光Ｒの輝度値の緑色の光Ｇの輝度値の割合である輝度値割合（Ｒ／Ｇ）の場合、第２のバイタルデータにおける輝度値割合（Ｒ／Ｇ）の、第１のバイタルデータにおける輝度値割合（Ｒ／Ｇ）に対する差（変化分）が絶対値で６％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
青色の光Ｂの輝度値の緑色の光Ｇの輝度値の割合である輝度値割合（Ｂ／Ｇ）の場合、第２のバイタルデータにおける輝度値割合（Ｂ／Ｇ）の、第１のバイタルデータにおける輝度値割合（Ｂ／Ｇ）に対する差（変化分）が絶対値で１％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
振幅値の場合、第２のバイタルデータの振幅値の、第１のバイタルデータの振幅値に対する差（変化分）が１４％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。
脈拍数の場合、第２のバイタルデータの脈拍数の、第１のバイタルデータの脈拍数に対する差（変化分）が２％以内の場合、第２のバイタルデータは適正バイタルデータであると判定することができる。さらに、一種類のバイタルデータで判定するのではなく、複数のバイタルデータを用いて判定することにより、判定の精度を上げることもできる。
Specific numerical values will be illustrated below.
In the case of the brightness value of the red light R, if the difference between the first vital data and the second vital data is within 11%, it can be determined that the second vital data is appropriate vital data.
In the case of the brightness value of the blue light B, if the difference between the first vital data and the second vital data is within 6%, it can be determined that the second vital data is appropriate vital data.
In the case of the luminance value difference (GR) obtained by subtracting the luminance value of the red light R from the luminance value of the green light G, the first vital in the luminance value difference (GR) value in the second vital data. When the difference (change) with respect to the luminance value difference (GR) value in the data is within 2%, it can be determined that the second vital data is appropriate vital data.
In the case of the brightness value ratio (R / G), which is the ratio of the brightness value of the green light G to the brightness value of the red light R, the first vital of the brightness value ratio (R / G) in the second vital data. When the difference (change) with respect to the luminance value ratio (R / G) in the data is within 6% in absolute value, it can be determined that the second vital data is appropriate vital data.
In the case of the brightness value ratio (B / G), which is the ratio of the brightness value of the green light G to the brightness value of the blue light B, the first vital of the brightness value ratio (B / G) in the second vital data. When the difference (change) with respect to the luminance value ratio (B / G) in the data is within 1% in absolute value, it can be determined that the second vital data is appropriate vital data.
In the case of the amplitude value, if the difference (change) between the amplitude value of the second vital data and the amplitude value of the first vital data is within 14%, it is determined that the second vital data is appropriate vital data. be able to.
In the case of pulse rate, if the difference (change) between the pulse rate of the second vital data and the pulse rate of the first vital data is within 2%, it is determined that the second vital data is appropriate vital data. be able to. Further, the accuracy of the determination can be improved by making a determination using a plurality of vital data instead of making a determination using one type of vital data.
以上、所定範囲に設定される数値を例示したが、所定範囲に設定される対象及び数値は使用環境等に応じて適宜変更することができる。 Although the numerical values set in the predetermined range have been illustrated above, the objects and numerical values set in the predetermined range can be appropriately changed according to the usage environment and the like.
本実施形態の電子装置１による効果について説明する。本実施形態の電子装置１は、少なくとも身体の一部を撮像する撮像部１６により撮像された身体の一部の映像に基づいて、身体のバイタルデータを取得するバイタルデータ取得部１１１と、バイタルデータ取得部１１１により取得されたバイタルデータを記憶する記憶部１９と、記憶部１９に記憶されている、過去に適正状態で前記バイタルデータ取得部１１１により取得された、基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、バイタルデータ取得部１１１により新たに取得された第２のバイタルデータと、を比較するバイタルデータ比較部１１２と、バイタルデータ比較部１１２の比較結果に基づき、第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定部１１３と、を備える。
The effect of the
これにより、ユーザの健康状態の変化を、ユーザのメニュー実行や作業を中断させることなく把握することができるため、早期の病気発見や予防につなげることが出来る。また、ユーザが意図することなく自動的にバイタルデータが取得されることになるので、バイタルデータの取り忘れ等がなく、安定した解析が可能になる。また、本実施形態では、電子装置１としてのスマートミラーを用いて、Ｓ１０２において選択された「小顔エステ」や「笑顔トレーニング」等のメニューの実行中に、ユーザの動作を妨げずに、リアルタイムのバイタルデータを取得することも出来る。また、電子装置１が作業用のＰＣである場合は、ユーザの作業を妨げずに、リアルタイムのバイタルデータを取得することが出来る。
As a result, changes in the user's health condition can be grasped without interrupting the user's menu execution and work, which can lead to early detection and prevention of illness. In addition, since the vital data is automatically acquired without the user's intention, stable analysis is possible without forgetting to take the vital data. Further, in the present embodiment, using the smart mirror as the
また、本実施形態の適正判定部１１３は、第２のバイタルデータと第１のバイタルデータとの差が、所定範囲内の場合に、第２のバイタルデータが適正バイタルデータと判定する。
Further, the
これにより、測定誤差の範囲で適正バイタルデータと判定されなくなる事態の発生を抑制し、効率的な適正判定処理が実現される。 As a result, it is possible to suppress the occurrence of a situation in which the appropriate vital data is not determined within the range of the measurement error, and an efficient appropriate determination process is realized.
また、本実施形態では、第２のバイタルデータが、適正バイタルデータと判定された場合、第２のバイタルデータを適正バイタルデータとして記憶部１９に保存する。
Further, in the present embodiment, when the second vital data is determined to be appropriate vital data, the second vital data is stored in the
これにより、ユーザが移動することによってバイタルデータの安定した取得が出来ない場合、非適切な状態で取得された非適切バイタルデータとして、適正バイタルデータと区別されるので、適正バイタルデータのみに基づいた健康管理が可能である。特に本実施形態では、所定の関心領域内において、正面を向いた適正状態で取得されたバイタルデータを、自動的に記憶部１９に保存している。すなわち、血流量、脈波振幅値、脈拍数、自律神経指標といった、美容や健康管理に必要なバイタルデータを日々取得できる。このため、美容施術の効果有無や健康異常をいち早く検出し、対応することが出来るようになる。なお自律神経指標とは、脈拍数の揺らぎ等である。例えば、緑色の光Ｇの輝度値や振幅値から、正面を向いた状態が維持されていると判定されたにもかかわらず、脈拍数に揺らぎがある場合、自律神経に異常があると判定することができる。また、適正状態ではないときに取得されたバイタルデータを記憶部１９に記憶する必要がないので、メモリの使用効率を向上させることができる。
As a result, when the vital data cannot be stably acquired due to the movement of the user, it is distinguished from the appropriate vital data as the inappropriate vital data acquired in an inappropriate state, so that it is based only on the appropriate vital data. Health management is possible. In particular, in the present embodiment, vital data acquired in an appropriate state facing the front is automatically stored in the
また、本実施形態の電子装置１は、第２のバイタルデータが、適正バイタルデータと判定された場合、第２のバイタルデータを適正バイタルデータとして出力する。そして、また、本実施形態の電子装置１は、第２のバイタルデータが、適正バイタルデータと判定されなかった場合、第２のバイタルデータは出力されない。これにより、適正ではバイタルデータが出力されなくなるので、データ処理を効率化できる。
Further, the
また、本実施形態では、バイタルデータは、映像から取得される輝度値である。これにより、映像から取得することが容易な輝度値を利用して適正状態か否かを正確に判定できる。また、バイタルデータは、映像から取得される輝度値に基づいて算出される血流量、脈拍数又は振幅値であってもよい。輝度値に基づいて算出される血流量、脈拍数又は振幅値を活用することによっても、適正状態か否かを正確に判定できる。 Further, in the present embodiment, the vital data is a brightness value acquired from the video. As a result, it is possible to accurately determine whether or not the state is appropriate by using the luminance value that can be easily acquired from the video. In addition, the vital data may be a blood flow rate, a pulse rate, or an amplitude value calculated based on a brightness value acquired from an image. By utilizing the blood flow rate, pulse rate, or amplitude value calculated based on the brightness value, it is possible to accurately determine whether or not the state is appropriate.
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiment of the present invention has been described above, this embodiment is merely an example and does not limit the technical scope of the present invention. The present invention can take various other embodiments, and further, various modifications such as omission and substitution can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in the present specification and the like, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
実施形態において、電子装置１としてスマートミラーを例にして説明したが、これに限らず、上述したように電子装置１は、スマートミラーに限定されず、スマートフォン、タブレット、パーソナルコンピュータ等であってもよい。例えば、カメラ付のパーソナルコンピュータに本発明を適用することで、仕事等のパーソナルコンピュータを用いて作業をしている間も、ユーザが意図することなくバイタルデータを取得することができる。この場合、本発明を実施するためのアプリケーションをサーバ群３からダウンロード可能としてもよい。
In the embodiment, the smart mirror has been described as an example of the
バイタルデータの取得は、安定した期間の信号を抽出することが好ましい。ゆえに、一日の中で安定した期間において、バイタルデータを取得するようにしてもよい。 For the acquisition of vital data, it is preferable to extract a signal for a stable period. Therefore, vital data may be acquired during a stable period of the day.
＜その他の変形例＞
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
<Other variants>
The present invention is not limited to the above-described embodiment, and modifications, improvements, and the like within the range in which the object of the present invention can be achieved are included in the present invention. For example, the above-described embodiment may be modified as in the following modification.
上記実施形態では、検出した輝度に対して換算する処理を行った換算輝度値を用いて処理を行った構成を説明したが、この構成に限定されない。換算輝度値は輝度のレベルを示す一態様であり、上記実施形態から換算処理を省略し、換算処理を行うことなく検出した輝度値を用いて処理を行ってもよい。 In the above embodiment, the configuration in which the processing is performed using the converted luminance value obtained by performing the processing for converting the detected luminance is described, but the present invention is not limited to this configuration. The converted luminance value is one aspect indicating the level of the luminance, and the luminance value may be omitted from the above embodiment and the detected luminance value may be used for the luminance value.
上記実施形態の電子装置１の表示部１８に反射面を有する鏡部を組み合わせた構成とすることもできる。この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されるとともに鏡部を透過した各種の情報（例えば、合成画像）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。このようにしても、上述した実施形態と同様の効果を奏することができる。
例えば、上述の実施形態において、電子装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を電子装置１に追加して、電子装置１のみで全ての処理を行うようにしてもよい。
It is also possible to combine the
For example, in the above-described embodiment, it was assumed that the
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
The series of processes described above can be executed by hardware or software. In other words, the functional configuration of FIG. 5 is merely an example and is not particularly limited. That is, it is sufficient that the
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。 Further, one functional block may be configured by a single piece of hardware, a single piece of software, or a combination thereof. The functional configuration in the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment is composed of various processing devices such as a single processor, a multiprocessor, and a multicore processor. In addition to the above, the present invention includes a combination of these various processing units and processing circuits such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field-Programmable Gate Array).
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processes are executed by software, the programs constituting the software are installed on a computer or the like from a network or a recording medium.
The computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４の記憶部１９に含まれるハードディスク等で構成される。
The recording medium including such a program is not only composed of the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。 In the present specification, the steps for describing a program recorded on a recording medium are not necessarily processed in chronological order, but also in parallel or individually, even if they are not necessarily processed in chronological order. It also includes the processing to be executed. Further, in the present specification, the term of the system means an overall device composed of a plurality of devices, a plurality of means, and the like.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
少なくとも身体の一部を撮像する撮像部により撮像された前記身体の一部の映像に基づいて、前記身体のバイタルデータを取得するバイタルデータ取得部と、
前記バイタルデータ取得部により取得された前記バイタルデータを記憶する記憶部と、
前記記憶部に記憶されている、過去に適正状態で前記バイタルデータ取得部により取得された、基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、前記バイタルデータ取得部により新たに取得された第２のバイタルデータと、を比較するバイタルデータ比較部と、
前記バイタルデータ比較部の比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定部と、
を備えることを特徴とする電子装置。
［付記２］
前記適正判定部は、
前記第２のバイタルデータと前記第１のバイタルデータとの差が、所定範囲内の場合に、前記第２のバイタルデータが前記適正バイタルデータと判定する、
付記１に記載の電子装置。
［付記３］
前記第２のバイタルデータが、前記適正バイタルデータと判定された場合、前記第２のバイタルデータを前記適正バイタルデータとして前記記憶部に保存する、
付記１または２に記載の電子装置。
［付記４］
前記第２のバイタルデータが、前記適正バイタルデータと判定された場合、前記第２のバイタルデータを前記適正バイタルデータとして出力する、
付記１から３のいずれか１項に記載の電子装置。
［付記５］
前記第２のバイタルデータが、前記適正バイタルデータと判定されなかった場合、前記第２のバイタルデータは出力されない、
付記４に記載の電子装置。
［付記６］
前記バイタルデータは、
前記映像から取得される輝度値である付記１から５のいずれか１項に記載の電子装置。
［付記７］
前記バイタルデータは、
前記映像から取得される輝度値に基づいて算出される血流量、脈拍数又は振幅値である、
付記１から６のいずれか１項に記載の電子装置。
［付記８］
電子装置に、
少なくとも身体の一部を撮像する撮像機能により撮像された前記身体の一部の映像に基づいて、前記身体のバイタルデータを取得するバイタルデータ取得機能と、
前記バイタルデータ取得機能により取得された前記バイタルデータを記憶する記憶機能と、
前記記憶機能により記憶されている、前記バイタルデータ取得機能により、以前、適正状態で取得された基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、前記バイタルデータ取得機能により新たに取得された第２のバイタルデータとを比較するバイタルデータ比較機能と、
前記バイタルデータ比較機能による比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定機能と、
を実現させることを特徴とする電子装置の制御プログラム。
［付記９］
少なくとも身体の一部を、適正状態で撮像する第１の撮像ステップと、
前記第１の撮像ステップにおいて撮像された前記身体の一部の映像に基づいて、第１のバイタルデータを取得する第１のバイタルデータ取得ステップと、
前記第１のバイタルデータ取得ステップにおいて取得された前記第１のバイタルデータを基準のバイタルデータとして記憶する記憶ステップと、
少なくとも身体の一部を撮像する第２の撮像ステップと、
前記第２の撮像ステップにおいて撮像された前記身体の一部の映像に基づいて、第２のバイタルデータを取得する第２のバイタルデータ取得ステップと、
前記記憶ステップにおいて記憶された前記第１のバイタルデータを読み出して、該第１のバイタルデータと前記第２のバイタルデータと比較するバイタルデータ比較ステップと、
前記バイタルデータ比較ステップの比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定ステップと、
を含むことを特徴とする電子装置の制御方法。
The inventions described in the claims at the time of filing the application of the present application are described below.
[Appendix 1]
A vital data acquisition unit that acquires vital data of the body based on an image of the part of the body captured by an imaging unit that images at least a part of the body.
A storage unit that stores the vital data acquired by the vital data acquisition unit, and a storage unit that stores the vital data.
The reference first vital data stored in the storage unit and acquired by the vital data acquisition unit in an appropriate state in the past is read out, and the first vital data and the vital data acquisition unit are used. A vital data comparison unit that compares the newly acquired second vital data,
Based on the comparison result of the vital data comparison unit, the appropriateness determination unit for determining whether or not the second vital data is the appropriate vital data acquired in an appropriate state, and
An electronic device comprising.
[Appendix 2]
The appropriateness determination unit
When the difference between the second vital data and the first vital data is within a predetermined range, the second vital data is determined to be the proper vital data.
The electronic device according to
[Appendix 3]
When the second vital data is determined to be the proper vital data, the second vital data is stored in the storage unit as the proper vital data.
The electronic device according to
[Appendix 4]
When the second vital data is determined to be the proper vital data, the second vital data is output as the proper vital data.
The electronic device according to any one of
[Appendix 5]
If the second vital data is not determined to be the proper vital data, the second vital data is not output.
The electronic device according to Appendix 4.
[Appendix 6]
The vital data is
The electronic device according to any one of
[Appendix 7]
The vital data is
It is a blood flow, pulse rate or amplitude value calculated based on the brightness value acquired from the image.
The electronic device according to any one of
[Appendix 8]
For electronic devices
A vital data acquisition function that acquires vital data of the body based on an image of the part of the body captured by an imaging function that images at least a part of the body.
A storage function for storing the vital data acquired by the vital data acquisition function, and a storage function for storing the vital data.
The vital data acquisition function stored by the storage function reads out the reference first vital data previously acquired in an appropriate state, and the first vital data and the vital data acquisition function are used. Vital data comparison function to compare with newly acquired second vital data,
Based on the comparison result by the vital data comparison function, the appropriateness determination function for determining whether or not the second vital data is the appropriate vital data acquired in an appropriate state, and the appropriateness determination function.
A control program for electronic devices, which is characterized by realizing.
[Appendix 9]
The first imaging step, in which at least a part of the body is imaged in an appropriate state,
The first vital data acquisition step of acquiring the first vital data based on the image of the part of the body captured in the first imaging step, and the first vital data acquisition step.
A storage step of storing the first vital data acquired in the first vital data acquisition step as reference vital data, and a storage step.
A second imaging step that images at least a part of the body,
A second vital data acquisition step of acquiring a second vital data based on an image of a part of the body captured in the second imaging step, and a second vital data acquisition step.
A vital data comparison step of reading out the first vital data stored in the storage step and comparing the first vital data with the second vital data.
Based on the comparison result of the vital data comparison step, the appropriateness determination step for determining whether or not the second vital data is the appropriate vital data acquired in an appropriate state, and the appropriateness determination step.
A method of controlling an electronic device, which comprises.
１・・・電子装置，３・・・サーバ群，３ａ・・・認証サーバ，３ｂ・・・アプリケーション配信サーバ，３ｃ・・・測定データ格納サーバ，１４・・・通信処理部，１６・・・撮像部，１７・・・入力部，１８・・・表示部，１９・・・記憶部，２０・・・通信部，２３・・・センサ部，２４・・・照明部，２５・・・スピーカ，３０・・・本体部，１１１・・・バイタルデータ取得部，１１２・・・バイタルデータ比較部，１１３・・・適正判定部，１１４・・・通信処理部 1 ... Electronic device, 3 ... Server group, 3a ... Authentication server, 3b ... Application distribution server, 3c ... Measurement data storage server, 14 ... Communication processing unit, 16 ... Imaging unit, 17 ... Input unit, 18 ... Display unit, 19 ... Storage unit, 20 ... Communication unit, 23 ... Sensor unit, 24 ... Lighting unit, 25 ... Speaker , 30 ... Main unit, 111 ... Vital data acquisition unit, 112 ... Vital data comparison unit, 113 ... Appropriate judgment unit, 114 ... Communication processing unit
Claims (9)
前記バイタルデータ取得部により取得された前記バイタルデータを記憶している記憶部と、
前記記憶部に記憶されている、過去に適正状態で前記バイタルデータ取得部により取得された、基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、前記バイタルデータ取得部により新たに取得された第２のバイタルデータと、を比較するバイタルデータ比較部と、
前記バイタルデータ比較部の比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定部と、
を備えることを特徴とする電子装置。 A vital data acquisition unit that acquires vital data of the body based on an image of the part of the body captured by an imaging unit that images at least a part of the body.
A storage unit that stores the vital data acquired by the vital data acquisition unit, and a storage unit that stores the vital data.
The reference first vital data stored in the storage unit and acquired by the vital data acquisition unit in an appropriate state in the past is read out, and the first vital data and the vital data acquisition unit are used. A vital data comparison unit that compares the newly acquired second vital data,
Based on the comparison result of the vital data comparison unit, the appropriateness determination unit for determining whether or not the second vital data is the appropriate vital data acquired in an appropriate state, and
An electronic device comprising.
前記第２のバイタルデータと前記第１のバイタルデータとの差が、所定範囲内の場合に、前記第２のバイタルデータが前記適正バイタルデータと判定する、
請求項１に記載の電子装置。 The appropriateness determination unit
When the difference between the second vital data and the first vital data is within a predetermined range, the second vital data is determined to be the proper vital data.
The electronic device according to claim 1.
請求項１または２に記載の電子装置。 When the second vital data is determined to be the proper vital data, the second vital data is stored in the storage unit as the proper vital data.
The electronic device according to claim 1 or 2.
請求項１から３のいずれか１項に記載の電子装置。 When the second vital data is determined to be the proper vital data, the second vital data is output as the proper vital data.
The electronic device according to any one of claims 1 to 3.
請求項４に記載の電子装置。 If the second vital data is not determined to be the proper vital data, the second vital data is not output.
The electronic device according to claim 4.
前記映像から取得される輝度値である請求項１から５のいずれか１項に記載の電子装置。 The vital data is
The electronic device according to any one of claims 1 to 5, which is a brightness value acquired from the video.
前記映像から取得される輝度値に基づいて算出される血流量、脈拍数又は振幅値である、
請求項１から６のいずれか１項に記載の電子装置。 The vital data is
It is a blood flow, pulse rate or amplitude value calculated based on the brightness value acquired from the image.
The electronic device according to any one of claims 1 to 6.
少なくとも身体の一部を撮像する撮像機能により撮像された前記身体の一部の映像に基づいて、前記身体のバイタルデータを取得するバイタルデータ取得機能と、
前記バイタルデータ取得機能により取得された前記バイタルデータを記憶する記憶機能と、
前記記憶機能により記憶されている、前記バイタルデータ取得機能により、以前、適正状態で取得された基準となる第１のバイタルデータを読み出して、該第１のバイタルデータと、前記バイタルデータ取得機能により新たに取得された第２のバイタルデータとを比較するバイタルデータ比較機能と、
前記バイタルデータ比較機能による比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定機能と、
を実現させることを特徴とする電子装置の制御プログラム。 For electronic devices
A vital data acquisition function that acquires vital data of the body based on an image of the part of the body captured by an imaging function that images at least a part of the body.
A storage function for storing the vital data acquired by the vital data acquisition function, and a storage function for storing the vital data.
The vital data acquisition function stored by the storage function reads out the reference first vital data previously acquired in an appropriate state, and the first vital data and the vital data acquisition function are used. Vital data comparison function to compare with newly acquired second vital data,
Based on the comparison result by the vital data comparison function, the appropriateness determination function for determining whether or not the second vital data is the appropriate vital data acquired in an appropriate state, and the appropriateness determination function.
A control program for electronic devices, which is characterized by realizing.
前記第１の撮像ステップにおいて撮像された前記身体の一部の映像に基づいて、第１のバイタルデータを取得する第１のバイタルデータ取得ステップと、
前記第１のバイタルデータ取得ステップにおいて取得された前記第１のバイタルデータを基準のバイタルデータとして記憶する記憶ステップと、
少なくとも身体の一部を撮像する第２の撮像ステップと、
前記第２の撮像ステップにおいて撮像された前記身体の一部の映像に基づいて、第２のバイタルデータを取得する第２のバイタルデータ取得ステップと、
前記記憶ステップにおいて記憶された前記第１のバイタルデータを読み出して、該第１のバイタルデータと前記第２のバイタルデータと比較するバイタルデータ比較ステップと、
前記バイタルデータ比較ステップの比較結果に基づき、前記第２のバイタルデータが適正状態で取得された適正バイタルデータか否かを判定する適正判定ステップと、
を含むことを特徴とする電子装置の制御方法。 The first imaging step, in which at least a part of the body is imaged in an appropriate state,
The first vital data acquisition step of acquiring the first vital data based on the image of the part of the body captured in the first imaging step, and the first vital data acquisition step.
A storage step of storing the first vital data acquired in the first vital data acquisition step as reference vital data, and a storage step.
A second imaging step that images at least a part of the body,
A second vital data acquisition step of acquiring a second vital data based on an image of a part of the body captured in the second imaging step, and a second vital data acquisition step.
A vital data comparison step of reading out the first vital data stored in the storage step and comparing the first vital data with the second vital data.
Based on the comparison result of the vital data comparison step, the appropriateness determination step for determining whether or not the second vital data is the appropriate vital data acquired in an appropriate state, and the appropriateness determination step.
A method of controlling an electronic device, which comprises.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020052205A JP2021151304A (en) | 2020-03-24 | 2020-03-24 | Electronic device, control program for electronic device, and control method for electronic device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020052205A JP2021151304A (en) | 2020-03-24 | 2020-03-24 | Electronic device, control program for electronic device, and control method for electronic device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021151304A true JP2021151304A (en) | 2021-09-30 |
Family
ID=77886915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020052205A Pending JP2021151304A (en) | 2020-03-24 | 2020-03-24 | Electronic device, control program for electronic device, and control method for electronic device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021151304A (en) |
-
2020
- 2020-03-24 JP JP2020052205A patent/JP2021151304A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11029830B2 (en) | Display control apparatus, display controlling method and display control program for providing guidance using a generated image | |
| KR20170132644A (en) | Method for obtaining care information, method for sharing care information, and electronic apparatus therefor | |
| US11800989B2 (en) | Electronic device, control method for the electronic device, and storage medium | |
| KR20210084102A (en) | Electronic apparatus, scalp care system and method for controlling the electronic apparatus and the server | |
| CN112741609B (en) | Electronic device, control method of electronic device, and medium | |
| JP6974452B2 (en) | Accessory device and imaging device | |
| US20220087547A1 (en) | Electronic device, control method for electronic device, and recording medium | |
| US10915617B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| US11545048B2 (en) | Advising apparatus, advising method, and recording medium | |
| CN110297720B (en) | Notification device, notification method, and medium storing notification program | |
| JP2021151304A (en) | Electronic device, control program for electronic device, and control method for electronic device | |
| KR102526951B1 (en) | Method and apparatus for measuring biometric information in electronic device | |
| CN114081464A (en) | Heart rate detection method and device and electronic equipment | |
| JP7415318B2 (en) | Image processing device, image processing method and program | |
| JP7225749B2 (en) | Notification device, notification method and program | |
| JP7238835B2 (en) | ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD AND ELECTRONIC DEVICE CONTROL PROGRAM | |
| US11822974B2 (en) | Information processing apparatus, control method of information processing apparatus, and recording medium | |
| JP7485114B2 (en) | Notification device, notification method, and program | |
| WO2022064825A1 (en) | Electronic device, control program for electronic device, and control method for electronic device | |
| US20220304453A1 (en) | Information processing device, computer readable media, nail printing system and nail design selection method | |
| WO2023112930A1 (en) | Image processing device, terminal, and monitoring method | |
| WO2023249547A1 (en) | Quality assurance in medical facial images with respect to ambient illumination quality assurance in body images | |
| JP2022148503A (en) | Information processing device, program, biological information acquisition system and biological information acquiring method | |
| KR20220006997A (en) | An electronic device for acquiring an image using a light-emitting module equipped with a polarization filter and a control method thereof | |
| JP2023090652A (en) | Image processing apparatus, terminal, and monitoring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240507 |