JP2022052451A - 電子装置、電子装置の制御方法及び電子装置の制御プログラム - Google Patents

Abstract

【課題】肌が比較的白い色の場合でも、映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる電子装置、電子装置の制御方法及び電子装置の制御プログラムを提供すること。【解決手段】電子装置１は、撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、前記身体の脈波を示す調整用脈波情報を取得し、前記調整用脈波情報に基づいて撮像条件を調整する撮像条件調整部１１１ａと、撮像装置を用いて、撮像条件調整部１１１ａにより調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における身体の映像情報に基づいて、身体の第１の脈波情報を取得する映像処理部１１１と、を含む。【選択図】図７

Description

本発明は、電子装置、電子装置の制御方法及び電子装置の制御プログラムに関する。

従来、映像から対象者の血流等の生体情報を取得する技術が知られている。特許文献１には、映像信号における輝度情報に基づいて対象者の脈波に関する情報を取得し、脈波の変動に基づいて算出された血行情報をヒートマップのように表示することが記載されている。

特開２０１６－１９００２２号公報

ところで、マッサージ等の美容施術の前後の映像を取得し、映像から取得した生体情報に基づいて血流の変化の程度によって美容施術の効果測定を行う場合がある。カメラを使った映像脈波解析により肌の毛細血管の血流変化を計測する場合、筒状のフード型のカメラとＬＥＤによる照明を利用すると精度よく解析することが出来る。理由としては肌に当てる光の量が一定のため、ヘモグロビンによって光が吸収される際、外乱光によるノイズが無く、確実に血流の変化を捉えることが可能になるからである。また、カメラと肌の距離が一定に保てるため、当該距離やカメラの動きの変化による、光量の変化を抑えることが出来るためである。

しかし、肌が比較的白い色の場合など、肌の毛細血管までの角層から表皮、真皮に至る皮膚の構造の違いによって、上記の計測方法でも脈波信号が取り難いことがある。

本発明は、肌が比較的白い色の場合でも、映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる電子装置、電子装置の制御方法及び電子装置の制御プログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の電子装置は、撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、前記身体の脈波を示す調整用脈波情報を取得し、前記調整用脈波情報に基づいて撮像条件を調整する撮像条件調整部と、前記撮像装置を用いて、前記撮像条件調整部により調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の第１の脈波情報を取得する映像処理部と、を含む。

本発明の電子装置、電子装置の制御方法及び電子装置の制御プログラムによれば、肌が比較的白い色の場合でも、映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる。

本発明の一実施形態に係る計測システムの構成を示す構成図である。 本発明の一実施形態に係る計測システムで用いられる計測専用カメラの構成を示す構成図である。 本発明の一実施形態に係る電子装置の前面の外観構成を示す構成図である。 本発明の一実施形態に係る電子装置の側面の外観構成を示す構成図である。 本発明の一実施形態に係る電子装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る電子装置で用いられる計測専用カメラのハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る電子装置の機能的構成のうち、測定処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前後のＲＧＢ輝度値の時間変化の変遷を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前後のＧ―Ｒ値の時間変化の変遷を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前の脈波振幅を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前後のＰＡレベル値の時間変化の変遷を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるＰＡレベル値と血流のベースラインの実測値の変化率の推移を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表である。 本発明の一実施形態に係る電子装置によって計測されるＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表である。 本発明の一実施形態に係る電子装置によって計測されるＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表である。 本発明の一実施形態に係る電子装置によって計測されるＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表である。 本発明の一実施形態に係る電子装置によって計測されるＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表である。 本発明の一実施形態に係る電子装置によって計測されるＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表である。 本発明の一実施形態に係る電子装置によって計測されるＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表である。 本発明の一実施形態に係る電子装置が実行する処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る電子装置１は、ユーザが携帯可能な自立式の鏡として構成されるスマートミラーである。電子装置１は、鏡を視認する対象者としてのユーザを撮像する。電子装置１は、ユーザを撮像した映像に基づいて生体情報を取得する。

［システム構成］
図１は、本実施形態に係る電子装置１が含まれる計測システムＳの全体構成を示すブロック図である。図１に示すように、計測システムＳは、複数の電子装置１、ネットワーク２及びサーバ群３を含む。電子装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の電子装置１が計測システムＳに含まれていてもよい。なお、以下の説明において、ｎ台の電子装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「電子装置１」と称する。

電子装置１は、映像からユーザの血流変動を計測し、計測結果を表示する計測装置である。電子装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。

ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。

サーバ群３には、電子装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、電子装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、電子装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる電子装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。

また、電子装置１には計測専用カメラ２５が有線通信又は無線通信により、電気的に接続される。
図２は、計測専用カメラ２５の構成を示す。計測専用カメラ２５は、撮像部２５６と、撮像部２５６を外部から隔離する専用のカバー２５２と、カバー２５２内で計測対象に光を照射する照明部２５７と、を備える。計測対象にカバー２５２の先端を当てた状態で撮像することにより、カバー内の明るさを一定に維持し、外乱の影響を抑制した状態で映像を取得できる。なお、カバー２５２の内側には外光遮断材が含まれる。

なお、図１に示した計測システムＳは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。

［外観構成］
図３は、本発明の一実施形態に係る電子装置１の前面の外観構成を示す構成図である。また、図４は、電子装置１の側面の外観構成を示す構成図である。電子装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。

図３及び図４に示すように、電子装置１は、本体部３０と、脚部３１と、ヒンジ部３２と、を含んで構成される。本体部３０は、表示部１８や、図５を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、電子装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に支持される。

図４（Ａ）に示すように、ユーザは、電子装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図４（Ｂ）に示すように、ユーザは、電子装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、電子装置１を自立して設置することができる。なお、電子装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。

本体部３０は、上述したように表示部１８を含む。表示部１８は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となる代替画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。

ユーザは、表示部１８を視認することにより、これらの多様な情報を一度に把握することができる。なお、このような表示部１８の表示が、見た目上のギャップがない、ユーザが視認するのに適した一体感のあるものである点については、上述した通りである。

図３に示すように、電子装置１は、外観構成として、更に、撮像部１６、入力部１７及び表示部１８を備えている。

撮像部１６は、電子装置１の利用時に、表示部１８に正対するユーザを被写体として撮像するカメラである。撮像部１６は、表示部１８に正対するユーザの顔を含むユーザ画像５１を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。

なお、電子装置１は、ユーザ画像５１を撮像するため、撮像部１６を用いることも、上記の計測専用カメラ２５を用いることも可能である。より詳細には、電子装置１は、撮像部１６と計測専用カメラ２５のうちいずれか一方を選択的に用いることも可能であり、使用用途に応じて双方を用いることも可能である。

入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、電子装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。

以上、電子装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、電子装置１の外観構造は、この例に限定されない。

例えば、電子装置１は、表示部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、電子装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、表示部１８の上部や下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。

また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１８の一部がタッチパネルとして構成され、入力部１７と表示部１８とが一体に構成されてもよい。

［ハードウェア構成］
図５は、電子装置１のハードウェアの構成を示すブロック図である。
図５に示すように、電子装置１は、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。

表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。

記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。

通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。

ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェースにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。

バッテリ２２は、各部に電力を供給するとともに外部電源に接続されることにより、充電可能に構成される。電子装置１が外部電源に接続されていない状態ではバッテリ２２の電力によって電子装置１が動作する。

なお、電子装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、電子装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えてもよい。

図６は、計測専用カメラ２５のハードウェアの構成を示すブロック図である。
図６に示すように、計測専用カメラ２５は、処理部２５１と、撮像部２５６と、照明部２５７と、通信部２６０と、ドライブ２６１と、バッテリ２６２と、を備えている。

処理部２５１は、計測専用カメラ２５全体の制御を行っている。とりわけ、処理部２５１は、後述の通信部２６０を介して、電子装置１のＣＰＵ１１と通信し、電子装置１からの指令信号を取得することにより、計測専用カメラ２５全体の制御を行っている。
なお、計測専用カメラ２５全体の制御には、後述の撮像部２５６で撮像した映像の処理が含まれる。

撮像部２５６は、図示はしないが、光学レンズ部、及び／又はイメージセンサを備えている。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。撮像部２５６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。この設定パラメータとしては、撮像部２５６自体の制御パラメータとして、ズーム、焦点、露出、パン、傾きに係るパラメータを含むと共に、画像調整パラメータとして、明るさ、コントラスト、鮮やかさ、鮮明度、ホワイトバランス、逆光補正、ゲインに係るパラメータを含む。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部２５６の出力信号として出力される。このような撮像部２５６の出力信号は、処理部２５１等に適宜供給される。

照明部２５７は、撮像部２５６による撮像時に、処理部２５１からの制御信号に従って、撮像部２５６の視野に投光する。照明部２５７は、例えばＬＥＤと調光回路によって実現されることが可能である。なお、調光回路は出力にＰＷＭ信号を生成しデューティ比を変化させることで光量の調整を行う方式があり、脈波成分の周波数と同じ、または近い帯域の場合ノイズとなり脈波信号のＳＮ比に影響されることが考えられる。そのため定電圧駆動などの調光回路を用いることが望ましい。

通信部２６０は、処理部２５１が、電子装置１との間で通信を行うための通信制御を行う。なお、通信部２６０は、処理部２５１が、電子装置１との間で無線通信を行うための無線回路を備えてもよい。

ドライブ２６１は、リムーバブルメディア２００を装着可能なインターフェースにより構成される。ドライブ２６１には、例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の半導体メモリ等よりなる、リムーバブルメディア２００が適宜装着される。リムーバブルメディア２００には、画像データ等の各種データや、処理部２５１での処理に用いられるプログラムが格納される。

バッテリ２６２は、各部に電力を供給するとともに外部電源に接続されることにより、充電可能に構成される。計測専用カメラ２５が外部電源に接続されていない状態ではバッテリ２６２の電力によって電子装置１が動作する。

なお、計測専用カメラ２５は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。

［機能的構成］
図７は、電子装置１の機能的構成のうち、測定処理を実行するための機能的構成を示す機能ブロック図である。測定処理とは、電子装置１が、ユーザから取得した生体情報値の変化に基づいて計測結果を表示する一連の処理である。

まず、各種情報を記憶する記憶部１９について説明する。記憶部１９には、表示処理におけるガイダンスに関する各種のデータや、ユーザの実像の代替となるアバターに関する各種のデータや、計測を行なうための情報や計測結果を表示するための情報や計測結果を示す情報等が格納される。なお、上述した各種のデータは、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。

次に、測定処理を実行する各機能ブロックについて説明する。図７に示すように、制御部としてのＣＰＵ１１において、映像処理部１１１と、表示処理部１１２と、結果処理部１１３と、評価処理部１１４と、情報処理部１１５と、通信処理部１１６と、が機能する。

映像処理部１１１は、撮像部１６が撮像した被写体としてのユーザを含む映像を解析することにより、ユーザに関する情報（以下、「被写体情報」と称する。）を取得する。被写体情報は、例えば、ユーザ画像５１の顔等における各部位の位置を示す座標や、ユーザ画像５１の顔等における各部位の色や、ユーザの状態を示す生体情報（バイタルデータと呼ばれることもある。）等である。撮像部１６が取得する情報（映像）に基づいて計測が行われるので、ユーザに接触することなく生体情報を逐次取得できる。

測定処理を行う前提としての座標情報について説明する。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、表示部１８の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、及び各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより表示処理を行うことができる。これら各座標系の対応関係は、例えば、電子装置１の製造時に、撮像部１６における撮像レンズの方向調整や、ズーム率の調整等による、対応関係の補正を伴うキャリブレーションを行うことにより設定される。例えば、ズーム率の調整は、撮像部１６のレンズ位置の調整によって行われる所謂光学ズーム、及び、画像処理における所謂デジタルズーム、の双方又は何れかを用いて行われる。

また、映像処理部１１１は、少なくとも身体の一部を撮像したことにより得られる第１映像における身体の映像情報に基づいて、身体の脈波の所定時間内における平均振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における平均振幅を示す第２脈波振幅情報を取得する。
なお、映像処理部１１１は、身体の脈波の所定時間内における平均振幅を示す第１脈波振幅情報と第２脈波振幅情報を取得するとしたが、これには限定されない。例えば、映像処理部１１１は、第１脈波振幅情報及び第２脈波振幅情報として、所定期間における振幅の最頻値、中央値、平均値等の種々の方式により算出された振幅情報を取得してもよい。

例えば、映像処理部１１１は、ユーザがユーザ自身の顔等に対してマッサージを行う際、マッサージを行う前の顔等を撮像した画像から、当該顔等における脈波の所定時間における平均振幅を示す第１脈波振幅情報を取得するとともに、マッサージを行った後の顔等を撮像した画像から、当該顔等における脈波の所定時間における平均振幅を示す第２脈波振幅情報を取得する。なお、「脈波」とは、ユーザの生体情報として検出される１つの脈の波形のことであり、当該生体情報は、例えば下記の参考文献に記載の技術を利用することにより行うことができる。
＜参考文献＞
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成２９年１２月１５日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞

また、映像処理部１１１は、撮像条件調整部１１１ａを備える。

撮像条件調整部１１１ａは、第１映像の撮像に先立って、計測専用カメラ２５を用いて少なくとも身体の一部を撮像したことにより得られる映像から、身体の脈波情報を取得し、脈波情報に基づいて撮像条件を調整する。この撮像条件は、計測専用カメラ２５の露出条件、計測専用カメラ２５で用いる照明の光量、照明の色のうち少なくとも１つを含む。撮像条件調整部１１１ａによる、撮像条件の調整方法の詳細については、後述する。

表示処理部１１２は、表示映像として動画像を表示する制御を行う。これにより、血流変動を動的に視覚化でき、特定の行動前後の違いを分かり易く表示できる。本実施形態の動画像は測定結果を色合いで表現する色相動画像である。色相動画像は、特定の部位（第１部位）がマス目状の小領域に分割され、小領域ごとに血流変動が色相の変化によって表現されている様子が示される。特定の部位は、例えば、顔の一部分である。

また、表示処理部１１２は、ガイド画像やアバター画像を合成する合成処理等も行う。例えば、表示処理部１１２は、表示部１８にユーザの鏡像又はユーザに対応する画像（例えば、アバター等）を表示する制御を行う。例えば、表示処理部１１２は、ユーザ画像をメインとして表示するとともにアバター画像とガイド画像とを合成した合成画像をサブとして表示する第１の表示モードと、ユーザ画像をサブとして表示するとともにアバター画像とガイド画像とを合成した合成画像をメインとして表示する第２の表示モードとを切り替える処理を実行する。図３に示すように、合成画像であるアバター画像とガイド画像をメインとして画面中央に大きなサイズで表示し、ユーザ画像をサブとして画面下部等にメインよりも小さなサイズで表示することができる。逆に、ユーザ画像をメインとして画面中央に大きなサイズで表示し、合成画像であるアバター画像とガイド画像をサブとして画面下部等にメインよりも小さなサイズで表示することもできる。

結果処理部１１３は、上記の第１脈波振幅情報と第２脈波振幅情報とを比較し、血流の変化の程度を示す比較結果を出力する。

例えば、結果処理部１１３は、ユーザがユーザ自身の顔等に対してマッサージを行う際、マッサージを行う前の顔等を撮像した画像から取得した第１脈波振幅情報と、マッサージを行った後の顔等を撮像した画像から取得した第２脈波振幅情報とを比較し、ユーザの顔等における血流の変化の程度を示す比較結果を出力する。

また、結果処理部１１３は、上記の比較結果を出力する際、少なくとも記憶部１９に当該比較結果を出力する。これにより、記憶部１９には、第１脈波振幅情報と第２脈波振幅情報との比較結果の履歴が格納される。

評価処理部１１４は、結果処理部１１３によって新たに出力された比較結果と、記憶部１９に記憶された過去の比較結果とに基づいて血流の変化の傾向を取得する。

例えば、評価処理部１１４は、ユーザがユーザ自身の顔等に対してマッサージを行う際、新たに出力された比較結果と過去の比較結果とに基づいて、マッサージの前後における血流の変化の傾向を取得し、この血流の変化の傾向に基づいて、マッサージが継続的に行われているか否かを評価することが可能である。より詳細には、ユーザが、既に一度以上電子装置１を用いたマッサージを実施したことにより、マッサージの前後での第１脈波振幅情報と第２脈波振幅情報との比較結果が、記憶部１９に記憶された状態で、改めてマッサージを実施した際、マッサージ前における第１脈波振幅情報の脈波振幅に対して、マッサージ後における第２脈波振幅情報の脈波振幅が同じ又はそれ未満の場合には、評価処理部１１４は、マッサージが継続的に行われていると判断することが可能である。

また、この際、評価処理部１１４は、結果処理部１１３によって新たに出力された比較結果と、記憶部１９に記憶された直近かつ単一の比較結果とに基づいて、血流の変化の傾向を取得してもよい。あるいは、評価処理部１１４は、結果処理部１１３によって新たに出力された比較結果と、記憶部１９に記憶された複数の比較結果とに基づいて、血流の変化の傾向を取得してもよい。記憶部１９に記憶された複数の比較結果を用いる場合、複数の比較結果として、例えば、第１脈波振幅情報の脈波振幅と、第２脈波振幅情報の脈波振幅との差分や変化率の最大値、及び／又は最小値、及び／又は平均値を算出し、この算出結果を用いてもよい。

情報処理部１１５は、測定処理や表示処理に関する設定等の制御を行う。情報処理部１１５は、映像処理部１１１、結果処理部１１３、及び評価処理部１１４のデータ解析に基づいて血流の変化を示す測定結果を取得する。

また、情報処理部１１５は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、情報処理部１１５は、表示部１８に表示されたメニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、情報処理部１１５は、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。

通信処理部１１６は、例えば、サーバ群３に含まれる認証サーバと通信を行う。これにより、表示処理を行うユーザが認証される。更に通信処理部１１６は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、表示処理におけるユーザのプロファイル情報を更新する。

［映像データの解析］
まず、映像処理部１１１によって解析される映像データの取得について説明する。

映像処理部１１１は、輪郭や部位のパターンマッチングや肌色識別等のフェーストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。例えば、映像中の、ユーザ画像５１から顔の輪郭と眼の位置を検出して、それらとの相対位置に基づき、額、瞼、頬、鼻周辺、唇周り、顎、首、デコルテ等の複数の領域が自動的に認識される。そして、映像処理部１１１は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザ画像５１の顔の角度（即ち、ユーザの顔の向き）といった状態を検出する。

映像処理部１１１は、映像からの脈波抽出は、血中のヘモグロビンが緑色の光を良く吸収する性質を利用し、脈拍、脈波等の血流に関する生体情報を取得する。緑信号の波長は一般的に４９５－５７０ｎｍといわれており、ヘモグロビンは５００～６００ｎｍの辺りで吸収係数が高くなっている。血流の上昇時は皮膚表面に血液の量が多くなって単位時間あたりのヘモグロビン量が増加するため、血流が上昇する前に比べ多くの緑信号がヘモグロビンによって吸収される。そのため、血流の上昇時に検出される緑信号の輝度は低下することになる。なお、撮像部１６の撮像素子が光を輝度に変換する場合は、撮像素子の手前にＲＧＢのフィルタを配置し、ＲＧＢそれぞれの画素の輝度値を算出する。この場合、緑色のフィルタを通った光が輝度値となる。撮像素子の感度が波長に対してフラットでなくても、上述のフィルタによってある程度、波長帯域を絞り込めるので精度よく、緑信号を検出できる。

映像処理部１１１は、映像における身体の映像情報に含まれる輝度情報に基づいて脈波情報を取得する。より具体的には、映像処理部１１１は、緑信号の輝度の取得を単位時間ごとに行って緑信号の輝度の時間変化から脈波情報を取得する。なお、単位時間は、例えば、動画像のフレームレートであり、映像を構成する時間的に連続する画像ごとに緑信号の輝度を取得することができる。

本実施形態では、血流の上昇を感覚的に把握し易くするため、血流が上昇すると輝度値が高くなるような換算処理を行う。より具体的には、ＲＧＢ各色８ビットの出力のイメージセンサを用いて緑信号の輝度を検出する場合、輝度値の最大値２５５から検出した緑信号の輝度値を減算した数値を「換算輝度」として比較処理に用いる。以下、単純に換算輝度として説明するものは、このような換算処理を行った輝度に関する情報である。

ユーザのイベントの前後の血流の状態を比較するために、電子装置１は、イベント前のユーザを撮像して第１映像を取得するとともに、イベント後のユーザを撮像して第２映像を取得する。

イベントは、例えば、血流を促すためのマッサージや、血行促進する作用のあるスキンクリームの塗布等の美容に関する各種施術や、スポーツやリラクゼーション等の運動等の血流の変化が予測される各種の行動である。

図８は、イベントとしてのマッサージ前及びマッサージ後の、第１映像中のＲＧＢ輝度値の時間変化、及びマッサージ前及びマッサージ後の、第２映像中のＲＧＢ輝度値の時間変化を示す。

より詳細には、図８（Ａ）は、例として、マッサージを始めた１０月３日における、マッサージ前のＲＧＢ輝度値の時間変化を示す。また、図８（Ｂ）は、同日である１０月３日における、マッサージ後のＲＧＢ輝度値の時間変化を示す。また、図８（Ｃ）は、図８（Ａ）及び図８（Ｂ）の時点から約２か月後である１１月２８日における、マッサージ前のＲＧＢ輝度値の時間変化を示す。また、図８（Ｄ）は、同日である１１月２８日における、マッサージ後のＲＧＢ輝度値の時間変化を示す。

なお、肌に当たった光が表皮の毛細血管の血液中のヘモグロビンで吸収されるため、反射光が低くなる。本実施形態では換算輝度値であるため、輝度値は、数値が大きい方が輝度は低く、血流が多いものとしている。また、グラフ中のＲＧＢ輝度値は、測定される部位における複数個所のＲＧＢ信号の輝度を反映したものであり、最頻値、中央値、平均値等の種々の方式により算出される。本実施形態では、測定される部位の全画素のＲＧＢ信号の輝度の平均値の時間変化を示している。

また、図９は、外乱の影響を抑制するため、図８に記載のＧ信号の輝度値の時間変化から、図８に記載のＲ信号の輝度値の時間変化を減算したものである。

ところで、脈波は、振幅を有している。図１０は、本発明の一実施形態に係る電子装置１によって計測される脈波の振幅ＰＡ（Ｐｕｌｓｅ Ａｍｐｌｉｔｕｄｅ）を模式的に示したグラフである。図１０に示すように、映像から解析される脈波は、一定の振幅ＰＡの範囲内に波形を示す周期的な波形を示している。この脈波の振幅ＰＡは、脈波信号の隣合う最大値と最小値の差を意味している。なお、振幅ＰＡを取得するための範囲は、異常値がなく振幅が安定している領域であることが好ましい。例えば、予め設定される閾値を超えた異常値が検出された場合等は、異常値が外れるように脈波情報を取得する。あるいは、撮像時に映像が適切に取得できなかった旨を表示し、再撮像を行って適切な脈波情報を取得してもよい。あるいは、撮像開始から所定時間を経過した後の脈波を振幅の算出に用いてもよい。あるいは、所定時間内に取得された脈波から異常値を除いて振幅を算出してもよい。このように、振幅の算出は、種々の方法を適用できる。

図１１は、イベントとしてのマッサージ前及びマッサージ後の、第１映像中のＰＡレベル値の時間変化、及びマッサージ前及びマッサージ後の、第２映像中のＰＡレベル値の時間変化を示す。より詳細には、図１１（Ａ）は図９（Ａ）に対応し、図１１（Ｂ）は図９（Ｂ）に対応する。

図８～図９、及び図１１から分かるように、マッサージを始めた時期である１０月３日のデータでみると、Ｇ輝度値及びＧ－Ｒ値に関しては、マッサージ前後の輝度値の変化は無い。具体的には、Ｇ輝度値に関しては、マッサージ前の値に比較してのマッサージ後の値の変化割合は１００．２％である。また、Ｇ－Ｒ値に関しては、マッサージ前に比較してのマッサージ後の値の変化割合は、９５．８％である。一方で、ＰＡレベル値を比較すると振幅が大きく増えていることが分かる。具体的には、マッサージ前の値に比較してのマッサージ後の値の変化割合は、１３６．２％である。
また、マッサージを始めて約２ヶ月経過後の１１月２８日のデータで見ると、Ｇ輝度値及びＧ－Ｒ値に関しては、マッサージ前後での変化は無く、ＰＡレベル値を比較しても変化が無い。具体的には、Ｇ輝度値に関しては、マッサージ前の値に比較してのマッサージ後の値の変化割合は９７．９％である。また、Ｇ－Ｒ値に関しては、マッサージ前に比較してのマッサージ後の値の変化割合は、９６．２％である。また、ＰＡレベル値に関しては、マッサージ前の値に比較してのマッサージ後の値の変化割合は、９７．３％である。

図１２は、長期マッサージを行なった時のＰＡレベル値と血流のベースラインのオフセット値を、計測専用カメラ２５で測定した実測値の変化率の推移を表すグラフである。

上記のように、マッサージを始めた当初は、マッサージ前のＰＡレベル値に比較して、マッサージ後のＰＡレベル値は振幅が大きく増える一方で、マッサージを始めてから日が経つに従い、マッサージ前のＰＡレベル値に比較して、マッサージ後のＰＡレベル値の変化割合は小さくなる。これにより、図１２に示されるように、ＰＡレベル値の変化を見ることで、長期にわたるマッサージのような施術の効果が分かり、正しくマッサージを行った場合には、肌の毛細血管の拡張が持続していることが示される。

より詳細には、施術において長期にマッサージを行なった場合、映像脈波によるＰＡレベル値の施術前と後の変化率を測定すると徐々に減少する。これは毛細血管がマッサージによる外圧で拡張し更に継続することで拡張が維持され変化率が減少するためである。電子装置１は、正確にマッサージを実施しているかどうか、この変化率（減少値）に基づいて判断し、最適なマッサージが続いているか判定する。また、電子装置１は、それらの値に応じて適切な通知やガイダンス指示を行なうことで適切なマッサージが行えているかをユーザに通知する。もし、ＰＡレベル値の減少が無い場合は、電子装置１は、適切なマッサージが行なわれていないことを通知し、適切なマッサージの指導を行なう。

よって、図１２に示される推移をもとに効果を判定し、適切にユーザに効果を通知することで、セルフケアとして必要なモチベーションを保つと同時に、ユーザは、効果を実感しながら施術を行なうことが出来るため、施術を長期にわたり継続して実行できるようになり肌のターンオーバーが滞ることなく行われるようになる。

なお、判定精度を上げるために、施術開始からの時間、回数を同時に記録しておくことで、基準となる変化の割合を、１ヶ月目（例として１２０％以上）、２ヶ月目（例として１１０％以上）、３ヶ月以降(例として９０%以上)と変化させることで、判定精度を上げることができる。

また、年齢別に効果度合いを変更することも考えられる。例えば２０代であれば変化割合の基準範囲を９０％～１４０％とする一方で、６０歳以上であれば９０％～１１０％の基準範囲で判定する方法がある。

また、上記年齢とともに男女の違いにより判定を変えることも考えられる。男性の場合は変化割合を１０％減らしたり、女性の場合は変化割合を１０％増やすなどの切り分けしたりすることが考えられる。

更に、事前に肌質を検査するような機能と組合わせることで、肌質に合わせた判定基準を設定することも可能である。例えば肌質が若い（肌年齢が若い）場合には、基準範囲（例として、９０％～１３０％）に対して１０％増やし、肌質が老化している（肌年齢が高い）場合には、基準範囲に対して１０％減らすことが考えられる。

また、クラウドにデータを蓄積することで、実年齢、性別のタグが付されて保存されたデータをもとに、データを似たものの集合に分類するクラスタリング処理によって機械学習させることで識別器を生成し、判定基準を作ることも考えられる。

［撮像条件の調整］
次に、撮像条件調整部１１１ａによる撮像条件の調整について説明する。

上記のように、映像処理部１１１によって、映像データが取得される際、映像データの取得元の肌が比較的白い色の場合、肌の毛細血管までの角層から表皮、真皮に至る皮膚の構造の違いによって、脈波信号が取り難いことがある。

そこで、撮像条件調整部１１１ａは、映像処理部１１１によって取得された映像データから脈波情報を取得し、当該脈波情報に基づいて撮像条件を調整する。

より詳細には、撮像条件調整部１１１ａは、取得した脈波情報から導き出される、血流量を示す脈波の振幅ＰＡ値、平均血流量を示すオフセット値（Ｇの輝度信号の値、又はＧの輝度信号－Ｒの輝度信号の値）、脈波周波数とそれ以外の信号との割合を示すＳＮ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ）比のうち、少なくとも一つが所定の閾値を超えた場合には、撮像条件を変更することなく、取得した脈波情報を用いて、第１脈波振幅情報又は第２脈波振幅情報を取得する。

一方で、撮像条件調整部１１１ａは、取得した脈波情報から導き出される、血流量を示す脈波の振幅ＰＡ値、平均血流量を示すオフセット値（Ｇの輝度信号の値、又はＧの輝度信号－Ｒの輝度信号の値）、脈波周波数とそれ以外の信号との割合を示すＳＮ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ）比のいずれも所定の閾値以下となる場合には、撮像条件を変更する。

ここで、「撮像条件」とは、計測専用カメラ２５の露出、計測専用カメラ２５が備えるＬＥＤの光量、及び当該ＬＥＤの色に係る条件である。

図１３から図１５は、計測専用カメラ２５の露出毎の、ＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表の例である。より詳細には、図１３は、初期設定値として露出が－５である場合のＲＧＢ輝度値と各計測値を示す表の例である。図１４は、露出が－６である場合のＲＧＢ輝度値と各計測値を示す表の例である。図１５は、露出が－７である場合のＲＧＢ輝度値と各計測値を示す表の例である。

例えば図１３において、図１３（Ａ）はＲＧＢ輝度値の時間変化のグラフである。図１３（Ｂ）は、露出が－５である場合の各種計測値、及び図１３（Ａ）のグラフから算出される算出値である。「ＭｅａｎＦＦＩ」は脈波の揺らぎの値である。「ＭｅａｎＨＲ」は脈拍数である。「ＭｅａｎＰＡ」はＰＡレベル値である。「ＳＮ」はＳＮ比である。「Ｒｅｄ Ａｖｅｒａｇｅ」はＲ輝度値の平均値である。「Ｇｒｅｅｎ Ａｖｅｒａｇｅ」はＧ輝度値の平均値である。「Ｂｌｕｅ Ａｖｅｒａｇｅ」はＢ輝度値の平均値である。「Ｇ－Ｒ」はＧ－Ｒ値である。

図１３（Ｂ）、図１４（Ｂ）、及び図１５（Ｂ）の値を比較すると、図１４（Ｂ）と図１５（Ｂ）とでＳＮ比が同一値となっているものの、露出が－６の図１４（Ｂ）におけるＰＡレベル値、ＳＮ比、Ｇ－Ｒ値が概ね最大となっていることから、－６の露出が最適値であることが示される。

図１６から図１９は、計測専用カメラ２５のカバー２５２の内壁の色を変化させることにより、照明部２５７としてのＬＥＤから発光される光の色を変化させた際の、ＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表の例である。より詳細には、図１６は、初期設定として内壁の色が白である場合のＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表の例である。図１７は、内壁の色が赤である場合のＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表の例である。図１８は、内壁の色が緑である場合のＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表の例である。図１９は、内壁の色が青である場合のＲＧＢ輝度値、Ｇ輝度値、脈波振幅を示すグラフと各計測値を示す表の例である。

図１３と同様に、例えば図１６において、図１６（Ａ）はＲＧＢ輝度値の時間変化のグラフである。図１６（Ｂ）は、内壁の色が白である場合の各種計測値、及び図１６（Ａ）のグラフから算出される算出値である。

図１６（Ｂ）、図１７（Ｂ）、図１８（Ｂ）、及び図１９（Ｂ）の値を比較すると、ＰＡレベル値に関しては、図１７（Ｂ）に示される、内壁の色が赤である場合のＰＡレベル値が、最大値の０．５９７９４５となっている。ＳＮ比に関しては、図１９（Ｂ）に示される、内壁の色が青である場合のＳＮ比が、最大値の０．９０となっている。Ｇ－Ｒ値に関しては、図１７（Ｂ）に示される、内壁の色が赤である場合のＧ－Ｒ値が最大値の５６．６７３５２となっている。ここでは例として、ＰＡレベル値又はＧ－Ｒ値を優先的に閾値との比較条件に用いることにより、内壁の色が赤色、すなわち、ＬＥＤから発光される光の色として赤が最適であるとする。

なお、撮像条件調整部１１１ａは、取得した脈波情報から導き出される、血流量を示す脈波の振幅ＰＡ値、平均血流量を示すオフセット値、脈波周波数とそれ以外の信号との割合を示すＳＮ比のうち、少なくとも１つが所定の閾値を超えた場合には、撮像条件を変更することなく、取得した脈波情報を用いて、第１脈波振幅情報又は第２脈波振幅情報を取得するとしたが、これには限定されない。例えば、撮像条件調整部１１１ａは、取得した脈波情報から導き出される、血流量を示す脈波の振幅ＰＡ値、平均血流量を示すオフセット値、脈波周波数とそれ以外の信号との割合を示すＳＮ比のうち、複数が同時に所定の閾値を超えた場合に、撮像条件を変更することなく、取得した脈波情報を用いて、第１脈波振幅情報又は第２脈波振幅情報を取得してもよい。

また、比較対象として用いられる、取得した脈波情報から導き出される、血流量を示す脈波の振幅ＰＡ値、平均血流量を示すオフセット値、脈波周波数とそれ以外の信号との割合を示すＳＮ比に任意の優先順位を設けてもよい。例えば、撮像条件調整部１１１ａは、振幅ＰＡ値が第１閾値を超えた際に、オフセット値、及びＳＮ比のうち少なくともいずれか１つと、第２閾値とを比較してもよい。あるいは、撮像条件調整部１１１ａは、オフセット値が第１閾値を超えた際に、振幅ＰＡ値、及びＳＮ比のうち少なくともいずれか１つと、第２閾値とを比較してもよい。

次に、撮像条件を調整する処理の流れについて図２０を参照して説明する。図２０は、図７の機能的構成を有する図１の電子装置１が実行する処理の流れを説明するフローチャートである。

ステップＳ１において、電子装置１が認証サーバ３と通信することにより、パスワード認証、顔認証、指紋認証など本人認証を行うことにより個人を識別する。

ステップＳ２において、認証された場合（Ｓ２：ＹＥＳ）には、処理はステップＳ３に移行する。認証されなかった場合（Ｓ２：ＮＯ）には、処理はステップＳ４に移行する。

ステップＳ３において、電子装置１は認証サーバ３からＩＤを取得する。なお、このＩＤは、クラウド上で計測データを管理される際に利用される。

ステップＳ４において、電子装置１は個人登録を行ってＩＤを発行する。その後、処理はステップＳ１に移行する。

ステップＳ５において、取得したＩＤに紐づく前回の計測専用カメラ２５及びＬＥＤのパラメータ設定情報がサーバ等にない場合（Ｓ５：ＹＥＳ）には、処理はステップＳ６に移行する。取得したＩＤに紐づく前回の計測専用カメラ２５、ＬＥＤのパラメータ設定情報がサーバ等にある場合（Ｓ５：ＮＯ）には、処理はステップＳ８に移行する。

ステップＳ６において、電子装置１にインストールされている計測アプリから、既定のパラメータ値を用いて、計測専用カメラ２５の初期設定をする。ここでの「既定のパラメータ値」としては、例えば、カメラの露出、焦点距離、ホワイトバランス、オートフォーカスのＯＮ／ＯＦＦ等のパラメータ値が挙げられる。

ステップＳ７において、電子装置１にインストールされている計測アプリから、既定のパラメータ値を用いて、ＬＥＤの初期設定をする。ここでの「既定のパラメータ値」としては、例えば、ＬＥＤの光量、ＬＥＤの光の色（白色光等）等のパラメータが挙げられる。

ステップＳ８において、前回設定されていたパラメータ値を含むパラメータ設定情報に基づいて計測専用カメラ２５とＬＥＤの設定をする。その後、処理はステップＳ９に移行する。

ステップＳ９において、電子装置１にインストールされている計測アプリにより、映像脈波データを計測する。映像脈波データは、平均血液量を示すオフセット値（Ｇ輝度値、または、Ｇ輝度値－Ｒ輝度値)、血流量を示す振幅ＰＡ値、脈波周波数とそれ以外の信号との割合を示すＳＮ比である。

ステップＳ１０において、取得したデータを以下の判定式にて判定する。
振幅ＰＡ値＞Ａ
オフセット値＞Ｂ
ＳＮ値＞Ｃ

なお、判定の基準となるＡ、Ｂ、Ｃは、振幅ＰＡ値、オフセット値が最大かつＳＮ値が７０％以上となるように設定する。尚、ＳＮ値は７０％以上であれば振幅ＰＡ値及びオフセット値が信用できるレベルと判定される。

ステップＳ１０において、上記の判定式のいずれか１つでも成立する場合（Ｓ１０：ＹＥＳ）は、処理はステップＳ１１に移行する。上記の判定式のいずれも成立しない場合（Ｓ１０：ＮＯ）には、処理はステップＳ１２に移行する。

ステップＳ１１において、電子装置１は、計測データをサーバ等にＩＤごとに保存し、データを解析する。電子装置１のユーザはその推移をみることで、血流量から肌の改善度合などの美容改善や、脈波の揺らぎの値や脈拍数から血圧変動や自律神経指標などヘルスケア情報として健康改善に活用することが可能となる。

ステップＳ１２において、電子装置１は、各種パラメータを調整する。例えば、電子装置１が計測専用カメラ２５のカメラパラメータを調整する場合は露出を調整する。例えば、図１５に示す露出－５の場合は光量が多いので、露出を－１して、図１６に示す－６に設定する。また、図１７に示す露出－７の場合は光量が多いので、露出を＋１して、図１６に示す－６とする。この場合、カメラパラメータのほかにＬＥＤの光量を増減することで同じような結果を得ることが出来る。
また、電子装置１がＬＥＤを調光する場合は光の色を調整する。例えば、図１８～図２１に示す事例では赤が振幅ＰＡ値、オフセット値、ＳＮ値が最大になるため、赤色のＬＥＤ調光を行う。
その後、処理はステップＳ９に移行する。

ステップＳ１３において、電子装置１は、計測専用カメラ２５やＬＥＤの設定に係る各種パラメータ情報をＩＤごとにサーバ等に保存し、次回以降同じ設定にて測定できるようにする。

ステップＳ１４において、計測を終了する場合（Ｓ１４：ＹＥＳ）には、全ての処理を終了する。計測を終了しない場合（Ｓ１４：ＮＯ）には、処理はステップＳ９に移行する。

本実施形態の電子装置１による効果について説明する。

本実施形態の電子装置１は、撮像条件調整部１１１ａと、映像処理部１１１と、を備える。撮像条件調整部１１１ａは、撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、身体の脈波を示す調製用脈波情報を取得し、調整用脈波情報に基づいて撮像条件を調整する。映像処理部１１１は、撮像装置を用いて、撮像条件調整部１１１ａにより調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、身体の第１の脈波情報を取得する。

これにより、肌が比較的白い色の場合でも、映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる。より詳細には、肌の色が比較的白く、生体情報が取り難い場合、ＬＥＤ照明等の光量や色を調整することで適正な範囲で計測することが出来ると共に、肌が微妙に動くことによるノイズやカメラ本体の肌計測設置時の動きによるノイズによりＳＮ比が下がることを防止することが出来る。そのため、肌の色などの違いによる計測誤差を抑えることが出来るようになる。

また、撮像条件とは、撮像装置の露出条件、撮像装置で用いる照明の光量、照明の色のうち少なくとも１つを含む。

これにより、撮像装置の露出条件、撮像装置で用いる照明の光量、照明の色を調整することで、肌が比較的白い色の場合でも、映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる。

また撮像条件調整部１１１ａは、血流量を示す脈波の振幅値、平均血流量を示すオフセット値、脈波周波数とそれ以外の信号との割合を示すＳＮ比のうち、少なくともいずれか１つと閾値との比較結果に基づいて、撮像条件を設定する。

これにより、血流量を示す脈波の振幅値、平均血流量を示すオフセット値、脈波周波数とそれ以外の信号との割合を示すＳＮ比のうち、少なくともいずれか１つに基づいて、肌が比較的白い色の場合でも、映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる。

また、撮像条件調整部１１１ａは、振幅値が第１閾値を超えた際に、オフセット値、及びＳＮ比のうち少なくともいずれか１つと、第２閾値とを比較する。

これにより、振幅値を優先的に比較条件に用いることが可能となる。

また、撮像条件調整部１１１ａは、オフセット値が第１閾値を超えた際に、振幅値、及びＳＮ比のうち少なくともいずれか１つと、第２閾値とを比較する。

これにより、オフセット値を優先的に比較条件に用いることが可能となる。

また、撮像条件調整部１１１ａは、ＳＮ比が第１閾値を超えた際に、振幅値、及びオフセット値のうち少なくともいずれか１つと、第２閾値とを比較する。

これにより、ＳＮ比を優先的に比較条件に用いることが可能となる。

また、撮像条件調整部１１１ａは、振幅値が第１閾値を超え、且つ、オフセット値が第２閾値を超え、且つ、ＳＮ比が第３閾値を超えた際に、撮像条件を変更することなく設定する。

これにより、より確実に、肌が比較的白い色の場合でも、映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる。

また、撮像装置は、計測対象を撮像する撮像部２５６と、撮像部２５６を外部から隔離する円筒状のカバー２５２と、カバー２５２内で計測対象に光を照射する照明部２５７と、を備える。

これにより、計測対象にカバー２５２の先端を当てた状態で撮像することにより、カバー内の明るさを一定に維持し、外乱の影響を抑制した状態で映像を取得できる。

［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。

上記実施形態では、検出した輝度に対して換算する処理を行った換算輝度値を用いて比較処理を行った構成を説明したが、この構成に限定されない。換算輝度値は輝度のレベルを示す一態様であり、上記実施形態から換算処理を省略し、換算処理を行うことなく検出した輝度値を用いて処理を行ってもよい。

上記実施形態の電子装置１の表示部１８に反射面を有する鏡部を組み合わせた構成とすることもできる。この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されるとともに鏡部を透過した各種の情報（例えば、合成画像）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。このようにしても、上述した実施形態と同様の効果を奏することができる。

＜その他の変形例＞
例えば、上述の実施形態において、電子装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を電子装置１に追加して、電子装置１のみで全ての処理を行うようにしてもよい。

また、上述の実施形態では、本発明が適用される電子装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。例えば、本発明は、姿見等の大型の鏡に組み込まれた電子装置や、据え置き型の洗面化粧台に組み込まれた電子装置や、浴室に設置される鏡形状の電子装置に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図７の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図７の例に限定されない。

また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図５のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、前記身体の脈波を示す調整用脈波情報を取得し、前記調整用脈波情報に基づいて撮像条件を調整する撮像条件調整部と、
前記撮像装置を用いて、前記撮像条件調整部により調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の第１の脈波情報を取得する映像処理部と、
を含む、電子装置。
［付記２］
前記撮像条件とは、前記撮像装置の露出条件、前記撮像装置で用いる照明の光量、前記照明の色のうち少なくとも１つを含む、付記１に記載の電子装置。
［付記３］
前記撮像条件調整部は、血流量を示す前記脈波の振幅値、平均血流量を示すオフセット値、脈波周波数とそれ以外の信号との割合を示すＳＮ比のうち、少なくともいずれか１つと閾値との比較結果に基づいて、前記撮像条件を設定する、付記１又は付記２に記載の電子装置。
［付記４］
前記撮像条件調整部は、前記振幅値が第１閾値を超えた際に、前記オフセット値、及び前記ＳＮ比のうち少なくともいずれか１つと、第２閾値とを比較する、付記３に記載の電子装置。
［付記５］
前記撮像条件調整部は、前記オフセット値が第１閾値を超えた際に、前記振幅値、及び前記ＳＮ比のうち少なくともいずれか１つと、第２閾値とを比較する、付記３に記載の電子装置。
［付記６］
前記撮像条件調整部は、前記ＳＮ比が第１閾値を超えた際に、前記振幅値、及び前記オフセット値のうち少なくともいずれか１つと、第２閾値とを比較する、付記３に記載の電子装置。
［付記７］
前記撮像条件調整部は、前記振幅値が第１閾値を超え、且つ、前記オフセット値が第２閾値を超え、且つ、前記ＳＮ比が第３閾値を超えた際に、前記撮像条件を変更することなく設定する、付記３に記載の電子装置。
［付記８］
前記撮像装置は、
計測対象を撮像する撮像部と、
前記撮像部を外部から隔離する円筒状のカバーと、
前記カバー内で計測対象に光を照射する照明部と、を備える、付記１から付記７のいずれか１に記載の電子装置。
［付記９］
身体を撮像した映像に基づいて血流を計測する電子装置の制御方法であって、
撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、前記身体の脈波を示す調整用脈波情報を取得し、前記調整用脈波情報に基づいて撮像条件を調整する撮像条件調整ステップと、
前記撮像装置を用いて、前記撮像条件調整ステップにより調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の第１の脈波情報を取得する映像処理ステップと、
を含むことを特徴とする電子装置の制御方法。
［付記１０］
撮像装置を用いて、身体を撮像した映像に基づいて血流を計測する電子装置に、
撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、前記身体の脈波を示す調整用脈波情報を取得し、前記調整用脈波情報に基づいて撮像条件を調整する撮像条件調整機能と、
前記撮像装置を用いて、前記撮像条件調整機能により調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の第１の脈波情報を取得する映像処理機能と、
を含むことを特徴とする電子装置の制御プログラム。

１・・・電子装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・表示部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，２５・・・計測専用カメラ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・映像処理部，１１１ａ・・・撮像条件調整部，１１２・・・表示処理部，１１３・・・結果処理部，１１４・・・評価処理部，１１５・・・情報処理部，１１６・・・通信処理部，Ｓ・・・計測システム

上記目的を達成するため、本発明の一態様の電子装置は、撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から取得された前記身体の脈波を示す調整用脈波情報に基づいて、前記撮像装置の露出条件、前記撮像装置で用いる照明の光量、前記照明の色のうち少なくとも１つを含む撮像条件を調整する撮像条件調整部と、前記撮像条件調整部により調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の第１の脈波情報を取得する映像処理部と、を含む。

Claims (10)

1. 撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、前記身体の脈波を示す調整用脈波情報を取得し、前記調整用脈波情報に基づいて撮像条件を調整する撮像条件調整部と、
   前記撮像装置を用いて、前記撮像条件調整部により調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の第１の脈波情報を取得する映像処理部と、
   を含む、電子装置。
2. 前記撮像条件とは、前記撮像装置の露出条件、前記撮像装置で用いる照明の光量、前記照明の色のうち少なくとも１つを含む、請求項１に記載の電子装置。
3. 前記撮像条件調整部は、血流量を示す前記脈波の振幅値、平均血流量を示すオフセット値、脈波周波数とそれ以外の信号との割合を示すＳＮ比のうち、少なくともいずれか１つと閾値との比較結果に基づいて、前記撮像条件を設定する、請求項１又は請求項２に記載の電子装置。
4. 前記撮像条件調整部は、前記振幅値が第１閾値を超えた際に、前記オフセット値、及び前記ＳＮ比のうち少なくともいずれか１つと、第２閾値とを比較する、請求項３に記載の電子装置。
5. 前記撮像条件調整部は、前記オフセット値が第１閾値を超えた際に、前記振幅値、及び前記ＳＮ比のうち少なくともいずれか１つと、第２閾値とを比較する、請求項３に記載の電子装置。
6. 前記撮像条件調整部は、前記ＳＮ比が第１閾値を超えた際に、前記振幅値、及び前記オフセット値のうち少なくともいずれか１つと、第２閾値とを比較する、請求項３に記載の電子装置。
7. 前記撮像条件調整部は、前記振幅値が第１閾値を超え、且つ、前記オフセット値が第２閾値を超え、且つ、前記ＳＮ比が第３閾値を超えた際に、前記撮像条件を変更することなく設定する、請求項３に記載の電子装置。
8. 前記撮像装置は、
   計測対象を撮像する撮像部と、
   前記撮像部を外部から隔離する円筒状のカバーと、
   前記カバー内で計測対象に光を照射する照明部と、を備える、請求項１から請求項７のいずれか１項に記載の電子装置。
9. 身体を撮像した映像に基づいて血流を計測する電子装置の制御方法であって、
   撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、前記身体の脈波を示す調整用脈波情報を取得し、前記調整用脈波情報に基づいて撮像条件を調整する撮像条件調整ステップと、
   前記撮像装置を用いて、前記撮像条件調整ステップにより調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の第１の脈波情報を取得する映像処理ステップと、を含むことを特徴とする電子装置の制御方法。
10. 撮像装置を用いて、身体を撮像した映像に基づいて血流を計測する電子装置に、
    撮像装置を用いて、少なくとも身体の一部を撮像したことにより得られる映像から、前記身体の脈波を示す調整用脈波情報を取得し、前記調整用脈波情報に基づいて撮像条件を調整する撮像条件調整機能と、
    前記撮像装置を用いて、前記撮像条件調整機能により調整された撮像条件において、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の第１の脈波情報を取得する映像処理機能と、を含むことを特徴とする電子装置の制御プログラム。
    

Images