JP2023022035A - 電子装置、電子装置の制御方法及び電子装置の制御プログラム - Google Patents

Abstract

【課題】映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる電子装置、電子装置の制御方法及び電子装置の制御プログラムを提供すること。【解決手段】電子装置１は、少なくとも身体の一部を撮像したことにより得られる第１映像における身体の映像情報に基づいて、身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、それより後に、少なくとも身体の一部を撮像したことにより得られる第２映像における身体の映像情報に基づいて、身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理部１１１と、第１脈波振幅情報と第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理部１１３と、結果処理部１１３によって新たに出力された比較結果と過去の比較結果とに基づいて血流の変化の傾向を取得する評価処理部１１４と、を備える。【選択図】図７

Description

本発明は、電子装置、電子装置の制御方法及び電子装置の制御プログラムに関する。

従来、映像から対象者の血流等の生体情報を取得する技術が知られている。特許文献１には、映像信号における輝度情報に基づいて対象者の脈波に関する情報を取得し、脈波の変動に基づいて算出された血行情報をヒートマップのように表示することが記載されている。

特開２０１６－１９００２２号公報

ところで、マッサージ等の美容施術の前後の映像を取得し、映像から取得した生体情報に基づいて血流の変化の程度に基づいて美容施術の効果測定を行う場合がある。しかし、従来技術では、美容施術の前後から血流の変化の程度を計測し、そのときの効果測定を行うことができるものの、美容施術を継続的に行った場合の効果を測定することが難しかった。

本発明は、映像から取得した生体情報に基づいて、継続的に行われた美容施術等の効果を正確に測定できる電子装置、電子装置の制御方法及び電子装置の制御プログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の電子装置は、少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理部と、前記第１脈波情報と前記第２脈波情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理部と、前記結果処理部から出力された前記比較結果を記憶する記憶部と、前記結果処理部によって新たに出力された比較結果と、前記記憶部に記憶された過去の前記比較結果と、に基づいて血流の変化の傾向を取得する評価処理部と、を備えることを特徴とする。

本発明の電子装置、電子装置の制御方法及び電子装置の制御プログラムによれば、継続的に行われた美容施術等の効果を正確に測定できる。

本発明の一実施形態に係る計測システムの構成を示す構成図である。 本発明の一実施形態に係る計測システムで用いられる計測専用カメラの構成を示す構成図である。 本発明の一実施形態に係る電子装置の前面の外観構成を示す構成図である。 本発明の一実施形態に係る電子装置の側面の外観構成を示す構成図である。 本発明の一実施形態に係る電子装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る電子装置で用いられる計測専用カメラのハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る電子装置の機能的構成のうち、測定処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前後のＲＧＢ輝度値の時間変化の変遷を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前後のＧ輝度値の時間変化の変遷を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前後のＧ―Ｒ値の時間変化の変遷を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前の脈波振幅を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるマッサージ前後のＰＡレベル値の時間変化の変遷を示すグラフである。 本発明の一実施形態に係る電子装置によって計測されるＰＡレベル値と血流のベースラインの実測値の変化率の推移を示すグラフである。 本発明の一実施形態に係る電子装置が実行する処理の流れを説明するフローチャートである。 本発明の一実施形態に係る電子装置が実行する処理の流れを説明するフローチャートである。 本発明の一実施形態に係る電子装置が実行する処理の流れを説明するフローチャートである。 本発明の一実施形態に係る電子装置が実行する処理の流れを説明するフローチャートである。 本発明の一実施形態に係る電子装置が実行する処理の流れを説明するフローチャートである。 本発明の一実施形態に係る電子装置が実行する処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る電子装置１は、ユーザが携帯可能な自立式の鏡として構成されるスマートミラーである。電子装置１は、鏡を視認する対象者としてのユーザを撮像する。電子装置１は、ユーザを撮像した映像に基づいて生体情報を取得する。

［システム構成］
図１は、本実施形態に係る電子装置１が含まれる計測システムＳの全体構成を示すブロック図である。図１に示すように、計測システムＳは、複数の電子装置１、ネットワーク２及びサーバ群３を含む。電子装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の電子装置１が計測システムＳに含まれていてもよい。なお、以下の説明において、ｎ台の電子装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「電子装置１」と称する。

電子装置１は、映像からユーザの血流変動を計測し、計測結果を表示する計測装置である。電子装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。

ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。

サーバ群３には、電子装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、電子装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、電子装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる電子装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。

また、電子装置１には計測専用カメラ２５が有線通信又は無線通信により、電気的に接続される。
図２は、計測専用カメラ２５の構成を示す。計測専用カメラ２５は、撮像部２５６と、撮像部２５６を外部から隔離する専用のカバー２５２と、カバー２５２内で計測対象に光を照射する照明部２５７と、を備える。計測対象にカバー２５２の先端を当てた状態で撮像することにより、カバー内の明るさを一定に維持し、外乱の影響を抑制した状態で映像を取得できる。

なお、図１に示した計測システムＳは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。

［外観構成］
図３は、本発明の一実施形態に係る電子装置１の前面の外観構成を示す構成図である。また、図４は、電子装置１の側面の外観構成を示す構成図である。電子装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。

図３及び図４に示すように、電子装置１は、本体部３０と、脚部３１と、ヒンジ部３２と、を含んで構成される。本体部３０は、表示部１８や、図５を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、電子装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に支持される。

図４（Ａ）に示すように、ユーザは、電子装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図４（Ｂ）に示すように、ユーザは、電子装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、電子装置１を自立して設置することができる。なお、電子装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。

本体部３０は、上述したように表示部１８を含む。表示部１８は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となる代替画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。

ユーザは、表示部１８を視認することにより、これらの多様な情報を一度に把握することができる。なお、このような表示部１８の表示が、見た目上のギャップがない、ユーザが視認するのに適した一体感のあるものである点については、上述した通りである。

図３に示すように、電子装置１は、外観構成として、更に、撮像部１６、入力部１７及び表示部１８を備えている。

撮像部１６は、電子装置１の利用時に、表示部１８に正対するユーザを被写体として撮像するカメラである。撮像部１６は、表示部１８に正対するユーザの顔を含むユーザ画像５１を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。

なお、電子装置１は、ユーザ画像５１を撮像するため、撮像部１６を用いることも、上記の計測専用カメラ２５を用いることも可能である。より詳細には、電子装置１は、撮像部１６と計測専用カメラ２５のうちいずれか一方を選択的に用いることも可能であり、使用用途に応じて双方を用いることも可能である。

入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、電子装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。

以上、電子装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、電子装置１の外観構造は、この例に限定されない。

例えば、電子装置１は、表示部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、電子装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、表示部１８の上部や下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。

また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１８の一部がタッチパネルとして構成され、入力部１７と表示部１８とが一体に構成されてもよい。

［ハードウェア構成］
図５は、電子装置１のハードウェアの構成を示すブロック図である。
図５に示すように、電子装置１は、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。

表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。

記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。

通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。

ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェースにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。

バッテリ２２は、各部に電力を供給するとともに外部電源に接続されることにより、充電可能に構成される。電子装置１が外部電源に接続されていない状態ではバッテリ２２の電力によって電子装置１が動作する。

なお、電子装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、電子装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えてもよい。

図６は、計測専用カメラ２５のハードウェアの構成を示すブロック図である。
図６に示すように、計測専用カメラ２５は、処理部２５１と、撮像部２５６と、照明部２５７と、通信部２６０と、ドライブ２６１と、バッテリ２６２と、を備えている。

処理部２５１は、計測専用カメラ２５全体の制御を行っている。とりわけ、処理部２５１は、後述の通信部２６０を介して、電子装置１のＣＰＵ１１と通信し、電子装置１からの指令信号を取得することにより、計測専用カメラ２５全体の制御を行っている。なお、計測専用カメラ２５全体の制御には、後述の撮像部２５６で撮像した映像の処理が含まれる。

撮像部２５６は、図示はしないが、光学レンズ部、及び／又はイメージセンサを備えている。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。撮像部２５６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部２５６の出力信号として出力される。このような撮像部２５６の出力信号は、処理部２５１等に適宜供給される。

照明部２５７は、撮像部２５６による撮像時に、処理部２５１からの制御信号に従って、撮像部２５６の視野に投光する。照明部２５７は、例えばＬＥＤと調光回路によって実現されることが可能である。

通信部２６０は、処理部２５１が、電子装置１との間で通信を行うための通信制御を行う。

ドライブ２６１は、リムーバブルメディア２００を装着可能なインターフェースにより構成される。ドライブ２６１には、例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の半導体メモリ等よりなる、リムーバブルメディア２００が適宜装着される。リムーバブルメディア２００には、画像データ等の各種データや、処理部２５１での処理に用いられるプログラムが格納される。

バッテリ２６２は、各部に電力を供給するとともに外部電源に接続されることにより、充電可能に構成される。計測専用カメラ２５が外部電源に接続されていない状態ではバッテリ２６２の電力によって電子装置１が動作する。

なお、計測専用カメラ２５は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。

［機能的構成］
図７は、電子装置１の機能的構成のうち、測定処理を実行するための機能的構成を示す機能ブロック図である。測定処理とは、電子装置１が、ユーザから取得した生体情報値の変化に基づいて計測結果を表示する一連の処理である。

まず、各種情報を記憶する記憶部１９について説明する。記憶部１９には、表示処理におけるガイダンスに関する各種のデータや、ユーザの実像の代替となるアバターに関する各種のデータや、計測を行なうための情報や計測結果を表示するための情報や計測結果を示す情報等が格納される。なお、上述した各種のデータは、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。

次に、測定処理を実行する各機能ブロックについて説明する。図７に示すように、制御部としてのＣＰＵ１１において、映像処理部１１１と、表示処理部１１２と、結果処理部１１３と、評価処理部１１４と、情報処理部１１５と、通信処理部１１６と、が機能する。

映像処理部１１１は、撮像部１６が撮像した被写体としてのユーザを含む映像を解析することにより、ユーザに関する情報（以下、「被写体情報」と称する。）を取得する。被写体情報は、例えば、ユーザ画像５１の顔等における各部位の位置を示す座標や、ユーザ画像５１の顔等における各部位の色や、ユーザの状態を示す生体情報（バイタルデータと呼ばれることもある。）等である。撮像部１６が取得する情報（映像）に基づいて計測が行われるので、ユーザに接触することなく生体情報を逐次取得できる。

測定処理を行う前提としての座標情報について説明する。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、表示部１８の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、及び各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより表示処理を行うことができる。これら各座標系の対応関係は、例えば、電子装置１の製造時に、撮像部１６における撮像レンズの方向調整や、ズーム率の調整等による、対応関係の補正を伴うキャリブレーションを行うことにより設定される。例えば、ズーム率の調整は、撮像部１６のレンズ位置の調整によって行われる所謂光学ズーム、及び、画像処理における所謂デジタルズーム、の双方又は何れかを用いて行われる。

また、映像処理部１１１は、少なくとも身体の一部を撮像したことにより得られる第１映像における身体の映像情報に基づいて、身体の脈波の所定時間内における平均振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における平均振幅を示す第２脈波振幅情報を取得する。
なお、映像処理部１１１は、身体の脈波の所定時間内における平均振幅を示す第１脈波振幅情報と第２脈波振幅情報を取得するとしたが、これには限定されない。例えば、映像処理部１１１は、第１脈波振幅情報及び第２脈波振幅情報として、所定期間における振幅の最頻値、中央値、平均値等の種々の方式により算出された振幅情報を取得してもよい。

例えば、映像処理部１１１は、ユーザがユーザ自身の顔等に対してマッサージを行う際、マッサージを行う前の顔等を撮像した画像から、当該顔等における脈波の所定時間における平均振幅を示す第１脈波振幅情報を取得するとともに、マッサージを行った後の顔等を撮像した画像から、当該顔等における脈波の所定時間における平均振幅を示す第２脈波振幅情報を取得する。なお、「脈波」の定義については後述する。

表示処理部１１２は、表示映像として動画像を表示する制御を行う。これにより、血流変動を動的に視覚化でき、特定の行動前後の違いを分かり易く表示できる。本実施形態の動画像は測定結果を色合いで表現する色相動画像である。色相動画像は、特定の部位（第１部位）がマス目状の小領域に分割され、小領域ごとに血流変動が色相の変化によって表現されている様子が示される。特定の部位は、例えば、顔の一部分である。

また、表示処理部１１２は、ガイド画像やアバター画像を合成する合成処理等も行う。例えば、表示処理部１１２は、表示部１８にユーザの鏡像又はユーザに対応する画像（例えば、アバター等）を表示する制御を行う。例えば、表示処理部１１２は、ユーザ画像をメインとして表示するとともにアバター画像とガイド画像とを合成した合成画像をサブとして表示する第１の表示モードと、ユーザ画像をサブとして表示するとともにアバター画像とガイド画像とを合成した合成画像をメインとして表示する第２の表示モードとを切り替える処理を実行する。図３に示すように、合成画像であるアバター画像とガイド画像をメインとして画面中央に大きなサイズで表示し、ユーザ画像をサブとして画面下部等にメインよりも小さなサイズで表示することができる。逆に、ユーザ画像をメインとして画面中央に大きなサイズで表示し、合成画像であるアバター画像とガイド画像をサブとして画面下部等にメインよりも小さなサイズで表示することもできる。

結果処理部１１３は、上記の第１脈波振幅情報と第２脈波振幅情報とを比較し、血流の変化の程度を示す比較結果を出力する。

例えば、結果処理部１１３は、ユーザがユーザ自身の顔等に対してマッサージを行う際、マッサージを行う前の顔等を撮像した画像から取得した第１脈波振幅情報と、マッサージを行った後の顔等を撮像した画像から取得した第２脈波振幅情報とを比較し、ユーザの顔等における血流の変化の程度を示す比較結果を出力する。

また、結果処理部１１３は、上記の比較結果を出力する際、少なくとも記憶部１９に当該比較結果を出力する。これにより、記憶部１９には、第１脈波振幅情報と第２脈波振幅情報との比較結果の履歴が格納される。

評価処理部１１４は、結果処理部１１３によって新たに出力された比較結果と、記憶部１９に記憶された過去の比較結果とに基づいて血流の変化の傾向を取得する。

例えば、評価処理部１１４は、ユーザがユーザ自身の顔等に対してマッサージを行う際、新たに出力された比較結果と過去の比較結果とに基づいて、マッサージの前後における血流の変化の傾向を取得し、この血流の変化の傾向に基づいて、マッサージが継続的に行われているか否かを評価することが可能である。より詳細には、ユーザが、既に一度以上電子装置１を用いたマッサージを実施したことにより、マッサージの前後での第１脈波振幅情報と第２脈波振幅情報との比較結果が、記憶部１９に記憶された状態で、改めてマッサージを実施した際、マッサージ前における第１脈波振幅情報の脈波振幅に対して、マッサージ後における第２脈波振幅情報の脈波振幅が同じ又はそれ未満の場合には、評価処理部１１４は、マッサージが継続的に行われていると判断することが可能である。

また、この際、評価処理部１１４は、結果処理部１１３によって新たに出力された比較結果と、記憶部１９に記憶された直近かつ単一の比較結果とに基づいて、血流の変化の傾向を取得してもよい。あるいは、評価処理部１１４は、結果処理部１１３によって新たに出力された比較結果と、記憶部１９に記憶された複数の比較結果とに基づいて、血流の変化の傾向を取得してもよい。記憶部１９に記憶された複数の比較結果を用いる場合、複数の比較結果として、例えば、第１脈波振幅情報の脈波振幅と、第２脈波振幅情報の脈波振幅との差分や変化率の最大値、及び／又は最小値、及び／又は平均値を算出し、この算出結果を用いてもよい。

情報処理部１１５は、測定処理や表示処理に関する設定等の制御を行う。情報処理部１１５は、映像処理部１１１、結果処理部１１３、及び評価処理部１１４のデータ解析に基づいて血流の変化を示す測定結果を取得する。

また、情報処理部１１５は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、情報処理部１１５は、表示部１８に表示されたメニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、情報処理部１１５は、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。

通信処理部１１６は、例えば、サーバ群３に含まれる認証サーバと通信を行う。これにより、表示処理を行うユーザが認証される。更に通信処理部１１６は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、表示処理におけるユーザのプロファイル情報を更新する。

［映像データの解析］
まず、映像処理部１１１によって解析される映像データの取得について説明する。

映像処理部１１１は、輪郭や部位のパターンマッチングや肌色識別等のフェーストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。例えば、映像中の、ユーザ画像５１から顔の輪郭と眼の位置を検出して、それらとの相対位置に基づき、額、瞼、頬、鼻周辺、唇周り、顎、首、デコルテ等の複数の領域が自動的に認識される。そして、映像処理部１１１は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザ画像５１の顔の角度（即ち、ユーザの顔の向き）といった状態を検出する。

映像処理部１１１は、映像からの脈波抽出は、血中のヘモグロビンが緑色の光を良く吸収する性質を利用し、脈拍、脈波等の血流に関する生体情報を取得する。緑信号の波長は一般的に４９５－５７０ｎｍといわれており、ヘモグロビンは５００～６００ｎｍの辺りで吸収係数が高くなっている。血流の上昇時は皮膚表面に血液の量が多くなって単位時間あたりのヘモグロビン量が増加するため、血流が上昇する前に比べ多くの緑信号がヘモグロビンによって吸収される。そのため、血流の上昇時に検出される緑信号の輝度は低下することになる。なお、撮像部１６の撮像素子が光を輝度に変換する場合は、撮像素子の手前にＲＧＢのフィルタを配置し、ＲＧＢそれぞれの画素の輝度値を算出する。この場合、緑色のフィルタを通った光が輝度値となる。撮像素子の感度が波長に対してフラットであっても、上述のフィルタによってある程度、波長帯域を絞り込めるので精度よく、緑信号を検出できる。

映像処理部１１１は、映像における身体の映像情報に含まれる輝度情報に基づいて脈波情報を取得する。より具体的には、映像処理部１１１は、緑信号の輝度の取得を単位時間ごとに行って緑信号の輝度の時間変化から脈波情報を取得する。なお、単位時間は、例えば、動画像のフレームレートであり、映像を構成する時間的に連続する画像ごとに緑信号の輝度を取得することができる。

本実施形態では、血流の上昇を感覚的に把握し易くするため、血流が上昇すると輝度値が高くなるような換算処理を行う。より具体的には、ＲＧＢ各色８ビットの出力のイメージセンサを用いて緑信号の輝度を検出する場合、輝度値の最大値２５５から検出した緑信号の輝度値を減算した数値を「換算輝度」として比較処理に用いる。以下、単純に換算輝度として説明するものは、このような換算処理を行った輝度に関する情報である。

ユーザのイベントの前後の血流の状態を比較するために、電子装置１は、イベント前のユーザを撮像して第１映像を取得するとともに、イベント後のユーザを撮像して第２映像を取得する。

イベントは、例えば、血流を促すためのマッサージや、血行促進する作用のあるスキンクリームの塗布等の美容に関する各種施術や、スポーツやリラクゼーション等の運動等の血流の変化が予測される各種の行動である。

図８は、イベントとしてのマッサージ前及びマッサージ後の、第１映像中のＲＧＢ輝度値の時間変化、及びマッサージ前及びマッサージ後の、第２映像中のＲＧＢ輝度値の時間変化を示す。

より詳細には、図８（Ａ）は、例として、マッサージを始めた１０月３日における、マッサージ前のＲＧＢ輝度値の時間変化を示す。また、図８（Ｂ）は、同日である１０月３日における、マッサージ後のＲＧＢ輝度値の時間変化を示す。また、図８（Ｃ）は、図８（Ａ）及び図８（Ｂ）の時点から約２か月後である１１月２８日における、マッサージ前のＲＧＢ輝度値の時間変化を示す。また、図８（Ｄ）は、同日である１１月２８日における、マッサージ後のＲＧＢ輝度値の時間変化を示す。

なお、肌に当たった光が表皮の毛細血管の血液中のヘモグロビンで吸収されるため、反射光が低くなる。本実施形態では換算輝度値であるため、輝度値は、数値が大きい方が輝度は低く、血流が多いものとしている。また、グラフ中のＲＧＢ輝度値は、測定される部位における複数個所のＲＧＢ信号の輝度を反映したものであり、最頻値、中央値、平均値等の種々の方式により算出される。本実施形態では、測定される部位の全画素のＲＧＢ信号の輝度の平均値の時間変化を示している。

また、図９は、図８に記載のＲＧＢ輝度値の時間変化から、Ｇ信号の輝度値のみ抽出するとともに、縦軸を拡大したものである。図９（Ａ）、図９（Ｂ）、図９（Ｃ）、及び図９（Ｄ）の各々が、図８（Ａ）、図８（Ｂ）、図８（Ｃ）、及び図８（Ｄ）に対応する。なお、グラフ中の換算輝度は、測定される部位における複数個所の緑信号の輝度を反映したものであり、最頻値、中央値、平均値等の種々の方式により算出される。本実施形態では、測定される部位の全画素のＧ信号の輝度の平均値の時間変化が代表脈波情報として取得される。

また、図１０は、外乱の影響を抑制するため、図９に記載のＧ信号の輝度値の時間変化から、図８に記載のＲ信号の輝度値の時間変化を減算したものである。図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）、及び図１０（Ｄ）の各々が、図８（Ａ）と図９（Ａ）、図８（Ｂ）と図９（Ｂ）、図８（Ｃ）と図９（Ｃ）、及び図８（Ｄ）と図９（Ｄ）に対応する。

ところで、脈波は、振幅を有している。図１１は、本発明の一実施形態に係る電子装置１によって計測される脈波の振幅ＰＡ（Ｐｕｌｓｅ Ａｍｐｌｉｔｕｄｅ）を模式的に示したグラフである。図１１に示すように、映像から解析される脈波は、一定の振幅ＰＡの範囲内に波形を示す周期的な波形を示している。この脈波の振幅ＰＡは、脈波信号の隣合う最大値と最小値の差を意味している。なお、振幅ＰＡを取得するための範囲は、異常値がなく振幅が安定している領域であることが好ましい。例えば、予め設定される閾値を超えた異常値が検出された場合等は、異常値が外れるように脈波情報を取得する。あるいは、撮像時に映像が適切に取得できなかった旨を表示し、再撮像を行って適切な脈波情報を取得してもよい。あるいは、撮像開始から所定時間を経過した後の脈波を振幅の算出に用いてもよい。あるいは、所定時間内に取得された脈波から異常値を除いて振幅を算出してもよい。このように、振幅の算出は、種々の方法を適用できる。

図１２は、イベントとしてのマッサージ前及びマッサージ後の、第１映像中のＰＡレベル値の時間変化、及びマッサージ前及びマッサージ後の、第２映像中のＰＡレベル値の時間変化を示す。より詳細には、図１２（Ａ）は図１０（Ａ）に対応し、図１２（Ｂ）は図１０（Ｂ）に対応し、図１２（Ｃ）は図１０（Ｃ）に対応し、図１２（Ｄ）は図１０（Ｄ）に対応する。

図８～図１０、及び図１２から分かるように、マッサージを始めた時期である１０月３日のデータでみると、Ｇ輝度値及びＧ－Ｒ値に関しては、マッサージ前後の輝度値の変化は無い。具体的には、Ｇ輝度値に関しては、マッサージ前の値に比較してのマッサージ後の値の変化割合は１００．２％である。また、Ｇ－Ｒ値に関しては、マッサージ前に比較してのマッサージ後の値の変化割合は、９５．８％である。一方で、ＰＡレベル値を比較すると振幅が大きく増えていることが分かる。具体的には、マッサージ前の値に比較してのマッサージ後の値の変化割合は、１３６．２％である。
また、マッサージを始めて約２ヶ月経過後の１１月２８日のデータで見ると、Ｇ輝度値及びＧ－Ｒ値に関しては、マッサージ前後での変化は無く、ＰＡレベル値を比較しても変化が無い。具体的には、Ｇ輝度値に関しては、マッサージ前の値に比較してのマッサージ後の値の変化割合は９７．９％である。また、Ｇ－Ｒ値に関しては、マッサージ前に比較してのマッサージ後の値の変化割合は、９６．２％である。また、ＰＡレベル値に関しては、マッサージ前の値に比較してのマッサージ後の値の変化割合は、９７．３％である。

図１３は、長期マッサージを行なった時のＰＡレベル値と血流のベースラインのオフセット値を、計測専用カメラ２５で測定した実測値の変化率の推移を表すグラフである。

上記のように、マッサージを始めた当初は、マッサージ前のＰＡレベル値に比較して、マッサージ後のＰＡレベル値は振幅が大きく増える一方で、マッサージを始めてから日が経つに従い、マッサージ前のＰＡレベル値に比較して、マッサージ後のＰＡレベル値の変化割合は小さくなる。これにより、図１３に示されるように、ＰＡレベル値の変化を見ることで、長期にわたるマッサージのような施術の効果が分かり、正しくマッサージを行った場合には、肌の毛細血管の拡張が持続していることが示される。

より詳細には、施術において長期にマッサージを行なった場合、映像脈波によるＰＡレベル値の施術前と後の変化率を測定すると徐々に減少する。これは毛細血管がマッサージによる外圧で拡張し更に継続することで拡張が維持され変化率が減少するためである。電子装置１は、正確にマッサージを実施しているかどうか、この変化率（減少値）に基づいて判断し、最適なマッサージが続いているか判定する。また、電子装置１は、それらの値に応じて適切な通知やガイダンス指示を行なうことで適切なマッサージが行えているかをユーザに通知する。もし、ＰＡレベル値の減少が無い場合は、電子装置１は、適切なマッサージが行なわれていないことを通知し、適切なマッサージの指導を行なう。

よって、図１３に示される推移をもとに効果を判定し、適切にユーザに効果を通知することで、セルフケアとして必要なモチベーションを保つと同時に、ユーザは、効果を実感しながら施術を行なうことが出来るため、施術を長期にわたり継続して実行できるようになり肌のターンオーバーが滞ることなく行われるようになる。

なお、判定精度を上げるために、施術開始からの時間、回数を同時に記録しておくことで、基準となる変化の割合を、１ヶ月目（例として１２０％以上）、２ヶ月目（例として１１０％以上）、３ヶ月以降(例として９０%以上)と変化させることで、判定精度を上げることができる。

また、年齢別に効果度合いを変更することも考えられる。例えば２０代であれば変化割合の基準範囲を９０％～１４０％とする一方で、６０歳以上であれば９０％～１１０％の基準範囲で判定する方法がある。

また、上記年齢とともに男女の違いにより判定を変えることも考えられる。男性の場合は変化割合を１０％減らしたり、女性の場合は変化割合を１０％増やすなどの切り分けしたりすることが考えられる。

更に、事前に肌質を検査するような機能と組合わせることで、肌質に合わせた判定基準を設定することも可能である。例えば肌質が若い（肌年齢が若い）場合には、基準範囲（例として、９０％～１３０％）に対して１０％増やし、肌質が老化している（肌年齢が高い）場合には、基準範囲に対して１０％減らすことが考えられる。

また、クラウドにデータを蓄積することで、実年齢、性別のタグが付されて保存されたデータをもとに、データを似たものの集合に分類するクラスタリング処理によって機械学習させることで識別器を生成し、判定基準を作ることも考えられる。

次に、映像を解析する処理の流れについて図１４Ａ～図１４Ｆを参照して説明する。図１４Ａ～図１４Ｆは、図７の機能的構成を有する図１の電子装置１が実行する処理の流れを説明するフローチャートである。

図１４Ａ～図１４Ｆに示すように、ステップＳ１において、情報処理部１１５は、サーバ群３から、電子装置１の端末ＩＤ、及び電子装置１のユーザのユーザＩＤごとに、個人データをダウンロードする。

ステップＳ２において、表示処理部１１２がメニュー画面を起動する。

ステップＳ３において、映像処理部１１１が、内蔵カメラである撮像部１６を用いてフェーストラッキングをするとともに、筒型センサである計測専用カメラ２５を用いて施術前バイタルスキャンをする。

ステップＳ４において、スキャンが終了した場合（Ｓ４：ＹＥＳ）には、処理はステップＳ５に移行する。一方で、まだスキャンが終了してない場合（Ｓ４：ＮＯ）には、処理はステップＳ４に移行する。

ステップＳ５において、映像処理部１１１が、表示処理部１１２に対し、マッサージ等の施術のガイドの表示を指示する。

ステップＳ６において、表示処理部１１２が、ユーザに対し施術のスタートを指示する表示を行う。

ステップＳ７において、施術のガイドが終了した場合（Ｓ７：ＹＥＳ）には、処理はステップＳ８に移行する。施術のガイドがまだ終了していない場合（Ｓ７：ＮＯ）には、処理はステップＳ７に移行する。

ステップＳ８において、映像処理部１１１が、筒型センサである計測専用カメラ２５を用いて、施術後バイタルスキャンをする。

ステップＳ９において、施術後バイタルスキャンが終了した場合（Ｓ９：ＹＥＳ）には、処理はステップＳ１０に移行する。施術後バイタルスキャンがまだ終了していない場合（Ｓ９：ＮＯ）には、処理はステップＳ９に移行する。

ステップＳ１０において、結果処理部１１３が、施術前と施術後のＰＡレベル値の前後の変化割合、すなわち、マッサージ前のＰＡレベル値に対する、マッサージ直後のＰＡレベル値の割合を算出する。

ステップＳ１１において、前回のＰＡレベル値の変化割合のデータがあった場合（Ｓ１１：ＹＥＳ）には、処理はステップＳ１２に移行する。今回が初回のマッサージである等により、前回のＰＡレベル値の変化割合のデータがない場合（Ｓ１１：ＮＯ）には、処理はステップＳ３１に移行する。

ステップＳ１２において、ＰＡレベル値のマッサージ前後での変化割合が１００％以下だった場合（Ｓ１２：ＹＥＳ）には、処理はステップＳ１３に移行する。ＰＡレベル値のマッサージ前後での変化割合が１００％を超えた場合（Ｓ１２：ＮＯ）には、処理はステップＳ１６に移行する。

ステップＳ１３において、評価処理部１１４は、長期にわたり適正にマッサージされていると判断する。また、ステップＳ１２で用いたマッサージ前後でのＰＡレベル値の変化割合と１００％との差分を、判定値Ｓ２とする。

ステップＳ１４において、表示処理部１１２は、「長期にわたりマッサージ効果が持続しています」とメッセージを通知する。

ステップＳ１５において、表示処理部１１２は、判定値Ｓ２に合わせた画面表示をしたり、音声や効果音を通知したりするなどの処理を実行する。その後、処理はステップＳ３１に移行する。

ステップＳ１６において、ＰＡレベル値のマッサージ前後での変化割合が、前回の変化割合以下であった場合（Ｓ１６：ＹＥＳ）には、処理はステップＳ１７に移行する。ＰＡレベル値のマッサージ前後での変化割合が、前回の変化割合を超えた場合（Ｓ１６：ＮＯ）には、処理はステップＳ２０に移行する。

ステップＳ１７において、評価処理部１１４は、継続して適正にマッサージされていると判断する。また、ステップＳ１６で用いたマッサージ前後でのＰＡレベル値の変化割合と前回の変化割合との差分を、判定値Ｓ１とする。

ステップＳ１８において、表示処理部１１２は、「マッサージ効果が持続しています」とメッセージを通知する。

ステップＳ１９において、表示処理部１１２は、判定値Ｓ１に合わせた画面表示をしたり、音声や効果音を通知したりするなどの処理を実行する。その後、処理はステップＳ３１に移行する。

ステップＳ２０において、ＰＡレベル値のマッサージ前後での変化割合が、前回の変化割合を超えた度合いが１５％以内であった場合（Ｓ２０：ＹＥＳ）には、処理はステップＳ２１に移行する。ＰＡレベル値のマッサージ前後での変化割合が、前回の変化割合を超えた度合いが１５％を超えた場合（Ｓ２０：ＮＯ）には、処理はステップＳ２５に移行する。なお、この１５％は、個人個人で異なる値が設定される誤差範囲のことである。

ステップＳ２１において、前回の処理時に、「Ｓ０判定」がされていなかった場合、すなわち後述の判定値Ｓ０に値が代入されていない場合（Ｓ２１：ＹＥＳ）には、処理はステップＳ２２に移行する。前回の処理時に、「Ｓ０判定」がされている場合、すなわち後述の判定値Ｓ０に値が代入されている場合（Ｓ２１：ＮＯ）には、処理はステップＳ２５に移行する。

ステップＳ２２において、評価処理部１１４は、ＰＡレベル値のマッサージ前後での変化割合は、誤差範囲として判断する。また、ステップＳ１６で用いたマッサージ前後でのＰＡレベル値の変化割合と１５％との差分を、判定値Ｓ０とする。

ステップＳ２３において、表示処理部１１２は、「マッサージを継続しましょう」とメッセージを通知する。

ステップＳ２４において、表示処理部１１２は、判定値Ｓ０に合わせた画面表示をしたり、音声や効果音を通知したりするなどの処理を実行する。その後、処理はステップＳ３１に移行する。

ステップＳ２５において、評価処理部１１４は、適切にマッサージがされていないと判断する。また、ステップＳ１６で用いたマッサージ前後でのＰＡレベル値の変化割合と１５％との差分を、判定値Ｅ０とする。

ステップＳ２６において、表示処理部１１２は、「マッサージの効果が出ていません。正しいマッサージを実施しましょう」とメッセージを通知する。

ステップＳ２７において、表示処理部１１２は、判定値Ｅ０に合わせた画面表示をしたり、音声や効果音を通知したりするなどの処理を実行する。

ステップＳ２８において、マッサージガイダンスを実行する場合（Ｓ２８：ＹＥＳ）には、処理はステップＳ２９に移行する。マッサージガイダンスを実行しない場合（Ｓ２８：ＮＯ）には、処理はステップＳ３１に移行する。

ステップＳ２９において、表示処理部１１２は、マッサージガイダンスとマッサージ判定を実行する。ここで、「マッサージ判定」として、例えば、撮像部１６や計測専用カメラ２５によって撮像された顔等の画像に対して、顔認識による目や鼻、口の座標値を用いた画像処理を用いることにより、効果的にマッサージがされているか否かを判定してもよい。

ステップＳ３０において、マッサージガイダンスを終了する場合（Ｓ３０：ＹＥＳ）には、処理はステップＳ３１に移行する。マッサージガイダンスを終了しない場合（Ｓ３０：ＮＯ）には、処理はステップＳ３０に移行する。

ステップＳ３１において、情報処理部１１５は、マッサージ前後でのＰＡレベル値の変化割合は、判定値等のデータに日付を付した上で、サーバ群３に保存する。

ステップＳ３２において、サーバ群３へのデータの保存が完了した場合（Ｓ３２：ＹＥＳ）には、処理はステップＳ３３に移行する。サーバ群３へのデータの保存が完了していない場合（Ｓ３２：ＮＯ）には、処理はステップＳ３２に移行する。

ステップＳ３３において、情報処理部１１５は、クラウド上に上記のデータを保存する。その後、処理はステップＳ２に移行する。

本実施形態の電子装置１による効果について説明する。

本実施形態の電子装置１は、映像処理部１１１と、結果処理部１１３と、記憶部１９と、評価処理部１１４とを備える。映像処理部１１１は、少なくとも身体の一部を撮像したことにより得られる第１映像における身体の映像情報に基づいて、身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における身体の映像情報に基づいて、身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する。結果処理部１１３は、第１脈波振幅情報と第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する。記憶部１９は、結果処理部１１３から出力された比較結果を記憶する。評価処理部１１４は、結果処理部１１３によって新たに出力された比較結果と、記憶部に記憶された過去の比較結果と、に基づいて血流の変化の傾向を取得する。

これにより、継続的に行われた美容施術等の効果を正確に測定できる。とりわけ、肌のスキンケア等において、長期にマッサージ等の施術を行うと、ＰＡ（脈波振幅）が徐々に減少する。電子装置１がこの変化率を基に効果的な施術が行われているかどうかを電子装置１のユーザに通知し、アドバイスしながら、ユーザの側が継続した施術を行うことで、肌のターンオーバーが滞ることなく効果的な施術を実施することができるようになる。

また、第２映像は、第１映像を撮像した後のユーザが行ったイベント後に取得されるものであり、評価処理部１１４は、血流の変化の傾向に基づいてイベントが継続的に行われているか否かを評価する。

これにより、電子装置１は、長期にわたって継続的に、マッサージ等の施術が実施されているか否かを判断し、例えば、当該判断に基づいて電子装置１のユーザにメッセージを通知することにより、ユーザに対して長期的な施術の継続を促すことが可能となる。

評価処理部１１４は、記憶部１９に比較結果が１以上記憶されている状態で、第１脈波振幅情報の脈波振幅に対して第２脈波振幅情報の脈波振幅が同じ又はそれ以下の場合には、イベントが継続的に行われていると評価する。

これにより、例えば脈波振幅としてＰＡレベル値の変化割合を用いる際、正しくマッサージ等の施術を行った場合には、肌の毛細血管の拡張が持続していることに基づいて、ユーザが長期にわたるマッサージ等の施術の効果を知悉することが可能となる。

また、評価処理部１１４は、記憶部１９に記憶された過去の比較結果に対する結果処理部１１３によって新たに出力された比較結果の割合が所定の範囲内である場合には、イベントが継続的に行われていると評価する。

これにより、ノイズのような特異的なデータを排除することにより、より正確にマッサージの効果を踏まえた上で、マッサージが適切に継続されているか否かについて判断することが可能となる。

また、評価処理部１１４は、結果処理部１１３によって新たに判定比較結果が出力されると、複数の過去の比較結果と現在の比較結果とに基づいて血流の変化の傾向を取得する。

これにより、過去一回分の比較結果に基づいて取得される血流の変化に含まれる誤差の影響を排除し、より一層正確に、血流の変化の程度を把握することができる。

［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。

上記実施形態では、検出した輝度に対して換算する処理を行った換算輝度値を用いて比較処理を行った構成を説明したが、この構成に限定されない。換算輝度値は輝度のレベルを示す一態様であり、上記実施形態から換算処理を省略し、換算処理を行うことなく検出した輝度値を用いて処理を行ってもよい。

上記実施形態の電子装置１の表示部１８に反射面を有する鏡部を組み合わせた構成とすることもできる。この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されるとともに鏡部を透過した各種の情報（例えば、合成画像）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。このようにしても、上述した実施形態と同様の効果を奏することができる。

＜その他の変形例＞
例えば、上述の実施形態において、電子装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を電子装置１に追加して、電子装置１のみで全ての処理を行うようにしてもよい。

また、上述の実施形態では、本発明が適用される電子装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。例えば、本発明は、姿見等の大型の鏡に組み込まれた電子装置や、据え置き型の洗面化粧台に組み込まれた電子装置や、浴室に設置される鏡形状の電子装置に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図７の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図７の例に限定されない。

また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図５のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理部と、
前記第１脈波振幅情報と前記第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理部と、
前記結果処理部から出力された前記比較結果を記憶する記憶部と、
前記結果処理部によって新たに出力された比較結果と、前記記憶部に記憶された過去の前記比較結果と、に基づいて血流の変化の傾向を取得する評価処理部と、
を備える電子装置。
［付記２］
前記第２映像は、前記第１映像を撮像した後のユーザが行ったイベント後に取得されるものであり、
前記評価処理部は、血流の変化の傾向に基づいて前記イベントが継続的に行われているか否かを評価する付記１に記載の電子装置。
［付記３］
前記評価処理部は、
前記記憶部に前記比較結果が１以上記憶されている状態で、前記第１脈波振幅情報の脈波振幅に対して前記第２脈波振幅情報の脈波振幅が等しい又はそれ未満の場合には、前記イベントが継続的に行われていると評価する付記２に記載の電子装置。
［付記４］
前記評価処理部は、
前記記憶部に記憶された過去の前記比較結果に対する前記結果処理部によって新たに出力された比較結果の割合が所定の範囲内である場合には、前記イベントが継続的に行われていると評価する請求項２又は３に記載の電子装置。
［付記５］
前記評価処理部は、
前記結果処理部によって新たに判定比較結果が出力されると、複数の過去の前記比較結果と現在の前記比較結果とに基づいて血流の変化の傾向を取得する付記１から４の何れかに記載の電子装置。
［付記６］
身体を撮像した映像に基づいて血流を計測する電子装置の制御方法であって、
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理ステップと、
前記第１脈波振幅情報と前記第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理ステップと、
前記結果処理ステップにおいて出力された前記比較結果を記憶する記憶ステップと、
前記結果処理ステップにおいて新たに出力された比較結果と、前記記憶ステップにおいて記憶された過去の前記比較結果と、に基づいて血流の変化の傾向を取得する評価処理ステップを含むことを特徴とする電子装置の制御方法。
［付記７］
身体を撮像した映像に基づいて血流を計測する電子装置に、
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理機能と、
前記第１脈波振幅情報と前記第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理機能と、
前記結果処理機能によって出力された前記比較結果を記憶する記憶機能と、
前記結果処理機能によって新たに出力された比較結果と、前記記憶機能によって記憶された過去の前記比較結果と、に基づいて血流の変化の傾向を取得する評価処理機能と、
を実現することを特徴とする電子装置の制御プログラム。

１・・・電子装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・表示部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，２５・・・計測専用カメラ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・映像処理部，１１２・・・表示処理部，１１３・・・結果処理部，１１４・・・評価処理部，１１５・・・情報処理部，１１６・・・通信処理部，Ｓ・・・計測システム

上記目的を達成するため、本発明の一態様の電子装置は、
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理部と、
前記第１脈波振幅情報と前記第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理部と、
前記結果処理部から出力された前記比較結果を記憶する記憶部と、
前記結果処理部によって新たに出力された比較結果と、前記記憶部に記憶された過去の前記比較結果と、に基づいて血流の変化の傾向を取得する評価処理部と、
を備え、
前記第２映像は、前記第１映像を撮像した後のユーザが行ったイベント後に取得されるものであり、
前記評価処理部は、前記記憶部に前記比較結果が１以上記憶されている状態で、前記第１脈波振幅情報の脈波振幅に対して前記第２脈波振幅情報の脈波振幅が等しい又はそれ未満の場合には、前記イベントが長期にわたり行われていると評価する、
ことを特徴とする。

Claims (7)

1. 少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理部と、
   前記第１脈波振幅情報と前記第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理部と、
   前記結果処理部から出力された前記比較結果を記憶する記憶部と、
   前記結果処理部によって新たに出力された比較結果と、前記記憶部に記憶された過去の前記比較結果と、に基づいて血流の変化の傾向を取得する評価処理部と、
   を備える電子装置。
2. 前記第２映像は、前記第１映像を撮像した後のユーザが行ったイベント後に取得されるものであり、
   前記評価処理部は、血流の変化の傾向に基づいて前記イベントが継続的に行われているか否かを評価する請求項１に記載の電子装置。
3. 前記評価処理部は、
   前記記憶部に前記比較結果が１以上記憶されている状態で、前記第１脈波振幅情報の脈波振幅に対して前記第２脈波振幅情報の脈波振幅が等しい又はそれ未満の場合には、前記イベントが継続的に行われていると評価する請求項２に記載の電子装置。
4. 前記評価処理部は、
   前記記憶部に記憶された過去の前記比較結果に対する前記結果処理部によって新たに出力された比較結果の割合が所定の範囲内である場合には、前記イベントが継続的に行われていると評価する請求項２又は３に記載の電子装置。
5. 前記評価処理部は、
   前記結果処理部によって新たに判定比較結果が出力されると、複数の過去の前記比較結果と現在の前記比較結果とに基づいて血流の変化の傾向を取得する請求項１から４の何れかに記載の電子装置。
6. 身体を撮像した映像に基づいて血流を計測する電子装置の制御方法であって、
   少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理ステップと、
   前記第１脈波振幅情報と前記第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理ステップと、
   前記結果処理ステップにおいて出力された前記比較結果を記憶する記憶ステップと、
   前記結果処理ステップにおいて新たに出力された比較結果と、前記記憶ステップにおいて記憶された過去の前記比較結果と、に基づいて血流の変化の傾向を取得する評価処理ステップを含むことを特徴とする電子装置の制御方法。
7. 身体を撮像した映像に基づいて血流を計測する電子装置に、
   少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第１脈波振幅情報を取得し、前記第１映像を撮像したときよりも後に、少なくとも身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の脈波の所定時間内における振幅を示す第２脈波振幅情報を取得する映像処理機能と、
   前記第１脈波振幅情報と前記第２脈波振幅情報を比較し、血流の変化の程度を示す比較結果を出力する結果処理機能と、
   前記結果処理機能によって出力された前記比較結果を記憶する記憶機能と、
   前記結果処理機能によって新たに出力された比較結果と、前記記憶機能によって記憶された過去の前記比較結果と、に基づいて血流の変化の傾向を取得する評価処理機能と、
   を実現することを特徴とする電子装置の制御プログラム。

Images