JP7115458B2 - 電子装置、電子装置の作動方法及び電子装置の制御プログラム - Google Patents

Description

本発明は、電子装置、電子装置の作動方法及び電子装置の制御プログラムに関する。

従来、映像から対象者の血流等の生体情報を取得する技術が知られている。特許文献１には、映像信号における輝度情報に基づいて対象者の脈波に関する情報を取得し、脈波の変動に基づいて算出された血行情報をヒートマップのように表示することが記載されている。

特開２０１６－１９００２２号公報

特許文献１には、入浴前後の血流変動を比較して、入浴が身体のどの部分の血流変動に効果があったかどうかを報知するために入浴後の身体の血流変動をハッチング利用により表示する構成が開示されている。しかしながら、マッサージ等の特定の行動前後の血流変動をユーザに分かりやすく表示するという点で従来技術には改善の余地があった。

本発明は、血流変動を視覚的にわかりやすく示すことができる電子装置、電子装置の作動方法及び電子装置の制御プログラムを提供することを目的とする。

上記目的を達成するため、本発明の一態様の電子装置は、少なくとも身体の一部を撮像したことにより得られる動画像である第１映像における前記身体の映像情報に含まれる第１輝度情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる動画像である第２映像における前記身体の映像情報に含まれる第２輝度情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する情報取得部と、前記第１映像での前記身体の一部の血流から前記第２映像での前記身体の一部の血流への変動に相当する前記身体の一部の血流変動に対応する色相動画像である表示映像の表示色の色合いの表示範囲を、前記第１脈波情報から前記第２脈波情報への変化の程度に基づいて決定する表示情報決定部と、前記第２脈波情報の振幅のプラスのピークが前記表示範囲の最大値に対応し、前記第２脈波情報の振幅のマイナスのピークが前記表示範囲の最小値に対応するように、前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御する表示制御部と、を備えることを特徴とする。

本発明の電子装置、電子装置の作動方法及び電子装置の制御プログラムによれば、血流変動を視覚的にわかりやすく示すことができる。

本発明の一実施形態に係る計測システムの構成を示す構成図である。 本発明の一実施形態に係る電子装置の前面の外観構成を示す構成図である。 本発明の一実施形態に係る電子装置の側面の外観構成を示す構成図である。 本発明の一実施形態に係る電子装置のハードウェアの構成を示すブロック図である。 本発明の一実施形態に係る電子装置の機能的構成のうち、計測処理を実行するための機能的構成を示す機能ブロック図である。 本発明の一実施形態に係る電子装置によって生成される色相動画像の一例を示す図である。 本発明の一実施形態に係る電子装置によって生成される計測結果を示す画像の一例を示す図である。 本発明の一実施形態に係る電子装置によって実行される計測処理の前半を示すフローチャートである。 本発明の一実施形態に係る電子装置によって実行される計測処理の後半を示すフローチャートである。 本発明の一実施形態に係る電子装置の第１の設定処理における表示範囲を示す模式図である。 本発明の一実施形態に係る電子装置の第１の設定処理で決定された表示範囲に基づいて生成された色相動画像の一例を示す図である。 本発明の一実施形態に係る電子装置の第２の設定処理における表示範囲を示す模式図である。 本発明の一実施形態に係る電子装置の第２の設定処理で決定された表示範囲に基づいて生成された色相動画像の一例を示す図である。 本発明の一実施形態に係る電子装置の第３の設定処理における表示範囲を示す模式図である。 本発明の一実施形態に係る電子装置の第３の設定処理で決定された表示範囲に基づいて生成された色相動画像の一例を示す図である。 本発明の一実施形態に係る電子装置によって取得される第１脈波情報及び第２脈波情報の一例をグラフで説明する図である。 顔の向きによって異なる脈波情報が取得される例を示すグラフで説明する図である。 本発明の一実施形態に係る電子装置によって第１脈波情報から第１振幅が取得される一例をグラフで説明する図である。 本発明の一実施形態に係る電子装置によって第２脈波情報から第２振幅が取得される一例をグラフで説明する図である。

以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る電子装置１は、ユーザが携帯可能な自立式の鏡として構成されるスマートミラーである。電子装置１は、鏡を視認する対象者としてのユーザを撮像する。電子装置１は、ユーザを撮像した映像に基づいてマッサージ等の特定の行動前後の血流変動を取得し、血流変動の程度に応じた色相動画像を表示する。このような電子装置１によれば、特定の行動前後の血流変動を視覚的にわかりやすく表示することができる。

［システム構成］
図１は、本実施形態に係る電子装置１が含まれる計測システムＳの全体構成を示すブロック図である。図１に示すように、計測システムＳは、複数の電子装置１、ネットワーク２及びサーバ群３を含む。電子装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の電子装置１が表示システム１に含まれていてもよい。なお、以下の説明において、ｎ台の電子装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「電子装置１」と称する。

電子装置１は、映像からユーザの血流変動を計測し、計測結果を表示する計測装置である。電子装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。

ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。

サーバ群３には、電子装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、電子装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、電子装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる電子装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。

なお、図１に示した計測システムＳは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。

［外観構成］
図２は、本発明の一実施形態に係る電子装置１の前面の外観構成を示す構成図である。また、図３は、電子装置１の側面の外観構成を示す構成図である。電子装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。

図２及び図３に示すように、電子装置１は、本体部３０と、脚部３１と、ヒンジ部３２と、を含んで構成される。本体部３０は、表示部１８や、図４を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、電子装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に支持される。

図３（Ａ）に示すように、ユーザは、電子装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、電子装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、電子装置１を自立して設置することができる。なお、電子装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。

本体部３０は、上述したように表示部１８を含む。表示部１８は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となる代替画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。

ユーザは、表示部１８を視認することにより、これらの多様な情報を一度に把握することができる。なお、このような表示部１８の表示が、見た目上のギャップがない、ユーザが視認するのに適した一体感のあるものである点については、上述した通りである。

図２に示すように、電子装置１は、外観構成として、更に、撮像部１６、入力部１７及び表示部１８を備えている。

撮像部１６は、電子装置１の利用時に、表示部１８に正対するユーザを被写体として撮像する部分である。撮像部１６は、表示部１８に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。

入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、電子装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。

以上、電子装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、電子装置１の外観構造は、この例に限定されない。

例えば、電子装置１は、表示部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、電子装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、表示部１８の上部や下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。

また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１８の一部がタッチパネルとして構成され、入力部１７と表示部１８とが一体に構成されてもよい。

［ハードウェア構成］
図４は、電子装置１のハードウェアの構成を示すブロック図である。
図４に示すように、電子装置１は、プロセッサであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、バッテリ２２と、が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。光学レンズ部は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。

入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。

表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。

記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。

通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。

ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェースにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。

バッテリ２２は、各部に電力を供給するとともに外部電源に接続されることにより、充電可能に構成される。電子装置１が外部電源に接続されていない状態ではバッテリ２２の電力によって電子装置１が動作する。

なお、電子装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、電子装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。

［機能的構成］
図５は、電子装置１の機能的構成のうち、計測処理を実行するための機能的構成を示す機能ブロック図である。計測処理とは、電子装置１が、ユーザから取得した生体情報値の変化に基づいて計測結果を表示する一連の処理である。

まず、各種情報を記憶する記憶部１９について説明する。図５に示すように、記憶部１９の一領域には、ガイダンス情報記憶部１９１と、アバター情報記憶部１９２と、計測結果記憶部１９３と、が設定される。

ガイダンス情報記憶部１９１には、表示処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部１９１には、表示処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等が格納される。また、ガイダンス情報記憶部１９１には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部１９１には、表示処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ（Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）等であってもよい。

アバター情報記憶部１９２には、ユーザの実像の代替となるアバターに関する各種のデータが格納される。例えば、アバター情報記憶部１９２には、合成表示処理において表示されるアバター画像を生成するための、アバター画像のデータや、ガイダンス等において何れのアバター画像を表示するかの条件等が格納される。なお、アバター画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ等であってもよい。アバター画像は、例えば、人間や動物を模したキャラクターの画像である。また、アバター画像は、任意の数だけ用意されていてよく、ユーザの属性（例えば、ユーザの性別や年齢や嗜好）や、ガイダンスの内容に応じて適宜選択されてもよい。また、アバター画像は、キャラクター等のアニメーション表示を実現するための、連続した画像群であってもよい。また、各データは一連のガイダンスを実現する際に読み出しやすいように、各ガイダンス単位で、１つのライブラリとして格納されてもよい。

計測結果記憶部１９３には、情報取得部１１２が計測を行なうための情報や計測結果を表示するための情報や計測結果を示す情報等が格納される。情報取得部１１２による計測処理に関しては後述する。

なお、上述したようなガイダンス情報記憶部１９１やアバター情報記憶部１９２や計測結果記憶部１９３に格納される各情報は、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部１９１やアバター情報記憶部１９２や計測結果記憶部１９３に格納される各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。

次に、計測処理を実行する各機能ブロックについて説明する。図５に示すように、ＣＰＵ１１において、設定処理部１１１と、情報取得部１１２と、表示情報決定部１１３と、画像生成部１１４と、表示制御部１１５と、が機能する。

設定処理部１１１は、計測処理や表示処理に関する設定等の制御を行う部分である。設定処理部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、表示処理を行うユーザを認証する。更に設定処理部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、表示処理におけるユーザのプロファイル情報を更新する。

また、設定処理部１１１は、表示処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部１１１は、メニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。

情報取得部１１２は、撮像部１６が撮像した被写体としてのユーザを含む映像を解析することにより、ユーザに関する情報（以下、「被写体情報」と称する。）を取得する。被写体情報は、例えば、ユーザの顔等における各部位の位置を示す座標や、ユーザの顔等における各部位の色や、ユーザの状態を示す生体情報（バイタルデータと呼ばれることもある。）等である。

計測処理を行う前提として座標情報が設定されている。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、表示部１８の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、及び各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより表示処理を行うことができる。これら各座標系の対応関係は、例えば、電子装置１の製造時に、撮像部１６における撮像レンズの方向調整や、ズーム率の調整等による、対応関係の補正を伴うキャリブレーションを行うことにより設定される。例えば、ズーム率の調整は、撮像部１６のレンズ位置の調整によって行われる所謂光学ズーム、及び、画像処理における所謂デジタルズーム、の双方又は何れかを用いて行われる。

情報取得部１１２は、ユーザを撮像した映像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェーストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。例えば、映像中の、ユーザの顔の輪郭と眼の位置を検出して、それらとの相対位置に基づき、額、瞼、頬、鼻周辺、唇周り、顎、首、デコルテ等の複数の領域が自動的に認識される。そして、情報取得部１１２は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザの顔の角度（即ち、ユーザの顔の向き）といった状態を検出する。

情報取得部１１２は、映像中のユーザの皮下の血液中のヘモグロビンが吸収する緑信号に基づいて脈拍、脈波等の血流に関する生体情報を取得する。緑信号の波長は一般的に４９５－５７０ｎｍといわれており、ヘモグロビンは５５０－６６０ｎｍの辺りで吸収係数が高くなっている。この波長の特性と、撮像部１６が取得する映像の緑信号の輝度値と、を利用することにより、ヘモグロビンの吸収変化を血流量の変化として精度よく捉えることができる。なお、撮像部１６の撮像素子が光を輝度に変換する場合は、撮像素子の手前にＲＧＢのフィルタを配置し、ＲＧＢそれぞれの画素の輝度値を算出する。この場合、緑色のフィルタを通った光が輝度値となる。撮像素子の感度が波長に対してフラットであっても、上述のフィルタによってある程度、波長帯域を絞り込めるので精度よく、緑信号を検出できる。

撮像部１６が取得する情報（映像）に基づいて計測が行われるので、ユーザに接触することなく生体情報を逐次取得できる。より具体的には、情報取得部１１２は、ユーザの顔等における部位に基づいて関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）を設定する。情報取得部１１２は、関心領域内の複数の箇所の緑信号の輝度を取得する。情報取得部１１２は、緑信号の輝度の取得を単位時間ごとに行って緑信号の輝度の時間変化を脈波情報として取得する。なお、単位時間は、例えば、動画像のフレームレートであり、映像を構成する時間的に連続する画像ごとに緑信号の輝度を取得することができる。本実施形態では、ユーザの特定の行動の前後の血流の状態を比較するために、特定の行動前のユーザを撮像して第１映像を取得するとともに、特定の行動後のユーザを撮像して第２映像を取得する。そして、情報取得部１１２は、第１映像と第２映像のそれぞれに対して緑信号の輝度の時間変化を取得する。より具体的には、情報取得部１１２は、第１映像の映像情報から解析される緑信号の輝度の値を第１輝度情報とし、この第１輝度情報の時間変化を示す情報であり、第１映像の撮像時の身体の一部の脈波に相当する輝度のピークとボトムとの差を含む情報を第１脈波情報として取得する。同様に、情報取得部１１２は、第２映像の映像情報から解析される緑信号の輝度の値を第２輝度情報とし、この第２輝度情報の時間変化を示す情報であり、第２映像の撮像時の身体の一部の脈波に相当する輝度のピークとボトムとの差を含む情報を第２脈波情報として取得する。

情報取得部１１２は、ユーザの血流の状態を視覚的に表示するモザイク状の色相動画像（図６参照）を生成するために、関心領域を複数の小領域に分割し、小領域ごとの輝度の時間変化を取得する。例えば、顔が関心領域に設定された場合において、顔の部分を３０×３０のモザイク状の小領域に分割する。そして、小領域ごとに緑信号の輝度の時間変化を算出する。小領域は、少なくとも１つの画素から構成される。小領域が複数の画素で構成される場合は当該複数の画素の輝度の平均値を小領域の輝度としてもよい。本実施形態では、情報取得部１１２は、第１映像と第２映像のそれぞれに対して小領域ごとの緑信号の輝度の時間変化を取得する。

また、情報取得部１１２は、小領域ごとの緑信号の輝度の時間変化を示す情報とは別に、後述する表示範囲を決定するための脈波情報を取得する。より具体的には、情報取得部１１２は、第１映像の関心領域の全体の輝度の代表値の時間変化を示す情報と、第２映像の関心領域の全体の輝度の代表値の時間変化を示す情報と、を取得する。代表値は、関心領域における複数個所の緑信号の輝度を反映したものであり、最頻値、中央値、平均値等の種々の方式により算出される。本実施形態では、関心領域の全画素の緑信号の輝度の平均値の時間変化が情報取得部１１２によって脈波情報として取得される。即ち、第１脈波情報には、第１映像撮像時の小領域ごとの輝度の時間変化を示す情報と、関心領域全体の輝度の平均値の時間変化を示す情報と、の少なくとも２種類の情報が含まれる。同様に、第２脈波情報には、第２映像撮像時の小領域ごとの輝度の時間変化を示す情報と、関心領域全体の輝度の平均値の時間変化を示す情報と、の少なくとも2種類の情報が含まれる。なお、第１脈波情報と第２脈波情報を比較する比較処理や比較処理に基づいて色相動画像を生成する処理については後述する。

映像の緑信号の輝度から生体情報を取得する方法としては、例えば、下記の参考文献に記載の皮下の血液中のモグロビンが吸収する緑信号に基づいて脈拍、脈波等の血流に関する生体情報を取得する技術を利用できる。
＜参考文献＞
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成３０年９月２７日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞

表示情報決定部１１３は、情報取得部１１２の計測結果を表示する色相動画像を生成するための処理を行う。図６（Ａ）はマッサージ施術（特定の行動）前のユーザの顔の血流を示す色相動画像の例であり、図６（Ｂ）はマッサージ施術（特定の行動）後のユーザの顔の血流を示す色相動画像の例である。図６（Ａ）及び図６（Ｂ）には、特定の部位として設定される顔の部分がマス目状の小領域に分割され、小領域ごとに血流変動が色相の変化によって表現されている様子が示される。

表示情報決定部１１３は、緑信号の輝度の値に対応する色を設定するための表示範囲を決定する。本実施形態の表示情報決定部１１３は、特定行動前の第１脈波情報と特定行動後の第２脈波情報の比較結果に基づいて表示範囲を決定する。表示情報決定部１１３は、第１脈波情報から第２脈波情報への変化の程度が大きければ大きい程、特定の行動後の色相動画像の色の変化の程度が強調されるような表示方法を選択する。

画像生成部１１４は、表示情報決定部１１３によって決定された表示範囲が設定されたカラーマップに基づいて色相動画像を生成する。なお、表示範囲の決定方法の例については後述する。図６（Ａ）及び図６（Ｂ）に示すように、色相動画像では、各小領域のある時点での緑信号の輝度の値に対応する色が表示される。緑信号の輝度は血流によって変動するので、各小領域に表示される色も時間に応じて変化する。画像生成部１１４は、ある時間における各領域のそれぞれに輝度の値に対応する色を設定した画像を生成する。このように生成された画像を時間的に連続させることにより、モザイク状に色が変化する色相動画像が生成される。

画像生成部１１４は、第１映像の計測結果に基づく第１の色相動画像と、第２映像の計測結果に基づく第２の色相動画像と、を生成する。そして、画像生成部１１４は、第１映像に第１の色相動画像を合成し、第２映像に第２の計測結果に基づく色相動画像を合成する。例えば、ユーザの特定の部位が顔の場合であって顔全体に色相動画像を重畳する場合は図６（Ａ）や図６（Ｂ）のような合成画像が生成される。図６（Ａ）に示す合成画像と、図６（Ｂ）に示す合成画像と、並べて表示することにより、比較画像を生成することができる。

また、画像生成部１１４は、過去の計測結果と最新の計測結果をともに表示する計測結果画像を生成することもできる。図７には、計測結果を示す画像の一例が示される。図７の左側には過去の測定結果の中で最も良好なマッサージ（特定の行動）が行われたときのユーザの合成画像が示され、右側には本日マッサージを行った測定結果を示す合成画像が示されている。図７の例では、ユーザ（実像）の画像の頬の部分に色相動画像が合成されている。これにより、本実施形態の電子装置１は、過去のマッサージ等の特定行動の結果を参照し、今回行われたマッサージ等の特定行動が適切に行われたか否かを判断することができる。

また、画像生成部１１４は、ガイド画像やアバター画像を合成する合成処理等も行う。画像生成部１１４は、ガイダンス情報記憶部１９１に格納されているガイド画像と、アバター情報記憶部１９２に格納されているアバター画像とを合成することにより、アバター画像にガイド画像が合成された画像を生成する。画像生成部１１４は、例えば、アバター画像の顔等の所定の部位領域に、ガイド画像が重畳するように合成画像を生成する。そして、マッサージについてのガイダンスを行う場合に、マッサージの際の手の動きを示す矢印のガイド画像が、マッサージを行う対象の部位領域に重畳するように合成画像を生成する。

表示制御部１１５は、表示部１８にユーザの鏡像又はユーザに対応する画像（例えば、アバター等）を表示する制御を行う。また、各種画像の表示するタイミングやユーザの入力部１７の操作に基づいて表示を切り替える処理等を行う。表示制御部１１５によって映像に色相動画像を合成した合成画像を表示部１８に表示するタイミングが決定される。表示制御部１１５が色相動画像を表示するタイミングについては後述する。

また、表示制御部１１５は、ユーザ画像をメインとして表示するとともにアバター画像とガイド画像とを合成した合成画像をサブとして表示する第１の表示モードと、ユーザ画像をサブとして表示するとともにアバター画像とガイド画像とを合成した合成画像をメインとして表示する第２の表示モードとを切り替える処理を実行する。図２に示すように、合成画像であるアバター画像とガイド画像をメインとして画面中央に大きなサイズで表示し、ユーザ画像をサブとして画面下部等にメインよりも小さなサイズで表示することができる。逆に、ユーザ画像をメインとして画面中央に大きなサイズで表示し、合成画像であるアバター画像とガイド画像をサブとして画面下部等にメインよりも小さなサイズで表示することもできる。

また、表示制御部１１５は、ユーザの鏡像の顔又はアバター画像の顔と重複しない領域に、一連のガイダンスにおいてユーザが向くべき方向やマッサージの方法、生体情報を画像やテキストで自動配置し表示するようにしてもよい。なお、表示制御部１１５は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部１１５は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部１１５は、発光部による発光状態を変化させるようにしてもよい。

［計測処理］
図８及び図９は、図５の機能的構成を有する図１の電子装置１が実行する計測処理の全体的な流れを説明するフローチャートである。

図８に示すように、ステップＳ１において、設定処理部１１１は初期設定を行う。例えば、設定処理部１１１は、サーバ群３に含まれる認証サーバから、ユーザＩＤごとに設定される個人データをダウンロードする。

ステップＳ２において、表示制御部１１５は、メニュー画面を表示部１８に表示する起動処理を行う。

ステップＳ３において、情報取得部１１２は、施術前のユーザに対して肌トラッキング及び施術前バイタルスキャンを実行するため、撮像部１６によるユーザの撮像を開始する。そして、撮像部１６がユーザを撮像した第１映像の解析を行う。この映像解析により、施術前のユーザの生体情報が取得される。生体情報には、施術前のユーザの顔の脈波を示す情報や色相動画像を生成するための小領域ごとの緑信号の輝度の時間変化を示す情報等（第１脈波情報）が含まれる。なお、ステップＳ３は、メニュー画面起動開始後に自動的に開始してもよいし、ユーザの入力部１７から操作を受け付けることによって開始してもよい。

ステップＳ４において、情報取得部１１２は、ユーザの顔等の部位を特定するとともに生体情報を適切に取得ができたか否かを判定する。ユーザの顔等の部位が特定できない場合や生体情報が適切に取得できなかった場合は、ステップＳ４においてＮｏと判定され、情報取得部１１２は、ステップＳ３に戻って再び撮像部１６による撮像を開始して映像の解析を行う。ユーザの顔等の部位が特定され、生体情報を適切に取得できた場合はステップＳ４においてＹｅｓと判定され、処理はステップＳ５に進む。

ステップＳ５において、表示制御部１１５は、予め設定されるマッサージ等の特定の行動のガイド指示を受け付けたか否かを判定する。特定の行動は、例えば、笑顔トレーニング、フェイシャルエステ、リラクゼーション（ツボ押し及び深呼吸）、マッサージ等の美容施術である。ステップＳ５では、ユーザの入力部１７の操作によりガイド指示を受け付けるまでＮｏと判定される。ガイド指示を受け付けた場合はステップＳ５においてＹｅｓと判定され、表示制御部１１５は受付けたガイド指示に応じてガイダンスを行うために必要なデータを、ガイダンス情報記憶部１９１及びアバター情報記憶部１９２から読み込み、処理はステップＳ６に進む。

ステップＳ６において、画像生成部１１４及び表示制御部１１５はユーザが施術を開始するためにステップＳ６で読み込んだデータに基づいて合成画像を生成して表示部１８に表示する処理を実行する。より具体的には、アバター画像とフェイシャルエステにおけるマッサージでの手の動きを示すガイド画像とを重畳した合成画像を表示する。ユーザは、この合成画像を参照しながらフェイシャルエステにおけるマッサージを行う。あるいは、アバター画像とツボ押しを行う対象となる第１のツボの位置を示すガイド画像とを重畳した合成画像を表示する。ユーザは、この合成画像を参照しながらユーザ自身のツボに対してツボ押しを行う。

ステップＳ７において、表示制御部１１５は、一連のガイダンスを終了するか否かを、判定する。ガイダンスが終了したか否かは、例えば、一連のガイダンスが終了したか否かを生体情報に基づいて判定してもよいし、映像の解析に基づいてユーザの特定行動が終了したか否かを判定してもよいし、一連のガイダンスのガイド画像の表示が完了したことに基づいて判定してもよい。ガイダンス処理の終了後、処理はステップＳ８に進む。

ステップＳ８において、情報取得部１１２は、施術後のユーザに対して施術前バイタルスキャンを実行するため、撮像部１６によって施術後のユーザを撮像した第２映像の解析を行う。情報取得部１１２は、第２映像の解析により、特定の行動後の生体情報を取得する。生体情報には、施術後のユーザの顔の脈波を示す情報や色相動画像を生成するための小領域ごとの緑信号の輝度の時間変化を示す情報等（第２脈波情報）が含まれる。

ステップＳ９において、情報取得部１１２は、生体情報が適切に取得されたか否かを判定する。生体情報が適切に取得されていない場合は、ステップＳ９においてＮｏと判定され、ステップＳ８の処理が再度実行される。生体情報が適切に取得された場合は、処理はステップＳ１０に進む。

図９に示すように、ステップＳ１０において、表示情報決定部１１３は、施術前のユーザの脈波を示す第１脈波情報と、施術後のユーザの脈波を示す第２脈波情報と、の比較処理を実行する。この比較処理では、第１脈波情報と第２脈波情報の間における変化の程度が比較結果として取得される。

ステップＳ１１において、表示情報決定部１１３は、ステップＳ９の比較結果に基づいて色相動画像を表示する際の表示範囲の決定を行う。表示範囲の決定は、施術前の状態を示す色相動画像と、施術後の状態を示す色相動画像と、のそれぞれで決定される。

ステップＳ１２において、画像生成部１１４は、ステップＳ１１で決定された各表示範囲に基づいて施術前の色相動画像と施術後の色相動画像が生成される。第１脈波情報に含まれる小領域ごとの緑信号の輝度の時間変化を示す情報に基づいて施術前のユーザの状態を示す第１の色相動画像が生成され、第２脈波情報に含まれる小領域ごとの緑信号の輝度の時間変化を示す情報に基づいて施術後のユーザの状態を示す第２の色相動画像が生成される。なお、表示範囲を決定する処理については後述する。

ステップＳ１３において、画像生成部１１４は、色相動画像を映像に合成する重畳処理を行う。例えば、画像生成部１１４は、フェーストラッキングにより、撮像部１６が撮像した映像からユーザの所定の部位領域として顔を検出する。そして、上述した各座標系の対応関係に基づいて、検出した部位領域の撮像座標系における座標に対応する、表示部座標系の座標を取得する。そして、表示制御部１１５は、表示部１８の表示部座標系の座標に、色相動画像を表示する重畳処理を行う。

ステップＳ１４において、時間軸の異なる色相動画像を同時に表示する比較画像を生成する。施術前の合成画像（例えば、図６（Ａ））と施術後の合成画像（例えば、図６（Ｂ））の両方を表示する比較画像であってもよいし、図７に示すような過去の合成画像と現在の合成画像の両方を表示する比較画像であってもよい。

ステップＳ１５において、表示制御部１１５は、ユーザからの比較画面の表示終了指示を待機する。表示終了指示は、例えば、入力部１７の操作によって通知される。表示終了指示が通知されると表示制御部１１５は比較動画像の表示を終了し、処理はステップＳ１６に進む。

ステップＳ１６において、情報取得部１１２は、一連の計測処理で取得した生体情報等のデータを計測結果記憶部１９３に保存する。ステップＳ１６の終了後、処理はステップＳ２に戻り、ステップＳ２以降の処理が再び実行される。

[表示情報の決定処理]
次に、表示画像の表示を調整するための表示範囲の決定処理について説明する。表示情報決定部１１３は、表示画像を表示するための基準となるカラーマップを有する。このカラーマップは、後述する表示範囲によって表示の仕方が変わるようになっている。図１０、図１２、図１４に示すように、カラーマップは、輝度の値に対応する色を決定するための色相情報である。カラーマップとしては、例えば、ｊｅｔカラーマップを利用できる。

以下の説明において、カラーマップには説明の便宜上０～９の目盛りを設定し、目盛りに基づいて色相のレンジを定義する。なお、目盛り０をカラーマップの最も低座標とし、目盛り９をカラーマップの最も高座標とする。低座標側は青系（寒色系）の色相となっており、高座標側は赤系（暖色系）の色相となっている。また、カラーマップの中心座標は目盛り４と５の中央にあるものとする。

[第１の設定処理]
図１０に示すように、第１の設定処理における表示範囲は、カラーマップのレンジ幅を指定する設定値である。第１の設定処理には、カラーマップの範囲を指定する設定値として、第１表示範囲と、第２表示範囲と、第３表示範囲の３種類が設定されている。

カラーマップの最大レンジ幅を０～９の１０とすると、第１表示範囲はレンジ幅が目盛り３～６の間であり、最も狭い範囲（レンジ幅３）を指定する設定値である。第１表示範囲は第１脈波情報から第２脈波情報への変化の程度が小さかった、マイナスの変化だった又は変わらなかった場合等にカラーマップの表示範囲として設定される。

第２表示範囲はレンジ幅が目盛り２～７の中程度の範囲（レンジ幅５）を指定する設定値である。第２表示範囲は第１脈波情報から第２脈波情報への変化の程度が中程度だった場合等にカラーマップの表示範囲として設定される。

第３表示範囲はレンジ幅が目盛り０～９の最も広い範囲（レンジ幅１０）を指定する設定値である。第３表示範囲は、第１脈波情報から第２脈波情報への変化の程度が大きかった場合等にカラーマップの表示範囲として設定される。

図１１の左側には特定の行動前のユーザの血流を示す色相動画像であって、レンジ幅３の第１表示範囲が設定された色相動画像である。一方、図１１の右側には特定の行動後のユーザの血流を示す色相動画像であって、レンジ幅１０の第３表示範囲が設定された色相動画像が示されている。図１１からも、特定行動前後の血流変動の程度に応じてレンジ幅を変更することにより、血流変動を直感的に把握できる表示を実現できることが示される。

第１の設定処理では、画像生成部１１４は、小領域の輝度の脈波において、振幅のプラスのピークがレンジ幅の最大値に対応し、振幅のマイナスのピークがレンジ幅の最小値に対応するように各領域に表示する色を設定する。例えば、第１表示範囲では、カラーマップの目盛り６が脈波のプラスのピークに対応し、目盛り３が脈波のマイナスのピークに対応する。第２表示範囲では、カラーマップの目盛り７が脈波のプラスのピークに対応し、目盛り２が脈波のマイナスのピークに対応する。第３表示範囲では、カラーマップの目盛り９が脈波のプラスのピークに対応し、目盛り０が脈波のマイナスのピークに対応する。

[第２の設定処理]
次に、第１の設定処理とは異なる第２の設定処理について説明する。図１２に示すように、第２の設定処理においても、第１表示範囲、第２表示範囲及び第３表示範囲の３つのレンジ幅が指定される。第１表示範囲はレンジ幅が目盛り０～５の範囲（レンジ幅５）であり、第２表示範囲はレンジ幅が目盛り２～７の範囲（レンジ幅５）であり、第３表示範囲はレンジ幅が目盛り４～９の範囲（レンジ幅５）である。即ち、第１表示範囲は低座標側に位置する範囲であり、第２表示範囲は中心座標を中心とした中央側に位置する範囲であり、第３表示範囲は高座標側に位置する範囲である。この例では、第１表示範囲、第２表示範囲及び第３表示範囲のレンジの長さは同じであるが、設定される位置（座標）がずれていることになる。

図１３の左側には特定の行動前のユーザの血流を示す色相動画像であって、低座標側に位置する第１表示範囲が設定された色相動画像である。一方、図１３の右側には特定の行動後のユーザの血流を示す色相動画像であって、高座標側に位置する第３表示範囲が設定された色相動画像が示されている。図１３からも、特定行動前後の血流変動の程度に応じてレンジ幅の座標を変更することにより、血流変動を直感的に把握できる表示を実現できることが示される。

第２の設定処理でも、画像生成部１１４は、小領域の輝度の脈波において、振幅のプラスのピークがレンジ幅の最大値に対応し、振幅のマイナスのピークがレンジ幅の最小値に対応するように各領域に表示する色を設定する。例えば、第１表示範囲では、カラーマップの目盛り５が脈波のプラスのピークに対応し、目盛り０が脈波のマイナスのピークに対応する。第２表示範囲では、カラーマップの目盛り７が脈波のプラスのピークに対応し、目盛り２が脈波のマイナスのピークに対応する。第３表示範囲では、カラーマップの目盛り９が脈波のプラスのピークに対応し、目盛り４が脈波のマイナスのピークに対応する。

[第３の設定処理]
次に、第１の設定処理及び第２の設定処理とは異なる第３の設定処理について説明する。図１４に示すように、第３の設定処理では、カラーマップに設定されるカラーマップの表示輝度の設定値が変更される。即ち、表示情報決定部１１３は、第１脈波情報から第２脈波情報への変化の程度に応じて表示する色の輝度を調整する。

図１４（Ａ）は、第１表示範囲として最も暗い輝度が設定されたカラーマップである。同様に、図１４（Ｂ）は、第２表示範囲として中程度の輝度が設定されたカラーマップである。図１４（Ｃ）は、第３表示範囲として最も明るい輝度が設定されたカラーマップである。図１４（Ａ）～図１４（Ｃ）に示すように、第３の設定処理における第１表示範囲、第２表示範囲及び第３表示範囲のレンジ幅は何れも同じ１０に設定されている。

図１５の左側には特定の行動前のユーザの血流を示す色相動画像であって、低い輝度が設定された第１表示範囲が設定された色相動画像である。一方、図１５の右側には特定の行動後のユーザの血流を示す色相動画像であって、高い輝度が設定された第３表示範囲が設定された色相動画像が示されている。図１５からも、特定行動前後の血流変動の程度に応じて色相の輝度を変更することにより、血流変動を直感的に把握できる表示を実現できることが示される。

第３の設定処理でも、画像生成部１１４は、小領域の輝度の脈波において、振幅のプラスのピークがレンジ幅の最大値に対応し、振幅のマイナスのピークがレンジ幅の最小値に対応するように各領域に表示する色を設定する。第１表示範囲、第２表示範囲及び第３表示範囲の何れにおいても、カラーマップの目盛り９が脈波のプラスのピークに対応し、目盛り０が脈波のマイナスのピークに対応する。

以上、カラーマップを用いた表示画像を設定するための表示情報の調整を第１の設定処理、第２の設定処理及び第３の設定処理を例として説明したが、表示情報の設定処理は、こられの方法に限定されるわけではない。例えば、第１の設定処理に第２の設定処理や第３の設定処理を組み合わせてもよいし、第２の設定処理に第３の設定処理を組み合わせてもよいし、第１～第３の設定処理の全てを組み合わせてもよい。

[比較処理の説明]
次に、第１脈波情報から第２脈波情報への変化の程度を比較する比較処理の例について説明する。血流の上昇時は単位時間あたりのヘモグロビン量が増加するため、血流が上昇する前に比べ多くの緑信号がヘモグロビンによって吸収される。そのため、血流の上昇時に検出される緑信号の輝度は低下することになる。本実施形態では、血流の上昇を感覚的に把握し易くするため、血流が上昇すると輝度値が高くなるような換算処理を行う。より具体的には、ＲＧＢ各色８ビットの出力のイメージセンサを用いて緑信号の輝度を検出する場合、輝度値の最大値２５５から検出した緑信号の輝度値を減算した数値を「換算輝度値」として比較処理に用いる。以下、単純に換算輝度値として説明するものは、このような換算処理を行った輝度に関する情報である。また、比較処理の結果に基づいて決定される表示範囲は、上述の第１の設定処理、第２の設定処理及び第３の設定処理の何れかを用いて設定するものとする。

[第１の比較処理]
図１６に示すように、ユーザが顔の頬の施術（例えば、マッサージ）等の特定の行動を行うことで、時間の経過とともに顔全体の血流量が増えるため、施術前と後を比べると脈波の波形の輝度平均値が異なる傾向を示す。なお、ここでいう輝度平均値は換算輝度値に基づく数値である。第１の比較処理では、この特定の行動後の脈波の変化に着目して表示範囲を決定する。なお、第１の比較処理に用いる脈波情報及び図１６に示す脈波情報（第１脈波情報及び第２脈波情報）は、関心領域として設定された部位の全域の輝度の平均値を所定時間（例えば、数秒程度の複数の脈波の波形が含まれる時間）ごとに算出したものである。

表示情報決定部１１３は、施術前の脈波を示す第１脈波情報の所定時間における平均値を示す第１ベースラインを算出する。第１ベースラインは、図１６のグラフ中の直線状の破線である。同様に、表示情報決定部１１３は、第２脈波情報の所定時間における平均値を示す第２ベースラインを算出する。第２ベースラインは、図１６のグラフ中の直線状の一点鎖線である。

第１ベースラインを算出するときの脈波の範囲（時間）は、脈波の安定した領域で行われることが好ましい。例えば、予め設定される閾値を超えた異常値が検出された場合等は、異常値が外れるように脈波情報を取得する。あるいは、撮像時に映像が適切に取得できなかった旨を表示し、再撮像を行って適切な脈波情報を取得してもよい。あるいは、撮像開始から所定時間を経過した後の脈波をベースラインの算出に用いてもよい。あるいは、所定時間内に取得された脈波から異常値を除いてベースラインを算出してもよい。このように、ベースラインの算出は、種々の方法を適用できる。

次に、表示情報決定部１１３は、第１ベースラインと第２ベースラインの差分を示すオフセット値を比較結果として取得する。このオフセット値に基づいて表示範囲が設定される。上述の設定処理では、オフセット値に基づいて第１表示範囲、第２表示範囲、又は第３表示範囲の何れかが表示範囲として設定される。

特定の行動前の色相動画像の生成時には、オフセット値を０として表示範囲を設定する。この例では、第１表示範囲が特定の行動前の色相動画像の表示範囲となる。

特定の行動後の色相動画像の生成時には、第１ベースラインと第２ベースラインの差分に基づいて表示範囲が決定される。表示範囲を決定するためのオフセット値の基準値は適宜設定され、オフセット値と基準値を比較して表示範囲が決定される。基準値は、基準値を超えない場合の色相動画像と基準値を超えた場合の色相動画像を比べたときにユーザが違いを視覚的に識別できるような数値であればよく、ユーザに対する実験や視認条件を導く理論値等によって決定される。第１表示範囲、第２表示範囲及び第３表示範囲のように、選択する表示範囲が複数ある場合は、基準値も第１基準値、第２基準値のように段階的に複数設定される。例えば、カラーマップのレンジを考慮して第１基準値を３に設定し、第２基準値を６と設定する。この設定において、第１ベースラインと第２ベースラインの差分が「オフセット値≦３」の場合は第１表示範囲が設定され、「３＜オフセット値＜６」の場合は第２表示範囲が設定され、「オフセット値≧６」の場合は第３表示範囲が設定される。なお、状況によっては、オフセット値がマイナスになることもある。例えば、ユーザが入浴した場合において、入浴直後の血流が上昇した状態を撮像して第１映像を取得し、第１映像を取得してから時間が経過して血流が低下した状態を撮像して第２映像を取得するような場合等である。この場合は、オフセット値がマイナスとなるので、「オフセット値≦３」の場合と判定され、第１表示範囲を設定する処理としてもよいし、計測が適切にできなかった旨のメッセージを表示する処理を行ってもよい。

[第２の比較処理]
次に、第１の比較処理とは異なる方法で第１脈波情報から第２脈波情報への変化の程度を比較する第２の比較処理について説明する。なお、第２の比較処理に用いる脈波情報及び図１７～図１９に示す脈波情報（第１脈波情報及び第２脈波情報）は、関心領域として設定された部位の全域の輝度平均値を所定時間（例えば、数秒程度の複数の脈波の波形が含まれる時間）ごとに算出したものである。なお、ここでいう輝度平均値は換算輝度値に基づく数値である。

図１７（Ａ）は、ユーザが撮像部１６を正しい姿勢で見ている状態の映像に基づいて算出した脈波情報のグラフであり、図１７（Ｂ）は、ユーザの顔が少し上を向いている状態の映像に基づいて算出した脈波情報のグラフである。なお、何れの場合もユーザは特定の行動は行っておらず、撮像時の照明等の環境も同じものである。図１７（Ａ）と図１７（Ｂ）を比較すると、ユーザの顔が少し上を向いている状態の方が、全体的に輝度が明るい（換算輝度値が大きい方が暗い）傾向を示していることがわかる。これは、顔への光の当たり方等が緑信号の輝度の取得に影響を与えているものと考えられる。

ユーザが特定の行動前後で撮像部１６に対して同じ姿勢を維持できるとは限らないため、顔の向きの影響は排除することが好ましい。第１の比較処理は、顔の向きの影響を排除して第１脈波情報と第２脈波情報を比較することが難しかった。この点、第２の比較処理では、顔の向きの変化の影響を排除できる処理を採用している。より具体的にはマッサージ等の特定の行動後は、血流量が増加し、脈波の振幅が大きくなる（例えば、１０％）。そこで、第２の比較処理を行う表示情報決定部１１３は、特定の行動後の脈波の振幅の増加に着目し、振幅の増加率に基づいて表示範囲を決定することにより、顔の向きの影響を排除する。

図１８（Ａ）はマッサージ等の特定の行動前の第１脈波情報を示すグラフであり、図１８（Ｂ）は図１８（Ａ）の脈波情報の一部を拡大したグラフである。表示情報決定部１１３は、第１脈波情報から振幅を取得するための範囲を特定する。振幅を取得するための範囲は、異常値がなく振幅が安定している領域である。表示情報決定部１１３は、当該範囲の区間平均等に基づいて特定の行動前の脈波の振幅を示す第１振幅情報を取得する。

図１９（Ａ）はマッサージ等の特定の行動後の第２脈波情報を示すグラフであり、図１９（Ｂ）は図１９（Ａ）の脈波情報の一部を拡大したグラフである。表示情報決定部１１３は、第２脈波情報から振幅を取得するための範囲を特定する。振幅を取得するための範囲は、異常値がなく振幅が安定している領域である。表示情報決定部１１３は、当該範囲の区間平均等に基づいて特定の行動後の脈波の振幅を示す第２振幅情報を取得する。

振幅を算出するときの脈波の範囲（時間）は、脈波の安定した領域で行われることが好ましい。例えば、予め設定される閾値を超えた異常値が検出された場合等は、異常値が外れるように脈波情報を取得する。あるいは、撮像時に映像が適切に取得できなかった旨を表示し、再撮像を行って適切な脈波情報を取得してもよい。あるいは、撮像開始から所定時間を経過した後の脈波を振幅の算出に用いてもよい。あるいは、所定時間内に取得された脈波から異常値を除いて振幅を算出してもよい。このように、振幅の算出は、種々の方法を適用できる。

表示情報決定部１１３は、第１振幅情報と第２振幅情報を比較して表示範囲を決定する。マッサージ等の特定の行動後の脈波は、通常、血流が良くなっているので振幅が大きくなっている。表示情報決定部１１３は、振幅の増加率に基づいて表示範囲を決定する。

特定の行動前の色相動画像の生成時には、増加率が０として表示範囲を設定する。この例では、第１表示範囲が特定の行動前の色相動画像の表示範囲となる。

特定の行動後の色相動画像の生成時には、第１振幅情報に対する第２振幅情報の増加率に基づいて表示範囲が決定される。表示範囲を決定するための増加率の基準値は適宜設定され、増加率と基準値を比較して表示範囲が決定される。基準値は、基準値を超えない場合の色相動画像と基準値を超えた場合の色相動画像を比べたときにユーザが違いを視覚的に識別できるような数値であればよく、ユーザに対する実験や視認条件を導く理論値等によって決定される。第１表示範囲、第２表示範囲及び第３表示範囲のように、選択する表示範囲が複数ある場合は、基準値も第１基準値、第２基準値のように段階的に複数設定される。例えば、増加率を百分率で算出する場合は、カラーマップのレンジを考慮して第１基準値に１００よりも大きい数字（以下、Ｒ１）を設定し、第２基準値にＲ１より大きい数字（以下、Ｒ２）を設定する。このように、１００＜Ｒ２＜Ｒ１の関係が成立する条件において、第１振幅情報と第２振幅情報を比較した結果が「増加率≦Ｒ２」の場合は第１表示範囲が設定され、「Ｒ２＜増加率＜Ｒ１」の場合は第２表示範囲が設定され、「増加率≧Ｒ１」の場合は第３表示範囲が設定される。なお、状況によっては、振幅が増加しないこともある。例えば、ユーザが入浴した場合において、入浴直後の血流が上昇した状態を撮像して第１映像を取得し、第１映像を取得してから時間が経過して血流が低下した状態を撮像して第２映像を取得するような場合等である。この場合は、増加率が１００未満となるので、「増加率≦Ｒ２」の場合と判定され、第１表示範囲を設定する処理としてもよいし、計測が適切にできなかった旨のメッセージを表示する処理を行ってもよい。

画像生成部１１４は、以上に説明した比較処理によって決定された表示範囲とカラーマップに基づいて、ある時点における小領域に表示する色を設定していく。なお、上述のように、本実施形態では、色相動画像は小領域ごとに設定された輝度の時間変化に基づいて色相の変化をモザイク状に表示される。そのため、特定の部位全域の平均値である第１脈波情報や第２脈波情報に基づいて色相動画像が生成されるわけではなく、小領域ごとに取得された輝度の時間変化に基づいて色相動画像が生成されることになる。

以上説明した本実施形態の電子装置１は、情報取得部１１２と、表示情報決定部１１３と、表示制御部１１５と、を備える。情報取得部１１２は、ユーザの少なくとも身体の一部である顔等の特定部位を撮像したことにより得られる第１映像における身体の映像情報に基づいてユーザの身体の一部の脈波を示す第１脈波情報を取得し、第１映像よりも後の特定行動後に、身体の一部を撮像したことにより得られる第２映像における身体の映像情報に基づいて身体の一部の脈波を示す第２脈波情報を取得する。表示情報決定部１１３は、身体の一部の血流変動に対応する表示映像の表示色の色合いの表示範囲を、第１脈波情報と第２脈波情報とに基づいて決定する。表示制御部１１５は、表示情報決定部１１３に決定された表示範囲と第２脈波情報とに基づいて決定された表示色の色合いで表示映像の表示を制御する。

これにより、時間軸の異なる２つの映像における血流の変化をユーザに分かり易く報知することができる。例えば、特定の行動の結果、血流が良くなっていたとしても、本実施形態における表示では、脈波の波形をカラーマップとして表示するので、単純に同じ表示範囲の色相動画像で表示しても特定の行動の前後の違いが判別し難い。この点、本実施形態の構成であれば、特定の行動等を行った後の血流の変化の程度を反映して色相動画像を生成できるので、表示される色の傾向の違いにより、計測結果を視覚的にわかりやすく表示できるのである。

また、本実施形態において、血流変動は、第１映像での身体の一部の血流から第２映像での身体の一部の血流への変動である。これにより、時間軸の異なる血流の変化を視覚的にユーザに示すことができる。

また、本実施形態において、表示制御部１１５は、第２映像の撮像時の身体の一部の脈波に相当する輝度のピークとボトムとの差を含む情報を第２脈波情報として、表示映像の表示を制御する。これにより、上記実施形態で示したように、関心領域として設定される領域の全画素の緑信号の輝度の平均値の時間変化を利用して画像を生成できる。

また、本実施形態において、表示制御部１１５は、表示映像として動画像を表示する制御を行う。これにより、血流変動を動的に視覚化でき、特定の行動前後の違いを分かり易く表示できる。

また、本実施形態において、情報取得部１１２は、第１映像における身体の映像情報に含まれる第１輝度情報に基づいて第１脈波情報を取得し、第２映像における身体の映像情報に含まれる第２輝度情報に基づいて第２脈波情報を取得する。これにより、ヘモグロビンに起因する緑信号の輝度を利用して血流変動を視覚的に表現した画像を生成できる。

また、本実施形態において、第１輝度情報は、第１映像の身体の一部における少なくとも１画素の換算輝度値（輝度値）又は第１映像の身体の一部に対応する領域全体の平均輝度に関する情報であり、第２輝度情報は、第２映像の身体の一部における１画素の換算輝度値（輝度値）又は第２映像の身体の一部に対応する領域全体の平均輝度に関する情報である。これにより、特定の領域における血流変動を視覚的に示す画像を生成できる。

また、本実施形態において、表示情報決定部１１３は、第１脈波情報と第２脈波情報との差分に基づいて表示色の色合いの表示範囲を決定する。これにより、マッサージ等の特定の行動後のオフセットを利用することができ、複雑な処理を行うことなく特定の行動後の血流変動の程度を反映した画像を生成することができる。

また、第１の比較処理で示したように、表示情報決定部１１３は、第１脈波情報に基づいて取得される第１ベースラインと第２脈波情報に基づいて取得される第２ベースラインの差分に基づいて表示色の色合いの表示範囲を決定する。これにより、複雑な計算処理を行うことなく、第１脈波情報と第２脈波情報の差分を取得できる。

また、本実施形態において、第１ベースラインは、第１脈波情報のうち脈波が安定している範囲の脈波に対応する換算輝度値（輝度値）の平均値に基づいて取得され、第２ベースラインは、第２脈波情報のうち脈波が安定している範囲の脈波に対応する換算輝度値（輝度値）の平均値に基づいて取得される。これにより、正常に検出されなかった換算輝度値（輝度値）が表示に反映されてしまう事態の発生を効果的に防止でき、実際の血流変動の視覚化をより正確に行うことができる。

また、第１の設定処理で示したように、表示情報決定部１１３は、第１脈波情報と第２脈波情報の差分が大きければ大きい程、表示範囲の中心座標に対応する色を中心とした表示範囲のレンジ幅を、第１脈波情報と第２脈波情報の差分が相対的に低い場合に適用される表示範囲のレンジ幅よりも広く設定し、第１脈波情報と第２脈波情報の差分又は第１振幅に対する第２振幅の増加率が小さければ小さい程、表示範囲の中心座標に対応する色を中心とした表示範囲のレンジ幅を、第１脈波情報と第２脈波情報の差分が相対的に高い場合に適用される表示範囲のレンジ幅よりも狭く設定する（第１の比較処理）。同様に、表示情報決定部１１３は、第１振幅に対する第２振幅の増加率が大きければ大きい程、表示範囲の中心座標に対応する色を中心として表示範囲のレンジ幅を、第１振幅に対する第２振幅の増加率が相対的に低い場合に適用される表示範囲のレンジ幅よりも広く設定し、第１振幅に対する第２振幅の増加率が小さければ小さい程、表示範囲の中心座標に対応する色を中心とした表示範囲のレンジ幅を、第１振幅に対する第２振幅の増加率が相対的に高い場合に適用される表示範囲のレンジ幅よりも狭く設定する（第２の比較処理）。これにより、色相動画像において変化の程度が小さいときには狭い範囲で色が変わるのに対して変化の程度が大きいときには劇的に色が変わるので、第１の映像と第２の映像の間で生じた血流変動の程度を色相動画像の表示に分かり易く反映できる。

また、第２の設定処理に示したように、表示情報決定部１１３は、第１脈波情報と第２脈波情報の差分が大きければ大きい程、表示範囲のレンジのうち、第１脈波情報と第２脈波情報の差分が相対的に低い場合に適用される表示範囲のレンジよりも高座標側の範囲を表示範囲として設定し、第１脈波情報と第２脈波情報の差分が小さければ小さい程、表示範囲のレンジのうち、第１脈波情報と第２脈波情報の差分が相対的に高い場合に適用される表示範囲のレンジよりも低座標側の範囲を表示範囲として設定する（第１の比較処理）。同様に、表示情報決定部１１３は、第１振幅に対する第２振幅の増加率が大きければ大きい程、表示範囲のレンジのうち、第１振幅に対する第２振幅の増加率が相対的に低い場合に適用される表示範囲のレンジよりも高座標側の範囲を表示範囲として設定し、第１振幅に対する第２振幅の増加率が小さければ小さい程、表示範囲のレンジのうち、第１振幅に対する第２振幅の増加率が相対的に高い場合に適用される表示範囲のレンジよりも低座標側の範囲を表示範囲として設定する（第２の比較処理）。これにより、色相動画像において変化の程度が小さいときと、変化の程度が大きいときと、で表示される色の傾向が変わるので、第１の映像と第２の映像の間で生じた血流変動の程度を色相動画像の表示に分かり易く反映できる。

また、第３の設定処理に示したように、情報取得部１１２は、少なくとも身体の一部を撮像したことにより得られる第１映像における身体の映像情報に基づいて、身体の一部の脈波を示す第１脈波情報を取得し、第１映像よりも後に身体の一部を撮像したことにより得られる第２映像における身体の映像情報に基づいて、身体の一部の脈波を示す第２脈波情報を取得し、表示情報決定部１１３が、身体の一部の血流変動に対応する表示映像の表示の明るさを、第１脈波情報と第２脈波情報とに基づいて決定する（第１の比較処理）。あるいは、第１脈波情報から取得される脈波の振幅を示す第１振幅と第２脈波情報から取得される脈波の振幅を示す第２振幅とに基づいて表示映像の表示の明るさを決定する（第２の比較処理）。そして、表示制御部１１５は、表示情報決定部１１３が決定した表示の明るさと第２脈波情報とに基づいて決定された表示色の色合いで表示映像の表示を制御する。これにより、色相動画像において変化の程度が小さいときには低い輝度で色が変わるのに対して変化の程度が大きいときには高い輝度で明るく色が変化するので、第１の映像と第２の映像の間で生じた血流変動の程度を色相動画像の表示に分かり易く反映できる。

また、第１～第３の設定処理で示したように、電子装置１は、脈波の振幅の最大値が表示範囲の最大値に対応し、脈波の振幅の最小値が表示範囲の最小値に対応するように色相動画像が表示される制御を行う。これにより、表示範囲が変わる場合でも、脈波の波形に応じた色が決定された表示範囲に応じて適切に設定されるので、周期的に変化する血流の動きを適切に視覚化できる。

また、第２の比較処理に示したように、電子装置１は、情報取得部１１２と、表示情報決定部１１３と、表示制御部１１５と、を備える。そして、表示情報決定部１１３は、血流変動に対応する色の表示範囲を、第１脈波情報から取得される脈波の振幅を示す第１振幅と第２脈波情報から取得される脈波の振幅を示す第２振幅に基づいて決定する。

この処理によっても、第１の比較処理と同様の効果を奏する。更に、振幅に着目しているので、ユーザの向きが適切ではない場合であっても、時間軸の異なる２つの映像における血流変動をより正確にユーザに報知できる。

［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。

上記実施形態では、第１脈波情報と第２脈波情報に基づいて表示方法を、第１表示範囲、第２表示範囲及び第３表示範囲の中から選択する例を説明したが、この形式に限定されるわけでない。例えば、表示範囲を選択する処理を省略し、第１脈波情報に基づいて生成される施術前の色相動画像の表示範囲の特定値（例えば中央値）と第２脈波情報に基づいて生成される施術後の色相動画像の表示範囲の特定値（例えば中央値）とを一致させた状態で、第２脈波情報に基づいて生成される施術後の色相動画像の表示範囲（輝度）又は明るさの最大値が、第１脈波情報に基づいて生成される施術前の色相動画像における表示範囲（輝度）又は明るさの最大値よりも大きくなるように表示範囲又は明るさを決定する処理としてもよい。又は、第１脈波情報に基づいて生成される施術前の色相動画像の表示範囲の特定値（例えば中央値）と第２脈波情報に基づいて生成される施術後の色相動画像の表示範囲の特定値（例えば中央値）とを一致させた状態で、施術後の色相動画像の表示範囲（輝度）又は明るさの最小値が、施術前の色相動画像における表示範囲（輝度）又は明るさの最小値よりも小さくなるように表示範囲又は明るさを決定する処理としてもよい。あるいは、第１脈波情報と第２脈波情報の比較結果の程度に応じて表示範囲又は明るさの最大値や最小値を算出する処理としてもよい。この処理では、第１脈波情報と第２脈波情報の差が大きければ大きい程、施術後の表示範囲又は明るさの最大値が大きく算出されることになる。又は、施術後の表示範囲又は明るさの最大値の方が施術前の表示範囲又は明るさの最大値よりも大きく、且つ施術前の表示範囲又は明るさの最大値と施術後の表示範囲または明るさの最大値との差が第１脈波情報と第２脈波情報の差が小さいときと比べて大きくなるように設定する。同様に、第１脈波情報と第２脈波情報の差が小さければ小さい程、施術後の表示範囲又は明るさの最小値が小さく算出されることになる。又は、施術後の表示範囲又は明るさの最小値の方が施術前の表示範囲又は明るさの最小値よりも小さく、且つ施術前の表示範囲又は明るさの最小値と施術後の表示範囲または明るさの最小値との差が、第１脈波情報と第２脈波情報の差が大きいときと比べて小さくなるように設定する。このように、表示範囲と明るさを決定する方法は適宜変更できる。

上記実施形態では、モザイク状に色相の変化が表示される色相動画像を例として説明したが、表示形式がこの形式に限定されるわけではない。例えば、モザイク状に表示する処理ではなく特定の部位（例えば頬の一部）の一か所で色相動画像を表示する処理としてもよい。この場合、表示範囲の決定に用いた脈波情報に基づいて、ある時点に表示する色を決定する処理としてもよい。

上記実施形態では、映像中に実像を合成しているが、表示形式がこの形式に限定されるわけではない。アバター画像に合う色相動画像を作成し、青ざめたり赤くなったりするようなアニメーションの表現で血流変動を表示する形式としてもよい。

上記実施形態の電子装置１の表示部１８に反射面を有する鏡部を組み合わせた構成とすることもできる。この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されるとともに鏡部を透過した各種の情報（例えば、合成画像）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。このようにしても、上述した実施形態と同様の効果を奏することができる。

上記実施形態では、検出した輝度に対して換算する処理を行った換算輝度値を用いて比較処理を行った構成を説明したが、この構成に限定されない。換算輝度値は輝度のレベルを示す一態様であり、上記実施形態から換算処理を省略し、換算処理を行うことなく検出した輝度値を用いて比較処理を行ってもよい。

＜その他の変形例＞
例えば、上述の実施形態において、電子装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を電子装置１に追加して、電子装置１のみで全ての処理を行うようにしてもよい。

また、上述の実施形態では、本発明が適用される電子装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。例えば、本発明は、姿見等の大型の鏡に組み込まれた電子装置や、据え置き型の洗面化粧台に組み込まれた電子装置や、浴室に設置される鏡形状の電子装置に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が電子装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。

また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ－Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。

［付記１］
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する情報取得部と、
前記身体の一部の血流変動に対応する表示映像の表示色の色合いの表示範囲を、前記第１脈波情報と前記第２脈波情報とに基づいて決定する表示情報決定部と、
前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御する表示制御部と、
を備えることを特徴とする電子装置。

［付記２］
前記血流変動は、前記第１映像での前記身体の一部の血流から前記第２映像での前記身体の一部の血流への変動であることを特徴とする付記１に記載の電子装置。

［付記３］
前記表示制御部は、前記第２映像の撮像時の前記身体の一部の脈波に相当する輝度のピークとボトムとの差を含む情報を前記第２脈波情報として、前記表示映像の表示を制御することを特徴とする付記１又は２に記載の電子装置。

［付記４］
前記表示制御部は、前記表示映像として動画像を表示する制御を行うことを特徴とする付記１から３の何れかに記載の電子装置。

［付記５］
前記情報取得部は、前記第１映像における前記身体の映像情報に含まれる第１輝度情報に基づいて前記第１脈波情報を取得し、前記第２映像における前記身体の映像情報に含まれる第２輝度情報に基づいて前記第２脈波情報を取得する、
ことを特徴とする付記１から４の何れかに記載の電子装置。

［付記６］
前記第１輝度情報は、前記第１映像の前記身体の一部における少なくとも１画素の輝度値又は前記第１映像の前記身体の一部に対応する領域全体の平均輝度に関する情報であり、前記第２輝度情報は、前記第２映像の前記身体の一部における１画素の輝度値又は前記第２映像の前記身体の一部に対応する領域全体の平均輝度に関する情報である、
ことを特徴とする付記５に記載の電子装置。

［付記７］
前記表示情報決定部は、前記第１脈波情報と前記第２脈波情報との差分に基づいて前記表示色の色合いの表示範囲を決定することを特徴とする付記１から６の何れかに記載の電子装置。

［付記８］
前記第１映像及び前記第２映像は動画像であり、
前記表示情報決定部は、
前記第１脈波情報に基づいて取得される第１ベースラインと前記第２脈波情報に基づいて取得される第２ベースラインとの差分に基づいて前記表示色の色合いの表示範囲を決定する、
ことを特徴とする付記７に記載の電子装置。

［付記９］
前記第１ベースラインは、前記第１脈波情報のうち脈波が安定している範囲の前記脈波に対応する輝度値の平均値に基づいて取得され、
前記第２ベースラインは、前記第２脈波情報のうち脈波が安定している範囲の前記脈波に対応する輝度値の平均値に基づいて取得される、
ことを特徴とする付記８に記載の電子装置。

［付記１０］
前記表示情報決定部は、
前記第１脈波情報と前記第２脈波情報の差分が大きければ大きい程、前記表示範囲の中心座標に対応する色を中心とした前記表示範囲のレンジ幅を、前記第１脈波情報と前記第２脈波情報の差分が相対的に低い場合に適用される前記表示範囲のレンジ幅よりも広く設定し、
前記第１脈波情報と前記第２脈波情報の差分が小さければ小さい程、前記表示範囲の中心座標に対応する色を中心とした前記表示範囲のレンジ幅を、前記第１脈波情報と前記第２脈波情報の差分が相対的に高い場合に適用される前記表示範囲のレンジ幅よりも狭く設定する、ことを特徴とする付記７から９の何れかに記載の電子装置。

［付記１１］
前記表示情報決定部は、
前記第１脈波情報と前記第２脈波情報の差分が大きければ大きい程、前記表示範囲のレンジのうち、前記第１脈波情報と前記第２脈波情報の差分が相対的に低い場合に適用される表示範囲のレンジよりも高座標側の範囲を前記表示範囲として設定し、
前記第１脈波情報と前記第２脈波情報の差分が小さければ小さい程、前記表示範囲のレンジのうち、前記第１脈波情報と前記第２脈波情報の差分が相対的に高い場合に適用される前記表示範囲のレンジよりも低座標側の範囲を前記表示範囲として設定する、
ことを特徴とする付記７から９の何れかに記載の電子装置。

［付記１２］
前記表示情報決定部は、前記身体の一部の血流変動に対応する表示映像の表示色の色合いの表示範囲を、前記第１脈波情報から取得される脈波の振幅を示す第１振幅と前記第２脈波情報から取得される脈波の振幅を示す第２振幅とに基づいて決定する表示情報決定部と、
前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御する表示制御部と、
を備えることを特徴とする付記１から１１の何れかに記載の電子装置。

［付記１３］
前記表示情報決定部は、
前記第１振幅に対する前記第２振幅の増加率が大きければ大きい程、前記表示範囲の中心座標に対応する色を中心とした前記表示範囲のレンジ幅を、前記第１振幅に対する前記第２振幅の増加率が相対的に低い場合に適用される前記表示範囲のレンジ幅よりも広く設定し、
前記第１振幅に対する前記第２振幅の増加率が小さければ小さい程、前記表示範囲の中心座標に対応する色を中心とした前記表示範囲のレンジ幅を、前記第１振幅に対する前記第２振幅の増加率が相対的に高い場合に適用される前記表示範囲のレンジ幅よりも狭く設定する、
ことを特徴とする付記１２に記載の電子装置。

［付記１４］
前記表示情報決定部は、
前記第１振幅に対する前記第２振幅の増加率が大きければ大きい程、前記表示範囲のレンジのうち、前記第１振幅に対する前記第２振幅の増加率が相対的に低い場合に適用される前記表示範囲のレンジよりも高座標側の範囲を前記表示範囲として設定し、
前記第１振幅に対する前記第２振幅の増加率が小さければ小さい程、前記表示範囲のレンジのうち、前記第１振幅に対する前記第２振幅の増加率が相対的に高い場合に適用される前記表示色の色合いの表示範囲のレンジよりも低座標側の範囲を前記表示範囲として設定する、
ことを特徴とする付記１２に記載の電子装置。

［付記１５］
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する情報取得部と、
前記身体の一部の血流変動に対応する表示映像の表示の明るさを、前記第１脈波情報と前記第２脈波情報とに基づいて決定する表示情報決定部と、
前記表示の明るさと前記第２脈波情報とに基づいて決定された表示色の色合いで前記表示映像の表示を制御する表示制御部と、
を備えることを特徴とする電子装置。

［付記１６］
前記表示情報決定部は、前記身体の一部の血流変動に対応する表示映像の表示の明るさを、前記第１脈波情報から取得される脈波の振幅を示す第１振幅と前記第２脈波情報から取得される脈波の振幅を示す第２振幅とに基づいて決定する、
ことを特徴とする付記１５に記載の電子装置。

［付記１７］
前記脈波の振幅の最大値が、前記表示情報決定部で決定された表示範囲における前記表示色の色合いの最大値に対応し、前記脈波の振幅の最小値が、前記表示情報決定部で決定された表示範囲における前記表示色の色合いの最小値に対応するように、前記表示制御部は前記表示映像の表示を制御することを特徴とする付記１から１６の何れかに記載の電子装置。

［付記１８］
身体を撮像した映像に基づいて血流を計測する電子装置の制御方法であって、
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得するステップと、
前記身体の一部の血流変動に対応する表示映像の表示色の色合いの表示範囲を、前記第１脈波情報と前記第２脈波情報とに基づいて決定するステップと、
前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御するステップと、
を含むことを特徴とする電子装置の制御方法。


［付記１９］
身体を撮像した映像に基づいて血流を計測する電子装置に、
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する取得機能と、
前記身体の一部の血流変動に対応する表示映像の表示色の色合いの表示範囲を、前記第１脈波情報と前記第２脈波情報とに基づいて決定する決定機能と、
前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御する表記制御機能と、
を実現することを特徴とする電子装置の制御プログラム。

［付記２０］
身体を撮像した映像に基づいて血流を計測する電子装置の制御方法であって、
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得するステップと、
前記身体の一部の血流変動に対応する表示映像の表示の明るさを、前記第１脈波情報と前記第２脈波情報とに基づいて決定するステップと、
前記表示の明るさと前記第２脈波情報とに基づいて決定された表示色の色合いで前記表示映像の表示を制御するステップと、
を含むことを特徴とする電子装置の制御方法。

［付記２１］
身体を撮像した映像に基づいて血流を計測する電子装置に、
少なくとも身体の一部を撮像したことにより得られる第１映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる第２映像における前記身体の映像情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する取得機能と、
前記身体の一部の血流変動に対応する表示映像の表示の明るさを、前記第１脈波情報と前記第２脈波情報とに基づいて決定する決定機能と、
前記表示の明るさと前記第２脈波情報とに基づいて決定された表示色の色合いで前記表示映像の表示を制御する表示制御機能と、
を実現することを特徴とする電子装置の制御プログラム。

１・・・電子装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・表示部１８・・・記憶部１９・・・通信部，２１・・・ドライブ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・設定処理部，１１２・・・情報取得部，１１３・・・表示情報決定部，１１４・・・画像生成部，１１５・・・表示制御部，Ｓ・・・計測システム

Claims (18)

1. 少なくとも身体の一部を撮像したことにより得られる動画像である第１映像における前記身体の映像情報に含まれる第１輝度情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる動画像である第２映像における前記身体の映像情報に含まれる第２輝度情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する情報取得部と、
   前記第１映像での前記身体の一部の血流から前記第２映像での前記身体の一部の血流への変動に相当する前記身体の一部の血流変動に対応する色相動画像である表示映像の表示色の色合いの表示範囲を、前記第１脈波情報から前記第２脈波情報への変化の程度に基づいて決定する表示情報決定部と、
   前記第２脈波情報の振幅のプラスのピークが前記表示範囲の最大値に対応し、前記第２脈波情報の振幅のマイナスのピークが前記表示範囲の最小値に対応するように、前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御する表示制御部と、
   を備えることを特徴とする電子装置。
2. 前記表示制御部は、前記第２映像の撮像時の前記身体の一部の脈波に相当する輝度のピークとボトムとの差を含む情報を前記第２脈波情報として、前記表示映像の表示を制御することを特徴とする請求項１に記載の電子装置。
3. 前記第１輝度情報は、前記第１映像の前記身体の一部における少なくとも１画素の輝度値又は前記第１映像の前記身体の一部に対応する領域全体の平均輝度に関する情報であり、前記第２輝度情報は、前記第２映像の前記身体の一部における少なくとも１画素の輝度値又は前記第２映像の前記身体の一部に対応する領域全体の平均輝度に関する情報である、
   ことを特徴とする請求項１又は２に記載の電子装置。
4. 前記表示情報決定部は、前記第１脈波情報と前記第２脈波情報との差分に基づいて前記表示色の色合いの表示範囲を決定することを特徴とする請求項１から３の何れかに記載の電子装置。
5. 前記表示情報決定部は、
   前記第１脈波情報のうち所定時間における輝度の平均値に基づいて取得される第１ベースラインと前記第２脈波情報のうち前記所定時間における輝度の平均値に基づいて取得される第２ベースラインとの差分に基づいて前記表示色の色合いの表示範囲を決定することを特徴とする、
   請求項４に記載の電子装置。
6. 前記所定時間とは、前記第１脈波情報及び前記第２脈波情報のうち脈波が安定している範囲の時間である、
   ことを特徴とする請求項５に記載の電子装置。
7. 前記表示情報決定部は、
   前記第１脈波情報と前記第２脈波情報の差分が大きければ大きい程、前記表示範囲の中心座標に対応する色を中心とした前記表示範囲のレンジ幅を、前記第１脈波情報と前記第２脈波情報の差分が相対的に低い場合に適用される前記表示範囲のレンジ幅よりも広く設定し、
   前記第１脈波情報と前記第２脈波情報の差分が小さければ小さい程、前記表示範囲の中心座標に対応する色を中心とした前記表示範囲のレンジ幅を、前記第１脈波情報と前記第２脈波情報の差分が相対的に高い場合に適用される前記表示範囲のレンジ幅よりも狭く設定する、
   ことを特徴とする請求項４から６の何れかに記載の電子装置。
8. 前記表示情報決定部は、
   前記第１脈波情報と前記第２脈波情報の差分が大きければ大きい程、前記表示範囲のレンジのうち、前記第１脈波情報と前記第２脈波情報の差分が相対的に低い場合に適用される表示範囲のレンジよりも高座標側の範囲を前記表示範囲として設定し、
   前記第１脈波情報と前記第２脈波情報の差分が小さければ小さい程、前記表示範囲のレンジのうち、前記第１脈波情報と前記第２脈波情報の差分が相対的に高い場合に適用される前記表示範囲のレンジよりも低座標側の範囲を前記表示範囲として設定する、
   ことを特徴とする請求項４から６の何れかに記載の電子装置。
9. 前記表示情報決定部は、前記身体の一部の血流変動に対応する表示映像の表示色の色合いの表示範囲を、前記第１脈波情報から取得される脈波の振幅を示す第１振幅から前記第２脈波情報から取得される脈波の振幅を示す第２振幅への増加率に基づいて決定し、
   前記表示制御部は、前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御する、
   ことを特徴とする請求項１から３の何れかに記載の電子装置。
10. 前記表示情報決定部は、
    前記第１振幅に対する前記第２振幅の増加率が大きければ大きい程、前記表示範囲の中心座標に対応する色を中心とした前記表示範囲のレンジ幅を、前記第１振幅に対する前記第２振幅の増加率が相対的に低い場合に適用される前記表示範囲のレンジ幅よりも広く設定し、
    前記第１振幅に対する前記第２振幅の増加率が小さければ小さい程、前記表示範囲の中心座標に対応する色を中心とした前記表示範囲のレンジ幅を、前記第１振幅に対する前記第２振幅の増加率が相対的に高い場合に適用される前記表示範囲のレンジ幅よりも狭く設定する、
    ことを特徴とする請求項９に記載の電子装置。
11. 前記表示情報決定部は、
    前記第１振幅に対する前記第２振幅の増加率が大きければ大きい程、前記表示範囲のレンジのうち、前記第１振幅に対する前記第２振幅の増加率が相対的に低い場合に適用される前記表示範囲のレンジよりも高座標側の範囲を前記表示範囲として設定し、
    前記第１振幅に対する前記第２振幅の増加率が小さければ小さい程、前記表示範囲のレンジのうち、前記第１振幅に対する前記第２振幅の増加率が相対的に高い場合に適用される前記表示色の色合いの表示範囲のレンジよりも低座標側の範囲を前記表示範囲として設定する、
    ことを特徴とする請求項９に記載の電子装置。
12. 少なくとも身体の一部を撮像したことにより得られる動画像である第１映像における前記身体の映像情報に含まれる第１輝度情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる動画像である第２映像における前記身体の映像情報に含まれる第２輝度情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する情報取得部と、
    前記第１映像での前記身体の一部の血流から前記第２映像での前記身体の一部の血流への変動に相当する、前記身体の一部の血流変動に対応する、色相動画像である表示映像の表示の明るさを、前記第１脈波情報から前記第２脈波情報への変化の程度に基づいて決定する表示情報決定部と、
    前記第２脈波情報の振幅のプラスのピークが前記表示映像の表示色の色合いの表示範囲の最大値に対応し、前記第２脈波情報の振幅のマイナスのピークが前記表示映像の表示色の色合いの表示範囲の最小値に対応する、前記表示色の色合いと、前記決定された表示の明るさとによって、前記表示映像の表示を制御する表示制御部と、
    を備えることを特徴とする電子装置。
13. 前記表示情報決定部は、前記身体の一部の血流変動に対応する表示映像の表示の明るさを、前記第１脈波情報から取得される脈波の振幅を示す第１振幅から、前記第２脈波情報から取得される脈波の振幅を示す第２振幅への増加率に基づいて決定する、
    ことを特徴とする請求項１２に記載の電子装置。
14. 前記脈波の振幅のプラスのピークが、前記表示情報決定部で決定された表示範囲における前記表示色の色合いの最大値に対応し、前記脈波の振幅のマイナスのピークが、前記表示情報決定部で決定された表示範囲における前記表示色の色合いの最小値に対応するように、前記表示制御部は前記表示映像の表示を制御することを特徴とする請求項１から１３の何れかに記載の電子装置。
15. 身体を撮像した映像に基づいて血流を計測する電子装置の作動方法であって、
    少なくとも身体の一部を撮像したことにより得られる動画像である第１映像における前記身体の映像情報に含まれる第１輝度情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる動画像である第２映像における前記身体の映像情報に含まれる第２輝度情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得するステップと、
    前記第１映像での前記身体の一部の血流から前記第２映像での前記身体の一部の血流への変動に相当する前記身体の一部の血流変動に対応する色相動画像である表示映像の表示色の色合いの表示範囲を、前記第１脈波情報から前記第２脈波情報への変化の程度に基づいて決定するステップと、
    前記第２脈波情報の振幅のプラスのピークが前記表示範囲の最大値に対応し、前記第２脈波情報の振幅のマイナスのピークが前記表示範囲の最小値に対応するように、前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御するステップと、
    を含むことを特徴とする電子装置の作動方法。
16. 身体を撮像した映像に基づいて血流を計測する電子装置に、
    少なくとも身体の一部を撮像したことにより得られる動画像である第１映像における前記身体の映像情報に含まれる第１輝度情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる動画像である第２映像における前記身体の映像情報に含まれる第２輝度情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する取得機能と、
    前記第１映像での前記身体の一部の血流から前記第２映像での前記身体の一部の血流への変動に相当する前記身体の一部の血流変動に対応する色相動画像である表示映像の表示色の色合いの表示範囲を、前記第１脈波情報から前記第２脈波情報への変化の程度に基づいて決定する決定機能と、
    前記第２脈波情報の振幅のプラスのピークが前記表示範囲の最大値に対応し、前記第２脈波情報の振幅のマイナスのピークが前記表示範囲の最小値に対応するように、前記表示範囲と前記第２脈波情報とに基づいて決定された前記表示色の色合いで前記表示映像の表示を制御する表示制御機能と、
    を実現させることを特徴とする電子装置の制御プログラム。
17. 身体を撮像した映像に基づいて血流を計測する電子装置の作動方法であって、
    少なくとも身体の一部を撮像したことにより得られる動画像である第１映像における前記身体の映像情報に含まれる第１輝度情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる動画像である第２映像における前記身体の映像情報に含まれる第２輝度情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得するステップと、
    前記第１映像での前記身体の一部の血流から前記第２映像での前記身体の一部の血流への変動に相当する、前記身体の一部の血流変動に対応する、色相動画像である表示映像の表示の明るさを、前記第１脈波情報から前記第２脈波情報への変化の程度に基づいて決定するステップと、
    前記第２脈波情報の振幅のプラスのピークが前記表示映像の表示色の色合いの表示範囲の最大値に対応し、前記第２脈波情報の振幅のマイナスのピークが前記表示映像の表示色の色合いの表示範囲の最小値に対応する、前記表示色の色合いと、前記決定された表示の明るさとによって、前記表示映像の表示を制御するステップと、
    を含むことを特徴とする電子装置の作動方法。
18. 身体を撮像した映像に基づいて血流を計測する電子装置に、
    少なくとも身体の一部を撮像したことにより得られる動画像である第１映像における前記身体の映像情報に含まれる第１輝度情報に基づいて、前記身体の一部の脈波を示す第１脈波情報を取得し、前記第１映像よりも後に前記身体の一部を撮像したことにより得られる動画像である第２映像における前記身体の映像情報に含まれる第２輝度情報に基づいて、前記身体の一部の脈波を示す第２脈波情報を取得する情報取得機能と、
    前記第１映像での前記身体の一部の血流から前記第２映像での前記身体の一部の血流への変動に相当する、前記身体の一部の血流変動に対応する、色相動画像である表示映像の表示の明るさを、前記第１脈波情報から前記第２脈波情報への変化の程度に基づいて決定する表示情報決定機能と、
    前記第２脈波情報の振幅のプラスのピークが前記表示映像の表示色の色合いの表示範囲の最大値に対応し、前記第２脈波情報の振幅のマイナスのピークが前記表示映像の表示色の色合いの表示範囲の最小値に対応する、前記表示色の色合いと、前記決定された表示の明るさとによって、前記表示映像の表示を制御する表示制御機能と、
    を実現させることを特徴とする電子装置の制御プログラム。

Images