JP2020057153A - Display control device, display control method and display control program - Google Patents
Display control device, display control method and display control program Download PDFInfo
- Publication number
- JP2020057153A JP2020057153A JP2018186722A JP2018186722A JP2020057153A JP 2020057153 A JP2020057153 A JP 2020057153A JP 2018186722 A JP2018186722 A JP 2018186722A JP 2018186722 A JP2018186722 A JP 2018186722A JP 2020057153 A JP2020057153 A JP 2020057153A
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- display control
- user
- biological information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 47
- 238000003384 imaging method Methods 0.000 claims description 44
- 238000012545 processing Methods 0.000 claims description 41
- 230000009471 action Effects 0.000 claims description 22
- 230000017531 blood circulation Effects 0.000 claims description 14
- 238000004458 analytical method Methods 0.000 abstract description 50
- 230000008569 process Effects 0.000 description 35
- 239000002131 composite material Substances 0.000 description 28
- 230000008859 change Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 13
- 230000006399 behavior Effects 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 230000001276 controlling effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 230000002194 synthesizing effect Effects 0.000 description 7
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 208000029152 Small face Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 210000003467 cheek Anatomy 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 210000002751 lymph Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010005746 Blood pressure fluctuation Diseases 0.000 description 1
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007920 subcutaneous administration Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Measuring And Recording Apparatus For Diagnosis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関する。 The present invention relates to a display control device, a display control method, and a display control program.
医療機器やヘルスケア機器においてバイタルセンシングをしてセンシングした結果を表示する際、数値やグラフを用いて表示することが一般的である。この場合、数値の意味やグラフの見方や読み方を予め理解しておく必要があり、直感的にわかるような表示方法は無かった。 When displaying the result of performing vital sensing in a medical device or a healthcare device, it is common to use a numerical value or a graph to display the result. In this case, it is necessary to understand in advance the meaning of numerical values and how to read and read the graph, and there is no intuitive display method.
この点、特許文献１は、ユーザの生体情報を検出し、生体情報に基づいて表示キャラクタの表情又は動作を制御する技術を開示している。
In this regard,
特許文献１には、ユーザの状況としての生体情報に基づいて、予め記録されている複数の表示キャラクタ画像から表示キャラクタの表情又は動作を決定することが記載されているが、このような表示ではユーザは自身の生体情報に係る状況を容易に認識することが難しい場合があった。
本発明はこのような問題点に鑑みてなされたものであり、ユーザは自身の生体情報に係る状況を容易に認識可能とすることを目的とする。 The present invention has been made in view of such a problem, and an object of the present invention is to enable a user to easily recognize a situation related to his / her biological information.
上記目的を達成するため、本発明の一態様の表示制御装置は、
ユーザに対応したキャラクタを表示する表示手段と、
前記ユーザに係る第１の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御手段と、
を備えることを特徴とする。
In order to achieve the above object, a display control device of one embodiment of the present invention includes:
Display means for displaying a character corresponding to the user;
Biological information obtaining means for obtaining first biological information related to the user;
Display control means for controlling dynamic display of the character by the display means based on the first biological information acquired by the biological information acquisition means;
It is characterized by having.
本発明によれば、ユーザの状況を容易に認識可能とすることができる。 ADVANTAGE OF THE INVENTION According to this invention, a user's situation can be made easily recognizable.
以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る表示制御装置１は、ユーザが携帯可能な自立式の鏡として構成される。そして、表示制御装置１は、鏡を視認するユーザに対して、時間、若しくはユーザの指示に応じてガイダンス内容が変更される一連のガイダンスを行うための補助情報を、所定のタイミングで切り換えながら表示することにより、ユーザに対するガイダンスを実現する。
この場合に、表示制御装置１は、補助情報を、ユーザの実際の画像の代替となる、代替画像に合成することにより合成画像を生成する。また、表示制御装置１は、一連のガイダンスを行う場合に、この合成画像と、ユーザの実際の画像とを、それぞれ表示画面上に切り換えながら表示する。
更に、表示制御装置１は、ユーザが一連のガイダンスに従って、例えばマッサージ等の行動をした結果、ユーザの生体情報が変化することに応じて、合成画像の表示を変化させる。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Outline of Embodiment]
The
In this case, the
Further, the
このような表示制御装置１によれば、人為的な像である補助情報の画像と、同様に人為的な像である代替画像とを合成することから、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。これに加えて、ユーザは生体情報の変化をきめ細かく認識することができる。
つまり、表示制御装置１によれば、ユーザの状況を容易に認識可能となる。
According to such a
That is, according to the
［システム構成］
図１は、本実施形態に係る表示制御装置１が含まれる表示制御システムＳの全体構成を示すブロック図である。図１に示すように、表示制御システムＳは、複数の表示制御装置１、ネットワーク２及びサーバ群３を含む。
表示制御装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の表示制御装置１が表示制御システムＳに含まれていてよい。なお、以下の説明において、ｎ台の表示制御装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「表示制御装置１」と称する。
[System configuration]
FIG. 1 is a block diagram illustrating an overall configuration of a display control system S including a
The number of the
表示制御装置１は、上述した通り、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を行うことにより、ガイダンスを行うと共に、ユーザの生体情報等の状況に応じた表示を行う装置である。表示制御装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。
As described above, the
ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
The
サーバ群３には、表示制御装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、表示制御装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、表示制御装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる表示制御装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。
ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
The
However, this is only an example, and a server having another function may be included in the
［外観構成］
図２は、本発明の一実施形態に係る表示制御装置１の前面の外観構成を示す構成図である。また、図３は、表示制御装置１の側面の外観構成を示す構成図である。表示制御装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。
[Appearance configuration]
FIG. 2 is a configuration diagram illustrating an external configuration of a front surface of the
図２及び図３に示すように、表示制御装置１は、本体部３０と、脚部３１と、ヒンジ部３２を含んで構成される。本体部３０は、表示部１８や、図４を参照して後述するその他のハードウェアを含む部分である。また、脚部３１とヒンジ部３２は、表示制御装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に接合される。
図３（Ａ）に示すように、ユーザは、表示制御装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、表示制御装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、表示制御装置１を自立して設置することができる。なお、表示制御装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。
As shown in FIGS. 2 and 3, the
As shown in FIG. 3A, when carrying the
本体部３０は、上述したように表示部１８を含む。表示部１８は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１８は、例えば、撮像部１６が被写体として撮像したユーザの実像であるユーザ画像（図中のユーザ画像５１に相当）や、ユーザの代替となるアバターの画像であるアバター画像（図中のアバター画像５２に相当）や、ガイダンスを行うための補助情報であるガイド画像（図中のガイド画像５３に相当）、ユーザの生体情報を示す生体情報画像（図中の生体情報画像５４に相当）を表示する。また、この場合に、表示部１８では、アバター画像にガイド画像が合成され、重畳して表示される。
ユーザは、表示部１８を視認することにより、これらの多様な情報を一度に把握することができる。なお、このような表示部１８の表示が、見た目上のギャップがない、ユーザが視認するのに適した一体感のあるものである点については、上述した通りである。
The
By visually recognizing the
図２に示すように、表示制御装置１は、外観構成として、更に、撮像部１６、入力部１７及び表示部１８を備えている。
As illustrated in FIG. 2, the
撮像部１６は、表示制御装置１の利用時に、表示部１８に正対するユーザを被写体として撮像する部分である。撮像部１６は、表示部１８に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、表示部１８の上部に配置される。
The
入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、表示制御装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。
The
以上、表示制御装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、表示制御装置１の外観構造は、この例に限定されない。
The appearance structure of the
例えば、表示制御装置１は、表示部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、表示制御装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、表示部１８の上部や下部に配置されてもよく、表示部１８の周辺全体に配置されてもよい。
For example, the
また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１８の一部がタッチパネルとして構成され、入力部１７と表示部１８とが一体に構成されてもよい。
Further, for example, the number and arrangement of the
［ハードウェア構成］
図４は、表示制御装置１のハードウェアの構成を示すブロック図である。
図４に示すように、表示制御装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
[Hardware configuration]
FIG. 4 is a block diagram illustrating a hardware configuration of the
As shown in FIG. 4, the
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１８と、記憶部１９と、通信部２０と、ドライブ２１とが接続されている。
The
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
Although not shown, the
The optical lens unit includes a lens that condenses light, such as a focus lens and a zoom lens, for photographing a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. A zoom lens is a lens that changes the focal length freely within a certain range.
The
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。
The image sensor includes a photoelectric conversion element, an AFE (Analog Front End), and the like.
The photoelectric conversion element includes, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (images) a subject image, accumulates image signals for a certain period of time, and sequentially supplies the accumulated image signals to the AFE as analog signals.
The AFE executes various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. A digital signal is generated by various signal processing, and is output as an output signal of the
Such an output signal of the
入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
The
表示部１８は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。
The
記憶部１９は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
The
通信部２０は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。
The
ドライブ２１は、リムーバブルメディア１００を装着可能なインターフェースにより構成される。ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の合成表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２１によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部１９にインストールされる。
The
なお、表示制御装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、表示制御装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。
The
［機能的構成］
図５は、表示制御装置１の機能的構成のうち、合成表示処理を実行するための機能的構成を示す機能ブロック図である。
合成表示処理とは、表示制御装置１が、補助情報を、代替画像に合成することにより合成画像を生成し、一連のガイダンスを行う場合に、この合成画像と、ユーザの実際の画像とを、それぞれ表示画面上に切り換えながら表示すると共に、ユーザの生体情報に基づいて、合成画像の動的な表示を制御する一連の処理である。
[Functional configuration]
FIG. 5 is a functional block diagram showing a functional configuration for executing the composite display process among the functional configurations of the
Synthetic display processing means that when the
合成表示処理が実行される場合、図５に示すように、ＣＰＵ１１において、設定処理部１１１と、取得解析部１１２と、タイミング制御部１１３と、画像合成部１１４と、表示制御部１１５と、行動認識部１１６と、キャラクタ作成部１１７が機能する。
また、記憶部１９の一領域には、画像情報記憶部１９１と、ガイダンス情報記憶部１９２と、アバター情報記憶部１９３と、基準値情報記憶部１９４が設定される。
When the combined display process is performed, as shown in FIG. 5, in the
In one area of the
画像情報記憶部１９１は、ユーザの顔画像情報を格納する。この顔画像情報は、撮像部１６によって撮像されたユーザの顔画像であってよく、この顔画像は静止画でも動画でもよい。更に、顔画像情報は顔画像に加えて、顔画像中の特徴点、例えば顔の輪郭や、顔の中での目・鼻・口の位置（座標）、肌の色味等に係る数値情報を含んでもよい。とりわけ画像情報記憶部１９１は、ユーザが表示制御装置１の電源を入れた時点でのユーザの顔画像情報や、後述のようにユーザが一連のガイダンスに基づいた行動を行う前後での顔画像情報を格納することが可能である。
The image
ガイダンス情報記憶部１９２には、合成表示処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部１９２には、合成表示処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等のコンテンツデータが格納される。また、ガイダンス情報記憶部１９２には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部１９２には、合成表示処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ等であってもよい。また、各データは一連のガイダンスを実現する際に読み出しやすいように、各ガイダンス単位で、１つのライブラリとして格納されてもよい。
The guidance
アバター情報記憶部１９３には、ユーザの実像の代替となるアバターに関する各種のデータが格納される。例えば、アバター情報記憶部１９３には、合成表示処理において表示されるアバター画像を生成するための、アバター画像のデータや、ガイダンス等において何れのアバター画像を表示するかの条件等が格納される。なお、アバター画像は、予め生成された画像データであってもよく、例えば後述のキャラクタ作成部１１７によって、演算に基づいてリアルタイムに生成されるＣＧ等であってもよい。アバター画像は、例えば、人間や動物を模したキャラクタの画像である。また、アバター画像は、任意の数だけ用意されていてよく、ユーザの属性（例えば、ユーザの性別や年齢や嗜好）や、ガイダンスの内容に応じて適宜選択されてもよい。また、アバター画像は、キャラクタ等の動的なアニメーション表示を実現するための、連続した画像群であってもよい。また、各データは一連のガイダンスを実現する際に読み出しやすいように、各ガイダンス単位で、１つのライブラリとして格納されてもよい。
The avatar
基準値情報記憶部１９４には、生体情報の基準値が格納される。この基準値としては、例えば、ユーザが初めて表示制御システムＳにログインした際の生体情報の値を格納してもよい。あるいは、ユーザがこれまでに表示制御システムＳにログインしてきた際の生体情報の平均値を格納してもよい。あるいは、ユーザが前回表示制御システムＳにログインした際の生体情報の値を格納してもよい。あるいは、ユーザが今回表示制御システムＳにログインすると同時に、撮像部１６によって撮像された顔画像情報から取得される生体情報の値を格納してもよい。
The reference value
なお、上述したような画像情報記憶部１９１、ガイダンス情報記憶部１９２、アバター情報記憶部１９３、及び基準値情報記憶部１９４に格納される各情報は、記憶部１９にのみ格納されていてもよいが、ドライブ２１によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部１９２やアバター情報記憶部１９３に格納される各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。
The information stored in the image
また、以下に説明する各機能ブロックでは、合成表示処理を行う前提として座標情報が設定されている。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、及び表示部１８の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、並びに、各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。以下に説明する各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより合成表示処理を行うことができる。これら各座標系の対応関係は、例えば、表示制御装置１の製造時に、各座標系を定義し、撮像部１６の光軸の方向やズーム率の調整を伴うキャリブレーションを行うことにより設定される。
In each of the functional blocks described below, coordinate information is set on the assumption that the composite display process is performed. The coordinate information is used to define each coordinate system such as an imaging coordinate system which is a coordinate system for an image captured by the
設定処理部１１１は、合成表示処理に関する設定等の制御を行う部分である。
設定処理部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、合成表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。
また、設定処理部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、合成表示処理を行うユーザを認証する。例えば、設定処理部１１１は、撮像部１６によって撮像されたユーザの顔画像を含む顔画像情報を認証サーバに送信し、認証サーバで登録済みの顔画像情報と照合することにより、合成表示処理を行うユーザを認証すると共に、ログイン処理を行ってもよい。
更に設定処理部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、合成表示処理におけるユーザのプロファイル情報を更新する。
The setting processing unit 111 is a part that performs control such as setting related to the combined display processing.
The setting processing unit 111 acquires, for example, application software for performing composite display processing from an application distribution server included in the
In addition, the setting processing unit 111 authenticates a user who performs the combined display process, for example, by communicating with an authentication server included in the
Further, the setting processing unit 111 updates the profile information of the user in the combined display process, for example, by communicating with a measurement data storage server included in the
また、設定処理部１１１は、合成表示処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部１１１は、メニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、合成表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。
Further, the setting processing unit 111 displays a menu for providing guidance based on application software for performing composite display processing. For example, based on the guidance, a menu including options for selecting the content of the guidance, such as performing “small face esthetic treatment”, “smile massage”, “measurement of biological information”, and “make (makeup)”, is provided. indicate. In addition, the setting processing unit 111 receives selection of any guidance content from the user who has referred to the menu via the
取得解析部１１２は、合成表示処理において、撮像部１６による撮像の被写体となったユーザの画像を取得すると共に、取得したユーザの画像を解析し、解析結果に基づいてユーザに関する情報（以下、「被写体情報」と称する。）を取得する部分である。被写体情報とは、例えば、ユーザの顔等における各部位の位置を示す座標や、ユーザの顔等における各部位の色や、ユーザの生体情報等である。更に、取得解析部１１２は、ユーザの画像と被写体情報とを紐づけて、画像情報記憶部１９１に格納する。
The
被写体情報の取得のために、取得解析部１１２は、撮像部１６が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの状態を検出する。
例えば、取得解析部１１２は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。そして、取得解析部１１２は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザの顔の角度（すなわち、ユーザの顔の向き）や、ユーザの視線の方向や、ユーザの口角の開き具合といった状態を検出する。
In order to acquire the subject information, the
For example, the
また、取得解析部１１２は、他にも、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報（バイタルデータと呼ばれることもある。）の計測を行う。この場合、上記の検出された所定の領域は、非接触で生体情報を取得するための関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に相当する。
そして、取得解析部１１２は、例えば、この関心領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより計測を行う。取得解析部１１２が計測する生体情報は、例えば、脈拍、脈波、及び血流等である。より具体的には、取得解析部１１２は、例えば、緑色信号に基づいて血液量の変化分を求め、この変化分に基づいて、脈拍、脈波、及び血流等の生体情報を求めることが可能である。
In addition, the
Then, the
また、取得解析部１１２は、１つの関心領域の画像を対象として計測を行ってもよいが、複数の関心領域の画像を対象として計測を行ってもよい。とりわけ、取得解析部１１２は、ユーザの顔画像中、例えば輪郭と眼の位置を検出して、それらとの相対位置に基づき、自動的に、額、瞼、頬、鼻周辺、唇周り、顎、首、デコルテ等の複数の領域を関心領域として認識することが可能である。図６は、顔画像中の関心領域の配置例を示す。図６の例において、取得解析部１１２は、首、顎、頬、額を関心領域として自動的に認識している。
この場合、取得解析部１１２は、脈拍の遅延がわかる離れた２点（例えば頬と額、又は、額か頬と手のひら等）の関心領域を対象として測定を行なうことにより、例えば、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。
また、取得解析部１１２は、場所の異なる複数の領域から複数の生体情報を取得するのみならず、同一の領域において互いに異なる複数の時点において生体情報を計測することにより、複数の生体情報を取得してもよい。この場合、取得解析部１１２は、第１の生体情報を取得した後、後述の行動認識部１１６によってユーザによる所定の行動が認識されたことをトリガとして、第２の生体情報を取得してもよい。あるいは、取得解析部１１２は、後述の行動認識部１１６によってユーザによる所定の行動（例えばマッサージ）が認識されたことをトリガとして、先んじて第２の生体情報を取得し、第２の生体情報を取得した後に、画像情報記憶部１９１に記憶されたユーザの顔画像情報から、第１の生体情報を取得してもよい。
また、取得解析部１１２は、測定した生体情報に対してノイズ除去等を行うことにより、平均化処理を施すようにしてもよい。
更に、取得解析部１１２は、映像脈波の解析、脈拍数や脈波波形や脈波の揺らぎを測定することで、ストレス度（例えば、心拍間隔時系列（ＦＦＩ）や脈波振幅時系列（ＰＡ）に基づいたＬＦ／ＨＦ指標や、ローレンツプロット指標等）を算出して取得するようにしてもよい。
Further, the
In this case, the
Further, the
In addition, the
Further, the
なお、取得解析部１１２による生体情報の測定は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
＜参考文献＞
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成２９年１２月１５日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞
The measurement of the biological information by the
<References>
Tohoku University Cyber Science Center Advanced Information Technology Research Department, Tohoku University Innovative Innovation Research Organization, "Successful development of blood flow monitoring device" Magic Mirror "", [online], September 27, 2016, [Heisei 29 December 15, 2002], Internet <URL: http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf>
取得解析部１１２は、このようにして取得した、ユーザの顔の向きや、生体情報といった被写体情報を、後述のタイミング制御部１１３等に対して出力する。
タイミング制御部１１３は、一連のガイダンスにおいて、ガイド画像や、アバター画像や、これらを合成した合成画像等の各画像を表示したり、音データ等を出力したりするタイミング（以下、「ガイダンスタイミング」と称する。）を制御する部分である。タイミング制御部１１３は、ガイダンス情報記憶部１９２に格納されている情報（例えば、上述した、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件）と、アバター情報記憶部１９３に格納されている情報（例えば、上述した、ガイダンス等において何れのアバター画像を表示するかの条件）と、その他の情報（例えば、経過時間や被写体情報）に基づいて、ガイダンスタイミングを制御する。
The
In a series of guidance, the
例えば、表示を行う条件が時間経過に関するものであれば、タイミング制御部１１３は、時間経過した場合に、表示を行うべきガイダンスタイミングであると判定し、ガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力する。また、例えば、表示を行う条件が被写体情報の変化に関するもの（例えば、ユーザの顔の向きが所定の向きに変化した、生体情報が所定の値に変化した等）であれば、タイミング制御部１１３は、被写体情報が変化した場合に、表示を行うべきガイダンスタイミングであると判定し、ガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力する。
For example, if the display condition is related to the passage of time, the
この場合に、例えば、ユーザの顔の向きが横向きになった場合に、横向きのアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングであると判定し、横向きのアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力するようにしてもよい。このようにすれば、表示制御部１１５は、ユーザの顔の動きと一致するようにアバター画像（又は、このアバター画像を含む合成画像）を表示することができる。
In this case, for example, when the orientation of the user's face becomes horizontal, it is determined that it is the guidance timing to display a horizontal avatar image (or a composite image including this avatar image), and the horizontal avatar image ( Alternatively, the fact that the guidance timing for displaying the composite image including the avatar image) has arrived may be output to the
また、例えば、マッサージによりユーザの血流や脈拍が所定の値となった場合に、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングであると判定し、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示するガイダンスタイミングが到来した旨を、後述の表示制御部１１５等に対して出力するようにしてもよい。このようにすれば、表示制御部１１５は、マッサージの効果が十分に出て、血流や脈拍が変化した場合に、次のマッサージに関するアバター画像（又は、このアバター画像を含む合成画像）を表示することができる。
Further, for example, when the user's blood flow or pulse reaches a predetermined value due to the massage, it is determined that it is the guidance timing to display an avatar image (or a composite image including the avatar image) related to the next massage, The fact that the guidance timing for displaying the avatar image relating to the next massage (or the composite image including the avatar image) has arrived may be output to the
画像合成部１１４は、ガイダンス情報記憶部１９２に格納されているガイド画像と、アバター情報記憶部１９３に格納されているアバター画像とを合成することにより、アバター画像にガイド画像が合成された画像（以下、「合成画像」と称する。）を生成する部分である。画像合成部１１４は、ガイダンス情報記憶部１９２からガイダンスにおいて表示すべきガイド画像を取得する。また、画像合成部１１４は、アバター情報記憶部１９３からガイダンスにおいて表示すべきアバター画像を取得する。
The
そして、画像合成部１１４は、取得したアバター画像とガイド画像とを合成することにより、合成画像を生成する。合成は、例えば、アバター画像とガイド画像を重畳させたり、アバター画像とガイド画像を並べたりすることにより行うことができる。
具体的に、画像合成部１１４は、例えば、アバター画像の顔等の所定の部位領域に、ガイド画像が重畳するように合成画像を生成する。例えば、マッサージについてのガイダンスを行う場合に、マッサージの際の手の動きを示す矢印のガイド画像が、マッサージを行う対象の部位領域に重畳するように合成画像を生成する。
Then, the
Specifically, the
画像合成部１１４は、このようにして生成した合成画像を、後述の表示制御部１１５等に対して出力する。
The
表示制御部１１５は、ガイダンス情報を表示する部分である。表示制御部１１５は、上述したタイミング制御部１１３が制御するガイダンスタイミングに基づいて、合成画像や、その他のガイダンス情報を切り替えて表示部１８に表示をさせることによって、一連のガイダンスを実現する。
The
そのために、表示制御部１１５は、画像合成部１１４から、合成画像の入力を受け付ける。また、表示制御部１１５は、ガイダンス情報記憶部１９２からガイダンス情報を読み込む。
そして、表示制御部１１５は、タイミング制御部１１３が制御するガイダンスタイミングに基づいて、読み込んだガイダンス情報に定められた順番で、読み込んだガイダンス情報に定められた位置に、合成画像や、ユーザ画像や、その他の画像を切換表示する。
For this purpose, the
Then, based on the guidance timing controlled by the
ユーザは、表示制御部１１５が表示する、合成画像を参照することにより、マッサージを行う部位領域や、マッサージの方向等を、分かりやすく視認することができる。ここで、この合成画像は、人為的な像であるガイド画像と、同様に人為的な像であるアバター画像とを合成したものである。つまり、本実施形態では、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。
By referring to the composite image displayed by the
更に、表示制御部１１５は、この場合に、ユーザ自身の実像であるユーザ画像を更に表示することもできる。これにより、ユーザは実像と合成画像とを見比べながら、より分かりやすく所定の処置（例えば、マッサージ等）を行うことができる。
Further, in this case, the
また、表示制御部１１５は、ユーザの顔等の実像であるユーザ画像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、一連のガイダンスにおいてユーザが向くべき方向や、マッサージの方法を画像やテキストで自動配置し表示するようにしてもよい。他にも、表示制御部１１５は、例えば、ユーザの顔等の実像であるユーザ画像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、生体情報を表示するための波形データや必要な文字、画像情報を自動配置し表示するようにしてもよい。
In addition, the
このようなユーザ画像との表示や、ユーザ画像とは重畳しない表示を行う場合、例えば、取得解析部１１２は、フェイストラッキングにより、撮像部１６が撮像したユーザの所定の部位領域を検出する。そして、上述した各座標系の対応関係に基づいて、検出した部位領域の撮像座標系における座標に対応する、表示部座標系の座標を取得する。そして、表示制御部１１５は、表示部１８の取得解析部１１２が取得した表示部座標系の座標に、所定の画像を表示することにより、表示を行うことができる。
When performing display with such a user image or display without overlapping with the user image, for example, the
また、表示制御部１１５は、これらの表示を組み合わせるようにしてもよい。例えば、表示制御部１１５は、所定の画像はユーザの顔等の実像であるユーザ画像と重複する領域に重畳して表示し、マッサージの内容を示すテキストはユーザの顔等の実像であるユーザ画像と重複しない領域に表示するようにしてもよい。
The
表示制御部１１５が、このような情報をリアルタイムに表示することで、一連のガイダンスを、ユーザに伝わりやすく、適切に行うことができる。
When the
なお、表示制御部１１５は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部１１５は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部１１５は、発光部による発光状態を変化させるようにしてもよい。
The
更に、表示制御部１１５は、取得解析部１１２によって取得された生体情報に基づいて、合成画像に含まれるアバター画像の動的な表示を制御する。表示制御部１１５は、例えば、生体情報に応じてアバター画像の色を設定し、この色を用いてアバター画像の動的な表示を制御してもよい。
Further, the
図７Ａは、取得解析部１１２が、関心領域（ＲＯＩ）を１つのみ検知できた場合の、アバター画像の表示例を示す。図７Ａの例においては、検知できた関心領域における生体情報としての脈波に応じて、アバター画像内の顔画像全体の色が変化することがアニメーションで動的に表示され、脈波の脈動が早いほど、顔画像内の色の変化のスピードも速くなる。なお、図７Ａの画面例においては、画面左上に、例えば脈拍やリラックス度等の生体情報が数値表示される。
FIG. 7A shows a display example of an avatar image when the
また、取得解析部１１２によって複数の生体情報が取得された場合、表示制御部１１５は、これらの複数の生体情報に基づいて、アバター画像の動的な表示を制御する。なお、ここで「複数の生体情報」とは、例えば顔画像内で異なる箇所の生体情報であってもよく、異なる時間に取得された同一の箇所の生体情報であってもよい。例えば、表示制御部１１５は、ユーザが一連のガイダンスに従ってマッサージした場合に、ある位置における、マッサージ前の生体情報とマッサージ後の生体情報とから、アバター画像の表示を制御してもよい。
更に、とりわけ「複数の生体情報」が同一箇所で異なる時間に取得された複数の生体情報である場合、表示制御部１１５は、複数の生体情報間の差分情報に基づいて、アバター画像の表示を制御してもよい。
When a plurality of pieces of biological information are acquired by the
Furthermore, especially when the “plurality of biometric information” is a plurality of biometric information acquired at the same location at different times, the
図７Ｂは、取得解析部１１２が、関心領域（ＲＯＩ）を複数認識できたために複数の生体情報を取得できる場合のアバター画像の表示例を示す。複数の関心領域（ＲＯＩ）間での脈波のディレイに応じて、アバター画像内の血流の動きがアニメーションで動的に表示される。なお、血流の動きがアニメーションで動的に表示されるためには、脈波に互いにディレイがある２か所の関心領域（ＲＯＩ）の生体情報を取得できれば足りるため、取得解析部１１２は、３つ以上検知された関心領域（ＲＯＩ）から、互いにできるだけ遠くに離れた２か所の関心領域（ＲＯＩ）を選択し、これら２か所の関心領域（ＲＯＩ）の生体情報を解析することにより、アニメーションで動的に表示してもよい。これにより、取得解析部１１２による計算量を節約することが可能となる。
なお、図７Ｂの例では、アバター画像内の顔全体の中で下から上へと色が変化するアニメーションを示しているが、これはあくまで一例であってこれには限定されない。色が変化する方向は、複数の関心領域（ＲＯＩ）の位置に応じて任意とすることが可能である。
FIG. 7B illustrates a display example of an avatar image in a case where the
Note that, in the example of FIG. 7B, an animation in which the color changes from bottom to top in the entire face in the avatar image is shown, but this is merely an example and the present invention is not limited to this. The direction in which the color changes can be arbitrary depending on the positions of the plurality of regions of interest (ROIs).
また、表示制御部１１５は、取得解析部１１２によって取得された生体情報と、基準値情報記憶部１９４に記憶された基準値との差に応じて、アバター画像の表示を制御してもよい。
Further, the
行動認識部１１６は、被写体としてのユーザの行動を認識する部分である。例えば、ユーザが一連のガイダンスに従って、顔のマッサージをする場合には、行動認識部１１６はユーザが顔のマッサージをしたことを認識する。この場合、ユーザがマッサージ終了後に、入力部１７の電源ボタンに短時間触れることをもってマッサージの終了を表示制御装置１に通知する場合には、行動認識部１１６はユーザによる電源ボタンへの短時間の接触をトリガとして、ユーザがマッサージを終えたことを認識する。あるいは、行動認識部１１６は、表示制御部１１５がガイダンスの表示を終了したことをマッサージの終了とみなし、ガイダンスの表示の終了をトリガとして、ユーザがマッサージを終えたことを認識してもよい。あるいは、行動認識部１１６は、ユーザの顔画像に含まれる複数の特徴点の動きが所定量以下となったことをトリガとして、ユーザがマッサージを終えたことを認識してもよい。
The
キャラクタ作成部１１７は、撮像部１６によって撮像されたユーザの顔画像に基づいてキャラクタを作成し、このキャラクタをアバター画像として、アバター情報記憶部１９３に格納する部分である。例えば、キャラクタ作成部１１７は、ユーザの顔画像から演算に基づいてリアルタイムでユーザの似顔絵のＣＧを作成し、このＣＧのキャラクタをアバター画像としてアバター情報記憶部１９３に格納してもよい。
The
［合成表示処理］
図８は、図５の機能的構成を有する図１の表示制御装置１が実行する合成表示処理の流れを説明するフローチャートである。
合成表示処理は、例えば、表示制御装置１の電源投入と共に開始される。
[Synthetic display processing]
FIG. 8 is a flowchart illustrating the flow of the composite display process executed by the
The composite display process is started, for example, when the power of the
図８に示すように、ステップＳ１１において、設定処理部１１１は、初期設定を行う。例えば、設定処理部１１１は、サーバ群３に含まれるアプリケーション配信サーバから、合成表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、アプリケーションソフトウェアの動作に伴い、撮像部１６等の各ハードウェアに対して、アプリケーションソフトウェアに応じた設定を行う。そして、設定処理部１１１は、撮像部１６による撮像を開始させる。
As shown in FIG. 8, in step S11, the setting processing unit 111 performs an initial setting. For example, the setting processing unit 111 acquires application software for performing composite display processing from an application distribution server included in the
ステップＳ１２において、設定処理部１１１は、撮像部１６によって撮像されたユーザの顔画像を用いて、サーバ群３の認証サーバと通信することによりユーザの認証処理を行う。ユーザの識別情報（ユーザの顔画像情報、あるいは顔画像から抽出される特徴点情報）が、認証サーバに登録されている場合（Ｓ１２：ＹＥＳ）には、処理はステップＳ１３に移行する。ユーザの顔画像情報、あるいは顔画像から抽出される特徴点情報が、認証サーバに登録されていない場合（Ｓ１２：ＮＯ）には、処理はステップＳ１４に移行する。
In step S12, the setting processing unit 111 performs user authentication processing by communicating with the authentication server of the
ステップＳ１３において、設定処理部１１１は、ユーザの表示制御システムＳへのログイン処理をする。 In step S13, the setting processing unit 111 performs a process of logging in the user to the display control system S.
ステップＳ１４において、ユーザの識別情報を新規登録する場合（Ｓ１４：ＹＥＳ）には、処理はステップＳ１５に移行する。ユーザの識別情報を新規登録しない場合（Ｓ１４：ＮＯ）には、処理はステップＳ１２に移行する。 If the user's identification information is newly registered in step S14 (S14: YES), the process proceeds to step S15. If the user identification information is not newly registered (S14: NO), the process proceeds to step S12.
ステップＳ１５において、設定処理部１１１はユーザの識別情報の登録処理をする。より詳細には、設定処理部１１１は、ユーザの顔画像情報あるいは顔画像から抽出される特徴点情報を認証サーバに送信し、認証サーバはこれらの情報を登録する。 In step S15, the setting processing unit 111 performs registration processing of the user identification information. More specifically, the setting processing unit 111 transmits the user's face image information or feature point information extracted from the face image to the authentication server, and the authentication server registers the information.
ステップＳ１６において、取得解析部１１２は、関心領域（ＲＯＩ）を検知すると共に、関心領域（ＲＯＩ）から得られる生体情報を解析する。
In step S16, the
ステップＳ１７において、取得解析部１１２が関心領域（ＲＯＩ）から得られる生体情報の解析を終了した場合（Ｓ１７：ＹＥＳ）には、処理はステップＳ１８に移行する。取得解析部１１２が関心領域（ＲＯＩ）から得られる生体情報の解析をまだ終了していない場合（Ｓ１７：ＮＯ）には、処理はステップＳ１６に移行する。
In step S17, when the
ステップＳ１８において、取得解析部１１２が認識できた関心領域（ＲＯＩ）が１つのみの場合（Ｓ１８：ＹＥＳ）には、処理はステップＳ１９に移行する。取得解析部１１２が認識できた関心領域（ＲＯＩ）が複数ある場合（Ｓ１８：ＮＯ）には、処理はステップＳ２０に移行する。 In step S18, when only one region of interest (ROI) has been recognized by the acquisition analysis unit 112 (S18: YES), the process proceeds to step S19. When there are a plurality of regions of interest (ROIs) recognized by the acquisition analysis unit 112 (S18: NO), the process proceeds to step S20.
ステップＳ１９において、表示制御部１１５は、例えば図７Ａに示されるような、アバター画像内での脈波の変化を表示する。
In step S19, the
ステップＳ２０において、表示制御部１１５は、例えば図７Ｂに示されるような、アバター画像内での血流の変化を表示する。
In step S20, the
以上説明した合成表示処理によれば、ユーザの生体情報、とりわけ生体情報の変化に応じて、合成画像に含まれるアバター画像の表示を変化させることにより、ユーザは生体情報の変化をきめ細かく認識することが出来ると共に、動的なアニメーション表示により容易に認識することが可能となる。 According to the combined display process described above, the user can recognize the change in the biological information finely by changing the display of the avatar image included in the combined image in accordance with the change in the biological information of the user, particularly, the biological information. , And can be easily recognized by dynamic animation display.
以上のように構成される表示制御装置１は、表示部１８と、取得解析部１１２と、表示制御部１１５と、を備える。
表示部１８は、ユーザに対応したキャラクタとしてアバター画像を表示する。
取得解析部１１２は、ユーザに係る第１の生体情報を取得する。
表示制御部１１５は、取得解析部１１２により取得された第１の生体情報に基づいて、表示部１８によるキャラクタの動的な表示を制御する。
これにより、ユーザは生体情報の変化をきめ細かく認識することができると共に、動的なアニメーション表示によりユーザの状況を容易に認識可能となる。
延いては、鏡を利用したバイタルセンシング可能な顔のトレーニング、マッサージ機器において、トレーニングを指示するために自分と同じ表情を行う顔のアニメを表示する際に、測定した脈波データから血流の量や脈拍数を判断してアニメの顔の色を変化させることで、数値やグラフのような表示よりイメージで伝えることが出来るため、顔の肌の変化や健康状態をわかりやすくユーザに伝えることができる。
また、非接触センシングにより取れる領域をすべてＣＧキャラクタに反映することで血流の流れを詳細に表現できるようになり、改善部位を明確にユーザに伝えられる効果がある。
The
The
The
The
Thereby, the user can recognize the change of the biological information in detail, and can easily recognize the user's situation by dynamic animation display.
In other words, in facial training using a mirror that allows vital sensing, massage equipment, when displaying an animation of a face performing the same facial expression to instruct training, the blood flow from the measured pulse wave data By judging the amount and pulse rate and changing the color of the face of the animation, it is possible to convey it to the user in an image rather than a numerical value or a graph-like display. Can be.
In addition, by reflecting all the areas that can be obtained by the non-contact sensing on the CG character, the flow of the blood flow can be expressed in detail, and there is an effect that the improvement site can be clearly communicated to the user.
表示制御装置１は、キャラクタの色を設定する色設定手段を更に備え、表示制御部１１５は、色設定手段により設定された色を用いて、キャラクタの動的な表示を制御する。
これにより、ユーザは生体情報としての数値やグラフを解釈するためのノウハウを学習する必要なく、自身の生体情報の変化を直感的に認識することができる。
The
This allows the user to intuitively recognize changes in his or her own biometric information without having to learn know-how for interpreting numerical values and graphs as biometric information.
取得解析部１１２は、ユーザにおける異なる位置の複数の生体情報を取得する。
複数の位置の生体情報を取得し、これらの複数の生体情報間をファクターとしてアバター画像の表示を制御することにより、ユーザは直感的にアバター画像内での生体情報の違いや変化を直感的に認識することが可能となる。
The
By acquiring the biometric information at multiple locations and controlling the display of the avatar image using the multiple biometric information as a factor, the user can intuitively recognize the differences and changes in the biometric information in the avatar image. It becomes possible to recognize.
表示制御装置１は、ユーザを撮像する撮像部１６を更に備え、取得解析部１１２は、撮像部１６により撮像されたユーザの画像から、第１の生体情報又は第２の生体情報を取得する。
単一の生体情報のみならず複数の生体情報を取得し、複数の生体情報に基づいてアバター画像の表示を制御することにより、ユーザは生体情報を動的に認識することが可能となる。
The
By acquiring a plurality of pieces of biometric information as well as a single piece of biometric information and controlling the display of an avatar image based on the plurality of pieces of biometric information, the user can dynamically recognize the biometric information.
取得解析部１１２は、第１の生体情報とは異なる時間に第２の生体情報を取得する。
表示制御部１１５は、取得解析部１１２により取得された第１の生体情報と第２の生体情報とに基づいてキャラクタの動的な表示を制御する。
これにより、互いに異なる時間に取得された複数の生体情報に基づいてアバター画像の表示を制御することにより、ユーザは生体情報の変化を認識することが可能となる。
The
The
Thus, by controlling the display of the avatar image based on the plurality of pieces of biometric information acquired at different times, the user can recognize the change in the biometric information.
取得解析部１１２は、第１の生体情報と第２の生体情報との差分情報を取得する。
表示制御部１１５は、この差分情報に基づいてキャラクタの動的な表示を制御する。
これにより、ユーザは生体情報の変化を直感的に認識することが可能となる。
The
The
This allows the user to intuitively recognize the change in the biological information.
表示制御装置１は、被写体としてのユーザの行動を認識する行動認識部１１６を更に備える。
取得解析部１１２は、行動認識部１１６により所定の行動が認識された場合に第２の生体情報を取得する。
これにより、ユーザが所定の行動を取った場合を特定して生体情報を直感的に認識することが可能となる。
The
The
This makes it possible to intuitively recognize the biological information by specifying the case where the user has taken a predetermined action.
表示制御装置１は、撮像部１６により撮像された画像を記録する画像情報記憶部１９１を更に備える。
取得解析部１１２は、行動認識部１１６により所定の行動が認識された場合に、画像情報記憶部１９１に記録されている所定の行動が認識される前の画像から、ユーザの第１の生体情報を取得する。
これにより、ユーザが所定の行動をとる前後での生体情報の変化を直感的に認識することが可能となる。
The
When the
This makes it possible to intuitively recognize a change in biological information before and after the user takes a predetermined action.
表示制御装置１は、生体情報の基準値を記録する基準値情報記憶部１９４を更に備える。
表示制御部１１５は、取得解析部１１２により取得された生体情報と基準値情報記憶部１９４に記録されている基準値との差に応じて、キャラクタの動的な表示を制御する。
これにより、現在の生体情報が基準値からどれだけ離れているかについて、直感的に認識することが可能となる。
The
The
This makes it possible to intuitively recognize how far the current biological information is from the reference value.
表示制御装置１は、キャラクタ作成部１１７を更に備える。
キャラクタ作成部１１７は、撮像部１６により撮像されたユーザの画像に基づいて、キャラクタを作成する。
ユーザ自身に類似したキャラクタをアバター画像として用いることにより、実際のユーザにおける生体情報の変化をより正確に認識することが可能となる。
The
The
By using a character similar to the user as the avatar image, it is possible to more accurately recognize a change in the biological information of the actual user.
表示制御装置１は、表示部１８に対してユーザの視線方向に重なって配置される鏡部を更に備える。
鏡部は、ユーザの鏡像を表示する。
これにより、ハーフミラー等を用いた表示を行う装置においても、ユーザに対して、見た目上のギャップがない、ユーザが視認するのに適した一体感のある表示を提供することができる。
The
The mirror unit displays a mirror image of the user.
As a result, even in a device that performs display using a half mirror or the like, it is possible to provide a user with a display with no apparent gap and a sense of unity suitable for the user to visually recognize.
表示制御部１１５は、鏡像に対して生体情報を重畳表示する。
これにより、ユーザは自身の鏡像を見ながら生体情報を確認することが可能となる。
The
Thus, the user can check the biological information while looking at the mirror image of the user.
表示部１８によって表示されるキャラクタと、鏡部によって表示される鏡像とは同時に表示される。
これによりユーザは、例えば自身の顔の実画像である鏡像を見ながら、アバター画像に表示されるガイダンスに従った行動をすることが可能となる。
The character displayed by the
This allows the user to perform an action according to the guidance displayed on the avatar image while seeing, for example, a mirror image that is a real image of the face of the user.
表示制御部１１５は、表示部１８と鏡部の双方に生体情報及び／又は生体情報から生成される情報を表示する。
これにより、ユーザは、自身の顔の実画像である鏡像を見ながら、アバター画像に表示されるガイダンスに従った行動をする際、生体情報や生体情報から生成される情報を確認しながら行動することが可能となる。
The
Thus, when the user performs an action according to the guidance displayed on the avatar image while looking at a mirror image that is a real image of his / her own face, the user acts while confirming biological information and information generated from the biological information. It becomes possible.
表示制御部１１５は、生体情報としての血流に係る情報に基づいて、キャラクタの動的な表示を制御する。
これにより、ユーザは自身の生体情報としての血流の状態を直感的に認識することが可能となる。
The
As a result, the user can intuitively recognize the state of the blood flow as his / her biological information.
表示制御部１１５は、生体情報としての脈拍数に係る情報に基づいて、キャラクタの動的な表示又は脈拍数の情報の表示を制御する。
これにより、ユーザは自身の生体情報としての脈拍数の状態を直感的に認識することが可能となる。
The
Thereby, the user can intuitively recognize the state of the pulse rate as his / her biological information.
表示制御部１１５は、脈拍数の高さに応じて、キャラクタの動的な表示又は脈拍数の動的な表示を制御する。
これにより、ユーザは自身の生体情報としての脈拍数の変化を直感的に認識することが可能となる。
The
As a result, the user can intuitively recognize a change in the pulse rate as his / her biological information.
［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
[Modification]
The present invention is not limited to the above-described embodiment, and includes modifications, improvements, and the like within a range that can achieve the object of the present invention. For example, the above-described embodiment may be modified as in the following modified examples.
＜ハーフミラーを用いた変形例＞
上述した表示部１８と、反射面を有する鏡部とを組み合わせた構造の装置によって表示制御装置１を実現するようにしてもよい。
この場合、鏡部は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーにより実現する。そして、鏡部は、表示部１８よりも前面のユーザが視認する方向に重畳した配置する。
このような配置により、ユーザは、例えば、撮像部１６により撮像されたユーザ画像ではなく、鏡部により反射された自身の顔と、表示部１８に表示されると共に鏡部を透過した各種の情報（例えば、合成画像や生体情報）とを同時に視認することができる。つまり、上述の実施形態では、ユーザの実像として撮像部１６が被写体として撮像したユーザ画像を視認させることとしていたが、本変形例では、ユーザの実像として鏡部により反射されたユーザの鏡像を視認させこととする。
また、表示制御部１１５は、表示部１８と鏡部の双方に、生体情報や生体情報から生成される情報を表示してもよい。
このようにしても、上述した実施形態と同様の効果を奏することができる。
<Modification using half mirror>
The
In this case, the mirror section is realized by a half mirror having both transmission characteristics and reflection characteristics as optical characteristics. Then, the mirror portion is disposed so as to be superimposed in a direction in which the user can visually recognize the mirror portion in front of the
With such an arrangement, for example, the user is not a user image captured by the
Further, the
Even in this case, the same effects as in the above-described embodiment can be obtained.
＜生体センサを用いた変形例＞
上記の実施形態では、取得解析部１１２はユーザに対して非接触で生体情報の計測を行うとしたが、これには限定されない。例えば、取得解析部１１２は、ユーザに接触する生体センサを用いて生体情報の計測を行ってもよい。
このようにしても、上述した実施形態と同様の効果を奏することができる。
<Modification using biological sensor>
In the above embodiment, the
Even in this case, the same effects as in the above-described embodiment can be obtained.
＜顔画像以外の画像を用いた変形例＞
上記の実施形態では、主としてユーザの顔をマッサージする前後での生体情報の変化を、ユーザの顔に対応するアバター画像にアニメーション表示するとしたが、これには限られない。例えば、ユーザの腕や足等、他の身体部位に対して所定の行動をする前後での生体情報の変化を動的にアニメーション表示してもよい。
<Modification using image other than face image>
In the above embodiment, the change of the biological information before and after the massage of the user's face is mainly displayed as an animation on the avatar image corresponding to the user's face, but the present invention is not limited to this. For example, a change in biological information before and after performing a predetermined action on another body part such as a user's arm or leg may be dynamically displayed as an animation.
＜他の変形例＞
例えば、上述の実施形態において、表示制御装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を表示制御装置１に追加して、表示制御装置１のみで全ての処理を行うようにしてもよい。
<Other modifications>
For example, in the above-described embodiment, it is assumed that the
また、上述の実施形態では、本発明が適用される表示制御装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
Further, in the above-described embodiment, the
For example, the present invention is applicable to an electronic device incorporated in a large mirror such as a figure, an electronic device incorporated in a stationary vanity stand, and a mirror-shaped electronic device installed in a bathroom.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。すなわち、上述した一連の処理を全体として実行できる機能が表示制御装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 5 is merely an example, and is not particularly limited. That is, it is sufficient that the
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
In addition, one functional block may be configured by hardware alone, may be configured by software alone, or may be configured by a combination thereof.
The functional configuration according to the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment includes single processing units, multiprocessors, and various processing units such as multicore processors. In addition to the above, a combination of these various processing apparatuses and processing circuits such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field-Programmable Gate Array) is included.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed in a computer or the like from a network or a recording medium.
The computer may be a computer embedded in dedicated hardware. Further, the computer may be a computer that can execute various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部１９に含まれるハードディスク等で構成される。
The recording medium including such a program is constituted not only by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
In this specification, the steps of describing a program recorded on a recording medium may be performed in chronological order according to the order, or in parallel or individually, even if not necessarily performed in chronological order. This also includes the processing to be executed.
Further, in the present specification, the term system refers to an entire apparatus including a plurality of devices and a plurality of means.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the technical scope of the present invention. The present invention can take various other embodiments, and various changes such as omissions and substitutions can be made without departing from the gist of the present invention. These embodiments and their modifications are included in the scope and gist of the invention described in this specification and the like, and are also included in the invention described in the claims and equivalents thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
ユーザに対応したキャラクタを表示する表示手段と、
前記ユーザに係る第１の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御手段と、
を備えることを特徴とする表示制御装置。
［付記２］
前記第１の生体情報に応じて前記キャラクタの色を設定する色設定手段を更に備え、
前記表示制御手段は、前記色設定手段により設定された色を用いて、前記キャラクタの動的な表示を制御することを特徴とする付記１に記載の表示制御装置。
［付記３］
前記生体情報取得手段は、前記ユーザにおける異なる位置の複数の生体情報を取得することを特徴とする、付記１又は２に記載の表示制御装置。
［付記４］
前記ユーザを撮像する撮像手段を更に備え、
前記生体情報取得手段は、前記撮像手段により撮像された前記ユーザの画像から、前記第１の生体情報、又は第２の生体情報を取得することを特徴とする、付記１乃至３のいずれか１に記載の表示制御装置。
［付記５］
前記生体情報取得手段は、前記第１の生体情報とは異なる時間に第２の生体情報を取得し、
前記表示制御手段は、前記生体情報取得手段により取得された前記第１の生体情報と前記第２の生体情報とに基づいて前記キャラクタの動的な表示を制御することを特徴とする、付記１乃至４のいずれか１に記載の表示制御装置。
［付記６］
前記生体情報取得手段は、前記第１の生体情報と前記第２の生体情報との差分情報を取得し、
前記表示制御手段は、前記差分情報に基づいて前記キャラクタの動的な表示を制御することを特徴とする、付記５に記載の表示制御装置。
［付記７］
被写体としての前記ユーザの行動を認識する行動認識手段を更に備え、
前記生体情報取得手段は、前記行動認識手段により所定の行動が認識された場合に前記第２の生体情報を取得することを特徴とする、付記１乃至６のいずれか１に記載の表示制御装置。
［付記８］
前記撮像手段により撮像された画像を記録する画像記録手段を更に備え、
前記生体情報取得手段は、前記行動認識手段により所定の行動が認識された場合に、前記画像記録手段に記録されている前記所定の行動が認識される前の画像から、前記ユーザの第１の生体情報を取得することを特徴とする、付記７に記載の表示制御装置。
［付記９］
生体情報の基準値を記録する基準値記録手段を更に備え、
前記表示制御手段は、前記生体情報取得手段により取得された生体情報と前記基準値記録手段に記録されている基準値との差に応じて、前記キャラクタの動的な表示を制御することを特徴とする、付記１乃至８のいずれか１に記載の表示制御装置。
［付記１０］
前記撮像手段により撮像された前記ユーザの画像に基づいて、前記キャラクタを作成するキャラクタ作成部を更に備える、付記１乃至９のいずれか１に記載の表示制御装置。
［付記１１］
前記表示手段に対して、前記ユーザの視線方向に重なって配置される反射手段を更に備え、
前記反射手段は、前記ユーザの鏡像を表示することを特徴とする付記１乃至１０の何れか１に記載の表示制御装置。
［付記１２］
前記表示制御手段は、前記鏡像に対して前記生体情報を重畳表示することを特徴とする、付記１１に記載の表示制御装置。
［付記１３］
表示手段によって表示される前記キャラクタと、反射手段によって表示される前記鏡像とは同時に表示されることを特徴とする、付記１１又は１２に記載の表示制御装置。
［付記１４］
前記表示制御手段は、前記表示手段と前記反射手段の双方に前記生体情報及び／又は前記生体情報から生成される情報を表示することを特徴とする、付記１１〜１３のいずれか１に記載の表示制御装置。
［付記１５］
前記表示制御手段は、前記生体情報としての血流に係る情報に基づいて、前記キャラクタの動的な表示を制御することを特徴とする、付記１〜１４のいずれか１に記載の表示制御装置。
［付記１６］
前記表示制御手段は、前記生体情報としての脈拍数に係る情報に基づいて、前記キャラクタの動的な表示又は前記脈拍数の表示を制御する、付記１〜１５のいずれか１に記載の表示制御装置。
［付記１７］
前記表示制御手段は、前記脈拍数の高さに応じて、前記キャラクタの表示又は前記脈拍数の動的な表示を制御する、付記１〜１６のいずれか１に記載の表示制御装置。
［付記１８］
表示手段を備えたコンピュータが行う表示制御方法であって、
ユーザに対応したキャラクタを前記表示手段に表示する表示ステップと、
前記ユーザに係る第１の生体情報を取得する生体情報取得ステップと、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御ステップと、
を備えることを特徴とする表示制御方法。
［付記１９］
表示手段を備えたコンピュータに、
ユーザに対応したキャラクタを前記表示手段に表示する表示機能と、
前記ユーザに係る第１の生体情報を取得する生体情報取得機能と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御機能と、
を実現することを特徴とする表示制御方法。
Hereinafter, the inventions described in the claims at the time of filing the application of the present application are additionally described.
[Appendix 1]
Display means for displaying a character corresponding to the user;
Biological information obtaining means for obtaining first biological information related to the user;
Display control means for controlling dynamic display of the character by the display means based on the first biological information acquired by the biological information acquisition means;
A display control device comprising:
[Appendix 2]
A color setting unit configured to set a color of the character according to the first biological information;
The display control device according to
[Appendix 3]
The display control device according to
[Appendix 4]
Further comprising an imaging means for imaging the user,
The biometric information acquiring unit may acquire the first biometric information or the second biometric information from the image of the user captured by the imaging unit, wherein the biometric information obtaining unit obtains the first biometric information or the second biometric information. 3. The display control device according to 1.
[Appendix 5]
The biological information acquiring means acquires the second biological information at a time different from the first biological information,
The display control means controls dynamic display of the character based on the first biometric information and the second biometric information acquired by the biometric information acquiring means. 5. The display control device according to any one of
[Appendix 6]
The biological information obtaining means obtains difference information between the first biological information and the second biological information,
The display control device according to claim 5, wherein the display control means controls dynamic display of the character based on the difference information.
[Appendix 7]
Further comprising an action recognition means for recognizing the action of the user as a subject,
The display control device according to any one of
[Appendix 8]
The image processing apparatus further includes an image recording unit that records an image captured by the imaging unit,
The biometric information acquisition unit, when a predetermined behavior is recognized by the behavior recognition unit, from the image before the predetermined behavior recorded in the image recording unit is recognized, the first user of the user 8. The display control device according to supplementary note 7, wherein the display control device acquires biological information.
[Appendix 9]
Further comprising a reference value recording means for recording a reference value of biological information,
The display control unit controls the dynamic display of the character according to a difference between the biological information acquired by the biological information acquiring unit and a reference value recorded in the reference value recording unit. The display control device according to any one of
[Appendix 10]
The display control device according to any one of
[Appendix 11]
The display unit further includes a reflection unit that is disposed so as to overlap in a line of sight of the user,
The display control device according to any one of
[Supplementary Note 12]
The display control device according to
[Appendix 13]
13. The display control device according to
[Appendix 14]
The display control unit may display the biological information and / or information generated from the biological information on both the display unit and the reflection unit, wherein the display control unit displays the biological information and / or information generated from the biological information. Display control device.
[Appendix 15]
The display control device according to any one of
[Appendix 16]
The display control according to any one of
[Appendix 17]
The display control device according to any one of
[Appendix 18]
A display control method performed by a computer having a display means,
A display step of displaying a character corresponding to the user on the display means;
A biological information obtaining step of obtaining first biological information related to the user;
A display control step of controlling dynamic display of the character by the display unit based on the first biological information acquired by the biological information acquisition unit;
A display control method, comprising:
[Appendix 19]
A computer with display means,
A display function of displaying a character corresponding to a user on the display means;
A biological information acquisition function of acquiring first biological information related to the user;
A display control function of controlling dynamic display of the character by the display unit based on the first biological information acquired by the biological information acquisition unit;
A display control method characterized by realizing:
１・・・表示制御装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・表示部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・設定処理部，１１２・・・取得解析部，１１３・・・タイミング制御部，１１４・・・画像合成部，１１５・・・表示制御部，１１６・・・行動認識部，１１７・・・キャラクタ作成部，１９１・・・画像情報記憶部，１９２・・・ガイダンス情報記憶部，１９３・・・アバター情報記憶部，１９４・・・基準値情報記憶部，Ｓ・・・表示制御システム
DESCRIPTION OF
Claims (19)
前記ユーザに係る第１の生体情報を取得する生体情報取得手段と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御手段と、
を備えることを特徴とする表示制御装置。 Display means for displaying a character corresponding to the user;
Biological information obtaining means for obtaining first biological information related to the user;
Display control means for controlling dynamic display of the character by the display means based on the first biological information acquired by the biological information acquisition means;
A display control device comprising:
前記表示制御手段は、前記色設定手段により設定された色を用いて、前記キャラクタの動的な表示を制御することを特徴とする請求項１に記載の表示制御装置。 A color setting unit configured to set a color of the character according to the first biological information;
The display control device according to claim 1, wherein the display control unit controls dynamic display of the character using a color set by the color setting unit.
前記生体情報取得手段は、前記撮像手段により撮像された前記ユーザの画像から、前記第１の生体情報、又は第２の生体情報を取得することを特徴とする、請求項１乃至３のいずれか１項に記載の表示制御装置。 Further comprising an imaging means for imaging the user,
4. The apparatus according to claim 1, wherein the biometric information acquisition unit acquires the first biometric information or the second biometric information from an image of the user captured by the imaging unit. 5. 2. The display control device according to claim 1.
前記表示制御手段は、前記生体情報取得手段により取得された前記第１の生体情報と前記第２の生体情報とに基づいて前記キャラクタの動的な表示を制御することを特徴とする、請求項１乃至４のいずれか１項に記載の表示制御装置。 The biological information acquiring means acquires the second biological information at a time different from the first biological information,
The said display control means controls the dynamic display of the said character based on the said 1st biometric information and the said 2nd biometric information acquired by the said biometric information acquisition means, The Claims characterized by the above-mentioned. The display control device according to any one of claims 1 to 4.
前記表示制御手段は、前記差分情報に基づいて前記キャラクタの動的な表示を制御することを特徴とする、請求項５に記載の表示制御装置。 The biological information obtaining means obtains difference information between the first biological information and the second biological information,
The display control device according to claim 5, wherein the display control unit controls dynamic display of the character based on the difference information.
前記生体情報取得手段は、前記行動認識手段により所定の行動が認識された場合に前記第２の生体情報を取得することを特徴とする、請求項１乃至６のいずれか１項に記載の表示制御装置。 Further comprising an action recognition means for recognizing the action of the user as a subject,
The display according to any one of claims 1 to 6, wherein the biometric information acquisition unit acquires the second biometric information when a predetermined behavior is recognized by the behavior recognition unit. Control device.
前記生体情報取得手段は、前記行動認識手段により所定の行動が認識された場合に、前記画像記録手段に記録されている前記所定の行動が認識される前の画像から、前記ユーザの第１の生体情報を取得することを特徴とする、請求項７に記載の表示制御装置。 The image processing apparatus further includes an image recording unit that records an image captured by the imaging unit,
The biometric information acquisition unit, when a predetermined behavior is recognized by the behavior recognition unit, from the image before the predetermined behavior recorded in the image recording unit is recognized, the first user of the user The display control device according to claim 7, wherein biological information is acquired.
前記表示制御手段は、前記生体情報取得手段により取得された生体情報と前記基準値記録手段に記録されている基準値との差に応じて、前記キャラクタの動的な表示を制御することを特徴とする、請求項１乃至８のいずれか１項に記載の表示制御装置。 Further comprising a reference value recording means for recording a reference value of biological information,
The display control unit controls the dynamic display of the character according to a difference between the biological information acquired by the biological information acquiring unit and a reference value recorded in the reference value recording unit. The display control device according to claim 1, wherein:
前記反射手段は、前記ユーザの鏡像を表示することを特徴とする請求項１乃至１０の何れか１項に記載の表示制御装置。 The display unit further includes a reflection unit that is disposed so as to overlap in a line of sight of the user,
The display control device according to claim 1, wherein the reflection unit displays a mirror image of the user.
ユーザに対応したキャラクタを前記表示手段に表示する表示ステップと、
前記ユーザに係る第１の生体情報を取得する生体情報取得ステップと、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御ステップと、
を備えることを特徴とする表示制御方法。 A display control method performed by a computer having a display means,
A display step of displaying a character corresponding to the user on the display means;
A biological information obtaining step of obtaining first biological information related to the user;
A display control step of controlling dynamic display of the character by the display unit based on the first biological information acquired by the biological information acquisition unit;
A display control method, comprising:
ユーザに対応したキャラクタを前記表示手段に表示する表示機能と、
前記ユーザに係る第１の生体情報を取得する生体情報取得機能と、
前記生体情報取得手段により取得された前記第１の生体情報に基づいて、前記表示手段による前記キャラクタの動的な表示を制御する表示制御機能と、
を実現することを特徴とする表示制御方法。
A computer with display means,
A display function of displaying a character corresponding to a user on the display means;
A biological information acquisition function of acquiring first biological information related to the user;
A display control function of controlling dynamic display of the character by the display unit based on the first biological information acquired by the biological information acquisition unit;
A display control method characterized by realizing:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018186722A JP2020057153A (en) | 2018-10-01 | 2018-10-01 | Display control device, display control method and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018186722A JP2020057153A (en) | 2018-10-01 | 2018-10-01 | Display control device, display control method and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020057153A true JP2020057153A (en) | 2020-04-09 |
| JP2020057153A5 JP2020057153A5 (en) | 2021-10-28 |
Family
ID=70107325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018186722A Pending JP2020057153A (en) | 2018-10-01 | 2018-10-01 | Display control device, display control method and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020057153A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024084580A1 (en) * | 2022-10-18 | 2024-04-25 | 日本電信電話株式会社 | Somatic sense control device, method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006110340A (en) * | 2004-10-12 | 2006-04-27 | Samsung Electronics Co Ltd | Method and apparatus for producing avatar image according to health condition |
| JP2007000204A (en) * | 2005-06-21 | 2007-01-11 | Matsushita Electric Works Ltd | Face washing unit with body type measuring function |
| JP2009268756A (en) * | 2008-05-08 | 2009-11-19 | Shoichi Myoken | Apparatus and method to convert two-dimensional pattern into three-dimensional one |
| WO2012096081A1 (en) * | 2011-01-15 | 2012-07-19 | 株式会社資生堂 | Massage evaluation method, device, program and computer-readable storage medium |
| JP2013228557A (en) * | 2012-04-25 | 2013-11-07 | Canon Inc | Display device and control method thereof |
| JP2014023127A (en) * | 2012-07-23 | 2014-02-03 | Sharp Corp | Information display device, information display method, control program, and recording medium |
| JP2016024742A (en) * | 2014-07-23 | 2016-02-08 | 株式会社ブランカ | Three-dimensional shape simulating system, try-on simulation system, sales support system, three-dimensional shape simulating method, try-on simulation method, sales support method, program of three-dimensional shape simulating method, try-on simulation method or sales support method, and recording medium recording the program |
| JP2016190022A (en) * | 2015-03-30 | 2016-11-10 | 国立大学法人東北大学 | Biological information measuring device, biological information measuring method, biological information display device and biological information display method |
-
2018
- 2018-10-01 JP JP2018186722A patent/JP2020057153A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006110340A (en) * | 2004-10-12 | 2006-04-27 | Samsung Electronics Co Ltd | Method and apparatus for producing avatar image according to health condition |
| JP2007000204A (en) * | 2005-06-21 | 2007-01-11 | Matsushita Electric Works Ltd | Face washing unit with body type measuring function |
| JP2009268756A (en) * | 2008-05-08 | 2009-11-19 | Shoichi Myoken | Apparatus and method to convert two-dimensional pattern into three-dimensional one |
| WO2012096081A1 (en) * | 2011-01-15 | 2012-07-19 | 株式会社資生堂 | Massage evaluation method, device, program and computer-readable storage medium |
| JP2013228557A (en) * | 2012-04-25 | 2013-11-07 | Canon Inc | Display device and control method thereof |
| JP2014023127A (en) * | 2012-07-23 | 2014-02-03 | Sharp Corp | Information display device, information display method, control program, and recording medium |
| JP2016024742A (en) * | 2014-07-23 | 2016-02-08 | 株式会社ブランカ | Three-dimensional shape simulating system, try-on simulation system, sales support system, three-dimensional shape simulating method, try-on simulation method, sales support method, program of three-dimensional shape simulating method, try-on simulation method or sales support method, and recording medium recording the program |
| JP2016190022A (en) * | 2015-03-30 | 2016-11-10 | 国立大学法人東北大学 | Biological information measuring device, biological information measuring method, biological information display device and biological information display method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024084580A1 (en) * | 2022-10-18 | 2024-04-25 | 日本電信電話株式会社 | Somatic sense control device, method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11029830B2 (en) | Display control apparatus, display controlling method and display control program for providing guidance using a generated image | |
| US9854976B2 (en) | Pulse wave velocity measurement method | |
| JP6750504B2 (en) | Information processing apparatus, information processing method, and program | |
| US11521575B2 (en) | Electronic device, electronic device control method, and medium | |
| US11800989B2 (en) | Electronic device, control method for the electronic device, and storage medium | |
| US20220087547A1 (en) | Electronic device, control method for electronic device, and recording medium | |
| CN110993051B (en) | Determination device, determination method, and recording medium | |
| CN110297720B (en) | Notification device, notification method, and medium storing notification program | |
| JP7135466B2 (en) | Display device, display method and display program | |
| US10915617B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2020057153A (en) | Display control device, display control method and display control program | |
| JP7415318B2 (en) | Image processing device, image processing method and program | |
| KR102627697B1 (en) | Skin diagnosis device using smart mirror and its driving method | |
| JP7238835B2 (en) | ELECTRONIC DEVICE, ELECTRONIC DEVICE CONTROL METHOD AND ELECTRONIC DEVICE CONTROL PROGRAM | |
| WO2021060250A1 (en) | Image processing device, image processing method, and image processing program | |
| US20240005612A1 (en) | Content transformations based on reflective object recognition | |
| US20230112939A1 (en) | A system for providing guidance | |
| JP2023053733A (en) | Imaging guidance device, imaging guidance method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210915 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210915 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220606 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220719 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220909 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230110 |