JP2019209065A - Display device, display method and display program - Google Patents
Display device, display method and display program Download PDFInfo
- Publication number
- JP2019209065A JP2019209065A JP2018110612A JP2018110612A JP2019209065A JP 2019209065 A JP2019209065 A JP 2019209065A JP 2018110612 A JP2018110612 A JP 2018110612A JP 2018110612 A JP2018110612 A JP 2018110612A JP 2019209065 A JP2019209065 A JP 2019209065A
- Authority
- JP
- Japan
- Prior art keywords
- display
- subject
- unit
- information
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、表示装置、表示方法及び表示プログラムに関する。 The present invention relates to a display device, a display method, and a display program.
近年、透過性のあるハーフミラーにより構成された鏡部の反射面の背面側に、液晶ディスプレイ等により構成された表示部を配置した表示装置が知られている。このような表示装置によれば、鏡部に反射する鏡像に、表示部に表示され鏡部を透過した所定の情報を重畳して表示することができる（例えば、特許文献１参照）。
このような情報処理装置によれば、ユーザは鏡像とガイド画像の双方をユーザに同時に視認させることができる。
In recent years, there has been known a display device in which a display unit configured by a liquid crystal display or the like is disposed on the back side of a reflection surface of a mirror unit configured by a transmissive half mirror. According to such a display device, it is possible to superimpose and display predetermined information displayed on the display unit and transmitted through the mirror unit on the mirror image reflected on the mirror unit (see, for example, Patent Document 1).
According to such an information processing apparatus, the user can make the user visually recognize both the mirror image and the guide image.
上述したような表示装置では、鏡像を表示する鏡部の反射面と、ガイド画像等の所定の情報を表示する表示部の表示面の２つの面が重なる構造となっており、これら２つの面は、ユーザからの距離が異なる。よって、ユーザが表示を視認すると、鏡像と、ガイド画像等の所定の情報との間に視差が生じてしまう。
そのため、ユーザにとってみれば、鏡像とガイド画像等の所定の情報とが重畳された表示は、視認上のギャップがあり、ユーザにとって視認性が低くなってしまう場合があった。
The display device as described above has a structure in which two surfaces of the reflection surface of the mirror unit that displays a mirror image and the display surface of the display unit that displays predetermined information such as a guide image overlap. Are different in distance from the user. Therefore, when the user visually recognizes the display, parallax occurs between the mirror image and predetermined information such as a guide image.
Therefore, for the user, the display in which the mirror image and the predetermined information such as the guide image are superimposed has a visual gap, and the visibility may be lowered for the user.
本発明は、このような状況に鑑みてなされたものであり、鏡部に反射する鏡像に、表示部に表示され鏡部を透過した所定の情報を重畳して表示する場合における視認性の低減を抑制することを目的とする。 The present invention has been made in view of such a situation, and the visibility is reduced when predetermined information displayed on the display unit and transmitted through the mirror unit is superimposed on the mirror image reflected on the mirror unit. It aims at suppressing.
上記目的を達成するため、本発明の一態様の表示装置は、
被写体の像を反射する反射手段と、
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
前記被写体に関する情報を取得する取得手段と、
前記取得手段により取得された被写体に関する情報に基づいて、前記所定の情報を加工する加工手段と、
前記加工手段により加工された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御手段と、
を備え、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする。
In order to achieve the above object, a display device of one embodiment of the present invention includes:
Reflection means for reflecting the image of the subject;
A display unit arranged to overlap the reflection surface of the reflection unit and displaying predetermined information;
Obtaining means for obtaining information on the subject;
Processing means for processing the predetermined information based on information about the subject acquired by the acquisition means;
Display control means for performing control to display the predetermined information processed by the processing means on the display means;
With
The subject image reflected by the reflecting means overlaps with predetermined information displayed on the display means.
本発明によれば、鏡部に反射する鏡像に、表示部に表示され鏡部を透過した所定の情報を重畳して表示する場合における視認性の低減を抑制することができる。 ADVANTAGE OF THE INVENTION According to this invention, the reduction | decrease in visibility in the case of superimposing and displaying the predetermined information which was displayed on the display part and permeate | transmitted the mirror part on the mirror image reflected on a mirror part can be suppressed.
以下、本発明の実施形態について、図面を用いて説明する。
［実施形態の概略］
本発明の実施形態に係る表示装置１は、ユーザが携帯可能な自立式の鏡として構成される。そして、表示装置１は、鏡を視認するユーザに対して、鏡部に反射する鏡像と、表示部に表示したガイド画像等の所定の情報とを重畳することにより、ユーザに対するガイダンスを行う。
この場合に、表示装置１は、ユーザを被写体として撮像し、撮像したユーザに対してフェイストラッキングを行うことにより、ユーザの顔の各部の座標と、各部に対応するユーザの顔の色とを検出する。また、表示装置１は、検出したユーザの顔の色に応じて、ガイド画像に対するグラデーション加工を行う。更に、表示装置１は、検出した顔の各部の座標に基づいて、グラデーション加工後のガイド画像を表示する。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[Outline of Embodiment]
The
In this case, the
このような表示装置１によれば、鏡部に反射する鏡像と、表示部に表示したガイド画像とを重畳する場合に、ユーザの顔の色に合わせてガイド画像のエッジ部分をグラデーション等の画像処理にてぼかすので、視認上のギャップを低減して表示することができる。
つまり、表示装置１によれば、重畳表示における違和感を抑制することができる。
According to such a
That is, according to the
［システム構成］
図１は、本実施形態に係る表示装置１が含まれる表示システムＳの全体構成を示す構成図である。図１に示すように、表示システムＳは、複数の表示装置１、ネットワーク２及びサーバ群３を含む。
表示装置１の台数には、特に制限はなく、ｎ台（ｎは、任意の自然数）の表示装置１が表示システム１に含まれていてよい。なお、以下の説明において、ｎ台の表示装置１を特に区別することなく説明する場合には、符号の末尾のアルファベットを省略し、単に「表示装置１」と称する。
[System configuration]
FIG. 1 is a configuration diagram showing an overall configuration of a display system S including a
The number of
表示装置１は、上述したとおり、違和感を抑制した重畳表示を行うことにより、ガイダンスを行う装置である。表示装置１は、ネットワーク２を介して、サーバ群３に含まれる各サーバと、相互に通信可能に接続されている。
As described above, the
ネットワーク２は、例えば、インターネットや、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、携帯電話網の何れか又はこれらを組み合わせたネットワークにより実現される。
The
サーバ群３には、表示装置１と協働する各種のサーバが含まれる。例えば、サーバ群３には、表示装置１のユーザを認証するための認証サーバが含まれる。また、例えば、サーバ群３には、表示装置１の機能を実現するためのアプリケーションソフトウェアを配信するアプリケーション配信サーバが含まれる。更に、例えば、サーバ群３には、ユーザに関する設定情報やユーザによる表示装置１の利用履歴等を含んだ情報である、ユーザのプロファイル情報を格納する測定データ格納サーバが含まれる。
ただし、これは一例に過ぎず、他の機能を有するサーバがサーバ群３に含まれていてもよい。また、サーバ群３に含まれる複数のサーバを、それぞれ別個のサーバ装置で実現してもよく、単一のサーバ装置にて実現するようにしてもよい。
The
However, this is only an example, and the
［外観構成］
図２は、本発明の一実施形態に係る表示装置１の前面の外観構成を示す構成図である。また、図３は、表示装置１の側面の外観構成を示す構成図である。表示装置１の前面の大きさは、例えば、国際規格であるＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）２１６で規定されるＡ４サイズに形成される。
[Appearance configuration]
FIG. 2 is a configuration diagram showing an external configuration of the front surface of the
図２及び図３に示すように、表示装置１は、本体部３０と、脚部３１と、ヒンジ部３２を含んで構成される。本体部３０は、鏡部１８や表示部１９、及びその他のハードウェアを含む本体部分である。また、脚部３１とヒンジ部３２は、表示装置１を自立させるための部材である。脚部３１は、ヒンジ部３２によって本体部３０に対して回動可能に接合される。
図３（Ａ）に示すように、ユーザは、表示装置１を携帯する際に、本体部３０の側面と、脚部３１の側面とを揃えて、嵩張らない形状として持ち運ぶことができる。一方で、図３（Ｂ）に示すように、ユーザは、表示装置１を机等に設置して利用する際には、ヒンジ部３２を中心点として脚部３１を回動させることにより、表示装置１を自立させることができる。なお、表示装置１を自立可能とするために、ヒンジ部３２は、脚部３１が所定の角度を保った状態で保持するための機構を有する。
As shown in FIGS. 2 and 3, the
As shown in FIG. 3A, when carrying the
本体部３０は、上述したように鏡部１８と表示部１９とを含む。
鏡部１８は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーである。鏡部１８は、図示するように本体部３０の前面に配置される。
表示部１９は、各種の情報を表示することにより、これら各種の情報をユーザに対して表示する部分である。表示部１９は、例えば、マッサージ等のガイダンスを行うためのガイド画像や、文字等のメッセージや、ユーザの生体情報等を表示する。
The main body unit 30 includes the
The
The
表示装置１では、鏡部１８の反射面と、表示部１９の表示面とが、鏡部１８に正対するユーザから同時に視認可能に、ユーザの視認方向に重畳して配置される。例えば、液晶ディスプレイにより構成された表示部１９が、ハーフミラーにより構成された鏡部１８の視認方向における奥側に、並行に重ねて配置される。
このような配置により、ユーザは、例えば、鏡部１８により反射された自身の顔（図中の鏡像４１に相当）と、表示部１９に表示されると共に鏡部１８を透過した各種の情報（図中のガイド画像４２に相当）とを同時に視認することができる。
In the
With such an arrangement, for example, the user can reflect his / her face reflected by the mirror unit 18 (corresponding to the mirror image 41 in the figure) and various types of information displayed on the
図２に示すように、表示装置１は、外観構成として、更に、撮像部１６及び入力部１７を備えている。
As shown in FIG. 2, the
撮像部１６は、表示装置１の利用時に、鏡部１８に正対するユーザを被写体として撮像する部分である。撮像部１６は、鏡部１８に正対するユーザの顔画像を撮像可能な位置に配置される。例えば、撮像部１６は、図中に示すように、本体部３０の前面であって、鏡部１８の上部に配置される。
The
入力部１７は、ユーザによる操作入力を受け付ける部分である。入力部１７は、例えば複数のボタンにより実現される。図中では、一例として、小顔エステ、笑顔トレーニング、及び生体情報の記録等の各種のモードへの切り換えボタンや、表示装置１の電源のオン／オフの切り替えを行うためのボタンを図示する。
The
以上、表示装置１の外観構造について説明をした。ただし、この構造は一例に過ぎず、表示装置１の外観構造は、この例に限定されない。
The external structure of the
例えば、表示装置１は、鏡部１８に正対するユーザを照らすために発光する発光部を更に備えていてもよい。発光部が、照度や色成分を調整してユーザを照らすことにより、表示装置１は、照明付きの鏡として機能する。発光部の数は複数であってもよい。また、発光部は、鏡部１８の上部や下部に配置されてもよく、鏡部１８の周辺全体に配置されてもよい。
For example, the
また、例えば、入力部１７の数や配置が変更されてもよい。また、例えば、表示部１９の一部がタッチパネルとして構成され、入力部１７と表示部１９とが一体に構成されてもよい。
Further, for example, the number and arrangement of the
更に、例えば、上述したようにハーフミラーにより鏡部１８を構成し、一般的な液晶ディスプレイにより表示部１９を構成するのではなく、一般的な鏡により鏡部１８を構成し、透過型の液晶ディスプレイにより表示部１９を構成するようにしてもよい。この場合、一般的な鏡により構成された鏡部１８が、透過型の液晶ディスプレイにより構成された表示部１９の視認方向における奥側に、並行に重ねて配置されるようにするとよい。
Further, for example, the
［ハードウェア構成］
図４は、表示装置１のハードウェアの構成を示すブロック図である。
図４に示すように、表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、鏡部１８と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２と、リムーバブルメディア１００と、を備えている。
[Hardware configuration]
FIG. 4 is a block diagram illustrating a hardware configuration of the
As shown in FIG. 4, the
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
The
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
The
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６と、入力部１７と、表示部１９と、記憶部２０と、通信部２１と、ドライブ２２とが接続されている。
The
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
撮像部１６にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
Although not shown, the
The optical lens unit is configured by a lens that collects light, for example, a focus lens or a zoom lens, in order to photograph a subject.
The focus lens is a lens that forms a subject image on the light receiving surface of the image sensor. The zoom lens is a lens that freely changes the focal length within a certain range.
The
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、デジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号は、ＣＰＵ１１等に適宜供給される。
The image sensor includes a photoelectric conversion element, AFE (Analog Front End), and the like.
The photoelectric conversion element is composed of, for example, a CMOS (Complementary Metal Oxide Semiconductor) type photoelectric conversion element or the like. A subject image is incident on the photoelectric conversion element from the optical lens unit. Therefore, the photoelectric conversion element photoelectrically converts (captures) the subject image, accumulates the image signal for a predetermined time, and sequentially supplies the accumulated image signal to the AFE as an analog signal.
The AFE performs various signal processing such as A / D (Analog / Digital) conversion processing on the analog image signal. Through various signal processing, a digital signal is generated and output as an output signal of the
Such an output signal of the
入力部１７は、各種ボタンやマイク等で構成され、ユーザの指示操作や指示音声に応じて各種情報を入力する。
The
鏡部１８は、光学的特性として、透過特性と反射特性の双方を有するハーフミラーである。鏡部１８は、表示部１９による表示がなされている領域において、表示部１９による表示を透過する。一方で、鏡部１８は、表示部１９による表示がなされていない領域において、表示装置１に生体するユーザ等の像を、鏡像として反射する。
The
表示部１９は、液晶ディスプレイ等で構成され、ＣＰＵ１１が出力する画像データに対応する画像を表示する。これら表示部１９と、鏡部１８の配置については、図２を参照して上述した通りである。
The
記憶部２０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の半導体メモリで構成され、各種データを記憶する。
The
通信部２１は、ＣＰＵ１１が、ネットワーク２を介して他の装置（例えば、サーバ群３に含まれる各サーバ）との間で通信を行うための通信制御を行う。
The
ドライブ２２は、リムーバブルメディア１００が装着可能なインターフェースにより構成される。ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア１００が適宜装着される。リムーバブルメディア１００には、後述の加工表示処理を実行するためのプログラムや、画像データ等の各種データが格納される。ドライブ２２によってリムーバブルメディア１００から読み出されたプログラムや、画像データ等の各種のデータは、必要に応じて記憶部２０にインストールされる。
The
なお、表示装置１は、上述したハードウェアに加えて、他のハードウェアを更に備えていてもよい。例えば、表示装置１は、ランプやスピーカあるいは振動用モータ等で構成され、光や音声あるいはバイブレーション信号を出力する出力部等を更に備えていてもよい。
Note that the
［機能的構成］
図５は、表示装置１の機能的構成のうち、加工表示処理を実行するための機能的構成を示す機能ブロック図である。
加工表示処理とは、表示装置１が、ユーザの顔の色に合わせて、ガイド画像のエッジ部分をグラデーション等の画像処理により加工し、加工後のガイド画像を表示する一連の処理である。
[Functional configuration]
FIG. 5 is a functional block diagram illustrating a functional configuration for executing the processing display process among the functional configurations of the
The modified display process is a series of processes in which the
加工表示処理が実行される場合、図５に示すように、ＣＰＵ１１において、設定処理部１１１と、被写体情報取得部１１２と、加工部１１３と、表示制御部１１４とが機能する。
また、記憶部２０の一領域には、ガイダンス情報記憶部２０１と、被写体情報記憶部２０２とが設定される。
When the processing display process is executed, as shown in FIG. 5, the setting
A guidance
ガイダンス情報記憶部２０１には、加工表示処理におけるガイダンスに関する各種のデータが格納される。例えば、ガイダンス情報記憶部２０１には、加工表示処理において表示されるガイダンス情報を生成するための、ガイド画像のデータ、テキストデータ、及び音データ等が格納される。また、ガイダンス情報記憶部２０１には、一連のガイダンスにおける複数のガイダンス情報の表示の順番や、表示するガイダンス情報を次のガイダンス情報へ切り替えるための条件や、各種ユーザインタフェースを生成するためのデータ等も格納される。更に、ガイダンス情報記憶部２０１には、加工表示処理に関して生成されたユーザのプロファイル情報が格納される。なお、ガイド画像は、予め生成された画像データであってもよく、演算に基づいてリアルタイムに生成されるＣＧ（Ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）等であってもよい。
The guidance
被写体情報記憶部２０２には、被写体情報取得部１１２が取得した、被写体であるユーザに関する情報が格納される。被写体情報記憶部２０２に格納されるユーザに関する情報の詳細については、被写体情報取得部１１２の説明として後述する。
The subject
なお、上述したようなガイダンス情報記憶部２０１や被写体情報記憶部２０２に格納される各情報は、記憶部２０にのみ格納されていてもよいが、ドライブ２２によってリムーバブルメディア１００に適宜格納されるようにしてもよい。更に、ガイダンス情報記憶部２０１や被写体情報記憶部２０２に格納される各情報は、サーバ群３に含まれる測定データ格納サーバ等に適宜格納されるようにしてもよい。
Each information stored in the guidance
また、以下に説明する各機能ブロックでは、加工表示処理を行う前提として座標情報が設定されている。座標情報は、例えば、撮像部１６において撮像された画像についての座標系である撮像座標系、鏡部１８の反射面についての座標系である鏡部座標系、及び表示部１９の表示面についての座標系である表示部座標系といった各座標系を定義するための情報、及び各座標系における座標を他の座標系における座標に変換するための対応関係を示す情報が含まれる。以下に説明する各機能ブロックは、これらの各座標系における座標の対応関係に基づいて、各座標系における座標を変換することにより加工表示処理を行うことができる。これら各座標系の対応関係は、例えば、表示装置１の製造時に、撮像部１６における撮像レンズの方向調整や、ズーム率の調整等による、対応関係の補正を伴うキャリブレーションを行うことにより設定される。例えば、ズーム率の調整は、撮像部１６のレンズ位置の調整によって行われる所謂光学ズーム、及び、画像処理における所謂デジタルズーム、の双方又は何れかを用いて行われる。
In each functional block described below, coordinate information is set as a premise for performing the processing display process. The coordinate information includes, for example, an imaging coordinate system that is a coordinate system for an image captured by the
設定処理部１１１は、加工表示処理に関する設定等の制御を行う部分である。設定処理部１１１は、例えば、サーバ群３に含まれるアプリケーション配信サーバから、加工表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、例えば、サーバ群３に含まれる認証サーバと通信を行うことにより、加工表示処理を行うユーザを認証する。更に設定処理部１１１は、例えば、サーバ群３に含まれる測定データ格納サーバと通信を行うことにより、加工表示処理におけるユーザのプロファイル情報を更新する。
The setting
また、設定処理部１１１は、加工表示処理を行うためのアプリケーションソフトウェアに基づいて、ガイダンスを行うためのメニューを表示する。例えば、ガイダンスに基づいて、「小顔エステ」や「笑顔マッサージ」や「生体情報の測定」や「メイク（化粧）」を行う等の、ガイダンスの内容を選択するための選択肢を含んだメニューを表示する。また、設定処理部１１１は、メニューを参照したユーザから、入力部１７等を介して、何れかのガイダンス内容の選択を受け付ける。例えば、「小顔エステ」の選択を受け付ける。これにより、小顔エステに関するガイダンスのために、加工表示処理が行われる。なお、小顔エステとは、例えば、リンパを流すマッサージにより顔のむくみを減少させるリンパマッサージ等を、ユーザがユーザ自身の顔等に対して行うことをいう。
In addition, the setting
被写体情報取得部１１２は、加工表示処理において、撮像部１６による撮像の被写体となったユーザに関する情報（以下、「被写体情報」と称する。）を取得する部分である。被写体情報とは、例えば、ユーザの顔等における各部位の位置を示す座標や、ユーザの顔等における各部位の色や、ユーザの生体情報等である。
The subject
被写体情報の取得のために、被写体情報取得部１１２は、撮像部１６が撮像した、被写体としてユーザを含む画像を解析して、画像に含まれるユーザの状態を検出する。
例えば、被写体情報取得部１１２は、ユーザの顔を含む顔画像に対して、輪郭や部位のパターンマッチングや肌色識別等のフェイストラッキングに関する処理を行うことで、顔の輪郭や眼の位置や肌の領域を認識し、額、頬、顎、及び首等の所定の部位領域の検出を行う。そして、被写体情報取得部１１２は、この検出した部位領域それぞれの、座標やユーザの肌の色や、ユーザの顔の角度（すなわち、ユーザの顔の向き）といった状態を検出する。
In order to acquire subject information, the subject
For example, the subject
更に、被写体情報取得部１１２は、検出された、各部位領域と、対応する肌の色とを紐付けたデータ（以下、「対応肌色データ」と称する。）を生成する。対応肌色データは、例えば、テーブル形式のデータとして生成される。
Furthermore, the subject
対応肌色データについて、図６を参照して説明をする。
図６（Ａ）に、ユーザの顔と、被写体情報取得部１１２により検出される各部位領域とを模式的に示す。上述したように、被写体情報取得部１１２は、フェイストラッキングに関する処理を行うことで、額、頬、顎、及び首等の所定の部位領域の検出を行う。また、被写体情報取得部１１２は、これら各部位領域を識別するために、識別情報を付与する。図６（Ａ）では、説明の為の一例として、識別情報として「（１）」等の括弧付き数字を用いる。
The corresponding skin color data will be described with reference to FIG.
FIG. 6A schematically shows the user's face and each part region detected by the subject
また、上述したように、被写体情報取得部１１２は、この検出した部位領域それぞれの、ユーザの肌の色を検出する。検出した色は、例えば、ＲＧＢカラーモデルにおける、Ｒ（赤）、Ｇ（緑）、及びＢ（青）のそれぞれの値として数値化される。
次に、被写体情報取得部１１２は、各部位領域と、対応する肌の色とを紐付けることにより、テーブル形式の対応肌色データを生成する。生成された対応肌色テーブルの一例を図６（Ｂ）に示す。図６（Ｂ）に示す例では、各部位領域の識別情報と、対応する肌の色のＲＢＧ値とが紐付けられる。このように生成された対応肌色データは、後述の加工部１１３が、ガイド画像をグラデーション加工する場合に、加工に用いる肌色を決定するための加工基準の情報として利用することができる。
In addition, as described above, the subject
Next, the subject
また、被写体情報取得部１１２は、他にも、実際にユーザに触れることなく、ユーザに対しては非接触で生体情報（バイタルデータと呼ばれることもある。）の計測を行うようにしてもよい。この場合、上記の検出された検出された所定の領域は、非接触で生体情報を取得するための関心領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ）に相当する。
そして、被写体情報取得部１１２は、例えば、この関心領域における皮下の血液中ヘモグロビンが吸収する緑色信号に基づいて、心拍周波数近傍の成分を分析することにより計測を行う。被写体情報取得部１１２が計測する生体情報は、例えば、脈拍、脈波、及び血流等である。
In addition, the subject
Then, the subject
また、被写体情報取得部１１２は、１つの関心領域の画像を対象として計測を行ってもよいが、複数の関心領域の画像を対象として計測を行ってもよい。この場合、被写体情報取得部１１２は、脈拍の遅延がわかる離れた２点（例えば頬と額、又は、額か頬と手のひら等）の関心領域を対象として測定を行なうことにより、例えば、脈波伝播速度や、脈波伝播速度と相関する血圧変動を測定することができる。
また、被写体情報取得部１１２は、測定した生体情報に対してノイズ除去等を行うことにより、平均化処理を施すようにしてもよい。
The subject
Further, the subject
なお、被写体情報取得部１１２による生体情報の測定は、例えば、下記の参考文献に記載の技術を利用することにより行うことができる。
＜参考文献＞
東北大学 サイバーサイエンスセンター 先端情報技術研究部、東北大学 革新的イノベーション研究機構、“血行状態モニタリング装置「魔法の鏡」の開発に成功”、［online］、平成２８年９月２７日、［平成２９年１２月１５日検索］、インターネット＜URL：http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf＞
The measurement of the biological information by the subject
<References>
Tohoku University Cyber Science Center Advanced Information Technology Research Institute, Tohoku University Innovative Innovation Research Organization, “Succeeded in developing blood flow monitoring device“ Magic Mirror ”” [online], September 27, 2016, Search on December 15, 2011], Internet <URL: http://www.tohoku.ac.jp/japanese/newimg/pressimg/tohokuuniv-press20160927_01web.pdf>
被写体情報取得部１１２は、このようにして取得した、対応肌色データや生体情報といった被写体情報を、被写体情報記憶部２０２に格納する。
The subject
加工部１１３は、ガイダンス情報記憶部２０１に格納されているガイダンス情報と、被写体情報記憶部２０２に格納されている被写体情報とに基づいて、ガイド画像に対するグラデーション加工を行う部分である。加工部１１３は、ガイダンス情報記憶部２０１からガイダンスにおいて表示すべきガイド画像を取得する。また、加工部１１３は、被写体情報記憶部２０２から対応肌色データを取得する。
そして、加工部１１３は、取得したガイド画像に対して、対応肌色データに基づいたグラデーション加工を行う。
The
And the
このグラデーション加工の具体例を、図７に示す。
図７（Ａ）の＜加工前画像＞に、ガイド画像５１として示すように、ガイド画像が矢印の形状であるとする。この場合、矢印の輪郭及び輪郭の内部領域は所定の色となっている。例えば、ユーザの鏡像における肌の色と対比しやすい青色等の色となっている。加工部１１３は、このガイド画像５１に対してグラデーション加工を行う。
A specific example of this gradation processing is shown in FIG.
Assume that the guide image has the shape of an arrow as shown as a guide image 51 in <image before processing> in FIG. In this case, the outline of the arrow and the inner area of the outline have a predetermined color. For example, it is a color such as blue that is easy to contrast with the skin color in the mirror image of the user. The
具体的には、図７（Ａ）の＜加工後ガイド画像＞に、グラデーション画像５２として示すように、ガイド画像５１の輪郭周辺の所定領域に対して、グラデーション画像５２を追加することにより、ガイド画像５１を加工する。グラデーション画像５２の色は、肌色とする。 Specifically, as shown as a gradation image 52 in the <processed guide image> in FIG. 7A, a gradation image 52 is added to a predetermined area around the outline of the guide image 51, thereby providing a guide. The image 51 is processed. The color of the gradation image 52 is a skin color.
同様に、図７（Ｂ）の＜加工前画像＞に、ガイド画像５３として示すように、ガイド画像が螺旋状の矢印の形状であるとする。この場合も、矢印の輪郭及び輪郭の内部領域は所定の色となっている。例えば、ユーザの鏡像における肌の色と対比しやすい青色等の色となっている。加工部１１３は、このガイド画像５３に対してグラデーション加工を行う。
Similarly, it is assumed that the guide image has a spiral arrow shape as shown as a guide image 53 in <image before processing> in FIG. Also in this case, the outline of the arrow and the inner area of the outline have a predetermined color. For example, it is a color such as blue that is easy to contrast with the skin color in the mirror image of the user. The
具体的には、図７（Ｂ）の＜加工後ガイド画像＞に、グラデーション画像５４として示すように、ガイド画像５３の輪郭周辺の所定領域に対して、グラデーション画像５４を追加することにより、ガイド画像５３を加工する。グラデーション画像５４の色は、肌色とする。
このように、本実施形態では、グラデーション加工の対象とするガイド画像毎に、グラデーション加工を行う領域や色を定めておくことにより、様々なガイド画像を対象としてグラデーション加工を行うことができる。
Specifically, as shown as the gradation image 54 in the <processed guide image> in FIG. 7B, the gradation image 54 is added to a predetermined area around the outline of the guide image 53, thereby providing a guide. The image 53 is processed. The color of the gradation image 54 is a skin color.
As described above, in the present embodiment, gradation processing can be performed on various guide images by determining a region and color to be subjected to gradation processing for each guide image to be subjected to gradation processing.
このようにして、グラデーション画像が付加されたガイド画像を表示部１９に表示した場合、鏡部１８に反射するユーザの顔等に、グラデーション画像が付加されたガイド画像を重畳される。このグラデーション画像により、鏡部１８に反射するユーザの顔等と、ガイド画像との境界をぼかすことができる。これにより、鏡部１８と表示部１９との構造上、鏡像と、ガイド画像とのそれぞれに対しての視差が生じてしまったとしても、視認上のギャップを低減して表示することができる。
In this way, when the guide image to which the gradation image is added is displayed on the
なお、仮にこのようなグラデーション加工を行わない場合には、ガイド画像の色（例えば、青色）と、鏡部１８に反射するユーザの顔等の肌色とが隣接することになり、ガイド画像の輪郭が余計強調されて、視認上のギャップが生じてしまう。
しかしながら、本実施形態では、上述したように、視認上のギャップを低減して表示することができる。つまり、本実施形態では、このようにグラデーション加工を行うことにより、重畳表示における違和感を抑制することができる。
If such gradation processing is not performed, the color of the guide image (for example, blue) and the skin color of the user's face reflected on the
However, in this embodiment, as described above, the visual gap can be reduced and displayed. That is, in the present embodiment, by performing gradation processing in this way, it is possible to suppress a sense of discomfort in superimposed display.
また、グラデーション画像における肌色は、予め設定されている肌色であってもよいが、ガイド画像を表示する場所等に応じて、適切な肌色を選択するようにしてもよい。例えば、ユーザ毎に肌の色は異なり、同じユーザであっても顔等の部位によっても肌の色は異なる。そこで、加工部１１３は、グラデーション画像における肌色を、被写体情報取得部１１２が生成した対応肌色データに基づいて決定する。すなわち、加工部１１３は、ガイド画像を表示する部位領域に対応する肌色のＲＧＢ値を対応肌色データから取得する。そして、加工部１１３は、取得したＲＧＢ値に基づいた肌色を、グラデーション画像における肌色とする。これにより、グラデーション画像の肌色を、ユーザ毎、且つ、部位毎に応じた適切な肌色とすることができる。これにより、上述した視認上のギャップを、より低減して表示することができる。
Further, the skin color in the gradation image may be a skin color set in advance, but an appropriate skin color may be selected according to the location where the guide image is displayed. For example, the skin color is different for each user, and even for the same user, the skin color is different depending on the part such as the face. Therefore, the
更に、グラデーション画像の色は、全体が単一の肌色であってもよいが、複数の肌色を含んでいてもよい。この場合、グラデーション画像に対応する領域を区分し、区分した領域毎に異なる度合いで、段階的に色が変化するようにしてもよい。例えば、加工部１１３は、ガイド画像に近い領域は肌色が濃く、ガイド画像から遠い領域ほど肌色が薄くなるようにグラデーション加工を行うようにしてもよい。また、中間の領域の肌色については線形補間等により求めるようにしてもよい。
Furthermore, the color of the gradation image may be a single skin color as a whole, or may include a plurality of skin colors. In this case, the area corresponding to the gradation image may be divided, and the color may be changed stepwise with a different degree for each divided area. For example, the
また他にも、例えば、グラデーション画像を所定の画素数単位で格子状に区分し、格子毎にグラデーション画像を表示させたり、表示させなかったりすることにより、グラデーション加工を行うようにしてもよい。例えば、ガイド画像に近い領域には肌色を表示する格子の密度を高くし、ガイド画像から遠い領域ほど肌色を表示する格子の密度を低くなるようにグラデーション加工を行うようにしてもよい。これにより、ガイド画像に近い領域には表示部１９に表示される肌色の割合が多くなり、ガイド画像から遠い領域ほど鏡部１８に反射する鏡像の割合が多くなる、というグラデーションとすることができる。このように区分した領域毎のグラデーションの度合いを異ならせることにより、上述した視認上のギャップを、より低減して表示することができる。
In addition, for example, the gradation processing may be performed by dividing the gradation image into a grid in units of a predetermined number of pixels, and displaying or not displaying the gradation image for each grid. For example, the gradation processing may be performed such that the density of the grid displaying the skin color is increased in the area close to the guide image, and the density of the grid displaying the skin color is decreased in the area far from the guide image. As a result, it is possible to obtain a gradation in which the proportion of the skin color displayed on the
加工部１１３は、このように生成したグラデーション加工後の、グラデーション画像が付加されたガイド画像（以下、「加工後ガイド画像」と称する。）を、表示制御部１１４に対して出力する。
The
表示制御部１１４は、ガイダンス情報を表示する部分である。表示制御部１１４は、加工後ガイド画像や、その他のガイダンス情報を切り替えて表示部１９に表示をさせることによって、一連のガイダンスを実現する。
そのために、表示制御部１１４は、加工部１１３から、加工後ガイド画像の入力を受け付ける。また、表示制御部１１４は、ガイダンス情報記憶部２０１からガイダンス情報を読み込む。
そして、表示制御部１１４は、読み込んだガイダンス情報に定められたタイミングで、読み込んだガイダンス情報に定められた位置に、加工後ガイド画像や、その他のガイド画像情報を表示する。
The
For this purpose, the
Then, the
具体的に、表示制御部１１４は、例えば、鏡部１８によりユーザの顔等の所定の部位領域の鏡像が反射している位置に重畳するように、加工後ガイド画像を表示する。例えば、マッサージについてのガイダンスを行うタイミングで、マッサージの際の手の動きを示す矢印の加工後ガイド画像を、ユーザの顔のマッサージを行う部位領域の鏡像が反射している位置に重畳するように表示する。ユーザは、この重畳された表示を参照することにより、マッサージを行う部位領域や、マッサージの方向等を、自身の鏡像と重畳して、分かりやすく視認することができる。この場合、上述したように、加工後ガイド画像であることから、視認上のギャップを、より低減して表示することができる。
Specifically, for example, the
なお、このような重畳表示を行う場合、例えば、被写体情報取得部１１２は、フェイストラッキングにより、撮像部１６が撮像したユーザの所定の部位領域を検出する。そして、上述した各座標系の対応関係に基づいて、検出した部位領域の撮像座標系における座標に対応する、表示部座標系の座標を取得する。そして、表示制御部１１４は、表示部１９の被写体情報取得部１１２が取得した表示部座標系の座標に、前記加工後ガイド画像を表示することにより、重畳表示を行うことができる。
Note that when performing such superimposed display, for example, the subject
また、表示制御部１１４は、ユーザの顔等の鏡像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、一連のガイダンスにおいてユーザが向くべき方向や、マッサージの方法を画像やテキストで自動配置し表示するようにしてもよい。他にも、表示制御部１１４は、例えば、ユーザの顔等の鏡像と重複しない領域に（すなわち、ユーザの顔と重畳しない領域に）、生体情報を表示するための波形データや必要な文字、画像情報を自動配置し表示するようにしてもよい。
In addition, the
また、表示制御部１１４は、これらの表示を組み合わせるようにしてもよい。例えば、表示制御部１１４は、マッサージの際の手の動きを示す矢印はユーザの顔等の鏡像と重複する領域に重畳して表示し、マッサージの内容を示すテキストはユーザの顔等の鏡像と重複しない領域に表示するようにしてもよい。
Further, the
表示制御部１１４が、このような情報をリアルタイムに表示することで、一連のガイダンスを、ユーザに伝わりやすく、適切に行うことができる。
The
なお、表示制御部１１４は、表示に加えて、他の方法でガイダンス情報を出力するようにしてもよい。例えば、表示制御部１１４は、音データを含んだガイダンス情報を読み出し、読み出したガイダンス情報から生成される音声や音楽をスピーカから出力してもよい。また、他にも、例えば、表示制御部１１４は、発光部による発光状態を変化させるようにしてもよい。
In addition to the display, the
［加工表示処理］
図８は、図５の機能的構成を有する図１の表示装置１が実行する加工表示処理の流れを説明するフローチャートである。
加工表示処理は、例えば、表示装置１の電源投入と共に開始される。
[Processing display processing]
FIG. 8 is a flowchart for explaining the flow of processing display processing executed by the
The processing display process is started when the
図８に示すように、ステップＳ１１において、設定処理部１１１は、初期設定を行う。例えば、設定処理部１１１は、サーバ群３に含まれるアプリケーション配信サーバから、加工表示処理を行うためのアプリケーションソフトウェアを取得して、このアプリケーションソフトウェアを動作させる。また、設定処理部１１１は、アプリケーションソフトウェアの動作に伴い、撮像部１６等の各ハードウェアに対して、アプリケーションソフトウェアに応じた設定を行う。そして、設定処理部１１１は、撮像部１６による撮像を開始させる。
As shown in FIG. 8, in step S11, the setting
ステップＳ１２において、設定処理部１１１は、ユーザを識別するための個人認証を試み、個人認証に成功したか否かを判定する。個人認証に成功した場合は、ステップＳ１２においてＹｅｓと判定され、処理はステップＳ１３に進む。一方で、個人認証に失敗した場合は、ステップＳ１２においてＮｏと判定され、ステップＳ１２を繰り返す。なお、個人認証は、例えば、撮像部１６が撮像したユーザの顔画像を用いた顔認識や、入力部１７に含まれるマイクにて集音したユーザの音声を用いた声紋認識等により行うことができる。また、それ以外にも、所定の生体情報を利用した生体認証や、ユーザから入力されたパスワードを利用した認証等の他の認証方法により個人認証を行うようにしてもよい。
In step S12, the setting
ステップＳ１３において、設定処理部１１１は、個人認証により特定したユーザについてのプロファイル情報を、サーバ群３に含まれる認証サーバに対して問い合わせる。認証サーバは、問い合わせを受けたユーザについてのプロファイル情報の有無を確認する。そして、認証サーバは、プロファイル情報が存在する場合には、サーバ群３に含まれる測定データ格納サーバから、対応するプロファイル情報を取得する。そして、認証サーバは、取得したプロファイル情報を、問い合わせに対する応答として、設定処理部１１１に対して送信する。一方で、認証サーバは、プロファイル情報が存在する場合には、その旨を、問い合わせに対する応答として、設定処理部１１１に対して送信する。
In step S <b> 13, the setting
ここで、プロファイル情報には、ユーザに関する設定情報やユーザによる表示装置１の利用履歴等が含まれる。ここで、ユーザの関連情報とは、例えば、ユーザを識別するための識別情報や、ユーザの名前や年齢、身長体重等の情報や、認証を行うための認証元画像である。また、ユーザによる表示装置１の利用履歴とは、例えば、過去にどのようなガイダンス情報に基づいた処理を行ったかという情報や、その際に取得されたユーザの生体情報等の情報である。また、利用履歴には、例えば、そのユーザについて過去に生成された対応肌色データ等が含まれていてもよい。
Here, the profile information includes setting information about the user, a usage history of the
ステップＳ１４において、設定処理部１１１は、認証サーバからの応答の内容を確認する。認証サーバからの応答の内容が、プロファイル情報である場合には、ステップＳ１４においてＹｅｓと判定され、処理はステップＳ１５に進む。一方で、認証サーバからの応答の内容が、プロファイル情報が存在しない旨である場合には、ステップＳ１４においてＮｏと判定され、処理はステップＳ１６に進む。
In step S14, the setting
ステップＳ１５において、設定処理部１１１は、認証サーバからの応答として受信したプロファイル情報を読み込む。
In step S15, the setting
ステップＳ１６において、設定処理部１１１は、今回処理の対象としているユーザについてのプロファイル情報を生成し、認証サーバへ送信すると共に、プロファイル情報の登録を依頼する。認証サーバは、受信したプロファイル情報を、測定データ格納サーバに格納することにより登録を行う。
In step S <b> 16, the setting
ステップＳ１７において、被写体情報取得部１１２は、上述したようにして、対応肌色データを生成する。なお、対応肌色データの生成は、ステップＳ１７のタイミングで行われてもよいが、他のタイミングで行うようにしてもよい。例えば、後述の各ステップと並行して、周期的に、対応肌色データの生成を行うようにしてもよい。このように、対応肌色データを周期的に生成することにより、最新のユーザの顔の向きや撮像環境の外光等の状況に応じた、適切な対応肌色データをリアルタイムに生成することができる。
In step S17, the subject
ステップＳ１８において、表示制御部１１４は、ガイド画像を表示するか否か判定する。例えば、表示制御部１１４は、ユーザが小顔エステを行うことを選択した場合に、この小顔エステにおけるガイダンスにて、ガイド画像を表示するタイミングであるか否かを判定する。ガイド画像を表示する場合は、ステップＳ１７においてＹｅｓと判定され、処理はステップＳ１９に進む。一方で、ガイド画像を表示しない場合は、ステップＳ１７においてＮｏと判定され、処理はステップＳ１８の判定を繰り返す。
In step S18, the
ステップＳ１９において、加工部１１３は、表示するガイド画像に対して、グラデーション加工を実行することにより、加工後ガイド画像を生成する。このグラデーション加工は、上述したステップＳ１７において生成された対応肌色データ（又は、他のタイミングで周期的に生成された対応肌色データ）に基づいて、行われる。
In step S19, the
ステップＳ２０において、表示制御部１１４は、ステップＳ１３において生成された加工後ガイド画像を、表示部１９の適切な位置に表示させることにより、ガイダンスを行う。
In step S <b> 20, the
ステップＳ２１において、表示制御部１１４は、他のガイド画像を表示するか否か判定する。例えば、表示制御部１１４は、ユーザが小顔エステを行うことを選択した場合に、この小顔エステにおけるガイダンスにて、現在表示しているガイド画像以外の、他のガイド画像を新たに表示するタイミングであるか否かを判定する。他のガイド画像を表示する場合は、ステップＳ２１においてＹｅｓと判定され、処理はステップＳ１９に戻る。そして、この他のガイド画像を対象として、再度ステップＳ１９及びステップＳ２０が行われる。一方で、他のガイド画像を表示しない場合は、ステップＳ２１においてＮｏと判定され、処理はステップＳ２１の判定を繰り返す。
In step S21, the
ステップＳ２２において、表示制御部１１４は、ガイダンスを終了するか否かを判定する。例えば、ガイダンスにおける最後のガイド画像を表示して所定時間が経過した場合に、ガイダンスは終了する。ガイダンスを終了する場合は、ステップＳ２２においてＹｅｓと判定され、処理はステップＳ２３に進む。一方で、ガイダンスを終了しない場合は、ステップＳ２２においてＮｏと判定され、処理は再度ステップＳ２１から繰り返される。
In step S22, the
ステップＳ２３において、表示制御部１１４は、ガイダンス情報に表示を終了させることにより、ガイダンスを終了する。
In step S <b> 23, the
ステップＳ２４において、設定処理部１１１は、今回のガイダンスにおいて生成した対応肌色データや、今回測定した生体情報等に基づいて、記憶部２０のガイダンス情報記憶部２０１や、サーバ群３に含まれる測定データ格納サーバ等に保存されているプロファイル情報を更新する。これにより、加工表示処理は、終了する。
In step S24, the setting
なお、同じユーザを対象として次回以降に行われる加工表示処理では、ステップＳ１４においてＹｅｓと判定されることになり、ステップＳ１６の処理を省略することができる。また、次回以降に行われる加工表示処理では、ステップＳ１１におけるアプリケーションの取得等の処理も省略してよい。 It should be noted that in the processing display process performed for the same user after the next time, it is determined Yes in step S14, and the process of step S16 can be omitted. Further, in the processing display processing performed after the next time, processing such as acquisition of an application in step S11 may be omitted.
以上説明した加工表示処理によれば、鏡部１８に反射する鏡像と、表示部１９に表示したガイド画像とを重畳する場合に、ユーザの顔の色に合わせてガイド画像のエッジ部分をグラデーション等の画像処理にてぼかすので、視認上のギャップを低減して表示することができる。つまり、加工表示処理によれば、重畳表示における違和感を抑制することができる。
また、ユーザは、ガイド画像が、ユーザの鏡像と共に表示されるので、ユーザはその内容を直感的且つ適切に理解することができる。
According to the processing display processing described above, when the mirror image reflected on the
Further, since the guide image is displayed together with the mirror image of the user, the user can understand the contents intuitively and appropriately.
更に、加工表示処理では、表示するガイド画像を加工すればよく、ユーザに対して、例えば、視差を低減するための特殊な３Ｄメガネ等の別途の装置の装着を要求することはない。従って、コストの増大を抑えることができる。また、顔に３Ｄメガネを装着したことにより、マッサージが可能な箇所が限定されてしまうようなことも防止できる。 Furthermore, in the modified display process, it is only necessary to process the guide image to be displayed, and the user is not required to wear a separate device such as special 3D glasses for reducing parallax, for example. Therefore, an increase in cost can be suppressed. Moreover, it can also prevent that the location which can be massaged is limited by having 3D glasses mounted on the face.
以上のように構成される表示装置１は、鏡部１８と、表示部１９と、被写体情報取得部１１２と、加工部１１３と、表示制御部１１４と、を備える。
鏡部１８は、被写体の像を反射する。
表示部１９は、鏡部１８の反射面に重なるように配置され、所定の情報を表示する。被写体情報取得部１１２は、被写体に関する情報を取得する。
加工部１１３は、被写体情報取得部１１２により取得された前記被写体に関する情報に基づいて、所定の情報を加工する。
表示制御部１１４は、加工部１１３により加工された所定の情報を、表示部１９に表示させる制御を行う。
鏡部１８により反射された被写体の像と表示部１９に表示された所定の情報とが重なる。
これにより、鏡部１８に反射する鏡像と、表示部１９に表示したガイド画像とが重なる場合に、被写体に関する情報に基づいて、所定の情報を加工することができる。例えば、ユーザの顔の色に合わせてガイド画像のエッジ部分をグラデーション等の画像処理にてぼかすことができる。従って、視認上のギャップを低減して表示することができる。
つまり、表示装置１によれば、重畳表示における違和感を抑制することができる。
The
The
The
The
The
The subject image reflected by the
Thereby, when the mirror image reflected on the
That is, according to the
表示制御部１１４は、被写体情報取得部１１２により取得された被写体となった人物に関する情報に基づいて、表示部１９に表示させる制御を行う。
これにより、表示部１９に表示させる制御を、被写体となった人物に関する情報に基づいて実現することができる。
The
Thereby, the control displayed on the
被写体となった人物に関する情報とは、被写体となった人物の肌の色に関する情報である。
これにより、表示部１９に表示させる制御を、被写体となった人物の肌の色に関する情報に基づいて実現することができる。
The information on the person who is the subject is information on the skin color of the person who is the subject.
Thereby, the control displayed on the
加工部１１３は、被写体の像を表示部１９の表示面の全面に表示する場合に、被写体情報取得部１１２が取得した肌の色に関する情報に基づいて所定の情報を加工する。
これにより、被写体となった人物の肌の色に関する情報に基づいて所定の情報を加工して、表示することができる。
The
Thereby, predetermined information can be processed and displayed based on the information regarding the skin color of the person who is the subject.
加工部１１３は、鏡部１８により反射された被写体の像と表示部１９に表示された所定の情報とが重なる場合に、所定の情報を加工する。
これにより、被写体の像と所定の情報とが重なる場合に、加工をした所定の情報を用いた表示を行うことができる。
The
Accordingly, when the subject image and the predetermined information overlap, display using the processed predetermined information can be performed.
被写体情報取得部１１２は、被写体に関する情報として、鏡部１８での被写体の像の反射位置に対応する、表示部１９の表示面の座標を取得する。
表示制御部１１４は、加工部１１３が加工した所定の情報を、被写体情報取得部１１２が取得した表示部１９の表示面の座標に表示させる制御を行う。
これにより、鏡部１８で反射する被写体の像と、所定の情報とを重畳することができる。
The subject
The
Thereby, the image of the subject reflected by the
被写体情報取得部１１２は、被写体に関する情報として、被写体の各位置の座標毎、もしくは被写体の各部位に対応する位置の座標毎に、それぞれ対応する加工基準情報を取得する。
加工部１１３は、被写体情報取得部１１２により取得された加工基準情報に基づいて、所定の情報を加工する。
これにより、被写体の各位置それぞれ、もしくは被写体の各部位それぞれに対応して、所定の情報を加工することができる。
The subject
The
Thereby, predetermined information can be processed corresponding to each position of the subject or each part of the subject.
加工部１１３は、所定の情報を表示部１９の一部に表示する場合に、被写体情報取得部１１２により取得された加工基準情報に基づいて、所定の情報を加工する。
これにより、被写体の各部それぞれに対応して、表示部１９の一部に表示する所定の情報を加工することができる。
When displaying the predetermined information on a part of the
Thereby, the predetermined information displayed on a part of the
加工部１１３は、所定の情報が示す画像の形状の輪郭に対応する領域に対して加工を行う。
これにより、所定の情報が示す画像の輪郭をぼかすような加工をすることができる。
The
Thereby, it is possible to perform processing such as blurring the outline of the image indicated by the predetermined information.
加工部１１３は、所定の情報が示す画像の形状の輪郭に対応する領域を区分し、区分した領域毎に異なる度合いで、段階的に加工を行う。
これにより、段階的なグラデーションのような加工をすることができる。
The
As a result, it is possible to perform a gradation-like process.
加工部１１３は、所定の情報が示す画像の少なくとも一部を、被写体に関する情報に基づいた色とする加工を行う。
これにより、被写体に対応した色に加工した画像を、表示することができる。
The
Thereby, an image processed into a color corresponding to the subject can be displayed.
加工部１１３は、所定の情報が示す画像を複数の格子状に区分し、区分した格子毎に表示制御部１１４による表示の対象とする画像の密度を異ならせる加工を行う
これにより、加工した画像の割合を段階的に異ならせて、表示をすることができる。
The
鏡部１８は、反射面の正面側に対して被写体の像を反射すると共に、反射面の正面側に対して表示部１９が表示する所定の情報を透過することにより、被写体の像と所定の情報とを重畳する。
これにより、鏡部１８の正面側に対して、被写体の像と所定の情報とを重畳して出力することができる。
The
Thereby, it is possible to superimpose and output the subject image and the predetermined information on the front side of the
表示装置１は、被写体を撮像する撮像部１６を更に備える。
被写体情報取得部１１２は、撮像部１６により撮像された被写体の撮像画像から、被写体に関する情報を取得する。
これにより、撮像部１６が撮像した画像から取得した被写体に関する情報に基づいて、加工を行うことができる。
The
The subject
Thereby, it can process based on the information regarding the to-be-photographed object acquired from the image which the
撮像部１６は、反射手段での被写体の像の反射位置と、表示手段の表示面の座標との対応関係を補正する。
これにより、例えば、撮像部１６における撮像レンズの方向調整や、ズーム率の調整等により、対応関係の補正を行うことができる。
The
Thereby, for example, the correspondence can be corrected by adjusting the direction of the imaging lens in the
鏡部１８は、ハーフミラーであり、
表示部１９は、鏡部１８の反射面の背面に配置され、所定の情報を表示する。
これにより、ハーフミラーの反射特性と、透過特性とにより、鏡像と所定の情報とを重畳することができる。
The
The
Thereby, a mirror image and predetermined information can be superimposed by the reflection characteristic and transmission characteristic of a half mirror.
表示部１９は、透過型の表示手段であり、
鏡部１８は、表示手段の背面に配置される、
これにより、透過型の表示手段の反射特性と、透過特性とにより、鏡像と所定の情報とを重畳することができる。
The
The
Thereby, the mirror image and the predetermined information can be superimposed by the reflection characteristic and the transmission characteristic of the transmission type display means.
［変形例］
本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。例えば、上述の実施形態を以下の変形例のように変形してもよい。
[Modification]
The present invention is not limited to the above-described embodiment, and modifications, improvements, and the like within the scope that can achieve the object of the present invention are included in the present invention. For example, the above-described embodiment may be modified as in the following modified example.
＜第１変形例＞
上述した実施形態では、加工表示処理の対象となる被写体がユーザの顔等であることを想定していた。そして、このユーザの顔等の肌の色に基づいてグラデーション加工を行い、加工後ガイド画像を、このユーザの顔等に重畳して表示していた。
これに限らず、ユーザの顔等以外を、加工表示処理の対象の被写体とするようにしてもよい。例えば、ユーザの顔以外の、腕や足や全身を加工表示処理の対象の被写体とするようにしてもよい。また他にも、例えば、ユーザ以外の動物を加工表示処理の対象の被写体とするようにしてもよい。更に他にも、例えば、建築物の壁等や、棚等の家具等のものを加工表示処理の対象の被写体とするようにしてもよい。そして、これらの被写体の色に基づいてグラデーション加工を行い、加工後ガイド画像を、これらの被写体に重畳して表示するようにしてもよい。
また、このように、被写体に重畳して表示する場合に、更に、例えば、被写体の周辺の背景の色に基づいてグラデーション加工を行い、加工後ガイド画像を、この被写体の周辺の背景に重畳して表示してもよい。
<First Modification>
In the above-described embodiment, it is assumed that the subject to be processed and processed is the face of the user. Then, gradation processing is performed based on the skin color of the user's face or the like, and the post-processing guide image is displayed superimposed on the user's face or the like.
However, the present invention is not limited to this, and a subject other than the user's face or the like may be set as a subject to be processed and processed. For example, an arm, a leg, or the whole body other than the user's face may be set as a subject to be processed and displayed. In addition, for example, an animal other than the user may be used as a subject to be processed and displayed. In addition, for example, a building wall or furniture such as a shelf may be used as a subject to be processed and displayed. Then, gradation processing may be performed based on the colors of these subjects, and the processed guide image may be displayed superimposed on these subjects.
In addition, when the image is superimposed and displayed on the subject as described above, for example, gradation processing is performed based on the background color around the subject, and the processed guide image is superimposed on the background around the subject. May be displayed.
＜第２変形例＞
上述した実施形態では、加工後ガイド画像を、表示部１９の表示面の一部（例えば、所定の部位領域に対応する一部の領域）に表示する場合に、加工部１１３が、対応肌色データを用いたグラデーション加工を行っていた。これに限らず、加工部１１３が、他の方法でグラデーション加工を行うようにしてもよい。
例えば、加工後ガイド画像を、表示部１９の表示面の全面の複数の位置（例えば、異なる位置にある複数の部位領域に対応する複数の領域）に表示する場合に、加工部１１３が、対応肌色データを用いたグラデーション加工は行わないようにしてもよい。
この場合、例えば、加工部１１３が、対応肌色データを用いることなく、予め用意した一般的な肌色を用いてグラデーション加工を行うようにしてもよい。また、例えば、被写体が上述した建築物の壁等の全面が同じ一様な色の場合にも、対応肌色データを用いることなく、予め用意した所定の色を用いてグラデーション加工を行うようにしてもよい。
<Second Modification>
In the embodiment described above, when the processed guide image is displayed on a part of the display surface of the display unit 19 (for example, a part of the region corresponding to the predetermined part region), the
For example, when the processed guide image is displayed at a plurality of positions (for example, a plurality of regions corresponding to a plurality of region regions at different positions) on the entire display surface of the
In this case, for example, the
＜他の変形例＞
例えば、上述の実施形態において、表示装置１と、サーバ群３に含まれる各サーバとが協働することを想定していたが、各サーバの機能を表示装置１に追加して、表示装置１のみで全ての処理を行うようにしてもよい。
<Other variations>
For example, in the above-described embodiment, it is assumed that the
また、上述の実施形態では、本発明が適用される表示装置１は、携帯可能な自立式の鏡に組み込まれた電子機器を例として説明したが、特にこれに限定されない。
例えば、本発明は、姿見等の大型の鏡に組み込まれた電子機器や、据え置き型の洗面化粧台に組み込まれた電子機器や、浴室に設置される鏡形状の電子機器に適用可能である。
In the above-described embodiment, the
For example, the present invention can be applied to an electronic device incorporated in a large mirror such as a figure, an electronic device incorporated in a stationary type vanity, and a mirror-shaped electronic device installed in a bathroom.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図５の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が表示装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図５の例に限定されない。
The series of processes described above can be executed by hardware or can be executed by software.
In other words, the functional configuration of FIG. 5 is merely an example, and is not particularly limited. That is, it is sufficient that the
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
本実施形態における機能的構成は、演算処理を実行するプロセッサによって実現され、本実施形態に用いることが可能なプロセッサには、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の処理回路とが組み合わせられたものを含む。
In addition, one functional block may be constituted by hardware alone, software alone, or a combination thereof.
The functional configuration in the present embodiment is realized by a processor that executes arithmetic processing, and the processor that can be used in the present embodiment is configured by various processing devices such as a single processor, a multiprocessor, and a multicore processor. In addition to the above, these various processing apparatuses and a combination of processing circuits such as ASIC (Application Specific Integrated Circuit) and FPGA (Field-Programmable Gate Array) are included.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium.
The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図４のリムーバブルメディア１００により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア１００は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ，Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図４のＲＯＭ１２や、図４、５の記憶部２０に含まれるハードディスク等で構成される。
The recording medium including such a program is not only configured by the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the order, but is not necessarily performed in chronological order, either in parallel or individually. The process to be executed is also included.
Further, in the present specification, the term “system” means an overall apparatus configured by a plurality of devices, a plurality of means, and the like.
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 As mentioned above, although several embodiment of this invention was described, these embodiment is only an illustration and does not limit the technical scope of this invention. The present invention can take other various embodiments, and various modifications such as omission and replacement can be made without departing from the gist of the present invention. These embodiments and modifications thereof are included in the scope and gist of the invention described in this specification and the like, and are included in the invention described in the claims and the equivalents thereof.
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体の像を反射する反射手段と、
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
前記被写体に関する情報を取得する取得手段と、
前記取得手段により取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工手段と、
前記加工手段により加工された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御手段と、
を備え、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示装置。
［付記２］
前記表示制御手段は、
前記取得手段により取得された前記被写体となった人物に関する情報に基づいて、前記表示手段に表示させる制御を行う、
ことを特徴とする付記１に記載の表示装置。
［付記３］
前記被写体となった人物に関する情報とは、前記被写体となった人物の肌の色に関する情報である、
ことを特徴とする付記２に記載の表示装置。
［付記４］
前記加工手段は、前記被写体の像を前記表示手段の表示面の全面に表示する場合に、前記取得手段が取得した肌の色に関する情報に基づいて前記所定の情報を加工する、
ことを特徴とする付記３に記載の表示装置。
［付記５］
前記加工手段は、前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なる場合に、前記所定の情報を加工する、
ことを特徴とする付記１乃至４の何れか１に記載の表示装置。
［付記６］
前記取得手段は、前記被写体に関する情報として、前記反射手段での前記被写体の像の反射位置に対応する前記表示手段の表示面の座標を取得し、
前記表示制御手段は、前記加工手段が加工した前記所定の情報を、前記取得手段が取得した前記表示手段の表示面の座標に表示させる制御を行う、
ことを特徴とする付記１乃至５の何れか１に記載の表示装置。
［付記７］
前記取得手段は、前記被写体に関する情報として、前記被写体の各位置の座標毎、もしくは前記被写体の各部位に対応する位置の座標毎に、それぞれ対応する加工基準情報を取得し、
前記加工手段は、前記取得手段により取得された加工基準情報に基づいて前記所定の情報を加工する、
ことを特徴とする付記１乃至６の何れか１に記載の表示装置。
［付記８］
前記加工手段は、前記所定の情報を前記表示手段の一部に表示する場合に、前記取得手段により取得された加工基準情報に基づいて前記所定の情報を加工する、
ことを特徴とする付記７に記載の表示装置。
［付記９］
前記加工手段は、前記所定の情報が示す画像の形状の輪郭に対応する領域に対して加工を行う付記１乃至８の何れか１に記載の表示装置。
［付記１０］
前記加工手段は、前記所定の情報が示す画像を複数の領域に区分し、区分した領域毎に異なる度合いで、段階的に加工を行う付記１乃至９の何れか１に記載の表示装置。
［付記１１］
前記加工手段は、前記所定の情報が示す画像の少なくとも一部を、前記被写体に関する情報に基づいた色とする加工を行う付記１乃至１０の何れか１に記載の表示装置。
［付記１２］
前記加工手段は、前記所定の情報が示す画像を複数の格子状に区分し、区分した格子毎に前記表示制御手段による表示の対象とする画像の密度を異ならせる加工を行う付記１乃至１１の何れか１に記載の表示装置。
［付記１３］
前記反射手段は、前記反射面の正面側に対して前記被写体の像を反射すると共に、前記反射面の正面側に対して前記表示手段が表示する前記所定の情報を透過することにより、前記被写体の像と前記所定の情報とを重畳する、
ことを特徴とする付記１乃至１２の何れか１に記載の表示装置。
［付記１４］
前記被写体を撮像する撮像手段を更に備え、
前記取得手段は、前記撮像手段により撮像された被写体の撮像画像から、前記被写体に関する情報を取得する、
ことを特徴とする付記１乃至１３の何れか１に記載の表示装置。
［付記１５］
前記撮像手段は、前記反射手段での前記被写体の像の反射位置と、前記表示手段の表示面の座標との対応関係を補正する、
ことを特徴とする付記１４に記載の表示装置。
［付記１６］
前記反射手段はハーフミラーであり、
前記表示手段は、前記反射手段の反射面の背面に配置され、所定の情報を表示する、
ことを特徴とする付記１乃至１５の何れか１に記載の表示装置。
［付記１７］
前記表示手段は透過型の表示手段であり、
前記反射手段は、前記表示手段の背面に配置される、
ことを特徴とする付記１乃至１５の何れか１に記載の表示装置。
［付記１８］
被写体の像を反射する反射手段と、
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
を備えたコンピュータが行う表示方法であって、
前記被写体に関する情報を取得する取得ステップと、
前記取得ステップにて取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工ステップと、
前記加工ステップにて加工された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御ステップと、
を有し、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示方法。
［付記１９］
被写体の像を反射する反射手段と、
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
を備えたコンピュータに、
前記被写体に関する情報を取得する取得機能と、
前記取得機能により取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工機能と、
前記加工機能により取得された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御機能と、
を実現させ、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示プログラム。
The invention described in the scope of claims at the beginning of the filing of the present application will be appended.
[Appendix 1]
Reflection means for reflecting the image of the subject;
A display unit arranged to overlap the reflection surface of the reflection unit and displaying predetermined information;
Obtaining means for obtaining information on the subject;
Processing means for processing the predetermined information based on information on the subject acquired by the acquisition means;
Display control means for performing control to display the predetermined information processed by the processing means on the display means;
With
A display device, wherein an image of a subject reflected by the reflecting means overlaps with predetermined information displayed on the display means.
[Appendix 2]
The display control means includes
Based on the information about the person who is the subject acquired by the acquisition unit, control to display on the display unit,
The display device according to
[Appendix 3]
The information about the person who is the subject is information about the skin color of the person who is the subject.
The display device according to
[Appendix 4]
The processing means processes the predetermined information based on information on the skin color acquired by the acquisition means when displaying the image of the subject on the entire display surface of the display means.
The display device according to
[Appendix 5]
The processing means processes the predetermined information when an image of the subject reflected by the reflecting means and the predetermined information displayed on the display means overlap.
5. The display device according to any one of
[Appendix 6]
The acquisition unit acquires the coordinates of the display surface of the display unit corresponding to the reflection position of the image of the subject on the reflection unit as information on the subject,
The display control means performs control to display the predetermined information processed by the processing means on the coordinates of the display surface of the display means acquired by the acquisition means.
The display device according to any one of
[Appendix 7]
The acquisition means acquires, as information about the subject, corresponding processing reference information for each coordinate of each position of the subject or for each coordinate of a position corresponding to each part of the subject,
The processing means processes the predetermined information based on the processing reference information acquired by the acquisition means.
The display device according to any one of
[Appendix 8]
The processing means processes the predetermined information based on the processing reference information acquired by the acquisition means when displaying the predetermined information on a part of the display means.
The display device according to
[Appendix 9]
The display device according to any one of
[Appendix 10]
The display device according to any one of
[Appendix 11]
11. The display device according to any one of
[Appendix 12]
The processing means performs processing to divide an image indicated by the predetermined information into a plurality of grids and to change a density of an image to be displayed by the display control unit for each of the divided grids. The display device according to any one of the above.
[Appendix 13]
The reflecting means reflects the image of the subject to the front side of the reflecting surface and transmits the predetermined information displayed by the display means to the front side of the reflecting surface. Superimposing the image and the predetermined information,
13. The display device according to any one of
[Appendix 14]
It further comprises imaging means for imaging the subject,
The acquisition unit acquires information on the subject from a captured image of the subject captured by the imaging unit.
14. The display device according to any one of
[Appendix 15]
The imaging unit corrects the correspondence between the reflection position of the image of the subject on the reflection unit and the coordinates of the display surface of the display unit;
[Appendix 16]
The reflecting means is a half mirror;
The display means is disposed on the back surface of the reflection surface of the reflection means and displays predetermined information.
The display device according to any one of
[Appendix 17]
The display means is a transmissive display means,
The reflecting means is disposed on the back surface of the display means.
The display device according to any one of
[Appendix 18]
Reflection means for reflecting the image of the subject;
A display unit arranged to overlap the reflection surface of the reflection unit and displaying predetermined information;
A display method performed by a computer equipped with
An acquisition step of acquiring information about the subject;
A processing step of processing the predetermined information based on the information about the subject acquired in the acquisition step;
A display control step for performing control to display the predetermined information processed in the processing step on the display means;
Have
A display method characterized in that an image of a subject reflected by the reflecting means and predetermined information displayed on the display means overlap.
[Appendix 19]
Reflection means for reflecting the image of the subject;
A display unit arranged to overlap the reflection surface of the reflection unit and displaying predetermined information;
On a computer with
An acquisition function for acquiring information about the subject;
A processing function for processing the predetermined information based on information on the subject acquired by the acquisition function;
A display control function for controlling the display unit to display the predetermined information acquired by the processing function;
Realized
A display program characterized in that an image of a subject reflected by the reflecting means overlaps with predetermined information displayed on the display means.
１・・・表示装置，２・・・ネットワーク，３・・・サーバ群，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・鏡部，１９・・・表示部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３０・・・本体部，３１・・・脚部，３２・・・ヒンジ部，１００・・・リムーバブルメディア，１１１・・・設定処理部，１１２・・・被写体情報取得部，１１３・・・加工部，１１４・・・表示制御部，２０１・・・ガイダンス情報記憶部，２０２・・・被写体情報記憶部，Ｓ・・・表示システム
DESCRIPTION OF
Claims (19)
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
前記被写体に関する情報を取得する取得手段と、
前記取得手段により取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工手段と、
前記加工手段により加工された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御手段と、
を備え、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示装置。 Reflection means for reflecting the image of the subject;
A display unit arranged to overlap the reflection surface of the reflection unit and displaying predetermined information;
Obtaining means for obtaining information on the subject;
Processing means for processing the predetermined information based on information on the subject acquired by the acquisition means;
Display control means for performing control to display the predetermined information processed by the processing means on the display means;
With
A display device, wherein an image of a subject reflected by the reflecting means overlaps with predetermined information displayed on the display means.
前記取得手段により取得された前記被写体となった人物に関する情報に基づいて、前記表示手段に表示させる制御を行う、
ことを特徴とする請求項１に記載の表示装置。 The display control means includes
Based on the information about the person who is the subject acquired by the acquisition unit, control to display on the display unit is performed.
The display device according to claim 1.
ことを特徴とする請求項２に記載の表示装置。 The information about the person who is the subject is information about the skin color of the person who is the subject.
The display device according to claim 2.
ことを特徴とする請求項３に記載の表示装置。 The processing means processes the predetermined information based on information on the skin color acquired by the acquisition means when displaying the image of the subject on the entire display surface of the display means.
The display device according to claim 3.
ことを特徴とする請求項１乃至４の何れか１項に記載の表示装置。 The processing means processes the predetermined information when an image of the subject reflected by the reflecting means and the predetermined information displayed on the display means overlap.
The display device according to claim 1, wherein the display device is a display device.
前記表示制御手段は、前記加工手段が加工した前記所定の情報を、前記取得手段が取得した前記表示手段の表示面の座標に表示させる制御を行う、
ことを特徴とする請求項１乃至５の何れか１項に記載の表示装置。 The acquisition unit acquires the coordinates of the display surface of the display unit corresponding to the reflection position of the image of the subject on the reflection unit as information on the subject,
The display control means performs control to display the predetermined information processed by the processing means on the coordinates of the display surface of the display means acquired by the acquisition means.
The display device according to claim 1, wherein the display device is a display device.
前記加工手段は、前記取得手段により取得された加工基準情報に基づいて前記所定の情報を加工する、
ことを特徴とする請求項１乃至６の何れか１項に記載の表示装置。 The acquisition means acquires, as information about the subject, corresponding processing reference information for each coordinate of each position of the subject or for each coordinate of a position corresponding to each part of the subject,
The processing means processes the predetermined information based on the processing reference information acquired by the acquisition means.
The display device according to claim 1, wherein the display device is a display device.
ことを特徴とする請求項７に記載の表示装置。 The processing means processes the predetermined information based on the processing reference information acquired by the acquisition means when displaying the predetermined information on a part of the display means.
The display device according to claim 7.
ことを特徴とする請求項１乃至１２の何れか１項に記載の表示装置。 The reflecting means reflects the image of the subject to the front side of the reflecting surface and transmits the predetermined information displayed by the display means to the front side of the reflecting surface. Superimposing the image and the predetermined information,
The display device according to claim 1, wherein the display device is a display device.
前記取得手段は、前記撮像手段により撮像された被写体の撮像画像から、前記被写体に関する情報を取得する、
ことを特徴とする請求項１乃至１３の何れか１項に記載の表示装置。 It further comprises imaging means for imaging the subject,
The acquisition unit acquires information on the subject from a captured image of the subject captured by the imaging unit.
The display device according to claim 1, wherein the display device is a display device.
ことを特徴とする請求項１４に記載の表示装置。 The imaging unit corrects the correspondence between the reflection position of the image of the subject on the reflection unit and the coordinates of the display surface of the display unit;
The display device according to claim 14.
前記表示手段は、前記反射手段の反射面の背面に配置され、所定の情報を表示する、
ことを特徴とする請求項１乃至１５の何れか１項に記載の表示装置。 The reflecting means is a half mirror,
The display means is disposed on the back surface of the reflection surface of the reflection means and displays predetermined information.
The display device according to claim 1, wherein the display device is a display device.
前記反射手段は、前記表示手段の背面に配置される、
ことを特徴とする請求項１乃至１５の何れか１項に記載の表示装置。 The display means is a transmissive display means,
The reflecting means is disposed on the back surface of the display means.
The display device according to claim 1, wherein the display device is a display device.
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
を備えたコンピュータが行う表示方法であって、
前記被写体に関する情報を取得する取得ステップと、
前記取得ステップにて取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工ステップと、
前記加工ステップにて加工された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御ステップと、
を有し、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示方法。 Reflection means for reflecting the image of the subject;
A display unit arranged to overlap the reflection surface of the reflection unit and displaying predetermined information;
A display method performed by a computer equipped with
An acquisition step of acquiring information about the subject;
A processing step of processing the predetermined information based on the information about the subject acquired in the acquisition step;
A display control step for performing control to display the predetermined information processed in the processing step on the display means;
Have
A display method characterized in that an image of a subject reflected by the reflecting means and predetermined information displayed on the display means overlap.
前記反射手段の反射面に重なるように配置され、所定の情報を表示する表示手段と、
を備えたコンピュータに、
前記被写体に関する情報を取得する取得機能と、
前記取得機能により取得された前記被写体に関する情報に基づいて、前記所定の情報を加工する加工機能と、
前記加工機能により取得された前記所定の情報を、前記表示手段に表示させる制御を行う表示制御機能と、
を実現させ、
前記反射手段により反射された被写体の像と前記表示手段に表示された所定の情報とが重なることを特徴とする表示プログラム。 Reflection means for reflecting the image of the subject;
A display unit arranged to overlap the reflection surface of the reflection unit and displaying predetermined information;
On a computer with
An acquisition function for acquiring information about the subject;
A processing function for processing the predetermined information based on information on the subject acquired by the acquisition function;
A display control function for controlling the display unit to display the predetermined information acquired by the processing function;
Realized
A display program characterized in that an image of a subject reflected by the reflecting means overlaps with predetermined information displayed on the display means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018110612A JP7135466B2 (en) | 2018-06-08 | 2018-06-08 | Display device, display method and display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018110612A JP7135466B2 (en) | 2018-06-08 | 2018-06-08 | Display device, display method and display program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019209065A true JP2019209065A (en) | 2019-12-12 |
| JP2019209065A5 JP2019209065A5 (en) | 2021-07-26 |
| JP7135466B2 JP7135466B2 (en) | 2022-09-13 |
Family
ID=68846083
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018110612A Active JP7135466B2 (en) | 2018-06-08 | 2018-06-08 | Display device, display method and display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7135466B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113303772A (en) * | 2020-02-27 | 2021-08-27 | 卡西欧计算机株式会社 | Electronic device, control method of electronic device, and storage medium |
| JPWO2021171442A1 (en) * | 2020-02-26 | 2021-09-02 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064423A (en) * | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program |
| JP2013182062A (en) * | 2012-02-29 | 2013-09-12 | Nikon Corp | Display device and projection device |
| JP2013246184A (en) * | 2012-05-23 | 2013-12-09 | Sharp Corp | Display device |
| JP2014023127A (en) * | 2012-07-23 | 2014-02-03 | Sharp Corp | Information display device, information display method, control program, and recording medium |
| JP2014052512A (en) * | 2012-09-07 | 2014-03-20 | Panasonic Corp | Mirror display device |
-
2018
- 2018-06-08 JP JP2018110612A patent/JP7135466B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009064423A (en) * | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program |
| JP2013182062A (en) * | 2012-02-29 | 2013-09-12 | Nikon Corp | Display device and projection device |
| JP2013246184A (en) * | 2012-05-23 | 2013-12-09 | Sharp Corp | Display device |
| JP2014023127A (en) * | 2012-07-23 | 2014-02-03 | Sharp Corp | Information display device, information display method, control program, and recording medium |
| JP2014052512A (en) * | 2012-09-07 | 2014-03-20 | Panasonic Corp | Mirror display device |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2021171442A1 (en) * | 2020-02-26 | 2021-09-02 | ||
| WO2021171442A1 (en) * | 2020-02-26 | 2021-09-02 | 日本電信電話株式会社 | Display device, display method, and display program for displaying information by superposing same over mirror image |
| JP7318795B2 (en) | 2020-02-26 | 2023-08-01 | 日本電信電話株式会社 | Display device, display method and display program for superimposing and displaying information on a mirror image |
| CN113303772A (en) * | 2020-02-27 | 2021-08-27 | 卡西欧计算机株式会社 | Electronic device, control method of electronic device, and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7135466B2 (en) | 2022-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7135472B2 (en) | Display control device, display control method and display control program | |
| TW201610401A (en) | Electronic device and method for enhancing accuracy of a contactless body temperature measurement | |
| AU2014275184A1 (en) | Manipulation of virtual object in augmented reality via intent | |
| JP7115458B2 (en) | ELECTRONIC DEVICE, METHOD OF OPERATING ELECTRONIC DEVICE, AND CONTROL PROGRAM FOR ELECTRONIC DEVICE | |
| JPWO2016076140A1 (en) | Information processing apparatus, information processing method, and program | |
| JP2021132869A (en) | Electronic device, control method of electronic device, and control program of electronic device | |
| JP7135466B2 (en) | Display device, display method and display program | |
| US20220087547A1 (en) | Electronic device, control method for electronic device, and recording medium | |
| JP7230409B2 (en) | Determination device, determination method and determination program | |
| JP7139638B2 (en) | Notification device, notification method and notification program | |
| US10915617B2 (en) | Image processing apparatus, image processing method, and recording medium | |
| JP2015103991A (en) | Image processing apparatus, method and computer program | |
| JP7415318B2 (en) | Image processing device, image processing method and program | |
| JP2020057153A (en) | Display control device, display control method and display control program | |
| JP7225749B2 (en) | Notification device, notification method and program | |
| JP7392806B2 (en) | Electronic device, control method for electronic device, and control program for electronic device | |
| JP7485114B2 (en) | Notification device, notification method, and program | |
| WO2021060250A1 (en) | Image processing device, image processing method, and image processing program | |
| JP2023057107A (en) | Notification device, notification method and program | |
| JP2019208906A (en) | Information processing device, information processing method, and information processing program | |
| JP2020000307A (en) | Reflecting device, reflection method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210518 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210518 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220815 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7135466 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |