JP2011077747A

JP2011077747A - Information display device

Info

Publication number: JP2011077747A
Application number: JP2009225865A
Authority: JP
Inventors: Takashi Hoshino; 剛史星野; Kazukuni Nakajima; 一州中島
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2009-09-30
Filing date: 2009-09-30
Publication date: 2011-04-14

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information display device which overlaps and displays a self-portrait and various information on a usual mirror. <P>SOLUTION: The information display device includes: a camera 20 and a projector 30 which are arranged around the mirror 10; and a controller 44 which provides information 150, which is projected, to the projector 30; wherein the controller 44 makes the camera 20 photograph a user 100 who fully faces the mirror 10, calculates positions of the face 110 and the eyes 120 of the user 100 from a photographed face image of the user to generate a projected image 170, and projects the various information via the projector 30 using the calculated face 110 except the eyes 120 as a screen. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、鏡に自画像と各種の情報を表示する情報表示装置に関するものである。 The present invention relates to an information display device that displays a self-portrait and various types of information on a mirror.

従来から、利用者の自画像と各種の情報を重ね合わせて表示装置に表示し、この表示装置を鏡のように利用することで、あたかも利用者が鏡を見るように自画像と各種の情報を合わせて取得できる技術が多数提案されている。 Conventionally, the user's self-portrait and various types of information are superimposed on each other and displayed on a display device. By using this display device like a mirror, the user's self-portrait and various types of information can be combined as if looking at the mirror. Many technologies that can be acquired in this way have been proposed.

例えば、正面にハーフミラーを設け、このハーフミラーの後方にカメラを配置するとともに、このカメラで撮った顔画像を映し出す表示装置を設け、この表示装置に打ちし出された顔画像をハーフミラーを介して反射させて見ることができる電子鏡の技術が提案されている。この技術によれば近視の人がレンズが嵌っていないメガネフレームを掛けて自分に似合うものを間違うことなく選択することができる。しかも、この技術では、ハーフミラーの後方にカメラを設けることにより、目線とカメラ光軸を合わせて、鏡のような自画像を撮影して表示することができる。 For example, a half mirror is provided on the front, a camera is disposed behind the half mirror, a display device that displays a face image taken by the camera is provided, and the face image that is projected on the display device is provided with a half mirror. There has been proposed an electronic mirror technique that can be reflected through the screen. According to this technique, a person with myopia can select an item that suits herself without wearing a spectacle frame without a lens fitted without mistake. In addition, in this technique, by providing a camera behind the half mirror, a self-portrait such as a mirror can be taken and displayed by aligning the line of sight with the optical axis of the camera.

この他、目線のずれた画像となるが、カメラを表示装置の周囲の近傍に設けて、このカメラで撮影した利用者の画像を表示装置に表示する技術は、テレビ電話などで多数提案されている。 In addition to this, although the image is shifted from the line of sight, many technologies for providing a camera in the vicinity of the periphery of the display device and displaying the user's image taken with this camera on the display device have been proposed for videophones and the like. Yes.

特開２００６−１９５１９８号の公報Japanese Laid-Open Patent Publication No. 2006-195198 特開２００４−３２０２３６号の公報Japanese Laid-Open Patent Publication No. 2004-320236 特開２００３−１５３７３９号の公報Japanese Laid-Open Patent Publication No. 2003-153739

従来から広く提案されている技術では、表示装置の周囲にカメラを設け、このカメラで表示装置に正対する利用者を撮影して、表示装置にカメラで撮影した画像を表示することで、あたかも表示装置を鏡を見るように利用することができる。そして、この技術によれば、利用者の自画像に各種の情報を重ね表示することができる。しかし、この技術では、利用者の正面からカメラで撮影できないので、表示装置に表示する利用者の目線が正対する利用者の目線とずれてしまう課題がある。 In the technology that has been widely proposed in the past, a camera is provided around the display device, a user who directly faces the display device is photographed by this camera, and an image photographed by the camera is displayed on the display device. The device can be used as a mirror. And according to this technique, various kinds of information can be overlaid and displayed on the user's own image. However, in this technique, since the camera cannot be photographed from the front of the user, there is a problem that the user's line of sight displayed on the display device deviates from the user's line of sight.

この課題を解決する技術として、前記したハーフミラーを使う技術が提案されているが、装置が大型化する課題がある。また、ハーフミラーに映る顔とハーフミラー背後の表示とは、利用者からの視距離が約２倍ほども異なるため、両方を同時に見ることは困難である。 As a technique for solving this problem, a technique using the above-described half mirror has been proposed, but there is a problem that the apparatus becomes larger. In addition, since the viewing distance from the user is about twice as long as the face reflected on the half mirror and the display behind the half mirror, it is difficult to see both at the same time.

そこで、この発明の目的は、通常の鏡に自画像と各種の情報を重ね表示する情報表示装置提供する。 SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide an information display device that displays a self-portrait and various kinds of information on a normal mirror.

前記目的を達成する点に、本発明に係る情報表示装置では、鏡の周囲に配置されるカメラ部とプロジェクタ部と、前記プロジェクタ部に投影する情報を提供する情報処理装置とを備え、前記制御装置は、前記鏡に正対する利用者をカメラ部で撮影させ、この撮影した利用者の顔画像から利用者の顔と目の位置を算出して投影画像を生成し、前記プロジェクタ部を介して算出された目以外の顔に各種の情報を投影するようにする。この際、プロジェクタから投影する画像情報は、算出された目の位置に暗調子の映像を常に表示するようにする。 In order to achieve the above object, the information display device according to the present invention includes a camera unit and a projector unit arranged around a mirror, and an information processing device that provides information to be projected onto the projector unit, and the control The apparatus captures a user facing the mirror with the camera unit, calculates a position of the user's face and eyes from the captured user's face image, generates a projection image, and passes the projector unit through the projector unit. Various information is projected on the face other than the calculated eye. At this time, the image information projected from the projector always displays a dark tone image at the calculated eye position.

本発明によれば、利用者は、自分の顔に投影された情報を、自画像とともに鏡でみることとなるので、視線のずれや焦点距離を合わせるわずらわしさが解消される。 According to the present invention, the user sees the information projected on his / her face through a mirror together with his / her own image, so that the trouble of adjusting the line of sight and the focal length is eliminated.

第１実施例に係る情報表示装置の概略構造を示す説明図である。It is explanatory drawing which shows schematic structure of the information display apparatus which concerns on 1st Example. 第１実施例に係る投影画像の合成の説明図である。It is explanatory drawing of the synthesis | combination of the projection image which concerns on 1st Example. 第１実施例に係る情報表示装置の動作フロー図である。It is an operation | movement flowchart of the information display apparatus which concerns on 1st Example. 第２実施例に係る情報表示装置の概略構造を示す説明図である。It is explanatory drawing which shows schematic structure of the information display apparatus which concerns on 2nd Example.

以下、この発明に係る情報表示装置を図１から図４を参照して具体的に説明する。ここで、図１から図３は第１の実施例に係る情報表示装置であり、図４は第２実施例に係る情報表示装置である。なお、同様な部位や矢印などは同一符号をもって示し、重複した説明は省略する。
（第１実施例）
先ず、図１を参照して、この第１実施例に係る情報表示装置の概略構造を説明する。図１は、情報表示装置の概略構造を示す説明図である。図１において、符号１で総括的に示す情報表示装置は、鏡１０と、この鏡１０の周囲に配置されるカメラ部２０とプロジェクタ部３０と、このカメラ部２０及びプロジェクタ３０と接続される情報処理装置４０とから構成される。 Hereinafter, the information display device according to the present invention will be described in detail with reference to FIGS. Here, FIGS. 1 to 3 are information display devices according to the first embodiment, and FIG. 4 is an information display device according to the second embodiment. In addition, the same site | part, an arrow, etc. are shown with the same code | symbol, and the overlapping description is abbreviate | omitted.
(First embodiment)
First, the schematic structure of the information display apparatus according to the first embodiment will be described with reference to FIG. FIG. 1 is an explanatory diagram showing a schematic structure of the information display device. In FIG. 1, an information display device generally indicated by reference numeral 1 includes a mirror 10, a camera unit 20 and a projector unit 30 disposed around the mirror 10, and information connected to the camera unit 20 and the projector 30. The processing apparatus 40 is comprised.

この実施例で採用する鏡１０は、極一般的な鏡である。そして、カメラ部２０とプロジェクタ３０は、互いの光軸Ｐ１とＰ２が平行となり、かつ、互いの視野角Ｑ１と投影角Ｑ２が略一致するように鏡１０の周囲に配置される。 The mirror 10 employed in this embodiment is a very general mirror. The camera unit 20 and the projector 30 are arranged around the mirror 10 so that the optical axes P1 and P2 are parallel to each other and the viewing angle Q1 and the projection angle Q2 are substantially coincident with each other.

また、情報処理装置４０は、情報処理装置本体４１と表示装置４２と入力装置４３とを含んで構成される。情報処理装置本体４１は、情報処理装置４０を統括的に制御する制御装置４４と、各種の情報やプログラムを格納する記憶装置４５を備えている。また、入力装置４３は、キーボードやマウスなどを含んで構成される。この実施例では、極一般的なパーソナルコンピュータを、この情報処理装置４０として採用することができる。更に、この情報処理装置４０は、ネットワークを介して他のサーバから各種の情報を取得することができる。 The information processing apparatus 40 includes an information processing apparatus main body 41, a display device 42, and an input device 43. The information processing apparatus main body 41 includes a control device 44 that comprehensively controls the information processing device 40 and a storage device 45 that stores various types of information and programs. The input device 43 includes a keyboard and a mouse. In this embodiment, a very general personal computer can be employed as the information processing apparatus 40. Furthermore, the information processing apparatus 40 can acquire various types of information from other servers via the network.

そして、この実施例に係る情報表示装置１の大きな特徴の１つは、鏡１０の周囲にカメラ部２０とプロジェクタ３０を備え、鏡１０に正対する利用者１００をカメラ部２０で撮影して、この撮影した利用者１００の顔画像から利用者の顔１１０の位置を算出し、プロジェクタ３０を介して算出された顔１１０をスクリーンとして各種の情報を投影するようにした点である。 And one of the big features of the information display device 1 according to this embodiment is that the camera unit 20 and the projector 30 are provided around the mirror 10, and the user 100 facing the mirror 10 is photographed by the camera unit 20, The position of the user's face 110 is calculated from the photographed face image of the user 100, and various information is projected using the face 110 calculated through the projector 30 as a screen.

即ち、多くの人は毎日鏡１０に向かう。例えば、多くの人は、出勤や通学前の朝決まった時間帯に、一定時間鏡１０を見る習慣がある。この鏡１０を見る時間は、一日の行動のための情報取得に最適なタイミングということができる。しかし、従来から、この鏡１０を見る機会を利用して各種の情報を効率よく利用者に提供できるものは提案されていない。 That is, many people go to the mirror 10 every day. For example, many people have a habit of looking at the mirror 10 for a certain period of time in the morning before going to work or going to school. It can be said that the time to look at the mirror 10 is the optimum timing for acquiring information for the action of the day. However, conventionally, there has not been proposed anything that can efficiently provide various kinds of information to the user by using the opportunity to see the mirror 10.

また、鏡の一部、あるいはハーフミラーに情報を表示させるといったアイデアもある。しかし、鏡またはその周辺に情報を表示しても、鏡に映る自画像を見る視距離と鏡面までの視距離が違うことから焦点がずれてしまうため、意識的に見ようとしなければならない。つまり、図１に示すように、鏡１０に映る自画像１１１を見る利用者１００は、利用者１００と鏡１０の距離Ｌの２倍の焦点距離２Ｌで自画像１１１を見ている。このため、鏡１０またはその周囲に情報を表示した場合、利用者は、焦点距離Ｌに焦点を合わせなければならない。同様に、利用者の後方の壁面に情報を表示しても、焦点が長くなってしまうため、この情報を識別することができない。しかも、この鏡１０に映る情報は反転して映ってしまう。このため、鏡１０やその周囲に情報を表示しても、見過ごしてしまったり、一々焦点を合わせなければならない煩わしさがある。 There is also an idea of displaying information on a part of a mirror or a half mirror. However, even if information is displayed on the mirror or in the vicinity thereof, the focal point is shifted because the viewing distance for viewing the self-portrait reflected in the mirror is different from the viewing distance to the mirror surface. That is, as shown in FIG. 1, the user 100 viewing the self-portrait 111 reflected in the mirror 10 views the self-portrait 111 at a focal length 2L that is twice the distance L between the user 100 and the mirror 10. For this reason, when information is displayed on the mirror 10 or its surroundings, the user must focus on the focal length L. Similarly, even if information is displayed on the wall behind the user, the focal point becomes long, so this information cannot be identified. Moreover, the information reflected in the mirror 10 is reversed and reflected. For this reason, even if information is displayed on the mirror 10 and its surroundings, there is an annoyance that must be overlooked or focused.

そこで、本発明者らは、鏡１０付近に置いたプロジェクタ部３０から自分の顔１１０をスクリーンとして情報を表示することによりこれらの問題を解決し、時刻、天気予報、ニュースなどの情報１５０を自画像１１１とともに見ることができる情報表示装置１を創出した。 Therefore, the present inventors solve these problems by displaying information from the projector unit 30 placed in the vicinity of the mirror 10 by using their face 110 as a screen, and information 150 such as time, weather forecast, and news is self-portraited. An information display device 1 that can be seen together with 111 is created.

また、この実施例に係る情報表示装置１の他の特徴の１つは、前記特徴を実現するために、カメラ部２０とプロジェクタ部３０の光軸Ｐ１、Ｐ２をほぼ平行となるように鏡１０の周囲に配置するとともに、カメラ部２０とプロジェクタ部３０の視野角Ｑ１と投影角Ｑ２もほぼ一致するシステム構成を採用した点にある。 Another feature of the information display apparatus 1 according to this embodiment is that the mirror 10 is arranged so that the optical axes P1 and P2 of the camera unit 20 and the projector unit 30 are substantially parallel to each other in order to realize the feature. And a system configuration in which the viewing angle Q1 and the projection angle Q2 of the camera unit 20 and the projector unit 30 substantially coincide with each other.

即ち、この実施例では、カメラ部２０とプロジェクタ部３０とをユニット化して、このユニットを鏡１０の周囲に設置する。カメラ部２０とプロジェクタ３０の視野角Ｑ１、投影角Ｑ２の範囲は、鏡１０に顔１１０を写す位置に自然に立ったときに、顔全体を撮影・投影できる範囲に設置する。最適な位置は、左右方向は鏡１０の中心で、鏡１０の上下方向のどちらか近い場所に設置するようにする。 That is, in this embodiment, the camera unit 20 and the projector unit 30 are unitized, and this unit is installed around the mirror 10. The viewing angle Q1 and the projection angle Q2 of the camera unit 20 and the projector 30 are set in a range where the entire face can be photographed and projected when standing naturally at a position where the face 110 is projected on the mirror 10. The optimal position is to be installed at a location closer to the center of the mirror 10 in the left-right direction and the vertical direction of the mirror 10.

また、この実施例に係る情報表示装置１の他の特徴の１つは、カメラ部２０で撮影した利用者１００の撮影情報から利用者の顔１１０と目１２０の位置を算出し、プロジェクタ部３０を介して算出された目１２０以外の顔１１０に各種の情報を投影するようにした点である。 Another feature of the information display device 1 according to this embodiment is that the positions of the user's face 110 and eyes 120 are calculated from the photographing information of the user 100 photographed by the camera unit 20, and the projector unit 30. This is a point in which various information is projected onto the face 110 other than the eye 120 calculated via.

この実施例に係る制御装置４４は、カメラ部２０で撮影した画像から逐一顔の存在を認識し、位置と角度を取得する。そして、目１２０と口の位置、目１２０の幅、口の幅、などを計測する。そして、目１２０の位置には常にマスク情報１５１が表示されるように、プロジェクタ部３０から投影される投影画像を生成する。この利用者１００に向けられて投影する画像は、目１２０の付近にマスク情報１５１が表示されているため、目１２０に入る光を小さくすることができるから、プロジェクタ部３０から投影される画像（光）が利用者１００の目１２０に入って、目１２０がまぶしくならないようにしている。 The control device 44 according to this embodiment recognizes the presence of each face from the image captured by the camera unit 20 and acquires the position and angle. Then, the positions of the eyes 120 and the mouth, the width of the eyes 120, the width of the mouth, and the like are measured. Then, a projection image projected from the projector unit 30 is generated so that the mask information 151 is always displayed at the position of the eye 120. The image projected toward the user 100 has the mask information 151 displayed in the vicinity of the eye 120, so that the light entering the eye 120 can be reduced, so that the image projected from the projector unit 30 ( Light) enters the eyes 120 of the user 100 and prevents the eyes 120 from becoming dazzling.

特に、顔位置の推定誤差が少ない場合はよいが、推定誤差が増えてくると目１２０に光が入る可能性が生じる。そこで、この実施例の制御装置４４は、顔位置の推定誤差がある一定以上になると情報表示を消す。 In particular, it is good if the estimation error of the face position is small, but if the estimation error increases, there is a possibility that light enters the eye 120. Therefore, the control device 44 of this embodiment turns off the information display when the estimation error of the face position exceeds a certain value.

なお、顔位置の推定誤差がある一定以上になった場合は、目１２０の周りのマスク情報１５１の表示を大きくするようにしてもよい。また、顔位置の移動速度を常に計算し、速度が一定以上になると表示を消すようにしてもよい。 When the face position estimation error exceeds a certain level, the display of the mask information 151 around the eyes 120 may be enlarged. Further, the moving speed of the face position may be calculated constantly, and the display may be turned off when the speed exceeds a certain level.

また、この実施例に係る情報表示装置１の他の特徴の１つは、情報処理装置４０を介して、各種の情報を利用者に提供することができる。 One of the other characteristics of the information display device 1 according to this embodiment is that various information can be provided to the user via the information processing device 40.

例えば、便利情報として、時刻、最寄り駅の次の電車やバスの発車時間、今日のスケジュール、ニュースなどをテロップまたは映像として表示することができる。また、鏡の前でお出かけの準備をするサポートする情報として、紫外線予報（日焼け止め）、湿度予想（スキンケア保湿）などがある。また、忘れ物をしないサポートとして、天気予報（傘）、紫外線予報（日傘）、花粉予想（マスク）などがある。また、行動が変わる情報として、天気予報・洗濯指数（洗濯干し）、今日の運勢、ラッキーナンバーなどがある。更に、自分の顔１１０にまつわる情報として、スキンケア（ダメージの視覚化、保湿度の視覚化）、化粧シミュレーションなどの情報がある。これらは、情報処理装置４０の入力装置４３を介して自由に設定することができる。 For example, as convenient information, the time, the departure time of the next train or bus next to the nearest station, today's schedule, news, etc. can be displayed as a telop or video. Also, supporting information for preparing to go out in front of the mirror includes ultraviolet ray prediction (sunscreen), humidity prediction (skin care moisturizing) and the like. In addition, there are weather forecasts (umbrellas), UV forecasts (parasols), pollen forecasts (masks), etc. as support that does not leave behind items. Information that changes behavior includes weather forecast, laundry index (laundry), today's fortune, and lucky number. Further, information relating to the face 110 includes information such as skin care (visualization of damage, visualization of moisture retention), makeup simulation, and the like. These can be freely set via the input device 43 of the information processing device 40.

また、この実施例に係る情報表示装置の他の特徴の１つは、予め家族の顔情報を情報処理装置４０の記憶装置４５に記憶しておき、この格納された顔情報と、カメラ部２０で撮影された画像とが一致する場合は、利用者１００毎に予め設定された情報１５０を表示することができる。 Another feature of the information display device according to this embodiment is that the face information of the family is stored in advance in the storage device 45 of the information processing device 40, and the stored face information and the camera unit 20 are stored. If the image captured in step S1 matches the information 150, information 150 preset for each user 100 can be displayed.

なお、この実施例では、カメラ部２０またはプロジェクタ部３０の近傍に人体を検知するセンサ５０を備えて、利用者１００が鏡１００の所定の位置に近づくことで、プロジェクタ部３０から投影画像を投影するようにしている。 In this embodiment, a sensor 50 that detects a human body is provided in the vicinity of the camera unit 20 or the projector unit 30, and a projection image is projected from the projector unit 30 when the user 100 approaches a predetermined position of the mirror 100. Like to do.

次に、図２と図３を参照して、この情報表示装置１の動作を説明する。ここで、図２は、投影画像の合成の説明図であり（ａ）図は鏡に映る利用者の実像を示し、（ｂ）図は制御装置が生成する投影画像を示し、（ｃ）図は利用者が認識する鏡面の実像を示している。図３は、情報表示装置の動作フロー図である。 Next, the operation of the information display device 1 will be described with reference to FIGS. Here, FIG. 2 is an explanatory diagram of the synthesis of the projected image, (a) the figure shows the real image of the user reflected in the mirror, (b) the figure shows the projected image generated by the control device, (c) Shows the real image of the mirror surface recognized by the user. FIG. 3 is an operation flowchart of the information display device.

図２において、利用者１００は、この情報表示装置１がＯＦＦ状態であれば、（ａ）図のように利用者１００は鏡１０に映る自画像１１１のみをみることができる。しかし、この情報表示装置１が動作状態にあると（ｃ）図に示すように、自画像１１１に黒情報１５５と情報１５０が重ねあわされた情報を利用者はみることができる。 In FIG. 2, if the information display device 1 is in the OFF state, the user 100 can see only the self-portrait 111 reflected in the mirror 10 as shown in FIG. However, when the information display device 1 is in an operating state, the user can see information in which black information 155 and information 150 are superimposed on the self-portrait 111 as shown in FIG.

この動作を図３の動作フローにしたがって説明する。図３において、情報処理装置４０の制御装置４４は、センサー５０の検知情報を監視している（ステップ２０１）。制御装置４４は、センサー５０が人を検知すると、カメラ部２０をＯＮ状態として利用者１００を撮影し（ステップ２０２）、その画像を分析する（ステップ２０３）。そして、分析結果から顔情報を判定し（ステップ２０４）、該当する顔１１０（利用者１００）に関連する情報１５０を記憶装置４５から取得する（２０５）。 This operation will be described according to the operation flow of FIG. In FIG. 3, the control device 44 of the information processing device 40 monitors detection information of the sensor 50 (step 201). When the sensor 50 detects a person, the control device 44 turns on the camera unit 20 to photograph the user 100 (step 202) and analyzes the image (step 203). Then, face information is determined from the analysis result (step 204), and information 150 related to the corresponding face 110 (user 100) is acquired from the storage device 45 (205).

この実施例では、利用者１００、例えば、家族の顔１１０の情報をデータベースとして記憶装置４５に格納している。そして、この識別される利用者に対応して、情報１５０を選択的に表示することができる。 In this embodiment, information of the user 100, for example, the family face 110, is stored in the storage device 45 as a database. Then, the information 150 can be selectively displayed corresponding to the identified user.

制御装置４４は、利用者１００の情報１５０を取得すると、図２に示す、投影画像１７０を生成する（２０６）。図２において、この投影画像１７０は、利用者１００の計測した目１２０の位置に表示されるマスク情報１５１と、記憶装置４５から取得される情報１５０とから構成される。ここで、情報１５０は、鏡１０に映ったときに識別可能なように反転表示される。このように、この情報表示装置１がＯＮ状態であれば、利用者１００は、（ａ）図の利用者の実像と、（ｂ）図の投影画像１７０が重ねあわされた（ｃ）図の画像を見ることとなる。 When acquiring the information 150 of the user 100, the control device 44 generates a projection image 170 shown in FIG. 2 (206). In FIG. 2, the projection image 170 includes mask information 151 displayed at the position of the eyes 120 measured by the user 100 and information 150 acquired from the storage device 45. Here, the information 150 is displayed in reverse so that it can be identified when reflected on the mirror 10. As described above, when the information display apparatus 1 is in the ON state, the user 100 superimposes the real image of the user in FIG. (A) and the projected image 170 in FIG. You will see the image.

図３に戻り、制御装置４４は、投影画像１７０を生成すると、プロジェクタ部３０を電源ＯＮして、この生成された投影画像１７０を利用者１００の顔１１０に投影する（ステップ２０７）。そして、制御装置４４は、利用者１００の顔１１０の位置が予め設定された範囲以上に大きく移動したか（ステップ２０８）、あるいは、利用者１００の顔１１０の位置が予め設定された範囲以内で移動したか（ステップ２０９）、あるいはセンサ５０の範囲から外れたか（ステップ２１０）を監視している。 Returning to FIG. 3, when generating the projection image 170, the control device 44 powers on the projector unit 30 and projects the generated projection image 170 onto the face 110 of the user 100 (step 207). Then, the control device 44 determines whether the position of the face 110 of the user 100 has moved more than a preset range (step 208), or within the preset range of the position of the face 110 of the user 100. It is monitored whether it has moved (step 209) or out of the range of the sensor 50 (step 210).

ステップ２０８において、利用者１００の顔１１０が大きく移動したと判定すると、プロジェクタ部をＯＦＦ状態として（ステップ２１２）、予め設定された所定時間を経過すると（ステップ２０３）ステップ２０６に移行させる。これにより、利用者１００が大きく移動した際に利用者１００の目１２０に投影した日が入らないようにしている。 If it is determined in step 208 that the face 110 of the user 100 has moved greatly, the projector unit is turned off (step 212), and after a predetermined time has elapsed (step 203), the process proceeds to step 206. This prevents the date projected on the eyes 120 of the user 100 when the user 100 moves greatly.

また、ステップ２０９において、利用者１００が小幅な移動であると判定した場合は（ステップ２０３）ステップ２０６に移行させる。これにより、利用者１００の目１２０に対応する位置に、常にマスク情報１５１が表示されるようにしている。 If it is determined in step 209 that the user 100 is moving slightly (step 203), the process proceeds to step 206. As a result, the mask information 151 is always displayed at a position corresponding to the eye 120 of the user 100.

また、ステップ２１０において、センサ５０の範囲から利用者１００が外れると、プロジェクタ部３０とカメラ部２０の電源をＯＦＦにする。
（第２実施例）
次に図４を参照して、第２実施例に係る情報表示装置２を説明する。ここで、図４は、情報表示装置の概略構造を示す説明図である。図４において、この第２実施例では、鏡１０をハーフミラー１１に代えて使用する。そして、このハーフミラー１１の場合は、カメラ部２０のハーフミラー１１の後方に配置する。これにより、顔１１０の測定や認識精度を向上することができる。また、この実施例では、視野角Ｑ１と投影角Ｑ２が一致しないため、予め設定される利用者１００の顔１１０の大きさと、撮影される顔の大きさからその距離を判定し、この距離にあった投影画像を生成するようにする。 In step 210, when the user 100 is out of the range of the sensor 50, the projector unit 30 and the camera unit 20 are turned off.
(Second embodiment)
Next, the information display device 2 according to the second embodiment will be described with reference to FIG. Here, FIG. 4 is an explanatory diagram showing a schematic structure of the information display device. In FIG. 4, in the second embodiment, the mirror 10 is used in place of the half mirror 11. In the case of this half mirror 11, it is arranged behind the half mirror 11 of the camera unit 20. Thereby, the measurement and recognition accuracy of the face 110 can be improved. In this embodiment, since the viewing angle Q1 and the projection angle Q2 do not match, the distance is determined from the size of the face 110 of the user 100 set in advance and the size of the face to be photographed. The projection image that is present is generated.

なお、センサ５０を判定結果を利用して、プロジェクタ部３０の投影のＯＮ、ＯＦＦを行うようにしてもよい。 Note that the sensor 50 may turn the projection of the projector unit 30 on and off using the determination result.

このように、この発明に係る情報表示装置は、鏡の周囲に配置されるカメラ部及びプロジェクタ部と、このプロジェクタ部に投影する情報を提供する制御装置とを備え、前記制御装置は、前記鏡に正対する利用者をカメラ部で撮影させ、この撮影した利用者の顔画像から利用者の顔と目の位置を算出して投影画像を生成し、前記算出された目以外の顔の位置に各種の情報をプロジェクタ部を介して投影させるものである。 As described above, the information display device according to the present invention includes the camera unit and the projector unit arranged around the mirror, and the control device that provides information to be projected onto the projector unit, and the control device includes the mirror A user who directly faces the camera is photographed by the camera unit, a position of the user's face and eyes is calculated from the photographed user's face image, a projection image is generated, and the calculated face position other than the eyes is set. Various types of information are projected through the projector unit.

この場合、投影画像は、算出された前記利用者の目の位置に配置される投影光を軽減させるマスク情報と、このマスク情報以外の位置に配置される各種の情報を備えるようにする。また、カメラ部とプロジェクタ部は、その光軸をほぼ平行とする位置に設置するようにするとよい。同様に、カメラ部とプロジェクタ部の視野角と投影角をほぼ一致するように設定するとよい。更に、鏡はハーフミラーであって、このハーフミラーの後方にカメラ部を設置する構造であっても良い。 In this case, the projection image includes mask information for reducing the projection light arranged at the calculated position of the user's eyes and various information arranged at positions other than the mask information. Further, the camera unit and the projector unit may be installed at positions where their optical axes are substantially parallel. Similarly, the viewing angle and the projection angle of the camera unit and the projector unit may be set so as to substantially match. Further, the mirror may be a half mirror, and a camera unit may be installed behind the half mirror.

１…情報表示装置、１０…鏡、１１…ハーフミラー、２０…カメラ部、３０…プロジェクタ部、４０…情報処理装置、４１…情報処理装置本体、４２…表示装置、４３…入力装置、４４…制御装置、４５…記憶装置、センサ５０…、１００…利用者、１１０…顔、１１１…自画像、１２０…目、１５０…情報、１５１…マスク情報、１７０…投影画像、Ｐ１、Ｐ２…光軸、Ｑ１…視野角、Ｑ２…投影角、Ｌ…距離 DESCRIPTION OF SYMBOLS 1 ... Information display apparatus, 10 ... Mirror, 11 ... Half mirror, 20 ... Camera part, 30 ... Projector part, 40 ... Information processing apparatus, 41 ... Information processing apparatus main body, 42 ... Display apparatus, 43 ... Input device, 44 ... Control device, 45 ... Storage device, Sensor 50 ..., 100 ... User, 110 ... Face, 111 ... Self-portrait, 120 ... Eye, 150 ... Information, 151 ... Mask information, 170 ... Projected image, P1, P2 ... Optical axis, Q1 ... viewing angle, Q2 ... projection angle, L ... distance

Claims

An information display device comprising a camera unit and a projector unit arranged around a mirror, and a control device for providing information to be projected onto the projector unit,
The control device causes the camera unit to photograph a user facing the mirror, calculates a position of the user's face and eyes from the photographed user's face image, generates a projection image, and calculates the calculated An information display device that projects various kinds of information to a face position other than eyes through a projector unit.

The information display device according to claim 1,
The projection image includes mask information for reducing the projection light arranged at the calculated position of the user's eye and various information arranged at a position other than the mask information. Information display device.

In the information display device according to claim 1 or 2,
The information display device, wherein the camera unit and the projector unit are installed at positions where their optical axes are substantially parallel.

In the information display device according to any one of claims 1 to 3,
The information display device, wherein the camera unit and the projector unit are set so that a viewing angle and a projection angle are substantially the same.

In the information display device according to claim 1 or 2,
The mirror is a half mirror, and the camera unit is provided behind the half mirror.