JP2012114557A

JP2012114557A - Display device, display control method, program and electronic apparatus

Info

Publication number: JP2012114557A
Application number: JP2010259954A
Authority: JP
Inventors: Tadashi Eguchi; 忠志江口
Original assignee: NEC Saitama Ltd
Current assignee: NEC Saitama Ltd
Priority date: 2010-11-22
Filing date: 2010-11-22
Publication date: 2012-06-14

Abstract

PROBLEM TO BE SOLVED: To correct eye line deviation of a subject without discomfort when a hand mirror is used.SOLUTION: A display device (20) includes a first camera (29) and a second camera (30), which are arranged near two counter sides of a display screen of a display portion (27) and can photograph a face of a person viewing the display screen. The display device includes: registering means (36a) registering a camera eye line image photographed by the first camera; determining means (36a) for determining an eye line deviation amount based on a non-camera eye line image photographed by the first camera and the second camera and a registered camera eye line image; correcting means (36a) correcting the eye line of the non-camera eye line image based on the determined eye line deviation amount; and display control means (36a) displaying an eye line-corrected image whose eye line is corrected on the display portion (27).

Description

本発明は、表示装置、表示制御方法、プログラム及び電子機器に関し、詳細には、画面を見ている人の顔を表示することができる表示装置、表示制御方法、プログラム及び電子機器に関する。 The present invention relates to a display device, a display control method, a program, and an electronic device, and more particularly, to a display device, a display control method, a program, and an electronic device that can display the face of a person who is watching a screen.

カメラ付の電子機器、たとえば、カメラ付携帯電話機におけるカメラの位置は、一般的にデジタルカメラの構成に倣って表示装置の背面側とされている。すなわち、被写体にカメラを向けた状態で、その被写体の構図等を表示装置で確認できるようにされているが、昨今では、表示装置の表示面側にもカメラを搭載したタイプも一部で出回っている。本明細書におけるカメラは、表示装置の表示面側に設けられたものを指すこととし、さらに明確を期すために、このカメラを一般的な呼称に即して「内側カメラ」ということにする。 In a camera-equipped electronic device, for example, a camera-equipped mobile phone, the position of the camera is generally on the back side of the display device following the configuration of the digital camera. In other words, while the camera is pointed at the subject, the composition of the subject can be confirmed on the display device, but recently, some types of cameras with a camera mounted on the display surface side of the display device are also available. ing. The camera in this specification refers to a camera provided on the display surface side of the display device, and for the sake of clarity, this camera is referred to as an “inner camera” in accordance with a general name.

さて、内側カメラを備えた携帯電話機等の電子機器は、その内側カメラを使用して画面（表示装置の表示画面）を見ている人の顔を撮像し、その画像を表示装置に映し出すことができることから、たとえば、当該電子機器をハンドミラー（手鏡）の代わりに使用することができ、便利である。 Now, an electronic device such as a mobile phone equipped with an inner camera can capture the face of a person who is looking at the screen (display screen of the display device) using the inner camera and display the image on the display device. Therefore, for example, the electronic apparatus can be used instead of a hand mirror, which is convenient.

しかしながら、実際のハンドミラー使用時の感覚とは違いがある。第一の違いは、画面の中央に顔が位置しないことにある。これは、内側カメラの位置が表示装置の画面外側に寄っているため、表示装置の画面に顔を正対させたとしても、内側カメラで撮影された顔の位置が構図の中央に寄らず、偏って映し出されてしまうからである。 However, it is different from the actual feeling when using a hand mirror. The first difference is that the face is not located in the center of the screen. This is because the position of the inner camera is closer to the outside of the screen of the display device, so even if the face is directly facing the screen of the display device, the position of the face photographed by the inner camera is not closer to the center of the composition, This is because they are projected in a biased manner.

図９は、内側カメラの位置とその内側カメラで撮影された画像との対応関係を示す図である。この図において、表示装置１は額縁状の筐体２に収められており、その筐体２の額縁内・・・・図では表示装置１の左側であるが、これは一例である。上下左右のいずれの位置であってもよい。・・・・にカメラ３が設けられている。このカメラ３の撮影方向は、表示装置１の表示画面の前面側鉛直方向と平行な方向であり、且つ、その撮影画角（撮影範囲）は、表示装置１の表示画面を見ている人の顔を映し出すことができる適度な画角（たとえば、５０度乃至それ以上の広角）である。したがって、このカメラ３は、表示装置の表示画面を見ている人の顔を撮像することができるから、前記の「内側カメラ」に相当する。 FIG. 9 is a diagram illustrating a correspondence relationship between the position of the inner camera and an image photographed by the inner camera. In this figure, the display device 1 is housed in a frame-shaped housing 2, and the inside of the frame 2 of the housing 2... Is the left side of the display device 1 in the figure, but this is an example. Any position of up, down, left and right may be used. ... Is provided with a camera 3. The shooting direction of the camera 3 is a direction parallel to the vertical direction on the front side of the display screen of the display device 1, and the shooting angle of view (shooting range) is that of a person viewing the display screen of the display device 1. An appropriate angle of view (for example, a wide angle of 50 degrees or more) capable of projecting a face. Accordingly, the camera 3 can capture the face of a person who is looking at the display screen of the display device, and thus corresponds to the “inside camera”.

今、表示装置１の画面前面に、被写体としての人物４が正対したと仮定すると、カメラ３に映し出される人物４の位置は、カメラ３の撮影構図の左寄りになる。これは、カメラ３の位置が（図示の例の場合）表示装置１の図面に向かって左側にずれているからであり、そのため、カメラ３の撮影画角の図面に向かって右側（カメラ３の側から見た場合は左側）にずれて人物４が映し出されてしまうからである。したがって、カメラ３の画像を表示装置１に表示した場合に、図示のように、人物４が画面の左に偏って表示されるという不都合（第一の違い）を生じる。 Assuming that the person 4 as the subject is directly facing the front of the screen of the display device 1, the position of the person 4 displayed on the camera 3 is on the left side of the shooting composition of the camera 3. This is because the position of the camera 3 is shifted to the left side in the drawing of the display device 1 (in the case of the illustrated example). This is because when viewed from the side, the person 4 is projected to the left). Therefore, when the image of the camera 3 is displayed on the display device 1, as shown in the figure, there is a disadvantage (first difference) that the person 4 is displayed biased to the left of the screen.

かかる表示位置の偏りを修正する技術としては、たとえば、二つのカメラを用いた、いわゆるステレオ視の技術を応用するものが知られている（たとえば、下記の特許文献１、２参照）。 As a technique for correcting such display position deviation, for example, a technique that applies a so-called stereo vision technique using two cameras is known (for example, see Patent Documents 1 and 2 below).

図１０は、ステレオ視の概念説明図である。この図において、互いの撮影画角内に被写体５を含むように適切に配置された一対のカメラ（以下、左カメラ６、右カメラ７）が示されており、これら一対のカメラの撮影画像（以下、左カメラ画像８、右カメラ画像９）に写し込まれた被写体５の位置は、先の図９に示した不都合と同様の理由で、それぞれ右方向と左方向に偏っている。 FIG. 10 is a conceptual explanatory diagram of stereo vision. In this figure, a pair of cameras (hereinafter, the left camera 6 and the right camera 7) appropriately arranged so as to include the subject 5 within each other's shooting angle of view are shown. Hereinafter, the positions of the subject 5 imprinted in the left camera image 8 and the right camera image 9) are biased to the right and left, respectively, for the same reason as that shown in FIG.

ステレオ視の技術は、要するに、人間の視覚認識処理を応用したものであって、左目の視覚情報に相当する左カメラ画像８と、右目の視覚情報に相当する右カメラ画像９とを所定のエリア（画素単位または所定の画素群単位）ごとに比較して、類似度の高いエリア同士を合成することにより、被写体５の位置を構図の中央にずらして再生した左再生画像１０と右再生画像１１とを作り出すというものである。 In short, the stereo vision technique is an application of human visual recognition processing, and a left camera image 8 corresponding to left eye visual information and a right camera image 9 corresponding to right eye visual information are arranged in a predetermined area. Compared for each pixel unit or a predetermined pixel group unit, the left reproduced image 10 and the right reproduced image 11 reproduced by shifting the position of the subject 5 to the center of the composition by combining areas having high similarity. Is to create.

ちなみに、ここまでのステレオ視の技術は下記の特許文献１、２に記載されている。下記の特許文献２は、このようなステレオ視の技術に加えて、さらに、専用メガネを必要としない三次元表示デバイス（３Ｄ表示デバイス）との併用を開示する。すなわち、図示のように、三次元表示デバイス１２は、上述のステレオ視の技術で作り出された左再生画像１０と右再生画像１１とを入力信号とし、左再生画像１０が表示画面の斜め左方向から見えるように表示するとともに、右再生画像１１が表示画面の斜め右方向から見えるように表示することにより、人物１３の左目１４に左再生画像１０を視認させ、人物１３の右目１５に右再生画像１１を視認させるようにしている。 Incidentally, the techniques for stereo viewing so far are described in Patent Documents 1 and 2 below. The following Patent Document 2 discloses the combined use with a three-dimensional display device (3D display device) that does not require dedicated glasses in addition to such a stereo vision technique. That is, as shown in the figure, the 3D display device 12 receives the left reproduction image 10 and the right reproduction image 11 created by the above-described stereo viewing technique as input signals, and the left reproduction image 10 is diagonally leftward on the display screen. And the right playback image 11 is displayed so that the right playback image 11 can be seen from the diagonal right direction of the display screen, so that the left playback image 10 is visually recognized by the left eye 14 of the person 13 and the right playback 15 is played back by the right eye 15 of the person 13. The image 11 is made visible.

以上のとおり、特許文献１、２の技術を応用すれば、ハンドミラー動作時の先の不都合、つまり、表示装置の画面に顔を正対させたとしても、内側カメラで撮影された顔の位置が構図の中央に寄らず、偏って映し出されてしまうという不都合（第一の違い）を解消できる。 As described above, if the techniques of Patent Documents 1 and 2 are applied, the position of the face photographed by the inner camera even if the face is faced to the screen of the display device even when the hand mirror operates. However, it is possible to eliminate the inconvenience (first difference) that the image is displayed in a biased manner without moving toward the center of the composition.

しかしながら、特許文献１、２の技術は、単なるステレオ視の技術であるから、目線のずれを修正できないという欠点がある。たとえば、図１０の例において、被写体５を人物の顔と仮定するとともに、その顔の目線が表示装置からずれているケースを考える。このようなケースの場合、ステレオ視の技術によって再生された左再生画像１０と右再生画像１１は、ともに、目線がずれたままの顔画像を含むこととなり、結局、ハンドミラー動作時の目線ずれの違和感（以下、第二の違い）を否めない。 However, since the techniques of Patent Documents 1 and 2 are merely stereo viewing techniques, there is a drawback in that eye-gap deviation cannot be corrected. For example, in the example of FIG. 10, it is assumed that the subject 5 is a person's face, and the face of the face is deviated from the display device. In such a case, both the left reproduction image 10 and the right reproduction image 11 reproduced by the stereo viewing technique both include face images with the line of sight being shifted. Can't deny discomfort (the second difference).

目線のずれを修正する技術は、たとえば、下記の特許文献３に記載のものが知られている。
図１１は、目線のずれを修正する従来技術を示す図である。この図において、（ａ）はカメラ目線の顔画像１６から目部分１７を切り出す概念図、（ｂ）はカメラ目線でない顔画像１８を示す図、（ｃ）は（ｂ）の顔画像１８からカメラ目線でない目部分１９を消去する図、（ｄ）は（ｃ）のカメラ目線でない目部分１９に（ａ）で切り出したカメラ目線の目部分１７を貼り付けた図である。このように、あらかじめ切り出しておいたカメラ目線の目部分１７を、カメラ目線でない顔画像１８の目部分１９に貼り付けることにより、目線のずれを修正した顔画像１８を得ることができる。 As a technique for correcting the deviation of the line of sight, for example, a technique described in Patent Document 3 below is known.
FIG. 11 is a diagram showing a conventional technique for correcting the deviation of the line of sight. In this figure, (a) is a conceptual diagram that cuts out an eye portion 17 from a face image 16 of a camera line of sight, (b) is a view showing a face image 18 that is not a camera line of sight, and (c) is a camera from the face image 18 of (b). The figure which deletes the eye part 19 which is not a gaze, (d) is the figure which affixed the eye part 17 of the camera gaze cut out by (a) to the eye part 19 which is not a camera gaze of (c). In this way, by attaching the eye portion 17 of the camera line that has been cut out in advance to the eye portion 19 of the face image 18 that is not the camera line of sight, it is possible to obtain the face image 18 in which the shift of the line of sight is corrected.

なお、カメラ目線であるか否かの判定技術としては、たとえば、下記の特許文献４、５などの技術を利用することができる。ちなみに、下記の特許文献４は白目内の黒目の位置から目線方向を判定し、または、下記の特許文献５は視線方向検出部によって運転者の視線方向を検出する。 In addition, as a technique for determining whether or not it is a camera line of sight, for example, techniques such as Patent Documents 4 and 5 below can be used. Incidentally, the following patent document 4 determines the eye direction from the position of the black eye in the white eye, or the following patent document 5 detects the driver's eye direction by the eye direction detecting unit.

特開２００４−１５９０６１号公報JP 2004-159061 A 特開２００４−０４８６４４号公報JP 2004-048644 A 特開２００５−１１７１０６号公報JP 2005-117106 A 特開２００７−０９６４４０号公報JP 2007-096440 A 特開２０１０−１３４６０８号公報JP 2010-134608 A

以上のとおり、たとえば、特許文献１〜５に記載の技術を組み合わせることにより、ハンドミラー動作時の被写体の位置ずれ修正と目線ずれ修正とを行うことが一応可能であると認められるものの、特許文献３の技術（図１１参照）は、単なる画像貼り付け（いわゆるコラージュ）に過ぎないため、たとえば、貼り付けられた画像（図１１（ｄ）の目部分１７）の貼り付け境界に微妙な段差が生じたり、水平方向への微細な位置ずれが生じたりするという問題点がある。 As described above, for example, by combining the techniques described in Patent Literatures 1 to 5, it is recognized that it is possible to correct subject positional deviation and eye-gaze correction during hand mirror operation. Since the technique 3 (see FIG. 11) is merely an image pasting (so-called collage), for example, there is a subtle step at the pasting boundary of the pasted image (the eye portion 17 in FIG. 11D). There is a problem that it occurs or a fine positional shift occurs in the horizontal direction.

そこで、本発明の目的は、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことにある。 SUMMARY OF THE INVENTION An object of the present invention is to correct a subject's gaze shift when using a hand mirror more comfortably.

本発明の表示装置は、表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置において、前記第一のカメラで撮影したカメラ目線画像を登録する登録手段と、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段と、前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段と、前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段とを備えたことを特徴とする。 A display device according to the present invention includes a first camera and a second camera that are arranged close to two opposite sides of a display screen of a display unit and are capable of capturing the face of a person who is looking at the display screen. In the display device, registration means for registering a camera eye image captured by the first camera, a non-camera eye image captured by the first camera and the second camera, and a camera eye registered in the registration means Indexing means for determining the amount of eye line deviation based on the image, correction means for correcting the eye line of the non-camera eye image based on the eye line deviation amount determined by the indexing means, and the eye line is corrected by the correcting means. And a display control means for displaying the eye-corrected image on the display unit.

本発明によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる。 According to the present invention, it is possible to more easily correct a subject's line-of-sight shift when using a hand mirror.

携帯電話機の外観図である。It is an external view of a mobile phone. 携帯電話機２０の構成図である。2 is a configuration diagram of a mobile phone 20. FIG. 制御プログラムの要部の動作フローを示す図である。It is a figure which shows the operation | movement flow of the principal part of a control program. ハンドミラー画面を示す図及びハンドミラー画面の表示内容更新を示す図である。It is a figure which shows the display content update of the figure which shows a hand mirror screen, and a hand mirror screen. カメラ目線画像登録処理（ステップＳ８）の動作フローを示す図である。It is a figure which shows the operation | movement flow of a camera look image registration process (step S8). ハンドミラー表示処理（ステップＳ１）の動作フローを示す図である。It is a figure which shows the operation | movement flow of a hand mirror display process (step S1). カメラ目線と非カメラ目線の説明図である。It is explanatory drawing of a camera look and a non-camera look. 目線修正画像生成の概念図である。It is a conceptual diagram of eye-gaze correction image generation. 内側カメラの位置とその内側カメラで撮影された画像との対応関係を示す図である。It is a figure which shows the correspondence of the position of an inner camera, and the image image | photographed with the inner camera. ステレオ視の概念説明図である。It is a conceptual explanatory drawing of a stereo vision. 目線のずれを修正する従来技術を示す図である。It is a figure which shows the prior art which corrects the shift | offset | difference of eyes | visual_axis.

本発明の実施形態を、携帯電話機への適用を例にして図面を参照しながら説明する。
図１は、携帯電話機の外観図である。この図において、携帯電話機２０は、手持ちに適した厚みと大きさを有する縦長箱型形状の本体部２１と、その本体部２１の上部一短辺端にヒンジ機構２２を介して連結された、本体部２１と略同型状かつ薄厚の蓋部２３とを備えた、いわゆる「折り畳み式」の筐体２４を有している。 An embodiment of the present invention will be described with reference to the drawings taking application to a mobile phone as an example.
FIG. 1 is an external view of a mobile phone. In this figure, a cellular phone 20 is connected to a vertically long box-shaped main body portion 21 having a thickness and size suitable for hand-held, and an upper short side end of the main body portion 21 via a hinge mechanism 22. It has a so-called “foldable” housing 24 that includes a main body 21 and a lid 23 that is substantially the same shape and thickness.

本体部２１の一方面（蓋部２３との対向面）には、多数の操作ボタンからなる操作ボタン群２５や送話孔２６が設けられ、また、蓋部２３の一方面（本体部２１との対向面）には、表示部２７や、この表示部２７の周囲を覆う額縁部２８、二つのカメラ２９、３０及び受話孔３１が設けられている。 An operation button group 25 and a transmission hole 26 made up of a number of operation buttons are provided on one side of the main body 21 (the surface facing the lid 23), and one side of the lid 23 (with the main body 21). Are provided with a display portion 27, a frame portion 28 that covers the periphery of the display portion 27, two cameras 29 and 30, and a receiving hole 31.

表示部２７は、長方形状の所定サイズの表示面を有する二次元表示デバイス、典型的には、液晶ディスプレイパネルであり、表示部２７の表示面には透明なタッチパネル３７が貼り付けられている。なお、図では表示部２７とタッチパネル３７を面方向にずらして描いているが、これは説明上の便宜である。実際には、表示部２７の表示面全体を覆うようにして、この表示面とほぼ同じ平面サイズのタッチパネル３７が配置されている。
また、表示部２７の両短辺（図では上短辺と下短辺）の各々に接近させて二つのカメラ２９、３０が配置されている。以下、表示部２７の上短辺に接近させて配置されたカメラ２９を「上カメラ」、表示部２７の下短辺に接近させて配置されたカメラ３０を「下カメラ」ということにする。 The display unit 27 is a two-dimensional display device having a rectangular display surface of a predetermined size, typically a liquid crystal display panel, and a transparent touch panel 37 is attached to the display surface of the display unit 27. In the figure, the display unit 27 and the touch panel 37 are drawn while being shifted in the surface direction, but this is for convenience of explanation. In practice, a touch panel 37 having the same plane size as the display surface is arranged so as to cover the entire display surface of the display unit 27.
Further, two cameras 29 and 30 are arranged so as to be close to both short sides (upper short side and lower short side in the figure) of the display unit 27. Hereinafter, the camera 29 arranged close to the upper short side of the display unit 27 is referred to as “upper camera”, and the camera 30 arranged close to the lower short side of the display unit 27 is referred to as “lower camera”.

上カメラ２９と下カメラ３０の撮影方向は、いずれも、表示部２７の表示面の鉛直方向と平行な方向であり、且つ、その撮影画角（撮影範囲）は、表示部２７の表示面を見ている人の顔を映し出すことができる適度な画角（たとえば、５０度乃至それ以上の広角）である。したがって、これら二つのカメラ２９、３０は、どちらも、表示部２７の表示面を見ている人の顔を撮像することができるから、冒頭で説明した「内側カメラ」に相当する。 The shooting directions of the upper camera 29 and the lower camera 30 are both parallel to the vertical direction of the display surface of the display unit 27, and the shooting angle of view (shooting range) is the same as the display surface of the display unit 27. An appropriate angle of view (for example, a wide angle of 50 degrees or more) that can reflect the face of the person being viewed. Accordingly, both of these two cameras 29 and 30 can capture the face of the person who is looking at the display surface of the display unit 27, and thus correspond to the “inside camera” described at the beginning.

なお、図示の携帯電話機２０は「折り畳み式」であるが、これに限定されない。非折り畳み式やスライド式などであってもよい。要は、表示部２７の表示面を見ている人の顔を撮像することができる「内側カメラ」を少なくとも二つ備えたものであればよい。また、図示の「内側カメラ」は、表示部２７の上下短辺側に各々設けられた上カメラ２９と下カメラ３０であるが、これにも限定されない。表示部２７の対向する二辺の各々に接近して設けられていればよく、たとえば、左右辺側に各々接近して設けられていてもよい。この場合は、左カメラ２９と右カメラ３０と読み替えればよい。 The illustrated mobile phone 20 is “foldable”, but is not limited thereto. It may be non-folding or sliding. In short, what is necessary is just to have at least two “inside cameras” that can capture the face of a person who is looking at the display surface of the display unit 27. The “inner camera” shown in the drawing is the upper camera 29 and the lower camera 30 provided on the upper and lower short sides of the display unit 27, but is not limited thereto. It suffices if it is provided close to each of the two opposing sides of the display unit 27. For example, it may be provided close to the left and right sides. In this case, the left camera 29 and the right camera 30 may be read as different.

図２は、携帯電話機２０の構成図である。この図において、携帯電話機２０は、通信部３２、撮像部３３、送受話部３４、操作部３５、制御部３６、表示部２７、タッチパネル３７、並びに、この携帯電話機２０の動作に必要な電源を供給するためのバッテリ（一次電池または充電可能な二次電池）を含む電源部３８などを備えている。 FIG. 2 is a configuration diagram of the mobile phone 20. In this figure, the cellular phone 20 includes a communication unit 32, an imaging unit 33, a transmission / reception unit 34, an operation unit 35, a control unit 36, a display unit 27, a touch panel 37, and a power source necessary for the operation of the cellular phone 20. A power supply unit 38 including a battery (primary battery or rechargeable secondary battery) for supply is provided.

通信部３２は、制御部３６からの制御により、アンテナ３２ａを介して最寄りの基地局（図示略）との間で無線によるアナログもしくはデジタルデータの送受信を行い、このデータには、電話の着呼や発呼の情報および音声通話の情報が含まれるほか、必要であれば、インターネット上のコンテンツを利用（ダウンロード）する際などのコンテンツ情報や電子メールの送受信情報などが含まれる。 Under the control of the control unit 36, the communication unit 32 transmits / receives analog or digital data wirelessly to / from the nearest base station (not shown) via the antenna 32a. And information on outgoing calls and information on voice calls, and if necessary, content information when using (downloading) content on the Internet, transmission / reception information of e-mail, and the like.

撮像部３３は、上カメラ２９と下カメラ３０とを含み、制御部３６からの制御により、これら二つのカメラ（上カメラ２９と下カメラ３０）で各々撮影した上カメラ画像と下カメラ画像を制御部３６に出力する。 The imaging unit 33 includes an upper camera 29 and a lower camera 30, and controls an upper camera image and a lower camera image respectively captured by these two cameras (upper camera 29 and lower camera 30) under the control of the control unit 36. To the unit 36.

送受話部３４は、本体部２１の送話孔２６の下に配置されたマイク３４ａや蓋部２３の受話孔３１の下に配置されたスピーカ３４ｂを含み、この送受話部３４は、制御部３６からの制御により、マイク３４ａからの音声信号をデジタルデータに変換して制御部３６に出力したり、制御部３６から出力されたデジタルの音声信号をアナログ信号に変換してスピーカ３４ｂから出力したりする。 The transmitter / receiver unit 34 includes a microphone 34a disposed under the transmitter hole 26 of the main body 21 and a speaker 34b disposed under the receiver hole 31 of the lid 23. The transmitter / receiver unit 34 includes a control unit. 36, the audio signal from the microphone 34a is converted into digital data and output to the control unit 36, or the digital audio signal output from the control unit 36 is converted into an analog signal and output from the speaker 34b. Or

操作部３５は、制御部３６に対して所要のユーザ入力を行うための各種操作ボタン（図１の操作ボタン群２５）を備え、この操作ボタン群２５には、特に、携帯電話機２０をハンドミラーとして利用する際に押し下げ操作されるハンドミラーモードボタン３５ａが含まれている。 The operation unit 35 includes various operation buttons (operation button group 25 in FIG. 1) for performing required user input to the control unit 36. The operation button group 25 includes, in particular, a hand mirror of the mobile phone 20. A hand mirror mode button 35a that is pushed down when used as a button is included.

制御部３６は、マイクロコンピュータまたは単にコンピュータ（以下、ＣＰＵ）３６ａ、書き換え可能不揮発性半導体メモリ（以下、ＰＲＯＭ）３６ｂおよび高速半導体メモリ（以下、ＲＡＭ）３６ｃならびに不図示の周辺回路を含むプログラム制御方式の制御要素であり、この制御部３６は、携帯電話機２０の全体動作を統括制御するために、あらかじめＰＲＯＭ３６ｂに格納されている制御プログラムをＲＡＭ３６ｃにロードしてＣＰＵ３６ａで実行する。 The control unit 36 includes a microcomputer or simply a computer (hereinafter referred to as CPU) 36a, a rewritable nonvolatile semiconductor memory (hereinafter referred to as PROM) 36b, a high-speed semiconductor memory (hereinafter referred to as RAM) 36c, and a program control system including a peripheral circuit (not shown). The control unit 36 loads a control program stored in advance in the PROM 36b into the RAM 36c and executes it on the CPU 36a in order to control the overall operation of the mobile phone 20.

制御プログラムは、グラフィカルユーザインターフェース対応の、いわゆるオペレーティングシステム（ＯＳ）と称される基本プログラムを含むとともに、所要のドライバプログラム、詳細には、特定のハードウェアの動作に必要な専用プログラムであって、たとえば、タッチパネル３７のドライバプログラムを含み、さらに、それらの基本プログラムやドライバプログラムなどとともに、特定の機能（図示の例では携帯電話機能）を実現するための専用アプリケーションプログラム（応用プログラム）を含む。 The control program includes a basic program called a so-called operating system (OS) corresponding to a graphical user interface, and a necessary driver program, specifically a dedicated program necessary for the operation of specific hardware, For example, it includes a driver program for the touch panel 37, and further includes a dedicated application program (application program) for realizing a specific function (mobile phone function in the illustrated example) along with the basic program and driver program.

図３は、制御プログラムの要部の動作フローを示す図である。この図において、図示の制御プログラムは所定のイベントが発生したとき、具体的には、操作部３５のハンドミラーモードボタン３５ａが押し下げ操作されたときに実行されるイベント起動型のプロセスであり、この制御プログラムを起動すると、まず、ハンドミラー表示処理を実行する（ステップＳ１）。 FIG. 3 is a diagram showing an operation flow of the main part of the control program. In this figure, the illustrated control program is an event activation type process that is executed when a predetermined event occurs, specifically, when the hand mirror mode button 35a of the operation unit 35 is depressed. When the control program is activated, first, hand mirror display processing is executed (step S1).

ハンドミラー表示処理の詳細は後で説明するが、端的に言えば、表示部２７に所要の画面（ハンドミラー画面：図４（ａ）参照）を表示しつつ、二つの内側カメラ（上カメラ２９と下カメラ３０）でそのハンドミラー画面を見ている人物の顔を撮影して所要の画像処理を行い、処理後の画像をハンドミラー画面の所定エリアに表示するというものであり、要するに、携帯電話機２０の表示部２７をハンドミラーの代わりに使用できるようにするための一連の処理のことをいう。 Although details of the hand mirror display process will be described later, in short, while displaying a required screen (hand mirror screen: see FIG. 4A) on the display unit 27, the two inner cameras (upper camera 29) are displayed. The lower camera 30) shoots the face of the person looking at the hand mirror screen, performs the required image processing, and displays the processed image in a predetermined area of the hand mirror screen. A series of processes for enabling the display unit 27 of the telephone 20 to be used instead of a hand mirror.

図４（ａ）は、ハンドミラー画面を示す図である。ハンドミラー画面３９は、その画面のほとんどを占める表示エリア４０と、画面の残余部分（この図では下端部分）に設けられた操作エリア４１とを備えるとともに、操作エリア４１にカメラ目線画像登録ボタン４２と終了ボタン４３とを配置して構成されている。 FIG. 4A shows a hand mirror screen. The hand mirror screen 39 includes a display area 40 that occupies most of the screen, and an operation area 41 provided in the remaining portion of the screen (the lower end portion in this figure), and a camera eye image registration button 42 in the operation area 41. And an end button 43 are arranged.

再び図３に戻り、ハンドミラー表示処理を実行（ステップＳ１）すると、次に、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作されたか否かを判定し（ステップＳ２）、操作されていなければ、ハンドミラー画面３９の終了ボタン４３が操作されたか否かを判定する（ステップＳ３）。そして、終了ボタン４３が操作された場合にはハンドミラー画面３９を閉じて（ステップＳ４）、プログラムを終了する一方、終了ボタン４３が操作されていない場合には、再度、ハンドミラー表示処理を実行（ステップＳ１）する。 Returning to FIG. 3 again, when the hand mirror display process is executed (step S1), it is next determined whether or not the camera eye image registration button 42 on the hand mirror screen 39 has been operated (step S2). For example, it is determined whether or not the end button 43 on the hand mirror screen 39 has been operated (step S3). If the end button 43 is operated, the hand mirror screen 39 is closed (step S4), and the program is terminated. If the end button 43 is not operated, the hand mirror display process is executed again. (Step S1).

他方、ステップＳ２の判定結果がＹＥＳの場合、すなわち、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作された場合には、まず、ハンドミラー画面３９の操作エリア４１の表示内容を更新する（ステップＳ５）。 On the other hand, if the determination result in step S2 is YES, that is, if the camera eye image registration button 42 on the hand mirror screen 39 is operated, first, the display content of the operation area 41 on the hand mirror screen 39 is updated ( Step S5).

図４（ｂ）は、ハンドミラー画面の表示内容更新を示す図である。この図に示すように、ステップＳ２の判定結果がＹＥＳの場合、すなわち、ハンドミラー画面３９のカメラ目線画像登録ボタン４２が操作された場合には、ハンドミラー画面３９の操作エリア４１に、所要の案内文字列（たとえば、“上部カメラに目線を向けてください”）を有するテキストオブジェクト４４と、ＯＫボタン４５と、キャンセルボタン４６とを表示する。 FIG. 4B is a diagram showing display content update on the hand mirror screen. As shown in this figure, when the determination result in step S2 is YES, that is, when the camera eye image registration button 42 on the hand mirror screen 39 is operated, a required area is displayed in the operation area 41 of the hand mirror screen 39. A text object 44 having a guide character string (for example, “Please look at the upper camera”), an OK button 45, and a cancel button 46 are displayed.

再び図３に戻り、ハンドミラー画面３９の操作エリア４１の表示内容を更新（ステップＳ５）すると、次に、ハンドミラー画面３９のＯＫボタン４５が操作されたか否かを判定し（ステップＳ６）、操作されていなければ、ハンドミラー画面３９のキャンセルボタン４６が操作されたか否かを判定する（ステップＳ７）。そして、いずれのボタンも操作されていなければ、それらのステップＳ６とステップＳ７をループする一方、キャンセルボタン４６が操作された場合は、再度、ハンドミラー表示処理を実行（ステップＳ１）し、また、ＯＫボタン４５が操作された場合は、カメラ目線画像登録処理（ステップＳ８）を実行した後、再度、ハンドミラー表示処理を実行（ステップＳ１）する。 Returning to FIG. 3 again, when the display content of the operation area 41 on the hand mirror screen 39 is updated (step S5), it is next determined whether or not the OK button 45 on the hand mirror screen 39 is operated (step S6). If not operated, it is determined whether or not the cancel button 46 on the hand mirror screen 39 is operated (step S7). If none of the buttons is operated, steps S6 and S7 are looped. On the other hand, if the cancel button 46 is operated, the hand mirror display process is executed again (step S1). When the OK button 45 is operated, the camera eye line image registration process (step S8) is executed, and then the hand mirror display process is executed again (step S1).

＜カメラ目線画像登録処理＞
図５は、カメラ目線画像登録処理（ステップＳ８）の動作フローを示す図である。このカメラ目線画像登録処理では、まず、二つの内側カメラ（上カメラ２９と下カメラ３０）のいずれか一方で撮影した画像を取り込み、その画像から人物の顔を抽出し、さらに、その顔から目の部分を切り出す（ステップＳ８ａ）。ここで、「二つの内側カメラのいずれか一方」とは、図４（ｂ）のテキストオブジェクト４４で指定されている方のカメラを指す。すなわち、図４（ｂ）の例では、“上部カメラに目線を向けてください”となっているので、この場合の「二つの内側カメラのいずれか一方」は上カメラ２９になる。 <Camera eye image registration processing>
FIG. 5 is a diagram showing an operation flow of the camera eye image registration processing (step S8). In this camera line-of-sight image registration process, first, an image taken by one of the two inner cameras (upper camera 29 and lower camera 30) is captured, a person's face is extracted from the image, and further, the eyes are extracted from the face. Is cut out (step S8a). Here, “one of the two inner cameras” refers to the camera designated by the text object 44 in FIG. That is, in the example of FIG. 4B, “Please turn your eyes toward the upper camera”, and “one of the two inner cameras” in this case is the upper camera 29.

ステップＳ８ａで、顔から目の部分を切り出すと、その切り出し画像を「カメラ目線画像」としてシステム内に登録（ステップＳ８ｂ）した後、再び、図３のステップＳ１を実行する。登録先は、たとえば、制御部３６のＰＲＯＭ３６ｂのユーザエリアとすることができる。なお、ステップＳ８ａで、上カメラ２９の画像から人物の顔が認識されなかった場合、または、上カメラ２９の画像から人物の顔が認識された場合で且つその顔から目の部分を切り出せなかった場合は、カメラ目線画像の登録処理を完了できないので、この場合には、たとえば、ハンドミラー画面３９の操作エリア４１のテキストオブジェクト４４に、所要の警告メッセージ（“登録を失敗しました。もう一度、上部カメラに目線を向けてください”など）を表示するとともに、再び、図３のステップＳ６、ステップＳ７をループさせることが望ましい。 When the eye portion is cut out from the face in step S8a, the cut image is registered in the system as a “camera eye image” (step S8b), and then step S1 in FIG. 3 is executed again. The registration destination can be, for example, the user area of the PROM 36b of the control unit 36. In step S8a, when the face of the person is not recognized from the image of the upper camera 29, or when the face of the person is recognized from the image of the upper camera 29, the eye portion cannot be cut out from the face. In this case, the registration process for the camera eye image cannot be completed. In this case, for example, the text object 44 in the operation area 41 of the hand mirror screen 39 is displayed with a required warning message (“registration failed. It is desirable to display “Please turn your eyes to the camera” etc.) and to loop Step S6 and Step S7 in FIG. 3 again.

＜ハンドミラー表示処理＞
図６は、ハンドミラー表示処理（ステップＳ１）の動作フローを示す図である。このハンドミラー表示処理では、まず、表示部２７に、図４（ａ）のハンドミラー画面３９を表示し（ステップＳ１ａ）、次いで、カメラ目線画像が登録済みであるか否かを判定する（ステップＳ１ｂ）。カメラ目線画像とは、先のカメラ目線画像登録処理（ステップＳ８）でシステム内（たとえば、制御部３６のＰＲＯＭ３６ｂのユーザエリア）に登録されている画像のことをいう。未登録であればそのまま、図３のステップＳ２に進む一方、登録済みであれば目線ずれ量の割り出し（ステップＳ１ｃ）を行い、次いで、その目線ずれ量を基に、二つの内側カメラ（上カメラ２９と下カメラ３０）の撮影画像を投影・合成して目線を修正した画像（目線修正画像）を生成し、その目線修正画像を、図４（ａ）のハンドミラー画面３９の表示エリア４０に表示（ステップＳ１ｄ）した後、図３のステップＳ２に進む。 <Hand mirror display processing>
FIG. 6 is a diagram showing an operation flow of the hand mirror display process (step S1). In this hand mirror display process, first, the hand mirror screen 39 of FIG. 4A is displayed on the display unit 27 (step S1a), and then it is determined whether or not the camera eye image has been registered (step S1a). S1b). The camera line-of-sight image refers to an image registered in the system (for example, the user area of the PROM 36b of the control unit 36) in the previous camera line-of-sight image registration process (step S8). If it is not registered, the process proceeds to step S2 in FIG. 3 as it is. If it is registered, the amount of line-of-sight deviation is calculated (step S1c), and then the two inner cameras (upper camera) are based on the line-of-sight deviation amount. 29 and the lower camera 30) are projected and synthesized to generate an image (eye-corrected image) in which the eye is corrected, and the eye-corrected image is displayed in the display area 40 of the hand mirror screen 39 in FIG. After the display (step S1d), the process proceeds to step S2 in FIG.

図７は、カメラ目線と非カメラ目線の説明図である。この図において、（ａ）に示すように、人物４７の面前に透明な板４８を立て、その板４８の上に二つの点Ｐ１、Ｐ２をマークする。第一の点Ｐ１は人物４７の目４９よりも若干高い位置にあり、第二の点は人物４７の目４９とほぼ同じ高さに位置している。 FIG. 7 is an explanatory diagram of camera gaze and non-camera gaze. In this figure, as shown in (a), a transparent plate 48 is set up in front of the person 47, and two points P1 and P2 are marked on the plate 48. The first point P1 is located slightly higher than the eyes 49 of the person 47, and the second point is located substantially at the same height as the eyes 49 of the person 47.

今、人物４７が第一の点Ｐ１を直視したとすると、この第一の点Ｐ１からカメラ（上カメラ２９）で人物４７の目４９を撮影した場合、その撮影画像は（ｂ）のようになる。すなわち、（ｂ）に示すように、白目５０の中に上下バランスよく黒目（虹彩と瞳孔）５１が位置した目画像５２が得られる。一方、目線を下げて第二の点Ｐ２を直視した場合の撮影画像は（ｃ）のようになる。すなわち、（ｃ）に示すように、白目５０の下寄りに黒目５１が位置した目画像５３が得られる。 Assuming now that the person 47 looks directly at the first point P1, when the eye 49 of the person 47 is photographed from the first point P1 with the camera (upper camera 29), the photographed image is as shown in (b). Become. That is, as shown in (b), an eye image 52 in which the black eye (iris and pupil) 51 is positioned in the white eye 50 with a good balance is obtained. On the other hand, the photographed image when the eye is lowered and the second point P2 is directly viewed is as shown in (c). That is, as shown in (c), an eye image 53 in which the black eye 51 is positioned below the white eye 50 is obtained.

ここで、第一の点Ｐ１を直視したときと第二の点Ｐ２を直視したときのそれぞれの黒目５１の高さ方向の中心位置を比較してみる。白目５０の高さ方向幅をＨとすると、第一の点Ｐ１を直視したときの黒目５１の中心位置は白目５０の高さ方向幅Ｈのほぼ１／２相当になるから、第一の点Ｐ１を直視したときの黒目５１の中心位置は、白目５０の上端から下方向にＨ１ａだけ離れ且つ下端から上方向にＨ１ｂだけ離れた位置になり、結局、Ｈ１ａとＨ１ｂはほぼ等しい関係（Ｈ１ａ≒Ｈ１ｂ）になる。これに対して、第二の点Ｐ２を直視したときの黒目５１の中心位置は白目５０の高さ方向幅Ｈの１／２よりも下側になるから、第二の点Ｐ２を直視したときの黒目５１の中心位置は、白目５０の上端から下方向にＨ２ａだけ離れ且つ下端から上方向にＨ２ｂだけ離れた位置になり、結局、Ｈ２ａとＨ２ｂは前者が大きい関係（Ｈ２ａ＞Ｈ２ｂ）になる。 Here, the center positions of the black eyes 51 in the height direction when the first point P1 is directly viewed and when the second point P2 is directly viewed are compared. Assuming that the width in the height direction of the white eye 50 is H, the center position of the black eye 51 when viewing the first point P1 directly corresponds to approximately ½ of the width H in the height direction of the white eye 50. The center position of the black eye 51 when looking directly at P1 is a position away from the upper end of the white eye 50 by H1a and away from the lower end by H1b. As a result, H1a and H1b are substantially equal (H1a≈ H1b). On the other hand, when the second point P2 is viewed directly, the center position of the black eye 51 is below 1/2 of the width H in the height direction of the white eye 50, so when the second point P2 is viewed directly. The center position of the black eye 51 is away from the upper end of the white eye 50 by H2a and away from the lower end by H2b. As a result, H2a and H2b have a large relationship (H2a> H2b). .

したがって、第一の点Ｐ１を直視したときと第二の点Ｐ２を直視したときのそれぞれの目画像５２、５３から「Ｈ１ａ＜Ｈ２ａ」の関係が得られる。そして、これら二つの値（Ｈ１ａとＨ２ａ）の差は、（ａ）における二つの点Ｐ１、Ｐ２の距離Ｌに比例するから、結局のところ、上記二つの値（Ｈ１ａとＨ２ａ）の差は、第一の点Ｐ１を直視したとき（カメラ目線のとき）と第二の点Ｐ２を直視したとき（非カメラ目線のとき）の目線ずれ量、つまり、目線のずれ角度θを表すことになる。 Therefore, the relationship of “H1a <H2a” is obtained from the respective eye images 52 and 53 when the first point P1 is directly viewed and when the second point P2 is directly viewed. Since the difference between these two values (H1a and H2a) is proportional to the distance L between the two points P1 and P2 in (a), the difference between the two values (H1a and H2a) is It represents the amount of line-of-sight deviation when looking directly at the first point P1 (when looking at the camera) and when looking directly at the second point P2 (when looking at the non-camera line), that is, the line-of-sight deviation angle θ.

先のカメラ目線画像登録処理（ステップＳ８）におけるカメラ目線画像は、第一の点Ｐ１を直視したときの目画像５２のことであり、その登録処理とは、この目画像５２をシステムに登録することをいう。また、先のハンドミラー表示処理（ステップＳ１）における目線修正画像の生成は、前記の目線ずれ量（目線のずれ角度θ）を基に、二つの内側カメラ（上カメラ２９と下カメラ３０）の撮影画像を投影・合成して目線を修正した画像を生成することをいう。 The camera eye image in the previous camera eye image registration process (step S8) is the eye image 52 when the first point P1 is directly viewed, and the registration process registers the eye image 52 in the system. That means. In addition, the generation of the eye-corrected image in the previous hand mirror display process (step S1) is performed by the two inner cameras (upper camera 29 and lower camera 30) on the basis of the above-mentioned eyeline shift amount (eyeline shift angle θ). This refers to generating an image with a corrected eye line by projecting and synthesizing a captured image.

図８は、目線修正画像生成の概念図である。この図において、上カメラ２９と下カメラ３０の撮影画角内に人物４７の顔が位置しており、この人物４７の視線は、上カメラ２９と下カメラ３０の間に位置する不図示の画面（表示部２７の表示画面）に向いており、非カメラ目線になっている。この視線状態（非カメラ目線）のとき、上カメラ２９で撮影された上カメラ画像５４には目線を下に向けた人物の顔５５が写っており、且つ、その顔５５の位置は画像の下に偏っている。また、下カメラ３０で撮影された下カメラ画像５６には目線を上に向けた人物の顔５７が写っており、且つ、その顔５７の位置は画像の上に偏っている。 FIG. 8 is a conceptual diagram of generating a line-of-sight correction image. In this figure, the face of the person 47 is located within the shooting angle of view of the upper camera 29 and the lower camera 30, and the line of sight of this person 47 is a screen (not shown) located between the upper camera 29 and the lower camera 30. (Display screen of the display unit 27) and is not looking at the camera. In this line-of-sight state (non-camera line of sight), the upper camera image 54 photographed by the upper camera 29 shows a human face 55 with the line of sight down, and the position of the face 55 is below the image. It is biased to. The lower camera image 56 photographed by the lower camera 30 shows a human face 57 with the line of sight upward, and the position of the face 57 is biased on the image.

先のハンドミラー表示処理（ステップＳ１）では、まず、これら二つの画像（上カメラ画像５４と下カメラ画像５６）から被写体の偏りを修正した画像を生成する。つまり、上カメラ画像５４の被写体は画像の下に偏り、且つ、下カメラ画像５６の被写体は画像の上に偏っているので、たとえば、冒頭で説明したステレオ視の技術（たとえば、特許文献１、２など）を用い、表示位置の偏りを修正した画像（顔の位置がほぼ中央に位置するように修正した画像）を生成する。 In the previous hand mirror display process (step S1), first, an image in which the bias of the subject is corrected is generated from these two images (upper camera image 54 and lower camera image 56). That is, since the subject of the upper camera image 54 is biased below the image and the subject of the lower camera image 56 is biased above the image, for example, the stereo viewing technique described at the beginning (for example, Patent Document 1, 2) is used to generate an image in which the display position bias is corrected (an image corrected so that the face position is approximately in the center).

さて、冒頭の従来技術でも説明したとおり、ステレオ視の技術を適用しただけでは目線のずれを修正できないという不都合がある。このため、上記のように、表示位置の偏りを修正した画像を生成しただけでは、上カメラ画像５４の下向き目線と下カメラ画像５６の上向き目線の単純な合成となってしまう結果、違和感のある画像になる。これは、ステレオ視の技術においては、三角測量の原理で被写体各部の奥行きを認識し、同一撮影距離に位置する部分で且つ類似内容の部分同士を合成するという処理を行うからであり、単にステレオ視の技術を適用しただけでは、上カメラ画像５４と下カメラ画像５６に含まれる被写体の目の部分が単純合成されてしまうだけであるからである。 As described in the prior art at the beginning, there is an inconvenience that the deviation of the line of sight cannot be corrected only by applying the stereo vision technique. For this reason, as described above, simply generating an image with corrected display position bias results in a simple composition of the downward line of sight of the upper camera image 54 and the upward line of sight of the lower camera image 56. Become an image. This is because in the stereo vision technology, the depth of each part of the subject is recognized based on the principle of triangulation, and a process of combining parts with similar contents at the same shooting distance is performed. This is because the eye part of the subject included in the upper camera image 54 and the lower camera image 56 is simply synthesized only by applying the viewing technique.

そこで、本実施形態では、図８の下段に示すように、表示位置の偏りを修正した画像５８に対して、さらに、前記の目線ずれ量（目線のずれ角度θ）を基にした目線の修正処理を行う。具体的には、登録済みカメラ目線画像の黒目の中心と、表示位置の偏りを修正した画像５８の黒目の中心とから、目線ずれ量（目線のずれ角度θ）を割り出し、その目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像を生成し、その画像を表示部２７に表示する。 Therefore, in the present embodiment, as shown in the lower part of FIG. 8, correction of the line of sight based on the amount of line-of-sight shift (the line-of-sight shift angle θ) is further performed on the image 58 in which the display position bias is corrected. Process. Specifically, a gaze deviation amount (gaze deviation angle θ) is calculated from the center of the black eye of the registered camera gaze image and the center of the black eye of the image 58 whose display position is corrected, and the gaze deviation amount is calculated as the gaze deviation amount. Based on this, an image in which the line of sight is corrected so as to be equivalent to the line of sight of the camera is generated, and the image is displayed on the display unit 27.

このように、目線ずれ量（目線のずれ角度θ）を基にした目線の修正処理を行うことにより、単にステレオ視の技術を適用しただけの場合の不都合（目線の違和感）をなくすことができる。その結果、非カメラ目線であっても、あたかもカメラ目線のように目線を修正した画像を表示部２７に表示でき、携帯電話機２０の表示部２７をハンドミラーの代わりに不都合なく使用できるようになる。 In this way, by performing the eye correction processing based on the eye misalignment amount (eye misalignment angle θ), it is possible to eliminate the inconvenience (a sense of incongruity of eyes) when simply applying the stereo vision technique. . As a result, even if it is a non-camera line of sight, an image with the line of sight corrected can be displayed on the display unit 27 as if it was a camera line of sight, and the display unit 27 of the mobile phone 20 can be used without inconvenience instead of a hand mirror. .

なお、以上の実施形態は携帯電話機への適用を例にしたが、これに限定されない。表示部と、その表示部の表示画面を見ている人の顔を撮影して当該表示部に表示できるカメラ（内側カメラ）とを備えた電子機器であればよく、たとえば、内側カメラ付のディスプレイを備えたパーソナルコンピュータ、または、内側カメラ付の携帯情報端末、携帯ゲーム機、電子辞書、電子ブック表示端末など多種多様なものに適用することができる。 In addition, although the above embodiment made application to a mobile phone as an example, it is not limited to this. Any electronic device including a display unit and a camera (inner camera) that can capture and display the face of a person who is looking at the display screen of the display unit on the display unit, for example, a display with an inner camera. It can be applied to a wide variety of devices such as a personal computer equipped with a portable information terminal with an inner camera, a portable game machine, an electronic dictionary, and an electronic book display terminal.

以下、本発明の諸態様を付記としてまとめて記載する。
（付記１）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段と、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段と、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段と
を備えたことを特徴とする表示装置。
付記１によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる。 Hereinafter, various aspects of the present invention will be collectively described as supplementary notes.
(Appendix 1)
In a display device including a first camera and a second camera, which are arranged close to two opposite sides of the display screen of the display unit and can capture the face of a person who is looking at the display screen.
Registration means for registering a camera eye image captured by the first camera;
Indexing means for calculating a line-of-sight shift amount based on a non-camera eye-gaze image captured by the first camera and the second camera and a camera eye-gaze image registered in the registration means;
Correcting means for correcting the line of sight of the non-camera line of sight based on the amount of line of sight calculated by the indexing means;
And a display control means for displaying on the display section the eyeline corrected image whose eyeline has been corrected by the correcting means.
According to Supplementary Note 1, it is possible to more easily correct the misalignment of the line of sight of the subject when using the hand mirror.

（付記２）
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えたことを特徴とする付記１に記載の表示装置。
付記２によれば、ハンドミラー利用時の被写体の位置ずれ修正も行うことができる。 (Appendix 2)
The image processing apparatus further comprises subject position correcting means for correcting the position of the subject included in the non-camera line-of-sight images photographed by the first camera and the second camera by shifting in the center direction of the composition on the basis of stereo vision. The display device according to Supplementary Note 1.
According to Supplementary Note 2, it is possible to correct the positional deviation of the subject when using the hand mirror.

（付記３）
さらに、前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像に含まれる被写体の位置をステレオ視の原理で構図の中央方向にずらして修正する被写体位置修正手段を備えるとともに、
前記修正手段は、前記カメラ目線画像に含まれる人物の黒目の中心と、当該被写体位置修正手段によって位置が修正された画像に含まれる人物の黒目の中心とから目線ずれ量を割り出し、その目線ずれ量に基づいて、カメラ目線相当となるように目線を修正した画像を生成することを特徴とする付記１に記載の表示装置。
付記３によれば、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うとともに、被写体の位置ずれ修正も同時に行うことができる。 (Appendix 3)
Furthermore, the apparatus includes a subject position correcting unit that corrects the position of the subject included in the non-camera line-of-sight image captured by the first camera and the second camera by shifting in the center direction of the composition by the principle of stereo vision.
The correction means calculates a gaze shift amount from the center of the black eye of the person included in the camera line-of-sight image and the center of the black eye of the person included in the image whose position is corrected by the subject position correction means, and the gaze shift The display device according to appendix 1, wherein an image with a line of sight corrected so as to be equivalent to a camera line of sight is generated based on the amount.
According to Supplementary Note 3, it is possible to correct the subject's eye-gaze shift when using the hand mirror without causing a sense of incongruity, and to simultaneously correct the subject's position shift.

（付記４）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置の制御方法において、
前記第一のカメラで撮影したカメラ目線画像を登録する登録工程と、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録工程で登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し工程と、
前記割り出し工程によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正工程と、
前記修正工程によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御工程と
を含むことを特徴とする表示制御方法。
付記４によれば、付記１と同様に、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる表示制御方法を提供することができる。 (Appendix 4)
In a control method of a display device including a first camera and a second camera, which are arranged close to two opposite sides of a display screen of a display unit and both can photograph a face of a person who is looking at the display screen ,
A registration step of registering a camera eye image captured by the first camera;
An indexing step of determining a line-of-sight shift amount based on the non-camera line-of-sight image captured by the first camera and the second camera and the camera line-of-sight image registered in the registration step;
A correction step of correcting the line of sight of the non-camera line of sight based on the amount of line of sight shift determined by the indexing step;
A display control step of displaying, on the display unit, a line-of-sight corrected image whose line of sight has been corrected by the correction step.
According to Supplementary Note 4, as with Supplementary Note 1, it is possible to provide a display control method capable of correcting the eye-gaze shift of the subject when using the hand mirror without a sense of incongruity.

（付記５）
表示部の表示画面の対向二辺に接近して配置され且ついずれも前記表示画面を見ている人物の顔を撮影可能な第一のカメラと第二のカメラを備えた表示装置のコンピュータを、
前記第一のカメラで撮影したカメラ目線画像を登録する登録手段、
前記第一のカメラ及び第二のカメラで撮影した非カメラ目線画像と前記登録手段に登録済みのカメラ目線画像とに基づいて目線ずれ量を割り出す割り出し手段、
前記割り出し手段によって割り出された目線ずれ量に基づいて前記非カメラ目線画像の目線を修正する修正手段、及び、
前記修正手段によって目線が修正された目線修正済み画像を前記表示部に表示する表示制御手段
として機能させるためのプログラム。
付記５によれば、付記１の機能をソフトウェア（プログラム）の形で提供することができる。 (Appendix 5)
A computer of a display device provided with a first camera and a second camera, which are arranged close to two opposite sides of the display screen of the display unit and can capture the face of a person who is looking at the display screen.
Registration means for registering a camera eye image captured by the first camera;
Indexing means for determining a line-of-sight shift amount based on a non-camera line-of-sight image captured by the first camera and the second camera and a camera line-of-sight image registered in the registration unit;
Correction means for correcting the line of sight of the non-camera line of sight based on the amount of line of sight calculated by the indexing means; and
A program for causing a display control unit to display a line-of-sight corrected image whose line of sight has been corrected by the correction unit on the display unit.
According to Supplementary Note 5, the function of Supplementary Note 1 can be provided in the form of software (program).

（付記６）
付記１に記載の表示装置を備えたことを特徴とする電子機器。
付記６によれば、内側カメラ付のディスプレイを備えたパーソナルコンピュータ、または、内側カメラ付の携帯電話機、携帯情報端末、携帯ゲーム機、電子辞書、電子ブック表示端末など多種多様な電子機器において、付記１と同様に、ハンドミラー利用時の被写体の目線ずれの修正をより違和感なく行うことができる (Appendix 6)
An electronic apparatus comprising the display device according to appendix 1.
According to Appendix 6, in a variety of electronic devices such as a personal computer having a display with an inner camera, or a mobile phone with an inner camera, a portable information terminal, a portable game machine, an electronic dictionary, and an electronic book display terminal Similar to 1, it is possible to correct the subject's gaze shift when using the hand mirror more comfortably.

２０携帯電話機（表示装置、電子機器）
２７表示部
２９上カメラ（第一のカメラ）
３０下カメラ（第二のカメラ）
３６ａＣＰＵ（登録手段、割り出し手段、修正手段、表示制御手段、被写体位置修正手段）
５２目画像（カメラ目線画像）
５３目画像（非カメラ目線画像） 20 Mobile phones (display devices, electronic devices)
27 Display unit 29 Upper camera (first camera)
30 Lower camera (second camera)
36a CPU (registration means, indexing means, correction means, display control means, subject position correction means)
52 Eye Image (Camera Eye Image)
53 eye image (non-camera eye image)

Claims

In a display device including a first camera and a second camera, which are arranged close to two opposite sides of the display screen of the display unit and can capture the face of a person who is looking at the display screen.
Registration means for registering a camera eye image captured by the first camera;
Indexing means for calculating a line-of-sight shift amount based on a non-camera eye-gaze image captured by the first camera and the second camera and a camera eye-gaze image registered in the registration means;
Correcting means for correcting the line of sight of the non-camera line of sight based on the amount of line of sight calculated by the indexing means;
And a display control means for displaying on the display section the eyeline corrected image whose eyeline has been corrected by the correcting means.

The image processing apparatus further comprises subject position correcting means for correcting the position of the subject included in the non-camera line-of-sight images photographed by the first camera and the second camera by shifting in the center direction of the composition on the basis of stereo vision. The display device according to claim 1.

Furthermore, the apparatus includes a subject position correcting unit that corrects the position of the subject included in the non-camera line-of-sight image captured by the first camera and the second camera by shifting in the center direction of the composition by the principle of stereo vision.
The correction means calculates a gaze shift amount from the center of the black eye of the person included in the camera line-of-sight image and the center of the black eye of the person included in the image whose position is corrected by the subject position correction means, and the gaze shift The display device according to claim 1, wherein an image with a line of sight corrected so as to correspond to the line of sight of the camera is generated based on the amount.

In a control method of a display device including a first camera and a second camera, which are arranged close to two opposite sides of a display screen of a display unit and both can photograph a face of a person who is looking at the display screen ,
A registration step of registering a camera eye image captured by the first camera;
An indexing step of determining a line-of-sight shift amount based on the non-camera line-of-sight image captured by the first camera and the second camera and the camera line-of-sight image registered in the registration step;
A correction step of correcting the line of sight of the non-camera line of sight based on the amount of line of sight shift determined by the indexing step;
A display control step of displaying, on the display unit, a line-of-sight corrected image whose line of sight has been corrected by the correction step.

A computer of a display device provided with a first camera and a second camera, which are arranged close to two opposite sides of the display screen of the display unit and can capture the face of a person who is looking at the display screen.
Registration means for registering a camera eye image captured by the first camera;
Indexing means for determining a line-of-sight shift amount based on a non-camera line-of-sight image captured by the first camera and the second camera and a camera line-of-sight image registered in the registration unit;
Correction means for correcting the line of sight of the non-camera line of sight based on the amount of line of sight calculated by the indexing means; and
A program for causing a display control unit to display a line-of-sight corrected image whose line of sight has been corrected by the correction unit on the display unit.

An electronic apparatus comprising the display device according to claim 1.