JP7012983B2 - Face image processing device - Google Patents

Face image processing device Download PDF

Info

Publication number
JP7012983B2
JP7012983B2 JP2017016946A JP2017016946A JP7012983B2 JP 7012983 B2 JP7012983 B2 JP 7012983B2 JP 2017016946 A JP2017016946 A JP 2017016946A JP 2017016946 A JP2017016946 A JP 2017016946A JP 7012983 B2 JP7012983 B2 JP 7012983B2
Authority
JP
Japan
Prior art keywords
user
face image
display
image
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017016946A
Other languages
Japanese (ja)
Other versions
JP2018125727A (en
Inventor
嘉伸 海老澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka University NUC
Original Assignee
Shizuoka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka University NUC filed Critical Shizuoka University NUC
Priority to JP2017016946A priority Critical patent/JP7012983B2/en
Publication of JP2018125727A publication Critical patent/JP2018125727A/en
Application granted granted Critical
Publication of JP7012983B2 publication Critical patent/JP7012983B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、双方向のコミュニケーションのために顔画像を取得および表示する顔画像処理装置に関する。 The present invention relates to a face image processing device that acquires and displays a face image for two-way communication.

近年、双方向のコミュニケーションツールとして、パーソナルコンピュータ等を用いて、お互いのユーザの顔画像を送受信する通信システムが利用されてきている。例えば、１対１の円滑なコミュニケーションを可能にする構成として、コミュニケーションを行う双方のユーザ間で双方の視線が一致するようにし、かつ、互いの顔を見やすくするように顔画像を補正するコミュニケーションシステムが知られている（非特許文献１）。 In recent years, as a two-way communication tool, a communication system for transmitting and receiving facial images of each other's users by using a personal computer or the like has been used. For example, as a configuration that enables one-on-one smooth communication, a communication system that corrects facial images so that both users who communicate with each other have the same line of sight and make it easier to see each other's faces. Is known (Non-Patent Document 1).

山本 祥之、他２名、「遠隔瞳孔検出に基づく頭部移動を許容する視線一致型コミュニケーションシステムの提案」、映像情報メディア学会年次大会、２０１５年、１３Ｃ－３Yoshiyuki Yamamoto and 2 others, "Proposal of a line-of-sight matching communication system that allows head movement based on remote pupil detection", Annual Conference of the Institute of Image Information and Television Engineers, 2015, 13C-3

しかしながら、上述した従来のコミュニケーションシステムでは、１対１でのコミュニケーションには対応できるが、３人以上の複数のユーザの間でのコミュニケーションには対応が困難である。すなわち、従来では３人以上の複数のユーザ間でのコミュニケーションを円滑にするシステムは実現されていない。 However, although the conventional communication system described above can support one-to-one communication, it is difficult to support communication between a plurality of three or more users. That is, conventionally, a system for facilitating communication between a plurality of three or more users has not been realized.

本発明は、上記課題に鑑みて為されたものであり、３人以上の複数のユーザ間コミュニケーションを円滑にすることが可能な顔画像処理装置を提供することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a face image processing device capable of facilitating communication between a plurality of users of three or more people.

上記課題を解決するため、本発明の一形態にかかる顔画像処理装置は、自ユーザの顔画像を取得して外部装置に出力し、他ユーザの顔画像を外部装置から取得して表示する顔画像処理装置であって、自ユーザの視線方向あるいは顔方向を検出する方向検出部と、外部装置から取得した複数の他ユーザの顔画像である複数の表示対象顔画像を複数の表示領域ごとに分割して表示する画像表示部と、画像表示部の複数の表示領域のそれぞれに対応して配置され、自ユーザの顔の画像であるユーザ顔画像を撮像する複数の撮像部と、画像表示部における複数の表示対象顔画像の表示状態を制御するとともに、自ユーザの視線方向あるいは顔方向に一致する表示領域に対応して配置された撮像部によって取得されたユーザ顔画像である出力対象顔画像を、少なくとも出力する制御部とを備え、制御部は、外部装置から出力対象顔画像として出力された他ユーザの顔画像を取得し、当該顔画像を表示対象顔画像として当該他ユーザに対応した表示領域に表示させるように制御する。 In order to solve the above problem, the face image processing device according to one embodiment of the present invention acquires the face image of the own user and outputs it to an external device, and obtains the face image of another user from the external device and displays the face. An image processing device, a direction detection unit that detects the line-of-sight direction or face direction of the own user, and a plurality of display target face images that are face images of a plurality of other users acquired from an external device for each of a plurality of display areas. An image display unit that is divided and displayed, and a plurality of image pickup units and an image display unit that are arranged corresponding to each of a plurality of display areas of the image display unit and capture a user face image that is an image of the user's face. Output target face image which is a user face image acquired by an imaging unit arranged corresponding to a display area corresponding to the line-of-sight direction or the face direction of the own user while controlling the display state of a plurality of display target face images in The control unit is provided with at least a control unit that outputs the image, and the control unit acquires the face image of another user output as an output target face image from an external device, and corresponds to the other user by using the face image as a display target face image. Control to display in the display area.

上記形態の顔画像処理装置によれば、外部装置から、他ユーザの視線方向あるいは顔方向に対応する位置の撮像部によって取得された顔画像が取得され、当該顔画像が他ユーザに対応した表示領域に表示される。その一方で、自ユーザの視線方向あるいは顔方向に対応する位置の撮像部によって取得された顔画像が、外部装置における表示対象の出力対象顔画像として出力される。これにより、複数の他ユーザと自ユーザとの間でコミュニケーションする際に自ユーザにとって複数の他ユーザと正対したコミュニケーションが容易となる。その結果、３人以上のユーザ間でのコミュニケーションを円滑にすることができる。 According to the face image processing device of the above-described embodiment, the face image acquired by the image pickup unit at the position corresponding to the line-of-sight direction or the face direction of another user is acquired from the external device, and the face image is displayed corresponding to the other user. Displayed in the area. On the other hand, the face image acquired by the image pickup unit at the position corresponding to the line-of-sight direction or the face direction of the own user is output as the output target face image of the display target in the external device. As a result, when communicating between a plurality of other users and the own user, it becomes easy for the own user to communicate directly with the plurality of other users. As a result, communication between three or more users can be facilitated.

ここで、制御部は、複数の撮像部によって撮像された複数のユーザ顔画像のうち、視線方向あるいは顔方向に一致する表示領域に対応して配置された撮像部によって取得されたユーザ顔画像を選択し、当該ユーザ顔画像を出力対象顔画像として出力することとしてもよい。この場合、ユーザ顔画像を撮像する側の装置で出力対象顔画像を選択して、その出力対象顔画像を当該画像を表示する側の装置に出力するので、表示する側の装置における処理を簡略化することで遅延の少ない画像表示を実現することができる。 Here, the control unit receives the user face image acquired by the image pickup unit arranged corresponding to the display area corresponding to the line-of-sight direction or the face direction among the plurality of user face images captured by the plurality of image pickup units. It may be selected and the user face image may be output as an output target face image. In this case, the device on the side that captures the user's face image selects the output target face image, and the output target face image is output to the device on the side that displays the image, so that the processing on the device on the display side is simplified. It is possible to realize an image display with less delay.

また、制御部は、複数の撮像部によって撮像された複数のユーザ顔画像と、複数のユーザ顔画像から出力対象顔画像を選択するための選択用情報とを出力し、外部装置から出力された複数のユーザ顔画像うちから、外部装置から出力された選択用情報を基に表示対象顔画像を選択し、当該表示対象顔画像を他ユーザに対応した表示領域に表示させるように制御することとしてもよい。この場合には、ユーザ顔画像を表示する側の装置において選択用情報を基に表示対象顔画像を選択して表示するので、表示する側の装置において表示対象顔画像を選択する自由度が高まる。 Further, the control unit outputs a plurality of user face images captured by the plurality of imaging units and selection information for selecting an output target face image from the plurality of user face images, and is output from an external device. A display target face image is selected from a plurality of user face images based on selection information output from an external device, and the display target face image is controlled to be displayed in a display area corresponding to another user. May be good. In this case, since the display target face image is selected and displayed on the device on the display side of the user face image based on the selection information, the degree of freedom in selecting the display target face image on the display side device is increased. ..

また、方向検出部は、自ユーザの両眼の三次元位置をさらに検出し、制御部は、表示対象顔画像を両眼の三次元位置に応じて補正し、補正した表示対象顔画像を表示させるように制御することとしてもよい。この場合、表示対象顔画像を自ユーザの両眼の三次元位置に応じて補正することで、表示対象顔画像の自ユーザに対する視認性を調整することができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。 Further, the direction detection unit further detects the three-dimensional position of both eyes of the own user, and the control unit corrects the display target face image according to the three-dimensional position of both eyes and displays the corrected display target face image. It may be controlled so as to cause. In this case, the visibility of the display target face image to the own user can be adjusted by correcting the display target face image according to the three-dimensional positions of both eyes of the own user. As a result, communication between three or more users can be made smoother.

また、制御部は、表示対象顔画像のサイズを外部装置で算出された他ユーザの両眼の三次元位置に応じて補正することとしてもよいし、表示対象顔画像を両眼の三次元位置に応じて歪調整するように補正することとしてもよい。この場合には、表示対象顔画像を自ユーザあるいは他ユーザの両眼の三次元位置に応じて補正することで、自ユーザから観察される他ユーザの顔画像のサイズおよび歪を調整することができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。 Further, the control unit may correct the size of the display target face image according to the three-dimensional position of both eyes of another user calculated by the external device, or the display target face image may be corrected according to the three-dimensional position of both eyes. It may be corrected so as to adjust the distortion according to the above. In this case, the size and distortion of the face image of the other user observed by the own user can be adjusted by correcting the face image to be displayed according to the three-dimensional position of both eyes of the own user or another user. can. As a result, communication between three or more users can be made smoother.

また、画像表示部は、表示領域において複数の方向に異なる画像を表示可能に構成されており、制御部は、外部装置から他ユーザの顔画像を複数取得し、当該他ユーザに対応する表示領域において、複数の他ユーザの顔画像のいずれかを、複数の方向に表示させるように制御することとしてもよい。この場合には、自ユーザに複数のユーザが含まれる場合に、それぞれのユーザに対して適した他ユーザの顔画像を表示させることができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。 Further, the image display unit is configured to be able to display different images in a plurality of directions in the display area, and the control unit acquires a plurality of face images of another user from an external device and displays a display area corresponding to the other user. In, any one of the face images of a plurality of other users may be controlled to be displayed in a plurality of directions. In this case, when the own user includes a plurality of users, it is possible to display a face image of another user suitable for each user. As a result, communication between three or more users can be made smoother.

また、制御部は、外部装置から取得された出力対象顔画像を、複数の方向のそれぞれに応じて歪調整し、歪調整した出力対象顔画像を複数の方向のそれぞれに表示させるように制御することとしてもよい。この場合、自ユーザに複数のユーザが含まれる場合に、それぞれのユーザに対して視認性が調整された他ユーザの顔画像を表示させることができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。 Further, the control unit controls to adjust the distortion of the output target face image acquired from the external device according to each of the plurality of directions and display the distortion-adjusted output target face image in each of the plurality of directions. It may be that. In this case, when the own user includes a plurality of users, it is possible to display the face image of another user whose visibility is adjusted for each user. As a result, communication between three or more users can be made smoother.

また、制御部は、方向検出部によって検出された視線方向を基に、複数の表示領域のうち当該視線方向が示す注目表示領域を特定し、注目表示領域に表示させる他ユーザの顔画像を強調表示させるように制御することとしてもよい。この場合、コミュニケーション相手のユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。 Further, the control unit identifies the attention display area indicated by the line-of-sight direction among the plurality of display areas based on the line-of-sight direction detected by the direction detection unit, and emphasizes the face image of another user to be displayed in the attention display area. It may be controlled so that it is displayed. In this case, by highlighting the face image of the user with whom the communication partner is to be highlighted, communication between the users can be made smoother.

また、制御部は、方向検出部によって検出された視線方向を基に、複数の表示領域のうち当該視線方向が示す注目表示領域を特定し、注目表示領域に対応する他ユーザの使用する外部装置に対して、出力対象顔画像とともに特定の結果を出力し、外部装置から、他ユーザの顔画像とともに特定の結果を取得した場合には、他ユーザの顔画像を強調表示させるように制御することとしてもよい。この場合も、コミュニケーションを求めているユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。 Further, the control unit identifies the attention display area indicated by the line-of-sight direction among a plurality of display areas based on the line-of-sight direction detected by the direction detection unit, and is an external device used by another user corresponding to the attention display area. On the other hand, when a specific result is output together with the output target face image and a specific result is acquired together with the face image of another user from an external device, the face image of the other user is controlled to be highlighted. May be. In this case as well, by highlighting the facial image of the user who is seeking communication, communication between the users can be made smoother.

また、制御部は、外部からのドラック入力により、複数の他ユーザの顔画像の表示位置を、複数の表示領域の間で変更可能に構成されていてもよい。この場合、他ユーザの顔画像の表示位置を自由に変更することができ、ユーザ間でのコミュニケーションをより円滑にすることができる。 Further, the control unit may be configured so that the display position of the face image of a plurality of other users can be changed among the plurality of display areas by a drag input from the outside. In this case, the display position of the face image of another user can be freely changed, and communication between users can be made smoother.

本発明によれば、１対多あるいは多対多でのユーザ間コミュニケーションを円滑にすることができる。 According to the present invention, one-to-many or many-to-many communication between users can be facilitated.

本発明の第１実施形態に係る顔画像処理装置の構成を示す側面図である。It is a side view which shows the structure of the face image processing apparatus which concerns on 1st Embodiment of this invention. 図１の視線方向検出部４の光学系の配置を示す平面図である。It is a top view which shows the arrangement of the optical system of the line-of-sight direction detection part 4 of FIG. ユーザＵの位置する正面側から見たカラーカメラ３ａ，３ｂと表示用ディスプレイ５との位置関係を示す正面図である。It is a front view which shows the positional relationship between the color cameras 3a, 3b and the display display 5 seen from the front side where the user U is located. 図１のプロセッサ６の機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the processor 6 of FIG. 図４の情報出力部６２によって出力対象顔画像から切り出された画像のイメージを示す図である。It is a figure which shows the image of the image cut out from the output target face image by the information output unit 62 of FIG. 図４の位置制御部６４により設定される投影画像上の表示対象顔画像の表示位置を示す概念図である。It is a conceptual diagram which shows the display position of the display target face image on the projection image set by the position control unit 64 of FIG. 図１の顔画像処理装置１の使用状態のイメージを示す図である。It is a figure which shows the image of the use state of the face image processing apparatus 1 of FIG. 本発明の第２実施形態に係る顔画像処理装置１Ａの構成を示す側面図である。It is a side view which shows the structure of the face image processing apparatus 1A which concerns on 2nd Embodiment of this invention. 図８のプロセッサ６Ａの機能構成を示すブロック図である。It is a block diagram which shows the functional structure of the processor 6A of FIG. 図８の顔画像処理装置１Ａの使用状態のイメージを示す図である。It is a figure which shows the image of the use state of the face image processing apparatus 1A of FIG. 図８の顔画像処理装置１Ａの使用状態のイメージを示す図である。It is a figure which shows the image of the use state of the face image processing apparatus 1A of FIG. 本発明の変形例における両眼の位置関係の計算のイメージを示す図である。It is a figure which shows the image of the calculation of the positional relationship of both eyes in the modification of this invention. 本発明の変形例における表示用ディスプレイ５上の表示対象顔画像の表示状態を示す図である。It is a figure which shows the display state of the display target face image on the display for display 5 in the modification of this invention. 本発明の変形例における表示用ディスプレイ５上の表示対象顔画像の表示状態を示す図である。It is a figure which shows the display state of the display target face image on the display for display 5 in the modification of this invention.

以下、図面を参照しつつ本発明に係る顔画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
（第１実施形態） Hereinafter, preferred embodiments of the face image processing apparatus according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same or corresponding parts are designated by the same reference numerals, and duplicate description will be omitted.
(First Embodiment)

本発明の第１実施形態にかかる顔画像処理装置１は、顔画像処理装置１のユーザであるユーザ（自ユーザ）Ｕの顔を含む顔画像を取得して外部装置に出力するとともに、外部装置から取得した表示対象顔画像である相手側ユーザ（他ユーザ）の顔を含む画像を表示する装置であり、この顔画像処理装置１を複数（本実施形態では３つ）備えることにより、複数（本実施形態では３人）のユーザ間で互いのユーザの顔画像を観察しながらコミュニケーションするコミュニケーションシステムを構成する。 The face image processing device 1 according to the first embodiment of the present invention acquires a face image including the face of a user (own user) U who is a user of the face image processing device 1 and outputs the face image to an external device. It is a device that displays an image including the face of the other user (other user) which is a display target face image acquired from, and by providing a plurality of face image processing devices 1 (three in the present embodiment), a plurality of (three in this embodiment) are provided. In this embodiment, a communication system is configured in which three users) communicate with each other while observing the facial images of each user.

図１には、本実施形態にかかる顔画像処理装置１の概略構成を示している。同図に示すように、顔画像処理装置１は、ユーザＵの顔に向けて配置され、ユーザＵの顔の画像であるユーザ顔画像を撮影（撮像）する２つのカラーカメラ（撮像部）３ａ，３ｂと、ユーザＵの顔に向けて配置され、ユーザＵの視線方向及びユーザＵの両眼の瞳孔の空間座標（三次元位置）を実時間計測するための視線方向検出部４と、外部装置から取得した２人の相手側ユーザの顔を含む表示対象顔画像を表示する表示用ディスプレイ（画像表示部）５と、カラーカメラ３ａ，３ｂ、視線方向検出部４、及び表示用ディスプレイ５の動作を制御するプロセッサ（制御部）６とを備える。視線方向検出部４の構成としては、本願発明者による国際公開公報WO2013/176265に記載の瞳孔検出装置を採用できる。この顔画像処理装置１は、同一の構成の２台の外部装置（以下、「対向装置」と呼ぶ。）と通信ネットワークを介して接続され、顔画像処理装置１の２台のカラーカメラ３ａ，３ｂによって取得されたユーザ顔画像から出力対象顔画像を選択して、その出力対象顔画像を２台の対向装置に向けて送信するとともに、２台の対向装置によって取得されたそれぞれのユーザ顔画像を表示対象顔画像として受信し、２つの表示対象顔画像を表示用ディスプレイ５に並べて表示する。 FIG. 1 shows a schematic configuration of the face image processing device 1 according to the present embodiment. As shown in the figure, the face image processing device 1 is arranged toward the face of the user U, and two color cameras (imaging unit) 3a for taking (imaging) the user face image which is an image of the face of the user U. , 3b, the line-of-sight direction detection unit 4 for measuring the line-of-sight direction of the user U and the spatial coordinates (three-dimensional position) of the pupils of both eyes of the user U in real time, which is arranged toward the face of the user U, and the outside. A display (image display unit) 5 for displaying a display target face image including the faces of two other users acquired from the device, color cameras 3a and 3b, a line-of-sight direction detection unit 4, and a display display 5. A processor (control unit) 6 for controlling the operation is provided. As the configuration of the line-of-sight direction detection unit 4, the pupil detection device described in the international publication WO2013 / 176265 by the inventor of the present application can be adopted. The face image processing device 1 is connected to two external devices having the same configuration (hereinafter, referred to as “opposite device”) via a communication network, and the two color cameras 3a of the face image processing device 1 are connected. The output target face image is selected from the user face images acquired by 3b, and the output target face image is transmitted to the two facing devices, and each user face image acquired by the two facing devices is transmitted. Is received as a display target face image, and the two display target face images are displayed side by side on the display display 5.

図２には、視線方向検出部４の光学系の配置を示している。視線方向検出部４を構成する３台のカメラ９は、同図に示すようにユーザＵに向けて配置されている。それぞれのカメラ９は、赤外線光に感度を持つカメラであって、近赤外光源１０と組み合わされて構成されている。また、視線方向検出部４として後述するプロセッサ６の視線方向算出部６３（図４参照）も含まれており、視線方向算出部６３は、ステレオ較正された３台のカメラ９のうちの２台のカメラ９からの出力画像を基に、ユーザＵの右の瞳孔及び左の瞳孔のそれぞれの三次元座標（位置）及び二次元座標（位置）を算出するとともに、それぞれの出力画像上におけるユーザＵの左右の眼部の角膜反射の二次元座標（位置）を算出する。 FIG. 2 shows the arrangement of the optical system of the line-of-sight direction detection unit 4. The three cameras 9 constituting the line-of-sight direction detection unit 4 are arranged toward the user U as shown in the figure. Each camera 9 is a camera having sensitivity to infrared light, and is configured in combination with a near-infrared light source 10. Further, as the line-of-sight direction detection unit 4, the line-of-sight direction calculation unit 63 (see FIG. 4) of the processor 6 described later is also included, and the line-of-sight direction calculation unit 63 is two of the three stereo-calibrated cameras 9. Based on the output image from the camera 9, the three-dimensional coordinates (position) and two-dimensional coordinates (position) of the right pupil and the left pupil of the user U are calculated, and the user U on each output image is calculated. Calculate the two-dimensional coordinates (positions) of the corneal reflexes of the left and right eyes.

図１に戻って、表示用ディスプレイ５は、液晶ディスプレイ装置等の画像表示用デバイスによって構成された平面状の画像面７ａを有する画像投影装置５ａと、画像投影装置５ａから投影された画像をユーザＵに向けて反射する平面状の反射面７ｂを有するハーフミラー５ｂとを含んで構成される。画像投影装置５ａは、例えば、ユーザＵの前方上方に配置され、ユーザＵの上方から下方に向けて画像を投影する。ハーフミラー５ｂは、画像投影装置５ａの下方であってユーザＵとカラーカメラ３ａ，３ｂ及びカメラ９との間に配置され、その反射面７ｂが画像投影装置５ａの画像面７ａに対して斜めに向けられ、画像投影装置５ａから投影された画像をユーザＵに向けて反射させるように構成されている。このように構成されることにより、ユーザＵの顔画像がカメラ９及びカラーカメラ３ａ，３ｂによって取得可能にされるとともに、ユーザＵに向けて、２台の対向装置から受信された２つの表示対象顔画像を並べて表示可能とされる。また、表示用ディスプレイ５では、プロセッサ６の処理により、ユーザＵによって観察されるハーフミラー５ｂによる反射後の表示対象顔画像において変形が生じないように、画像投影装置５ａから投影される表示対象顔画像の縮尺が予め二次元的に調整されている。 Returning to FIG. 1, the display 5 uses an image projection device 5a having a planar image surface 7a configured by an image display device such as a liquid crystal display device and an image projected from the image projection device 5a. It includes a half mirror 5b having a planar reflecting surface 7b that reflects toward U. The image projection device 5a is arranged, for example, in front of and above the user U, and projects an image from above to below the user U. The half mirror 5b is located below the image projection device 5a and between the user U, the color cameras 3a, 3b, and the camera 9, and its reflection surface 7b is oblique with respect to the image surface 7a of the image projection device 5a. It is configured to be directed and reflect the image projected from the image projection device 5a toward the user U. With this configuration, the face image of the user U can be acquired by the cameras 9 and the color cameras 3a and 3b, and the two display targets received from the two opposite devices toward the user U. Face images can be displayed side by side. Further, in the display 5 for display, the display target face projected from the image projection device 5a so that the display target face image after reflection by the half mirror 5b observed by the user U is not deformed by the processing of the processor 6. The scale of the image is adjusted in advance in two dimensions.

図３には、ユーザＵの位置する正面側から見たカラーカメラ３ａ，３ｂと表示用ディスプレイ５との位置関係を示す正面図である。図３に示すように、表示用ディスプレイ５は、後述するプロセッサ６の位置制御部６４（図４参照）の制御により、反射面７ｂ上における２つの分割された矩形の表示領域１３ａ，１３ｂのそれぞれに２台の対向装置から受信した表示対象顔画像を表示するように動作する。２つのカラーカメラ３ａ，３ｂは、正面側から見てそれぞれの表示領域１３ａ，１３ｂに対応した位置に配置されている。詳細には、カラーカメラ３ａは、正面側から見て表示領域１３ａの中央の奥に配置されることにより、その光軸が表示領域１３ａの略中央を通ってユーザＵに向くようにされている。同様に、カラーカメラ３ｂは、正面側から見て表示領域１３ｂの中央の奥に配置されることにより、その光軸が表示領域１３ｂの略中央を通ってユーザＵに向くようにされている。なお、カラーカメラ３ａ，３ｂは、その本体部が必ずしも表示領域１３ａ，１３ｂの奥に配置される必要は無く、ミラー等の光学部材を利用することでそれらの光軸が表示領域１３ａ，１３ｂを通るように構成されていればよい。 FIG. 3 is a front view showing the positional relationship between the color cameras 3a and 3b and the display display 5 as viewed from the front side where the user U is located. As shown in FIG. 3, the display 5 for display has two divided rectangular display areas 13a and 13b on the reflection surface 7b under the control of the position control unit 64 (see FIG. 4) of the processor 6 described later. It operates to display the display target face image received from the two facing devices. The two color cameras 3a and 3b are arranged at positions corresponding to the respective display areas 13a and 13b when viewed from the front side. Specifically, the color camera 3a is arranged at the back of the center of the display area 13a when viewed from the front side, so that its optical axis passes through substantially the center of the display area 13a and faces the user U. .. Similarly, the color camera 3b is arranged at the back of the center of the display area 13b when viewed from the front side, so that the optical axis thereof passes through substantially the center of the display area 13b and faces the user U. The main body of the color cameras 3a and 3b does not necessarily have to be arranged in the back of the display areas 13a and 13b, and the optical axes of the color cameras 3a and 3b can be arranged in the display areas 13a and 13b by using an optical member such as a mirror. It suffices if it is configured to pass.

ここで、２つのカラーカメラ３ａ，３ｂ、及び３つのカメラ９は、それらの位置関係が、それぞれが得た画像上にユーザＵの顔全体を含むほぼ同じ範囲が映るように、最初に設定される。また、それぞれのカラーカメラ３ａ，３ｂ及びカメラ９の視野角は、ユーザＵが移動した場合もユーザＵの顔全体が撮像可能なように十分広く設定される。 Here, the two color cameras 3a and 3b and the three cameras 9 are initially set so that their positional relationship is such that almost the same range including the entire face of the user U is displayed on the image obtained by each. To. Further, the viewing angles of the respective color cameras 3a and 3b and the camera 9 are set sufficiently wide so that the entire face of the user U can be imaged even when the user U moves.

なお、３つのカメラ９及び２つのカラーカメラ３ａ，３ｂは、それぞれ予めカメラ較正が行われている。カメラ較正では、カメラの位置を表す３自由度、カメラの方向を表す３自由度、および、カメラの画素数、開口比値（レンズF値）、ひずみなどが同時に計測される。カメラ較正においては、世界座標系における座標（XW,YW,ZW）と各カメラのカメラ座標系における座標（XC,YC,ZC）との間には（式１）の関係があると仮定され、

Figure 0007012983000001


（式２）で示す回転行列Rと並進ベクトルTの要素が、各カメラ毎に決定される。
Figure 0007012983000002
The three cameras 9 and the two color cameras 3a and 3b have been calibrated in advance. In camera calibration, three degrees of freedom indicating the position of the camera, three degrees of freedom indicating the direction of the camera, the number of pixels of the camera, the aperture ratio value (lens F value), distortion, and the like are measured at the same time. In camera calibration, the relationship (Equation 1) is between the coordinates in the world coordinate system (X W , Y W , Z W ) and the coordinates in the camera coordinate system of each camera (X C , Y C , Z C ). Assumed that there is
Figure 0007012983000001

The elements of the rotation matrix R and the translation vector T shown in (Equation 2) are determined for each camera.
Figure 0007012983000002

次に、プロセッサ６の構成について説明する。プロセッサ６は、物理的には、パーソナルコンピュータ、画像処理デバイス等のデータ処理装置によって構成され、ＣＰＵ等の演算処理回路、ＲＡＭ、ＲＯＭ等のメモリ、ハードディスク装置等のデータ記憶装置、及び通信デバイスを内蔵している。そして、プロセッサ６は、機能的構成要素として、図４に示すように、情報入力部６１、情報出力部６２、視線方向算出部６３、及び位置制御部６４を含む。 Next, the configuration of the processor 6 will be described. The processor 6 is physically composed of a data processing device such as a personal computer and an image processing device, and includes an arithmetic processing circuit such as a CPU, a memory such as a RAM and a ROM, a data storage device such as a hard disk device, and a communication device. Built-in. As shown in FIG. 4, the processor 6 includes an information input unit 61, an information output unit 62, a line-of-sight direction calculation unit 63, and a position control unit 64 as functional components.

プロセッサ６の視線方向算出部６３は、カメラ較正の結果を利用して、３台のカメラ９から選択した２台のカメラ９によって撮像された出力画像を用いて、ユーザＵの左右の瞳孔の世界座標系における三次元座標（位置情報）、ユーザＵの左右の瞳孔のカメラ座標系における二次元座標、及びユーザＵの左右の眼部の角膜反射のカメラ座標系における二次元座標を算出する。この選択した２台のカメラの画像を用いた、瞳孔の三次元座標及び二次元座標と、角膜反射の二次元座標の算出は、本願発明者による国際公開公報WO2013/176265に記載の方法を採用できる。このように、選択した２台のカメラ９の出力画像を用いることで、１つのカメラ９の出力画像において瞳孔と眼鏡反射が重なる場合でもより確実に瞳孔検出を行うことができる。そして、視線方向算出部６３は、算出した瞳孔の三次元座標及び二次元座標と、角膜反射の二次元座標とを用いて、ユーザＵの視線ベクトル（視線方向）を算出し、この視線ベクトルを基に反射面７ｂ上のユーザＵの注視点を算出する。この視線ベクトル及び注視点の算出は、本願発明者による特許第４５１７０４９号に記載の方法を採用できる。この際、視線方向算出部６３は、選択した２台のカメラ９のいずれかの出力画像を用いて視線ベクトル及び注視点を算出してもよいし、選択した２台のカメラ９の出力画像を用いた計算結果を両方用いて（平均化等して）、視線ベクトル及び注視点を算出してもよい。また、視線ベクトル及び注視点は、ユーザＵの右の眼に関する算出結果と、ユーザＵの左の眼に関する算出結果とのうちどちらかを用いて算出されてもよいし、両方の算出結果を用いて（平均化等して）算出されてもよい。 The line-of-sight direction calculation unit 63 of the processor 6 uses the result of camera calibration and uses the output images captured by the two cameras 9 selected from the three cameras 9 to create the world of the left and right pupils of the user U. Three-dimensional coordinates (position information) in the coordinate system, two-dimensional coordinates in the camera coordinate system of the left and right pupils of the user U, and two-dimensional coordinates in the camera coordinate system of the corneal reflection of the left and right eyes of the user U are calculated. The method described in the international publication WO2013 / 176265 by the inventor of the present application is adopted for the calculation of the three-dimensional coordinates and the two-dimensional coordinates of the pupil and the two-dimensional coordinates of the corneal reflex using the images of the two selected cameras. can. By using the output images of the two selected cameras 9 in this way, it is possible to more reliably detect the pupil even when the pupil and the reflection of the spectacles overlap in the output image of one camera 9. Then, the line-of-sight direction calculation unit 63 calculates the line-of-sight vector (line-of-sight direction) of the user U using the calculated three-dimensional coordinates and two-dimensional coordinates of the pupil and the two-dimensional coordinates of the corneal reflection, and calculates the line-of-sight vector (line-of-sight direction). Based on this, the gaze point of the user U on the reflective surface 7b is calculated. The method described in Japanese Patent No. 4517049 by the inventor of the present application can be adopted for the calculation of the line-of-sight vector and the gaze point. At this time, the line-of-sight direction calculation unit 63 may calculate the line-of-sight vector and the gaze point using the output image of either of the two selected cameras 9, or the output image of the two selected cameras 9. The line-of-sight vector and the gaze point may be calculated using both of the calculation results used (by averaging, etc.). Further, the line-of-sight vector and the gaze point may be calculated using either the calculation result for the right eye of the user U or the calculation result for the left eye of the user U, or both calculation results are used. It may be calculated (by averaging, etc.).

さらに、視線方向算出部６３は、瞳孔の三次元座標を２つのカラーカメラ３ａ，３ｂに関する（式１）に相当する式に代入することで、カラーカメラ３ａ，３ｂのカメラ座標系における瞳孔の座標（位置情報）をそれぞれ算出する。視線方向算出部６３は、それをさらに画像中の座標に変換する（実単位系から画像のピクセル単位系に変換する）ことでユーザＵのユーザ顔画像中の瞳孔位置を定める。このとき、視線方向算出部６３は、上述した処理を繰り返すことによりそれぞれのユーザ顔画像中における右の瞳孔及び左の瞳孔の座標（位置情報）を算出する。また、視線方向算出部６３は、時間的に連続した動画像としてユーザ顔画像を取得する場合には、ユーザ顔画像に含まれる時系列の画像フレームに対応して両眼の瞳孔の座標（位置情報）を算出することができる。 Further, the line-of-sight direction calculation unit 63 substitutes the three-dimensional coordinates of the pupil into the equation corresponding to (Equation 1) relating to the two color cameras 3a and 3b, so that the coordinates of the pupil in the camera coordinate system of the color cameras 3a and 3b (Position information) is calculated respectively. The line-of-sight direction calculation unit 63 further converts the coordinates into the coordinates in the image (converts from the real unit system to the pixel unit system of the image) to determine the pupil position in the user face image of the user U. At this time, the line-of-sight direction calculation unit 63 calculates the coordinates (position information) of the right pupil and the left pupil in each user's face image by repeating the above-mentioned processing. Further, when the line-of-sight direction calculation unit 63 acquires the user face image as a time-continuous moving image, the coordinates (positions) of the pupils of both eyes correspond to the time-series image frames included in the user face image. Information) can be calculated.

情報出力部６２は、カラーカメラ３ａ，３ｂによって取得されたそれぞれのユーザ顔画像と、そのユーザ顔画像に対応して視線方向算出部６３によって算出された両眼の瞳孔の位置情報と、そのユーザ顔画像を取得するタイミングで検出されたユーザＵの注視点の情報とを用いて、２台の対向装置に出力する出力対象顔画像をそれぞれ生成する。そして、情報出力部６２は、それぞれの出力対象顔画像を通信ネットワークを介して２台の対向装置に向けて出力する。このとき、情報出力部６２は、出力対象顔画像に加えて、その画像に対応して算出されたユーザＵの両眼の瞳孔の位置情報を出力することもできる。 The information output unit 62 includes the user face images acquired by the color cameras 3a and 3b, the position information of the pupils of both eyes calculated by the line-of-sight direction calculation unit 63 corresponding to the user face image, and the user. Using the information of the gaze point of the user U detected at the timing of acquiring the face image, the output target face image to be output to the two facing devices is generated respectively. Then, the information output unit 62 outputs each output target face image to the two opposing devices via the communication network. At this time, in addition to the output target face image, the information output unit 62 can also output the position information of the pupils of both eyes of the user U calculated corresponding to the image.

すなわち、情報出力部６２は、ユーザＵの注視点が反射面７ｂ上の表示領域１３ａに一致している場合には、具体的には、注視点が表示領域１３ａ内の所定範囲（例えば、中央から所定距離）に有る場合には、その表示領域１３ａに対応するカラーカメラ３ａによって取得されたユーザ顔画像を、出力対象顔画像として選択する。そして、情報出力部６２は、その出力対象顔画像を、表示領域１３ａが相手側ユーザの表示用として割り当てられた一方の対向装置に向けて出力する。その一方で、情報出力部６２は、表示領域１３ｂが相手側ユーザの表示用として割り当てられた他方の対向装置に対しては、その対向装置による予めの設定に応じて、注視点に対応する側のカラーカメラ３ａによって取得されたユーザ顔画像、又は、注視点に対応しない側のカラーカメラ３ｂによって取得されたユーザ顔画像のいずれかを、出力対象顔画像として選択して出力する。 That is, when the gazing point of the user U coincides with the display area 13a on the reflection surface 7b, the information output unit 62 specifically indicates that the gazing point is within a predetermined range (for example, the center) in the display area 13a. When it is within a predetermined distance from), the user face image acquired by the color camera 3a corresponding to the display area 13a is selected as the output target face image. Then, the information output unit 62 outputs the output target face image to one of the opposite devices to which the display area 13a is assigned for display of the other user. On the other hand, the information output unit 62 corresponds to the gazing point of the other opposite device to which the display area 13b is assigned for display by the other user, according to the preset setting by the opposite device. Either the user face image acquired by the color camera 3a of the above or the user face image acquired by the color camera 3b on the side not corresponding to the gazing point is selected and output as the output target face image.

同様に、情報出力部６２は、注視点が表示領域１３ｂ内の所定範囲に有る場合には、その表示領域１３ｂに対応するカラーカメラ３ｂによって取得されたユーザ顔画像を、出力対象顔画像として選択する。そして、情報出力部６２は、その出力対象顔画像を、表示領域１３ｂが相手側ユーザの表示用として割り当てられた他方の対向装置に向けて出力する。その一方で、情報出力部６２は、表示領域１３ａが相手側ユーザの表示用として割り当てられた一方の対向装置に対しては、その対向装置による予めの設定に応じて、注視点に対応する側のカラーカメラ３ｂによって取得されたユーザ顔画像、又は、注視点に対応しない側のカラーカメラ３ａによって取得されたユーザ顔画像のいずれかを、出力対象顔画像として選択して出力する。 Similarly, when the gazing point is within a predetermined range in the display area 13b, the information output unit 62 selects the user face image acquired by the color camera 3b corresponding to the display area 13b as the output target face image. do. Then, the information output unit 62 outputs the output target face image to the other opposite device to which the display area 13b is assigned for display of the other user. On the other hand, the information output unit 62 corresponds to the gazing point of one of the opposite devices to which the display area 13a is allocated for display by the other user, according to the preset setting by the opposite device. Either the user face image acquired by the color camera 3b of the above or the user face image acquired by the color camera 3a on the side not corresponding to the gazing point is selected and output as the output target face image.

加えて、情報出力部６２は、ユーザ顔画像から出力対象顔画像を選択する際には、ユーザ顔画像を所定範囲で切り出すように加工して加工後の出力対象顔画像を出力することもできる。詳細には、情報出力部６２は、選択した出力対象顔画像報を、その出力対象顔画像に対応して検出されたユーザＵの両眼の瞳孔の位置情報を利用して画像を切り出すことにより加工する。図５は、情報出力部６２によって出力対象顔画像から切り出された画像のイメージを示す図である。このように、情報出力部６２は、出力対象顔画像を構成する画像フレームＦ１において、位置情報によって特定される右眼の瞳孔の二次元座標情報（Ｘ２Ｒ，Ｙ２Ｒ）、及び左眼の瞳孔の二次元座標情報（Ｘ２Ｌ，Ｙ２Ｌ）を基にして、右眼の瞳孔と左眼の瞳孔との間の中点座標Ｍ１を算出する。そして、情報出力部６２は、中点座標Ｍ１を基準位置とした所定の座標幅の範囲の画像Ｇ１を切り出して、切り出した画像Ｇ１を出力対象顔画像として対向装置に出力する。例えば、情報出力部６２は、中点座標Ｍ１が画像Ｇ１の範囲の横方向の中央に位置し、中点座標Ｍ１が画像Ｇ１の範囲の縦方向における所定比率の位置（より具体的には、縦方向を２対３に分割する位置）に位置するように、画像Ｇ１の範囲を設定する。ここで、画像Ｇ１の範囲は、予め対向装置のユーザによって設定可能にされていてもよい。また、情報出力部６２は、画像Ｇ１の範囲の幅を、右眼の瞳孔の二次元座標と左眼の瞳孔の二次元座標とから計算される瞳孔間距離を基準にして設定してもよい。このように切り出した出力対象顔画像を出力する場合には、情報出力部６２は、その切り出した画像上の位置を示すように両眼の瞳孔の位置情報を補正して、補正した位置情報を出力対象顔画像に付加して出力する。 In addition, when the information output unit 62 selects the output target face image from the user face image, the information output unit 62 can also process the user face image so as to cut out within a predetermined range and output the processed output target face image. .. Specifically, the information output unit 62 cuts out the selected output target face image report by using the position information of the pupils of both eyes of the user U detected corresponding to the output target face image. Process. FIG. 5 is a diagram showing an image of an image cut out from an output target face image by the information output unit 62. As described above, the information output unit 62 includes the two -dimensional coordinate information (X2 R , Y2 R ) of the pupil of the right eye specified by the position information in the image frame F1 constituting the output target face image, and the left eye. Based on the two -dimensional coordinate information (X2 L , Y2 L ) of the pupil, the midpoint coordinate M1 between the pupil of the right eye and the pupil of the left eye is calculated. Then, the information output unit 62 cuts out an image G1 in a range of a predetermined coordinate width with the midpoint coordinate M1 as a reference position, and outputs the cut out image G1 as an output target face image to the opposite device. For example, in the information output unit 62, the midpoint coordinate M 1 is located at the center of the range of the image G 1 in the horizontal direction, and the midpoint coordinate M 1 is located at a predetermined ratio in the vertical direction of the range of the image G 1 (more specifically). The range of the image G1 is set so as to be located at a position (position that divides the vertical direction into 2 to 3). Here, the range of the image G 1 may be set in advance by the user of the opposite device. Further, the information output unit 62 may set the width of the range of the image G1 with reference to the interpupillary distance calculated from the two -dimensional coordinates of the pupil of the right eye and the two-dimensional coordinates of the pupil of the left eye. good. When outputting the output target face image cut out in this way, the information output unit 62 corrects the position information of the pupils of both eyes so as to indicate the position on the cut out image, and corrects the position information. Output by adding to the output target face image.

情報入力部６１は、２つの対向装置のそれぞれから、通信ネットワークを介して出力対象顔画像として出力された、それぞれの対向装置の相手側ユーザの顔画像（表示対象顔画像）が入力される部分である。 The information input unit 61 is a portion in which a face image (display target face image) of the other user of each opposite device, which is output as an output target face image from each of the two facing devices, is input. Is.

位置制御部６４は、２つの対向装置から入力されたそれぞれの表示対象顔画像の表示用ディスプレイ５における表示状態を制御する。すなわち、位置制御部６４は、２つの対向装置のうちの一方の対向装置から入力された顔画像（表示対象顔画像）を、その対向装置の相手側ユーザの表示用に割り当てられた表示用ディスプレイ５の表示領域１３ａに表示させるように制御する。同時に、位置制御部６４は、２つの対向装置のうちの他方の対向装置から入力された顔画像（表示対象顔画像）を、その対向装置の相手側ユーザの表示用に割り当てられた表示用ディスプレイ５の表示領域１３ｂに表示させるように制御する。このとき、位置制御部６４は、表示対象顔画像の表示領域１３ａ，１３ｂにおける表示位置を、対向装置によって算出された相手側ユーザの両眼の瞳孔の位置情報を用いて、表示対象顔画像における相手側ユーザの左右の瞳孔の中心位置が、表示領域１３ａ，１３ｂ上のカラーカメラ３ａ，３ｂの光軸の位置に一致するように調整してもよい。このようにすれば、ユーザＵと相手側ユーザとの間で視線の一致したコミュニケーションが可能となる。 The position control unit 64 controls the display state of each display target face image input from the two facing devices on the display display 5. That is, the position control unit 64 assigns a face image (display target face image) input from one of the two facing devices to the display of the other user of the facing device for display. It is controlled so that it is displayed in the display area 13a of 5. At the same time, the position control unit 64 displays a face image (display target face image) input from the other facing device of the two facing devices for display of the other user of the facing device. It is controlled so that it is displayed in the display area 13b of 5. At this time, the position control unit 64 sets the display position of the display target face image in the display areas 13a and 13b in the display target face image by using the position information of the pupils of both eyes of the other user calculated by the facing device. The center positions of the left and right pupils of the other user may be adjusted to match the positions of the optical axes of the color cameras 3a and 3b on the display areas 13a and 13b. By doing so, it is possible to communicate with the same line of sight between the user U and the other user.

また、位置制御部６４は、次のように表示対象顔画像の表示位置を制御することによって、ユーザＵの顔の空間位置に合わせた歪のない画像表示を可能とする。対向装置によって切り出された表示対象画像をそのまま表示用ディスプレイ５に表示させた場合には、表示用ディスプレイ５の正面から外れた位置のユーザＵにとっては、切り出した範囲の画像がそのままの縮尺で投影される。従って、ユーザＵにとっては画像が（例えば、台形状に）歪んで見えることになる。このような場合、相手の顔の縦横比が変わって見えることになり、ユーザＵがコミュニケーションの際に不自然な印象を受ける場合がある。 Further, the position control unit 64 controls the display position of the face image to be displayed as follows, thereby enabling the image display without distortion according to the spatial position of the face of the user U. When the display target image cut out by the facing device is displayed as it is on the display display 5, the image in the cut out range is projected at the same scale for the user U at a position off the front of the display display 5. Will be done. Therefore, to the user U, the image looks distorted (for example, in a trapezoidal shape). In such a case, the aspect ratio of the other party's face may appear to change, and the user U may receive an unnatural impression during communication.

そこで、位置制御部６４は、表示用ディスプレイ５によって反射面７ｂの表示領域１３ａ，１３ｂのそれぞれから投影される表示対象顔画像を、歪調整によって予め補正することにより、ユーザＵにおいて観察される投影画像の歪を無くすように制御する。図６を参照しながら、詳細に説明する。図６は、位置制御部６４により設定される投影画像上の表示対象顔画像の表示位置を示す概念図である。まず、位置制御部６４は、ユーザＵの両眼の瞳孔の三次元座標ＰＲ，ＰＬを基に、瞳孔間中点Ｍ２と反射面７ｂから投影される投影画像の画像面Ｇ２の中心Ｏ’を結ぶ直線Ｍ２Ｏ’を設定する。さらに、位置制御部６４は、直線Ｍ２Ｏ’に垂直な瞳孔間中点Ｍ２からの距離が所定値Ｌの平面Ｓ１を設定し、直線Ｍ２Ｏ’とその平面Ｓ１との交点Ｏを特定する。また、位置制御部６４は、平面Ｓ１上に頂点Ａ，Ｂ，Ｃ，Ｄを有し、交点Ｏを中心とする所定の大きさの長方形の範囲ＡＢＣＤを決定する。次に、位置制御部６４は、両眼の瞳孔の三次元座標ＰＲ，ＰＬから平面Ｓ１上に垂線をおろしそれぞれの垂線と平面Ｓ１との交点Ｅ，Ｆの位置を算出する。さらに、位置制御部６４は、線分ＥＦの傾きを両眼を結ぶ線の平面Ｓ１を基準とした傾きとして計算し、線分ＡＤ及び線分ＢＣがその傾きと等しくなるように（線分ＥＦと平行になるように）範囲ＡＢＣＤを回転させることによりその範囲の位置を計算する。そして、位置制御部６４は、瞳孔間中点Ｍ２と点Ａ，Ｂ，Ｃ，Ｄのそれぞれとを結ぶ線と、投影画像の画像面Ｇ２との交点Ａ’，Ｂ’，Ｃ’，Ｄ’の座標を計算する。この画像面Ｇ２上の四角形Ａ’Ｂ’Ｃ’Ｄ’の範囲に投影される画像が長方形ＡＢＣＤを通過してユーザＵに向けて投影されることになる。そこで、位置制御部６４は、長方形ＡＢＣＤの範囲に歪の無い顔画像を投影するために、表示対象顔画像を変形させて画像面Ｇ２上の四角形Ａ’Ｂ’Ｃ’Ｄ’の範囲に投影させるように、その表示対象顔画像を構成する画素の画像面Ｇ２上での表示位置を設定する。これにより、長方形ＡＢＣＤの範囲に投影される顔画像の位置がユーザＵの両眼を結ぶ線の傾きに応じて回転される。 Therefore, the position control unit 64 preliminarily corrects the display target face image projected from each of the display areas 13a and 13b of the reflective surface 7b by the display display 5, and the projection observed by the user U. Control to eliminate image distortion. This will be described in detail with reference to FIG. FIG. 6 is a conceptual diagram showing the display position of the display target face image on the projected image set by the position control unit 64. First, the position control unit 64 sets the image surface G2 of the projected image projected from the interpupil midpoint M2 and the reflection surface 7b based on the three-dimensional coordinates PR and PL of the pupils of the user U's eyes. A straight line M 2 O'connecting the center O'is set. Further, the position control unit 64 sets a plane S1 whose distance from the midpoint M 2 between pupils perpendicular to the straight line M 2 O'is a predetermined value L, and sets an intersection point O between the straight line M 2 O'and the plane S1. Identify. Further, the position control unit 64 has vertices A, B, C, and D on the plane S1 and determines a rectangular range ABCD having a predetermined size centered on the intersection O. Next, the position control unit 64 draws a perpendicular line on the plane S1 from the three-dimensional coordinates PR and PL of the pupils of both eyes, and calculates the positions of the intersections E and F of the respective perpendicular lines and the plane S1 . Further, the position control unit 64 calculates the slope of the line segment EF as the slope with reference to the plane S1 of the line connecting both eyes so that the line segment AD and the line segment BC become equal to the slope (line segment EF). Calculate the position of the range by rotating the range ABCD (so that it is parallel to). Then, the position control unit 64 has the intersections A', B', C', of the line connecting the midpoint M2 between the pupils and each of the points A, B, C, and D with the image plane G2 of the projected image. Calculate the coordinates of D'. The image projected in the range of the quadrangle A'B'C'D'on the image plane G 2 passes through the rectangle ABCD and is projected toward the user U. Therefore, the position control unit 64 deforms the face image to be displayed into the range of the rectangle A'B'C'D'on the image surface G2 in order to project the face image without distortion in the range of the rectangle ABCD. The display position of the pixels constituting the display target face image on the image surface G2 is set so as to be projected. As a result, the position of the face image projected in the range of the rectangular ABCD is rotated according to the inclination of the line connecting both eyes of the user U.

以上説明した顔画像処理装置１によれば、対向装置から、相手側ユーザの視線方向に対応する位置のカラーカメラによって取得された顔画像が取得され、当該顔画像が相手側ユーザに対応した表示領域１３ａ，１３ｂに表示される。その一方で、ユーザＵの視線方向に対応する位置のいずれかのカラーカメラ３ａ，３ｂによって取得されたユーザ顔画像が、対向装置における表示対象の出力対象顔画像として出力される。これにより、複数の相手側ユーザとユーザＵとの間でコミュニケーションする際にユーザＵにとって複数の相手側ユーザと正対したコミュニケーションが容易となる。その結果、３人以上のユーザ間でのコミュニケーションを円滑にすることができる。 According to the face image processing device 1 described above, a face image acquired by a color camera at a position corresponding to the line-of-sight direction of the other user is acquired from the opposite device, and the face image is displayed corresponding to the other user. It is displayed in the areas 13a and 13b. On the other hand, the user face image acquired by any of the color cameras 3a and 3b at the position corresponding to the line-of-sight direction of the user U is output as the output target face image to be displayed on the opposite device. As a result, when communicating between the plurality of other party users and the user U, it becomes easy for the user U to communicate directly with the plurality of other party users. As a result, communication between three or more users can be facilitated.

ここで、プロセッサ６は、２つのカラーカメラ３ａ，３ｂによって撮像されたユーザ顔画像のうち、視線方向に一致する表示領域１３ａ，１３ｂに対応して配置されたカラーカメラ３ａ，３ｂによって取得されたユーザ顔画像を選択し、そのユーザ顔画像を出力対象顔画像として出力する。こうすることで、ユーザ顔画像を撮像する側の装置で出力対象顔画像を選択して、その出力対象顔画像を当該画像を表示する側の装置に出力するので、通信ネットワークを介したデータの伝送量が削減されるとともに、表示する側の装置における処理を簡略化することができる。その結果、遅延の少なくストレスの低減されたコミュニケーションを実現することができる。 Here, the processor 6 is acquired by the color cameras 3a, 3b arranged corresponding to the display areas 13a, 13b corresponding to the line-of-sight direction among the user face images captured by the two color cameras 3a, 3b. A user face image is selected, and the user face image is output as an output target face image. By doing so, the output target face image is selected by the device on the side that captures the user face image, and the output target face image is output to the device on the side that displays the image. The amount of transmission can be reduced, and the processing in the display-side device can be simplified. As a result, it is possible to realize communication with less delay and less stress.

また、プロセッサ６は、ユーザＵの両眼の三次元位置をさらに検出し、表示対象顔画像を両眼の三次元位置に応じて歪調整によって補正し、補正した表示対象顔画像を表示用ディスプレイ５に表示させている。こうすることで、表示対象顔画像のユーザＵに対する視認性を調整することができる。その結果、３人以上のユーザ間でのコミュニケーションをより円滑にすることができる。 Further, the processor 6 further detects the three-dimensional positions of both eyes of the user U, corrects the display target face image by distortion adjustment according to the three-dimensional positions of both eyes, and displays the corrected display target face image for display. It is displayed in 5. By doing so, the visibility of the face image to be displayed to the user U can be adjusted. As a result, communication between three or more users can be made smoother.

図７を参照して、本実施形態による作用効果を具体的に説明する。図７は、本実施形態の顔画像処理装置１の使用状態のイメージを示す図である。 The effects of the present embodiment will be specifically described with reference to FIG. 7. FIG. 7 is a diagram showing an image of a usage state of the face image processing device 1 of the present embodiment.

この場合、ユーザＵの前面に本実施形態の顔画像処理装置１の表示用ディスプレイ５が配置され、この顔画像処理装置１が通信ネットワークを介して顔画像処理装置１と同一構成の２台の対向装置１０１，２０１と接続されている。この２台の対向装置１０１，２０１は、相手側ユーザＵ１，Ｕ２の前面にそれぞれ配置されているものとする。そして、顔画像処理装置１の表示用ディスプレイ５の表示領域１３ａ，１３ｂは、それぞれ、ユーザＵ１，Ｕ２の顔画像表示用として予め割り当てられて設定されているものとする。このような形態では、ユーザＵの視線方向が相手側ユーザＵ１の顔画像が表示されている表示領域１３ａを向いていると検出された場合には、表示領域１３ａの奥に設置されているカラーカメラ３ａからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が表示領域１３ａの割り当てられている相手側ユーザＵ１の対向装置１０１に送信される。そうすると、対向装置１０１において、ユーザＵに割り当てられている表示領域１１３ｂに、顔画像処理装置１から出力された出力対象顔画像が表示される。一方で、表示領域１３ｂが割り当てられている相手側ユーザＵ２の対向装置２０１には、相手側ユーザＵ２の設定に応じて、ユーザＵの視線方向に対応したカラーカメラ３ａ、又は、相手側ユーザＵ２に対して固定的に割り当てられたカラーカメラ３ｂのいずれかの出力画像が、出力対象顔画像として送信される。そして、対向装置２０１において、ユーザＵに割り当てられている表示領域２１３ａに、顔画像処理装置１から出力された出力対象顔画像が表示される。対向装置１０１，２０１も、顔画像処理装置１と同様に動作する。このような形態によれば、ユーザＵが相手側ユーザＵ１の顔画像を見ているときには、相手側ユーザＵ１にとっては自分を見ていると感じるようにユーザＵの顔が映る。一方で、相手側ユーザＵ２にとっては、ユーザＵが自分を見ていなくて相手側ユーザＵ１を見ていると感じさせることもできるし、常に自分を見ているように感じさせることもできる。このように、３人のユーザ間でのコミュニケーションを実際に対面しているかのようにスムーズに行うことができる。
［第２実施形態］ In this case, the display 5 for displaying the face image processing device 1 of the present embodiment is arranged in front of the user U, and the face image processing device 1 has two units having the same configuration as the face image processing device 1 via a communication network. It is connected to the opposite devices 101 and 201. It is assumed that the two opposing devices 101 and 201 are arranged in front of the other user U1 and U2, respectively. Then, it is assumed that the display areas 13a and 13b of the display 5 for displaying the face image processing device 1 are allocated and set in advance for displaying the face images of the users U1 and U2, respectively. In such a form, when it is detected that the line-of-sight direction of the user U faces the display area 13a on which the face image of the other user U1 is displayed, the color installed in the back of the display area 13a is detected. The output image from the camera 3a is selected as the output target face image, and the output target face image is transmitted to the opposite device 101 of the other party user U1 to which the display area 13a is assigned. Then, in the facing device 101, the output target face image output from the face image processing device 1 is displayed in the display area 113b assigned to the user U. On the other hand, the opposite device 201 of the other party user U2 to which the display area 13b is allocated has a color camera 3a corresponding to the line-of-sight direction of the user U or the other party user U2 according to the setting of the other party user U2. The output image of any of the color cameras 3b fixedly assigned to the image is transmitted as the output target face image. Then, in the facing device 201, the output target face image output from the face image processing device 1 is displayed in the display area 213a assigned to the user U. The facing devices 101 and 201 also operate in the same manner as the face image processing device 1. According to such a form, when the user U is looking at the face image of the other user U1, the face of the user U is reflected so that the other user U1 feels that he / she is looking at himself / herself. On the other hand, for the other user U2, it is possible to make the user U feel that he / she is not looking at himself / herself and is looking at the other user U1, or he / she can make him / her feel that he / she is always looking at himself / herself. In this way, communication between the three users can be performed smoothly as if they were actually facing each other.
[Second Embodiment]

次に、本発明の第２実施形態について説明する。図８は、第２実施形態にかかる顔画像処理装置１Ａの概略構成を示し、図９は、顔画像処理装置１Ａに含まれるプロセッサ６Ａの機能構成を示している。図８に示す顔画像処理装置１Ａの第１実施形態との相違点は、顔画像処理装置１Ａの前面に位置する複数のユーザ（自ユーザ）のそれぞれの顔画像を別々に出力対象顔画像として取得し、それらの出力対象顔画像を対向装置に出力可能に構成されている点である。顔画像を取得可能なユーザの数は特定の数には限定されないが、図８には、ユーザ数が２の場合を例示している。以下、第１実施形態との相違点のみ説明する。 Next, a second embodiment of the present invention will be described. FIG. 8 shows a schematic configuration of the face image processing device 1A according to the second embodiment, and FIG. 9 shows a functional configuration of the processor 6A included in the face image processing device 1A. The difference from the first embodiment of the face image processing device 1A shown in FIG. 8 is that the face images of the plurality of users (own users) located in front of the face image processing device 1A are separately output as the face images to be output. It is a point that it is configured to be able to acquire and output those output target face images to the opposite device. The number of users who can acquire a face image is not limited to a specific number, but FIG. 8 illustrates a case where the number of users is 2. Hereinafter, only the differences from the first embodiment will be described.

２つのカラーカメラ３ａ，３ｂ及び３つのカメラ９は、２人のユーザＵＡ，ＵＢの顔全体を含む同じ範囲が映るように設定され、それらの視野角はユーザＵＡ，ＵＢが移動した場合もユーザＵＡ，ＵＢの顔全体が撮像可能なように設定される。 The two color cameras 3a, 3b and the three cameras 9 are set to show the same range including the entire faces of the two users UA and UB, and their viewing angles are set so that the user can move the user UA and UB even when the user UA and UB move. It is set so that the entire face of UA and UB can be imaged.

プロセッサ６Ａの視線方向算出部６３Ａは、３台のカメラ９のうちの２台のカメラ９によって撮像された出力画像を用いて、それぞれのユーザＵＡ，ＵＢの左右の瞳孔の三次元座標及び二次元座標と、それぞれのユーザＵＡ，ＵＢの視線方向及び注視点とを算出する。出力画像に含まれる複数のユーザの瞳孔の位置の検出方法は、国際公開公報WO2013/176265に記載の方法を採用できる。そして、視線方向算出部６３Ａは、それぞれのユーザＵＡ，ＵＢに関して、カラーカメラ３ａ，３ｂの出力画像中の左右の瞳孔の位置情報もそれぞれ算出する。 The line-of-sight direction calculation unit 63A of the processor 6A uses the output images captured by two of the three cameras 9 and the three-dimensional coordinates and two-dimensional coordinates of the left and right pupils of the respective users UA and UB. The coordinates and the line-of-sight direction and gaze point of each user UA and UB are calculated. As a method for detecting the positions of the pupils of a plurality of users included in the output image, the method described in International Publication WO2013 / 176265 can be adopted. Then, the line-of-sight direction calculation unit 63A also calculates the position information of the left and right pupils in the output images of the color cameras 3a and 3b for the respective users UA and UB, respectively.

情報出力部６２Ａは、ユーザＵＡ，ＵＢのそれぞれに関して、第１実施形態と同様にして、ユーザＵＡ，ＵＢの視線方向に基づいて、２つのカラーカメラ３ａ，３ｂによって撮像されたユーザ顔画像のうちから出力対象顔画像を選択する。この際、情報出力部６２Ａは、ユーザ顔画像をユーザＵＡ，ＵＢの瞳孔の位置情報を利用して所定範囲で切り出すようにして、出力対象顔画像を加工する。さらに、情報出力部６２Ａは、ユーザＵＡ、ＵＢに関して選択された出力対象顔画像のそれぞれを、対向装置に向けて出力する。 The information output unit 62A has the user face images captured by the two color cameras 3a and 3b based on the line-of-sight directions of the users UA and UB in the same manner as in the first embodiment for each of the users UA and UB. Select the face image to be output from. At this time, the information output unit 62A processes the output target face image by cutting out the user face image within a predetermined range using the position information of the pupils of the users UA and UB. Further, the information output unit 62A outputs each of the output target face images selected for the users UA and UB toward the opposite device.

このような第２実施形態にかかる顔画像処理装置１Ａによれば、複数のユーザが同一の装置を使用する場合にも、複数の相手側ユーザと複数のユーザＵＡ，ＵＢとの間でコミュニケーションする際にユーザＵＡ，ＵＢにとって複数の相手側ユーザと正対したコミュニケーションが容易となる。その結果、３人以上のユーザ間でのコミュニケーションを円滑にすることができる。 According to the face image processing device 1A according to the second embodiment, even when a plurality of users use the same device, the plurality of other party users and the plurality of users UA and UB communicate with each other. At this time, it becomes easy for the users UA and UB to communicate face-to-face with a plurality of other users. As a result, communication between three or more users can be facilitated.

図１０及び図１１は、本実施形態の顔画像処理装置１Ａの使用状態のイメージを示す図である。 10 and 11 are views showing an image of a usage state of the face image processing device 1A of the present embodiment.

この場合、２人のユーザＵＡ，ＵＢの前面に本実施形態の顔画像処理装置１Ａの表示用ディスプレイ５が配置され、この顔画像処理装置１Ａが通信ネットワークを介して顔画像処理装置１Ａと同一構成の対向装置３０１と接続されている。この対向装置３０１は、２人の相手側ユーザＵＣ，ＵＤの前面にそれぞれ配置されているものとする。そして、顔画像処理装置１Ａの表示用ディスプレイ５の表示領域１３ａ，１３ｂは、それぞれ、ユーザＵＤ，ＵＣの顔画像表示用として予め割り当てられて設定されており、対向装置３０１の表示領域３１３ａ，３１３ｂは、それぞれ、ユーザＵＢ，ＵＡの顔画像表示用として予め割り当てられて設定されているものとする。 In this case, the display 5 for displaying the face image processing device 1A of the present embodiment is arranged in front of the two users UA and UB, and the face image processing device 1A is the same as the face image processing device 1A via the communication network. It is connected to the opposite device 301 of the configuration. It is assumed that the opposite device 301 is arranged in front of the two other users UC and UD, respectively. The display areas 13a and 13b of the display 5 for displaying the face image processing device 1A are allocated and set in advance for displaying the face images of the users UD and UC, respectively, and the display areas 313a and 313b of the opposite device 301 are set in advance. Is pre-assigned and set for displaying facial images of users UB and UA, respectively.

図１０に示す形態では、画像を通じて仮想的にユーザＵＡとユーザＵＤとの目が合っており、画像を通じて仮想的にユーザＵＢとユーザＵＣとの目が合っていることを想定する。このような場合、ユーザＵＢの視線方向が相手側ユーザＵＣの顔画像が表示されている表示領域１３ｂを向いていると検出されるので、表示領域１３ｂの奥に設置されているカラーカメラ３ｂからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が対向装置３０１に送信される。これに対して、対向装置３０１では、ユーザＵＢに割り当てられている表示領域３１３ａに、顔画像処理装置１Ａから出力された出力対象顔画像が表示される。その際、表示される出力対象顔画像は、相手側ユーザＵＣの瞳孔の三次元位置を基に歪調整されるとともに、出力対象顔画像における瞳孔間中点が表示領域３１３ａ上でカラーカメラの光軸に一致するように位置補正される。同時に、ユーザＵＡの視線方向が相手側ユーザＵＤの顔画像が表示されている表示領域１３ａを向いていると検出されるので、表示領域１３ａの奥に設置されているカラーカメラ３ａからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が対向装置３０１に送信される。これに対して、対向装置３０１では、ユーザＵＡに割り当てられている表示領域３１３ｂに、顔画像処理装置１Ａから出力された出力対象顔画像が表示される。このような動作をする顔画像処理装置１Ａと同様な動作を行う対向装置３０１とを接続すれば、２つの装置を使って対向する４人のユーザ間でのコミュニケーション時に相手の顔画像を正面から見た画像とすることができる。 In the form shown in FIG. 10, it is assumed that the eyes of the user UA and the user UD are virtually aligned through the image, and the eyes of the user UB and the user UC are virtually aligned through the image. In such a case, since it is detected that the line-of-sight direction of the user UB faces the display area 13b where the face image of the other user UC is displayed, the color camera 3b installed at the back of the display area 13b The output image of is selected as the output target face image, and the output target face image is transmitted to the opposite device 301. On the other hand, in the facing device 301, the output target face image output from the face image processing device 1A is displayed in the display area 313a assigned to the user UB. At that time, the output target face image to be displayed is distorted based on the three-dimensional position of the pupil of the other user UC, and the midpoint between the pupils in the output target face image is the light of the color camera on the display area 313a. The position is corrected so that it matches the axis. At the same time, since it is detected that the line-of-sight direction of the user UA faces the display area 13a where the face image of the other user UD is displayed, the output image from the color camera 3a installed at the back of the display area 13a. Is selected as the output target face image, and the output target face image is transmitted to the opposite device 301. On the other hand, in the facing device 301, the output target face image output from the face image processing device 1A is displayed in the display area 313b assigned to the user UA. If the opposite device 301 that performs the same operation as the face image processing device 1A that performs such an operation is connected, the face image of the other party can be viewed from the front when communicating between four opposing users using the two devices. It can be the image you saw.

図１１に示す形態では、仮想的にユーザＵＡとユーザＵＣとの目が合っており、仮想的にユーザＵＢとユーザＵＤとの目が合っていることを想定する。このような場合、ユーザＵＢの視線方向が相手側ユーザＵＤの顔画像が表示されている表示領域１３ａを向いていると検出されるので、表示領域１３ａの奥に設置されているカラーカメラ３ａからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が対向装置３０１に送信される。これに対して、対向装置３０１では、ユーザＵＢに割り当てられている表示領域３１３ａに、顔画像処理装置１Ａから出力された出力対象顔画像が表示される。その際、表示される出力対象顔画像は、相手側ユーザＵＤの瞳孔の三次元位置を基に歪調整されるとともに、出力対象顔画像における瞳孔間中点が表示領域３１３ａ上でカラーカメラの光軸に一致するように位置補正される。このような歪調整の処理は、ユーザＵＤが斜めからユーザＵＢの顔画像を観察することになるため特に重要である。同時に、ユーザＵＡの視線方向が相手側ユーザＵＣの顔画像が表示されている表示領域１３ｂを向いていると検出されるので、表示領域１３ｂの奥に設置されているカラーカメラ３ｂからの出力画像が出力対象顔画像として選択されて、その出力対象顔画像が対向装置３０１に送信される。これに対して、対向装置３０１では、ユーザＵＡに割り当てられている表示領域３１３ｂに、顔画像処理装置１Ａから出力された出力対象顔画像が表示される。このような形態でも、２つの装置を使って２対２で対向するユーザ間でのコミュニケーション時に相手の顔画像を正面から見た画像とすることができる。 In the form shown in FIG. 11, it is assumed that the eyes of the user UA and the user UC are virtually aligned, and the eyes of the user UB and the user UD are virtually aligned. In such a case, since it is detected that the line-of-sight direction of the user UB faces the display area 13a where the face image of the other user UD is displayed, the color camera 3a installed at the back of the display area 13a The output image of is selected as the output target face image, and the output target face image is transmitted to the opposite device 301. On the other hand, in the facing device 301, the output target face image output from the face image processing device 1A is displayed in the display area 313a assigned to the user UB. At that time, the output target face image to be displayed is distorted based on the three-dimensional position of the pupil of the other user UD, and the midpoint between the pupils in the output target face image is the optical axis of the color camera on the display area 313a. The position is corrected so that it matches the axis. Such a distortion adjustment process is particularly important because the user UD observes the face image of the user UB from an angle. At the same time, since it is detected that the line-of-sight direction of the user UA faces the display area 13b where the face image of the other user UC is displayed, the output image from the color camera 3b installed in the back of the display area 13b. Is selected as the output target face image, and the output target face image is transmitted to the opposite device 301. On the other hand, in the facing device 301, the output target face image output from the face image processing device 1A is displayed in the display area 313b assigned to the user UA. Even in such a form, it is possible to obtain an image of the other party's face as seen from the front during communication between users facing each other on a two-to-two basis using two devices.

本発明は、上述した実施形態に限定されるものではない。 The present invention is not limited to the above-described embodiment.

例えば、上記第１及び第２実施形態においては、ユーザＵ，ＵＡ，ＵＢの視線方向を基に出力対象顔画像が選択されていたが、ユーザＵ，ＵＡ，ＵＢの顔姿勢（顔方向）を基に出力対象顔画像を選択するような機能を有していてもよい。このような構成の場合、プロセッサ６の視線方向算出部６３は、カメラ９の出力画像を用いて、国際公開公報WO2013/176265、特許第４４３１７４９号公報、特許第４７６５００８号公報、および国際公開公報WO2010/010926等に記載の方法によってユーザＵの顔姿勢を算出する。ここでは、特開２０１５－２３２７７１号公報に記載されたように、ユーザＵの鼻孔検出用の光学系として光源を備えないカメラを用いることもできる。そして、情報出力部６２は、算出したユーザＵの顔姿勢が表示領域１３ａ，１３ｂのどちらの方向に対応しているかを判断し、その判断結果に応じて出力対象顔画像を選択する。 For example, in the first and second embodiments, the output target face image is selected based on the line-of-sight direction of the user U, UA, UB, but the face posture (face direction) of the user U, UA, UB is determined. It may have a function of selecting an output target face image based on the function. In such a configuration, the line-of-sight direction calculation unit 63 of the processor 6 uses the output image of the camera 9 to obtain International Publication WO2013 / 176265, Japanese Patent No. 4431749, Japanese Patent No. 4765008, and International Publication WO2010. The facial posture of the user U is calculated by the method described in / 010926 or the like. Here, as described in Japanese Patent Application Laid-Open No. 2015-232771, a camera without a light source can be used as an optical system for detecting the nostrils of the user U. Then, the information output unit 62 determines which direction of the display areas 13a and 13b the calculated face posture of the user U corresponds to, and selects an output target face image according to the determination result.

また、上記第１及び第２実施形態においては、カラーカメラ３ａ，３ｂから出力されたユーザ顔画像から出力対象顔画像を選択する機能、ユーザ顔画像から所定範囲を切り出す機能を、出力元の顔画像処理装置１，１Ａに有していたが、これらの機能が出力先の顔画像処理装置１，１Ａに備えられてもよい。 Further, in the first and second embodiments, the function of selecting the output target face image from the user face image output from the color cameras 3a and 3b and the function of cutting out a predetermined range from the user face image are provided for the face of the output source. Although it was possessed by the image processing devices 1, 1A, these functions may be provided in the face image processing devices 1, 1A of the output destination.

このような構成の場合、プロセッサ６の情報出力部６２は、カラーカメラ３ａ，３ｂのそれぞれによって撮像されたユーザ顔画像と、それぞれのユーザ顔画像に対応して算出された両眼の瞳孔の位置情報とに加えて、ユーザＵの視線方向に応じて決定された、それらのユーザ顔画像から出力対象顔画像を選択するための選択用情報を、対向装置に出力する。この選択用情報としては、出力対象顔画像を識別するための情報（番号情報、ファイル名情報等）、又はユーザＵの視線方向を示す情報等が挙げられる。プロセッサ６の位置制御部６４は、対向装置から入力された２つのユーザ顔画像のうちから、選択用情報を用いて出力対象顔画像を選択する。そして、位置制御部６４は、選択した出力対象画像を、画像切り出し処理及び歪調整処理を加えてから、出力対象画像に映る相手側ユーザに対応した表示領域１３ａ，１３ｂに表示させる。 In such a configuration, the information output unit 62 of the processor 6 has the user face image captured by each of the color cameras 3a and 3b and the positions of the pupils of both eyes calculated corresponding to each user face image. In addition to the information, selection information for selecting an output target face image from those user face images determined according to the line-of-sight direction of the user U is output to the opposite device. Examples of the selection information include information for identifying the output target face image (number information, file name information, etc.), information indicating the line-of-sight direction of the user U, and the like. The position control unit 64 of the processor 6 selects an output target face image from the two user face images input from the opposite device using the selection information. Then, the position control unit 64 displays the selected output target image in the display areas 13a and 13b corresponding to the other user reflected in the output target image after performing the image cutting process and the distortion adjustment process.

また、上記第１及び第２実施形態においては、表示領域１３ａ，１３ｂに表示させる表示対象顔画像のサイズをユーザＵの両眼の瞳孔の三次元位置に応じて補正する機能を有していてもよい。 Further, the first and second embodiments have a function of correcting the size of the face image to be displayed to be displayed in the display areas 13a and 13b according to the three-dimensional position of the pupils of both eyes of the user U. May be good.

すなわち、第１実施形態の顔画像処理装置１においては、ユーザＵに相手側ユーザが同じ位置（例えば表示領域１３ａ，１３ｂの画像面Ｇ２上）にいるように見せるためには、位置制御部６４が、相手側ユーザ側の対向装置で検出された左右の瞳孔の三次元座標を基に、画像面Ｇ２に投影される画像のサイズを相手側ユーザの両眼の位置関係に対応するように設定してもよい。例えば、図１２に示すように、本変形例の位置制御部６４は、相手側ユーザの左右の瞳孔の三次元位置を基にそれらの中点の位置Ｍ３を算出する。そして、位置制御部６４は、その中点Ｍ３を通り、表示対象顔画像を撮像した対向装置側のカラーカメラ１０３の撮像面１０３ａに平行な平面Ｓ２の位置と、カラーカメラ１０３から各瞳孔に向いた直線Ｌ３，Ｌ４の位置とを求め、さらに、この平面Ｓ２と各直線Ｌ３，Ｌ４との交点Ｐ３，Ｐ４の三次元位置を求める。そして、位置制御部６４は、交点Ｐ３，Ｐ４の２つの三次元位置の間の距離を求め、その距離とユーザＵの見ている画像上の相手側ユーザの瞳孔間距離とが等しくなるように、投影画像のサイズを設定する。具体的には、位置制御部６４は、投影する表示対象顔画像上の左右の瞳孔の座標が既知であるので、それらの座標間の距離が交点Ｐ３，Ｐ４から計算した距離と等しくなるように投影画像のサイズを変更すればよい。このとき、位置制御部６４は、表示対象顔画像から図５に示すような投影対象の画像Ｇ１を切り出す際には、その画像Ｇ１の範囲の幅を、Ｐ３，Ｐ４の三次元位置の間の距離を基にして、相手側ユーザの頭部全体が入り、かつ、投影画像上の瞳孔間の距離がその距離と等しく見えるように、設定するとよい。このような変形例によれば、相手側ユーザが頭部を回転させてカメラに映る瞳孔間の距離が変化したような場合でも、ユーザＵにとって相手側ユーザがあたかも表示画像上の位置に存在しているように感じさせることができる。 That is, in the face image processing device 1 of the first embodiment, in order to make the user U appear to be at the same position (for example, on the image surface G2 of the display areas 13a and 13b), the position control unit. 64 makes the size of the image projected on the image plane G 2 correspond to the positional relationship of both eyes of the other user based on the three-dimensional coordinates of the left and right pupils detected by the opposite device on the other user side. May be set to. For example, as shown in FIG. 12, the position control unit 64 of this modification calculates the position M3 of the midpoint of the left and right pupils of the other user based on the three -dimensional positions. Then , the position control unit 64 passes through the midpoint M3 and passes through the position of the plane S2 parallel to the image pickup surface 103a of the color camera 103 on the opposite device side that has imaged the face image to be displayed, and from the color camera 103 to each pupil. The positions of the straight lines L 3 and L 4 facing each other are obtained, and further, the three-dimensional positions of the intersections P 3 and P 4 of the plane S 2 and the straight lines L 3 and L 4 are obtained. Then, the position control unit 64 obtains the distance between the two three - dimensional positions of the intersections P3 and P4, and the distance becomes equal to the interpupillary distance of the other user on the image viewed by the user U. To set the size of the projected image. Specifically, since the position control unit 64 knows the coordinates of the left and right pupils on the projected face image to be displayed, the distance between those coordinates is equal to the distance calculated from the intersections P3 and P4. The size of the projected image may be changed as follows. At this time, when the position control unit 64 cuts out the image G1 to be projected as shown in FIG. 5 from the face image to be displayed, the position control unit 64 sets the width of the range of the image G1 to the three dimensions of P3 and P4 . Based on the distance between the positions, it is preferable to set so that the entire head of the other user enters and the distance between the pupils on the projected image looks equal to the distance. According to such a modification, even when the other user rotates his head and the distance between the pupils reflected in the camera changes, the other user exists at the position on the display image for the user U. You can make it feel like you are.

また、第２実施形態においては、表示用ディスプレイ５が表示領域１３ａ，１３ｂにおいてユーザＵＡ，ＵＢに向かう２つの方向に異なる画像を表示可能に構成されていてもよく、位置制御部６４によって表示領域１３ａ、１３ｂにおいて２つの方向に異なる表示対象顔画像を表示させるように制御されてもよい。 Further, in the second embodiment, the display display 5 may be configured to be able to display different images in the two directions toward the users UA and UB in the display areas 13a and 13b, and the display area 64 may display different images. In 13a and 13b, it may be controlled to display different display target face images in two directions.

具体的には、表示用ディスプレイ５として、画面上の画素群のそれぞれが２つの方向に映像を投影可能なステレオディスプレイ（立体ディスプレイともいう。）の構成を採用する。このようなステレオディスプレイとしては、インターネットＵＲＬ：http://gigazine.net/news/20160527-3d-tv-nhk2016（２０１７年１月１８日検索）に開示された立体テレビの技術を利用する。そして、位置制御部６４は、ユーザＵＤに対応する表示領域１３ａ（図１０参照）において、ユーザＵＡの方向には、対向装置３０１から出力された出力対象顔画像として、ユーザＵＡの瞳孔位置を基に歪調整された顔画像を表示すると同時に、ユーザＵＢの方向には、対向装置３０１から出力された出力対象顔画像として、ユーザＵＢの瞳孔位置を基に歪調整された顔画像を表示するように制御する。また、位置制御部６４は、ユーザＵＤに対応する表示領域１３ａにおいて、ユーザＵＡの方向とユーザＵＢの方向のそれぞれに向けて、対向装置３０１から出力された出力対象顔画像から選択された異なる表示対象顔画像を同時に表示するように制御してもよい。例えば、図１０の例によれば、ユーザＵＡに対しては、ユーザＵＤの正面のカラーカメラによって撮影されたユーザＵＤの顔画像を表示し、ユーザＵＢに対しては、ユーザＵＤの斜め方向のカラーカメラによって撮影されたユーザＵＤの顔画像を表示するようにしてもよい。このようにすれば、ユーザＵＡに対してはユーザＵＤが正対するように感じさせることができ、ユーザＵＢに対してはユーザＵＤがユーザＵＡに向いているように感じさせることができる。その結果、コミュニケーション時の臨場感がアップする。 Specifically, as the display display 5, a configuration of a stereo display (also referred to as a stereoscopic display) in which each of the pixel groups on the screen can project an image in two directions is adopted. As such a stereo display, the stereoscopic television technology disclosed in the Internet URL: http://gigazine.net/news/20160527-3d-tv-nhk2016 (searched on January 18, 2017) is used. Then, the position control unit 64 bases the pupil position of the user UA as the output target face image output from the facing device 301 in the direction of the user UA in the display area 13a (see FIG. 10) corresponding to the user UD. At the same time as displaying the face image adjusted for distortion, the face image adjusted for distortion based on the pupil position of the user UB is displayed as the output target face image output from the facing device 301 in the direction of the user UB. To control. Further, in the display area 13a corresponding to the user UD, the position control unit 64 has a different display selected from the output target face images output from the opposite device 301 in the direction of the user UA and the direction of the user UB. It may be controlled to display the target face image at the same time. For example, according to the example of FIG. 10, the face image of the user UD taken by the color camera in front of the user UD is displayed to the user UA, and the face image of the user UD is displayed to the user UB in the diagonal direction of the user UD. The face image of the user UD taken by the color camera may be displayed. By doing so, the user UA can be made to feel that the user UD is facing directly, and the user UB can be made to feel that the user UD is suitable for the user UA. As a result, the sense of presence during communication is improved.

また、上記第１及び第２実施形態においては、顔画像処理装置１が、出力対象顔画像、ユーザＵの瞳孔の位置情報、及び選択用情報等を、同時に複数の対向装置に送信する際には、マルチキャスト通信を用いて送信することが好適である。 Further, in the first and second embodiments, when the face image processing device 1 simultaneously transmits the output target face image, the position information of the pupil of the user U, the selection information, and the like to a plurality of opposite devices. Is preferably transmitted using multicast communication.

また、上記第１及び第２実施形態においては、表示用ディスプレイ５及び位置制御部６４が、２つの表示領域１３ａ，１３ｂに分割して表示対象画像を表示可能に構成され、それらの２つの表示領域１３ａ，１３ｂに対応して２つのカラーカメラ３ａ，３ｂが設けられていたが、表示領域及びそれに対応したカメラの数は特定数には限定されず、３以上であってもよい。また、表示用ディスプレイ５及び位置制御部６４は、相手側ユーザの顔画像に加えて、カラーカメラ３ａ，３ｂによって撮像されるユーザＵの顔画像を並べて表示可能に構成されていてもよい。 Further, in the first and second embodiments, the display display 5 and the position control unit 64 are configured to be divided into two display areas 13a and 13b so that the display target image can be displayed, and the two displays thereof. Although two color cameras 3a and 3b are provided corresponding to the areas 13a and 13b, the number of the display area and the corresponding cameras is not limited to a specific number and may be 3 or more. Further, the display 5 and the position control unit 64 may be configured so that the face image of the user U captured by the color cameras 3a and 3b can be displayed side by side in addition to the face image of the other user.

このように表示用ディスプレイ５に３以上の表示領域を表示可能に構成されている場合は、いずれかの表示領域に表示される表示対象顔画像が強調表示されてもよい。 When the display display 5 is configured to display three or more display areas in this way, the display target face image displayed in any of the display areas may be highlighted.

例えば、第１及び第２実施形態の変形例として、位置制御部６４は、図１３に示すように、６つの複数の表示領域１３ａ～１３ｇのそれぞれに表示対象顔画像を表示させるように制御する。これらの表示領域１３ａ～１３ｆのそれぞれは、予め他ユーザＵ１～Ｕ６の表示対象顔画像の表示用として割り当てられている。位置制御部６４は、１以上の対向装置から入力された他ユーザＵ１～Ｕ６の顔画像を、それぞれに割り当てられた表示領域１３ａ～１３ｆに表示させるように制御する。表示領域１３ａ～１３ｆの中央には、表示領域１３ａ～１３ｆよりも目立つようにサイズの大きい表示領域１３ｇが設定されている。そして、これらの表示領域１３ａ～１３ｇの対応する位置に、ユーザＵのユーザ顔画像を撮像するカラーカメラ３ａ～３ｇがそれぞれ設けられる。ここで、位置制御部６４は、視線方向算出部６３によってユーザＵの視線方向を基に算出された表示用ディスプレイ５上の注視点を用いて、ユーザＵの視線方向が示す注目表示領域を、表示領域１３ａ～１３ｆのうちから特定する。具体的には、位置制御部６４は、ユーザＵの注視点が、一定時間（例えば、０．５秒以上）継続して位置する表示領域１３ａ～１３ｆを、注目表示領域として特定する。一定時間継続するかで注目表示領域を特定するのは、ユーザＵの視線のふらつきによる表示領域の頻繁な切り替わりを防止して、顔画像表示の安定動作を図るためである。安定動作を図るための別の方法としては、移動平均を施したユーザの注視点が位置する表示領域１３ａ～１３ｆを、注目表示領域として特定してもよい。そして、位置制御部６４は、注目表示領域を特定した際には、その注目表示領域に表示されているユーザの表示対象顔画像を拡大（強調）して表示領域１３ｇにも同時に表示させるように制御する。図１３には、注目表示領域として表示領域１３ｅが特定され、表示領域１３ｅに表示されている顔画像が同時に表示領域１３ｇにも表示されている例を示している。 For example, as a modification of the first and second embodiments, the position control unit 64 controls to display the display target face image in each of the six plurality of display areas 13a to 13g, as shown in FIG. .. Each of these display areas 13a to 13f is allocated in advance for displaying the display target face images of the other users U1 to U6. The position control unit 64 controls to display the face images of the other users U1 to U6 input from one or more facing devices in the display areas 13a to 13f assigned to each. In the center of the display areas 13a to 13f, a display area 13g having a larger size than the display areas 13a to 13f is set. Then, color cameras 3a to 3g for capturing the user face image of the user U are provided at the corresponding positions of the display areas 13a to 13g, respectively. Here, the position control unit 64 uses the gaze point on the display display 5 calculated based on the line-of-sight direction of the user U by the line-of-sight direction calculation unit 63 to display the attention display area indicated by the line-of-sight direction of the user U. It is specified from the display areas 13a to 13f. Specifically, the position control unit 64 specifies the display areas 13a to 13f in which the gaze point of the user U is continuously located for a certain period of time (for example, 0.5 seconds or more) as the attention display area. The reason why the attention display area is specified by continuing for a certain period of time is to prevent frequent switching of the display area due to the fluctuation of the line of sight of the user U and to ensure stable operation of the face image display. As another method for achieving stable operation, the display areas 13a to 13f where the gazing point of the user who has been subjected to the moving average is located may be specified as the attention display area. Then, when the position control unit 64 specifies the attention display area, the position control unit 64 enlarges (emphasizes) the display target face image of the user displayed in the attention display area and simultaneously displays it in the display area 13g. Control. FIG. 13 shows an example in which the display area 13e is specified as the attention display area, and the face image displayed in the display area 13e is also displayed in the display area 13g at the same time.

このような変形例によれば、ユーザＵがコミュニケーションを図りたい相手の他ユーザの顔画像に視線を向けるだけで、その他ユーザの顔画像が強調表示される。その結果、コミュニケーションしたい他ユーザの表情が見やすくなりコミュニケーションが円滑化される。なお、表示領域１３ｇにおける顔画像の切り替わりをユーザＵに把握させやすくするためには、位置制御部６４は、注目表示領域を特定した際に、注目表示領域として特定された表示領域１３ｅの顔画像を、拡大させながら中央の表示領域１３ｇに向けて移動させるようにアニメーション化して表示させてもよい。さらに、位置制御部６４は、表示領域１３ｅを注目表示領域として特定した後に、表示領域１３ｆを注目表示領域として特定した際には、それまで中央の表示領域１３ｇに表示されていた顔画像を、縮小させながら表示領域１３ｅに向けて移動させるようにアニメーション化して表示させてもよい。このような制御により、ユーザＵが顔画像の切り替わりを容易に認識することができる。 According to such a modification, the face image of the other user is highlighted only by the user U simply looking at the face image of the other user with whom he / she wants to communicate. As a result, the facial expressions of other users who want to communicate are easily seen, and communication is facilitated. In order to make it easier for the user U to grasp the switching of the face image in the display area 13g, the position control unit 64 indicates the face image of the display area 13e specified as the attention display area when the attention display area is specified. May be animated and displayed so as to move toward the central display area 13g while enlarging. Further, when the position control unit 64 specifies the display area 13e as the attention display area and then specifies the display area 13f as the attention display area, the position control unit 64 displays the face image previously displayed in the central display area 13g. It may be animated and displayed so as to move toward the display area 13e while being reduced. With such control, the user U can easily recognize the change of the face image.

また、上記の変形例において、表示領域１３ａ～１３ｆのそれぞれに対する他ユーザＵ１～Ｕ６の表示対象顔画像の割り当ては、ユーザＵの操作によって変更可能にされていてもよい。すなわち、位置制御部６４は、外部からのマウス等の入力装置を用いたドラック入力により、他ユーザＵ１～Ｕ６の顔画像の表示位置を、表示領域１３ａ～１３ｆの間で変更可能に構成されてもよい。より詳細には、表示領域１３ａから表示領域１３ｂに向けてのドラック入力を検出した場合は、位置制御部６４は、表示領域１３ａに割り当てられていたユーザＵ１を表示領域１３ｂに切り替えるように動作する。この際、ユーザＵによるマウスを用いた操作が困難な場合には、本発明者らによる文献「瞳孔マウスの提案」（第１０回画像センシングシンポジウム講演論文集, Ｂ－２８, ｐｐ．１６７－１７２， ２００４）に開示された瞳孔マウスの技術、又は、本発明者らによる文献「注視点検出法と瞳孔マウスの組み合わせによるPC入力法の提案」（ViEW2011ビジョン技術の実利用化ワークショップ, OS1-H1(IS1-A1), 7pages， 2012）に開示された視線と瞳孔マウスとを組み合わせた入力技術を用いて、ドラック入力が検出されてもよい。 Further, in the above modification, the allocation of the display target face images of the other users U1 to U6 to each of the display areas 13a to 13f may be changed by the operation of the user U. That is, the position control unit 64 is configured to be able to change the display position of the face image of the other users U1 to U6 between the display areas 13a to 13f by drag input using an input device such as a mouse from the outside. May be good. More specifically, when the drag input from the display area 13a to the display area 13b is detected, the position control unit 64 operates to switch the user U1 assigned to the display area 13a to the display area 13b. .. At this time, if it is difficult for the user U to operate using a mouse, the present inventors have documented "Proposal of a pupil mouse" (Proceedings of the 10th Image Sensing Symposium, B-28, pp. 167-172). , 2004), or the document "Proposal of PC input method by combining gaze point detection method and pupil mouse" by the present inventors (ViEW2011 Vision Technology Practical Use Workshop, OS1- Drag input may be detected using the input technique that combines the line of sight and the pupil mouse disclosed in H1 (IS1-A1), 7pages, 2012).

また、位置制御部６４は、上述した注目表示領域の特定、又は表示領域１３ａ～１３ｆの割り当ての変更を、瞳孔マウスによる入力、または検出したユーザＵの顔方向を基に実行可能に構成されていてもよい。ただし、位置制御部６４は、瞳孔マウスまたは顔方向によって示される入力位置にカーソル等の視標を表示させることが好適である。瞳孔マウスを利用する場合は、絶対的な基準位置が存在せず、瞳孔の動きの検出量に応じてその量だけ入力位置の移動が制御されるため、カーソルが存在しないと入力位置が分かりにくい。顔方向を利用する場合にもカーソルが存在しないと入力位置が分かりにくい。カーソルが表示されることにより、ユーザＵにとって入力されている位置が明確化される。ただし、常にカーソルが表示されているとユーザＵにとって顔画像の視認性が低下するので、位置制御部６４は、中央の表示領域１３ｇの中に入力位置が認識されている際にはカーソルを表示させないように制御し、入力位置が中央の表示領域１３ｇの外側に移動した際にその入力位置にカーソルを表示させるように制御することが好適である。 Further, the position control unit 64 is configured to be able to specify the above-mentioned attention display area or change the allocation of the display areas 13a to 13f based on the input by the pupil mouse or the detected face direction of the user U. You may. However, it is preferable that the position control unit 64 displays an optotype such as a cursor at an input position indicated by the pupil mouse or the face direction. When using a pupil mouse, there is no absolute reference position, and the movement of the input position is controlled by that amount according to the detected amount of pupil movement, so the input position is difficult to understand without the cursor. .. Even when using the face direction, it is difficult to understand the input position unless the cursor is present. By displaying the cursor, the position entered by the user U is clarified. However, if the cursor is always displayed, the visibility of the face image is lowered for the user U, so that the position control unit 64 displays the cursor when the input position is recognized in the central display area 13g. It is preferable to control so that the cursor is not displayed, and when the input position moves to the outside of the central display area 13g, the cursor is displayed at the input position.

さらに、位置制御部６４は、図１４に示すように、６つの複数の表示領域１３ａ～１３ｆに表示されている他ユーザＵ１～Ｕ６の表示対象顔画像のうち、ユーザＵの顔画像に視線を向けている他ユーザの顔画像を強調表示させるように制御してもよい。このような変形例では、情報出力部６２が、ユーザＵの視線方向に基づく注視点を用いて、ユーザＵの視線方向が示す注目表示領域を、表示領域１３ａ～１３ｆのうちから特定する。そして、情報出力部６２は、特定した注目表示領域に割り当てられている他ユーザＵ１～Ｕ６の使用する対向装置に対して、ユーザＵの出力対象画像とともに、注目表示領域として特定された結果が出力される。出力される結果としては、注目表示領域に視線を向けているユーザＵを識別する情報等が挙げられる。一方、位置制御部６４は、対向装置から、他ユーザＵ１～Ｕ６に関する表示対象顔画像とともに、ユーザＵに割り当てられている表示領域が注目表示領域として特定された結果が出力された場合には、その特定結果によって識別されるいずれかの他ユーザＵ１～Ｕ６の顔画像を強調表示させるように制御する。図１４では、表示領域１３ａ，１３ｄが割り当てられたユーザＵ１，Ｕ４の使用する対向装置から特定結果が出力された結果、それらのユーザＵ１，Ｕ４の顔画像が表示領域１３ａ，１３ｄにおいて太線で囲まれて強調表示された例を示している。ここでの強調表示は、顔画像を点滅させるような表示であってもよいし、外枠の色を変えるような表示であってもよい。このような制御により、ユーザＵに対してコミュニケーションを求めている他ユーザの顔画像を強調表示することで、ユーザ間でのコミュニケーションをより円滑にすることができる。 Further, as shown in FIG. 14, the position control unit 64 looks at the face image of the user U among the display target face images of the other users U1 to U6 displayed in the six plurality of display areas 13a to 13f. You may control to highlight the face image of another user who is pointing. In such a modification, the information output unit 62 specifies the attention display area indicated by the line-of-sight direction of the user U from the display areas 13a to 13f by using the gazing point based on the line-of-sight direction of the user U. Then, the information output unit 62 outputs the result specified as the attention display area together with the output target image of the user U to the opposite device used by the other users U1 to U6 assigned to the specified attention display area. Will be done. As the output result, information for identifying the user U who is looking at the attention display area and the like can be mentioned. On the other hand, when the position control unit 64 outputs a result in which the display area assigned to the user U is specified as the attention display area together with the display target face images relating to the other users U1 to U6, the position control unit 64 outputs. The face image of any of the other users U1 to U6 identified by the specific result is controlled to be highlighted. In FIG. 14, as a result of outputting specific results from the opposite device used by the users U1 and U4 to which the display areas 13a and 13d are assigned, the face images of those users U1 and U4 are surrounded by thick lines in the display areas 13a and 13d. Shows an example highlighted in. The highlighting here may be a display that blinks the face image, or may be a display that changes the color of the outer frame. By such control, the face image of another user who requests the user U to communicate can be highlighted, so that the communication between the users can be made smoother.

１，１Ａ…顔画像処理装置、３ａ，３ｂ…カラーカメラ（撮像部）、４…視線方向検出部、５…表示用ディスプレイ（画像表示部）、６，６Ａ…プロセッサ（制御部）、１３ａ，１３ｂ…表示領域、６１…情報入力部、６２，６２Ａ…情報出力部、６３…視線方向算出部（視線方向検出部）、６３，６３Ａ…視線方向算出部、６４…位置制御部、１０１，２０１，３０１…対向装置（外部装置）、Ｕ，ＵＡ，ＵＢ…ユーザ（自ユーザ）、Ｕ１，Ｕ２，ＵＣ，ＵＤ…相手側ユーザ（他ユーザ）。 1,1A ... Face image processing device, 3a, 3b ... Color camera (imaging unit), 4 ... Line-of-sight direction detection unit, 5 ... Display for display (image display unit), 6, 6A ... Processor (control unit), 13a, 13b ... Display area, 61 ... Information input unit, 62, 62A ... Information output unit, 63 ... Line-of-sight direction calculation unit (line-of-sight direction detection unit), 63, 63A ... Line-of-sight direction calculation unit, 64 ... Position control unit, 101, 201 , 301 ... Opposite device (external device), U, UA, UB ... User (own user), U1, U2, UC, UD ... Other user (other user).

Claims (11)

自ユーザの顔画像を取得して外部装置に出力し、他ユーザの顔画像を前記外部装置から取得して表示する顔画像処理装置であって、
自ユーザの視線方向あるいは顔方向を検出する方向検出部と、
前記外部装置から取得した複数の他ユーザの顔画像である複数の表示対象顔画像を複数の表示領域ごとに分割して表示する画像表示部と、
前記画像表示部の前記複数の表示領域のそれぞれに対応して配置され、前記自ユーザの顔の画像であるユーザ顔画像を撮像する複数の撮像部と、
前記画像表示部における前記複数の表示対象顔画像の表示状態を制御するとともに、前記自ユーザの視線方向あるいは顔方向に一致する表示領域に対応して配置された前記撮像部によって取得された前記ユーザ顔画像である出力対象顔画像を、少なくとも出力する制御部とを備え、
前記制御部は、前記外部装置から前記出力対象顔画像として出力された前記他ユーザの顔画像を取得し、当該顔画像を前記表示対象顔画像として当該他ユーザに対応した前記表示領域に表示させるように制御し、
前記自ユーザの注視点が所定時間以上継続して位置する前記表示領域を、前記自ユーザの注視点に一致する前記表示領域として特定し、
前記自ユーザの注視点に一致する前記表示領域に表示される前記他ユーザの前記外部装置に、前記自ユーザの注視点に一致する前記表示領域に対応した前記撮像部によって取得された前記ユーザ顔画像を、前記出力対象顔画像として出力し、前記自ユーザの注視点に一致しない前記表示領域に表示される前記他ユーザの前記外部装置に、前記自ユーザの注視点に一致する前記表示領域に対応した前記撮像部によって取得された前記ユーザ顔画像と、前記自ユーザの注視点に一致する前記表示領域に対応しない前記撮像部によって取得された前記ユーザ顔画像とのいずれかを、前記外部装置による予めの設定に応じて、前記出力対象顔画像として選択して出力する、
顔画像処理装置。 A face image processing device that acquires a face image of a local user and outputs it to an external device, and acquires and displays a face image of another user from the external device.
A direction detection unit that detects the line-of-sight direction or face direction of the own user,
An image display unit that divides and displays a plurality of display target face images, which are face images of a plurality of other users acquired from the external device, for each of a plurality of display areas.
A plurality of image pickup units arranged corresponding to each of the plurality of display areas of the image display unit and capturing a user face image which is an image of the face of the own user, and a plurality of image pickup units.
The user acquired by the imaging unit, which controls the display state of the plurality of display target face images in the image display unit and is arranged corresponding to the display area corresponding to the line-of-sight direction or the face direction of the own user. It is equipped with a control unit that outputs at least a face image to be output, which is a face image.
The control unit acquires the face image of the other user output as the output target face image from the external device, and displays the face image as the display target face image in the display area corresponding to the other user. Control and
The display area in which the gazing point of the own user is continuously located for a predetermined time or longer is specified as the display area matching the gazing point of the own user .
The user face acquired by the image pickup unit corresponding to the display area matching the gazing point of the own user on the external device of the other user displayed in the display area matching the gazing point of the own user. The image is output as the output target face image, and is displayed on the external device of the other user displayed in the display area that does not match the gaze point of the own user, and in the display area that matches the gaze point of the own user. Either the user face image acquired by the corresponding image pickup unit or the user face image acquired by the image pickup unit that does not correspond to the display area that matches the gazing point of the own user is the external device . Select and output as the output target face image according to the preset setting by
Face image processing device. 前記制御部は、前記複数の撮像部によって撮像された複数のユーザ顔画像のうち、前記視線方向あるいは顔方向に一致する表示領域に対応して配置された前記撮像部によって取得されたユーザ顔画像を選択し、当該ユーザ顔画像を前記出力対象顔画像として出力する、
請求項１記載の顔画像処理装置。 The control unit is a user face image acquired by the image pickup unit arranged corresponding to a display area corresponding to the line-of-sight direction or the face direction among a plurality of user face images captured by the plurality of image pickup units. Is selected, and the user face image is output as the output target face image.
The face image processing apparatus according to claim 1. 前記制御部は、前記複数の撮像部によって撮像された複数の前記ユーザ顔画像と、複数の前記ユーザ顔画像から前記出力対象顔画像を選択するための選択用情報とを出力し、前記外部装置から出力された複数の前記ユーザ顔画像のうちから、前記外部装置から出力された前記選択用情報を基に前記表示対象顔画像を選択し、当該表示対象顔画像を前記他ユーザに対応した前記表示領域に表示させるように制御する、
請求項１記載の顔画像処理装置。 The control unit outputs a plurality of the user face images captured by the plurality of imaging units and selection information for selecting the output target face image from the plurality of user face images, and the external device. The display target face image is selected from the plurality of user face images output from the above based on the selection information output from the external device, and the display target face image corresponds to the other user. Control to display in the display area,
The face image processing apparatus according to claim 1. 前記方向検出部は、前記自ユーザの両眼の三次元位置をさらに検出し、
前記制御部は、前記表示対象顔画像を前記両眼の三次元位置に応じて補正し、補正した前記表示対象顔画像を表示させるように制御する、
請求項１～３のいずれか１項に記載の顔画像処理装置。 The direction detection unit further detects the three-dimensional positions of both eyes of the own user, and further detects the three-dimensional positions.
The control unit corrects the display target face image according to the three-dimensional position of the binoculars, and controls to display the corrected display target face image.
The face image processing apparatus according to any one of claims 1 to 3. 前記制御部は、前記表示対象顔画像のサイズを前記外部装置で算出された前記他ユーザの両眼の三次元位置に応じて補正する、
請求項４記載の顔画像処理装置。 The control unit corrects the size of the face image to be displayed according to the three-dimensional positions of both eyes of the other user calculated by the external device.
The face image processing apparatus according to claim 4. 前記制御部は、前記表示対象顔画像を前記両眼の三次元位置に応じて歪調整するように補正する、
請求項４又は５記載の顔画像処理装置。 The control unit corrects the display target face image so as to adjust the distortion according to the three-dimensional positions of the binoculars.
The face image processing apparatus according to claim 4 or 5. 前記画像表示部は、前記表示領域において複数の方向に異なる画像を表示可能に構成されており、
前記制御部は、前記外部装置から前記他ユーザの顔画像を複数取得し、当該他ユーザに対応する前記表示領域において、前記複数の他ユーザの顔画像のいずれかを、前記複数の方向に表示させるように制御する、
請求項１～６のいずれか１項に記載の顔画像処理装置。 The image display unit is configured to be able to display different images in a plurality of directions in the display area.
The control unit acquires a plurality of facial images of the other user from the external device, and displays any of the facial images of the plurality of other users in the plurality of directions in the display area corresponding to the other user. Control to let
The face image processing apparatus according to any one of claims 1 to 6. 前記制御部は、前記外部装置から取得された前記出力対象顔画像を、前記複数の方向のそれぞれに応じて歪調整し、歪調整した前記出力対象顔画像を前記複数の方向のそれぞれに表示させるように制御する、
請求項７記載の顔画像処理装置。 The control unit adjusts the distortion of the output target face image acquired from the external device according to each of the plurality of directions, and displays the strain-adjusted output target face image in each of the plurality of directions. To control,
The face image processing apparatus according to claim 7. 前記制御部は、前記方向検出部によって検出された前記視線方向を基に、前記複数の表示領域のうち当該視線方向が示す注目表示領域を特定し、前記注目表示領域に表示させる前記他ユーザの顔画像を強調表示させるように制御する、
請求項１～８のいずれか１項に記載の顔画像処理装置。 The control unit identifies the attention display area indicated by the line-of-sight direction among the plurality of display areas based on the line-of-sight direction detected by the direction detection unit, and displays the attention display area in the attention display area of the other user. Control to highlight the face image,
The face image processing apparatus according to any one of claims 1 to 8. 前記制御部は、前記方向検出部によって検出された前記視線方向を基に、前記複数の表示領域のうち当該視線方向が示す注目表示領域を特定し、前記注目表示領域に対応する他ユーザの使用する外部装置に対して、前記出力対象顔画像とともに前記特定の結果を出力し、
前記外部装置から、前記他ユーザの顔画像とともに前記特定の結果を取得した場合には、前記他ユーザの顔画像を強調表示させるように制御する、
請求項１～９のいずれか１項に記載の顔画像処理装置。 The control unit identifies an attention display area indicated by the line-of-sight direction among the plurality of display areas based on the line-of-sight direction detected by the direction detection unit, and is used by another user corresponding to the attention display area. The specific result is output together with the output target face image to the external device to be output.
When the specific result is acquired together with the face image of the other user from the external device, the face image of the other user is controlled to be highlighted.
The face image processing apparatus according to any one of claims 1 to 9. 前記制御部は、外部からのドラック入力により、複数の前記他ユーザの顔画像の表示位置を、前記複数の表示領域の間で変更可能に構成される、
請求項１～１０のいずれか１項に記載の顔画像処理装置。 The control unit is configured to be able to change the display position of the face image of the plurality of other users among the plurality of display areas by a drag input from the outside.
The face image processing apparatus according to any one of claims 1 to 10.
JP2017016946A 2017-02-01 2017-02-01 Face image processing device Active JP7012983B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017016946A JP7012983B2 (en) 2017-02-01 2017-02-01 Face image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017016946A JP7012983B2 (en) 2017-02-01 2017-02-01 Face image processing device

Publications (2)

Publication Number Publication Date
JP2018125727A JP2018125727A (en) 2018-08-09
JP7012983B2 true JP7012983B2 (en) 2022-01-31

Family

ID=63110441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017016946A Active JP7012983B2 (en) 2017-02-01 2017-02-01 Face image processing device

Country Status (1)

Country Link
JP (1) JP7012983B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113573153B (en) * 2021-02-02 2022-08-12 腾讯科技（深圳）有限公司 Image processing method, device and equipment

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136501A (en) 1999-11-10 2001-05-18 Nec Corp Sight line match video conference apparatus
JP2005328461A (en) 2004-05-17 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> Video conference apparatus and multi-point conference system
JP2010200150A (en) 2009-02-26 2010-09-09 Toshiba Corp Terminal, server, conference system, conference method, and conference program
JP2011197348A (en) 2010-03-19 2011-10-06 Seiko Epson Corp Image display system, image display method, and image display device
JP2015023369A (en) 2013-07-18 2015-02-02 キヤノン株式会社 Display with imaging apparatus
JP2015049712A (en) 2013-09-02 2015-03-16 セイコーエプソン株式会社 Information processing device and information processing method
JP2016178355A (en) 2015-03-18 2016-10-06 株式会社リコー Communication device, communication system, communication device control method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981475A (en) * 1995-09-18 1997-03-28 Toshiba Corp Information terminal equipment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001136501A (en) 1999-11-10 2001-05-18 Nec Corp Sight line match video conference apparatus
JP2005328461A (en) 2004-05-17 2005-11-24 Nippon Telegr & Teleph Corp <Ntt> Video conference apparatus and multi-point conference system
JP2010200150A (en) 2009-02-26 2010-09-09 Toshiba Corp Terminal, server, conference system, conference method, and conference program
JP2011197348A (en) 2010-03-19 2011-10-06 Seiko Epson Corp Image display system, image display method, and image display device
JP2015023369A (en) 2013-07-18 2015-02-02 キヤノン株式会社 Display with imaging apparatus
JP2015049712A (en) 2013-09-02 2015-03-16 セイコーエプソン株式会社 Information processing device and information processing method
JP2016178355A (en) 2015-03-18 2016-10-06 株式会社リコー Communication device, communication system, communication device control method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
山本 祥之, 外2名，遠隔瞳孔検出に基づく頭部移動を許容する視線一致型コミュニケーションシステムの提案，映像情報メディア学会２０１５年年次大会講演予稿集，一般社団法人 映像情報メディア学会，2015年08月05日

Also Published As

Publication number Publication date
JP2018125727A (en) 2018-08-09

Similar Documents

Publication Publication Date Title
US9330477B2 (en) Surgical stereo vision systems and methods for microsurgery
US9766441B2 (en) Surgical stereo vision systems and methods for microsurgery
US10171792B2 (en) Device and method for three-dimensional video communication
WO2015068656A1 (en) Image-generating device and method
US9728010B2 (en) Virtual representations of real-world objects
US11109916B2 (en) Personalized hand-eye coordinated digital stereo microscopic systems and methods
JP2017525052A (en) Technology that adjusts the field of view of captured images for display
US20160225164A1 (en) Automatic generation of virtual materials from real-world materials
US11184597B2 (en) Information processing device, image generation method, and head-mounted display
US6611283B1 (en) Method and apparatus for inputting three-dimensional shape information
WO2005063114A1 (en) Sight-line detection method and device, and three- dimensional view-point measurement device
CN114730094A (en) Artificial reality system with zoom display of artificial reality content
JPH11202256A (en) Head-mounting type image display device
WO2016163183A1 (en) Head-mounted display system and computer program for presenting real space surrounding environment of user in immersive virtual space
JP4580678B2 (en) Gaze point display device
Wibirama et al. 3D gaze tracking on stereoscopic display using optimized geometric method
JP7012983B2 (en) Face image processing device
JP2017191546A (en) Medical use head-mounted display, program of medical use head-mounted display, and control method of medical use head-mounted display
CN110060349B (en) Method for expanding field angle of augmented reality head-mounted display equipment
JP6608208B2 (en) Image display device
WO2021237952A1 (en) Augmented reality display system and method
JPH02291787A (en) Wide visual field display device and wide visual field photography device
JP6124862B2 (en) Method for performing action according to pointing gesture, conference support system, and computer program
JP2020202499A (en) Image observation system
JP2016224809A (en) Information processing device and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220112

R150 Certificate of patent or registration of utility model

Ref document number: 7012983

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150