【０００１】
【発明の属する技術分野】
本発明は通信回線を用いて映像を双方向に交換して対話を行うテレビ電話もしくはテレビ会議を実現するシステムに関するものである。
【０００２】
【従来の技術】
従来のテレビ通話システムとしては、パーソナルコンピュータのディスプレイに隣接させて小型のビデオカメラを設置し、インターネットなどを通じて映像を相互にやり取りするものがある。ところが、カメラの位置とディスプレイの位置とが一致しないため、ディスプレイに表示される相手の眼に視線を合わせても相手のディスプレイでは自分の視点が斜めに表示され、いわゆるアイコンタクトをすることができず、コミュニケーションのうち無意識的、生理的な部分が欠落してしまい意思疎通として非常に不自然になってしまう。
【０００３】
この課題に対し、従来のテレビ通話システムとしては、屋外でのインスタント写真シール自動撮影装置や、放送局のアナウンサーが使用するテロップ表示装置などで見られるように、ハーフミラーを使うことで同じ光軸上にカメラと表示装置とを配置する方法がある。
【０００４】
図３は、特許文献１による従来のテレビ通話システムの全体構成を示すブロック図である。特許文献１ではカメラと表示装置とを小型化したものとして、表示手段３０４に透過性を持たせることで表示手段の背面にカメラ３０２を配置する方法が考案されている。一般に動画は複数の静止画を順次高速に切り替えることで表示されるが、切り替えるタイミングに何も静止画が表示されていない期間（ブリンキング期間）を抽出し、そのタイミングでカメラ３０２からの入力を取り込めるスイッチ３０３を設けている。
【０００５】
図４は、特許文献２による従来のテレビ通話システムの全体構成を示すブロック図である。特許文献２では、表示手段４０２をレンチキュラーレンズなどを用いた立体表示デバイスにし、その左右両端に立体撮影用の２台のカメラ４０１Ｌ、４０１Ｒを配置することで、システムを介して会話する２人のユーザの間で視線を一致させる。
【０００６】
【特許文献１】
特開平７−１３１７６６号公報（第３頁、図３）
【特許文献２】
特開平１０−７５４３２号公報（第２−３頁、図１）
【０００７】
【発明が解決しようとする課題】
特許文献１にあるように、平面表示の際は、表示デバイスとカメラの光軸を一致させると視線を一致させることができる。しかし立体表示ではないため、相手が興味を持って身を乗り出してきているのか、興味が無いなどで身を引いているのかは判らなかった。パーソナルなコミュニケーションにおいては、平面表示により臨場感が失われるだけでなく、無意識的、生理的な情報が欠落してしまう。
【０００８】
特許文献２にあるように、従来の立体表示デバイスの左右両端にカメラを配置すると、カメラの間に顔を収めることになり、立体表示デバイスに表示した顔の眼の間隔に対してカメラの間隔が広くなるため、３次元表示の技術課題である「箱庭効果」が発生する。
【０００９】
箱庭効果とは、立体表示により得られる虚像が、実際より小さいものが実際より近くにあるように人間の目に認識されてしまう問題点がある。
【００１０】
そこで特許文献１と特許文献２の内容を組合せ、透過性のある立体表示デバイスの背面に立体撮影用のカメラを配置すれことを考える。ところが更に下記問題点が発生する。
【００１１】
（問題点１）テレビ通話装置とユーザとの距離が変化した場合、箱庭効果やその逆が発生してしまい、虚像の臨場感が失われる場合がある。この距離が増加した場合には、カメラの間隔を物理的もしくは論理的に狭めなければ箱庭効果が生じてしまう。
【００１２】
（問題点２）立体撮影用のカメラの位置と、表示される顔の相対位置がずれた場合、やはり視線が斜めになり、視線が一致しない。これを一致させるためには、顔のカメラに対する相対位置を一定に保つようにユーザが努力する必要がある。
【００１３】
（問題点３）パーソナルなコミュニケーション目的で用いる場合には、（例えば好意を持った）相手の虚像を実際よりも近くに引き寄せたり、逆に離したい場合がある。テレビ通話装置とユーザとの物理距離を変更すれば目的を達するが、立体表示デバイスの可能な表示画角や、カメラの配置の物理的な制約などから不可能であったり、あるいは、箱庭効果が発生したり、また物理距離の移動がユーザにとって煩雑であったりした。
【００１４】
本発明は上記従来の問題点を解決するもので、箱庭効果やその逆が発生せず、虚像の臨場感が失われることがないテレビ通話システムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
この目的を達成するために本発明のテレビ通話システムは、相互に接続された第１のテレビ通話装置（以下、「Ｃ１」という。）と第２のテレビ通話装置（以下、「Ｃ２」という。）から構成されるテレビ通話システムにおいて、前記Ｃ１が、前記Ｃ１の第１のユーザを撮影して立体映像（以下、「Ｖ１」という。）を出力する立体撮影手段と、前記Ｃ１から第１のユーザまでの距離であるユーザ距離（以下、「Ｌ１」という。）を得る距離認識手段と、前記Ｖ１と前記Ｌ１とをＣ２に送出する送出手段と、Ｃ２から送られるＣ２の第２のユーザを撮影した立体映像（以下、「Ｖ２」という。）とＣ２と第２のユーザまでの距離であるユーザ距離（以下、「Ｌ２」という。）とを受信する受信手段と、前記Ｌ１と前記Ｌ２とに依存させて前記Ｖ２を変換した正規化立体映像（以下、「Ｖ２Ｓ」という。）を出力する画像変換手段と、前記Ｖ２Ｓを入力して立体映像の虚像を表示する立体表示手段とを具備し、
前記画像変換手段が、第２のユーザがＣ２の前記立体表示手段に表示された第１のユーザの眼に視線をあわせた際に、Ｃ１の前記立体表示手段に立体表示される第２のユーザの虚像が第１のユーザに視線が合う画像に画像変換する構成を有している。
【００１６】
また、前記第２のユーザの虚像が、前記Ｌ１＋前記Ｌ２の距離でかつ虚像の大きさ第２のユーザの物理的な大きさに連動させる構成を有している。
【００１７】
更に、第２のユーザの虚像の大きさを保持したまま虚像の距離を第１のユーザの操作によって調整可能にする構成を有している。
【００１８】
【発明の実施の形態】
（実施の形態１）
図１は、本発明の実施の形態１におけるテレビ通話システムの全体構成を示すブロック図である。１００は第１のユーザ、１１０は第１のテレビ通話装置、１２０は通信回線、１３０は第２のテレビ通話装置、１４０は第２のユーザである。第１のテレビ通話装置１１０は、立体撮影手段１１１、撮影画像変換手段１１２、距離認識手段１１３、距離入力手段１１４、距離情報制御手段１１５、送信手段１１６、受信手段１１７、表示画像変換手段１１８、立体表示手段１１９とから構成されている。
【００１９】
以下その動作について説明する。第１のユーザ１００は第１のテレビ通話装置１１０を用いて第２のユーザ１４０と映像を用いた実時間コミュニケーションを行う。立体撮影手段１１１は、複数台のカメラを左右に配置して立体表示手段１１９に入力すれば立体表示できる形式の映像データを出力させるものである。撮影画像変換手段１１２は、立体撮影手段１１１の出力する映像データと距離情報制御手段１１５の出力する距離補正データとを入力する。そして、入力した映像データを、距離補正データにより補正した画像データに変換する。距離補正データは、上下左右方向の拡大率と、左右方向の座標シフトの値を含んでいる。距離認識手段１１３は、立体撮影手段１１１の出力する映像データを入力し、テレビ通話装置とユーザの間の距離を三角測量によって測定し、測定結果の第１のユーザの距離データを距離情報制御手段１１５に出力する。距離入力手段１１４は、第１のユーザ１００から、立体表示手段１１９に表示される第２のユーザ１４０の虚像の位置を実際の距離に対し相対的に近づけたり遠ざけたりするための補正パラメータを入力する。ここで実際の距離とは、第１のユーザ１００から第１のテレビ通話装置１１０（より正確には立体表示手段１１９）までの距離と、第２のテレビ通話装置１３０（より正確には立体撮影手段）間での距離の和である。距離情報制御手段１１５は、距離認識手段１１３からの第１のユーザ１００の距離データと、距離入力手段１１４からのパラメータと、受信手段１１７からの距離データとを入力する。そして、入力した情報を元に、撮影画像変換手段１１２と、表示画像変換手段１１８に対して別々の距離補正データを生成して出力する。距離補正データは、箱庭効果を抑制するように計算したものを生成する。送信手段１１６は、撮影画像変換手段１１２の出力する映像データと距離情報制御手段１１５の出力する距離データとを、通信回線１２０経由で第２のテレビ通話装置１３０へ向けて送出する。受信手段１１７は、通信回線１２０経由で第１のテレビ通話装置１１０から受け取った、映像データと第２のユーザ１４０の距離データとを受信する。表示画像変換手段１１８は、受信手段１１７からの映像データを、距離情報制御手段１１５の出力する距離補正データを用いて補正する。立体表示手段１１９は、透過性を有する立体表示デバイスである。例えば有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）デバイスなど自己発光の表示デバイスの前面に縦方向の微細なスリットを配置したものでよい。
【００２０】
図２は仮想的なカメラの位置を示す模式図である。図２（ａ）は、第１のテレビ通話装置１１０での位置関係を表す。すなわち第１のユーザ１００に対し、立体表示手段１１９は、第２のユーザ１４０の虚像１４０ｘを提示させるように、第１のテレビ通話装置１１０の距離情報制御手段１１５は距離補正データを生成させる。ここで、第１のユーザ１００と立体表示手段１１９との距離はＬ１である。
【００２１】
また図２（ｂ）は、第２のテレビ通話装置１３０での位置関係を表す。すなわち第２のユーザ１４０と第２のテレビ通話装置１３０の立体撮影手段との距離はＬ２である。ここで、カメラの位置及び第２のテレビ通話装置１３０の撮影画像変換手段での変換により立体撮影の認知される三次元空間上の仮想位置がＬ１だけ後ろになるように、第２のテレビ通話装置１３０の距離情報制御手段の撮影画像変換手段への距離補正データを生成させる。
【００２２】
図３は、以上の構成により第１のユーザ１００に認知される三次元空間を示す模式図である。
【００２３】
以上のように本実施の形態によれば、
（１）テレビ通話装置とユーザとの距離が変化した場合でも、箱庭効果やその逆が発生せず、虚像の臨場感が失われることがない。
【００２４】
（２）立体撮影用のカメラの位置と、表示される顔の相対位置がずれた場合であっても、画面上に表示される眼の位置が自動的に追跡され、これを一致させるために顔のカメラに対する相対位置を一定に保つようにユーザが努力する必要がない。
【００２５】
（３）相手の虚像を実際よりも近くに引き寄せたり、逆に離したいといった操作が、テレビ通話装置とユーザとの物理距離を変更することなく可能である。この操作を行っても、箱庭効果が生ずることはない。
【００２６】
【発明の効果】
以上のように本発明は、テレビ通話装置とユーザとの距離が変化した場合でも、箱庭効果やその逆が発生せず、虚像の臨場感が失われることがないという優れた効果が得られる。
【００２７】
また、立体撮影用のカメラの位置と、表示される顔の相対位置がずれた場合であっても、画面上に表示される眼の位置が自動的に追跡され、これを一致させるために顔のカメラに対する相対位置を一定に保つようにユーザが努力する必要がないという優れた効果が得られる。
【００２８】
さらに、相手の虚像を実際よりも近くに引き寄せたり、逆に離したいといった操作が、テレビ通話装置とユーザとの物理距離を変更することなく可能である。この操作を行っても、箱庭効果が生ずることがないという優れた効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるテレビ通話システムの全体構成を示すブロック図
【図２】仮想的なカメラの位置を示す模式図
【図３】ユーザにより認知される三次元空間を示す模式図
【図４】特許文献１による従来のテレビ通話システムの全体構成を示すブロック図
【図５】特許文献２による従来のテレビ通話システムの全体構成を示すブロック図
【符号の説明】
１００ 第１のユーザ
１１０ 第１のテレビ通話装置
１１１ 立体撮影手段
１１２ 撮影画像変換手段
１１３ 距離認識手段
１１４ 距離入力手段
１１５ 距離情報制御手段
１１６ 送信手段
１１７ 受信手段
１１８ 表示画像変換手段
１１９ 立体表示手段
１２０ 通信回線
１３０ 第２のテレビ通話装置
１４０ 第２のユーザ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a system for realizing a videophone or videoconference in which a video is bidirectionally exchanged using a communication line to perform a conversation.
[0002]
[Prior art]
2. Description of the Related Art As a conventional video communication system, there is a video communication system in which a small video camera is installed adjacent to a display of a personal computer and images are mutually exchanged through the Internet or the like. However, because the position of the camera does not match the position of the display, the user's viewpoint is displayed diagonally on the other party's display even if the user's eyes are aligned with the other person's eye displayed on the display, making it possible to make so-called eye contact. Instead, the unconscious and physiological parts of communication are lost, and communication becomes very unnatural.
[0003]
To solve this problem, conventional video calling systems use the same optical axis by using a half mirror, as seen in automatic instant photo sticker outdoor shooting devices and telop display devices used by broadcaster announcers. There is a method of arranging a camera and a display device above.
[0004]
FIG. 3 is a block diagram showing an overall configuration of a conventional video communication system according to Patent Document 1. As shown in FIG. Patent Literature 1 proposes a method in which the camera and the display device are reduced in size, and the camera 302 is arranged on the back of the display means by giving transparency to the display means 304. Generally, a moving image is displayed by sequentially switching a plurality of still images at high speed. At a switching timing, a period in which no still image is displayed (a blinking period) is extracted, and an input from the camera 302 is input at that timing. A switch 303 that can be loaded is provided.
[0005]
FIG. 4 is a block diagram showing the overall configuration of a conventional video communication system according to Patent Document 2. As shown in FIG. In Patent Literature 2, the display means 402 is a stereoscopic display device using a lenticular lens or the like, and two cameras 401L and 401R for stereoscopic photography are arranged at the left and right ends of the display means 402. Match eyes between users.
[0006]
[Patent Document 1]
JP-A-7-131766 (page 3, FIG. 3)
[Patent Document 2]
JP-A-10-75432 (page 2-3, FIG. 1)
[0007]
[Problems to be solved by the invention]
As described in Patent Literature 1, in planar display, the eyes can be matched by matching the optical axes of the display device and the camera. However, since it was not a three-dimensional display, it was not known whether the other party was leaning out with interest or not because they were not interested. In personal communication, planar display not only loses the sense of presence, but also loses unconscious and physiological information.
[0008]
As described in Patent Literature 2, when cameras are arranged at the left and right ends of a conventional three-dimensional display device, a face is inserted between the cameras, and the distance between the eyes of the face displayed on the three-dimensional display device is smaller than the distance between the cameras. Is increased, so that a “miniature garden effect”, which is a technical problem of three-dimensional display, occurs.
[0009]
The miniature garden effect has a problem in that a virtual image obtained by stereoscopic display is recognized by the human eye as an image smaller than the actual one is closer to the actual one.
[0010]
Therefore, it is considered that the contents of Patent Literature 1 and Patent Literature 2 are combined to arrange a camera for stereoscopic photography on the back of a transparent stereoscopic display device. However, the following problem further occurs.
[0011]
(Problem 1) When the distance between the video communication device and the user changes, a miniature garden effect or the reverse occurs, and the sense of reality of the virtual image may be lost. When this distance increases, a miniature garden effect occurs unless the distance between the cameras is reduced physically or logically.
[0012]
(Problem 2) If the position of the camera for stereoscopic imaging and the relative position of the displayed face deviate, the line of sight also becomes oblique and the lines of sight do not match. In order to make this coincide, the user must make an effort to keep the relative position of the face to the camera constant.
[0013]
(Problem 3) When used for personal communication purposes, there is a case where a virtual image of a partner (for example, with a favorable impression) is desired to be drawn closer to the actual object or to be separated from the actual image. Changing the physical distance between the video communication device and the user achieves the purpose, but it is impossible due to the display angle of view of the stereoscopic display device and the physical restrictions of the camera arrangement, or the miniature garden effect. Occasionally, the movement of the physical distance is complicated for the user.
[0014]
SUMMARY OF THE INVENTION An object of the present invention is to solve the above-mentioned conventional problems, and an object of the present invention is to provide a video communication system in which a miniature garden effect and the reverse are not generated, and a sense of realism of a virtual image is not lost.
[0015]
[Means for Solving the Problems]
In order to achieve this object, the video communication system according to the present invention comprises a first video communication device (hereinafter referred to as "C1") and a second video communication device (hereinafter referred to as "C2") connected to each other. ), The C1 captures a first user of the C1 and outputs a stereoscopic video (hereinafter, referred to as “V1”); Distance recognition means for obtaining a user distance (hereinafter, referred to as "L1") which is a distance to a user, sending means for sending the V1 and L1 to C2, and C2 second user sent from C2. Receiving means for receiving the photographed stereoscopic video (hereinafter, referred to as “V2”), a user distance (hereinafter, referred to as “L2”), which is a distance between C2 and a second user, and the L1 and the L2; Depends on the said Normalization stereoscopic video 2 was converted (hereinafter, referred to as. "V2S") comprising an image converting means for outputting, and a stereoscopic display means for displaying a virtual image of a stereoscopic image by entering the V2S,
A second user stereoscopically displayed on the three-dimensional display unit of C1 when the image conversion unit adjusts his / her gaze to an eye of the first user displayed on the three-dimensional display unit of C2 by the second user; Has a configuration in which the virtual image is image-converted into an image that matches the line of sight of the first user.
[0016]
Further, the virtual image of the second user is configured to be linked to the physical size of the second user at the distance of L1 + the L2 and the size of the virtual image.
[0017]
Further, a configuration is provided in which the distance of the virtual image can be adjusted by the operation of the first user while maintaining the size of the virtual image of the second user.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
(Embodiment 1)
FIG. 1 is a block diagram showing an overall configuration of a video communication system according to Embodiment 1 of the present invention. 100 is a first user, 110 is a first video communication device, 120 is a communication line, 130 is a second video communication device, and 140 is a second user. The first video communication device 110 includes a stereoscopic photographing unit 111, a photographed image converting unit 112, a distance recognizing unit 113, a distance input unit 114, a distance information control unit 115, a transmitting unit 116, a receiving unit 117, a display image converting unit 118, And a three-dimensional display means 119.
[0019]
The operation will be described below. The first user 100 performs real-time communication using a video with the second user 140 using the first video communication device 110. The stereoscopic photographing unit 111 outputs video data in a format that can be stereoscopically displayed when a plurality of cameras are arranged on the left and right and input to the stereoscopic display unit 119. The captured image conversion unit 112 receives the video data output from the stereoscopic imaging unit 111 and the distance correction data output from the distance information control unit 115. Then, the input video data is converted into image data corrected by the distance correction data. The distance correction data includes an enlargement ratio in the vertical and horizontal directions and a coordinate shift value in the horizontal direction. The distance recognizing unit 113 receives the video data output from the stereoscopic photographing unit 111, measures the distance between the video communication device and the user by triangulation, and uses the distance data of the first user in the measurement result as the distance information controlling unit. Output to 115. The distance input unit 114 inputs, from the first user 100, a correction parameter for relatively moving the position of the virtual image of the second user 140 displayed on the stereoscopic display unit 119 closer to or farther from the actual distance. I do. Here, the actual distance means the distance from the first user 100 to the first video communication device 110 (more precisely, the stereoscopic display means 119) and the second video communication device 130 (more precisely, three-dimensional imaging). Means). The distance information control unit 115 inputs the distance data of the first user 100 from the distance recognition unit 113, the parameter from the distance input unit 114, and the distance data from the reception unit 117. Then, based on the input information, separate distance correction data is generated and output to the captured image conversion unit 112 and the display image conversion unit 118. The distance correction data is calculated so as to suppress the miniature garden effect. The transmission unit 116 transmits the video data output by the captured image conversion unit 112 and the distance data output by the distance information control unit 115 to the second video communication device 130 via the communication line 120. The receiving unit 117 receives the video data and the distance data of the second user 140 received from the first video communication device 110 via the communication line 120. The display image conversion unit 118 corrects the video data from the reception unit 117 using the distance correction data output from the distance information control unit 115. The stereoscopic display unit 119 is a stereoscopic display device having transparency. For example, a device in which a vertical fine slit is arranged on the front surface of a self-luminous display device such as an organic EL (Electro Luminescence) device may be used.
[0020]
FIG. 2 is a schematic diagram showing the position of a virtual camera. FIG. 2A shows a positional relationship in the first video communication device 110. That is, to the first user 100, the stereoscopic display means 119 causes the distance information control means 115 of the first video communication device 110 to generate distance correction data so that the virtual image 140x of the second user 140 is presented. Here, the distance between the first user 100 and the stereoscopic display unit 119 is L1.
[0021]
FIG. 2B shows a positional relationship in the second video communication device 130. That is, the distance between the second user 140 and the stereoscopic photographing means of the second video communication device 130 is L2. Here, the second videophone call is performed such that the virtual position in the three-dimensional space where stereoscopic imaging is recognized by the camera position and the conversion by the captured image conversion unit of the second videophone device 130 is L1 behind. The distance information control unit of the device 130 generates distance correction data to the captured image conversion unit.
[0022]
FIG. 3 is a schematic diagram showing a three-dimensional space recognized by the first user 100 by the above configuration.
[0023]
As described above, according to the present embodiment,
(1) Even when the distance between the video communication device and the user changes, the miniature garden effect or the reverse does not occur, and the sense of reality of the virtual image is not lost.
[0024]
(2) Even if the relative position of the displayed face deviates from the position of the camera for stereoscopic imaging, the position of the eye displayed on the screen is automatically tracked, and There is no need for the user to try to keep the position of the face relative to the camera constant.
[0025]
(3) An operation of drawing a virtual image of the other party closer to the actual image or releasing the virtual image can be performed without changing the physical distance between the video communication device and the user. Even if this operation is performed, the miniature garden effect does not occur.
[0026]
【The invention's effect】
As described above, according to the present invention, even when the distance between the video communication device and the user changes, an excellent effect is obtained in which the miniature garden effect or the reverse does not occur and the realism of the virtual image is not lost.
[0027]
In addition, even if the position of the camera for stereoscopic imaging and the relative position of the displayed face deviate, the position of the eye displayed on the screen is automatically tracked, and the face is adjusted to match this. An excellent effect is obtained that the user does not need to make an effort to keep the relative position of the camera to the camera constant.
[0028]
Furthermore, an operation of drawing a virtual image of the other party closer to the actual situation or releasing the virtual image of the other party can be performed without changing the physical distance between the video communication device and the user. Even if this operation is performed, an excellent effect that the miniature effect does not occur can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of a video communication system according to Embodiment 1 of the present invention. FIG. 2 is a schematic diagram showing a position of a virtual camera. FIG. 3 shows a three-dimensional space recognized by a user. FIG. 4 is a block diagram showing the entire configuration of a conventional video communication system according to Patent Document 1. FIG. 5 is a block diagram showing the entire configuration of a conventional video communication system according to Patent Document 2.
100 first user 110 first video communication device 111 stereoscopic photographing means 112 photographed image converting means 113 distance recognizing means 114 distance input means 115 distance information controlling means 116 transmitting means 117 receiving means 118 display image converting means 119 stereoscopic displaying means 120 Communication line 130 second videophone 140 second user
