JP2011113206A - System and method for video image communication - Google Patents
System and method for video image communication Download PDFInfo
- Publication number
- JP2011113206A JP2011113206A JP2009267735A JP2009267735A JP2011113206A JP 2011113206 A JP2011113206 A JP 2011113206A JP 2009267735 A JP2009267735 A JP 2009267735A JP 2009267735 A JP2009267735 A JP 2009267735A JP 2011113206 A JP2011113206 A JP 2011113206A
- Authority
- JP
- Japan
- Prior art keywords
- display
- video
- viewpoint position
- user
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、映像コミュニケーションに係り、2次元ディスプレイを1枚の窓に見立てて、ユーザがあたかも対話相手の空間を窓越しに、互いが覗いているかのように、ユーザの視点位置に応じて、その位置から見える対話相手の空間の映像をディスプレイに表示すること(運動視差)を実現し、奥行き表現を行う映像コミュニケーションシステム、及び映像コミュニケーション方法に関する。 The present invention relates to video communication, in which a two-dimensional display is viewed as a single window, and as if the users are looking through each other's space through the window according to the user's viewpoint position, The present invention relates to a video communication system and a video communication method for realizing a depth expression by realizing that a video of a conversation partner's space seen from the position is displayed on a display (motion parallax).
映像コミュニケーションにおいて、対話相手とあたかも対面しているかのように、対話相手をユーザにどのような映像として提示するかが重要である。従来、映像コミュニケーションにおいては、あたかも実物大の対話相手が目の前にいるように感じさせるために、対話相手の人物を2次元ディスプレイ上に実物大に映す方式が考えられている(例えば、特許文献1参照)。 In video communication, it is important to present the conversation partner as a video to the user as if it is facing the conversation partner. Conventionally, in video communication, in order to make it feel as if a real-size conversation partner is in front of you, there has been considered a method in which a person who is a conversation partner is projected on a two-dimensional display in real size (for example, patents). Reference 1).
対面会話において、対人間の距離感は、話しやすさや、緊張感に影響を与え重要である(参考文献1:エドワードホール、かくれた次元、2000、みすず書房)。しかしながら、従来の2次元ディスプレイに映された対話相手では、どの位置から映像を観察しても2次元ディスプレイに表示された映像は変化しない。視点位置による画像変化が無いため、奥行き情報が欠落し、対話相手との距離の表現ができなかった。 In face-to-face conversations, the sense of distance between humans is important because it affects the ease of speaking and tension (Reference 1: Edward Hall, Hidden Dimensions, 2000, Misuzu Shobo). However, in a conversation partner displayed on a conventional two-dimensional display, the image displayed on the two-dimensional display does not change regardless of the position at which the image is observed. Since there was no image change depending on the viewpoint position, depth information was missing and the distance to the conversation partner could not be expressed.
ところで、実際に、対話相手が目の前にいるように感じさせるためには、実物大表示だけでは不十分である。例えば、ディスプレイ上に等身大に表示されている人物を見ても、個人によって人物がディスプレイよりも前や、後ろにいるように感じたり、そもそもどの奥行き位置にいるのかが把握できないために、実物より大きい、もしくは小さい人物がいるように感じられ、対話相手を等身大に感じることができない。このように、従来技術では、距離感が表現できないために、対面会話のように距離による会話への効果を期待することができない。 By the way, the actual size display alone is not enough to make it feel like the other party is in front of you. For example, even if you see a person who is displayed on the display in a life-size manner, the person may feel that the person is in front of or behind the display, or the depth position in the first place. It feels like there is a larger or smaller person, and the conversation partner cannot be felt life-size. As described above, since the conventional technology cannot express a sense of distance, it cannot be expected to have an effect on conversation by distance as in face-to-face conversation.
また、従来技術では、ユーザが映像中の対話相手とどれくらいの距離にいるのかを、把握することができなかったため、対面会話と同様に、対人距離を適度に調節することや、距離の遠近によってもたらせる緊張感が感じられなかった。さらに、対話相手の視線や、姿勢がどこを向いているのかが分からなかったことに加えて、遠隔地に存在する対話相手とあたかも同じ空間を共有している感覚(臨場感)が欠落していた。 In addition, in the prior art, it was impossible to grasp how far the user was from the conversation partner in the video, so as with face-to-face conversation, the interpersonal distance could be adjusted appropriately, I couldn't feel the tension I could bring. Furthermore, in addition to not knowing where the conversation partner's line of sight and attitude is facing, the sense of sharing the same space with the conversation partner in the remote location (realism) is missing. It was.
本発明は、このような事情を考慮してなされたものであり、その目的は、ユーザに映像中の対話相手との距離感、現実感を与えることができる映像コミュニケーションシステム、及び映像コミュニケーション方法を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide a video communication system and a video communication method capable of giving a user a sense of distance and reality with a conversation partner in a video. It is to provide.
上述した課題を解決するために、本発明は、少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、前記撮像側の映像伝送装置で撮影した映像を前記表示側の映像伝送装置に伝送する映像コミュニケーションシステムであって、前記撮像側の映像伝送装置は、前記撮像側の人物を含む2次元画像を撮影し、該2次元画像と撮影時の撮影条件とを取得する画像取得手段を備え、前記表示側の映像伝送装置は、前記表示側の人物の視点位置を検出する視点位置検出手段と、前記撮像側の2次元画像を表示する映像表示手段とを備え、前記撮像側の映像伝送装置は、前記視点位置検出手段により検出された前記表示側の人物の視点位置と前記画像取得手段の視線位置とを一致させるべく、前記画像取得手段の位置・姿勢を制御する位置制御手段を備え、前記表示側の映像伝送装置は、前記視点位置検出手段により検出された前記表示側の人物の視点位置と、前記画像取得手段により取得された2次元画像及び撮影時の撮影条件と、前記表示側の前記映像表示手段のディスプレイ情報とに基づいて、前記映像表示手段に表示するための、前記表示側の人物の視点位置に応じた撮像側の2次元画像を生成する視点位置画像生成手段とを備えることを特徴とする映像コミュニケーションシステムである。 In order to solve the above-described problem, the present invention provides a video transmission on the display side at least between a video transmission device on the imaging side and a video transmission device on the display side. An image communication system for transmitting to an apparatus, wherein the imaging-side video transmission apparatus captures a two-dimensional image including a person on the imaging side and acquires the two-dimensional image and a photographing condition at the time of photographing. The display-side video transmission device includes viewpoint position detection means for detecting the viewpoint position of the display-side person, and video display means for displaying the two-dimensional image on the imaging side. The video transmission apparatus according to the present invention is a position for controlling the position / posture of the image acquisition means so that the viewpoint position of the person on the display side detected by the viewpoint position detection means matches the line-of-sight position of the image acquisition means. The display-side video transmission apparatus includes the viewpoint position of the display-side person detected by the viewpoint position detection unit, the two-dimensional image acquired by the image acquisition unit, and the shooting conditions at the time of shooting. And a viewpoint position for generating a two-dimensional image on the imaging side corresponding to the viewpoint position of the person on the display side to display on the video display means based on the display information of the video display means on the display side An image communication system comprising image generation means.
本発明は、上記の発明において、前記視点位置画像生成手段は、前記画像取得手段によって撮影された撮像側の人物を含む2次元画像と、前記撮影時の撮影条件と、前記表示側の前記映像表示手段のディスプレイ情報とを入力する入力手段と、前記入力手段により入力された、前記撮影時の撮影条件に基づいて、前記画像取得手段によって撮影された撮像側の人物を含む2次元画像の実寸の大きさ情報を算出する2次元画像実寸算出手段と、前記画像取得手段によって撮影された撮像側の人物を含む2次元画像と、前記2次元画像実寸算出手段により算出された前記2次元画像の実寸の大きさ情報と、前記撮影時の撮影条件と、前記表示側の映像表示手段のディスプレイ情報とに基づいて、前記撮像側の前記映像表示手段に表示すべき、前記表示側の人物の視点位置に応じた撮像側の2次元画像を生成する画像生成手段とを備えることを特徴とする。 According to the present invention, in the above invention, the viewpoint position image generation unit includes a two-dimensional image including a person on the imaging side photographed by the image obtaining unit, photographing conditions at the time of photographing, and the video on the display side. An input means for inputting display information of the display means; and an actual size of a two-dimensional image including the person on the imaging side photographed by the image acquisition means based on the photographing conditions at the time of photographing input by the input means A two-dimensional image actual size calculating means for calculating the size information of the image, a two-dimensional image including the person on the imaging side photographed by the image acquiring means, and the two-dimensional image actual size calculating means Based on the actual size information, the shooting conditions at the time of shooting, and the display information of the video display means on the display side, to be displayed on the video display means on the imaging side, Characterized in that it comprises an image generating means for generating a two-dimensional image of the imaging-side in accordance with the person of the viewpoint position of 示側.
本発明は、上記の発明において、前記画像生成手段は、前記表示側の人物の視点位置から、前記画像取得手段の撮影時の焦点距離だけ離れた位置にある、前記2次元画像の実寸の大きさ情報で示される大きさを有する、前記画像取得手段によって撮影された撮像側の人物を含む2次元画像を、前記表示側の映像表示手段のディスプレイ面に射影変換処理することで、前記表示側の人物の視点位置に応じた撮像側の2次元画像を生成することを特徴とする。 According to the present invention, in the above-described invention, the image generation unit is an actual size of the two-dimensional image located at a position separated from a viewpoint position of the person on the display side by a focal length at the time of photographing by the image acquisition unit. A projection conversion process is performed on the display surface of the video display means on the display side by converting a two-dimensional image including the person on the imaging side photographed by the image acquisition means having the size indicated by the information information to the display side A two-dimensional image on the imaging side corresponding to the viewpoint position of the person is generated.
本発明は、上記の発明において、前記撮影時の撮影条件は、少なくとも、前記画像取得手段の撮影時の焦点距離と前記画像取得手段の撮影時の画角とを含むことを特徴とする。 The present invention is characterized in that, in the above invention, the photographing condition at the time of photographing includes at least a focal length at the time of photographing by the image obtaining unit and an angle of view at the time of photographing by the image obtaining unit.
本発明は、上記の発明において、前記ディスプレイ情報は、少なくとも、前記映像表示手段の解像度と、高さ・幅の実寸サイズとを含む。 In the present invention according to the present invention, the display information includes at least the resolution of the video display means and the actual size of height and width.
また、上述した課題を解決するために、本発明は、少なくとも撮像側の映像伝送装置と表示側の映像伝送装置との間で、前記撮像側の映像伝送装置で撮影した映像を前記表示側の映像伝送装置に伝送する映像コミュニケーション方法であって、前記表示側の映像伝送装置が、視点位置検出手段により、前記表示側の人物の視点位置を検出するステップと、前記撮像側の映像伝送装置が、画像取得手段により、前記撮像側の人物を含む2次元画像を撮影し、該2次元画像と撮影時の撮影条件とを取得するステップと、前記表示側の人物の視点位置と前記撮影手段の視線位置とを一致させるべく、前記画像取得手段の位置・姿勢を制御するステップと、前記表示側の人物の視点位置と、前記画像取得手段により取得された2次元画像及び撮影時の撮影条件と、前記表示側の映像表示手段のディスプレイ情報とに基づいて、前記映像表示手段に表示するための、前記表示側の人物の視点位置に応じた前記撮像側の2次元画像を生成するステップと前記表示側の人物の視点位置に応じた前記撮像側の2次元画像を、前記表示側の映像表示手段に表示するステップとを含むことを特徴とする映像コミュニケーション方法である。 Further, in order to solve the above-described problem, the present invention provides an image captured by the imaging-side video transmission device at least between the imaging-side video transmission device and the display-side video transmission device. A video communication method for transmitting to a video transmission apparatus, wherein the display-side video transmission apparatus detects a viewpoint position of the display-side person by viewpoint position detection means, and the imaging-side video transmission apparatus includes: Taking a two-dimensional image including the person on the imaging side by the image obtaining means, obtaining the two-dimensional image and photographing conditions at the time of photographing, and the viewpoint position of the person on the display side and the photographing means In order to match the line-of-sight position, the step of controlling the position / posture of the image acquisition means, the viewpoint position of the person on the display side, the two-dimensional image acquired by the image acquisition means and Based on the shadow condition and the display information of the video display means on the display side, a two-dimensional image on the imaging side corresponding to the viewpoint position of the person on the display side to be displayed on the video display means is generated. And a step of displaying a two-dimensional image on the imaging side corresponding to the viewpoint position of the person on the display side on the video display means on the display side.
この発明によれば、ユーザの視点(目の位置)に応じて、対話相手の映像を変化させるという運動視差を実現し、距離に応じた人物サイズで対話相手を表示することで、ユーザに映像中の対話相手との距離感、現実感を与えることができる。 According to the present invention, the motion parallax of changing the conversation partner's video in accordance with the user's viewpoint (eye position) is realized, and the conversation partner is displayed with a person size corresponding to the distance, so that the video is displayed to the user. Can give a sense of distance and reality with the conversation partner.
以下、本発明の一実施形態を、図面を参照して説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
A.発明の原理
本件発明は、映像コミュニケーションにおいて、センサ(カメラなど)で検知したディスプレイに対するユーザの目の位置に応じて、対話相手側のカメラの位置・姿勢を動かし、当該カメラの撮像画像(対話相手)を、ユーザ側のディスプレイ面に投影した画像を当該ディスプレイに表示することを特徴とする。これにより、ユーザの目の位置の動き(頭の動き)に応じた対話相手の画像を見ることができるため、運動視差によって高臨場感を得るものである。
A. Principle of the Invention In the present invention, in video communication, the position / posture of a camera on the other side of the conversation is moved according to the position of the user's eyes relative to the display detected by a sensor (camera, etc.) ) Is projected on the display surface of the user side and displayed on the display. Thereby, since the image of the conversation partner according to the movement of the eye position of the user (head movement) can be seen, a high presence is obtained by motion parallax.
すなわち、本発明は、2地点での映像コミュニケーションにおいて、ディスプレイを1枚の窓に見立てて、ユーザと対話相手とが互いにあたかも相手の空間を窓越しに覗いているかのように、ユーザの視点位置に応じて、その位置から見える対話相手の空間の映像をディスプレイに表示すること(運動視差)を実現し、映像中の対話相手の奥行き位置を表現することを特徴としている。 That is, according to the present invention, in the video communication at two points, the user's viewpoint position is as if the user and the conversation partner are looking into each other's space through the window with the display as a single window. Accordingly, it is possible to display an image of the conversation partner's space seen from the position on the display (motion parallax) and to express the depth position of the conversation partner in the image.
図1は、本発明による映像表示のイメージを示す概念図である。図1において、ユーザ1が視点を変えると(3軸移動に対応)、映像中の対話相手2の奥行き位置(対話相手2とその背景の壁3)を、その視点の変化に応じて2次元ディスプレイ4上に表示することで、対話相手2の見え方があたかも現実のように再現される。
FIG. 1 is a conceptual diagram illustrating an image display image according to the present invention. In FIG. 1, when the
すなわち、ユーザ1が位置P1にて2次元ディスプレイ4に対峙する場合には、対話相手2を正面から見ているように表示し、ユーザ1が左側の位置P2から見ている場合には、対話相手2、及びその背景にある壁3との位置関係(奥行き)を反映し、対話相手2を左側から見ているように表示し、ユーザ1が右側の位置P3から見ている場合には、対話相手2、及びその背景にある壁3との位置関係(奥行き)を反映し、対話相手2を右側から見ているように表示する。本発明を実現するためには、ディスプレイ4に対するユーザ1の視点位置を検出し、検出された視点位置に応じた対話相手2の映像を撮像・表示を行う。本発明の概要を以下に説明する。
That is, when the
図2は、本発明の概要を説明するための概念図である。地点A側のユーザ1の視点位置V1に応じて、地点B側の対話相手2を撮影するカメラ5の位置・姿勢を制御して、ユーザ1の視点位置V1と、対話相手2に対するカメラ5の視点位置V2とを一致させることで、ユーザ1の位置から見えるべき映像を、常に、カメラ5で撮影し、ディスプレイ4にその映像を投影する。これにより、ディスプレイ4を一枚の窓に見立てて、あたかも対話相手2の空間を窓越しに覗いているような映像表現が実現される。
FIG. 2 is a conceptual diagram for explaining the outline of the present invention. In accordance with the viewpoint position V1 of the
B.実施形態
図3は、本実施形態による、映像コミュニケーション装置の構成を示すブロック図である。図示の映像コミュニケーション装置は、ユーザ1(以下、ユーザA)、及び対話相手2(以下、ユーザB)のそれぞれに用意され、双方向通信を介して使用される。以下では、ユーザAのディスプレイにユーザBの空間映像を表示するときについて説明する。
B. Embodiment FIG. 3 is a block diagram illustrating a configuration of a video communication apparatus according to the present embodiment. The illustrated video communication apparatus is prepared for each of a user 1 (hereinafter referred to as user A) and a conversation partner 2 (hereinafter referred to as user B), and is used via two-way communication. Hereinafter, a case where the user B's spatial video is displayed on the user A's display will be described.
画像取得部(ユーザB)10は、図2のカメラ5に相当し、ユーザBの2次元映像、及び画像取得時のカメラ焦点距離、カメラ画角を取得し、視点位置画像生成部(ユーザA)13にネットワークなどの通信回線を介して供給する。視点位置検出部(ユーザA)11は、顔認識、及びステレオマッチングを用いた画像処理技術や、光学式または磁気式のモーショントラッキング技術等を用いて、ディスプレイ4(図1、図2参照)に対して、ユーザAの視点(目)位置がどこにあるかを示すユーザAの視点位置V(Vx,Vy,Vz)を取得し、位置制御部(ユーザB)12に供給する。
The image acquisition unit (user B) 10 corresponds to the
次に、位置制御部(ユーザB)12は、ディスプレイ6(図2参照)に対するユーザBの画像取得部(ユーザB)10、すなわちカメラ5の位置を、ユーザAの視点位置V(Vx,Vy,Vz)に合わせる(追従させる)べく、画像取得部(ユーザB)10の位置・姿勢を制御する。このとき、ユーザAの視点位置V(Vx,Vy,Vz)は、図2に示したように、ユーザBから見てディスプレイ6の裏側に位置する。そのため、ユーザBを撮影するために工夫が必要である。
Next, the position control unit (user B) 12 determines the position of the image acquisition unit (user B) 10 of the user B, that is, the
例えば、ディスプレイ6を透過型のものにする。あるいは、ディスプレイ6とユーザBとの間にハーフミラー(図示略)を、画像取得部(ユーザB)10の平面の法線とハーフミラーの法線とのなす角度が45度となるように設置し、画像取得部(ユーザB)10を該ハーフミラーの上方または下方に配置し、仮想的にユーザ視点位置と同じ位置にする。また、位置・姿勢制御の際に、前後方向の移動としては、画像取得部(ユーザB)10を物理的に移動させる他に、画像取得部(ユーザB)10の光学ズームや、デジタルズームなども利用可能である。 For example, the display 6 is a transmissive type. Alternatively, a half mirror (not shown) is installed between the display 6 and the user B so that the angle formed by the normal line of the plane of the image acquisition unit (user B) 10 and the normal line of the half mirror is 45 degrees. Then, the image acquisition unit (user B) 10 is arranged above or below the half mirror so as to be virtually the same position as the user viewpoint position. Further, in the position / posture control, as the movement in the front-rear direction, in addition to physically moving the image acquisition unit (user B) 10, an optical zoom or a digital zoom of the image acquisition unit (user B) 10 is also included. Is available.
また、このとき、画像取得部(ユーザB)10の向き(姿勢)は、ディスプレイの方向に向けておく。例えば、常に画像取得部(ユーザB)10のレンズの光軸がディスプレイ6の中心を通るようにする。以後、この条件下で説明をする。 At this time, the orientation (posture) of the image acquisition unit (user B) 10 is directed toward the display. For example, the optical axis of the lens of the image acquisition unit (user B) 10 always passes through the center of the display 6. Hereinafter, description will be made under this condition.
次に、視点位置画像生成部(ユーザA)13は、画像取得部(ユーザB)10、すなわちカメラ5によって撮影された、ユーザBの2次元画像、ならびに、カメラ焦点距離、カメラ画角、及び視点位置検出部(ユーザA)11によって検出された、ディスプレイ位置に対するユーザAの視点位置V(Vx,Vy,Vz)を入力とし、ユーザA側の映像表示部(ユーザA)14で出力すべき、ユーザAの視点位置V(Vx,Vy,Vz)に応じた、ユーザBの2次元画像を生成する。
Next, the viewpoint position image generation unit (user A) 13 captures the two-dimensional image of the user B taken by the image acquisition unit (user B) 10, that is, the
映像表示部(ユーザA)14は、視点位置画像生成部(ユーザA)13によって生成された、ユーザAの視点位置V(Vx,Vy,Vz)に応じた、ユーザBの2次元画像を表示する。 The video display unit (user A) 14 is a two-dimensional user B according to the viewpoint position V (V x , V y , V z ) of the user A generated by the viewpoint position image generation unit (user A) 13. Display an image.
図4は、本実施形態による、ユーザAの視点位置に応じた、ユーザBの2次元画像の生成方法を説明するための概念図である。図4に示すように、ユーザB側において、ユーザBのディスプレイ6を通して、ユーザAの視点位置V(Vx,Vy,Vz)に一致するように、位置・姿勢制御された画像取得部(ユーザB)10によって撮影されたユーザBの2次元画像を、ユーザA側において、ユーザAのディスプレイ4面に射影することで、ユーザAの視点位置V(Vx,Vy,Vz)に応じた、ユーザBの2次元画像が生成される。
FIG. 4 is a conceptual diagram for explaining a method for generating a two-dimensional image of the user B according to the viewpoint position of the user A according to the present embodiment. As shown in FIG. 4, on the user B side, an image acquisition unit whose position and orientation are controlled so as to coincide with the viewpoint position V (V x , V y , V z ) of the user A through the display 6 of the user B. (User B) By projecting the two-dimensional image of user B taken by
次に、本実施形態の主要動作について説明する。
図5は、本実施形態による、視点位置画像生成部(ユーザA)13での動作を説明するためのフローチャートである。視点位置画像生成部(ユーザA)13は、まず、画像取得部(ユーザB)10によって撮影された、ユーザBの2次元画像、ならびに、カメラ焦点距離、カメラ画角、ユーザA側の映像表示部14のディスプレイ情報(ディスプレイ4の解像度、高さ・幅の実寸サイズ)を入力する(ステップS10)。次に、視点位置画像生成部(ユーザA)13は、ユーザBの2次元画像にその実寸の大きさ情報を算出して付与する(ステップS11)。
Next, the main operation of this embodiment will be described.
FIG. 5 is a flowchart for explaining the operation of the viewpoint position image generation unit (user A) 13 according to the present embodiment. First, the viewpoint position image generation unit (user A) 13 displays a two-dimensional image of the user B taken by the image acquisition unit (user B) 10, a camera focal length, a camera angle of view, and a video display on the user A side. Display information (resolution of display 4, actual size of height and width) of
ここで、ユーザBの2次元画像の実寸の大きさ情報の算出方法について以下に述べる。
図6は、本実施形態において、ユーザBの2次元画像の実寸の大きさ情報の算出方法を説明するための概念図である。図6に示す、ユーザBの2次元画像の高さαh、幅αwは、カメラ画角(縦θh、横θw)、カメラ焦点距離Dを用いて、次式(1)、(2)で算出される。
Here, a method for calculating the actual size information of the two-dimensional image of the user B will be described below.
FIG. 6 is a conceptual diagram for explaining a calculation method of the actual size information of the two-dimensional image of the user B in the present embodiment. The height α h and width α w of the two-dimensional image of the user B shown in FIG. 6 are expressed by the following equations (1) and (1) using the camera angle of view (vertical θ h and horizontal θ w ) and the camera focal length D. 2).
次に、視点位置画像生成部(ユーザA)13は、カメラ焦点距離D、大きさ情報を持つ、ユーザBの2次元画像(高さαh、幅αw)、ユーザAの映像表示部14のディスプレイ情報を用いて、ユーザAの映像表示部14に表示すべき画像を生成する(ステップS12)。生成画像は、図4のように、ユーザAの視点位置V(Vx,Vy,Vz)(=カメラの視点位置)から、カメラ焦点距離だけ離れた位置にある、大きさ情報を持つ、ユーザBの2次元画像を、ユーザAの映像表示部14のディスプレイ面に透視投影などの射影を行うことで取得できる。
Next, the viewpoint position image generation unit (user A) 13 has a camera focal length D and size information, and has a two-dimensional image (height α h and width α w ) of the user B, and a
まず、ユーザAの視点位置、ユーザBの2次元画像、ユーザAへの映像表示部14のディスプレイ位置の座標系を統一する。このとき、座標系は、ユーザAの映像表示部14のディスプレイ情報等を用いて、実寸のサイズ情報を有する。ここで、ユーザAへの映像表示部14のディスプレイ面の大きさ情報が新たに必要となる。
First, the coordinate system of the viewpoint position of the user A, the two-dimensional image of the user B, and the display position of the
次に、ユーザAへの映像表示部14のディスプレイ面の大きさ情報を用いた実際の透視変換の一例を示す。図7は、本実施形態による透視変換を説明するための概念図である。図7に示すように、ディスプレイの中心を座標系の原点O(0,0,0)とし、座標ディスプレイ面の横方向にx軸、縦方向にy軸、ディスプレイ面の法線をz軸とし、ユーザ位置とは、逆向きを正の方向とする。ユーザAの視点位置V(Vx,Vy,Vz)(但し、Vz<0)としたとき、ディスプレイ面上の点D(x,y,z)に透視投影されるべき、ユーザBの2次元画像の点H(hx,hy,hz)は、数式(3)によって算出される。
Next, an example of actual perspective transformation using the size information of the display surface of the
なお、その他、透視投影以外にも、平行投影といった一般的な射影変換の手法も利用可能である。 In addition to the perspective projection, a general projective transformation method such as parallel projection can be used.
上述した実施形態によれば、ユーザの視点(目の位置)に応じて、映像が変化する、すなわち運動視差を実現すること、及び、距離に応じた人物サイズで対話相手を表示することから、視覚的に窓1枚を挟んで対面している際と同等の情報が得られるため、映像中の対話相手に奥行きに係る手がかりが与えられ、ユーザが映像中の対話相手との距離感を把握することができる。それにより、対面会話と同様に距離を適度に調節したり、対面会話において距離がもたらす、話しやすさ、緊張感の有無の効果をもたらすことができる。また、上述した通り、映像が変化するため、あたかも実物大の対話相手が目の前にいるかのように感じさせることができ、従来技術のように2次元映像で人物を提示したものに比べて、視線・姿勢などの非言語情報が実空間での対面会話と同等に伝達され、遠隔地に存在する対話相手とあたかも同じ空間を共有している感覚(臨場感)とを与えることができる。 According to the embodiment described above, the video changes according to the user's viewpoint (eye position), that is, realizes motion parallax, and displays the conversation partner with a person size according to the distance. Since the same information is obtained as when facing one window visually, the conversation partner in the video is given a clue about the depth, and the user grasps the sense of distance from the conversation partner in the video can do. Thereby, it is possible to adjust the distance appropriately as in the face-to-face conversation, and to bring about the effects of ease of talking and presence or absence of tension that the distance brings in the face-to-face conversation. In addition, as described above, since the video changes, it is possible to make it feel as if a full-size conversation partner is in front of you, compared to the case where a person is presented as a two-dimensional video as in the prior art. Non-linguistic information such as line of sight and posture is transmitted in the same way as in face-to-face conversation in real space, and it is possible to give a feeling of sharing the same space (realism) with a conversation partner in a remote place.
なお、上述し指定位置画像生成部13による各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各種処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
A program for realizing each step by the designated position
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 Further, the “computer-readable recording medium” means a volatile memory (for example, DRAM (Dynamic DRAM) in a computer system that becomes a server or a client when a program is transmitted through a network such as the Internet or a communication line such as a telephone line. Random Access Memory)), etc., which hold programs for a certain period of time. The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
10 画像取得部
11 視点位置検出部
12 位置制御部
13 視点位置画像生成部
14 映像表示部
DESCRIPTION OF
Claims (6)
前記撮像側の映像伝送装置は、
前記撮像側の人物を含む2次元画像を撮影し、該2次元画像と撮影時の撮影条件とを取得する画像取得手段を備え、
前記表示側の映像伝送装置は、
前記表示側の人物の視点位置を検出する視点位置検出手段と、
前記撮像側の2次元画像を表示する映像表示手段とを備え、
前記撮像側の映像伝送装置は、
前記視点位置検出手段により検出された前記表示側の人物の視点位置と前記画像取得手段の視線位置とを一致させるべく、前記画像取得手段の位置・姿勢を制御する位置制御手段を備え、
前記表示側の映像伝送装置は、
前記視点位置検出手段により検出された前記表示側の人物の視点位置と、前記画像取得手段により取得された2次元画像及び撮影時の撮影条件と、前記表示側の前記映像表示手段のディスプレイ情報とに基づいて、前記映像表示手段に表示するための、前記表示側の人物の視点位置に応じた撮像側の2次元画像を生成する視点位置画像生成手段と
を備えることを特徴とする映像コミュニケーションシステム。 A video communication system for transmitting video captured by the video transmission device on the imaging side to the video transmission device on the display side at least between the video transmission device on the imaging side and the video transmission device on the display side,
The imaging-side video transmission device is:
An image acquisition means for capturing a two-dimensional image including the person on the imaging side and acquiring the two-dimensional image and a photographing condition at the time of photographing;
The display-side video transmission device includes:
Viewpoint position detecting means for detecting the viewpoint position of the person on the display side;
Video display means for displaying a two-dimensional image on the imaging side,
The imaging-side video transmission device is:
A position control means for controlling the position / posture of the image acquisition means in order to match the viewpoint position of the person on the display side detected by the viewpoint position detection means with the line-of-sight position of the image acquisition means;
The display-side video transmission device includes:
The viewpoint position of the person on the display side detected by the viewpoint position detection means, the two-dimensional image acquired by the image acquisition means and the shooting conditions at the time of shooting, and the display information of the video display means on the display side; And a viewpoint position image generating means for generating a two-dimensional image on the imaging side corresponding to the viewpoint position of the person on the display side for displaying on the video display means. .
前記画像取得手段によって撮影された撮像側の人物を含む2次元画像と、前記撮影時の撮影条件と、前記表示側の前記映像表示手段のディスプレイ情報とを入力する入力手段と、
前記入力手段により入力された、前記撮影時の撮影条件に基づいて、前記画像取得手段によって撮影された撮像側の人物を含む2次元画像の実寸の大きさ情報を算出する2次元画像実寸算出手段と、
前記画像取得手段によって撮影された撮像側の人物を含む2次元画像と、前記2次元画像実寸算出手段により算出された前記2次元画像の実寸の大きさ情報と、前記撮影時の撮影条件と、前記表示側の映像表示手段のディスプレイ情報とに基づいて、前記撮像側の前記映像表示手段に表示すべき、前記表示側の人物の視点位置に応じた撮像側の2次元画像を生成する画像生成手段と
を備えることを特徴とする請求項1に記載の映像コミュニケーションシステム。 The viewpoint position image generation means includes
An input means for inputting a two-dimensional image including a person on the imaging side photographed by the image acquisition means, a photographing condition at the time of photographing, and display information of the video display means on the display side;
Two-dimensional image actual size calculation means for calculating the actual size information of the two-dimensional image including the person on the imaging side photographed by the image acquisition means based on the photographing condition at the time of photographing input by the input means. When,
A two-dimensional image including the person on the imaging side photographed by the image acquisition means, the actual size information of the two-dimensional image calculated by the two-dimensional image actual size calculation means, and the photographing conditions at the time of photographing, Image generation for generating a two-dimensional image on the imaging side corresponding to the viewpoint position of the person on the display side to be displayed on the video display means on the imaging side based on display information of the video display means on the display side The video communication system according to claim 1, further comprising: means.
前記表示側の人物の視点位置から、前記画像取得手段の撮影時の焦点距離だけ離れた位置にある、前記2次元画像の実寸の大きさ情報で示される大きさを有する、前記画像取得手段によって撮影された撮像側の人物を含む2次元画像を、前記表示側の映像表示手段のディスプレイ面に射影変換処理することで、前記表示側の人物の視点位置に応じた撮像側の2次元画像を生成する
ことを特徴とする請求項2に記載の映像コミュニケーションシステム。 The image generation means includes
By the image acquisition means having the size indicated by the actual size information of the two-dimensional image located at a position away from the viewpoint position of the person on the display side by a focal length at the time of shooting of the image acquisition means. The two-dimensional image including the imaged person on the imaging side is subjected to projective transformation processing on the display surface of the video display means on the display side, so that the two-dimensional image on the imaging side corresponding to the viewpoint position of the person on the display side is obtained. The video communication system according to claim 2, wherein the video communication system is generated.
少なくとも、前記画像取得手段の撮影時の焦点距離と前記画像取得手段の撮影時の画角とを含むことを特徴とする請求項1から3のいずれかに記載の映像コミュニケーションシステム。 The shooting conditions at the time of shooting are as follows:
4. The video communication system according to claim 1, wherein the video communication system includes at least a focal length at the time of shooting by the image acquisition unit and an angle of view at the time of shooting by the image acquisition unit.
少なくとも、前記映像表示手段の解像度と、高さ・幅の実寸サイズとを含むことを特徴とする請求項1から4のいずれかに記載の映像コミュニケーションシステム。 The display information is
5. The video communication system according to claim 1, wherein the video communication system includes at least the resolution of the video display means and the actual size of height and width.
前記表示側の映像伝送装置が、視点位置検出手段により、前記表示側の人物の視点位置を検出するステップと、
前記撮像側の映像伝送装置が、画像取得手段により、前記撮像側の人物を含む2次元画像を撮影し、該2次元画像と撮影時の撮影条件とを取得するステップと、
前記表示側の人物の視点位置と前記撮影手段の視線位置とを一致させるべく、前記画像取得手段の位置・姿勢を制御するステップと、
前記表示側の人物の視点位置と、前記画像取得手段により取得された2次元画像及び撮影時の撮影条件と、前記表示側の映像表示手段のディスプレイ情報とに基づいて、前記映像表示手段に表示するための、前記表示側の人物の視点位置に応じた前記撮像側の2次元画像を生成するステップと、
前記表示側の人物の視点位置に応じた前記撮像側の2次元画像を、前記表示側の映像表示手段に表示するステップと
を含むことを特徴とする映像コミュニケーション方法。 A video communication method for transmitting video captured by the video transmission device on the imaging side to the video transmission device on the display side at least between the video transmission device on the imaging side and the video transmission device on the display side,
The display-side video transmission device detecting a viewpoint position of the display-side person by viewpoint position detection means;
The imaging-side video transmission apparatus captures a two-dimensional image including the imaging-side person by using an image acquisition unit, and acquires the two-dimensional image and a capturing condition at the time of capturing;
Controlling the position / posture of the image acquisition means in order to match the viewpoint position of the person on the display side and the line-of-sight position of the photographing means;
Displayed on the video display unit based on the viewpoint position of the display side person, the two-dimensional image acquired by the image acquisition unit, the shooting conditions at the time of shooting, and the display information of the video display unit on the display side Generating a two-dimensional image on the imaging side in accordance with a viewpoint position of the person on the display side,
Displaying the two-dimensional image on the imaging side corresponding to the viewpoint position of the person on the display side on the video display means on the display side.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009267735A JP2011113206A (en) | 2009-11-25 | 2009-11-25 | System and method for video image communication |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009267735A JP2011113206A (en) | 2009-11-25 | 2009-11-25 | System and method for video image communication |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011113206A true JP2011113206A (en) | 2011-06-09 |
Family
ID=44235508
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009267735A Pending JP2011113206A (en) | 2009-11-25 | 2009-11-25 | System and method for video image communication |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011113206A (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013258504A (en) * | 2012-06-11 | 2013-12-26 | Nippon Telegr & Teleph Corp <Ntt> | Video generation system and video generation method |
JP2014071871A (en) * | 2012-10-02 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Video communication system and video communication method |
JP2016192685A (en) * | 2015-03-31 | 2016-11-10 | 大和ハウス工業株式会社 | Video display system and video display method |
US9560313B2 (en) | 2013-10-22 | 2017-01-31 | Daiwa House Industry Co., Ltd. | Dialogue system and dialogue method |
WO2018025458A1 (en) * | 2016-08-01 | 2018-02-08 | ソニー株式会社 | Information processing device, information processing method, and program |
WO2021172578A1 (en) * | 2020-02-27 | 2021-09-02 | アトモフ株式会社 | Image display device, system, and method |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05292491A (en) * | 1992-04-14 | 1993-11-05 | Hitachi Ltd | Video telephone system and viewing angle controlling method for the video telephone system |
JPH0634343A (en) * | 1992-07-20 | 1994-02-08 | Oki Electric Ind Co Ltd | Multiple view point three-dimensional image input device, image synthesizing device, and image output device |
JPH07296195A (en) * | 1994-04-22 | 1995-11-10 | Canon Inc | Device and method for image processing |
JP2000083228A (en) * | 1998-09-04 | 2000-03-21 | Sony Corp | Two-way communication system, terminal and control method |
JP2000224459A (en) * | 1999-01-28 | 2000-08-11 | Nippon Telegr & Teleph Corp <Ntt> | Full size image input/output device, image recording method and recording medium for the method |
JP2001057671A (en) * | 1999-08-19 | 2001-02-27 | Toshiba Corp | Video transmission terminal and video reception terminal |
JP2005142765A (en) * | 2003-11-05 | 2005-06-02 | Sony Corp | Apparatus and method for imaging |
JP2005303683A (en) * | 2004-04-12 | 2005-10-27 | Sony Corp | Image transceiver |
-
2009
- 2009-11-25 JP JP2009267735A patent/JP2011113206A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05292491A (en) * | 1992-04-14 | 1993-11-05 | Hitachi Ltd | Video telephone system and viewing angle controlling method for the video telephone system |
JPH0634343A (en) * | 1992-07-20 | 1994-02-08 | Oki Electric Ind Co Ltd | Multiple view point three-dimensional image input device, image synthesizing device, and image output device |
JPH07296195A (en) * | 1994-04-22 | 1995-11-10 | Canon Inc | Device and method for image processing |
JP2000083228A (en) * | 1998-09-04 | 2000-03-21 | Sony Corp | Two-way communication system, terminal and control method |
JP2000224459A (en) * | 1999-01-28 | 2000-08-11 | Nippon Telegr & Teleph Corp <Ntt> | Full size image input/output device, image recording method and recording medium for the method |
JP2001057671A (en) * | 1999-08-19 | 2001-02-27 | Toshiba Corp | Video transmission terminal and video reception terminal |
JP2005142765A (en) * | 2003-11-05 | 2005-06-02 | Sony Corp | Apparatus and method for imaging |
JP2005303683A (en) * | 2004-04-12 | 2005-10-27 | Sony Corp | Image transceiver |
Non-Patent Citations (1)
Title |
---|
石井 亮、外3名: ""映像コミュニケーションにおける運動視差を利用した奥行き表現手法の提案"", 電子情報通信学会技術研究報告, vol. 109, no. 215, JPN6013006626, 1 October 2009 (2009-10-01), JP, pages 11 - 16, ISSN: 0002457606 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013258504A (en) * | 2012-06-11 | 2013-12-26 | Nippon Telegr & Teleph Corp <Ntt> | Video generation system and video generation method |
JP2014071871A (en) * | 2012-10-02 | 2014-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Video communication system and video communication method |
US9560313B2 (en) | 2013-10-22 | 2017-01-31 | Daiwa House Industry Co., Ltd. | Dialogue system and dialogue method |
JP2016192685A (en) * | 2015-03-31 | 2016-11-10 | 大和ハウス工業株式会社 | Video display system and video display method |
WO2018025458A1 (en) * | 2016-08-01 | 2018-02-08 | ソニー株式会社 | Information processing device, information processing method, and program |
JPWO2018025458A1 (en) * | 2016-08-01 | 2019-05-30 | ソニー株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM |
US11082660B2 (en) | 2016-08-01 | 2021-08-03 | Sony Corporation | Information processing device and information processing method |
WO2021172578A1 (en) * | 2020-02-27 | 2021-09-02 | アトモフ株式会社 | Image display device, system, and method |
CN115039412A (en) * | 2020-02-27 | 2022-09-09 | 爱幕赴株式会社 | Image display apparatus, system and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kasahara et al. | JackIn head: immersive visual telepresence system with omnidirectional wearable camera for remote collaboration | |
JP5237234B2 (en) | Video communication system and video communication method | |
US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
JP2008140271A (en) | Interactive device and method thereof | |
WO2018056155A1 (en) | Information processing device, image generation method and head-mounted display | |
JP2011090400A (en) | Image display device, method, and program | |
JP5833526B2 (en) | Video communication system and video communication method | |
JP2010206307A (en) | Information processor, information processing method, information processing program, and network conference system | |
JPWO2012147363A1 (en) | Image generation device | |
WO2017195513A1 (en) | Information processing device, information processing system, information processing method, and program | |
JP2011113206A (en) | System and method for video image communication | |
JP2020065229A (en) | Video communication method, video communication device, and video communication program | |
WO2020110322A1 (en) | Video synthesis device, video synthesis method and recording medium | |
JP5478357B2 (en) | Display device and display method | |
JP2004193962A (en) | Image communication equipment, image communication method, and computer program | |
JP2011097447A (en) | Communication system | |
JP5731462B2 (en) | Video communication system and video communication method | |
US20230231983A1 (en) | System and method for determining directionality of imagery using head tracking | |
JP5759439B2 (en) | Video communication system and video communication method | |
GB2558283A (en) | Image processing | |
JP2018007180A (en) | Image display device, image display method and image display program | |
WO2017163649A1 (en) | Image processing device | |
JP5833525B2 (en) | Video communication system and video communication method | |
JP5898036B2 (en) | Video communication system and video communication method | |
JP2018050156A (en) | Two-way communication device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130419 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130704 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130724 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140114 |