JP2010283550A - Communication system, and communication device - Google Patents
Communication system, and communication device Download PDFInfo
- Publication number
- JP2010283550A JP2010283550A JP2009134637A JP2009134637A JP2010283550A JP 2010283550 A JP2010283550 A JP 2010283550A JP 2009134637 A JP2009134637 A JP 2009134637A JP 2009134637 A JP2009134637 A JP 2009134637A JP 2010283550 A JP2010283550 A JP 2010283550A
- Authority
- JP
- Japan
- Prior art keywords
- user
- display device
- angle
- communication
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、映像を介して遠隔地にいる人とのコミュニケーションを行うコミュニケーションシステム、コミュニケーション装置に関する。 The present invention relates to a communication system and a communication device that perform communication with a person at a remote place via an image.
従来、映像を介して行うコミュニケーション方法として、テレビ会議システムやテレビ電話システムなどが知られている。これらのシステムにおいて、第一視聴者（以下、ユーザＸと記す）と第二視聴者（以下、ユーザＹと記す）がコミュニケーションを行うとき、ユーザＸを撮影した映像がユーザＹ側の表示装置に表示され、ユーザＹを撮影した映像がユーザＸ側の表示装置に表示される。 Conventionally, a video conference system, a video phone system, or the like is known as a communication method performed through video. In these systems, when a first viewer (hereinafter referred to as user X) communicates with a second viewer (hereinafter referred to as user Y), an image of user X is displayed on a display device on the user Y side. The video image of the user Y is displayed on the display device on the user X side.
このとき、例えばユーザＸは、表示装置に表示されるコミュニケーション相手のユーザＹを見ながらコミュニケーションを行うが、双方のユーザの表示装置に表示されたユーザの視線がずれると、ユーザはお互いに違和感を持つ。 At this time, for example, the user X performs communication while looking at the communication partner user Y displayed on the display device. However, if the user's line of sight displayed on the display devices of both users shifts, the users feel uncomfortable with each other. Have.
そこで、違和感を解消する手段として、特許文献１には、表示装置の全面に半透鏡、及び、当該表示装置の左側及び右側に当該半透鏡からの反射光を撮影する撮影装置を備えたテレビ電話装置が開示されている。表示装置の正面にいる被写体に係る入射光は、半透鏡によって半分透過、半分反射され、この反射光は前記２つの撮影装置により撮影される。
そして、２つの撮影装置により撮影された被写体の映像を、画像処理装置によって合成し、正面から見た映像を生成する。このように合成映像を生成することにより違和感が少なくなる。
Therefore, as means for resolving the uncomfortable feeling,
Then, the image of the subject photographed by the two photographing devices is synthesized by the image processing device, and the image viewed from the front is generated. By generating the composite video in this way, the uncomfortable feeling is reduced.
また、撮影映像の被写体そのものに画像処理を実行することにより通話者同士の視線を一致させて違和感のないコミュニケーションを実現する手法が、例えば、特許文献２に開示されている。特許文献２では、まず、通話前に通話者同士の視線が一致する視線一致画像を撮影して、この画像から通話者Ｘの目周辺の画像を切り取り記憶する。その後、通話が開始されると、通話時に撮影している通話者Ｘの映像から目の位置を検出し、この通話者Ｘの目周辺に前記記憶した通話者Ｘの目周辺の画像（視線一致画像）を合成する。
このようにして、通話者同士の視線一致を実現している。
Further, for example, Patent Document 2 discloses a technique for realizing communication without causing a sense of incongruity by performing image processing on a subject of a captured video to match the line of sight of callers. In Patent Document 2, first, a line-of-sight image in which the lines of sight of the callers match before a call is taken, and an image around the eyes of the caller X is cut out from this image and stored. After that, when the call is started, the eye position is detected from the image of the caller X photographed at the time of the call, and the stored image of the periphery of the caller X around the eye of the caller X (the line of sight matches). Image).
In this way, line-of-sight matching between callers is realized.
特許文献１に開示の手法は、半透鏡及び当該半透鏡からの反射光を撮影する撮影装置を表示装置の前面に設ける必要があるので、システムが大型化してしまう。さらに、半透鏡を表示装置の全面に設けているので、当該半透鏡には表示装置の表示映像に加え、撮影装置も表示されてしまうので、ユーザ（被写体）の表示装置に対する視認性が低下してしまう。
In the method disclosed in
また、特許文献２に開示の手法は、視線一致画像を予め記憶部に記憶しておく必要が有るので、通話を行うたびに通話者の視線一致画像を撮影しなければならず、煩雑である。
また、通話相手が二人いる場合には適用することができない。
このように、非言語コミュニケーション、特に視線によるコミュニケーションを正確に行えず伝達できる情報が少なくなってしまう。
In addition, since the technique disclosed in Patent Document 2 needs to store the line-of-sight matching image in the storage unit in advance, the line-of-sight matching image of the caller must be taken every time a call is made, which is complicated. .
Also, this is not applicable when there are two other parties.
In this way, non-verbal communication, in particular communication by line of sight, cannot be accurately performed and information that can be transmitted is reduced.
本発明は、かかる実情に鑑みてなされたものであり、ネットワークを介して遠隔地にいる人とのコミュニケーションを行う場合、相手が違和感を持つことなくコミュニケーションを行うことができるコミュニケーションシステム、コミュニケーション装置を提供することを目的とする。 The present invention has been made in view of such a situation, and a communication system and a communication device capable of communicating without feeling uncomfortable when the other party communicates with a person in a remote place via a network. The purpose is to provide.
第１の技術手段は、ユーザを撮影する撮影装置と、表示装置を備え、当該ユーザの撮影映像データを送受信する２つ以上のコミュニケーション装置が相互にネットワークを介して接続されているコミュニケーションシステムにおいて、前記コミュニケーションシステムの特定のコミュニケーション装置は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を他のコミュニケーション装置に送信する視野角送信部を備え、前記他のコミュニケーション装置は、前記特定のコミュニケーション装置から送信された前記ユーザの視野角と同じ角度に撮影装置の画角を制御する画角制御部を備えることを特徴とするコミュニケーションシステムである。 In a communication system, wherein a first technical means includes a photographing device for photographing a user and a display device, and two or more communication devices for transmitting and receiving photographed video data of the user are connected to each other via a network. The specific communication device of the communication system includes a memory that stores a width of the display device, a distance detection unit that detects a distance between the user and the display device, a width of the display device, and the user and the A viewing angle calculation unit that calculates a viewing angle at which the user views the display device based on a distance from the display device; and a viewing angle transmission unit that transmits the calculated viewing angle to another communication device. The device is configured to view the user's view transmitted from the specific communication device. A communication system comprising: a field angle control unit for controlling the field angle of the photographing apparatus in the same angle as the corner.
第２の技術手段は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を前記他のコミュニケーション装置に送信する視野角送信部を備えたことを特徴とする第１の技術手段のコミュニケーションシステムを構成する前記特定のコミュニケーション装置である。 The second technical means includes a memory for storing a width of the display device, a distance detection unit for detecting a distance between the user and the display device, a width of the display device, and the user and the display device. A viewing angle calculation unit that calculates a viewing angle at which the user views the display device based on the distance, and a viewing angle transmission unit that transmits the calculated viewing angle to the other communication device. It is said specific communication apparatus which comprises the communication system of 1 technical means.
第３の技術手段は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度に前記撮影装置の画角を制御する画角制御部を備えたことを特徴とする第１の技術手段のコミュニケーションシステムを構成する前記他のコミュニケーション装置である。 The third technical means includes a field angle control unit that controls the angle of view of the photographing apparatus to the same angle as the viewing angle of the user transmitted from the specific communication device. It is the said other communication apparatus which comprises this communication system.
第４の技術手段は、第２の技術手段の特定のコミュニケーション装置において、ユーザを撮影する複数の撮影装置と、当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、前記映像生成部は、当該複数の撮影装置が出力する複数の映像データに基づき、前記ユーザと前記表示装置との距離を検知することを特徴とするものである。 According to a fourth technical means, in the specific communication device of the second technical means, based on a plurality of photographing devices for photographing a user and a plurality of video data output by the plurality of photographing devices, an arbitrary one in the display device A video generation unit that generates video data of the user that is considered to have virtually shot the user from a position, and the video generation unit is configured to generate the user based on a plurality of video data output by the plurality of imaging devices. And a distance between the display device and the display device.
第５の技術手段は、第３の技術手段の他のコミュニケーション装置において、ユーザを撮影する複数の撮影装置と、当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、前記映像生成部は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度の撮影画角に対応する映像データを生成することを特徴とするものである。 According to a fifth technical means, in any other communication device of the third technical means, based on a plurality of photographing devices for photographing a user and a plurality of video data output by the plurality of photographing devices, an arbitrary one in the display device A video generation unit that generates video data of the user that is considered to have taken the user virtually from a position, and the video generation unit has the same angle as the viewing angle of the user transmitted from the specific communication device. The video data corresponding to the shooting angle of view is generated.
本発明により、ユーザＸが、視線方向などの非言語コミュニケーションを使用したとき、ユーザＹに正確にユーザＸの意図を伝えることができ、違和感を持つことなくコミュニケーションを行うことができる。また、視線や身振り手振りを介して、正確な非言語的コミュニケーションが可能になる。 According to the present invention, when the user X uses non-verbal communication such as a line-of-sight direction, the intention of the user X can be accurately transmitted to the user Y, and communication can be performed without feeling uncomfortable. In addition, accurate non-verbal communication is possible through gaze and gesture gestures.
（実施例１）
本発明に係るコミュニケーション装置の概要について図１〜図６を用いて説明する。
図１は、ユーザＸがユーザＹとコミュニケーションを行う様子を説明する図である。
１は、ユーザＸ側に設けられたコミュニケーション装置の外観を示している。
１１は、ユーザＸのコミュニケーション相手であるユーザＹ等を表示する表示装置で、例えば、動画映像を表示できる液晶ディスプレイやプラズマディスプレイ等から構成される。
Example 1
An outline of a communication apparatus according to the present invention will be described with reference to FIGS.
FIG. 1 is a diagram illustrating a state in which the user X communicates with the user Y.
１２は、ユーザＸを撮影する撮影装置で、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有する固体撮影デバイスと、レンズ等によって構成される動画映像が撮影できるカメラ等から構成される。撮影装置１２は、表示装置１１の上部中央に設けられ、ユーザＸは撮影装置１２の正面に位置しているとする。撮影されたユーザＸの映像は、ユーザＹ側の表示装置に表示される。
図中の視野角とは、ユーザＸが表示装置１１の右端を見たときの方向Ｄ１と左端を見たときの方向Ｄ２との角度を示す。
The viewing angle in the figure indicates an angle between a direction D1 when the user X looks at the right end of the
なお、ユーザＹも、ユーザＸのコミュニケーション装置１とネットワークを介して接続されている当該装置と同様なコミュニケーション装置を用いて、ユーザＸとコミュニケーションを行う。
Note that the user Y also communicates with the user X using a communication device similar to the device connected to the
図２は、ユーザＸのコミュニケーション相手である２人のユーザＹ１、Ｙ２を撮影画角Ａ、撮影画角Ｂで撮影した様子を示す図である。ここでは、撮影画角Ａ＞撮影画角Ｂであり、ユーザＹ１は、表示装置１１’の上部中央に設けられた撮影装置１２’の正面に位置し、ユーザＹ２は、ユーザＹ１の左横に位置しているものとする。
以下では、例えば、講義や講演など１対複数でコミュニケーションを行う場合を想定して説明する。
FIG. 2 is a diagram illustrating a state where two users Y1 and Y2 who are communication partners of the user X are photographed at the photographing field angle A and the photographing field angle B. FIG. Here, the shooting angle of view A> the shooting angle of view B, the user Y1 is located in front of the
In the following description, for example, a case where one-to-many communication such as a lecture or a lecture is performed will be described.
図３は、図２で説明した撮影画角Ａ又はＢでユーザＹ１、Ｙ２を撮影した場合に、ユーザＸ側の表示装置１１に表示される２人のユーザＹ１、Ｙ２を示す図で、矢印Ａ１〜Ａ４は、ユーザＸの視線の方向を示す。
FIG. 3 is a diagram showing two users Y1 and Y2 displayed on the
撮影装置１２’が撮影画角ＡでユーザＹ１、Ｙ２を撮影すると、図３（Ａ）に示すようにユーザＹ１、Ｙ２が表示装置１１に表示され、撮影画角ＢでユーザＹ１、Ｙ２を撮影すると、図３（Ｂ）に示すようにユーザＹ１、Ｙ２が表示される。
When the photographing
ユーザＸが、表示装置１１に表示される撮影画角Ａで撮影されたユーザＹ１を見ても、撮影画角Ｂで撮影されたユーザＹ１を見ても、図３の矢印Ａ１、Ａ３に示すように、ユーザＹ１は、撮影装置１２’の正面に位置しているので、ユーザＸの視線の方向に違いは生じない。
Whether the user X looks at the user Y1 photographed at the photographing angle of view A displayed on the
一方、ユーザＸが表示装置１１に表示されるユーザＹ２を見る場合、撮影画角Ａで撮影された映像では、図３（Ａ）の矢印Ａ２に示すように、ユーザＸの視線の方向は表示装置１１の中央付近やや左よりとなる。また、撮影画角Ｂで撮影された映像では、図３（Ｂ）の矢印Ａ４に示すように、ユーザＸの視線の方向は表示装置１１の左端寄りとなる。
このように、コミュニケーション相手を撮影する画角によって、ユーザＸの視線方向が変化する。
On the other hand, when the user X looks at the user Y2 displayed on the
Thus, the line-of-sight direction of the user X changes depending on the angle of view for photographing the communication partner.
ユーザＸの視線の方向は、ユーザＹ１、Ｙ２側の表示装置１１’に表示される。
図４（Ａ）は、表示装置１１’に表示される、図３（Ａ）に示したユーザＸの視線方向を示し、図４（Ｂ）は、表示装置１１’に表示される、図３（Ｂ）に示したユーザＸの視線方向を示している。
The direction of the line of sight of the user X is displayed on the
4A shows the line-of-sight direction of the user X shown in FIG. 3A displayed on the
図４（Ａ）の矢印Ａ２に示す、ユーザＸの視線は、ユーザＸがユーザＹ１とユーザＹ２の間を見ているように表示される。
また、図４（Ｂ）の矢印Ａ４に示す、ユーザＸの視線は、ユーザＸがユーザＹ２の右側を見ているように表示される。
The line of sight of user X shown by arrow A2 in FIG. 4A is displayed as if user X is looking between user Y1 and user Y2.
Further, the line of sight of the user X indicated by the arrow A4 in FIG. 4B is displayed as if the user X is looking at the right side of the user Y2.
このように、双方のユーザを任意に撮影してコミュニケーションを行うと、撮影装置の正面に位置しないユーザを表示装置上で見ながら会話する場合、ユーザの視線方向がずれて、違和感が生じる。同様に、相手ユーザの方向を向いて身振りや手振りを介した非言語コミュニケーションを行う場合も、違和感が生じる。 As described above, when both users are arbitrarily photographed and communicated, when a user who is not located in front of the photographing device is talking while looking on the display device, the user's line-of-sight direction is shifted and a sense of incongruity occurs. Similarly, when non-verbal communication is performed through gestures or hand gestures in the direction of the other user, a sense of incongruity occurs.
そこで、ユーザＸの視野角と、ユーザＹ２を撮像する撮像装置１２’の画角を一致させて撮影した場合について、図５、図６により説明する。
Accordingly, a case where the viewing angle of the user X and the field of view of the
図５は、ユーザＸが、表示装置１１上のユーザＹ１、Ｙ２を見ている状態の俯瞰図（ふかん図）を示し、図６は、ユーザＹ１、Ｙ２を撮影装置１２’が撮影している状態の俯瞰図を示している。
FIG. 5 shows a bird's-eye view of the user X viewing the users Y1 and Y2 on the
図５において、表示装置１１のＹ１の位置にユーザＹ１が表示され、同Ｙ２の位置にユーザＹ２が表示されているものとする。Ｗ１は、表示装置１１の横幅を示し、Ｗ２は、表示装置１１の中央Ｍ１とユーザＹ２が表示される位置との距離を示し、Ｌ１は、ユーザＸと表示装置１１との距離を示している。
In FIG. 5, it is assumed that the user Y1 is displayed at the position Y1 of the
θは、表示装置１１の中央Ｍ１とユーザＸとを結ぶ直線と、表示装置１１の左端又は右端とユーザＸとを結ぶ直線との角度を示し、この角度の２倍、つまり、２θがユーザＸの視野角になる。
Ａ５は、ユーザＸが表示装置１１に表示されるユーザＹ１に視線を向けた場合の視線方向を示し、Ａ６は、ユーザＸが同ユーザＹ２に視線を向けた場合の視線方向を示している。
θ１は、ユーザＸがユーザＹ２に視線を向けたときの視角、つまり、視線方向Ａ５、視線方向Ａ６の角度を示す。
θ represents an angle between a straight line connecting the center M1 of the
A5 indicates the line-of-sight direction when the user X looks at the user Y1 displayed on the
θ1 indicates a viewing angle when the user X directs his / her line of sight toward the user Y2, that is, the angles of the viewing direction A5 and the viewing direction A6.
図６において、表示装置１１’のＸの位置に、ユーザＸが表示されているものとする。
Ｗ３は、ユーザＹ１等に焦点を合わせたときの撮像装置１２’の撮影範囲、Ｗ４は、ユーザＹ１とユーザＹ２との距離を示し、Ｌ２は、撮影装置１２’と当該撮影装置１２’の正面に位置するユーザＹ１との距離を示し、Ａ７は、図５のＡ５に対応する、表示装置１１’に表示されるユーザＸの視線方向を示し、Ａ８は、図５のＡ６に対応する、同ユーザＸの視線方向を示している。
θ２は、視線方向Ａ７、視線方向Ａ８の角度を示す。
前述のように、撮像装置１２’の画角は、ユーザＸの視野角２θと一致している。
In FIG. 6, it is assumed that the user X is displayed at the X position of the
W3 is a photographing range of the
θ2 represents the angle of the line-of-sight direction A7 and the line-of-sight direction A8.
As described above, the angle of view of the
図５、図６において、
撮像装置１２’の画角２θと、ユーザＸの視野角２θとが同じであるので、
Ｗ１：Ｗ３＝Ｌ１：Ｌ２
撮影装置１２’の撮影範囲Ｗ３に対応する映像が、表示装置１１の横幅Ｗ１に対応する表示画面に表示されるので、表示画面に表示されるＹ２の位置は、Ｗ３に対するＷ４の割合と等しくなり、
Ｗ１：Ｗ３＝Ｗ２：Ｗ４
したがって、
Ｗ２：Ｗ４＝Ｌ１：Ｌ２である。
5 and 6,
Since the angle of view 2θ of the
W1: W3 = L1: L2
Since an image corresponding to the imaging range W3 of the
W1: W3 = W2: W4
Therefore,
W2: W4 = L1: L2.
つまり、図５の直角三角形ＰＱＲと、図６の直角三角形Ｘ’ＹＺは相似であり、θ１（直角三角形ＰＱＲの角Ｐ）とθ２（直角三角形Ｘ’ＹＺの角Ｘ’）は等しい。
それ故、ユーザＹ２の映像をユーザＸ側の表示装置１１に表示した場合において、ユーザＸが、表示されたユーザＹ２に視線を向けると、ユーザＹ２側の表示装置１１’に、ユーザＹ２の方向に視線を向けたユーザＸの映像が表示される。
That is, the right triangle PQR in FIG. 5 and the right triangle X′YZ in FIG. 6 are similar, and θ1 (angle P ′ of the right triangle PQR) and θ2 (angle X ′ of the right triangle X′YZ) are equal.
Therefore, in the case where the video of the user Y2 is displayed on the
また、例えば、図６のＹ１’、Ｙ２’に示すように、ユーザＹ１、Ｙ２が撮像装置１２’に近づいた場合、ユーザＸ側の表示装置１１には、図５のＹ２’の位置に、ユーザＹ２が表示される。ユーザＸが、図５のＡ９に示すように、撮像装置１２’に近づいたユーザＹ２に視線を向けなおすと、撮像装置１２’の画角と、ユーザＸの視野角が等しいので、図６のＡ１０に示すように、表示装置１１’に、このユーザＹ２の方向に視線を向けなおしたユーザＸの映像が表示される。なお、ユーザＹ２が、左側又は右側に移動した場合、ユーザＸが、このユーザＹ２に視線を向けなおしても、前述と同様に、表示装置１１’に、このユーザＹ２の方向に視線を向けなおしたユーザＸの映像が表示される。
Further, for example, as shown by Y1 ′ and Y2 ′ in FIG. 6, when the users Y1 and Y2 approach the
図７は、本発明に係るコミュニケーション装置１、１’の機能ブロック図で、特定のコミュニケーション装置１と他のコミュニケーション装置１’はネットワークＮを介して接続され、コミュニケーションシステムを構成する。なお、２つ以上のコミュニケーション装置が相互にネットワークＮを介して接続されていてもよい。
以下、特定のコミュニケーション装置を、コミュニケーション装置１と記し、他のコミュニケーション装置をコミュニケーション装置１’と記す。
FIG. 7 is a functional block diagram of the
Hereinafter, a specific communication device is referred to as a
まず、ユーザＸ側のコミュニケーション装置１について説明する。
１１は、表示装置、１２は、表示装置１１の上部中央に設けられた撮影装置、１３は、ユーザの撮影映像データや各種制御データの送受信処理を制御するデータ送受信制御部、１４は、ネットワークＮに対するインターフェイスを提供するネットワークＩ／Ｆである。
First, the
11 is a display device, 12 is a photographing device provided in the upper center of the
２１は、距離検知部で、ユーザＸと表示装置１１との距離Ｌ１を検知する。ユーザＸとの距離を検知する手段として、例えば、専用の距離測定センサを用いてもよいし、撮影装置の焦点距離から算出してもよい。また、撮影装置１２が撮影したユーザＸの映像を解析し前記映像内のユーザＸの大きさなどから算出してもよい。
２２は、視野角算出部で、表示装置１１の横幅、及び、距離検知部２１が検知したユーザＸと表示装置１１との距離に基づき、ユーザＸが表示装置１１を見る視野角を算出する。
以下に、ユーザＸの視野角の算出について説明する。
図５から、θ、Ｌ１、Ｗ１は、
ｔａｎθ＝（Ｗ１÷２）÷Ｌ１
となる。上式を変形すると
θ＝ｔａｎ−１｛（Ｗ１÷２）÷Ｌ１｝
の式を得る。このθを２倍すれば、ユーザＸの視野角を得る。
A viewing
Hereinafter, calculation of the viewing angle of the user X will be described.
From FIG. 5, θ, L1, and W1 are
tan θ = (W1 ÷ 2) ÷ L1
It becomes. When the above equation is modified, θ = tan −1 {(W1 ÷ 2) ÷ L1}
To get the formula If this θ is doubled, the viewing angle of the user X is obtained.
２３は、視野角算出部２２が算出した視野角を他のコミュニケーション装置１’に送信する視野角送信部である。
２４は、表示装置１１の横幅情報、各種制御情報を記憶するメモリ、２５は、各機能ブロックを制御する制御部である。
次に、ユーザＹ１側のコミュニケーション装置１’について説明する。
１１’は、表示装置、１２’は、表示装置１１’の上部中央に設けられた撮影装置、１３’は、コミュニケーション装置１が送信したユーザＸの視野角を受信する処理や、ユーザの撮影映像データや各種制御データの送受信処理を制御するデータ送受信制御部、１４’は、ネットワークＩ／Ｆである。
Next, the
11 ′ is a display device, 12 ′ is a photographing device provided in the upper center of the
３１は、撮影装置１２’の画角を制御する画角制御部で、コミュニケーション装置１が送信したユーザＸの視野角を、データ送受信制御部１３’を介して受信し、当該視野角と同じ角度に撮影装置１２’の画角を制御する。
３２は、各種制御情報を記憶するメモリ、３３は、各機能ブロックを制御する制御部である。
31 is an angle-of-view control unit that controls the angle of view of the photographing
なお、マイク、スピーカなどの音声機器については、図示を省略する。 In addition, about audio equipment, such as a microphone and a speaker, illustration is abbreviate | omitted.
以上説明したように、ユーザＸの視野角と同じ角度に撮影装置１２’の画角を制御し、撮影装置１２’が撮影したユーザＹ１、Ｙ２の映像をユーザＸ側の表示装置１１に表示した場合において、ユーザＸが表示装置１１のユーザＹ２に例えば視線を向けると、ユーザＹ１側の表示装置１１’に、ユーザＹ２の方向に視線を向けたユーザＸの映像が表示される。つまり、ユーザＸの視線や向いている方向を、ユーザＹ１、Ｙ２に正しく伝えることができるので、非言語、特に視線によるコミュニケーションが円滑になる。
As described above, the angle of view of the photographing
（実施例２）
実施例１では、１つの撮影装置を備えたコミュニケーション装置について説明したが、実施例２では、複数の撮影装置を用いて撮影した映像データを合成することで、撮影装置が存在しない場所（仮想視点）から見た被写体の映像データを生成できる仮想視点映像生成部を備えたコミュニケーション装置について説明する。
(Example 2)
In the first embodiment, the communication device including one photographing device has been described. However, in the second embodiment, a place where the photographing device does not exist (virtual viewpoint) can be obtained by combining video data photographed using a plurality of photographing devices. A communication apparatus including a virtual viewpoint video generation unit that can generate video data of a subject viewed from (1) will be described.
図８は、複数の撮影装置を備えたコミュニケーション装置２を示す図で、表示装置１１の左枠中央部、上枠中央部、右枠中央部にそれぞれ撮影装置１２１、１２２、１２３が設けられている。
図９（Ａ）〜図９（Ｃ）は、撮影装置１２１、１２２、１２３がユーザＸを撮影した場合の映像を示す図である。
FIG. 8 is a diagram illustrating the communication device 2 including a plurality of photographing devices. The photographing
FIGS. 9A to 9C are diagrams illustrating images when the photographing
前記仮想視点映像生成部は、図９に示した映像に対してアフィン変換処理や射影変換処理を実行し、得られた映像を重ね合わせて、撮影装置が存在しない任意の視点位置からユーザＸを撮影したものとする映像を生成する。以後、任意の視点位置に仮想的に配置された撮影装置を仮想撮影装置と記す。ここでは、ユーザＸを表示装置１１の真正面方向から撮影するために、表示装置１１の中央部に図８に示す仮想撮影装置１２４を配置するものとする。
なお、この仮想視点映像生成方法については、特開２００６−１２６９６５号公報などに開示されている。
The virtual viewpoint video generation unit performs affine transformation processing and projective transformation processing on the video shown in FIG. 9, superimposes the obtained video, and sends the user X from any viewpoint position where no imaging device exists. Generate video that is taken. Hereinafter, a photographing device virtually arranged at an arbitrary viewpoint position is referred to as a virtual photographing device. Here, in order to photograph the user X from the front direction of the
Note that this virtual viewpoint video generation method is disclosed in Japanese Unexamined Patent Application Publication No. 2006-126965.
また、ユーザＸのコミュニケーション相手であるユーザＹのコミュニケーション装置、つまり、画角制御対象となるコミュニケーション装置にも、複数の撮影装置、及び、仮想視点映像生成部を設ける。 Also, the communication device of user Y who is the communication partner of user X, that is, the communication device that is the object of view angle control, is provided with a plurality of photographing devices and a virtual viewpoint video generation unit.
図１０は、ユーザＹ１、Ｙ２と複数の撮影装置１２１’、１２２’、１２３’が設けられた表示装置１１’を示した図である。
FIG. 10 is a diagram showing a
図１０に示すように、θ３に画角を設定した撮影装置１２１’、１２２’、１２３’からの映像データに基づき仮想撮影装置１２４’からユーザＹ１等を仮想的に撮影したとみなす映像を生成する。このとき、仮想撮影装置１２４’の画角を実施例１と同様に、ユーザＹ１のコミュニケーション相手であるユーザＸの視野角と同じ角度に制御する。
As shown in FIG. 10, based on the video data from the
図１１は、複数の撮影装置、及び、仮想視点映像生成部を設けたコミュニケーション装置２、２’の機能ブロック図であり、図７の機能ブロックと同じ機能を備えた機能ブロックについては同じ符号を付してその説明を省略する。 FIG. 11 is a functional block diagram of the communication devices 2 and 2 ′ provided with a plurality of photographing devices and a virtual viewpoint video generation unit, and functional blocks having the same functions as the functional blocks of FIG. A description thereof will be omitted.
特定のコミュニケーション装置２は、前述のように、複数の撮影装置１２１〜１２３を備えている。仮想視点映像生成部２６は、複数の撮影装置１２１〜１２３からの映像に対してアフィン変換処理や射影変換処理を実行し、得られた映像を重ね合わせて、仮想撮影装置１２４からユーザＸを撮影したものとする映像を生成する。
The specific communication device 2 includes a plurality of
複数の撮影装置１２１〜１２３を設けることにより、当該撮影装置からの映像に基づきユーザＸの距離を検知することができる。図９に示したように、異なる位置から同一の被写体を撮影した場合、撮影された被写体の画角内位置が異なっている。この位置の異なりを利用してユーザＸと表示装置１１との距離を算出する。例えば、図９（Ａ）、（Ｂ）の映像に基づき、ユーザＸが何画素異なった位置に撮影されているかを算出する。この値に加え、撮影装置の画角、撮影装置間の距離などの既知の撮影装置に係る情報に基づき、ユーザＸと表示装置１１との距離を算出できる。
By providing the plurality of photographing
このように、複数の撮影装置の視差を利用して距離情報を算出し、視野角を求めると、特別な距離測定センサなどを配置せずに済むので、システムの小型化、低価格化が可能となり好適である。さらに、この方法で得られた距離情報を仮想視点映像生成部２６で使用することで、より精度の高い仮想映像を生成することができる。
In this way, by calculating the distance information using the parallax of multiple imaging devices and obtaining the viewing angle, it is not necessary to install a special distance measurement sensor, etc., so the system can be reduced in size and price can be reduced It is suitable. Furthermore, by using the distance information obtained by this method in the virtual viewpoint
他のコミュニケーション装置２’は、コミュニケーション装置２と同じく、複数の撮影装置１２１’〜１２３’を備えている。仮想視点映像生成部３４は、複数の撮影装置１２１’〜１２３’からの映像に基づき、仮想撮影装置１２４’がユーザＹ１等を撮影したものとする映像を生成する。
画角制御部３１は、仮想撮影装置１２４’の画角を、ユーザＹ１のコミュニケーション相手であるユーザＸの視野角と同じ角度に制御する。具体的には、仮想視点映像生成部３４は、ユーザＸの視野角と同じ角度の撮影画角に対応する映像データを生成する。
Similar to the communication device 2, the other communication device 2 ′ includes a plurality of photographing
The angle-of-
以上の実施例では、横方向への角度（広がり角）を説明してきたが、縦方向への角度にも本発明を適用することができる。この場合、表示装置の縦幅をメモリに記憶する。
このようにすることで、ユーザが上下方向に視線を動かしても、前述のように、ユーザの視線方向をコミュニケーション相手に正確に伝えることができ、自然で効果的なコミュニケーションが可能である。
In the above embodiments, the angle in the horizontal direction (expansion angle) has been described, but the present invention can also be applied to the angle in the vertical direction. In this case, the vertical width of the display device is stored in the memory.
In this way, even when the user moves his / her line of sight in the vertical direction, as described above, the user's line of sight can be accurately transmitted to the communication partner, and natural and effective communication is possible.
以上に説明したように、本発明によれば、ユーザの向いている方向や視線を、コミュニケーション相手に正しく伝えることができるので、自然なコミュニケーションが可能である。また、視線や身振り手振りを介した非言語コミュニケーションを正確に行えるので、コミュニケーション相手に多くの情報を伝達することができる。 As described above, according to the present invention, the direction and line of sight facing the user can be correctly transmitted to the communication partner, so that natural communication is possible. In addition, since non-verbal communication can be accurately performed through line of sight and gestures, a large amount of information can be transmitted to the communication partner.
１，２…特定のコミュニケーション装置、１’，２’…他のコミュニケーション装置、１１，１１’…表示装置、１２，１２’ ，１２１〜１２３，１２１’〜１２３’…撮影装置、１２４，１２４’…仮想撮影装置、１３，１３’…データ送受信制御部、１４，１４’…ネットワークＩ／Ｆ、２１…距離検知部、２２…視野角算出部、２３…視野角送信部、２４，３２…メモリ、２５，３３…制御部、２６，３４…仮想視点映像生成部、３１…画角制御部。
1, 2 ... Specific communication device, 1 ', 2' ... Other communication device, 11, 11 '... Display device, 12, 12', 121-123, 121'-123 '... Shooting device, 124, 124' ... Virtual imaging device, 13, 13 '... Data transmission / reception control unit, 14, 14' ... Network I / F, 21 ... Distance detection unit, 22 ... Viewing angle calculation unit, 23 ... Viewing angle transmission unit, 24, 32 ...
Claims (5)
前記コミュニケーションシステムの特定のコミュニケーション装置は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を他のコミュニケーション装置に送信する視野角送信部を備え、
前記他のコミュニケーション装置は、前記特定のコミュニケーション装置から送信された前記ユーザの視野角と同じ角度に撮影装置の画角を制御する画角制御部を備えることを特徴とするコミュニケーションシステム。 In a communication system that includes a photographing device for photographing a user and a display device, and two or more communication devices that transmit and receive photographed video data of the user are connected to each other via a network.
The specific communication device of the communication system includes a memory that stores a width of the display device, a distance detection unit that detects a distance between the user and the display device, a width of the display device, and the user and the A viewing angle calculation unit that calculates a viewing angle at which the user views the display device based on a distance from the display device, and a viewing angle transmission unit that transmits the calculated viewing angle to another communication device,
The other communication device includes an angle-of-view control unit that controls the angle of view of the photographing device to the same angle as the viewing angle of the user transmitted from the specific communication device.
前記ユーザと前記表示装置との距離を検知する距離検知部と、
前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、
当該算出した視野角を前記他のコミュニケーション装置に送信する視野角送信部を備えたことを特徴とする請求項１に記載のコミュニケーションシステムを構成する前記特定のコミュニケーション装置。 A memory for storing a width of the display device;
A distance detection unit that detects a distance between the user and the display device;
A viewing angle calculator that calculates a viewing angle at which the user views the display device based on a width of the display device and a distance between the user and the display device;
The said specific communication apparatus which comprises the communication angle transmission part of Claim 1 provided with the viewing angle transmission part which transmits the said calculated viewing angle to said other communication apparatus.
当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、
前記映像生成部は、当該複数の撮影装置が出力する複数の映像データに基づき、前記ユーザと前記表示装置との距離を検知することを特徴とする請求項２に記載の特定のコミュニケーション装置。 A plurality of photographing devices for photographing the user;
Based on a plurality of video data output by the plurality of imaging devices, a video generation unit that generates video data of the user that is considered to have virtually captured the user from an arbitrary position on the display device,
The specific communication device according to claim 2, wherein the video generation unit detects a distance between the user and the display device based on a plurality of video data output by the plurality of imaging devices.
当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、
前記映像生成部は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度の撮影画角に対応する映像データを生成することを特徴とする請求項３に記載の他のコミュニケーション装置。 A plurality of photographing devices for photographing the user;
Based on a plurality of video data output by the plurality of imaging devices, a video generation unit that generates video data of the user that is considered to have virtually captured the user from an arbitrary position on the display device,
The other communication device according to claim 3, wherein the video generation unit generates video data corresponding to a shooting angle of view that is the same as a user's viewing angle transmitted from the specific communication device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009134637A JP2010283550A (en) | 2009-06-04 | 2009-06-04 | Communication system, and communication device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009134637A JP2010283550A (en) | 2009-06-04 | 2009-06-04 | Communication system, and communication device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010283550A true JP2010283550A (en) | 2010-12-16 |
Family
ID=43539919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009134637A Pending JP2010283550A (en) | 2009-06-04 | 2009-06-04 | Communication system, and communication device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010283550A (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020054605A1 (en) * | 2018-09-12 | 2020-03-19 | シャープ株式会社 | Image display device and image processing device |
| CN112799433A (en) * | 2021-01-20 | 2021-05-14 | 深圳市达特文化科技股份有限公司 | Character display system based on point light source |
-
2009
- 2009-06-04 JP JP2009134637A patent/JP2010283550A/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020054605A1 (en) * | 2018-09-12 | 2020-03-19 | シャープ株式会社 | Image display device and image processing device |
| CN112799433A (en) * | 2021-01-20 | 2021-05-14 | 深圳市达特文化科技股份有限公司 | Character display system based on point light source |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10469821B2 (en) | Stereo image generating method and electronic apparatus utilizing the method | |
| CN109952759B (en) | Improved method and system for video conferencing with HMD | |
| US7856180B2 (en) | Camera device | |
| US8120640B2 (en) | Videophone apparatus | |
| CN107219710B (en) | Multi-lens system and portable electronic device with same | |
| WO2003098942A1 (en) | Information processing apparatus, information processing system, and dialogist displaying method | |
| US20070081091A1 (en) | Image pickup device of multiple lens camera system for generating panoramic image | |
| JP4144492B2 (en) | Image display device | |
| JP2008515275A (en) | Mobile communication device having stereoscopic image creation function | |
| JP2006333301A (en) | Video communication apparatus | |
| JP5720068B1 (en) | Smart glasses with self-photographing function | |
| JP2004193962A (en) | Image communication equipment, image communication method, and computer program | |
| JP5478357B2 (en) | Display device and display method | |
| JP2010181826A (en) | Three-dimensional image forming apparatus | |
| JP2011097447A (en) | Communication system | |
| JP6157077B2 (en) | Display device with camera | |
| CN109218709B (en) | Holographic content adjusting method and device and computer readable storage medium | |
| CN107592520B (en) | Imaging device and imaging method of AR equipment | |
| JP2017199958A (en) | Imaging apparatus, control method thereof, and control program | |
| JP2017046233A (en) | Display device, information processor, and control method of the same | |
| JP2010283550A (en) | Communication system, and communication device | |
| JPH1075432A (en) | Stereoscopic video telephone set | |
| JP6004978B2 (en) | Subject image extraction device and subject image extraction / synthesis device | |
| JP2005142765A (en) | Apparatus and method for imaging | |
| JP2011182003A (en) | Panorama camera and 360-degree panorama stereoscopic video system |