JP2010171695A - Television conference device and displaying/imaging method - Google Patents

Television conference device and displaying/imaging method Download PDF

Info

Publication number
JP2010171695A
JP2010171695A JP2009011830A JP2009011830A JP2010171695A JP 2010171695 A JP2010171695 A JP 2010171695A JP 2009011830 A JP2009011830 A JP 2009011830A JP 2009011830 A JP2009011830 A JP 2009011830A JP 2010171695 A JP2010171695 A JP 2010171695A
Authority
JP
Japan
Prior art keywords
subject
size
video conference
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009011830A
Other languages
Japanese (ja)
Other versions
JP5139339B2 (en
Inventor
Hideaki Takada
英明 高田
Akira Ishii
亮 石井
Munekazu Date
宗和 伊達
Hajime Noto
肇 能登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009011830A priority Critical patent/JP5139339B2/en
Publication of JP2010171695A publication Critical patent/JP2010171695A/en
Application granted granted Critical
Publication of JP5139339B2 publication Critical patent/JP5139339B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To transmit the information of the magnitude of an object of a photographed image to a television conference device of a communication counterpart, and to display the image with full-length display or a desired magnitude using the information of the magnitude thereof. <P>SOLUTION: This television conference device includes an imaging part, a display part, and a transmission part, and is configured to transmit an image of an object photographed by the imaging part to the other television conference device via the transmission part and display an image of the object transmitted from the other television conference device on the display part in real time. The television conference device further includes: a scale acquisition part for acquiring the information of the magnitude of the object shot by the imaging part; and a scale conversion part for converting the transmitted image of the object to a predetermined magnitude to display the converted image on the display part based on the information of the magnitude of the object transmitted from the other television conference device. The transmission part transmits the information of the magnitude of the object acquired by the scale acquisition part to the other television conference device. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、テレビ会議装置および表示撮像方法に係り、特に、通信相手の映像を等身大表示（実サイズ）や所望の大きさで表示する際に有効な技術に関する。   The present invention relates to a video conference device and a display imaging method, and more particularly to a technique that is effective when displaying an image of a communication partner in a life-size display (actual size) or a desired size.

従来、テレビ会議やテレビ電話などの映像コミュニケーションシステムは、例えば、下記特許文献１に開示されているように良く知られている。
従来のテレビ会議やテレビ電話などの映像コミュニケーションシステムでは、撮影された被写体の大きさと、実際に相手側に表示される被写体の大きさは一致しているとは限らない。特に、撮影するカメラの画角や解像度、表示するディスプレイの大きさや解像度もシステム毎に異なっているため、お互いの人物のイメージの把握や存在感、表示されている物体の質感は伝わりにくく、利用者は、映像に映っている既知の大きさの物体と比較しながら想像で把握するしかなかった。 2. Description of the Related Art Conventionally, video communication systems such as a video conference and a video phone are well known as disclosed in, for example, Patent Document 1 below.
In a conventional video communication system such as a video conference or a video phone, the size of the photographed subject does not always match the size of the subject actually displayed on the other side. In particular, the angle of view and resolution of the camera to shoot, and the size and resolution of the display to be displayed vary from system to system, so it is difficult to understand the presence and presence of each other's images and the texture of the displayed objects. The person had to grasp it by imagination while comparing it with an object of a known size shown in the video.

特開平１１−１１２９５４号公報Japanese Patent Application Laid-Open No. 11-112954

前述の特許文献１に記載のテレビ電話機では、通信相手のテレビ電話機のカメラを制御可能とすることが記載されているが、従来のテレビ会議やテレビ電話などの遠隔コミュニケーションシステムでは、撮影された被写体の大きさと実際に相手側に表示される被写体の大きさは一致しているとは限らず、大きさを正確に把握するのは困難であった。
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、撮像した映像の被写体の大きさの情報を通信相手のテレビ会議装置に伝送し、その大きさの情報を用いて等身大表示や所望の大きさで表示することが可能となる技術を提供することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。 The video phone described in Patent Document 1 describes that the camera of the video phone of the communication partner can be controlled. However, in a conventional remote communication system such as a video conference or a video phone, The size of the subject and the size of the subject actually displayed on the other side do not always match, and it is difficult to accurately grasp the size.
The present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to transmit information on the size of a subject of a captured video to a video conference device of a communication partner, and It is an object of the present invention to provide a technology capable of displaying a life-size display or a desired size using the information on the height.
The above and other objects and novel features of the present invention will become apparent from the description of this specification and the accompanying drawings.

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
（１）撮像部と、表示部と、伝送部とを有し、前記撮像部で撮像した被写体の映像を前記伝送部を介して他のテレビ会議装置に伝送し、他のテレビ会議装置から伝送されてきた前記被写体の映像をリアルタイムで前記表示部に表示するテレビ会議装置であって、前記撮像部で撮像した前記被写体の大きさの情報を取得するスケール取得部と、前記他のテレビ会議装置から伝送されてきた前記被写体の大きさの情報に基づき、前記伝送されてきた前記被写体の映像を所定サイズの大きさに変換して前記表示部に表示するスケール変換部とを有し、前記伝送部は、前記スケール取得部で取得した前記被写体の大きさの情報を前記他のテレビ会議装置に伝送する。
（２）（１）において、前記スケール取得部は、前記被写体とともに前記撮像部にて撮像された予め既知のパターンの大きさから前記被写体の大きさの情報を取得する。
（３）（２）において、前記既知のパターンは、多方向から観察しても同じ絵柄が常に観察できる立体画像を用いる。
（４）（１）において、前記スケール取得部は、前記撮像部から前記被写体までの距離情報を、前記撮像部の自動焦点調節機能の前記被写体の合焦位置の情報から取得し、前記取得した前記撮像部と前記被写体までの距離情報と、前記撮像部の撮像画角の情報とを用いて前記写体の大きさの情報を取得する。 Of the inventions disclosed in this application, the outline of typical ones will be briefly described as follows.
(1) An imaging unit, a display unit, and a transmission unit are provided, and the subject image captured by the imaging unit is transmitted to another video conference device via the transmission unit, and transmitted from the other video conference device. A video conference apparatus that displays the image of the subject that has been displayed on the display unit in real time, the scale acquisition unit that acquires information on the size of the subject captured by the imaging unit, and the other video conference apparatus A scale conversion unit that converts the transmitted video of the subject into a predetermined size based on the information on the size of the subject transmitted from the display unit and displays the image on the display unit. The unit transmits information on the size of the subject acquired by the scale acquisition unit to the other video conference apparatus.
(2) In (1), the scale acquisition unit acquires information on the size of the subject from the size of a previously known pattern imaged by the imaging unit together with the subject.
(3) In (2), the known pattern uses a stereoscopic image in which the same pattern can always be observed even when observed from multiple directions.
(4) In (1), the scale acquisition unit acquires distance information from the imaging unit to the subject from information on the in-focus position of the subject of the automatic focusing function of the imaging unit, and acquires the information. Information on the size of the subject is acquired using information on the distance from the imaging unit to the subject and information on the angle of view of the imaging unit.

（５）（１）ないし（４）の何れかにおいて、前記スケール変換部は、前記他のテレビ会議装置から伝送されてきた前記被写体の大きさの情報に基づき、前記伝送されてきた前記被写体の映像の解像度を変換して、前記伝送されてきた前記被写体の映像を前記所定サイズの大きさに変換し、あるいは、前記他のテレビ会議装置の前記撮像部へ撮像画角の変更要求を送り、当該変更要求に従い前記他のテレビ会議装置の前記撮像部において撮像倍率を変化させて前記被写体を撮像することにより、前記伝送されてきた前記被写体の映像を前記所定サイズの大きさに変換する。
（６）（１）ないし（５）の何れかにおいて、前記表示部は、前記他のテレビ会議装置の前記撮像部あるいは前記スケール変換部に対して、表示部の表示エリアの大きさの情報を送信する。
（７）撮像部で撮像した被写体の映像を他のテレビ会議装置に伝送し、他のテレビ会議装置から伝送されてきた前記被写体の映像をリアルタイムで表示部に表示するテレビ会議装置の表示撮像方法であって、前記撮像部で撮像した前記被写体の大きさの情報を取得し、前記取得した前記被写体の大きさの情報を前記他のテレビ会議装置に伝送し、前記他のテレビ会議装置から伝送されてきた前記被写体の大きさの情報に基づき、前記伝送されてきた前記被写体の映像を所定サイズの大きさに変換して前記表示部に表示する。
（８）（７）において、前記他のテレビ会議装置から伝送されてきた前記被写体の大きさの情報に基づき、前記伝送されてきた前記被写体の映像の解像度を変換して、前記伝送されてきた前記被写体の映像を前記所定サイズの大きさに変換し、あるいは、前記他のテレビ会議装置の前記撮像部へ撮像画角の変更要求を送り、当該変更要求に従い前記他のテレビ会議装置の前記撮像部において撮像倍率を変化させて前記被写体を撮像することにより、前記伝送されてきた前記被写体の映像を前記所定サイズの大きさに変換する。 (5) In any one of (1) to (4), the scale conversion unit may determine the size of the subject transmitted based on the size information of the subject transmitted from the other video conference device. Convert the resolution of the video, convert the transmitted video of the subject to the size of the predetermined size, or send a request to change the imaging angle of view to the imaging unit of the other video conference device, In accordance with the change request, the imaging unit of the other video conference apparatus changes the imaging magnification to capture the subject, thereby converting the transmitted video of the subject into the predetermined size.
(6) In any one of (1) to (5), the display unit sends information about a size of a display area of the display unit to the imaging unit or the scale conversion unit of the other video conference device. Send.
(7) A display and imaging method of a video conference apparatus that transmits a video of a subject imaged by an imaging unit to another video conference device and displays the video of the subject transmitted from the other video conference device on a display unit in real time. The information on the size of the subject imaged by the imaging unit is acquired, the acquired information on the size of the subject is transmitted to the other video conference device, and transmitted from the other video conference device. Based on the information on the size of the subject, the transmitted video of the subject is converted into a predetermined size and displayed on the display unit.
(8) In (7), based on the information on the size of the subject transmitted from the other video conference device, the resolution of the transmitted video of the subject is converted and the transmitted The image of the subject is converted into the predetermined size, or a request for changing the imaging field angle is sent to the imaging unit of the other video conference device, and the imaging of the other video conference device is performed according to the change request. The imaging unit changes the imaging magnification to capture the subject, thereby converting the transmitted video of the subject into the predetermined size.

本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
本発明によれば、撮像した映像の被写体の大きさの情報を撮像した映像に加えて伝送し、その大きさの情報を用いて等身大表示や所望の大きさで表示することが可能となる。 The effects obtained by the representative ones of the inventions disclosed in the present application will be briefly described as follows.
According to the present invention, it is possible to transmit information on the size of the subject of the captured video in addition to the captured video, and display the life-size display or a desired size using the size information. .

本発明の基本となるテレビ会議装置を使用するテレビ会議システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the video conference system which uses the video conference apparatus used as the foundation of this invention. 本発明の実施例１のテレビ会議装置を使用するテレビ会議システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the video conference system which uses the video conference apparatus of Example 1 of this invention. 本発明の実施例２のテレビ会議装置を使用するテレビ会議システムの概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the video conference system which uses the video conference apparatus of Example 2 of this invention.

以下、図面を参照して本発明の実施例を詳細に説明する。
なお、実施例を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
［本発明の基本となるテレビ会議装置］
図１は、本発明の基本となるテレビ会議装置を使用するテレビ会議システムの概略構成を示すブロック図である。図１に示すように、一方のテレビ会議装置１０Ａは、撮像部１０１と、表示部１０２と、伝送部１０３とを有し、一方のテレビ会議装置１０Ａに対して遠隔地に配置される他方のテレビ会議装置１０Ｂは、撮像部１０４と、表示部１０５と、伝送部１０６とを有する。
図１に示すテレビ会議システムでは、一方のテレビ会議装置１０Ａの撮像部１０１で撮像した被写体の映像を伝送部１０３を介して、遠隔地の他方のテレビ会議装置１０Ｂにリアルタイムで伝送し、他方のテレビ会議装置１０Ｂでは、伝送されてきた被写体の映像を表示部１０５にてリアルタイムに表示する。双方向で同様の装置構成となっており、リアルタイムに双方向通信が可能となっている。
撮像部（１０１，１０４）には、テレビカメラが設置されており、テレビ会議の参加者を含めた周辺を撮像し、表示部（１０２，１０５）では、その映像をＬＣＤ（液晶ディスプレイ）やＣＲＴ、ＰＤＰ（プラズマディスプレイ）などの表示装置に表示して、相手方の様子を観察できるようになっている。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
In all the drawings for explaining the embodiments, parts having the same functions are given the same reference numerals, and repeated explanation thereof is omitted.
[Video conferencing apparatus as the basis of the present invention]
FIG. 1 is a block diagram showing a schematic configuration of a video conference system using a video conference device as a basis of the present invention. As shown in FIG. 1, one video conference device 10A includes an imaging unit 101, a display unit 102, and a transmission unit 103, and the other video conference device 10A disposed at a remote location with respect to one video conference device 10A. The video conference apparatus 10 </ b> B includes an imaging unit 104, a display unit 105, and a transmission unit 106.
In the video conference system shown in FIG. 1, a subject image captured by the imaging unit 101 of one video conference device 10A is transmitted in real time to the other video conference device 10B at a remote location via the transmission unit 103, and the other In the video conference apparatus 10B, the transmitted video of the subject is displayed on the display unit 105 in real time. The same device configuration is provided in both directions, and bidirectional communication is possible in real time.
The imaging unit (101, 104) is provided with a television camera and images the surroundings including the participants of the video conference. The display unit (102, 105) displays the image on an LCD (liquid crystal display) or CRT. It can be displayed on a display device such as a PDP (plasma display) so that the other party can be observed.

［実施例１］
図２は、本発明の実施例１のテレビ会議装置を使用するテレビ会議システムの概略構成を示すブロック図である。図２に示すように、本実施例では、一方のテレビ会議装置１０Ａは、撮像部２０１と、表示部２０２と、伝送部２０３と、スケール取得・変換部２０４とを有し、一方のテレビ会議装置１０Ａに対して遠隔地に配置される他方のテレビ会議装置１０Ｂは、撮像部２０５と、表示部２０６と、伝送部２０７と、スケール取得・変換部２０８とを有する。
本実施例のテレビ会議装置は、図１に示す基本となる構成に対して、スケール取得・変換部（２０４，２０８）が追加された構成となっている。
本実施例では、一方のテレビ会議装置１０Ａのスケール取得・変換部２０４は、撮像部２０１で撮像した映像から被写体の大きさの情報を取得し、伝送部２０３は、当該被写体の大きさの情報を撮像部２０１で撮像した映像に加えて、遠隔地の他方のテレビ会議装置１０Ｂにリアルタイムで伝送する。他方のテレビ会議装置１０Ｂでは、伝送されてきた被写体の大きさの情報を用いて、スケール取得・変換部２０８において、被写体の大きさを等身大（実サイズ）、あるいは、所望サイズの大きさになるように変換して、表示部２０６に表示する。双方向で同様の装置構成となっており、リアルタイムに双方向通信が可能となっている。
例えば、表示部２０６が、会議参加者の等身大表示が可能な程度の大型の表示装置である場合には、伝送されてきた被写体の大きさの情報から、その表示装置上で実サイズになるように拡大・縮小して表示する。あるいは、表示部２０６が小型の表示装置である場合には、常に１／１０の大きさになるように縮小するなど、相手の参加者の大きさが把握しやすいような映像表現が可能となる。 [Example 1]
FIG. 2 is a block diagram illustrating a schematic configuration of a video conference system that uses the video conference apparatus according to the first embodiment of the present invention. As shown in FIG. 2, in this embodiment, one video conference apparatus 10A includes an imaging unit 201, a display unit 202, a transmission unit 203, and a scale acquisition / conversion unit 204. The other video conference apparatus 10 </ b> B disposed at a location remote from the apparatus 10 </ b> A includes an imaging unit 205, a display unit 206, a transmission unit 207, and a scale acquisition / conversion unit 208.
The video conference apparatus according to the present embodiment has a configuration in which scale acquisition / conversion units (204, 208) are added to the basic configuration shown in FIG.
In the present embodiment, the scale acquisition / conversion unit 204 of one video conference apparatus 10A acquires subject size information from the video imaged by the imaging unit 201, and the transmission unit 203 provides information on the subject size. Is transmitted in real time to the other video conference apparatus 10B at a remote location. In the other video conference apparatus 10B, the scale acquisition / conversion unit 208 uses the transmitted subject size information to change the subject size to a life size (actual size) or a desired size. Is converted and displayed on the display unit 206. The same device configuration is provided in both directions, and bidirectional communication is possible in real time.
For example, when the display unit 206 is a large display device that can display a life size of a conference participant, the actual size is displayed on the display device from the transmitted information on the size of the subject. The image is enlarged and reduced as shown. Alternatively, when the display unit 206 is a small display device, it is possible to perform video expression such that the size of the other party's participant can be easily grasped, for example, the display unit 206 is reduced to a size of 1/10. .

本実施例において、被写体の大きさを、等身大（実サイズ）、あるいは所望サイズヘ変換する処理は、表示部２０６の表示サイズの情報（画素ピッチや表示面の縦横のサイズ）を用いて、スケール取得・変換部２０８において映像の解像度を画像処理として変換し、あるいは、スケール取得・変換部２０８から、通信相手のテレビ会議装置の撮像部２０１へ撮像画角の変更要求を送り、通信相手のテレビ会議装置の撮像部２０１ではその変更要求に従い撮像倍率を変化させることで光学的にサイズの変換を行う。この光学的に変換する場合、撮像部２０１で取得した映像の画質を劣化させることなく表示部２０６に表示できるので、臨場感の高い映像提示を実現できる。
市販のプロ用ビデオカメラでは外部からカメラのズーム（倍率）を変化させることができるインターフェースを備えており、また、民生用ビデオカメラの一部でも同様なコントロールができるものがあり、この機能を利用することで、市販のカメラでも同様な構成ができる。
被写体の大きさの情報は、あらかじめ大きさが分かっているパターンを印刷したプレートなどを被写体と共に撮像部２０１にて撮像し、その撮像された映像中のパターンの大きさから被写体の大きさを推定することで、相手側の大きさをある程度正確に伝送し遠隔地に伝えることができるようになる。
また、このパターンとしては、単なる１次元のテープ状のものや２次元の板状のものでも良いが、これらの場合にはカメラの光輪に対して垂直ではなく、奥行き方向に斜めになった場合には大きさの判別が困難となる。そのため、このパターンとして、ホログラムなどの多方向から観察しても同じ絵柄が常に観察できる立体画像を用いることで、パターンの配置の条件を解消することもできる。もちろん、球状の立体物にパターン画像を配置して、同様の効果を得ることも可能である。 In the present embodiment, the process of converting the size of the subject into a life size (actual size) or a desired size is performed using the display size information (pixel pitch and vertical and horizontal sizes of the display surface) of the display unit 206. The acquisition / conversion unit 208 converts the resolution of the video as image processing, or the scale acquisition / conversion unit 208 sends a request to change the imaging field angle to the imaging unit 201 of the video conference device of the communication partner, and the television of the communication partner The imaging unit 201 of the conference apparatus optically converts the size by changing the imaging magnification according to the change request. In the case of this optical conversion, since it can be displayed on the display unit 206 without degrading the image quality of the video acquired by the imaging unit 201, it is possible to realize video presentation with high presence.
Commercially available professional video cameras have an interface that can change the zoom (magnification) of the camera from the outside, and some consumer video cameras can be controlled in the same way. By doing so, a commercially available camera can be configured similarly.
Information on the size of the subject is obtained by imaging a plate or the like on which a pattern having a known size is printed together with the subject by the imaging unit 201, and estimating the size of the subject from the size of the pattern in the captured image. By doing so, the size of the other party can be transmitted to a remote place with some degree of accuracy.
In addition, this pattern may be a simple one-dimensional tape or two-dimensional plate. In these cases, the pattern is not perpendicular to the optical ring of the camera but inclined in the depth direction. It is difficult to determine the size. Therefore, by using a three-dimensional image in which the same pattern can always be observed even when observed from multiple directions, such as a hologram, the pattern arrangement condition can be eliminated. Of course, the same effect can be obtained by arranging a pattern image on a spherical solid object.

［実施例２］
図３は、本発明の実施例２のテレビ会議装置を使用するテレビ会議システムの概略構成を示すブロック図である。図３に示すように、本実施例では、一方のテレビ会議装置１０Ａは、撮像部３０１と、表示部３０２と、伝送部３０３と、距離計測部３０４と、スケール変換部３０９とを有し、一方のテレビ会議装置１０Ａに対して遠隔地に配置される他方のテレビ会議装置１０Ｂは、撮像部３０５と、表示部３０６と、伝送部３０７と、距離計測部３０８と、スケール変換部３１０とを有する。
本実施例のテレビ会議装置は、図１に示す基本となる構成に対して、距離計測部（３０４，３０８）と、スケール変換部（３０９，３１０）が追加された構成となっている。
本実施例では、一方のテレビ会議装置１０Ａの距離計測部３０４が、撮像部３０１から被写体までの距離を計測して、撮像部３０１から被写体までの距離情報を取得し、伝送部３０３は、当該被写体までの距離情報と、撮像部３０１の撮像画角の情報とを用いて大きさの情報を生成・取得し、遠隔地の他方のテレビ会議装置１０Ｂにリアルタイムで伝送する。他方のテレビ会議装置１０Ｂでは、伝送されてきた被写体の大きさの情報を用いて、スケール変換部３１０において、被写体の大きさを等身大（実サイズ）、あるいは、所望サイズの大きさになるように変換して、表示部３０６に表示する。双方向で同様の装置構成となっており、リアルタイムに双方向通信が可能となっている。 [Example 2]
FIG. 3 is a block diagram illustrating a schematic configuration of a video conference system that uses the video conference apparatus according to the second embodiment of the present invention. As shown in FIG. 3, in this embodiment, one video conference apparatus 10A includes an imaging unit 301, a display unit 302, a transmission unit 303, a distance measurement unit 304, and a scale conversion unit 309. The other video conference apparatus 10B disposed at a remote location with respect to one video conference apparatus 10A includes an imaging unit 305, a display unit 306, a transmission unit 307, a distance measurement unit 308, and a scale conversion unit 310. Have.
The video conference apparatus according to the present embodiment has a configuration in which a distance measurement unit (304, 308) and a scale conversion unit (309, 310) are added to the basic configuration shown in FIG.
In this embodiment, the distance measuring unit 304 of one video conference device 10A measures the distance from the imaging unit 301 to the subject, acquires distance information from the imaging unit 301 to the subject, and the transmission unit 303 The size information is generated and acquired using the distance information to the subject and the imaging field angle information of the imaging unit 301, and is transmitted in real time to the other remote video conference apparatus 10B. In the other video conference apparatus 10B, the scale conversion unit 310 uses the transmitted information on the size of the subject so that the size of the subject becomes a life size (actual size) or a desired size. And is displayed on the display unit 306. The same device configuration is provided in both directions, and bidirectional communication is possible in real time.

撮像部３０１から被写体までの距離の情報は、撮像部３０１に使用するビデオカメラの自動焦点調節（オートフォーカス）機能を利用し、被写体の合焦位置（ピント位置、被写体までの合焦距離）の情報をカメラから出力させて取得する。
これにより、新たに距離を計測するセンサなどを外部に設置せずに距離計測部を構成することができる。市販のプロ用ビデオカメラでは外部からカメラの焦点調節を変化および焦点位置の情報を出力させることができるインターフェースを備えており、この機能を利用することで、市販のカメラでも同様な構成ができる。もちろん、距離計測部３０４における被写体までの距離の計測は、超音波センサやレーザ計測などの距離計測手段を外部に具備することでも同様に実現できる。
本実施例において、被写体の大きさを、等身大（実サイズ）、あるいは所望サイズヘ変換する処理は、表示部３０６の表示サイズの情報（画素ピッチや表示面の縦横のサイズ）を用いて、スケール変換部３１０において映像の解像度を画像処理として変換し、あるいは、スケール変換部３１０から、通信相手のテレビ会議装置の撮像部３０１へ撮像画角の変更要求を送り、通信相手のテレビ会議装置の撮像部３０１ではその変更要求に従い撮像倍率を変化させることで光学的にサイズの変換を行う。この光学的に変換する場合、撮像部３０１で取得した映像の画質を劣化させることなく表示部３０６に表示できるので、臨場感の高い映像提示を実現できる。
市販のプロ用ビデオカメラでは外部からカメラのズーム（倍率）を変化させることができるインターフェースを備えており、また、民生用ビデオカメラの一部でも同様なコントロールができるものがあり、この機能を利用することで、市販のカメラでも同様な構成ができる。 Information on the distance from the imaging unit 301 to the subject uses the automatic focus adjustment (autofocus) function of the video camera used for the imaging unit 301 to determine the focus position of the subject (focus position, focus distance to the subject). Get information from the camera.
Thereby, a distance measurement part can be comprised, without installing the sensor etc. which measure a distance newly outside. A commercially available professional video camera is equipped with an interface that can change the focus adjustment of the camera and output information on the focus position from the outside. By using this function, the same configuration can be achieved with a commercially available camera. Of course, the measurement of the distance to the subject in the distance measuring unit 304 can be similarly realized by providing a distance measuring means such as an ultrasonic sensor or a laser measurement outside.
In this embodiment, the process of converting the size of the subject to a life size (actual size) or a desired size is performed using the display size information (pixel pitch and vertical and horizontal sizes of the display surface) of the display unit 306. The conversion unit 310 converts the resolution of the video as image processing, or the scale conversion unit 310 sends a request to change the imaging angle of view to the imaging unit 301 of the communication partner's video conference device, and the imaging of the communication partner's video conference device. The unit 301 optically converts the size by changing the imaging magnification according to the change request. In the case of this optical conversion, since it can be displayed on the display unit 306 without degrading the image quality of the image acquired by the imaging unit 301, it is possible to realize a highly realistic video presentation.
Commercially available professional video cameras have an interface that can change the zoom (magnification) of the camera from the outside, and some consumer video cameras can be controlled in the same way. By doing so, a commercially available camera can be configured similarly.

なお、前述の各実施例において、各テレビ会議装置の表示部は、通信相手のテレビ会議装置の撮像部あるいはスケール変換部に対して、表示装置の表示エリアの大きさの情報を送信するようにしてもよい。例えば、テレビ会議装置１０Ｂの表示部（２０６、または、３０６）は、通信相手のテレビ会議装置１０Ａの撮像部（２０１、または、３０１）、あるいは、スケール取得・変換部２０４、若しくは、スケール変換部３０９に対して表示エリアの大きさの情報を送信する。
ここで、表示装置の表示エリアの大きさの情報は、例えば、表示部のディスプレイサイズが対角４０インチであるとか、解像度がいくつで画素ピッチがいくつである等の情報である。
これにより、テレビ会議装置１０Ａの撮像部（２０１、または、３０１）では、通信相手の表示エリアの大きさの情報に基づき最適な撮像倍率にしたがい被写体を撮像することが可能となる。また、通常利用する表示装置の解像度が同じでもサイズが異なった場合には等身大表示はできないが、前述した表示装置の表示エリアの大きさの情報を送信する場合には、利用する表示装置の解像度が同じで、サイズが異なった場合でも等身大表示が可能となる。 In each of the embodiments described above, the display unit of each video conference device transmits information on the size of the display area of the display device to the imaging unit or the scale conversion unit of the video conference device of the communication partner. May be. For example, the display unit (206 or 306) of the video conference device 10B is the imaging unit (201 or 301), the scale acquisition / conversion unit 204, or the scale conversion unit of the video conference device 10A as the communication partner. Information on the size of the display area is transmitted to 309.
Here, the information on the size of the display area of the display device is information such as, for example, the display size of the display unit is 40 inches diagonal, the number of resolutions, and the pixel pitch.
As a result, the imaging unit (201 or 301) of the video conference apparatus 10A can capture the subject according to the optimal imaging magnification based on the information on the size of the display area of the communication partner. In addition, if the size of the display device that is normally used is the same, but the size is different, life-size display is not possible. However, when transmitting information on the size of the display area of the display device described above, Life-size display is possible even when the resolution is the same and the sizes are different.

また、前述の各実施例は、被写体の大きさの情報を伝達する構成であるため、実サイズや所望のサイズでの表示以外にも、ＣＧ映像と実写映像、あるいは実写映像同士の映像合成時のスケール合わせや、立体表示などへの利用にも適しているのは明らかである。
さらに、本実施例は、一例を示したものであり、その他の市中の類似の製品・装置などとの組み合わせについては、この限りではない。
以上説明したように、本実施例によれば、一方のテレビ会議装置では、撮像した映像の被写体の大きさの情報を、被写体を撮像する時に同時に取得して、撮像した映像に加えて通信相手の他方のテレビ会議装置に伝送し、通信相手のテレビ会議装置では、その大きさの情報を用いて、被写体の大きさを、等身大表示や所望の大きさで表示することが可能となる。このように、被写体の大きさの情報を伝達することにより、実サイズでの映像表示や、他の映像との合成時のスケール合わせ、立体表示も容易となる。
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。 In addition, since each of the above-described embodiments is configured to transmit information on the size of the subject, in addition to the display at the actual size or a desired size, at the time of video synthesis of the CG video and the live-action video, or the real-life video. It is clear that it is suitable for use in scale adjustment and stereoscopic display.
Furthermore, the present embodiment shows an example, and the combination with other similar products / devices in the market is not limited to this.
As described above, according to the present embodiment, in one video conference apparatus, information on the size of the subject of the captured video is simultaneously acquired when the subject is captured, and in addition to the captured video, the communication partner And the other party's video conference apparatus can display the size of the subject in a life-size display or in a desired size using the size information. In this way, by transmitting information on the size of the subject, video display at an actual size, scale adjustment at the time of synthesis with another video, and stereoscopic display are facilitated.
As mentioned above, the invention made by the present inventor has been specifically described based on the above embodiments. However, the present invention is not limited to the above embodiments, and various modifications can be made without departing from the scope of the invention. Of course.

１０Ａ，１０Ｂ テレビ会議装置
１０１，１０４，２０１，２０５，３０１，３０５ 撮像部
１０２，１０５，２０２，２０６，３０２，３０６ 表示部
１０３，１０６，２０３，２０７，３０３，３０７ 伝送部
２０４，２０８ スケール取得・変換部
３０４，３０８ 距離計測部
３０９，３１０ スケール変換部 10A, 10B Video conferencing apparatus 101, 104, 201, 205, 301, 305 Imaging unit 102, 105, 202, 206, 302, 306 Display unit 103, 106, 203, 207, 303, 307 Transmitter 204, 208 Scale acquisition・ Conversion unit 304,308 Distance measurement unit 309,310 Scale conversion unit

Claims (8)

撮像部と、表示部と、伝送部とを有し、
前記撮像部で撮像した被写体の映像を前記伝送部を介して他のテレビ会議装置に伝送し、他のテレビ会議装置から伝送されてきた前記被写体の映像をリアルタイムで前記表示部に表示するテレビ会議装置であって、
前記撮像部で撮像した前記被写体の大きさの情報を取得するスケール取得部と、
前記他のテレビ会議装置から伝送されてきた前記被写体の大きさの情報に基づき、前記伝送されてきた前記被写体の映像を所定サイズの大きさに変換して前記表示部に表示するスケール変換部とを有し、
前記伝送部は、前記スケール取得部で取得した前記被写体の大きさの情報を前記他のテレビ会議装置に伝送することを特徴とするテレビ会議装置。 An imaging unit, a display unit, and a transmission unit;
A video conference in which the video of the subject imaged by the imaging unit is transmitted to another video conference device via the transmission unit, and the video of the subject transmitted from the other video conference device is displayed on the display unit in real time. A device,
A scale acquisition unit that acquires information on the size of the subject imaged by the imaging unit;
A scale conversion unit for converting the transmitted video of the subject into a predetermined size based on the information on the size of the subject transmitted from the other video conference device, and displaying the image on the display unit; Have
The transmission unit transmits the information on the size of the subject acquired by the scale acquisition unit to the other video conference device. 前記スケール取得部は、前記被写体とともに前記撮像部にて撮像された予め既知のパターンの大きさから前記被写体の大きさの情報を取得することを特徴とする請求項１に記載のテレビ会議装置。   The video conference apparatus according to claim 1, wherein the scale acquisition unit acquires information on the size of the subject from the size of a known pattern captured in advance by the imaging unit together with the subject. 前記既知のパターンは、多方向から観察しても同じ絵柄が常に観察できる立体画像を用いることを特徴とする請求項２に記載のテレビ会議装置。   3. The video conference apparatus according to claim 2, wherein the known pattern uses a stereoscopic image in which the same pattern can always be observed even when observed from multiple directions. 前記スケール取得部は、前記撮像部から前記被写体までの距離情報を、前記撮像部の自動焦点調節機能の前記被写体の合焦位置の情報から取得し、
前記取得した前記撮像部と前記被写体までの距離情報と、前記撮像部の撮像画角の情報とを用いて前記写体の大きさの情報を取得することを特徴とする請求項１に記載のテレビ会議装置。 The scale acquisition unit acquires distance information from the imaging unit to the subject from information on the in-focus position of the subject of the automatic focusing function of the imaging unit,
The size information of the subject is acquired using the acquired distance information between the imaging unit and the subject and information on an imaging field angle of the imaging unit. Video conferencing equipment. 前記スケール変換部は、前記他のテレビ会議装置から伝送されてきた前記被写体の大きさの情報に基づき、前記伝送されてきた前記被写体の映像の解像度を変換して、前記伝送されてきた前記被写体の映像を前記所定サイズの大きさに変換し、あるいは、前記他のテレビ会議装置の前記撮像部へ撮像画角の変更要求を送り、当該変更要求に従い前記他のテレビ会議装置の前記撮像部において撮像倍率を変化させて前記被写体を撮像することにより、前記伝送されてきた前記被写体の映像を前記所定サイズの大きさに変換することを特徴とする請求項１ないし請求項４のいずれか１項に記載のテレビ会議装置。   The scale converter converts the resolution of the transmitted video of the subject based on the size information of the subject transmitted from the other video conference device, and transmits the transmitted subject. Is converted to the predetermined size, or a request for changing the imaging angle of view is sent to the imaging unit of the other video conference device, and in the imaging unit of the other video conference device according to the change request The image of the subject that has been transmitted is converted into the size of the predetermined size by changing the imaging magnification to capture the subject. 5. The video conference apparatus described in 1. 前記表示部は、前記他のテレビ会議装置の前記撮像部あるいは前記スケール変換部に対して、表示部の表示エリアの大きさの情報を送信することを特徴とする請求項１ないし請求項５のいずれか１項に記載のテレビ会議装置。   6. The display unit according to claim 1, wherein the display unit transmits information about a size of a display area of the display unit to the imaging unit or the scale conversion unit of the other video conference device. The video conference apparatus according to any one of claims. 撮像部で撮像した被写体の映像を他のテレビ会議装置に伝送し、他のテレビ会議装置から伝送されてきた前記被写体の映像をリアルタイムで表示部に表示するテレビ会議装置の表示撮像方法であって、
前記撮像部で撮像した前記被写体の大きさの情報を取得し、前記取得した前記被写体の大きさの情報を前記他のテレビ会議装置に伝送し、
前記他のテレビ会議装置から伝送されてきた前記被写体の大きさの情報に基づき、前記伝送されてきた前記被写体の映像を所定サイズの大きさに変換して前記表示部に表示することを特徴とする表示撮像方法。 A video conferencing apparatus display imaging method for transmitting a video of a subject imaged by an imaging unit to another video conference device and displaying the video of the subject transmitted from the other video conference device on a display unit in real time. ,
Obtaining information on the size of the subject imaged by the imaging unit, transmitting the obtained information on the size of the subject to the other video conference device,
Based on the information on the size of the subject transmitted from the other video conference device, the transmitted video of the subject is converted into a predetermined size and displayed on the display unit. Display imaging method. 前記他のテレビ会議装置から伝送されてきた前記被写体の大きさの情報に基づき、前記伝送されてきた前記被写体の映像の解像度を変換して、前記伝送されてきた前記被写体の映像を前記所定サイズの大きさに変換し、あるいは、前記他のテレビ会議装置の前記撮像部へ撮像画角の変更要求を送り、当該変更要求に従い前記他のテレビ会議装置の前記撮像部において撮像倍率を変化させて前記被写体を撮像することにより、前記伝送されてきた前記被写体の映像を前記所定サイズの大きさに変換することを特徴とする請求項７に記載の表示撮像方法。   Based on the information on the size of the subject transmitted from the other video conference device, the resolution of the transmitted video of the subject is converted, and the transmitted video of the subject is converted into the predetermined size. Or changing the imaging magnification in the imaging unit of the other video conference device in accordance with the change request, by sending a request for changing the imaging angle of view to the imaging unit of the other video conference device. The display imaging method according to claim 7, wherein the transmitted image of the subject is converted into the predetermined size by imaging the subject.
JP2009011830A 2009-01-22 2009-01-22 Video conferencing apparatus and display imaging method Expired - Fee Related JP5139339B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009011830A JP5139339B2 (en) 2009-01-22 2009-01-22 Video conferencing apparatus and display imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009011830A JP5139339B2 (en) 2009-01-22 2009-01-22 Video conferencing apparatus and display imaging method

Publications (2)

Publication Number Publication Date
JP2010171695A true JP2010171695A (en) 2010-08-05
JP5139339B2 JP5139339B2 (en) 2013-02-06

Family

ID=42703393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009011830A Expired - Fee Related JP5139339B2 (en) 2009-01-22 2009-01-22 Video conferencing apparatus and display imaging method

Country Status (1)

Country Link
JP (1) JP5139339B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150036060A (en) * 2012-07-13 2015-04-07 마이크로소프트 코포레이션 Video display modification for video conferencing environments
JP2015082727A (en) * 2013-10-22 2015-04-27 大和ハウス工業株式会社 Interaction system and interaction method
WO2020054605A1 (en) * 2018-09-12 2020-03-19 シャープ株式会社 Image display device and image processing device
US10986401B2 (en) 2016-05-13 2021-04-20 Sony Corporation Image processing apparatus, image processing system, and image processing method
WO2022259480A1 (en) * 2021-06-10 2022-12-15 日本電信電話株式会社 Video processing device, video processing method, and video processing program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0575997A (en) * 1991-09-17 1993-03-26 Canon Inc Video conference system
JPH05292491A (en) * 1992-04-14 1993-11-05 Hitachi Ltd Video telephone system and viewing angle controlling method for the video telephone system
JPH1098646A (en) * 1996-09-20 1998-04-14 Nec Corp Object extraction system
JP2000224459A (en) * 1999-01-28 2000-08-11 Nippon Telegr & Teleph Corp <Ntt> Full size image input/output device, image recording method and recording medium for the method
JP2001057671A (en) * 1999-08-19 2001-02-27 Toshiba Corp Video transmission terminal and video reception terminal
JP2005269560A (en) * 2004-03-22 2005-09-29 Fuji Xerox Co Ltd Image processor, image processing method, and program
JP2005303683A (en) * 2004-04-12 2005-10-27 Sony Corp Image transceiver

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0575997A (en) * 1991-09-17 1993-03-26 Canon Inc Video conference system
JPH05292491A (en) * 1992-04-14 1993-11-05 Hitachi Ltd Video telephone system and viewing angle controlling method for the video telephone system
JPH1098646A (en) * 1996-09-20 1998-04-14 Nec Corp Object extraction system
JP2000224459A (en) * 1999-01-28 2000-08-11 Nippon Telegr & Teleph Corp <Ntt> Full size image input/output device, image recording method and recording medium for the method
JP2001057671A (en) * 1999-08-19 2001-02-27 Toshiba Corp Video transmission terminal and video reception terminal
JP2005269560A (en) * 2004-03-22 2005-09-29 Fuji Xerox Co Ltd Image processor, image processing method, and program
JP2005303683A (en) * 2004-04-12 2005-10-27 Sony Corp Image transceiver

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150036060A (en) * 2012-07-13 2015-04-07 마이크로소프트 코포레이션 Video display modification for video conferencing environments
JP2015527818A (en) * 2012-07-13 2015-09-17 マイクロソフト コーポレーション Video display changes for video conferencing environments
US9876988B2 (en) 2012-07-13 2018-01-23 Microsoft Technology Licensing, Llc Video display modification for video conferencing environments
US10531046B2 (en) 2012-07-13 2020-01-07 Microsoft Technology Licensing, Llc Video display modification for video environments
KR102089439B1 (en) * 2012-07-13 2020-03-16 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Video display modification for video conferencing environments
KR20200029062A (en) * 2012-07-13 2020-03-17 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Video display modification for video conferencing environments
KR102201659B1 (en) * 2012-07-13 2021-01-11 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Video display modification for video environments
JP2015082727A (en) * 2013-10-22 2015-04-27 大和ハウス工業株式会社 Interaction system and interaction method
US10986401B2 (en) 2016-05-13 2021-04-20 Sony Corporation Image processing apparatus, image processing system, and image processing method
WO2020054605A1 (en) * 2018-09-12 2020-03-19 シャープ株式会社 Image display device and image processing device
WO2022259480A1 (en) * 2021-06-10 2022-12-15 日本電信電話株式会社 Video processing device, video processing method, and video processing program
JP7485221B2 (en) 2021-06-10 2024-05-16 日本電信電話株式会社 Image processing device, image processing method, and image processing program

Also Published As

Publication number Publication date
JP5139339B2 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
CN101636747B (en) Two dimensional/three dimensional digital information acquisition and display device
CN100524017C (en) Foveated panoramic camera system
WO2015081870A1 (en) Image processing method, device and terminal
JP4775474B2 (en) Imaging apparatus, imaging control method, and program
EP3306908B1 (en) Image acquisition system and image acquisition method
JP2006333132A (en) Imaging apparatus and method, program, program recording medium and imaging system
JP2007529960A (en) 3D information acquisition and display system for personal electronic devices
CA2530187A1 (en) Panoramic video system with real-time distortion-free imaging
JP5139339B2 (en) Video conferencing apparatus and display imaging method
KR101514910B1 (en) Video processing apparatus, video processing system, and video processing method
JP2009071478A (en) Information communication terminal and information communication system
JP2010171690A (en) Television conference system and video communication method
JP2004228824A (en) Stack projection device and its adjusting method
JP2011130234A (en) Broadcasting camera system
JP2010213249A (en) Video camera imaging apparatus
KR20100121086A (en) Ptz camera application system for photographing chase using sound source recognition and method therefor
JP2013171058A (en) Stereoscopic image processing device, stereoscopic image pickup device, stereoscopic image display device
JP5223096B2 (en) 3D video shooting control system, 3D video shooting control method, and program
JP2014135714A (en) Stereoscopic image signal processing device and stereoscopic image capture device
JP6004978B2 (en) Subject image extraction device and subject image extraction / synthesis device
US9591288B2 (en) Three-dimensional image apparatus and operation method thereof
JP2005303683A (en) Image transceiver
JP2005142765A (en) Apparatus and method for imaging
JP5509986B2 (en) Image processing apparatus, image processing system, and image processing program
JP2006197036A (en) Device and method for stereoscopic image display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121115

R150 Certificate of patent or registration of utility model

Ref document number: 5139339

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees