JP2001313917A - Network meeting image processor - Google Patents

Network meeting image processor

Info

Publication number
JP2001313917A
JP2001313917A JP2001064755A JP2001064755A JP2001313917A JP 2001313917 A JP2001313917 A JP 2001313917A JP 2001064755 A JP2001064755 A JP 2001064755A JP 2001064755 A JP2001064755 A JP 2001064755A JP 2001313917 A JP2001313917 A JP 2001313917A
Authority
JP
Japan
Prior art keywords
image
viewpoint
information
unit
conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001064755A
Other languages
Japanese (ja)
Inventor
Yoshihiro Jinnan
吉宏 神南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2001064755A priority Critical patent/JP2001313917A/en
Publication of JP2001313917A publication Critical patent/JP2001313917A/en
Pending legal-status Critical Current

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable a meeting with natural interaction while facilitating configuration, and realizing coincident of a sight line correspondent to movement of a viewpoint, and enhancing picture image quality furthermore and obtaining natural image quality. SOLUTION: A network meeting image processor has video cameras 2a and 2b, a display device 3, an image processing part 4, an image synthesizing part 5, a viewpoint detecting part 6, an image display processing part 7, an image preparation part 8, a display control part 9 and a transmission channel 10. Image information, viewpoint information and image control information are transmitted between other network meeting image processors, a photographing position and a photographing region of an image transmitted using this information corresponding to position change of the meeting person's viewpoint are changed, and the sight line is made coincidence corresponding to the movement of the meeting person's viewpoint.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、遠隔地との間でビ
デオカメラ及びディスプレイ装置を用い、画像/音声デ
ータを通信ネットワークで伝送して会議を行うネットワ
ーク会議画像処理装置に関し、特に、画面の会議者と対
話する際の視線が一致(アイコンタクト)するネットワ
ーク会議画像処理装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a network conference image processing apparatus for performing a conference by transmitting image / audio data over a communication network using a video camera and a display device with a remote place, and more particularly to a screen image processing apparatus. The present invention relates to a network conference image processing apparatus in which the lines of sight at the time of conversation with a conferee match (eye contact).

【0002】[0002]

【従来の技術】従来、この種のネットワーク会議画像処
理装置では、画面の会議者と向かい合って視線一致(ア
イコンタクト)による対話が可能なように、その制御が
行われる(例えば、特開平8−195945号公報
例)。このような制御を行う装置では、ディスプレイ装
置の背面にビデオカメラを配置して、ディスプレイ装置
に対面する会議者の視線と、ディスプレイ装置に映し出
される会議者との視線が一致するようにしている。
2. Description of the Related Art Conventionally, in a network conference image processing apparatus of this kind, control is performed so that a face-to-face conference can be faced and an eye contact can be performed. 195,945 gazette). In a device that performs such control, a video camera is arranged on the back of the display device so that the line of sight of the conferee facing the display device matches the line of sight of the conferee displayed on the display device.

【0003】この装置では、ディスプレイ装置の背面か
らディスプレイ装置に対面する会議者をビデオカメラで
撮影するため、ディスプレイ装置を透過して会議者の画
像光をビデオカメラで取り込む必要があり、特殊な汎用
性のないディスプレイ装置を必要とする。また、ディス
プレイ装置の前面にハーフミラーなどを設けて、会議者
がディスプレイ装置上の画像を目視できるようにし、か
つ、ディスプレイ装置全面の会議者をハーフミラー、光
り屈折装置(プリズム)などを配置してディスプレイ装
置の背面に設けたビデオカメラで撮影する必要があり、
その構成が複雑である。
[0003] In this device, since a conferee facing the display device is photographed by a video camera from the back side of the display device, it is necessary to transmit the image light of the conferee through the display device with the video camera. Requires a display device without Also, a half mirror or the like is provided on the front surface of the display device so that the conferee can view the image on the display device, and the conferee on the entire display device is provided with a half mirror, a light refraction device (prism), and the like. It is necessary to shoot with a video camera provided on the back of the display device
Its configuration is complicated.

【0004】また、ディスプレイ装置の両側に配置され
た二台のビデオカメラの出力画像を処理してディスプレ
イ装置に対面する会議者の視線とディスプレイ装置に映
し出される会議者との視線が一致するように制御する例
がある(例えば、特開平2−58484号公報例)。こ
の装置では、二台のビデオカメラの出力画像を処理して
おり、複雑な画像処理が必要になって、その画像品質が
劣化し、自然な画像が得られ難い。
Further, the output images of two video cameras arranged on both sides of the display device are processed so that the line of sight of the conferee facing the display device matches the line of sight of the conferee displayed on the display device. There is an example of controlling (for example, Japanese Patent Application Laid-Open No. 2-58484). In this device, output images of two video cameras are processed, and complicated image processing is required, the image quality is deteriorated, and it is difficult to obtain a natural image.

【0005】また、このようにディスプレイ装置に対面
する会議者の視線とディスプレイ装置に映し出される会
議者との視線が一致する制御を行う例として、特開平6
−90445号「映像入出力装置」公報で開示されてい
る例が周知である。
Japanese Patent Laid-Open Publication No. Hei 6 (1994) -64131 discloses an example in which control is performed so that the line of sight of the conferee facing the display device matches the line of sight of the conferee displayed on the display device.
An example disclosed in Japanese Unexamined Patent Publication No. 90445 / “video input / output device” is well known.

【0006】特開平6−90445号公報従来例は、テ
レビ電話利用者の視線を強制的に一致させている。ま
た、二つのビデオカメラで撮影した画像を三次元形状に
生成し、これをレンダリンクして画像を生成している。
この公報従来例は、視点の移動に伴う表示画像における
視点位置の検出が出来ないため、より自然な視線一致に
よる会議ができにくいものである。
In the conventional example of Japanese Patent Application Laid-Open No. 6-90445, the eyes of the videophone user are forcibly matched. In addition, an image captured by two video cameras is generated in a three-dimensional shape, and this is rendered and linked to generate an image.
In the conventional example of this publication, the viewpoint position cannot be detected in the display image accompanying the movement of the viewpoint, so that it is difficult to perform a meeting based on more natural gaze matching.

【0007】[0007]

【発明が解決しようとする課題】このように上記従来例
では、構成が複雑であり、かつ、画像品質が劣化し、自
然な画質を得にくい。また、視点の移動(位置変化)に
対応した視線一致による自然な対話による会議が出来な
いという欠点があった。
As described above, in the above conventional example, the configuration is complicated, the image quality is deteriorated, and it is difficult to obtain a natural image quality. Further, there is a drawback that a conference cannot be held by natural conversation based on eye-gaze matching corresponding to movement of the viewpoint (position change).

【0008】本発明は、このような従来の技術における
課題を解決するものであり、慣用的なビデオカメラ及び
ディスプレイ装置を用いて、その構成が容易となり、か
つ、視点の移動に対応した会議者間の視線一致が可能に
なると共に、画像品質が向上し、自然な画質による会議
が可能なネットワーク会議画像処理装置の提供を目的と
する。
The present invention solves the above-mentioned problems in the prior art, and uses a conventional video camera and a display device to facilitate the configuration and to provide a conferee who can move the viewpoint. It is an object of the present invention to provide a network conference image processing apparatus capable of performing visual line matching between images, improving image quality, and enabling a conference with natural image quality.

【0009】[0009]

【課題を解決するための手段】上記課題を達成するため
に、本発明のネットワーク会議画像処理装置は、撮影画
像及び会話音声を伝送し、かつ、表示画像と対面して会
議を行うものであり、他のネットワーク会議画像処理装
置との間で、表示画面上に表示される二次元情報である
画像情報と、前記画像情報の画像上における視点位置を
示す情報である視点情報と、表示画面上の画像位置、大
きさ、及び、画像情報の三次元空間における撮影領域を
示す情報である画像制御情報とを伝送する会議画像処理
手段を備え、前記会議画像処理手段は、少なくとも二つ
の視点から撮影された画像を処理しこの二つの視点とは
別の視点から撮影した任意画像を生成することで画像の
撮影位置及び撮影範囲を変化させる場合において、前記
別の視点を、前記視点情報によって会議者の視点の位置
変化に対応して変化させる構成としてある。
In order to achieve the above object, a network conference image processing apparatus according to the present invention transmits a photographed image and a conversational voice, and has a meeting facing a display image. Between another network conference image processing apparatus, image information that is two-dimensional information displayed on the display screen, viewpoint information that is information indicating the viewpoint position of the image information on the image, Image conference information processing means for transmitting image position, size, and image control information which is information indicating a photographing area in a three-dimensional space of image information, wherein the conference image processing means performs photographing from at least two viewpoints. In the case where the photographing position and the photographing range of the image are changed by processing an image and generating an arbitrary image photographed from a different viewpoint from the two viewpoints, the different viewpoint is It is constituted to be changed according to the position change of the conference's perspective by point information.

【0010】更に、前記会議画像処理手段として、複数
の撮影位置から会議者を撮影した画像情報を出力する撮
影部と、撮影部からの画像情報を処理して会議者の三次
元画像を合成した三次元画像情報を伝送路を通じて他の
ネットワーク会議画像処理装置へ送出する画像合成部
と、画像合成部からの三次元画像から会議者の視点を検
出した視点情報を伝送路を通じて他のネットワーク会議
画像処理装置へ送出する視点検出部と、画像合成部から
の三次元画像を任意の撮影位置から撮影して画像に生成
した画像情報を伝送路通じて他のネットワーク会議画像
処理装置へ送出する画像作成部と、伝送路を通じて受信
した画像情報における画像の表示位置を決定した画像信
号を出力し、かつ、画像作成部及び画像表示処理部での
動作処理のための画像制御情報を受信して送出する受信
処理部とを備える構成としてある。
[0010] Further, as the conference image processing means, a photographing section for outputting image information of the conference person from a plurality of photographing positions, and processing the image information from the photographing section to synthesize a three-dimensional image of the conference person. An image synthesizing unit for transmitting the three-dimensional image information to another network conference image processing device via a transmission line, and viewpoint information obtained by detecting the viewpoint of the conferee from the three-dimensional image from the image synthesizing unit is transmitted to another network conference image via the transmission line. A viewpoint detection unit to be sent to the processing device, and an image creation to send a three-dimensional image from the image synthesizing unit from an arbitrary shooting position and send the generated image information to another network conference image processing device through a transmission path. And an image signal for determining the display position of the image in the image information received via the transmission path, and an image for operation processing in the image creation unit and the image display processing unit. It is constituted and a reception processing unit for transmitting and receiving control information.

【0011】また、前記画像合成部において、会議者の
顔の画像の特徴のみの画像処理によって三次元画像を作
成し、視点検出部において、画像合成部で作成した三次
元画像中の視点位置を三次元画像及び、この元になる撮
影画像から検出し、更に、画像作成部において、撮影位
置を他のネットワーク会議画像処理装置から受信した視
点情報と連動して処理する構成としてある。
In the image synthesizing section, a three-dimensional image is created by image processing of only the features of the image of the face of the conferee, and in the viewpoint detecting section, the viewpoint position in the three-dimensional image created by the image synthesizing section is determined. Detected from the three-dimensional image and the original captured image, and the image creating unit processes the captured position in conjunction with viewpoint information received from another network conference image processing apparatus.

【0012】更に、前記受信処理部として、会議者の画
像を映し出す画像表示部と、伝送路を通じて受信した画
像情報における画像の表示位置を決定した画像信号を画
像表示部に出力する画像表示処理部と、画像作成部及び
画像表示処理部での動作処理のための画像制御情報を受
信して送出する表示制御部とを備える構成としてある。
[0012] Further, as the reception processing section, an image display section for displaying an image of the conferee, and an image display processing section for outputting an image signal, which has determined the display position of the image in the image information received through the transmission path, to the image display section. And a display control unit for receiving and transmitting image control information for operation processing in the image creation unit and the image display processing unit.

【0013】また、他の一つのネットワーク会議画像処
理装置との間で伝送路を通じて画像情報、視点情報及び
画像制御情報を送受信する通信制御装置を更に備えると
共に、複数のネットワーク会議画像処理装置との間で通
信ネットワークを通じて画像情報、視点情報及び画像制
御情報を送受信する通信制御装置を備える構成としてあ
る。
In addition, the apparatus further includes a communication control device for transmitting and receiving image information, viewpoint information, and image control information to and from another network conference image processing device via a transmission path. And a communication control device for transmitting and receiving image information, viewpoint information, and image control information through a communication network.

【0014】このような発明のネットワーク会議画像処
理装置は、慣用的(例えば、市販製品)なビデオカメラ
及びディスプレイ装置を用いて、画像の撮影位置及び撮
影範囲を変化させ、会議者の視点の移動に対応した視線
一致を図っている。したがって、特殊なビデオカメラや
ディスプレイ装置を必要とせず、その構成が容易であ
る。
The network conferencing image processing apparatus of the present invention uses a conventional (for example, commercially available) video camera and display device to change the photographing position and photographing range of the image, thereby moving the viewpoint of the conferee. Is achieved. Therefore, no special video camera or display device is required, and the configuration is easy.

【0015】また、画像の撮影位置及び撮影範囲の変化
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。したがって、会議者の視点の移動に対
応した視線一致が可能になり、その自然な対話による会
議が可能になる。
Further, as a change in the photographing position and photographing range of the image, for example, an image photographed from two viewpoints is processed, and an arbitrary image when photographed from a viewpoint different from the two viewpoints is generated. This allows the conference participants to talk with each other. Therefore, gaze matching corresponding to the movement of the viewpoint of the conferee becomes possible, and the conference by the natural conversation becomes possible.

【0016】更に、画像合成時に会議者における顔画像
の特徴のみの最小限の画像処理によって三次元画像を作
成している。したがって、画像品質が劣化せずに、その
画像品質が向上して自然な画質による会議が可能にな
る。
Further, at the time of image synthesis, a three-dimensional image is created by minimal image processing of only the features of the face image of the conferee. Therefore, the image quality is improved without deteriorating the image quality, and a conference with natural image quality can be performed.

【0017】[0017]

【発明の実施の形態】次に、本発明のネットワーク会議
画像処理装置の実施の形態を図面を参照して詳細に説明
する。図1は本発明のネットワーク会議画像処理装置の
実施形態における構成を示すブロック図である。図1に
おいて、このネットワーク会議画像処理装置は、撮影対
象の会議者Mを中心に撮影した画像情報S101a,S
101bをそれぞれ出力するビデオカメラ2a,2b
と、伝送路10を通じて図示しない他のネットワーク会
議画像処理装置から受信した画像信号S112の画像を
映し出すディスプレイ装置3と、画像処理部4とで概略
構成されている。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, an embodiment of a network conference image processing apparatus according to the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of a network conference image processing apparatus according to an embodiment of the present invention. In FIG. 1, the network conference image processing apparatus includes image information S101a, S101 taken mainly of a conferee M to be photographed.
Video cameras 2a and 2b respectively outputting 101b
, A display device 3 for displaying an image of an image signal S112 received from another network conference image processing device (not shown) through the transmission path 10, and an image processing unit 4.

【0018】なお、図1において、このネットワーク会
議画像処理装置を複数台用いたネットワーク会議システ
ムが構築される。このようなネットワーク会議システム
は公衆回線や専用回線(ISDNなどの高速デジタル回
線)又は、企業の事業所内に構築される構内回線(例え
ば、ローカルエリアネットワーク)などの通信ネットワ
ークを通じて会議を行うものである。このネットワーク
会議システムは、画像データ及び音声データを送受信す
るが、ここでは音声データの処理については公知の手段
を用いて行っている。
In FIG. 1, a network conference system using a plurality of network conference image processing apparatuses is constructed. Such a network conferencing system holds a conference via a communication network such as a public line or a dedicated line (high-speed digital line such as ISDN) or a private line (for example, a local area network) built in a business office of a company. . This network conference system transmits and receives image data and audio data. Here, the processing of the audio data is performed using known means.

【0019】また、通信ネットワークとの通信規約(プ
ロトコル)による通信制御を実行する通信制御装置(例
えば、デジタル終端装置(DSU)、ターミナルアダプ
タ(TA)、ネットワーク通信装置(NCU)等)や、
画像データ及び音声データの変調、復調を処理する場合
の変復調装置、及び、ISDNを使用した場合の帯域圧
縮符号化処理を行う圧縮処理部などについても、公知の
手段を用いて行っている。
A communication control unit (for example, a digital termination unit (DSU), a terminal adapter (TA), a network communication unit (NCU), etc.) for executing communication control according to a communication protocol (protocol) with a communication network,
A modulation / demodulation device for processing modulation and demodulation of image data and audio data, and a compression processing unit for performing band compression encoding processing when ISDN is used are also performed by using known means.

【0020】図1において、画像処理部4は、ビデオカ
メラ2a,2bからの画像情報S101a,S101b
を処理して伝送路10を通じて図示しない他のネットワ
ーク会議画像処理装置(図1と同様の構成)に、あとで
詳細に説明する視点情報信号S106、画像情報信号S
107及び画像制御情報信号S108を送信する。ま
た、画像処理部4は、図示しない他のネットワーク会議
画像処理装置から伝送路10を通じて受信したあとで詳
細に説明する視点情報信号S109、画像情報信号S1
11、画像制御情報信号S110を処理し、その画像信
号S112をディスプレイ装置3に送出する。
In FIG. 1, image processing section 4 includes image information S101a, S101b from video cameras 2a, 2b.
To the other network conference image processing apparatus (similar configuration as in FIG. 1) (not shown) through the transmission path 10 to output the viewpoint information signal S106 and the image information signal S described in detail later.
107 and an image control information signal S108. The image processing unit 4 further includes a viewpoint information signal S109 and an image information signal S1, which will be described in detail after being received from another network conference image processing apparatus (not shown) through the transmission path 10.
11. Process the image control information signal S110 and send the image signal S112 to the display device 3.

【0021】図1に示す画像処理部4の内部構成として
は、ビデオカメラ2a,2bからの画像情報S101
a,S101bを処理して三次元画像情報信号S102
を出力する画像合成部5と、視点検出部6とを有してい
る。この視点検出部6は、画像合成部5からの三次元画
像情報信号S102を処理して視点位置を検出すると共
に、撮影位置情報信号S104に基づいて、撮影位置で
撮影した画像上での視点位置を計算した視点情報信号S
106を伝送路10を通じて図示しない他のネットワー
ク会議画像処理装置へ送信する。
The internal configuration of the image processing section 4 shown in FIG. 1 includes image information S101 from the video cameras 2a and 2b.
a and S101b to process the three-dimensional image information signal S102.
, And a viewpoint detecting unit 6. The viewpoint detecting unit 6 processes the three-dimensional image information signal S102 from the image synthesizing unit 5 to detect the viewpoint position, and based on the photographing position information signal S104, the viewpoint position on the image photographed at the photographing position. Viewpoint information signal S calculated from
106 is transmitted to another network conference image processing apparatus (not shown) through the transmission path 10.

【0022】また、この画像処理部4は、伝送路10を
通じて受信した画像情報信号S111を画像配置情報信
号S105に基づいて処理し、この画像の表示位置を決
定した画像信号S112をディスプレイ装置3へ出力す
る画像表示処理部7と、画像属性情報信号S103及び
視点情報信号S109に基づいて撮影位置と画像の撮影
範囲を計算し、更に、この計算した撮影位置から三次元
画像情報信号S102を、撮影して得られる画像に生成
し、この画像情報信号S107を伝送路10を通じて図
示しない他のネットワーク会議画像処理装置へ送信する
画像作成部8とを有している。
The image processing section 4 processes the image information signal S111 received through the transmission path 10 based on the image arrangement information signal S105, and sends the image signal S112 having the determined display position of the image to the display device 3. The photographing position and the photographing range of the image are calculated based on the image display processing unit 7 to be output, the image attribute information signal S103 and the viewpoint information signal S109, and the three-dimensional image information signal S102 is photographed from the calculated photographing position. And an image generating unit 8 that generates the image information signal S107 and transmits the image information signal S107 to another network conference image processing device (not shown) via the transmission line 10.

【0023】更に、この画像処理部4には、伝送路10
を通じて受信した画像制御情報信号S110を記憶し、
画像作成部8の処理動作のための画像属性情報信号S1
03を出力し、かつ、画像の表示位置を管理するための
画像配置情報信号S105を出力すると共に、画像制御
情報信号S108を伝送路10を通じて図示しない他の
ネットワーク会議画像処理装置へ送信する表示制御部9
とを有している。
Further, the image processing unit 4 includes a transmission line 10
The image control information signal S110 received through
Image attribute information signal S1 for processing operation of image creating section 8
03, and outputs an image arrangement information signal S105 for managing an image display position, and transmits an image control information signal S108 to another network conference image processing device (not shown) via the transmission line 10. Part 9
And

【0024】上記の三次元画像情報信号S102は、三
次元空間に二枚の二次元画像を配置した状態を表す画像
情報である。また、画像属性情報信号S103は、ディ
スプレイ装置3の画面上における画像位置、及び、この
装置から伝送した図示しない他のネットワーク会議画像
処理装置のディスプレイ装置の画面上における画像位置
及び大きさ(画面サイズ)を示す情報である。更に、撮
影位置情報信号S104は、画像作成部8で使用される
撮影位置と撮影範囲の情報である。
The three-dimensional image information signal S102 is image information representing a state where two two-dimensional images are arranged in a three-dimensional space. The image attribute information signal S103 includes an image position on the screen of the display device 3 and an image position and size (screen size) on the display device screen of another network conference image processing device (not shown) transmitted from this device. ). Further, the photographing position information signal S104 is information of a photographing position and a photographing range used by the image creating unit 8.

【0025】また、画像配置情報信号S105は、ディ
スプレイ装置3の画面上の表示画像の位置を示す情報で
ある。視点情報信号S106は、画像情報信号S107
の画像上における視点位置を示す情報である。更に、画
像情報信号S107は、伝送路10を通じた図示しない
他のネットワーク会議画像処理装置のディスプレイ装置
の画面上に表示される二次元情報である。画像制御情報
信号S108は、ディスプレイ装置3の画面上の画像位
置、大きさ、画像情報信号S107の三次元空間におけ
る撮影領域を示す情報である。
The image arrangement information signal S105 is information indicating the position of a display image on the screen of the display device 3. The viewpoint information signal S106 is the image information signal S107
Is information indicating the viewpoint position on the image. Further, the image information signal S107 is two-dimensional information displayed on the screen of a display device of another network conference image processing device (not shown) via the transmission path 10. The image control information signal S108 is information indicating an image position and a size on the screen of the display device 3 and a shooting area of the image information signal S107 in a three-dimensional space.

【0026】また、視点情報信号S109は、画像情報
信号S111における画像上の視点位置を示す情報であ
る。画像制御情報信号S110は、伝送路10を通じた
図示しない他のネットワーク会議画像処理装置のディス
プレイ装置の画面上の画像位置、大きさ、及び、画像情
報信号S111における三次元空間の撮影領域を示す情
報である。画像情報信号S111は、伝送路10に図示
しない他のネットワーク会議画像処理装置が送信した二
次元画像情報である。
The viewpoint information signal S109 is information indicating the viewpoint position on the image in the image information signal S111. The image control information signal S110 is information indicating an image position and a size on a screen of a display device of another network conference image processing device (not shown) through the transmission path 10 and a shooting area in a three-dimensional space in the image information signal S111. It is. The image information signal S111 is two-dimensional image information transmitted by another network conference image processing device (not shown) on the transmission path 10.

【0027】次に、この実施形態の動作について説明す
る。図2は送信動作の処理手順を示すフローチャートで
あり、図3は受信動作の処理手順を示すフローチャート
である。図4はビデオカメラ2a,2bでの会議者Mの
撮影状態を示す上面図であり、図5は図4の撮影状態で
の画像を示す図である。また、図6は画像合成部5が作
成した三次元画像情報信号S102を、図4の撮影画像
と重ね合わせた状態を説明するための図であり、図7は
三次元画像情報信号S102を、ビデオカメラ2a,2
bの中間位置から目視した状態を説明するための図であ
る。
Next, the operation of this embodiment will be described. FIG. 2 is a flowchart showing a processing procedure of the transmission operation, and FIG. 3 is a flowchart showing a processing procedure of the reception operation. FIG. 4 is a top view showing a state in which the conferee M is photographed by the video cameras 2a and 2b, and FIG. 5 is a diagram showing an image in the photographing state in FIG. FIG. 6 is a diagram for explaining a state in which the three-dimensional image information signal S102 created by the image synthesizing unit 5 is superimposed on the captured image in FIG. 4, and FIG. Video camera 2a, 2
It is a figure for explaining the state where it looked at from the middle position of b.

【0028】図8は図1に示す二台のネットワーク会議
画像処理装置A,B(以下、適宜、左側装置、右側装置
と記載する)を伝送路10を通じて接続した場合の状態
遷移を説明するための図である。この図8(a)の左右
装置A,Bにおいて、画像表示部分11a,11bは、
ディスプレイ装置3の表示画面部分である。ここでは左
右装置A,Bをそれぞれの会議者Mが利用して対話によ
る会議を行うものとする。ここでの基本視点位置12
a,12bは、会議者Mが画像表示部分の中心部を正面
から目視した際の視点位置である。更に、視点13a,
13bは会議者Mの視点中心を示している。
FIG. 8 is a diagram for explaining a state transition when two network conference image processing apparatuses A and B (hereinafter, appropriately referred to as a left apparatus and a right apparatus) shown in FIG. FIG. In the left and right devices A and B in FIG. 8A, the image display portions 11a and 11b
This is a display screen portion of the display device 3. Here, it is assumed that the conferee M uses the left and right devices A and B to hold a conference by conversation. Basic viewpoint position 12 here
a and 12b are viewpoint positions when the conferee M looks at the center of the image display portion from the front. Further, the viewpoints 13a,
13b indicates the center of the viewpoint of the conferee M.

【0029】図8(a)は初期動作状態であり、図8
(b)は、左側装置Aを利用する会議者Mが基本視点位
置12aと視点一致した状態を表している。また、図8
(c)は、図8(b)状態における左側装置Aの会議者
Mの画像を画像表示部分11bで表示した状態であり、
右側装置Bの会議者Mが視点を基本視点位置12bから
y2だけY軸方向に移動した状態を表している。更に、
図8(d)は、図8(c)の状態にある右側装置Bの会
議者Mの画像を、画像表示部分11aに表示した状態に
おいて左側装置Aを利用する会議者Mが基本視点位置1
2aに視点を一致させている状態を表している。
FIG. 8A shows an initial operation state.
(B) shows a state in which the conferee M using the left device A has a viewpoint that matches the viewpoint with the basic viewpoint position 12a. FIG.
(C) is a state in which the image of the conferee M of the left device A in the state of FIG. 8 (b) is displayed on the image display portion 11b,
This shows a state in which the conferee M of the right device B has moved the viewpoint from the basic viewpoint position 12b by y2 in the Y-axis direction. Furthermore,
FIG. 8D shows a state in which the image of the conferee M of the right device B in the state of FIG. 8C is displayed on the image display portion 11a.
2A shows a state where the viewpoint is matched.

【0030】図8(e)は、図8(d)の状態にある左
側装置Aの会議者Mの画像を画像表示部分11bに表示
した状態であり、右側装置Bの会議者Mが視点を基本視
点位置12bからだけY軸方向に移動した状態を表して
いる。図8(f)は、図8(e)の状態にある右側装置
Bの会議者Mの画像を画像表示部分11aに表示した状
態において、左側装置Aの会議者Mが視点を基本視点位
置12aからy1だけY軸方向に移動した状態を表して
いる。図8(g)は、図8(f)の状態にある左側装置
Aの会議者Mの画像を画像表示部分11bに表示した状
態であり、右側装置Bの会議者Mが視点を基本視点位置
12aからy2だけY軸方向に移動した状態を表してい
る。
FIG. 8E shows a state in which the image of the conferee M of the left device A in the state of FIG. 8D is displayed on the image display portion 11b. It shows a state in which it has moved in the Y-axis direction only from the basic viewpoint position 12b. FIG. 8F shows a state in which the image of the conferee M of the right device B in the state of FIG. 8E is displayed on the image display portion 11a. Represents a state moved in the Y-axis direction by y1. FIG. 8 (g) shows a state in which the image of the conferee M of the left device A in the state of FIG. 8 (f) is displayed on the image display portion 11b. 12A shows a state in which the movement has been made in the Y-axis direction by y2 from 12a.

【0031】以下、図2を参照して送信動作を説明す
る。まず、画像処理部4が初期状態に設定される(ステ
ップS1)。この初期状態が図8(a)である。この初
期状態の図8(a)では、画像処理部4で基本視点位置
12a,12bを測定し、この基本視点位置12a,1
2bの座標値Cx,Cy,Czを記憶する。同時に基本
視点位置12a,12bを中心とした際に、どの程度の
範囲の画像を撮影できるかを測定する。この値を撮影範
囲Ly,Lzとして記憶する。
Hereinafter, the transmission operation will be described with reference to FIG. First, the image processing unit 4 is set to an initial state (Step S1). This initial state is shown in FIG. In FIG. 8A in this initial state, the basic viewpoint positions 12a and 12b are measured by the image processing unit 4, and the basic viewpoint positions 12a and 1b are measured.
The coordinate values Cx, Cy, Cz of 2b are stored. At the same time, when the basic viewpoint positions 12a and 12b are centered, the extent of an image that can be photographed is measured. This value is stored as the photographing range Ly, Lz.

【0032】図8(a)では、Z軸方向が示されておら
ず、Lyのみが図示されている。また、画像処理部4で
は、画像表示部分11a,11bの実際の大きさ(画像
サイズ)Wy,Wzも同時に記憶する。また、ネットワ
ーク会議画像処理装置A,B(左側装置A、右側装置
B)を使用する会議者Mの正面の顔を撮影し、この画像
情報S101a,S101bを画像合成部5が図示しな
いメモリなどに記憶する。
In FIG. 8A, the Z-axis direction is not shown, and only Ly is shown. The image processing section 4 also stores the actual sizes (image sizes) Wy and Wz of the image display portions 11a and 11b at the same time. In addition, the front face of the conferee M using the network conference image processing devices A and B (the left device A and the right device B) is photographed, and the image information S101a and S101b are stored in a memory (not shown) by the image synthesizing unit 5. Remember.

【0033】次に、この初期状態を、例えば、左側装置
Aから右側装置Bに送信する(ステップS2)。この送
信情報は、画像表示部分11a,11bにおける実際の
大きさ(画像サイズ)Wy,Wz、及び、基本視点位置
12a,12bの座標値Cx,Cy,Cz及び撮影範囲
Ly,Lzである。次に、会議者Mの撮影を行う(ステ
ップS3)。
Next, this initial state is transmitted, for example, from the left device A to the right device B (step S2). The transmission information includes the actual sizes (image sizes) Wy and Wz of the image display portions 11a and 11b, the coordinate values Cx, Cy and Cz of the basic viewpoint positions 12a and 12b, and the photographing ranges Ly and Lz. Next, the conferee M is photographed (step S3).

【0034】ビデオカメラ2a,2bで会議者Mが撮影
され、画像情報S101a,S101bが画像合成部5
に入力される。次に、会議者Mの顔の画像部分を検出す
る(ステップS4)。この検出は画像合成部5で行い、
上記の初期状態設定時に撮影された会議者Mの正面の顔
画像と画像情報S101a,S101bの画像情報との
相関を検出して、画像情報S101a,S101b内の
会議者Mの顔の画像部分を検出する。
The conferee M is photographed by the video cameras 2a and 2b, and the image information S101a and S101b are
Is input to Next, an image portion of the face of the conferee M is detected (step S4). This detection is performed by the image synthesis unit 5,
The correlation between the front face image of the conferee M photographed at the time of the initial state setting and the image information of the image information S101a and S101b is detected, and the image portion of the face of the conferee M in the image information S101a and S101b is detected. To detect.

【0035】次に、画像合成部5で三次元画像を作成す
る(ステップS5)。まず、画像合成部5は会議者Mの
顔の画像部分を検出した二枚の画像を比較し、同一点を
撮影している部分を検出して、ビデオカメラ2a,2b
の位置情報に基づいて撮影された会議者Mの三次元位置
を特定する。更に、図6及び図7に示すように、会議者
Mの顔の表面に接し、かつ、ビデオカメラ2a,2bと
会議者Mの顔を結ぶ直線を垂線とする平面を求める。こ
の平面に画像113a,113bを設定する。このよう
にして作成した三次元画像情報を、三次元画像情報信号
S102として画像合成部5から視点検出部6及び画像
作成部8に出力する。また、別の実施の形態として、図
9及び図10に示すように、ビデオカメラ2a,2bと
会議者Mの顔を結ぶ直線を垂線とする平面と、会議者M
の顔の表面に接する半円柱を組み合わせた曲面に画像1
13a,113bを設定してもよい。
Next, a three-dimensional image is created by the image synthesizing unit 5 (step S5). First, the image synthesizing unit 5 compares the two images that have detected the image portion of the face of the conferee M, detects a portion that captures the same point, and outputs the video camera 2a, 2b
The three-dimensional position of the conferee M photographed based on the position information is specified. Further, as shown in FIGS. 6 and 7, a plane which is in contact with the surface of the face of the conferee M and whose vertical line is a straight line connecting the video cameras 2a and 2b and the face of the conferee M is obtained. Images 113a and 113b are set on this plane. The three-dimensional image information created in this way is output from the image synthesizing unit 5 to the viewpoint detecting unit 6 and the image creating unit 8 as a three-dimensional image information signal S102. As another embodiment, as shown in FIG. 9 and FIG. 10, a plane having a perpendicular line connecting the video cameras 2a and 2b and the face of the conference
Image 1 on a curved surface combining semi-cylindrical cylinders in contact with the face of the face
13a and 113b may be set.

【0036】次いで、画像作成部8が送信画像を作成す
る(ステップS6)。画像作成部8では、三次元画像情
報信号S102の初期情報の受信後に、ある位置から撮
影した画像を生成する。この撮影位置は、左側装置Aの
ディスプレイ装置3中の画像表示部分に表示された右側
装置Bの会議者Mの画像上の視点位置である(なお、こ
の動作はあとで説明する図3中のステップS12であ
る)。
Next, the image creating section 8 creates a transmission image (step S6). After receiving the initial information of the three-dimensional image information signal S102, the image creating unit 8 generates an image photographed from a certain position. This photographing position is the viewpoint position on the image of the conferee M of the right device B displayed on the image display portion of the display device 3 of the left device A (this operation will be described later with reference to FIG. Step S12).

【0037】次に、視点検出部6が、視点位置を検出す
る(ステップS7)。視点検出部6は、画像合成部5か
らの三次元画像情報信号S102での顔画像から目の位
置を検出して、視点位置を特定する。この三次元画像情
報信号S102における視点位置情報と撮影位置情報信
号S104とによって、画像情報信号S107における
視点情報を計算し、この視点情報信号S106を右側装
置Bへ送信する。この送信と共に、状態及び画像情報で
ある画像情報信号S107及び画像制御情報信号S10
8を右側装置Bへ送信する(ステップS8)。この後は
図2中のステップS2にリターンして上記した処理を繰
り返して実行する。
Next, the viewpoint detecting section 6 detects a viewpoint position (step S7). The viewpoint detecting unit 6 detects the position of the eyes from the face image in the three-dimensional image information signal S102 from the image synthesizing unit 5, and specifies the viewpoint position. Based on the viewpoint position information in the three-dimensional image information signal S102 and the photographing position information signal S104, the viewpoint information in the image information signal S107 is calculated, and the viewpoint information signal S106 is transmitted to the right side device B. Along with this transmission, an image information signal S107 and an image control information signal S10, which are state and image information, are transmitted.
8 is transmitted to the right side device B (step S8). Thereafter, the process returns to step S2 in FIG. 2 to repeatedly execute the above-described processing.

【0038】次に、図3を参照して受信動作を説明す
る。図1に示す画像処理部4が、図示しない他のネット
ワーク会議画像処理装置からの伝送路10を通じて上記
ステップS1の処理による初期情報を受信し、次に情報
を受信する(ステップS11,S12)。この情報内容
は、図2のステップS8で送信される情報と同様であ
る。すなわち、視点情報信号S106、画像情報信号S
107及び画像制御情報信号S108である。
Next, the receiving operation will be described with reference to FIG. The image processing unit 4 shown in FIG. 1 receives the initial information by the processing of the above step S1 through the transmission path 10 from another network conference image processing device (not shown), and then receives the information (steps S11 and S12). This information content is the same as the information transmitted in step S8 of FIG. That is, the viewpoint information signal S106 and the image information signal S
107 and an image control information signal S108.

【0039】次に、画像表示処理部7が伝送路10を通
じて受信した情報から画像情報を取り出し、この画像信
号S112をディスプレイ装置3へ送出して画像を表示
する(ステップS13)。次に、画像表示処理部7が伝
送路10を通じて受信した情報中の画像情報以外の画像
制御情報信号S110を、表示制御部9が取り込んで更
新する。また、画像作成部8が視点情報信号S109を
取り込んで更新する(ステップS14)。この後は、ス
テップS12にリターンして上記した処理を繰り返して
実行する。
Next, the image display processing section 7 extracts image information from the information received through the transmission line 10, and sends out the image signal S112 to the display device 3 to display an image (step S13). Next, the display control unit 9 takes in and updates the image control information signal S110 other than the image information in the information received by the image display processing unit 7 through the transmission path 10. Further, the image creating unit 8 acquires and updates the viewpoint information signal S109 (step S14). Thereafter, the process returns to step S12 to repeatedly execute the above-described processing.

【0040】以下、画像作成部8の動作を図8に基づい
て詳細に説明する。図8(b)では、左側装置Aでの視
点13aが基本視点位置12aに位置している。更に、
右側装置Bが初期状態の場合、画像表示部分11aの中
心を撮影位置として、その視点が画像の中心になるよう
に画像が作成される。この情報は伝送路10を通じて図
8(c)の右側装置Bへ伝送される。この右側装置Bで
は、視点13bが基本視点位置12bから移動してい
る。撮影位置は、図8(b)で視点13aが基本視点位
置12aに位置していたため、画像表示部分11bの中
心となる。
Hereinafter, the operation of the image creating section 8 will be described in detail with reference to FIG. In FIG. 8B, the viewpoint 13a of the left device A is located at the basic viewpoint position 12a. Furthermore,
When the right side device B is in the initial state, an image is created such that the center of the image display portion 11a is a shooting position and its viewpoint is at the center of the image. This information is transmitted to the right side device B in FIG. In the right device B, the viewpoint 13b has moved from the basic viewpoint position 12b. Since the viewpoint 13a is located at the basic viewpoint position 12a in FIG. 8B, the shooting position is the center of the image display portion 11b.

【0041】次に、画像作成部8が撮影範囲を計算す
る。この計算は、まず、視点13bと基本視点位置12
bとの間の角度θを計算する。次に、図8(d)に示す
ように左側装置Aの画像表示部分11aの位置、大き
さ、及び、基本視点位置12aの情報から、基本視点位
置12aと画像表示部分11aに表示される画像上の視
点との間が角度θになる視点位置y2aを計算する。
Next, the image creating section 8 calculates a photographing range. In this calculation, first, the viewpoint 13b and the basic viewpoint position 12
b is calculated. Next, as shown in FIG. 8D, based on the position and size of the image display portion 11a of the left device A and information on the basic viewpoint position 12a, an image displayed on the basic viewpoint position 12a and the image display portion 11a. The viewpoint position y2a at which the angle between the upper viewpoint and the viewpoint is θ is calculated.

【0042】撮影範囲は、画像表示部分11aでの表示
画像上の視点位置がy2aになるように決定される。具
体的には、図8(a)に示すように画像表示部分11
a,11bの実際の大きさ(画像サイズ)W1yと視点
位置y2aとの比が、撮影範囲L2yと図8(c)に示
す視点13bと中心線との距離V2yの比に等しくなる
ように撮影範囲が決定される。図8(d)では視点13
aは、基本視点位置12aに位置しているが、画像表示
部分11a上の視点位置中心から視点位置y2aに移動
し、この視点位置y2aが撮影位置となる。撮影範囲は
視点13aが中心となるように設定される。
The photographing range is determined so that the viewpoint position on the display image in the image display portion 11a is y2a. Specifically, as shown in FIG.
Photographing is performed so that the ratio between the actual size (image size) W1y of a and 11b and the viewpoint position y2a is equal to the ratio of the photographing range L2y to the distance V2y between the viewpoint 13b and the center line shown in FIG. The range is determined. In FIG. 8D, the viewpoint 13
Although a is located at the basic viewpoint position 12a, it moves from the center of the viewpoint position on the image display portion 11a to the viewpoint position y2a, and this viewpoint position y2a becomes the shooting position. The shooting range is set so that the viewpoint 13a is centered.

【0043】図8(e)では、視点13bが図8(c)
の場合と同じ位置にある。画像表示部分11bに表示さ
れる画像上の視点の位置も変化しないため、撮影位置、
撮影範囲が図8(c)の場合と同一になる。図8(f)
では、視点13aが基本視点位置12aから移動してい
る。このため、図8(c)の場合と同様に、視点13a
と基本視点位置12aとの間の角度ψを求め、右側装置
Bの情報に基づいて視点位置y1aを計算して、撮影範
囲を設定する。
In FIG. 8 (e), the viewpoint 13b is shown in FIG.
In the same position as Since the position of the viewpoint on the image displayed on the image display portion 11b does not change, the shooting position,
The photographing range is the same as in the case of FIG. FIG. 8 (f)
In, the viewpoint 13a has moved from the basic viewpoint position 12a. Therefore, as in the case of FIG.
An angle ψ between the image and the basic viewpoint position 12a is obtained, and the viewpoint position y1a is calculated based on the information of the right side device B to set the photographing range.

【0044】撮影位置は図8(e)で視点13bが変化
していないため、視点位置y2aのままとなる。図8
(g)では視点13bが変化していない。しかし、撮影
位置が視点位置y1aに移動しているため、画像表示部
分11a,11bの実際の大きさ(画像サイズ)W1y
と視点位置y2aとの比が、撮影範囲L2yと図8
(c)に示す視点13bと中心線との距離V2yとの比
に等しくなるように撮影範囲が変化する。
In FIG. 8E, the photographing position remains at the viewpoint position y2a because the viewpoint 13b has not changed. FIG.
In (g), the viewpoint 13b has not changed. However, since the shooting position has moved to the viewpoint position y1a, the actual size (image size) W1y of the image display portions 11a and 11b.
8 is the ratio between the shooting range L2y and the viewpoint position y2a.
The photographing range changes so as to be equal to the ratio of the distance V2y between the viewpoint 13b and the center line shown in (c).

【0045】[0045]

【発明の効果】以上の説明から明らかなように、本発明
のネットワーク会議画像処理装置によれば、例えば、市
販製品のビデオカメラ及びディスプレイ装置を用いて、
画像の撮影位置及び撮影範囲を変化させ、視点の移動に
対応した視線一致を図っている。この結果、その構成が
容易に出来るようになる。
As is apparent from the above description, according to the network conference image processing apparatus of the present invention, for example, using a commercially available video camera and display device,
The photographing position and the photographing range of the image are changed to achieve eye-gaze matching corresponding to the movement of the viewpoint. As a result, the configuration can be easily made.

【0046】また、画像の撮影位置及び撮影範囲の変化
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。この結果、視点の移動に対応した視線
一致が可能になり、その自然な対話による会議が出来る
ようになる。
Further, as a change in the photographing position and photographing range of the image, for example, an image photographed from two viewpoints is processed, and an arbitrary image when photographed from a viewpoint different from these two viewpoints is generated. This allows the conference participants to talk with each other. As a result, gaze matching corresponding to the movement of the viewpoint becomes possible, and a conference can be held by the natural conversation.

【0047】更に、画像合成時に会議者における顔画像
の特徴のみの最小限の画像処理によって三次元画像を作
成している。この結果、画像品質が劣化せずに、その画
像品質が向上して自然な画質による会議が出来るように
なる。
Further, at the time of image synthesis, a three-dimensional image is created by minimum image processing of only the features of the face image of the conferee. As a result, the image quality is improved without deteriorating the image quality, and a conference with natural image quality can be performed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明のネットワーク会議画像処理装置の実施
形態における構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a network conference image processing apparatus according to an embodiment of the present invention.

【図2】実施形態にあって送信動作の処理手順を示すフ
ローチャートである。
FIG. 2 is a flowchart illustrating a processing procedure of a transmission operation in the embodiment.

【図3】実施形態にあって受信動作の処理手順を示すフ
ローチャートである。
FIG. 3 is a flowchart illustrating a processing procedure of a receiving operation in the embodiment.

【図4】実施形態にあって会議者の撮影状態を示す上面
図である。
FIG. 4 is a top view showing a state of photographing a conferee in the embodiment.

【図5】実施形態にあって撮影状態での画像を示す図で
ある。
FIG. 5 is a diagram illustrating an image in a shooting state according to the embodiment.

【図6】実施形態にあって三次元画像情報信号を撮影画
像と重ね合わせた状態を説明するための図である。
FIG. 6 is a diagram illustrating a state in which a three-dimensional image information signal is superimposed on a captured image in the embodiment.

【図7】実施形態にあって三次元画像情報信号をビデオ
カメラの中間位置から目視した状態を説明するための図
である。
FIG. 7 is a diagram illustrating a state in which the three-dimensional image information signal is viewed from an intermediate position of the video camera in the embodiment.

【図8】実施形態にあって二台のネットワーク会議画像
処理装置を伝送路を通じて接続した場合の状態遷移を説
明するための図である。
FIG. 8 is a diagram for explaining a state transition when two network conference image processing apparatuses are connected via a transmission line in the embodiment.

【図9】他の実施形態にあって三次元画像情報信号を撮
影画像と重ね合わせた状態を説明するための図である。
FIG. 9 is a diagram for explaining a state in which a three-dimensional image information signal is superimposed on a captured image in another embodiment.

【図10】他の実施形態にあって三次元画像情報信号を
ビデオカメラの中間位置から目視した状態を説明するた
めの図である。
FIG. 10 is a diagram illustrating a state in which a three-dimensional image information signal is viewed from an intermediate position of a video camera in another embodiment.

【符号の説明】[Explanation of symbols]

2a,2b ビデオカメラ 3 ディスプレイ装置 4 画像処理部 5 画像合成部 6 視点検出部 7 画像表示処理部 8 画像作成部 9 表示制御部 10 伝送路 S101a,S101b,S112 画像情報 S102 三次元画像情報信号 S103 画像属性情報信号 S104 撮影位置情報信号 S105 画像配置情報信号 S106,S109 視点情報信号 S107,S111 画像情報信号 S108,S110 画像制御情報信号 M 会議者 2a, 2b Video camera 3 Display device 4 Image processing unit 5 Image synthesis unit 6 View point detection unit 7 Image display processing unit 8 Image creation unit 9 Display control unit 10 Transmission path S101a, S101b, S112 Image information S102 Three-dimensional image information signal S103 Image attribute information signal S104 Shooting position information signal S105 Image arrangement information signal S106, S109 Viewpoint information signal S107, S111 Image information signal S108, S110 Image control information signal M Conference person

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】 撮影画像及び会話音声を伝送し、かつ、
表示画像と対面して会議を行うためのネットワーク会議
画像処理装置において、 他のネットワーク会議画像処理装置との間で、表示画面
上に表示される二次元情報である画像情報と、前記画像
情報の画像上における視点位置を示す情報である視点情
報と、表示画面上の画像位置、大きさ、及び、画像情報
の三次元空間における撮影領域を示す情報である画像制
御情報とを伝送する会議画像処理手段を備え、 前記会議画像処理手段は、少なくとも二つの視点から撮
影された画像を処理しこの二つの視点とは別の視点から
撮影した任意画像を生成することで画像の撮影位置及び
撮影範囲を変化させる場合において、前記別の視点を、
前記視点情報によって会議者の視点の位置変化に対応し
て変化させることを特徴とするネットワーク会議画像処
理装置。
1. transmitting a photographed image and a conversation voice, and
In a network conference image processing apparatus for holding a conference facing a display image, between another network conference image processing apparatus, image information that is two-dimensional information displayed on a display screen, Conference image processing for transmitting viewpoint information, which is information indicating a viewpoint position on an image, and image control information, which is information indicating an image position, size, and a shooting area of the image information in a three-dimensional space, on a display screen. The conference image processing means processes an image taken from at least two viewpoints, and generates an arbitrary image taken from a viewpoint different from the two viewpoints, thereby setting a photographing position and a photographing range of the image. In the case of changing, the another viewpoint is
A network conference image processing apparatus, wherein the viewpoint information is changed in accordance with a change in the position of the viewpoint of a conference participant according to the viewpoint information.
【請求項2】 前記会議画像処理手段として、 複数の撮影位置から会議者を撮影した画像情報を出力す
る撮影部と、 前記撮影部からの画像情報を処理して会議者の三次元画
像を合成した三次元画像情報を伝送路を通じて他のネッ
トワーク会議画像処理装置へ送出する画像合成部と、 前記画像合成部からの三次元画像から前記会議者の視点
を検出した視点情報を、伝送路を通じて他のネットワー
ク会議画像処理装置へ送出する視点検出部と、 前記画像合成部からの三次元画像を任意の撮影位置から
撮影して画像に生成した画像情報を伝送路通じて他のネ
ットワーク会議画像処理装置へ送出する画像作成部と、 伝送路を通じて受信した画像情報における画像の表示位
置を決定した画像信号を出力し、かつ、前記画像作成部
及び画像表示処理部での動作処理のための画像制御情報
を受信して送出する受信処理部と、 を備えることを特徴とする請求項1記載のネットワーク
会議画像処理装置。
2. An image capturing unit that outputs image information of a conference attendant from a plurality of image capturing positions as the conference image processing unit, and a three-dimensional image of the conference attendee is processed by processing image information from the image capturing unit. An image synthesizing unit that sends the obtained three-dimensional image information to another network conference image processing apparatus via a transmission path, and viewpoint information that detects the viewpoint of the conferee from the three-dimensional image from the image synthesizing unit. A viewpoint detecting unit that sends the three-dimensional image from the image synthesizing unit to the network conference image processing apparatus from an arbitrary shooting position, and generates image information into an image via a transmission path. An image generating unit for transmitting the image signal to the image information received through the transmission path, and outputting an image signal which determines the display position of the image. Network conference image processing apparatus according to claim 1, wherein the reception processing unit that receives the image control information transmitted by, further comprising a for operation processing.
【請求項3】 前記画像合成部において、 会議者の顔の画像の特徴のみの画像処理によって三次元
画像を作成することを特徴とする請求項2記載のネット
ワーク会議画像処理装置。
3. The network conference image processing apparatus according to claim 2, wherein the image synthesizing unit creates a three-dimensional image by performing image processing of only features of the image of the face of the conferee.
【請求項4】 前記視点検出部において、 画像合成部で作成した三次元画像中の視点位置を、三次
元画像及び、この元になる撮影画像から検出することを
特徴とする請求項2記載のネットワーク会議画像処理装
置。
4. The viewpoint detecting unit according to claim 2, wherein the viewpoint detecting unit detects a viewpoint position in the three-dimensional image created by the image synthesizing unit from the three-dimensional image and a captured image based on the three-dimensional image. Network conference image processing device.
【請求項5】 前記画像作成部において、 撮影位置を、他のネットワーク会議画像処理装置から受
信した視点情報と連動して処理することを特徴とする請
求項2記載のネットワーク会議画像処理装置。
5. The network conference image processing apparatus according to claim 2, wherein the image creation unit processes the shooting position in conjunction with viewpoint information received from another network conference image processing apparatus.
【請求項6】 前記受信処理部として、 会議者の画像を映し出す画像表示部と、 伝送路を通じて受信した画像情報における画像の表示位
置を決定した画像信号を前記画像表示部に出力する画像
表示処理部と、 前記画像作成部及び画像表示処理部での動作処理のため
の画像制御情報を受信して送出する表示制御部と、 を備えることを特徴とする請求項2記載のネットワーク
会議画像処理装置。
6. An image display unit for displaying an image of a conferee as said reception processing unit, and an image display process for outputting an image signal which determines a display position of an image in image information received via a transmission path to said image display unit. 3. A network conference image processing apparatus according to claim 2, comprising: a unit; and a display control unit configured to receive and transmit image control information for operation processing in the image creation unit and the image display processing unit. .
【請求項7】 他の一つのネットワーク会議画像処理装
置との間で伝送路を通じて画像情報、視点情報及び画像
制御情報を送受信する通信制御装置を更に備えることを
特徴とする請求項1記載のネットワーク会議画像処理装
置。
7. The network according to claim 1, further comprising a communication control device for transmitting / receiving image information, viewpoint information, and image control information to / from another network conference image processing device via a transmission path. Conference image processing device.
JP2001064755A 2001-03-08 2001-03-08 Network meeting image processor Pending JP2001313917A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001064755A JP2001313917A (en) 2001-03-08 2001-03-08 Network meeting image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001064755A JP2001313917A (en) 2001-03-08 2001-03-08 Network meeting image processor

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP15640098A Division JP3389102B2 (en) 1998-06-04 1998-06-04 Network conference image processing device

Publications (1)

Publication Number Publication Date
JP2001313917A true JP2001313917A (en) 2001-11-09

Family

ID=18923531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001064755A Pending JP2001313917A (en) 2001-03-08 2001-03-08 Network meeting image processor

Country Status (1)

Country Link
JP (1) JP2001313917A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100713415B1 (en) 2004-12-10 2007-05-04 삼성전자주식회사 Mobile phone modifying image view
WO2013187551A1 (en) * 2012-06-11 2013-12-19 재단법인 실감교류인체감응솔루션연구단 Three-dimensional video conference device capable of enabling eye contact and method using same
CN114697602A (en) * 2020-12-31 2022-07-01 华为技术有限公司 Conference device and conference system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100713415B1 (en) 2004-12-10 2007-05-04 삼성전자주식회사 Mobile phone modifying image view
WO2013187551A1 (en) * 2012-06-11 2013-12-19 재단법인 실감교류인체감응솔루션연구단 Three-dimensional video conference device capable of enabling eye contact and method using same
KR101350996B1 (en) * 2012-06-11 2014-01-13 재단법인 실감교류인체감응솔루션연구단 3d video-teleconferencing apparatus capable of eye contact and method using the same
JP2014522622A (en) * 2012-06-11 2014-09-04 センター オブ ヒューマン−センタード インタラクション フォー コイグジステンス 3D teleconferencing device capable of eye contact and method using the same
US9077974B2 (en) 2012-06-11 2015-07-07 Center Of Human-Centered Interaction For Coexistence 3D video-teleconferencing apparatus capable of eye contact and method using the same
CN114697602A (en) * 2020-12-31 2022-07-01 华为技术有限公司 Conference device and conference system
CN114697602B (en) * 2020-12-31 2023-12-29 华为技术有限公司 Conference device and conference system

Similar Documents

Publication Publication Date Title
JP2739820B2 (en) Video conferencing systems
JP4057241B2 (en) Improved imaging system with virtual camera
US8467510B2 (en) Method and apparatus maintaining eye contact in video delivery systems using view morphing
JP2003506927A (en) Method and apparatus for allowing video conferencing participants to appear in front of an opponent user with focus on the camera
JP2006333301A (en) Video communication apparatus
JPH07154763A (en) Desk-side video conference system
WO2012019517A1 (en) Method, device and system for processing video in video communication
JP2009071478A (en) Information communication terminal and information communication system
JP2001052177A (en) Image processor and method for processing image
JP2001136501A (en) Sight line match video conference apparatus
JP3488096B2 (en) Face image control method in three-dimensional shared virtual space communication service, three-dimensional shared virtual space communication device, and program recording medium therefor
JP3389102B2 (en) Network conference image processing device
US8717410B2 (en) Video communication method, apparatus, and system
JP2001313917A (en) Network meeting image processor
JPH0258484A (en) Video telephone system
Liu et al. A computational approach to establish eye-contact in videocommunication
JPH1075432A (en) Stereoscopic video telephone set
JP2005142765A (en) Apparatus and method for imaging
TWI248021B (en) Method and system for correcting out-of-focus eyesight of attendant images in video conferencing
JPH08256316A (en) Communication conference system
JPH09154114A (en) Electronic conference terminal equipment
JP4586447B2 (en) Image processing apparatus and method, and program
JP2001092990A (en) Three-dimensional virtual space participant display method, three-dimensional virtual space display device and recording medium stored with three-dimensional virtual space participant display program
JP2002077845A (en) Remote place facing communication equipment capable of confirming user's own expression
JPH09191452A (en) Video telephone system