JP2000175171A - Video image generator for video conference and video image generating method for video conference - Google Patents

Video image generator for video conference and video image generating method for video conference

Info

Publication number
JP2000175171A
JP2000175171A JP10344658A JP34465898A JP2000175171A JP 2000175171 A JP2000175171 A JP 2000175171A JP 10344658 A JP10344658 A JP 10344658A JP 34465898 A JP34465898 A JP 34465898A JP 2000175171 A JP2000175171 A JP 2000175171A
Authority
JP
Japan
Prior art keywords
image
conference
video
person
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10344658A
Other languages
Japanese (ja)
Inventor
Ryuichi Hiraike
龍一 平池
Original Assignee
Nec Corp
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corp, 日本電気株式会社 filed Critical Nec Corp
Priority to JP10344658A priority Critical patent/JP2000175171A/en
Publication of JP2000175171A publication Critical patent/JP2000175171A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To generate an image of a virtual conference space that is natural and full of presence in a video conference system. SOLUTION: In the case of producing a video conference image that is going to express a conference form where conference participants make discussion around a table, the video conference is conducted among three points; a caption 21b indicates a portrait resulting from photographing a participant (b) at a point B, and a caption 22b depicts a portrait image resulting from extracting the person only from the image 21b and filling the other parts of the image 21b in black, a caption 21c is a portrait image resulting from photographing a participant (c) at a point C, and a caption 31 is an object image resulting from a conference desk being a foreground by means of a computer graphics. There are conference materials for the participants(b),(c) on the conference desk. A video conference image 41 that is exhibited for a participant (a) at a point A is obtained by superimposing the object video image 31 onto the other video images above on the basis of predetermined position and size information. In this case, the video conference image 41 to be exhibited for the participant (a) at the point A can be obtained by filling in advance unnecessary parts of the superimposed images in black.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明はテレビ会議システムにおいて用いる臨場感を有する仮想的な会議空間映像を生成するテレビ会議の映像生成装置及びその生成方法に関するものである。 The present invention relates to relates to virtual conference video generation device of the video conference to produce a spatial image and generating method having the realism used in the video conference system.

【0002】 [0002]

【従来の技術】テレビ会議システムにおいて、臨場感を有する仮想的な会議空間映像を生成する方法には、例えば文献(電気通信学会誌、第56巻、第598号、199 BACKGROUND OF THE INVENTION videoconference system, a method of generating a virtual meeting space image having a sense of reality, for example, the literature (Electrical Communication Engineers Journal, Vol. 56, No. 598, 199
6年、21〜25頁、中谷氏と新居氏の技術解説文である「高臨場感マルチメディア通信会議システム」)に記載されているものがある。 6 years, 21 to 25 pages, there are those described in a technical commentary of the new house and Mr. Nakatani says "high sense of realism multimedia teleconferencing system"). この文献には、相手側の会議机が自分側の会議机とつながっているかのように、相手側で撮影した「机の前に着席した会議参加者」の映像を自分側の大型スクリーンにプロジェクタで投影して表示したものがある。 The projector in this document, as if the other side of the conference table are connected with their side of the conference table, a video of which was taken by the other side "conference participants were seated in front of the desk" to the big screen of your side in there is a thing that was displayed by projection.

【0003】従来の方法を用いて3地点間でテレビ会議を行う際に、例えば特開平6−113336号公報「3 [0003] When performing a teleconference among three locations using conventional methods, for example, JP-A 6-113336 discloses "3
次元多地点テレビ会議システム」に記載の発明のように、実在感並びに臨場感のあるテレビ会議をするため、 As in the invention described in the dimension multipoint video conference system ", for a television conference with a real sense and realism,
分割スクリーンに3次元映像表示をしたものがある。 It is that the three-dimensional image displayed on a split screen.

【0004】図4はスクリーンに表示される映像例を示す。 [0004] Figure 4 shows an image example displayed on the screen. 自分側を地点Aとすると、相手側を地点B及びCとする。 If the self side and the point A, the other party with a point B, and C. 地点Aにあるスクリーン101には、地点Bにおいて撮影された2人の参加者及び会議机を含む会議室映像が投影表示され、またスクリーン102には、地点C The screen 101 in the point A, meeting room image including the two participants and the conference desk taken at the point B is projected display, also on the screen 102, the point C
で撮影された3人の参加者及び会議机を含む会議室映像が投影表示される。 In conference room image including the taken three participants and the conference desk is projected display.

【0005】上記のような従来の方法とは別に、特開平7−67035号公報「テレビ会議用動画像合成方式」 [0005] Apart from the conventional method as described above, Japanese Patent Laid-Open No. 7-67035 "videoconferencing moving image combining method"
に記載されているように、会議机及びその上にある会議資料などを含めて撮影した人物映像から背景を除去した複数の会議参加者の映像を、ひとつの背景映像の上に合成して表示するという方法もある。 As described in, a conference table and a plurality of conference participants of the video to remove the background from the person image taken, including such as conference material above it, synthesized and on top of one of the background image display also a method that there is.

【0006】図5は従来の手法を用いて会議空間映像を合成するプロセス図である。 [0006] FIG. 5 is a process diagram for synthesizing a conference space image using conventional techniques. ある地点で撮影した人物画像201には人物の他に、会議机や会議資料を含む背景が投影されている。 Another person in the person image 201 taken at a certain point, background, including the conference desk or conference materials is being projected. この画像から人物のみを抽出して、 By extracting only person from this image,
別に用意した背景静止画像202をその周りに埋めることにより、部分合成動画像203を生成する。 By filling the background still image 202 prepared separately around it, generating a partial composite video image 203. これはテーブル画像204の上にはめ込むことにより、部分合成動画像203を生成する。 This by fitting on the table image 204, generating a partial composite video image 203. これをテーブル画像204の上にはめ込むことにより、最終的な会議空間映像である合成画像205を生成する。 By fitting this on the table image 204, and generates a composite image 205 is the final conference space image.

【0007】 [0007]

【発明が解決しようとする課題】しかしながら、従来のテレビ会議システムは、相手側で撮影した映像をそのままスクリーンに投影しており、会議室や会議机が固定であるため、会議参加者が着席できる位置が限定されてしまい、特に多人数が参加する場合には会議机、カメラ、 The object of the invention is to be Solved However, the conventional TV conference system, has been projecting an image taken by the other side as it is on the screen, for meeting rooms and conference table is fixed, the conference participants can be seated position will be limited, especially conference table in the case of large number of people to participate, camera,
スクリーンの配置を変更せねばならないなどの点で、レイアウトが困難であった。 In terms of such must not change the arrangement of the screen, the layout has been difficult.

【0008】また会議机や人物をひとまとめの映像として扱い、他の背景映像と合成する従来の方法では、実際に会議空間映像を生成すると、図5に示すように人物映像に付随していた会議机の映像と新たな背景における会議机の映像とが滑らかにつながらず、不連続部分206 [0008] Treat conference table or person as together images, in the conventional method of synthesizing with another background image, when actually generating the meeting space image, meeting has been attached to the person image as shown in FIG. 5 and the video of the conference table in the video and the new background of the desk does not lead to a smooth, discontinuous portion 206
が生じるなど、不自然な会議空間映像になることがある。 Such as occurs, it may become an unnatural meeting space image.

【0009】さらに、従来のテレビ会議システムでは、 [0009] Furthermore, in the conventional TV conference system,
すべての地点で同一の会議机を利用し、かつその会議机を撮影したものを背景映像として用いることで、人物映像と背景映像が滑らかにつながった会議空間映像を生成できるが、会議机やカメラの位置が固定される条件にある必要がある。 Using the same conference table at all points, and by using a material obtained by photographing the conference table as a background image, it may generate the meeting space image person image and background image are smoothly connected, conference table and camera It should fall condition the position of the is fixed. また会議机の天板形状が矩形でない場合や、人物を斜め方向から撮影せざるを得ない場合には、 Moreover and when the top plate shape conference table is not rectangular, when shooting forced to a person from an oblique direction,
人物映像と背景映像とを滑らかに、特に会議机がつながっているように合成することが困難になる。 Smooth the person image and the background image, it is particularly difficult to be synthesized to have led the conference desk.

【0010】本発明の目的は、テレビ会議システムにおいて、自然でかつ臨場感のある仮想的な会議空間映像を生成することが可能なテレビ会議の映像生成装置及びその生成方法を提供することにある。 An object of the present invention is to provide in a television conference system, a natural and virtual conference video generating apparatus capable videoconferencing generating a spatial image and generating method thereof immersive .

【0011】 [0011]

【課題を解決するための手段】上記目的を達成するため請求項1記載の発明は、テレビ会議用の仮想的な会議空間映像を生成するテレビ会議映像生成装置において、会議空間における背景を生成する背景映像生成部と、会議空間に登場させる人物映像を生成する人物映像生成部と、会議空間中に表示するオブジェクトの映像を生成するオブジェクト映像生成部と、人物映像及びオブジェクトの映像を背景映像の中のどの位置にどの大きさで、しかもどの順序で配置するかという情報を格納する合成情報記憶部と、合成情報記憶部に格納された情報に基づいて、背景映像の上に人物映像及びオブジェクトの映像を重ね合わせて会議空間映像を生成する映像合成部とを備えたことを特徴とする。 Means for Solving the Problems The invention of claim 1, wherein for achieving the above object, the video conference image generating apparatus for generating a virtual meeting space image for television conference, to generate a background in the conference space the background image generation unit, and the person image generating unit for generating a human image to appear in the conference space, and the object image generating unit that generates an image of the object to be displayed during the meeting space, the background image of the image of the person image and object which position which in magnitude, yet the composite information storing section for storing information as to be arranged in any order, based on the information stored in the composition information storage unit in the person image and object on the background image superimposed image characterized by comprising a video synthesizing unit which generates a meeting space video.

【0012】テレビ会議用の仮想的な会議空間映像を生成するため、背景映像生成部、人物映像生成部、オブジェクト映像生成部において、会議空間における背景を生成し、会議空間に登場させる人物の映像を生成し、会議空間中に表示するオブジェクトの映像を生成する。 [0012] In order to generate a virtual meeting space image for video conferencing, the background image generation unit, the person image generation unit, in the object image generation unit, generates a background in the conference space, of a person to appear in the conference space video to generate, to generate an image of the object to be displayed during the meeting space. 合成情報記憶部では、人物映像及びオブジェクトの映像を背景映像中のどの位置にどの大きさで、しかもどの順序で配置するかという情報を格納し、映像合成部では、合成情報記憶部に格納された情報に基づいて、背景映像の上に人物映像及びオブジェクトの映像を重ね合わせて会議空間映像を生成する。 In the synthesis information memory unit, in which the size of the image of the person image and object at any position in the background image, yet stores information as to be arranged in any order, the video synthesis unit, are stored in the composite information storage unit It was based on the information, to generate a conference space image by superimposing images of the person image and object on the background image. これにより、自然でかつ臨場感のある仮想的な会議空間映像を生成することができる。 Thus, it is possible to generate a virtual meeting space image with a natural and realistic.

【0013】請求項2記載の発明は、請求項1記載のテレビ会議の映像生成装置であって、テレビ会議の参加者を撮影した映像から人物のみを抽出した映像を、別に用意した背景映像の定められた位置に定められた大きさで重ね合わせ、さらにその上に、会議机の映像を定められた位置に定められた大きさで重ね合わせることを特徴とする。 [0013] According to a second aspect of the invention, there is provided a video generation device of the video conference according to claim 1, wherein the image obtained by extracting only person from the image obtained by photographing the participants of the video conference, the background image that is prepared separately overlay a size defined in a defined position, yet on it, characterized in that superimposing a size which is set at the position defined video conference desk.

【0014】テレビ会議の参加者を撮影した映像から人物のみを抽出した映像を、別に用意した背景映像の定められた位置に定められた大きさで重ね合わせ、さらにその上に、会議机の映像を定められた位置に定められた大きさで重ね合わせることができるので、自然でかつ臨場感のある仮想的な会議空間映像を生成することができる。 [0014] The image obtained by extracting only person from the captured video of the participants in the video conference, the overlay with separately prepared was the size of which is determined in a defined position of the background image, further on it, the conference table image it is possible to superimpose a size defined in the defined position and can generate a virtual meeting space image with a natural and realistic.

【0015】請求項3記載の発明は、請求項1記載のテレビ会議の映像再生装置であって、会議空間に、別に用意した背景映像の定められた位置に表示用の表示板の映像が人物部分のみを抽出した映像を定められた位置に定められた大きさで重ね合わせることにより、会議空間映像を生成することを特徴とする。 [0015] According to a third aspect of the invention, an image reproducing device of the video conference according to claim 1, the meeting space, display board video person for display in a defined position of the background image separately prepared by overlapping only the extracted magnitude stipulated in a defined position of the image portion, and generating a conference space image.

【0016】会議空間に別に用意した背景映像の定められた位置に表示用の表示板の映像が人物部分のみを抽出した映像を定められた位置に定められた大きさで重ね合わせることができるので、会議空間映像を生成して、臨場感のある仮想的な会議空間映像を生成することができる。 [0016] Since it is possible to superimpose the magnitude image display panel for display on a defined position of the background image prepared separately to the meeting space is defined in a defined position of the image obtained by extracting only a person portion of , it is possible to generate a conference space image, to generate a virtual meeting space image realistic.

【0017】請求項4記載の発明は、テレビ会議用の仮想的な会議空間の映像を生成するテレビ会議の映像生成方法において、会議空間における背景を生成し、会議空間に登場させる人物映像を生成し、会議空間中に表示するオブジェクトの映像を生成し、人物映像及びオブジェクトの映像を背景映像の中のどの位置にどの大きさで、 [0017] The invention of claim 4, wherein the generated person image to appear in the image generating method of the video conference to generate an image of the virtual meeting space for video conferencing, to generate a background in the conference space and meeting space and generates an image of the object to be displayed during the meeting space, in which the size of the image of the person image and object at any position in the background image,
しかもどの順序で配置するかという情報を格納し、格納された情報に基づいて背景映像の上に人物映像及びオブジェクトの映像を重ね合わせることにより、会議空間映像を生成することを特徴とする。 Moreover stores information as to be arranged in any order, by superimposing the image of the person image and object on the background image based on the stored information, and generates the meeting space image.

【0018】人物映像及びオブジェクトの映像を背景映像の中のどの位置にどの大きさで、どの順序で配置するかという情報を格納し、格納された情報に基づいて、背景映像の上に人物映像及びオブジェクトの映像を重ね合わせることにより、会議空間映像を生成するので、自然で、かつ臨場感のある仮想的な会議空間映像を生成することができる。 [0018] In what size an image of the person image and object at any position in the background image, and stores information as to be arranged in any order, based on the stored information, the person image on the background image and by superimposing the image of the object, because it generates a meeting space image, it is possible to generate a virtual meeting space image with a natural and realistic.

【0019】請求項5記載の発明は、請求項4記載のテレビ会議の映像生成方法であって、テレビ会議の参加者を撮影した映像から人物のみを抽出した映像を、別に用意した背景映像の定められた位置に定められた大きさで重ね合わせ、さらにその上に、第1の映像を定められた位置に定められた大きさで重ね合わせることを特徴とする。 [0019] According to a fifth aspect of the invention, a claim 4 video generation method of video conferencing described, the image obtained by extracting only person from the image obtained by photographing the participants of the video conference, the background image that is prepared separately overlay a size defined in a defined position, yet on it, characterized in that superimposing a size which is set at the position defined the first image.

【0020】テレビ会議の参加者を撮影した映像から人物のみを抽出した映像を、別に用意した背景映像の定められた位置に定められた大きさで重ね合わせることができるので、さらにその上に、第1の映像を定められた位置に定められた大きさで重ね合わせることにより、仮想的な会議空間が連続的な映像として生成できるので、違和感がないようにすることができる。 [0020] The image obtained by extracting only person from the captured video of the participants in the video conference, because it can be superimposed in the separately prepared was the size of which is determined in a defined position of the background image, further on it, by superimposing a size which is set at the position defined a first image, because the virtual meeting space can be generated as a continuous image, it is possible to ensure that there is no sense of incongruity.

【0021】請求項6記載の発明は、請求項4記載のテレビ会議の映像再生方法であって、会議空間に、別に用意した背景映像の定められた位置に第2の映像が人物部分のみを抽出した映像を定められた位置に定められた大きさで重ね合わせることにより、会議空間映像を生成することを特徴とする。 [0021] According to a sixth aspect of the invention, a video reproducing method of the video conference according to claim 4, in meeting space, only the second image is the person portion to a position a defined background images separately prepared by overlapping in the extracted magnitude stipulated in a defined position of the image, and generates the meeting space image.

【0022】会議空間に、別に用意した背景映像の定められた位置に第2の映像が人物部分のみを抽出した映像を定められた位置に定められた大きさで重ね合わせることにより、会議空間映像を生成することができるので、 [0022] conference space, the second video by overlaying a size defined in a defined position of the image obtained by extracting only a person portion is at a position a defined background image prepared separately, meeting space image it is possible to generate,
仮想的な会議空間が連続的な映像として違和感がないようにすることができる。 Can be made to the virtual meeting space is no uncomfortable feeling as a continuous image.

【0023】 [0023]

【発明の実施の形態】本発明の実施形態について説明すると、テレビ会議において、テレビ会議の映像生成装置は、仮想的な会議空間の映像を生成する。 DETAILED DESCRIPTION OF THE INVENTION Referring to the embodiment of the present invention, in the video conference, the video generation device of the video conference generates an image of the virtual meeting space.

【0024】図1は本発明の実施形態の構成を説明するブロック図である。 [0024] FIG. 1 is a block diagram illustrating the configuration of an embodiment of the present invention. 図1において、背景映像生成部1 In Figure 1, the background image generator 1
は、会議空間における背景映像を生成し、人物映像生成部2では会議参加者を撮影した映像から背景部分を除去して人物映像を生成し、さらにオブジェクト映像生成部3で会議机や会議資料など会議空間に表示するオブジェクトの映像を生成する。 Is meeting to generate a background image in space, the person the image generating unit 2, the conference participants to remove the background portion from the captured image to generate a person video, such as a further meeting desk or conference materials in the object image generation unit 3 It generates an image of the object to be displayed in the meeting space.

【0025】合成情報記憶部4では、人物映像やオブジェクト映像を背景映像中のどの位置に配置するかという情報を格納し、映像合成部5で背景映像、人物映像、オブジェクト映像を重ねることで会議空間映像を生成する。 [0025] In synthesizing the information storage unit 4 stores information as to place the person image and object image to which position in the background image, the background image in the image synthesis unit 5, a person image, meeting by overlapping object images to generate a space image.

【0026】臨場感のある仮想的な会議空間映像を生成する際には、空間を構成する要素を背景と人物の2つと捉えて合成すると、例えば人物映像の一部として映る会議机と背景映像中の会議机との間に目立った境界ができてしまうなど、見た目の連続性に欠けた不自然な映像が合成される場合がある。 [0026] When generating a virtual meeting space image with a realistic, when two and captured synthesized background and person the elements constituting the space reflected, for example, as part of the person image conference table and a background image conspicuous boundary will be able between the conference table in some cases unnatural image lacking the appearance of continuity is synthesized. ところで、例えば会議机を人物よりも手前に置き、奥の方から背景、人物、会議机の順に表示する場合には、会議空間を構成する要素の自然な表示位置が概ね決まっていると考えてよい。 By the way, for example, place the conference table in front than in person, in the case of display from the direction of the far background, the person, in the order of the conference desk, I believe that natural display position of the elements that make up the conference space is generally fixed good.

【0027】会議空間を構成する映像要素は、背景映像、人物映像、オブジェクト映像の3つと捉え、それらの映像を並列して生成しておき、講演、討議などの会議の形態に応じて、定められた順序、位置にしたがって映像を重畳、配置することで、臨場感のある自然な会議空間映像を生成する。 The picture elements constituting the meeting space background image, a person image, captured three and object image, leave generated in parallel their video, speech, depending on the form of the meeting, such discussion, defined It is the order, superimposed images according to the position, by arranging to produce a natural meeting space image realistic.

【0028】次に、図1を参照して、より詳細に構成を説明すると、背景映像生成部1は、会議空間において、 Next, with reference to FIG. 1, will be described a configuration in more detail, the background image generation unit 1, in the meeting space,
背景となる映像を生成する。 To generate an image as a background. 生成された映像は、例えばハードディスクなどの記憶装置にあらかじめ格納された静止画や動画の映像ファイルを読み出すことで実現できる。 The generated images, for example, can be realized by reading the previously stored still image and moving image files in a storage device such as a hard disk. この際、映像として実在する会議室などを撮影しておいた実写映像だけでなく、コンピュータグラフィックスを用いて作成した架空の会議室の映像でもよい。 In this case, not only the photographed image which has been photographed, such as a conference room that real as video, or the video of the imaginary meeting room created by using computer graphics. またあらかじめ格納された映像ファイルを読み出すだけでなく、ライブで撮影した映像を利用してもよい。 In addition not only read the previously stored image file, it may be used an image captured by the live.

【0029】人物映像生成部2は、会議に参加している人物の映像を生成する。 The person image generation unit 2 generates an image of the person who is participating in the conference. ここで生成する映像は、背景を含まない人物だけの映像である。 Image to be generated here is an image of only the person without the background. このような映像の生成は、例えば会議机の前にいる参加者をカメラで撮影し、 Generation of such images, for example, taking the participants in front of the conference table with the camera,
その映像に背景除去の処理を施すことで実現できる。 It can be realized by performing the processing of the background removal as the video. 背景を除去する、すなわち、人物のみを抽出する方法としては、除去したい部分を青い布などで覆っておき、色情報に基づいて青色以外の部分を抽出する方法、複数のカメラを用いて、特定した背景及び人物までの距離に基づいて人物だけを抽出する方法などがある。 Removing the background, i.e., as a method for extracting only person in advance to cover the portion to be removed, such as by a blue cloth, a method of extracting a portion other than the blue based on the color information, by using a plurality of cameras, a particular and a method of extracting only person on the basis of the distance to the background and the person.

【0030】また生成する映像は、実写の人物映像だけでなく、コンピュータグラフィックスで表現された人物映像でもよい。 [0030] The image to be produced, not only the person the video of the live-action, may be the person images that are represented in computer graphics. 特開平7−255044号公報「アニメーション式電子会議室、ビデオ会議システム及びビデオ会議方法」には、実物の会議参加者の形状及び動作をアニメーション化されたキャラクタとして映像表現する方法が詳しく記載されている。 JP 7-255044 discloses the "Animation electronic conference, video conferencing and video conferencing method", a method for image representing a real conference participants shape and operation as animated character is described in detail there. このような方法を利用して仮想的な人物映像を生成することも可能である。 It is also possible to generate a virtual person image using such a method.

【0031】人物以外の背景部分は、マスクとしてある特定の色で塗りつぶしておく。 [0031] The background portion other than the person, keep fill in a specific color that is used as a mask. ところで、一般にテレビ会議において離れた地点で撮影した参加者の人物映像を用いることになる。 By the way, it is generally possible to use a person image of participants taken at a remote point in the video conference. この場合には、撮影した映像を符号化してネットワークで伝送し、映像合成を行う地点にて複合しておけばよい。 In this case, transmitted in the network a captured image by encoding, it is sufficient to complex at the point of performing image synthesis. 人物映像生成部2には、このような機構を備えることにより、多地点接続のテレビ会議を実現することができる。 The person image generating unit 2, by providing such a mechanism, it is possible to realize a video conference Multipoint.

【0032】オブジェクト映像生成部3は、背景や人物とは別に会議空間内の物体として表示させたいオブジェクトの映像を生成する。 The object image generator 3 generates an image of an object to be displayed as the object separately from the conference space from the background and the person. 映像生成は、たとえば、ハードディスクなどの記憶装置にあらかじめ格納された静止画や動画の映像ファイルを読み出すことにより実現できる。 Image generation, for example, can be realized by reading the previously stored still image and moving image files in a storage device such as a hard disk. この際には、映像として実物の会議机やホワイトボードなどを撮影しておいた実写映像だけでなく、コンピュータグラフィックスを用いて作成した架空の会議机やホワイトボードの映像でもよい。 At this time, not only the live-action video that had been taken, such as real conference table and whiteboard as a video, may be in the video of a fictional meeting desk or whiteboard that was created using computer graphics.

【0033】またあらかじめ格納された映像ファイルは、読み出すだけでなく、ライブで撮影した映像を利用してもよい。 [0033] The image file that is stored in advance, not only read, may be used an image captured by the live. さらに、会議中に参加者が用いる資料や3 In addition, materials and 3 used by the participants during the conference
次元オブジェクトをコンピュータグラフィックスで表現し、それらを実写あるいはコンピュータグラフィックスで表した会議机やホワイトボードの上に重ね合わせる方法により、最終的なオブジェクト映像を生成することも可能である。 Dimensional objects represented by computer graphics, the process of superimposing on a conference table or whiteboard representing them photographed or in computer graphics, it is also possible to generate the final object image. なお、オブジェクト以外の背景部分は、マスクとしてある特定の色で塗りつぶしておくと、オブジェクト映像を好適に生成することが可能となる。 Incidentally, the background portion other than the object when the previously filled with a specific color in the mask, it is possible to suitably generate an object image.

【0034】合成情報記憶部4には、人物映像やオブジェクト映像を背景映像中のどの位置に配置するかという情報を格納しておく。 [0034] The synthesis information storage unit 4 and stores information as to place the person image and object image to which position in the background image. 具体的には、人物映像に対しては複数の人物映像それぞれについて、またオブジェクト映像に対しては、その映像について背景映像中のどの位置にどのような大きさで配置するかという情報を、たとえば、テーブル形式で記憶しておく。 Specifically, for each of a plurality of persons image for the person image, and for the object image, information as to be arranged in any size at any position in the background image for the image, for example, , stored in a table format.

【0035】この際、位置情報として、映像を含む矩形の左上端点を背景映像中のどの座標位置に一致させるのかという情報を、また大きさ情報として、その映像を縦横何ドットあるいは何ピクセルの矩形として配置するのかという情報を利用することができる。 [0035] At this time, as the position information, the information indicating to match a rectangular upper left end point including video on which coordinate positions in the background image, and as the size information, rectangle the video aspect what dot or number of pixels You can utilize the information that are to be placed as. このような位置や大きさの情報に加えて、背景映像、人物映像、オブジェクト映像などの順序で重ね合わせるかという情報も記憶しておく。 In addition to the information of such a position and size, background image, a person image, also information as to be superimposed in the order, such as object images stored.

【0036】ある人が新たに会議に参加する場合は、これまでは表示されていなかったその人の映像を新たに背景映像として合成して表示する必要がある。 [0036] When a person to participate in the new conference, so far, it is necessary to display the synthesis as a new background image of the person's image, which has not been displayed. また参加者全員が会議机で討議する場面から、一人の参加者がホワイトボードを利用してプレゼンテーションを行う場面へと会議形態が変化した場合は、表示する映像、映像の位置及び大きさ、重ね合わせる順序のすべてが変化する。 Also from the scene that all participants be discussed at the conference table, one of the If a participant conference form to the scene to make a presentation using the whiteboard has changed, display the image, the image of the position and size, overlaid all of the order in which the match changes.
このようにさまざまな利用形態を考えると、格納しておく情報は、時間とともに変化するのが、一般的である。 Thus think the various usage forms, information to be stored is that change over time, it is common.

【0037】映像合成部5は、背景映像、人物映像、オブジェクト映像を合成して会議空間映像を生成する。 The image synthesis section 5, the background image, person image, by combining the object image to generate a meeting space image. 具体的には、まず背景映像生成部1で生成された背景映像を取りこみ、映像記憶領域に格納しておく。 Specifically, first capture the background image generated by the background image generator 1, and stored in the image storage area. 次に、合成情報記憶部4に、背景映像の上に重ね合わせる映像が、 Then, the synthesis information storage unit 4, a video superimposing on the background image,
人物映像あるいはオブジェクト映像のいずれであるか、 Whether it is a person image or object image,
また取り込んだ映像を背景映像中の適切な位置に重ね合わせる。 In addition to superimpose the image captured in the appropriate position in the background image. なお、取り込み映像においては、あらかじめ定めた色でマスクされている部分については、背景映像との置き換えをしないようにする。 In the capture image, portions that are masked in a predetermined color, so as not to replace the background image.

【0038】次いで、まだ合成していない方の映像を人物映像生成部2あるいはオブジェクト映像生成部3から取りこみ、先に合成情報記憶部4に問い合わせて得た位置及び大きさ情報に基づいて、背景映像の画素データを取りこみ、映像の画素データで置きかえることにより、 [0038] Then, captures the image of which is not yet synthesized from the person image generator 2 or the object image generator 3, based on the position and size information obtained by querying the previously combined information storage unit 4, the background captures the image of the pixel data, by replacing the video pixel data,
それらの映像を背景映像中の適切な位置に重ね合わせる。 Their image superimposed in position in the background image. この際においても、取り込み映像においては、あらかじめ定められた色でマスクされる部分については、背景映像との置き換えをしないでおく。 In this case also, in the capture image, portions to be masked with a color that is determined in advance without the replacement of the background image.

【0039】図2はテレビ会議の一形態例を示す図で、 [0039] FIG. 2 shows an embodiment of a teleconference,
会議参加者がテーブルを囲んで討議を行う形態の会議を表現するテレビ会議映像の生成手順を説明する。 Conference participants to explain the procedure for generating a television conference video to represent the conference in the form to carry out the discussion around the table. テレビ会議は3地点間にて、地点Aの参加者a、地点Bの参加者b、地点Cの参加者cで行い、参加者aに対して呈示するテレビ会議映像を生成する場合を想定する。 Videoconferencing at between three sites, do participants a point A, participants b point B, and participants c point C, and assume a case of generating a video conference image to presented to participants a . これをN地点(Nは自然数)間に拡張するのは容易である。 This (N is a natural number) the N point it is easy to extend therebetween.

【0040】11は背景映像であり、21bは地点Bの参加者bの撮影した人物映像であり、この映像から人物のみを抽出し、その他の部分を黒色で塗りつぶした人物映像22bである。 [0040] 11 is a background image, 21b is a person video taken of the participants b of point B, to extract the only person from this video, is a person image 22b that fill the other parts in black. 21cは、地点Cの参加者cを撮影した人物映像である。 21c is a person image obtained by photographing the participants c of point C. 31は前景となる会議机をコンピュータグラフィックスで作成したオブジェクト映像である。 31 is an object image that created the conference table to be the foreground in computer graphics. 会議机の上には、参加者b及び参加者cの会議資料があり、これらのオブジェクトもコンピュータグラフィックスで作成してある。 The top of the conference table, there is a conference materials participants b and participants c, it is also create these objects in computer graphics.

【0041】オブジェクト映像31をあらかじめ定めた位置及び大きさの情報に基づいて重ね合わせることで、 [0041] By overlaying on the basis of the predetermined position and size information of the object image 31,
地点Aの参加者aにni呈示するテレビ会議映像41を得る。 Get a TV conference video 41 ni presented to the participants a point A. この際、あらかじめ黒色で塗りつぶしておくことで、地点Aの参加者aに呈示するテレビ会議映像41を得ることができる。 In this case, in that you fill in a pre-black color, it is possible to obtain a TV conference image 41 to present to the participants a point A. この際には、あらかじめ黒色で塗りつぶしておいた領域は、下側の映像がそのまま表示されるように合成する。 When doing so, the area which had been filled in advance with a black, synthesized as lower image is displayed as it is.

【0042】図3はテレビ会議の他の形態例を示す図で、会議参加者の一人が大きく表示された資料を用いてプレゼンテーションを行う形態の会議を表現するテレビ会議映像を生成する手順を説明する。 [0042] FIG. 3 is a diagram showing another embodiment of a TV conference, describes the procedure to generate a television conference video to represent the conference in the form of a presentation by using the documentation that one person has been displayed in a large size of the conference participants to. テレビ会議は3地点間にて、地点Aの参加者a、地点Bの参加者b、地点Cの参加者cで行い、参加者aに対して呈示するテレビ会議映像を生成する場合を想定する。 Videoconferencing at between three sites, do participants a point A, participants b point B, and participants c point C, and assume a case of generating a video conference image to presented to participants a . これをN地点(N This N point (N
は自然数)間に拡張するのは容易である。 It is it is easy to extend between a natural number).

【0043】51は背景映像であり、61bは地点Bの参加者bの撮影した人物映像であり、この映像から人物のみを抽出し、その他の部分を黒色で塗りつぶした人物映像62bである。 [0043] 51 is a background image, 61b is a person image photographed participants b point B, to extract only the person from the image, a person image 62b that fills the other parts in black. 71は、会議資料とそれを表示するための装置とをコンピュータグラフィックスで作成したオブジェクト映像である。 71 is an object image that created the device for displaying it and the meeting materials in computer graphics. 会議机の上には、参加者b及び参加者cの会議資料があり、これらのオブジェクトもコンピュータグラフィックスで作成してある。 The top of the conference table, there is a conference materials participants b and participants c, it is also create these objects in computer graphics.

【0044】オブジェクト映像71を作成する際には、 [0044] when you create the object image 71,
オブジェクト以外の部分、この場合は表示装置及び会議資料以外の部分は、黒色で塗りつぶしておく。 Portion other than the object, the portion other than the display device and the conference material in this case is kept filled with black. これらの映像を点線枠(イ)内に示すように、背景映像51の上にオブジェクト映像71を、さらにその上に人物映像6 These images as shown in the dotted frame (b), the object image 71 on the background image 51, further person image thereon 6
2bを、あらかじめ定められた位置及び大きさの情報に、基づいて重ね合わせることで、地点Aの参加者aに呈示するテレビ会議映像81を得る。 2b and in a predetermined position and size information, by superimposing on the basis of, obtaining a video conference image 81 presented to the participants a point A. この際には、あらかじめ黒色で塗りつぶしておいた領域は、下側の映像がそのまま表示されるように合成する。 When doing so, the area which had been filled in advance with a black, synthesized as lower image is displayed as it is.

【0045】さらに、プレゼンテーションを行っている人物以外の参加者の映像も呈示する場合は、地点Cの参加者cの映像を呈示する場合に、撮影した人物映像61 [0045] In addition, the case also the video of the participants other than the person who is doing the presentation to presentation, in the case of presenting the image of the participants c of point C, captured person image 61
cを、特に人物領域の抽出を行うことなく、そのままオブジェクト映像71の上に重ねることにより、会議映像82が得られる。 The c, without particularly performing extraction of human region, as by superimposing on the object image 71, the conference video 82 is obtained.

【0046】 [0046]

【発明の効果】以上のように詳細に説明した本発明のテレビ会議の映像生成装置及びその生成方法によれば、背景映像の上に人物映像及びオブジェクトの映像を重ね合わせて会議空間映像を生成することにより、自然でかつ臨場感のある仮想的な会議空間映像を生成することができる。 According to the image generating device and generating method of the video conference according to the present invention described in detail in the above, according to the present invention, it generates a meeting space image by superimposing images of the person image and object on the background image by, can generate a virtual meeting space image with a natural and realistic.

【0047】また本発明のテレビ会議の映像生成装置及びその生成方法によれば、遠隔多地点間で行うテレビ会議において、臨場感あふれる仮想的な会議空間映像を実現する上で、極めて有効であるために実用的価値を高くすることができる。 [0047] According to the television image generating apparatus and generating method of meeting the present invention, in a video conference performed between remote multipoint, in realizing a virtual meeting space image realistic, it is very effective it is possible to increase the practical value for.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の実施形態の構成を説明するブロック図である。 1 is a block diagram illustrating the configuration of an embodiment of the present invention.

【図2】テレビ会議の一形態例を示す図である。 2 is a diagram showing an embodiment of a teleconference.

【図3】テレビ会議の他の形態例を示す図である。 3 is a diagram showing another embodiment of a teleconference.

【図4】従来の構成図である。 4 is a conventional diagram.

【図5】従来の手法を用いて会議空間映像を合成するプロセス図である。 5 is a process diagram for synthesizing a conference space image using conventional techniques.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 背景映像生成部 2 人物映像生成部 3 オブジェクト映像生成部 4 合成情報記憶部 5 映像合成部 11、51 背景映像 1 background image generating unit 2 person image generator 3 object image generating unit 4 synthesis information storage unit 5 video synthesis unit 11, 51 background image

Claims (6)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 テレビ会議用の仮想的な会議空間映像を生成するテレビ会議の映像生成装置において、 前記会議空間における背景を生成する背景映像生成部と、 前記会議空間に登場させる人物映像を生成する人物映像生成部と、 前記会議空間中に表示するオブジェクトの映像を生成するオブジェクト映像生成部と、 前記人物映像及び前記オブジェクトの映像を背景映像の中のどの位置にどの大きさで、しかもどの順序で配置するかという情報を格納する合成情報記憶部と、 該合成情報記憶部に格納された情報に基づいて、前記背景映像の上に前記人物映像及び前記オブジェクトの映像を重ね合わせることにより、前記会議空間映像を生成する映像合成部と、 を備えたことを特徴とするテレビ会議の映像生成装置。 1. A video generation apparatus of a television conference to generate a virtual meeting space image for video conferencing, a background image generation section that generates a background in the meeting space, generating a person image to appear in the conference space the person image generator which, an object image generator for generating a video object to be displayed in the conference space in which the size of the person image and image of the object at any position in the background image, yet which and combining information storage unit for storing information as to be arranged in order, on the basis of the information stored in the composite information storing section, by superimposing the person image and image of the object on the background image, image generating apparatus of the video conference, characterized in that and a video synthesis unit for generating the meeting space image.
  2. 【請求項2】 前記テレビ会議の参加者を撮影した映像から人物のみを抽出した映像を、別に用意した背景映像の定められた位置に定められた大きさで重ね合わせ、さらにその上に、会議机の映像を定められた位置に定められた大きさで重ね合わせることを特徴とする請求項1記載のテレビ会議の映像生成装置。 2. A method image obtained by extracting only the person from the image obtained by photographing the participants of the video conference, superimposed with separately prepared magnitude stipulated in a defined position of the background image, further thereon, Conference image generating apparatus of the video conference according to claim 1, wherein the superposing a size which is set at the position defined video desk.
  3. 【請求項3】 前記会議空間に、別に用意した背景映像の定められた位置に表示用の表示板の映像が人物部分のみを抽出した映像を定められた位置に定められた大きさで重ね合わせることにより、前記会議空間映像を生成することを特徴とする請求項1記載のテレビ会議の映像生成装置。 To wherein the conference space, superimposed in a size defined in a defined position of the picture image of the display panel for display by extracting only a person portion to a position a defined background images separately prepared it allows videoconferencing image generation apparatus according to claim 1, wherein the generating the meeting space image.
  4. 【請求項4】 テレビ会議用の仮想的な会議空間映像を生成するテレビ会議の映像生成方法において、 前記会議空間における背景を生成し、前記会議空間に登場させる人物映像を生成し、前記会議空間中に表示するオブジェクトの映像を生成し、前記人物映像及び前記オブジェクトの映像を背景映像の中のどの位置にどの大きさで、しかもどの順序で配置するかという情報を格納し、格納された情報に基づいて、前記背景映像の上に前記人物映像及び前記オブジェクトの映像を重ね合わせることにより、会議空間映像を生成することを特徴とするテレビ会議の映像生成方法。 4. A video generation method of the video conference to create a virtual meeting space image for video conferencing, to generate a background in the meeting space, generates a person image to appear in the conference space, the meeting space generating an image of objects to be displayed in the information the the person image and what size an image of the object at any position in the background image, yet stores information as to be arranged in any order, stored based on the by the superposing a person image and image of the object on the background image, image generation method of the video conference, characterized by generating a conference space image.
  5. 【請求項5】 前記テレビ会議の参加者を撮影した映像から人物のみを抽出した映像を、別に用意した前記背景映像の定められた位置に定められた大きさで重ね合わせ、さらにその上に、第1の映像を定められた位置に定められた大きさで重ね合わせることを特徴とする請求項4記載のテレビ会議の映像生成方法。 5. A video image by extracting only a person from an image obtained by photographing the participants of the video conference, superimposed in a size defined in a defined position of the background image separately prepared, further thereon, 4. image generation method of videoconferencing wherein the superposing a size which is set at the position defined the first image.
  6. 【請求項6】 前記会議空間に、別に用意した背景映像の定められた位置に第2の映像が人物部分のみを抽出した映像を定められた位置に定められた大きさで重ね合わせることにより、前記会議空間映像を生成することを特徴とする請求項4記載のテレビ会議の映像生成方法。 To wherein said conference space, the second video by overlaying only the extracted magnitude defined at a position defined video person portion to a position a defined background images separately prepared, 4. image generation method of a television conference, wherein the generating the meeting space image.
JP10344658A 1998-12-03 1998-12-03 Video image generator for video conference and video image generating method for video conference Pending JP2000175171A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10344658A JP2000175171A (en) 1998-12-03 1998-12-03 Video image generator for video conference and video image generating method for video conference

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10344658A JP2000175171A (en) 1998-12-03 1998-12-03 Video image generator for video conference and video image generating method for video conference

Publications (1)

Publication Number Publication Date
JP2000175171A true JP2000175171A (en) 2000-06-23

Family

ID=18370984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10344658A Pending JP2000175171A (en) 1998-12-03 1998-12-03 Video image generator for video conference and video image generating method for video conference

Country Status (1)

Country Link
JP (1) JP2000175171A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002032135A1 (en) * 2000-10-10 2002-04-18 Telia Ab (Publ) Method and device for communication systems
US6710797B1 (en) * 1995-09-20 2004-03-23 Videotronic Systems Adaptable teleconferencing eye contact terminal
KR100901111B1 (en) 2007-10-31 2009-06-08 (주)한국인터넷소프트웨어 Live-Image Providing System Using Contents of 3D Virtual Space
JP2009239718A (en) * 2008-03-27 2009-10-15 Toshiba Corp Moving image separating apparatus, moving image uniting apparatus, and moving image separating/uniting system
WO2009152769A1 (en) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 Video communication method, apparatus and system
US8072481B1 (en) 2006-03-18 2011-12-06 Videotronic Systems Telepresence communication system
WO2013163904A1 (en) * 2012-05-03 2013-11-07 华为技术有限公司 Method, device and system for realizing remote group photo by utilizing video conference
KR101381594B1 (en) * 2008-12-22 2014-04-10 한국전자통신연구원 Education apparatus and method using Virtual Reality
JP2016500954A (en) * 2012-10-10 2016-01-14 マイクロソフト コーポレーション Controlled 3D communication endpoint
JP2016515325A (en) * 2013-02-20 2016-05-26 マイクロソフト テクノロジー ライセンシング,エルエルシー Providing a remote immersive experience using a mirror metaphor
US9473741B2 (en) 2012-03-19 2016-10-18 Ricoh Company, Limited Teleconference system and teleconference terminal
JP2016213677A (en) * 2015-05-08 2016-12-15 キヤノン株式会社 Remote communication system, and control method and program for the same

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6710797B1 (en) * 1995-09-20 2004-03-23 Videotronic Systems Adaptable teleconferencing eye contact terminal
WO2002032135A1 (en) * 2000-10-10 2002-04-18 Telia Ab (Publ) Method and device for communication systems
US8072481B1 (en) 2006-03-18 2011-12-06 Videotronic Systems Telepresence communication system
KR100901111B1 (en) 2007-10-31 2009-06-08 (주)한국인터넷소프트웨어 Live-Image Providing System Using Contents of 3D Virtual Space
JP2009239718A (en) * 2008-03-27 2009-10-15 Toshiba Corp Moving image separating apparatus, moving image uniting apparatus, and moving image separating/uniting system
US8446459B2 (en) 2008-06-17 2013-05-21 Huawei Device Co., Ltd. Video communication method, device, and system
WO2009152769A1 (en) * 2008-06-17 2009-12-23 深圳华为通信技术有限公司 Video communication method, apparatus and system
KR101381594B1 (en) * 2008-12-22 2014-04-10 한국전자통신연구원 Education apparatus and method using Virtual Reality
US9473741B2 (en) 2012-03-19 2016-10-18 Ricoh Company, Limited Teleconference system and teleconference terminal
WO2013163904A1 (en) * 2012-05-03 2013-11-07 华为技术有限公司 Method, device and system for realizing remote group photo by utilizing video conference
JP2016500954A (en) * 2012-10-10 2016-01-14 マイクロソフト コーポレーション Controlled 3D communication endpoint
JP2016515325A (en) * 2013-02-20 2016-05-26 マイクロソフト テクノロジー ライセンシング,エルエルシー Providing a remote immersive experience using a mirror metaphor
US10044982B2 (en) 2013-02-20 2018-08-07 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
JP2016213677A (en) * 2015-05-08 2016-12-15 キヤノン株式会社 Remote communication system, and control method and program for the same

Similar Documents

Publication Publication Date Title
EP3096208B1 (en) Image processing for head mounted display devices
JP2015039216A (en) Method and device for handling multiple image streams using metadata
US8549403B2 (en) Image tracking and substitution system and methodology
JP5208810B2 (en) Information processing apparatus, information processing method, information processing program, and network conference system
EP2308230B1 (en) Live telepresence system
EP0739497B1 (en) Multi-image compositing
US7285047B2 (en) Method and system for real-time rendering within a gaming environment
JP3948489B2 (en) Luminance filter creation method and virtual space generation system
US9160938B2 (en) System and method for generating three dimensional presentations
US9143721B2 (en) Content preparation systems and methods for interactive video systems
US4258385A (en) Interactive video production system and method
CN100576251C (en) Representation unit, representation method and image processing equipment
ES2307522T3 (en) Communications system
US7528860B2 (en) Method and system for videoconferencing between parties at N sites
AU2008215908B2 (en) Banana codec
DE69925033T2 (en) Method and system for generating 3d models from sequential 2d image data
US5077608A (en) Video effects system able to intersect a 3-D image with a 2-D image
JP3363861B2 (en) Mixed reality presentation device, mixed reality presentation method, and storage medium
US7532230B2 (en) Method and system for communicating gaze in an immersive virtual environment
US6335765B1 (en) Virtual presentation system and method
US5737031A (en) System for producing a shadow of an object in a chroma key environment
US20120038739A1 (en) Methods, systems, and computer readable media for shader-lamps based physical avatars of real and virtual people
DE69831924T2 (en) Method and device for displaying panoramas with video data
US20070273644A1 (en) Personal device with image-acquisition functions for the application of augmented reality resources and method
KR100490726B1 (en) Apparatus and method for video based shooting game

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20011009