JP2001216531A - Method for displaying participant in three-dimensional virtual space and three-dimensional virtual space display device - Google Patents

Method for displaying participant in three-dimensional virtual space and three-dimensional virtual space display device

Info

Publication number
JP2001216531A
JP2001216531A JP2000025286A JP2000025286A JP2001216531A JP 2001216531 A JP2001216531 A JP 2001216531A JP 2000025286 A JP2000025286 A JP 2000025286A JP 2000025286 A JP2000025286 A JP 2000025286A JP 2001216531 A JP2001216531 A JP 2001216531A
Authority
JP
Japan
Prior art keywords
face image
face
dimensional
virtual space
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000025286A
Other languages
Japanese (ja)
Inventor
Daisuke Minoura
大祐 箕浦
Shohei Sugawara
昌平 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000025286A priority Critical patent/JP2001216531A/en
Publication of JP2001216531A publication Critical patent/JP2001216531A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To remarkably improve visibility to specify an operator (participant) himself or herself from his or her alter ego displayed in a three-dimensional virtual space while keeping a proper data communication volume in a three- dimensional virtual space system where many users communicate with each other through a communication line to share the three-dimensional virtual space constructed by using CG techniques. SOLUTION: A device is provided with a synthetic face picture generation means (a face area extraction part 12, a template face picture selection and face area correction part 13, a template face correction part 14, and a synthetic face generation part 15) which generates a three-dimensional and stereoscopic synthetic face picture on the basis of an actually photographed face picture, a model selection part 16 which makes the operator select one from preliminarily prepared face skeleton models hair models respectively, and a data transmission part 17 which transmits the synthetic face picture, the identifier of the selected face skeleton model, and that of the selected hair model to the other users sharing the virtual space through a communication line 4.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、多数の利用者(参
加者)が、それぞれ計算機端末を使うとともに通信回線
を介して相互に通信し、コンピュータグラフィックス
(CG;computer graphics)技術を用いて構築された
3次元仮想空間を共有する3次元仮想空間システムに関
し、特に、参加者である操作者の顔画像をもとに作成さ
れたその操作者に似せた分身を仮想空間に表示すること
により、仮想空間における利用者の互いの認識度を高め
ることができる3次元仮想空間参加者表示方法及び3次
元仮想空間装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a computer graphics (CG) technique in which a large number of users (participants) use computer terminals and communicate with each other via a communication line. The present invention relates to a three-dimensional virtual space system that shares a constructed three-dimensional virtual space, in particular, by displaying a self-imposed alteration created in the virtual space based on a face image of an operator who is a participant. The present invention relates to a three-dimensional virtual space participant display method and a three-dimensional virtual space device capable of increasing the degree of recognition of users in a virtual space.

【0002】[0002]

【従来の技術】3次元仮想空間において、その3次元仮
想空間の利用者である操作者を表示するための技術とし
ては、従来、操作者の全身を含むように撮影した映像を
そのまま仮想空間中で表示する方法や、「インタースペ
ース(http://cybersociety.elcs.intsp.or.jp/)」に
おけるアバタ(avatar)のように、人型のCGモデルに操
作者の顔を含む画像を添付して表示する方法がある。
2. Description of the Related Art In a three-dimensional virtual space, as a technique for displaying an operator who is a user of the three-dimensional virtual space, conventionally, an image captured so as to include the whole body of the operator is directly displayed in the virtual space. Attach an image containing the face of the operator to a human-like CG model, such as the method of displaying in, or the avatar in “Interspace (http://cybersociety.elcs.intsp.or.jp/)” There is a way to display.

【0003】また、特定の人物に似せた3次元CGモデ
ルを作成する方法には、米国Vitana Corpo
ration社の「ShapaerGrabber (ht
tp://www.vitana.com/)」に代表される、3次元デジタ
イザを利用する方法がある。
[0003] Further, a method of creating a three-dimensional CG model imitating a specific person is disclosed in US Vitana Corpo.
"ShapaGrabber (ht
tp: //www.vitana.com/) ”, there is a method using a three-dimensional digitizer.

【0004】[0004]

【発明が解決しようとする課題】通信回線を介して複数
の参加者、利用者が3次元仮想空間を共有する3次元仮
想空間システムの応用として、ネットワーク上に開設さ
れるバーチャルモール等が挙げられる。バーチャルモー
ル等のアプリケーションにおいては、商品の購入や金銭
の授受、決済等を行う際に、操作者本人を特定する認証
方法が必要となる。3次元仮想空間システムを用いた場
合に、仮想空間中に表示される操作者の分身となるCG
モデルから本人認証を行うことを考えた時、現在の同様
のシステムの分身は、認証が可能であるほど十分な表現
力を備えていない。
An application of a three-dimensional virtual space system in which a plurality of participants and users share a three-dimensional virtual space via a communication line includes a virtual mall opened on a network. . In an application such as a virtual mall, an authentication method for identifying the operator is required when purchasing a product, giving and receiving money, performing settlement, and the like. When using a three-dimensional virtual space system, a CG that is an alter ego of the operator displayed in the virtual space
When considering identity authentication from the model, the alter ego of the current similar system is not sufficiently expressive to be able to authenticate.

【0005】また、3次元仮想空間システムを用いて単
にコミュニケーションを行う際にも、仮想空間内で操作
者の全身または顔画像を表示するようにした場合には、
仮想空間中での相手との距離が遠いときや、あるいは相
手と向き合っていないときには、多人数の参加者の中か
らコミュニケーションの目的対象となる相手を特定する
のは困難である。
[0005] Further, when simply communicating using the three-dimensional virtual space system, if the whole body or face image of the operator is displayed in the virtual space,
When the distance to the opponent in the virtual space is long, or when the opponent is not facing the opponent, it is difficult to specify the opponent as the communication target from among the large number of participants.

【0006】3次元デジタイザを利用して作成したCG
モデルを仮想空間に表示する手法においては、この方法
は実空間に存在する物体を忠実に仮想空間中の物体(仮
想物体)として生成することを目的としているため、仮
想物体の生成までに時間がかかり、作成した仮想物体の
データ量は通信回線を介して相手に送る用途には適さな
いことが多い。さらに、3次元デジタイザは特殊な装置
を使用するため、一般的なパソコンを利用した3次元仮
想空間表示装置を汎用的に利用する用途には適さない。
CG created using a three-dimensional digitizer
In the method of displaying a model in virtual space, since this method aims to faithfully generate an object existing in real space as an object (virtual object) in virtual space, it takes time to generate a virtual object. Therefore, the data amount of the created virtual object is often not suitable for the purpose of sending it to the other party via the communication line. Further, since the three-dimensional digitizer uses a special device, it is not suitable for general use of a three-dimensional virtual space display device using a general personal computer.

【0007】本発明の目的は、通信システムとして適切
なデータ通信量を保ちながら、3次元仮想空間に表示さ
れる操作者(参加者)の分身から本人を特定する視認性
を格段に向上させることができる3次元仮想空間参加者
表示方法及び装置を提供することにある。
SUMMARY OF THE INVENTION It is an object of the present invention to significantly improve the visibility of specifying an individual from an alternation of an operator (participant) displayed in a three-dimensional virtual space while maintaining an appropriate data communication amount as a communication system. It is an object of the present invention to provide a three-dimensional virtual space participant display method and apparatus.

【0008】[0008]

【課題を解決するための手段】本発明は、正面から撮影
した操作者の顔を含む画像から操作者に似せた3次元C
G顔モデルを作成して、3次元仮想空間の他の利用者の
計算機端末上に表示させることを、汎用的な撮影装置及
び表示装置を使って行うものである。
SUMMARY OF THE INVENTION According to the present invention, there is provided a three-dimensional C-like image resembling an operator from an image including the operator's face taken from the front.
Generating a G face model and displaying it on a computer terminal of another user in the three-dimensional virtual space is performed using a general-purpose imaging device and display device.

【0009】すなわち本発明の3次元仮想空間参加者表
示方法は、3次元CG胴体モデルと操作者の顔を撮影し
た実写顔画像から作成した3次元CG顔モデルとの合成
によって、操作者の分身を仮想空間中に表示する3次元
仮想空間参加者表示方法において、操作者の顔を撮影し
た実写顔画像に基づき、3次元的、立体的な合成顔画像
を作成する段階と、予め用意された顔骨格モデルの中か
ら1つを操作者に選択させる段階と、予め用意された頭
髪モデルの中から1つを操作者に選択させる段階と、を
有する。
That is, the three-dimensional virtual space participant display method of the present invention combines the three-dimensional CG torso model with the three-dimensional CG face model created from the photographed face image of the operator's face. In a three-dimensional virtual space participant display method for displaying in a virtual space, a step of creating a three-dimensional and three-dimensional composite face image based on a real face image of the face of the operator, The method includes a step of causing the operator to select one of the face skeleton models, and a step of causing the operator to select one of the prepared hair models.

【0010】本発明では、このようにして合成顔画像を
作成し、顔骨格モデルと頭髪モデルとを操作者に選択さ
せたら、合成顔画像と、選択された顔骨格モデルを特定
する識別子と、選択された頭髪モデルを特定する識別子
とを、3次元仮想空間を共有する他の利用者に向けて送
信すればよい。これらのデータを受け取った利用者は、
受信した顔骨格モデルの識別子に対応する顔骨格モデル
に顔画像を貼り付け、受信した頭髪モデルの識別子に対
応する頭髪モデルと組み合わせて3次元CG顔モデルを
作成し、さらに3次元CG胴体モデルと組み合わせて表
示することによって、その利用者の表示画面に表示され
る3次元仮想空間内で、データを送信した操作者の3次
元CGモデルを表示させることができる。
According to the present invention, when a synthetic face image is created in this way and the operator selects a face skeleton model and a hair model, the synthesized face image, an identifier for specifying the selected face skeleton model, The identifier specifying the selected hair model may be transmitted to another user sharing the three-dimensional virtual space. Users who receive these data,
The face image is pasted on the face skeleton model corresponding to the received face skeleton model identifier, and a three-dimensional CG face model is created by combining the face image with the hair model corresponding to the received hair model identifier. By displaying in combination, the three-dimensional CG model of the operator who transmitted the data can be displayed in the three-dimensional virtual space displayed on the display screen of the user.

【0011】結局、本発明によれば、パーソナルコンピ
ュータ(パソコン)に代表される汎用的計算機端末に接
続することが可能な市販の廉価なカメラを用いて正面か
ら撮影した操作者の顔画像をもとに、予め用意された頭
髪モデル及び顔の骨格モデルを使って3次元CG顔モデ
ルを作成して表示することが可能になる。これにより、
データ量を抑えた3次元CG顔モデル作成の自動化及び
リアルタイム処理が可能となる。
After all, according to the present invention, a face image of an operator photographed from the front using a commercially available inexpensive camera which can be connected to a general-purpose computer terminal represented by a personal computer (personal computer) is also obtained. At the same time, it becomes possible to create and display a three-dimensional CG face model using a prepared hair model and a face skeleton model. This allows
This enables automation and real-time processing of creating a three-dimensional CG face model with a reduced amount of data.

【0012】[0012]

【発明の実施の形態】次に、本発明の好ましい実施の形
態について、図面を参照して説明する。図1は、本発明
の実施の一形態の3次元仮想空間表示装置の処理機構を
示すブロック図である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, a preferred embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a processing mechanism of a three-dimensional virtual space display device according to one embodiment of the present invention.

【0013】3次元仮想空間表示装置1は、操作者モデ
ル作成部2と参加者表示部3の2つの処理機構に大別さ
れる。
The three-dimensional virtual space display device 1 is roughly divided into two processing mechanisms: an operator model creation unit 2 and a participant display unit 3.

【0014】操作者モデル作成部2は、操作者を撮影し
た画像から操作者に似せた3次元CGモデルを作成し、
その操作者の分身を仮想空間に表示させるために必要な
データを3次元仮想空間の他の参加者が操作する3次元
仮想空間表示装置に通信回線4を介して送信するための
処理部であって、顔画像撮影部11、顔領域抽出部1
2、テンプレート顔画像選択・顔領域補正部13、テン
プレート顔補正部14、合成顔作成部15、モデル選択
部16及びデータ送信部17を備えている。
An operator model creating section 2 creates a three-dimensional CG model imitating the operator from an image of the operator,
A processing unit for transmitting, via the communication line 4, data necessary for displaying the alter ego of the operator in the virtual space to a three-dimensional virtual space display device operated by another participant in the three-dimensional virtual space. The face image photographing section 11 and the face area extracting section 1
2, a template face image selection / face area correction unit 13, a template face correction unit 14, a composite face creation unit 15, a model selection unit 16, and a data transmission unit 17.

【0015】顔画像撮影部11は、操作者の顔画像を撮
影するものであって、ビデオカメラなどから構成されて
いる。顔領域抽出部12は、顔画像撮影部11により撮
影した顔画像から顔領域の画像のみを抽出する。以下の
説明において、顔領域の画像のことを単に顔領域とも称
する。テンプレート顔画像選択・顔領域補正部13は、
予め用意された複数のテンプレート顔画像の中から1個
を選択するとともに、顔領域抽出部12が抽出した顔領
域を真っ直ぐに表示するために(顔が正対した状態で表
示するために)、顔領域を回転させて位置を補正し、さ
らに、選択されたテンプレート顔画像の両目及び口の位
置と顔領域の両目及び口の位置とが一致するように、抽
出した顔領域の画像を縦方向及び/または横方向に伸縮
する。ここでテンプレート顔画像は、顔領域を顔の骨格
モデルに貼り付ける際のベースとなるものであって、正
面だけでなく、右、左、背後等の全周から見た画像であ
り、男性/女性、太った顔/痩せた顔などの特徴に合わ
せて、複数種類が用意されている。
The face image photographing section 11 is for photographing a face image of the operator, and comprises a video camera or the like. The face area extracting unit 12 extracts only the image of the face area from the face image captured by the face image capturing unit 11. In the following description, the image of the face area is simply referred to as a face area. The template face image selection / face area correction unit 13
In order to select one from a plurality of template face images prepared in advance and to display the face area extracted by the face area extraction unit 12 straight (to display the face facing directly), The position of the face area is corrected by rotating the face area, and the image of the extracted face area is vertically oriented so that the positions of the eyes and mouth of the selected template face image coincide with the positions of the eyes and mouth of the face area. And / or expands and contracts laterally. Here, the template face image is a base when the face region is pasted to the skeleton model of the face, and is an image viewed not only from the front but also from the entire circumference such as right, left, and back. Multiple types are prepared according to the characteristics of women, fat faces, and thin faces.

【0016】テンプレート顔補正部14は、顔領域抽出
部12が抽出した顔領域における色の平均値を求めて、
その値とテンプレート顔画像の顔色の平均値が等しくな
るように、テンプレート顔画像の顔色を調整する。合成
顔作成部15は、テンプレート顔画像選択・顔領域補正
部13によって補正された顔領域を、テンプレート顔補
正部14で顔色が補正されたテンプレート顔画像に重ね
ることで、合成顔画像を作成する。
The template face correction unit 14 calculates an average value of colors in the face area extracted by the face area extraction unit 12,
The face color of the template face image is adjusted so that the value becomes equal to the average value of the face color of the template face image. The composite face creation unit 15 creates a composite face image by superimposing the face area corrected by the template face image selection / face area correction unit 13 on the template face image whose face color has been corrected by the template face correction unit 14. .

【0017】モデル選択部16は、操作者に、仮想空間
においてその操作者の分身として表示する3次元CG人
物モデルが使用する顔の骨格モデル及び頭髪モデルを選
択させる。データ送信部17は、通信回線4を介して、
合成顔画像と選択された顔の骨格モデルを特定する識別
子と選択された頭髪モデルを特定する識別子とを他の利
用者の3次元仮想空間表示装置の参加者表示部3に送信
する。
The model selection unit 16 allows the operator to select a skeleton model and a hair model of the face used by the three-dimensional CG human model displayed as the alter ego of the operator in the virtual space. The data transmission unit 17 communicates via the communication line 4
The combined face image, the identifier for specifying the skeleton model of the selected face, and the identifier for specifying the selected hair model are transmitted to the participant display unit 3 of the three-dimensional virtual space display device of another user.

【0018】一方、参加者表示部3は、他の3次元仮想
空間表示装置における操作者モデル作成部2から通信回
線4を介して送信されてきたデータをもとにそれぞれの
操作者の分身となる3次元CGモデルを3次元仮想空間
表示装置1に表示するための処理部であり、データ受信
部18及び他者モデル表示部19を備えている。
On the other hand, the participant display unit 3 is provided with a copy of each operator based on data transmitted via the communication line 4 from the operator model creation unit 2 in another three-dimensional virtual space display device. This is a processing unit for displaying the three-dimensional CG model on the three-dimensional virtual space display device 1, and includes a data receiving unit 18 and another person model display unit 19.

【0019】データ受信部18は、他の利用者の3次元
仮想空間表示装置の操作者モデル作成部2から送信され
たデータ(合成顔画像、顔骨格モデルを特定する識別
子、頭髪モデルを特定する識別子)を受信する。他者モ
デル表示部19は、受信したデータのうち顔骨格モデル
を特定する識別子から、自装置内に格納された該当する
顔骨格モデルを読み出し、受信した頭髪モデルを特定す
る識別子から、自装置内に格納された該当する頭髪モデ
ルを読み出し、これらのモデルと受信した合成顔画像を
組み合わせて3次元CG人物モデルを構成し、画面上に
表示する。
The data receiving unit 18 specifies the data (the synthesized face image, the identifier for specifying the face skeleton model, and the hair model) transmitted from the operator model generating unit 2 of the other user's three-dimensional virtual space display device. Identifier). The other person model display unit 19 reads the corresponding face skeleton model stored in the own device from the identifier for specifying the face skeleton model in the received data, and reads the received face model from the identifier for specifying the hair model. , Read out the corresponding hair model stored in, and combine these models with the received synthetic face image to construct a three-dimensional CG human model and display it on the screen.

【0020】図2は、3次元仮想空間表示装置を用いて
複数の参加者が仮想空間を観察する状況を説明する図で
ある。ここでは参加者が3人(操作者5A〜5C)であ
る場合を例に示す。
FIG. 2 is a diagram for explaining a situation where a plurality of participants observe a virtual space using the three-dimensional virtual space display device. Here, an example is shown in which the number of participants is three (operators 5A to 5C).

【0021】各操作者5A〜5Cがそれぞれ使用する3
次元仮想空間表示装置1A〜1Cは、通信回線4を介し
て相互に接続している。各操作者は、仮想空間に参加す
る前に、自分に似せた3次元CG人物モデルを作成し、
それを表示するために必要なデータを既に仮想空間に参
加している参加者の3次元仮想空間表示装置に送信す
る。また、仮想空間に参加する時点でその仮想空間に既
に参加者が存在すれば、既参加者の3次元仮想空間表示
装置に対し、それぞれの操作者の3次元CG人物モデル
の送信を要求して受信する。それぞれの参加者の分身で
ある人物モデル7A〜7Cは、仮想空間6での空間的位
置関係に基づいて、それぞれの装置に表示される。人物
モデル7A〜7Cは、それぞれ操作者5A〜5Cに対応
する。
3 used by each of the operators 5A to 5C
The three-dimensional virtual space display devices 1A to 1C are mutually connected via a communication line 4. Before participating in the virtual space, each operator creates a three-dimensional CG human model that resembles himself,
Data necessary for displaying the data is transmitted to the three-dimensional virtual space display device of the participant who has already participated in the virtual space. If a participant already exists in the virtual space at the time of joining the virtual space, a request is made to the three-dimensional virtual space display device of the participant to transmit a three-dimensional CG person model of each operator. Receive. The person models 7A to 7C, which are the alter egos of each participant, are displayed on each device based on the spatial positional relationship in the virtual space 6. The person models 7A to 7C correspond to the operators 5A to 5C, respectively.

【0022】このようにして3次元CG人物モデルを交
換することにより、操作者5Aの3次元仮想空間表示装
置1Aの表示画面8Aには、操作者5B,5Cにそれぞ
れ対応する人物モデル(分身)7B,7Cが表示される
ことになる。他の操作者5B,5Cの表示画面8B,8
Cにも、それぞれ、自己を除く参加者(操作者)の人物
モデルが表示されることになる。
By exchanging the three-dimensional CG person model in this manner, the display screen 8A of the three-dimensional virtual space display device 1A of the operator 5A displays the person model (self-body) corresponding to each of the operators 5B and 5C. 7B and 7C are displayed. Display screens 8B, 8 of other operators 5B, 5C
Also in C, the person models of the participants (operators) excluding themselves are displayed.

【0023】図3は、汎用計算機システムとしてのパー
ソナルコンピュータ(パソコン)を利用して構成された
3次元仮想空間表示装置とその周囲の様子を示す図であ
る。パソコンなどを使用した場合、この3次元仮想空間
表示装置は、3次元仮想空間システムの計算機端末(操
作者端末)として機能することになる。
FIG. 3 is a diagram showing a three-dimensional virtual space display device constituted by using a personal computer (personal computer) as a general-purpose computer system and the surroundings. When a personal computer or the like is used, the three-dimensional virtual space display device functions as a computer terminal (operator terminal) of the three-dimensional virtual space system.

【0024】操作者5は、計算機システムの表示装置
(ディスプレイ)21を介して、3次元仮想空間の様子
を観察することができる。また、表示装置21の上に
は、3次元仮想空間に参加する前に操作者の顔画像を撮
影するためのカメラ22が設置されている。さらに、操
作者5がテンプレート顔画像を選択したり、顔の骨格モ
デルや頭髪モデルを選択することができるようにするた
めに、入力装置として、キーボード23及びマウス24
が設けられている。
The operator 5 can observe the state of the three-dimensional virtual space via the display device (display) 21 of the computer system. In addition, a camera 22 for photographing an operator's face image before participating in the three-dimensional virtual space is installed on the display device 21. Further, in order to allow the operator 5 to select a template face image and a face skeleton model or a hair model, a keyboard 23 and a mouse 24 are used as input devices.
Is provided.

【0025】図4は、3次元仮想空間表示装置を構成す
るための計算機システムのシステム構成を示すブロック
図である。
FIG. 4 is a block diagram showing a system configuration of a computer system for configuring a three-dimensional virtual space display device.

【0026】この計算機システムは、操作者に対して仮
想空間を表示するための表示装置21と、操作者を撮影
するためのカメラ22と、入力装置としてのキーボード
23及びマウス24の他に、中央処理装置(CPU)3
1と、プログラムやデータを格納するためのハードディ
スク装置32と、主メモリ33と、通信回線との接続部
となる通信インタフェース34と、磁気テープやCD−
ROM等の記録媒体37を読み取る読み取り装置36と
を備えている。表示装置21、カメラ22、キーボード
23、マウス24、ハードディスク装置32、主メモリ
33、通信インタフェース34及び読み取り装置36
は、いずれも中央処理装置31に接続している。
The computer system includes a display device 21 for displaying a virtual space to the operator, a camera 22 for photographing the operator, a keyboard 23 and a mouse 24 as input devices, and a central device. Processing unit (CPU) 3
1, a hard disk device 32 for storing programs and data, a main memory 33, a communication interface 34 serving as a connection unit for a communication line, a magnetic tape or a CD-ROM.
A reading device 36 for reading a recording medium 37 such as a ROM. Display device 21, camera 22, keyboard 23, mouse 24, hard disk device 32, main memory 33, communication interface 34, and reading device 36
Are connected to the central processing unit 31.

【0027】この計算機は、この実施の形態で説明する
3次元仮想空間参加者表示方法を行うためのプログラム
を格納した記録媒体37を読み取り装置36に装着し、
記録媒体37からプログラムを読み出してハードディス
ク装置32に格納し、ハードディスク装置32に格納さ
れたプログラムを中央処理装置31が実行することによ
り、上述した3次元仮想空間表示装置として機能するこ
とになる。
In this computer, a recording medium 37 storing a program for performing the three-dimensional virtual space participant display method described in this embodiment is mounted on a reading device 36,
The program is read from the recording medium 37, stored in the hard disk device 32, and the central processing unit 31 executes the program stored in the hard disk device 32, thereby functioning as the above-described three-dimensional virtual space display device.

【0028】次に、この実施の形態の3次元仮想空間表
示装置の動作の細部を説明する。
Next, the details of the operation of the three-dimensional virtual space display apparatus of this embodiment will be described.

【0029】図5は、顔領域抽出部12の処理を説明す
る図である。図5(a)に示すように、一般に、操作者の
顔を含むように撮影された原画像41には、操作者の顔
以外にも背景や操作者が着ている衣類が含まれる。撮影
した画像がRGB表色系によるカラー画像であるとし
て、この画像から顔領域のみを抽出するために、画像の
RGB表色系をYIQ表色系に変換し、双方の表色系の
チャンネルの特徴を組み合わせ、しきい値を設けること
によって、肌色と思われる領域のみを抽出する。目、
眉、口などは肌色で表示されないため、この領域には含
まれないので、抽出した肌色領域に内包されている領域
も合せて顔領域として抽出する。図5(b)に示すよう
に、抽出された領域42には顔領域及びその構成部品が
含まれ、頭髪は含まれない。
FIG. 5 is a diagram for explaining the processing of the face area extraction unit 12. As shown in FIG. 5A, generally, the original image 41 captured so as to include the operator's face includes a background and clothing worn by the operator in addition to the operator's face. Assuming that the captured image is a color image based on the RGB color system, in order to extract only the face region from this image, the RGB color system of the image is converted into the YIQ color system, and the channels of both color systems are converted. By combining the features and setting a threshold value, only a region considered to be flesh color is extracted. Eye,
Since the eyebrows, mouth, and the like are not displayed in the skin color and are not included in this area, the area included in the extracted skin color area is also extracted as the face area. As shown in FIG. 5B, the extracted area 42 includes a face area and its components, and does not include hair.

【0030】図6は、テンプレート顔画像選択・顔領域
補正部13の処理を示す図である。まず、操作者に両目
の位置と口の位置を指定させ、それの位置を参考にし
て、抽出した顔領域を回転して両目の高さが等しくなる
ように画像処理を行う。図6(a)はそのような画像処理
を行った後の画像51を示している。
FIG. 6 is a diagram showing the processing of the template face image selection / face area correction unit 13. First, the operator specifies the positions of the eyes and the position of the mouth, and performs image processing so that the heights of the eyes are equal by rotating the extracted face region with reference to the positions. FIG. 6A shows an image 51 after such image processing has been performed.

【0031】一方、操作者は、テンプレート顔画像を選
択する。図6(b)は、テンプレート顔画像52の一例を
示している。テンプレート顔画像52は、図示されるよ
うに、テクスチャ(一様な模様)の画像に、目、眉、
鼻、口などの顔の構成部品を貼り付けた画像であり、3
次元CG顔骨格モデルに貼りつけるためのものである。
テクスチャの画像を含むことにより、テンプレート顔画
像52は、テンプレートテクスチャとも呼ばれる。テン
プレート顔画像52は、顔骨格モデルの頭部の全周に貼
り付けられるため、特殊な縮尺で顔の構成部品が伸縮さ
れているように見える。また、テンプレート顔画像52
は、骨格モデルに貼り付けられた時に、その顔の凹凸に
適するように予め作成されておき、その目及び口の位置
が予め調べられている。そして、抽出された顔領域の画
像51の両目の間隔と両目と口との間隔が、このテンプ
レート顔画像52の両目の間隔53と両目と口の距離5
4とそれぞれ等しくなるように、画像51を縦方向及び
横方向に伸縮し、図6(c)に示すように、変形後の画像
55を作成する。
On the other hand, the operator selects a template face image. FIG. 6B shows an example of the template face image 52. As shown, the template face image 52 includes an image of a texture (a uniform pattern), eyes, eyebrows,
This is an image where facial components such as the nose and mouth are pasted.
This is for pasting to the dimensional CG face skeleton model.
By including a texture image, the template face image 52 is also called a template texture. Since the template face image 52 is attached to the entire periphery of the head of the face skeleton model, it looks as if the constituent components of the face have been stretched at a special scale. Also, the template face image 52
Is previously created so as to be suitable for the unevenness of the face when pasted on the skeleton model, and the positions of the eyes and the mouth are checked in advance. Then, the distance between the eyes and the distance between the eyes and the mouth of the extracted face area image 51 are the distance 53 between the eyes and the distance between the eyes and the mouth 5 of the template face image 52.
The image 51 is expanded and contracted in the vertical and horizontal directions so as to be equal to 4, respectively, and an image 55 after deformation is created as shown in FIG.

【0032】以上が、テンプレート顔画像選択・顔領域
補正部13の処理の細部である。
The details of the processing by the template face image selection / face area correction unit 13 have been described above.

【0033】図6は、合成顔作成部15の処理を示す図
である。合成顔作成部15は、上述したテンプレート顔
画像52と変形後の顔画像55とから合成顔画像を作成
する。まず、顔画像55の明度がテンプレート顔画像5
2の明度の平均値と等しくなるように、顔画像55の明
度を調節する。その後、合成境界を目立たなくするため
に、顔画像55の境界から予め指定した距離だけ勾配を
つけて中心から外方向にテンプレート顔画像52の色を
変化させる。ただし、色を変化させる時、顔画像の境界
の位置によって色が異なると考えられる。例えば、合成
顔画像61において、抽出顔領域境界の額の部分にある
画素62と抽出顔領域境界の頬の部分にある画素64を
比較すると、撮影時に頬は影になりやすく、額は照明が
当たりやすいので、画素62の方が明度が大きいと考え
られる。そこで、境界の位置ごとにその位置の色を参照
して勾配のかけ方を決定するものとする。すなわち、画
素64の位置の色についてRGB表色系で表現した時の
赤、緑、青色成分をそれぞれR(x64,y64),G
(x64,y64),B(x64,y64)、画素65(画像の中心
と画素64を結んだ直線上にありかつ画素64より外側
にある画素)の位置の色についてR(x65,y55),G
(x65,y65),B(x65,y65)で表わすと、画素64と
画素65を結んだ直線上の点(x,y)の赤成分R(x,
y),緑成分G(x,y),青成分B(x,y)が、それぞ
れ、
FIG. 6 is a diagram showing the processing of the composite face creating section 15. The composite face creation unit 15 creates a composite face image from the template face image 52 and the transformed face image 55 described above. First, the brightness of the face image 55 is changed to the template face image 5
The brightness of the face image 55 is adjusted so as to be equal to the average value of the brightness of No. 2. Thereafter, in order to make the synthesized boundary inconspicuous, a gradient is applied to the boundary of the face image 55 by a predetermined distance, and the color of the template face image 52 is changed outward from the center. However, when the color is changed, the color may be different depending on the position of the boundary of the face image. For example, in the synthetic face image 61, when the pixel 62 at the forehead portion of the extracted face area boundary is compared with the pixel 64 at the cheek portion of the extracted face area boundary, the cheek tends to be a shadow at the time of shooting, and the forehead is not illuminated. Since it is easy to hit, it is considered that the brightness of the pixel 62 is higher. Therefore, it is assumed that a method of applying a gradient is determined for each position of the boundary with reference to the color at that position. That is, when the color at the position of the pixel 64 is expressed by the RGB color system, the red, green, and blue components are R (x 64 , y 64 ), G
For the color at the position of (x 64 , y 64 ), B (x 64 , y 64 ), pixel 65 (a pixel on the straight line connecting the center of the image and the pixel 64 and outside the pixel 64), R (x 65, y 55), G
Expressed as (x 65 , y 65 ) and B (x 65 , y 65 ), a red component R (x, y) of a point (x, y) on a straight line connecting the pixel 64 and the pixel 65
y), a green component G (x, y), and a blue component B (x, y)

【0034】[0034]

【数1】 (Equation 1)

【0035】で表されるようにする。線分66は、画素
64と画素65を結ぶものである。画素62と画素63
(画像の中心と画素62を結んだ直線上にありかつ画素
62より外側にある画素)を結んだ直線上の点の色につ
いても同様にして決定する。以上により合成顔画像が作
成される。
## EQU3 ## The line segment 66 connects the pixel 64 and the pixel 65. Pixel 62 and Pixel 63
Similarly, the color of a point on a straight line connecting the center of the image and the pixel 62 and outside the pixel 62 is determined. Thus, a composite face image is created.

【0036】図7は、モデル選択部16が、表示装置を
介して操作者に表示する画面(モデル選択ウインドウ)
71を示している。モデル選択部16は、複数の顔骨格
モデルとそれらの識別子と複数の頭髪モデルとそれらの
識別子を保持している。顔骨格モデルと頭髪モデルは、
いずれも、CGモデルである。操作者は、マウスなどを
使用して顔モデルリスト72から顔骨格モデルを1つ選
択し、頭髪モデルリスト73から頭髪モデルを1つ選択
する。選択したモデルの概略図がそれぞれ顔モデル概略
表示窓74及び頭髪モデル概略表示窓75に表示されて
いる。モデル選択部16は、操作者によって選択された
顔モデルを示す識別子及び選択された頭髪モデルを示す
識別子を出力する。
FIG. 7 shows a screen (model selection window) displayed by the model selection unit 16 to the operator via the display device.
71 is shown. The model selection unit 16 holds a plurality of face skeleton models, their identifiers, a plurality of hair models, and their identifiers. The face skeleton model and hair model
Both are CG models. The operator selects one face skeleton model from the face model list 72 using a mouse or the like, and selects one hair model from the hair model list 73. Schematic diagrams of the selected models are displayed in a face model schematic display window 74 and a hair model schematic display window 75, respectively. The model selection unit 16 outputs an identifier indicating the face model selected by the operator and an identifier indicating the selected hair model.

【0037】以上の処理を経て、この操作者自身を特定
するための識別子と、作成された合成顔画像と、選択さ
れた顔骨格モデルの識別子と、選択された頭髪モデルの
識別子とが、データ送信部17から、仮想空間の他の利
用者が使用する3次元仮想空間表示装置の参加者表示部
3に送信される。
Through the above processing, the identifier for identifying the operator himself, the created composite face image, the identifier of the selected facial skeleton model, and the identifier of the selected hair model are stored in the data. The data is transmitted from the transmission unit 17 to the participant display unit 3 of the three-dimensional virtual space display device used by another user of the virtual space.

【0038】参加者表示部3のデータ受信部18は、他
の3次元仮想空間表示装置のデータ送信部17からデー
タが送られてきた場合、そのデータを受信し、受信した
データを操作者の識別子、顔骨格モデルの識別子、頭髪
モデルの識別子及び合成顔画像に分けて他者モデル表示
部19に渡す。他者モデル表示部19は、この他者モデ
ル表示部19が設けられている計算機システムに予め登
録されている顔骨格モデル及び頭髪モデルの中から、受
信した顔骨格モデル識別子及び頭髪モデル識別子に基づ
いて、表示すべき顔骨格モデル及び頭髪モデルを特定す
る。合成顔画像を顔骨格モデルに貼り付け、さらに頭髪
モデルを適用することにより、3次元CG顔モデルが生
成されることになる。その後、人物モデルの胴体部分な
どの仮想空間に人物を表示するために必要なモデルを読
み出した後、合成顔画像、顔骨格モデル、頭髪モデル等
を組み合わせて、表示中の仮想空間内に表示する。
When data is transmitted from the data transmission unit 17 of another three-dimensional virtual space display device, the data reception unit 18 of the participant display unit 3 receives the data and transmits the received data to the operator. The identifier, the identifier of the face skeleton model, the identifier of the hair model, and the composite face image are divided and passed to the other person model display unit 19. The other person model display unit 19 is based on the received face skeleton model identifier and hair model identifier from the face skeleton model and the hair model registered in advance in the computer system provided with the other person model display unit 19. Then, the face skeleton model and the hair model to be displayed are specified. A three-dimensional CG face model is generated by pasting the synthesized face image on the face skeleton model and further applying the hair model. Then, after reading out a model necessary for displaying a person in a virtual space such as a torso portion of the person model, the combined face image, face skeleton model, hair model, etc. are combined and displayed in the displayed virtual space. .

【0039】[0039]

【発明の効果】以上説明したように本発明は、3次元仮
想空間システムにおいて、3次元CG顔モデルを作成す
るために他の参加者に送信するデータ量を膨大なものと
せず、かつ特殊な装置を必要とせずに、操作者本人に似
せた3次元CG顔モデルを作成することができるように
なるという効果がある。また、仮想空間中において、操
作者の顔画像を元に作成した3次元CG顔モデルを用い
ることで、遠距離、広角度からの操作者の視認性が向上
するという効果がある。
As described above, according to the present invention, in a three-dimensional virtual space system, the amount of data to be transmitted to other participants in order to create a three-dimensional CG face model is not increased, and a special There is an effect that a three-dimensional CG face model that resembles the operator himself can be created without requiring any device. Further, by using a three-dimensional CG face model created based on the face image of the operator in the virtual space, the visibility of the operator from a long distance and a wide angle is improved.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の一形態の3次元仮想空間表示装
置の処理機構を示すブロック図である。
FIG. 1 is a block diagram illustrating a processing mechanism of a three-dimensional virtual space display device according to an embodiment of the present invention.

【図2】3次元仮想空間表示装置を用いて複数の参加者
が仮想空間を観察する状況を説明する図である。
FIG. 2 is a diagram illustrating a situation in which a plurality of participants observe a virtual space using a three-dimensional virtual space display device.

【図3】3次元仮想空間表示装置とその周囲の様子を示
す図である。
FIG. 3 is a diagram showing a three-dimensional virtual space display device and a state around it.

【図4】3次元仮想空間表示装置を構成する計算機シス
テムのシステム構成を示すブロック図である。
FIG. 4 is a block diagram showing a system configuration of a computer system constituting the three-dimensional virtual space display device.

【図5】(a),(b)は、顔領域抽出部の処理を説明
する図である。
FIGS. 5A and 5B are diagrams for explaining the processing of a face area extracting unit;

【図6】(a)〜(c)は、テンプレート顔画像選択・
顔領域補正部の処理を説明する図である。
FIGS. 6A to 6C show template face image selection and
FIG. 9 is a diagram for describing processing of a face area correction unit.

【図7】合成顔作成部の処理を説明する図である。FIG. 7 is a diagram illustrating processing of a synthetic face creating unit.

【図8】モデル選択部が操作者に対して表示する画面の
一例を示す図である。
FIG. 8 is a diagram illustrating an example of a screen displayed by a model selection unit to an operator.

【符号の説明】 1,1A〜1C 3次元仮想空間表示装置 2 操作者モデル作成部 3 参加者表示部 4 通信回線 5,5A〜5C 操作者 6 仮想空間 7A〜7C 人物モデル 8A〜8C 表示画面 11 顔画像撮影部 12 顔領域抽出部 13 テンプレート顔画像選択・顔領域補正部 14 テンプレート顔補正部 15 合成顔作成部 16 モデル選択部 17 データ送信部 18 データ受信部 19 他者モデル表示部 21 表示装置 22 カメラ 23 キーボード 24 マウス 31 中央処理装置(CPU) 32 ハードディスク装置 33 主メモリ 34 通信インタフェース 36 読み取り装置 37 記録媒体 41 操作者の顔を含むように撮影された原画像 42 抽出された領域 51 回転補正された顔領域画像 52 テンプレート顔画像 55 変形後の顔画像 61 合成顔画像 62〜65 画素 71 モデル選択ウインドウ 72 顔モデルリスト 73 頭髪モデルリスト 74 顔モデル概略表示窓 75 頭髪モデル概略表示窓[Description of Signs] 1, 1A to 1C 3D virtual space display device 2 Operator model creation unit 3 Participant display unit 4 Communication line 5, 5A to 5C Operator 6 Virtual space 7A to 7C Person model 8A to 8C Display screen Reference Signs List 11 face image photographing section 12 face area extracting section 13 template face image selecting / face area correcting section 14 template face correcting section 15 synthetic face creating section 16 model selecting section 17 data transmitting section 18 data receiving section 19 other person model displaying section 21 display Apparatus 22 Camera 23 Keyboard 24 Mouse 31 Central processing unit (CPU) 32 Hard disk drive 33 Main memory 34 Communication interface 36 Reading device 37 Recording medium 41 Original image photographed to include operator's face 42 Extracted area 51 Rotation Corrected face area image 52 Template face image 55 Face image after deformation Image 61 Synthetic face image 62 to 65 pixels 71 Model selection window 72 Face model list 73 Hair model list 74 Face model outline display window 75 Hair model outline display window

Claims (13)

【特許請求の範囲】[Claims] 【請求項1】 3次元CG胴体モデルと操作者の顔を撮
影した実写顔画像から作成した3次元CG顔モデルとの
合成によって、前記操作者の分身を仮想空間中に表示す
る3次元仮想空間参加者表示方法において、 操作者の顔を撮影した実写顔画像に基づき、3次元的、
立体的な合成顔画像を作成する段階と、 予め用意された顔骨格モデルの中から1つを前記操作者
に選択させる段階と、 予め用意された頭髪モデルの中から1つを前記操作者に
選択させる段階と、 を有することを特徴とする3次元仮想空間参加者表示方
法。
1. A three-dimensional virtual space that displays an alter ego of the operator in a virtual space by synthesizing a three-dimensional CG body model with a three-dimensional CG face model created from a photographed face image of an operator's face. In the participant display method, three-dimensional,
Creating a three-dimensional synthetic face image; allowing the operator to select one of the prepared face skeleton models; and providing the operator with one of the prepared hair models. Selecting a three-dimensional virtual space participant display method.
【請求項2】 操作者の顔を撮影した実写顔画像に基づ
き、3次元的、立体的な合成顔画像を作成する段階が、 正面から撮影した操作者の実写顔画像から肌色領域を抽
出する段階と、 前記実写顔画像から、前記肌色領域と前記肌色領域に内
包されている領域とを合わせて顔画像として抽出する段
階と、 前記操作者に両目の位置及び口の位置を指定させ、その
位置を参考にして、前記抽出された顔画像における位置
を補正する段階と、 予め用意されたテンプレート顔画像から選択された1個
のテンプレート顔画像中の両目の位置及び口の位置が、
前記補正された顔画像における両目の位置及び口の位置
とそれぞれ一致するように、前記補正された顔画像を縦
方向及び/横方向に伸縮する段階と、 前記選択されたテンプレート顔画像に前記伸縮された顔
画像を重ねて合成顔画像を作成する段階と、を有する請
求項1に記載の3次元仮想空間参加者表示方法。
2. A step of creating a three-dimensional and three-dimensional composite face image based on a photographed face image of the operator's face, extracting a skin color region from the photographed face image of the operator photographed from the front. And extracting the face image from the photographed face image by combining the skin color area and the area included in the skin color area as a face image, and causing the operator to specify the position of both eyes and the position of the mouth, Correcting the position in the extracted face image with reference to the position, the position of both eyes and the position of the mouth in one template face image selected from the template face image prepared in advance,
Extending and contracting the corrected face image vertically and / or horizontally so as to match the position of both eyes and the position of the mouth in the corrected face image, respectively; The method of claim 1, further comprising: creating a composite face image by superimposing the selected face images.
【請求項3】 抽出された顔画像の明度がテンプレート
顔画像の明度の平均値と等しくなるように、前記抽出さ
れた顔画像の明度を調節する段階と、 前記抽出された顔画像の境界から予め指定された距離だ
け勾配を付けて中心から外方向に向かって前記テンプレ
ート顔画像の色を変化させる段階と、 前記抽出された顔画像と前記テンプレート顔画像との境
界の位置ごとに、その位置の色を判別して勾配の付与の
仕方を決定する段階と、をさらに有する請求項2に記載
の3次元仮想空間参加者表示方法。
3. adjusting the brightness of the extracted face image so that the brightness of the extracted face image is equal to the average value of the brightness of the template face image; Changing the color of the template face image outward from the center by applying a gradient by a predetermined distance, and for each position of the boundary between the extracted face image and the template face image, 3. The method of displaying a participant in the three-dimensional virtual space according to claim 2, further comprising: determining a method of applying a gradient by determining the color of the participant.
【請求項4】 選択された顔骨格モデルに合成顔画像を
貼り付け、選択された前記頭髪モデルと組み合わせるこ
とにより、3次元顔モデルを作成する段階をさらに有す
る請求項1乃至3いずれか1項に記載の3次元仮想空間
参加者表示方法。
4. The method according to claim 1, further comprising the step of: pasting a synthetic face image to the selected face skeleton model and combining it with the selected hair model to create a three-dimensional face model. 3. A three-dimensional virtual space participant display method according to item 1.
【請求項5】 複数の参加者がそれぞれ計算機端末を使
用するとともに通信回線を介して通信し、前記計算機端
末上に表示される3次元仮想空間を前記各参加者が共有
する3次元仮想空間システムにおいて、前記各参加者を
表示する3次元仮想空間参加者表示方法において、 前記参加者である操作者に関し、請求項1乃至3のいず
れか1項に記載の3次元仮想空間参加者表示方法を実行
し、 その後、合成顔画像、選択された顔骨格モデルの識別子
及び選択された頭髪モデルの識別子を前記通信回線を介
して他の参加者に送信し、 受信した前記合成顔画像、前記顔骨格モデルの識別子及
び前記頭髪モデルの識別子に基づいて、前記他の参加者
の前記計算機端末上に前記操作者の顔画像を伴った3次
元CG全身モデルを表示することを特徴とする、3次元
仮想空間参加者表示方法。
5. A three-dimensional virtual space system in which a plurality of participants respectively use a computer terminal and communicate via a communication line, and each participant shares a three-dimensional virtual space displayed on the computer terminal. In the three-dimensional virtual space participant display method for displaying each participant, the three-dimensional virtual space participant display method according to any one of claims 1 to 3, which relates to the operator who is the participant. And then transmitting the synthesized face image, the identifier of the selected face skeleton model, and the identifier of the selected hair model to other participants via the communication line, and receiving the synthesized face image, the face skeleton received Displaying a three-dimensional CG whole body model accompanied by the operator's face image on the computer terminal of the other participant based on the model identifier and the hair model identifier. 3D virtual space participant display method.
【請求項6】 3次元CG胴体モデルと操作者の顔を撮
影した実写顔画像から作成した3次元CG顔モデルとの
合成によって、前記操作者の分身を仮想空間中に表示す
るための3次元仮想空間表示装置であって、 前記操作者の顔を撮影した実写顔画像に基づき、3次元
的、立体的な合成顔画像を作成する合成顔画像作成手段
と、 予め用意された顔骨格モデルの中から1つを前記操作者
に選択させ、予め用意された頭髪モデルの中から1つを
前記操作者に選択させるモデル選択部と、 通信回線を介し、前記仮想空間を共有する他の利用者に
対し、前記合成顔画像、選択された前記顔骨格モデルの
識別子及び選択された前記頭髪モデルの識別子を送信す
るデータ送信部と、を有する3次元仮想空間表示装置。
6. A three-dimensional CG body model combined with a three-dimensional CG face model created from a photographed face image of an operator's face to display an alter ego of the operator in a virtual space. A virtual space display device, comprising: a synthetic face image creating means for creating a three-dimensional and three-dimensional synthetic face image based on a real face image of the operator's face, and a face skeleton model prepared in advance. A model selection unit that allows the operator to select one of the hair models from among the prepared hair models, and another user sharing the virtual space via a communication line A data transmission unit for transmitting the composite face image, the identifier of the selected facial skeleton model, and the identifier of the selected hair model.
【請求項7】 通信回線を介して合成顔画像と顔骨格モ
デルの識別子と頭髪モデルの識別子とを受信し、受信し
た顔骨格モデルの識別子に対応する顔骨格モデルに前記
合成顔画像を貼り付け、受信した頭髪モデルの識別子に
対応する頭髪モデルと組み合わせて3次元顔モデルを作
成し表示する参加者表示部をさらに有する請求項6に記
載の3次元仮想空間表示装置。
7. A combined face image, a face skeleton model identifier, and a hair model identifier are received via a communication line, and the combined face image is pasted to a face skeleton model corresponding to the received face skeleton model identifier. 7. The three-dimensional virtual space display apparatus according to claim 6, further comprising a participant display unit for creating and displaying a three-dimensional face model in combination with a hair model corresponding to the received hair model identifier.
【請求項8】 合成顔画像作成手段が、 正面から撮影した操作者の実写顔画像から肌色領域を抽
出し、前記肌色領域と前記肌色領域に内包されている領
域とを合わせて顔画像として抽出する顔領域抽出部と、 前記操作者に、予め用意されたテンプレート顔画像の中
から1つを選択させるとともに、抽出された顔画像にお
ける両目の位置及び口の位置を指定させ、その位置を参
考にして前記抽出された顔画像における位置を補正し、
さらに、前記選択されたテンプレート顔画像中の両目の
位置及び口の位置が、前記補正された顔画像における両
目の位置及び口の位置とそれぞれ一致するように、前記
補正された顔画像を縦方向及び/横方向に伸縮するテン
プレート顔画像選択・顔領域補正部と、 前記選択されたテンプレート顔画像に前記伸縮された顔
画像を重ねて合成顔画像を作成する合成顔作成部と、を
有する請求項6または7に記載の3次元仮想空間表示装
置。
8. A synthetic face image creating means for extracting a skin color region from a photographed face image of an operator photographed from the front, and extracting the skin color region and a region included in the skin color region as a face image. A face region extracting unit that allows the operator to select one of template face images prepared in advance, and specifies the positions of both eyes and the mouth in the extracted face image, and refers to the positions. To correct the position in the extracted face image,
Further, the corrected face image is vertically oriented such that the position of both eyes and the position of the mouth in the selected template face image respectively match the position of both eyes and the position of the mouth in the corrected face image. And / or a template face image selection / face area correction unit that expands / contracts in the horizontal direction, and a composite face creation unit that creates a composite face image by superimposing the contracted face image on the selected template face image. Item 3. The three-dimensional virtual space display device according to item 6 or 7.
【請求項9】 合成顔画像作成手段が、さらに、 抽出された顔画像の明度がテンプレート顔画像の明度の
平均値と等しくなるように、前記抽出された顔画像の明
度を調節し、前記抽出された顔画像の境界から予め指定
された距離だけ勾配を付けて中心から外方向に向かって
前記テンプレート顔画像の色を変化させ、前記抽出され
た顔画像と前記テンプレート顔画像との境界の位置ごと
に、その位置の色を判別して勾配の付与の仕方を決定す
るテンプレート顔補正部を有する請求項8に記載の3次
元仮想空間表示装置。
9. The combined face image creating means further adjusts the brightness of the extracted face image so that the brightness of the extracted face image is equal to the average value of the brightness of the template face image. A gradient of a predetermined distance from the boundary of the extracted face image to change the color of the template face image from the center toward the outside, and the position of the boundary between the extracted face image and the template face image 9. The three-dimensional virtual space display device according to claim 8, further comprising a template face correction unit that determines a color of the position at each position and determines a method of giving a gradient.
【請求項10】 計算機が読み取り可能な記録媒体であ
って、 3次元CG胴体モデルと操作者の顔を撮影した実写顔画
像から作成した3次元CG顔モデルとの合成によって前
記操作者の分身を仮想空間中に表示するために、前記計
算機に、 操作者の顔を撮影した実写顔画像に基づき、3次元的、
立体的な合成顔画像を作成する段階と、 予め用意された顔骨格モデルの中から1つを前記操作者
に選択させる段階と、予め用意された頭髪モデルの中か
ら1つを前記操作者に選択させる段階と、を実行させる
プログラムを格納した記録媒体。
10. A recording medium readable by a computer, comprising: synthesizing a three-dimensional CG body model with a three-dimensional CG face model created from a photographed face image of an operator's face; In order to display the image in the virtual space, the computer generates a three-dimensional image based on a photographed face image of the operator's face.
Creating a three-dimensional synthetic face image; allowing the operator to select one of the prepared face skeleton models; and providing the operator with one of the prepared hair models. A recording medium storing a program for executing the step of selecting.
【請求項11】 操作者の顔を撮影した実写顔画像に
基づき、3次元的、立体的な合成顔画像を作成する段階
が、 正面から撮影した操作者の実写顔画像から肌色領域を抽
出する段階と、 前記実写顔画像から、前記肌色領域と前記肌色領域に内
包されている領域とを合わせて顔画像として抽出する段
階と、 前記操作者に両目の位置及び口の位置を指定させ、その
位置を参考にして、前記抽出された顔画像における位置
を補正する段階と、 予め用意されたテンプレート顔画像から選択された1個
のテンプレート顔画像中の両目の位置及び口の位置が、
前記補正された顔画像における両目の位置及び口の位置
とそれぞれ一致するように、前記補正された顔画像を縦
方向及び/横方向に伸縮する段階と、 前記選択されたテンプレート顔画像に前記伸縮された顔
画像を重ねて合成顔画像を作成する段階と、を有する請
求項10に記載の記録媒体。
11. A step of creating a three-dimensional and three-dimensional composite face image based on a photographed face image of the operator's face, extracting a skin color region from the photographed face image of the operator photographed from the front. And extracting the face image from the photographed face image by combining the skin color area and the area included in the skin color area as a face image, and causing the operator to specify the position of both eyes and the position of the mouth, Correcting the position in the extracted face image with reference to the position, the position of both eyes and the position of the mouth in one template face image selected from the template face image prepared in advance,
Extending and contracting the corrected face image vertically and / or horizontally so as to match the position of both eyes and the position of the mouth in the corrected face image, respectively; 11. The recording medium according to claim 10, further comprising: creating a composite face image by overlapping the selected face images.
【請求項12】 前記プログラムが、前記計算機に、 抽出された顔画像の明度がテンプレート顔画像の明度の
平均値と等しくなるように、前記抽出された顔画像の明
度を調節する段階と、 前記抽出された顔画像の境界から予め指定された距離だ
け勾配を付けて中心から外方向に向かって前記テンプレ
ート顔画像の色を変化させる段階と、 前記抽出された顔画像と前記テンプレート顔画像との境
界の位置ごとに、その位置の色を判別して勾配の付与の
仕方を決定する段階と、をさらに実行させる請求項11
に記載の記録媒体。
12. The program according to claim 12, wherein the program adjusts the brightness of the extracted face image so that the brightness of the extracted face image is equal to the average value of the brightness of the template face image. Changing the color of the template face image outward from the center by applying a gradient by a predetermined distance from the boundary of the extracted face image, and changing the color of the extracted face image and the template face image. Determining for each boundary position the color at that position to determine how to apply the gradient.
A recording medium according to claim 1.
【請求項13】 前記プログラムが、前記計算機に、選
択された顔骨格モデルに合成顔画像を貼り付け、選択さ
れた前記頭髪モデルと組み合わせることにより、3次元
顔モデルを作成する段階をさらに実行させる、請求項1
0乃至12いずれか1項に記載の記録媒体。
13. The program further causes the computer to execute a step of creating a three-dimensional face model by pasting a synthetic face image on a selected face skeleton model and combining the synthesized face image with the selected hair model. , Claim 1
13. The recording medium according to any one of 0 to 12.
JP2000025286A 2000-02-02 2000-02-02 Method for displaying participant in three-dimensional virtual space and three-dimensional virtual space display device Pending JP2001216531A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000025286A JP2001216531A (en) 2000-02-02 2000-02-02 Method for displaying participant in three-dimensional virtual space and three-dimensional virtual space display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000025286A JP2001216531A (en) 2000-02-02 2000-02-02 Method for displaying participant in three-dimensional virtual space and three-dimensional virtual space display device

Publications (1)

Publication Number Publication Date
JP2001216531A true JP2001216531A (en) 2001-08-10

Family

ID=18551164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000025286A Pending JP2001216531A (en) 2000-02-02 2000-02-02 Method for displaying participant in three-dimensional virtual space and three-dimensional virtual space display device

Country Status (1)

Country Link
JP (1) JP2001216531A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532890A (en) * 2007-07-06 2010-10-14 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド Avatar customization apparatus and method
CN102800129A (en) * 2012-06-20 2012-11-28 浙江大学 Hair modeling and portrait editing method based on single image
JP5659228B2 (en) * 2010-06-11 2015-01-28 株式会社アルトロン Character generation system, character generation method and program
CN106960467A (en) * 2017-03-22 2017-07-18 北京太阳花互动科技有限公司 A kind of face reconstructing method and system with bone information
CN111768478A (en) * 2020-07-13 2020-10-13 腾讯科技(深圳)有限公司 Image synthesis method and device, storage medium and electronic equipment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010532890A (en) * 2007-07-06 2010-10-14 ソニー コンピュータ エンタテインメント ヨーロッパ リミテッド Avatar customization apparatus and method
JP5659228B2 (en) * 2010-06-11 2015-01-28 株式会社アルトロン Character generation system, character generation method and program
CN102800129A (en) * 2012-06-20 2012-11-28 浙江大学 Hair modeling and portrait editing method based on single image
US9367940B2 (en) 2012-06-20 2016-06-14 Zhejiang University Method for single-view hair modeling and portrait editing
CN106960467A (en) * 2017-03-22 2017-07-18 北京太阳花互动科技有限公司 A kind of face reconstructing method and system with bone information
CN111768478A (en) * 2020-07-13 2020-10-13 腾讯科技(深圳)有限公司 Image synthesis method and device, storage medium and electronic equipment

Similar Documents

Publication Publication Date Title
US11423556B2 (en) Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional
US10527846B2 (en) Image processing for head mounted display devices
RU2668408C2 (en) Devices, systems and methods of virtualising mirror
AU2021480445A1 (en) Avatar display device, avatar generation device, and program
JP2004145448A (en) Terminal device, server device, and image processing method
WO2005071617A1 (en) Methods and systems for compositing images
CN107274491A (en) A kind of spatial manipulation Virtual Realization method of three-dimensional scenic
CN114821675B (en) Object processing method and system and processor
JP7456034B2 (en) Mixed reality display device and mixed reality display method
JP6563580B1 (en) Communication system and program
JPH10240908A (en) Video composing method
CN114373044A (en) Method, device, computing equipment and storage medium for generating three-dimensional face model
JP6775669B2 (en) Information processing device
US20220358724A1 (en) Information processing device, information processing method, and program
US7239741B2 (en) Image processing device executing image processing on input image and processing method for the same
JP2001216531A (en) Method for displaying participant in three-dimensional virtual space and three-dimensional virtual space display device
JP2012120080A (en) Stereoscopic photography apparatus
JP2007102478A (en) Image processor, image processing method, and semiconductor integrated circuit
JP5894505B2 (en) Image communication system, image generation apparatus, and program
JP6717486B1 (en) Extended virtual space providing system
JP2001092990A (en) Three-dimensional virtual space participant display method, three-dimensional virtual space display device and recording medium stored with three-dimensional virtual space participant display program
TW201629907A (en) System and method for generating three-dimensional facial image and device thereof
JP7044846B2 (en) Information processing equipment
KR102640181B1 (en) Method and system for providing 3d printout production service based on 3d scan booth
JP2024054570A (en) Synthetic video delivery system