JP2000194876A - 仮想空間共有装置 - Google Patents
仮想空間共有装置Info
- Publication number
- JP2000194876A JP2000194876A JP36983798A JP36983798A JP2000194876A JP 2000194876 A JP2000194876 A JP 2000194876A JP 36983798 A JP36983798 A JP 36983798A JP 36983798 A JP36983798 A JP 36983798A JP 2000194876 A JP2000194876 A JP 2000194876A
- Authority
- JP
- Japan
- Prior art keywords
- virtual space
- posture
- facial expression
- whole body
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 仮想空間内のアバタを自分自身の動作によっ
て制御可能であって、より直感的なインタフェースであ
る仮想空間共有装置を提供する。 【解決手段】 サイト１にいる人物の全身姿勢および動
作状態を撮像し、全身の姿勢推定装置１５によってその
姿勢および動作状態を推定し、仮想空間サーバ７が仮想
空間５をコンピュータグラフィックスで表示するととも
に、ＣＧ再現装置６からの各人物に対応したアバタを表
示させ、推定された姿勢および動作で対応のアバタを表
示させ、また顔表情推定装置１６で推定された顔の表情
となるようにアバタを表示させる。
て制御可能であって、より直感的なインタフェースであ
る仮想空間共有装置を提供する。 【解決手段】 サイト１にいる人物の全身姿勢および動
作状態を撮像し、全身の姿勢推定装置１５によってその
姿勢および動作状態を推定し、仮想空間サーバ７が仮想
空間５をコンピュータグラフィックスで表示するととも
に、ＣＧ再現装置６からの各人物に対応したアバタを表
示させ、推定された姿勢および動作で対応のアバタを表
示させ、また顔表情推定装置１６で推定された顔の表情
となるようにアバタを表示させる。
Description
【０００１】
【発明の属する技術分野】この発明は仮想空間共有装置
に関し、特にコンピュータグラフィックスで作成された
仮想空間内で実際の人物の動きに合わせてアバタを表示
できるような仮想空間共有装置に関する。
に関し、特にコンピュータグラフィックスで作成された
仮想空間内で実際の人物の動きに合わせてアバタを表示
できるような仮想空間共有装置に関する。
【０００２】
【従来の技術】コンピュータグラフィックスで３次元空
間を表現し、人物の仮身であるアバタを表示してコミュ
ニケーションシステムを構成する３Ｄチャットが普及し
つつある。３Ｄチャットでは、アバタを通して表情やゼ
スチャー，音声さらに位置情報をリアルタイムで伝達す
ることができるため、より現実に近いコミュニケーショ
ンを提供できる。
間を表現し、人物の仮身であるアバタを表示してコミュ
ニケーションシステムを構成する３Ｄチャットが普及し
つつある。３Ｄチャットでは、アバタを通して表情やゼ
スチャー，音声さらに位置情報をリアルタイムで伝達す
ることができるため、より現実に近いコミュニケーショ
ンを提供できる。
【０００３】このような３Ｄチャットについては、たと
えば「仮想社会におけるインタラクションの再現システ
ム」（VISUAL COMPUTINGグラフィックスとＣＡＤシンポ
ジウム９８第８５頁〜第９０頁）で提案されている。
えば「仮想社会におけるインタラクションの再現システ
ム」（VISUAL COMPUTINGグラフィックスとＣＡＤシンポ
ジウム９８第８５頁〜第９０頁）で提案されている。
【０００４】
【発明が解決しようとする課題】しかしながら、従来の
システムでは、仮想空間内でのアバタの操作はキーボー
ドやマウスで行なっているため、その仮想空間内にあた
かも自分がいるような感覚、すなわち、没入感が乏しい
という問題点があった。
システムでは、仮想空間内でのアバタの操作はキーボー
ドやマウスで行なっているため、その仮想空間内にあた
かも自分がいるような感覚、すなわち、没入感が乏しい
という問題点があった。
【０００５】それゆえに、この発明の主たる目的は、仮
想空間内のアバタを自分自身の動作によって制御可能で
あって、より直感的なインタフェースである仮想空間共
有装置を提供することである。
想空間内のアバタを自分自身の動作によって制御可能で
あって、より直感的なインタフェースである仮想空間共
有装置を提供することである。
【０００６】
【課題を解決するための手段】請求項１に係る発明は、
仮想空間内でそれぞれ離れた場所にいる複数の人物があ
たかも一同に介しているかのようにコミュニケーション
することが可能な仮想空間共有装置であって、それぞれ
の場所にいる人物の全身姿勢および動作状態とその人物
の顔の表情の少なくともいずれか一方を実時間，非接触
で検出する検出手段と、仮想空間と複数の人物のそれぞ
れに対応する人体の仮身であるアバタをコンピュータグ
ラフィックスで表示するとともに、検出された全身姿勢
および動作状態または顔の表情に基づいて対応するアバ
タが動作するように仮想空間内で表示させる表示制御手
段とを備えて構成される。
仮想空間内でそれぞれ離れた場所にいる複数の人物があ
たかも一同に介しているかのようにコミュニケーション
することが可能な仮想空間共有装置であって、それぞれ
の場所にいる人物の全身姿勢および動作状態とその人物
の顔の表情の少なくともいずれか一方を実時間，非接触
で検出する検出手段と、仮想空間と複数の人物のそれぞ
れに対応する人体の仮身であるアバタをコンピュータグ
ラフィックスで表示するとともに、検出された全身姿勢
および動作状態または顔の表情に基づいて対応するアバ
タが動作するように仮想空間内で表示させる表示制御手
段とを備えて構成される。
【０００７】請求項２に係る発明では、請求項１の検出
手段は、人物の全身の姿勢および動作状態を異なる角度
から撮像する複数の全身撮像手段と、その全身撮像出力
に基づいて全身姿勢および動作状態を推定する姿勢推定
手段とを含む。
手段は、人物の全身の姿勢および動作状態を異なる角度
から撮像する複数の全身撮像手段と、その全身撮像出力
に基づいて全身姿勢および動作状態を推定する姿勢推定
手段とを含む。
【０００８】請求項３に係る発明では、請求項１の検出
手段は、人物の顔を撮像する顔撮像手段と、その撮像出
力に基づいて顔の表情を推定する顔表情推定手段とを含
む。
手段は、人物の顔を撮像する顔撮像手段と、その撮像出
力に基づいて顔の表情を推定する顔表情推定手段とを含
む。
【０００９】
【発明の実施の形態】図１はこの発明の一実施形態の全
体の構成を示すブロック図である。この実施形態では、
３つのサイト（場所）１，２，３，４が設置され、さら
に仮想空間５が設けられる。サイト１はユーザ自身が体
全体を動かすとともに顔の表情を変化させて仮想空間内
の対応するアバタの体の動きおよび顔の表情の動作を制
御する。サイト２も同様にして、別のユーザが体全体お
よび顔の表情によって仮想空間内のそれぞれに対応する
アバタの動きを制御し、サイト３ではさらに別のユーザ
が体全体を動かして対応するアバタの動きを制御する。
体の構成を示すブロック図である。この実施形態では、
３つのサイト（場所）１，２，３，４が設置され、さら
に仮想空間５が設けられる。サイト１はユーザ自身が体
全体を動かすとともに顔の表情を変化させて仮想空間内
の対応するアバタの体の動きおよび顔の表情の動作を制
御する。サイト２も同様にして、別のユーザが体全体お
よび顔の表情によって仮想空間内のそれぞれに対応する
アバタの動きを制御し、サイト３ではさらに別のユーザ
が体全体を動かして対応するアバタの動きを制御する。
【００１０】このために、サイト１にはＣＣＤカメラ１
１〜１４と、全身の姿勢推定装置１５と顔表情推定装置
１６とＣＧ再現装置１７とが設けられる。ＣＣＤカメラ
１１〜１３は、ユーザの体全体を正面，側面および立面
から撮像する。ＣＣＤカメラ１１〜１３の画像出力は全
身の姿勢推定装置１５に与えられ、ユーザの全身の姿勢
が推定される。ＣＣＤカメラ１４はユーザの顔を撮像し
て、その撮像出力が顔表情推定装置１６に与えられて顔
の表情が推定される。ＣＧ再現装置１７はユーザの動き
で再現された仮想空間内のキャラクタを表示する。
１〜１４と、全身の姿勢推定装置１５と顔表情推定装置
１６とＣＧ再現装置１７とが設けられる。ＣＣＤカメラ
１１〜１３は、ユーザの体全体を正面，側面および立面
から撮像する。ＣＣＤカメラ１１〜１３の画像出力は全
身の姿勢推定装置１５に与えられ、ユーザの全身の姿勢
が推定される。ＣＣＤカメラ１４はユーザの顔を撮像し
て、その撮像出力が顔表情推定装置１６に与えられて顔
の表情が推定される。ＣＧ再現装置１７はユーザの動き
で再現された仮想空間内のキャラクタを表示する。
【００１１】サイト２は、熱カメラ２１とＣＣＤカメラ
２２と全身の姿勢推定装置２３と顔表情推定装置２４と
ＣＧ再現装置２５とを含む。熱カメラ２１はユーザの発
する熱を感知して熱画像を撮像する赤外線カメラであっ
て、その撮像出力が全身の姿勢推定装置２３に与えられ
てユーザの全身の姿勢あるいは動作状態が推定される。
ＣＣＤカメラ２２と顔表情推定装置２４はサイト１のＣ
ＣＤカメラ１４と顔表情推定装置１６と同様にして顔の
表情を推定し、ＣＧ再現装置２５はサイト２のユーザの
動きである再現された仮想空間内のキャラクタを表示す
る。
２２と全身の姿勢推定装置２３と顔表情推定装置２４と
ＣＧ再現装置２５とを含む。熱カメラ２１はユーザの発
する熱を感知して熱画像を撮像する赤外線カメラであっ
て、その撮像出力が全身の姿勢推定装置２３に与えられ
てユーザの全身の姿勢あるいは動作状態が推定される。
ＣＣＤカメラ２２と顔表情推定装置２４はサイト１のＣ
ＣＤカメラ１４と顔表情推定装置１６と同様にして顔の
表情を推定し、ＣＧ再現装置２５はサイト２のユーザの
動きである再現された仮想空間内のキャラクタを表示す
る。
【００１２】サイト３はＣＣＤカメラ３１〜３５と、全
身の姿勢推定装置３６とＣＧ再現装置３７とから構成さ
れている。ＣＣＤカメラ３１〜３５はユーザの全身を異
なる方向から撮像し、その撮像出力に基づいて全身の姿
勢推定装置３６がユーザの姿勢を推定する。ＣＧ再現装
置３７はサイト３におけるユーザの動きで再現されたキ
ャラクタを表示する。
身の姿勢推定装置３６とＣＧ再現装置３７とから構成さ
れている。ＣＣＤカメラ３１〜３５はユーザの全身を異
なる方向から撮像し、その撮像出力に基づいて全身の姿
勢推定装置３６がユーザの姿勢を推定する。ＣＧ再現装
置３７はサイト３におけるユーザの動きで再現されたキ
ャラクタを表示する。
【００１３】サイト４にはＣＧ再現装置６が設けられ
る。このＣＧ再現装置６は仮想空間内のアバタとなる各
ユーザに対応したキャラクタを仮想空間５内で表示す
る。仮想空間サーバ７は表示装置に仮想空間５を表示す
るとともに、ＣＧ再現装置６で再現されたキャラクタを
仮想空間５内に表示させ、各サイト１〜３で入力された
各ユーザの姿勢情報と顔の表情に基づいて各ユーザに対
応するキャラクタの動作を制御する。
る。このＣＧ再現装置６は仮想空間内のアバタとなる各
ユーザに対応したキャラクタを仮想空間５内で表示す
る。仮想空間サーバ７は表示装置に仮想空間５を表示す
るとともに、ＣＧ再現装置６で再現されたキャラクタを
仮想空間５内に表示させ、各サイト１〜３で入力された
各ユーザの姿勢情報と顔の表情に基づいて各ユーザに対
応するキャラクタの動作を制御する。
【００１４】図２はユーザの動きと各種キャラクタと仮
想空間での表情を示す図である。次に、図１および図２
を参照して、この発明の一実施形態の動作について説明
する。
想空間での表情を示す図である。次に、図１および図２
を参照して、この発明の一実施形態の動作について説明
する。
【００１５】図２（ａ）に示すように、たとえばサイト
１のユーザが全身を動かすと、ＣＣＤカメラ１１〜１３
の画像出力に基づいて全身の姿勢推定装置１５が姿勢を
推定する。また、サイト２では、図２（ｂ）に示すよう
に、ユーザの顔の表情がＣＣＤカメラ２２で撮像され、
その顔画像に基づいて顔表情推定装置２４が顔の表情を
推定する。
１のユーザが全身を動かすと、ＣＣＤカメラ１１〜１３
の画像出力に基づいて全身の姿勢推定装置１５が姿勢を
推定する。また、サイト２では、図２（ｂ）に示すよう
に、ユーザの顔の表情がＣＣＤカメラ２２で撮像され、
その顔画像に基づいて顔表情推定装置２４が顔の表情を
推定する。
【００１６】仮想空間サーバ７は図２（ｃ）に示すよう
に、表示部に仮想空間５を表示するとともに、図２
（ｄ）に示すようにＣＧ再現装置６で再現された各ユー
ザに対応したアバタを表示する。そして、仮想空間サー
バ７はサイト１のユーザの動作の変化に合わせて対応の
アバタの動作を制御し、サイト２のユーザの顔の表情の
変化に合わせて対応のアバタの顔の表情を変化させる。
に、表示部に仮想空間５を表示するとともに、図２
（ｄ）に示すようにＣＧ再現装置６で再現された各ユー
ザに対応したアバタを表示する。そして、仮想空間サー
バ７はサイト１のユーザの動作の変化に合わせて対応の
アバタの動作を制御し、サイト２のユーザの顔の表情の
変化に合わせて対応のアバタの顔の表情を変化させる。
【００１７】したがって、この発明の実施形態によれ
ば、キーボードやマウスなどを用いることなくユーザの
全身の動きや顔の表情に合わせてアバタを表示でき、さ
らに複数のユーザが１つの仮想空間を共有してコミュニ
ケーションを図ることができる。
ば、キーボードやマウスなどを用いることなくユーザの
全身の動きや顔の表情に合わせてアバタを表示でき、さ
らに複数のユーザが１つの仮想空間を共有してコミュニ
ケーションを図ることができる。
【００１８】図３は図１に示した全身の姿勢推定装置の
具体的な動作を示すためのフローチャートである。この
図３に示したフローチャートは、本願出願人が特願平１
０−２８８８９６号において、「多段画像処理により人
物の３次元姿勢推定方法」として既に出願したものであ
り、その動作について簡単に説明する。ステップ（図示
ではＳＰと略称する）ＳＰ１において、３台のＣＣＤカ
メラ１１〜１３によってユーザの正面像と側面像と立面
像とが撮像され、それぞれの画像出力がクロマキー背景
分離装置によって背景画像が分離され、ステップＳＰ２
においてしきい値処理によりシルエット画像が抽出され
る。なお、シルエット画像は、図１の熱カメラ２１の撮
像出力の熱画像をしきい値処理して人物に対応する領域
を抽出してシルエット画像とすることもできる。
具体的な動作を示すためのフローチャートである。この
図３に示したフローチャートは、本願出願人が特願平１
０−２８８８９６号において、「多段画像処理により人
物の３次元姿勢推定方法」として既に出願したものであ
り、その動作について簡単に説明する。ステップ（図示
ではＳＰと略称する）ＳＰ１において、３台のＣＣＤカ
メラ１１〜１３によってユーザの正面像と側面像と立面
像とが撮像され、それぞれの画像出力がクロマキー背景
分離装置によって背景画像が分離され、ステップＳＰ２
においてしきい値処理によりシルエット画像が抽出され
る。なお、シルエット画像は、図１の熱カメラ２１の撮
像出力の熱画像をしきい値処理して人物に対応する領域
を抽出してシルエット画像とすることもできる。
【００１９】ステップＳＰ３において、シルエット画像
から身体重心を求めるために距離変換が施され、重心が
検出される。ステップＳＰ４において上半身主軸の検出
が行なわれる。距離変換画像のうち、身体重心の水平位
置よりも上方の画像に対して、腕領域の除去処理のため
前フレームの上半身主軸を対称軸としたガウス分布を距
離位置に乗じると、得られた画像の領域は、胴体部と頭
部にほぼ集中し、上半身距離画像の重心を求めることが
できる。
から身体重心を求めるために距離変換が施され、重心が
検出される。ステップＳＰ４において上半身主軸の検出
が行なわれる。距離変換画像のうち、身体重心の水平位
置よりも上方の画像に対して、腕領域の除去処理のため
前フレームの上半身主軸を対称軸としたガウス分布を距
離位置に乗じると、得られた画像の領域は、胴体部と頭
部にほぼ集中し、上半身距離画像の重心を求めることが
できる。
【００２０】次に、正面，側面，立面の特徴点の検出が
行なわれる。すなわち、ステップＳＰ５において、輪郭
形状が獲得され、シルエット画像において身体重心から
ラスタ走査し、最初に発見された輪郭（境界）画素を開
始点として反時計回りに境界線の追跡が行なわれる。境
界（輪郭）線上で「１」画素、それ以外で「０」画素と
なる２値画像を輪郭画像と呼ぶ。
行なわれる。すなわち、ステップＳＰ５において、輪郭
形状が獲得され、シルエット画像において身体重心から
ラスタ走査し、最初に発見された輪郭（境界）画素を開
始点として反時計回りに境界線の追跡が行なわれる。境
界（輪郭）線上で「１」画素、それ以外で「０」画素と
なる２値画像を輪郭画像と呼ぶ。
【００２１】ステップＳＰ６において足先点の検出が行
なわれる。身体重心の算出に用いた距離変換画像の極大
値を求めることで骨格画像を作成し、下半身（身体重心
の垂直位置より下方）かつ左（右）半身（身体重心の水
平位置を中心として左あるいは右側）に存在する骨格の
端点の中から「身体重心からの水平偏差が最大」の条件
を満たす端点を足先点として選ぶ。
なわれる。身体重心の算出に用いた距離変換画像の極大
値を求めることで骨格画像を作成し、下半身（身体重心
の垂直位置より下方）かつ左（右）半身（身体重心の水
平位置を中心として左あるいは右側）に存在する骨格の
端点の中から「身体重心からの水平偏差が最大」の条件
を満たす端点を足先点として選ぶ。
【００２２】ステップＳＰ７において手先点の検出が行
なわれる。輪郭上で仮頭頂から足先までに相当する輪郭
に含まれる画素数をｌh ：ｍh ：ｎh の比率に分割し
て、中央部分に含まれる輪郭点を手先点の候補区間とす
る。なお、ｌn ，ｈ，ｎh は経験的に求めた定数であ
る。
なわれる。輪郭上で仮頭頂から足先までに相当する輪郭
に含まれる画素数をｌh ：ｍh ：ｎh の比率に分割し
て、中央部分に含まれる輪郭点を手先点の候補区間とす
る。なお、ｌn ，ｈ，ｎh は経験的に求めた定数であ
る。
【００２３】ステップＳＰ８において頭頂点の検出が行
なわれる。輪郭上で仮頭頂から手先に相当する輪郭の画
素数をｌp ：ｍp ：ｎp の比率に分割して、中央部分に
含まれる輪郭点を手先点の候補とする。そして、上半身
主軸までの距離が最短である点を首位置として、左右の
首位置に挟まれている輪郭の二等分を頭頂点とする。
なわれる。輪郭上で仮頭頂から手先に相当する輪郭の画
素数をｌp ：ｍp ：ｎp の比率に分割して、中央部分に
含まれる輪郭点を手先点の候補とする。そして、上半身
主軸までの距離が最短である点を首位置として、左右の
首位置に挟まれている輪郭の二等分を頭頂点とする。
【００２４】さらに、遺伝的アルゴリズムによって肘と
膝の位置が推定される。遺伝的アルゴリズムでは対象問
題の下位候補は遺伝子型として染色体で１次元的に表現
される。そして、染色体の初期集団を発生させ、評価関
数に応じた選択淘汰，交差，突然変異という遺伝的走査
を行ないながら、下位の集団を走査対象として並列的に
探索を進めていく。そして、ステップＳＰ９で肘位置を
推定して、ステップＳＰ１０で膝位置を推定する。この
ようにして正面特徴点と側面特徴点と立面特徴点が検出
されると、それらの特徴点群の三角測量を行なうステッ
プＳＰ１１において特徴点群の３次元位置をもった姿勢
と推定される。
膝の位置が推定される。遺伝的アルゴリズムでは対象問
題の下位候補は遺伝子型として染色体で１次元的に表現
される。そして、染色体の初期集団を発生させ、評価関
数に応じた選択淘汰，交差，突然変異という遺伝的走査
を行ないながら、下位の集団を走査対象として並列的に
探索を進めていく。そして、ステップＳＰ９で肘位置を
推定して、ステップＳＰ１０で膝位置を推定する。この
ようにして正面特徴点と側面特徴点と立面特徴点が検出
されると、それらの特徴点群の三角測量を行なうステッ
プＳＰ１１において特徴点群の３次元位置をもった姿勢
と推定される。
【００２５】図４は顔表情推定装置の具体例を示すブロ
ック図である。顔表情推定装置１６は特徴点特定部１６
１と周波数領域変換部１６２と表情再現部１６３とから
構成されている。特徴点抽出部１６１は、ＣＣＤカメラ
１４で撮像された顔画像から輝度情報による１次元テン
プレートマッチングにより目の位置を特定し、両目の位
置から口の位置を推定する。その後、予め学習された被
検者の肌の色情報によって入力画像を２値変換して、そ
の２値変換を用いて顔位置を特定し、入力画像の中心に
顔の中心が合致するようにＣＣＤカメラ１４にフィード
バックする。
ック図である。顔表情推定装置１６は特徴点特定部１６
１と周波数領域変換部１６２と表情再現部１６３とから
構成されている。特徴点抽出部１６１は、ＣＣＤカメラ
１４で撮像された顔画像から輝度情報による１次元テン
プレートマッチングにより目の位置を特定し、両目の位
置から口の位置を推定する。その後、予め学習された被
検者の肌の色情報によって入力画像を２値変換して、そ
の２値変換を用いて顔位置を特定し、入力画像の中心に
顔の中心が合致するようにＣＣＤカメラ１４にフィード
バックする。
【００２６】周波数領域変換部１６２では、表情変換を
捉えるために重要な領域に対してＤＣＴ（２次元離散コ
サイン変換）を行ない、無表情検出時からの空間周波数
成分変化を求める。そして、表情再現部１６３では、予
め遺伝的アルゴリズム（ＧＡ）によって学習されたパラ
メータを用いて、周波数領域変換部１６２で得られたデ
ータを３次元顔モデルの変形に変換する。このようにし
て、顔の表情が推定される。
捉えるために重要な領域に対してＤＣＴ（２次元離散コ
サイン変換）を行ない、無表情検出時からの空間周波数
成分変化を求める。そして、表情再現部１６３では、予
め遺伝的アルゴリズム（ＧＡ）によって学習されたパラ
メータを用いて、周波数領域変換部１６２で得られたデ
ータを３次元顔モデルの変形に変換する。このようにし
て、顔の表情が推定される。
【００２７】
【発明の効果】以上のように、この発明によれば、別々
の場所にいる人物の全身姿勢および動作状態とその人物
の顔の表情の少なくともいずれかを実時間，非接触で検
出し、複数の人物のそれぞれに対応する人体の仮身であ
るアバタを仮想空間内でコンピュータグラフィックスで
表示し、検出された全身姿勢および動作状態または顔の
表情に基づいて対応するアバタが動作するように表示す
るようにしたので、別々の場所にいる人物があたかも一
同に介しているかのようにコミュニケーションをするこ
とが可能となり、より没入感の高い仮想環境を構成する
ことができ、通信会議システムやチャットなどの新しい
インフラとして応用が可能となる。
の場所にいる人物の全身姿勢および動作状態とその人物
の顔の表情の少なくともいずれかを実時間，非接触で検
出し、複数の人物のそれぞれに対応する人体の仮身であ
るアバタを仮想空間内でコンピュータグラフィックスで
表示し、検出された全身姿勢および動作状態または顔の
表情に基づいて対応するアバタが動作するように表示す
るようにしたので、別々の場所にいる人物があたかも一
同に介しているかのようにコミュニケーションをするこ
とが可能となり、より没入感の高い仮想環境を構成する
ことができ、通信会議システムやチャットなどの新しい
インフラとして応用が可能となる。
【図１】この発明の一実施形態の全体の構成を示すブロ
ック図である。
ック図である。
【図２】この発明の一実施形態の動作を説明するための
図である。
図である。
【図３】全身の姿勢推定装置の動作を説明するためのフ
ローチャートである。
ローチャートである。
【図４】顔表情推定装置の具体的なブロック図である。
１，２，３，４ サイト ５ 仮想空間 ６，１７，２５，３７ ＣＧ再現装置 ７ 仮想空間サーバ １１〜１４，２２，３１〜３５ ＣＣＤカメラ １５，２３，３６ 全身の姿勢推定装置 １６，２４ 顔表情推定装置 ２１ 熱カメラ １６１ 特徴点特定部 １６２ 周波数領域変換部 １６３ 表情再現部
【手続補正書】
【提出日】平成１１年１０月２９日（１９９９．１０．
２９）
２９）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正内容】
【０００６】
【課題を解決するための手段】請求項１に係る発明は、
仮想空間内でそれぞれ離れた場所にいる複数の人物があ
たかも一堂に会しているかのようにコミュニケーション
することが可能な仮想空間共有装置であって、それぞれ
の実空間の場所にいる人物の全身姿勢および動作状態と
その人物の顔の表情の少なくともいずれか一方を実時
間，非接触で検出する検出手段と、仮想空間と複数の人
物のそれぞれに対応する人体の仮身であるアバタをコン
ピュータグラフィックスで生成するアバタ生成手段と、
検出された全身姿勢および動作状態または顔の表情に基
づいて、アバタ生成手段によって生成された対応するア
バタが動作するように仮想空間内で表示させる表示制御
手段とを備えて構成される。
仮想空間内でそれぞれ離れた場所にいる複数の人物があ
たかも一堂に会しているかのようにコミュニケーション
することが可能な仮想空間共有装置であって、それぞれ
の実空間の場所にいる人物の全身姿勢および動作状態と
その人物の顔の表情の少なくともいずれか一方を実時
間，非接触で検出する検出手段と、仮想空間と複数の人
物のそれぞれに対応する人体の仮身であるアバタをコン
ピュータグラフィックスで生成するアバタ生成手段と、
検出された全身姿勢および動作状態または顔の表情に基
づいて、アバタ生成手段によって生成された対応するア
バタが動作するように仮想空間内で表示させる表示制御
手段とを備えて構成される。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 大谷 淳 京都府相楽郡精華町大字乾谷小字三平谷５ 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 Ｆターム(参考） 5B050 AA10 BA04 BA07 BA08 BA09 BA10 BA12 CA07 DA05 DA07 DA10 EA03 EA05 EA06 EA09 EA19 EA22 EA24 EA27 EA28
Claims (3)
- 【請求項１】 仮想空間内でそれぞれ離れた場所にいる
複数の人物があたかも一同に介しているかのようにコミ
ュニケーションすることが可能な仮想空間共有装置であ
って、 それぞれの場所にいる人物の全身姿勢および動作状態と
その人物の顔の表情の少なくともいずれか一方を実時
間，非接触で検出する検出手段、および仮想空間と前記
複数の人物のそれぞれに対応する人体の仮身であるアバ
タをコンピュータグラフィックスで表示するとともに、
前記検出手段によって検出された全身姿勢および動作状
態または顔の表情に基づいて、対応するアバタが動作す
るように前記仮想空間内で表示させる表示制御手段を備
えた、仮想空間共有装置。 - 【請求項２】 前記検出手段は、 前記人物の全身の姿勢および動作状態を異なる角度から
撮像する複数の全身撮像手段と、 前記複数の全身撮像手段の出力に基づいて全身姿勢およ
び動作状態を推定する姿勢推定手段とを含む、請求項１
に記載の仮想空間共有装置。 - 【請求項３】 前記検出手段は、 前記人物の顔を撮像する顔撮像手段と、 前記顔撮像手段の出力に基づいて顔の表情を推定する顔
表情推定手段とを含む、請求項１に記載の仮想空間共有
装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36983798A JP2000194876A (ja) | 1998-12-25 | 1998-12-25 | 仮想空間共有装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP36983798A JP2000194876A (ja) | 1998-12-25 | 1998-12-25 | 仮想空間共有装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000194876A true JP2000194876A (ja) | 2000-07-14 |
Family
ID=18495439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36983798A Pending JP2000194876A (ja) | 1998-12-25 | 1998-12-25 | 仮想空間共有装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000194876A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006157959A (ja) * | 2003-03-11 | 2006-06-15 | Japan Science & Technology Agency | 共存在空間コミュニケーションシステム |
| JP2010257461A (ja) * | 2009-04-26 | 2010-11-11 | Ailive Inc | ネットワークゲーム用の共有ゲーム空間を創出する方法およびシステム |
| JP2013542505A (ja) * | 2010-09-29 | 2013-11-21 | アルカテル−ルーセント | 画像内のコンテンツの検閲処理を行うための方法および装置 |
| CN104392241A (zh) * | 2014-11-05 | 2015-03-04 | 电子科技大学 | 一种基于混合回归的头部姿态估计方法 |
| JP2015133065A (ja) * | 2014-01-15 | 2015-07-23 | キヤノン株式会社 | 画像認識装置、画像認識方法およびプログラム |
| US9298257B2 (en) | 2010-12-01 | 2016-03-29 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling avatar using expression control point |
| WO2019116689A1 (ja) * | 2017-12-15 | 2019-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2019179502A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社 ディー・エヌ・エー | 動画を作成するためのシステム、方法、及びプログラム |
| JP2019204244A (ja) * | 2018-05-22 | 2019-11-28 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
| JP2020093113A (ja) * | 2020-02-28 | 2020-06-18 | 株式会社トプコン | 眼科検査装置 |
| JP2021111380A (ja) * | 2020-01-03 | 2021-08-02 | ネイバー コーポレーションNAVER Corporation | 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法、コンピュータシステムおよび推論モデルを構築する方法 |
-
1998
- 1998-12-25 JP JP36983798A patent/JP2000194876A/ja active Pending
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4557227B2 (ja) * | 2003-03-11 | 2010-10-06 | 独立行政法人科学技術振興機構 | 共存在空間コミュニケーションシステム |
| JP2006157959A (ja) * | 2003-03-11 | 2006-06-15 | Japan Science & Technology Agency | 共存在空間コミュニケーションシステム |
| JP2010257461A (ja) * | 2009-04-26 | 2010-11-11 | Ailive Inc | ネットワークゲーム用の共有ゲーム空間を創出する方法およびシステム |
| JP2013542505A (ja) * | 2010-09-29 | 2013-11-21 | アルカテル−ルーセント | 画像内のコンテンツの検閲処理を行うための方法および装置 |
| US9298257B2 (en) | 2010-12-01 | 2016-03-29 | Samsung Electronics Co., Ltd. | Apparatus and method for controlling avatar using expression control point |
| JP2015133065A (ja) * | 2014-01-15 | 2015-07-23 | キヤノン株式会社 | 画像認識装置、画像認識方法およびプログラム |
| CN104392241A (zh) * | 2014-11-05 | 2015-03-04 | 电子科技大学 | 一种基于混合回归的头部姿态估计方法 |
| US11514604B2 (en) | 2017-12-15 | 2022-11-29 | Sony Corporation | Information processing device and information processing method |
| WO2019116689A1 (ja) * | 2017-12-15 | 2019-06-20 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2019179502A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社 ディー・エヌ・エー | 動画を作成するためのシステム、方法、及びプログラム |
| JP2022171661A (ja) * | 2018-03-30 | 2022-11-11 | 株式会社 ディー・エヌ・エー | 動画を作成するためのシステム、方法、及びプログラム |
| JP2019204244A (ja) * | 2018-05-22 | 2019-11-28 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
| JP7228338B2 (ja) | 2018-05-22 | 2023-02-24 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
| JP2021111380A (ja) * | 2020-01-03 | 2021-08-02 | ネイバー コーポレーションNAVER Corporation | 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法、コンピュータシステムおよび推論モデルを構築する方法 |
| JP7178396B2 (ja) | 2020-01-03 | 2022-11-25 | ネイバー コーポレーション | 入力映像に含まれた客体の３次元ポーズの推定のためのデータを生成する方法およびコンピュータシステム |
| US11610331B2 (en) | 2020-01-03 | 2023-03-21 | Line Corporation | Method and apparatus for generating data for estimating three-dimensional (3D) pose of object included in input image, and prediction model for estimating 3D pose of object |
| JP2020093113A (ja) * | 2020-02-28 | 2020-06-18 | 株式会社トプコン | 眼科検査装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210177124A1 (en) | Information processing apparatus, information processing method, and computer-readable storage medium | |
| KR102069964B1 (ko) | 이미지 및 뎁스 데이터를 사용하여 3차원(3d) 인간 얼굴 모델을 발생시키는 가상 현실 기반 장치 및 방법 | |
| US11736756B2 (en) | Producing realistic body movement using body images | |
| US9369638B2 (en) | Methods for extracting objects from digital images and for performing color change on the object | |
| US8982110B2 (en) | Method for image transformation, augmented reality, and teleperence | |
| US8970569B2 (en) | Devices, systems and methods of virtualizing a mirror | |
| US8976160B2 (en) | User interface and authentication for a virtual mirror | |
| CN110609617B (zh) | 虚拟镜子的装置、系统和方法 | |
| CN107484428B (zh) | 用于显示对象的方法 | |
| EP3912085A1 (en) | Systems and methods for face reenactment | |
| JP2019510297A (ja) | ユーザの真実の人体モデルへの仮想的な試着 | |
| KR101794731B1 (ko) | 2차원 캐릭터 그림데이터를 애니메이션이 가능한 3차원 모델로 변형하는 방법 및 장치 | |
| JP2010507854A (ja) | ビデオイメージシーケンスを仮想シミュレーションする方法及び装置 | |
| KR102148151B1 (ko) | 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅 | |
| JP2000194876A (ja) | 仮想空間共有装置 | |
| JPH10240908A (ja) | 映像合成方法 | |
| JP2000268161A (ja) | 実時間表情検出装置 | |
| KR101447958B1 (ko) | 신체 부분 검출 방법 및 장치 | |
| Ekmen et al. | From 2D to 3D real-time expression transfer for facial animation | |
| JP2005339363A (ja) | 人体パーツ自動分割装置及び人体パーツ自動分割方法 | |
| JPH11175765A (ja) | ３次元モデル作成方法、３次元モデル作成装置及び記憶媒体 | |
| WO2020183598A1 (ja) | 学習データ生成装置、学習データ生成方法および学習データ生成プログラム | |
| JP7200439B1 (ja) | アバター表示装置、アバター生成装置及びプログラム | |
| JP7504968B2 (ja) | アバター表示装置、アバター生成装置及びプログラム | |
| JP2003141563A (ja) | 顔３次元コンピュータグラフィック生成方法、そのプログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20000725 |