JP2021182175A - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

情報処理装置および情報処理方法、並びにプログラム Download PDF

Info

Publication number
JP2021182175A
JP2021182175A JP2018151787A JP2018151787A JP2021182175A JP 2021182175 A JP2021182175 A JP 2021182175A JP 2018151787 A JP2018151787 A JP 2018151787A JP 2018151787 A JP2018151787 A JP 2018151787A JP 2021182175 A JP2021182175 A JP 2021182175A
Authority
JP
Japan
Prior art keywords
texture
motion
user
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018151787A
Other languages
English (en)
Inventor
良平 岡田
Ryohei Okada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2018151787A priority Critical patent/JP2021182175A/ja
Priority to CN201980051860.9A priority patent/CN112534478B/zh
Priority to PCT/JP2019/029364 priority patent/WO2020031741A1/ja
Priority to US17/250,577 priority patent/US11989892B2/en
Publication of JP2021182175A publication Critical patent/JP2021182175A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】より効率良く高品質なテクスチャを取得する。【解決手段】モーション生成部は、ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、テクスチャが未取得の領域を撮像するためのモーションを生成する。そして、ナビゲーション実行部は、モーション生成部により生成されたモーションに応じた動作をユーザに実行させるナビゲーションを行う。本技術は、例えば、３Ｄモデル生成処理を行う情報処理装置に適用できる。【選択図】図５

Description

本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、より効率良く高品質なテクスチャを取得することができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。
近年、人物の立体的な形状をスキャンして、その人物の３Ｄモデルを生成するための様々な技術が提案され、実用化されている。例えば、３Ｄモデルは、三次元形状を三角形や四角形などの多角形の集合で表すメッシュと、三次元形状の表面の色を表す画像からなるテクスチャとにより構成される。
従来、テクスチャを取得する手法として、人物を取り囲むように１００台以上の撮像装置を設置し、それらの撮像装置を同期させて人物を撮像することで、テクスチャを取得するシステムが利用されている。しかしながら、このようなシステムではコストが膨大なものとなる。
また、ターンテーブルに乗って回転する人物を、１台の撮像装置で撮像することで、テクスチャを取得するシステムが利用されている。しかしながら、このようなシステムでは、人物は数分程度、静止状態を維持する必要があった。
例えば、特許文献１には、マルチビューステレオにより高密度アバターメッシュを生成し、マルチビューテクスチャ合成を適用することで、３Ｄ顔モデルに対応付けられるテクスチャ画像を生成する技術が開示されている。
特表２０１４−５２５１０８号公報
ところで、従来、テクスチャを取得する際に、テクスチャを取得することができない領域（以下、オクルージョン領域と称する）が発生してしまい、人物の表面の全領域をカバーするようなテクスチャを取得することが困難であった。一方で、オクルージョン領域の発生を抑制してカバー率が高い高品質なテクスチャを取得するためには、オクルージョン領域の撮像に特化したような特別な動きを人物に行わせる必要があり、効率良くテクスチャを取得することは困難であった。
本開示は、このような状況に鑑みてなされたものであり、より効率良く高品質なテクスチャを取得することができるようにするものである。
本開示の一側面の情報処理装置は、ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、前記テクスチャが未取得の領域を撮像するためのモーションを生成するモーション生成部と、前記モーション生成部により生成されたモーションに応じた動作を前記ユーザに実行させるナビゲーションを行うナビゲーション実行部とを備える。
本開示の一側面の情報処理方法またはプログラムは、ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、前記テクスチャが未取得の領域を撮像するためのモーションを生成することと、生成されたモーションに応じた動作を前記ユーザに実行させるナビゲーションを行うこととを含む。
本開示の一側面においては、ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、テクスチャが未取得の領域を撮像するためのモーションが生成され、そのモーションに応じた動作をユーザに実行させるナビゲーションが行われる。
本開示の一側面によれば、より効率良く高品質なテクスチャを取得することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
３Ｄ画像システムの第１の構成例を示す図である。 ３Ｄ画像システムの第２の構成例を示す図である。 ユーザの３Ｄモデルのレンダリング結果の一例を示す図である。 テクスチャに発生したオクルージョンの一例を示す図である。 情報処理装置の一実施の形態の構成例を示すブロック図である。 ３Ｄモデル生成処理を説明するフローチャートである。 テクスチャが適切に取得されたか否かを判定する判定条件について説明する図である。 センシング装置のＲＧＢカメラの主軸ＶＤとポリゴンの法線ＳＮが成す角度θについて説明する図である。 テクスチャにブラーが残るモーションの一例を示す図である。 側面のテクスチャを確実に取得することができるモーションの一例を示す図である。 足の裏などのテクスチャを確実に取得することができるモーションの一例を示す図である。 頭頂部や腋の下などのテクスチャを確実に取得することができるモーションの一例を示す図である。 頭頂部や腋の下などのテクスチャを確実に取得することができるモーションの一例を示す図である。 背面のテクスチャを確実に取得することができるモーションの一例を示す図である。 全周のテクスチャを確実に取得することができるモーションの一例を示す図である。 カバレッジが高くテクスチャを取得することができるモーションの一例を示す図である。 適切なテクスチャ取得が可能なタイミングについて説明する図である。 テクスチャ取得状況可視化マップの一例を示す図である。 初心者向けのモーションの一例を示す図である。 経験者向けのモーションの一例を示す図である。 最適な立ち位置、向き、動きの速さの提示について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜情報処理システムの構成例＞
図１は、３Ｄ画像システムの第１の構成例を示す図である。
図１に示すように、３Ｄ画像システム１１は、センシング装置１２、表示装置１３、プロジェクタ１４、および情報処理装置１５を備えて構成される。
センシング装置１２は、カラー画像を撮像可能なＲＧＢカメラ、および、デプス情報がマッピングされたデプス画像を取得可能なデプスカメラを有して構成される。そして、センシング装置１２は、表示装置１３の正面側に居るユーザをセンシングの対象としてカラー画像を撮像するとともに、ユーザに対するデプスを表すデプス画像を取得し、情報処理装置１５に供給する。
表示装置１３は、情報処理装置１５による制御に従って、例えば、ユーザの３ＤモデルをレンダリングしたＣＧ（Computer Graphics）画像を表示する。
プロジェクタ１４は、情報処理装置１５による制御に従って、例えば、センシング装置１２がセンシングを行うことが可能な範囲にユーザを誘導するための誘導画像（例えば、後述する図２１の矢印）を、床面などに投影する。なお、表示装置１３を使用するのに替えて、例えば、プロジェクタ１４が、ユーザの３ＤモデルをレンダリングしたＣＧ画像を壁面やスクリーンなどに投影するような構成としてもよい。
情報処理装置１５は、例えば、３Ｄグラフィック機能を備えたパーソナルコンピュータである。そして、情報処理装置１５は、センシング装置１２から供給されるカラー画像およびデプス画像に基づいて、ユーザの３Ｄモデルを生成し、その３ＤモデルがレンダリングされたＣＧ画像を表示装置１３に表示させる。なお、情報処理装置１５の詳細な構成については、図５を参照して後述する。
このように構成される３Ｄ画像システム１１では、ユーザは、表示装置１３に表示されるＣＧ画像を見ながら、そのＣＧ画像を利用したナビゲーションに従って、３Ｄモデルを生成することができる。
図２は、３Ｄ画像システムの第２の構成例を示す図である。なお、図２に示す３Ｄ画像システム１１Ａの構成のうち、図１の３Ｄ画像システム１１の構成と共通するものについては、同一の符号を付し、その詳細な説明は省略する。
例えば、３Ｄ画像システム１１Ａは、センシング装置１２および情報処理装置１５を備える点で、図１の３Ｄ画像システム１１と共通の構成となっている。一方、３Ｄ画像システム１１Ａは、表示装置１３およびプロジェクタ１４に替えて、ヘッドマウントディスプレイ１６を備える点で、図１の３Ｄ画像システム１１と異なる構成となっている。つまり、上述したようなＣＧ画像や誘導画像などは、ユーザが装着するヘッドマウントディスプレイ１６に表示される。
従って、３Ｄ画像システム１１Ａでは、ユーザは、ヘッドマウントディスプレイ１６に表示されるＣＧ画像を見ながら、そのＣＧ画像を利用したナビゲーションに従って、３Ｄモデルを生成することができる。
このように構成される３Ｄ画像システム１１および１１Ａは、センシング装置１２により取得されるカラー画像およびデプス画像を用いて、情報処理装置１５においてユーザの３Ｄモデルを生成する。このとき、３Ｄ画像システム１１および１１Ａでは、オクルージョン領域の発生を抑制して、ユーザの表面の全領域をカバーするようなカバー率が高い高品質なテクスチャを取得することができる。
ここで、図３および図４を参照して、ユーザの３Ｄモデル、および、テクスチャに発生するオクルージョン領域について説明する。
例えば、図３には、情報処理装置１５が作成したユーザの３Ｄモデルをレンダリングした結果の一例として、基本的な立ち姿勢のユーザを正面、背面、および右側面からレンダリングしたＣＧ画像が示されている。
このように、ユーザが立ち姿勢であるとき、センシング装置１２のＲＧＢカメラで、ユーザの腋の下や股の間などを撮像することは非常に困難である。そのため、図３に示すＣＧ画像では目立たないが、センシング装置１２のＲＧＢカメラで撮像できなかった箇所にオクルージョン領域が発生している。
図４には、オクルージョン領域が発生している箇所が目立つような姿勢となるように３Ｄモデルをレンダリングした結果の一例が示されている。例えば、図４のＡおよび図４のＢにおいて丸印を付けた箇所で、テクスチャが埋められていないオクルージョン領域が発生している。
そこで、３Ｄ画像システム１１および１１Ａでは、情報処理装置１５が、オクルージョンが発生しないようにユーザをナビゲーションして、テクスチャを取得して３Ｄモデルを生成する３Ｄモデル生成処理を実行する。
＜情報処理装置の構成例＞
図５は、本技術を適用した情報処理装置の一実施の形態の構成例を示すブロック図である。
図５に示すように、情報処理装置１５は、画像取得部２１、画像情報解析部２２、モーショントラッキング部２３、モデリング部２４、モーション提示部２５、レンダリング部２６、出力制御部２７、およびテクスチャ取得処理部２８を備えて構成される。
画像取得部２１は、図１または図２のセンシング装置１２から出力されるカラー画像およびデプス画像を取得する。そして、画像取得部２１は、必要に応じて、カラー画像およびデプス画像を、画像情報解析部２２、モーショントラッキング部２３、モデリング部２４、およびテクスチャ取得処理部２８に供給する。
画像情報解析部２２は、特徴量検出部３１および属性推定部３２を有しており、画像取得部２１から供給されるカラー画像およびデプス画像を解析する処理を行う。
特徴量検出部３１は、画像取得部２１が取得したユーザのカラー画像およびデプス画像を解析し、ユーザの特徴量を検出する。
属性推定部３２は、画像取得部２１が取得したユーザのカラー画像およびデプス画像を解析し、例えば、ユーザの性別や年齢など、および、ユーザの習熟度（初心者、経験者、プロフェッショナルなど）を、ユーザの属性として推定する。
モーショントラッキング部２３は、画像取得部２１が取得したユーザのカラー画像およびデプス画像から、ユーザの動作に追従するモーショントラッキングを行う。例えば、モーショントラッキング部２３は、モーショントラッキングを行うことで、ユーザに提示したモーションに従ったユーザの動作が完了したか否かを判断することができる。
モデリング部２４は、メッシュ生成部４１、およびテクスチャ生成部４２を有しており、画像取得部２１から供給されるカラー画像およびデプス画像に基づいて、ユーザの３Ｄモデルを生成する。
メッシュ生成部４１は、例えば、デプス画像により表されるデプスに基づいて、ユーザの三次元的な形状をポリゴンの集合で表すメッシュを生成する。
テクスチャ生成部４２は、例えば、カラー画像においてユーザが写されている領域を切り出して、ユーザの表面の色を表すテクスチャを生成する。
モーション提示部２５は、モーション記録部５１、モーション解析部５２、およびモーション生成部５３を有しており、よりカバー率の高いテクスチャを取得するためのモーションを提示する処理を行う。
モーション記録部５１には、３Ｄモデルを生成するために必要となる様々なモーションが予め記録されている。
モーション解析部５２は、モーション記録部５１に記録されているモーションを解析する。
モーション生成部５３は、テクスチャを埋めたい領域の優先度や、テクスチャが取得できていない要因、ユーザの属性および動きの習熟度などを参照し、テクスチャを埋めるための適切なモーションを生成する。
レンダリング部２６は、モデリング部２４により生成された３Ｄモデルに対し、モーション提示部２５から供給されるモーションを適用してレンダリングを行い、ユーザの３ＤモデルのＣＧ画像を生成する。
出力制御部２７は、表示制御部６１および投影制御部６２を有しており、例えば、図１の表示装置１３やプロジェクタ１４、図２のヘッドマウントディスプレイ１６に対する出力を制御する処理を行う。
表示制御部６１は、表示装置１３（表示装置１３を使用しない場合にはプロジェクタ１４）、またはヘッドマウントディスプレイ１６に対する制御を行って、レンダリング部２６が生成したユーザの３ＤモデルのＣＧ画像を表示させる。
投影制御部６２は、プロジェクタ１４またはヘッドマウントディスプレイ１６に対する制御を行って、ユーザを誘導するための誘導画像（例えば、後述する図２１の矢印）を投影させる。
テクスチャ取得処理部２８は、ナビゲーション実行部７１、シミュレーション部７２、テクスチャ取得条件判定部７３、およびテクスチャ取得状況可視化マップ作成部７４を有しており、より高品質なテクスチャを取得するのに必要な各種の処理を行う。
ナビゲーション実行部７１は、テクスチャを取得するのに必要な登録作業や、適切な動作を実行するためのナビゲーションを行う。例えば、ナビゲーション実行部７１は、３Ｄモデルを生成する際に、普段のトレーニングで行う準備運動のモーションの幾つかをモーション記録部５１のデータベースに登録する。その際、ナビゲーション実行部７１は、その動作のターゲットとして、種目や、年齢層、再現難易度（習熟度）なども登録する。また、ナビゲーション実行部７１は、モーション生成部５３が生成したテクスチャを埋めるための適切なモーションをユーザに動作してもらうために、オクルージョン領域や、最適な立ち位置（向き）、動きの速さなどのナビゲーションを行う。
シミュレーション部７２は、３Ｄモデルを生成する際にユーザに提示すると登録されたモーションに従った解析を行う。例えば、モーション解析部５２は、登録されたモーションに基づいた動作について仮想カメラによるシミュレーションを行って、メッシュを構成する各ポリゴンの法線と、センシング装置１２のＲＧＢカメラの主軸との角度（図７のθ）が最小化されるユーザの立ち位置や、ユーザの向き、ユーザが動くタイミングなどを算出する。
テクスチャ取得条件判定部７３は、図７および図８を参照して後述するように、メッシュのポリゴンごとにテクスチャが適切に取得されているか否かを判定し、その判定結果に従って、予め設定されているテクスチャ取得条件（例えば、カバー率）を達成しているか否かを判定する。
テクスチャ取得状況可視化マップ作成部７４は、テクスチャ取得条件判定部７３による判定結果に基づいて、テクスチャ取得状況可視化マップを作成する。なお、テクスチャ取得状況可視化マップ作成部７４が作成するテクスチャ取得状況可視化マップについては、図１８を参照して後述する。
＜３Ｄモデル生成処理＞
図６に示すフローチャートを参照して、情報処理装置１５において実行される３Ｄモデル生成処理について説明する。
ステップＳ１１において、ナビゲーション実行部７１は、テクスチャを取得するのに必要な登録作業を行う。例えば、ナビゲーション実行部７１は、テクスチャを取得し直すための再撮像時に、ユーザに指定する動作（通常のウォーミングアップの動きなど）や、ターゲット、再現難易度、テクスチャを埋めたい領域の優先度、テクスチャ取得条件などを登録する。
ステップＳ１２において、シミュレーション部７２は、ステップＳ１１で登録された動作から、センシング装置１２のＲＧＢカメラの主軸ＶＤとポリゴンの法線ＳＮとが成す角度θが最小化される立ち位置（向き）とタイミングをシミュレーションにより算出する。
ステップＳ１３において、ナビゲーション実行部７１は、ユーザに対してウォーミングアップの開始を指示するナビゲーションを行う。
ステップＳ１４において、モデリング部２４では、メッシュ生成部４１がメッシュの生成を開始し、テクスチャ生成部４２がテクスチャの生成を開始して、ウォーミングアップの動作をしているユーザのカラー画像およびデプス画像を用いて３Ｄモデリングを開始する。このとき、テクスチャ取得条件判定部７３による判定も開始され、テクスチャ取得状況可視化マップ作成部７４によるテクスチャ取得状況可視化マップの作成も開始される。
ステップＳ１５において、属性推定部３２は、センシング装置１２が撮像したユーザのカラー画像およびデプス画像から、ユーザの属性および動きの習熟度を推定する。
その後、一定時間、ユーザに自由に動作してもらった後、ステップＳ１６において、テクスチャ取得条件判定部７３は、テクスチャ取得条件を満たしているか否かを判定する。
ステップＳ１６において、テクスチャ取得条件判定部７３が、テクスチャ取得条件を満たしていないと判定した場合、処理はステップＳ１７に進む。
ステップＳ１７において、テクスチャ取得状況可視化マップ作成部７４は、メッシュのポリゴンごとにテクスチャが適切に取得されているか否かの判定結果に基づいて、例えば、オクルージョン領域を算出して可視化したテクスチャ取得状況可視化マップを作成する。テクスチャ取得状況可視化マップでは、図１８を参照して後述するように、時間不足や角度不足などのようなテクスチャが取得できていない要因ごとに分類が行われ、それらの要因が可視化される。
ステップＳ１８において、モーション生成部５３は、ステップＳ１１で登録済みの、テクスチャを埋めたい領域の優先度や、ユーザの属性および動きの習熟度などを参照し、テクスチャを埋めるための適切なモーションを生成する。このとき、モーション生成部５３は、ステップＳ１７で作成されたテクスチャ取得状況可視化マップにおけるテクスチャが取得できていない要因も参照する。
ステップＳ１９において、ナビゲーション実行部７１は、ステップＳ１８で生成されたモーションをユーザに動作してもらうために、オクルージョン領域や、最適な立ち位置（向き）、動きの速さなど、適切な動作を実行するためのナビゲーションを行う。
ステップＳ２０において、ステップＳ１９でのナビゲーションに従って適切な動作を実行しているユーザを撮像して得られるカラー画像からテクスチャの取得が行われる。そして、ステップＳ１８で生成されたモーションに従ったユーザの動作が完了すると、処理はステップＳ１６に戻る。
以下、同様の処理が繰り返して行われ、ステップＳ１６において、テクスチャ取得条件判定部７３が、テクスチャ取得条件を満たしていると判定した場合、処理は終了される。
このような３Ｄモデル生成処理は、例えば、トレーニングジムの遠隔指導で利用することが想定される。例えば、ユーザの３Ｄモデルを作成し、ユーザのフォームを遠隔地の著名なトレーナーがチェックしてフィードバックすることができる。また、データベースに登録されるモーションは、担当トレーナー自身が登録してもよい。
さらに、後述するモーションのシミュレーションデータをデータベースに蓄積して公開することで、有効なテクスチャ取得のカバレッジが高いモーションや、選択される回数が多いモーションを共有することが可能となる。
＜テクスチャ判定＞
図７乃至図９を参照して、テクスチャが適切に取得されたか否かを判定する判定条件について説明する。
図７では、図７の下側に示すようなユーザのメッシュを構成する三角形状のポリゴンごとに、ユーザの右側面画像および正面画像からテクスチャを生成する例について説明する。
例えば、ポリゴンの色Ｃは、ユーザの右側面画像に写されているポリゴンの色Ｃ１と、ユーザの正面画像に写されているポリゴンの色Ｃ２とを合成すること（例えば、平均値）により求められる。
そして、あるポリゴンについてテクスチャが適切に取得されたか否かを判定する判定条件として、センシング装置１２のＲＧＢカメラからポリゴンまでの距離ｄ、センシング装置１２のＲＧＢカメラの主軸ＶＤとポリゴンの法線ＳＮとが成す角度θ、ポリゴンがセンシング装置１２のＲＧＢカメラの前に露出していた時間ｔを用いることができる。
センシング装置１２のＲＧＢカメラからポリゴンまでの距離ｄの判定条件は、例えば、0.5〜２ｍに設定することが好適である。例えば、テクスチャ取得条件判定部７３は、画像取得部２１により取得されたデプス画像に基づいて、センシング装置１２のＲＧＢカメラからポリゴンまでの距離ｄが判定条件を満たしているか否かを判定することができる。
センシング装置１２のＲＧＢカメラの主軸ＶＤとポリゴンの法線ＳＮが成す角度θの判定条件は、１０°以下に設定することが好適である。ここで、センシング装置１２のＲＧＢカメラの主軸ＶＤ、ポリゴンの法線ＳＮ、および、角度θは、図８に示すような関係となっている。例えば、センシング装置１２のＲＧＢカメラの主軸ＶＤは既知であり、テクスチャ取得条件判定部７３は、ポリゴンの法線ＳＮをメッシュから求めることができる。
ポリゴンがセンシング装置１２のＲＧＢカメラの前に露出していた時間ｔの判定条件は、１秒を超えるように設定することが好適である。例えば、テクスチャ取得条件判定部７３は、画像取得部２１により取得されたカラー画像に基づいて、ポリゴンがセンシング装置１２のＲＧＢカメラの前に露出していた時間ｔが判定条件を満たしているか否かを判定することができる。
例えば、テクスチャ取得条件判定部７３は、距離ｄの判定条件、角度θの判定条件、および、時間ｔの判定条件について、それぞれの達成率を算出する。この達成率に従って、高品質なテクスチャが取得されている領域と、高品質なテクスチャが取得されていない領域とを判断することができる。
このように、テクスチャが適切に取得されたか否かを判定するために、ポリゴンがセンシング装置１２のＲＧＢカメラの前に露出していた時間ｔの判定条件を用いることによって、例えば、ユーザが高速に動き、ブラーが残る可能性が高いテクスチャを排除することができる。
例えば、図９に示すようなモーションのように、ユーザが足の裏を高速に動かした場合には、足の裏のテクスチャにブラーが残る可能性が高く、テクスチャが適切に取得されていないと判定することができる。
＜ナビゲートする方法＞
図１０乃至図１６を参照して、オクルージョン領域が発生しないようにテクスチャを取得ことができるようにナビゲーションする方法について説明する。
図１０には、側面のテクスチャを確実に取得することができるモーションの一例が示されている。例えば、スクワットしながら両手を上げ下げするようなモーションを行っているユーザを側面から撮像することで、側面のテクスチャが確実に取得される。このとき、テンポがゆっくりなモーションを提示することで、ブラーの発生を抑制して、より高品質なテクスチャを取得することができる。また、このモーションは、初心者および経験者に対して共通で行われ、難易度が低くなっている。
図１１には、足の裏などのテクスチャを確実に取得することができるモーションの一例が示されている。例えば、一方の足でスクワットをしながら他方の足の裏を前方に向けるようなモーションを行っているユーザを正面から撮像することで、足の裏などのテクスチャが確実に取得される。また、このモーションは、経験者に対して行われ、難易度が高くなっている。
図１２には、頭頂部や腋の下などのテクスチャを確実に取得することができるモーションの一例が示されている。例えば、前方に向かってうつぶせた状態から立ち上がって、両手を上げながらジャンプするようなモーションを行っているユーザを正面から撮像することで、頭頂部や腋の下などのテクスチャが確実に取得される。また、このモーションは、初心者および経験者に対して共通で行われ、難易度が低くなっている。
図１３には、頭頂部や腋の下などのテクスチャを確実に取得することができるモーションの一例が示されている。例えば、両手を左右に大きく振りながら、片方の手で足の外側の床を触るようなモーションを行っているユーザを正面から撮像することで、頭頂部や腋の下などのテクスチャが確実に取得される。また、このモーションは、経験者に対して行われ、難易度が高くなっている。
図１４には、背面のテクスチャを確実に取得することができるモーションの一例が示されている。例えば、クロスにステップを踏みながら、センシング装置１２のＲＧＢカメラの方向に背中を向けるようなモーションを行っているユーザを撮像することで、背面のテクスチャが確実に取得される。また、このモーションは、初心者および経験者に対して共通で行われ、難易度が低いダンスとなっている。
図１５には、全周のテクスチャを確実に取得することができるモーションの一例が示されている。例えば、つま先でスピンをするようなモーションを行っているユーザを撮像することで、全周のテクスチャが確実に取得される。また、このモーションは、経験者に対して行われ、難易度が高いダンスとなっている。
図１６には、カバレッジが高くテクスチャを取得することができるモーションの一例が示されている。例えば、両手と両足を大きく振りながら、くるくると全身を回すようなモーションを行っているユーザを撮像することで、カバレッジが高くテクスチャが確実に取得される。また、このモーションは、経験者に対して行われ、難易度が高いダンスとなっている。
このように、テクスチャの取得を目的とする部位（即ち、テクスチャの未取得の領域）ごとに、初心者向けや経験者向けなどに難易度が設定されたモーションが、ユーザの属性や動きの習熟度を参照して、モーション生成部５３によって生成される。
＜モーション別の適切なテクスチャ＞
図１７乃至図２１を参照して、モーション別の適切なテクスチャ取得可能な位置および時間について説明する。
図１７には、有効なテクスチャ取得が可能なタイミングの一例が示されている。
図１７において、縦軸は、センシング装置１２のＲＧＢカメラの主軸ＶＤとポリゴンの法線ＳＮとが成す角度θを表しており、横軸は、ポリゴンがセンシング装置１２のＲＧＢカメラの前に露出していた時間ｔを表している。そして、角度θおよび時間ｔに基づいて、有効なテクスチャ取得が可能なタイミングが求められる。
図１７では、センシング装置１２のＲＧＢカメラの主軸ＶＤとポリゴンの法線ＳＮとが成す角度θが＋１０°から−１０°の範囲であって、ポリゴンがセンシング装置１２のＲＧＢカメラの前に露出していた時間ｔが約５秒から約８秒の範囲が、有効なテクスチャ取得が可能なタイミングとなっている。
このような有効なテクスチャ取得が可能なタイミングは、例えば、登録されたモーションから、センシング装置１２のＲＧＢカメラの主軸ＶＤとポリゴンの法線ＳＮとが成す角度θが最小化される立ち位置（向き）とタイミングとをシミュレーションによって算出することができる。例えば、モーションを登録する際に、ポリゴンごとに時間単位で角度θがシミュレーションされる。そして、そのモーションの中で、有効なテクスチャ取得が可能な時間を確保することができるように、または、センシング装置１２のＲＧＢカメラに正対することができるように、必要な向きの変更が算出され、モーション生成部５３によりモーションが生成される。
図１８には、テクスチャ取得状況可視化マップの一例が示されている。
例えば、一定時間、ユーザに自由に動作して貰った後、テクスチャ取得状況可視化マップ作成部７４は、ポリゴンごとの判定結果に基づいて、テクスチャ取得状況可視化マップを作成することができる。
図１８に示す例では、テクスチャ取得条件判定部７３による判定結果に従って、オクルージョン領域（未撮影）、時間不足（例えば、時間ｔが１秒未満）である領域、角度不足（例えば、角度θが１０°以上）である領域、および、テクスチャ取得済みである領域それぞれが、異なるハッチングにより分類されたテクスチャ取得状況可視化マップが作成されている。もちろん、テクスチャ取得状況可視化マップは、図１８に示す例に限られることはなく、例えば、ヒートマップのように、テクスチャ取得条件判定部７３による判定結果に従って、異なる色で分類されるようにしてもよい。
図１９には、初心者向けのモーションの一例が示されており、図２０には、経験者向けのモーションの一例が示されている。
例えば、モーション生成部５３は、初心者向けのモーションおよび経験者向けのモーションを、テクスチャを埋めたい領域の優先度や、テクスチャが取得できていない場合の要因（距離ｄ、角度θ、および時間ｔ）、ユーザの属性および習熟度などを考慮して、モーション記録部５１に記録されている様々なモーションを組み合わせて生成することができる。例えば、初心者向けのモーションでは、図１９に示すように、ゆっくりと準備運動をするような動作で腋の下や股の間などが見えるような動きとなる。また、経験者向けのモーションでは、図２０に示すように、例えば、空手の型のような動作を取り入れつつ腋の下や股の間などが見えるような動きとなる。
図２１を参照して、最適な立ち位置、向き、動きの速さの提示について説明する。
例えば、図２１に示されている矢印は、センシング装置１２がセンシングを行うことが可能な範囲（図示する一点鎖線の範囲）にユーザを誘導するために、プロジェクタ１４によって床面に投影される誘導画像である。このような矢印を提示することによって、センシング装置１２によりカラー画像およびデプス画像を撮像するのに最適な立ち位置や向きとなるように、ユーザを誘導することができる。また、映像や音声などにより、最適な動きの速さとなるようにユーザを誘導してもよい。
これにより、例えば、お手本となるモーションの３ＤモデルをレンダリングしたＣＧ画像を表示装置１３に表示し、ユーザを誘導するための矢印をプロジェクタ１４で投影することで、センシング装置１２がセンシングを行うのに最適となる立ち位置や向きで、モーションを再現するような動きをユーザに行わせることができる。
以上のように、３Ｄ画像システム１１では、品質の高いテクスチャを取得できているか、どの領域のテクスチャが埋められていないかを自動で判断することで、撮影者なしで、かつ、自然な動きの中でのテクスチャを取得することが可能となる。例えば、撮影されていないテクスチャ領域を埋める処理において、最もテクスチャを埋めやすい効率的な動作を過去の本人の動き、普段のトレーニングで実施する登録済の動きのパターンから割り出しナビゲートする。これにより、ユーザに特別な動きを強要せずにカバレッジの高いテクスチャを取得することができる。
また、本実施の形態では、簡易な撮影システム環境下における人物の３Ｄモデルの生成において、入力されたカラー画像およびデプス画像から、被写体となるユーザの性別や年齢などの属性を分析する。これにより、動きによる習熟度の判定や、３Ｄモデル用テクスチャのオクルージョン領域の判定などを実施し、高品位なテクスチャ取得およびカバレッジ向上を目的としたモーションを生成することができる。そして、実際の動きへ誘導するナビゲーション提示を行うことで、撮影者なしのセルフでの撮影環境であっても、自然な動きの中で３Ｄモデル（即ち、メッシュおよびテクスチャ）を生成することができる。
＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
図２２は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、前記テクスチャが未取得の領域を撮像するためのモーションを生成するモーション生成部と、
前記モーション生成部により生成されたモーションに応じた動作を前記ユーザに実行させるナビゲーションを行うナビゲーション実行部と
を備える情報処理装置。
（２）
ユーザの属性および動きの習熟度を推定する属性推定部
をさらに備え、
前記モーション生成部は、前記属性推定部により推定されたユーザの属性および動きの習熟度を参照し、前記モーションを生成する
上記（１）に記載の情報処理装置。
（３）
前記３Ｄモデルを構成するメッシュのポリゴンごとに、前記テクスチャが適切に取得されているか否かを判定する判定部
をさらに備え、
前記モーション生成部は、前記判定部によって前記テクスチャが適切に取得されていないと判定された領域を参照し、前記モーションを生成する
上記（１）または（２）に記載の情報処理装置。
（４）
前記判定部による判定結果に基づいて、前記テクスチャの取得状況を可視化したマップを作成するマップ作成部
をさらに備える上記（３）に記載の情報処理装置。
（５）
前記マップ作成部は、前記テクスチャが取得できない要因ごとに前記マップ上で可視化を行う
上記（４）に記載の情報処理装置。
（６）
前記判定部は、前記テクスチャが適切に取得されているか否かを判定する判定条件として、ユーザを撮像する撮像装置の主軸と、判定の対象となっている前記ポリゴンの法線との成す角度を用いる
上記（３）から（５）までのいずれかに記載の情報処理装置。
（７）
前記判定部は、前記テクスチャが適切に取得されているか否かを判定する判定条件として、ユーザを撮像する撮像装置の前に、判定の対象となっている前記ポリゴンが露出していた時間を用いる
上記（３）から（６）までのいずれかに記載の情報処理装置。
（８）
前記判定部は、前記テクスチャが適切に取得されているか否かを判定する判定条件として、ユーザを撮像する撮像装置から、判定の対象となっている前記ポリゴンまでの距離を用いる
上記（３）から（７）までのいずれかに記載の情報処理装置。
（９）
３Ｄモデル生成処理を行う情報処理装置が、
ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、前記テクスチャが未取得の領域を撮像するためのモーションを生成することと、
生成されたモーションに応じた動作を前記ユーザに実行させるナビゲーションを行うことと
を含む情報処理方法。
（１０）
３Ｄモデル生成処理を行う情報処理装置のコンピュータに、
ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、前記テクスチャが未取得の領域を撮像するためのモーションを生成することと、
生成されたモーションに応じた動作を前記ユーザに実行させるナビゲーションを行うことと
を含む処理を実行させるためのプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１１ ３Ｄ画像システム， １２ センシング装置， １３ 表示装置， １４ プロジェクタ， １５ 情報処理装置， ２１ 画像取得部， ２２ 画像情報解析部， ２３ モーショントラッキング部， ２４ モデリング部， ２５ モーション提示部， ２６ レンダリング部， ２７ 出力制御部， ２８ テクスチャ取得処理部， ３１ 特徴量検出部， ３２ 属性推定部， ４１ メッシュ生成部， ４２ テクスチャ生成部， ５１ モーション記録部， ５２ モーション解析部， ５３ モーション生成部， ６１ 表示制御部， ６２ 投影制御部， ７１ ナビゲーション実行部， ７２ シミュレーション部， ７３ テクスチャ取得条件判定部， ７４ テクスチャ取得状況可視化マップ作成部

Claims (10)

  1. ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、前記テクスチャが未取得の領域を撮像するためのモーションを生成するモーション生成部と、
    前記モーション生成部により生成されたモーションに応じた動作を前記ユーザに実行させるナビゲーションを行うナビゲーション実行部と
    を備える情報処理装置。
  2. ユーザの属性および動きの習熟度を推定する属性推定部
    をさらに備え、
    前記モーション生成部は、前記属性推定部により推定されたユーザの属性および動きの習熟度を参照し、前記モーションを生成する
    請求項１に記載の情報処理装置。
  3. 前記３Ｄモデルを構成するメッシュのポリゴンごとに、前記テクスチャが適切に取得されているか否かを判定する判定部
    をさらに備え、
    前記モーション生成部は、前記判定部によって前記テクスチャが適切に取得されていないと判定された領域を参照し、前記モーションを生成する
    請求項１に記載の情報処理装置。
  4. 前記判定部による判定結果に基づいて、前記テクスチャの取得状況を可視化したマップを作成するマップ作成部
    をさらに備える請求項３に記載の情報処理装置。
  5. 前記マップ作成部は、前記テクスチャが取得できない要因ごとに前記マップ上で可視化を行う
    請求項４に記載の情報処理装置。
  6. 前記判定部は、前記テクスチャが適切に取得されているか否かを判定する判定条件として、ユーザを撮像する撮像装置の主軸と、判定の対象となっている前記ポリゴンの法線との成す角度を用いる
    請求項３に記載の情報処理装置。
  7. 前記判定部は、前記テクスチャが適切に取得されているか否かを判定する判定条件として、ユーザを撮像する撮像装置の前に、判定の対象となっている前記ポリゴンが露出していた時間を用いる
    請求項３に記載の情報処理装置。
  8. 前記判定部は、前記テクスチャが適切に取得されているか否かを判定する判定条件として、ユーザを撮像する撮像装置から、判定の対象となっている前記ポリゴンまでの距離を用いる
    請求項３に記載の情報処理装置。
  9. ３Ｄモデル生成処理を行う情報処理装置が、
    ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、前記テクスチャが未取得の領域を撮像するためのモーションを生成することと、
    生成されたモーションに応じた動作を前記ユーザに実行させるナビゲーションを行うことと
    を含む情報処理方法。
  10. ３Ｄモデル生成処理を行う情報処理装置のコンピュータに、
    ユーザの３Ｄモデルを構成するテクスチャの取得状況に基づいて、前記テクスチャが未取得の領域を撮像するためのモーションを生成することと、
    生成されたモーションに応じた動作を前記ユーザに実行させるナビゲーションを行うことと
    を含む処理を実行させるためのプログラム。
JP2018151787A 2018-08-10 2018-08-10 情報処理装置および情報処理方法、並びにプログラム Pending JP2021182175A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018151787A JP2021182175A (ja) 2018-08-10 2018-08-10 情報処理装置および情報処理方法、並びにプログラム
CN201980051860.9A CN112534478B (zh) 2018-08-10 2019-07-26 信息处理装置、信息处理方法和程序
PCT/JP2019/029364 WO2020031741A1 (ja) 2018-08-10 2019-07-26 情報処理装置および情報処理方法、並びにプログラム
US17/250,577 US11989892B2 (en) 2018-08-10 2019-07-26 Information processing apparatus and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018151787A JP2021182175A (ja) 2018-08-10 2018-08-10 情報処理装置および情報処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2021182175A true JP2021182175A (ja) 2021-11-25

Family

ID=69414123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018151787A Pending JP2021182175A (ja) 2018-08-10 2018-08-10 情報処理装置および情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US11989892B2 (ja)
JP (1) JP2021182175A (ja)
CN (1) CN112534478B (ja)
WO (1) WO2020031741A1 (ja)

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8437506B2 (en) * 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
KR101608253B1 (ko) 2011-08-09 2016-04-01 인텔 코포레이션 이미지 기반 멀티 뷰 3d 얼굴 생성
CN103679797A (zh) * 2012-09-03 2014-03-26 潘海朗 采用可变形模型的人肢体建模方法及虚拟人模型控制平台
CN103226843A (zh) * 2013-04-23 2013-07-31 苏州华漫信息服务有限公司 无线3d照相系统及实现方法
US9886636B2 (en) * 2013-05-23 2018-02-06 GM Global Technology Operations LLC Enhanced top-down view generation in a front curb viewing system
MA41117A (fr) 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
US10853625B2 (en) * 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
JP2017107503A (ja) * 2015-12-11 2017-06-15 株式会社リコー 情報処理装置、情報処理方法、プログラムおよびシステム
KR101886511B1 (ko) 2015-09-30 2018-08-07 가부시키가이샤 리코 정보 처리 장치 및 시스템
JP2017080201A (ja) * 2015-10-29 2017-05-18 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、プログラム
CN106650217B (zh) 2015-10-29 2020-06-30 佳能市场营销日本株式会社 信息处理装置以及信息处理方法
JP6805422B2 (ja) 2016-03-08 2020-12-23 株式会社電通 装置、プログラム及び情報処理方法
GB201709199D0 (en) * 2017-06-09 2017-07-26 Delamont Dean Lindsay IR mixed reality and augmented reality gaming system

Also Published As

Publication number Publication date
US11989892B2 (en) 2024-05-21
CN112534478A (zh) 2021-03-19
US20210295538A1 (en) 2021-09-23
WO2020031741A1 (ja) 2020-02-13
CN112534478B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
US11599188B2 (en) System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings
CN106170083B (zh) 用于头戴式显示器设备的图像处理
US20200045241A1 (en) System and method for acquiring virtual and augmented reality scenes by a user
KR101748593B1 (ko) 생성된 장면 내에서 연기하는 배우의 시야와 움직임의 캡쳐
Latoschik et al. FakeMi: A fake mirror system for avatar embodiment studies
TW202004421A (zh) 用於在ｈｍｄ環境中利用傳至ｇｐｕ之預測及後期更新的眼睛追蹤進行快速注視點渲染
JP2019534510A (ja) 表面モデル化システムおよび方法
WO2013059751A1 (en) Calculating metabolic equivalence with a computing device
EP4359892A1 (en) Body pose estimation using self-tracked controllers
KR102009400B1 (ko) 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버
WO2020031741A1 (ja) 情報処理装置および情報処理方法、並びにプログラム
KR20200117685A (ko) 가상 객체 인식 방법, 상기 가상 객체를 이용한 증강 현실 콘텐츠 제공 방법 및 이를 위한 증강 방송 시스템
JP2020071718A (ja) 情報処理装置、情報処理方法及びプログラム
US20230162458A1 (en) Information processing apparatus, information processing method, and program
US20240005600A1 (en) Nformation processing apparatus, information processing method, and information processing program
US20240078767A1 (en) Information processing apparatus and information processing method
KR20210090180A (ko) 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스
CN117859153A (zh) 信息处理装置、信息处理方法和程序
Akinjala et al. Animating human movement & gestures on an agent using Microsoft kinect
KR102130902B1 (ko) 360도 영상을 2d 영상으로 변환하는 방법 및 장치
Marnik et al. Using computer graphics, vision and gesture recognition tools for building interactive systems supporting therapy of children
JP2022051977A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022182836A (ja) 映像処理装置及びその制御方法及びプログラム
CN113780141A (zh) 一种对弈模型的构建方法和装置
RU2021124165A (ru) Способ визуализации динамической анатомической структуры