JP2021185498A - 拡張現実空間に配置される3dオブジェクトを生成する方法 - Google Patents

拡張現実空間に配置される3dオブジェクトを生成する方法 Download PDF

Info

Publication number
JP2021185498A
JP2021185498A JP2021130530A JP2021130530A JP2021185498A JP 2021185498 A JP2021185498 A JP 2021185498A JP 2021130530 A JP2021130530 A JP 2021130530A JP 2021130530 A JP2021130530 A JP 2021130530A JP 2021185498 A JP2021185498 A JP 2021185498A
Authority
JP
Japan
Prior art keywords
user
character
augmented reality
image
reality space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021130530A
Other languages
English (en)
Other versions
JP7078234B2 (ja
Inventor
昌史 三上
Masashi Mikami
洋 鬼山
Hiroshi Oniyama
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gugenka
Gugenka Co Ltd
XR IPLab Co Ltd
Original Assignee
Gugenka
Gugenka Co Ltd
XR IPLab Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gugenka, Gugenka Co Ltd, XR IPLab Co Ltd filed Critical Gugenka
Priority to JP2021130530A priority Critical patent/JP7078234B2/ja
Publication of JP2021185498A publication Critical patent/JP2021185498A/ja
Priority to JP2022030861A priority patent/JP2022084658A/ja
Application granted granted Critical
Publication of JP7078234B2 publication Critical patent/JP7078234B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】拡張現実空間に配置される3Dオブジェクトを生成する方法を提供する。【解決手段】ユーザ装置の表示部に表示される拡張現実空間に配置される3Dオブジェクトを生成する方法であって、撮像された現実空間に3Dオブジェクトの画像を表示し拡張現実空間内におけるユーザのハンドジェスチャを検出し、ハンドジェスチャに基づいて、3Dオブジェクトの姿勢を制御する。【選択図】図7

Description

本発明は、拡張現実空間に配置される3Dオブジェクトを生成する方法に関する。詳し
くは、スマートフォン等の携帯端末の表示部に表示される拡張現実空間に配置される3D
オブジェクトを生成する方法に関する。また、スマートグラス、ヘッドマウントディスプ
レイ等のウェアラブルデバイス等の表示部に表示される拡張現実空間に配置される3Dオ
ブジェクトを生成する方法に関する。
従来、二次元(2D)や三次元(3D)の静止画や動画(アニメーション)で表現され
るキャラクタを生成するため、様々な技術が提案されている。
多くの場合、画像として表現する対象物を構成する部品に対してパラメータを設け、パ
ラメータを調整することで、各々の部品の状態を変化させる、といった手法が用いられる
一例として、3次元オブジェクト(例えば、キャラクタ)の生成に当たり、その構成要
素(例えば、顔、口、眉等)に対して、各部品の状態の変化(例えば、口の開閉、目の開
閉、眉の縦移動、眉の横移動、目玉の縦移動、目玉 の横移動、怒りの度合、笑いの度合
、照れの度合)に関連するパラメータや、物体(例えば、顔)の回転角(−180〜18
0)に関連するパラメータを設定する手法が開示されている(例えば、特許文献1)。
昨今、現実世界に画像やアノテーション等の情報をウェアリングデバイスのディスプレ
イ等を通して付加することで、ユーザの現実空間を拡張する、という拡張現実空間を提供
するサービスが普及している。一例として、スマートフォンのカメラにより撮像された現
実空間上に、アニメキャラクタのようなデジタル画像を重畳させて表示する、といったサ
ービスが挙げられ、ユーザは、あたかもそのキャラクタが現実空間に実在しているかのよ
うな感覚を持つことができる。
特開2009−104570号公報
しかしながら、このような拡張現実空間を演出するキャラクタのようなデジタル画像は
、元々現実空間に配置されることを想定したものでない場合が多く、各々のユーザによっ
て異なる現実空間にマッチするキャラクタを提供することは難しい。上記特許文献の3D
オブジェクト生成技術は、二次元上のイラスト編集ツールの延長上にある技術であり、拡
張現実空間に配置されるキャラクタを生成することを想定したものではない。
そこで、本発明は、拡張現実空間に配置される3Dオブジェクトを生成する技術を提供
することを目的とする。
本発明の一の実施形態において、ユーザ装置の表示部に表示される拡張現実空間に配置
される3Dオブジェクトを生成する方法であって、撮像された現実空間に3Dオブジェク
トの画像を表示し、前記拡張現実空間内におけるユーザのハンドジェスチャを検出し、当
該ハンドジェスチャに基づいて、前記3Dオブジェクトの姿勢を制御する、方法。
本発明によれば、拡張現実空間に配置される3Dオブジェクトを生成する技術を提供す
ることを実現することができる。
第1の実施形態に係るシステム構成図を示す。 第1の実施形態に係るサーバの機能構成図を示す。 第1の実施形態に係るユーザ端末の機能構成図を示す。 第1の実施形態に係る制御部の機能構成図を示す。 第1の実施形態に係るストレージの詳細を示す。 第1の実施形態に係る、3Dオブジェクトの生成方法のフローチャートを示す。 第1の実施形態に係る、ユーザ端末の姿勢制御に伴う処理のフローチャートを示す。 第1の実施形態に係る、3Dオブジェクトの生成画面の例を示す。
<第1実施形態>
本発明の第1実施形態に係る3Dオブジェクトの生成方法の具体例を、以下に図面を参
照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の
範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれ
ることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を
付し、重複する説明を省略する。
図1に、本発明の第1の実施形態に係るシステム構成図を示す。図1に示すように、本
実施形態に係るシステムは、サーバ1と、サーバ1に、インターネット等のネットワーク
を介して接続される、ユーザ端末2Aとユーザ端末2Bとを含む。図1には、説明の便宜
上ユーザ端末2A、2B(以下、ユーザ端末2と総称する)が図示されているが、任意の
数のユーザ端末がネットワークに接続可能である。
サーバ1は、ユーザ端末2A、2Bに関連付けられるユーザに対し、現実空間に、例え
ば、アニメキャラクタのような、3Dオブジェクトを配置することによる拡張現実空間を
提供するサービスを提供することができる。例えば、サーバ1は、ユーザ端末2(例えば
、携帯電話端末やスマートフォン)内蔵のカメラにより撮像される現実空間に、キャラク
タ画像を重畳させることによる拡張現実空間を提供するサービスを提供する。
より具体的には、ユーザは、ユーザの部屋を、例えばスマートフォン内蔵のカメラによ
り撮像し、ユーザはお気に入りのキャラクタ画像をその部屋の背景画像に重畳させて表示
させることができる。これにより、ユーザは、あたかも自分の部屋にお気に入りのキャラ
クタが同居しているかの感覚を覚えることができる。
例えば、ユーザは、ユーザ端末2に、サーバ1または他のプラットフォームから本サービ
スアプリケーションをダウンロードし、アプリケーションを介して、サーバ1と本サービ
スに関するデータを送受信することができる。または、ユーザは、ユーザ端末2に内蔵さ
れたWebブラウザにより、サーバ1に格納されるWebアプリケーションにアクセスす
ることにより、本サービスに関するデータを送受信することもできる。以下の実施形態に
おいては、例示として、ダウンロードされたアプリケーションを介した本サービスの提供
方法について説明する。
ユーザ端末2として、例えばスマートフォン、タブレット、携帯端末その他情報端末と
してもよいし、ワークステーションやパーソナルコンピュータのような汎用コンピュータ
であってもよい。さらに、スマートグラス、ヘッドマウントディスプレイ等の、ユーザの
身体に装着し得るウェアラブルデバイスであってもよい。
図2は、第1実施形態に係るサーバの機能構成図を示す。なお、図示された構成は一例で
あり、これ以外の構成を有していてもよい。
図示されるように、サーバ1は、データベース(図示せず)と接続されシステムの一部を
構成する。サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎
用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に
実現されてもよい。
サーバ1は、少なくとも、制御部10、メモリ11、ストレージ12、送受信部13、
入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
制御部10は、サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御
、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。
例えば制御部10はCPU(Central Processing Unit)であり
、ストレージ12に格納されメモリ11に展開されたプログラム等を実行して各情報処理
を実施する。
メモリ11は、DRAM(Dynamic Random Access Memor
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
11は、プロセッサ10のワークエリア等として使用され、また、サーバ1の起動時に実
行されるBIOS(Basic Input/Output System)、及び各種
設定情報等を格納する。
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベース(図示せず)がストレージ12に構築さ
れていてもよい。
送受信部13は、サーバ1をネットワークに接続する。なお、送受信部13は、Blu
etooth(登録商標)及びBLE(Bluetooth Low Energy)の
近距離通信インターフェースを備えていてもよい。
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力
機器である。
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
図3は、第1実施形態に係るユーザ端末の機能構成図を示す。なお、図示された構成は一
例であり、これ以外の構成を有していてもよい。
ユーザ端末2は、前述の通り、様々な情報端末や汎用コンピュータとすることができる
か、以下、スマートフォンを例に説明する。ユーザ端末2は、少なくとも、制御部20、
メモリ21、ストレージ22、送受信部23、入力部24等を備え、これらはバス25を
通じて相互に電気的に接続される。
制御部20は、ユーザ端末2全体の動作を制御し、各要素間におけるデータの送受信の
制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置であ
る。例えば制御部20はCPU(Central Processing Unit)で
あり、ストレージ22に格納されメモリ21に展開されたプログラム等を実行して各情報
処理を実施する。
メモリ21は、DRAM(Dynamic Random Access Memor
y)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard
Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ
21は、制御部20のワークエリア等として使用され、また、ユーザ端末2の起動時に実
行されるBIOS(Basic Input/Output System)、及び各種
設定情報等を格納する。
ストレージ22は、アプリケーション・プログラム等の各種プログラムを格納する。各
処理に用いられるデータを格納したデータベース(図示せず)がストレージ22に構築さ
れていてもよい。
送受信部23は、ユーザ端末2をネットワークに接続する。なお、送受信部23は、B
luetooth(登録商標)及びBLE(Bluetooth Low Energy
)の近距離通信インターフェースを備えていてもよい。
入力部24は、タッチパネル等の情報入力機器である。
バス25は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各
種制御信号を伝達する。
さらに、ユーザ端末2は、カメラ26を備える。カメラ26は、ユーザ端末2に内蔵され
、現実空間を撮像し、通常、ユーザ端末2を把持するユーザの視線方向と一致するように
備えられる。カメラ26はまた、ユーザのジェスチャをキャプチャするセンサ(例えば、
二次元/三次元カメラ、超音波、深度、IRセンサ等)としての機能を備える。
カメラ26により撮像された現実空間の画像は、画像制御部27により、キャラクタ等の
3Dオブジェクトの画像と合成され、表示部28により、現実空間の画像に3Dオブジェ
クトの画像が重畳して表示される。画像制御部27は、例えば、GPU(Graphic
s Processing Unit)であり、主に画像処理に係る演算処理を実行する
。また、表示部28は、スマートフォンの場合、例えば、LCDまたは有機EL等のディ
スプレイである。表示部28は、カメラ26のファインダとして機能することもできる。
GPS(Global Positioning System)29は、現在位置情報
を測位する。GPS29は、GPS衛星から測位用の電波を受信し、絶対位置となる緯度
経度情報を測位することができる。また、複数の携帯電話用の基地局から通信電波を受信
し、複数基地局測位機能によって現在位置情報を測位することもできる。
加速度センサ30は、加速度(単位時間当たりの速度の変化)を検出する。加速度センサ
30は、3軸方向(x、y、z方向)の加速度を検出することができる。例えば、スマー
トフォンの前後方向をx軸、左右方向をy軸、上下方向をz軸とし、前方方向をx軸正方
向、左方向をy軸正方向、下方向をz軸方向とすると、加速度センサ30は、各方向の加
速度を検出するとともに、x軸回りの回転角(ロール角)、y軸回りの回転角(ピッチ角
)、z軸回りの回転角(ヨー角)を検出する。
地磁気センサ31は、3軸方向(上記x、y、z軸方向)の地磁気の方向を検出し、水平
方向の方位を表示する。方位角は、地磁気センサにより検出され、算出された真北の方位
Nを基点とした時計回りの角度で示される。
本例においては、スマートフォンを挙げて説明しているが、上述の通り、ユーザ端末とし
て、ウェアラブルデバイスを用いることもできる。この場合、ウェアラブルデバイスに、
本例におけるスマートフォンに内蔵される機能と同等の機能を備えることができる。
図4は、第1の実施形態に係る制御部の機能構成図を示す。なお、本実施形態においては
、ユーザ端末2の制御部20の機能構成図の詳細について説明するが、同様の機能をサー
バ1の制御部10に備え、制御部10において処理することができる。以下、各機能構成
は、メモリ21、ストレージ12等に記憶されたプログラムを制御部20において実行す
ることで実現される。
ジェスチャ検出部41は、例えば、ユーザの手のジェスチャを検出する。具体的には、ジ
ェスチャ検出部41は、ユーザ端末2(スマートフォン)のカメラ26がキャプチャした
、ユーザの手のジェスチャを含む画像をフィルタ除去等の手法により正規化し、正規化さ
れた画像のエッジ画像の各画素に対して、カメラの三次元座標系(x、y、z)における
位置及び方向を含むインデックスを付与し、付与されたインデックスを基に、ユーザ端末
外部のデータベースに格納された、予めインデックスが付与されたジェスチャ画像を検索
し、インデックスがマッチした手のジェスチャ画像を決定する。
キャラクタ画像管理部42は、ストレージ22に格納されるキャラクタの3Dオブジェク
トを管理し、例えば、ジェスチャ検出に応じて、キャラクタの位置や姿勢を制御する。
図5は、第1の実施形態に係るストレージの詳細を示す。なお、本実施形態においては
、ユーザ端末2のストレージ22の詳細について説明するが、同様の情報をメモリ21や
、サーバ1のメモリ11、ストレージ12等に格納することもできる。
ストレージ12は、キャラクタ情報51を格納する。キャラクタ情報として、拡張現実空
間に表示されるキャラクタの3Dオブジェクトの生成に関連するデータ(例えば、キャラ
クタ画像データ、3D形状データ、テクスチャデータ、アニメーションデータ及び座標情
報、色情報等のそれらを構成するデータ)を所定の形式で格納する。また、キャラクタ情
報は、アニメーションデータとして、キャラクタの各々の部品(例えば、髪の毛、顔、首
、胴体、腕、手、脚等)が相互に動くために必要なボーンオブジェクト情報を有し、各々
の部品について、位置(x、y、z座標)、接続元/接続先の部品、質量/幅/高さ、回
転制限(x、y、z座標の最大値/最小値)、及び移動制限(x、y、z座標の最大値/
最小値)等の情報を有することができる。また、ユーザが複数の種類のキャラクタを選択
できるよう、複数のキャラクタ情報を格納することもできる。その他、ストレージ12は
、画像処理プログラムを始め各種プログラム、アプリケーション、オペレーションシステ
ム等を格納する。
図6は、第1の実施形態に係る、3Dオブジェクトの生成方法のフローチャートを示す。
本3Dオブジェクトの生成方法に係る処理は、例えば、ユーザ端末2のメモリ22に展開
されるプログラムを制御部21において実行することで実現され得るが、他に、サーバ1
のメモリ12に展開されるプログラムを制御部11において実行することで実現すること
もでき、または、これらが協働して実行することで実現することも可能である。
まず、制御部20のユーザ要求受付部41は、アプリケーション等を介して、ユーザ端末
2に関連づけられるユーザから拡張現実空間に表示するキャラクタの選択要求を受信する
(S101)。表示するキャラクタの種類が、1種類の場合は、本ステップを省略するこ
ともできる。
続いて、表示制御部27は、ユーザが選択したキャラクタを拡張現実空間に表示する処理
を行う(S102)。例えば、表示制御部27は、ストレージ22に格納されたキャラク
タ情報を基に、3D形状データを所定の空間にマッピングし、キャラクタ画像データから
変換されたテクスチャデータに、テクスチャデータを3D形状にマッピングさせることで
、キャラクタの3Dオブジェクトを生成する。そして、カメラ26で撮像された現実空間
を、所定の空間の背景画像として設定することで、現実空間にキャラクタの3Dオブジェ
クトが重畳された画像が生成され、拡張現実空間が提供され、拡張現実空間がディスプレ
イに表示される。例えば、図8に示すように、キャラクタの3Dオブジェクトは、拡張現
実空間において中央に表示され、正面を向いている。ここで、表示制御部72は、キャラ
クタの3Dオブジェクトの各構成要素(例えば、顏、眼、鼻、口、眉、耳、髪型等)の状
態を変化させるパラメータを調整するための複数のインジケータを表示し、ユーザからパ
ラメータを調整するためのインジケータを介した指示を受け付け、これに応じて、指定さ
れた構成要素の状態を変更する処理を行うことができる。また、表示制御部27は、拡張
現実空間におけるキャラクタの3Dオブジェクトのテクスチャの色の補正を行うためのイ
ンジケータを表示することもできる。ここで、色の補正とは、明るさ、彩度、色調、鮮明
さ、コントラスト等の補正を含む。
続いて、制御部20のジェスチャ検出部41は、ジェスチャを検出したか、を確認する(
S103)。例えば、ユーザは、図8(a)に示すように、自分の手を使って、ディスプ
レイに表示されるキャラクタのポージングを変えるよう試みる。ジェスチャ検出の一例と
して、ジェスチャ検出部41は、ユーザ端末2(スマートフォン)のカメラ26がキャプ
チャしたユーザの手のジェスチャを含む画像をフィルタ除去等の手法により正規化し、正
規化された画像のエッジ画像の各画素に対して、カメラの三次元座標系(x、y、z)に
おける位置及び方向を含むインデックスを付与し、付与されたインデックスを基に、ユー
ザ端末外部のデータベースに格納された、予めインデックスが付与されたジェスチャ画像
を検索し、インデックスがマッチしたジェスチャ画像を決定する。図8の例においては、
ジェスチャ検出部41は、ユーザが指で何かを摘まんで(いわゆる、ピンチ操作)、所定
の方向に移動するジェスチャを検出する。
ジェスチャ検出部41は、ユーザの手のジェスチャを検出すると、そのジェスチャに応
じて、制御部20及び画像制御部27は、キャラクタの姿勢(ポージング)を制御する(
S104)。本処理において、例えば、図8(b)に示すように、画像制御部27は、キ
ャラクタの3Dオブジェクトの左手を持ち上げるよう制御する。本処理の詳細は、図7に
おいて説明する。
次に、画像制御部27は、姿勢制御後のキャラクタの3Dオブジェクトを拡張現実空間に
表示する(S105)。例えば、図8(b)に示すように、表示されるオブジェクトの画
像は、左手を持ち上げるようアニメーション表示される。
図7は、第1の実施形態に係る、キャラクタの姿勢制御に係る処理のフローチャートを示
す。まず、制御部20のジェスチャ検出部41は、ユーザに手のジェスチャを検出する(
S201)。ここで、ジェスチャ検出部41は、ユーザの手の動きに対応した動きを含め
たジェスチャ画像、すなわち、何かを指で摘まむ操作(ピンチ操作)をして、所定の方向
に移動するジェスチャに対応する画像を決定する。
次に、ジェスチャ検出部41は、検出したジェスチャを基に、ユーザの手の座標を確認
する(S202)。前述のとおり、ここで、ジェスチャ検出部41は、キャプチャされ、
正規化された画像のエッジ画像の各画素に対して付与された、カメラの三次元座標(x、
y、z)における位置及び方向を参照する。図8(a)及び図8(b)に示すように、ジ
ェスチャ検出部41によって、ユーザの手の始点位置の三次元座標の位置及び方向とユー
ザの手の終点位置の三次元座標の位置及び方向が確認される。ここで、検出したジェスチ
ャによっては、本処理を進まずに、特定のジェスチャをトリガとして、本処理に進むこと
もできる。例えば、単にユーザが手をキャラクタの周辺にかざしている状態では何もアク
ションを取らずに、キャラクタの部位を指で摘まむ操作(ピンチ操作)を検出したことを
トリガとして、本処理以降に進むこととしてもよい。
続いて、ジェスチャ検出部41は、検出したユーザの手の座標に対応する3Dオブジェク
トの座標を確認する(S203)。具体的には、図8(a)及び図8(b)に示すように
、検出されたユーザの手の始点位置に対応するキャラクタの3Dオブジェクトの三次元座
標を確認する。
そして、ジェスチャ検出部41は、確認した3Dオブジェクトの座標に対応する、3Dオ
ブジェクトの部品を特定する(S204)。図8(a)に示す例において、ユーザの手の
始点位置に対応するキャラクタの3Dオブジェクトの三次元座標は、キャラクタの左手で
あることが分かる。
そして、表示制御部27は、キャラクタの3Dオブジェクトの部品の位置を変更するよう
制御する。例えば、表示制御部27は、図8(a)及び図8(b)に示す例においては、
検出した手のジェスチャに応じ、キャラクタの左手を振り上げる制御する。
なお、上記の例によれば、ユーザの手の位置及び相対的なキャラクタの部品位置の特定に
カメラの三次元座標を使用しているが、ワールド座標やローカル座標を適用し、適宜座標
変換することもできる。また、三次元座標ではなく、二次元座標を提供することもできる
。また、検出されたユーザの手のジェスチャをジェスチャ画像として手の画像を表示する
ことで、ユーザは、感覚的にキャラクタのポージングの調整を図ることができるが、手の
画像を表示させないこともできる。
以上のように、本実施形態によれば、拡張現実空間にキャラクタの3Dオブジェクトを配
置させたまま、ハンドトラッキングを使ってキャラクタのポージングを調整することがで
きるため、あたかも現実空間でキャラクタフィギュアのポージングを決めるかのように、
キャラクタの3Dオブジェクトを生成することができる。
本実施形態によれば、単体のキャラクタの3Dオブジェクトを拡張現実空間に配置し、そ
の構成要素を変更させる処理を行うこととしているが、例えば、複数のキャラクタを同じ
拡張現実空間に配置させて、ユーザは、複数のキャラクタのうち、任意のキャラクタの3
Dオブジェクトのポージングを変更するよう、ハンドトラッキングを使って調整すること
ができる。これにより、ユーザは、あたかも現実空間において、複数の異なる容姿、背丈
のキャラクタが共存しているかのような感覚を覚えながら、お気に入りのキャラクタのポ
ージングを楽しむことができる。
さらに、本実施形態において、サーバ1は、あるユーザ端末2Aに提供された拡張現実空
間を、ネットワークを介して、別のユーザ端末2Bに提供することができる。ここで、ユ
ーザ端末2Aは、自端末の表示部28に表示される拡張現実空間において配置される、キ
ャラクタの3Dオブジェクトに関する情報を、他の端末2Bに送信するようサーバ1に要
求を送信する。ユーザ端末2Bは、ユーザ端末2Aにおいて表示されたキャラクタの3D
オブジェクトに関する情報を受信すると、自端末2Bの表示部に表示される拡張現実空間
に、キャラクタを表示させる。このとき、拡張現実空間に表示される背景画像には、ユー
ザ端末2B内蔵のカメラにより撮像された現実空間を使用することができる。そして、ユ
ーザ端末2Bを操作するユーザは、ユーザ端末2Aが操作するユーザによって指示される
キャラクタの容姿の変更の様子を自端末の拡張現実空間の中でリアルタイムに楽しむこと
ができる。
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定
して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良
することができると共に、本発明にはその均等物が含まれることは言うまでもない。
1 サーバ
2 ユーザ端末

























Claims (5)

  1. ユーザ装置の表示部に表示される拡張現実空間に配置される3Dオブジェクトを生成す
    る方法であって、
    撮像された現実空間に3Dオブジェクトの画像を表示し、
    前記拡張現実空間内におけるユーザのハンドジェスチャを検出し、
    当該ハンドジェスチャに基づいて、前記3Dオブジェクトの姿勢を制御する、
    方法。
  2. 前記3Dオブジェクトの姿勢を制御することは、
    前記拡張現実空間内に表示される3Dオブジェクト画像のうち、当該検出された位置座標
    を確認し、
    当該検出された位置座標に対応する前記3Dオブジェクトの位置座標を確認し、
    当該確認した3Dオブジェクトの位置座標に対応する当該3Dオブジェクトの部品を特
    定し、
    前記検出されたハンドジェスチャに基づいて、当該3Dオブジェクトの部品位置を変更
    する、ことを含む方法。
  3. 前記3Dオブジェクトはキャラクタに係る3Dオブジェクトである、請求項1に記載の
    方法。
  4. 前記部品は、前記3Dオブジェクトの可動部である、請求項2に記載の方法。
  5. 前記部品は、前記3Dオブジェクトの髪、腕、指、脚のいずれかである、請求項4に記載
    の方法。










JP2021130530A 2019-01-15 2021-08-10 拡張現実空間に配置される3dオブジェクトを生成する方法 Active JP7078234B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021130530A JP7078234B2 (ja) 2019-01-15 2021-08-10 拡張現実空間に配置される3dオブジェクトを生成する方法
JP2022030861A JP2022084658A (ja) 2019-01-15 2022-03-01 拡張現実空間に配置される3dオブジェクトを生成する方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019004082A JP2020113094A (ja) 2019-01-15 2019-01-15 拡張現実空間に配置される3dオブジェクトを生成する方法
JP2021130530A JP7078234B2 (ja) 2019-01-15 2021-08-10 拡張現実空間に配置される3dオブジェクトを生成する方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019004082A Division JP2020113094A (ja) 2019-01-15 2019-01-15 拡張現実空間に配置される3dオブジェクトを生成する方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022030861A Division JP2022084658A (ja) 2019-01-15 2022-03-01 拡張現実空間に配置される3dオブジェクトを生成する方法

Publications (2)

Publication Number Publication Date
JP2021185498A true JP2021185498A (ja) 2021-12-09
JP7078234B2 JP7078234B2 (ja) 2022-05-31

Family

ID=71613540

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019004082A Pending JP2020113094A (ja) 2019-01-15 2019-01-15 拡張現実空間に配置される3dオブジェクトを生成する方法
JP2021130530A Active JP7078234B2 (ja) 2019-01-15 2021-08-10 拡張現実空間に配置される3dオブジェクトを生成する方法
JP2022030861A Pending JP2022084658A (ja) 2019-01-15 2022-03-01 拡張現実空間に配置される3dオブジェクトを生成する方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019004082A Pending JP2020113094A (ja) 2019-01-15 2019-01-15 拡張現実空間に配置される3dオブジェクトを生成する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022030861A Pending JP2022084658A (ja) 2019-01-15 2022-03-01 拡張現実空間に配置される3dオブジェクトを生成する方法

Country Status (2)

Country Link
JP (3) JP2020113094A (ja)
WO (1) WO2020149270A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113094A (ja) * 2019-01-15 2020-07-27 株式会社シーエスレポーターズ 拡張現実空間に配置される3dオブジェクトを生成する方法
JP2022137826A (ja) * 2021-03-09 2022-09-22 株式会社Mawari 3dオブジェクトのストリーミング方法、装置、及びプログラム
JP7052128B1 (ja) 2021-07-20 2022-04-11 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7286856B2 (ja) * 2022-03-30 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172875A (ja) * 1998-12-04 2000-06-23 Namco Ltd ゲーム装置及び情報記憶媒体
JP2005056251A (ja) * 2003-08-06 2005-03-03 Square Enix Co Ltd 3次元画像描画装置及び方法、プログラム、並びに記録媒体
US20180088663A1 (en) * 2016-09-29 2018-03-29 Alibaba Group Holding Limited Method and system for gesture-based interactions
WO2019087564A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113094A (ja) * 2019-01-15 2020-07-27 株式会社シーエスレポーターズ 拡張現実空間に配置される3dオブジェクトを生成する方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000172875A (ja) * 1998-12-04 2000-06-23 Namco Ltd ゲーム装置及び情報記憶媒体
JP2005056251A (ja) * 2003-08-06 2005-03-03 Square Enix Co Ltd 3次元画像描画装置及び方法、プログラム、並びに記録媒体
US20180088663A1 (en) * 2016-09-29 2018-03-29 Alibaba Group Holding Limited Method and system for gesture-based interactions
WO2019087564A1 (ja) * 2017-11-01 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
JP2022084658A (ja) 2022-06-07
JP7078234B2 (ja) 2022-05-31
JP2020113094A (ja) 2020-07-27
WO2020149270A1 (ja) 2020-07-23

Similar Documents

Publication Publication Date Title
JP7078234B2 (ja) 拡張現実空間に配置される3dオブジェクトを生成する方法
US10318011B2 (en) Gesture-controlled augmented reality experience using a mobile communications device
EP3951720A1 (en) Three-dimensional object reconstruction method and device
US11430192B2 (en) Placement and manipulation of objects in augmented reality environment
US8811667B2 (en) Terminal device, object control method, and program
KR102222974B1 (ko) 홀로그램 스냅 그리드
US11049325B2 (en) Information processing apparatus, information processing method, and program
KR102684302B1 (ko) 가상 현실 (vr) 디바이스에 의해 디스플레이되는 가상 컨텐트를 네비게이트하는 방법 및 장치
JP2023024540A (ja) 表示端末
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
EP3705982B1 (en) Apparatus and method for adaptively configuring user interface
US20220253198A1 (en) Image processing device, image processing method, and recording medium
CN109842722B (zh) 一种图像处理方法及终端设备
KR20210014892A (ko) Ar 객체 생성 방법 및 전자 장치
US20190212834A1 (en) Software gyroscope apparatus
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US11960660B2 (en) Terminal device, virtual object manipulation method, and virtual object manipulation program
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
CN111311494B (zh) 眼球跟踪定位精度确定方法及相关产品
JP2020046863A (ja) 拡張現実空間に配置される3dオブジェクトを生成する方法
CN113253829A (zh) 眼球跟踪校准方法及相关产品
JP7480408B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法
JP7373090B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法
US11380071B2 (en) Augmented reality system and display method for anchoring virtual object thereof
JP7070245B2 (ja) 情報処理装置、動作制御プログラム、及び動作制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210810

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210902

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211014

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220301

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220301

C876 Explanation why request for accelerated appeal examination is justified

Free format text: JAPANESE INTERMEDIATE CODE: C876

Effective date: 20220301

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220330

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220406

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220428

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220510

R150 Certificate of patent or registration of utility model

Ref document number: 7078234

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150