JP7150894B2 - Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP7150894B2
JP7150894B2 JP2020572865A JP2020572865A JP7150894B2 JP 7150894 B2 JP7150894 B2 JP 7150894B2 JP 2020572865 A JP2020572865 A JP 2020572865A JP 2020572865 A JP2020572865 A JP 2020572865A JP 7150894 B2 JP7150894 B2 JP 7150894B2
Authority
JP
Japan
Prior art keywords
real scene
scene
pose data
image
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020572865A
Other languages
English (en)
Other versions
JP2022512525A (ja
Inventor
シンル・ホウ
チン・ルアン
チョンシャン・シェン
フェイ・ジャオ
ファフ・ウ
シェンチュアン・シ
ナン・ワン
ハンチン・ジアン
Original Assignee
ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910979900.8A external-priority patent/CN110738737A/zh
Application filed by ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド filed Critical ベイジン・センスタイム・テクノロジー・デベロップメント・カンパニー・リミテッド
Publication of JP2022512525A publication Critical patent/JP2022512525A/ja
Application granted granted Critical
Publication of JP7150894B2 publication Critical patent/JP7150894B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

（関連出願への相互参照）
本開示は、出願番号が２０１９１０９７９９００．８で、出願日が２０１９年１０月１５日である中国特許出願に基づいて提案され、この中国特許出願の優先権を主張し、この中国特許出願の全ての内容が参照により本開示に組み込まれる。
本開示は、拡張現実技術分野に関し、特にＡＲシーン画像処理方法及び装置、電子機器並びに記憶媒体に関する。
拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術では、エンティティ情報（視覚情報、音声、触覚など）をシミュレーションしてから実世界に重ね合わせることにより、実環境と仮想オブジェクトは同じ画面又は空間にリアルタイムに表示される。近年、ＡＲ機器の応用分野が広くなるため、ＡＲ機器は、生活、仕事、娯楽において重要な役割を果たし、ＡＲ機器によって表示されている拡張現現実シーンの効果に対する最適化が重要になっている。
本開示の実施例は、ＡＲシーン画像処理方法及び装置、電子機器と記憶媒体を提供する。
本開示の実施例の技術的解決策は以下のように実現される：
本開示の実施例によるＡＲシーン画像処理方法は、ＡＲ機器の撮影ポーズデータを取得することと、前記撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することと、前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示することと、を含む。
本開示の実施例では、ＡＲ機器の撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける予め設定された仮想オブジェクトのポーズデータに基づき、現実シーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定し、ここで、３次元シーンモデルが現実シーンを特徴付けることができるため、当該３次元シーンに基づいて構築された仮想オブジェクトのポーズデータは、現実シーンにより良く組み込まれてもよく、３次元シーンモデルにおける当該仮想オブジェクトのポーズデータから、ＡＲ機器のポーズデータと一致するプレゼンテーション特殊効果情報を確定することにより、ＡＲ機器にリアルな拡張現現実シーンの効果を表示することができる。
１つの可能な実施形態では、取得された前記撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することは、取得された前記撮影ポーズデータ、前記３次元シーンモデルにおける前記仮想オブジェクトのポーズデータ、及び前記３次元シーンモデルに基づき、前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することを含む。
上記実施例ではＡＲ機器の撮影ポーズデータ、３次元シーンモデルにおける仮想オブジェクトのポーズデータと３次元シーンモデルを組み合わせて現実シーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定し、仮想オブジェクトが３次元シーンモデルに対応する現実シーンにおけるエンティティ物体に遮蔽されていると確定された場合、３次元シーンモデルにより仮想オブジェクトに対する遮蔽効果を実現することができ、これにより、ＡＲ機器によりリアルな拡張現現実シーンが表示される。
１つの可能な実施形態では、前記３次元シーンモデルは、前記現実シーンに対応する複数の現実シーン画像を取得し、前記複数の現実シーン画像に基づいて前記３次元シーンモデルを生成することにより生成される。
１つの可能な実施形態では、前記複数の現実シーン画像に基づいて前記３次元シーンモデルを生成することは、取得された複数の現実シーン画像のそれぞれから複数の特徴点を抽出し、抽出された複数の特徴点、及び前記現実シーンと一致する予め記憶された３次元サンプル画像に基づき、前記３次元シーンモデルを生成することを含み、ここで、前記３次元サンプル画像は、前記現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
本開示の実施例では、複数の現実シーン画像のそれぞれの複数の特徴点により、稠密なポイントクラウドを構成し、当該稠密なポイントクラウド、及び寸法ラベルが付いた３次元サンプル画像により、現実シーンを特徴付けるための３次元モデルを生成し、次に等しい比率の座標変換により、現実シーンを特徴付ける３次元シーンモデルを取得し、当該方式によって取得された３次元シーンモデルは現実シーンを精確に特徴付けることができる。
１つの可能な実施形態では、ＡＲ機器の撮影ポーズデータを取得することは、前記ＡＲ機器で撮影された現実シーン画像を取得することと、前記現実シーン画像及び予め記憶された位置決め用の第一のニューラルネットワークモデルに基づき、撮影位置情報及び／又は撮影角度情報を含む、前記現実シーン画像に対応する撮影ポーズデータを確定することを含む。
１つの可能な実施形態では、次のステップに従って前記第一のニューラルネットワークモデルを訓練し、即ち、前記現実シーンを予め撮影して取得された複数のサンプル画像、及び各サンプル画像に対応する撮影ポーズデータに基づき、前記第一のニューラルネットワークモデルを訓練する。
本開示の実施例では、深層学習方式に基づいて現実シーン画像に対応する撮影ポーズデータを確定し、現実シーンを予め撮影して取得されたサンプル画像が十分である場合、撮影ポーズデータの識別精度が高い第一のニューラルネットワークモデルを取得することができ、当該第一のニューラルネットワークモデルにより、ＡＲ機器で撮影された現実シーン画像に基づき、現実シーン画像に対応する精度が高い撮影ポーズデータを確定することができる。
１つの可能な実施形態では、ＡＲ機器の撮影ポーズデータを取得することは、前記ＡＲ機器で撮影された現実シーン画像を取得し、前記現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、撮影位置情報及び／又は撮影角度情報を含む、前記現実シーン画像に対応する撮影ポーズデータを確定することを含み、前記位置合わせされた３次元サンプル画像は、前記現実シーンを予め撮影して取得されたサンプル画像フライブラリと予め記憶された３次元サンプル画像に基づいて特徴点を位置合わせした３次元サンプル画像であり、前記予め記憶された３次元サンプル画像は、前記現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
１つの可能な実施形態では、前記現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、前記現実シーン画像に対応する撮影ポーズデータを確定することは、前記位置合わせされた３次元サンプル画像に基づき、撮影された前記現実シーン画像の特徴点と一致する３次元サンプル画像の特徴点を確定し、前記位置合わせされた３次元サンプル画像での前記一致している３次元サンプル画像の特徴点に基づき、前記現実シーンを予め撮影して取得されたサンプル画像及び各サンプル画像に対応する撮影ポーズデータを含む前記サンプル画像フライブラリにおける前記現実シーン画像と一致するターゲットサンプル画像を確定することと、前記ターゲットサンプル画像に対応する撮影ポーズデータを前記現実シーン画像に対応する撮影ポーズデータとして確定することと、を含む。
本開示の実施例では、現実シーンを予め撮影して取得されたサンプル画像フライブラリと予め記憶された３次元サンプル画像フライブラリに対して特徴点を位置合わせした３次元サンプル画像が予め構築され、現実シーン画像を取得した場合、当該現実シーン画像の特徴点、及び当該位置合わせされた３次元サンプル画像に基づき、サンプル画像フライブラリにおける当該現実シーン画像と一致するターゲットサンプル画像を精確にすることができ、その後、当該ターゲットサンプルに対応する撮影ポーズデータを現実シーン画像に対応する撮影ポーズデータとして用いることができる。
１つの可能な実施形態では、ＡＲ機器の撮影ポーズデータを取得した後、前記方法は、更に、前記ＡＲ機器で撮影された現実シーン画像を取得し、前記現実シーン画像と、現実シーン画像の属性情報を確定するための予め記憶された第二のニューラルネットワークモデルとに基づき、前記現実シーン画像に対応する属性情報を確定することを含み、前記撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することは、前記撮影ポーズデータ、前記属性情報、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することを含む。
本開示の実施例では、ＡＲ機器の撮影ポーズデータと現実シーン画像の属性情報を組み合わせて現実シーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定することにより、仮想オブジェクトの表示特殊効果は現実シーンにより良く組み込まれてもよい。
１つの可能な実施形態では、前記第二のニューラルネットワークモデルは、前記現実シーンを予め撮影して取得された複数のサンプル画像、及び各サンプル画像に対応する属性情報に基づき、前記第二のニューラルネットワークモデルを訓練することにより訓練される。
１つの可能な実施形態では、ＡＲ機器の撮影ポーズデータを取得した後、前記方法は、更に、前記ＡＲ機器で撮影された現実シーンの予め設定された識別子を取得することと、前記予め設定された識別子、予め記憶された、予め設定された識別子と追加の仮想オブジェクト情報とのマッピング関係に応じて、前記現実シーンに対応する追加の仮想オブジェクト情報を確定することと、を含み、前記撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することは、前記撮影ポーズデータ、前記追加の仮想オブジェクト情報、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することを含む。
本開示の実施例では、ＡＲ機器の撮影ポーズデータと現実シーンの予め設定された識別子に対応する追加の仮想オブジェクト情報を組み合わせてＡＲシーン画像のプレゼンテーション特殊効果情報を確定することにより、ＡＲシーン画像の表示方式はより豊富になる。
１つの可能な実施形態では、前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示した後、前記方法は、更に、前記ＡＲ機器に表示されている前記仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することを含む。
１つの可能な実施形態では、前記仮想オブジェクトがターゲット楽器を含み、前記ＡＲ機器に表示されている前記仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することは、前記ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、前記ＡＲ機器を制御して、現在表示されている前記仮想オブジェクトの音声再生効果を前記トリガ操作に対応する音声再生効果に更新することを含む。
１つの可能な実施形態では、前記仮想オブジェクトがターゲット楽器を含み、複数の前記ＡＲ機器が存在する場合、前記ＡＲ機器に表示されている前記仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することは、複数の前記ＡＲ機器を制御して、現在表示されている前記同一の仮想オブジェクトの音声再生効果を、前記同一の仮想オブジェクトに作用する複数の前記トリガ操作に共通の対応する混合音声再生効果に更新することを含む。
１つの可能な実施形態では、前記仮想オブジェクトがターゲット楽器を含み、複数の前記ＡＲ機器が存在する場合、前記ＡＲ機器に表示されている前記仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することは、複数の前記ＡＲ機器のうちの少なくとも１つのＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、複数の前記ＡＲ機器を制御して、現在表示されている前記少なくとも１つの仮想オブジェクトの音声再生効果を、それぞれ前記少なくとも１つの仮想オブジェクトに作用する前記トリガ操作に共通のすることを含む。
本開示の実施例では、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作が取得された場合、ＡＲシーン画像におけるプレゼンテーション特殊効果情報を更新することができ、これにより、拡張現現実シーンの操作性が高まり、ユーザ体験が向上する。
本開示の実施例は、別のＡＲシーン画像処理方法を提供する。前記方法は、現実シーンに対応する複数の現実シーン画像を取得することと、前記複数の現実シーン画像に基づき、前記現実シーンを特徴付けるための３次元シーンモデルを生成することと、前記３次元シーンモデル、及び前記現実シーンと一致する仮想オブジェクトに基づき、ＡＲシーンにおける前記仮想オブジェクトのプレゼンテーション特殊効果情報を生成することと、前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示することと、を含む。
本開示の実施例では、現実シーンに対応する複数の現実シーン画像に基づき、現実シーンを特徴付けるための３次元シーンモデルを取得し、例えば、同じ座標系において１：１の比率で現実シーンと共に表示された３次元シーンモデルを取得することができ、このようにして、予め当該３次元シーンモデル及び現実シーンと一致する仮想オブジェクトに基づき、ＡＲシーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定することができ、これにより、仮想オブジェクトが当該プレゼンテーション特殊効果情報に従って１：１の現実シーンにおいて表示されている場合、ＡＲ機器にリアルな拡張現現実シーンの効果を表示することができる。
１つの可能な実施形態では、前記複数の現実シーン画像に基づき、前記現実シーンを特徴付けるための３次元シーンモデルを生成することは、取得された複数の現実シーン画像のそれぞれから複数の特徴点を抽出し、抽出された複数の特徴点、及び前記現実シーンと一致する予め記憶された３次元サンプル画像に基づき、前記３次元シーンモデルを生成することを含み、ここで、前記３次元サンプル画像は、前記現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
本開示の実施例では、複数の現実シーン画像のそれぞれの複数の特徴点により、稠密なポイントクラウドを構成し、当該稠密なポイントクラウド、及び寸法ラベルが付いた３次元サンプル画像により、現実シーンを特徴付けるための３次元モデルを生成し、次に等しい比率の座標変換により、現実シーンを特徴付ける３次元シーンモデルを取得することができ、当該方式によって取得された３次元シーンモデルは、現実シーンを精確に特徴付けることができる。
本開示の実施例によるＡＲシーン画像処理装置は、ＡＲ機器の撮影ポーズデータを取得するように構成される第一の取得モジュールと、前記撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得するように構成される第二の取得モジュールと、前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示するように構成される表示モジュールと、を備える。
本開示の実施例による別のＡＲシーン画像処理装置は、現実シーンに対応する複数の現実シーン画像を取得するように構成される取得モジュールと、前記複数の現実シーン画像に基づき、前記現実シーンを特徴付けるための３次元シーンモデルを生成するように構成される第一の生成モジュールと、前記３次元シーンモデル、及び前記現実シーンと一致する仮想オブジェクトに基づき、ＡＲシーンにおける前記仮想オブジェクトのプレゼンテーション特殊効果情報を生成するように構成される第二の生成モジュールと、前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示するように構成される表示モジュールと、を備える。
本開示の実施例による電子機器は、プロセッサ、メモリとバスを備え、前記メモリには前記プロセッサで実行可能な機械可読命令が記憶され、電子機器が動作する場合、前記プロセッサと前記メモリがバスを介して通信し、前記機械可読命令が前記プロセッサによって実行されるときに、前記プロセッサに前記方法のステップを実行させる。
本開示の実施例によるコンピュータ可読記憶媒体は、コンピュータに前記方法のステップを実行させるためのコンピュータプログラムを記憶する。
本開示の実施例によるコンピュータプログラムは、コンピュータに前記方法のステップを実行させるためである。
以上の一般的な説明及び以下の詳細な説明が本開示の実施例を限定するものではなく、例示的かつ説明的なものに過ぎないことを理解すべきである。
以下の図面を参照する例示的な実施例の詳細な説明によれば、本開示の他の特徴及び態様が明らかになる。
本開示の実施例によるＡＲシーン画像処理方法のフローチャートである。 本開示の実施例による撮影ポーズデータを確定するための方法のフローチャートである。 本発明の実施例による別の撮影ポーズデータを確定するための方法のフローチャートである。 本開示の実施例による別の撮影ポーズデータを確定するための方法のフローチャートである。 本開示の実施例による拡張現実の効果図である。 本開示の実施例による別のＡＲシーン画像処理方法のフローチャートである。 本開示の実施例による別のＡＲシーン画像処理方法のフローチャートである。 本開示の実施例による３次元シーンモデル生成方法のフローチャートである。 本開示の実施例によるＡＲシーン画像処理装置の構造図である。 本開示の実施例による別のＡＲシーン画像処理装置の構造図である。 本開示の実施例による電子機器の構造図である。 本開示の実施例による別の電子機器の構造図である。
本開示の実施例の技術的解決策をより明確に説明するために、以下に実施例に必要な図面を簡単に紹介する。ここでの図面は、明細書に組み込まれて明細書の一部を構成する。これらの図面は、本開示に準拠する実施例を示し、本開示の技術的解決策を説明するために明細書とともに使用される。以下の図面は本開示のいくつかの実施例だけを示すため、範囲を限定するためのものと見なされるべきではなく、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の関連する図面を得ることができることが理解可能である。
本開示の実施例の目的、技術的解決策と利点をより明確にするため、以下に本開示の実施例の図面を参照しながら本開示の実施例における技術的解決策を明確かつ完全に説明し、明らか、説明される実施例は本開示の実施例の一部だけであり、全ての実施例ではない。通常、ここでの図面で説明及び示されている本開示の実施例の構成要素は、様々な構成で配置及び設計されてもよい。したがって、以下、図面に提供される本開示の実施例の詳細な説明は、保護が請求される本開示の範囲を限定することを意図するものではなく、本開示の選択された実施例のみを表す。本開示の実施例に基づき、当業者が創造的な労働をせずに取得した全ての他の実施例は、本開示の保護範囲に属する。
拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術は、ＡＲ機器に応用されてもよく、ＡＲ機器は、ＡＲメガネ、タブレットコンピュータ、スマートフォンなどを含むがこれらに限定されない、ＡＲ機能をサポートできる任意の電子機器であってもよい。ＡＲ機器が現実シーンで操作される場合、当該ＡＲ機器により、現実シーンに重ね合わせられた仮想オブジェクトが見られてもよく、例えば、実のキャンパスの遊び場に重ね合わせられた仮想ツリー、空に重ね合わせられた仮想の飛ぶ鳥が見られてもよく、これらの仮想ツリーと仮想の飛ぶ鳥というこれらのオブジェクトがどのように現実シーンにより良く組み込まれて拡張現実における仮想オブジェクトに対する表示効果を実現するかは、本開示の実施例で議論される内容であり、以下に次の実施例と併せて説明される。
本実施例を容易に理解するために、まず本開示の実施例で開示されるＡＲシーン画像処理方法を詳細に紹介する。本開示の実施例によるＡＲシーン画像処理方法の実行本体は、上記ＡＲ機器であってもよく、ローカル又はクラウドサーバなどのデータ処理能力を持つ他の処理装置であってもよく、本開示の実施例で限定されない。
図１は本開示の実施例によるＡＲシーン画像処理方法のフローチャートである。前記方法は次のステップＳ１０１～Ｓ１０３を含む。
Ｓ１０１において、ＡＲ機器の撮影ポーズデータを取得する。
ここでのＡＲ機器は、ＡＲメガネ、タブレットコンピュータ、スマートフォン、スマートウェアラブルデバイスなどの表示機能とデータ処理機能を持つ装置を含むことができるがこれらに限定されない。
ここでのＡＲ機器の撮影ポーズデータは、ユーザがＡＲ機器を手に持っているか、又は着用している場合の仮想オブジェクトを表示するための表示部材の位置及び／又は表示角度を含むことができ、撮影ポーズデータを容易に解釈するために、ここで、世界座標系などの座標系の概念が導入され、ここでの撮影ポーズデータは、世界座標系でのＡＲ機器の表示部材の座標位置、又はＡＲ機器の表示部材と世界座標系の各座標軸との角度を含むか、又は世界座標系でのＡＲ機器の表示部材の座標位置及びＡＲ機器の表示部材と世界座標系の各座標軸との角度を同時に含み、撮影ポーズデータに含まれる内容は、拡張現現実シーンにおける仮想オブジェクトに対して設定された表示方式に関連しており、ここでは限定されない。
Ｓ１０２において、撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得する。
ここでの現実シーンは、建物の屋内シーン、街路シーン、物体などの仮想オブジェクトを重ね合わせることができる現実シーンであってもよく、現実シーンに仮想オブジェクトを重ね合わせることにより、ＡＲ機器で拡張現実効果を示すことができる。
ここでは３次元シーンモデルは、現実シーンを特徴付けることに用いられ、同じ座標系で現実シーンと共に等しい比率で表示されてもよい。例えば、現実シーンがある街路シーンであることを例とすると、当該街路が一棟の高層ビルを含む場合、当該現実シーンを特徴付けるための３次元シーンモデルは同様に当該街路のモデル及び当該街路中の当該高層ビルを含み、かつ３次元シーンモデルと現実シーンは同じ座標系で１：１の比率で表示され、即ち３次元シーンモデルが当該現実シーンの位置する世界座標系に配置される場合、当該３次元シーンモデルは、当該現実シーンに完全に重ね合わせられる。
ここでの仮想オブジェクトは、例えば、上記の仮想ツリーと仮想鳥などの現実シーンに表示されている仮想オブジェクトである。
ここでの３次元シーンモデルにおける仮想オブジェクトのポーズデータとは、仮想オブジェクトが３次元シーンモデルで表示される時の位置データ、ポーズデータ及び形態データなど、例えば上記の仮想鳥が空を飛ぶ時又は仮想ツリーが遊び場に位置する時の位置データ、ポーズデータ及び形態データなどを指す。
３次元シーンモデルと現実シーンが同じ座標系で１：１の比率で表示され、異なる座標系で等しい比率で表示されるため、３次元シーンモデルで表示される時の仮想オブジェクトのポーズデータが予め設定され、それによって当該ポーズデータに基づいて現実シーンでの仮想オブジェクトのプレゼンテーション特殊効果情報を特徴付けることができる。
例えば、３次元シーンモデルがあるキャンパスの遊び場であり、仮想オブジェクトが１０株のクリスマスツリーであり、ポーズデータに対応するプレゼンテーション特殊効果情報は、これらの１０株のクリスマスツリーが当該キャンパスの遊び場の北東の隅で表示されることである。本開示のいくつかの実施例において、ＡＲ機器の撮影ポーズデータ、及び現実シーンにおけるＡＲデバイスと同じ座標系での仮想オブジェクトの座標位置に基づき、現実シーンにおけるこれらの１０株のクリスマスツリーのプレゼンテーション特殊効果情報を確定することができる。例えば、ＡＲ機器が当該キャンパスの遊び場の北東の隅に近い場合、ＡＲ機器の視野範囲が限られるため、取得された、現実シーンにおける撮影ポーズデータに対応する１０株のクリスマスツリーのプレゼンテーション特殊効果情報は、これらの１０株のクリスマスツリーの一部、例えば中間の５株のクリスマスツリーがあるキャンパスの遊び場の北東の隅で表示されることであってもよい。
Ｓ１０３において、プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示する。
ここでのＡＲ機器によって表示されるＡＲシーン画像は、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報が現実シーンに重ね合わせられたシーン画像であり、例えば、現実シーンにおける上記の撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報は、１０株のクリスマスツリーのうちの５株があるキャンパスの遊び場の北東の隅で表示されることであり、現実シーンが当該キャンパスの遊び場である場合、ＡＲシーン画像は１０株のクリスマスツリーのうちの５株があるキャンパスの遊び場の北東の隅で表示されるシーン画像である。
以上の内容Ｓ１０１～Ｓ１０３で提案されたＡＲシーン画像処理方法では、現実シーンを特徴付けるための３次元シーンモデルにおける予め設定された仮想オブジェクトのポーズデータにより、現実シーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定し、ここで、３次元シーンモデルが現実シーンを特徴付けることができるため、当該３次元シーンモデルに基づいて構築された仮想オブジェクトのポーズデータは、現実シーンにより良く組み込まれてもよく、３次元シーンモデルにおける当該仮想オブジェクトのポーズデータから、ＡＲ機器のポーズデータと一致するプレゼンテーション特殊効果情報を確定することにより、ＡＲ機器にリアルな拡張現現実シーンの効果を表示することができる。
以上のプロセスの実行本体がＡＲ機器に配置されたプロセッサである場合、上記方式に基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報が確定された後、ＡＲ機器によってＡＲシーン画像を直接表示することができ、以上のプロセスの実行本体がクラウドプラットフォームのサーバ側に配置されたプロセッサである場合、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報が確定された後、当該プレゼンテーション特殊効果情報をＡＲ機器側に送信し、次にＡＲ機器によってＡＲシーン画像を表示することができる。
以下に実施例を参照しながら上記Ｓ１０１～Ｓ１０３のプロセスを分析する。
上記Ｓ１０１に対して、ＡＲ機器の撮影ポーズデータは様々な方式で取得されてもよく、例えば、ＡＲ機器にポーズデータセンサーが配置されている場合、ＡＲ機器上のポーズセンサーによってＡＲ機器の撮影ポーズデータを確定することができ、ＡＲ機器に画像収集部材、例えばカメラが配置されている場合、カメラで収集された現実シーン画像によって撮影ポーズデータを確定することができる。
ここでのポーズセンサーは、ＡＲ機器の撮影角度を確定するための角度センサー、例えばジャイロスコープ、慣性測定ユニット（ＩＭＵ：Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）などであってもよく、ＡＲ機器の撮影位置を確定するための位置決め部材、例えばグローバルポジショニングシステム（ＧＰＳ：Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、グローバルナビゲーションサテライトシステム（ＧＮＳＳ：Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ワイヤレスフィデリティ（ＷｉＦｉ：Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）位置決め技術に基づく位置決め部材であってもよく、ＡＲ機器の撮影角度を確定するための角速度センサーと撮影位置を確定するための位置決め部材とを同時に含むことができる。
本開示の実施例では、カメラで収集された現実シーン画像によって撮影ポーズデータを確定することを例とし、どのようにＡＲ機器の撮影ポーズデータを取得するかについて説明する。
１つの実施形態では、図２に示すように、カメラで収集された現実シーン画像によって撮影ポーズデータを確定する場合、次のステップＳ２０１～Ｓ２０２を実行することができ、ステップＳ２０１において、ＡＲ機器で撮影された現実シーン画像を取得する。Ｓ２０２において、現実シーン画像及び予め記憶された位置決め用の第一のニューラルネットワークモデルに基づき、撮影位置情報及び／又は撮影角度情報を含む、現実シーン画像に対応する撮影ポーズデータを確定する。
ここで、ＡＲ機器のカメラで収集された現実シーン画像が取得された場合、当該現実シーン画像を予め訓練された位置決め用の第一のニューラルネットワークモデルに入力すると、当該現実シーン画像に対応する撮影ポーズデータを取得することができる。
ここでの撮影ポーズデータは、カメラの撮影位置、又はカメラの撮影角度情報を含むことができ、又はカメラの撮影位置と撮影角度情報の両方を同時に含むことができる。
次のステップに従って第一のニューラルネットワークモデルを訓練することができ、即ち、前記現実シーンを予め撮影して取得された複数のサンプル画像、及び各サンプル画像に対応する撮影ポーズデータに基づき、第一のニューラルネットワークモデルを訓練することができる。
例えば、現実シーンに複数の異なる位置を設定し、次に各位置で現実シーンを異なる撮影角度で撮影することができ、これにより、多くのサンプル画像、及び各サンプル画像に対応する撮影ポーズデータを取得し、次にサンプル画像をモデル入力側とし、サンプル画像に対応する撮影ポーズデータをモデル出力側とし、訓練待ち第一のニューラルネットワークモデルに入力して訓練し、予め設定された条件に達した後、訓練が完了された第一のニューラルネットワークモデルを取得する。
ここでの予め設定された条件は、訓練回数が設定された閾値に達することであってもよく、撮影ポーズデータの識別精度が設定された精度範囲に達することであってもよく、ここでは詳しく説明されない。
このようにしてカメラで収集された現実シーン画像によって撮影ポーズデータを確定することは、深層学習方式に基づいて確定され、現実シーンを予め撮影して取得されたサンプル画像が十分である場合、撮影データを識別するための精度が高い第一のニューラルネットワークモデルを取得することができ、当該第一のニューラルネットワークモデルにより、ＡＲ機器で撮影された現実シーン画像に基づき、現実シーン画像に対応する精度が高い撮影ポーズデータを確定することができる。
別の実施形態では、図３に示すように、カメラで収集された現実シーン画像によって撮影ポーズデータを確定する場合、次のステップＳ３０１～Ｓ３０２を実行することができ、ステップＳ３０１において、ＡＲ機器で撮影された現実シーン画像を取得する。Ｓ３０２において、現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、撮影位置情報及び／又は撮影角度情報を含む、現実シーン画像に対応する撮影ポーズデータを確定する。
ここで、前記位置合わせされた３次元サンプル画像が前記現実シーンを予め撮影して取得されたサンプル画像フライブラリと予め記憶された３次元サンプル画像に基づいて特徴点を位置合わせした３次元サンプル画像であり、前記予め記憶された３次元サンプル画像が現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
ここで予め記憶された３次元サンプル画像は、現実シーンの形態特徴を特徴付けることができかつ寸法ラベルが付いた予め設定された３次元画像を含むことができ、例えば、現実シーンの形態特徴を特徴付けるコンピュータ支援設計（ＣＡＤ：Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）３次元画像であってもよく、例えば、様々な現実シーンの形態特徴を特徴付けるための３次元画像をＣＡＤソフトウェアで予め描画し、次にこれらの３次元画像を対応する現実シーンと関連付けて記憶することができる。
位置合わせされた３次元サンプルマップは、次のステップに従って取得されてもよい。
現実シーンを異なる撮影ポーズデータで撮影して複数のサンプル画像を取得し、サンプル画像フライブラリを構成し、各サンプル画像に対して、複数の特徴点を抽出し、現実シーンを特徴付けるための特徴点クラウドを構成し、当該特徴点クラウドを、現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像と位置合わせし、位置合わせされた３次元サンプル画像を取得する。
ここで各サンプル画像に対して抽出された特徴点は、現実シーンの重要な情報を特徴付けるための点であってもよく、例えば、顔画像に対して、特徴点は、目の角、口の角、眉の先端、鼻の翼などの顔の情報を表すいくつかの特徴点であってもよい。
抽出された特徴点が十分である場合、特徴点で構成された特徴点クラウドは、現実シーンを特徴付けるための３次元モデルを構成することができ、ここでの特徴点クラウドのうちの特徴点には単位がなく、特徴点クラウドで構成された３次元モデルにも単位がなく、次に当該特徴点クラウドを、寸法ラベルが付き且つ現実シーンの形態特徴を特徴付けることができる３次元画像と位置合わせした後、位置合わせされた３次元サンプル画像が取得され、現実シーンの形態特徴を特徴付けることができる３次元画像は、寸法ラベルが付いた３次元画像であるため、例えば、ここでの寸法ラベルは画素座標系での画素座標であってもよい。したがって、位置合わせされた３次元サンプル画像に基づき、当該位置合わせされた３次元サンプル画像での各サンプル画像から抽出された特徴点の座標情報を確定することができる。
現実シーンを撮影して取得された上記サンプル画像フライブラリには各サンプル画像に対応する撮影ポーズデータが含まれてもよい。このようにして、ＡＲ機器で撮影された現実シーン画像が取得された場合、まず当該シーン画像の特徴点を抽出し、次に位置合わせされた３次元サンプル画像に基づき、当該現実シーン画像と一致するサンプル画像を確定し、次にサンプル画像フライブラリに含まれる、対応する撮影ポーズデータに基づき、当該現実シーン画像に対応する撮影ポーズデータを確定することができる。
図４に示すように、現実シーン画像と位置合わせされた三次元サンプル画像に基づいて現実シーン画像に対応する撮影ポーズデータを確定する場合、以下のステップＳ４０１～Ｓ４０３を実行することができ、Ｓ４０１において、位置合わせされた三次元サンプル画像に基づき、撮影された現実シーン画像の特徴点と一致する３次元サンプル画像の特徴点を確定する。Ｓ４０２において、位置合わせされた３次元サンプル画像での一致している３次元サンプル画像の特徴点の座標情報に基づき、サンプル画像ライブラリにおける、現実シーン画像と一致するターゲットサンプル画像を確定し、サンプル画像ライブラリには、現実シーンを予め撮影して取得されたサンプル画像、及び各サンプル画像に対応する撮影ポーズデータが含まれる。Ｓ４０３において、ターゲットサンプル画像に対応する撮影ポーズデータを現実シーン画像に対応する撮影ポーズデータとして確定する。
ここで、ＡＲ機器で撮影された現実シーン画像を取得した後、当該現実シーン画像の特徴点を抽出し、次に当該現実シーン画像の特徴点を位置合わせされた３次元サンプル画像と位置合わせし、位置合わせされた３次元サンプル画像での当該現実シーン画像の特徴点と一致する３次元サンプル画像の特徴点を取得し、次に位置合わせされた３次元サンプル画像での一致している３次元サンプル画像の特徴点の座標情報を当該現実シーン画像の特徴点の座標情報とすることにより、当該当該現実シーン画像の特徴点の座標情報とサンプル画像フライブラリの各サンプル画像の特徴点の特徴情報に基づき、サンプル画像フライブラリにおける現実シーン画像と一致するターゲットサンプル画像を確定することができ、例えば、現実シーン画像の特徴点の座標情報と各サンプル画像の特徴点の特徴情報に基づき、当該現実シーン画像と各サンプル画像の類似度を確定し、類似値が最も高くかつ類似度閾値を超えているサンプル画像をここでのターゲットサンプル画像として用いることができる。
ターゲットサンプル画像が確定された後、当該ターゲット画像に対応する撮影ポーズデータは、ここでの現実シーン画像に対応する撮影ポーズデータとして用いられる。
本開示の実施例では、現実シーンを予め撮影して取得されたサンプル画像フライブラリと予め記憶された３次元サンプル画像フライブラリに対して特徴点を位置合わせした３次元サンプル画像が予め構築されるため、現実シーン画像を取得する場合、当該現実シーン画像の特徴点、及び当該位置合わせされた３次元サンプル画像に基づき、サンプル画像フライブラリにおける当該現実シーン画像と一致するターゲットサンプル画像を精確に確定することができ、その後、当該ターゲットサンプルに対応する撮影ポーズデータを現実シーン画像に対応する撮影ポーズデータとして用いることができる。
上記は、ＡＲ機器の撮影ポーズデータを取得するいくつかの方式であり、ＡＲ機器の撮影データが取得された後、本開示のいくつかの実施例では、当該撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することができる。
上記Ｓ１０２に対して、ここでの３次元シーンモデルは上記で紹介されており、その主な機能が２つの方面を含み、第一、当該３次元シーンモデルにおける仮想オブジェクトのポーズデータを取得するために、現実シーンにおける当該仮想オブジェクトのプレゼンテーション特殊効果情報を取得する。第二、現実シーンにおいて仮想オブジェクトが表示されている場合、遮蔽効果を示すことに用いられ、例えば、ＡＲ機器が配置された座標系での仮想オブジェクト、ＡＲ機器及び現実シーンの座標に基づき、現実シーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報が、当該仮想オブジェクトが現実シーンにおけるエンティティ物体に遮蔽されていることであると確定された場合、当該３次元シーンモデルにより遮蔽効果を示すことができ、遮蔽効果は後で紹介され、ここでは、まず３次元シーンモデルの初期生成プロセスを紹介する。
３次元シーンモデルは、次のステップに従って生成され、即ち、現実シーンに対応する複数の現実シーン画像を取得し、複数の現実シーン画像に基づき、３次元シーンモデルを生成する。
ここで、現実シーンに対応する複数の現実シーン画像を取得する場合、当該現実シーンを正確に特徴付けるための３次元シーンモデルを取得するために、現実シーンに対応する複数の現実シーン画像を取得する時に、当該現実シーンにおける予め設定された複数の位置で現実シーンを異なる撮影角度で撮影することができ、例えば、ＲＧＢ－Ｄ（赤、緑、青カラーモードの深度マップ：Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ｄｅｐｔｈ）カメラで当該現実シーン画像を撮影し、当該現実シーンの形態を完全に特徴付けることができる多くの現実シーン画像を取得し、次にこれらの現実シーン画像に基づき、３次元シーンモデルを生成することができる。
複数の現実シーン画像に基づいて３次元シーンモデルを生成する場合、取得された複数の現実シーン画像のそれぞれから複数の特徴点を抽出し、抽出された複数の特徴点、及び現実シーンと一致する予め記憶された３次元サンプル画像に基づき、３次元シーンモデルを生成するというプロセスを含むことができ、ここで、３次元サンプル画像は、現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
高精度の３次元シーンモデルを取得するために、取得された様々な現実シーン画像のそれぞれから複数の特徴点を抽出し、例えば現実シーンの形態を特徴付けることができる稠密なポイントクラウドを構成し、次に当該稠密なポイントクラウド、及び現実シーンと一致する、予め記憶された３次元サンプル画像に基づき、３次元シーンモデルを生成し、ここで現実シーンと一致する３次元サンプル画像は上記で紹介されており、ここで説明が省略される。
３次元シーンモデルを生成するプロセスでは、まず現実シーンを特徴付けることができる稠密なポイントクラウドをここでの３次元サンプル画像と位置合わせし、当該現実シーンに対応する、位置合わせされた３次元サンプル画像を取得し、即ち現実シーンを特徴付けるための３次元モデル、及び位置合わせされた３次元サンプル画像における当該３次元モデルの第一の座標情報を取得し、次に位置合わせされた３次元サンプル画像での当該３次元モデルの第一の座標情報、及び位置合わせされた３次元サンプル画像における画素座標系とｕｎｉｔｙ座標系との変換関係に基づき、ｕｎｉｔｙ座標系での当該３次元モデルの第二の座標情報を確定することができ、本開示のいくつかの実施例では、ｕｎｉｔｙ座標系での当該３次元モデルの第二の座標情報と、ｕｎｉｔｙ座標系と世界座標の間の変換関係とに基づき、世界座標系での当該３次元モデルの第三の座標情報を確定し、３次元シーンモデルを取得し、ここで現実シーンを特徴付けることができる稠密なポイントクラウドが複数の座標系で変換される場合、いずれも等しい比率で変換され、取得された３次元シーンモデルと現実シーンが同一の座標系で出現する場合で１：１比率で表示され、即ち当該３次元シーンモデルが当該現実シーンに完全に重ね合わせられる。
本開示の実施例では、複数の現実シーン画像のそれぞれの複数の特徴点により、稠密なポイントクラウドを構成し、当該稠密なポイントクラウド、及び寸法ラベルが付いた３次元サンプル画像により、現実シーンを特徴付けるための３次元モデルを生成し、その後、等しい比率の座標変換により、現実シーンを特徴付ける３次元シーンモデルを取得し、当該方式により取得された３次元シーンモデルは、現実シーンを精確に特徴付けることができる。
仮想オブジェクトが現実シーンにおけるエンティティ物体に遮蔽されている場合の仮想オブジェクトの表示特殊効果を示すために、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得する場合、３次元シーンモデルを導入する必要があり、即ち取得された撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することは、取得された撮影ポーズデータ、３次元シーンモデルにおける仮想オブジェクトのポーズデータ、及び３次元シーンモデルに基づき、撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することを含むことができる。
３次元シーンモデルとＡＲ機器が同一の座標系に位置する場合、当該３次元シーンモデルの位置関係、ＡＲ機器の撮影ポーズデータ、及び３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、当該仮想オブジェクトが３次元シーンモデルに対応する現実シーンにおけるエンティティ物体に遮蔽されているか否かを確定することができ、当該仮想オブジェクトの一部の領域が３次元シーンモデルに対応する現実シーンにおけるエンティティ物体に遮蔽されていると確定された場合、遮蔽された当該部分領域がレンダリングされなく、当該３次元シーンモデルはそれによって特徴付けられた現実シーンにおいて透明な状態に処理されることができる。即ち、ユーザは、ＡＲ機器で透明な形態の３次元シーンモデルを見ないが、仮想オブジェクトが現実シーンにおけるエンティティ物体に遮蔽されている表示効果を見ることができる。
図５に示すように、これは拡張現現実シーンである。図５における仮想オブジェクトＳ５０１が１つの仮想恐竜であり、現実シーンＳ５０２が建物であり、図５に表示されている建物画像が現実シーンに対応する３次元シーンモデルであり、当該３次元シーンモデルの位置座標、ＡＲ機器の撮影位置データ、及び３次元シーンモデルにおける仮想恐竜のポーズデータに基づき、当該仮想恐竜が３次元シーンモデルに対応する現実シーンにおけるエンティティ物体（建物）に遮蔽されていると確定された場合、仮想恐竜の遮蔽されている部分がレンダリングされなく、レンダリングプロセスにおいて当該３次元シーンモデルを透明な形態にするため、ＡＲユーザは、ＡＲ機器を介してリアルな遮蔽効果を見ることができ、即ち仮想恐竜の一部の領域が建物によって遮蔽ブロックされた後、仮想恐竜が建物の裏側から出て行くという表示特殊効果を示すことができる。
上記実施例ではＡＲ機器の撮影ポーズデータ、３次元シーンモデルにおける仮想オブジェクトのポーズデータと３次元シーンモデルを組み合わせて現実シーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定し、仮想オブジェクトが３次元シーンモデルに対応する現実シーンにおけるエンティティ物体に遮蔽されていると確定された場合、３次元シーンモデルにより仮想オブジェクトに対する遮蔽効果を実現することができ、これにより、ＡＲ機器によりリアルな拡張現現実シーンが表示される。
１つの実施形態では、プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示した後、本開示の実施例によって提供されるＡＲシーン画像処理方法は更にＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することを含む。
ここでＡＲシーン画像に表示されているプレゼンテーション特殊効果情報の更新は、ＡＲシーンにおける仮想オブジェクト画像の更新のトリガ、又は仮想オブジェクトに対応する音声再生効果の更新のトリガ、又は仮想オブジェクトに対応する匂いの放出の更新のトリガ、又はＡＲシーンにおける仮想オブジェクト画面の更新のトリガ、仮想オブジェクトに対応する音声再生効果の更新、及び仮想オブジェクトに対応する匂いの放出の更新のうちの様々な組み合わせを指すことができる。
ここで、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作は、ユーザのジェスチャー動作によってトリガされてもよく、例えば、特定のジェスチャー動作は、ＡＲ機器に表示されている仮想オブジェクトに対する１つのトリガ操作を表し、例えば、人差し指を伸ばして左右にスライドさせると、仮想オブジェクトへの切り替えを示すことができ、当該トリガ操作は、画像収集部材が設けられたＡＲ機器に応用されてもよく、当然、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作も表示画面に設けられた仮想ボタンによってトリガされてもよく、このトリガ操作は、主に表示部材を備えたＡＲ機器に応用される。
本開示の実施例では、仮想オブジェクトがターゲット楽器を含むことを例とすると、仮想オブジェクトは、例えば仮想ピアノ、仮想編鐘などであってもよく、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作の取得、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報の更新は、
ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、当該ＡＲ機器を制御して、現在表示されている仮想オブジェクトの音声再生効果をトリガ操作に対応する音声再生効果に更新することを含むことができる。
例えば、ターゲット楽器が仮想編鐘であり、かつＡＲ機器に表示されている仮想編鐘に対するトリガ操作を取得する場合、当該ＡＲ機器に表示されている仮想編鐘のトリガされた後の対応する音声再生効果に従って音声再生を行うことができる。
依然として仮想オブジェクトがターゲット楽器を含むことを例とすると、ＡＲ機器が複数含まれる場合、複数のＡＲユーザは、ＡＲ機器に表示されているＡＲシーン画像において当該仮想オブジェクトとのインタラクションを行うことができ、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作の取得、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報の更新は、
（１）複数のＡＲ機器に表示されている同一の仮想オブジェクトに対するトリガ操作を取得し、複数のＡＲ機器を制御して、現在表示されている同一の仮想オブジェクトの音声再生効果を、同一の仮想オブジェクトに作用する複数のトリガ操作に共通の対応する混合音声再生効果に更新すること、又は、
（２）複数のＡＲ機器のうちの少なくとも１つのＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、複数のＡＲ機器を制御して、現在表示されている少なくとも１つの仮想オブジェクトの音声再生効果を、それぞれ少なくとも１つの仮想オブジェクトに作用するトリガ操作に共通の対応する混合音声再生効果に更新することを含むことができる。
例えば、それぞれのＡＲ機器での表示されている同一の仮想ピアノに対する複数のＡＲユーザのトリガ操作が取得された場合、複数のＡＲ機器に表示されている当該仮想ピアノのトリガされた後の対応する混合音声再生効果に従って再生することができ、又は、それぞれのＡＲ機器での表示されている異なる仮想編鐘に対する複数のＡＲユーザのトリガ操作が取得された場合、複数のＡＲデバイスに表示されている異なる仮想編鐘のトリガされた後の対応する混合音声再生効果に従って再生することができる。
本開示の実施例では、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作が取得された場合、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することができ、これにより、拡張現現実シーンの操作性が高まり、ユーザ体験が向上する。
図６に示すように、本開示の実施例による別のＡＲシーン画像処理方法は、次のステップＳ６０１～Ｓ６０３を含むことができる。
Ｓ６０１において、ＡＲ機器の撮影ポーズデータ、及びＡＲ機器で撮影された現実シーン画像を取得する。
ここでの撮影ポーズデータは、上記と同じであるため、ここでは説明を省略する。
Ｓ６０２において、現実シーン画像と、現実シーン画像の属性情報を確定するための予め記憶された第二のニューラルネットワークモデルとに基づき、現実シーン画像に対応する属性情報を確定する。
ここでの属性情報とは現実シーン画像によって特徴付けられた現実シーンの具体的なタイプを指し、ラベル識別子によって示されてもよく、例えば、同一の屋内スペースの場合、様々な装飾タイプとしてドレスアップされてもよく、各装飾タイプが１つの仮想オブジェクトの表示特殊効果に対応することができ、例えば、仮想オブジェクトは、様々な色を発することができる仮想シャンデリアであってもよく、当該屋内スペースに対応する属性情報は、ヨーロピアンスタイル、チャイニーズスタイル、アメリカンスタイルなどを含むことができ、ヨーロピアンスタイルに対応する仮想オブジェクトは第一の色を示すシャンデリアであり、チャイニーズスタイルに対応する仮想オブジェクトは第二の色を示すためのシャンデリアであり、アメリカンスタイルに対応する仮想オブジェクトは第三の色を示すシャンデリアである。
Ｓ６０３において、撮影ポーズデータ、属性情報、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得する。
Ｓ６０４において、プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示する。
ステップＳ６０２～Ｓ６０３について次のように説明する。
上記Ｓ６０２について、第二のニューラルネットワークモデルは次のステップに従って訓練されてもよい。
現実シーンを予め撮影して取得された複数のサンプル画像、及び各サンプル画像に対応する属性情報に基づき、第二のニューラルネットワークモデルを訓練する。
ここで、様々な現実シーンに対して、当該現実シーンを異なる撮影ポーズで撮影し、多くのサンプル画像、及び各サンプル画像に対応する属性情報を取得し、次にサンプル画像をモデル入力側とし、サンプル画像に対応する属性情報をモデル出力側とし、訓練待ち第二のニューラルネットワークモデルに入力して訓練し、予め設定された条件に達した後、訓練が完了された第二のニューラルネットワークモデルを取得することができる。
ここでの予め設定された条件は、訓練回数が設定された閾値に達することであってもよく、撮影ポーズデータの識別精度が設定された精度範囲に達することであってもよく、ここでは詳しく説明されない。
上記ステップＳ６０３に対して、ここで上記Ｓ１０２に基づき、現実シーンの属性情報が追加され、即ち同時に撮影ポーズデータ、属性情報、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得し、例えば、上記例に対して、撮影された屋内スペースの属性情報がヨーロピアンスタイルである場合、仮想オブジェクトが第一の色を示すシャンデリアであるため、ヨーロッパスタイルの屋内スペースに対応する特殊効果情報を取得することができ、撮影された屋内スペースの属性情報がチャイニーズスタイルである場合、仮想オブジェクトが第二の色を示すシャンデリアであるため、チャイニーズスタイルの屋内スペースに対応するプレゼンテーション特殊効果情報を取得することができる。
ここでプレゼンテーション特殊効果情報の取得における撮影ポーズデータの役割は上記と類似であるため、ここでは説明を省略する。
仮想オブジェクトが表示される時に現実シーンにおけるエンティティ物理によって遮蔽される状況は、上記の状況と類似であるため、ここで説明を省略する。
上記実施方式では、ＡＲ機器の撮影ポーズデータと現実シーン画像の属性情報を組み合わせて現実シーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定することにより、仮想オブジェクトの表示特殊効果は現実シーンにより良く組み込まれてもよい。
また、本開示の実施例は更にＡＲシーン画像処理方法を提供する。この場合、現実シーンには予め設定された識別子が追加されてもよく、予め識別子には追加の仮想オブジェクトとマッピングする予め識別情報が記憶され、ここでの追加の仮想オブジェクト情報は、当該現実シーンに関連する動画、文字、画像などの情報であってもよく、当該方法は、ＡＲ機器の撮影ポーズデータとＡＲ機器で撮影された現実シーンの予め設定された識別子を取得するステップと、前記予め設定された識別子、及び予め記憶された、予め設定された識別子と追加の仮想オブジェクト情報とのマッピング関係に基づき、現実シーンに対応する追加の仮想オブジェクト情報を確定するステップと、前記撮影ポーズデータ、前記追加の仮想オブジェクト情報、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得するステップと、プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示するステップとを含む。
例えば、現実シーンである花瓶に予め設定された識別子を貼り付けることができ、当該予め設定された識別子は、２次元コード、画像ラベルなどであってもよく、ＡＲ機器で撮影された当該予め設定された識別子が取得された場合、当該予め設定された識別子に記憶されている予め設定された識別情報を抽出することができ、当該予め設定された識別子情報及び予め記憶された、予め設定された識別子情報と追加の仮想オブジェクト情報とのマッピング関係に基づき、当該花瓶上の予め設定された識別子がスキャンされたことを確定した後、ＡＲ機器に追加の仮想オブジェクト情報を表示し、次にＡＲ機器の撮影ポーズデータ、現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータ及び予め設定された識別子情報に対応する追加の仮想オブジェクト情報に基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得し、更に当該プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示することができる。ここでプレゼンテーション特殊効果情報の取得における撮影ポーズデータの役割は上記と類似であるため、ここでは説明を省略する。
例えば、追加の仮想オブジェクト情報は屋内スペースにおけるある花瓶に対する１つのテキスト紹介であり、当該花瓶には２次元コードが貼り付けられ、当該２次元コードには当該追加の仮想情報に対応する予め設定された識別子情報が記憶され、当該屋内スペースに入るＡＲ機器の撮影ポーズデータに対応する仮想オブジェクトは１つの仮想解説者であり、ＡＲ機器は、当該花瓶に貼り付けられた２次元コードをスキャンし、予め設定された識別子情報を取得した後、取得可能なプレゼンテーション特殊効果情報は、当該仮想解説者が当該花瓶の横に表示される追加の仮想オブジェクト情報即ち花瓶のテキスト紹介に対して解説することである。
上記実施方式では、ＡＲ機器の撮影ポーズデータと現実シーンの予め設定されたラベルに対応する追加の仮想オブジェクト情報を組み合わせてＡＲシーン画像のプレゼンテーション特殊効果情報を確定することにより、ＡＲシーン画像の表示方式はより豊富になる。
また、プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示する場合、本開示の実施例は、Ａ機器が静止した仮想物体に接近する場合、仮想オブジェクトの座標をリアルタイムで調整することにより、仮想オブジェクトの座標系をＡＲ機器の座標系と一致するように維持させることを提案し、これにより、ＡＲユーザが仮想オブジェクトに接近する場合、現実シーンと一致するという近接効果を表示することができ、例えば、ＡＲユーザは、ＡＲ機器を介して実の丸いテーブルに置かれている仮想花瓶を見て、ＡＲユーザが当該仮想花瓶に接近する場合、当該仮想花瓶との距離が小さくなる、即ち実の近接効果を感じることができる。
図７に示すように、本開示の実施例は、更にＡＲシーン画像処理方法を提供する。ここでの実行本体は、クラウドプラットフォームのサーバ側に配置されたプロセッサであってもよく、前記方法は、現実シーンに対応する複数の現実シーン画像を取得するステップＳ７０１と、複数の現実シーン画像に基づき、現実シーンを特徴付けるための３次元シーンモデルを生成するステップＳ７０２と、３次元シーンモデル及び現実シーンと一致する仮想オブジェクトに基づき、ＡＲシーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を生成するステップＳ７０３と、前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示するステップＳ７０４とを含む。
ここで３次元シーンモデルを生成するプロセスは上述した３次元シーンモデルの生成プロセスと同じであるため、ここで説明されない。
ここで、３次元シーンモデルにおける仮想オブジェクトのポーズデータを設定することができ、即ち３次元シーンモデルにおける仮想オブジェクトのプレゼンテーション特殊効果情報を取得することができ、３次元シーンモデルとそれによって特徴付けられた現実シーンが同じ座標系で完全に重ね合わせられるため、３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づいてＡＲシーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を取得することができる。
本開示の実施例では、現実シーンに対応する複数の現実シーン画像に基づき、現実シーンを特徴付けるための３次元シーンモデルを取得し、例えば、同じ座標系において１：１の比率で現実シーンと共に表示された３次元シーンモデルを取得することができ、このようにして、予め当該３次元シーンモデル及び現実シーンと一致する仮想オブジェクトとに基づき、ＡＲシーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定することができ、これにより、仮想オブジェクトが当該プレゼンテーション特殊効果情報に従って１：１の現実シーンに表示されている場合、ＡＲ機器にリアルな拡張現現実シーンの効果を表示することができる。
図８に示すように、複数の現実シーン画像に基づいて現実シーンを特徴付けるための３次元シーンモデルを生成する場合、以下のステップＳ８０１～Ｓ８０２を実行することができる。Ｓ８０１において、取得された複数の現実シーン画像のそれぞれから複数の特徴点を抽出する。Ｓ８０２において、抽出された複数の特徴点、及び現実シーンと一致する予め記憶された３次元サンプル画像に基づき、３次元シーンモデルを生成し、ここで、３次元サンプル画像は現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
当該プロセスは、複数の現実シーン画像に基づいて現実シーンを特徴付けるための３次元シーンモデルを生成するプロセスであり、以上に詳細に紹介されるため、ここで説明されない。
本開示の実施例では、複数の現実シーン画像のそれぞれの複数の特徴点により、稠密なポイントクラウドを構成し、当該稠密なポイントクラウド、及び寸法ラベルが付いた３次元サンプル画像により、現実シーンを特徴付けるための３次元モデルを生成し、その後等しい比率の座標変換により、現実シーンを特徴付ける３次元シーンモデルを取得することができ、当該方式により取得された３次元シーンモデルは、現実シーンを精確に特徴付けることができる。
本開示の実施例は、ＡＲシーン画像処理方法を提供する。本開示の実施例によって提供されるＡＲシーン画像処理方法の実行本体は上記ＡＲ機器であってもよく、ローカル又はクラウドサーバなどのデータ処理能力を持つ他の処理装置であってもよく、ＡＲシーン画像処理方法の実行本体がＡＲ機器であることを例として説明し、前記ＡＲシーン画像処理方法は以下のステップＳ９０１～Ｓ９０６を含むことができる。
Ｓ９０１において、ユーザが１つのエリアに入った後、ＡＲ機器は、撮影された当該エリアの現実シーン画像を取得する。
ここで、３次元再構成のＳＦＭ（ｓｔｒｕｃｔｕｒｅ－ｆｒｏｍ－ｍｏｔｉｏｎ：運動再構成）アルゴリズムに基づいて位置決め用のサンプル画像ライブラリを確定することができ、サンプル画像ライブラリの確立には、次のステップＳ９０１１～Ｓ９０１２が含まれてもよい。
Ｓ９０１１において、前記ＡＲ機器は、異なる角度に対応する多くの画像を収集し、当該３次元物体における各画像の特徴点を抽出し、ＳＦＭポイントクラウドで構成された３次元モデルを形成する。
Ｓ９０１２において、前記ＡＲ機器は、ＳＦＭポイントクラウドとＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ：コンピュータ支援設計）サンプル画像を位置合わせ（収集された特徴点データに基づき、１つの標準なＣＡＤサンプル画像を選択し）、サンプル画像ライブラリを取得する。
Ｓ９０２において、前記ＡＲ機器は、前記現実シーン画像の特徴点を抽出する。
Ｓ９０３において、前記ＡＲは、前記特徴点をサンプル画像ライブラリの特徴点と一致させ、サンプル画像ライブラリにおける対応する一致度が最も高い画像をターゲットサンプル画像として用いる。
Ｓ９０４において、前記ＡＲ機器は、前記ターゲットサンプル画像に対応する撮影ポーズデータを前記現実シーン画像に対応する撮影ポーズデータとして確定する。
ここで、前記撮影ポーズデータは、ＡＲ機器の現在の位置決め位置情報であってもよく、前記現在の位置決め位置情報は、地理的座標及び／又は撮影角度であってもよい。
Ｓ９０５において、前記ＡＲ機器は、前記撮影ポーズデータに基づき、現実シーンを特徴付けるための３次元シーンモデルと配置された仮想オブジェクトとを確定する。
ここで、前記３次元シーンモデルの構成には、稠密再構成法が採用されてもよく、ステップＳ９０５１～Ｓ９０５２が含まれてもよい。
Ｓ９０５１において、前記ＡＲ機器は、多くの画像上の特徴点を抽出する。
Ｓ９０５２において、前記ＡＲ機器は、各特徴点を接続し、３次元シーンモデルを構成するモデルの平面を取得する。
また、前記３次元シーンモデルの構成には、別の構成方法が採用されてもよく、ステップＳ９０５３が含まれてもよい。
Ｓ９０５３において、前記ＡＲ機器は、現実シーンの３次元画像又は２次元画像に基づき、現実シーンに対応する多くの３次元シーンモデルを構成する。
構成された３次元シーンモデルに基づき、仮想オブジェクトをシーンモデルに対応するシーンに配置することができる。後の応用のために、３次元シーンモデル＋配置された仮想オブジェクト＋地理的位置情報（ＶＲ機器位置、即ち撮影ポーズデータ）を記憶する。
Ｓ９０６において、前記ＡＲ機器は、仮想オブジェクトを、３次元シーンモデルにおけるポーズデータに従って現実シーンに表示し、拡張現実効果を示す。
ここで、前記ポーズデータは、３次元シーンモデルにおける仮想オブジェクトの配置位置関係であってもよい。
本開示の実施例による別のＡＲシーン画像処理方法は、次のステップＳ１００１～Ｓ１００４を含むことができる。
Ｓ１００１において、ユーザが１つのエリアに入った後、ＡＲ機器は、撮影された当該エリアの現実シーン画像を取得する。
Ｓ１００２において、前記ＡＲ機器は、前記現実シーン画像及び予め記憶された位置決め用のニューラルネットワークモデルに基づき、撮影位置及び／又は撮影角度情報を含む、前記現実シーン画像に対応する撮影ポーズデータを確定する。
ここで、前記ニューラルネットワークの訓練には、次のステップＳ１００２１～Ｓ１００２２が含まれてもよい。
Ｓ１００２１において、多くの画像位置サンプルを予め確立し、画像をモデル入力側とし、位置をモデル出力側とし、ニューラルネットワークモデルに入力して訓練し、位置予測モデルを取得する。
Ｓ１０００２において、画像を取得した後、画像を位置予測モデルに入力し、当該画像に対応する位置（即ち撮影ポーズデータ）を確定する。
Ｓ１００３において、前記ＡＲ機器は、前記撮影ポーズデータに基づき、現実シーンを特徴付けるための３次元シーンモデルと配置された仮想オブジェクトとを確定する。
Ｓ１００４において、前記ＡＲ機器は、仮想オブジェクトを、３次元シーンモデルにおけるポーズデータに従って現実シーンに表示し、拡張現実効果を示す。
上記ＡＲシーン画像処理方法におけるプロセスは更にエリア識別、オブジェクト属性識別、仮想オブジェクトルート計画などと組み合わせて実施されてもよい。
同一の技術的思想に基づき、本開示の実施例においてＡＲシーン画像処理方法に対応するＡＲシーン画像処理装置が提供される。本開示の実施例における装置が問題を解決する原理が、本開示の実施例における上記ＡＲシーン画像処理方法と類似するため、装置の実施について方法の実施を参照できるため、繰り返し説明を省略する。
図９に示すように、本開示の実施例によるＡＲシーン画像処理装置９００は、
ＡＲ機器の撮影ポーズデータを取得するように構成される第一の取得モジュール９０１と、撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得するように構成される第二の取得モジュール９０２と、プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示するように構成される表示モジュール９０３と、を備える。
１つの可能な実施形態では、第二の取得モジュール９０２は、取得された撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得し、即ち、取得された撮影ポーズデータ、３次元シーンモデルにおける仮想オブジェクトのポーズデータ、及び３次元シーンモデルに基づき、撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得するように構成される。
１つの可能な実施形態では、ＡＲシーン画像処理装置は、更に、次３次元シーンモデルを生成し、即ち、現実シーンに対応する複数の現実シーン画像を取得し、複数の現実シーン画像に基づいて３次元シーンモデルを生成するように構成される生成モジュール９０４を備える。
１つの可能な実施形態では、生成モジュール９０４は、複数の現実シーン画像に基づいて３次元シーンモデルを生成し、即ち、取得された複数の現実シーン画像のそれぞれから複数の特徴点を抽出し、抽出された複数の特徴点、及び現実シーンと一致する予め記憶された３次元サンプル画像に基づき、３次元シーンモデルを生成するように構成され、ここで、３次元サンプル画像が現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
１つの可能な実施形態、第一の取得モジュール９０１は、ＡＲ機器の撮影ポーズデータを取得し、即ちＡＲ機器で撮影された現実シーン画像を取得し、現実シーン画像及び予め記憶された位置決め用の第一のニューラルネットワークモデルに基づき、撮影ポーズデータが撮影位置情報及び／又は撮影角度情報を含む、現実シーン画像に対応する撮影ポーズデータを確定するように構成される。
１つの可能な実施形態では、ＡＲシーン画像処理装置は、更に、次のステップに従って第一のニューラルネットワークモデルを訓練し、即ち、現実シーンを予め撮影して取得された複数のサンプル画像、及び各サンプル画像に対応する撮影ポーズデータに基づき、前記第一のニューラルネットワークモデルを訓練するように構成される第一のモデル訓練モジュール９０５を備える。
１つの可能な実施形態、第一の取得モジュール９０１は、以下の方式を採用してＡＲ機器の撮影ポーズデータを取得し、即ち、ＡＲ機器で撮影された現実シーン画像を取得し、現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、撮影位置情報及び／又は撮影角度情報を含む、現実シーン画像に対応する撮影ポーズデータを確定するように構成され、位置合わせされた３次元サンプル画像が現実シーンを予め撮影して取得されたサンプル画像フライブラリと予め記憶された３次元サンプル画像に基づいて特徴点を位置合わせした３次元サンプル画像であり、予め記憶された３次元サンプル画像が現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
１つの可能な実施形態では、第一の取得モジュール９０１は、以下の方式を採用し、現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、現実シーン画像に対応する撮影ポーズデータを確定し、即ち、位置合わせされた３次元サンプル画像に基づき、撮影された現実シーン画像の特徴点と一致する３次元サンプル画像の特徴点を確定し、位置合わせされた３次元サンプル画像における一致している３次元サンプル画像の特徴点に基づき、現実シーンを予め撮影して取得されたサンプル画像及び各サンプル画像に対応する撮影ポーズデータを含むサンプル画像フライブラリにおける現実シーン画像と一致するターゲットサンプル画像を確定し、
ターゲットサンプル画像に対応する撮影ポーズデータを現実シーン画像に対応する撮影ポーズデータとして確定するように構成される。
１つの可能な実施形態では、第一の取得モジュール９０は更に前記ＡＲ機器で撮影された現実シーン画像を取得し、現実シーン画像と、現実シーン画像の属性情報を確定するための予め記憶された第二のニューラルネットワークモデルとに基づき、現実シーン画像に対応する属性情報を確定するように構成され、第二の取得モジュール９０２は、撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得し、即ち、撮影ポーズデータ、属性情報、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得するように構成される。
１つの可能な実施形態では、ＡＲシーン画像処理装置は、更に、次のステップに従って第二のニューラルネットワークモデルを訓練し、即ち、現実シーンを予め撮影して取得された複数のサンプル画像、及び各サンプル画像に対応する属性情報に基づき、第二のニューラルネットワークモデルを訓練するように構成される第二のモデル訓練モジュール９０６を備える。
１つの可能な実施形態では、第一の取得モジュール９０１は、ＡＲ機器の撮影ポーズデータを取得した後、更に、ＡＲ機器で撮影された現実シーンの予め設定された識別子を取得し、予め設定された識別子、予め記憶された、予め設定された識別子と追加の仮想オブジェクト情報とのマッピング関係に応じて、現実シーンに対応する追加の仮想オブジェクト情報を確定するように構成され、第二の取得モジュール９０２は、撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得し、即ち、撮影ポーズデータ、追加の仮想オブジェクト情報、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得するように構成される。
１つの可能な実施形態では、表示モジュール９０３は、プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示した後、更に、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新するように構成される。
１つの可能な実施形態では、仮想オブジェクトがターゲット楽器を含み、表示モジュール９０３は、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新し、即ち、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、ＡＲ機器を制御して、現在表示されている仮想オブジェクトの音声再生効果をトリガ操作に対応する音声再生効果に更新するように構成される。
１つの可能な実施形態では、仮想オブジェクトがターゲット楽器を含み、ＡＲ機器が複数含まれ、表示モジュール９０３は、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新し、即ち、複数のＡＲ機器に表示されている同一の仮想オブジェクトに対するトリガ操作を取得し、複数のＡＲ機器を制御して、現在表示されている同一の仮想オブジェクトの音声再生効果を、同一の仮想オブジェクトに作用する複数の前記トリガ操作に共通の対応する混合音声再生効果に更新するように構成される。
１つの可能な実施形態では、仮想オブジェクトがターゲット楽器を含み、ＡＲ機器が複数含まれ、表示モジュール９０３は、ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新し、即ち、複数のＡＲ機器のうちの少なくとも１つのＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、複数のＡＲ機器を制御して、現在表示されている少なくとも１つの仮想オブジェクトの音声再生効果を、それぞれ少なくとも１つの仮想オブジェクトに作用するトリガ操作に共通の対応する混合音声再生効果に更新するように構成される。
図１０に示すように、本開示の実施例によるＡＲシーン画像処理装置１０００は、
現実シーンに対応する複数の現実シーン画像を取得するように構成される取得モジュール１００１と、複数の現実シーン画像に基づき、現実シーンを特徴付けるための３次元シーンモデルを生成するように構成される第一の生成モジュール１００２と、３次元シーンモデル、及び現実シーンと一致する仮想オブジェクトに基づき、ＡＲシーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を生成するように構成される第二の生成モジュール１００３と、前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示するように構成される表示モジュール１００４とを備える。
１つの可能な実施形態では、第一の生成モジュール１００２は、複数の現実シーン画像に基づき、現実シーンを特徴付けるための３次元シーンモデルを生成し、即ち、取得された複数の現実シーン画像のそれぞれから複数の特徴点を抽出し、抽出された複数の特徴点、及び現実シーンと一致する予め記憶された３次元サンプル画像に基づき、３次元シーンモデルを生成するように構成され、ここで、３次元サンプル画像が現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である。
いくつかの実施例では、本開示の実施例で提供される装置が持っている機能又は備えるモジュールは、上記方法の実施例で説明される方法を実行することに用いられてもよく、その実現については、上記方法の実施例の説明を参照することができ、簡潔にするために、ここでは説明を省略する。
本開示の実施例は、更に電子機器１１００を提供する。図１１は、本開示の実施例による電子機器の構造図である。前記電子機器は、
プロセス１１０１、メモリ１１０２とバス１１０３を備え、メモリ１１０２が実行命令を記憶するように構成され、メモリ１１０２と外部メモリ１１０２２を含み、ここでのメモリ１１０２１も内部メモリとも呼ばれ、プロセッサ１１０１での処理データと、ハードディスク１１０２２などの外部メモリ１１０２２と交換されるデータとを一時的に記憶するように構成され、プロセッサ１１０１が内部メモリ１１０２１と外部メモリ１０２２を介してデータ交換を行い、電子機器１１００が動作する場合、プロセッサ１１０１とメモリ１１０２は、バス１１０３を介して通信し、これにより、プロセッサ１１０１は、次の命令を実行し、即ち、ＡＲ機器の撮影ポーズデータを取得し、撮影ポーズデータ及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、現実シーンにおける撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得し、プレゼンテーション特殊効果情報に基づき、ＡＲ機器によってＡＲシーン画像を表示する。
本開示の実施例は、更に電子機器１２００を提供する。図１２は、本開示の実施例による電子機器の構造図である。前記電子機器は、
プロセス１２０１、メモリ１２０２とバス１２０３を備え、メモリ１２０２が実行命令を記憶するように構成され、メモリ１２０２と外部メモリ１２０２２を含み、ここでのメモリ１２０２１も内部メモリとも呼ばれ、プロセッサ１２０１での処理データと、ハードディスク１２０２２などの外部メモリ１２０２２と交換されるデータとを一時的に記憶するように構成され、プロセッサ１２０１が内部メモリ１２０２１と外部メモリ１０２２を介してデータ交換を行い、電子機器１２００が動作する場合、プロセッサ１２０１とメモリ１１０２は、バス１２０３を介して通信し、これにより、プロセッサ１２０１は、次の命令を実行し、即ち、現実シーンに対応する複数の現実シーン画像を取得し、複数の現実シーン画像に基づき、現実シーンを特徴付けるための３次元シーンモデルを生成し、３次元シーンモデル、及び現実シーンと一致する仮想オブジェクトに基づき、ＡＲシーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を生成し、前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示する。
本開示の実施例は更に、コンピュータプログラムを記憶し、当該コンピュータプログラムがプロセッサによって実行される場合で上記方法の実施例におけるＡＲシーン画像処理方法のステップを実行するコンピュータ可読記憶媒体を提供する。
本開示の実施例によって提供されるＡＲシーン画像処理方法のコンピュータプログラム製品は、プログラムコードを記憶しているコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令が上記方法の実施例におけるＡＲシーン画像処理方法のステップの実行に利用可能であり、上記方法の実施例を参照することができるため、ここで説明を省略する。
当業者は、便利及び簡潔に説明するために、上記のシステムと装置の動作プロセスについて、上記方法の実施例における対応するプロセスを参照することができ、ここで説明を省略することを明確に理解することができる。本開示によって提供されるいくつかの実施例では、開示されるシステム、装置及び方法は、他の方式により実現されてもよいと理解すべきである。上記の装置の実施例は例示的なものだけであり、例えば、前記ユニットの区分は、論理機能的区分だけであり、実際に実施する時に他の区分方式もあり得て、例えば、複数のユニット又は構成要素は組み合わせられてもよく又は別のシステムに統合されてもよく、又はいくつかの特徴は無視されてもよく、又は実行されなくてもよい。また、示されるから又は議論される相互結合又は直接結合又は通信接続は、いくつかの通信インターフェース、装置又はユニットを介する間接的結合又は通信接続であってもよく、電気的、機械的又は他の形態であってもよい。
分離部材として説明される前記ユニットは物理的に分離するものであってもよく又は物理的に分離するものでなくてもよく、ユニットとして表示された部材は物理的ユニットであってもよく又は物理的ユニットでなくてもよく、即ち一つの位置に配置されてもよく、又は複数のネットワークユニットに分布してもよい。実際のニーズに応じてそのうちの一部又は全てのユニットを選択して本実施例の解決策の目的を達成することができる。
また、本開示の各実施例における各機能ユニットは、一つの処理ユニットに統合されてもよく、個々のユニットは単独で物理的に存在してもよく、２つ又は２つ以上のユニットは一つのユニットに統合されてもよい。
前記機能はソフトウェア機能ユニットの形態で実現され且つ独立した製品として販売又は使用される場合、プロセッサで実行可能な不揮発性のコンピュータ可読記憶媒体に記憶されてもよい。このような理解に基づき、本開示の技術的解決策は本質的に又は従来技術に寄与する部分又は該技術的解決策の部分がソフトウェア製品の形で実現されてもよく、当該コンピュータソフトウェア製品が１つの記憶媒体に記憶され、コンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワークデバイス等であってもよい）に本開示の各実施例に記載される方法の全て又は一部のステップを実行させるためのいくつかの命令を含む。前記憶媒体はＵディスク、モバイルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気ディスク又は光ディスク等のプログラムコードを記憶できる様々な媒体を含む。
最後に説明すべきこととして、上記実施例は、本開示の実施形態だけであり、本開示の技術的解決策を説明することに用いられるが、それを限定するためのものではなく、本開示の保護範囲はこれに限定されなく、上記実施例を参照して本開示を詳細に説明するが、当業者は、いかなる当業者が本開示で開示される技術範囲で、依然として上記実施例に記載される技術的解決策を修正することができ、又は変更を容易に想到することができし、又はその中の部分技術特徴に対して同等の入れ替えを行うことができ、これらの修正、変更又は入れ替えが対応する技術的解決策の本質を、本発明の実施例における技術的解決策の精神及び範囲から逸脱させなく、全て本開示の保護範囲に含まれるべきである。したがって、本開示の保護範囲は、特許請求の保護範囲に準拠するべきである。
本開示の実施例では、ＡＲ機器の撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける予め設定された仮想オブジェクトのポーズデータに基づき、現実シーンにおける仮想オブジェクトのプレゼンテーション特殊効果情報を確定し、ここで、３次元シーンモデルが現実シーンを特徴付けることができるため、当該３次元シーンに基づいて構築された仮想オブジェクトのポーズデータは現実シーンにより良く組み込まれてもよく、３次元シーンモデルにおける当該仮想オブジェクトのポーズデータから、ＡＲ機器のポーズデータと一致するプレゼンテーション特殊効果情報を確定することにより、ＡＲ機器にリアルな拡張現現実シーンの効果を表示することができる。
９００ ARシーン画像処理装置
９０１ 第一の取得モジュール
９０２ 第二の取得モジュール
９０３ 表示モジュール
９０４ 生成モジュール
９０５ 第一のモデル訓練モジュール
９０６ 第二のモデル訓練モジュール
１０００ ARシーン画像処理装置
１００１ 取得モジュール
１００２ 第一の生成モジュール
１００３ 第二の生成モジュール
１００４ 表示モジュール
１１００ 電子機器
１１０１ プロセッサ
１１０２ メモリ
１１０３ バス
１２００ 電子機器
１２０１ プロセッサ
１２０２ メモリ
１２０３ バス
１１０２１ 内部メモリ
１１０２２ 外部メモリ
１２０２１ 内部メモリ
１２０２２ 外部メモリ

Claims (13)

  1. 拡張現実（ＡＲ）シーン画像処理方法であって、
    ＡＲ機器の撮影ポーズデータを取得することと、
    前記撮影ポーズデータ及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することと、
    前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示することと、を含み、
    前記ＡＲ機器の撮影ポーズデータを取得することは、
    前記ＡＲ機器で撮影された現実シーン画像を取得することと、
    前記現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、前記現実シーン画像に対応する撮影ポーズデータを確定することであって、前記撮影ポーズデータは撮影位置情報及び／又は撮影角度情報を含み、前記位置合わせされた３次元サンプル画像は、前記現実シーンを予め撮影して取得されたサンプル画像ライブラリと予め記憶された３次元サンプル画像に基づいて特徴点を位置合わせした３次元サンプル画像であり、前記予め記憶された３次元サンプル画像は前記現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像であり、
    前記現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、前記現実シーン画像に対応する撮影ポーズデータを確定することは、
    前記位置合わせされた３次元サンプル画像に基づき、撮影された前記現実シーン画像の特徴点と一致する３次元サンプル画像の特徴点を確定することと、
    前記位置合わせされた３次元サンプル画像での前記一致している３次元サンプル画像の特徴点の座標情報に基づき、前記サンプル画像ライブラリにおける、前記現実シーン画像と一致するターゲットサンプル画像を確定することであって、前記サンプル画像ライブラリは、前記現実シーンを予め撮影して取得されたサンプル画像及び各サンプル画像に対応する撮影ポーズデータを含む、ことと、
    前記ターゲットサンプル画像に対応する撮影ポーズデータを前記現実シーン画像に対応する撮影ポーズデータとして確定することと、を含む、ＡＲシーン画像処理方法。
  2. 前記取得された前記撮影ポーズデータ及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することは、
    取得された前記撮影ポーズデータ、前記３次元シーンモデルにおける前記仮想オブジェクトのポーズデータ、及び前記３次元シーンモデルに基づき、前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することを含むことを特徴とする
    請求項１に記載の方法。
  3. 前記３次元シーンモデルは、
    前記現実シーンに対応する複数の現実シーン画像を取得し、
    前記複数の現実シーン画像に基づき、前記３次元シーンモデルを生成することにより生成され、
    前記複数の現実シーン画像に基づき、前記３次元シーンモデルを生成することは、
    取得された複数の現実シーン画像のそれぞれから複数の特徴点を抽出することと、
    抽出された複数の特徴点、及び前記現実シーンと一致する予め記憶された３次元サンプル画像に基づき、前記３次元シーンモデルを生成することであって、前記３次元サンプル画像は、前記現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である、ことと、を含むことを特徴とする
    請求項１又は２に記載の方法。
  4. 前記ＡＲ機器の撮影ポーズデータを取得することはさらに、
    前記ＡＲ機器で撮影された現実シーン画像を取得することと、
    前記現実シーン画像及び予め記憶された位置決め用の第一のニューラルネットワークモデルに基づき、前記現実シーン画像に対応する撮影ポーズデータを確定することであって、前記撮影ポーズデータは撮影位置情報及び／又は撮影角度情報を含む、ことと、を含み、
    前記第一のニューラルネットワークモデルは、
    前記現実シーンを予め撮影して取得された複数のサンプル画像、及び各サンプル画像に対応する撮影ポーズデータに基づき、前記第一のニューラルネットワークモデルを訓練することにより訓練されることを特徴とする
    請求項１～３のいずれか一項に記載の方法。
  5. 前記ＡＲ機器の撮影ポーズデータを取得した後、
    前記ＡＲ機器で撮影された現実シーン画像を取得することと、
    前記現実シーン画像と、現実シーン画像の属性情報を確定するための予め記憶された第二のニューラルネットワークモデルとに基づき、前記現実シーン画像に対応する属性情報を確定することと、を更に含み、
    前記撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することは、
    前記撮影ポーズデータ、前記属性情報、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することを含み、
    前記第二のニューラルネットワークモデルは、
    前記現実シーンを予め撮影して取得された複数のサンプル画像、及び各サンプル画像に対応する属性情報に基づき、前記第二のニューラルネットワークモデルを訓練することにより訓練されることを特徴とする
    請求項１～４のいずれか一項に記載の方法。
  6. 前記ＡＲ機器の撮影ポーズデータを取得した後、
    前記ＡＲ機器で撮影された現実シーンの予め設定された識別子を取得することと、
    前記予め設定された識別子、及び予め記憶された、予め設定された識別子と追加の仮想オブジェクト情報とのマッピング関係に応じて、前記現実シーンに対応する追加の仮想オブジェクト情報を確定することと、を更に含み、
    前記撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することは、
    前記撮影ポーズデータ、前記追加の仮想オブジェクト、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得することを含むことを特徴とする
    請求項１～４のいずれか一項に記載の方法。
  7. 前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示した後、
    前記ＡＲ機器に表示されている前記仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することを更に含むことを特徴とする
    請求項１～６のいずれか一項に記載の方法。
  8. 前記仮想オブジェクトがターゲット楽器を含む場合、前記ＡＲ機器に表示されている前記仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することは、
    前記ＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、前記ＡＲ機器を制御して、現在表示されている前記仮想オブジェクトの音声再生効果を前記トリガ操作に対応する音声再生効果に更新することを更に含み、
    又は、
    前記仮想オブジェクトがターゲット楽器を含み、複数の前記ＡＲ機器が存在する場合、前記ＡＲ機器に表示されている前記仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することは、
    複数の前記ＡＲ機器に表示されている同一の仮想オブジェクトに対するトリガ操作を取得し、複数の前記ＡＲ機器を制御して、現在表示されている前記同一の仮想オブジェクトの音声再生効果を、前記同一の仮想オブジェクトに作用する複数の前記トリガ操作に共通の対応する混合音声再生効果に更新することを含み、
    又は、
    前記仮想オブジェクトがターゲット楽器を含み、複数の前記ＡＲ機器が存在する場合、前記ＡＲ機器に表示されている前記仮想オブジェクトに対するトリガ操作を取得し、ＡＲシーン画像に表示されているプレゼンテーション特殊効果情報を更新することは、
    複数の前記ＡＲ機器のうちの少なくとも１つのＡＲ機器に表示されている仮想オブジェクトに対するトリガ操作を取得し、複数の前記ＡＲ機器を制御して、現在表示されている少なくとも１つの仮想オブジェクトの音声再生効果を、それぞれ少なくとも１つの仮想オブジェクトに作用する前記トリガ操作に共通の対応する混合音声再生効果に更新することを含むことを特徴とする
    請求項７に記載の方法。
  9. 拡張現実（ＡＲ）シーン画像処理方法であって、
    現実シーンに対応する複数の現実シーン画像を取得することと、
    前記複数の現実シーン画像に基づき、前記現実シーンを特徴付けるための３次元シーンモデルを生成することと、
    前記３次元シーンモデル、及び前記現実シーンと一致する仮想オブジェクトに基づき、ＡＲシーンにおける前記仮想オブジェクトのプレゼンテーション特殊効果情報を生成することと、を含み、
    前記複数の現実シーン画像に基づき、前記現実シーンを特徴付けるための３次元シーンモデルを生成することは、
    取得された複数の現実シーン画像のそれぞれから複数の特徴点を抽出することと、
    抽出された複数の特徴点、及び前記現実シーンと一致する予め記憶された３次元サンプル画像に基づき、前記３次元シーンモデルを生成することであって、前記３次元サンプル画像は、前記現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像である、ことと、を含む、ＡＲシーン画像処理方法。
  10. 拡張現実（ＡＲ）シーン画像処理装置であって、
    ＡＲ機器の撮影ポーズデータを取得するように構成される第一の取得モジュールと、
    前記撮影ポーズデータ、及び現実シーンを特徴付けるための３次元シーンモデルにおける仮想オブジェクトのポーズデータに基づき、前記現実シーンにおける前記撮影ポーズデータに対応する仮想オブジェクトのプレゼンテーション特殊効果情報を取得するように構成される第二の取得モジュールと、
    前記プレゼンテーション特殊効果情報に基づき、前記ＡＲ機器によってＡＲシーン画像を表示するように構成される表示モジュールと、を備え、
    前記第一の取得モジュールはさらに、以下の方式を採用してＡＲ機器の撮影ポーズデータを取得し、即ち、ＡＲ機器で撮影された現実シーン画像を取得し、現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、撮影位置情報及び／又は撮影角度情報を含む、現実シーン画像に対応する撮影ポーズデータを確定するように構成され、位置合わせされた３次元サンプル画像が現実シーンを予め撮影して取得されたサンプル画像ライブラリと予め記憶された３次元サンプル画像に基づいて特徴点を位置合わせした３次元サンプル画像であり、予め記憶された３次元サンプル画像が現実シーンの形態特徴を特徴付けるための予め記憶された３次元画像であり、
    前記第一の取得モジュールはさらに、以下の方式を採用し、現実シーン画像及び位置合わせされた３次元サンプル画像に基づき、現実シーン画像に対応する撮影ポーズデータを確定し、即ち、位置合わせされた３次元サンプル画像に基づき、撮影された現実シーン画像の特徴点と一致する３次元サンプル画像の特徴点を確定し、位置合わせされた３次元サンプル画像における一致している３次元サンプル画像の特徴点に基づき、現実シーンを予め撮影して取得されたサンプル画像及び各サンプル画像に対応する撮影ポーズデータを含むサンプル画像ライブラリにおける現実シーン画像と一致するターゲットサンプル画像を確定し、ターゲットサンプル画像に対応する撮影ポーズデータを現実シーン画像に対応する撮影ポーズデータとして確定するように構成される、ＡＲシーン画像処理装置。
  11. プロセッサ、メモリとバスを備え、前記メモリには前記プロセッサで実行可能な機械可読命令が記憶され、電子機器が動作している場合、前記プロセッサと前記メモリがバスを介して通信し、前記機械可読命令が前記プロセッサによって実行されるときに、前記プロセッサに、請求項１～８のいずれか一項に記載のＡＲシーン画像処理方法を実行させるか、又は請求項９に記載のＡＲシーン画像処理方法を実行させる電子機器。
  12. コンピュータに、請求項１～８のいずれか一項に記載のＡＲシーン画像処理方法を実行させるか、又は請求項９に記載のＡＲシーン画像処理方法を実行させるためのコンピュータプログラムを記憶したコンピュータ可読記憶媒体。
  13. コンピュータに、請求項１～８のいずれか一項に記載のＡＲシーン画像処理方法を実行させるか、又は請求項９に記載のＡＲシーン画像処理方法を実行させるためのコンピュータプログラム。
JP2020572865A 2019-10-15 2020-08-31 Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体 Active JP7150894B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910979900.8 2019-10-15
CN201910979900.8A CN110738737A (zh) 2019-10-15 2019-10-15 一种ar场景图像处理方法、装置、电子设备及存储介质
PCT/CN2020/112707 WO2021073292A1 (zh) 2019-10-15 2020-08-31 一种ar场景图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
JP2022512525A JP2022512525A (ja) 2022-02-07
JP7150894B2 true JP7150894B2 (ja) 2022-10-11

Family

ID=75492151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572865A Active JP7150894B2 (ja) 2019-10-15 2020-08-31 Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体

Country Status (2)

Country Link
US (1) US11423625B2 (ja)
JP (1) JP7150894B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176827B (zh) * 2021-05-25 2022-10-28 青岛大学 基于表情的ar交互方法、系统、电子设备及存储介质
CN113628322B (zh) * 2021-07-26 2023-12-05 阿里巴巴（中国）有限公司 图像处理、ar显示与直播方法、设备及存储介质
CN115997385A (zh) * 2022-10-12 2023-04-21 广州酷狗计算机科技有限公司 基于增强现实的界面显示方法、装置、设备、介质和产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018039269A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Augmented reality display device with deep learning sensors
JP2019087229A (ja) 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
JP2019153274A (ja) 2018-02-28 2019-09-12 東芝デジタルソリューションズ株式会社 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
WO2019177181A1 (ko) 2018-03-12 2019-09-19 라인플러스(주) 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9600067B2 (en) * 2008-10-27 2017-03-21 Sri International System and method for generating a mixed reality environment
US20110273466A1 (en) * 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
KR101679239B1 (ko) * 2010-07-06 2016-11-24 삼성전자주식회사 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
US9514573B2 (en) * 2013-12-26 2016-12-06 Dassault Systemes Diminished reality
CN104143212A (zh) 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
US10126837B1 (en) * 2015-06-29 2018-11-13 Groupon, Inc. Wearable device that is automatically configurable between wearer facing and redemption interfaces
KR20170054638A (ko) 2015-11-09 2017-05-18 현대오트론 주식회사 헤드업 디스플레이를 이용한 선행 차량 정보 표시 장치 및 방법
US9679547B1 (en) * 2016-04-04 2017-06-13 Disney Enterprises, Inc. Augmented reality music composition
EP4060462A1 (en) 2016-05-20 2022-09-21 Magic Leap, Inc. Contextual awareness of user interface menus
US11810318B2 (en) * 2016-09-09 2023-11-07 Intel Corporation Training and deploying pose regressions in neural networks in autonomous machines
US10262464B2 (en) * 2016-12-30 2019-04-16 Intel Corporation Dynamic, local augmented reality landmarks
CN106774937B (zh) 2017-01-13 2020-01-10 宇龙计算机通信科技(深圳)有限公司 一种增强现实技术中的图像交互方法及其装置
CN106980381A (zh) 2017-03-31 2017-07-25 联想(北京)有限公司 一种信息处理方法及电子设备
CN109213728A (zh) 2017-06-29 2019-01-15 深圳市掌网科技股份有限公司 基于增强现实的文物展示方法及系统
US10885712B2 (en) * 2017-07-12 2021-01-05 Nio Usa, Inc. Camera pose estimation method for augmented reality manual for cars
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
US11079497B2 (en) * 2017-09-25 2021-08-03 Continental Automotive Systems, Inc. Vehicle localization based on neural network
CN108022306B (zh) 2017-12-30 2021-09-21 华自科技股份有限公司 基于增强现实的场景识别方法、装置、存储介质和设备
US10506220B2 (en) * 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10416755B1 (en) * 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11397503B2 (en) * 2019-06-28 2022-07-26 Snap Inc. Association of user identifiers to augmented-reality content
CN110738737A (zh) 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018039269A1 (en) 2016-08-22 2018-03-01 Magic Leap, Inc. Augmented reality display device with deep learning sensors
JP2019087229A (ja) 2017-11-02 2019-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
JP2019153274A (ja) 2018-02-28 2019-09-12 東芝デジタルソリューションズ株式会社 位置算出装置、位置算出プログラム、位置算出方法、及びコンテンツ付加システム
WO2019177181A1 (ko) 2018-03-12 2019-09-19 라인플러스(주) 뉴럴 네트워크를 이용하여 상황을 인지하는 증강 현실 제공 장치, 제공 방법 및 상기 방법을 실행하기 위하여 매체에 저장된 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20210118237A1 (en) 2021-04-22
JP2022512525A (ja) 2022-02-07
US11423625B2 (en) 2022-08-23

Similar Documents

Publication Publication Date Title
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
AU2023200357B2 (en) System and method for augmented and virtual reality
JP7002684B2 (ja) 拡張現実および仮想現実のためのシステムおよび方法
WO2022095467A1 (zh) 增强现实场景下的展示方法、装置、设备、介质及程序
Hilfert et al. Low-cost virtual reality environment for engineering and construction
JP7150894B2 (ja) Ａｒシーン画像処理方法及び装置、電子機器並びに記憶媒体
EP3798801A1 (en) Image processing method and apparatus, storage medium, and computer device
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
TWI567659B (zh) 照片表示視圖的基於主題的增強
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CA3089311A1 (en) Calibration to be used in an augmented reality method and system
JP2023504608A (ja) 拡張現実場面における表示方法、装置、機器、媒体及びプログラム
JP6656382B2 (ja) マルチメディア情報を処理する方法及び装置
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
US20200074725A1 (en) Systems and method for realistic augmented reality (ar) lighting effects
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
US11385856B2 (en) Synchronizing positioning systems and content sharing between multiple devices
Soares et al. Designing a highly immersive interactive environment: The virtual mine
CN112070901A (zh) 一种园林的ar场景构建方法、装置、存储介质及终端
KR101983233B1 (ko) 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법
JP6680886B2 (ja) マルチメディア情報を表示する方法及び装置
JP7354185B2 (ja) 表示制御装置、表示制御方法および表示制御プログラム
WO2021231261A1 (en) Computationally efficient method for computing a composite representation of a 3d environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201224

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220506

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220928

R150 Certificate of patent or registration of utility model

Ref document number: 7150894

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150