JP6656382B2 - マルチメディア情報を処理する方法及び装置 - Google Patents

Description

本出願は、出願番号が２０１６１００４４１９８.２であって、出願日が２０１６年０１月２２日である中国特許出願に基づいて提出し、当該中国特許出願の優先権を主張し、当該中国特許出願のすべての内容を本出願に援用する。

本発明は、通信技術分野に係り、特に、マルチメディア情報を処理する方法及び装置に関する。

通信技術の発展に伴い、人々は、通信に対して、最初の単一音声の要求から映像及び音声の通信要求に変えた。したがって、音声、データ及び映像を一体に伝送する映像通信サービスは、通信分野においてますます重要になり、そして、テレビ会議、遠隔映像医療、遠隔映像教育などにおいてますます広く応用されている。

ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）技術は、人間の視覚、聴覚、触覚など感知行為をシミュレーションすることができる非常にリアルなマン・マシン・インタラクション技術であり、この技術を利用して、人をコンピュータで生成される環境に位置させることができ、感覚器官の言語、手勢によって、その中において自然の方式を用いて「インタラクション、対話」を行うことができると共に、自由に運動し、周囲のものを観察することができ、物体を観察したり、音を聞いたり、力を感じたり、人に対して完全の没入感に与えることができる。

ただし、現在、採集されたマルチメディア情報をＶＲ技術で処理する方法は、リアルタイムに採集されるマルチメディア情報を処理できないため、マルチメディア情報を表示する時間と、マルチメディア情報に示される現実シーンの時間は、遅延を存在してしまう。

以上のように、現在、マルチメディア情報を処理する方法は、遅延の欠陥が存在してしまう。

本発明は、上記の問題に鑑みてなされたものであり、上記の問題を克服しまたは上記の問題を少なくとも一部に解決できるマルチメディア情報を処理する方法及び装置を提供する。

本発明の第１局面は、マルチメディア情報を処理する方法を提供し、当該方法は、
肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報を含む表象情報を取得するステップと、
取得した表象情報に基づいて、デジタル形式で時間とともに変化する前記表象情報を表徴できる属性を有し、前記表象情報を表徴するための４次元時空モデルを確立するステップと、
確立された４次元時空モデルに対して符号化処理を行うと共に、符号化処理を行った後の４次元時空モデルに対して送信を行うステップと、を含む。

選択的には、本発明の上記の実施例に係るマルチメディア情報を処理する方法において、取得した表象情報に基づいて前記４次元時空モデルを確立する前に、前記方法は、
耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算するステップをさらに含み、
前記表象情報基づいて前記表象情報を表徴するための４次元時空モデルを確立するステップは、具体的に、前記表象情報と前記音場情報に基づいて、前記表象情報と前記音場情報を表徴するための４次元時空モデルを確立するステップを含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する方法において、取得した表象情報に基づいて前記表象情報を表徴するための前記４次元時空モデルを確立するステップは、具体的に、
前記表象情報に対して処理を行って、第１のマーク情報を得るステップと、
前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報及びテクスチャ情報を含む第２点クラウド情報を得るステップと、
前記第１点クラウド情報と前記第２点クラウド情報を融合して、目標点クラウド情報を得るステップと、
前記目標点クラウド情報に基づいて、視覚情報を得るステップと、
前記視覚情報に基づいて空間モデルを取得し、異なる時点の空間モデルに対して融合を行うステップと、
融合した空間モジュール、前記第１のマーク情報及び前記第２のマーク情報に基づいて、前記４次元時空モデルを得るステップと、を含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する方法において、前記視覚情報に基づいて空間モデルを取得する前に、前記方法は、
耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算するステップをさらに含み、
前記視覚情報に基づいて空間モデルを取得するステップは、具体的に、前記視覚情報と前記音場情報を融合して、前記空間モデルを得るステップを含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する方法において、前記第１点クラウド情報と前記第２点クラウド情報を融合して目標点クラウド情報を得た後、前記視覚情報を得る前に、前記方法は、
前記目標点クラウド情報に対して処理を行って、第２のマーク情報を得るステップを更に含み、
前記目標点クラウド情報に基づいて、視覚情報を得るステップは、具体的に、前記第２のマーク情報と前記目標点クラウド情報に基づいて、前記視覚情報を得るステップを含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する方法において、前記第２のマーク情報と前記目標点クラウド情報に基づいて、前記視覚情報を得るステップは、具体的に、
前記目標点クラウド情報に対して幾何頂点位置の最適化及び法線方向の計算を行って第１結果を得るステップと、
前記第１結果に対して表面整合及び三角グリッド化処理を行って第２結果を得るステップと、
前記第２結果と前記第２のマーク情報に基づいて、前記視覚情報を得るステップと、を含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する方法において、前記表象情報に対して処理を行って、第１のマーク情報を得るステップは、具体的に、前記表象情報に対してデジタル画像処理分析を行って前記第１のマーク情報を得るステップを含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する方法において、前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報を得るステップは、具体的に、前記第１のマーク情報に基づいて、前記表象情報に対して処理を行って前記表象情報に対応する物体の座標情報を得るステップと、
前記座標情報に基づいて、前記幾何情報を含む第１点クラウド情報を生成するステップと、を含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する方法において、前記第１のマーク情報と前記表象情報に基づいて、テクスチャ情報を含む第２点クラウド情報を得るステップは、具体的に、
点順次合成及び／又は画像合成の方式を採用し、前記第１のマーク情報に基づいて、前記表象情報に対して情報取出処理を行って、テクスチャ情報を含む第２点クラウド情報を得るステップを含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する方法において、前記第２のマーク情報と前記目標点クラウド情報に基づいて、視覚情報を得るステップは、
前記第２のマーク情報と前記目標点クラウド情報に基づいて、物体の表面法線方向情報を計算するステップと、
前記表面法線方向情報に基づいて視覚情報を得るステップと、を含む。

本発明の第２局面は、マルチメディア情報を処理する装置を提供し、当該装置は、
肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報を含む表象情報を取得するための取得ユニットと、
取得した表象情報に基づいて、デジタル形式で時間とともに変化する前記表象情報を表徴できる属性を有し、前記表象情報を表徴するための４次元時空モデルを確立するためのモデル確立ユニットと、
確立された４次元時空モデルに対して符号化処理を行うための処理ユニットと、
符号化処理を行った後の４次元時空モデルに対して送信を行うための送信ユニットと、を含む。

選択的には、本発明の上記の実施例に係るマルチメディア情報を処理する装置において、前記装置は、耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算する音場情報算出ユニットをさらに含み、
前記モデル確立ユニットは、前記表象情報基づいて前記表象情報を表徴するための４次元時空モデルを確立する場合、具体的に、前記表象情報と前記音場情報に基づいて、前記表象情報と前記音場情報を表徴するための４次元時空モデルを確立する。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する装置において、前記モデル確立ユニットは、前記表象情報に対して処理を行って、第１のマーク情報を得るための第１のマーク情報生成ユニットと、前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報及びテクスチャ情報を含む第２点クラウド情報を得るための点クラウド情報生成ユニットと、前記第１点クラウド情報と前記第２点クラウド情報を融合して、目標点クラウド情報を得るための点クラウド情報融合ユニットと、前記目標点クラウド情報に基づいて、視覚情報を得るための視覚情報生成ユニットと、前記視覚情報に基づいて空間モデルを取得し、異なる時点の空間モデルに対して融合を行い、融合した空間モジュール、前記第１のマーク情報及び前記第２のマーク情報に基づいて、前記４次元時空モデルを得るための４次元時空モデル生成ユニットと、を含む。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する装置において、前記装置は、耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算するための音場情報算出ユニットを更に含み、
前記４次元時空モデル生成ユニットは、前記視覚情報に基づいて空間モデルを取得する場合、具体的に、前記視覚情報と前記音場情報を融合して、前記空間モデルを得る。
選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する装置において、前記点クラウド情報生成ユニットは、さらに、前記目標点クラウド情報に対して処理を行って、第２のマーク情報を得ることに応用され、
前記視覚情報生成ユニットは、前記目標点クラウド情報に基づいて、視覚情報を得る場合、具体的に、前記第２のマーク情報と前記目標点クラウド情報に基づいて、前記視覚情報を得る。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する装置において、前記視覚情報生成ユニットは、さらに、
前記目標点クラウド情報に対して幾何頂点位置の最適化及び法線方向の計算を行って第１結果を得、
前記第１結果に対して表面整合及び三角グリッド化処理を行って第２結果を得、
前記第２結果と前記第２のマーク情報に基づいて、前記視覚情報を得ることに応用される。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する装置において、前記第１のマーク情報生成ユニットは、前記表象情報に対して処理を行って、第１のマーク情報を得る場合、具体的に、
前記表象情報に対してデジタル画像処理分析を行って前記第１のマーク情報を得る。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する装置において、前記点クラウド情報生成ユニットは、前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報を得る場合、具体的に、
前記第１のマーク情報に基づいて、前記表象情報に対して処理を行って前記表象情報に対応する物体の座標情報を得、
前記座標情報に基づいて、前記幾何情報を含む第１点クラウド情報を生成する。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する装置において、前記点クラウド情報生成ユニットは、前記第１のマーク情報と前記表象情報に基づいて、テクスチャ情報を含む第２点クラウド情報を得る場合、具体的に、
点順次合成及び／又は画像合成の方式を採用し、前記第１のマーク情報に基づいて、前記表象情報に対して情報取出処理を行って、テクスチャ情報を含む第２点クラウド情報を得る。

選択的には、本発明の上記のいずれかの実施例に係るマルチメディア情報を処理する装置において、前記視覚情報生成ユニットは、前記第２のマーク情報と前記目標点クラウド情報に基づいて、視覚情報を得る場合、具体的に、
前記第２のマーク情報と前記目標点クラウド情報に基づいて、物体の表面法線方向情報を計算し、
前記表面法線方向情報に基づいて視覚情報を得る。

本発明の実施例は、マルチメディア情報を処理する方法及び装置を提供し、当該方法は、肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報を含む表象情報を取得するステップと、取得した表象情報に基づいて、デジタル形式で時間とともに変化する前記表象情報を表徴できる属性を有し、前記表象情報を表徴するための４次元時空モデルを確立するステップと、確立された４次元時空モデルに対して符号化処理を行うと共に、符号化処理を行った後の４次元時空モデルに対して送信を行うステップと、を含み、当該方法において、確立された４次元時空モデルは、デジタル形式で時間とともに変化する表象情報を表徴できる属性を有するため、遅延の問題をある程度解決し、したがって、本方法は、従来技術において存在する遅延の欠陥をある程度解決できる。

上記の説明は、本発明の技術案の概要だけであり、本発明の技術手段をより明確に理解できるために、明細書の内容に従って実施でき、そして、本発明の上記及び他の目的、特徴及び利点をより明瞭に理解しやすいために、以下、本発明の具体的な実施形態を列挙する。

下記の好ましい実施形態の詳細な説明を読むことにより、各種の他の長所及び利点が本分野の普通技術者にとって明晰になった。図面は、好ましい実施形態を説明するためのものに過ぎなく、本発明を限定しない。図面において、同一な符号を用いて同一な部品を表示する。図面においては、
図１Ａは、本発明の実施例に係る、マルチメディア情報を処理する方法を模式的に示すフローチャートである。 図１Ｂは、本発明の実施例に係る、マルチメディア情報を処理する方法を模式的に示す他のフローチャートである。 図２Ａは、本発明の実施例に係る、マルチメディア情報を処理する装置の模式図である。 図２Ｂは、本発明の実施例に係る取得ユニットの模式図である。 図２Ｃは、本発明の実施例に係る取得ユニットの他の模式図である。 図２Ｄは、本発明の実施例に係る取得ユニットの平面図である。 図２Ｅは、本発明の実施例に係る取得ユニットの側面図である。 図２Ｆは、本発明の実施例に係る、マルチメディア情報を表示する方法を模式的に示すフローチャートである。 図２Ｇは、本発明の実施例に係る、マルチメディア情報を表示する方法を模式的に示す他のフローチャートである。 図２Ｈは、本発明の実施例に係る、マルチメディア情報を表示する装置の模式図である。 図３Ａは、本発明の実施例に提供されるシーンの模式図である。 図３Ｂは、本発明の実施例に提供される他のシーンの模式図である。 図３Ｃは、本発明の実施例に提供される他のシーンの模式図である。 図３Ｄは、本発明の実施例に提供される他のシーンの模式図である。 図３Ｅは、本発明の実施例に提供される他のシーンの模式図である。 図３Ｆは、本発明の実施例に提供される他のシーンの模式図である。

本発明の目的、技術案及び利点をより明確にするために、以下、図面を参照しながら、本発明についてより詳細に説明する。なお、説明される実施例は、単に本発明の一部の実施例に過ぎず、すべての実施例ではない。当業者が本発明における実施例に基づいて、創造的な労働をしていない前提で獲得する他のすべての実施例は、本発明の保護範囲に属する。

本発明に係るマルチメディア情報を処理する方法及び装置は、
例えば、甲さんが自身及び周囲環境を採集して乙さんにリアルタイムに転送し、乙さんがその環境に没入し及び甲さんとインタラクションを行う、又は、例えば、甲さんと乙さんが、いずれも自身及び周囲環境を採集して相手にリアルタイムに転送し、その二人がいる物理的な環境にまたは任意の第三者の環境に選択的に没入し及びインタラクションを行うリアルタイム通信シーンと、
遠隔観測及び監視シーンと、
例えば、個人または複数人が遠隔勤務を行い、遠隔の会議を臨場的に行い、遠隔の協力を臨場的に行い、顧客が問題を解決するように支援し、または、養成を臨場的に行う工作シーンと、
例えば、仮想教室に臨場的に位置し、及び仮想環境に教師とインタラクションを行うことができる教育シーンと、
例えば、遠隔医療を行い、及び仮想環境に医師とインタラクションを行う医療シーンと、
例えば、遠隔買物を行い、及び仮想環境に商家とインタラクションを行い、全方位試着を行う商業シーンと、
例えば、個人または複数人が短距離走のチャンピオンと仮想環境に短距離走の試合を行う体育シーンと、
例えば、個人または複数人が仮想空間にゲームを行い、テレビ生放送に臨場的に参加でき、または、映画キャラクターとインタラクションを行う娯楽シーンと、
例えば、４次元日記の記録及び上映、博物館を遠隔的に見学し、家族またはペットを遠隔的に付き添い、アダルト応用を遠隔的にする個人生活シーンと、に応用でき、
映画、テレビ、ゲーム、映像内容の作成を含む仮想現実または現実内容の生成を増強するシーンと、
所定時間、空間、場所に対して４次元履歴記録を行うシーンと、に応用してもよく、上記のシーンを限定しない。

本発明の実施例によれば、マルチメディア情報を処理する方法は、計算機器によって実行してもよい。前記計算機器は、例えば、デスクトップコンピューター、ノート型コンピューター、サーバ、ワークステーション、タブレットコンピュータ、スマートフォン等の共通又は専用のオペレーティングシステムを実行する各種の共通又は専用の計算機器であってもよい。前記計算機器は、メモリ及び複数の他のモジュールと協力に動作する少なくとも１つのプロセッサを含んでもよい。前記プロセッサは、マルチスレッドまたは並列処理を行うための複数のコアを含んでもよい。前記メモリは、１つまたは複数の記憶デバイスを含んでもよく、メモリまたはそのうちの記憶デバイスは、非易失性的コンピュータ読み取り可能な記録／記憶媒体を含む。

図１Ａは、本発明に係るマルチメディア情報を処理する方法を模式的に示すフローチャートであり、具体的な過程は、以下の通りです。

ステップ１００において、肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報を含む表象情報を取得する。

本発明の実施例において、ステップ１００において記載される電磁界スペクトル情報は、物体が発射するものであってもよいし、物体が反射するものであってもよく、または、物体が屈折するものであってもよく、ここでは限定しない。

本発明の実施例において、ステップ１００において記載される電磁界スペクトル情報は、無線電波情報、赤外線情報、可視光情報、紫外線情報、Ｘ線情報及びガンマ線情報のうちの少なくとも１つを含んでもよく、ここで、可視光情報は、レーザを含んでもよい。

本発明の実施例において、表象情報に対応する物体は、室内及び／又は室外における任意の視野サイズ及び角度を有する物体であってもよい。

本発明の実施例において、表象情報を取得する場合、毎秒２４フレームないし１２０フレームを取得することができる。

ステップ１１０において、取得した表象情報に基づいて、デジタル形式で時間とともに変化する表象情報を表徴できる属性を有し、表象情報を表徴するための４次元時空モデルを確立する。

本発明の実施例において、取得した表象情報は、異なる空間点及び／又は異なる時点に取得した表象情報であってもよい。

本発明の実施例において、４次元時空モデルは、内容的に、
任意の時点で物体上の各点の時間とともに変化しない座標系での座標を示すことができる空間位置属性と、
任意の時点で物体表面のテクスチャ及びスペクトル特徴（例えば、カラー）、物体表面の幾何特性（例えば、法線方向、曲率、平滑性等）を示すことができる外観属性と、
音声属性と、
任意の時点で物体上の各点の運動速度ベクトル、加速度ベクトルを示すことができ、または、物体上の剛体と見なす各部分の角速度ベクトル、角加速度ベクトルを示すことができる運動属性と、
物体のカテゴリー、身分、材質、相互関係などのすべての表象情報及び表象情報の経過変化から推測できる情報のうちの少なくとも一種を示すことができる他の属性と、を少なくとも含み、
形式的に、４次元時空モデルは、デジタル化のデータ形式で記憶媒体に記憶され、この形式は、記憶、表示、検索、編集、伝送、暗号化されることができと共に、より高度なスマートアプリケーションに応用されることができる。

本発明の実施例において、４次元時空モデルを確立した後、さらに、４次元時空モデルを補正、増強、最適化してもよい。

本発明の実施例において、取得した表象情報に基づいて、表象情報を表徴するための４次元時空モデルを確立する場合、選択的には、
表象情報に対して処理を行って、第１のマーク情報を得るステップと、
第１のマーク情報と表象情報に基づいて、幾何情報を含む第１点クラウド情報及びテクスチャ情報を含む第２点クラウド情報を得るステップと、
第１点クラウド情報と第２点クラウド情報を融合して、目標点クラウド情報を得るステップと、
目標点クラウド情報に基づいて、視覚情報を得るステップと、
視覚情報に基づいて空間モデルを取得し、異なる時点の空間モデルに対して融合を行うステップと、
融合した空間モジュール、第１のマーク情報及び第２のマーク情報に基づいて、４次元時空モデルを得るステップと、を採用することができる。

実際の応用において、表象情報は、肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報以外、音場情報をさらに含んでもよく、この場合、視覚情報に基づいて空間モデルを取得する前に、方法は、
耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む表象情報に基づいて、表象情報に対応する物体の音場情報を計算するステップをさらに含む。

ここで、視覚情報に基づいて空間モデルを取得する場合、選択的には、
視覚情報と音場情報を融合して、空間モデルを得るステップを採用しても良い。

本発明の実施例に記載された音場情報は、音声情報の自身を指すことだけでなく、その音場情報に含まれる音源空間位置情報をさらに有し、採集できる音響波情報及び／又は超音波情報を含むことができる。

本発明の実施例において、第１点クラウド情報と第２点クラウド情報を融合して目標点クラウド情報を得た後、視覚情報を得る前に、上記の方法は、
目標点クラウド情報に対して処理を行って、第２のマーク情報を得るステップをさらに含む。

ここで、目標点クラウド情報に基づいて視覚情報を得る場合、選択的には、
第２のマーク情報と目標点クラウド情報に基づいて視覚情報を得るステップを採用してもよい。

本発明の実施例において、第２のマーク情報と目標点クラウド情報に基づいて視覚情報を得る場合、選択的には、
目標点クラウド情報に対して幾何頂点位置の最適化及び法線方向の計算を行って第１結果を得るステップと、
第１結果に対して表面整合及び三角グリッド化処理を行って第２結果を得るステップと、
第２結果に基づいて視覚情報を得るステップと、を採用できる。

本発明の実施例において、表象情報に対して処理を行って第１のマーク情報を得る場合、選択的には、
表象情報に対してデジタル画像処理分析を行って第１のマーク情報を得るステップを採用できる。

本発明の実施例において、表象情報に対してデジタル画像処理分析を行う場合、選択的には、
表象情報に対して分割、検測、追跡、識別などの処理を行うステップを採用できる。

本発明の実施例において、分割、検測、追跡、識別という各ステップとの間に明確な順序関係がなく、例えば、表象情報に対して分割を行ってから検測してもよく、検測してから分割を行ってもよい。取得された第１のマーク情報の確度を高めるために、複数回の分割、検測、追跡及び識別を循環的に実行してもよい。例えば、一回の分割、検測、追跡及び識別を実行した後、現在の結果に基づいて、少なくとも一回の分割、検測、追跡及び識別を実行することによって、精度を高めることができる。

本発明の実施例において、分割は、画像を前景及び後景に分割することを指してもよく、例えば、空、地面または他のものに分割することであり、検測は、通行人の検測、自動車のナンバープレートの検測を指してもよく、追跡は、人の腕の運動を追跡することを指してもよく、識別は、車両を識別することを指してもよい。

本発明の実施例において、第１のマーク情報と表象情報に基づいて、幾何情報を含む第１点クラウド情報を得る場合、選択的には、
第１のマーク情報に基づいて表象情報に対して処理を行って、表象情報に対応する物体の座標情報を得るステップと、
座標情報に基づいて、幾何情報を含む第１点クラウド情報を生成するステップと、を採用できる。

本発明の実施例において、表象情報に対応する物体の座標情報が異なる時点で異なる座標系に対応でき、この場合、取得された第１点クラウド情報の確度を高めるために、表象情報に対応する物体の座標情報を取得した後、異なる時点の異なる局所座標系での物体の座標情報を同一座標系に融合し、その後、同一座標系に融合された座標情報に基づいて、幾何情報を含む第１点クラウド情報を生成してもよい。

本発明の実施例において、第１のマーク情報と表象情報に基づいて、テクスチャ情報を含む第２点クラウド情報を得る場合、選択的には、
点順次合成及び／又は画像合成の方式を採用し、第１のマーク情報に基づいて表象情報に対して情報取出処理を行って、テクスチャ情報を含む第２点クラウド情報を得るステップを採用できる。

本発明の実施例において、第２のマーク情報と目標点クラウド情報に基づいて視覚情報を得る場合、選択的には、
第２のマーク情報と目標点クラウド情報に基づいて、物体の表面法線方向情報を計算するステップと、
表面法線方向情報に基づいて視覚情報を得るステップと、を採用できる。

本発明は、４次元時空モデルを確立する詳細なプロセスを提供し、図１Ｂに示すように、表象情報に基づいて第１のマーク情報と音場情報を得ると共に、表象情報と第１のマーク情報に基づいて第１点クラウド情報と第２点クラウド情報を得、第１点クラウド情報と第２点クラウド情報を融合して目標点クラウド情報を得、目標点クラウド情報に基づいて第２のマーク情報を得ると共に、目標点クラウド情報に対して幾何頂点位置の最適化及び法線方向の計算を行って第１結果を得、第１結果に対して表面整合及び三角グリッド化処理を行って第２結果を得、第２結果と第２のマーク情報に基づいて視覚情報を得、視覚情報と音場情報を融合して空間モデルを得、空間モデルを融合して、融合した後の空間モデルを得、融合した後の空間モデル、第１のマーク情報及び第２のマーク情報を処理して４次元時空モデルを得る。

ステップ１２０において、確立された４次元時空モデルに対して符号化処理を行うと共に、符号化処理を行った後の４次元時空モデルに対して送信を行う。

本発明の実施例において、さらに、ステップ１２０において確立された４次元時空モデルに対して符号化処理を行った後、符号化処理を行った４次元時空モデルに対して圧縮処理をさらに行うと共に、圧縮処理を行った後の４次元時空モデルに対して送信を行う。

さらに、伝送の安全性を高めるために、符号化処理を行った後の４次元時空モデルを送信する前に、符号化処理を行った後の４次元時空モデルに対して暗号化処理を行っても良く、または、圧縮処理を行った後の４次元時空モデルを送信する前に、圧縮処理を行った後の４次元時空モデルに対して暗号化処理を行っても良い。

本発明の実施例において、上記の方法のステップは、マルチメディア情報を処理する計算機器により実行してもよい。本発明の実施例は、このようなマルチメディア情報を処理するための計算機器をさらに含み、当該計算機器は、
上記の各方法のステップを実行するように配置されるプロセッサと、
前記プロセッサにより実行可能な指令を記憶するためのメモリと、を含む。

図２Ａに示すように、本発明の実施例は、マルチメディア情報を処理する装置をさらに提供し、当該装置は、
肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報を含む表象情報を取得する取得ユニット２１と、
取得した表象情報に基づいて、デジタル形式で時間とともに変化する前記表象情報を表徴できる属性を有し、前記表象情報を表徴するための４次元時空モデルを確立するモデル確立ユニット２２と、
確立された４次元時空モデルに対して符号化処理を行うための処理ユニット２３と、
符号化処理を行った後の４次元時空モデルに対して送信を行うための送信ユニット２４と、を含む。

本発明の実施例において、取得ユニット２１が取得した電磁界スペクトル情報は、物体が発射するものであってもよいし、物体が反射するものであってもよく、または、物体が屈折するものであってもよく、ここでは限定しない。

本発明の実施例において、取得ユニット２１が取得した電磁界スペクトル情報は、無線電波情報、赤外線情報、可視光情報、紫外線情報、Ｘ線情報及びガンマ線情報のうちの少なくとも１つを含んでもよく、ここで、可視光情報は、レーザを含んでもよい。

本発明の実施例において、表象情報に対応する物体は、室内及び／又は室外の任意の視野サイズ及び角度の物体であってもよい。

本発明の実施例において、取得ユニット２１が表象情報を取得する場合、毎秒２４フレームないし１２０フレームを取得することができる。

本発明の実施例において、取得ユニット２１が取得した表象情報は、異なる空間点及び／又は異なる時点に取得した表象情報であってもよい。

本発明の実施例において、４次元時空モデルは、内容的に、
任意の時点で物体上の各点の時間とともに変化しない座標系での座標を示すことができる空間位置属性と、
任意の時点で物体表面のテクスチャ及びスペクトル特徴（例えば、カラー）、物体表面の幾何特性（例えば、法線方向、曲率、平滑性等）を示すことができる外観属性と、
音声属性と、
任意の時点で物体上の各点の運動速度ベクトル、加速度ベクトルを示すことができ、または、物体上の剛体と見なす各部分の角速度ベクトル、角加速度ベクトルを示すことができる運動属性と、
物体のカテゴリー、身分、材質、相互関係などのすべての表象情報及び表象情報の経過変化から推測できた情報のうちの少なくとも一種を示すことができる他の属性と、を少なくとも含み、
形式的に、４次元時空モデルは、デジタル化のデータ形式で記憶媒体に記憶され、この形式は、記憶、表示、検索、編集、伝送、暗号化されることができと共に、より高度なスマートアプリケーションに応用されることができる。

本発明の実施例において、モデル確立ユニット２２が４次元時空モデルを確立した後、さらに、４次元時空モデルを補正、増強、最適化してもよい。

実際の応用において、表象情報は、肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報以外、音場情報をさらに含んでもよく、この場合、本発明の実施例において、前記装置は、耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算するための音場情報算出ユニット２５をさらに含んでもよい。

前記モデル確立ユニット２２が前記表象情報に基づいて、前記表象情報を表徴するための４次元時空モデルを確立する場合、具体的には、
前記表象情報と前記音場情報に基づいて、前記表象情報と前記音場情報を表徴するための４次元時空モデルを確立する。

本発明の実施例に記載された音場情報は、音声情報の自身を指すことだけでなく、その音場情報に含まれる音源空間位置情報をさらに有し、採集できる音響波情報及び／又は超音波情報を含むことができる。

本発明の実施例において、選択的には、前記モデル確立ユニット２２は、前記表象情報に対して処理を行って、第１のマーク情報を得るための第１のマーク情報生成ユニット２２Ａと、前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報及びテクスチャ情報を含む第２点クラウド情報を得るための点クラウド情報生成ユニット２２Ｂと、前記第１点クラウド情報と前記第２点クラウド情報を融合して目標点クラウド情報を得るための点クラウド情報融合ユニット２２Ｃと、前記目標点クラウド情報に基づいて視覚情報を得るための視覚情報生成ユニット２２Ｄと、前記視覚情報に基づいて空間モデルを取得し、異なる時点の空間モデルに対して融合を行い、融合した空間モジュール、前記第１のマーク情報及び前記第２のマーク情報に基づいて、前記４次元時空モデルを得るための４次元時空モデル生成ユニット２２Ｅと、を含む。

本発明の実施例において、前記装置は、耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算するための音場情報算出ユニット２５をさらに含む。

前記４次元時空モデル生成ユニット２２Ｅが前記視覚情報に基づいて空間モデルを取得する場合、選択的には、
前記視覚情報と前記音場情報を融合して、前記空間モデルを得るステップを採用しても良い。

本発明の実施例において、選択的には、前記点クラウド情報生成ユニット２２Ｂは、前記目標点クラウド情報に対して処理を行って第２のマーク情報を得るステップにさらに応用される。

前記視覚情報生成ユニット２２Ｄが前記目標点クラウド情報に基づいて視覚情報を得る場合、選択的には、
前記第２のマーク情報と前記目標点クラウド情報に基づいて前記視覚情報を得るステップを採用してもよい。

本発明の実施例において、さらに、前記視覚情報生成ユニット２２Ｄは、
前記目標点クラウド情報に対して幾何頂点位置の最適化及び法線方向の計算を行って第１結果を得るステップと、
前記第１結果に対して表面整合及び三角グリッド化処理を行って第２結果を得るステップと、
前記第２結果に基づいて前記視覚情報を得るステップと、にさらに応用される。

本発明の実施例において、選択的には、前記第１のマーク情報生成ユニット２２Ａが前記表象情報に対して処理を行って第１のマーク情報を得る場合、選択的には、
前記表象情報に対してデジタル画像処理分析を行って、前記第１のマーク情報を得るステップを採用しても良い。

本発明の実施例において、前記第１のマーク情報生成ユニット２２Ａが前記表象情報に対してデジタル画像処理分析を行う場合、表象情報に対して分割、検測、追跡、識別等の処理を行う。

本発明の実施例において、分割、検測、追跡、識別という各ステップとの間に明確な順序関係がなく、例えば、表象情報に対して分割を行ってから検測してもよく、検測してから分割を行ってもよい。取得された第１のマーク情報の確度を高めるために、複数回の分割、検測、追跡及び識別を循環的に実行してもよい。例えば、一回の分割、検測、追跡及び識別を実行した後、現在の結果に基づいて、少なくとも一回の分割、検測、追跡及び識別を実行することによって、精度を高めることができる。

本発明の実施例において、分割は、画像を前景及び後景に分割することを指してもよく、例えば、空、地面または他のものに分割することであり、検測は、通行人の検測、自動車のナンバープレートの検測を指してもよく、追跡は、人の腕の運動を追跡することを指してもよく、識別は、車両を識別することを指してもよい。

本発明の実施例において、前記点クラウド情報生成ユニット２２Ｂが前記第１のマーク情報と前記表象情報に基づいて幾何情報を含む第１点クラウド情報を得る場合、選択的には、
前記第１のマーク情報に基づいて前記表象情報に対して処理を行って、前記表象情報に対応する物体の座標情報を得るステップと、
前記座標情報に基づいて、前記幾何情報を含む第１点クラウド情報を生成するステップと、を採用できる。

本発明の実施例において、表象情報に対応する物体の座標情報が異なる時点で異なる座標系に対応でき、この場合、取得された第１点クラウド情報の確度を高めるために、表象情報に対応する物体の座標情報を取得した後、点クラウド情報生成ユニット２２Ｂは、異なる時点の異なる局所座標系での物体の座標情報を同一座標系に融合し、その後、同一座標系に融合された座標情報に基づいて、幾何情報を含む第１点クラウド情報を生成してもよい。

本発明の実施例において、選択的には、前記点クラウド情報生成ユニット２２Ｂが前記第１のマーク情報と前記表象情報に基づいてテクスチャ情報を含む第２点クラウド情報を得る場合、
点順次合成及び／又は画像合成の方式を採用し、前記第１のマーク情報に基づいて前記表象情報に対して情報取出処理を行って、テクスチャ情報を含む第２点クラウド情報を得るステップを採用できる。

本発明の実施例において、前記視覚情報生成ユニット２２Ｄが前記第２のマーク情報と前記目標点クラウド情報に基づいて視覚情報を得る場合、
前記第２のマーク情報と前記目標点クラウド情報に基づいて物体の表面法線方向情報を計算するステップと、
前記表面法線方向情報に基づいて視覚情報を得るステップと、を採用できる。

本発明の実施例において、さらに、処理ユニット２３は、確立された４次元時空モデルに対して符号化処理を行った後、符号化処理を行った後の４次元時空モデルに対して圧縮処理をさらに行い、送信ユニット２４は、圧縮処理を行った後の４次元時空モデルを送信する。

さらに、伝送の安全性を高めるために、送信ユニット２４が符号化処理を行った後の４次元時空モデルを送信する前に、処理ユニット２３は、符号化処理を行った後の４次元時空モデルに対して暗号化処理を行っても良く、または、圧縮処理を行った後の４次元時空モデルを送信する前に、圧縮処理を行った後の４次元時空モデルに対して暗号化処理を行っても良い。

本発明の実施例において、取得ユニット２１は、円筒形状、直方体形状、角柱形状、環形状、球形状及び半球形状のうちの何れか１つの形状であっても良く、少なくとも１つのカメラを含み、カメラは、カラーカメラ、深度カメラまたは赤外線カメラであっても良い。

図２Ｂ、２Ｃに示すように、取得ユニット２１は、少なくとも１つのマイクロホンを更に含み、図２Ｄは、図２Ｂまたは図２Ｃの平面図であり、図２Ｅは、図２Ｂまたは図２Ｃの側面図である。

選択的には、取得ユニット２１は、８対のカラーカメラと８つのマイクロホンを含み、ここで、頂部には、１対のカラーカメラがあり、各視角は、１８０度であり、側面には、６対のカラーカメラがあり、各視角は、７０度であり、底部には、１対のカラーカメラがあり、各視角は、１８０度であり、各対のカメラの間には、１つのマイクロホンがある。

選択的には、取得ユニット２１は、以下の形式であってもよい。

頂部には、１つまたは１対のカラーカメラがあり、視角は、４５〜１８０度であり、側面には、２つまたは８対のカラーカメラがあり、各視角は、４５〜１８０度であり、底部には、１つまたは１対のカラーカメラがあり、視角は、４５〜１８０度である。１つのマイクロホンがあり、または、各対のカメラの間にそれぞれ１つのマイクロホンがあり、選択的には、マイクロホンの数は、１〜８である。

本発明の実施例において、選択的には、頂部のカメラは、立体カメラ、マルチフォーカスカメラ、構造化光カメラ、飛行時間（ＴｏＦ）カメラ、ライトフィールドカメラのうちの一種または任意の組み合わせであっても良い。

本発明の実施例において、選択的には、側面のカメラは、立体カメラ、マルチフォーカスカメラ、構造化光カメラ、飛行時間（ＴｏＦ）カメラ、ライトフィールドカメラのうちの一種または任意の組み合わせ。

例えば、取得ユニット２１は、円筒形状であり、円筒の側表面には６対の双眼カメラがあり、各カメラの視野は、７０度であり、円筒の天井面及び底面には、それぞれ１対の双眼カメラがあり、各カメラの視野は、１８０度であり、立体パノラマの視野をカバーすることを実現でき、且つ、すべてのカメラは、事前に校正されて、パラメータマトリクスを得られる。取得ユニット２１は、８つのマイクロホンを内蔵しても良い。

本発明の実施例において、カラーカメラは、光学レンズ、感光素子（Ｉｍａｇｅ Ｓｅｎｓｏｒ）、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、画像信号処理チップ）からなってもよい。

ＶＰＵ（Ｖｉｓｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、視覚プロセッサ）は、モデル確立ユニット２２と処理ユニット２３を含み、ここで、カメラは、ＭＩＰＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ、モバイル産業用プロセッサインタフェース）によりＶＰＵチップに接続され、１つのＶＰＵチップは、２対のカメラから伝送されるデータを処理し、こうすると、１つの円筒の内部には４つのＶＰＵチップがある。

本発明の実施例において、モデル確立ユニット２２は、プロセッサと、ディスプレイカードと、メモリと、ビデオメモリと、フラッシュメモリと、ハードディスクと、無線伝送、有線伝送及び複数のバスインタフェースのチップとを含んでもよい。

本発明の実施例において、４次元時空モデルを送信した後、４次元時空モデルを受信した装置は、マルチメディア情報を表示してもよい。図２Ｆは、本発明に係るマルチメディア情報を表示する方法のフローチャートを模式的に示し、具体的な過程は、以下の通りです。

ステップ２００において、デジタル形式で時間とともに変化する表象情報を表徴できる属性を有し、肉眼で観察できる及び／又は機器で採集できる物体を表徴するための電磁界スペクトル情報を含む前記表象情報を表徴するための４次元時空モデルを受信する。

本発明の実施例において、ステップ２００において記載される電磁界スペクトル情報は、物体が発射するものであってもよいし、物体が反射するものであってもよく、または、物体が屈折するものであってもよく、ここでは限定しない。

本発明の実施例において、ステップ２００において記載される電磁界スペクトル情報は、無線電波情報、赤外線情報、可視光情報、紫外線情報、Ｘ線情報及びガンマ線情報のうちの少なくとも１つを含んでもよく、ここで、可視光情報は、レーザを含んでもよい。

本発明の実施例において、表象情報に対応する物体は、室内及び／又は室外における任意の視野サイズ及び角度を有する物体であってもよい。

本発明の実施例において、４次元時空モデルは、内容的に、
任意の時点で物体上の各点の時間とともに変化しない座標系での座標を示すことができる空間位置属性と、
任意の時点で物体表面のテクスチャ及びスペクトル特徴（例えば、カラー）、物体表面の幾何特性（例えば、法線方向、曲率、平滑性等）を示すことができる外観属性と、
音声属性と、
任意の時点で物体上の各点の運動速度ベクトル、加速度ベクトルを示すことができ、または、物体上の剛体と見なす各部分の角速度ベクトル、角加速度ベクトルを示すことができる運動属性と、
物体のカテゴリー、身分、材質、相互関係などのすべての表象情報及び表象情報の経過変化から推測できた情報のうちの少なくとも一種を示すことができる他の属性と、を少なくとも含み、
形式的に、４次元時空モデルは、デジタル化のデータ形式で記憶媒体に記憶され、この形式は、記憶、表示、検索、編集、伝送、暗号化されることができと共に、より高度なスマートアプリケーションに応用されることができる。

ステップ２１０において、前記４次元時空モデルに対してデコード処理を行って、デコードされた４次元時空モデルを得る。

本発明の実施例において、さらに、ステップ２００において受信した４次元時空モデルは、圧縮処理が行われた可能性があり、この場合、４次元時空モデルに対して展開処理を行っても良い。

さらに、伝送の安全性を高めるために、受信した４次元時空モデルは、暗号化処理が行われた可能性があり、この場合、受信した４次元時空モデルに対して復号化処理をさらに行う必要がある。

ステップ２２０において、前記デコードされた４次元時空モデルに基づいて、前記４次元時空モデルが表徴する表象情報を表示する。

本発明の実施例において、さらに、マルチメディア情報を表示する装置でのシーンを表示してもよく、したがって、前記４次元時空モデルが表徴する表象情報を表示する前に、
前記４次元時空モデルと、マルチメディア情報を表示する場所の物体の表象情報を表徴するための前記第１の時空モデルを融合して、目標４次元時空モデルを得るステップをさらに含む。

ここで、前記４次元時空モデルが表徴する表象情報を表示する場合、選択的には、
前記目標４次元時空モデルに基づいて、前記４次元時空モデルが表徴する表象情報と前記第１の時空モデルが表徴する表象情報とを表示するステップを採用できる。

例えば、４次元時空モデルが表徴する表象情報に対応するシーンは、海辺にいるシーンであり、第１の時空モデルが表徴する表象情報に対応するシーンは、事務机で事務を行うシーンであり、この場合、表示するシーンは、事務机の前が海辺であるように融合したシーンであってもよい。

さらに、人体及び物体に対して検測、追跡及び識別を行っても良く、現実の物理領域を仮想領域に重畳してもよい。例えば、観察者がＶＲヘルメットを装着して１つの草原に面し、現実中に彼がいる部屋に壁がある場合、「物体の検測に基づいて」は、現実の物理的な壁の情報をＶＲヘルメットにおける草原に重畳して、１つの草原における半透明壁を表示し、また、例えば、人の手の検測は、現実の手の手勢を検測し、その後、仮想の手を４次元モデルに重畳し、即ち、いくつかの仮想のシーンを融合してもよい。したがって、前記４次元時空モデルが表徴する表象情報を表示する前に、前記方法は、
前記４次元時空モデルと、本端のマルチメディア情報を表示する装置が位置する場所の表象情報を表徴するための第１の時空モデルと、仮想物体の表象情報を表徴するための第２の時空モデルとを融合して、目標４次元時空モデルを得るステップをさらに含む。

ここで、前記４次元時空モデルが表徴する表象情報を表示する場合、選択的には、
前記目標４次元時空モデルに基づいて、前記４次元時空モデルが表徴する表象情報、前記第１の時空モデルが表徴する表象情報及び前記第２の時空モデルが表徴する表象情報を表示するステップを採用できる。

例えば、４次元時空モデルが表徴する表象情報に対応するシーンは、海辺にいるシーンであり、第１の時空モデルが表徴する表象情報に対応するシーンは、事務机で事務を行うシーンである場合、表示するシーンは、事務机の前が海辺であるように融合したシーンであってもよい。さらに、表示する事務机の上に花の鉢を置きたいものの、実際には事務机の上に花がない場合、第２の時空モデルにより花を表徴すると共に、前記４次元時空モデルと本端の第１の時空モデル、第２の時空モデルを融合して、目標４次元時空モデルを得、この場合、表示するシーンは、事務机の前が海辺であり、且つ事務机の上に花の鉢を置くように融合したシーンであっても良い。

本発明の実施例において、表示するシーンにおいて画面があるだけでなく、音声があってもよく、したがって、前記表象情報は、耳で聞くことができる及び／又は機器で採集できる音場情報を更に含み、前記４次元時空モデルは、前記表象情報に対応する物体の音場情報をさらに表徴し、この場合、前記方法は、
前記４次元時空モデルが表徴する音場情報を再生するステップを更に含む。

本発明の実施例において、表示する表象情報に対応するシーンと現実シーンとの類似度を高めるために、４次元時空モデルが表徴する表象情報を表示する場合、マルチメディア情報を表示する装置の正面向き情報を参考する必要があり、したがって、前記４次元時空モデルが表徴する表象情報を表示する前に、
マルチメディア情報を表示する装置の正面向き情報を確定するステップをさらに含む。

ここで、前記４次元時空モデルが表徴する表象情報を表示する場合、選択的には、
前記正面向き情報に基づいて、前記４次元時空モデルが表徴する表象情報を表示するステップを採用できる。

本発明の実施例において、マルチメディア情報を表示する装置の正面向き情報を確定する場合、選択的には、
マルチメディア情報を表示する装置に関連する慣性航法に対して姿勢測位を行って、マルチメディア情報を表示する装置の正面向き情報を得るステップを採用できる。

ここで、慣性航法は、ジャイロセンサ、磁力計、加速度計のうちのいずれか一種または任意の組み合わせであっても良い。

本発明の実施例は、観察者が興味を持つ部分の精度を選択的に高めることができ、さらに、
マルチメディア情報を表示する装置の正面向き情報と目標マルチメディア情報を確定するステップと、
前記正面向き情報と前記目標マルチメディア情報を、４次元時空モデルを送信する装置に、フィードバックするステップと、を更に含む。

例えば、表象情報に対応するシーンには、ビーチ、人物及び帆船があり、マルチメディア情報を表示する装置を持つユーザの眼球が人物を注視する場合、人物を目標マルチメディア情報とする。このように、４次元時空モデルを送信する装置は、表象情報を取得する場合、帆船の表象情報を含まないものであって人物の表象情報のみを取得してもよい。

本発明の実施例において、目標マルチメディア情報を確定する場合、マルチメディア情報を表示する装置のカメラの「眼球」に基づいて確定してもよい。

なお、本発明の実施例に記載される第１の時空モデルと第２の時空モデルは、マルチメディア情報を表示する装置が予め確立したものであっても良く、リアルタイムに確立するものであっても良く、他の装置が予め確立したものであっても良く、または、リアルタイムに確立してマルチメディア情報を表示する装置に送信するものであっても良く、ここでは限定しない。

本発明の実施例において、いくつかのシーンにおいて、４次元時空モデルが表徴する表象情報のみを表示してもよく、例えば、遠隔勤務または遠隔通信シーンにおいて、マルチメディア情報を表示する装置は、４次元時空モデルを送信する装置から送信した「現実の遠隔」シーンを体験したいだけであり、この場合、４次元時空モデルが表徴する表象情報のみを表示すればよい。いくつかのシーンにおいて、４次元時空モデルが表徴する表象情報を表示した上で、第１の時空モデルまたは第２の時空モデルが表徴する表象情報をさらに表示しても良く、表象情報を表示する一端は、いくつかの仮想道具をさらに添加する必要があり、例えば、マルチメディア情報を表示する装置は、４次元時空モデルを送信する装置から送信されたシーンを体験するだけでなく、当該シーンにおいて仮想道具を添加する必要があり、例えば、手が振って空にホワイトボードを描き、または、ゲームのために、いくつかの仮想道具を（例えば、手から１つの「稲妻」を発してシーンにおける石を命中するように）添加する。

本発明の実施例において、複数の装置がそれぞれ送信した４次元時空モデルを受信してもよく、例えば、受信した第１の送信端から送信された第１の４次元時空モデルが表徴する表象情報に対応するシーンは、天壇であり、受信した第２の送信端から送信された第２の４次元時空モデルが表徴する表象情報に対応するシーンは、エッフェル塔である場合、表示するとき、天壇とエッフェル塔を並べて表示しても良い。

本発明は、４次元時空モデルを表示する詳細なプロセスを示し、図２Ｇに示すように、４次元時空モデル、第１の時空モデル及び第２の時空モデルを融合して、目標４次元時空モデルを得、マルチメディア情報を表示する装置の正面向き情報と目標マルチメディア情報を確定すると共に、正面向き情報と目標４次元時空モデルに基づいて４次元時空モデルが表徴する表象情報を表示し、正面向き情報と目標マルチメディア情報を、４次元時空モデルを送信する装置に、フィードバックする。

本発明の実施例において、マルチメディア情報を表示する方法を提供し、当該方法は、デジタル形式で時間とともに変化する表象情報を表徴できる属性を有し、前記表象情報を表徴するための４次元時空モデルを受信するステップと、前記４次元時空モデルに対してデコード処理を行って、デコードされた４次元時空モデルを得るステップと、前記デコードされた４次元時空モデルに基づいて、前記４次元時空モデルが表徴する表象情報を表示するステップと、を含み、当該方案において、４次元時空モデルは、デジタル形式で時間とともに変化する表象情報を表徴できる属性を有し、このように、表示する表象情報は、遅延の問題を存在しなく、したがって、従来技術において存在する遅延の欠陥を解決できる。

図２Ｈに示すように、本発明の実施例は、マルチメディア情報を表示する装置をさらに提供し、当該装置は、
デジタル形式で時間とともに変化する表象情報を表徴できる属性を有し、肉眼で観察できる及び／又は機器で採集できる物体を表徴するための電磁界スペクトル情報を含む前記表象情報を表徴するための４次元時空モデルを受信する受信ユニット２０００と、
前記４次元時空モデルに対してデコード処理を行って、デコードされた４次元時空モデルを得るための４次元時空モデル処理ユニット２１００と、
前記デコードされた４次元時空モデルに基づいて、前記４次元時空モデルが表徴する表象情報を再生するための表示ユニット２２００と、を含む。

本発明の実施例において、さらに、受信ユニット２０００が受信した４次元時空モデルは、圧縮処理が行われた可能性があり、この場合、４次元時空モデルに対して展開処理をさらに行っても良い。

さらに、伝送の安全性を高めるために、受信ユニット２０００が受信した４次元時空モデルは、暗号化処理が行われた可能性があり、この場合、受信した４次元時空モデルに対して復号化処理をさらに行う必要がある。

本発明の実施例において、さらに、マルチメディア情報を表示する装置でのシーンを表示しても良く、したがって、前記装置は、前記４次元時空モデルと、マルチメディア情報を表示する装置が位置する場所の表象情報を表徴するための前記第１の時空モデルを融合して、目標４次元時空モデルを得るためのモデル融合ユニット２３００を更に含む。

ここで、前記表示ユニット２２００は、前記４次元時空モデルが表徴する表象情報を表示する場合、選択的には、
前記目標４次元時空モデルに基づいて、前記４次元時空モデルが表徴する表象情報と前記第１の時空モデルが表徴する表象情報を表示するステップをさらに採用してもよい。

例えば、４次元時空モデルが表徴する表象情報に対応するシーンは、海辺にいるシーンであり、第１の時空モデルが表徴する表象情報に対応するシーンは、事務机で事務を行うシーンであり、この場合、表示ユニット２２００が表示するシーンは、事務机の前が海辺であるように融合したシーンであってもよい。

さらに、人体及び物体に対して検測、追跡及び識別を行っても良く、現実の物理領域を仮想領域に重畳してもよく、例えば、観察者がＶＲヘルメットを装着して１つの草原に面し、現実中に彼がいる部屋に壁がある場合、「物体の検測に基づいて」は、現実の物理的な壁の情報をＶＲヘルメットにおける草原に重畳して、１つの草原における半透明壁を表示し、また、例えば、人の手の検測は、現実の手の手勢を検測し、その後、仮想の手を４次元モデルに重畳し、即ち、いくつかの仮想のシーンを融合してもよい。前記装置は、前記４次元時空モデルと、前記マルチメディア情報を表示する装置の第１の時空モデルであって、マルチメディア情報を表示する装置が位置する場所の表象情報を表徴するための第１の時空モデルと、仮想物体の表象情報を表徴するための第２の時空モデルとを融合して、目標４次元時空モデルを得るためのモデル融合ユニット２３００を更に含む。

ここで、前記表示ユニット２２００は、前記４次元時空モデルが表徴する表象情報を表示する場合、選択的には、
前記目標４次元時空モデルに基づいて、前記４次元時空モデルが表徴する表象情報、前記第１の時空モデルが表徴する表象情報及び前記第２の時空モデルが表徴する表象情報を表示するステップを採用できる。

例えば、４次元時空モデルが表徴する表象情報に対応するシーンは、海辺にいるシーンであり、第１の時空モデルが表徴する表象情報に対応するシーンは、事務机で事務を行うシーンであり、この場合、表示ユニット２２００が表示するシーンは、事務机の前が海辺であるように融合したシーンであってもよく、さらに、表示する事務机の上に花の鉢を置きたいものの、実際には事務机の上に花がない場合、第２の時空モデルにより花を表徴すると共に、前記４次元時空モデルと本端の第１の時空モデルと、第２の時空モデルを融合して、目標４次元時空モデルを得、この場合、表示ユニット２２００が表示するシーンは、事務机の前が海辺であり、且つ事務机の上に花の鉢を置くように融合したシーンであっても良い。

本発明の実施例において、表示するシーンにおいて画面があるだけでなく、音声があってもよく、したがって、前記表象情報は、耳で聞くことができる及び／又は機器で採集できる音場情報を更に含み、前記４次元時空モデルは、前記表象情報に対応する物体の音場情報を表徴することにさらに応用される。

この場合、前記装置は、前記４次元時空モデルが表徴する音場情報を再生するための再生ユニット２４００を更に含む。

本発明の実施例において、表示する表象情報に対応するシーンと現実シーンとの類似度を高めるために、表示ユニット２２００は、４次元時空モデルが表徴する表象情報を表示する場合、マルチメディア情報を表示する装置の正面向き情報を参考する必要があり、したがって、さらに、前記装置は、マルチメディア情報を表示する装置の正面向き情報を確定するための処理ユニット２５００をさらに含む。

前記表示ユニット２２００は、前記４次元時空モデルが表徴する表象情報を表示する場合、選択的には、
前記正面向きに基づいて、前記４次元時空モデルが表徴する表象情報を表示するステップを採用できる。

本発明の実施例において、処理ユニット２５００は、マルチメディア情報を表示する装置の正面向き情報を確定する場合、選択的には、
マルチメディア情報を表示する装置に関連する慣性航法に対して姿勢測位を行って、マルチメディア情報を表示する装置の正面向き情報を得るステップを採用できる。

ここで、慣性航法は、ジャイロセンサ、磁力計、加速度計のうちのいずれか一種または任意の組み合わせであっても良い。

本発明の実施例において、観察者が興味を持つ部分の精度を選択的に高めることができ、さらに、前記装置は、マルチメディア情報を表示する装置の正面向き情報と目標マルチメディア情報を確定する処理ユニット２５００をさらに含む。

前記装置は、前記正面向き情報と前記目標マルチメディア情報を、４次元時空モデルを送信する装置に、フィードバックするためのフィードバックユニット２６を更に含む。

例えば、表象情報に対応するシーンには、ビーチ、人物及び帆船があり、マルチメディア情報を表示する装置を持つユーザの眼球が人物を注視する場合、人物を目標マルチメディア情報とする。このように、４次元時空モデルを送信する装置が表象情報を取得する場合、帆船の表象情報を含まないものであって人物の表象情報のみを取得してもよい。

本発明の実施例において、処理ユニット２５００は、目標マルチメディア情報を確定する場合、マルチメディア情報を表示する装置のカメラの「眼球」に基づいて確定してもよい。

なお、本発明の実施例に記載される第１の時空モデルと第２の時空モデルは、マルチメディア情報を表示する装置が予め確立したものであっても良く、リアルタイムに確立するものであっても良く、他の装置が予め確立したものであっても良く、または、リアルタイムに確立してマルチメディア情報を表示する装置に送信するものであっても良く、ここでは限定しない。

本発明の実施例において、いくつかのシーンにおいて、表示ユニット２２００は、４次元時空モデルが表徴する表象情報のみを表示してもよく、例えば、遠隔勤務または遠隔通信シーンにおいて、マルチメディア情報を表示する装置は、４次元時空モデルを送信する装置から送信された「現実の遠隔」シーンを体験したいだけであり、この場合、４次元時空モデルが表徴する表象情報のみを表示すればよい。いくつかのシーンにおいて、表示ユニット２２００は、４次元時空モデルが表徴する表象情報を表示した上で、第１の時空モデルまたは第２の時空モデルが表徴する表象情報をさらに表示しても良く、表象情報を表示する一端は、いくつかの仮想道具をさらに添加する必要があり、例えば、マルチメディア情報を表示する装置は、４次元時空モデルを送信する装置から送信されたシーンを体験するだけでなく、当該シーンにおいて仮想道具を添加する必要があり、例えば、手が振って空にホワイトボードを描き、または、ゲームのために、いくつかの仮想道具を（例えば、手から１つの「稲妻」を発してシーンにおける石を命中するように）添加する。

本発明の実施例において、受信ユニット２０００は、複数の装置がそれぞれ送信した４次元時空モデルを受信してもよく、例えば、受信した第１の送信端から送信された第１の４次元時空モデルが表徴する表象情報に対応するシーンは、天壇であり、受信した第２の送信端から送信され第２の４次元時空モデルが表徴する表象情報に対応するシーンは、エッフェル塔である場合、表示するとき、天壇とエッフェル塔を並べて表示しても良い。

本発明の実施例において、マルチメディア情報を表示する装置を提供し、当該装置は、デジタル形式で時間とともに変化する表象情報を表徴できる属性を有し、肉眼で観察できる及び／又は機器で採集できる物体を表徴するための電磁界スペクトル情報を含む前記表象情報を表徴するための４次元時空モデルを受信する受信ユニット２０００と、前記４次元時空モデルに対してデコード処理を行って、デコードされた４次元時空モデルを得る４次元時空モデル処理ユニット２１００と、前記デコードされた４次元時空モデルに基づいて、前記４次元時空モデルが表徴する表象情報を再生する表示ユニット２２００と、を含み、当該方案において、４次元時空モデルは、デジタル形式で時間とともに変化する表象情報を表徴できる属性を有し、このように、表示する表象情報は、遅延の問題を存在しなく、したがって、従来技術において存在する遅延の欠陥を解決できる。

以下、本発明の実施例が適用するシーンを説明する。

図３Ａが示すシーンは、以下のシーンであり、即ち、甲さんが第１のシーンに位置し、乙さんが第２のシーンに位置し、甲さんと乙さんが本発明の実施例に係る方法によって甲さん及び甲さんの周囲環境を乙さんの手前にリアルタイムに「遠隔表示」させ、乙さんが甲さんとインタラクションを行うことができる。

さらに、マルチメディア情報処理装置は、４次元時空モデルを記憶デバイスに先に記憶してもよく、乙さんが持っている４次元時空モデルを受信して処理できる装置は、記憶デバイスから４次元時空モデルを取得でき、図３Ｂに示すように、この場合、乙さんが「見る」シーンと図３Ａに示す場合に見るシーンは、同じであっても良い。

マルチメディア情報処理装置が４次元時空モデルを記憶デバイスに記憶する場合、図３Ｃに示すように、甲さんは、４次元時空モデルを受信して処理できる装置を持ち、記憶デバイスから４次元時空モデルを取得して、自分が過去の１つの時点に位置した第１のシーンを感知しても良い。

図３Ｄに示すシーンは、以下のシーンであり、即ち、甲さんが第１のシーンに位置し、乙さんが第２のシーンに位置し、甲さんと乙さんが本発明の実施例１によって甲さん及び甲さんの周囲環境を乙さんの手前にリアルタイムに「遠隔表示」させ、乙さんが甲さんとインタラクションを行うことができ、甲さんと乙さんが本発明の実施例１によって双方向リアルタイムな「遠隔現実」及び「混合現実」を実現し、甲さんが感知するのは、甲さんが位置する第１のシーンと乙さんとの重畳であり、乙さんが感知するのは、甲さんと甲さんが位置する第１のシーンである。また、甲さんと乙さんは、感知しようとするシーンに対して複数の選択があり、両方は、甲さんが位置する第１のシーンを選択的に見ても良く、乙さんが位置する第２のシーンを選択的に見ても良く、または、第三者が位置する第３のシーンを選択的に見ても良く、甲さんと乙さんは、同じな現実または仮想シーンを見ても良く、異なる現実または仮想シーンを見ても良い。

図３Ｅに示すシーンは、甲さんが本発明に係る実施例によって遠隔勤務を実現するシーンである。

図３Ｆに示すシーンは、甲さんと乙さんが本発明に係る実施例によって仮想環境を感知することを実現でき、さらに、臨場感があふれるように、インタラクションを行うことをさらに実現できる。

本発明の実施例において、上記の装置／サブ装置、ユニット／サブユニット、モジュール／サブモジュールは、一部がハードウェアにより実現し、且つ一部がソフトウェアにより実現してもよく、全部がハードウェアにより実現してもよく、全部がソフトウェアにより実現してもよい。

本発明で提供された方法及び装置は、いずれかの特定のコンピュータ、仮想システムまたは他の機器に関連付けていない。各種の汎用システムは、ここでの例示と一緒に使用できる。上記の記載に基づいて、このような装置が要求する構造を構成するのは、自明である。なお、本発明は、いずれかの特定のプログラミング言語に限定しない。各種のプログラミング言語を利用してここで説明した本発明の内容を実現することができ、且つ、特定の言語に対する記載は本発明の好ましい実施形態を開示するためのものであることが理解される。

本発明で提供される明細書において、多くの具体的な詳細を説明した。しかしながら、本発明の実施例は、これらの具体的な詳細がなくても実施されることができる。いくつかの実施例において、本明細書に対する注意を逸らさないために、周知の方法、構造及び技術を詳細に示さない。

同様に、本発明を簡素化すると共に各発明における１つまたは複数の局面を理解することに役立つために、以上のように本発明の例示的な実施例に対する説明において、本発明の各特徴は、単一の実施例、図またはそれに対する説明にまとめられることがある。しかしながら、当該発明の方法を以下の意図に反映すると解釈されるべきではなく、即ち、保護を請求しようとする本発明は、各請求項に明確に記載される特徴よりも多い特徴を要求するように解釈されるべきではない。より具体的には、請求の範囲が反映するように、発明は、開示された単一の実施例のすべての特徴よりも特徴が少ないものである。したがって、具体的な実施形態に従う請求の範囲は、当該具体的な実施形態に明確に組み込まれ、ここでの各請求項自身は、いずれも本発明の単独の実施例とする。

当業者は、実施例の装置におけるモジュールを適応的に変更すると共に、それらを当該実施例とは異なる１つまたは複数の装置に設置でき、実施例におけるいくつかのモジュールを１つのモジュールまたはユニットまたはアセンブリに組み合わせることができ、なお、それらを複数のサブモジュールまたはサブユニットまたはサブアセンブリに分割できること、を理解すべきである。このような特徴及び／又は過程またはモジュールにおける少なくともいくつかが互いに除外することを除いて、任意の組み合わせで本明細書等（添付される請求の範囲、要約書及び図面を含み）に開示される全ての特徴及びこのように開示されるいずれかの方法または機器の全ての過程またはユニットを組み合わせることができる。他に明確に記載されていない限り、本明細書等（添付される請求の範囲、要約書及び図面を含み）において開示される各特徴は、同一、同等または類似の目的の代替的特徴を提供することによって代替されることができる。

なお、当業者は、以上のようにいくつかの実施例が他の実施例に含まれる一部の特徴（他の特徴ではない）を含むものの、異なる実施例の特徴の組み合わせでも、本発明の範囲内にあり、且つ異なる実施例を形成すること、を理解すべきである。例えば、請求の範囲において、保護を請求しようとする実施例の何れか１つは、いずれも任意の組み合わせで使用されることができる。

本発明の各装置実施例は、ハードウェアにより実現でき、１つまたは複数のプロセッサに実行されるソフトウェアモジュールにより実現でき、または、それらの組み合わせで実現できる。当業者は、実践においてマイクロプロセッサまたはデジタル信号プロセッサ（ＤＳＰ）を使用して本発明の実施例に係る装置における一部又は全部のモジュールの一部または全部の機能を実現できることを理解すべきである。本発明は、ここで記載された方法の一部又は全部の装置プログラム（例えば、コンピュータプログラム及びコンピュータプログラム製品）を実行するように実現してもよい。このような本発明を実現するプログラムは、コンピュータ可読媒体に格納してもよく、または、１つまたは複数の信号の形式があってもよい。このような信号は、インタネットのウェブサイトからダウンロードでき、キャリアー信号から提供でき、または、任意の他の形式で提供できる。

注意されるべきなのは、上記の実施例は本発明を限定するものではなく、本発明を説明するものであり、当業者は、添付される請求の範囲を脱離せずに代替な実施例を設計することができることである。請求の範囲において、括弧内のいずれかの参考符号は、請求の範囲を限定しない。「含む」という単語は、請求の範囲に記載されない素子またはステップの存在を排除するものではない。素子の前に位置する単語である「一」または「１つの」は、複数のこのような素子の存在を排除するものではない。

本発明は、いくつかの異なる素子を含むハードウェア及び適切にプログラムされたコンピュータによって実現できる。いくつかの装置を列挙した請求の範囲において、これらの装置におけるいくつかの装置は、同一なハードウェア請求項によって具体的に体現できる。第１、第２及び第３などの単語の使用は、いずれかの順序を示すものではない。これらの単語を名称に解釈してもよい。

Claims (18)

1. 計算機器により実行されるマルチメディア情報を処理する方法であって、
   肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報を含む表象情報を取得するステップと、
   取得した表象情報に基づいて、デジタル形式で時間とともに変化する前記表象情報を表徴できる属性を有し、前記表象情報を表徴するための４次元時空モデルを確立するステップと、
   確立された４次元時空モデルに対して符号化処理を行うと共に、符号化処理を行った後の４次元時空モデルに対して送信を行うステップと、含み、
   取得した表象情報に基づいて前記表象情報を表徴するための前記４次元時空モデルを確立するステップは、具体的に、
   前記表象情報に対して処理を行って、第１のマーク情報を得るステップと、
   前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報及びテクスチャ情報を含む第２点クラウド情報を得るステップと、
   前記第１点クラウド情報と前記第２点クラウド情報を融合して、目標点クラウド情報を得るステップと、
   前記目標点クラウド情報に基づいて、視覚情報を得るステップと、
   前記視覚情報に基づいて空間モデルを取得し、異なる時点の空間モデルに対して融合を行うステップと、
   融合した空間モジュール、前記第１のマーク情報及び第２のマーク情報に基づいて、前記４次元時空モデルを得るステップと、を含むことを特徴とするマルチメディア情報を処理する方法。
2. 取得した表象情報に基づいて前記４次元時空モデルを確立する前に、前記方法は、
   耳で聞くことができ及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算するステップをさらに含み、
   前記表象情報に基づいて前記表象情報を表徴するための４次元時空モデルを確立するステップは、具体的に、前記表象情報と前記音場情報に基づいて、前記表象情報と前記音場情報を表徴するための４次元時空モデルを確立するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記視覚情報に基づいて空間モデルを取得する前に、前記方法は、
   耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算するステップをさらに含み、
   前記視覚情報に基づいて空間モデルを取得するステップは、具体的に、前記視覚情報と前記音場情報を融合して、前記空間モデルを得るステップを含むことを特徴とする請求項１に記載の方法。
4. 前記第１点クラウド情報と前記第２点クラウド情報を融合して目標点クラウド情報を得た後、前記視覚情報を得る前に、前記方法は、
   前記目標点クラウド情報に対して処理を行って、前記第２のマーク情報を得るステップを更に含み、
   前記目標点クラウド情報に基づいて、視覚情報を得るステップは、具体的に、前記第２のマーク情報と前記目標点クラウド情報に基づいて、前記視覚情報を得るステップを含むことを特徴とする請求項１に記載の方法。
5. 前記第２のマーク情報と前記目標点クラウド情報に基づいて、前記視覚情報を得るステップは、具体的に、
   前記目標点クラウド情報に対して幾何頂点位置の最適化及び法線方向の計算を行って第１結果を得るステップと、
   前記第１結果に対して表面整合及び三角グリッド化処理を行って第２結果を得るステップと、
   前記第２結果と前記第２のマーク情報に基づいて、前記視覚情報を得るステップと、を含むことを特徴とする請求項４に記載の方法。
6. 前記表象情報に対して処理を行って、第１のマーク情報を得るステップは、具体的に、前記表象情報に対してデジタル画像処理分析を行って前記第１のマーク情報を得るステップを含むことを特徴とする請求項１に記載の方法。
7. 前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報を得るステップは、具体的に、前記第１のマーク情報に基づいて、前記表象情報に対して処理を行って前記表象情報に対応する物体の座標情報を得るステップと、
   前記座標情報に基づいて、前記幾何情報を含む第１点クラウド情報を生成するステップと、を含むことを特徴とする請求項１または６に記載の方法。
8. 前記第１のマーク情報と前記表象情報に基づいて、テクスチャ情報を含む第２点クラウド情報を得るステップは、具体的に、
   点順次合成及び／又は画像合成の方式を採用し、前記第１のマーク情報に基づいて、前記表象情報に対して情報取出処理を行って、テクスチャ情報を含む第２点クラウド情報を得るステップを含むことを特徴とする請求項１または６に記載の方法。
9. 前記第２のマーク情報と前記目標点クラウド情報に基づいて、視覚情報を得るステップは、
   前記第２のマーク情報と前記目標点クラウド情報に基づいて、物体の表面法線方向情報を計算するステップと、
   前記表面法線方向情報に基づいて視覚情報を得るステップと、を含むことを特徴とする請求項４に記載の方法。
10. マルチメディア情報を処理するための計算機器であって、
    プロセッサと、
    前記プロセッサにより実行可能な指令を記憶するためのメモリと、を含み、
    前記プロセッサが前記指令を実行する場合、前記プロセッサは、
    肉眼で観察できる及び／又は機器で採集できる、物体を表徴するための電磁界スペクトル情報を含む表象情報を取得し、
    取得した表象情報に基づいて、デジタル形式で時間とともに変化する前記表象情報を表徴できる属性を有し、前記表象情報を表徴するための４次元時空モデルを確立し、
    確立された４次元時空モデルに対して符号化処理を行うと共に、符号化処理を行った後の４次元時空モデルに対して送信を行い、
    取得した表象情報に基づいて前記表象情報を表徴するための前記４次元時空モデルを確立するために、前記プロセッサは、
    前記表象情報に対して処理を行って、第１のマーク情報を得、
    前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報及びテクスチャ情報を含む第２点クラウド情報を得、
    前記第１点クラウド情報と前記第２点クラウド情報を融合して、目標点クラウド情報を得、
    前記目標点クラウド情報に基づいて、視覚情報を得、
    前記視覚情報に基づいて空間モデルを取得し、異なる時点の空間モデルに対して融合を行い、
    融合した空間モジュール、前記第１のマーク情報及び第２のマーク情報に基づいて、前記４次元時空モデルを得ることを特徴とする計算機器。
11. 前記プロセッサは、
    取得した表象情報に基づいて前記４次元時空モデルを確立する前に、耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算し、
    前記表象情報に基づいて前記表象情報を表徴するための４次元時空モデルを確立するために、前記プロセッサは、前記表象情報と前記音場情報に基づいて、前記表象情報と前記音場情報を表徴するための４次元時空モデルを確立することを特徴とする請求項１０に記載の計算機器。
12. 前記プロセッサは、
    前記視覚情報に基づいて空間モデルを取得する前に、耳で聞くことができる及び／又は機器で採集できる音場情報を更に含む前記表象情報に基づいて、前記表象情報に対応する物体の音場情報を計算し、
    前記視覚情報に基づいて空間モデルを取得するために、前記プロセッサは、前記視覚情報と前記音場情報を融合して、前記空間モデルを得ることを特徴とする請求項１０に記載の計算機器。
13. 前記プロセッサは、前記第１点クラウド情報と前記第２点クラウド情報を融合して目標点クラウド情報を得た後、前記視覚情報を得る前に、前記目標点クラウド情報に対して処理を行って、前記第２のマーク情報を得、
    前記目標点クラウド情報に基づいて、視覚情報を得るために、前記プロセッサは、前記第２のマーク情報と前記目標点クラウド情報に基づいて、前記視覚情報を得ることを特徴とする請求項１０に記載の計算機器。
14. 前記第２のマーク情報と前記目標点クラウド情報に基づいて、前記視覚情報を得るために、前記プロセッサは、
    前記目標点クラウド情報に対して幾何頂点位置の最適化及び法線方向の計算を行って第１結果を得、
    前記第１結果に対して表面整合及び三角グリッド化処理を行って第２結果を得、
    前記第２結果と前記第２のマーク情報に基づいて、前記視覚情報を得ることを特徴とする請求項１３に記載の計算機器。
15. 前記表象情報に対して処理を行って、第１のマーク情報を得るために、前記プロセッサは、前記表象情報に対してデジタル画像処理分析を行って前記第１のマーク情報を得ることを特徴とする請求項１０に記載の計算機器。
16. 前記第１のマーク情報と前記表象情報に基づいて、幾何情報を含む第１点クラウド情報を得るために、前記プロセッサは、
    前記第１のマーク情報に基づいて、前記表象情報に対して処理を行って前記表象情報に対応する物体の座標情報を得、
    前記座標情報に基づいて、前記幾何情報を含む第１点クラウド情報を生成することを特徴とする請求項１０に記載の計算機器。
17. 前記第１のマーク情報と前記表象情報に基づいて、テクスチャ情報を含む第２点クラウド情報を得るために、前記プロセッサは、
    点順次合成及び／又は画像合成の方式を採用し、前記第１のマーク情報に基づいて、前記表象情報に対して情報取出処理を行って、テクスチャ情報を含む第２点クラウド情報を得ることを特徴とする請求項１０に記載の計算機器。
18. 前記第２のマーク情報と前記目標点クラウド情報に基づいて、視覚情報を得るために、前記プロセッサは、
    前記第２のマーク情報と前記目標点クラウド情報に基づいて、物体の表面法線方向情報を計算し、
    前記表面法線方向情報に基づいて視覚情報を得ることを特徴とする請求項１３に記載の計算機器。

Images