JP2022518402A

JP2022518402A - 三次元再構成の方法及び装置

Info

Publication number: JP2022518402A
Application number: JP2021540143A
Authority: JP
Inventors: 淞王; ▲鋒▼ ▲張▼; 新然于
Original assignee: Beijing Ainfinit Technology Co Ltd
Current assignee: Beijing Ainfinit Technology Co Ltd
Priority date: 2019-01-25
Filing date: 2019-03-26
Publication date: 2022-03-15
Anticipated expiration: 2039-03-26
Also published as: US20210192704A1; WO2020151078A1; JP7398819B2; US11954832B2; CN109785429B; CN109785429A

Abstract

本出願は三次元再構成の方法及び装置を開示しており、該方法は、物体が再構成空間に進入する場合、視野が再構成空間を覆うＮ台のカメラの再構成空間に対する撮影画像をＮ個の現在画像として取得することと、Ｎ個の現在画像、及び再構成空間に物体が存在しない場合の、再構成空間に対するＮ台のカメラの撮影画像から得られたＮ個の初期背景画像に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を取得することと、Ｎ個の現在画像の各位置点と再構成空間の各位置点との対応関係に基づいて、上記前景背景差分を対応融合して再構成空間の各位置点に対応する前景背景差分を取得することと、再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、再構成空間の各位置点を選別して物体を三次元再構成することと、を含む。このように、Ｎ個の現在画像及び対応するＮ個の初期背景画像により比較的に簡単な前景背景分離を行い、再構成空間に進入した物体の三次元再構成を快速でリアルタイムに完成する。【選択図】図２

Description

相互参照

本出願は、２０１９年０１月２５日にて中国特許庁に提出され、出願番号が２０１９１００７４３４３．５であり、発明の名称が「三次元再構成の方法及び装置」である中国特許出願の優先権を主張し、その全ての内容が本出願に援用される。

本出願は、画像分析処理技術分野に関し、特に三次元再構成の方法及び装置に関する。

科学技術の急速な発展に伴い、コンピュータの表示及び処理に適した数学的モデルを物体に構築するように、三次元再構成（英語：３ＤＲｅｃｏｎｓｔｒｕｃｔｉｏｎ；略称：３Ｄ再構成）技術の適用が必要であるシーンがますます多くなり、客観的な世界を表現する仮想現実をコンピュータで構築するキー技術である。現在、主流の３Ｄ再構成技術には、主に直接的な３Ｄ再構成技術及び間接的な３Ｄ再構成技術が含まれる。

なお、直接的な３Ｄ再構成技術とは、レーザー測距付きの専用測定機器を使用することにより、物体の３Ｄ形状及び３Ｄ構造を実際に測定することであり、間接的な３Ｄ再構成技術とは、物体に対して異なる角度の画像を撮影することにより、アルゴリズムで画像上の特徴点を抽出し、特徴点の照合マッチングにより、最終的に物体の３Ｄ形状及び３Ｄ構造を生成することである。

発明者は研究を通じて、直接的な３Ｄ再構成技術は、物体に対して全面的なレーザー測距を行って多くの時間がかかり、間接的な３Ｄ再構成技術は、異なる角度の物体の画像における特徴点を比較して演算することが比較的に複雑で計算量が大きい、と発見し、即ち、上記２種類の３Ｄ再構成技術は、一回の３Ｄ再構成を完成するために、ともに数分ひいては数時間が必要である。それでは、上記２種類の３Ｄ再構成技術は、リアルタイムの３Ｄ再構成が必要なシーン、例えば、人間の動きへのキャプチャ、物体の移動へのキャプチャ等に適用できない。

本出願が解決しようとする技術的課題は、再構成空間に進入した物体の三次元再構成を快速でリアルタイムに完成でき、リアルタイムの三次元再構成が必要なシーンに非常に適する、三次元再構成の方法及び装置を提供することである。

第１点、本出願の実施例は、
物体が再構成空間に進入する場合、前記再構成空間に対するＮ（前記Ｎが２以上の正整数）台のカメラの撮影画像をＮ個の現在画像として取得し、前記カメラの視野が前記再構成空間を覆うことと、
前記Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得し、前記Ｎ個の初期背景画像は、前記再構成空間に物体が存在しない場合の、前記再構成空間に対する前記Ｎ台のカメラの撮影画像であることと、
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、前記再構成空間の各位置点に対応する前景背景差分を取得することと、
前記再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、前記再構成空間の各位置点を選別して前記物体を三次元再構成することと、を含む三次元再構成の方法を提供する。

任意に、前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係は、前記再構成空間の縁に固定的に配置された前記Ｎ台のカメラの位置情報及び角度情報によって特定される。

任意に、前記Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得することは、
前記Ｎ個の現在画像の各位置点の画素値、及び対応する前記Ｎ個の初期背景画像の各位置点の画素値を取得することと、
前記Ｎ個の現在画像の各位置点の画素値、対応する前記Ｎ個の初期背景画像の各位置点の画素値と差分関数に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得することと、を含む。

任意に、前記差分関数は、混合ガウスモデルのモデリングにより特定されるか、或いは、前記差分関数は、ベクトル距離式により特定される。

任意に、前記ベクトル距離式は、ユークリッド距離式、マンハッタン距離式またはコサイン距離式を含む。

任意に、前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、前記再構成空間の各位置点に対応する前景背景差分を取得することは、
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分を特定することと、
前記再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分及び融合関数に基づいて、前記再構成空間の各位置点に対応する前景背景差分を取得することと、を含む。

任意に、前記融合関数は、加算関数または乗算関数を含む。

任意に、前記再構成空間の境界は、濃淡が互い違いになったテクスチャを使用する。

任意に、
照明が変化し且つ前記再構成空間に物体が存在しない場合、前記再構成空間に対する前記Ｎ台のカメラの撮影画像を取得して前記Ｎ個の初期背景図を更新することをさらに含む。

第２点、本出願の実施例は、
物体が再構成空間に進入する場合、前記再構成空間に対するＮ（前記Ｎが２以上の正整数）台のカメラの撮影画像をＮ個の現在画像として取得するためのものであり、前記カメラの視野が前記再構成空間を覆う取得ユニットと、
前記Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得するためのものであり、前記Ｎ個の初期背景画像は、前記再構成空間に物体が存在しない場合の、前記再構成空間に対する前記Ｎ台のカメラの撮影画像である第１取得ユニットと、
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、前記再構成空間の各位置点に対応する前景背景差分を取得するための第２取得ユニットと、
前記再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、前記再構成空間の各位置点を選別して前記物体を三次元再構成するための再構成ユニットと、を含む三次元再構成の装置を提供する。

第３点、本出願の実施例は、プロセッサ及びメモリを含み、
前記メモリが、プログラムコードを記憶するとともに、前記プログラムコードを前記プロセッサに伝送し、
前記プロセッサが、前記プログラムコードにおけるコマンドに応じて上記第１点のいずれか１項に記載の三次元再構成の方法を実行する、端末機器を提供する。

第４点、本出願の実施例は、上記第１点のいずれか１項に記載の三次元再構成の方法を実行するためのプログラムコードを記憶する、コンピュータ読み取り可能記憶媒体を提供する。

従来技術と比較すると、本出願は少なくとも以下の利点を有する。即ち、
本出願の実施例の技術案を使用すると、まず、物体が再構成空間に進入する場合、視野が再構成空間を覆うＮ台のカメラの再構成空間に対する撮影画像をＮ個の現在画像として取得し、そして、Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を取得し、Ｎ個の初期背景画像は、再構成空間に物体が存在しない場合の、再構成空間に対するＮ台のカメラの撮影画像であり、次に、Ｎ個の現在画像の各位置点と再構成空間の各位置点との対応関係に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合して再構成空間の各位置点に対応する前景背景差分を取得し、最後に、再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、再構成空間の各位置点を選別して物体を三次元再構成する。このように、物体が再構成空間に進入する場合、Ｎ個の現在画像及び対応するＮ個の初期背景画像により前景背景の分離を行って物体を三次元再構成し、前景背景の分離の演算は比較的に簡単で便利であり、再構成空間に進入した物体の三次元再構成を快速でリアルタイムに完成でき、該方法は、リアルタイムの三次元再構成が必要なシーンに非常に適する。

本出願の実施例における技術案をより明瞭に説明するために、以下、本出願の実施例への記載に使用する図面を簡単に紹介し、明らかに、以下の記載における図面は、本出願に記載されるいくつかの実施例に過ぎず、当業者にとって、創造的な労働をせず、さらにこれらの図面に応じて他の図面を得ることができる。
本出願の実施例における適用シーンに係るシステムフレーム概略図である。本出願の実施例が提供する三次元再構成の方法のフロー概略図である。本出願の実施例が提供する再構成空間及びＮ台のカメラの構造概略図である。本出願の実施例が提供する、真っ白な再構成空間における真っ黒な円柱体の三次元再構成の平面概略図である。本出願の実施例が提供する黒白のテクスチャである。本出願の実施例が提供する三次元再構成の装置の構造概略図である。

当業者に本出願の技術案をよりよく理解させるために、以下、本出願の実施例における図面を結合して本出願の実施例における技術案を明瞭で完全に記載し、明らかに、記載される実施例は、本出願の一部の実施例に過ぎず、全ての実施例ではない。本出願における実施例に基づいて、当業者が創造的な労働をせずに取得した全ての他の実施例は、いずれも本出願の保護する範囲に属する。

現在、主流の３Ｄ再構成技術には、主に２種類が含まれ、１つは、直接的な３Ｄ再構成技術であり、レーザー測距付きの専用測定機器を使用することにより、物体の３Ｄ形状及び３Ｄ構造を実際に測定することであり、もう１つは間接的な３Ｄ再構成技術であり、物体に対して異なる角度の画像を撮影することにより、アルゴリズムで画像上の特徴点を抽出し、特徴点の照合マッチングにより、最終的に物体の３Ｄ形状及び３Ｄ構造を生成することである。しかしながら、発明者は研究を通じて、直接的な３Ｄ再構成技術は、物体に対して全面的なレーザー測距を行って多くの時間がかかり、間接的な３Ｄ再構成技術は、異なる角度の物体の画像における特徴点を比較して演算することが比較的に複雑であって計算量が大きい、と発見した。即ち、一回の３Ｄ再構成を完成するために、ともに数分ひいては数時間が必要であり、リアルタイムの３Ｄ再構成が必要なシーンに適用できず、例えば、スマート自動販売機が顧客の商品を取る動きを判断することや生産設備が労働者の操作が安全規制を満たすか否かを検出する等のような、人間の動きをリアルタイムにキャプチャする必要があるシーンや、別の例として、工場の生産ラインでの部品の運送状況を検出する等のような、物体の移動をリアルタイムにキャプチャする必要があるシーンに適用できない。

この課題を解決するために、本出願の実施例において、まず、物体が再構成空間に進入する場合、視野が再構成空間を覆うＮ台のカメラの再構成空間に対する撮影画像をＮ個の現在画像として取得し、そして、Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を取得し、Ｎ個の初期背景画像は、再構成空間に物体が存在しない場合の、再構成空間に対するＮ台のカメラの撮影画像である。次に、Ｎ個の現在画像の各位置点と再構成空間の各位置点との対応関係に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合して再構成空間の各位置点に対応する前景背景差分を取得し、最後に、再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に応じて、再構成空間の各位置点を選別して物体を三次元再構成する。このように、物体が再構成空間に進入する場合、Ｎ個の現在画像及び対応するＮ個の初期背景画像により前景背景の分離を行って物体を三次元再構成し、前景背景の分離の演算は比較的に簡単で便利であり、再構成空間に進入した物体の三次元再構成を快速でリアルタイムに完成でき、当該方法は、リアルタイムの三次元再構成が必要なシーンに非常に適する。

例を挙げると、本出願の実施例のシーンの１つは、図１に示すようなシーンに適用してもよく、該シーンは、Ｎ（Ｎが２以上の正整数）台のカメラ１０１、プロセッサ１０２、及びユーザ端末１０３を含み、カメラの視野が再構成空間を覆う。

再構成空間に物体が存在しない場合、Ｎ台のカメラ１０１は再構成空間を撮影し、撮影画像を得てプロセッサ１０２に送信し、プロセッサ１０２はそれをＮ個の初期背景画像とする。物体が再構成空間に進入する場合、Ｎ台のカメラ１０１は再構成空間を撮影し、撮影画像を得てプロセッサ１０２に送信し、プロセッサ１０２はそれをＮ個の現在画像とする。プロセッサ１０２は、Ｎ個の現在画像及び対応するＮ個の初期背景画像に応じて、Ｎ個の現在画像の各位置点に対応する前景背景差分を取得する。プロセッサ１０２は、Ｎ個の現在画像の各位置点と再構成空間の各位置点との対応関係に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、再構成空間の各位置点に対応する前景背景差分を取得する。プロセッサ１０２は、再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に応じて、再構成空間の各位置点を選別して物体を三次元再構成し、物体の三次元再構成画像を得てユーザ端末１０３に送信し、ユーザ端末１０３は物体の三次元再構成画像をユーザに表示する。

上記の適用シーンにおいて、本出願の実施形態の処理がプロセッサ１０２によって実行されるが、本出願は、実行主体を限定せず、本出願の実施形態に開示した処理を実行すればよい。

上記シーンは、本出願の実施例が提供する１つのシーンの例示に過ぎず、本出願の実施例はこのシーンに限定されない。

以下、図面を結合して、実施例により本出願の実施例における三次元再構成の方法及び装置の具体的な実現形態を詳しく説明する。

例示的な方法
図２を参照し、本出願の実施例における三次元再構成の方法のフロー概略図を示す。本実施例において、前記方法は例えば、以下のステップを含むことができる。

ステップ２０１：物体が再構成空間に進入する場合、前記再構成空間に対するＮ（前記Ｎが２以上の正整数）台のカメラの撮影画像をＮ個の現在画像として取得し、前記カメラの視野が前記再構成空間を覆う。

なお、再構成空間とは、進入した物体に対して三次元再構成を行う必要がある空間であり、本出願の実施では、当該再構成空間の形状を限定せず、四角体であってもよいし、円柱体であってもよく、さらに球体等であってもよい。本出願の実施例を実現する前提は、再構成空間の縁にカメラを配置する必要があることであり、仮にＮ（Ｎが２以上の正整数）台のカメラを配置すれば、Ｎ台のカメラは再構成空間の縁に分散して配置されるべきであり、各台のカメラのレンズが再構成空間の内部に面し、且つ視野が全再構成空間を覆う。それ以外、本出願の実施では、カメラの数量及びカメラの配置位置について限定がなく、カメラの数量の多少は、後続のステップの操作及び算出に影響を与えたり変更したりすることがなく、配置されるカメラが多いほど、後続の使用可能なデータが多くなり、三次元再構成の精度が高くなる。ここで、カメラを配置した後、Ｎ台のカメラはいずれも固定する必要があり、適用中に、各台のカメラが移動したり回動したりしないようにする等を必ず確保する。

例えば、図３に示すような再構成空間及びＮ台のカメラの構造概略図である。再構成空間が立方体であれば、その特定の４つのエッジの中点に４台のカメラを配置でき、Ｎが４であり、或いは、その８つの頂点に８台のカメラを配置し、Ｎが８である。再構成空間が円柱体であれば、その天面及び底面に互いにずれる４台のカメラを配置でき、Ｎが４である。

なお、物体が再構成空間に進入する場合、三次元再構成が必要な物体が該再構成空間に存在することを示し、この場合、Ｎ台のカメラは再構成空間を撮影してＮ個の撮影画像を得て、プロセッサは上記Ｎ個の撮影画像をＮ個の現在画像として取得する。Ｎ個の現在画像はいずれも物体部分の画像を含み、それを前景画像とし、他の部分の画像を背景画像とする。

ステップ２０２：前記Ｎ個の現在画像及び対応するＮ個の初期背景画像に応じて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得し、前記Ｎ個の初期背景画像は、前記再構成空間に物体が存在しない場合の、前記再構成空間に対する前記Ｎ台のカメラの撮影画像である。

なお、Ｎ個の初期背景画像は実際には、Ｎ台のカメラを配置し固定した後、再構成空間に物体が存在しない場合、Ｎ台のカメラを起動させて再構成空間を撮影してＮ個の撮影画像を取得し、プロセッサがＮ個の撮影画像を取得することで得られたものである。初期背景図を取得する場合、再構成領域内に他の物体の進入がないように確保する必要がある。Ｎ個の初期背景画像はプロセッサに記憶され、且つ各初期背景画像上に再構成空間に進入した物体部分の画像がなく、純粋な再構成空間の背景画像のみがある。

なお、Ｎ個の初期背景図における各初期背景画像上に再構成空間に進入した物体部分の画像がないので、即ち、各初期背景画像における全ての部分画像がいずれも背景画像に属する。各台のカメラにとって、カメラが固定されているため、現在画像の各位置点と対応する初期背景図の各位置点とは１対１の対応関係があり、現在画像と対応する初期背景図とを比較することで、現在画像の各位置点に対応する前景背景差分が得られ、前景部分の画像を現在画像から分離させて後続の物体の三次元再構成に使用する。

ここで、現在画像及び対応する初期背景図における任意の１つの位置点について、現在画像の当該位置点の画素値と対応する初期背景図の当該位置点の画素値との間の差分で現在画像の当該位置点に対応する前景背景差分を示すことができる。現在画像の各位置点の画素値及び対応する初期背景図の各位置点の画素値を確定した後、予め定義された差分関数を使用すれば、画素値差分を前景背景差分として取得できる。前景背景差分が大きいほど、その対応する位置点が前景画像に属する確率が高いことを示し、前景背景差分が小さいほど、その対応する位置点が背景画像に属する確率が高いことを示す。従って、本出願の実施例のいくつかの実施形態では、前記ステップ２０２は例えば、
ステップＡ：前記Ｎ個の現在画像の各位置点の画素値、及び対応する前記Ｎ個の初期背景画像の各位置点の画素値を取得することと、
ステップＢ：前記Ｎ個の現在画像の各位置点の画素値、対応する前記Ｎ個の初期背景画像の各位置点の画素値及び差分関数に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得することと、を含む。

例えば、（ｕ，ｖ）が現在画像及び対応する初期背景図における１つの位置点を示し、（Ｒ_ｃ，Ｇ_ｃ，Ｂ_ｃ）が現在画像の当該位置点の画素値を示し、（Ｒ_Ｂ，Ｇ_Ｂ，Ｂ_Ｂ）が対応する初期背景画像の当該位置点の画素値を示し、予め定義された差分関数がＦであるとすれば、現在画像の当該位置点に対応する前景背景差分ＤｉｆｆはＤｉｆｆ＝Ｆ（Ｒ_Ｂ，Ｇ_Ｂ，Ｂ_Ｂ，Ｒ_ｃ，Ｇ_ｃ，Ｂ_ｃ）である。当該位置点が現在画像において前景画像に属せず背景画像であれば、（Ｒ_ｃ，Ｇ_ｃ，Ｂ_ｃ）＝（Ｒ_Ｂ，Ｇ_Ｂ，Ｂ_Ｂ）であり、現在画像の当該位置点に対応する前景背景差分Ｄｉｆｆは０である。

なお、予め定義される差分関数は多種多様であってもよく、本出願の実施例では、２つの方式で差分関数を定義することができる。一つ目は古典的であり、混合ガウスモデルのモデリングにより差分関数を特定でき、二つ目は、画素値を３次元ベクトルと見なし、古典的なベクトル距離式に基づいて差分関数を特定できる。なお、よく見られるベクトル距離式は、ユークリッド距離式、マンハッタン距離式、及びコサイン距離式等であり、そのうちのいずれか１つの距離式を選択して、差分関数を特定できる。従って、本出願の実施例のいくつかの実施形態では、前記差分関数は、混合ガウスモデルのモデリングにより特定されるか、或いは、前記差分関数は、ベクトル距離式により特定され、前記ベクトル距離式は、ユークリッド距離式、マンハッタン距離式またはコサイン距離式を含む。

例えば、ユークリッド距離式を使用して差分関数Ｆを特定する場合、現在画像の各位置点に対応する前景背景差分Ｄｉｆｆは

であり、マンハッタン距離式を使用して差分関数Ｆを特定する場合、現在画像の各位置点に対応する前景背景差分Ｄｉｆｆは、

であり、コサイン距離式を使用して差分関数Ｆを特定する場合、現在画像の各位置点に対応する前景背景差分Ｄｉｆｆは、

である。

ステップ２０３：前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、前記再構成空間の各位置点に対応する前景背景差分を取得する。

なお、ステップ２０２でＮ個の現在画像の各位置点に対応する前景背景差分を取得し、Ｎ個の現在画像の各位置点が前景画像に属する確率を示し、再構成空間の各位置点が物体に属する確率を特定するように、再構成空間の各位置点に対応する前景背景差分を取得する必要がある。再構成空間の各位置点のうち任意の１つの位置点について、Ｎ個の現在画像においてそれぞれ対応する位置点があり、現在画像における対応する位置点はそれぞれ、前景画像に属する確率を示す１つの前景背景差分に対応し、融合関数を使用してＮ個の現在画像において対応する位置点が対応する前景背景差分を融合すれば、再構成空間の当該位置点が物体に属する確率を示す前景背景差分が得られる。従って、本出願の実施例のいくつかの実施形態では、前記ステップ２０３は例えば、
ステップＣ：前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分を特定することと、
ステップＤ：前記再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分及び融合関数により、前記再構成空間の各位置点に対応する前景背景差分を取得することと、を含む。

例えば、（ｘ，ｙ，ｚ）が再構成空間の１つの位置点を示し、Ｄｉｆｆ_iが、当該位置点に対応するプロセッサが第ｉ台のカメラから取得した現在画像の位置点に対応する前景背景差分を示し、ｉ＝１，２，３，・・・，Ｎであり、予め定義された融合関数がＲであるとすれば、再構成空間の当該位置点に対応する前景背景差分Ｄｉｆｆ３Ｄは
Ｄｉｆｆ３Ｄ＝Ｒ（Ｄｉｆｆ_１，Ｄｉｆｆ_２，・・・，Ｄｉｆｆ_Ｎ，）である。

ここで、再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分について、まず、Ｎ個の現在画像の各位置点と再構成空間の各位置点との対応関係に基づいて再構成空間の各位置点のＮ個の現在画像における対応する位置点を特定し、さらに、その対応する前景背景差分を特定する。なお、Ｎ個の現在画像が、再構成空間の縁に固定的に配置されたＮ台のカメラによって撮影して得られたものであるので、Ｎ台のカメラの位置情報及び角度情報は固定される。カメライメージングの原理は、再構成空間中の異なる位置点を１つのイメージング平面に投射して１枚の撮影画像を生成することであり、（ｘ，ｙ，ｚ）は再構成空間の１つの位置点を示し、カメラの固定された位置情報及び角度情報に基づいて、当該カメラに対応する現在画像上の上記位置点に対応する位置点（ｕ，ｖ）が得られ、つまり、カメラの位置情報及び角度情報は、現在画像の位置点（ｕ，ｖ）と再構成空間の位置点（ｘ，ｙ，ｚ）との対応関係を特定できる。従って、本出願の実施例のいくつかの実施形態では、前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係は、前記再構成空間の縁に固定的に配置された前記Ｎ台のカメラの位置情報及び角度情報によって特定される。

カメラがイメージングする場合、カメラに入射する各光線上の全ての位置点は撮影画像上の同じ点に対応するので、カメラに進入するこの光線上にある全ての位置点は、対応する現在画像上での位置点が同じである。例えば、カメラに進入する同一光線上にある位置点Ａ及び位置点Ｂについて、位置点Ａ及び位置点Ｂは、当該カメラに対応する現在画像上の同一位置点に対応し、（ｘ_Ａ，ｙ_Ａ，ｚ_Ａ）が再構成空間における位置点Ａを示し、
（ｘ_Ｂ，ｙ_Ｂ，ｚ_Ｂ）が再構成空間における位置点Ｂを示すとすれば、当該カメラに対応する現在画像における（ｕ_１，ｖ_１）位置点が再構成空間における位置点Ａ及び位置点Ｂに対応することが得られる。

ここで、差分関数と類似するように、予め定義された融合関数は、多種多様であってもよい。融合関数の作用は、再構成空間の各位置点に対応するＮ個の現在画像の位置点に対応する前景背景差分を融合することであるので、Ｎ個の現在画像の位置点に対応する前景背景差分に対して、加算の方式で融合してもよいし、乗算の方式で融合してもよい。本出願の実施例では、加算関数と、乗算関数との２種類の関数を融合関数として使用でき、上記２種類の関数のうち任意の１種類の関数は、融合関数とすることができる。従って、本出願の実施例のいくつかの実施形態では、前記融合関数は、加算関数または乗算関数を含む。

例えば、加算関数を融合関数Ｒとして使用する場合、再構成空間の各位置点に対応する前景背景差分Ｄｉｆｆ３Ｄは、

であり、乗算関数を融合関数Ｒとして使用する場合、再構成空間の各位置点に対応する前景背景差分Ｄｉｆｆ３Ｄは

である。

ステップ２０４：前記再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、前記再構成空間の各位置点を選別して前記物体を三次元再構成する。

ここで、再構成空間の各位置点に対応する前景背景差分が、各位置点が物体に属する確率を示すことができるので、即ち、再構成空間の各位置点に対応する前景背景差分が大きいほど、各位置点が物体に属する確率が大きいことを示す。ステップ２０３で再構成空間の各位置点に対応する前景背景差分を取得した後、プリセット前景背景閾値により再構成空間の各位置点を選別でき、例えば、再構成空間のある位置点に対応する前景背景差分がプリセット前景背景閾値以上であれば、当該位置点が物体に属するとみなし、再構成空間の各位置点のうち物体に属する位置点を選別すれば、物体を三次元再構成できる。

例えば、再構成空間の境界は、真っ白なテクスチャを使用し、Ｎ個の初期背景画像の各位置点の画素値は、（Ｒ_Ｂ，Ｇ_Ｂ，Ｂ_Ｂ）＝（２５５，２５５，２５５）であり、１つの真っ黒な円柱体が再構成空間に進入すれば、Ｎ個の現在画像における物体部分の画像（前景画像）の各位置点の画素値が（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）＝（０，０，０）であり、他の部分の画像（背景画像）の各位置点の画素値が（Ｒ_Ｃ，Ｇ_Ｃ，Ｂ_Ｃ）＝（２５５，２５５，２５５）であり、ユークリッド距離式で差分関数Ｆを特定する場合、現在画像の位置点が前景画像に属すれば、その対応する前景背景差分Ｄｉｆｆは、

に算出できる。現在画像の位置点が背景画像に属すれば、その対応する前景背景差分Ｄｉｆｆは、

に算出できる。図４に示す真っ白な再構成空間における真っ黒な円柱体の三次元再構成の平面概略図のように、説明を容易にするために、平面図で平面上に三次元再構成を行う。左図に示すように、再構成空間は立方体であり、再構成空間の平面図の４つの頂点に４台のカメラが固定的に配置されており、図における各台のカメラが射出する２つの放射線の間の領域が物体であり、その他の領域は背景である。それでは、図における位置点は、あるカメラの２つの射線の間にあり、当該位置点がこのカメラに対応する現在画像の位置点に対応する前景背景差分Ｄｉｆｆが４４１であり、逆であれば０である。加算関数を融合関数Ｒとして使用する場合、再構成空間の各位置点に対応する前景背景差分Ｄｉｆｆ３Ｄは

である。

領域１の各位置点に対して、そのＤｉｆｆ_１＝０、Ｄｉｆｆ_２＝０、Ｄｉｆｆ_３＝０、Ｄｉｆｆ_４＝０であれば、そのＤｉｆｆ３Ｄ＝０であり、領域２の各位置点に対して、そのＤｉｆｆ_１＝４４１、Ｄｉｆｆ_２＝０、Ｄｉｆｆ_３＝０、Ｄｉｆｆ_４＝４４１であれば、Ｄｉｆｆ３Ｄ＝８８２であり、領域３の各位置点に対して、そのＤｉｆｆ_１＝４４１、Ｄｉｆｆ_２＝４４１、Ｄｉｆｆ_３＝４４１、Ｄｉｆｆ_４＝４４１であれば、そのＤｉｆｆ３Ｄ＝１７６４である。なお、プリセット前景背景閾値が１７６４であると、領域１、領域２及び領域３における各位置点のＤｉｆｆ３Ｄの大きさとプリセット前景背景閾値１７６４の大きさとを比較し、ある位置点のＤｉｆｆ３Ｄがプリセット前景背景閾値１７６４以上であれば、当該位置点が物体に属するとみなし、領域３における各位置点が物体に属し、三次元再構成して領域３に示す多角形が得られる。なお、進入した物体が実際に円柱体であるので、その平面図が円形であり、三次元再構成により構造された形状は多角形であって一定の誤差がある。例えば、図４における右図に示すように、固定的に配置する４台のカメラを８台のカメラまで増加すれば、三次元再構成により構造された形状がさらに円形に近く、即ち、配置するカメラが多いほど、後続に使用可能なデータが多くなり、三次元再構成の精度が高くなる。

ここで、実際に適用する場合、再構成空間に進入した物体の外面のテクスチャ色は特定されず、濃色テクスチャであってもよいし、淡色テクスチャであってもよい。外面が濃色テクスチャである物体と淡色テクスチャの初期背景図との比較が強く、外面が淡色テクスチャである物体と濃色テクスチャの初期背景図との比較が強い。濃色テクスチャ、淡色テクスチャという２種類の外面の物体を同時に対応できるように、濃淡が互い違いになったテクスチャを使用して再構成空間の境界を配置してもよく、即ち、再構成空間の境界について、よりよい前景背景分離效果を達成するように、さらに濃淡が互い違いになったテクスチャを使用してもよい。従って、本出願の実施例のいくつかの実施形態では、前記再構成空間の境界について、濃淡が互い違いになったテクスチャを使用する。例えば、図５に示すような黒白の濃淡が互い違いになったテクスチャを使用して再構成空間の境界を配置する。

ここで、再構成空間の照明が安定すれば、予め取得された初期背景図は依然として再構成空間に適用でき、初期背景図は更新せず使用できる。再構成空間の照明が変化すれば、予め取得された初期背景図は照明変化後の再構成空間に適用できず、初期背景図を更新する必要がある。初期背景図の更新原則は、現在の再構成空間に物体がさらに存在するか否かを判断することにより、存在しなければ、初期背景図を更新するように、各台のカメラはいずれも再構成空間を再度撮影して撮影画像を得ることになる。従って、本出願の実施例のいくつかの実施形態では、例えば、ステップＥ：照明が変化し且つ前記再構成空間に物体が存在しない場合、前記再構成空間に対する前記Ｎ台のカメラの撮影画像を取得して前記Ｎ個の初期背景図を更新することをさらに含むことができる。

本実施例が提供する各種の実施形態により、まず、物体が再構成空間に進入する場合、視野が再構成空間を覆うＮ台のカメラの再構成空間に対する撮影画像をＮ個の現在画像として取得し、そして、Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を取得し、Ｎ個の初期背景画像は、再構成空間に物体が存在しない場合の、再構成空間に対するＮ台のカメラの撮影画像である。次に、Ｎ個の現在画像の各位置点と再構成空間の各位置点との対応関係に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合して再構成空間の各位置点に対応する前景背景差分を取得し、最後に、再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、再構成空間の各位置点を選別して物体を三次元再構成する。このように、物体が再構成空間に進入する場合、Ｎ個の現在画像及び対応するＮ個の初期背景画像により前景背景の分離を行って物体を三次元再構成し、前景背景の分離の演算は比較的に簡単で便利であり、再構成空間に進入した物体の三次元再構成を快速でリアルタイムに完成でき、該方法は、リアルタイムの三次元再構成が必要なシーンに非常に適する。

例示的な装置
図６を参照すれば、本出願の実施例における三次元再構成の装置の構造概略図を示す。本実施例において、前記装置は例えば、
物体が再構成空間に進入する場合、前記再構成空間に対するＮ（前記Ｎが２以上の正整数）台のカメラの撮影画像をＮ個の現在画像として取得するための取得ユニットであって、前記カメラの視野が前記再構成空間を覆う取得ユニット６０１と、
前記Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得するための第１取得ユニット６０２であって、前記Ｎ個の初期背景画像は、前記再構成空間に物体が存在しない場合の、前記再構成空間に対する前記Ｎ台のカメラの撮影画像である第１取得ユニット６０２と、
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、前記再構成空間の各位置点に対応する前景背景差分を取得するための第２取得ユニット６０３と、
前記再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、前記再構成空間の各位置点を選別して前記物体を三次元再構成するための再構成ユニット６０４と、を具体的に含むことができる。

本出願の実施例の任意選択の方式では、前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係は、前記再構成空間の縁に固定的に配置された前記Ｎ台のカメラの位置情報及び角度情報によって特定される。

本出願の実施例の任意選択の方式では、前記第１取得ユニット６０２は、
前記Ｎ個の現在画像の各位置点の画素値、及び対応する前記Ｎ個の初期背景画像の各位置点の画素値を取得するための第１取得サブユニットと、
前記Ｎ個の現在画像の各位置点の画素値、対応する前記Ｎ個の初期背景画像の各位置点の画素値及び差分関数に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得するための第２取得サブユニットと、を含む。

本出願の実施例の任意選択の方式では、前記差分関数は、混合ガウスモデルのモデリングにより特定されるか、或いは、前記差分関数は、ベクトル距離式により特定される。

本出願の実施例の任意選択の方式では、前記ベクトル距離式は、ユークリッド距離式、マンハッタン距離式またはコサイン距離式を含む。

本出願の実施例の任意選択の方式では、前記第２取得ユニット６０３は、
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分を特定するための特定サブユニットと、
前記再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分及び融合関数に基づいて、前記再構成空間の各位置点に対応する前景背景差分を取得するための第３取得サブユニットと、を含む。

本出願の実施例の任意選択の方式では、前記融合関数は、加算関数または乗算関数を含む。

本出願の実施例の任意選択の方式では、前記再構成空間の境界は、濃淡が互い違いになったテクスチャを使用する。

本出願の実施例の任意選択の方式では、
照明が変化し且つ前記再構成空間に物体が存在しない場合、前記再構成空間に対する前記Ｎ台のカメラの撮影画像を取得して前記Ｎ個の初期背景図を更新するための更新ユニットをさらに含む。

本実施例が提供する各種の実施形態により、取得ユニットは、物体が再構成空間に進入する場合、視野が再構成空間を覆うＮ台のカメラの再構成空間に対する撮影画像をＮ個の現在画像として取得し、第１取得ユニットは、Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を取得し、Ｎ個の初期背景画像は、再構成空間に物体が存在しない場合の、再構成空間に対するＮ台のカメラの撮影画像であり、第２取得ユニットは、Ｎ個の現在画像の各位置点と再構成空間の各位置点との対応関係に基づいて、Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合して再構成空間の各位置点に対応する前景背景差分を取得し、再構成ユニットは、再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、再構成空間の各位置点を選別して物体を三次元再構成する。このように、物体が再構成空間に進入する場合、Ｎ個の現在画像及び対応するＮ個の初期背景画像により前景背景の分離を行って物体を三次元再構成し、前景背景の分離の演算は比較的に簡単で便利であり、再構成空間に進入した物体の三次元再構成を快速でリアルタイムに完成でき、該方法は、リアルタイムの三次元再構成が必要なシーンに非常に適する。

また、本出願の実施例はさらに、プロセッサ及びメモリを含み、
前記メモリが、プログラムコードを記憶するとともに、前記プログラムコードを前記プロセッサに伝送し、
前記プロセッサが、前記プログラムコードにおけるコマンドに応じて上記方法実施例のいずれか１項に記載の三次元再構成方法を実行する、端末機器を提供する。

なお、本出願の実施例はさらに、上記方法実施例のいずれか１項に記載の三次元再構成方法を実行するためのプログラムコードを記憶することを特徴とするコンピュータ読み取り可能記憶媒体を提供する。

本明細書における各実施例は、累進的な方式で記載しており、各実施例が重点的に説明することは、他の実施例との異なる点であり、各実施例の間の同様、類似部分は、互いに参照すればよい。実施例に開示された装置にとって、実施例に開示された方法に対応しているので、比較的に簡単に記載しており、関連要素について、方法部分の説明を参照すればよい。

また、本文に開示した実施例を結合して記載した各例示のユニット及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両者の結合によって実現でき、ハードウェア、ソフトウェアの互換性を明瞭に説明するために、上記説明において、機能に応じて各例示の構成及びステップを一般的に記載している。これらの機能がハードウェアの方式で実行されるか、それともソフトウェアの方式で実行されるかは、技術案の特定の適用及び設計の拘束条件に依存する。当業者はそれぞれの特定の適用に対して、異なる方法を使用して記載した機能を実現することができるが、このような実現は、本出願の範囲を超えると認識されるべきではない。

本文では、第１、第２等のような関係用語は、１つの実体または操作を他の実体または操作と区別するために使用されるものであり、必ずしも、これらの実体または操作の間にこのような実際の関係または順位付けが存在することを要求する、または暗示するわけではない。用語である「含む」、「包含」、または他の変形は、非排他的な包含をカバーすることを意味することで、一連の要素を含むプロセス、方法、物品または機器は、それらの要素だけでなく、明確に列挙されていない他の要素も含む、或いは、このようなプロセス、方法、物品または機器が固有する要素をさらに含む。より多い制限がない状況では、語句「１つの…を含む」ことによって限定される要素は、前記要素を含むプロセス、方法、物品または機器には他の同様な要素がさらに存在することを排除しない。

上記の説明は、本出願の好ましい実施例に過ぎず、本出願を制限することを意図したものではない。本出願について、好ましい実施例を以上のように開示したが、本出願を限定するわけではない。当業者は、本出願の技術案の範囲を逸脱しない状況で、上記に開示した方法及び技術的内容を利用して本出願の技術案に対して様々な変動及び修飾を行う、或いは同等に変化した等価実施例に補正することができる。従って、本出願の技術案を逸脱しない内容であれば、本出願の技術的実質に応じて以上の実施例について行った簡単な補正、同等変化及び修飾はいずれも、本出願の技術案の保護範囲内に属する。

Claims

三次元再構成の方法であって、
物体が再構成空間に進入する場合、前記再構成空間に対するＮ（前記Ｎは２以上の正整数）台のカメラの撮影画像をＮ個の現在画像として取得するステップであって、前記カメラの視野が前記再構成空間を覆うステップと、
前記Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得するステップであって、前記Ｎ個の初期背景画像は、前記再構成空間に物体が存在しない場合の、前記再構成空間に対する前記Ｎ台のカメラの撮影画像であるステップと、
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、前記再構成空間の各位置点に対応する前景背景差分を取得するステップと、
前記再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、前記再構成空間の各位置点を選別して前記物体を三次元再構成するステップと、を含むことを特徴とする方法。
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係は、前記再構成空間の縁に固定的に配置された前記Ｎ台のカメラの位置情報及び角度情報によって特定されることを特徴とする請求項１に記載の方法。
前記Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得する前記ステップは、
前記Ｎ個の現在画像の各位置点の画素値、及び対応する前記Ｎ個の初期背景画像の各位置点の画素値を取得するステップと、
前記Ｎ個の現在画像の各位置点の画素値、対応する前記Ｎ個の初期背景画像の各位置点の画素値及び差分関数に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得するステップと、を含むことを特徴とする請求項１に記載の方法。
前記差分関数は、混合ガウスモデルのモデリングにより特定されるか、或いは、前記差分関数は、ベクトル距離式により特定されることを特徴とする請求項３に記載の方法。
前記ベクトル距離式は、ユークリッド距離式、マンハッタン距離式またはコサイン距離式を含むことを特徴とする請求項４に記載の方法。
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、前記再構成空間の各位置点に対応する前景背景差分を取得する前記ステップは、
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分を特定するステップと、
前記再構成空間の各位置点のそれぞれに対応する前記Ｎ個の現在画像の位置点に対応する前景背景差分及び融合関数に基づいて、前記再構成空間の各位置点に対応する前景背景差分を取得するステップと、を含むことを特徴とする請求項１に記載の方法。
前記融合関数は、加算関数または乗算関数を含むことを特徴とする請求項６に記載の方法。
前記再構成空間の境界は、濃淡が互い違いになったテクスチャを使用することを特徴とする請求項１に記載の方法。
照明が変化し且つ前記再構成空間に物体が存在しない場合、前記再構成空間に対する前記Ｎ台のカメラの撮影画像を取得して前記Ｎ個の初期背景図を更新するステップをさらに含むことを特徴とする請求項１に記載の方法。
物体が再構成空間に進入する場合、前記再構成空間に対するＮ（前記Ｎは２以上の正整数）台のカメラの撮影画像をＮ個の現在画像として取得するための取得ユニットであって、前記カメラの視野が前記再構成空間を覆う取得ユニットと、
前記Ｎ個の現在画像及び対応するＮ個の初期背景画像に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を取得するための第１取得ユニットであって、前記Ｎ個の初期背景画像は、前記再構成空間に物体が存在しない場合の、前記再構成空間に対する前記Ｎ台のカメラの撮影画像である第１取得ユニットと、
前記Ｎ個の現在画像の各位置点と前記再構成空間の各位置点との対応関係に基づいて、前記Ｎ個の現在画像の各位置点に対応する前景背景差分を対応融合し、前記再構成空間の各位置点に対応する前景背景差分を取得するための第２取得ユニットと、
前記再構成空間の各位置点に対応する前景背景差分及びプリセット前景背景閾値に基づいて、前記再構成空間の各位置点を選別して前記物体を三次元再構成するための再構成ユニットと、を含むことを特徴とする三次元再構成の装置。
プロセッサ及びメモリを含み、
前記メモリが、プログラムコードを記憶するとともに、前記プログラムコードを前記プロセッサに伝送し、
前記プロセッサが、前記プログラムコードにおけるコマンドに応じて請求項１～９のいずれか１項に記載の三次元再構成の方法を実行することを特徴とする端末機器。
請求項１～９のいずれか１項に記載の三次元再構成の方法を実行するためのプログラムコードを記憶することを特徴とするコンピュータ読み取り可能記憶媒体。