JP2021157773A - ３次元再構築方法、３次元再構築装置及び電子機器 - Google Patents

Abstract

【課題】地図技術分野において、高精度な３次元再構築が可能な装置、方法及び電子機器を提供する。【解決手段】３次元再構築方法は、予め収集された画像シーケンスを取得し、画像シーケンスを収集するカメラの公称内部パラメータ及び予め設定された歪み係数の初期値を取得し、カメラの歪み係数変動範囲を算出し、公称内部パラメータ、歪み係数の初期値及び前記歪み係数変動範囲に基づいて、画像シーケンスに対して３次元再構築を行い、３次元再構築のプロセスにおいて、取得された視覚点群及びカメラ位置姿勢を最適化する。【効果】公称内部パラメータ、歪み係数の初期値及び歪み係数変動範囲に基づいて、画像シーケンスに対して３次元再構築を行うことができ、カメラの内部パラメータがキャリブレーションされていない条件下での３次元再構築を実現して、３次元再構築技術の適用範囲をさらに広げる。【選択図】図１

Description

本出願は、画像処理技術に関し、特に高精度地図技術分野に関し、具体的に３次元再構築方法、３次元再構築装置及び電子機器に関する。

画像の３次元再構築技術は、マルチビュー幾何学原理に基づいて、画像シーケンスからカメラパラメータと視覚点群位置とを推定する方法である。従来の３次元再構築方法はキャリブレーションされたカメラの内部パラメータに依存しており、しかしながら、一部のシーンにおいて、カメラの内部パラメータがキャリブレーションされていないため、３次元再構築を行う際にキャリブレーションされたカメラの内部パラメータを取得できず、これによって、３次元再構築に精度が低く、最適化が収束しないなどの問題が存在する。

本出願は、３次元再構築方法、３次元再構築装置及び電子機器を提供して、上記技術的課題を解決する。

上記技術的課題を解決するために、本出願は以下のように実現される。

第１態様において、本出願は、３次元再構築方法を提供し、前記方法は、
予め収集された画像シーケンスを取得し、前記画像シーケンスを収集するカメラの公称内部パラメータ及び予め設定された歪み係数の初期値を取得するステップと、
前記カメラの歪み係数変動範囲を算出するステップと、
前記公称内部パラメータ、前記歪み係数の初期値及び前記歪み係数変動範囲に基づいて、前記画像シーケンスに対して３次元再構築を行うステップと、
前記３次元再構築のプロセスにおいて、取得された視覚点群及びカメラ位置姿勢を最適化するステップと、を含む。

本出願は、公称内部パラメータ、歪み係数の初期値及び歪み係数変動範囲に基づいて、画像シーケンスに対して３次元再構築を行うことができ、画像シーケンスの３次元再構築のプロセスにおいて、視覚点群及びカメラ位置姿勢を最適化することができる。上記技術手段を採用することによって、カメラの内部パラメータがキャリブレーションされていない条件下での３次元再構築を実現して、３次元再構築技術の適用範囲をさらに広げる。

選択可能に、前記方法は、
前記３次元再構築のプロセスにおいて、前記意味要素の点群が前記意味要素に対応する幾何学的特性を満足するように、取得された視覚点群における意味要素を最適化するステップをさらに含む。

当該実施形態において、ＢＡ最適化を意味最適化と組み合わせることによって、３次元再構築の精度をさらに向上させ、内部パラメータ収束のロバスト性を向上させる。

選択可能に、前記方法は、
前記３次元再構築のプロセスにおいて、前記歪み係数変動範囲が安定していない場合に、歪み係数を最適化し、前記歪み係数変動範囲が安定している場合に、前記公称内部パラメータを最適化するステップをさらに含む。

当該実施形態において、ＢＡ最適化を内部パラメータ最適化と組み合わせることによって、３次元再構築の精度をさらに向上させ、内部パラメータ収束のロバスト性を向上させる。

選択可能に、前記カメラの歪み係数変動範囲を算出する前記ステップは、
前記画像シーケンスの一部の画像における歪んだライン特徴を抽出するステップと、
前記歪んだライン特徴に基づいて、前記歪み係数変動範囲を算出するステップと、を含む。

当該実施形態において、ライン特徴は、歪みを決定するにはより容易及びより正確であるため、画像における歪んだライン特徴を抽出することによって歪み係数変動範囲を算出することは、実現がより簡単であり、算出された歪み係数変動範囲がより正確である。

選択可能に、前記画像シーケンスに対して３次元再構築を行う前記ステップは、
前記画像シーケンスから第１の画像及び第２の画像を選択するステップと、
前記第１の画像及び前記第２の画像に対して３次元再構築を行って、初期視覚点群を取得するステップと、
前記画像シーケンスの新しいフレーム画像を１つずつ登録して、各新しいフレーム画像の点群を取得し、各新しいフレーム画像の点群を１つずつ前記初期視覚点群に結合するステップと、を含む。

選択可能に、前記方法は、
新しいフレーム画像の登録プロセスにおいて、歪み係数変化曲線に基づいて歪み係数を最適化するか否かを決定するステップをさらに含む。

当該実施形態において、新しいフレーム画像の登録プロセスにおいて、歪み係数を最適化するか否かを考慮することによって、新しいフレーム画像の登録プロセスにおいて生成された点群の精度を向上させることができ、内部パラメータ収束のロバスト性を向上させることができる。

選択可能に、前記画像シーケンスの各画像の目標領域に対して３次元再構築を行う場合に、前記歪み係数の初期値は０であり、前記目標領域は画像のエッジ領域を含まない。

当該実施形態において、画像シーケンスの各画像の歪みを最小限に抑えることができ、歪みが３次元再構築に与える影響を最小限に低減することができ、３次元再構築の精度を向上させることができる。

選択可能に、前記カメラの公称内部パラメータはカメラの公称焦点距離と公称光学中心値とを含む。

当該実施形態において、前記カメラの内部パラメータの公称値と真値との間の誤差が特定の範囲内にあるので、前記カメラの公称内部パラメータを初期値とすることは後続の最適化にとってより有利である。

選択可能に、前記画像シーケンスはクラウドソーシングにより収集された画像シーケンスである。

当該実施形態において、クラウドソーシングにより画像シーケンスを収集し、画像シーケンスを取得の難しさを低減してコストを削減することができ、さらに３次元再構築の難しさを低減してコストを削減する。

第２態様において、本出願は、３次元再構築装置を提供し、
予め収集された画像シーケンスを取得し、前記画像シーケンスを収集するカメラの公称内部パラメータ及び予め設定された歪み係数の初期値を取得するための取得モジュールと、
前記カメラの歪み係数変動範囲を算出するための算出モジュールと、
前記公称内部パラメータ、前記歪み係数の初期値及び前記歪み係数変動範囲に基づいて、前記画像シーケンスに対して３次元再構築を行うための３次元再構築モジュールと、
前記３次元再構築のプロセスにおいて、取得された視覚点群及びカメラ位置姿勢を最適化するための第１の最適化モジュールと、を含む。

選択可能に、前記３次元再構築のプロセスにおいて、前記意味要素の点群が前記意味要素に対応する幾何学的特性を満足するように、取得された視覚点群における意味要素を最適化するための第２の最適化モジュールをさらに含む。

選択可能に、前記３次元再構築のプロセスにおいて、前記歪み係数変動範囲が安定する前に、歪み係数を最適化し、前記歪み係数変動範囲が安定した後、前記公称内部パラメータを最適化するための第３の最適化モジュールをさらに含む。

選択可能に、前記算出モジュールは、
前記画像シーケンスの一部の画像における歪んだライン特徴を抽出するための抽出サブモジュールと、
前記歪んだライン特徴に基づいて、前記歪み係数変動範囲を算出するための算出サブモジュールと、を含む。

選択可能に、前記３次元再構築モジュールは、
前記画像シーケンスから第１の画像及び第２の画像を選択するための選択サブモジュールと、
前記第１の画像及び前記第２の画像に対して３次元再構築を行って、初期視覚点群を取得するための点群初期化サブモジュールと、
前記画像シーケンスの新しいフレーム画像を１つずつ登録して、各新しいフレーム画像の点群を取得し、各新しいフレーム画像の点群を１つずつ前記初期視覚点群に結合するための新しいフレーム登録サブモジュールと、を含む。

選択可能に、前記新しいフレーム登録サブモジュールは、
新しいフレーム画像の登録プロセスにおいて、歪み変化曲線に基づいて歪み係数を最適化するか否かを決定することをさらに用いられる。

選択可能に、前記画像シーケンスの各画像の目標領域に対して３次元再構築を行う場合に、前記歪み係数の初期値は０であり、前記目標領域は画像のエッジ領域を含まない。

選択可能に、前記カメラの公称内部パラメータはカメラの公称焦点距離と公称光学中心値とを含む。

選択可能に、前記画像シーケンスはクラウドソーシングにより収集された画像シーケンスである。

第３態様において、本出願は、電子機器をさらに提供し、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記コンピュータ命令が実行される場合、前記少なくとも１つのプロセッサが第１態様のいずれかの方法を実行する。

第４態様において、本出願は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ命令は、前記コンピュータに第１態様のいずれかの方法を実行させることに用いられる。
第５態様において、本出願は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムにおける命令が実行された場合に、第１態様のいずれかの方法が実行される。

本出願の１つの実施例は、以下のような利点又は有益な効果を有する。３次元再構築対象の画像シーケンスに対応するカメラの内部パラメータがキャリブレーションされていない場合、カメラの公称内部パラメータが取得されやすく、かつカメラの内部パラメータの公称値とカメラの内部パラメータの真値との間の誤差が特定の範囲内にあるので、本出願は、カメラの公称内部パラメータをカメラの内部パラメータの初期値とすることを考慮して、カメラの歪み係数の初期値を予め設定し、カメラの歪み係数変動範囲を算出する。このように、本出願は、公称内部パラメータ、歪み係数の初期値及び歪み係数変動範囲に基づいて、画像シーケンスに対して３次元再構築を行うことができ、画像シーケンスの３次元再構築のプロセスにおいて、視覚点群及びカメラ位置姿勢を最適化する。上記技術手段を採用することによって、カメラの内部パラメータがキャリブレーションされていない条件下での３次元再構築を実現して、３次元再構築技術の適用範囲をさらに広げる。

上記選択可能な方式が有する他の効果については、以下、具体的な実施例と組み合わせて説明する。

図面は、本技術案をよりよく理解するために使用されており、本出願を限定するものではない。
本出願の実施例により提供される３次元再構築方法の概略フローチャートである。 本出願の実施例により提供される３次元再構築装置の概略構成図である。 本出願の実施例を実施するための３次元再構築方法の電子機器のブロック図である。

以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするために、その中には本出願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者であれば、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

本出願は、３次元再構築方法を提供し、当該方法は、カメラの内部パラメータがキャリブレーションされていない画像シーケンスに対して３次元再構築を行うことに用いられ、カメラの内部パラメータがキャリブレーションされた画像シーケンスに対して３次元再構築を行うことに用いられてもよい。

図１に示すように、当該３次元再構築方法は、以下のようなステップを含む。

ステップ１０１：予め収集された画像シーケンスを取得し、カメラの公称内部パラメータ及び予め設定された歪み係数の初期値を取得する。

上記画像シーケンスは３次元再構築対象の画像シーケンスを指し、３次元再構築を行う前に、予め収集された画像シーケンスを入力する必要があり、すなわち予め収集された画像シーケンスを取得する必要がある。本出願で言及されている「カメラ」は、上記画像シーケンスを収集するカメラを指し、つまり、上記画像シーケンスは本出願における「カメラ」により予め収集されたものである。

画像シーケンスを収集するカメラがキャリブレーションされていない場合、画像シーケンスに対して３次元再構築するときに、カメラのキャリブレーション内部パラメータを取得することができなく、現在の３次元再構築技術に基づいて、当該画像シーケンスに対して３次元再構築を行うことができない。「キャリブレーション内部パラメータ」という用語は、カメラをキャリブレーションして取得された内部パラメータを指す。例えば、現在車両に配置されているカメラは一般的にキャリブレーションされないカメラであるので、車両で収集された画像は一般的に、カメラの内部パラメータがキャリブレーションされていない画像である。

このため、本出願は、カメラの公称内部パラメータをカメラの内部パラメータの初期値とすることを考慮して、「公称内部パラメータ」という用語はカメラの内部パラメータの設計値を指し、カメラの公称内部パラメータは一般的に容易に取得され、カメラメーカーは一般的に提供する。キャリブレーションされたカメラの内部パラメータを取得できない場合に、３次元再構築のプロセスにおいて、３次元再構築の精度を向上させるように、関連する初期値を最適化する必要がある。３次元再構築の最適化は本質的に非線形最適化に属し、これにより、後続の最適化を容易にするために、より良い初期値を選択することができる。前記カメラの内部パラメータの公称値と真値との間の誤差が特定の範囲内にあるので、前記カメラの公称内部パラメータを初期値とすることは後続の最適化にとってより有利である。

本出願において、カメラの公称内部パラメータはカメラの公称焦点距離と公称光学中心値とを含んでも良い。

カメラは歪み係数があるため、予め収集された画像シーケンスも一定の歪みがあり、画像シーケンスに対して３次元再構築を行う場合、画像シーケンスの歪みも３次元再構築の精度に一定の影響を与えるため、３次元再構築のプロセスにおいて歪み係数を最適化することができる。これに鑑みて、本出願において、画像シーケンスに対して３次元再構築を行う前に、カメラの公称内部パラメータを３次元再構築の初期値とすることに加えて、カメラの歪み係数の初期値を予め設定して、当該予め設定された歪み係数の初期値を３次元再構築の初期値とすることができる。

歪み係数について、歪みが主に画像のエッジで発生するため、画像シーケンスに対して３次元再構築を行う場合、歪みを最小限に抑え、歪みが３次元再構築に与える影響を最小限に低減するように、画像の中心領域の特徴のみを考慮してもよい。例えば、３次元再構築を行う場合に画像のエッジを適切に切り取るか、または、画像のエッジ領域に対して特徴抽出を行わず、画像の中心領域のみに対して特徴抽出を行っても良い。

以上の処理により、歪みを最小限に抑えるため、０を歪み係数の初期値として用いることができる。つまり、画像シーケンスの各画像の目標領域に対して３次元再構築を行う場合に、歪み係数の初期値は０に設定することができ、前記目標領域は画像のエッジ領域を含まない。

ステップ１０２：前記カメラの歪み係数変動範囲を算出する。

カメラの歪み係数は一般的に適切な範囲内で変動し、前記歪み係数変動範囲は歪み係数が上下に変動する範囲を指す。

画像シーケンスの３次元再構築のプロセスにおいて、歪み係数変動範囲で歪み係数を制限することができ、これにより、３次元再構築の収束を加速させ、３次元再構築の精度を向上させることができる。

これに鑑みて、画像シーケンスに対して３次元再構築を行う前に、カメラの歪み係数変動範囲を予め決定することができ、当該歪み係数変動範囲は算出（または推定）により取得することができる。

以下、カメラの歪み係数変動範囲を算出する実施形態を提供し、
選択可能に、前記カメラの歪み係数変動範囲を算出する前記ステップは、
前記画像シーケンスの一部の画像における歪んだライン特徴を抽出するステップと、
前記歪んだライン特徴に基づいて、前記歪み係数変動範囲を算出するステップと、を含む。

当該実施形態において、まず画像シーケンスから一部の画像、例えば、２０フレームの画像を選択することができ、次にこの部分の画像に対して意味分割を行い、この部分の画像における歪んだライン特徴を抽出し、意味分割の結果に応じて、無効なライン特徴を取り除き、最小二乗法に基づいて、キャリブレーションされたライン特徴がまっすぐになる傾向があるようにする歪み係数変動範囲を決定することができる。

当該実施形態において、ライン特徴は、歪みを決定するにはより容易及びより正確であるので、画像における歪んだライン特徴を抽出することによって歪み係数変動範囲を算出することは、実現がより簡単であり、算出された歪み係数変動範囲がより正確である。

ステップ１０３：前記公称内部パラメータ、前記歪み係数の初期値及び前記歪み係数変動範囲に基づいて、前記画像シーケンスに対して３次元再構築を行う。

本出願において、特徴抽出及びマッチングにより画像シーケンスの３次元再構築を実現することができ、具体的に、画像における識別性または区別性を有する特徴を抽出する。

画像シーケンスに対して３次元再構築を行って、画像シーケンスに対応する視覚点群及び画像シーケンスの各画像に対応するカメラ位置姿勢を取得することができ、３次元再構築を行って取得された視覚点群及びカメラ位置姿勢はスパースモデルと呼ばれてもよい。

以下、画像シーケンスに対して３次元再構築を行う実施形態を提供し、
選択可能に、前記画像シーケンスに対して３次元再構築を行う前記ステップは、
前記画像シーケンスから第１の画像及び第２の画像を選択するステップと、
前記第１の画像及び前記第２の画像に対して３次元再構築を行って、初期視覚点群を取得するステップと、
前記画像シーケンスの新しいフレーム画像を１つずつ登録して、各新しいフレーム画像の点群を取得し、各新しいフレーム画像の点群を１つずつ前記初期視覚点群に結合するステップと、を含む。

当該実施形態において、第１の画像及び第２の画像に対して３次元再構築を行って、初期視覚点群を取得するプロセスは点群の初期化プロセスと呼ばれても良い。具体的に、画像シーケンスから第１の画像及び第２の画像を選んで、第１の画像と第２の画像の相対位置姿勢を求め、２つの画像の点群を生成し、点群の初期化を完成する。初期視覚点群の品質を向上させるために、第１の画像及び第２の画像は、画像シーケンスにおける画像品質がよく、典型性と代表性を有する画像であってもよい。

画像シーケンスの新しいフレーム画像を１つずつ登録して、各新しいフレーム画像の点群を取得し、各新しいフレーム画像の点群を１つずつ初期視覚点群に結合するプロセスは新しいフレームの登録プロセスと呼ばれてもよい。具体的に、初期視覚点群に基づいて、前記画像シーケンスの他の画像を１つずつ登録して、各画像の点群を１つずつ生成し、画像シーケンスの全ての画像の登録が完成するまで、生成された点群を１つずつ初期視覚点群に結合する。

選択可能に、前記方法は、
新しいフレーム画像の登録プロセスにおいて、歪み係数変化曲線に基づいて歪み係数を最適化するか否かを決定するステップをさらに含む。

上記歪み係数はカメラの歪み係数を指し、本出願において、カメラの歪み係数、焦点距離及び光学中心値は内部パラメータに属する。

当該実施形態において、新しいフレーム画像の登録プロセスにおいて、歪み係数変化曲線が比較的安定している場合に、歪み係数を最適化しなくてもよく、歪み係数変化曲線が安定していない場合に、歪み係数を最適化することを決定することができる。

当該実施形態において、新しいフレーム画像の登録プロセスにおいて、歪み係数を最適化するか否かを考慮することによって、新しいフレーム画像の登録プロセスにおいて生成された点群の精度を向上させることができ、内部パラメータ収束のロバスト性を向上させることができる。

ステップ１０４：前記３次元再構築のプロセスにおいて、取得された視覚点群及びカメラ位置姿勢を最適化する。

３次元再構築のプロセスにおいて、視覚点群及びカメラ位置姿勢を最適化することによって、３次元再構築の精度を向上させることができる。

上記視覚点群及びカメラ位置姿勢を最適化する上記ステップはＢＡ最適化と呼ばれてもよく、ＢＡ最適化はグローバルＢＡ最適化とローカルＢＡ最適化とを含み、ここで、グローバルＢＡ最適化は画像シーケンス全体を同時に最適化することを指し、すなわち、画像シーケンスの全ての画像の視覚点群及びカメラ位置姿勢を最適化し、ローカルＢＡ最適化は特定のウィンドウにおける画像の視覚点群及びカメラ位置姿勢を最適化することを指し、例えば、画像シーケンスは１００フレームの画像があるとすると、特定のウィンドウにおいて（例えば２０フレームの画像である）、取得された視覚点群及びカメラ位置姿勢を最適化することができる。

なお、上記ステップの実行順序は限定されず、例えば、ステップ１０１およびステップ１０２は同時に実行してもよく、まずステップ１０１を実行し、次にステップ１０２を実行してもよく、まずステップ１０２を実行し、次にステップ１０１を実行しても良い。もう１つ例えば、ステップ１０３を実行するプロセスにおいて、ステップ１０４を実行してもよい。

３次元再構築対象の画像シーケンスに対応するカメラの内部パラメータがキャリブレーションされていない場合、カメラの公称内部パラメータが取得されやすく、かつカメラの内部パラメータの公称値とカメラの内部パラメータの真値との間の誤差が特定の範囲内にあるので、本出願は、カメラの公称内部パラメータをカメラの内部パラメータの初期値とすることを考慮して、カメラの歪み係数の初期値を予め設定し、カメラの歪み係数変動範囲を算出する。このように、本出願は、公称内部パラメータ、歪み係数の初期値及び歪み係数変動範囲に基づいて、画像シーケンスに対して３次元再構築を行うことができ、画像シーケンスの３次元再構築のプロセスにおいて、視覚点群及びカメラ位置姿勢を最適化することができる。上記技術手段を採用することによって、カメラの内部パラメータがキャリブレーションされていない条件下での３次元再構築を実現して、３次元再構築技術の適用範囲をさらに広げる。３次元再構築の距離を特定の長さに制御する場合、例えば、物理的な距離が２００メートルから４００メートルである画像シーケンスに対して３次元再構築を行う場合、内部パラメータがキャリブレーションされていない３次元再構築の効果は内部パラメータがキャリブレーションされた３次元再構築の効果に接近することができ、３次元再構築の精度要件を満たすことができる。

なお、カメラの内部パラメータがキャリブレーションされたとしても、使用過程においてカメラの内部パラメータが変動し、かつ多くのカメラキャリブレーションシーンが工業化されていないので、キャリブレーションされたカメラの内部パラメータは必然的に誤差がある。したがって、当該方法は内部パラメータがキャリブレーションされていない画像シーケンスの３次元再構築に適用するだけでなく、内部パラメータがキャリブレーションされた画像シーケンスの３次元再構築にも適用し、内部パラメータがキャリブレーションされた画像シーケンスの３次元再構築の精度をさらに向上させることもできる。

選択可能に、前記方法は、
前記３次元再構築のプロセスにおいて、前記意味要素の点群が前記意味要素に対応する幾何学的特性を満足するように、取得された視覚点群における意味要素を最適化するステップをさらに含む。

上記ＢＡ最適化により取得された視覚点群はノイズが存在する可能性があり、例えば、視覚点群における意味要素は意味要素の幾何拘束を満たせない場合があり、例えば、サイネージの点群が同じ平面上に位置せず、これは実際のサイネージの幾何特徴と一致しない。ここで、意味要素は、サイネージ、ロッド、道路線、建物などの要素を含んでも良い。

このため、当該実施形態では、３次元再構築のプロセスにおいて、ＢＡ最適化を行うだけではなく、意味最適化を行うこともでき、すなわち、取得された視覚点群における意味要素を最適化し、意味最適化によって、生成された意味要素の点群が意味要素に対応する幾何特徴を満たすことを確保することができる。

当該実施形態において、ＢＡ最適化を意味最適化と組み合わせることによって、３次元再構築の精度をさらに向上させ、内部パラメータ収束のロバスト性を向上させる。

選択可能に、前記方法は、
前記３次元再構築のプロセスにおいて、前記歪み係数変動範囲が安定していない場合に、歪み係数を最適化し、前記歪み係数変動範囲が安定している場合に、前記公称内部パラメータを最適化するステップをさらに含む。

当該実施形態において、内部パラメータの収束性を向上させるため、３次元再構築のプロセスにおいて、内部パラメータを最適化することができる。

最適化する必要のある内部パラメータの数が多いほど、３次元再構築最適化の難しさは高くなり、内部パラメータ収束のロバスト性は低くなり、したがって、最適化する必要のある内部パラメータの数を最小限に抑えることができる。

カメラの公称焦点距離について、良好な初期値を有するので、最適化の初期に最適化を行わず、後で最適化を行う方法を考慮しても良い。カメラの公称光学中心値について、一般的に収束しにくく、かつ通常は真の光学中心位置と公称の光学中心位置との差が小さく、一定の閾値において３次元再構築に与える影響が小さいため、最適化しないように選択してもよい。歪み係数について、画像の中心部分の歪みが小さいので、単一パラメータの歪みモデルを用いて最適化することができる。

上記要因に鑑みて、当該実施形態において、３次元再構築のプロセスにおいて、ＢＡ最適化を行うだけではなく、内部パラメータの最適化を行うこともできる。内部パラメータ最適化の方法は、３次元再構築の初期にカメラの公称焦点距離を最適化せず、歪み係数のみを最適化して、歪み係数変動範囲を安定させ、歪み係数変動範囲が安定した後、カメラの公称焦点距離を最適化する。したがって、当該実施形態において、カメラの公称内部パラメータを最適化することは、カメラの公称焦点距離を最適化すると理解してもよい。

当該実施形態において、ＢＡ最適化を内部パラメータ最適化と組み合わせることによって、３次元再構築の精度をさらに向上させ、内部パラメータ収束のロバスト性を向上させる。

なお、３次元再構築のプロセスにおいて、ＢＡ最適化を意味最適化及び内部パラメータ最適化における任意の１つまたは２つと組み合わせて、３次元再構築の精度をさらに向上させ、内部パラメータ収束のロバスト性をさらに向上させる。例えば、ＢＡ最適化の過程において、歪み係数変動範囲が安定していない場合に、内部パラメータを最適化しなくてもよく、歪み係数変動範囲が安定している場合に、内部パラメータを最適化することができる。例えば、ＢＡ最適化のみで収束を実現する場合に、意味を最適化しなくてもよく、ＢＡ最適化で収束を実現できない場合に、意味を最適化することができる。

選択可能に、前記画像シーケンスはクラウドソーシングにより収集された画像シーケンスである。

当該実施形態において、クラウドソーシングにより画像シーケンスを収集し、画像シーケンスの取得の難しさを低減してコストを削減することができ、さらに３次元再構築の難しさを低減してコストを削減する。

上記３次元再構築方法により、３次元再構築の距離を特定の長さに制御する場合、内部パラメータがキャリブレーションされていない３次元再構築の効果は内部パラメータがキャリブレーションされた３次元再構築の効果に接近することができ、３次元再構築の精度要件を満たすことができ、特にクラウドソーシング更新の精度要件を満たすことができる。本出願の３次元再構築方法により、クラウドソーシング更新は内部パラメータがキャリブレーションされていない画像シーケンスを使用できるようになり、クラウドソーシング更新のデータソースが大幅に拡張され、クラウドソーシング更新の適用範囲が広がり、クラウドソーシングの更新方法が高精度地図に適用できるようになる。

なお、本出願の３次元再構築方法における複数の選択可能な実施形態は、互いに組み合わせて実現することができ、個別に実現することもでき、本出願はこれに限定されない。

本出願の上記実施例は、以下のような利点又は有益な効果を有する。
３次元再構築対象の画像シーケンスに対応するカメラの内部パラメータがキャリブレーションされていない場合、カメラの公称内部パラメータが取得されやすく、かつカメラの内部パラメータの公称値とカメラの内部パラメータの真値との間の誤差が特定の範囲内にあるので、本出願は、カメラの公称内部パラメータをカメラの内部パラメータの初期値とすることを考慮して、カメラの歪み係数の初期値を予め設定し、カメラの歪み係数変動範囲を算出する。このように、本出願は、公称内部パラメータ、歪み係数の初期値及び歪み係数変動範囲に基づいて、画像シーケンスに対して３次元再構築を行うことができ、画像シーケンスの３次元再構築のプロセスにおいて、視覚点群及びカメラ位置姿勢を最適化することができる。上記技術手段を採用することによって、カメラの内部パラメータがキャリブレーションされていない条件下での３次元再構築を実現して、３次元再構築技術の適用範囲をさらに広げる。

本出願は、３次元再構築装置をさらに提供し、図２に示すように、３次元再構築装置２００は、
予め収集された画像シーケンスを取得し、前記画像シーケンスを収集するカメラの公称内部パラメータ及び予め設定された歪み係数の初期値を取得するための取得モジュール２０１と、
前記カメラの歪み係数変動範囲を算出するための算出モジュール２０２と、
前記公称内部パラメータ、前記歪み係数の初期値及び前記歪み係数変動範囲に基づいて、前記画像シーケンスに対して３次元再構築を行うための３次元再構築モジュール２０３と、
前記３次元再構築のプロセスにおいて、取得された視覚点群及びカメラ位置姿勢を最適化するための第１の最適化モジュール２０４と、を含む。

選択可能に、３次元再構築装置２００は、
前記３次元再構築のプロセスにおいて、前記意味要素の点群が前記意味要素に対応する幾何学的特性を満足するように、取得された視覚点群における意味要素を最適化するための第２の最適化モジュールをさらに含む。

選択可能に、３次元再構築装置２００は、
前記３次元再構築のプロセスにおいて、前記歪み係数変動範囲が安定する前に、歪み係数を最適化し、前記歪み係数変動範囲が安定した後、前記公称内部パラメータを最適化するための第３の最適化モジュールをさらに含む。

選択可能に、算出モジュール２０２は、
前記画像シーケンスの一部の画像における歪んだライン特徴を抽出するための抽出サブモジュールと、
前記歪んだライン特徴に基づいて、前記歪み係数変動範囲を算出するための算出サブモジュールと、を含む。

選択可能に、３次元再構築モジュール２０３は、
前記画像シーケンスから第１の画像及び第２の画像を選択するための選択サブモジュールと、
前記第１の画像及び前記第２の画像に対して３次元再構築を行って、初期視覚点群を取得するための点群初期化サブモジュールと、
前記画像シーケンスの新しいフレーム画像を１つずつ登録して、各新しいフレーム画像の点群を取得し、各新しいフレーム画像の点群を１つずつ前記初期視覚点群に結合するための新しいフレーム登録サブモジュールと、を含む。

選択可能に、前記新しいフレーム登録サブモジュールはさらに、
新しいフレーム画像の登録プロセスにおいて、歪み係数変化曲線に基づいて歪み係数を最適化するか否かを決定することに用いられる。

選択可能に、前記画像シーケンスの各画像の目標領域に対して３次元再構築を行う場合に、前記歪み係数の初期値は０であり、前記目標領域は画像のエッジ領域を含まない。

選択可能に、前記カメラの公称内部パラメータはカメラの公称焦点距離と公称光学中心値とを含む。

選択可能に、前記画像シーケンスはクラウドソーシングにより収集された画像シーケンスである。

本出願により提供される３次元再構築装置２００は上記３次元再構築方法の実施例における３次元再構築装置が実現する各過程を実現することができ、かつ同じ有益な効果を奏することができ、重複を避けるために、ここでは説明を省略する。

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

図３に示すように、それは本出願の実施例に係る３次元再構築方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、携帯情報端末、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

図３に示すように、当該電子機器は、１つ又は複数のプロセッサ５０１と、メモリ５０２と、高速インターフェースと低速インターフェースを含む各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェースに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図３では、１つのプロセッサ５０１を例とする。

メモリ５０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、前記少なくとも１つのプロセッサに本出願が提供する３次元再構築方法を実行させるように、少なくとも１つのプロセッサによって実行される命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願が提供する３次元再構築方法を実行させるためのコンピュータ命令が記憶されている。

メモリ５０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例における３次元再構築方法に対応するプログラム命令／モジュール（例えば、図２に示す取得モジュール２０１、算出モジュール２０２、３次元再構築モジュール２０３及び第１の最適化モジュール２０４）ような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶することに用いられる。プロセッサ５０１は、メモリ５０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、３次元再構築装置の様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における３次元再構築方法を実現する。

メモリ５０２は、プログラム記憶領域とデータ記憶領域とを含むことができ、ここで、プログラム記憶領域は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶することができ、データ記憶領域は、３次元再構築方法に基づく電子機器の使用によって生成されたデータなどを記憶することができる。また、メモリ５０２は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも１つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ５０２は、プロセッサ５０１に対して遠隔に設置されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して３次元再構築方法の電子機器に接続することができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

３次元再構築方法の電子機器は、入力装置５０３と出力装置５０４とをさらに含むことができる。プロセッサ５０１、メモリ５０２、入力装置５０３、及び出力装置５０４は、バス又は他の方式を介して接続することができ、図３では、バスによる接続を例とする。

入力装置５０３は、入力されたデジタル又は文字情報を受信することができ、及び３次元再構築方法の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置５０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、本出願の実施例の３次元再構築方法が実行される。

本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は以下を含んでも良い。１つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈することができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含んでもよく、高度プロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することを含むことができる。本明細書に使用されるように、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせとを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント−サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。

本出願の実施例の技術案によれば、３次元再構築対象の画像シーケンスに対応するカメラの内部パラメータがキャリブレーションされていない場合、カメラの公称内部パラメータが取得されやすく、かつカメラの内部パラメータの公称値とカメラの内部パラメータの真値の間の誤差が特定の範囲内にあるので、本出願は、カメラの公称内部パラメータをカメラの内部パラメータの初期値とすることを考慮して、カメラの歪み係数の初期値を予め設定し、カメラの歪み係数変動範囲を算出する。このように、本出願は、公称内部パラメータ、歪み係数の初期値及び歪み係数変動範囲に基づいて、画像シーケンスに対して３次元再構築を行うことができ、画像シーケンスの３次元再構築のプロセスにおいて、視覚点群及びカメラ位置姿勢を最適化することができる。上記技術手段を採用することによって、カメラの内部パラメータがキャリブレーションされていない条件下での３次元再構築を実現して、３次元再構築技術の適用範囲をさらに広げる。

なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者であれば、設計要件および他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができることは理解するであろう。本出願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (18)

1. ３次元再構築方法であって、前記方法は、
   予め収集された画像シーケンスを取得し、前記画像シーケンスを収集するカメラの公称内部パラメータ及び予め設定された歪み係数の初期値を取得するステップと、
   前記カメラの歪み係数変動範囲を算出するステップと、
   前記公称内部パラメータ、前記歪み係数の初期値及び前記歪み係数変動範囲に基づいて、前記画像シーケンスに対して３次元再構築を行うステップと、
   前記３次元再構築のプロセスにおいて、取得された視覚点群及びカメラ位置姿勢を最適化するステップと、を含む、
   ことを特徴とする３次元再構築方法。
2. 前記３次元再構築のプロセスにおいて、前記意味要素の点群が前記意味要素に対応する幾何学的特性を満足するように、取得された視覚点群における意味要素を最適化するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記３次元再構築のプロセスにおいて、前記歪み係数変動範囲が安定していない場合に、歪み係数を最適化し、前記歪み係数変動範囲が安定している場合に、前記公称内部パラメータを最適化するステップをさらに含む、
   ことを特徴とする請求項１に記載の方法。
4. 前記カメラの歪み係数変動範囲を算出する前記ステップは、
   前記画像シーケンスの一部の画像における歪んだライン特徴を抽出するステップと、
   前記歪んだライン特徴に基づいて、前記歪み係数変動範囲を算出するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
5. 前記画像シーケンスに対して３次元再構築を行う前記ステップは、
   前記画像シーケンスから第１の画像及び第２の画像を選択するステップと、
   前記第１の画像及び前記第２の画像に対して３次元再構築を行って、初期視覚点群を取得するステップと、
   前記画像シーケンスの新しいフレーム画像を１つずつ登録して、各新しいフレーム画像の点群を取得し、各新しいフレーム画像の点群を１つずつ前記初期視覚点群に結合するステップと、を含む、
   ことを特徴とする請求項１に記載の方法。
6. 新しいフレーム画像の登録プロセスにおいて、歪み係数変化曲線に基づいて歪み係数を最適化するか否かを決定するステップをさらに含む、
   ことを特徴とする請求項５に記載の方法。
7. 前記画像シーケンスの各画像の目標領域に対して３次元再構築を行う場合に、前記歪み係数の初期値は０であり、前記目標領域は画像のエッジ領域を含まない、
   ことを特徴とする請求項１に記載の方法。
8. 前記カメラの公称内部パラメータはカメラの公称焦点距離と公称光学中心値とを含む、
   ことを特徴とする請求項１に記載の方法。
9. 前記画像シーケンスはクラウドソーシングにより収集された画像シーケンスである、
   ことを特徴とする請求項１に記載の方法。
10. ３次元再構築装置であって、
    予め収集された画像シーケンスを取得し、前記画像シーケンスを収集するカメラの公称内部パラメータ及び予め設定された歪み係数の初期値を取得するための取得モジュールと、
    前記カメラの歪み係数変動範囲を算出するための算出モジュールと、
    前記公称内部パラメータ、前記歪み係数の初期値及び前記歪み係数変動範囲に基づいて、前記画像シーケンスに対して３次元再構築を行うための３次元再構築モジュールと、
    前記３次元再構築のプロセスにおいて、取得された視覚点群及びカメラ位置姿勢を最適化するための第１の最適化モジュールと、を含む、
    ことを特徴とする３次元再構築装置。
11. 前記３次元再構築のプロセスにおいて、前記意味要素の点群が前記意味要素に対応する幾何学的特性を満足するように、取得された視覚点群における意味要素を最適化するための第２の最適化モジュールをさらに含む、
    ことを特徴とする請求項１０に記載の装置。
12. 前記３次元再構築のプロセスにおいて、前記歪み係数変動範囲が安定する前に、歪み係数を最適化し、前記歪み係数変動範囲が安定した後、前記公称内部パラメータを最適化するための第３の最適化モジュールをさらに含む、
    ことを特徴とする請求項１０に記載の装置。
13. 前記算出モジュールは、
    前記画像シーケンスの一部の画像における歪んだライン特徴を抽出するための抽出サブモジュールと、
    前記歪んだライン特徴に基づいて、前記歪み係数変動範囲を算出するための算出サブモジュールと、を含む、
    ことを特徴とする請求項１０に記載の装置。
14. 前記３次元再構築モジュールは、
    前記画像シーケンスから第１の画像及び第２の画像を選択するための選択サブモジュールと、
    前記第１の画像及び前記第２の画像に対して３次元再構築を行って、初期視覚点群を取得するための点群初期化サブモジュールと、
    前記画像シーケンスの新しいフレーム画像を１つずつ登録して、各新しいフレーム画像の点群を取得し、各新しいフレーム画像の点群を１つずつ前記初期視覚点群に結合するための新しいフレーム登録サブモジュールと、を含む、
    ことを特徴とする請求項１０に記載の装置。
15. 前記新しいフレーム登録サブモジュールはさらに、
    新しいフレーム画像の登録プロセスにおいて、歪み変化曲線に基づいて歪み係数を最適化するか否かを決定することに用いられる、
    ことを特徴とする請求項１４に記載の装置。
16. 電子機器であって、
    少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記コンピュータ命令が実行される場合、前記少なくとも１つのプロセッサが請求項１〜９のいずれかに記載の方法を実行する、
    ことを特徴とする電子機器。
17. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が実行される場合、請求項１〜９のいずれかに記載の方法が実行される、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
18. コンピュータプログラムであって、
    前記コンピュータプログラムにおける命令が実行された場合に、請求項１〜９のいずれかに記載の方法が実行される、
    ことを特徴とするコンピュータプログラム。

Images