JP2020042803A - ３次元データの処理方法、装置、機器及び記憶媒体 - Google Patents

Abstract

【課題】３次元点群データの処理方法を最適化して、３次元点群データの精度を向上させることができる３次元データの処理方法、装置、機器及び記憶媒体を提供する。【解決手段】３次元データの処理方法は、処理対象の３次元点群データを取得するステップＳ１０１と、３次元点群データを２次元画像領域にマッピングして、スパース深度マップを取得するステップＳ１０２と、スパース深度マップに含まれる標的のオクルージョン関係を変更した後、スパース深度マップを拡張処理するステップＳ１０３と、拡張処理した後、スパース深度マップに含まれる標的のオクルージョン関係を再変更して、３次元点群データにマッチングされるデンス深度マップＳ１０４を取得するステップと、を含む。【選択図】図１

Description

本発明の実施例は、３次元データ処理技術分野に関し、特に３次元データの処理方法、装置、機器及び記憶媒体に関する。

３次元レーザースキャニング技術は実景複製技術とも呼ばれ、測量とマッピング分野においてＧＰＳ技術の後に続く技術革新である。それは従来の変換一点測定法を突破し、高効率、高精度の独特の利点を持っている。３次元レーザースキャニング技術は、物体表面をスキャンして３次元点群データを提供することができるため、高精度、高解像度のデジタル地形モデルを取得するために使用されることができる。

３次元レーザースキャニング技術を実現するための３次元レーザースキャナは、道路の測量と検出（轍、道路表面、道路変形）、メンテナンスと調査、道路形状モデルの構築（横方向と縦方向のプロファイル分析）、構造分析（高架道路）、洪水評価分析、ＧＩＳシステム（Ｇｅｏｇｒａｐｈｉｃ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍ、地理情報システム）におけるオーバーレイ分析、交通流分析及び運転視野と安全分析などの分野に広く応用されている。

発明者は本発明を実現するプロセスにおいて、既存の技術に以下の欠点が存在することを見つけた。１台又は少ない数の３次元レーザースキャナを使用して取得される３次元点群データの精度が低く、測量物体の形態と位置を完全かつ正確に表現することが困難である。

以上のことを考慮して、本発明の実施例は、３次元データの処理方法、装置、機器及び記憶媒体を提供して、既存の３次元点群データの処理方法を最適化して、３次元点群データの精度を向上させる。

第１の側面において、本発明の実施例は、３次元データの処理方法を提供し、
処理対象の３次元点群データを取得するステップと、
前記３次元点群データを２次元画像領域にマッピングして、スパース深度マップを取得するステップと、
前記スパース深度マップに含まれる標的のオクルージョン関係を変更した後、前記スパース深度マップを拡張処理するステップと、
拡張処理した後、前記スパース深度マップに含まれる標的のオクルージョン関係を再変更して、前記３次元点群データにマッチングされるデンス深度マップを取得するステップと、を含む。

第２の側面において、本発明の実施例は、３次元データの処理装置を提供し、
処理対象の３次元点群データを取得するためのデータ取得モジュールと、
前記３次元点群データを２次元画像領域にマッピングして、スパース深度マップを取得するためのスパース深度マップ取得モジュールと、
前記スパース深度マップに含まれる標的のオクルージョン関係を変更した後、前記スパース深度マップを拡張処理するための拡張処理モジュールと、
拡張処理した後、前記スパース深度マップに含まれる標的のオクルージョン関係を再変更して、前記３次元点群データにマッチングされるデンス深度マップを取得するためのデンス深度マップ取得モジュールと、を含む。

第３の側面において、本発明の実施例は、機器を提供し、前記機器は、
一つ又は複数のプロセッサと、
一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、本発明の任意の実施例に記載の３次元データの処理方法を実現する。

第４の側面において、本発明の実施例は、コンピュータ読み取り可能な命令を含む記憶媒体を提供し、前記コンピュータ読み取り可能な命令がコンピュータプロセッサによって実行される場合に、本発明の任意の実施例に記載の３次元データの処理方法が実現される。

本発明の実施例は、３次元データの処理方法、装置、機器及び記憶媒体を提供し、３次元点群データを２次元画像領域にマッピングして取得されるスパース深度マップを標的のオクルージョン関係の変換及び拡張処理して、当該３次元点群データにマッチングされるデンス深度マップを取得することによって、既存の技術において、１台又は少ない数の３次元レーザースキャナによって取得された３次元点群データの精度が低く、測量物体の形態と位置を完全かつ正確に表現することが困難な技術的欠点を解决し、３次元点群データの数を合理的かつ有効的に増加させ、３次元点群データの精度を向上させ、３次元点群データが測量物体の形態と位置をより正確かつ完全に表現することができる。

本発明の実施例１により提供される３次元データの処理方法のフローチャートである。 本発明の実施例２により提供される３次元データの処理方法のフローチャートである。 本発明の実施例３により提供される３次元データの処理装置の構成図である。 本発明の実施例４により提供される機器の構成図である。

本発明の目的、技術案及び利点をより明確にするために、以下、図面及び実施例を参照して本発明についてさらに詳しく説明する。なお、ここで説明される具体的な実施例は、単なる本発明を解釈するためのものであり、本発明を限定するものではない。

なお、説明の便宜上、図面には、全部の内容ではなく、本発明に関する一部だけが示される。例示的な実施例をさらに詳しく検討する前に言及せざるを得ないのは、一部の例示的な実施例は、フローチャートとして描画される処理又は方法として説明されることである。フローチャートにより各操作（又はステップ）を順次処理として説明するが、そのうち、多くの操作は、並行的に、併発的に又は同時に実施することができる。また、各操作の手順は、改めて整える（変更する）ことができる。処理が完了する場合、前記処理は、終了されてもよいが、図面に含まれていない付加的なステップを有してもよい。前記処理は、方法、関数、規程、サブルーチン、サブプログラムなどに対応することができる。

（実施例１）
図１は、本発明の実施例１により提供される３次元データの処理方法のフローチャートである。本実施例の方法は、３次元データの処理装置によって実行されることができ、当該装置は、ソフトウェア及び／又はハードウェアの方式によって実現されることができ、一般的に、車載又は船上レーザレーダなどの３次元データ測量機器に統合されていてもよい。本実施例の方法は、具体的に以下のステップを含む。
ステップＳ１０１：処理対象の３次元点群データを取得する。

本実施例において、処理対象の３次元点群データは、具体的には、３次元レーザースキャナがあるシーンをスキャンして取得されたデータであってもよい。

３次元レーザースキャナは高価であるため、１台の３次元データ測量機器には、複数の３次元レーザースキャナが同時に配置されておらず、一般的に、１台の３次元レーザースキャナだけが配置されることを理解することができる。内容が複雑なシーンについては、当該シーンに対応する３次元点群データを正確かつ完全に取得するために、複数の３次元レーザースキャナを同時に使用する必要があることを理解することができる。したがって、多くの場合、３次元点群データは正確ではなく完全でもなく、現在のシーンを正確に反映することができない。しかしながら、本実施例における３次元データの処理方法、すなわち、ステップ１０１〜ステップ１０４によって３次元点群データの精度と完全性を向上させることができる。

ステップＳ１０２：３次元点群データを２次元画像領域にマッピングして、スパース深度マップを取得する。

本実施例において、２次元画像領域（２次元画像空間）は、具体的に、含まれる画素点が深度情報を有する２次元画像によって構成される画像領域（画像空間）を指す。

本実施例において、「３次元点群データを２次元画像領域にマッピングする」際の方式は、具体的には、設定された座標変換規則に従って、３次元点群データにおける各データの平面座標を、設定された２次元画像範囲の画素座標に変換するとともに、３次元点群データにおける各点の深度座標を、対応する画素座標の深度値とすることができる。

その中、設定された２次元画像範囲は、規則的な画像範囲（例えば、１００＊１００の正方形、５００＊３００の長方形など）であってもよく、不規則的な画像範囲であってもよいが、本実施例は、これらに限定されない。もちろん、設定された２次元画像範囲が規則的であるか否かに関わらず、３次元点群データが、当該設定された２次元画像範囲にすべて有効的にマッピングされることを保証する必要があり、ステップ１０３での拡張処理を経た後、追加された画素点が、当該設定された２次元画像範囲にすべて有効的に入ることを保証する必要がある。

３次元点群データにおける各データの平面位置は、不連続で、離散的である可能性があり、３次元点群データは、現在のシーンにおける各物体の形態と遠近位置を表すことのみに使用され、現在のシーンにおける背景には、対応する３次元点群データがないことをさらに理解することができる。したがって、３次元点群データを２次元画像空間にマッピングした後、当該２次元画像空間におけるすべての画素点がすべて深度値を有するわけではなく、深度値を有する画素点の位置も不連続で、離散的である可能性がある。これから分かるように、３次元点群データを２次元画像空間にマッピングして取得される図は、深度情報を有するスパース（まばらな、疎な）２次元図によって構成される３次元図であり、本実施例において、「スパース深度マップ」と呼ばれる。

ステップＳ１０３：スパース深度マップに含まれる標的（目標物）のオクルージョン関係を変更した後、スパース深度マップを拡張処理する。

前記拡張操作（すなわち、拡張処理）とは、構造要素Ｘをスパース深度マップにおける深度情報によって決定される目標物Ｏ（当該目標物Ｏは、当該スパース深度マップにおける、深度情報が同じであり、座標位置が近い各点の組み合わせで構成される）に畳み込み操作し、構造要素Ｘを移動させるプロセス中、目標物Ｏと重なる領域が存在する場合、当該位置を記録し、すべての構造要素Ｘを移動して目標物Ｏと重なる位置の集合は、目標物Ｏが構造要素Ｘの作用による拡張結果であることを指す。これらに対応して、上記の集合に含まれる各点は、目標物Ｏの深度情報に対応して、当該スパース深度マップの目標物Ｏに対応する、深度情報を含む点集合を拡大することができる。

深度値を有する画像を拡張処理する際に、拡張によって追加された画素点Ａの画素位置が拡張する前の深度値を有する画素点Ｂ（又は拡張によって追加された画素点Ｃ）の画素位置と重なり、且つ画素点Ｂ（又は画素点Ｃ）の深度値が画素点Ａの深度値より小さい場合、画素点Ａが画素点Ｂを置き換える（又は画素点Ａが画素点Ｃを覆う）ことが現れるため、拡張された画像に、後ろの物体が前の物体をオクルージョンする現象が現れることを理解することができる。

従って、本実施例において、スパース深度マップを拡張処理する前に、まず、スパース深度マップに含まれる標的（目標物）のオクルージョン関係を変更する。すなわち、画素点の深度値を変更することによって、標的（目標物）の前後位置を反転させるため、拡張した後に、スパース深度マップに含まれる標的において、後ろの標的が前の標的をオクルージョンする現象が現れることがない。

その中、画素点の深度値の変更方法は、本実施例において限定しないが、画素点の深度値の変更方法は、以下の二つの要件を満たす必要がる。第１に、画素点の深度値を変更した後、目標物の前後位置の反転を正しく実現することができることであり、第２に、画素点の深度値の変更方法は、対応する逆演算方法が存在し、当該逆演算方法に基づいて目標物間の最初（原初）の位置関係を復元することができることである。

ステップＳ１０４：拡張処理した後、スパース深度マップに含まれる標的（目標物）のオクルージョン関係を再変更して、３次元点群データにマッチングされるデンス深度マップを取得する。

本実施例において、拡張処理した後、標的のオクルージョン関係を復元する必要があるため、スパース深度マップに含まれる標的のオクルージョン関係を再変更する必要がある。すなわち、標的の前後位置を再度反転して、この変更をした後に３次元点群データにマッチングされるデンス（密度の高い、密な）深度マップを取得する。

本発明の実施例は、３次元データの処理方法を提供し、当該方法３次元点群データを２次元画像空間にマッピングして取得されるスパース深度マップを物体のオクルージョン関係を変換及び拡張処理して、当該３次元点群データにマッチングされるデンス深度マップを取得することによって、既存の技術において、１台又は少ない数の３次元レーザースキャナによって取得された３次元点群データの精度が低く、測量物体の形態を完全かつ正確に表現することが困難な技術的欠点を解決し、３次元点群データの数を合理的かつ有効的に増加させ、３次元点群データの精度を向上させ、３次元点群データが測量物体の形態をより正確かつ完全に表現することができる。

（実施例２）
図２は、本発明の実施例２により提供される３次元データの処理方法のフローチャートである。本実施例は上記の実施例に基づいて最適化を行い、本実施例において、標的（目標物）のオクルージョン関係の変更方法、及び拡張方法を具体化して提供し、閉操作処理ステップ、及び構造要素辺長の計算プロセスを追加し、ジョイントバイラテラルフィルタリングプロセス、及び画像圧縮と解凍プロセスの具体的な実施形態を追加した。

これらに対応して、本実施例の方法は、具体的には、以下のステップを含み、
ステップＳ２０１：処理対象の３次元点群データを取得する。

ステップＳ２０２：３次元点群データを２次元画像空間にマッピングして、スパース深度マップを取得する。

ステップＳ２０３：スパース深度マップにおける深度情報を含む画素点がすべての画素点に占める比率ｒを計算し、ｒに基づいてスケール定数ｗを計算し、その中、ｒとｗが下記数式１の関係を満たす。

本実施例において、スケール定数ｗが設定され、当該スケール定数は、具体的に、拡張処理のための構造要素の辺長の基準数値とする。スケール定数ｗは、（１／ｒ）^１／２に等しく、その中、ｒは、スパース深度マップにおける深度情報を含む画素点がすべての画素点に占める比率であり、これから分かるように、スケール定数ｗは、ｒと反比例になり、つまり、スパース深度マップにおける深度情報を含む画素点が多いほど、拡張する必要がある画素点の数が少なくなる。

ステップＳ２０４：第１の辺長（エッジ長）を下記数式２と決定し、第２の辺長を下記数式３と決定し、第３の辺長を下記数式４と決定する。

拡張処理のための構造要素が略円形の（円形に近い）構造要素である場合、拡張処理して取得される画像における各境界はより滑らかになることを理解することができる。

従って、本実施例において、菱形の構造要素と正方形の構造要素とをそれぞれの拡張構造要素の前後２回の拡張プロセス（ステップ２０７とステップ２０８）とすることによって、略円形の（円形に近い）構造要素で単一の拡張処理の処理効果を実現する。

上記の効果を実現するために、本実施例において、菱形の構造要素の辺長、すなわち第１の辺長（エッジ長）を上記数式２と設定し、正方形の構造要素の辺長、すなわち第２の辺長を上記数式３と設定する。

さらに、本実施例において、２回の拡張操作した後、続けて第２の拡張処理された画像を閉操作処理し、この閉操作に使用される構造要素は、正方形の構造要素であり、当該正方形の構造要素の辺長をｗ／２と設置する。

ステップＳ２０５：スパース深度マップにおける深度情報を有する各目標画素点を取得する。

ここで説明する必要があることは、ステップ２０５とステップ２０６は、ステップ２０３とステップ２０４の後に実行されてもよく、ステップ２０３とステップ２０４の前に実行されてもよく、あるいはステップ２０３とステップ２０４と同時に実行されてもよい。

本実施例において、ステップ２０５とステップ２０６によってスパース深度マップに含まれる標的（目標物）のオクルージョン関係の変更を実現する。目標画素点とは、具体的には、スパース深度マップにおける深度情報を有する画素点を指す。

ステップＳ２０６：目標画素点の深度情報を最初の深度情報の逆数に更新する。

本実施例において、標的（目標物）のオクルージョン関係の変更は、目標画素点の深度情報の逆数を当該目標画素点の深度情報とすることによって実現され、そうすると、簡単かつ有効的に標的の前後位置を反転させることができる。

ステップＳ２０７：第１の辺長の菱形の構造要素を使用して、スパース深度マップに第１の拡張処理を行う。

ステップＳ２０８：第２の辺長の正方形の構造要素を使用して、第１の拡張処理された画像に第２の拡張処理を行う。

ステップＳ２０９：第３の辺長の正方形の構造要素を使用して、第２の拡張処理された画像を閉操作処理する。

先に拡張した後に収縮する操作が閉操作と呼ばれる。物体内の小さな空洞を埋めて、隣接する物体を接続し、境界を滑らかにする作用がある。

ステップＳ２１０：３次元点群データにマッチングされる２次元カラー画像を取得する。

本実施例において、拡張処理及び閉操作処理された画像における各境界がより滑らかにするために、ステップ２１０とステップ２１１によって閉操作された画像をジョイントバイラテラルフィルタリング処理する。

なお、拡張処理を行ったスパース深度マップは３次元点群データのマッピングによって取得されるため、３次元点群データに対応する実景画像を使用して閉操作処理された画像をジョイントバイラテラルフィルタリング処理する場合に当該フィルタリング処理の効果を最適化することができる。従って、本実施例において、ジョイントバイラテラルフィルタリングのために、３次元点群データにマッチングされる２次元カラー画像を取得する。

その中、バイラテラルフィルタリングは、色差を導入したガウスフィルタリングを最適化することにより実現される。フィルタ畳み込みウィンドウの重み付けの重みは、空間と色度の２次元特徴差を同時に考慮する。

ステップＳ２１１：２次元カラー画像、及びスパース深度マップにおける各画素点の構造化情報に基づいて、閉操作処理された画像をジョイントバイラテラルフィルタリングし、その中、構造化情報は、画素点の色情報、及び／又は画素点の位置情報と、を含む。

本実施例において、ジョイントバイラテラルフィルタリング処理のためのスパース深度マップにおける各画素点の構造化情報は、画素点のカラー情報であってもよく、画素点の位置情報であってもよく、画素点のカラー情報と位置情報であってもよいが、本実施例はこれらについて限定しない。

ステップＳ２１２：拡張処理した後、スパース深度マップに含まれる標的（目標物）のオクルージョン関係を再変更して、３次元点群データにマッチングされるデンス深度マップを取得する。

ステップＳ２１３：デンス深度マップに対する圧縮・記憶操作が検出された場合、ダウンサンプリングの方式を使用してデンス深度マップにマッチングされる圧縮画像を生成し、圧縮画像を記憶する。

本実施例において、デンス深度マップに対する圧縮方法は、ダウンサンプリング方式であり、その中、ダウンサンプリング方式のサンプリング間隔は、ステップ２１４における解凍操作に対応する必要がある。具体的には、解凍操作、すなわちステップ２１４には、拡張処理を使用するため、当該ステップにおけるダウンサンプリングのサンプリング間隔が、ステップ２１４における拡張処理とマッチングして、ステップ２１４によってデンス深度マップが正しく復元されることを保証させる必要がある。

ステップＳ２１４：圧縮画像に対する解凍操作が検出された場合、圧縮画像に含まれる標的（目標物）のオクルージョン関係を変更した後、圧縮画像を拡張処理し、拡張処理した後、圧縮画像に含まれる標的のオクルージョン関係を再変更して、デンス深度マップを取得する。

本実施例において、圧縮画像の解凍方法は、具体的には、いずれの実施例において、スパース深度マップをデンス深度画像に変換する方法と同じ方法であり、例えば、本実施例におけるステップ２０３からステップ２１２までのプロセスである。

本発明の実施例は、３次元データの処理方法を提供し、当該方法は、目標物のオクルージョン関係変更方法を具体化し、迅速、簡単及び正確に目標物の位置関係を反転することを実現した。また、拡張方法を具体化し、菱形の構造要素と正方形の構造要素を使用して円形に近い構造要素の拡張処理を実現され、拡張処理された画像における境界の平滑度を向上し、閉操作処理ステップを追加することによって、画像における輪郭線がより滑らかになるだけではなく、狭い間隙と長くて細い溝を解消することもでき、小さい空洞を取り除き、輪郭線中の断裂を埋めることもできる。また、構造要素の辺長の計算プロセスを追加して、菱形の構造要素と正方形の構造要素の組み合わせがより円形に近い（略円形の）構造要素になり、ジョイントバイラテラルフィルタリングプロセスを追加して、画像における各境界の平滑度をさらに向上させ、画像圧縮と解凍プロセスを追加して、解凍された画像がデンス深度マップに対する復元効果を向上させる。

上記の各実施例に基づいて、スパース深度マップを拡張処理することは、具体的には、所定のスケールパラメータを使用して略円形の（円形に近い）構造要素を構築して、スパース深度マップを拡張処理する。

このように設置する利点は、拡張処理された画像における各境界の平滑度を向上させる。

（実施例３）
図３は、本発明の実施例３により提供される３次元データの処理装置の構成図である。図３に示すように、前記装置は、データ取得モジュール３０１と、スパース深度マップ取得モジュール３０２と、拡張処理モジュール３０３と、デンス深度マップ取得モジュール３０４と、を含む。
データ取得モジュール３０１は、処理対象の３次元点群データを取得する。
スパース深度マップ取得モジュール３０２は、３次元点群データを２次元画像領域（２次元画像空間）にマッピングして、スパース深度マップを取得する。
拡張処理モジュール３０３は、スパース深度マップに含まれる標的のオクルージョン関係を変更した後、スパース深度マップを拡張処理する。
デンス深度マップ取得モジュール３０４は、拡張処理した後、スパース深度マップに含まれる標的のオクルージョン関係を再変更して、３次元点群データにマッチングされるデンス深度マップを取得する。

本発明の実施例は、３次元データの処理装置を提供し、当該装置は、まず、データ取得モジュール３０１によって処理対象の３次元点群データを取得し、次に、スパース深度マップ取得モジュール３０２によって３次元点群データを２次元画像領域にマッピングして、スパース深度マップを取得し、後に、拡張処理モジュール３０３によってスパース深度マップに含まれる標的のオクルージョン関係を変更した後、スパース深度マップを拡張処理し、最後に、デンス深度マップ取得モジュール３０４によって、拡張処理した後、スパース深度マップに含まれる標的のオクルージョン関係を再変更して、３次元点群データにマッチングされるデンス深度マップを取得する。

当該装置は、既存の技術において、１台又は少ない数の３次元レーザースキャナによって取得された３次元点群データの精度が低く、測量物体の形態を完全かつ正確に表現することが困難な技術的欠点を解決し、３次元点群データの数を合理的かつ有効的に増加させ、３次元点群データの精度を向上させ、３次元点群データが測量物体の形態をより正確かつ完全に表現することができる。

上記の各実施例に基づいて、拡張処理モジュール３０３は、
スパース深度マップにおける深度情報を有する各目標画素点を取得するための目標画素点取得ユニットと、
各目標画素点の深度情報を最初の深度情報の逆数に更新するための深度情報更新ユニットと、を含むことができる。

上記の各実施例に基づいて、拡張処理モジュール３０３は、具体的には、
所定のスケールパラメータを使用して略円形の（円形に近い）構造要素を構築して、スパース深度マップを拡張処理することができる。

上記の各実施例に基づいて、拡張処理モジュール３０３は、
第１の辺長の菱形の構造要素を使用して、スパース深度マップに第１の拡張処理を行うための第１の拡張処理ユニットと、
第２の辺長の正方形の構造要素を使用して、第１の拡張処理をされた画像に第２の拡張処理を行うための第２の拡張処理ユニットと、を含むことができる。

上記の各実施例に基づいて、拡張処理モジュール３０３は、
第２の辺長の正方形の構造要素を使用して、第１の拡張処理をされた画像に第２の拡張処理を行った後、第３の辺長の正方形の構造要素を使用して、第２の拡張処理をされた画像を閉操作処理するための第３の拡張処理ユニットをさらに含むことができる。

上記の各実施例を基に、
３次元点群データを２次元画像空間にマッピングして、スパース深度マップを取得した後、スパース深度マップにおける深度情報を含む画素点がすべての画素点に占める比率ｒを計算し、ｒに基づいてスケール定数ｗを計算するための比率計算モジュールであって、ｒとｗが下記数式１の関係を満たす比率計算モジュールと、
第１の辺長（エッジ長）を下記数式２と決定し、第２の辺長を下記数式３と決定し、第３の辺長を下記数式４と決定するための辺長決定モジュールと、をさらに含むことができる。

上記の各実施例を基に、
第３の辺長の正方形の構造要素を使用して、第２の拡張処理をされた画像を閉操作処理した後、３次元点群データにマッチングされる２次元カラー画像を取得するための２次元カラー画像取得モジュールと、
２次元カラー画像、及びスパース深度マップにおける各画素点の構造化情報に基づいて、閉操作処理された画像をジョイントバイラテラルフィルタリングするためのジョイントバイラテラルフィルタリングモジュールと、をさらに含み、
その中、構造化情報は、画素点の色情報、及び／又は画素点の位置情報と、を含むことができる。

上記の各実施例を基に、
３次元点群データにマッチングされるデンス深度マップを取得した後、デンス深度マップに対する圧縮・記憶操作が検出された場合、ダウンサンプリングの方式を使用してデンス深度マップにマッチングされる圧縮画像を生成し、圧縮画像を記憶するための画像圧縮モジュールと、
圧縮画像に対する解凍操作が検出された場合、圧縮画像を新しいスパース深度マップとし、３次元データの処理方法を実行するための画像解凍モジュールと、をさらに含むことができる。

本発明の実施例に提供される３次元データの処理装置は、本発明の任意の実施例に提供される３次元データの処理方法を実現可能であり、対応される機能モジュールを備え、同じ有益な効果を実現できる。

（実施例４）
図４は、本発明の実施例４により提供される機器の構成図である。図４は、本発明の実施形態を実現するのに適する例示的な機器１２のブロック図である。図４に示される機器１２は、単なる一つの例であり、本発明の実施例の機能及び使用範囲を一切制限しない。

図４に示すように、機器１２は、汎用コンピューティングデバイスの形態で示される。機器１２のコンポーネントは、一つ又は複数のプロセッサ又は処理ユニット１６と、システムメモリ２８と、異なるシステムコンポーネント（システムメモリ２８と処理ユニット１６とを含む）を接続するバス１８と、を含むことができるが、これらに限定されない。

バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ又は多様なバス構造のうち任意のバス構造を使用するローカルバスを含む、複数種のバス構造のうち一つ又は複数のものを表す。例をあげると、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（ＩＳＡ）バス、マイクロチャネルアーキテクチャ（ＭＡＣ）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（ＶＥＳＡ）ローカルバス、及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、これらに限定されない。

機器１２は、典型的には、多種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、機器１２がアクセスすることができる任意の使用可能な媒体であってもよく、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む。

システムメモリ２８は、ランダムアクセスメモリ（ＲＡＭ）３０及び／又はキャッシュメモリ３２などの揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでもよい。機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでもよい。単なる一例として、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図４に示されていないが、通常「ハードドライブ」と呼ぶ）に対して読み出し及び書き込みをするために用いることができる。図４に示されていないが、リムーバブル、不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル、不揮発性光学ディスク（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ又は他の光学媒体）に対して読み出し及び書き込みをするための光学ディスクドライブを提供することができる。この場合、各ドライブは、一つ又は複数のデータメディアインターフェイスを介してバス１８に接続することがきる。メモリ２８は、本発明の各実施例に記載の機能を実行するように構成されるワンセットのプログラムモジュール（例えば、少なくとも一つ）を有する少なくとも一つのプログラム製品を含んでもよい。

一組のプログラムモジュール４２（少なくとも一つ）を有するプログラム／ユーティリティ４０は、例えば、メモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、一つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むことができるがこれらに限定されない。これらの例のそれぞれ又は何らかの組み合わせには、ネットワーク環境の実装が含まれる可能性がある。プログラムモジュール４２は、通常本発明に記載の実施例における機能及び／又は方法を実行する。

機器１２は、一つ又は複数の外部機器１４（例えば、キーボード、ポインティング機器、ディスプレイ２４など）と通信することができるし、ユーザが機器１２とインタラクションすることを可能にする一つ又は複数の機器と通信することもでき、及び／又は機器１２が一つ又は複数の他のコンピューティングデバイスと通信することを可能にする任意の機器（例えば、ネットワークカード、モデムなど）と通信することができる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェイス２２を介して行うことができる。また、機器１２は、ネットワークアダプタ２０を介して、一つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図４に示すように、ネットワークアダプタ２０は、バス１８を介して、機器／端末／サーバー１２の他のモジュールと通信する。なお、図示されていないが、マイクロコードやデバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップストレージシステムなどを含むがこれらに限定されない他のハードウェア及び／又はソフトウェアモジュールを、機器１２と組み合わせて使用することができる。

処理ユニット１６は、システムメモリ２８に記憶されるプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、本発明の実施例が提供する３次元データの処理方法を実現する。すなわち、処理対象の３次元点群データを取得し、前記３次元点群データを２次元画像領域にマッピングして、スパース深度マップを取得し、前記スパース深度マップに含まれる標的のオクルージョン関係を変更した後、前記スパース深度マップを拡張処理し、拡張処理した後、前記スパース深度マップに含まれる標的のオクルージョン関係を再変更して、前記３次元点群データにマッチングされるデンス深度マップを取得する。

（実施例５）
本発明の実施例５は、コンピュータ実行（読み取り）可能な命令を含む記憶媒体をさらに提供し、前記コンピュータ実行可能な命令がコンピュータプロセッサによって実行される場合に、本発明の実施例の３次元データの処理方法が実行される。すなわち、処理対象の３次元点群データを取得し、前記３次元点群データを２次元画像空間にマッピングして、スパース深度マップを取得し、前記スパース深度マップに含まれる目標物のオクルージョン関係を変更した後、前記スパース深度マップを拡張処理し、拡張処理した後、前記スパース深度マップに含まれる目標物のオクルージョン関係を再変更して、前記３次元点群データにマッチングされるデンス深度マップを取得する。

本発明の実施例に係るコンピュータ記憶媒体は、一つ又は複数のコンピュータ読み取り可能な媒体の任意の組み合わせを採用することができる。コンピュータ読み取り可能な媒体は、コンピュータ読み取り可能な信号媒体、あるいはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な媒体は、例えば、電子、磁気、光、電磁気、赤外線、又は半導体のシステム、装置又はデバイス、或いは上記の任意の組み合わせであってもよいがこれらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例（非網羅的なリスト）は、一つ又は複数の配線を備える電気接続部、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ-ＲＯＭ）、光記憶装置、磁気記憶装置、又は上記の任意の適切な組み合わせを含む。この文書において、コンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスにより使用され、或いはそれらと組み合わせて使用されることが可能であるプログラムを含む又は記憶する任意の有形の媒体であってもよい。

コンピュータ読み取り可能な信号媒体は、ベースバンドにおける、又は搬送波の一部として伝播するデータ信号を含むことができ、その中にはコンピュータ読み取り可能なプログラムコードが搭載される。この伝播するデータ信号は様々な形式を採用することができ、電磁信号、光信号又は上記の任意の適切な組み合わせを含むがこれらに限定されない。コンピュータ読み取り可能な信号媒体は、さらに、コンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよく、当該コンピュータ読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、あるいはそれらと組み合わせて使用されるプログラムを送信、伝播又は伝送することができる。

コンピュータ読み取り可能な媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦなど、又は上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体によって伝送することができる。

一つ又は複数のプログラミング言語又はそれらの組み合わせで本発明の動作を実行するためのコンピュータプログラムコードを作成することができ、前記プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのプロジェクト指向のプログラミング言語を含み、さらに、「Ｃ」言語又は同様のプログラミング言語といった従来の手続き型プログラミング言語をも含む。プログラムコードは、完全にユーザーコンピュータで実行されてもよいし、部分的にユーザーコンピュータに実行されてもよいし、スタンドアロンソフトウェアパッケージとして実行されてもよいし、部分的にユーザーコンピュータで、部分的にリモートコンピュータで実行されてもよい、又は完全にリモートコンピュータ又はサーバーで実行してもよい。リモートコンピュータに係る場合、リモートコンピュータは、ローカルネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含む任意種類のインターネットを介して、ユーザーコンピュータに接続することができ、あるいは、外部コンピュータ（例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する）に接続することもできる。

なお、以上は、本発明の好ましい実施例及び運用される技術的原理に過ぎない。当業者は、本発明がここで記載される特定の実施例に限定されないことを理解することができる。当業者であれば、本発明の保護範囲を逸脱することはなく、種々の明らかな変化、新たな調整及び取り換えを行うことができる。したがって、上記実施例により本発明について比較的詳細に説明したが、本発明は、上記実施例のみに限定されず、本発明の構想を逸脱しない場合、より多くの他の効果同等な実施例をさらに含むことができ、本発明の範囲は、特許請求の範囲によって决定される。

Claims (11)

1. ３次元データの処理方法であって、
   処理対象の３次元点群データを取得するステップと、
   前記３次元点群データを２次元画像領域にマッピングして、スパース深度マップを取得するステップと、
   前記スパース深度マップに含まれる標的のオクルージョン関係を変更した後、前記スパース深度マップを拡張処理するステップと、
   拡張処理した後、前記スパース深度マップに含まれる標的のオクルージョン関係を再変更して、前記３次元点群データにマッチングされるデンス深度マップを取得するステップと、を含む、
   ことを特徴とする３次元データの処理方法。
2. 前記スパース深度マップに含まれる標的のオクルージョン関係を変更する処理は、
   前記スパース深度マップにおける深度情報を有する各目標画素点を取得するステップと、
   各前記目標画素点の深度情報を最初の深度情報の逆数に更新するステップと、を含む、
   ことを特徴とする請求項１に記載の３次元データの処理方法。
3. 前記スパース深度マップを拡張処理するステップは、
   所定のスケールパラメータを使用して略円形の構造要素を構築して、前記スパース深度マップを拡張処理するステップを含む、
   ことを特徴とする請求項１に記載の３次元データの処理方法。
4. 前記所定のスケールパラメータを使用して略円形の構造要素を構築して、前記スパース深度マップを拡張処理するステップは、
   第１の辺長の菱形の構造要素を使用して、前記スパース深度マップに第１の拡張処理を行うステップと、
   第２の辺長の正方形の構造要素を使用して、第１の拡張処理された画像に第２の拡張処理を行うステップと、を含む、
   ことを特徴とする請求項３に記載の３次元データの処理方法。
5. 前記第２の辺長の正方形の構造要素を使用して、第１の拡張処理された画像に第２の拡張処理を行った後、
   第３の辺長の正方形の構造要素を使用して、第２の拡張処理をされた画像を閉操作処理するステップをさらに含む、
   ことを特徴とする請求項４に記載の３次元データの処理方法。
6. 前記３次元点群データを２次元画像空間にマッピングして、スパース深度マップを取得した後、
   前記スパース深度マップにおける深度情報を含む目標画素点がすべての画素点に占める比率ｒを計算し、ｒに基づいてスケール定数ｗを計算するステップであって、ｒとｗが下記数式１の関係を満たすステップと、
   前記第１の辺長を下記数式２に決定し、前記第２の辺長を下記数式３に決定し、前記第３の辺長を下記数式４に決定するステップと、をさらに含む、
   ことを特徴とする請求項５に記載の３次元データの処理方法。
   

   

   

   

   
7. 前記第３の辺長の正方形の構造要素を使用して、第２の拡張処理された画像を閉操作処理した後、
   前記３次元点群データにマッチングされる２次元カラー画像を取得するステップと、
   前記２次元カラー画像、及び前記スパース深度マップにおける各画素点の構造化情報に基づいて、閉操作処理された画像をジョイントバイラテラルフィルタリングするステップと、をさらに含み、
   前記構造化情報は、画素点の色情報、及び／又は画素点の位置情報、を含む、
   ことを特徴とする請求項５に記載の３次元データの処理方法。
8. 前記３次元点群データにマッチングされるデンス深度マップを取得した後、
   前記デンス深度マップに対する圧縮・記憶操作が検出された場合、ダウンサンプリングの方式を使用して前記デンス深度マップにマッチングされる圧縮画像を生成し、前記圧縮画像を記憶するステップと、
   前記圧縮画像に対する解凍操作が検出された場合、前記圧縮画像を新しいスパース深度マップとし、請求項１〜７のいずれかに記載の３次元データの処理方法を実行するステップと、をさらに含む、
   ことを特徴とする請求項１〜７のいずれかに記載の３次元データの処理方法。
9. ３次元データの処理装置であって、
   処理対象の３次元点群データを取得するためのデータ取得モジュールと、
   前記３次元点群データを２次元画像領域にマッピングして、スパース深度マップを取得するためのスパース深度マップ取得モジュールと、
   前記スパース深度マップに含まれる標的のオクルージョン関係を変更した後、前記スパース深度マップを拡張処理するための拡張処理モジュールと、
   拡張処理した後、前記スパース深度マップに含まれる標的のオクルージョン関係を再変更して、前記３次元点群データにマッチングされるデンス深度マップを取得するためのデンス深度マップ取得モジュールと、を含む、
   ことを特徴とする３次元データの処理装置。
10. 機器であって、
    前記機器は、
    一つ又は複数のプロセッサと、
    一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサが、請求項１〜８のいずれかに記載の３次元データの処理方法を実現する、
    ことを特徴とする機器。
11. コンピュータ読み取り可能な命令を含む記憶媒体であって、
    前記コンピュータ読み取り可能な命令がコンピュータプロセッサによって実行される場合に、請求項１〜８のいずれかに記載の３次元データの処理方法が実現される、
    ことを特徴とする記憶媒体。
    
    

Images