JP2016009484A - ポイントクラウドで特徴領域を抽出する方法及び装置 - Google Patents

Abstract

【課題】ポイントクラウドで特徴領域を抽出する方法及び装置を提供する。
【解決手段】映像に含まれた少なくとも１つの特徴領域を抽出する特徴領域抽出方法は、映像のポイントクラウドを複数の領域に分割するステップＳ１８２０と、ポイントクラウド内の少なくとも１つのポイントインテンシティに基づいて複数の領域のうち少なくとも１つの特徴領域を抽出するステップＳ１８５０から構成される。
【選択図】図１８

Description

以下の実施形態は、ポイントクラウドで特徴領域を抽出する方法及び装置に関する。

２次元映像の場合、明度値が最も大きく変化するポイントやピクセルの明度値の変化を用いて抽出した外側線が互いに交差するポイントが特徴ポイントから抽出して用いられている。

下記で説明する実施形態は、特徴ポイント抽出のための演算量を減少させる技術を提供する。また、実施形態は、演算量の減少によって発生する余分のコンピュータパワーを用いて、複雑な特徴ポイント抽出アルゴリズムを追加的に行う技術を提供する。

一実施形態に係る特徴領域抽出方法は、映像のポイントクラウドを複数の領域に分割するステップと、前記ポイントクラウド内の少なくとも１つのポイントインテンシティに基づいて前記複数の領域のうち少なくとも１つの特徴領域を抽出するステップとを含む。

一実施形態に係る映像内の特徴ポイントを抽出する方法は、前記映像のポイントクラウドから複数のボクセルを生成するステップであって、前記複数のボクセルそれぞれは、該ボクセル内のポイントの数に関する値を有する、ステップと、前記複数のボクセル及び当該値に基づいて少なくとも１つの特徴領域を決定するステップと、前記少なくとも１つの特徴領域に基づいて前記特徴ポイントを抽出するステップと、を含む。

一実施形態に係る特徴領域抽出装置は、ポイントクラウドを受信する受信部と、前記ポイントクラウドを複数の領域に分割する分割部と、前記複数の領域を階層化する階層構造を生成する生成部と、前記階層構造により前記複数の領域から少なくとも１つの特徴領域を抽出する抽出部とを備える。

本発明によると、特徴ポイント抽出のための演算量を減少させる技術を提供することができる。また、実施形態は演算量の減少によって発生する余分のコンピュータパワーを用いて、複雑な特徴ポイント抽出アルゴリズムを追加的に行う技術を提供することができる。

一実施形態に係るポイントクラウドで特徴領域を抽出する方法を説明する図である。 一実施形態に係るポイントインテンシティ基盤ボクセルグリッドを説明する図である。 一実施形態に係る離散ウェーブレット変換を説明する図である。 一実施形態に係る離散ウェーブレット変換を説明する図である。 一実施形態に係る離散ウェーブレット変換を説明する図である。 一実施形態に係る離散ウェーブレット変換を説明する図である。 一実施形態に係る離散ウェーブレット変換を説明する図である。 一実施形態に係る離散ウェーブレット変換を説明する図である。 一実施形態に係る階層構造により特徴領域を抽出する方法を示した動作フローチャートである。 一実施形態に係る階層構造により特徴領域を抽出する方法を説明する図である。 一実施形態に係る突極性条件を説明する図である。 一実施形態に係る突極性条件を説明する図である。 一実施形態に係る接続性条件を説明する図である。 一実施形態に係る接続性条件を説明する図である。 一実施形態に係る類似性条件を説明する図である。 一実施形態に係る類似性条件を説明する図である。 一実施形態に係るボクセルグリッドの範囲を設定する方法を説明する図である。 一実施形態に係る特徴領域抽出方法を示した動作フローチャートである。 一実施形態に係る特徴領域抽出装置を示すブロック図である。 他の実施形態に係る特徴領域抽出装置を示すブロック図である。

以下、実施形態を添付する図面を参照しながら詳細に説明する。

図１は、一実施形態に係るポイントクラウドで特徴領域を抽出する方法を説明する図である。

ポイントクラウドは、任意の座標系に属するポイントの集合である。例えば、ポイントクラウドは、３次元座標系に属する複数のポイントの集合であってもよい。３次元座標系でポイントは、ｘ座標、ｙ座標、ｚ座標のように定義されてもよく、ポイントそれぞれは表現しようとする３次元オブジェクトの表面に沿って分布してもよい。ポイントクラウドは、３次元スキャナなどを用いて生成されてもよい。

特徴領域（ｆｅａｔｕｒｅ ｒｅｇｉｏｎ）は、特徴ポイントを含む領域である。特徴ポイントは映像内で抽出されるポイントとして、必要に応じて相異に定義されてもよい。一部の特徴ポイントは、大きさ、視点、照明変化などに影響を受けることなく映像内で繰り返し抽出されてもよい。特徴ポイントは、オブジェクト認識、３次元復元、ナビゲーションなどに用いてもよい。以下、特徴領域は、与えられたポイントクラウドで特徴ポイントを含む可能性が高い一部のポイントクラウドを示す。

図１を参照すると、一実施形態に係る特徴領域抽出装置は、ポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄ）１１０を複数の領域１２０に分割し、複数の領域１２０のうち少なくとも１つの特徴領域１３１、１３２、１３３、１３４、１３５、１３６、１３７、１３８、１３９、１４０、１４１、１４２を抽出してもよい。特徴領域抽出装置は、ソフトウェアで実現されるプログラムをプロセッサ及びメモリを用いて行ったり、ハードウェア加速器（ｈａｒｄｗａｒｅ ａｃｃｅｌｅｒａｔｏｒ：ＨＷＡ）又はＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などを用いてハードウェアで実現された機能を行ってもよい。もちろん、特徴領域抽出装置は、ソフトウェアで実現されたプログラム及びハードウェアで実現された機能を共に行ってもよい。

複数の領域１２０それぞれは、ボクセル（ｖｏｘｅｌ）と表されてもよい。ボクセルは、３次元空間で正規グリッドの値を表現する要素として、２次元空間で正規グリッドの値を表現するピクセルに対応する。例えば、特徴領域抽出装置は、ポイントクラウド１１０をカバーするボクセルグリッドを生成し、ボクセルグリッドで特徴領域に対応する少なくとも１つのボクセルを抽出してもよい。

特徴領域抽出装置は、ポイントクラウド１１０の全体で特徴ポイントを抽出する代わりに、抽出された特徴領域１３１、１３２、１３３、１３４、１３５、１３６、１３７、１３８、１３９、１４０、１４１、１４２で集中的に特徴ポイントを抽出してもよい。そのため、特徴領域抽出装置は、特徴ポイント抽出のための演算量を減少させる技術を提供してもよい。また、特徴領域抽出装置は、演算量の減少によって発生する余分のコンピュータパワーを用いて複雑な特徴ポイント抽出アルゴリズムを行ってもよい。そのため、特徴領域抽出装置は、より性能の優れる特徴ポイントを抽出する技術を提供することができる。

抽出された特徴ポイントは、三次元整合、三次元物体認識などに活用されてもよい。例えば、抽出された特徴ポイントを用いて３次元映像処理、ライトフィールドディスプレイで３次元整合の性能を向上させることができる。実施形態は、カメラのアルゴリズムチップ、ライトフィールドディスプレイ、スマートフォンのユーザインターフェースなどのように適用されてもよい。

図２は、一実施形態に係るポイントインテンシティ基盤ボクセルグリッドを説明する図である。図２を参照すると、一実施形態に係る特徴領域抽出装置は、ボクセルグリッド２１０を生成し、ボクセルグリッド２１０に属するボクセルそれぞれにインテンシティ（ｉｎｔｅｎｓｉｔｙ、強度）を設定してもよい。任意のボクセルのインテンシティは、当該ボクセルに属するポイントの質量に比例してもよい。以下、ボクセルのインテンシティは、ボクセルインテンシティ又はポイントインテンシティと称する。本願明細書では、質量は、「密集度」、「密度」、「濃度」、「個数」などとしても言及される。

例えば、ポイントクラウドに属するポイントの質量が全て同一であると仮定すれば、任意のボクセルのボクセルインテンシティは、当該ボクセルに属するポイントの個数として定義されてもよい。この場合、ボクセルインテンシティは数式（１）のように算出されてもよい。

ここで、Ｐはポイントクラウドを示し、ｐはポイントを示す。Ｖ０（ｉ、ｊ、ｋ）はレベル０で（ｉ、ｊ、ｋ）番目のボクセルを示し、ＶＩ０（ｉ、ｊ、ｋ）はレベル０で（ｉ、ｊ、ｋ）番目のボクセルのボクセルインテンシティを示す。レベルに関する詳細な内容は後述する。

特徴領域抽出装置は、ボクセルグリッド２１０に属するボクセルそれぞれにボクセルインテンシティを設定するため、ポイントクラウドに属するポイントを探索してもよい。特徴領域抽出装置は、探索中であるポイントが属するボクセルのボクセルインテンシティを増加させ得る。

ボクセルグリッド２１０に属するボクセルそれぞれのボクセルインテンシティは、ポイントクラウドに属するポイントが密集した程度（ｃｏｎｃｅｎｔｒａｔｉｏｎ）に関連する。例えば、ボクセル２１１のボクセルインテンシティが２０であるとき、ボクセル２１１は２０個のポイントを含んでもよい。ボクセル２１２のボクセルインテンシティが２であるとき、ボクセル２１２は２個のポイントを含んでもよい。ボクセル２１２のボクセルインテンシティよりもボクセル２１１のボクセルインテンシティが大きいことは、ボクセル２１２よりもボクセル２１１にポイントがさらに密集していることを示す。

特徴領域抽出装置は、ポイントインテンシティ基盤のボクセルグリッド２１０を生成することによって、ボクセル基盤の信号処理を可能にする。特徴領域抽出装置は３次元空間上で特徴ポイントを演算するため、特徴ポイントを演算するために３次元オブジェクトが２次元映像に投影される必要がない。そのため、特徴領域抽出装置は投影歪みに影響を受けないことから、より信頼度の高い特徴ポイントを抽出することができる。

図３ないし図７は、一実施形態に係る離散ウェーブレット変換を説明する図である。

図３を参照すると、一実施形態に係る特徴領域抽出装置は、離散ウェーブレット変換（Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ：ＤＷＴ）を用いてポイントクラウドの変化率に応じて階層構造を生成してもよい。離散ウェーブレット変換は、ウェーブレットが不連続的にサンプリングされる変換である。ここで、ウェーブレットは、０を中心に増加及び減少を繰り返す振幅を伴う波のような振動である。ウェーブレットは、信号処理に有用な特定性質を有する。離散ウェーブレット変換は、周波数成分と位置成分をキャプチャーしてもよい。特徴領域抽出装置は、様々な離散ウェーブレット変換のうちＨａｒｒウェーブレット変換を用いてもよい。

特徴領域抽出装置は、予め決定した数の隣接するボクセルに離散ウェーブレット変換を適用してもよい。例えば、図３を参照すると、特徴領域抽出装置は、８個の隣接するボクセル３１０に離散ウェーブレット変換を適用してもよい。８個の隣接するボクセル３１０は、第１階のボクセル３１１と第２階のボクセル３１２に分類されてもよい。第１階のボクセル３１１と第２階のボクセル３１２に離散ウェーブレット変換を適用すると、基準ボクセル３１５を基準にしてｘ軸、ｙ軸、ｚ軸のそれぞれに対する変化率の高い値と低い値が決定されてもよい。

より具体的に、第１階のボクセル３１１と第２階のボクセル３１２に離散ウェーブレット変換が適用されれば、第１階のボクセル３１１それぞれのインテンシティと、第２階のボクセル３１２それぞれのインテンシティに基づいて低周波成分及び高周波成分が算出される。例えば、ＶＬＬＬボクセル３２１は、ｘ軸方向に低周波成分、ｙ軸方向に低周波成分、ｚ軸方向に低周波成分の特性値を有する。ＶＨＬＬボクセル３２２は、ｘ軸方向に高周波成分、ｙ軸方向に低周波成分、ｚ軸方向に低周波成分の特性値を有する。ＶＬＨＬボクセル３２３は、ｘ軸方向に低周波成分、ｙ軸方向に高周波成分、ｚ軸方向に低周波成分の特性値を有する。ＶＨＨＬボクセル３２４は、ｘ軸方向に高周波成分、ｙ軸方向に高周波成分、ｚ軸方向に低周波成分の特性値を有する。

また、ＶＬＬＨボクセル３２５は、ｘ軸方向に低周波成分、ｙ軸方向に低周波成分、ｚ軸方向に高周波成分の特性値を有する。ＶＨＬＨボクセル３２６は、ｘ軸方向に高周波成分、ｙ軸方向に低周波成分、ｚ軸方向に高周波成分の特性値を有する。ＶＬＨＨボクセル３２７は、ｘ軸方向に低周波成分、ｙ軸方向に高周波成分、ｚ軸方向に高周波成分の特性値を有する。ＶＨＨＨボクセル３２８は、ｘ軸方向に高周波成分、ｙ軸方向に高周波成分、ｚ軸方向に高周波成分の特性値を有する。

以下、ＶＬＬＬボクセル３２１、ＶＨＬＬボクセル３２２、ＶＬＨＬボクセル３２３、ＶＨＨＬボクセル３２４、ＶＬＬＨボクセル３２５、ＶＨＬＨボクセル３２６、ＶＬＨＨボクセル３２７、及びＶＨＨＨボクセル３２８のそれぞれはサブバンドと表されてもよい。

図４は、離散ウェーブレット変換の概念図である。一実施形態に係る離散ウェーブレット変換は３次元ボクセルを対象とするため、３次元離散ウェーブレット変換であると言われてもよい。図４を参照すると、入力信号は、ｘ軸方向フィルタ４１１、ｙ軸方向フィルタ４１２、及びｚ軸方向フィルタ４１３を経て８個の特性で出力されてもよい。例えば、ＬＬＬ特性４２１は、ｘ軸方向に低周波成分、ｙ軸方向に低周波成分、ｚ軸方向に低周波成分を含む。ＬＬＨ特性４２２は、ｘ軸方向に低周波成分、ｙ軸方向に低周波成分、ｚ軸方向に高周波成分を含む。ＬＨＬ特性４２３は、ｘ軸方向に低周波成分、ｙ軸方向に高周波成分、ｚ軸方向に低周波成分を含む。ＬＨＨ特性４２４は、ｘ軸方向に低周波成分、ｙ軸方向に高周波成分、ｚ軸方向に高周波成分を含む。

また、ＨＬＬ特性４２５は、ｘ軸方向に高周波成分、ｙ軸方向に低周波成分、ｚ軸方向に低周波成分を含む。ＨＬＨ特性４２６は、ｘ軸方向に高周波成分、ｙ軸方向に低周波成分、ｚ軸方向に高周波成分を含む。ＨＨＬ特性４２７は、ｘ軸方向に高周波成分、ｙ軸方向に高周波成分、ｚ軸方向に低周波成分を含む。ＨＨＨ特性４２８は、ｘ軸方向に高周波成分、ｙ軸方向に高周波成分、ｚ軸方向に高周波成分を含む。

ここで、ＬＬＬ特性４２１は図３に示すＶＬＬＬボクセル３２１に対応し、ＬＬＨ特性４２２は図３に示すＶＬＬＨボクセル３２５に対応し、ＬＨＬ特性４２３は図３に示すＶＬＨＬボクセル３２３に対応し、ＬＨＨ特性４２４は図３に示すＶＬＨＨボクセル３２７に対応する。また、ＨＬＬ特性４２５は図３に示すＶＨＬＬボクセル３２２に対応し、ＨＬＨ特性４２６は図３に示すＶＨＬＨボクセル３２６に対応し、ＨＨＬ特性４２７は図３に示すＶＨＨＬボクセル３２４に対応し、ＨＨＨ特性４２８は図３に示すＶＨＨＨボクセル３２８に対応する。

再び図３を参照すると、離散ウェーブレット変換された８個の隣接ボクセル３２０は、ＶＬＬＬボクセル３２１を基準にして残りの７個の高周波成分ボクセル３２２、３２３、３２４、３２５、３２６、３２７、３２８を含んでもよい。例えば、ＶＨＬＬボクセル３２２はｘ軸方向に高周波成分を含むため、ＶＬＬＬボクセル３２１を基準にしてｘ軸方向の座標が増加する位置に配置されてもよい。ＶＬＨＬボクセル３２３はｙ軸方向に高周波成分を含むため、ＶＬＬＬボクセル３２１を基準にしてｙ軸方向の座標が増加する位置に配置されてもよい。ＶＨＨＬボクセル３２４はｘ軸方向及びｙ軸方向に高周波成分を含むため、ＶＬＬＬボクセル３２１を基準にしてｘ軸方向及びｙ軸方向の座標が増加する位置に配置されてもよい。

また、ＶＬＬＨボクセル３２５はｚ軸方向に高周波成分を含むため、ＶＬＬＬボクセル３２１を基準にしてｚ軸方向の座標が増加する位置に配置されてもよい。ＶＨＬＨボクセル３２６はｘ軸方向及びｚ軸方向に高周波成分を含むため、ＶＬＬＬボクセル３２１を基準にしてｘ軸方向及びｚ軸方向の座標が増加する位置に配置されてもよい。ＶＬＨＨボクセル３２７はｙ軸方向及びｚ軸方向に高周波成分を含むため、ＶＬＬＬボクセル３２１を基準にしてｙ軸方向及びｚ軸方向の座標が増加する位置に配置されてもよい。ＶＨＨＨボクセル３２８はｘ軸方向、ｙ軸方向及びｚ軸方向に高周波成分を含むため、ＶＬＬＬボクセル３２１を基準にしてｘ軸方向、ｙ軸方向及びｚ軸方向の座標が増加する位置に配置されてもよい。

特徴領域抽出装置は、離散ウェーブレット変換された８個の隣接ボクセル３２０のうち、基準となるＶＬＬＬボクセル３２１のみを次のレベルの離散ウェーブレット変換に用いてよい。これはボクセルの大きさを１／８にダウンサンプリングする意味として、レベルが高くなるにつれてボクセルはさらに広い領域に対する変化率を示す。

以下で詳細に説明するが、ＶＬＬＬボクセル３２１の値は８個の隣接ボクセル３１０を代表する値であってもよい。例えば、ＶＬＬＬボクセル３２１の値は８個の隣接ボクセル３１０のインテンシティの平均であってもよい。特徴領域抽出装置は、下位レベルの離散ウェーブレット変換値のうち、代表値のみを次の上位レベルの離散ウェーブレット変換に用いることによって階層構造を生成してもよい。

図５を参照すると、特徴領域抽出装置は、現在の一軸の長さがｗであるボクセル５１０のレベルを０に設定し、離散ウェーブレット変換を行ってもよい。特徴領域抽出装置は、レベル０で離散ウェーブレット変換された値のうちＬＬＬ特性に対応する代表値のみをレベル１に伝搬（ｐｒｏｐａｇａｔｉｏｎ）してもよい。この場合、レベル１のボクセル５２０の一軸の長さは２ｗであってもよい。特徴領域抽出装置は、レベル１で離散ウェーブレット変換を行い、離散ウェーブレット変換された値のうちＬＬＬ特性に対応する代表値のみをレベル２に伝搬してもよい。この場合、レベル２のボクセル５３０の一軸の長さは４ｗであってもよい。

レベルが増加するほどボクセルの一軸の長さは増加し、当該レベルのボクセルグリッドを構成するボクセル数は減少してもよい。レベルが増加するほど１つのボクセルによってカバーされる領域の広さは増加する。

図６を参照すると、反復的な離散ウェーブレット変換の結果、複数のレベルを有する階層構造６００が生成されてもよい。階層構造６００は、ツリー状に表現されてもよい。深さが１であるノード６１０は図５に示すレベル２のボクセル５３０に対応してもよい。深さが２であるノード６２０は図５に示すレベル１のボクセル５２０に対応してもよい。また、深さが３であるノード６３０は図５に示すレベル０のボクセル５１０に対応してもよい。

下記で詳細に説明するが、特徴領域抽出装置は生成された階層構造６００を用いることによって、広い領域から狭い領域に階層的な探索を行うことができる。例えば、特徴領域抽出装置は、広い領域から開始して特徴ポイントを含む可能性の低い部分を予め探索領域から除外してもよい。この場合、広い領域の探索のうち探索領域から除外された部分は狭い領域の探索から排除されるため、特徴領域を抽出するための総探索時間は減少し得る。

図７を参照すると、特徴領域抽出装置は、８個の隣接するボクセル７１０それぞれのインテンシティに基づいて離散ウェーブレット変換を行ってもよい。例えば、８個の隣接するボクセル７１０に含まれた第１ボクセル７１１のインテンシティはａであり、第２ボクセル７１２のインテンシティはｂであり、第３ボクセル７１３のインテンシティはｃであり、第４ボクセル７１４のインテンシティはｄであってもよい。また、８個の隣接するボクセル７１０に含まれた第５ボクセル７１５のインテンシティはｅであり、第６ボクセル７１６のインテンシティはｆであり、第７ボクセル７１７のインテンシティはｇであり、第８ボクセル７１８のインテンシティはｈであってもよい。

ここで、ＶＬＬＬボクセル７２１の値は（ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ＋ｈ）／８に算出されてもよい。ＶＨＬＬボクセル７２２の値はａ−ｂに算出されてもよい。ＶＬＨＬボクセル７２３の値はａ−ｃに算出されてもよい。ＶＨＨＬボクセル７２４の値はａ−ｄに算出されてもよい。ＶＬＬＨボクセル７２５の値はａ−ｅに算出されてもよい。ＶＨＬＨボクセル７２６の値はａ−ｆに算出されてもよい。ＶＬＨＨボクセル７２７の値はａ−ｇに算出されてもよい。ＶＨＨＨボクセル７２８の値はａ−ｈに算出されてもよい。

図８は、図２に示すボクセル２１０のうち、Ｖ０（０、０、０）、Ｖ０（１、０、０）、Ｖ０（０、１、０）、Ｖ０（１、１、０）、Ｖ０（０、０、１）、Ｖ０（１、０、１）、Ｖ０（０、１、１）、Ｖ０（１、１、１）が離散ウェーブレット変換される過程を説明する図である。ここで、Ｖｌ（ｉ、ｊ、ｋ）はレベルｌで（ｉ、ｊ、ｋ）番目のボクセルを示す。Ｖ０（０、０、０）のインテンシティは０であり、Ｖ０（１、０、０）のインテンシティは０であり、Ｖ０（０、１、０）のインテンシティは０であり、Ｖ０（１、１、０）のインテンシティは０であってもよい。また、Ｖ０（０、０、１）のインテンシティは１２であり、Ｖ０（１、０、１）のインテンシティは１０であり、Ｖ０（０、１、１）のインテンシティは３であり、Ｖ０（１、１、１）のインテンシティは７であってもよい。

離散ウェーブレット変換の結果、Ｖ０ＬＬＬ（０、０、０）の値は４であり、Ｖ０ＨＬＬ（０、０、０）の値は０であり、Ｖ０ＬＨＬ（０、０、０）の値は０であり、Ｖ０ＨＨＬ（０、０、０）の値は０であってもよい。また、Ｖ０ＬＬＨ（０、０、０）の値は−１２であり、Ｖ０ＨＬＨ（０、０、０）の値は−１０であり、Ｖ０ＬＨＨ（０、０、０）の値は−３であり、Ｖ０ＨＨＨ（０、０、０）の値は−７であってもよい。ここで、Ｖ０ＬＬＬ（０、０、０）はＶ０（０、０、０）を基準にしてＬＬＬ特性のサブバンドを示し、Ｖ０ＨＬＬ（０、０、０）はＶ０（０、０、０）を基準にしてＨＬＬ特性のサブバンドを示し、Ｖ０ＬＨＬ（０、０、０）はＶ０（０、０、０）を基準にしてＬＨＬ特性のサブバンドを示し、Ｖ０ＨＨＬ（０、０、０）はＶ０（０、０、０）を基準にしてＨＨＬ特性のサブバンドを示す。また、Ｖ０ＬＬＨ（０、０、０）はＶ０（０、０、０）を基準にしてＬＬＨ特性のサブバンドを示し、Ｖ０ＨＬＨ（０、０、０）はＶ０（０、０、０）を基準にしてＨＬＨ特性のサブバンドを示し、Ｖ０ＬＨＨ（０、０、０）はＶ０（０、０、０）を基準にしてＬＨＨ特性のサブバンドを示し、Ｖ０ＨＨＨ（０、０、０）はＶ０（０、０、０）を基準にしてＨＨＨ特性のサブバンドを示す。

特徴領域抽出装置は、Ｖ０ＬＬＬ（０、０、０）の値を次のレベルで伝搬してもよい。例えば、次のレベルのレベル１でＶ１ＬＬＬ（０、０、０）のインテンシティはＶ０ＬＬＬ（０、０、０）の値の４であってもよい。１以上のレベルｌでボクセルインテンシティは数式（２）のように表現されてもよい。

図９は、一実施形態に係る階層構造により特徴領域を抽出する方法を示した動作フローチャートである。図９を参照すると、一実施形態に係る特徴領域抽出装置は、生成された階層構造を用いて特徴領域を抽出してもよい。ステップＳ９１０において、特徴領域抽出装置は初期化を行う。例えば、特徴領域抽出装置は、ボクセルのレベルを指示するパラメータレベルを最上位レベルに設定する。ステップＳ９２０において、特徴領域抽出装置はレベル内の反復（ｉｔｅｒａｔｉｏｎ）開始のためにボクセルのインデックスを指示するパラメータボクセルインデックスを０に設定する。ボクセルインデックスは（ｉ、ｊ、ｋ）＝０、０、０から（ｉ、ｊ、ｋ）＝（ボクセルグリッドのｘ軸サイズ、ボクセルグリッドのｙ軸サイズ、ボクセルグリッドのｚ軸サイズ）まで順に示す値であり、その順は関係ない。

ステップＳ９３０において、特徴領域抽出装置は、レベル内反復の終了のためにボクセルインデックスが反復終了を指示するファイナルインデックスであるか否かを判断する。ボクセルインデックスがファイナルインデックスではない場合、ステップＳ９４０において、特徴領域抽出装置はボクセルインデックスに対応するボクセルがマークされているか否かを判断する。ここで、最上位レベルでは全てのボクセルがマークされている。例えば、図１０に示す最上位レベルはレベル２であってもよく、図１０に示すレベル２のボクセル１０１０は全てマークされていてもよい。ボクセルインデックスに対応するボクセルがマークされなければ、ステップＳ９８０において、特徴領域抽出装置はボクセルインデックスを次の値に更新する。

ボクセルインデックスに対応するボクセルがマークされれば、ステップＳ９５０において、特徴領域抽出装置は、当該ボクセルが特徴領域であるか否かを判断する。例えば、特徴領域抽出装置は、上位レベルのボクセルのサブバンドを用いて特徴領域に対する期待値を算出してもよい。特徴領域抽出装置は、特徴領域に対する期待値が閾値以上である場合、当該ボクセルが特徴領域であると判断してもよい。ボクセルインデックスに対応するボクセルが特徴領域であるか否かを判断する方法は、図１１〜図１６を参照して詳細に後述する。

ボクセルインデックスに対応するボクセルが特徴領域であると判断される場合、ステップＳ９６０において、特徴領域抽出装置はレベルが０であるか否かを判断する。レベルが０でなければ、ステップＳ９７０において、特徴領域抽出装置はボクセルインデックスに対応するボクセルの下位レベルボクセルをマークする。例えば、上位レベルのボクセル１つは、次の下位レベルのボクセル８個に対応してもよい。特徴領域抽出装置は、次の下位レベルのボクセル８個をマークしてもよい。一例として、図１０に示すレベル１のボクセル１０２０は、特徴領域であると判断されたボクセルである。特徴領域抽出装置は、ボクセル１０２０それぞれの下位レベルボクセルをマークしてもよい。

ボクセルインデックスに対応するボクセルが特徴領域ではないと判断される場合、ステップＳ９８０において、特徴領域抽出装置は、ボクセルインデックスを次の値に更新する。特徴領域抽出装置は、特徴領域でないと判断されたボクセルの下位レベルボクセルをマークしないことで、下位レベルボクセルを探索対象から除外してもよい。

レベルが０である場合、ステップＳ９６５において、特徴領域抽出装置は特徴領域を出力する。ステップＳ９５０でボクセルインデックスに対応するボクセルが特徴領域であると判断されたため、特徴領域抽出装置はボクセルインデックスに対応するボクセルを出力してもよい。例えば、図１０に示すレベル０のボクセル１０３０は、特徴領域であると判断されたボクセルである。特徴領域抽出装置はボクセル１０３０を出力してもよい。

ステップＳ９８０において、特徴領域抽出装置はボクセルインデックスを次の値で更新する。特徴領域抽出装置は、ボクセルインデックスがファイナルインデックスになるまでステップＳ９３０〜ステップＳ９８０を繰り返す。レベルにおける反復が終了すれば、ボクセルインデックスはファイナルインデックスと同一になる。ステップＳ９９０において、特徴領域抽出装置はレベルが０であるか否かを判断する。レベルが０ではない場合、ステップＳ９９５で特徴領域抽出装置はレベルを減少させる。特徴領域抽出装置は、減少したレベルでステップＳ９２０〜ステップＳ９８０を繰り返す。レベルが０である場合、特徴領域抽出アルゴリズムが終了する。

実施形態は、ライトフィールドディスプレイにも適用されてもよい。例えば、多重映像で作られた３次元構造を互いに整合したり、多重映像内の特定部分を認識するために実施形態が適用されてもよい。

特徴領域抽出装置は、抽出された特徴領域から特徴ポイントを抽出してもよい。例えば、特徴領域抽出装置は、ステップＳ９６５で特徴領域を出力する代わりに、当該特徴領域から特徴ポイントを抽出してもよい。特徴領域抽出装置は、特徴領域内１つのポイントに対して予め決定した数の最近接の隣接ポイントを探してもよい。特徴領域抽出装置は、１つのポイント及び隣接ポイントを臨時セットに分類してもよい。特徴領域抽出装置は、特徴領域に含まれた複数のポイントそれぞれに対応する臨時セットを設定してもよい。特徴領域抽出装置は、数式（３）を用いて臨時セットの中心ポイントを算出してもよい。

ここで、ｋは臨時セットに含まれるポイントの数であり、ｐｉは臨時セット内ｉ番目のポイントであり、

は臨時セットの中心ポイントである。

特徴領域抽出装置は、数式（４）を用いてマトリックスＣを算出してもよい。特徴領域抽出装置は、中心ポイントから臨時セットに含まれたそれぞれのポイントへ向かうベクトルを用いてマトリックスＣを算出してもよい。マトリックスＣは対称的であり、正数として定義されるマトリックス（ｓｙｍｍｅｔｒｉｃ、ｐｏｓｉｔｉｖｅ ｄｅｆｉｎｅ ｍａｔｒｉｘ）であってもよい。また、特徴領域抽出装置は、マトリックスＣを固有分析（Ｅｉｇｅｎ ａｎａｌｙｓｉｓ）することによって、固有値を算出してもよい。

ここで、ｋは臨時セットに含まれるポイントの数であり、ｐｉは臨時セット内ｉ番目のポイントであり、

は臨時セットの中心ポイントである。

は固有値であり、

は固有値に対応する固有ベクトルである。

特徴領域抽出装置は、数式（５）を用いて特徴ポイントを抽出してもよい。例えば、特徴領域抽出装置は、複数の臨時セットのそれぞれで最も小さい固有値を求めてもよい。特徴領域抽出装置は、最も小さい固有値のうち最大値を有する臨時セットを検出してもよい。特徴領域抽出装置は、検出された臨時セットに対応するポイントを特徴ポイントに設定してもよい。

ここで、

はｔ番目の臨時セットを用いて算出された固有値である。

はｔ番目の臨時セットを用いて算出された固有値のうち最も小さい固有値である。ｍは最も小さい固有値のうち最大値を有する臨時セットのインデックスである。ｐｍはｍ番目の臨時セットに対応するポイントであり、ｆｐは特徴ポイントである。

図１１及び図１２は、一実施形態に係る突極性条件を説明する図である。

図１１を参照すると、一実施形態に係る特徴領域抽出装置は、特徴領域であるか否かを判断するために突極性（ｓａｌｉｅｎｃｙ）条件を算出してもよい。特徴領域抽出装置は、数式（６）及び数式（７）を用いて突極性条件を算出してもよい。

ここで、ａ１ａ２ａ３はＶｌ（ｉ、ｊ、ｋ）ボクセルの高周波サブバンドを指示するための変数であって、例えば、ａ１ａ２ａ３は｛ＨＬＬ、ＬＨＬ、ＨＨＬ、ＬＬＨ、ＨＬＨ、ＬＨＨ、ＨＨＨ｝のうち１つの値を有してもよい。特徴領域抽出装置は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルの高周波サブバンドが第１閾値であるｔｈｒｅｓｈｏｌｄ１よりも大きい値を有するか否かを判断してもよい。

特徴領域抽出装置は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルの高周波サブバンドのうち、ｔｈｒｅｓｈｏｌｄ１よりも大きい値を有するサブバンドの数が第２閾値であるｔｈｒｅｓｈｏｌｄ２よりも大きいか否かを判断してもよい。突極性条件は、Ｖｌ（ｉ、ｊ、ｋ）ボクセル内のポイントのインテンシティ変化率がｔｈｒｅｓｈｏｌｄ１よりも大きい方向の数がｔｈｒｅｓｈｏｌｄ２よりも大きい場合に満たされる。

例えば、ｔｈｒｅｓｈｏｌｄ２は２に設定されてもよい。この場合、Ｖｌ（ｉ、ｊ、ｋ）ボクセルの７個の高周波サブバンドのうち、ｔｈｒｅｓｈｏｌｄ１よりも大きい値を有するサブバンドの数が３個以上である場合に突極性条件が満たされる。これは少なくとも３方向以上にＶｌ（ｉ、ｊ、ｋ）ボクセル内のポイントのインテンシティの変化率が大きくなければならないことを意味する。これはＶｌ（ｉ、ｊ、ｋ）ボクセル内の頂点を有するか、変化量が多い表面を有するオブジェクトがあることを意味する。図１２を参照すると、ボクセル１２１０内のポイントのインテンシティ変化率がｔｈｒｅｓｈｏｌｄ１よりも大きい方向１２１１が１個であるため、ボクセル１２１０の突極性条件は満たされない。一方、ボクセル１２２０内のポイントのインテンシティ変化率がｔｈｒｅｓｈｏｌｄ１よりも大きい方向１２２１、１２２２、１２２３は３個であるため、ボクセル１２２０の突極性条件は満たされる。

図１３及び図１４は、一実施形態に係る接続性条件を説明する図である。

図１３を参照すると、一実施形態に係る特徴領域抽出装置は、特徴領域であるか否かを判断するために接続性条件を算出してもよい。特徴領域抽出装置は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルが周辺ボクセルと接続されているか否かを判断してもよい。特徴領域抽出装置は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルが周辺ボクセルに接続されていなければ、Ｖｌ（ｉ、ｊ、ｋ）ボクセルの突極性条件が満たされてもＶｌ（ｉ、ｊ、ｋ）ボクセルを特徴領域でないものと判断してもよい。

例えば、図１４を参照すると、ボクセル１４１０は、ポイントクラウドでノイズなどによって生成されたものであってもよい。ボクセル１４１０は、主なオブジェクト１４２０の特徴を表現しないため、特徴ポイント又は特徴領域としての価値が低い。ボクセル１４１０内のポイントのインテンシティ変化率がｔｈｒｅｓｈｏｌｄ１よりも大きい方向は３個であるため、ボクセル１４１０の突極性条件は満たされる。特徴領域抽出装置は、接続性条件を用いてボクセル１４１０を特徴領域ではないものと判断してもよい。

特徴領域抽出装置は、数式（８）及び数式（９）を用いて接続性条件を算出してもよい。

ここで、ｂ１ｂ２ｂ３はＶｌ（ｉ、ｊ、ｋ）ボクセルの隣接ボクセルを指示するための変数であって、例えば、ｂ１、ｂ２、ｂ３それぞれは｛−１、０、１｝のいずれか１つの値を有してもよい。もちろん、ｂ１、ｂ２、ｂ３のそれぞれが有する値の範囲は様々に変形されてもよい。特徴領域抽出装置は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルの隣接ボクセルのインテンシティに基づいて、Ｖｌ（ｉ、ｊ、ｋ）ボクセルが隣接ボクセルと接続されるか否かを判断してもよい。例えば、隣接ボクセルのインテンシティが第３閾値であるｔｈｒｅｓｈｏｌｄ３よりも大きい場合、特徴領域抽出装置は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルが当該の隣接ボクセルと接続されるものと判断してもよい。

接続性条件はＶｌ（ｉ、ｊ、ｋ）ボクセルがｔｈｒｅｓｈｏｌｄ４よりも大きい数の隣接ボクセルと接続されるときに満たされてもよい。例えば、ｔｈｒｅｓｈｏｌｄ４は３に設定されてもよい。この場合、Ｖｌ（ｉ、ｊ、ｋ）ボクセルが４個以上の隣接ボクセルと接続されるとき、接続性条件が満たされる。

図１５及び図１６は、一実施形態に係る類似性条件を説明する図である。

図１５を参照すると、一実施形態に係る特徴領域抽出装置は、特徴領域であるか否かを判断するために類似性条件を算出してもよい。類似性は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルが周辺ボクセルに類似する程度を示してもよい。Ｖｌ（ｉ、ｊ、ｋ）ボクセルが周辺ボクセルに類似するほど、Ｖｌ（ｉ、ｊ、ｋ）ボクセルは特徴領域又は特徴ポイントとしての価値は低くなる。

例えば、図１６を参照すると、ボクセル１６１０は、ｙ軸方向の周辺ボクセルと類似性が高い。また、ボクセル１６２０は、ｘ軸方向及びｚ軸方向の周辺ボクセルと類似性が高い。この場合、特徴領域抽出装置は、ボクセル１６１０とボクセル１６２０が特徴領域ではないと判断してもよい。一方、ボクセル１６３０は、周辺ボクセルとの類似性が低い。この場合、特徴領域抽出装置は、ボクセル１６３０が特徴領域であると判断してもよい。

特徴領域抽出装置は、数式（１０）及び数式（１１）を用いて類似性条件を算出してもよい。

ここで、ａ１ａ２ａ３はＶｌ（ｉ、ｊ、ｋ）ボクセルのサブバンドを指示するための変数として、例えば、ａ１ａ２ａ３は｛ＬＬＬ、ＨＬＬ、ＬＨＬ、ＨＨＬ、ＬＬＨ、ＨＬＨ、ＬＨＨ、ＨＨＨ｝のうち１つの値を有してもよい。また、ｂ１ｂ２ｂ３はＶｌ（ｉ、ｊ、ｋ）ボクセルの周辺ボクセルを指示するための変数であって、例えば、ｂ１、ｂ２、ｂ３それぞれは｛−１、０、１｝のいずれか１つの値を有してもよい。もちろん、ｂ１、ｂ２、ｂ３それぞれが有する値の範囲は様々に変更されてもよい。

特徴領域抽出装置は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルの第１サブバンドと周辺ボクセルの第１サブバンドとの間の差からＶｌ（ｉ、ｊ、ｋ）ボクセルの第８サブバンドと周辺ボクセルの第８サブバンドとの間の差を合算してもよい。合算された値が第５閾値であるｔｈｒｅｓｈｏｌｄ５よりも小さい場合、特徴領域抽出装置は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルが周辺ボクセルに類似すると判断してもよい。

類似性条件は、Ｖｌ（ｉ、ｊ、ｋ）ボクセルと類似の周辺ボクセルの数がｔｈｒｅｓｈｏｌｄ６よりも小さいときに満たされてもよい。例えば、ｔｈｒｅｓｈｏｌｄ６は３に設定されてもよい。この場合、Ｖｌ（ｉ、ｊ、ｋ）ボクセルと類似の周辺ボクセルの数が２個以下である場合に類似性条件が満たされる。

特徴領域抽出装置は、突極性条件、接続性条件、及び類似性条件の組合せで特徴領域であるか否かを最終的に判断してもよい。例えば、特徴領域抽出装置は、突極性条件、接続性条件、及び類似性条件を全て満たすボクセルを特徴領域であると判断してもよい。この場合、特徴領域抽出装置は、数式（１２）を用いてもよい。

ここで、ＦＲ（Ｖｌ（ｉ、ｊ、ｋ））はＶｌ（ｉ、ｊ、ｋ）ボクセルが特徴領域であるか否かを示す。例えば、ＦＲ（Ｖｌ（ｉ、ｊ、ｋ））の値が１である場合にＶｌ（ｉ、ｊ、ｋ）ボクセルは特徴領域であり、ＦＲ（Ｖｌ（ｉ、ｊ、ｋ））の値が０である場合にＶｌ（ｉ、ｊ、ｋ）ボクセルは特徴領域ではないこともある。

図１７は、一実施形態に係るボクセルグリッドの範囲を設定する方法を説明する図である。図１７を参照すると、一実施形態に係る特徴領域抽出装置は、数式（１３）、数式（１４）、及び数式（１５）を用いてボクセルグリッドの範囲を設定してもよい。

ここで、Ｐはポイントクラウドを示す。ｌｕ（Ｐ）は直六面体領域１７１０のｘ軸方向の辺１７１１、ｙ軸方向の辺１７１２、ｚ軸方向の辺１７１３の長さを示す。

ここで、ｑｍｌ（Ｐ）は、ポイントクラウドをカバーする直六面体領域１７１０の３辺の長さのうち最も長い辺の長さを示す。ｑｍｌ（Ｐ）は、ポイントクラウドの準最小の長さ（ｑｕａｓｉ−ｍｉｎｉｍｕｍ ｌｅｎｇｔｈ）を示してもよい。特徴領域抽出装置は、ｑｍｌ（Ｐ）を１辺の長さとする正六面体領域１７２０を生成してもよい。

ここで、ｎは離散ウェーブレット変換を繰り返すレベルの数を示し、ｗはレベル０でボクセルの最小の長さを示す。ｍは任意の正の整数である。特徴領域抽出装置は、２ｎｗ（ｍ−１）＜ｑｍｌ（ｐ）＜２ｎｗｍを満たす２ｎｗｍをｍｌ（Ｐ）の値に設定してもよい。設定されたｍｌ（Ｐ）はｑｍｌ（Ｐ）よりも大きいか同一であると同時に、２ｎｗの倍数となる値を有する。例えば、ｎが３でありｗが８である場合、ｍｌ（Ｐ）は６４（＝２３ｘ８）の倍数のうち、ｑｍｌ（Ｐ）よりも大きい最小の値として設定されてもよい。

特徴領域抽出装置は、ｍｌ（Ｐ）を１辺の長さとする正六面体領域１７３０を生成してもよい。離散ウェーブレットは、演算が繰り返されるごとに対象領域の各辺の長さを半分に減少するため、最上位レベルに対応する辺の長さが２ｎの倍数に設定される場合、最下位レベルに対応する辺の長さが整数となる。特徴領域抽出装置は、正六面体領域１７３０の１辺の長さを２ｎの倍数に設定することによって、離散ウェーブレット演算の速度を増加させ得る。例えば、特徴領域抽出装置は、図１に示す複数の領域１２０をｍｌ（Ｐ）を１辺の長さにする正六面体形に生成してもよい。

図１８は、一実施形態に係る特徴領域抽出方法を示した動作フローチャートである。図１８を参照すると、一実施形態に係る特徴領域抽出方法は、ポイントクラウドを受信するステップＳ１８１０、ポイントクラウドを複数の領域に分割するステップＳ１８２０、複数の領域それぞれのポイントインテンシティを算出するステップＳ１８３０、ポイントインテンシティに基づいて階層構造を生成するステップＳ１８４０、及び階層構造を用いて特徴領域を検出するステップＳ１８５０を含む。

図１９は、一実施形態に係る特徴領域抽出装置を示すブロック図である。図１９を参照すると、特徴領域抽出装置１９００は、受信部１９１０、分割部１９２０、生成部１９３０、及び検出部１９４０を含む。受信部１９１０はポイントクラウドを受信してもよい。分割部１９２０はポイントクラウドを複数の領域に分割してもよい。生成部１９３０は複数の領域を階層化する階層構造を生成してもよい。検出部１９４０は、階層構造により複数の領域を探索することによって少なくとも１つの特徴領域を抽出してもよい。

図２０は、他の実施形態に係る特徴領域抽出装置を示すブロック図である。図２０を参照すると、特徴領域抽出装置２０００は、受信部２０１０、分割部２０２０、生成部２０３０、及び検出部２０４０を含む。受信部２０１０はポイントクラウドを受信してもよい。分割部２０２０はポイントクラウドを複数の領域に分割してもよい。生成部２０３０は複数の領域を階層化する階層構造を生成してもよい。検出部２０４０は、階層構造により複数の領域を探索することによって少なくとも１つの特徴領域を抽出してもよい。

特徴領域抽出装置２０００は、算出部２０５０をさらに含んでもよい。算出部２０５０は、複数の領域それぞれに対応するポイントインテンシティを算出してもよい。また、特徴領域抽出装置２０００は、抽出部２０６０をさらに含んでもよい。抽出部２０６０は、抽出された特徴領域で特徴ポイントを抽出してもよい。また、特徴領域抽出装置２０００は、認識部２０７０をさらに含んでもよい。認識部２０７０は、抽出された特徴ポイントに基づいてポイントクラウドに対応するオブジェクト及びポイントクラウドに対応する動作のうち少なくとも１つを認識してもよい。

図１８〜図２０に示された各ステップ又は各モジュールには図１〜図１７によって記述した事項がそのまま適用されるため、より詳細な説明は省略する。

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／またはハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明された場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／または複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合を含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置に命令してもよい。ソフトウェア及び／またはデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１１０ ポイントクラウド
１２０ 複数の領域
１３１〜１４２ 特徴領域
２１０ ボクセルグリッド
２１１、２１２ ボクセル
１９００、２０００ 特徴領域抽出装置
１９１０、２０１０ 受信部
１９２０、２０２０ 分割部
１９３０、２０３０ 生成部
１９４０、２０６０ 抽出部
２０４０ 検出部
２０５０ 算出部
２０７０ 認識部

Claims (37)

1. 映像に含まれた少なくとも１つの特徴領域を抽出する特徴領域抽出方法であって、
   前記映像のポイントクラウドを複数の領域に分割するステップと、
   前記ポイントクラウド内の少なくとも１つのポイントインテンシティに基づいて前記複数の領域のうち前記少なくとも１つの特徴領域を抽出するステップと、
   を含むことを特徴とする特徴領域抽出方法。
2. 前記少なくとも１つの特徴領域は、前記ポイントクラウドの特徴ポイントを含むことを特徴とする請求項１に記載の特徴領域抽出方法。
3. 前記ポイントインテンシティは、前記ポイントクラウドに含まれた複数のポイントが密集した程度に関することを特徴とする請求項１に記載の特徴領域抽出方法。
4. 前記複数の領域それぞれのポイントインテンシティを算出するステップをさらに含むことを特徴とする請求項１に記載の特徴領域抽出方法。
5. 前記算出するステップは、該当する領域に含まれたポイントの数に基づいて前記それぞれのポイントインテンシティを算出するステップを含むことを特徴とする請求項４に記載の特徴領域抽出方法。
6. 前記少なくとも１つの特徴領域を抽出するステップは、
   前記複数の領域を階層化する階層構造を生成するステップと、
   前記階層構造により前記複数の領域を分析するステップと、
   を含むことを特徴とする請求項１に記載の特徴領域抽出方法。
7. 前記複数の領域それぞれは前記階層構造内の１つのレベルに対応し、前記階層構造の第１レベルに含まれた領域は前記階層構造の第２レベルに含まれた領域に対応するポイントインテンシティに関する情報を含み、前記階層構造内で前記第１レベルは前記第２レベルよりも上位であることを特徴とする請求項６に記載の特徴領域抽出方法。
8. 前記抽出するステップは、前記階層構造の前記第１レベルに含まれた第２領域が分析されれば、前記階層構造の前記第２レベルに含まれた第１領域を分析するステップを含むことを特徴とする請求項７に記載の特徴領域抽出方法。
9. 前記第１領域を分析するステップは、前記第２領域が前記少なくとも１つの特徴領域であるか否かに基づいて前記第１領域を分析するステップを含むことを特徴とする請求項８に記載の特徴領域抽出方法。
10. 前記生成するステップは、前記複数の領域に離散ウェーブレット変換（ＤＷＴ）を適用することによって前記階層構造を生成するステップを含むことを特徴とする請求項６に記載の特徴領域抽出方法。
11. 前記抽出するステップは、ＤＷＴサブバンドに基づいて前記少なくとも１つの特徴領域を抽出するステップを含むことを特徴とする請求項１０に記載の特徴領域抽出方法。
12. 前記抽出するステップは、
    前記複数の領域のうち選択された領域の少なくとも１つの高周波数特徴に関する第１条件と、
    前記選択された領域と少なくとも１つの隣接領域が接続されるか否かに関する第２条件と、
    前記選択された領域と前記少なくとも１つの隣接領域が類似するか否かに関する第３条件と、
    のうち少なくとも１つに基づいて前記少なくとも１つの特徴領域を抽出するステップを含むことを特徴とする請求項１に記載の特徴領域抽出方法。
13. 高周波数特徴の数が第１閾値よりも大きい場合、前記第１条件が満たされ、
    第２閾値よりも大きいポイントインテンシティを有する少なくとも１つの隣接領域の数が第１閾値よりも大きい場合、前記第２条件が満たされ、
    第２閾値よりも小さい高周波数特徴の差を有する少なくとも１つの隣接領域の数が第１閾値よりも小さい場合に前記第３条件が満たされ、前記高周波数特徴の差は当該領域の高周波数特徴と異なる領域の高周波数特徴の間の差であることを特徴とする請求項１２に記載の特徴領域抽出方法。
14. 前記ポイントクラウドの分布及び前記複数の領域を階層化する階層構造の深さのうち少なくとも１つに基づいて前記複数の領域の大きさを決定するステップをさらに含むことを特徴とする請求項１に記載の特徴領域抽出方法。
15. 前記複数の領域それぞれは、正六面体の形を有することを特徴とする請求項１４に記載の特徴領域抽出方法。
16. 前記少なくとも１つの特徴領域から特徴ポイントを抽出するステップをさらに含むことを特徴とする請求項１に記載の特徴領域抽出方法。
17. 前記特徴ポイントに基づいて前記ポイントクラウドに対応するオブジェクト及び前記ポイントクラウドに対応する動作のうち少なくとも１つを認識するステップをさらに含むことを特徴とする請求項１６に記載の特徴領域抽出方法。
18. 請求項１〜請求項１７のいずれか１項に記載の方法を実行させるためのプログラムが記録されたコンピュータで読み出し可能な記録媒体。
19. ポイントクラウドを受信する受信部と、
    前記ポイントクラウドを複数の領域に分割する分割部と、
    前記複数の領域を階層化する階層構造を生成する生成部と、
    前記階層構造により前記複数の領域から少なくとも１つの特徴領域を抽出する抽出部と、
    を備えることを特徴とする特徴領域抽出装置。
20. 前記少なくとも１つの特徴領域は、前記ポイントクラウドの特徴ポイントを含むことを特徴とする請求項１９に記載の特徴領域抽出装置。
21. 前記抽出部は、前記階層構造の第１レベルで前記少なくとも１つの特徴領域に対応する第１領域を抽出し、前記階層構造の第２レベルに含まれた複数の第２領域のセットを生成し、前記第２領域を分析して前記第１レベルは前記第２レベルよりも上位であることを特徴とする請求項１９に記載の特徴領域抽出装置。
22. 前記抽出部は、前記第２レベルで前記複数の第２領域のセットを分析することを特徴とする請求項２１に記載の特徴領域抽出装置。
23. 前記抽出部は、前記第２領域のうち前記少なくとも１つの特徴領域に対応する第３領域を抽出し、前記階層構造の第３レベルに含まれた複数の第４領域を設定し、前記第４領域を分析し、前記第３レベルは前記第２レベルよりも下位であることを特徴とする請求項２１に記載の特徴領域抽出装置。
24. 前記抽出部は、前記階層構造の最下位レベルで探索対象に含まれた領域を前記少なくとも１つの特徴領域として決定することを特徴とする請求項２１に記載の特徴領域抽出装置。
25. 前記生成部は、前記複数の領域に離散ウェーブレット変換を適用することによって前記階層構造を生成することを特徴とする請求項１９に記載の特徴領域抽出装置。
26. 前記抽出部は、前記複数の領域に対応するＤＷＴサブバンドに基づいて前記少なくとも１つの特徴領域を抽出することを特徴とする請求項２５に記載の特徴領域抽出装置。
27. 前記抽出部は、
    前記複数の領域のうち選択された領域の少なくとも１つの高周波数特徴に関する第１条件と、
    前記選択された領域と少なくとも１つの隣接領域が接続されるか否かに関する第２条件と、
    前記選択された領域と前記少なくとも１つの隣接領域が類似するか否かに関する第３条件と、
    のうち少なくとも１つに基づいて前記少なくとも１つの特徴領域を抽出することを特徴とする請求項２１に記載の特徴領域抽出装置。
28. 高周波数特徴の数が第１閾値よりも大きい場合、前記第１条件が満たされ、
    第２閾値よりも大きいポイントインテンシティを有する少なくとも１つの隣接領域の数が第１閾値よりも大きい場合、前記第２条件が満たされ、
    第２閾値よりも小さい高周波数特徴の差を有する少なくとも１つの隣接領域の数が第１閾値よりも小さい場合に前記第３条件が満され、前記高周波数特徴の差は、当該領域の高周波数特徴と異なる領域の高周波数特徴の間の差であることを特徴とする請求項２７に記載の特徴領域抽出装置。
29. 前記分割部は、前記ポイントクラウドの分布及び前記階層構造の深さのうち少なくとも１つに基づいて前記複数の領域の大きさを決定することを特徴とする請求項１９に記載の特徴領域抽出装置。
30. 前記複数の領域それぞれは、正六面体の形を有することを特徴とする請求項２９に記載の特徴領域抽出装置。
31. 前記複数の領域に対応する複数のポイントインテンシティを算出する算出部をさらに含み、
    前記複数の領域それぞれは前記階層構造内のレベルに関し、前記階層構造の第１レベルに含まれた領域は前記階層構造の第２レベルに含まれた領域に対応するポイントインテンシティに関する情報を含み、前記第１レベルは前記第２レベルよりも上位であることを特徴とする請求項１９に記載の特徴領域抽出装置。
32. 前記算出部は、前記複数の領域のいずれか１つの領域に含まれたポイントの数に基づいて当該領域に対応するポイントインテンシティを決定することを特徴とする請求項３１に記載の特徴領域抽出装置。
33. 前記少なくとも１つの特徴領域で特徴ポイントを抽出する抽出部をさらに含むことを特徴とする請求項１９に記載の特徴領域抽出装置。
34. 前記特徴ポイントに基づいて前記ポイントクラウドに対応するオブジェクト及び前記ポイントクラウドに対応する動作のうち少なくとも１つを認識する認識部をさらに含むことを特徴とする請求項３３に記載の特徴領域抽出装置。
35. 映像内の特徴ポイントを抽出する方法であって、
    前記映像のポイントクラウドから複数のボクセルを生成するステップであって、前記複数のボクセルそれぞれは、該ボクセル内のポイントの数に関する値を有する、ステップと、
    前記複数のボクセル及び当該値に基づいて少なくとも１つの特徴領域を決定するステップと、
    前記少なくとも１つの特徴領域に基づいて前記特徴ポイントを抽出するステップと、
    を含むことを特徴とする映像内の特徴ポイントを抽出する方法。
36. 前記決定するステップは、
    前記当該値に基づいて前記複数のボクセルに離散ウェーブレット変換（ＤＷＴ）を適用するステップと、
    前記適用結果に基づいて前記少なくとも１つの特徴領域を決定するステップと、
    を含むことを特徴とする請求項３５に記載の映像内の特徴ポイントを抽出する方法。
37. 前記決定するステップは、
    前記複数のボクセルのうち少なくとも１つを選択するステップと、
    前記選択されたボクセルに関する接続性値、突極性値、又は類似性値のうちの少なくとも１つを決定するステップであって、前記接続性値は、前記選択されたボクセルが前記複数のボクセルのうち他のボクセルと接続されるか否かを指示し、前記突極性値は、前記選択されたボクセルに関する少なくとも閾値数だけの周波数サブバンドのインテンシティの変化率を指示し、前記類似性値は、前記選択されたボクセルが前記複数のボクセルのうち隣接ボクセルに類似するか否かを指示する、ステップと、
    決定された前記接続性値、突極性値、又は類似性値のうちの少なくとも１つに基づいて前記少なくとも１つの特徴領域を決定するステップと、
    を含むことを特徴とする請求項３５に記載の映像内の特徴ポイントを抽出する方法。