JP2019185277A - 情報処理装置及び情報処理方法並びに情報処理用プログラム - Google Patents

Abstract

【課題】三次元空間認識処理に用いられる深度データを各カメラの撮像範囲の全体に渡って高速に生成する。【解決手段】撮像対象物ＯＢを三次元的に認識する際に用いられる深度データを生成する場合に、第１カメラ１による撮像範囲の全体に相当する撮像対象物ＯＢの画像データＳＶ１と、第２カメラ２による撮像範囲の全体に相当する撮像対象物ＯＢの画像データＳＶ２と、に対してＰＯＣ法による相関処理を施し、撮像対象物ＯＢに対するカメラ間の視差に対応した上記相関処理の結果を出力するＰＯＣ処理部３と、その結果から視差に対応した既定の選定基準を満たす結果を選定する視差選定部４と、その選定された結果を用いて深度データＳＢＭを生成するブロックマッチング部５と、を備える。【選択図】図１

Description

本発明は、情報処理装置及び情報処理方法並びに情報処理用プログラムの技術分野に属する。より詳細には、人や物体等の撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置及び情報処理方法並びに情報処理装置用のプログラムの技術分野に属する。

近年、複数台のカメラを用いて撮像された撮像データ（画像データ）を用いて、撮像対象たる物体等の三次元的な位置、大きさ、形状又は色彩等を認識する技術に関する開発／研究が活発に行われている。なお以下の説明では、上記三次元的な位置、大きさ、形状又は色彩等の認識処理を、単に「三次元空間認識処理」と称する。また、上記撮像対象物たる物体等を、単に「撮像対象物」と称する。

一方、当該三次元空間認識処理では、認識率の向上と共に、その効率化（高速化）も求められる。そして、当該効率化（高速化）のための技術の一例としては、例えば下記非特許文献１に記載されている技術がある。非特許文献１に記載されている技術では、左眼に相当するカメラで撮像対象物を撮像して得られた画像データと、右眼に相当するカメラで当該撮像対象物を撮像して得られた画像データと、に基づき、上記三次元空間認識処理に用いられる視差の情報を、当該視差の強度（Intensity）に基づき、一次元のいわゆる位相限定相関（phase-only correlation）を用いて、上記各画像データに対するステレオマッチング処理の前に選定している。なお以下の説明では、上記位相限定相関法を単に「ＰＯＣ」法と称する。

また、上記効率化（高速化）のための他の技術としては、例えば、いわゆるボックスフィルタ（Box Filter）とそれに対応する相関係数を効率化することで三次元空間認識処理全体として高速化する技術や、画像処理におけるいわゆるグローバルパスの方向を制限することで効率化を図る技術などがある。

"Phase-Correlation Guided Search for Realtime Stereo Vision", Alfonso Alba and Edgar Arce-Santana, Pages 621-633, Volume 9 Issue 4, Journal of Real-Time Image Processing, December 1, 2014

しかしながら、上記非特許文献１記載の技術を初めとした従来の効率化（高速化）技術では、その前提として、上記撮像対象物の奥行き（即ち深度）の推定が、最も奥行きが深い位置から順に実行される。よって、上記非特許文献１記載の技術を含む従来の効率化（高速化）技術には、以下の（ｉ）乃至（iii）のような問題点があった。
問題点（ｉ）：各カメラにおける直前までの全ての上記視差の候補を計算しようとすると、その計算時間が膨大となる。
問題点（ii）：画像解像度を向上させようとすると各カメラにおける視差の量も増えるので、処理を効率化（高速化）するためには、三次元空間認識処理の結果として低解像度にならざるを得ない。
問題点（iii）：各カメラにおける視差の最大値と最小値を、それぞれ初期値として予め手動で設定する必要がある。

そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、上記三次元空間認識処理に用いられる深度情報を各カメラの撮像範囲の全体に渡って高速に生成することで上記各問題点を解決することが可能な情報処理装置及び情報処理方法並びに当該情報処理装置用のプログラムを提供することにある。

上記の課題を解決するために、請求項１に記載の発明は、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段と、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報である全体第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報である全体第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の視差に対応した差情報を出力する出力手段と、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段と、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段と、を備える。

上記の課題を解決するために、請求項５に記載の発明は、取得手段と、出力手段と、選定手段と、生成手段と、を備え、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において実行される情報処理方法であって、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、を前記取得手段によりそれぞれ取得する取得工程と、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を前記出力手段により施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の視差に対応した差情報を出力する出力工程と、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を前記選定手段により選定する選定工程と、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を前記生成手段により生成する生成工程と、を含む。

上記の課題を解決するために、請求項６に記載の発明は、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置に含まれるコンピュータを、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の視差に対応した差情報を出力する出力手段、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段、及び、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段、として機能させる。

請求項１、請求項５又は請求項６のいずれか一項に記載の発明によれば、全体第１撮像情報と、全体第２撮像情報と、に対して位相限定相関法による相関処理を施して差情報を出力し、その差情報から既定の選定基準を満たす差情報を選定して深度情報を生成する。よって、撮像対象物の三次元的認識に用いられる深度情報を、各撮像手段の撮像範囲の全体に渡って高速に生成することができる。また、各撮像手段による撮像範囲の全体に相当する各撮像情報を用いることで、三次元的認識結果の低解像度化を防止できる。更に、既定の選定基準を満たす差情報を選定することで、視差（差情報）の最大値及び最小値を自動的に取得することができる。

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記選定基準は、一の前記撮像対象物に対応する全ての前記視差の位相限定相関における強度の平均値に相当する閾値であり、前記選定手段は、前記閾値以上の前記強度を有する前記差情報を選定して前記生成手段に出力するように構成される。

請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、深度情報の生成に用いられる差情報の選定基準が、一の撮像対象物に対応する全ての視差の位相限定相関における強度の平均値に相当する閾値であり、当該閾値以上の強度を有する差情報を選定して深度情報の生成に用いるので、適切に差情報を選定することができる。

上記の課題を解決するために、請求項３に記載の発明は、請求項１に記載の情報処理装置において、前記選定基準は、前記相関処理に含まれる正規化処理の方法に基づいた閾値であり、前記選定手段は、前記閾値以上の強度を有する前記差情報を選定して前記生成手段に出力するように構成される。

請求項３に記載の発明によれば、請求項１に記載の発明の作用に加えて、深度情報の生成に用いられる差情報の選定基準が、相関処理に含まれる正規化処理の方法に基づいた閾値であり、当該閾値以上の強度を有する差情報を選定して深度情報の生成に用いるので、適切に差情報を選定することができる。

上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の情報処理装置において、前記全体第１撮像情報と、前記全体第２撮像情報と、に対して前記相関処理を施す前記出力手段は、前記全体第１撮像情報に対して離散フーリエ変換処理を施し、第１フーリエ変換撮像情報を出力する第１離散フーリエ変換手段と、前記全体第２撮像情報に対して離散フーリエ変換処理を施し、第２フーリエ変換撮像情報を出力する第２離散フーリエ変換手段と、前記第１フーリエ変換撮像情報に対して正規化処理を施し、第１正規化撮像情報を出力する第１正規化手段と、前記第２フーリエ変換撮像情報に対して正規化処理を施し、第２正規化撮像情報を出力する第２正規化手段と、前記第１正規化撮像情報及び前記第２正規化撮像情報の要素ごとの積を算出する要素積算出手段と、前記算出された要素ごとの積に対して逆離散フーリエ変換処理を施し、前記差情報を出力する逆離散フーリエ変換手段と、を備える。

請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、全体第１撮像情報と、全体第２撮像情報と、に対して、離散フーリエ変換処理及び正規化処理をそれぞれ施し、それらの結果としての第１正規化撮像情報及び第２正規化撮像情報の要素ごとの積を算出し、それに対して逆離散フーリエ変換処理を施して差情報を出力する。よって、必要な深度情報を、各撮像手段の撮像範囲の全体に渡って高速且つ適切に生成することができる。

本発明によれば、全体第１撮像情報と、全体第２撮像情報と、に対して位相限定相関法による相関処理を施して差情報を出力し、その差情報から既定の選定基準を満たす差情報を選定して深度情報を生成する。

従って、撮像対象物の三次元的認識に用いられる深度情報を、各撮像手段の撮像範囲の全体に渡って高速に生成することができる。

また、各撮像手段による撮像範囲の全体に相当する各撮像情報を用いることで、三次元的認識結果の低解像度化を防止できる。

更に、既定の選定基準を満たす差情報を選定することで、視差（差情報）の最大値及び最小値を自動的に取得することができる。

実施形態に係る物体認識装置の概要構成を示すブロック図である。 実施形態に係るＰＯＣ処理部の細部構成を示すブロック図である。 実施形態に係る三次元空間認識処理を示すフローチャート等であり、（ａ）は当該フローチャートであり、（ｂ）は実施形態に係る画像データの一例を示す図であり、（ｃ）は実施形態に係る画像データの他の一例を示す図であり、（ｄ）は実施形態に係る深度データの一例を示す図である。 実施形態に係る視差選択処理を説明する図であり、（ａ）は実施形態に係るＰＯＣ処理の結果を例示するグラフ図であり、（ｂ）は実施形態に係る視差選択の結果を例示するグラフ図である。

次に、本発明の原理及び本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、撮像対象物を観る右眼に相当するカメラ（以下、当該カメラを「第１カメラ」と称する）と、当該撮像対象物を観る左眼に相当するカメラ（以下、当該カメラを「第２カメラ」と称する）と、からそれぞれ取得される画像データ（即ち、フレームごとの二次元の画像データ）に基づいて、当該撮像対象物を三次元空間内で認識する三次元空間認識処理を行う物体認識装置に対して本発明を適用した場合の実施の形態である。

（Ｉ）本発明の原理
初めに、本発明に係る実施形態について具体的に説明する前に、本発明の原理について説明する。

先ず、一般のＰＯＣ処理について、その概要を説明する。即ち、上記第２カメラからの画像データをｆ（ｘ，ｙ）と表し、上記第１カメラからの画像データをｇ（ｘ，ｙ）と表すとすると、上記ＰＯＣ処理では、これらに対していわゆる離散フーリエ変換（Discrete Fourier Transform（以下、「ＤＦＴ」と称する））処理を初めに施して、波数（ｋ）空間の信号に変換する。このとき当該変換の結果は、下記式（１）のように表される。

上記ＰＯＣ処理では次に、式（１）における関数Ｆ（ｋ_ｘ，ｋ_ｙ）及び関数Ｇ（ｋ_ｘ，ｋ_ｙ）をその振幅で除することにより正規化し、更にその一方を共役とすることで、いわゆる要素積（Hadamard Product又はElement-Wise Product）を求める。この要素積は、下記式（２）のように表される。

この式（２）において、「θ_Ｆ（ｋ_ｘ，ｋ_ｙ）」は複素関数Ｆ（ｋ_ｘ，ｋ_ｙ）の位相角であり、「θ_Ｇ（ｋ_ｘ，ｋ_ｙ）」は複素関数Ｇ（ｋ_ｘ，ｋ_ｙ）の位相角である。そして上記ＰＯＣ処理では最後に、上記式（２）により求められた要素積に対して、いわゆる逆離散フーリエ変換（Inverse Discrete Fourier Transform（以下、「ＩＤＦＴ」と称する）処理を施し、当該ＰＯＣ処理の結果として出力する。この結果は、下記式（３）に示すものとなる。

ここで、第２カメラからの画像データｆ（ｘ，ｙ）と、第１カメラからの画像データｇ（ｘ，ｙ）と、の関係を、第２カメラと第１カメラとの間の距離ｄ（水平方向であるか、垂直方向であるか、或いは斜め方向であるか、を問わない）を用いて表すとすると、以下の式（４）のようになる。

そして、式（４）の両辺に対してＤＦＴ処理を施した結果は、以下の式（５）となる。

従って、式（４）に対して上記式（２）と同様の正規化処理を施し、更にその要素積を求めると、その結果は、上記式（２）に対応して、以下の式（６）に示すものとなる。

そして、上記式（６）の両辺に対してＩＤＦＴ処理を施した結果は、以下の式（７）となる。

この式（７）から判るように、上記第２カメラからの画像データｆ（ｘ，ｙ）と、上記第１カメラから画像データをｇ（ｘ，ｙ）との間に、第２カメラと第１カメラとの間の距離ｄに対応した画像のずれがある場合、そのずれに対応して、式（７）で示されるデルタ（δ）関数としてのピークが現れることになる。

以上説明した一般のＰＯＣ処理に対し、本発明に係る三次元空間認識処理では、第２カメラの撮像範囲（即ち視野）の全体に対応する画像データｆ（ｘ，ｙ）と、第１カメラの撮像範囲の全体に対応する画像データｇ（ｘ，ｙ）と、に対して上記ＰＯＣ処理を施す。その上で本発明では、第２カメラの撮像範囲の全体に対応する画像データｆ（ｘ，ｙ）及び第１カメラの撮像範囲の全体に対応する画像データｇ（ｘ，ｙ）に対する当該ＰＯＣ処理の結果から、予め設定された選定基準を満たす結果を選定し、その選定された結果と、元の画像データｆ（ｘ，ｙ）及び画像データｇ（ｘ，ｙ）と、に基づいてブロックマッチング処理を行う。そして本発明では、当該ブロックマッチング処理の結果に基づき、上記撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成し、その深度情報を用いて、当該撮像対象物の三次元空間認識処理を行う。

より具体的に、右眼に相当する第１カメラからの画像データをＲ（ｘ，ｙ）と置き換え、また、左眼に相当する第２カメラからの画像データをＬ（ｘ，ｙ）と置き換え、パラメータｉを第１カメラ及び第２カメラそれぞれにおける画素の番号とし、更に、第２カメラの撮像範囲の全体に対応する画像データをＬ_ｆｕｌｌ（ｘ，ｙ）とし、第１カメラの撮像範囲の全体に対応する画像データをＲ_ｆｕｌｌ（ｘ，ｙ）とすると、これらには以下の式（８）に示される関係がある。

更に第１カメラと第２カメラとの間の距離ｄに対応して、当該第１カメラと第２カメラそれぞれの画素ｉからみた場合の撮像対象物の位置ずれ（disparity of object）を「ｄ_ｉ」とすると、上記式（４）を参照して、以下の式（９）が成立する。

ここで、上記画像データＬ（ｘ，ｙ）と上記画像データＲ（ｘ，ｙ）に対応したいわゆるステレオ画像は、位置的なずれ量（例えば上記ｄ）を持った複数の物体（撮像された画像内の物体）の加算で表現される。一方、上記ＰＯＣ処理は全て線形処理であるので、画素ｉごとに個別に上記ずれ量を算出し、そのずれ量に対して独立した上記デルタ関数の線形和を以下の式（１０）のように算出することで、本発明に係るＰＯＣ処理の結果（ＰＯＣ（Ｌ（ｘ，ｙ），Ｒ（ｘ，ｙ））が出力される。なお、当該式（１０）において、「ｐ」は、視差がある物体（撮像対象物）を表す画素（Pixel）の量に相関を持つ位相ごとのエッジ量である。

その後、本発明に係る三次元空間認識処理では、上述したように、本発明に係るＰＯＣ処理の結果から、上記予め設定された選定基準を満たす結果を選定し、その選定された結果を用いたブロックマッチング処理により上記深度情報を生成し、その深度情報を用いて撮像対象物の三次元空間認識処理を行う。

以上説明した原理を有する本発明によれば、第２カメラの撮像範囲の全体に対応する画像データＬ_ｆｕｌｌ（ｘ，ｙ）と、第１カメラの撮像範囲の全体に対応する画像データＲ_ｆｕｌｌ（ｘ，ｙ）と、に対してＰＯＣ処理を施し、その結果から上記予め設定された選定基準を満たす結果を選定して深度情報を生成するので、撮像対象物の三次元的認識に用いられる深度情報を、第１カメラ及び第２カメラそれぞれの撮像範囲の全体に渡って高速に生成することができる。

（II）本発明の実施形態
次に、上述した本発明に係る原理に基づく具体的な実施形態について、図１乃至図４を用いて説明する。なお、図１は実施形態に係る物体認識装置の概要構成を示すブロック図であり、図２は実施形態に係るＰＯＣ処理部の細部構成を示すブロック図であり、図３は実施形態に係る三次元空間認識処理を示すフローチャート等であり、図４は実施形態に係る視差選択処理を説明する図である。

図１に示すように、実施形態に係る物体認識装置Ｓは、撮像対象物ＯＢをそれぞれの撮像範囲内に含んでいる上記第１カメラ１及び上記第２カメラ２と、ＰＯＣ処理部３と、視差選定部４と、ブロックマッチング部５と、空間認識部６と、液晶ディスプレイ等からなるディスプレイ７と、により構成されている。このとき、上記ＰＯＣ処理部３、上記視差選定部４、上記ブロックマッチング部５及び上記空間認識部６は、実施形態に係る物体認識装置Ｓを実現する例えばパーソナルコンピュータ内のＣＰＵ、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等からなるハードウェアロジック回路により実現されてもよいし、或いは、後述する三次元空間認識処理を示すフローチャートに相当するプログラムを上記ＣＰＵが読み込んで実行することにより、ソフトウェア的に実現されてもよい。一方上記ＰＯＣ処理部３は、図２に示すように、離散フーリエ変換部３０及び離散フーリエ変換部３２と、正規化部３１及び正規化部３３と、要素積算出部３４と、逆離散フーリエ変換部３５と、により構成されている。そして、上記第１カメラ１が本発明に係る「第１撮像手段」の一例に相当し、上記第２カメラが本発明に係る「第２撮像手段」の一例に相当する。また、上記ＰＯＣ処理部３が本発明に係る「取得手段」の一例及び「出力手段」の一例に相当し、視差選定部４が本発明に係る「選定手段」の一例に相当し、ブロックマッチング部５が本発明に係る「生成手段」の一例に相当する。更に、離散フーリエ変換部３０が本発明に係る「第１離散フーリエ変換手段」の一例に相当し、離散フーリエ変換部３２が本発明に係る「第２離散フーリエ変換手段」の一例に相当する。更にまた、正規化部３１が本発明に係る「第１正規化手段」の一例に相当し、正規化部３３が本発明に係る「第２正規化手段」の一例に相当し、要素積算出部３４が本発明に係る「要素積算出手段」の一例に相当し、逆離散フーリエ変換部３５が本発明に係る「逆離散フーリエ変換手段」の一例に相当する。

以上の構成を備える実施形態に係る物体認識装置Ｓにおける、実施形態に係る三次元空間認識処理では、図３に対応するフローチャートを示すように、例えば図示しない操作部における予め設定された開始操作により当該三次元空間認識処理が開始されると、初めに、第１カメラ１及び第２カメラ２のそれぞれから、第１カメラ１の撮像範囲の全体に対応する画像データＳ_Ｖ１と、第２カメラ２の撮像範囲の全体に対応する画像データＳ_Ｖ２と、を、ＰＯＣ処理部３において取得する（ステップＳ１）。このとき、ＰＯＣ処理部３は、一纏まりの撮像対象物ＯＢについて、例えば図３（ｂ）に例示する画像Ｖ１に相当する画像データＳ_Ｖ１と、図３（ｂ）に例示する画像Ｖ２に相当する画像データＳ_Ｖ２と、を、それぞれ第１カメラ１及び第２カメラ２から取得する。ここで、図３（ｂ）及び図３（ｃ）に例示する場合は、画像の中央にある像、その手前右にあるスタンド、像の奥にある机及びカメラ、のそれぞれが撮像対象物ＯＢとなる。そして、図３（ｂ）及び図３（ｃ）に例示する画像Ｖ１及び画像Ｖ２には、第１カメラ１と第２カメラ２との間の距離に対応した、各撮像対象物ＯＢに相当する上記視差が含まれていることになる。次に、ＰＯＣ処理部３の離散フーリエ変換部３０は、画像データＳ_Ｖ１に対して上記ＤＦＴ処理を施し（上記式（１）参照）、変換画像データＳ_ＤＦＴ１を生成してＰＯＣ処理部３の正規化部３１に出力する（ステップＳ２）。一方、ＰＯＣ処理部３の離散フーリエ変換部３２は、画像データＳ_Ｖ２に対して上記ＤＦＴ処理を施し（上記式（１）参照）、変換画像データＳ_ＤＦＴ２を生成してＰＯＣ処理部３の正規化部３３に出力する（ステップＳ２）。

次に正規化部３１は、離散フーリエ変換部３０から出力された変換画像データＳ_ＤＦＴ１に相当する関数をその振幅で除することにより正規化し、正規化変換画像データＳ_Ｎ１を生成してＰＯＣ処理部３の要素積算出部３４に出力する（ステップＳ３。上記式（１）及び上記式（２）参照。）。一方正規化部３３は、離散フーリエ変換部３２から出力された変換画像データＳ_ＤＦＴ２に相当する関数をその振幅で除することにより正規化し、正規化変換画像データＳ_Ｎ２を生成して要素積算出部３４に出力する（ステップＳ３。上記式（１）及び上記式（２）参照。）。これらにより、ＰＯＣ処理部３の要素積算出部３４は、正規化部３１から出力された正規化変換画像データＳ_Ｎ１と、正規化部３３から出力された正規化変換画像データＳ_Ｎ２と、に基づいて上記要素積を算出し、要素積データＳ_ＨＰを生成して逆離散フーリエ変換部３５に出力する（ステップＳ４）。その後、ＰＯＣ処理部３の逆離散フーリエ変換部３５は、要素積データＳ_ＨＰに対して上記ＩＤＦＴ処理を施し（上記式（３）及び上記式（１０）参照）、逆変換画像データＳ_ＳＰを生成して視差選定部４に出力する（ステップＳ５）。なお、当該逆変換画像データＳ_ＳＰが、本発明に係る「差情報」の一例に相当する。

次に視差選定部４は、本発明に係るＰＯＣ処理の結果としての上記逆変換画像データＳ_ＳＰから、上記予め設定された選定基準を満たす逆変換画像データＳ_ＳＰを選定し、選定データＳ_ＳＬとしてブロックマッチング部５に出力する（ステップＳ６）。ここで、実施形態に係る三次元空間認識処理では、上記選定基準たる閾値として、
ｉ）一の撮像対象物ＯＢに対応する全ての逆変換画像データＳ_ＳＰにおける強度（Intensity）の平均値、又は
ii）正規化部３１及び正規化部３３における正規化処理の方法に基づいた、いわゆるヒューリスティック閾値、
のいずれかを用いることができる。そして視差選定部４は、例えば図４（ａ）に例示する態様で出力されてくる逆変換画像データＳ_ＳＰを、その強度が高い順に図４（ｂ）のように並べ替え（即ち、逆変換画像データＳ_ＳＰを、その強度が高い順に図４（ｂ）の左から右に並べ替え）、当該強度が上記閾値ＴＨ以上である逆変換画像データＳ_ＳＰを上記選定データＳ_ＳＬとして選定してブロックマッチング部５に出力する。なお図４の各図において、その横軸の「disparity」は、画素数に換算した視差の値（より具体的には、当該視差を示す、画素（Pixel）の位置の不一致量（ズレ量））を示している。例えば、図４各図における横軸の「１００」に相当する縦軸の強度は、視差が１００画素（Pixel）分ある撮像対象物ＯＢの部分に相当する逆変換画像データＳ_ＳＰの強度を示している。また、図４（ｂ）に例示する場合は、閾値ＴＨ以上の強度を有する逆変換画像データＳ_ＳＰが三十個あり、上記選定データＳ_ＳＬとしては、上記三十個の逆変換画像データＳ_ＳＰが出力されることになる。

その後ブロックマッチング部５は、視差選定部４から出力された選定データＳ_ＳＬを用いたブロックマッチング処理により、例えば図３（ｂ）又は図３（ｃ）に例示する各撮像対象物ＯＢの三次元的認識に用いられる上記深度情報に相当する深度データＳ_ＢＭを生成し、空間認識部６に出力する（ステップＳ７）。この深度データＳ_ＢＭに相当する画像の例として、例えば図３（ｂ）又は図３（ｃ）に対応する当該深度データＳ_ＢＭに相当する画像Ｖ_ｄｂが、図３（ｄ）に例示されている。

その後空間認識部６は、ブロックマッチング部５から出力された深度データＳ_ＢＭを用いて各撮像対象物ＯＢの三次元空間認識処理を行い、その結果を、例えば表示データＳ_ＯＵＴとしてディスプレイ７に出力する（ステップＳ８）。これによりディスプレイ７は、空間認識部６から出力された表示データＳ_ＯＵＴに相当する画像を、実施形態に係る三次元空間認識処理の結果として表示する。

次に、実施形態に係る三次元空間認識処理を終了するか否かが、例えば物体認識装置Ｓの電源スイッチがオフとされたか否か、又は、図示しない操作部において当該終了する旨の操作が行われたか否か等に基づいて判定される（ステップＳ９）。ステップＳ９の判定において、例えば次の撮像対象物ＯＢがある等の事情により、実施形態に係る三次元空間認識処理を継続する場合（ステップＳ９：ＮＯ）、物体認識装置Ｓは上記ステップＳ１に戻って、上述してきた一連の処理を継続する。一方、ステップＳ９の判定において、実施形態に係る三次元空間認識処理を終了する場合（ステップＳ９：ＹＥＳ）、当該三次元空間認識処理はそのまま終了される。

以上説明したように、本発明の原理に対応した実施形態に係る三次元空間認識処理によれば、第１カメラ１の撮像範囲の全体に対応する画像データＳ_Ｖ１と、第２カメラ２の撮像範囲の全体に対応する画像データＳ_Ｖ２と、に対してＰＯＣ処理を施し、その結果から既定の選定基準を満たす結果を選定して深度データＳ_ＢＭを生成するので、撮像対象物ＯＢの三次元的認識に用いられる深度データＳ_ＢＭを、第１カメラ１及び第２カメラ２の撮像範囲の全体に渡って高速に生成することができる。

また、第１カメラ１及び第２カメラ２による撮像範囲の全体に相当する画像データＳ_Ｖ１（画像データＲ_ｆｕｌｌ（ｘ，ｙ））及び画像データＳ_Ｖ２（画像データＬ_ｆｕｌｌ（ｘ，ｙ））を用いることで、三次元的認識結果の低解像度化を防止できる。

更に、既定の選定基準を満たす逆変換画像データＳ_ＳＰを選定することで、従来は初期値として例えば手動で（使用者により）指定する必要があった視差の最大値及び最少値を、図４（特に図４（ｂ））に例示するように自動的に決定することができる。

更にまた、上記選定基準として、ｉ）一の撮像対象物ＯＢに対応する全ての逆変換画像データＳ_ＳＰにおける強度の平均値、又はii）正規化部３１及び正規化部３３における正規化処理の方法に基づいたヒューリスティック閾値、のいずれかを用いる場合は、適切に、必要な選定データＳ_ＳＬを選定することができる。

また、第２カメラ２の撮像範囲の全体に対応する画像データＳ_Ｖ２と、第１カメラ１の撮像範囲の全体に対応する画像データＳ_Ｖ１と、に対して、ＰＯＣ処理として、正規化処理、要素積算出処理及びＩＤＦＴ処理を行って逆変換画像データＳ_ＳＰを生成するので、必要な深度データＳ_ＢＭを、第１カメラ１及び第２カメラ２の撮像範囲それぞれの全体に渡って高速且つ適切に生成することができる。

更に、本発明の発明者らの実験によれば、実施形態に係る三次元空間認識処理によれば、第１カメラ１又は第２カメラ２それぞれにおける画像の最大幅（例えば水平方向の最大画素数）に対して、その半分の画素に相当する視差が生じる撮像対象物ＯＢであっても、三次元空間認識処理による撮像対象物ＯＢの推定が可能であることが確認されている。

更にまた、実施形態に係る三次元空間認識処理は、上記ブロックマッチング処理を含む三次元空間認識処理の他に、いわゆるＳＡＤ（Sum of Absolute Differences）法による処理を含む三次元空間認識処理にも適用が可能である。

また、図３（ａ）に示すフローチャートに相当する上記プログラムを、例えばインターネット等のネットワークを介して取得して記録しておき、或いは光ディスク等の記録媒体に記録しておき、これらを、マイクロコンピュータ等により読み込んで実行させることにより、当該マイクロコンピュータ等を、実施形態に係るＰＯＣ処理部３、視差選定部４、ブロックマッチング部５及び空間認識部６として機能させることも可能である。

以上それぞれ説明したように、本発明は撮像対象物ＯＢの三次元空間認識処理の分野に利用することが可能であり、特に、高画質及び高速での実行が求められる当該三次元空間認識処理の分野に適用すれば特に顕著な効果が得られる。

１ 第１カメラ
２ 第２カメラ
３ ＰＯＣ処理部
４ 視差選定部
５ ブロックマッチング部
６ 空間認識部
７ ディスプレイ
３０、３２ 離散フーリエ変換部
３１、３３ 正規化部
３４ 要素積算出部
３５ 逆離散フーリエ変換部
Ｓ 物体認識装置
ＯＢ 撮像対象物
Ｓ_Ｖ１、Ｓ_Ｖ２ 画像データ
Ｓ_ＤＦＴ１、Ｓ_ＤＦＴ２ 変換画像データ
Ｓ_Ｎ１、Ｓ_Ｎ２ 正規化変換画像データ
Ｓ_ＨＰ 要素積データ
Ｓ_ＳＰ 逆変換画像データ
Ｓ_ＳＬ 選定データ
Ｓ_ＢＭ 深度データ
Ｖ１、Ｖ２、Ｖ_ｄｂ 画像
ＴＨ 閾値

上記の課題を解決するために、請求項１に記載の発明は、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段と、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報である全体第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報である全体第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力手段と、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段と、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段と、を備える。

上記の課題を解決するために、請求項５に記載の発明は、取得手段と、出力手段と、選定手段と、生成手段と、を備え、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において実行される情報処理方法であって、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、を前記取得手段によりそれぞれ取得する取得工程と、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を前記出力手段により施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力工程と、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を前記選定手段により選定する選定工程と、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を前記生成手段により生成する生成工程と、を含む。

上記の課題を解決するために、請求項６に記載の発明は、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置に含まれるコンピュータを、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力手段、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段、及び、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段、として機能させる。

本発明によれば、全体第１撮像情報と、全体第２撮像情報と、に対して位相限定相関法による相関処理を施して、撮像対象物に対する第１撮像手段と第２撮像手段との間の全ての視差に対応した差情報を出力し、その差情報から既定の選定基準を満たす差情報を選定して深度情報を生成する。

Claims (6)

1. 撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において、
   前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段と、
   前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報である全体第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報である全体第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の視差に対応した差情報を出力する出力手段と、
   前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段と、
   前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段と、
   を備えることを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置において、
   前記選定基準は、一の前記撮像対象物に対応する全ての前記視差の位相限定相関における強度の平均値に相当する閾値であり、
   前記選定手段は、前記閾値以上の前記強度を有する前記差情報を選定して前記生成手段に出力することを特徴とする情報処理装置。
3. 請求項１に記載の情報処理装置において、
   前記選定基準は、前記相関処理に含まれる正規化処理の方法に基づいた閾値であり、
   前記選定手段は、前記閾値以上の強度を有する前記差情報を選定して前記生成手段に出力することを特徴とする情報処理装置。
4. 請求項１から請求項３のいずれか一項に記載の情報処理装置において、
   前記全体第１撮像情報と、前記全体第２撮像情報と、に対して前記相関処理を施す前記出力手段は、
   前記全体第１撮像情報に対して離散フーリエ変換処理を施し、第１フーリエ変換撮像情報を出力する第１離散フーリエ変換手段と、
   前記全体第２撮像情報に対して離散フーリエ変換処理を施し、第２フーリエ変換撮像情報を出力する第２離散フーリエ変換手段と、
   前記第１フーリエ変換撮像情報に対して正規化処理を施し、第１正規化撮像情報を出力する第１正規化手段と、
   前記第２フーリエ変換撮像情報に対して正規化処理を施し、第２正規化撮像情報を出力する第２正規化手段と、
   前記第１正規化撮像情報及び前記第２正規化撮像情報の要素ごとの積を算出する要素積算出手段と、
   前記算出された要素ごとの積に対して逆離散フーリエ変換処理を施し、前記差情報を出力する逆離散フーリエ変換手段と、
   を備えることを特徴とする情報処理装置。
5. 取得手段と、出力手段と、選定手段と、生成手段と、を備え、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において実行される情報処理方法であって、
   前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、を前記取得手段によりそれぞれ取得する取得工程と、
   前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を前記出力手段により施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の視差に対応した差情報を出力する出力工程と、
   前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を前記選定手段により選定する選定工程と、
   前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を前記生成手段により生成する生成工程と、
   を含むことを特徴とする情報処理方法。
6. 撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置に含まれるコンピュータを、
   前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段、
   前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の視差に対応した差情報を出力する出力手段、
   前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段、及び、
   前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段、
   として機能させることを特徴とする情報処理用プログラム。