JP2006317221A - 対象物認識装置及び認識方法 - Google Patents

Abstract

【課題】対象物を抽出するための距離画像データの処理を効率よく行うことができ、データの処理に用いられる計算量を削減することができる対象物認識装置及び認識方法を提供する。
【解決手段】対象物にパルスレーザを発射し、対象物で反射されたそのパルスレーザを入射して取得される距離画像データに基いて対象物を認識するにあたり、取得された距離画像データから対象物の一部であるエッジラインなどのエッジに係る情報を抽出し、そのエッジに係る情報を利用して対象物の平面を抽出する。
【選択図】 図１

Description

本発明は、対象物を認識する対象物認識装置及び認識方法、に関するものである。

３次元の対象物を認識する方法の一つに、対象物上のある点の距離画像を表すデータを取得して、得られた距離画像から対象物を認識する方法がある。距離画像とは撮影対象物表面の３次元位置情報が区分され格子状に並べられた画像であり、区分された画像は画素と呼ばれる。

図２５はパルスレーザを用いて距離計測を行う対象物認識装置１について、物体の距離画像データを取得する様子を表した図である。なお、距離画像データとは、対象物などの位置を表すデータである。図２５において対象物２が格子状に区分して表現されているが、この格子の個々のマスはパルスレーザが照射される範囲を示しており、また、距離が計測される画素の１単位に対応している。

このように対象物認識装置は対象物全体を画素単位に区分し、繰り返しパルスレーザを照射することによって、対象物全体についての距離画像データを取得する。しかしこの距離画像データ自体は単にパルスレーザが反射された点の位置を示すものの集合にすぎず、それだけでは３次元の対象物を認識することはできない。そこで、３次元の対象物を認識するためにはこのようにして得られた距離画像データから所望の対象物が抽出されなければならない。ここで対象物を抽出する、とは取得された距離画像データに基づいて、対象物の外形を把握することをいう。

３次元の対象物を認識するための方法としては、取得した距離画像データから対象物の外形をまず抽出し、その後抽出された外形の中に含まれる距離画像データと、予め対象物認識装置に保存されている、対象物認識装置が認識しようとする対象物のデータである３次元のテンプレートと、をマッチングすることによって対象物を認識する方法がある（非特許文献１及び非特許文献２参照）。

上記非特許文献１及び非特許文献２に記載されている方法のいずれも、マッチングにおいて、取得した距離画像データのどの点とどの点が対象物の同一平面上にあるかを考慮することなく、単に抽出された距離画像データの全ての点と３次元のテンプレートとが一致するか否かを判定する方法を用いている。しかしながら、これらの方法では取得した距離画像データと３次元のテンプレートとの照合に必要な計算量が膨大で、対象物の認識に時間を要するため、対象物、特に高速で移動する物体を迅速に認識することは困難であった。

本願発明は、距離画像データから対象物を認識するにあたり、取得した距離画像データから対象物の一部であるエッジに係る情報を抽出し、そのエッジに係る情報を利用して対象物の平面を迅速に抽出する対象物認識装置及び認識方法を提供する。

また、取得した距離画像データから対象物の一部であるエッジに係る情報を抽出し、そのエッジに係る情報を利用して対象物の平面を抽出する、移動体に搭載される対象物認識装置及び認識方法を提供する。

本発明によれば、取得した距離画像データから対象物を認識するにあたり、その対象物の一部であるエッジラインなどのエッジに係る情報をまず抽出し、そのエッジに係る情報を利用して対象物の平面を抽出するので、平面を抽出するための距離画像データの処理を効率よく行うことができ、データの処理に用いられる計算量を削減することができ、特に高速で移動する対象物であっても正確に抽出することができる。

また、対象物認識装置が移動体に搭載され、対象物認識装置が高速で移動する場合においても、対象物を正確に認識することができる。

ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮ ＯＮ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ， ＶＯＬ．１０ ＮＯ．４ ＡＰＲＩＬ， ２００１ "Ｍｏｄｅｌ−Ｂａｓｅｄ Ｔａｒｇｅｔ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｐｕｌｓｅｄ Ｌａｄａｒ Ｉｍａｇｅｒｙ" Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ Ｖｏｌｕｍｅ．２７４８ Ｌａｓｅｒ Ｒａｄａｒ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ ｐ２７２−２８２ "Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｖｅｈｉｃｌｅ ｔａｒｇｅｔｓ ｆｒｏｍ ｌｏｗ−ｃｏｓｔ ｌａｄａｒ ｓｅｅｋｅｒ ｉｍａｇｅｒｙ"

本発明は、少なくとも一部の対象物の位置を表す距離画像データに基いて前記対象物のエッジに係る情報を抽出する抽出手段と、前記エッジに係る情報に基いて前記対象物を認識する認識手段、を備える対象物認識装置、であることを特徴とする。

また、本発明は、少なくとも一部の対象物の位置を表す距離画像データを複数取得する距離画像データ取得手段と、複数取得した前記距離画像データのうち、第１の条件を満たす前記距離画像データを抽出する第１の抽出手段と、抽出された前記第１の条件を満たす前記距離画像データに基いて前記対象物のエッジに係る情報を抽出する第２の抽出手段と、前記情報に基いて前記対象物を認識する認識手段、を備える対象物認識装置、であることを特徴とする。

また、本発明は、光を対象物へ発射する発射手段と、前記対象物で反射した前記光が入射される入射手段と、入射された前記光のレベルを計測する入射光レベル計測手段と、入射された前記光より前記対象物の位置を表す距離画像データを複数取得する距離画像データ取得手段と、複数取得した前記距離画像データのうち、第１の条件を満たす前記距離画像データを抽出する第１の抽出手段と、抽出された前記第１の条件を満たす前記距離画像データ及び前記レベルに基いて前記対象物のエッジに係る情報を抽出する第２の抽出手段と、前記エッジに係る情報に基いて前記対象物を認識する認識手段、を備える対象物認識装置、であることを特徴とする。

さらに前記対象物認識装置は、前記エッジに係る情報は前記対象物のエッジラインである、対象物認識装置であることが望ましい。

さらに前記エッジに係る情報は前記対象物の頂点である、対象物認識装置、であることが望ましい。

さらに前記第１の条件は、前記対象物までの距離に基いて定められる、対象物認識装置、であることが望ましい。

さらに前記第２の抽出手段は、前記第１の条件を満たす前記距離画像データ及び前記光のレベルに基いて前記対象物を構成する平面のエッジライン候補を抽出し、前記エッジライン候補のうち、第２の条件を満たすエッジライン候補を抽出する手段である、対象物認識装置、であることが望ましい。

さらに前記第２の条件は、前記エッジライン候補を含む立体図形に含まれる前記距離画像データの数に基いて定められる、対象物認識装置、であることが望ましい。

さらに前記対象物認識装置は、前記エッジに係る情報に基いて前記対象物を構成する平面を抽出する平面抽出手段を有し、前記認識手段は、前記平面抽出手段によって抽出された前記平面に基いて前記対象物を認識する、対象物認識装置、であることが望ましい。

さらに、前記エッジに係る情報に基いて仮想平面を設定する設定手段と、前記設定手段において設定された前記仮想平面のうち、第３の条件を満たす仮想平面である平面を抽出する平面抽出手段を備え、前記認識手段は、前記平面抽出手段において抽出された前記平面に基いて前記対象物を認識する、対象物認識装置、であることが望ましい。

さらに前記第３の条件は、前記仮想平面を含む立体図形に含まれる前記距離画像データの数に基いて定められる、対象物認識装置、であることが望ましい。

さらに前記認識手段は、前記平面抽出手段において抽出された前記平面を組合わせた図形に基いて対象物を認識する手段を備える、対象物認識装置、であることが望ましい。

さらに対象物のテンプレートを記録する記憶手段と、前記平面と前記テンプレートを照合する照合手段とを備え、前記認識手段は、前記照合手段において前記テンプレートと一致する前記平面に基いて前記対象物を認識する手段を備える、対象物認識装置、であることが望ましい。

また、本発明は、対象物の位置を表す距離画像データに基いて前記対象物のエッジに係る情報を抽出し、前記情報に基いて前記対象物を認識する、対象物認識装置、であることを特徴とする。

さらに自装置の位置及び姿勢を認識するためのＧＰＳ及び慣性センサを備え、前記距離画像データは、前記ＧＰＳ及び前記慣性センサにおいて認識された前記自装置の位置及び姿勢に基づいたデータである、対象物認識装置、であることが望ましい。

また、本発明は、対象物の位置を表す距離画像データに基いて前記対象物のエッジに係る情報を抽出する抽出ステップと、前記情報に基いて前記対象物を認識する認識ステップ、を備える対象物認識方法、であることを特徴とする。

また、本発明は、対象物の位置を表す距離画像データを複数取得する距離画像データ取得ステップと、複数取得した前記距離画像データのうち、第１の条件を満たす前記距離画像データを抽出する第１の抽出ステップと、抽出された前記第１の条件を満たす前記距離画像データに基いて前記対象物のエッジに係る情報を抽出する第２の抽出ステップと、前記情報に基いて前記対象物を認識する認識ステップ、を備える対象物認識方法、であることを特徴とする。

また、本発明は、光を対象物へ発射する発射ステップと、前記対象物で反射した前記光が入射される入射ステップと、入射された前記光のレベルを計測する入射光レベル計測ステップと、入射された前記光より前記対象物の位置を表す距離画像データを複数取得する距離画像データ取得ステップと、複数取得した前記距離画像データのうち、第１の条件を満たす前記距離画像データを抽出する第１の抽出ステップと、抽出された前記第１の条件を満たす前記距離画像データ及び前記レベルに基いて前記対象物のエッジに係る情報を抽出する第２の抽出ステップと、前記エッジに係る情報に基いて前記対象物を認識する認識ステップ、を備える対象物認識方法、であることを特徴とする。

本実施例の対象物認識装置のブロック図を図１に示す。制御部１１は、レーザ発射部１２がパルスレーザＰｏを発射する時刻を表す発射時刻信号Ｔｏを、レーザ発射部１２及び測距回路部１５へ出力する。また、パルスレーザＰｏの強度を表す発射強度信号Ｖｏが制御部１１からレーザ発射部１２へ出力される。

レーザ発射部１２は、入力された発射時刻信号Ｔｏ及び発射強度信号Ｖｏにしたがって走査光学系１３へパルスレーザＰｏを発射する。

走査光学系１３は、レーザ発射部１２から発射されたパルスレーザＰｏを２軸方向に走査してパルスレーザＰｏを外部へ発射し、また、対象物によって反射されたパルスレーザＰｉを入射する。入射されたパルスレーザＰｉは光−電気変換部１４へ出力される。また、走査光学系１３は、パルスレーザＰｏ発射時における走査角度のＡＺ角Φ及びＥＬ角Ψを表す発射角度（Φｏ，Ψｏ）を後述する座標変換部１７１に出力する。

光−電気変換部１４は、入力されたパルスレーザＰｉを電気パルスＥｉに変換する。変換された電気パルスＥｉは測距回路部１５及び入射光レベル計測部１６へ出力される。

測距回路部１５は、入力された電気パルスＥｉより得られる入射時刻信号Ｔｉと、パルスレーザＰｏの発射時刻を表す発射時刻信号Ｔｏを用いて、Ｔｉ−Ｔｏで表される計算を行い、パルスレーザＰｏを発射してからパルスレーザＰｉが入射されるまでの時間を求める。またｃを光速とすると（Ｔｉ−Ｔｏ）×ｃ／２で表される計算により、対象物までの距離Ｒｏが求められる。求められた距離Ｒｏは座標変換部１７１へ出力される。

入射光レベル計測部１６は、入力された電気パルスＥｉからパルスレーザＰｉの入射光レベルＶｉを計測する。計測された入射光レベルＶｉはエッジ候補抽出部１７３へ出力される。

座標変換部１７１は、入力された発射角度（Φｏ，Ψｏ）及び対象物までの距離Ｒｏからなる距離画像データ（Ｒｏ，Φｏ，Ψｏ）を極座標（Ｒｏ，Φｏ，Ψｏ）からＸｏ＝ＲｏｃｏｓΨｏｓｉｎΦｏ、Ｙｏ＝ＲｏｃｏｓΨｏｃｏｓΦｏ、Ｚｏ＝ＲｏｓｉｎΨｏで表されるデカルト座標（Ｘｏ，Ｙｏ，Ｚｏ）に変換する。極座標とデカルト座標の関係は図２に示すとおりである。座標変換された距離画像データ（Ｘｏ，Ｙｏ，Ｚｏ）と対象物までの距離Ｒｏはそれぞれ対応させて距離画像データ抽出部１７２へ出力される。

なお、本発明では対象物を構成する平面を抽出するために充分な量の距離画像データが必要であるので、発射角度（Φｏ，Ψｏ）を変えながらパルスレーザＰｏを繰り返し発射し、反射されたパルスレーザＰｉを入射することにより、複数取得した前記距離画像データを取得している。したがって、座標変換部１７１では、複数取得した前記距離画像データが座標変換されて、距離画像データ抽出部１７２へ出力される。

距離画像データ抽出部１７２は、特定範囲の距離Ｒｄ〜Ｒｄ＋ΔＲに含まれる、距離Ｒｏに対応する距離画像データ（Ｘｏ，Ｙｏ，Ｚｏ）を抽出する。

抽出される距離の範囲を表すΔＲの値は、ΔＲと距離Ｒｄとの比率を考慮して誤差が問題とならないような値に設定される。例えばＲｄ＝１０００［ｍ］、ΔＲ＝１０［ｍ］とすると距離を要因とする入射光レベルの差、つまり距離Ｒｄ及びＲｄ＋ΔＲにおける入射光レベルの差は数％であり、この程度であれば誤差は問題にならない。抽出された距離画像データ（Ｘｏ，Ｙｏ，Ｚｏ）はエッジ候補抽出部１７３及び平面判定部１７５へ出力される。

エッジ候補抽出部１７３は、入力された距離画像データ（Ｘｏ，Ｙｏ，Ｚｏ）に対応する入射光レベルＶｉを用いて、対象物を構成する平面の辺または頂点にあたる、エッジラインまたは頂点エッジを表す距離画像データの候補である、エッジ候補を抽出する。これは、入射光レベルＶｉが所定値、例えば距離画像データの入射光レベルの最大値の１／２以下、の条件を満たす計測点がエッジの一部を構成する候補として抽出される。このように入射光レベルの違いによってエッジ候補か否かが判断されるのは、平面が異なれば対象物認識装置から入射されるレーザの入射範囲や入射角が異なることにより入射光レベルも異なるからである。図３において、（ａ）、（ｂ）、（ｃ）の順に対象物３がレーザ４に照射される範囲が小さくなるので、（ａ）、（ｂ）、（ｃ）の順に入射光レベルは小さくなる。また、入射光レベルは入射されるレーザの角度によっても異なり、面に対して垂直に近い角度で照射されるほど大きい。図４においては（ａ）、（ｂ）、（ｃ）の順に入射光レベルは小さくなる。特に対象物が直方体状である場合、互いに隣接する２つの面がほぼ垂直であるので両面に入射される入射光レベルの差は非常に大きくなる。

また、エッジ候補抽出部１７３は、エッジラインの抽出に充分な範囲の距離画像データ数が抽出されたかどうかの判定を行い、距離画像データの数が充分でないと判定したときには距離画像データ抽出部１７２にエッジ候補データを再度要求する。要求された距離画像データ抽出部１７２は、距離の範囲をΔＲ増加してＲｄ＋ΔＲ〜Ｒｄ＋２ΔＲの条件を満たす距離Ｒｏに対応する距離画像データを抽出し、それ以後充分なデータ数が抽出されるまで距離の範囲をΔＲずつ増加させ、上述の動作を繰り返す。

充分な距離画像データ数が抽出されたと判断したときには、エッジ候補抽出部１７３はエッジ候補データからエッジ候補ラインを抽出する。例えば図５に示すように、まず距離画像データの中から任意の１点を抽出し、その点をエッジ候補点Ｄ１とする。そして、エッジ候補点Ｄ１と最も距離が近いエッジ候補点Ｄ２を結ぶエッジ候補ラインＬ１を想定し、その他のエッジ候補データがエッジ候補ラインＬ１を中心とする所定の円筒形などの立体図形の空間の中に所定の個数以上存在するときに、このエッジ候補ラインＬ１が実際のエッジラインであると判断する。この円筒形などの立体図形の空間の大きさ及びエッジ候補データの所定の個数は、パルスレーザＰｏの発射回数や発射角度（Φｏ，Ψｏ）の範囲などを考慮して予め決定される。エッジ候補ラインを表す直線式は一般的な幾何数学にある直線の方程式を用いればよい。

なお、ここで自動車など特定の対象物を認識する場合にはある程度エッジラインの長さは想定できるので、迅速な抽出処理を行うため、想定される対象物の大きさをもとにエッジラインの長さを所定値の範囲内であると予め設定することもできる。また同じく自動車など特定の対象物を検出する場合には平面の存在する位置の範囲も所定の範囲内と想定できるので、エッジラインの存在する範囲を所定の範囲に限定するように設定することもできる。

本処理によってエッジラインＬ１が抽出されるとともに、そのエッジラインＬ１の両端の距離画像データである、平面の頂点を表す頂点エッジＶ１、Ｖ２が得られる。このエッジラインの端点である頂点エッジの位置は、立体図形の長さを伸縮し、そのときの立体図形に含まれるエッジ候補データの個数の増減を求めることによりエッジラインの端点を求めてもよいし、エッジ候補データの位置と個数の分布から求めてもよい。得られたエッジ候補ラインＬ１及び頂点エッジＶ１、Ｖ２はエッジ候補抽出部１７３から仮想平面計算部１７４に出力される。

仮想平面計算部１７４は、図６に記載されたように、求められたエッジラインＬ１を一辺とする複数の仮想平面の候補を設定し、その情報を、平面判定部１７５に出力する。平面の方程式は一般的な幾何数学における平面の方程式を用いればよい。

平面判定部１７５は、仮想平面計算部１７４から出力された情報に基づく複数の仮想平面Ｓ１、Ｓ２、Ｓ３…を含む立体図形（例えば薄い直方体）Ｆ１、Ｆ２、Ｆ３を設定し、設定した立体図形それぞれが、距離画像データ抽出部１７２から出力された距離画像データをどれだけ含むかを算出する。多くの距離画像データを含む立体図形に含まれる平面ほど実在する平面の可能性が高いと判定する。例えば、立体図形Ｆ２が距離画像データを最も多く含む場合には、立体図形Ｆ２に含まれる仮想平面Ｓ２が対象物を構成する実在する平面の一つとして判定され、抽出される。

ここで、例えば対象物が立方体や直方体などある１つの平面のエッジラインが他の１つの平面のエッジラインでもある場合を想定し、効率よく平面を抽出できるよう、平面判定部１７５が仮想平面計算部１７４から出力された情報に基づく複数の仮想平面の中から少なくとも平面を２つ同時に抽出してもよい。このとき、複数の平面を抽出する条件としては、例えば、平面を含む立体図形に含まれる距離画像データの数が所定値以上であるとすることが考えられる。また、平面判定部１７５において、少なくとも１つの平面が抽出されれば、抽出された平面を構成する少なくとも４つのエッジライン及び４個の頂点エッジが抽出されるため、それらの情報を仮想平面計算部１７４に出力し、仮想平面計算部１７４はそれらの情報を利用して新たな仮想平面を設定してもよい。さらに、上述の記載ではエッジ候補抽出部１７３がエッジライン及び頂点エッジを求めているが、エッジラインを求めることなくまず上述した通りに頂点エッジを求め、その頂点エッジを仮想平面計算部１７４に出力し、仮想平面計算部は頂点エッジをもとに仮想平面を設定するようにしてもよい。

なお現実には、自動車等などの対象物は完全な平面から構成されることはほとんどない。したがって対象物を適切に抽出するためには、平面のみならず、若干凹状や凸状になった部分などを含んだ略平面も抽出する必要がある。そのため、略平面の凹凸により、同一の略平面によって反射され、本対象物認識装置に入射されるレーザパルスの入射光レベルに差があったとしても、本対象物認識装置はその差を誤差の範囲とするようエッジ候補抽出部１７３を設定することなどにより、略平面であっても抽出できるようにする。なお、本明細書において記載されている平面には略平面も含まれるものとする。

続いて本実施例におけるフローチャートを図７に示す。まず制御部１１から出力される発射時刻信号Ｔｏと光−電気変換部１４においてパルスレーザＰｏから変換された電気パルスＥｏとから測距回路部１５にて求められたＲｏと、走査光学系１３から出力された発射角度（Φｏ，Ψｏ）に基いて極座標（Ｒｏ，Φｏ，Ψｏ）で表される距離画像データを取得する（Ｓ１０１）。

座標変換部１７１は、距離画像データを、極座標（Ｒｏ，Φｏ，Ψｏ）からＸｏ＝ＲｏｃｏｓΨｏｓｉｎΦｏ、Ｙｏ＝ＲｏｃｏｓΨｏｃｏｓΦｏ、Ｚｏ＝ＲｏｓｉｎΨｏ、で表されるデカルト座標（Ｘｏ，Ｙｏ，Ｚｏ）へ座標変換し、座標変換された距離画像データ（Ｘｏ，Ｙｏ，Ｚｏ）及び対象物までの距離Ｒｏをそれぞれ対応させて距離画像データ抽出部１７２へ出力する（Ｓ１０２）。

距離画像データ抽出部１７２は、取得した距離画像データから、対象物までの距離Ｒｏが特定範囲の距離Ｒｄ〜Ｒｄ＋ΔＲに含まれる距離画像データを抽出する。抽出される距離の範囲を表すΔＲの値は、ΔＲと距離Ｒｄとの比率を考慮して誤差が問題とならないような値に設定される（Ｓ１０３）。

エッジ候補抽出部１７３は、得られた距離画像データに対応する入射光レベルＶｉを用いてエッジ候補データを抽出する（Ｓ１０４）。また、エッジ候補抽出部１７３は、エッジラインの抽出に充分な範囲の距離画像データ数が抽出されたかどうかの判定を行い、充分でないと判定したときにはＳ１０３の処理を再度行う。このとき、距離の範囲をΔＲ増加してＲｄ＋ΔＲ〜Ｒｄ＋２ΔＲの条件を満たす距離Ｒｏに対応する距離画像データを抽出する。したがって、Ｓ１０５において、充分な距離画像データ数が抽出されたと判定されるまで距離の範囲をΔＲずつ増加させ、Ｓ１０３乃至Ｓ１０５の動作を繰り返す（Ｓ１０５）。

充分な範囲の距離画像データが抽出されたと判定されたときには、エッジ候補抽出部１７３は、Ｓ１０４において抽出されたエッジ候補データからエッジラインを抽出する。

本抽出処理によって抽出されたエッジラインＬ１は仮想平面計算部１７４へ出力される（Ｓ１０６）。

仮想平面計算部１７４は、求められたエッジラインＬ１を一辺とする複数の仮想平面の候補を設定し、その情報を、平面判定部１７５に出力する（Ｓ１０７）。

平面判定部１７５は、仮想平面計算部１７４から出力された情報に基づく複数の仮想平面Ｓ１、Ｓ２、Ｓ３…を含む立体図形Ｆ１、Ｆ２、Ｆ３…を設定し、設定した立体図形それぞれが、Ｓ１０３で得られた距離画像データをどれだけ含むかを算出する。多くの距離画像データを含む立体図形に含まれる平面ほど実在する平面の可能性が高いと判定する（Ｓ１０８）。
このように本発明においては、対象物を認識するにあたり、取得した距離画像データからまず対象物のエッジラインを抽出し、そのエッジラインを一辺とする平面を抽出するので、対象物を認識するための距離画像データの処理に用いられる計算量が削減される。また、かかる計算量の削減により、迅速に対象物を認識できるので、対象物が高速で移動する場合でも正確に対象物を認識することができる。

図８は、本発明における対象物認識装置を自動車の検出に用いた例である。自動車が道路を通過する範囲にレーザを照射するよう備えられた対象物認識装置のレーザ照射部５よりレーザを照射して平面ａ、平面ｂを認識し、所定の範囲内を通過する自動車の存在及び外形を即時に認識することができる。また、本対象物認識装置を駐車場に設置することによって自動車の位置の把握も可能である。さらに本対象物認識装置は、飛行場や空港における飛行機の侵入や位置の把握等も行うことができ、また特定の場所における戦車等の車両の検出といった防衛用途にも用いることができる。

本実施例の対象物認識装置を、図９のブロック図で表す。制御部２１、レーザ発射部２２、走査光学系２３、光−電気変換部２４、測距回路部２５、入射光レベル計測部２６、座標変換部２７１、距離画像データ抽出部２７２、エッジ候補抽出部２７３、仮想平面計算部２７４は、それぞれ実施例１における制御部１１、レーザ発射部１２、走査光学系１３、光−電気変換部１４、測距回路部１５、入射光レベル計測部１６、座標変換部１７１、距離画像データ抽出部１７２、エッジ候補抽出部１７３、仮想平面計算部１７４と同一機能であるので、冗長を避けるため、その説明を省略する。本実施例では実施例１の構成に加えて、３次元図形作成部２７６を備えることを特徴とする。これにより、データ処理部２７は複数の面からなる３次元画像を出力するので、対象物の特定をより正確に行うことができる。

平面判定部２７５は、実在する平面の可能性が高いと判定して抽出した平面についての情報を、３次元図形作成部２７６へ出力する。

３次元図形作成部２７６は、平面判定部２７５より入力された平面の情報を図示しない記録部へ保存する。複数の平面が保存されると、それら複数の平面を組合わせた３次元画像を作成し、出力する。

続いて本実施例におけるフローチャートを図１０に示す。Ｓ２０１〜Ｓ２０８のステップは実施例１におけるＳ１０１〜Ｓ１０８のステップとそれぞれ同一であり、冗長を避けるため、その説明を省略する。

３次元図形作成部２７６は、Ｓ２０８で抽出された平面を記憶し、複数の平面を記憶するとそれらの平面を組合わせた３次元図形を作成する（Ｓ２０９）。

図１１は、本実施例における対象物認識装置を用いて自動車を検出する例である。本実施例にかかる対象物認識装置では例えば対象物６の平面ｃ、平面ｄ、平面ｅからなる３次元画像を対象物から抽出する。抽出された３次元画像情報は図１２にあるように把握される。この３次元画像を得ることにより対象物全体の形状を凡そ想定することが可能になり、対象物を認識する精度が向上する。

本実施例の対象物認識装置を、図１３のブロック図で表す。制御部３１、レーザ発射部３２、走査光学系３３、光−電気変換部３４、測距回路部３５、入射光レベル計測部３６、座標変換部３７１、距離画像データ抽出部３７２、エッジ候補抽出部３７３、仮想平面計算部３７４は、それぞれ実施例１における、制御部１１、レーザ発射部１２、走査光学系１３、光−電気変換部１４、測距回路部１５、入射光レベル計測部１６、座標変換部１７１、距離画像データ抽出部１７２、エッジ候補抽出部１７３、仮想平面計算部１７４と同一機能であるので、冗長を避けるため、その説明を省略する。本実施例では実施例１の構成に加えて、平面テンプレート記憶部３７７及び平面テンプレート照合部３７８を備えることを特徴とする。これにより、データを取得することにより得られた平面と、予め用意されたテンプレートを比較し対象物を特定することができるので、特に対象物の計測から得られる平面の大きさ及び対象物の向きが分かっているときに、迅速に対象物の特定を行うことができる。

平面判定部３７５は、実在する平面の可能性が高いと判定して抽出した平面の情報を、平面テンプレート照合部３７８へ出力する。

平面テンプレート記憶部３７７は、予め対象物の平面として想定される、対象物の種類などにより異なる１つまたは複数のテンプレートを記憶部に備えており、平面テンプレート照合部３７８へ出力する。

平面テンプレート照合部３７８は、入力された平面の情報とテンプレートを照合し、一致すると判断した平面の情報を出力する。

このように本実施例における対象物認識装置によれば、対象物の外形の一部にあたる平面をテンプレートと照合して対象物の特定を行うので、対象物の外形全体から対象物を認識するよりも、対象物を認識するための処理に必要な計算量を削減させることができる。

続いて本実施例におけるフローチャートを図１４に示す。Ｓ３０１〜Ｓ３０８のステップは実施例１におけるＳ１０１〜Ｓ１０８のステップとそれぞれ同一であり、冗長を避けるため、その説明を省略する。

平面テンプレート照合部３７８は、Ｓ３０８で抽出された平面を、予め用意されたテンプレートと照合し、一致すると判断した平面の情報を出力する。（Ｓ３１０）。

図１５は、本実施例における対象物認識装置を用いて自動車を検出する装置の例である。本装置において例えば対象物６の測定点データから平面ｆ及び平面ｇを抽出できたとする。これら２つの平面を、図１６にあるように車種の違いに応じて用意されたテンプレートα、β、γと照合を行い、平面ｆ及び平面ｇはテンプレートγと符合すると判定される。このときテンプレートγの大きさや位置によって車種を認識することができる。

例えば本実施例における対象物認識装置により自動車を認識する場合には、自動車の外形全体を認識して対象物である自動車の外形を抽出しなくとも、一般に車両の大きさの範囲は予め想定できるので、例えば自動車の外形のうちの前方の２平面について、平面の大きさ、奥行き、間隔等を事前に用意したテンプレートデータと比較することによって自動車の存在の有無や、大型小型等の車種類別の分類を行うことができ、駐車場の入退場車両数や、その入退場した車両の車種類別情報等を迅速に把握することができる。

第４の実施例の構成について、図１７を用いて説明する。レーザ発射部４２、走査光学系４３、光−電気変換部４４、測距回路部４５、入射光レベル計測部４６、距離画像データ抽出部４７２、エッジ候補抽出部４７３、仮想平面計算部４７４、平面判定部４７５は、それぞれ実施例１における、レーザ発射部１２、走査光学系１３、光−電気変換部１４、測距回路部１５、入射光レベル計測部１６、距離画像データ抽出部１７２、エッジ候補抽出部１７３、仮想平面計算部１７４、平面判定部１７５と同一機能であるので、冗長を避けるため、その説明を省略する。本実施例では実施例１の構成に加えて、慣性センサ４８及びＧＰＳ４９を備えることを特徴とする。実施例１乃至３では、対象物認識装置の位置は固定されていたが、本実施例では対象物認識装置が移動体に搭載され、位置が変化する。本実施例によれは、慣性センサ４８及びＧＰＳ４９により自装置の位置及び姿勢を把握することができるので、対象物認識装置が高速で移動する場合においても、対象物を迅速に認識することができる。

制御部４１は、レーザ発射部４２にパルスレーザを発射する時刻を指示する発射時刻信号Ｔｏをレーザ発射部４２及び測距回路部４５のほか慣性センサ４８、ＧＰＳ４９へ出力する。

慣性センサ４８は、対象物認識装置の姿勢を表す、入力された発射時刻信号Ｔｏの時刻におけるロール、ピッチ、ヨーの3軸の回転角（κｏ，φｏ，ωｏ）をデータ処理部４７の座標変換部４７１へ出力する。

ＧＰＳ４９は、入力された発射時刻信号Ｔｏで表される時刻における対象物認識装置の位置（ｘｏ，ｙｏ，ｚｏ）を座標変換部４７１へ出力する。

座標変換部４７１は、距離Ｒｏ、レーザパルス発射時における発射角度（Φｏ，Ψｏ）、対象物認識装置の位置（ｘｏ，ｙｏ，ｚｏ）及び姿勢（κｏ，φｏ，ωｏ）を入力する。また、レーザパルスの入射時における対象物認識装置の位置（ｘｉ，ｙｉ，ｚｉ）及び姿勢（κｉ，φｉ，ωｉ）を入力する。そして図１８にあるように、取得した距離画像データ（Ｒｏ，Φｏ，Ψｏ）をレーザパルス発射時における対象物認識装置の位置（ｘｏ，ｙｏ，ｚｏ）及び姿勢（κｏ，φｏ，ωｏ）と、レーザパルスの入射時における対象物認識装置の位置（ｘｉ，ｙｉ，ｚｉ）及び姿勢（κｉ，φｉ，ωｉ）を用いて既存の方法により補正し、座標変換することにより、デカルト座標におけるパルスレーザの反射位置（Ｘｏ，Ｙｏ，Ｚｏ）を求める。

続いて本実施例におけるフローチャートは実施例１におけるフローチャートと同じである。ただしＳ４０２について、座標変換部４７１は取得された距離画像データについて、座標変換部４７１は、取得した距離画像データ（Ｒｏ，Φｏ，Ψｏ）をレーザパルス発射時における対象物認識装置の位置（ｘｏ，ｙｏ，ｚｏ）及び姿勢（κｏ，φｏ，ωｏ）と、レーザパルスの入射時における対象物認識装置の位置（ｘｉ，ｙｉ，ｚｉ）及び姿勢（κｉ，φｉ，ωｉ）を用いて既存の方法により補正し、座標変換することにより、デカルト座標におけるパルスレーザの反射位置（Ｘｏ，Ｙｏ，Ｚｏ）を求める。

また、図１９に示すように、実施例２と同様にデータ処理部５７に３次元図形作成部５７６を備えてもよい。または図２０に示すように、実施例３と同様にデータ処理部６７に平面テンプレート記憶部６７７、平面テンプレート照合部６７８を備えてもよい。

第５の実施例の構成について、図２１を用いて説明する。制御部７１、レーザ発射部７２、走査光学系７３、光−電気変換部７４、入射光レベル計測部７６、距離画像データ抽出部７７２、エッジ候補抽出部７７３、仮想平面計算部７７４、平面判定部７７５は、それぞれ実施例１における、制御部１１、レーザ発射部１２、走査光学系１３、入射光レベル計測部１６、距離画像データ抽出部１７２、エッジ候補抽出部１７３、仮想平面計算部１７４、平面判定部１７５と同一機能であり、冗長を避けるため、その説明を省略する。本実施例は実施例１における測距回路部１５の代わりに入射時刻計測部７５を備え、座標変換部７７１で対象物までの距離Ｒｏを求める。

光−電気変換部７４は、入力されたパルスレーザＰｉを電気パルスＥｉに変換し、電気パルスＥｉを入射光レベル計測部７６、及び入射時刻計測部７５へ出力する。

入射時刻計測部７５は入射された電気パルスＥｉよりパルスレーザＰｉの入射時刻信号Ｔｉを求める。求められた入射時刻はデータ処理部７７の座標変換部７７１へ出力される。

座標変換部７７１は、入射時刻信号Ｔｉ、及び制御部７１より入力された発射時刻信号Ｔｏより（Ｔｉ−Ｔｏ）×ｃ／２の計算式により距離Ｒｏを求め、実施例１と同様に入力された距離画像データ（Ｒｏ，Φｏ，Ψｏ）を極座標（Ｒｏ，Φｏ，Ψｏ）からＸｏ＝ＲｏｃｏｓΨｏｓｉｎΦｏ、Ｙｏ＝ＲｏｃｏｓΨｏｃｏｓΦｏ、Ｚｏ＝ＲｏｓｉｎΨｏで表されるデカルト座標（Ｘｏ，Ｙｏ，Ｚｏ）に変換する。なお、図２２に示すとおり、実施例２と同様にデータ処理部８７に３次元図形作成部８７６を備えてもよい。または図２３に示すとおり、実施例３と同様にデータ処理部９７に平面テンプレート記憶部９７７、平面テンプレート照合部９７８を備えてもよい。

なお、上述の全ての実施例において、対象物認識装置は発射角度（Φｏ，Ψｏ）を変えながらパルスレーザを連続的に発射し、反射されたパルスレーザを入射することにより、対象物全体の距離画像データを取得するよう構成しているが、それに限定されるものではなく、図２４に示すようにレーザ等の光を一度に対象物全体に照射し、複数の測定点データを同時に取得するような構成にしてもよい。

また、実施例５において、上述した構成に加えてさらにＧＰＳ及び慣性センサを加えた構成としてもよい。また、エッジ候補となる距離画像データを抽出するにあたり、エッジ候補抽出部が入射光レベルをもとに距離画像データを抽出する代わりに、パルスレーザの発射光レベルと入射光レベルの比を比較した反射率をもとに距離画像データを抽出してもよい。また、全ての実施例において、距離画像データ抽出部と座標変換部の順序を逆転させ、まず特定の距離の範囲にあたる距離画像データの抽出を行ってから、抽出されたデータを極座標からデカルト座標に変換するようにしてもよい。このように本発明は上述の実施例に限定されるものではなく、当業者において想到できる範囲で実施の態様を変更するものについても、本発明の思想に含まれる。

第１の実施例における対象物認識装置を説明するブロック図 極座標とデカルト座標の関係を表す図 レーザを対象物へ照射する様子を表す図 レーザを対象物へ照射する様子を表す図 エッジラインを抽出する様子を表す図 対象物の平面を抽出する様子を表す図 第１の実施例における対象物認識方法を説明するフローチャート 第１の実施例における対象物認識装置を説明する図 第２の実施例における対象物認識装置を説明するブロック図 第２の実施例における対象物認識方法を説明するフローチャート 第２の実施例における対象物認識装置を説明する図 第２の実施例における対象物認識装置により得られる平面の図 第３の実施例における対象物認識装置を説明するブロック図 第３の実施例における対象物認識方法を説明するフローチャート 第３の実施例における対象物認識装置を説明する図 第３の実施例におけるテンプレート照合の様子を説明する図 第４の実施例における対象物認識装置を説明するブロック図 極座標とデカルト座標、及び対象物認識装置の位置及び姿勢の関係を表す図 第４の実施例における対象物認識装置を説明するブロック図 第４の実施例における対象物認識装置を説明するブロック図 第５の実施例における対象物認識装置を説明するブロック図 第５の実施例における対象物認識装置を説明するブロック図 第５の実施例における対象物認識装置を説明するブロック図 対象物認識装置が対象物へビームを照射する図 対象物認識装置が対象物へビームを照射する図

符号の説明

１、５、７、８、９：対象物認識装置
２、３、６：対象物
４：レーザ
１１、２１、３１、４１、５１、６１、７１、８１、９１：制御部
１２、２２、３２、４２、５２、６２、７２、８２、９２：レーザ発射部
１３、２３、３３、４３、５３、６３、７３、８３、９３：走査光学系
１４、２４、３４、４４、５４、６４、７４、８４、９４：光−電気変換部
１５、２５、３５、４５、５５、６５：測距回路部
１６、２６、３６、４６、５６、６６、７６、８６、９６：入射光レベル計測部
１７、２７、３７、４７、５７、６７、７７、８７、９７：データ処理部
１７１、２７１、３７１、４７１、５７１、６７１、７７１、８７１、９７１：座標変換部
１７２、２７２、３７２、４７２、５７２、６７２、７７２、８７２、９７２：距離画像データ抽出部
１７３、２７３、３７３、４７３、５７３、６７３、７７３、８７３、９７３：エッジ候補抽出部
１７４、２７４、３７４、４７４、５７４、６７４、７７４、８７４、９７４；仮想平面計算部
１７５、２７５、３７５、４７４、５７５、６７５、７７５、８７５、９７５：平面判定部
２７６、５７６、８７６：３次元図形作成部
３７７、６７７、９７７：平面テンプレート記憶部
３７８、６７８、９７８：平面テンプレート照合部
４８、５８、６８：慣性センサ
４９、５９、６９：ＧＰＳ
７５、８５、９５：入射時刻計測部

Claims (18)

1. 少なくとも一部の対象物の位置を表す距離画像データに基いて前記対象物のエッジに係る情報を抽出する抽出手段と、
   前記エッジに係る情報に基いて前記対象物を認識する認識手段、を備える対象物認識装置。
2. 少なくとも一部の対象物の位置を表す距離画像データを複数取得する距離画像データ取得手段と、
   複数取得した前記距離画像データのうち、第１の条件を満たす前記距離画像データを抽出する第１の抽出手段と、
   抽出された前記第１の条件を満たす前記距離画像データに基いて前記対象物のエッジに係る情報を抽出する第２の抽出手段と、
   前記情報に基いて前記対象物を認識する認識手段、を備える対象物認識装置。
3. 光を対象物へ発射する発射手段と、
   前記対象物で反射した前記光が入射される入射手段と、
   入射された前記光のレベルを計測する入射光レベル計測手段と、
   入射された前記光より前記対象物の位置を表す距離画像データを複数取得する距離画像データ取得手段と、
   複数取得した前記距離画像データのうち、第１の条件を満たす前記距離画像データを抽出する第１の抽出手段と、
   抽出された前記第１の条件を満たす前記距離画像データ及び前記レベルに基いて前記対象物のエッジに係る情報を抽出する第２の抽出手段と、
   前記エッジに係る情報に基いて前記対象物を認識する認識手段、を備える対象物認識装置。
4. 前記エッジに係る情報は前記対象物のエッジラインである、請求項１乃至３のいずれかに記載の対象物認識装置。
5. 前記エッジに係る情報は前記対象物の頂点である、請求項１乃至３のいずれかに記載の対象物認識装置。
6. 前記第１の条件は、前記対象物までの距離に基いて定められる、請求項２または３のいずれかに記載の対象物認識装置。
7. 前記第２の抽出手段は、前記第１の条件を満たす前記距離画像データ及び前記光のレベルに基いて前記対象物を構成する平面のエッジライン候補を抽出し、前記エッジライン候補のうち、第２の条件を満たすエッジライン候補を抽出する手段である、請求項３に記載の対象物認識装置。
8. 前記第２の条件は、前記エッジライン候補を含む立体図形に含まれる前記距離画像データの数に基いて定められる、請求項７に記載の対象物認識装置。
9. 前記エッジに係る情報に基いて前記対象物の平面を抽出する平面抽出手段を有し、
   前記認識手段は、前記平面抽出手段によって抽出された前記平面に基いて前記対象物を認識する、請求項１乃至３に記載の対象物認識装置。
10. 前記エッジに係る情報に基いて仮想平面を設定する設定手段と、
    前記設定手段において設定された前記仮想平面のうち、第３の条件を満たす仮想平面である平面を抽出する平面抽出手段を備え、
    前記認識手段は、前記平面抽出手段において抽出された前記平面に基いて前記対象物を認識する、請求項１乃至３に記載の対象物認識装置。
11. 前記第３の条件は、前記仮想平面を含む立体図形に含まれる前記距離画像データの数に基いて定められる、請求項１０に記載の対象物認識装置。
12. 前記認識手段は、前記平面抽出手段において抽出された前記平面を組合わせた図形に基いて対象物を認識する手段を備える、請求項１０に記載の対象物認識装置。
13. 対象物のテンプレートを記録する記憶手段と、前記平面と前記テンプレートを照合する照合手段とを備え、
    前記認識手段は、前記照合手段において前記テンプレートと一致する前記平面に基いて前記対象物を認識する手段を備える、請求項１０に記載の対象物認識装置。
14. 対象物の位置を表す距離画像データに基いて前記対象物のエッジに係る情報を抽出し、前記情報に基いて前記対象物を認識する、対象物認識装置。
15. 自装置の位置及び姿勢を認識するためのＧＰＳ及び慣性センサを備え、前記距離画像データは、前記ＧＰＳ及び前記慣性センサにおいて認識された前記自装置の位置及び姿勢に基づいたデータである、請求項１乃至１４のいずれかに記載の対象物認識装置。
16. 対象物の位置を表す距離画像データに基いて前記対象物のエッジに係る情報を抽出する抽出ステップと、
    前記情報に基いて前記対象物を認識する認識ステップ、を備える対象物認識方法。
17. 対象物の位置を表す距離画像データを複数取得する距離画像データ取得ステップと、
    複数取得した前記距離画像データのうち、第１の条件を満たす前記距離画像データを抽出する第１の抽出ステップと、
    抽出された前記第１の条件を満たす前記距離画像データに基いて前記対象物のエッジに係る情報を抽出する第２の抽出ステップと、
    前記情報に基いて前記対象物を認識する認識ステップ、を備える対象物認識方法。
18. 光を対象物へ発射する発射ステップと、
    前記対象物で反射した前記光が入射される入射ステップと、
    入射された前記光のレベルを計測する入射光レベル計測ステップと、
    入射された前記光より前記対象物の位置を表す距離画像データを複数取得する距離画像データ取得ステップと、
    複数取得した前記距離画像データのうち、第１の条件を満たす前記距離画像データを抽出する第１の抽出ステップと、
    抽出された前記第１の条件を満たす前記距離画像データ及び前記レベルに基いて前記対象物のエッジに係る情報を抽出する第２の抽出ステップと、
    前記エッジに係る情報に基いて前記対象物を認識する認識ステップ、を備える対象物認識方法。
    
    

Images