JP2015045654A - 形状認識機 - Google Patents

Abstract

【課題】対象の位置の決定が困難な画像に対しても候補の絞り込みを自動で実施し、相関が最大となる位置を瞬時に特定し形状を認識する形状認識機を提供する。【解決手段】２個以上の画像検出器と、第１の画像検出器１の出力と第２の画像検出器２の出力を段階的にシフトさせ、設定した幅で画像要素間の相関を検出する相関検出器３と、第１の画像要素と第２の画像要素との相関が最大となる位置を検出する最大相関検出器４と、相関が最大となる位置の情報から対象が存在する位置を決定する位置決定器５を備える。【選択図】図１

Description

この発明は形状を認識する機械に関するものである。

従来の形状認識機は認識する対象の形状をあらかじめ登録し、入力した画像情報と照合し相関が大きい場合には対象であると認識し、相関が低い場合には対象でないと判断する。照合する際、入力したパターンと登録したパターンの位置ずれ、回転ずれ、サイズ違いがある場合には該当する対象であっても相関が低くなるため、位置補正、回転補正、サイズ補正等を実施した後に相関を取り形状を認識する。

従来の形状認識機は認識する対象の位置ずれ、回転ずれ、サイズ違い等を事前補正し、登録したパターンと照合する必要があり、処理に時間を要する等のデメリットがあった。また照合するパターンの設定および照合に時間を要する等のデメリットがあった。

（請求項１に対応）

従来の立体画像の検出は第１の画像検出器の出力と第２の画像検出器の出力の相関を設定した幅で逐次的に計算している。第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で一挙に相関を検出し、相関が最大となる位置を瞬時に検出し形状を認識する機械は従来無い。

（請求項２に対応）

従来の立体画像の検出は第１の画像検出器の出力と第２の画像検出器の出力の相関を設定した幅で逐次的に計算している。類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の特定が困難な場合には、相関を検出する画像の幅を広げ、対象の位置を特定する等の処理が必要であった。第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、複数の設定した幅で一挙に相関を検出し、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の決定が困難な画像に対しても候補の絞り込みを自動で実施し、相関が最大となる位置を瞬時に特定し形状を認識する機械は従来無い。

（請求項３に対応）

従来の立体画像の検出は第１の画像検出器の出力と第２の画像検出器の出力の相関を設定した幅で逐次的に計算している。相関が最大となる位置から物体の表面の座標を逐次求め、物体の形状を位置のデータとして推定する。検出した物体の表面の位置情報から求めた物体の面要素の方向と面積の情報から物体の形状を３次元的に検出する機械は従来無い。

（請求項４に対応）

従来の接近検出は、対象とする物体の特徴点を抽出し、その特徴点の位置を検出することにより、物体の接近を検出している。複数の画像検出器で物体の形状全体を検出し、その物体の接近を検出する機械は従来無い。

（請求項５に対応）

従来の接近検出は、対象とする物体の特徴点を抽出し、その特徴点の位置を複数検出することにより、物体の位置、速度、加速度等を検出し、物体の将来の位置等を推定している。複数の画像検出器で物体の形状全体を検出し、その物体の位置、速度、加速度等を検出し、物体の将来の位置等を推定する機械は従来無い。

（請求項６に対応）

従来の立体画像の検出は第１の画像検出器の出力と第２の画像検出器の出力の相関を設定した幅で逐次的に計算している。相関が最大となる位置から物体の表面の座標を逐次求め、物体の形状を位置のデータとして推定する。検出した物体の表面の位置情報から求めた物体の面要素の方向と面積の情報から物体の形状を３次元的に検出し、その形状パターンを記録し、記録したパターンを指定することにより、検出器により検出した画像から検索したい対象を抽出する機械は従来無い。

（請求項７に対応）

従来の立体画像の検出は周囲の主要な物体の位置を検出し、自己との相対的な位置関係を推定している。複数の画像検出器を使用し、３次元的に自己の位置と周囲の物体の配置状況を検出し、記録していく機械は従来無い。

発明が解決しようとする課題

（請求項１に対応）

従来の立体画像の検出は第１の画像検出器の出力と第２の画像検出器の出力の相関を設定した幅で逐次的に計算している。逐次的計算のため、処理に多大な時間を要する等のデメリットがあった。

発明が解決しようとする課題

（請求項２に対応）

従来の立体画像の検出は第１の画像検出器の出力と第２の画像検出器の出力の相関を設定した幅で逐次的に計算している。また類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の特定が困難な場合には、相関を検出する画像の幅を広げ、対象の位置を特定する処理の追加が必要である。処理が複雑となり、また逐次的計算のため、処理に多大な時間を要する等のデメリットがあった。

発明が解決しようとする課題

（請求項３に対応）

従来の立体画像の検出は第１の画像検出器の出力と第２の画像検出器の出力の相関を設定した幅で逐次的に計算している。相関が最大となる位置から物体の表面の座標を逐次求め、物体の形状を位置のデータとして推定する。物体の形状を位置のデータとして設定した場合、位置のズレ、回転ズレ、大きさのズレの影響により、同一の形状であっても同じと認識できない等のデメリットがあった。

発明が解決しようとする課題

（請求項４に対応）

従来の接近検出は、対象とする物体の特徴点を抽出し、その特徴点の位置を検出することにより、物体の接近を検出している。従って、特徴点の位置に関しては検出できるが、特徴点以外の点に関しては接近の状況を検出できない等のデメリットがあった。

発明が解決しようとする課題

（請求項５に対応）

従来の接近検出は、対象とする物体の特徴点を抽出し、その特徴点の位置を複数検出することにより、物体の位置、速度、加速度等を検出し、物体の将来の位置等を推定している。従って、特徴点の位置に関しては推定できるが、特徴点以外の点に関しては接近の状況を推定できない等のデメリットがあった。

発明が解決しようとする課題

（請求項６に対応）

従来の立体画像の検出は第１の画像検出器の出力と第２の画像検出器の出力の相関を設定した幅で逐次的に計算している。相関が最大となる位置から物体の表面の座標を逐次求め、物体の形状を位置のデータとして推定する。物体の形状を位置のデータとして設定した場合、位置のズレ、回転ズレ、大きさのズレの影響により、同一の形状であっても同じと認識できない等の事象が生じ、検索したい対象を抽出できない等のデメリットがあった。

発明が解決しようとする課題

（請求項７に対応）

従来の立体画像の検出は周囲の主要な物体の位置を検出し、自己との相対的な位置関係を推定している。周囲の物体の詳細な位置関係を正確に把握することは難しい等のデメリットがあった。

課題を解決するための手段

（請求項１に対応）

この発明における形状認識機は、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で一挙に相関を検出し、相関が最大となる位置を瞬時に検出し形状を認識する。逐次計算しないため、処理に多大な時間を要しない。

課題を解決するための手段

（請求項２に対応）

この発明における形状認識機は、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、複数の設定した幅で一挙に相関を検出し、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の決定が困難な画像に対しても候補の絞り込みを自動で実施し、相関が最大となる位置を瞬時に特定し形状を認識する。処理が簡潔であり、逐次計算しないため、処理に多大な時間を要しない。

課題を解決するための手段

（請求項３に対応）

この発明における形状認識機は、検出した物体の表面の位置情報から物体の面要素の方向と面積の情報から物体の形状を３次元的に検出する。物体の面要素の相対的な方向と面積の情報（面積比）は位置ズレ、回転ズレ、大きさのズレに対して影響を受けない。
従って、位置のズレ、回転ズレ、大きさのズレの影響があっても同一の形状は同じであると認識できる。

課題を解決するための手段

（請求項４に対応）

この発明における形状認識機は、複数の画像検出器で物体の形状全体を検出し、その物体の接近を検出する。従って、従来の接近検出で課題である、特徴点の位置に関しては検出できるが、特徴点以外の点に関しては接近の状況を検出できないという事象は生じない。

課題を解決するための手段

（請求項５に対応）

この発明における形状認識機は、複数の画像検出器で物体の形状全体を検出し、その物体の位置、速度、加速度等を検出し、物体の将来の位置等を推定する。従って、従来の接近検出で課題である、特徴点の位置に関しては推定できるが、特徴点以外の点に関しては接近の状況を推定できないという事象は生じない。

課題を解決するための手段

（請求項６に対応）

この発明における形状認識機は、検出した物体の表面の位置情報から物体の面要素の方向と面積の情報から物体の形状を３次元的に検出する。物体の面要素の相対的な方向と面積の情報（面積比）は位置ズレ、回転ズレ、大きさのズレに対して影響を受けない。
従って、位置のズレ、回転ズレ、大きさのズレの影響があっても同一の形状は同じであると認識でき、検索したい対象を抽出することができる。

課題を解決するための手段

（請求項７に対応）

この発明における形状認識機は、複数の画像検出器を使用し、３次元的に自己の位置と周囲の物体の配置状況を検出し、記録していく。従来の立体画像の検出は周囲の主要な物体の位置を検出し、自己との相対的な位置関係を推定しており、周囲の物体の詳細な位置関係を正確に把握することは難しい等の課題は無い。

発明の実施の形態１

（請求項１に対応）

図１はこの発明の一実施例における形状認識機の構成例を示した図である。
図１において１は画像検出器１である。２は画像検出器２である。３は画像検出器１の出力と画像検出器２の出力の相関を取る相関検出器である。３の相関検出器では画像検出器１の出力と、画像検出器２の出力が段階的にシフトさせた状態で、設定した幅で画像要素間の相関が取られる。４は３の相関検出器で検出された相関が最大となる画像要素の位置を検出する最大相関検出器である。５は検出器１の画像要素と検出器２の画像要素の対応関係から検出器で検出している対象の位置を決定する位置決定器である。

次に動作について説明する。
まず、図２において２個の検出器から物体の位置検出方法について説明する。図２の左図において検出器（左）と検出器（右）の基線と水平面からのエレベーション角を決めると、平面が一意に決まる。この平面をエピポーラ面とすると、各検出器のエピポーラ線も一意に決まる。物体表面の点をＰｓとすると、点Ｐｓに対応する画像要素は検出器（左）および検出器（右）のエピポーラ線上にある。図２の右図を使って整理すると、検出器（左）のδｌに対応する画像要素は検出器（右）のδｒと対応することになる。これは、検出器（左）のδｌと検出器（右）のδｒの画像要素の相関が最大となることを意味する。
この関係を使って物体の表面の位置を一挙に求める方法について説明する。図３において検出器２の出力は検出器１の出力に対して段階的にシフトして配置されている。検出器１の画像要素と段階的にシフトして配置された検出器２の画像要素間の相関は図の縦のラインに沿って一挙に相関が計算される。相関を計算する画像要素の幅は任意に設定することができる。図３の右側に検出器１と検出器２（段階的にシフト）の画像要素間の相関結果の例を示している。相関の取り方の例として簡便な方法として、画像要素１の出力と画像要素２の出力の差分を取る方法がある。画像要素１と画像要素２の相関が高い場合は、その差分が小さくなる。（図では差分が最少の位置を相関が最大となる位置として表現し
要素との相関が最大であることを示している。
求まったので、図２の右の図の関係を使うことにより、物体の表面Ｐｓの位置が求まる。図３ではδｌの位置を１箇所で示しているが、δｌの位置を多段に設定し、検出器２との相関を一挙に取り、対応する検出器２の最大相関の位置を求める。これによりある設定したエレベーション角に対応するエピポーラ面と交差する物体の表面の位置が求まる。エレベーション角をスキャンさせることにより、物体の表面の位置が全て求めることができる。

発明の実施の形態２

（請求項２に対応）

図４はこの発明の一実施例における形状認識機の構成例を示した図である。
図４において１は画像検出器１である。２は画像検出器２である。３は画像検出器１の出力と画像検出器２の出力の相関を取る相関検出器である。３の相関検出器では画像検出器１の出力と、画像検出器２の出力が段階的にシフトさせた状態で、設定した幅で画像要素間の相関が取られる。相関は狭域幅と広域幅で一挙に取る。４は３の相関検出器で検出された相関が最大となる画像要素の位置を検出する最大相関検出器である。類似の画像により狭域幅で相関が最大となる箇所が複数出現し、位置の特定が困難な画像の場合においても、並行して実施している広域幅における相関が最大となるものを選択することにより、位置の特定が可能である。５は検出器１の画像要素と検出器２の画像要素の対応関係から検出器で検出している対象の位置を決定する位置決定器である。

次に動作について説明する。
まず、図２において２個の検出器から物体の位置検出方法について説明する。図２の左図において検出器（左）と検出器（右）の基線と水平面からのエレベーション角を決めると、平面が一意に決まる。この平面をエピポーラ面とすると、各検出器のエピポーラ線も一意に決まる。物体表面の点をＰｓとすると、点Ｐｓに対応する画像要素は検出器（左）および検出器（右）のエピポーラ線上にある。図２の右図を使って整理すると、検出器（左）のδｌに対応する画像要素は検出器（右）のδｒと対応することになる。これは、検出器（左）のδｌと検出器（右）のδｒの画像要素の相関が最大となることを意味する。
この関係を使って物体の表面の位置を一挙に求める方法について説明する。図５において検出器２の出力は検出器１の出力に対して段階的にシフトして配置されている。検出器１の画像要素と段階的にシフトして配置された検出器２の画像要素間の相関は図の縦のラインに沿って一挙に相関が計算される。相関を計算する画像要素の幅は任意に設定することができる。図３の例では、狭域幅の相関検出と広域幅の相関検出を同時に実施していることを示している。図３の右側に検出器１と検出器２（段階的にシフト）の画像要素間の相関結果の例を示している。相関の取り方の例として簡便な方法として、画像要素１の出力と画像要素２の出力の差分を取る方法がある。画像要素１と画像要素２の相関が高い場合は、その差分が小さくなる。（図では差分が最少の位置を相関が最大となる位置として表現している。）図３では、狭域幅での相関検出と広域幅での相関検出を同時に実施しているため、それぞれの画像要素間での相関の様子を２本の曲線で示している。類似の画像要素が出現することにより、狭域幅での相関が最大となっている箇所が複数存在していることを示している。この場合、複数の候補の中から解を特定するため広域幅の相関が最大となっているものを選択すれば良い。これは狭域幅では類似の画像要素である場合でも、広域幅にすることにより、見かけ上の類似性は排除されるからである。
一般的に広域幅での相関検出は位置の決定誤差が大きくなるため、位置の決定は狭域幅で実施し、解の不確定性回避に広域幅を使用している。
となっており、求める解であることを示している。
求まったので、図２の右の図の関係を使うことにより、物体の表面Ｐｓの位置が求まる。図３ではδｌの位置を１箇所で示しているが、δｌの位置を多段に設定し、検出器２との相関を一挙に取り、対応する検出器２の最大相関の位置を求める。これによりある設定したエレベーション角に対応するエピポーラ面と交差する物体の表面の位置が求まる。エレベーション角をスキャンさせることにより、物体の表面の位置が全て求めることができる。

発明の実施の形態３

（請求項３に対応）

図６はこの発明の一実施例における形状認識機の構成例を示した図である。
図６において１は画像検出器１である。２は画像検出器２である。３は画像検出器１の出力と画像検出器２の出力の相関を取る相関検出器である。３の相関検出器では画像検出器１の出力と、画像検出器２の出力が段階的にシフトさせた状態で、設定した幅で画像要素間の相関が取られる。相関は狭域幅と広域幅で一挙に取る。４は３の相関検出器で検出された相関が最大となる画像要素の位置を検出する最大相関検出器である。類似の画像により狭域幅で相関が最大となる箇所が複数出現し、位置の特定が困難な画像の場合においても、並行して実施している広域幅における相関が最大となるものを選択することにより、位置の特定が可能である。５は検出器１の画像要素と検出器２の画像要素の対応関係から検出器で検出している対象の位置を決定する位置決定器である。６は位置決定器により検出された物体の表面の位置情報から物体表面の面要素を検出する面要素検出器である。７は面要素の情報から物体の形状を検出する形状検出器である。

次に動作について説明する。
図６において５の位置決定器において物体表面の位置が決定される。６の面要素検出器において物体表面の位置の情報から面要素が生成され、各面要素の方向ベクトルと面積が生成される。７の形状検出器において各面要素の方向ベクトルと面積の情報から、物体の方向ベクトルと面積の情報から物体が有する特徴的な方向を決める。
次に、特徴的な方向の決め方の例について説明する。面要素毎に方向ベクトルが決まっているが、同じ方向ベクトルの面要素の面積を積算することにする。積算した面積が大きなものに対応する方向ベクトルを選択していくと、最大面積に対応する方向ベクトル、第２の面積に対応する方向ベクトル、第３の面積に対応する方向ベクトルを決めることができる。この時、決められた方向ベクトル間の関係は物体の形状に依存する。この物体に特徴的な方向を使って、同じ形状の物体は同じ方向から見るように視線方向の修正を行う。さらに面要素の積算により求めた面積の情報を使い、大きさの正規化を行う。視線方向の修正および大きさの正規化を行った後の各面要素の分布を物体の形状データとして登録することにする。この時、同じ形状の物体は、物体に対して相対的に同じ方向から、大きさを正規化して見ることになるので、面要素の分布が同じになる。
以下では図を使って説明する。図７の左図は物体の表面の位置情報から面要素を生成することができることを示している。物体の近接する３点から１つの面要素を生成することができる。図７の右図は面要素の方向ベクトルの例について示している。物体の各面要素は図７の右図に示す方向ベクトル毎に分類し、面要素の面積の積算をすることができる。
図８および図９を使って更に詳細に説明する。
図８の左図は直方体の各面要素の方向ベクトルを示している。図において形状の全体面積に対する比が大きい面方向、面積比が第２に大きい方向ベクトルおよび面積比が第３に大きい方向ベクトルが示されている。この面積比が大きい方向ベクトルを典型的な方向ベクトルの例に重ねたのが図８の右図になる。
次に図９を使って形状に対応する視線方向の決め方の例につき説明する。図９の左図に対象とする物体の形状と物体に特徴的な方向ベクトルを示している。面積比最大の方向ベクトル、面積比第２の方向ベクトルおよび面積比第３の方向ベクトルを合成し、視線方向を示す方向ベクトルを生成する。図９の右図では視線方向ベクトルを紙面垂直となるようにして、視線方向から物体がどのように見えるかを示している。図９の右図では視線方向のベクトル周りに回転の自由度が残っているため、面積比最大の方向ベクトルを鉛直となるようにしている。このような回転に関する視線方向の修正は物体に特徴的な方向ベクトルを使用することにより容易に実現できる。
最後に物体の面要素を積算して求めた面積を使用して大きさの正規化を実施する。大きさの正規化を図９の右図に適用することにする。以上の処理を実施することにより、同じ形状の物体の方向ベクトルの分布は同じとなる。この方向ベクトルの分布を物体の形状パターンとして定義することにより、物体形状の識別が可能となる。

発明の実施の形態４

（請求項４に対応）

図１０はこの発明の一実施例における形状認識機の構成例を示した図である。
図１０において１は画像検出器１である。２は画像検出器２である。３は画像検出器１の出力と画像検出器２の出力の相関を取る相関検出器である。３の相関検出器では画像検出器１の出力と、画像検出器２の出力が段階的にシフトさせた状態で、設定した幅で画像要素間の相関が取られる。相関は狭域幅と広域幅で一挙に取る。４は３の相関検出器で検出された相関が最大となる画像要素の位置を検出する最大相関検出器である。類似の画像により狭域幅で相関が最大となる箇所が複数出現し、位置の特定が困難な画像の場合においても、並行して実施している広域幅における相関が最大となるものを選択することにより、位置の特定が可能である。５は検出器１の画像要素と検出器２の画像要素の対応関係から検出器で検出している対象の位置を決定する位置決定器である。８は位置決定器により検出された物体の表面と検出器の近傍に設定した基準点から延ばした放射状の直線との交点を検出する交点検出器である。９は交点検出器で検出された交点の情報を使い物体表面の運動（接近の状況等）を検出する接近検出器である。

次に動作について説明する。
図１０において５の位置決定器において物体表面の位置が決定される。８の交点検出器において検出器近傍に設定した基準点から延長した放射状の直線との交点が検出される。５の位置検出器における物体表面の位置は図２に示したあるエレベーション角に対応したエピポーラ面と物体表面との交点である。検出器近傍の基準点として検出器（左）と検出器（右）により決まる基線の上に設定することにより、放射状の直線と物体表面との交点を同一平面（エピポーラ面）における直線（物体表面の点と点を結んだ直線）と直線（基準点から延長した直線）の交点を求めるという簡単な問題になる。この交点をエピポーラ面のエレベーション角をスキャンすることにより物体全体に対し、放射状の直線との交点を求めることができる。
図１１ではｔ＝ｔ１における物体の表面と放射状の直線との交点と、ｔ＝ｔ１＋Δｔにおける物体の表面と放射状の直線との交点の挙動を示している。物体の接近は放射状の直線上における交点の動きをモニターすることにより検出できる。（物体が基準点に接近すると、放射状の直線上の交点も接近することになる。）

発明の実施の形態５

（請求項５に対応）

図１２はこの発明の一実施例における形状認識機の構成例を示した図である。
図１２において１は画像検出器１である。２は画像検出器２である。３は画像検出器１の出力と画像検出器２の出力の相関を取る相関検出器である。３の相関検出器では画像検出器１の出力と、両像検出器２の出力が段階的にシフトさせた状態で、設定した幅で画像要素間の相関が取られる。相関は狭域幅と広域幅で一挙に取る。４は３の相関検出器で検出された相関が最大となる画像要素の位置を検出する最大相関検出器である。類似の画像により狭域幅で相関が最大となる箇所が複数出現し、位置の特定が困難な画像の場合においても、並行して実施している広域幅における相関が最大となるものを選択することにより、位置の特定が可能である。５は検出器１の画像要素と検出器２の画像要素の対応関係から検出器で検出している対象の位置を決定する位置決定器である。８は位置決定器により検出された物体の表面と検出器の近傍に設定した基準点から延ばした放射状の直線との交点を検出する交点検出器である。９は交点検出器で検出された交点の情報を使い物体表面の運動（接近の状況等）を検出する接近検出器である。１０は９で検出された物体表面の運動の履歴から位置、速度、加速度等を推定し、物体の将来の位置等を推定する軌跡推定器である。

次に動作について説明する。
図１２において５の位置決定器において物体表面の位置が決定される。８の交点検出器において検出器近傍に設定した基準点から延長した放射状の直線との交点が検出される。５の位置検出器における物体表面の位置は図２に示したあるエレベーション角に対応したエピポーラ面と物体表面との交点である。検出器近傍の基準点として検出器（左）と検出器（右）により決まる基線の上に設定することにより、放射状の直線と物体表面との交点を同一平面（エピポーラ面）における直線（物体表面の点と点を結んだ直線）と直線（基準点から延長した直線）の交点を求めるという簡単な問題になる。この交点をエピポーラ面のエレベーション角をスキャンすることにより物体全体に対し、放射状の直線との交点を求めることができる。
図１１ではｔ＝ｔ１における物体の表面と放射状の直線との交点と、ｔ＝ｔ１＋Δｔにおける物体の表面と放射状の直線との交点の挙動を示している。物体の接近は放射状の直線上における交点の動きをモニターすることにより検出できる。（物体が基準点に接近すると、放射状の直線上の交点も接近することになる。）
点の挙動（＝物体の挙動）を推定することができる。（３点以上モニターすることにより、位置、速度、加速度が推定でき、将来の時刻の交点の状態が推定できる。）

発明の実施の形態６

（請求項６に対応）

図１４はこの発明の一実施例における形状認識機の構成例を示した図である。
図１４において１は画像検出器１である。２は画像検出器２である。３は画像検出器１の出力と画像検出器２の出力の相関を取る相関検出器である。３の相関検出器では画像検出器１の出力と、画像検出器２の出力が段階的にシフトさせた状態で、設定した幅で画像要素間の相関が取られる。相関は狭域幅と広域幅で一挙に取る。４は３の相関検出器で検出された相関が最大となる画像要素の位置を検出する最大相関検出器である。類似の画像により狭域幅で相関が最大となる箇所が複数出現し、位置の特定が困難な画像の場合においても、並行して実施している広域幅における相関が最大となるものを選択することにより、位置の特定が可能である。５は検出器１の画像要素と検出器２の画像要素の対応関係から検出器で検出している対象の位置を決定する位置決定器である。６は位置決定器により検出された物体の表面の位置情報から物体表面の面要素を検出する面要素検出器である。７は面要素の情報から物体の形状を検出する形状検出器である。１１は７の形状検出器で検出された物体の形状パターンを記録する形状パターン記録器である。１２は指定した形状パターンと画像検出器から検出した形状パターンとの照合を行う形状パターン照合器である。

次に動作について説明する。
図１４において５の位置決定器において物体表面の位置が決定される。６の面要素検出器において物体表面の位置の情報から面要素が生成され、各面要素の方向ベクトルと面積が生成される。７の形状検出器において各面要素の方向ベクトルと面積の情報から、物体の方向ベクトルと面積の情報から物体が有する特徴的な方向を決める。
同じ方向ベクトルの面要素の面積を積算する時、最大面積に対応する方向ベクトル、第２の面積に対応する方向ベクトル、第３の面積に対応する方向ベクトルを決めることができる。この時、決められた方向ベクトル間の関係は物体の形状に依存する。この物体に特徴的な方向を使って、同じ形状の物体は同じ方向から見るように視線方向の修正を行う。さらに面要素の積算により求めた面積の情報を使い、大きさの正規化を行う。視線方向の修正および大きさの正規化を行った後の各面要素の分布を物体の形状データとして登録することにする。この時、同じ形状の物体は、物体に対して相対的に同じ方向から、大きさを正規化して見ることになるので、面要素の分布が同じになる。７において物体の形状はその形状に応じてパターン化され、１１の形状パターン記録器にて記録される。形状パターンは形状毎に識別され、指定できるようにする。例えば、立方体、直方体、人、犬、猫・・等々。１２の形状パターン照合器は１１の形状パターン記録器において、ある形状（たとえば「人」）を指定すると、指定した形状パターンが形状パターン記録器に蓄えられた記録データから呼び出されて、画像検出器から検出され、７の形状検出器において形状が特定された形状パターンと照合される。画像検出器で検出した画像に検索する対象が含まれている場合は抽出結果を出力する。

発明の実施の形態７

（請求項７に対応）

図１５はこの発明の一実施例における形状認識機の構成例を示した図である。
図１５において１は画像検出器１である。２は画像検出器２である。３は画像検出器１の出力と画像検出器２の出力の相関を取る相関検出器である。３の相関検出器では画像検出器１の出力と、画像検出器２の出力が段階的にシフトさせた状態で、設定した幅で画像要素間の相関が取られる。相関は狭域幅と広域幅で一挙に取る。４は３の相関検出器で検出された相関が最大となる画像要素の位置を検出する最大相関検出器である。類似の画像により狭域幅で相関が最大となる箇所が複数出現し、位置の特定が困難な画像の場合においても、並行して実施している広域幅における相関が最大となるものを選択することにより、位置の特定が可能である。５は検出器１の画像要素と検出器２の画像要素の対応関係から検出器で検出している対象の位置を決定する位置決定器である。１３は現時点での位置から検出した周囲の物体の配置状況および自己の位置について記録する周囲環境記録器である。

次に動作について説明する。
まず、図２において２個の検出器から物体の位置検出方法について説明する。図２の左図において検出器（左）と検出器（右）の基線と水平面からのエレベーション角を決めると、平面が一意に決まる。この平面をエピポーラ面とすると、各検出器のエピポーラ線も一意に決まる。物体表面の点をＰｓとすると、点Ｐｓに対応する画像要素は検出器（左）および検出器（右）のエピポーラ線上にある。図２の右図を使って整理すると、検出器（左）のδｌに対応する画像要素は検出器（右）のδｒと対応することになる。これは、検出器（左）のδｌと検出器（右）のδｒの画像要素の相関が最大となることを意味する。
この関係を使って物体の表面の位置を一挙に求める方法について説明する。図５において検出器２の出力は検出器１の出力に対して段階的にシフトして配置されている。検出器１の画像要素と段階的にシフトして配置された検出器２の画像要素間の相関は図の縦のラインに沿って一挙に相関が計算される。相関を計算する画像要素の幅は任意に設定することができる。図３の例では、狭域幅の相関検出と広域幅の相関検出を同時に実施していることを示している。図３の右側に検出器１と検出器２（段階的にシフト）の画像要素間の相関結果の例を示している。相関の取り方の例として簡便な方法として、画像要素１の出力と画像要素２の出力の差分を取る方法がある。画像要素１と画像要素２の相関が高い場合は、その差分が小さくなる。（図では差分が最少の位置を相関が最大となる位置として表現している。）図３では、狭域幅での相関検出と広域幅での相関検出を同時に実施しているため、それぞれの画像要素間での相関の様子を２本の曲線で示している。類似の画像要素が出現することにより、狭域幅での相関が最大となっている箇所が複数存在していることを示している。この場合、複数の候補の中から解を特定するため広域幅の相関が最大となっているものを選択すれば良い。これは狭域幅では類似の画像要素である場合でも、広域幅にすることにより、見かけ上の類似性は排除されるからである。
一般的に広域幅での相関検出は位置の決定誤差が大きくなるため、位置の決定は狭域幅で実施し、解の不確定性回避に広域幅を使用している。
となっており、求める解であることを示している。
求まったので、図２の右の図の関係を使うことにより、物体の表面Ｐｓの位置が求まる。図３ではδｌの位置を１箇所で示しているが、δｌの位置を多段に設定し、検出器２との相関を一挙に取り、対応する検出器２の最大相関の位置を求める。これによりある設定したエレベーション角に対応するエピポーラ面と交差する物体の表面の位置が求まる。エレベーション角をスキャンさせることにより、物体の表面の位置が全て求めることができる。
図１６は上記に述べた物体の表面を記録していくことにより、周囲の物体の配置状況が詳細に記録されていくことを示している。指定した時刻を起点として、その時点での自己の位置と座標を決定する。自己が移動した場合は、その軌跡を決定した座標の中に記録していく。検出した物体の表面の位置データを逐次、３次元的に記録していくと、次第に周囲の物体の配置状況が詳細に記録されていく。自己が移動しても対象の物体が動いていない場合は、座標系の中での物体は同じ位置でプロットされる。（物体の表面を示すデータがより多くプロットされる。）自己が移動することにより、当初は見えていなかった物体の他の側面が見えるので、より詳細に周囲の物体の配置状況を検出することができる。

発明の効果１

（請求項１に対応）

第１の発明によれば形状認識機は、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で一挙に相関を検出し、相関が最大となる位置を瞬時に検出し形状を認識する。逐次計算しないため、処理に多大な時間を要しない。

発明の効果２

（請求項２に対応）

第２の発明によれば形状認識機は、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、複数の設定した幅で一挙に相関を検出し、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の決定が困難な画像に対しても候補の絞り込みを自動で実施し、相関が最大となる位置を瞬時に特定し形状を認識する。処理が簡潔であり、逐次計算しないため、処理に多大な時間を要しない。

発明の効果３

（請求項３に対応）

第３の発明によれば形状認識機は、検出した物体の表面の位置情報から物体の面要素の方向と面積の情報から物体の形状を３次元的に検出する。物体の面要素の相対的な方向と面積の情報（面積比）は位置ズレ、回転ズレ、大きさのズレに対して影響を受けない。
従って、位置のズレ、回転ズレ、大きさのズレの影響があっても同一の形状は同じであると認識できる。

発明の効果４

（請求項４に対応）

第４の発明によれば形状認識機は、複数の画像検出器で物体の形状全体を検出し、その物体の接近を検出する。従って、従来の接近検出で課題である、特徴点の位置に関しては検出できるが、特徴点以外の点に関しては接近の状況を検出できないという事象は生じない。

発明の効果５

（請求項５に対応）

第５の発明によれば形状認識機は、複数の画像検出器で物体の形状全体を検出し、その物体の位置、速度、加速度等を検出し、物体の将来の位置等を推定する。従って、従来の接近検出で課題である、特徴点の位置に関しては推定できるが、特徴点以外の点に関しては接近の状況を推定できないという事象は生じない。

発明の効果６

（請求項６に対応）

第６の発明によれば形状認識機は、検出した物体の表面の位置情報から物体の面要素の方向と面積の情報から物体の形状を３次元的に検出する。物体の面要素の相対的な方向と面積の情報（面積比）は位置ズレ、回転ズレ、大きさのズレに対して影響を受けない。
従って、位置のズレ、回転ズレ、大きさのズレの影響があっても同一の形状は同じであると認識でき、検索したい対象を抽出することができる。

発明の効果７

（請求項７に対応）

第７の発明によれば形状認識機は、複数の画像検出器を使用し、３次元的に自己の位置と周囲の物体の配置状況を検出し、記録していく。従来の立体画像の検出は周囲の主要な物体の位置を検出し、自己との相対的な位置関係を推定しており、周囲の物体の詳細な位置関係を正確に把握することは難しい等の課題は無い。

形状認識機（請求項１対応） 位置検出方法 検出器間の相関検出による位置決定方法 形状認識機（請求項２対応） 複数の相関検出による位置決定方法 形状認識機（請求項３対応） 物体の形状を３次元的に検出する方法 物体の形状を面要素の方向および面積比から求める方法 面要素の方向および面積比から視線方向を定義する方法例 形状認識機（請求項４対応） 物体の接近を検出する方法 形状認識機（請求項５対応） 物体の将来の位置を推定する方法 形状認識機（請求項６対応） 形状認識機（請求項７対応） 周囲の物体の配置状態を検出する方法

１ 画像検出器１
２ 画像検出器２
３ 相関検出器
４ 最大相関検出器
５ 位置決定器
６ 面要素検出器
７ 形状検出器
８ 交点検出器
９ 接近検出器
１０ 軌跡検出器
１１ 形状パターン記録器
１２ 形状パターン照合器
１３ 周囲環境記録器

Claims (7)

1. ２個以上の画像検出器と、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で画像要素間の相関を検出する相関検出器と、第１の画像要素と第２の画像要素との相関が最大となる位置を検出する最大相関検出器と、相関が最大となる位置の情報から対象が存在する位置を決定する位置決定器を備え、物体表面の位置および形状を３次元的に検出する形状認識機。
2. ２個以上の画像検出器と、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で画像要素間の相関を検出する複数の相関検出器と、複数の相関検出器の出力から、第１の画像要素と第２の画像要素との相関が最大となる位置を検出する最大相関検出器と、相関が最大となる位置の情報から対象が存在する位置を決定する位置決定器を備え、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の特定が困難な画像に対しても、物体の表面の位置および形状の特定を可能とする形状認識機。
3. ２個以上の画像検出器と、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で画像要素間の相関を検出する複数の相関検出器と、複数の相関検出器の出力から、第１の画像要素と第２の画像要素との相関が最大となる位置を検出する最大相関検出器と、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の特定が困難な画像に対しても、物体の表面の位置および形状を決定する位置決定器と、決定した物体表面の位置の情報から物体の面要素の方向を検出する面要素検出器と、検出した面要素の方向と面要素の面積の情報から物体の形状を推定する形状検出器を備え、物体の形状を３次元的に検出する形状認識機。
4. ２個以上の画像検出器と、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で画像要素間の相関を検出する複数の相関検出器と、複数の相関検出器の出力から、第１の画像要素と第２の画像要素との相関が最大となる位置を検出する最大相関検出器と、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の特定が困難な画像に対しても、物体の表面の位置および形状を決定する位置決定器と、画像検出器の近傍に設定した位置から放射状に設定した直線と対象が交わる交点検出器と、対象の動きを設定した直線上の交点で検出する接近検出器を備え、対象の接近を検出する形状認識機。
5. ２個以上の画像検出器と、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で画像要素間の相関を検出する複数の相関検出器と、複数の相関検出器の出力から、第１の画像要素と第２の画像要素との相関が最大となる位置を検出する最大相関検出器と、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の特定が困難な画像に対しても、物体の表面の位置および形状を決定する位置決定器と、画像検出器の近傍に設定した位置から放射状に設定した直線と対象が交わる交点検出器と、対象の動きを設定した直線上の交点で検出する接近検出器と、接近検出器で検出した対象の位置、速度、加速度等から対象の将来の位置等を推定する軌跡推定器を備え、対象の動きを予測する形状認識機。
6. ２個以上の画像検出器と、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で画像要素間の相関を検出する複数の相関検出器と、複数の相関検出器の出力から、第１の画像要素と第２の画像要素との相関が最大となる位置を検出する最大相関検出器と、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の特定が困難な画像に対しても、物体の表面の位置および形状を決定する位置決定器と、決定した物体表面の位置の情報から物体の面要素の方向を検出する面要素検出器と、検出した面要素の方向と面要素の面積の情報から物体の形状を推定する形状検出器と、形状のパターンを記録する形状パターン記録器と、検出器により検出した形状と形状パターン記録器に記録した形状パターンとを照合する形状パターン照合器を備え、検索したい対象を画像検出器で検出した画像情報から抽出する形状認識機。
7. ２個以上の画像検出器と、第１の画像検出器の出力と第２の画像検出器の出力を段階的にシフトさせ、設定した幅で画像要素間の相関を検出する複数の相関検出器と、複数の相関検出器の出力から、第１の画像要素と第２の画像要素との相関が最大となる位置を検出する最大相関検出器と、類似の画像要素により相関が最大となる複数の候補が出現し、対象の位置の特定が困難な画像に対しても、物体の表面の位置および形状を決定する位置決定器と、位置決定器により決定した周囲の物体の位置および自己の位置を記録する周囲環境記録器を備え、周囲の物体の配置状況を検出する形状認識機。