JP2004354255A

JP2004354255A - 距離測定装置、距離測定方法およびその方法をコンピュータに実行させるためのプログラム

Info

Publication number: JP2004354255A
Application number: JP2003153418A
Authority: JP
Inventors: Shinya Nakamura; 心哉中村; Shigezumi Kuwajima; 茂純桑島; Masahiro Matsuyama; 方大松山
Original assignee: VIEWPLUS Inc; Sohgo Security Services Co Ltd
Current assignee: VIEWPLUS Inc; Sohgo Security Services Co Ltd
Priority date: 2003-05-29
Filing date: 2003-05-29
Publication date: 2004-12-16

Abstract

【課題】リアルタイムで距離を測定でき、測定精度の高い距離測定方法を得る。
【解決手段】一直線上に複数配置されるカメラによって撮像された部分画像の撮影対象物の特徴点を特徴点抽出部２０１で検出し、検出された特徴点を示す点のうち、他の画像において検出されたエッジを示す点と連続する点を各画像における対応点として対応点抽出部２０３により取得し、取得された対応点をカメラの配置に応じて配置した場合に得られる対応点同士の画像における位置のずれ量をずれ量算出部２０５において算出し、算出されたずれ量に基づいてカメラと撮像対象物との距離を測定する。
【選択図】図２

Description

【０００１】
【発明の属する技術分野】
この発明は、距離を測定する距離測定装置、距離測定方法およびその方法をコンピュータに実行させるためのプログラムに係り、特に対象物を撮像し、対象物から撮像手段までの距離を測定する距離測定装置、距離測定方法およびその方法をコンピュータに実行させるためのプログラムに関する。
【０００２】
【従来の技術】
対象物をカメラなどで撮像し、カメラと対象物との距離を測定する距離測定装置（測距センサともいう）が従来より実用化されている。従来の距離測定装置としては、ステレオカメラを使ったものが知られている。ステレオカメラを使った距離測定装置は、２台のカメラで対象物を同時に撮像し、撮像された２枚の画像において対象物の同一の箇所を示す点（対応点）を特定する。そして、カメラ間の距離やカメラレンズの焦点距離を考慮して対象物までの距離を測定している。
【０００３】
上記したステレオカメラによる距離の測定は、測定にかかる処理が複雑で時間がかかり、また、高価な演算装置を必要とする。この点を改善するため、複数のカメラで対象物を撮像し、撮像された各画像の同一の座標の画像を合成する。そして、合成した画像において連続する対応点が形成する直線の傾きを使ってカメラから対象物までの距離を測定する、あるいは予め直線の座標と傾きとを対応させたテーブルを設定し、このテーブルを使って傾きを求めるものがある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平８−７５４５４号公報（段落［００２３］〜［００２８］および図４、段落［００３７］〜［００３９］および図６）
【０００５】
【発明が解決しようとする課題】
しかしながら、上記した従来技術では、対応点の検出は簡易になるものの、直線の傾きを算出するのに合成画像を作成し、画像処理により傾きを求める必要がある。画像処理により直線の傾きを求める処理は比較的時間がかかるため、撮像に対してリアルタイムで対象物までの距離を測定することが容易ではないという課題があった。
【０００６】
この発明は上記に鑑みてなされたもので、対象物を撮像しながらリアルタイムで距離を測定できる距離測定装置、距離測定方法およびその方法をコンピュータに実行させるためのプログラム、およびより測定精度の高い距離測定装置、距離測定方法およびその方法をコンピュータに実行させるためのプログラムを得ることを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため、請求項１に記載の発明にかかる距離測定装置は、一直線上に複数配置される撮像手段と、前記撮像手段によって撮像された各画像から、各画像の同一の位置にあるラインを含む範囲である部分画像を切り出す画像切出手段と、前記画像切出手段によって各画像から切り出された部分画像にある特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段によって各画像から抽出された特徴点のうち、各画像で撮影対象物の同一の箇所を示す点である対応点を、各画像から切り出された部分画像にある特徴点の連続性に基づいて抽出する対応点抽出手段と、前記対応点抽出手段によって抽出された対応点の各画像における位置のずれ量を算出するずれ量算出手段と、前記ずれ量算出手段によって算出されたずれ量に基づいて、前記撮像手段と前記撮像対象物との距離を測定する測距手段と、を備えることを特徴とする。
【０００８】
この請求項１に記載の発明によれば、一直線上に複数配置される撮像手段によって撮像された各画像において同一のライン上にある部分画像を切り出す。そして、切り出された部分画像から特徴点を抽出し、部分画像にある特徴点の連続性に基づいて抽出する。このため、複数の画像の各々から対応点を見つけ出す処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができる。さらに、対応点の誤認識を防ぎ、測定値の精度や信頼性をも高めることができる。
また、抽出された対応点同士の各画像における位置のずれ量を算出し、算出されたずれ量に基づいて前記撮像手段と前記撮像対象物との距離を測定するので、直線の傾きを算出するために画像を作成する必要がなく、距離を測定するのにかかる処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる。
【０００９】
請求項２に記載の発明にかかる距離測定方法は、一直線上に複数配置された撮像手段によって撮像された各画像から、各画像の同一の位置にあるラインを含む範囲である部分画像を切り出す画像切出ステップと、前記画像切出ステップにおいて各画像から切り出された部分画像にある特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにおいて各画像から抽出された特徴点のうち、各画像で撮影対象物の同一の箇所を示す点である対応点を、各画像から切り出された部分画像にある特徴点の連続性に基づいて抽出する対応点抽出ステップと、前記対応点抽出ステップにおいて抽出された対応点同士の各画像における位置のずれ量を算出するずれ量算出ステップと、前記ずれ量算出ステップにおいて算出されたずれ量に基づいて、前記撮像手段と前記撮像対象物との距離を測定する測距ステップと、を含むことを特徴とする。
【００１０】
この請求項２に記載の発明によれば、一直線上に複数配置される撮像手段によって撮像された各画像において同一のライン上にある部分画像を切り出す。そして、切り出された部分画像から特徴点を抽出し、部分画像にある特徴点の連続性に基づいて抽出する。このため、複数の画像の各々から対応点を見つけ出す処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができる。さらに、対応点の誤認識を防ぎ、測定値の精度や信頼性をも高めることができる。
また、抽出された対応点同士の各画像における位置のずれ量を算出し、算出されたずれ量に基づいて前記撮像手段と前記撮像対象物との距離を測定するので、直線の傾きを算出するために画像を作成する必要がなく、距離を測定するのにかかる処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる。
【００１１】
請求項３に記載の発明にかかる距離測定方法は、前記特徴点抽出ステップが、前記部分画像の輝度が変化する点を検出し、検出された点を特徴点として抽出することを特徴とする。
【００１２】
この請求項３に記載の発明によれば、部分画像から特徴点を簡易に検出でき、距離測定の精度をより高めることができる。
【００１３】
請求項４に記載の発明にかかる距離測定方法は、前記特徴点抽出ステップが、各画像上の一方向において輝度が高まる点、前記一方向において輝度が低下する点の少なくともいずれか一方を特徴点として抽出し、前記対応点抽出ステップは、輝度が高まる点を抽出して得た特徴点、輝度が低下する点を抽出して得た特徴点の少なくともいずれか一方を用いて前記対応点を抽出することを特徴とする。
【００１４】
この請求項４に記載の発明によれば、撮影される画像の画質や撮像の対象に応じて抽出しやすい特徴点を選択し、処理に使用することができる。このため、距離測定方法を、ユーザにとってより使用しやすいものにすることができる。
【００１５】
請求項５に記載の発明にかかる距離測定方法は、部分画像の各々における特徴点の位置にかかる座標データを検出する座標検出ステップと、前記座標検出ステップによって検出された座標データを各部分画像における配置順序にしたがって第１の方向に配列した行データを、各部分画像を撮影した前記撮像手段の配置にしたがって前記第１の方向と直交する第２の方向に配列することによって得られる行列データにおいて、第２の方向に配列された座標データのうちの隣り合う座標の変化率を算出する座標変化率算出ステップと、前記座標変化率算出ステップによって算出された変化率が所定の値の範囲内であった場合に該変化率の算出に用いられた座標データに連続性があると判断する一方、前記変化率が所定の値の範囲以上、または以下である場合、前記変化率の算出に用いられた座標データに連続性がないと判断する連続性判断ステップと、を含み、前記連続性判断ステップは、前記変化率が所定の値の範囲以上であるために座標に連続性がないと判断された場合、互いに連続性がないと判断された隣り合う座標データのうち第２の方向の先に配列された座標データ以前に配列された座標データを除去し、除去された座標データに代えて該座標データと第１の方向に隣接する座標データを配列した後、第２の方向に配列された座標データの先頭より連続性の判断を再開する第１の不連続処理工程と、前記変化率が所定の値の範囲以下であるために座標に連続性がないと判断した場合、互いに連続性がないと判断された第２の方向に隣り合う座標データのうちの後に配列された座標データを除去し、除去された座標データに代えて該座標データと第１の方向に隣接する座標データを配列した後、配列された該座標データより連続性の判断を再開する第２の不連続処理工程と、前記第１の不連続処理工程および前記第２の不連続処理工程を繰り返すことにより、前記連続性判断ステップによって前記行列データにおける座標データがすべて第２の方向について連続すると判断された場合、第２の方向に配列された座標データの各々が示す点を各部分画像における対応点として抽出する対応点抽出工程と、を含み、前記行列データ全てに対して連続性の判断を行うことにより対応点を抽出することを特徴とする。
【００１６】
この請求項５に記載の発明によれば、部分画像から検出された特徴点のうち対応点として不適切な点を除き、適切な点と入れ替えることができるので、距離測定の精度をより高めることができる。
【００１７】
請求項６に記載の発明にかかる距離測定方法は、前記対応点抽出ステップが、前記撮像手段の撮像位置に対する前記対応点同士のずれ量の変化率が所定の範囲にある対応点の数に基づいて前記ずれ量を求めることを特徴とする。
【００１８】
この請求項６に記載の発明によれば、対応点が複数あり、両者の位置が交差する場合においても正確なずれ量を求めることができるので、距離測定の精度をより高めることができる。
【００１９】
請求項７に記載の発明にかかる距離測定方法は、前記ずれ量算出ステップは、複数の撮像位置のうちの任意の位置で撮像された画像から抽出された対応点を中心にして前記ずれ量の変化率を変更し、前記所定の範囲を決定することを特徴とする。
【００２０】
この請求項７に記載の発明によれば、ずれ量の変化率を所定の範囲で変更して得られた対応点の数の計数を２度に分けて行なうことができる。このため、対応点を計数するのに必要な加算回路を小型化し、装置構成をより簡易化することができる。
【００２１】
請求項８に記載の発明にかかる距離測定方法は、前記ずれ量算出ステップが、撮像位置に対する前記対応点同士のずれ量の変化率が所定の範囲に対応点のヒストグラムを生成し、該ヒストグラムにおいて所定の数以上の対応点を含む範囲の重心の値を対応点のずれ量とすることを特徴とする。
【００２２】
この請求項８に記載の発明によれば、比較的一般的で、かつ簡易な処理によってずれ量の変化率を所定の範囲で変更して得られる対応点の数に基づいてずれ量を求めることを実現できるので、対応点のずれ量を比較的簡易な構成で、かつ正確に求めることができる。
【００２３】
請求項９に記載の発明にかかるプログラムは、一直線上に複数配置された撮像手段によって撮像された各画像から、各画像の同一の位置にあるラインを含む範囲である部分画像を切り出す画像切出ステップと、前記画像切出ステップにおいて各画像から切り出された部分画像にある特徴点を抽出する特徴点抽出ステップと、前記特徴点抽出ステップにおいて各画像から抽出された特徴点のうち、各画像で撮影対象物の同一の箇所を示す点である対応点を、各画像から切り出された部分画像にある特徴点の連続性に基づいて抽出する対応点抽出ステップと、前記対応点抽出ステップにおいて抽出された対応点同士の各画像における位置のずれ量を算出するずれ量算出ステップと、前記ずれ量算出ステップにおいて算出されたずれ量に基づいて、前記撮像手段と前記撮像対象物との距離を測定する測距ステップと、を含む距離測定方法を、コンピュータに実行させることを特徴とする。
【００２４】
この請求項９に記載の発明によれば、一直線上に複数配置される撮像手段によって撮像された各画像において同一のライン上にある部分画像を切り出す。そして、切り出された部分画像から特徴点を抽出し、部分画像にある特徴点の連続性に基づいて抽出する。このため、複数の画像の各々から対応点を見つけ出す処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができる。さらに、対応点の誤認識を防ぎ、測定値の精度や信頼性をも高めることができる。
また、抽出された対応点同士の各画像における位置のずれ量を算出し、算出されたずれ量に基づいて前記撮像手段と前記撮像対象物との距離を測定するので、直線の傾きを算出するために画像を作成する必要がなく、距離を測定するのにかかる処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる距離測定方法をコンピュータに実行させることができる。
【００２５】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる距離測定装置、距離測定方法およびその方法をコンピュータに実行させるためのプログラムの好適な実施の形態を詳細に説明する。
【００２６】
（実施の形態１）
図１は、この発明の実施の形態１の距離測定装置を説明するための図である。
実施の形態１の距離測定装置は、一直線上に複数配置（実施の形態１では一列に配置されていることから配列と記す）される撮像手段であるカメラ１０１、画像処理部１０３、画像処理部１０５を備えている。図中、カメラ１０１の配列方向を矢線で示し、各カメラ１０１に配列順序を示す番号（１、２、３…Ｎ）を付す。実施の形態１では、カメラ（１、２、３…Ｎ）１０１は、互いに等間隔で配置されており、すべて同一の方向を撮影方向とする。
【００２７】
図２は、画像処理部１０３、画像処理部１０５の構成を説明するためのブロック図である。画像処理部１０３は、一直線上に複数配置されるカメラ（１、２、３、…Ｎ）１０１によって撮像された各画像から、各画像の同一の位置にあるラインを含む範囲である部分画像を切り出す画像切出部２０９と、各画像から切り出された部分画像に存在する特徴点を抽出する特徴点抽出部２０１とを備える。
なお、特徴点抽出部２０１により画像全体の特徴点を抽出した後、画像切出部２０９により部分画像を切り出してもよい。実施の形態１の特徴点算出部は、部分画像の輝度が変化する点を検出し、検出された点を特徴点として抽出する。このような処理は、画像処理の分野で一般にエッジ検出として周知の技術を使ってなされる。また、部分画像とは、各カメラ１０１で撮像された画像を共通のｙ座標を持つラインを含み、かつ一定の微小幅（実施の形態１では画素１個分）を持つ画像をいう。
【００２８】
画像処理部１０５は、各画像から抽出された特徴点のうち、各画像で撮影対象物の同一の箇所を示す点である対応点を部分画像にある特徴点の連続性に基づいて抽出する対応点抽出部２０３と、抽出された対応点の各画像における位置のずれ量を算出するずれ量算出部２０５と算出されたずれ量に基づいて、各カメラと撮像対象物（以下、単に対象物と記す）との距離を測定する測距部２０７と、を備えている。
【００２９】
次に、図２に示した各構成によってなされる処理を説明する。図３（ａ）、（ｂ）、（ｃ）は、図２に示した画像処理部１０３、画像処理部１０５でなされる処理の概略を説明するための図である。
【００３０】
図３（ａ）は、カメラ１０１のうちの配列順序を示す番号１のもの（カメラ（１）１０１と記す）が撮像した画像である画像１からカメラ（２）１０１によって撮像された画像２、…カメラ（Ｎ）１０１によって撮像された画像Ｎを示している。図中の破線Ｌは画像１〜Ｎに共通の位置を示す線であり、図３（ｂ）は、破線Ｌを含む微小な幅を持ち、かつ、図示した横（ｘ）方向の長さを持つ画像部分を画像１、２…Ｎから切り出し、切り出された画像を撮像したカメラ１０１の配列順序に応じて図示した縦（ｙ）方向に配置して得られる画像を示す。
【００３１】
特徴点抽出部２０１は、図３（ａ）に示した画像１、２、…Ｎから切り出された部分画像からエッジを検出するなどして特徴点を抽出する。エッジ検出とは、画像における濃度の変化量が所定の値以上の箇所を検出する処理であり、本発明の実施の形態では、対象物の端部が周囲の画像との濃度変化が大きい箇所として検出される。画像の濃度変化の検出は、各画像上の一方向において輝度が高まる点、一方向において輝度が低下する点の少なくともいずれか一方を検出することによってなされる。また、濃度変化を検出することによって抽出された特徴点を使った対応点の抽出は、輝度が高まる点を抽出して得た特徴点、輝度が低下する点を抽出して得た特徴点の少なくともいずれか一方を使って行なわれる。なお、特徴点の抽出は、輝度が所定値以上の点を検出することによって行ってもよい。
例えば、暗闇において光源を特徴点として検出し、光源までの距離を測定しようとする場合に有効である。
【００３２】
画像１、２、…Ｎから切り出された部分のエッジを示す線は、切り出された各部分画像において点として示される。部分画像を合成した画像においては、図３（ｂ）に示したように、各部分画像においてエッジを示す点３０１、３０２、３０３が連続して配置されることになり、直線を形成する。点３０１、３０２、３０３は、各部分画像において対象物の同一の点を示す対応点である。部分画像に複数の対応点がある場合、合成された画像には、図３（ｃ）のように、各エッジに応じた複数の直線が形成される。なお、このように部分画像を合成した場合、対応点が形成する直線は、カメラ１０１の配列位置によって生じる視差により、図中では右下がりに傾いている。対象物までの距離が無限大の場合に直線は垂直となり、対象物までの距離が近くなるにつれて傾きは水平に近づく。この傾きの方向が右上がりに転じることはあり得ない。
【００３３】
図４、図５は、上記した直線の傾きを使ってカメラ１０１から対象物の対応点までの距離を算出する方法を説明するための図である。対応点の座標（ｘ，ｙ，ｚ）は、図４に示すように、以下の式で算出できる。
ｘ＝ｂ（ｘｒ＋ｘｌ）／２ｄ …式（１）
ｙ＝ｂ（ｙｒ＋ｙｌ）／２ｄ …式（２）
ｚ＝ｂ・ｆ／ｄ …式（３）
ｂ：カメラのベースラインの長さ
ｆ：カメラレンズの焦点距離
（ｘｒ，ｙｒ）：右端カメラＬで撮像された対応点の位置
（ｘｌ，ｙｌ）：左端カメラＲで撮像された対応点の位置
実施の形態１では、以上の式（１）、（２）、（３）において、ｂ、ｆの単位をｍｍとし、座標（ｘｒ，ｙｒ）、（ｘｌ，ｙｌ）を画素数（ｐｉｘｅｌ）で表すものとした。
【００３４】
図５は、図４中に記した各パラメータの定義を説明するための図である。つまり、カメラのベースラインの長さとは、左端カメラＬのレンズ５０１の中心点Ｏｌと右端カメラＲのレンズ５０１の中心点Ｏｒとの距離ｂをいう。また、ｘ，ｙ，ｚの各座標は、ｚ軸が各カメラ１０１の撮影方向ｄに沿う方向を示し、ｙ軸が図５の面と直交する方向を示す。ｘ軸は、ｚ軸、ｘ軸のいずれとも直交する軸である。
【００３５】
実施の形態１の距離測定装置、距離測定方法は、以上述べた測距方法を利用しながら部分画像を合成する構成および処理を省き、図３の説明でいう傾きを特徴点が表れる位置のずれとして算出する。このため、装置を簡易化、低コスト化すると共に、測距にかかる処理時間を短縮して対象物を撮像しながらリアルタイムで対象物との距離を測定するものである。
【００３６】
すなわち、画像処理部１０３の画像切出部２０９および特徴点抽出部２０１により、カメラ（１）１０１〜（Ｎ）１０１によって撮像された画像より、それぞれ共通の位置にある部分画像のエッジを示す点を抽出する。対応点抽出部２０３は、各画像から抽出されたエッジを示す点の位置を比較し、抽出されたエッジを示す点のうち、他の画像から抽出されたエッジを示す点と連続する位置にある点を対応点として抽出する。なお、実施の形態１では、カメラ１０１の配列の逆順に、隣り合うカメラにより撮影された画像から抽出されたエッジを示す点の位置の連続性を判断し、連続しないと判断されたエッジを示す点を削除する手順を繰り返すことにより、最終的に各画像において同一の箇所を示す点である対応点を求め、以降の処理に用いるようにしている。
【００３７】
図６は、検出されたエッジから対応点を抽出する処理を説明するための図である。図６は、いずれも縦（本実施の形態における第１の方向）にカメラ１０１の配列（１〜Ｎ番目）の順番を示し、横（本実施の形態における第２の方向）に各カメラに撮像された部分画像のエッジを、部分画像の左端に近い順番で番号を付して示している。横方向に配列されたデータが、本実施の形態の行データに相当する。番号が付されたエッジの各欄に示す数字は、部分画像左端を原点とした場合の各エッジを示す点の座標を、画素数で表した座標データである（以降、エッジデータと記す）。エッジデータを縦、横の両方向に配置したデータを、行列データとも記すものとする。
【００３８】
図６（ａ）は、抽出されたエッジデータすべてを含む行列データを示している。図６（ｂ）は、図６（ａ）に示したエッジデータを処理した結果得られる最終的なエッジデータであり、縦の列が検出された対応点を示している。この例では、各カメラにより撮影された部分画像から得られたエッジデータを処理することにより、最終的に１４個の対応点が求められたことになる。なお、検出された対応点が縦の列に揃うように図６（ａ）を並べ替えたものが図６（ｃ）であり、６，７，１２，１７行目のエッジデータが有効な対応点ではないとして削除されるデータとなる。
【００３９】
次に、図７（ａ）、（ｃ）、（ｅ）および図８（ａ）、（ｂ）を用い、図６（ａ）に示したエッジデータから図６（ｂ）に示すエッジデータを得るまでの処理を具体的に説明する。図６（ａ）に示したエッジデータについて、列の上から下に向かって連続性の判断を行い、その列すべてエッジデータの連続性が確認された場合は、右隣の列について上から下に向かって連続性を判断する、という処理を繰り返すことにより、全てのエッジデータについて、連続性の判断を行う。連続性の判断は、エッジデータの増加量が所定の範囲内であるか否か、それまでの増加量と比較して大きな違いはないかなどによって行う。前記エッジデータの増加量の範囲は、対象物との距離を有効に検知できる最短の距離、カメラのベースラインの長さ、カメラレンズの焦点距離などの諸条件を考慮して想定される最大の増加量を求め、それをもとに設定するとよい。当然、検出誤差を考慮した所定の許容範囲を持たせるものとする。
【００４０】
図７（ａ）では、１列目から順番に縦方向に隣り合うエッジデータの連続性を判断していく。１列目のエッジデータは全て同じ値であり最下段まで連続性ありと判断される。対応点抽出部２０３は、このようにして求められた連続するエッジデータが表すエッジ（つまり特徴点）同士を対象物における同一の点を示す対応点として取得する。また、ずれ量算出部２０５は、最上段のエッジデータと最下段のエッジデータを比較し、ずれ（＝視差）が「０」であると求める。次に、２列目のエッジデータについて連続性の判断を行い、エッジデータの増加量が略一定（増加量が１±１程度）であるので最下段まで連続性ありと判断する。対応点抽出部２０３は、これを２つめの対応点として取得する。また、ずれ量算出部２０５は、最上段のエッジデータと最下段のエッジデータを比較し、ずれが「２４」であると求める。以後同様に３列目、４列目について連続性の判断を行っていく。
【００４１】
図７（ｂ）は、６列目にあるエッジデータについて、エッジデータが不連続になっている例を示している。６列目に存在するエッジデータは上から１５５、１５７、２９９であり、１５５と１５７は連続性ありと判断できるが、１５７と２９９は急激に増加しており連続性なしと判断される。このような場合、対応点抽出部２０３は、連続するエッジデータとして追跡してきたエッジデータ１５５、１５７を除去する（図７（ｂ））。次に、エッジデータ１５５、１５７の右隣にあるエッジデータ２９６、２９８を左に１列移動させる（図７（ｃ））。なお、図示しないが、エッジデータ２９６、２９８の右側にエッジデータが存在する場合、それらも左に１列移動させる。以上のように、エッジデータが所定の範囲以上に増加したことにより連続性なしと判断した場合、エッジデータの除去および移動を行った後、その列の先頭から連続性の判断を再開する。
【００４２】
図８（ａ）は、不連続と判断されたエッジデータの除去および移動を行った後の状態を示している。６列目のエッジデータは上から２９６、２９８、２９９となっており連続性ありと判断されるが、次のエッジデータは１６１であり、エッジデータが減少していることから２９９と１６１は連続性なしと判断される。このような場合、対応点抽出部２０３は、エッジデータ１６１を除去し、その右隣にあるエッジデータ３０１を左に１列移動させる（図８（ｂ））。先程と同様、エッジデータ３０１の右側にエッジデータが存在する場合、それらも左に１列移動させる。以上のように、エッジデータが所定の範囲以上に増加しなかったことにより連続性なしと判断した場合、エッジデータの除去および移動を行った後、その場所から連続性の判断を再開する。この場合、エッジデータ２９９と３０１を比較し、エッジデータの増加量が略一定であるので連続性ありと判断する。その後、連続性の判断を継続して行う。
【００４３】
以上の処理を繰り返すことにより、対応点抽出部２０３は、図６（ｂ）に示すように、すべてのカメラ１０１によって撮像された部分画像において、すべてのエッジデータが連続性を持つ対応点を示す表を作成することができる。また、対応点間の位置のずれ量を求めることができる。
【００４４】
図９は、以上述べた実施の形態１の距離測定装置でなされる距離測定方法を説明するためのフローチャートである。ここでは、Ｎ台のカメラで撮影された画像を処理して距離を計測するものとする。はじめに、カメラ番号：ｎを１とおく（ステップＳ８０１）。画像切出部２０９は、カメラ番号に該当するカメラにより撮影された画像から、１ライン分の画像を部分画像として切り出す（ステップＳ８０２）。特徴点抽出部２０１は、部分画像の画像処理を行い、部分画像の左端から順番に全てのエッジ情報を検出し（ステップＳ８０３）画像処理部１０３に出力する。次に、カメラ番号がＮであるか否か判断する（ステップＳ８０４）。
この判断の結果、カメラ番号がＮでない場合（ステップＳ８０４：Ｎｏ）、カメラ番号を１つカウントアップし（ステップＳ８０５）、ステップＳ８０２へ戻って次に配列されたカメラによって撮像された画像の処理を行う。一方、カメラ番号がＮの場合（ステップＳ８０４：Ｙｅｓ）、検出されたすべてのエッジデータから対応点を抽出する処理（ステップＳ８０６）、抽出された対応点の各カメラ間における位置のずれ量を算出する処理（ステップＳ８０７）、測距部２０７による、算出されたずれ量を用いたカメラ１０１から対象物までの距離計測（ステップＳ８０８）を行う。ステップＳ８０６およびステップＳ８０７における処理は、図７および図８を用いて説明したとおりである。
【００４５】
以上述べた実施の形態１の距離測定装置および距離測定方法は、対応点の抽出に部分画像を合成する必要がないために装置の簡易化および低コスト化を図ることができる。また、距離の測定にかかる処理時間を短縮し、対象物を撮像しながらリアルタイムで距離が計測できる印象をユーザに与えることができる。また、実施の形態１の距離測定装置および距離測定方法は、検出されたエッジデータから不適切なデータを除いて対応点を抽出するので、距離の測定精度をより高めることができる。さらに、実施の形態１の距離測定装置および距離測定方法は、エッジデータの連続性を使って対応点を抽出しているので、対応点を他の箇所を示す対応点と誤判定することがなく、距離の測定精度をより高めることができる。
【００４６】
（実施の形態２）
次に、本発明の距離測定装置および距離測定方法の実施の形態２を説明する。
図１０は、実施の形態１で述べた距離測定方法の課題を説明するための図である。図１０（ａ）に示すように、図の左右方向に配列されたカメラの左端のカメラＬ、右端のカメラＲで撮像の対象物Ａ、Ｂを撮像した場合、それぞれ図１０（ｂ）、（ｃ）に示す画像を得る。すなわち、カメラＬからカメラＲの間において、撮像された画像中の対象物Ａと対象物Ｂとの位置関係に逆転が起こる。このような場合、各カメラで撮像された画像から部分画像Ｐ中の対応点を抽出して直線を形成すると、図１０（ｄ）に示すように対象物Ａのエッジに関する直線と対象物Ｂのエッジに関する直線とが交差する。実施の形態１で説明した処理では、交差する直線を示す対応点をそれぞれの直線に切り分けることができない。実施の形態２の距離測定装置および距離測定方法は、実施の形態１の課題を解決し、より高い精度で対象物までの距離を測定することを可能にするものである。
【００４７】
実施の形態２は、ずれ量算出部２０５による処理であるずれ量算出ステップにおいて、カメラ１０１の撮像位置に対する対応点同士のずれ量の変化率が所定の範囲内にある対応点の数に基づいて、ずれ量を求めるものである。なお、実施の形態２において、実施の形態１で説明した構成と同様の構成については同様の符号を付し、説明を一部略すものとする。
【００４８】
図１１は、実施の形態２のずれ量算出の処理を説明するための模式図である。
図１１（ａ）は、部分画像のエッジを合成して得られる画像であって、画像中の直線は、各部分画像から得られたエッジの集まりによって形成された直線である。図１１（ｂ）は、図１１（ａ）の画像のうち幅Ｗを持つ領域において、領域の左上端からずらし幅（ｐｉｘｅｌ）を変えて引いた直線上にあるエッジの個数について、縦軸をエッジ個数、横軸をずらし幅（ｐｉｘｅｌ）で示したヒストグラムである。前記幅Ｗを持つ領域の左端は、最上段の部分画像においてエッジが存在する点とする。図示したように、ヒストグラムにおいてエッジが集中する所定のずらし幅の範囲でピークを持つ。このピークを対応点の集まりとして検出するものである。実施の形態２ではピークを精度よく検出するため、図１１（ｃ）に示すように得られたグラフを予め定めたしきい値ｔで切り、残った領域のピーク幅ｗの重心ｃを求め、ずらし幅０からｃまでの値ａを対応点のずれ量とする。実施の形態２は、このような処理を、実施の形態１の図６で説明したエッジデータを使って演算により行うものである。この処理を図１１（ａ）の画像において、最上段の部分画像にエッジが存在する点を基点として順次行うことによりすべての直線のずれ量を求めることができる。
【００４９】
図１２は、実施の形態２のずれ量算出部２０５が、ずれ量を算出する処理を具体的に説明するための図である。図１２（ａ）は、各カメラ１０１が撮像した画像の部分画像から得られる特徴点（エッジ）を配列して得られる直線を示している。図１２（ｂ）は、（ａ）に示した直線を、各カメラ１０１が撮像した画像の部分画像においてエッジが存在する点を“１”、エッジが存在しない点を“０”で表現した図である。なお、図１２（ｂ）に示したデータは、図６および図７に示したエッジデータをもとに作成可能であって、エッジデータを示す５、９０といった画素に当たる位置（ピクセル）に“１”を書き込み、他の欄には“０”を書き込むことによって作成される。図１２（ｂ）の“１”または“０”のデータは、縦方向にはカメラ１０１の撮像時の配置位置にしたがって（対応するカメラ番号の逆順に）配置されている。また、図１２（ｂ）の欄外には、最右端のカメラＲが撮像した部分画像においてエッジが存在する点を基点として最左端のカメラＬが撮像した部分画像においてエッジが存在する点のずれの量（ｐｉｘｅｌ）を示した。実施の形態２のずれ量算出部２０５は、図１２（ｂ）において左上端から下端に向けてずれの量を変更しつつ直線を引いたと仮定したとき、その直線上に存在する“１”で表されるエッジの数をカウントし、ヒストグラムを作成した上でずれ量を求めるものである。
【００５０】
図１３（ａ）〜（ｊ）は、エッジが存在する点のずれ量を求めるため、それぞれのずれ量に対応して設けられたテンプレートに図１２（ｂ）のデータを当てはめた状態を示している。図１３（ａ）〜（ｊ）の各図において空白以外の部分がそれぞれのずれ量に応じて引いた直線上の点に該当し、その中で“１”が入っている部分が直線上に存在するエッジを表す。空白以外の部分の値を加算していくことにより、直線上に存在するエッジの数を求めることができる。すなわち、実施の形態２において図１２（ｂ）に示したデータの場合、ずれ量を０とした直線上にあるエッジの数は４個であり（図１３（ａ））、ずれ量を１とした直線上にあるエッジの数は４個（同（ｂ））、ずれ量を２とした直線上にあるエッジの数は６個（同（ｃ））、ずれ量を３とした直線上にあるエッジの数は１０個（同（ｄ））、ずれ量を４とした直線上にあるエッジの数は１８個でピークを持ち（同（ｅ））、ずれ量を５とした直線上にあるエッジの数は１０個（同（ｆ））、ずれ量を６とした直線上にあるエッジの数は３個（同（ｇ））、ずれ量を７とした直線上にあるエッジの数は３個（同（ｈ））、ずれ量を８とした直線上にあるエッジの数は２個（同（ｉ））、ずれ量を９とした直線上にあるエッジの数は２個（同（ｊ））となる。このようにずれ量に対応したテンプレートに当てはめることにより、直線上に存在するエッジの数を簡単に計数することができる。なお、図１３に示すテンプレートは手法の概念を示すものであり、これに限定するものではない。例えば、マトリクスを細分化する、マトリクスの各欄に重み付けをするなどにより、直線が２つの欄にまたがって引かれる場合でも、誤差が生じないようにしておくとよい。
【００５１】
実施の形態２では、例えば、図１３に示すテンプレートにより求められたデータのうち、直線上のエッジの個数が５個以下となるずれ量のデータを削除する。
削除した結果、エッジが５個以上重なる直線のずれ量は、２、３、４、５となる。さらに、２、３、４、５の部分の重心を求めると、約４の値が得られる。実施の形態２では、測距部２０７が、求められたずれ量４をもとにカメラ１０１から対象物までの距離を測定する。なお、実施の形態２では、図１３（ａ）〜（ｊ）に示すようなテンプレートのデータを予め距離測定装置に記憶させておき、図１２（ｂ）に示すデータと対照しながら各直線のずれ量を求めるようにすることもできる。あるいは、それぞれのテンプレートに該当する加算回路を設けて並列処理させることにより、高速処理させることもできる。
【００５２】
図１４は、以上述べた実施の形態２の距離測定方法を説明するためのフローチャートである。ここでは、ずれ量が０からＮまでの範囲において、ずれ量に対応する直線上に存在するエッジの数を求めるものとする。図示したフローチャートでは、先ず、ずれ量の値を０とおく（ステップＳ１４０１）。そして、ずれ量を０とした場合の直線上に存在するエッジの数を取得する（ステップＳ１４０２）。次に、処理に使ったずれ量が予め設定された最大値Ｎに達したか否か判断する（ステップＳ１４０３）。判断の結果、Ｎに達していない場合（ステップＳ１４０３：Ｎｏ）、ずれ量を１つ加算して（ステップＳ１４０４）再び直線上に存在するエッジの数を取得する。
【００５３】
一方、ステップＳ１４０３において、ずれ量がＮに達したと判断された場合（ステップＳ１４０３：Ｙｅｓ）、エッジ個数とずらし幅の関係を示すヒストグラムを作成し（ステップＳ１４０５）、直線上に存在するエッジの個数が予め定めた閾値以下の部分を削除し、残った（取得された直線上のエッジの数がしきい値以上）データからずれ量の重心を算出する（ステップＳ１４０６）。算出された重心をずれ量をもとにカメラ１０１から対象物までの距離を測定する（ステップＳ１４０７）。ステップＳ１４０６において閾値以下の部分を削除することにより、ノイズや、求めようとする直線以外のエッジを排除する。
【００５４】
以上の処理によれば、複数のカメラで撮像された一連の画像において検出されたエッジが構成する直線に交差が生じた場合にも、対応点を見誤ることがなく、適切な傾きを求めることができる。なお、実施の形態２の構成は、図１５に示すように、複数の撮像位置のうちの任意の位置で撮像された部分画像から抽出された対応点を中心にしてずれ量の変化率を変更し、所定の範囲を決定することもできる。この際、直線の略中間に位置する点を中心にしてずれ量の変化率を変更すれば、変更の中心点から上下の方向にそれぞれ対応点を計数することができるので、エッジの数の計算に必要な加算回路の数を半分にし、装置構成をいっそう簡易化してコストをも抑えることができる。
【００５５】
以上述べた実施の形態２によれば、対応点が形成する直線に交差が起こった場合にも、各直線の傾きを正確に求めることができる。このため、距離測定装置および距離測定方法の測定精度を高めると共に、信頼性をも高めることができる。
【００５６】
また、実施の形態１、実施の形態２の距離測定方法は、距離測定の方法をコンピュータに実行させるための距離測定プログラムとして提供することができる。
実施の形態１、実施の形態２の距離測定プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、実施の形態１、実施の形態２の距離測定プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【００５７】
【発明の効果】
以上説明したように、請求項１に記載の発明は、複数の画像の各々から対応点を見つけ出す処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる距離測定装置を提供することができるという効果を奏する。また、対応点の誤認識を防ぎ、より信頼性の高い距離測定装置を提供するという効果を奏する。さらに、対応点のずれ量を算出するのにかかる処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる距離測定装置を提供することができるという効果を奏する。
【００５８】
請求項２に記載の発明は、請求項１に記載の発明は、複数の画像の各々から対応点を見つけ出す処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる距離測定装置を提供することができるという効果を奏する。また、対応点の誤認識を防ぎ、より信頼性の高い距離測定装置を提供するという効果を奏する。さらに、対応点のずれ量を算出するのにかかる処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる距離測定方法を提供することができるという効果を奏する。
【００５９】
請求項３に記載の発明は、距離測定の精度がより高い距離測定方法を提供できるという効果を奏する。
【００６０】
請求項４に記載の発明は、ユーザにとってより使用しやすい距離測定方法を提供できるという効果を奏する。
【００６１】
請求項５に記載の発明は、対応点として不適切な点を取り除いていくことにより、測定精度をより高めることができる距離測定方法を提供できるという効果を奏する。
【００６２】
請求項６に記載の発明は、対応点の位置が交差する場合においても対応点の正確なずれ量を求めることによって距離測定の精度がより高い距離測定方法を提供できるという効果を奏する。
【００６３】
請求項７に記載の発明は、対応点を計数するのに必要な加算回路を小型化し、距離測定方法を実現する装置構成をより簡易化できるという効果を奏する。
【００６４】
請求項８に記載の発明は、対応点を計数するのに必要な加算回路を小型化し、距離測定方法を実現する装置構成をより一般的で、かつ簡易なものにできるという効果を奏する。
【００６５】
請求項９に記載の発明は、複数の画像の各々から対応点を見つけ出す処理を簡易化し、装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる距離測定方法をコンピュータに実行させるためのプログラム提供できるという効果を奏する。また、対応点の誤認識を防ぎ、より信頼性の高い距離測定方法をコンピュータに実行させるプログラムを提供できるという効果を奏する。さらに、傾きを算出するのにかかる処理を簡易化し、距離測定方法を実現する装置構成を簡易にすると共に処理時間を短縮することができるので、対象物を撮像しながらリアルタイムで距離を測定することができる距離測定方法をコンピュータに実行させるプログラムを提供できるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態１、実施の形態２に共通の距離測定装置を説明するための図である。
【図２】実施の形態１、実施の形態２に共通の画像処理部の構成を説明するためのブロック図である。
【図３】図２に示した画像処理部でなされる処理の概略を説明するための図である。
【図４】実施の形態１、実施の形態２のカメラから対象物の対応点までの距離を算出する方法を説明するための図である。
【図５】実施の形態１、実施の形態２のカメラから対象物の対応点までの距離を算出する方法を説明するための他の図である。
【図６】実施の形態１の点の連続性の判断と、連続しない点の除去、交換について説明するための図である。
【図７】実施の形態１の点の連続性の判断と、連続しない点の除去、交換について説明するための他の図である。
【図８】実施の形態１の点の連続性の判断と、連続しない点の除去、交換について説明するための他の図である。
【図９】実施の形態１の距離測定装置でなされる距離測定方法を説明するためのフローチャートである。
【図１０】実施の形態１で述べた距離測定方法の課題を説明するための図である。
【図１１】実施の形態２の画像処理部によってなされる処理を説明するための図である。
【図１２】実施の形態２の画像処理部によってなされる処理を説明するための他の図である。
【図１３】実施の形態２の画像処理部によってなされる処理を説明するための他の図である。
【図１４】実施の形態２の距離測定装置でなされる距離測定方法を説明するためのフローチャートである。
【図１５】実施の形態２の距離測定装置でなされる距離測定方法の他の例を示す図である。
【符号の説明】
１０１カメラ
１０３、１０５、１００１画像処理部
２０１特徴点抽出部
２０３対応点抽出部
２０５、１００５ずれ量算出部
２０７測距部

Claims

一直線上に複数配置される撮像手段と、
前記撮像手段によって撮像された各画像から、各画像の同一の位置にあるラインを含む範囲である部分画像を切り出す画像切出手段と、
前記画像切出手段によって各画像から切り出された部分画像にある特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段によって各画像から抽出された特徴点のうち、各画像で撮影対象物の同一の箇所を示す点である対応点を、各画像から切り出された部分画像にある特徴点の連続性に基づいて抽出する対応点抽出手段と、
前記対応点抽出手段によって抽出された対応点の各画像における位置のずれ量を算出するずれ量算出手段と、
前記ずれ量算出手段によって算出されたずれ量に基づいて、前記撮像手段と前記撮像対象物との距離を測定する測距手段と、を備えることを特徴とする距離測定装置。
一直線上に複数配置された撮像手段によって撮像された各画像から、各画像の同一の位置にあるラインを含む範囲である部分画像を切り出す画像切出ステップと、
前記画像切出ステップにおいて各画像から切り出された部分画像にある特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて各画像から抽出された特徴点のうち、各画像で撮影対象物の同一の箇所を示す点である対応点を、各画像から切り出された部分画像にある特徴点の連続性に基づいて抽出する対応点抽出ステップと、
前記対応点抽出ステップにおいて抽出された対応点同士の各画像における位置のずれ量を算出するずれ量算出ステップと、
前記ずれ量算出ステップにおいて算出されたずれ量に基づいて、前記撮像手段と前記撮像対象物との距離を測定する測距ステップと、を含むことを特徴とする距離測定方法。
前記特徴点抽出ステップは、前記部分画像の輝度が変化する点を検出し、検出された点を特徴点として抽出することを特徴とする請求項２に記載の距離測定方法。
前記特徴点抽出ステップは、各画像上の一方向において輝度が高まる点、前記一方向において輝度が低下する点の少なくともいずれか一方を特徴点として抽出し、
前記対応点抽出ステップは、輝度が高まる点を抽出して得た特徴点、輝度が低下する点を抽出して得た特徴点の少なくともいずれか一方を用いて前記対応点を抽出することを特徴とする請求項３に記載の距離測定方法。
前記対応点抽出ステップは、
部分画像の各々における特徴点の位置にかかる座標データを検出する座標検出ステップと、
前記座標検出ステップによって検出された座標データを各部分画像における配置順序にしたがって第１の方向に配列した行データを、各部分画像を撮影した前記撮像手段の配置にしたがって前記第１の方向と直交する第２の方向に配列することによって得られる行列データにおいて、第２の方向に配列された座標データのうちの隣り合う座標の変化率を算出する座標変化率算出ステップと、
前記座標変化率算出ステップによって算出された変化率が所定の値の範囲内であった場合に該変化率の算出に用いられた座標データに連続性があると判断する一方、前記変化率が所定の値の範囲以上、または以下である場合、前記変化率の算出に用いられた座標データに連続性がないと判断する連続性判断ステップと、を含み、
前記連続性判断ステップは、前記変化率が所定の値の範囲以上であるために座標に連続性がないと判断された場合、互いに連続性がないと判断された隣り合う座標データのうち第２の方向の先に配列された座標データ以前に配列された座標データを除去し、除去された座標データに代えて該座標データと第１の方向に隣接する座標データを配列した後、第２の方向に配列された座標データの先頭より連続性の判断を再開する第１の不連続処理工程と、
前記変化率が所定の値の範囲以下であるために座標に連続性がないと判断した場合、互いに連続性がないと判断された第２の方向に隣り合う座標データのうちの後に配列された座標データを除去し、除去された座標データに代えて該座標データと第１の方向に隣接する座標データを配列した後、配列された該座標データより連続性の判断を再開する第２の不連続処理工程と、
前記第１の不連続処理工程および前記第２の不連続処理工程を繰り返すことにより、前記連続性判断ステップによって前記行列データにおける座標データがすべて第２の方向について連続すると判断された場合、第２の方向に配列された座標データの各々が示す点を各部分画像における対応点として抽出する対応点抽出工程と、を含み、
前記行列データ全てに対して連続性の判断を行うことにより対応点を抽出することを特徴とする請求項２〜４のいずれか一つに記載の距離測定方法。
前記ずれ量算出ステップは、前記撮像手段の撮像位置に対する前記対応点同士のずれ量の変化率が所定の範囲にある対応点の数に基づいて前記ずれ量を求めることを特徴とする請求項２〜５のいずれか一つに記載の距離測定方法。
前記ずれ量算出ステップは、複数の撮像位置のうちの任意の位置で撮像された画像から抽出された対応点を中心にして前記ずれ量の変化率を変更し、前記所定の範囲を決定することを特徴とする請求項６に記載の距離測定方法。
前記ずれ量算出ステップは、撮像位置に対する前記対応点同士のずれ量の変化率が所定の範囲に対応点のヒストグラムを生成し、該ヒストグラムにおいて所定の数以上の対応点を含む範囲の重心の値を対応点のずれ量とすることを特徴とする請求項１〜７のいずれか一つに記載の距離測定方法。
一直線上に複数配置された撮像手段によって撮像された各画像から、各画像の同一の位置にあるラインを含む範囲である部分画像を切り出す画像切出ステップと、
前記画像切出ステップにおいて各画像から切り出された部分画像にある特徴点を抽出する特徴点抽出ステップと、
前記特徴点抽出ステップにおいて各画像から抽出された特徴点のうち、各画像で撮影対象物の同一の箇所を示す点である対応点を、各画像から切り出された部分画像にある特徴点の連続性に基づいて抽出する対応点抽出ステップと、
前記対応点抽出ステップにおいて抽出された対応点同士の各画像における位置のずれ量を算出するずれ量算出ステップと、
前記ずれ量算出ステップにおいて算出されたずれ量に基づいて、前記撮像手段と前記撮像対象物との距離を測定する測距ステップと、を含む距離測定方法を、コンピュータに実行させることを特徴とするプログラム。