JP2022155098A

JP2022155098A - 測距装置及び測距方法

Info

Publication number: JP2022155098A
Application number: JP2021058437A
Authority: JP
Inventors: 裕司安井; Yuji Yasui
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2021-03-30
Filing date: 2021-03-30
Publication date: 2022-10-13
Anticipated expiration: 2041-03-30
Also published as: JP7236487B2; CN115143940A; US20220319037A1

Abstract

【課題】簡素で高精度の測距装置を提供する。
【解決手段】測距装置は、撮像手段により時系列の画像を取得する画像取得部と、画像処理を行う処理部とを有する。処理部は、時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、複数の拡大画像の各々と対象画像との差分を求める。また、対象画像から被写体である物標に対応するオブジェクトを検出する。また、検出したオブジェクトのうちの着目オブジェクトの領域内の差分が最小となる拡大画像の拡大率に基づいて、着目したオブジェクトに対応する物標までの距離を特定する。
【選択図】図２

Description

本発明は情報処理装置に関し、特に車両等の移動体から対象物までの距離を画像に基づいて測定する測距装置及び測距方法に関する。

車両の自動運転や運転支援のために、歩行者や他車両などの物標までの距離を推定する技術がある。自動運転や運転支援のため、車両は、推定した距離に応じて運転者の注意を喚起したり、あるいは運転者による操作なしに自動的に制動をかけたりする。距離を推定する技術のひとつに、カメラで撮影した画像から被写体までの距離を推定するという技術がある。たとえば特許文献１には、入力映像に含まれた人の画像の足元の位置に基づいて、車両との距離に応じた距離別映像を抽出し、距離別映像を用いた合成映像を合成する技術が記載されている。また特許文献２には、時系列に撮影された複数の画像のオプティカルフローと移動体の速度とから画像中の物体までの距離を推定する技術が提案されている。

国際公開第２０１２／１６４８０４号公報国際公開第２０１４／１９９９２９号公報

しかしながら、特許文献１では足元の位置のずれが距離の精度を低下させるし、特許文献２では動きベクトル抽出という負荷の高い処理が必要とされる。

本発明は上記従来例に鑑みて成されたもので、画像に基づいて、軽負荷かつ高精度で距離を測定するための技術を提供することを目的とする。

上記目的を達成するために本発明は以下の構成を有する。
すなわち、本発明の一側面によれば、撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、前記複数の拡大画像の各々と前記対象画像との差分を求め、
前記対象画像から被写体である物標に対応するオブジェクトを検出し、
検出したオブジェクトのうちの着目オブジェクトの領域内の前記差分が最小となる前記拡大画像の拡大率に基づいて、前記着目したオブジェクトに対応する物標までの距離を特定する
ことを特徴とする測距装置が提供される。

本発明によれば、画像に基づいて、軽負荷かつ高精度で距離を測定することができる。

車両システムの構成を示した説明図である。距離を測定するための構成を示すブロック図である。距離情報を取得するための構成を示すブロック図である。検出物体情報を取得するための構成を示すブロック図である。距離を測定するための構成を示すブロック図である。視角と距離の関係を示す模式図である。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

［第一実施形態］
●車両用制御装置の構成
図１は、本発明の一実施形態に係る車両用制御装置のブロック図であり、車両１を制御する。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。なお本実施形態では、車両用制御装置により提供する運転支援は、緊急ブレーキや適応的追従走行、車線維持支援といった限定的な機能としているが、目的地を設定すれば自動運転まで行うような高度の機能としてもよい。

図１の制御装置は、制御ユニット２を含む。制御ユニット２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含む。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。

ＥＣＵ２０は、車両１の自動運転に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２は、車両の周囲状況を検知する検知ユニット４１の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部に固定して１つ設けられている。ＥＣＵ２２は、カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。また、画像中の物標までの距離を推定することができる。

ＥＣＵ２４は、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、記憶デバイスに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車輪速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替える。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群あるいはタッチパネル等であるが、音声入力装置も含まれてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。たとえば、画像から検知した物標までの距離が所定値を下回った場合や、あるいは推定された衝突までの時間が所定値を下回った場合には、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および／または停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

●画像に基づく距離推定機能
図２（Ａ）は、ＥＣＵ２２により実現される距離推定機能（すなわち測距装置）のブロック図である。この構成はＥＣＵ２２に含まれるハードウェア回路で実現されてもよいし、そこに含まれたＣＰＵによりメモリに記録したプログラムを実行することで実現されてもよい。またそれらの組み合わせにより実現してもよい。これは他のＥＣＵについても同様である。いずれの構成であっても、ＥＣＵ２２あるいはその他のＥＣＵは、情報処理装置あるいは画像処理装置あるいは信号処理装置として機能する。また測距装置としても機能してよい。

カメラ４１は単眼カメラなどの撮像装置であり、たとえば所定のフレームレートで映像、すなわち時系列の画像を撮影する。撮影した映像は、所定の時間間隔おきのフレームで構成され、それぞれのフレームをここでは画像と呼ぶ。撮影された画像は、所定の時間間隔で物体検出部２０１、距離情報生成部２１０に送られる。所定の時間間隔とはフレームレートの逆数であってもよいし、その整数倍であってもよい。

物体検出部２０１は、画像に含まれた、被写体である人や物などの物標に対応するオブジェクトを検出する。検出されたオブジェクトに関する情報は、二値検出物体情報として距離推定部２０２に入力される。二値検出物体情報は、検出された物標ごとに生成され、これらは画像ＯＢ（ｍ）（ｍ＝１～物標の数）とも呼ばれる。距離情報生成部２１０は、画像に含まれたオブジェクトに対応する物標ごとの距離を示す二値距離情報を生成する。生成された二値距離情報は距離推定部２０２に入力される。本例では二値距離情報は所定数（Ｎ個）生成され、これらは画像ＣＳ（ｎ）（ｎ＝１～Ｎ）とも呼ばれる。なおオブジェクトが検出されない場合には、距離の特定を行う必要はない。

距離推定部２０２は、入力された二値検出物体情報と二値距離情報とに基づいて検出された物体ごとの距離を推定あるいは特定する。詳しくは図５で説明するが、推定方法は、二値検出物体情報と二値距離情報との相関を示す値を生成し、画像中の物体に対して最も相関性の高い距離を特定することで、検出物体ごとの距離を推定するというものということができる。

●距離測定の概略
ここで本実施形態の距離測定の基礎となる画像の拡大率と距離との関連について説明する。画像ｋは画像ｋ－１よりも後に走行中の車両に固定されたカメラ４１から撮影された画像であり、視線方向に移動していない被写体は、画像ｋ－１に対して画像ｋでは拡大される。すなわち視角が大きくなる。しかも、拡大率は被写体までの距離によって異なる。たとえば車両が画像ｋ－１を撮影し、一定の距離を走行して画像ｋを撮影したとする。この場合、画像ｋに含まれた被写体である物標の、画像ｋ－１に対する拡大率は、被写体までの距離に応じて小さくなる。たとえば、画像ｋ－１と画像ｋとの撮影間隔（距離）をＤ、画像ｋの撮影時の物標Ｐまでの距離をＬ、画像ｋ－１の物標Ｐに対する画像ｋの物標Ｐの拡大率をＥとする。このとき拡大率Ｅは、Ｅ＝１＋Ｄ／Ｌであり、物標Ｐまでの距離Ｌが大きいほど小さい。これを利用すれば、拡大率Ｅと間隔Ｄとを特定することで、距離ＬをＬ＝Ｄ／（Ｅ－１）として求めることができる。

図６にその例の模式図を示す。被写体Ｐの実際の高さをＨ、画像ｋ－１撮影時の物標Ｐまでの距離をＬ＋Ｄ、画像ｋ撮影時の物標Ｐまでの距離をＬとする。すなわち画像ｋ－１を撮影し、距離Ｄだけ前進して、物標Ｐから距離Ｌの位置で画像ｋを撮影する。また、画像ｋ－１撮影時の物体Ｐの視角をφ１、画像ｋ撮影時の物標Ｐの視角をφ２とする。

撮影した画像に表れる物標Ｐに対応するオブジェクトの高さは、物標Ｐの視角をφとするとｔａｎφに比例する。すなわち画像に表れたオブジェクトの高さ（画素数）をｈとし、ｔａｎφを画素数に換算するための係数をｋとすると、ｈ＝ｋ・ｔａｎφと表せる。これを図６の物標Ｐに適用すると、画像ｋ－１、画像ｋそれぞれにおける物標Ｐの高さｈ１、ｈ２は、
ｈ１＝ｋ・ｔａｎφ1＝ｋ・（Ｈ／Ｌ＋Ｄ）
ｈ２＝ｋ・ｔａｎφ２＝ｋ・（Ｈ／Ｌ）
と表される。したがってＬ＋Ｄ，Ｌはそれぞれ、
Ｌ＋Ｄ＝Ｈ／ｔａｎφ１、Ｌ＝Ｈ／ｔａｎφ２
となり、
Ｌ／（Ｌ＋Ｄ）＝ｔａｎφ１／ｔａｎφ２
である。ここでｔａｎφ２／ｔａｎφ１は、画像ｋ－１における物標Ｐの高さに対する画像ｋにおける物標Ｐの高さの比、すなわち拡大率Ｅを示している。すなわち、
Ｌ／（Ｌ＋Ｄ）＝１／Ｅ
である。移動速度をｖ、撮影間隔をｔとすると、Ｄ＝ｖｔとなので、
Ｌ＝Ｄ／（Ｅ－１）＝ｖｔ／（Ｅ－１）（１）
となる。

速度ｖは車両１の速度であり、車輪速センサ７ｃなどから取得できる。また時間間隔ｔもたとえばフレームレートに基づいて決めておくことができる。そこで画像中のオブジェクト（物標）とその拡大率Ｅを特定することで、そのオブジェクト（物標）に対応する物標までの距離を特定できる。本実施形態の測距装置は、所定時間間隔で撮影した画像間ので拡大率Ｅを特定し、その拡大率に基づいて、拡大率に対応付けられた距離Ｌを当該物標までの距離として推定する。

●距離情報生成部
距離情報生成部２１０は、上記概略で説明したオブジェクトごとの拡大率Ｅを示す二値化距離情報を生成する。図２（Ｂ）は距離情報生成部２１０の詳細を示すブロック図である。カメラ４１で撮影された画像（これを画像ｋまたは対象画像と呼ぶ）はグレースケール化処理部２１１に入力されてグレースケール画像に加工される。カメラ４１がモノクロームカメラであれば特に加工は不要である。グレースケール化された画像ｋは画像バッファ２１２と差分算出二値化部２１４に入力される。

画像バッファ２１２は、次の画像が入力されるまで画像ｋを保存する。したがって画像バッファ２１２から出力される画像は画像ｋの直前の画像すなわち画像ｋ－１となる。なお直前の画像とは必ずしも時系列で撮影されるフレームすべてを対象としたものではなく、所定数のフレームをスキップして「直前」としてもよい。画像ｋ－１は拡大リサンプリング部２１３に入力される。

拡大リサンプリング部２１３は、画像ｋ－１を拡大し、リサンプリングする。拡大率は相異なるＮ通りの拡大率であり、したがってＮ個の拡大済画像ｋ－１（ｎ）が生成される。拡大済画像ｋ－１（ｎ）は差分算出二値化部２１４に入力される。

差分算出二値化部２１４は、入力された拡大済画像ｋ－１（ｎ）のそれぞれと、画像ｋとの間の差分を求める。差分は、対応する画素間の値の差を画素とする差分画像として出力される。さらに差分算出二値化部２１４は、各差分画像を二値化して二値化距離情報である画像ＣＳ（ｎ）を出力する。

図３に、距離情報生成部２１０の拡大リサンプリング部２１３と差分算出二値化部２１４による二値距離情報（画像ＣＳ（ｎ）（ｎ＝１～Ｎ））を生成する処理の模式図を示す。拡大リサンプリング部２１３は元の画像ｋ－１を拡大する。ここでは拡大率は１以上のＮ通りとしているが、拡大率１（等倍）の拡大は行わなくともよい。図３において、拡大された画像ｋ－１（ｎ）のそれぞれからは、画像ｋと同じサイズの領域が切り出されて画像３１１～画像３１４として出力される。切り出される範囲は本例では画像の中央としているが、これには限らない。また、１つの画像ｋ－１（ｎ）から切り出し位置を変えた複数の画像ｋ－１（ｎ）（ｐ）（ここでＰ＝１～切り出した数）を出力してもよい。

Ｎ個の拡大済画像ｋ－１（ｎ）はそれぞれ差分器３３０に入力され、画像ｋ（画像３０１）の対応する画素ごとの差分が求められる。求められた差分を画素とする画像を差分画像と呼ぶ。なお差分は差の大きさの尺度として参照されるので、求められる差分は絶対値であるのが望ましい。そのため、画素値には通常符号ビットがないところを、たとえば画素値に正の符号ビットを付加して差分を計算し、その結果符号ビットが反転した場合には２（１０ｂ）の補数を求めて絶対値化してよい。

差分画像は二値化器３４０に入力されて二値化画像に変換される。それが二値化距離情報（すなわち画像ＣＳ（ｎ）、ｎ＝１～Ｎ）３５１～３５４である。二値化距離情報では、画像ｋと画像ｋ－１（ｎ）との対応画素間の差が閾値以下であるような画素の値は１、そうでない画素の値は０となっている。すなわち、値１の画素（たとえば黒で示す）の部分は画像ｋと画像ｋ－１（ｎ）とで一致の程度が高く、値０の画素（たとえば白で示す）の部分は画像ｋと画像ｋ－１（ｎ）とで一致の程度が低い。これが、画像ｋ－１に対する倍率ごとに示されることになる。このように差分画像の二値化処理においては、単に閾値と比較して二値化するのではなく、閾値と比較して二値化した値をさらに反転している。

距離情報生成部２１０で生成される二値化距離情報は、画像ｋに含まれたオブジェクトそれぞれの距離に関する情報を含んでいる。たとえば拡大率Ｅ１で拡大された画像ｋ－１（ｎ）に着目すると、画像ｋ－１（ｎ）から生成された画像ＣＳ（ｎ）には、画像ｋ－１（ｎ）と画像ｋとで一致するオブジェクトの領域が画素値１で示されている。すなわちそのオブジェクトは、画像ｋでは、画像ｋ－１に対して拡大率Ｅ１で拡大されていると考えられる。倍率が多少変わっても部分的に一致はするかもしれないが、複数通りの拡大率の拡大画像のうちでは、最も一致する画素数が多い画像ｋ－１が最も一致度が高いと考えることができる。このことから、二値化距離情報すなわち画像ＣＳ（ｎ）（ｎ＝１～Ｎ）は、画像ｋに含まれたオブジェクトの、画像ｋ－１に対する拡大率を示す画像群であるといえる。

●物体検出処理
図４に物体検出部２０１による物体検出処理の一例を示す。物体検出部２０１では、画像ｋ（画像４０１）から、人や物などを含む物標を検出する。検出は、たとえば機械学習を用いることができる。画像中の人や物など、距離を求めようとする物標を学習させておき、学習済みの学習データを用いて画像から物標を検出する。もちろんこのほかにも、画像のエッジなどを検出し、その特徴から物標を特定してもよい。

物標が検出されると、検出された物標に対応するオブジェクトの領域が特定される。このオブジェクトの領域は、オブジェクトごとに異なる画像に示される。例えば画像４１０では領域４１１が、画像４２０では領域４２１が特定されている。物体検出部２０１はさらに、たとえばオブジェクトの領域を１、そのほかを０で表した二値画像を生成する。これが二値検出物体情報（画像ＯＢ（ｎ））である。図４の例では、画像４３０にはオブジェクト領域４３１が含まれ、画像４４０にはオブジェクト領域４４１が含まれている。このように二値検出物体情報には、画像に写された物標の領域が示されている。

●距離推定処理
図５に距離推定部２０２の構成を示す。距離推定部２０２には、画像ｋから生成された二値検出物体情報（画像ＯＢ（ｍ））と、画像ｋ－１から生成された二値距離情報（画像ＣＳ（ｎ））とが入力される。ここで二値検出物体情報に含まれた検出された物体はｍ（０≦ｍ≦Ｍ）で示され、二値距離情報に含まれた拡大率の数はｎ（１≦ｎ≦Ｎ）であるとする。なお、図示していないが、これらの情報は比較のために互いに同期がとられる。

距離推定部２０２はｎ個の内積器５１１を有している。内積器５１１のそれぞれに、複数の画像ＣＳ(n)に含まれる各画像が入力される。また内積器５１１のもう一方の入力には、選択器５０１により選択された画像ＯＢ（ｍ）のうちの一つの画像が入力される。すなわち、選択器５０１は、検出された物体のうちの一つを選択するものといえる。画像ＯＢ（ｍ）で特定された物標を物標ｍと呼ぶことにする。そして内積器５１１は、選択された画像ＯＢ（ｍ）と、画像ＣＳ（ｎ）それぞれとの内積を計算する。画像ＣＳ（ｎ）について計算された内積が距離判定パラメータＤＰ（ｎ）である。すなわちｎ番目の内積器５１１は、
PD(n) ＝ ΣΣ(OB_n(p, q)・CS_m(p, q))
という計算を行う。なお上式では、この前にOB（ｎ）、ＣＳ（ｍ）と表されていた画像をそれぞれＯＢ_n、ＣＳ_mと表している。また、ｐ、ｑは画像内の画素を示すインデックスであり、ここでは画素単位の一座標を示し、１≦ｐ≦Ｐ、１≦ｑ≦Ｑとする。２つのΣは、ｐ、ｑそれぞれについて１から最大値までの和を示す。これにより、物体が検知された領域内における、画像ｋと拡大した画像ｋ－１との一致の程度が、距離判定パラメータＰＤ（ｎ）により示される。

相異なる倍率で拡大されている画像ＣＳ（ｎ）のそれぞれについて算出された距離判定パラメータＰＤ（ｎ）が最大値判定部５２２に入力され、入力されたうちの最大値のインデックスｎが出力される。このインデックスは、Ｎ個の内積器５１１のうち、最大値を出力した内積器を示している。内積器が決まれば元の画像ｋ－１の拡大率も決まるから、このインデックスは、物標ｍについての、画像ｋ－１に対する画像ｋでの拡大率を示すインデックスである。これを距離インデックス（Ｉｍａｘ（ｍ））と呼ぶ。

距離インデックス（Ｉｍａｘ（ｍ））は検出物体距離推定部５２３に入力されて、物標ｍの距離が特定される。距離の特定は、本実施形態では、予め用意したテーブル等のデータセットを参照することにより行う。たとえば画像の撮影間隔時間を固定値とし、車両の速度と距離インデックスとをパラメータとして、それらの値と距離とを対応付けた所定のデータセット、たとえば二次元テーブルを用意しておく。そして、検出物体距離推定部５２３は、取得した車速と決定された距離インデックスとに対応する距離を、当該物標に関して特定された距離として出力する。距離インデックスなどのパラメータと距離との対応付けは例えば実験的に決定してもよいし、或いは式（１）に従って決定してもよい。

もちろん他の方法を採用してもよく、例えば車輪速センサ７ｃから車速ｖを取得し、所定の撮影間隔を用い、また距離インデックス（Ｉｍａｘ（ｍ））に対応する拡大率Ｅを特定する（拡大率とインデックスとは予め紐づけておいてよい）。そして式（１）のように、Ｌ＝ｖｔ／（Ｅ－１）として距離を算出してよい。

以上は一つの画像ＯＢ（ｍ）に対する処理である。一つの画像ＯＢ（ｍ）すなわち一つの物標に対する距離の特定が済んだなら、選択部５０１は未処理の次の画像ＯＢ（ｍ＋１）を選択して出力する。そして画像ＯＢ（ｍ＋１）に対して上記処理を実行する。これにより物標ｍ＋１までの距離を特定することができる。これは生成された画像ＯＢ（ｍ）を対象として実行され、画像ｋに含まれた全オブジェクトに関して、対応する物標までの距離が特定される。

以上の構成及び処理により本実施形態の測距装置は画像、特に単眼カメラで撮影した画像から、画像に写された物標までの距離を特定することができる。この構成では、単純な処理を組み合わせて距離を特定できる。

なお、画像ＣＳ（ｎ）は、画像ｋと画像ｋ－１との差分が閾値よりも小さい画素を１で示す二値画像であるので、最大値判定部５２２は、オブジェクト領域内における画像ｋと画像ｋ－１との差分が最も小さい画像ｋ－１のインデックスを出力するともいえる。

［他の実施形態］
画像ｋ－１を拡大して切り出す際に、切り出す領域の位置を変えて、１つの拡大率で拡大した画像ｋ－１から複数の拡大画像を生成してもよい旨を第一実施形態で述べた。これをさらに詳しく説明すると、１つの拡大画像ｋ－１から生成された複数の拡大画像のうち、画像ｋとの相関が最も高い一つをその拡大率の拡大画像の代表とし、そのほかは廃棄してもよい。画像ｋとの相関は、たとえば二値化器３４０による二値化後の画素値の総和で示される。この例では二値化後の画素値の総和が最大の画像を代表としてよい。二値化後には、画像ｋと一致している部分は画素値１で示されるためである。これにより差分算出二値化部２１４からの出力は、第一実施形態と同様に、拡大率がＮ通りであれば、Ｎ個の画像ＣＳ（ｎ）となる。したがって距離推定部２０２による処理は、第一実施形態と同様でよい。

これにより、二値距離情報に含まれる物標ごとの距離を示す情報の精度をより向上させることができる。

●実施形態のまとめ
上記実施形態は以下の情報処理装置を少なくとも開示する。

１．上記実施形態の測距装置は、
撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、前記複数の拡大画像の各々と前記対象画像との差分を求め、
前記対象画像から被写体である物標を検出し、
前記差分が最小となる前記拡大画像の拡大率に基づいて、検出した前記物標までの距離を特定する。
この構成により、画像に含まれた物標までの距離を測定できる。

２．上記実施形態の測距装置では、
前記処理部は、検出した前記物標それぞれに対応付けて前記対象画像を二値化し、二値化した前記対象画像それぞれと二値化した前記複数の拡大画像それぞれとの差分を求める。
この構成により、画像に含まれた物標ごとに対象画像を二値化することで、画像に含まれた複数の物標の処理を容易化することができる。

３．上記実施形態の測距装置では、
前記処理部は、検出した前記物標ごとに前記差分が最小となる前記拡大画像の拡大率に基づいて、前記物標ごとの距離を特定する。
この構成により、画像に含まれた物標ごとに、当該物標までの距離を特定できる。

４．上記実施形態の測距装置では、
前記処理手段は、前記対応する画素の間の差を二値化して反転した値の前記着目オブジェクトの領域内の総和が最大となる前記拡大画像を、前記差分が最小となる拡大画像とする。
この構成により、演算が簡素化されて処理負荷が軽減される。

５．上記実施形態の測距装置では、
前記処理手段は、拡大率に対応付けて距離が登録された所定のデータセットを用いて、前記物標までの距離を特定する。
この構成により、距離の特定を所定のデータセットを参照して行うことができ、処理負荷が軽減される。

６．上記実施形態の測距装置では、
前記処理手段は、前記拡大率に加えて、さらに前記撮像手段の移動する速度に対応付けて距離が登録された所定のデータセットを用いて、前記物標までの距離を特定する。
この構成により、距離をインデックスとすることで、特定した速度の精度をより向上させることができる。

７．上記実施形態の測距装置では、
前記処理手段は、前記拡大率に加えて、さらに前記撮像手段の移動する速度と、前記基準画像と前記対象画像との撮影の時間間隔とに基づいて、前記物標までの距離を特定する。
この構成により、より精度の高い距離の特定が可能となる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

２０－２９ＥＣＵ、４１カメラ

Claims

撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有し、
前記処理部は、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、前記複数の拡大画像の各々と前記対象画像との差分を求め、
前記対象画像から被写体である物標を検出し、
前記差分が最小となる前記拡大画像の拡大率に基づいて、検出した前記物標までの距離を特定する
ことを特徴とする測距装置。
請求項１に記載の測距装置であって、
前記処理部は、検出した前記物標それぞれに対応付けて前記対象画像を二値化し、二値化した前記対象画像それぞれと二値化した前記複数の拡大画像それぞれとの差分を求める
ことを特徴とする測距装置。
請求項1または２に記載の測距装置であって、
前記処理部は、検出した前記物標ごとに前記差分が最小となる前記拡大画像の拡大率に基づいて、前記物標ごとの距離を特定する
ことを特徴とする測距装置。
請求項２に記載の測距装置であって、
前記処理部は、前記対応する画素の間の差を二値化して反転した値の前記着目オブジェクトの領域内の総和が最大となる前記拡大画像を、前記差分が最小となる拡大画像とする
ことを特徴とする測距装置。
請求項１乃至４のいずれか一項に記載の測距装置であって、
前記処理部は、拡大率に対応付けて距離が登録された所定のデータセットを用いて、前記物標までの距離を特定する
ことを特徴とする情報処理装置。
請求項５に記載の測距装置であって、
前記処理部は、前記拡大率に加えて、さらに前記撮像手段の移動する速度に対応付けて距離が登録された所定のデータセットを用いて、前記物標までの距離を特定する
ことを特徴とする測距装置。
請求項１乃至４のいずれか一項に記載の測距装置であって、
前記処理部は、前記拡大率に加えて、さらに前記撮像手段の移動する速度と、前記基準画像と前記対象画像との撮影の時間間隔とに基づいて、前記物標までの距離を特定する
ことを特徴とする測距装置。
撮像手段により時系列の画像を取得する画像取得部と、
画像処理を行う処理部とを有する測距装置による測距方法であって、
前記処理部が、
前記時系列の画像のうち、対象画像よりも前に取得した基準画像を、相異なる複数通りの拡大率で拡大した複数の拡大画像を生成し、前記複数の拡大画像の各々と前記対象画像との差分を求め、
前記対象画像から被写体である物標を検出し、
前記差分が最小となる前記拡大画像の拡大率に基づいて、検出した前記物標までの距離を特定する
ことを特徴とする測距方法。