JP2017167126A - 測距装置及び移動体 - Google Patents

測距装置及び移動体 Download PDF

Info

Publication number
JP2017167126A
JP2017167126A JP2017031363A JP2017031363A JP2017167126A JP 2017167126 A JP2017167126 A JP 2017167126A JP 2017031363 A JP2017031363 A JP 2017031363A JP 2017031363 A JP2017031363 A JP 2017031363A JP 2017167126 A JP2017167126 A JP 2017167126A
Authority
JP
Japan
Prior art keywords
distance
distance measuring
parallax
measuring device
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017031363A
Other languages
English (en)
Inventor
章成 高木
Akinari Takagi
章成 高木
和哉 野林
Kazuya Nohayashi
和哉 野林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to US15/450,321 priority Critical patent/US10690495B2/en
Publication of JP2017167126A publication Critical patent/JP2017167126A/ja
Priority to US16/876,270 priority patent/US11808607B2/en
Priority to JP2021163537A priority patent/JP7266652B2/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】測距範囲の遠距離端において測距精度が低下するのを抑制することができ、広い距離範囲で高精度な測距を行うことができる測距装置を提供する。
【解決手段】測距装置は、固定焦点光学系である光学系と、撮像素子12と、対象物の画像に基づいて距離情報を取得する距離情報取得部とを備え、距離情報取得部は、光学系の射出瞳30における測距用瞳31,32を通過する測距用光束34,35のそれぞれから形成される一対の画像の視差に基づいて対象物の距離情報を取得し、光学系は、測距範囲の遠距離端Eに存在する対象物の視差が近距離端Eに存在する対象物の視差よりも短くなるように構成されている。
【選択図】図5

Description

本発明は、測距装置及び移動体に関し、特に、撮像面位相差方式によって距離を測定する高精度な測距を行うことができる測距装置及び移動体に関する。
車両、ドローンやロボットを含む移動体において当該移動体の移動を支援するために、移動体の周辺物、例えば、障害物と移動体の距離を測定することが求められている。特に、衝突回避や他物体追従等の移動支援を行うためには障害物の画像を用いた認識処理も必要となることから、移動体では障害物との距離を測定するために撮像装置としてのカメラが多用されている。カメラにおいて、画像だけでなく距離も取得する方法として撮像面位相差方式が知られている(特許文献1)。撮像面位相差方式では、カメラの光学系の射出瞳における異なる2つの領域(部分瞳)を通過した光束によって形成される一対の画像の視差を求め、当該視差から三角測量の原理に基づいて被写体の距離情報(像信号の位相差)を測定する。撮像面位相差方式を用いたカメラでは、例えば、撮像素子の各画素が2つの光電変換部(フォトダイオード)を有する。撮像面位相差方式では、各光電変換部に入射する光束によって形成される像(光学像)が変換された電気信号(以下、「画像信号」という。)から一対の画像の視差を求める一方、各光電変換部の画像信号を合算して対象物の画像を取得する。
一方、当該カメラを移動体に適用する場合、小型化及び耐久性が求められることから、通常、当該カメラにオートフォーカス機能を付与することは無く、カメラの焦点は固定され、測距可能な距離範囲(以下、「測距範囲」という。)の中心に合焦位置が設定される。
特開2013−190622号公報
しかしながら、三角測量では対象物までの距離の約二乗に比例して距離の測定の精度(以下、「測距精度」という。)が低下するため、測距範囲の遠距離端では測距精度が低下するというおそれがある。
本発明の目的は、測距範囲の遠距離端において測距精度が低下するのを抑制することができ、広い距離範囲で高精度な測距を行うことができる測距装置及び移動体を提供することにある。
上記目的を達成するために、本発明の測距装置は、固定焦点光学系である光学系と、前記光学系からの光束を受光する撮像素子と、前記撮像素子からの画像信号に基づいて距離情報を取得する距離情報取得部とを備える測距装置であって、前記距離情報取得部は、前記光学系の射出瞳の第1の領域を通過する対象物からの光束に基づく第1の画像と、前記射出瞳の第2の領域を通過する前記対象物からの光束に基づく第2の画像との視差に基づいて前記対象物の前記距離情報を取得し、前記光学系は、前記測距装置から100mの距離に存在する対象物の前記視差が前記測距装置から1mの距離に存在する対象物の前記視差よりも短くなるように構成されていることを特徴とする。
なお、本発明のその他の側面については、以下で説明する各実施の形態で明らかにする。
本発明によれば、測距範囲の遠距離端において測距精度が低下するのを抑制することができ、広い距離範囲で高精度な測距を行うことができる。
本発明の第1の実施の形態に係る測距装置の構成を概略的に示すブロック図である。 図1における撮像素子の構成を概略的に示す正面図である。 撮像面位相差方式による距離測定の原理を説明するための図である。 撮像面位相差方式を用いた測距装置の測距精度について説明するための図である。 本発明の第1の実施の形態における視差0位置及び測距範囲の関係を説明するための図である。 測距範囲の遠距離端側にずらされた視差0位置が合焦位置と一致する場合について説明するための図である。 測距範囲の遠距離端側にずらされた視差0位置が合焦位置と一致しない場合について説明するための図である。 本発明の第1の実施の形態における光学系の射出瞳を示す図である。 撮像兼測距用画素における各PDの配置を説明するための図である。 光学系の射出瞳の変形例及び撮像兼測距用画素における各PDの配置の変形例を説明するための図である。 本発明の第2の実施の形態に係る移動体としての自動車に運転支援システムを搭載した状態を概略的に説明するための図である。 本発明の第2の実施の形態に係る移動体としての自動車における運転支援システムの構成を概略的に説明するための図である。 本発明の第2の実施の形態に係る移動体としての自動車における運転支援システムによる衝突回避処理を示すフローチャートである。 対象物が遠距離端に存在する場合の視差の最大値である2画素に対応する距離を説明するための図である。
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。なお、本実施の形態に記載されている構成要素はあくまで例示に過ぎず、本発明の範囲は本実施の形態に記載されている構成要素によって限定されることはない。
まず、本発明の第1の実施の形態について説明する。図1は、本発明の実施の形態に係る測距装置の構成を概略的に示すブロック図である。
図1において、測距装置は、固定焦点光学系である光学系11及び多数の画素が配列された撮像素子12を有するカメラ10と、画像解析部13と、距離情報取得部14とを備える。光学系11は光軸に沿って配列された、例えば、2枚のレンズ11a,11bを有し、対象物の像を撮像素子12上に結像する。図2に示すように、撮像素子12が有する複数の画素は複数の撮像用画素12aと、複数の測距用画素12bとに区分される。なお、図2では煩雑さをなくすため、左上側の複数の画素の配列の態様を部分的に示すに留まり、撮像素子12の全面における複数の画素の配列の態様は図示を省略する。各撮像用画素12a及び各測距用画素12bは各々1つの光電変換部としての光電変換素子、例えば、フォトダイオード(以下、「PD」という。)を有する。各撮像用画素12aは光学系11の射出瞳の部分的領域(以下、「部分瞳」という。)を通過する光束を各々が受光して対象物の画像信号を形成する。また、各測距用画素12bは各々が光学系11の射出瞳における2つの異なる測距用の部分瞳を通過する光束のいずれかを受光する。撮像素子12では、例えば、ベイヤー配列に従い、2行×2列の4画素のうち対角の2画素としてG(緑色)の分光感度を有する撮像用画素12aが配置され、他の2画素としてR(赤色)とB(青色)の分光感度を有する撮像用画素12aが1つずつ配置される。各撮像用画素12aが有する特定色の分光感度は、各撮像用画素12aが有する原色系のカラーフィルタによって付与される。また、撮像素子12では、一部の2行×2列の画素において、対角の2つのGの分光感度を有する撮像用画素12aをそのまま残し、RとBの分光感度を有する撮像用画素12aが測距用画素12bに置き換えられる。撮像素子12では、一部の2行×2列の画素において対角の2つの測距用画素12bが、各測距用の部分瞳を通過した光束をそれぞれ受光することによって対象物の一対の画像信号を出力する。画像解析部13は出力された画像信号に対して画像処理を施し、さらに、画像信号を解析して画像に含まれている対象物の特徴情報を取得する。距離情報取得部14は画像処理が施された画像信号から一対の画像の視差を算出し、さらに、算出された視差に基づいて対象物の距離を算出する。すなわち、測距装置は撮像面位相差方式によって対象物の距離情報を測定する。なお、本明細書では、以下、対象物の距離情報を、対象物のまで距離、デフォーカス量、視差(像ズレ量、位相差)等の対象物の位置に関する情報のことであると定義する。画像信号から一対の画像の視差を算出する際、必ずしも撮像素子12から出力された画像信号に画像処理を施す必要はない。例えば、撮像素子12は画像解析部13を経由することなく距離情報取得部14へ画像信号を出力し、距離情報取得部14は画像信号から距離情報を生成してもよい。
上述した撮像素子12では、2つの測距用画素12bが各測距用の部分瞳を通過した光束をそれぞれ受光して一対の画像信号を形成したが、後述する1つの撮像兼測距用画素12cが各測距用の部分瞳を通過した光束を受光して一対の画像信号を形成してもよい。この場合、撮像兼測距用画素12cは少なくとも2つPDを有し、各PDが各測距用の部分瞳を通過した光束をそれぞれ受光する。また、撮像兼測距用画素12cは各PDが受光する各測距用の部分瞳を通過した光束を合成して対象物の画像信号を形成する。したがって、撮像素子12のほぼ全域において撮像兼測距用画素12cを配置してもよい。なお、本実施の形態では、カメラ10において光学系11の各レンズ11a,11bは固定され、いわゆるオートフォーカス機能は省略されている。
図3は、撮像面位相差方式による距離測定の原理を説明するための図である。具体的に、図3(A)は一対をなす2つの測距用画素12bがそれぞれ形成する画像信号を用いて距離測定を行う場合を示す。図3(B)は図3(A)における複数の画素を光軸方向から眺めた場合を示す。図3(C)は1つの撮像兼測距用画素12cが形成する一対の画像信号を用いて距離測定を行う場合を示す。なお、図3(A)及び図3(C)では撮像用画素12a、各測距用画素12bや撮像兼測距用画素12cが側方から眺めた状態で描画される。
まず、図3(A)において、光学系11の射出瞳30は、水平方向(図中の横方向,以下、「視差方向」という。)に関して射出瞳30の両端近傍にそれぞれ位置する2つの測距用の部分瞳(以下、「測距用瞳」という。)31,32(第1の領域、第2の領域)を有する。また、射出瞳30は視差方向において各測距用瞳31,32に挟まれて射出瞳30の略中央に位置する撮像用の部分瞳(以下、「撮像用瞳」という。)33(第3の領域)を有する。測距用瞳31,32の各々からは測距用光束34,35が射出されて一対の測距用画素12bの各々に入射する。また、撮像用瞳33からは撮像用光束36が射出されて撮像用画素12aに入射する。各測距用画素12bはマイクロレンズ37と、該マイクロレンズ37を介して射出瞳30と対向するPD38とを有する。さらに、各測距用画素12bは、マイクロレンズ37及びPD38の間に配置されてPD38を部分的にマイクロレンズ37と対峙させる開口39を有する遮光膜40を有する。また、撮像用画素12aはマイクロレンズ41と、該マイクロレンズ41を介して射出瞳30と対向するPD42とを有する。さらに、撮像用画素12aはマイクロレンズ41及びPD42の間に配置されてPD42を部分的にマイクロレンズ41と対峙させる開口65を有する遮光膜66を有する。
一対の測距用画素12bでは、各マイクロレンズ37が光学系11の像面近傍に配置され、各マイクロレンズ37は測距用光束34、35を対応する遮光膜40(対応する開口39)へ集光させる。光学系11及び各マイクロレンズ37は射出瞳30及び対応する遮光膜40(対応する開口39)が光学的に共役になるように構成される。したがって、各マイクロレンズ37によって各遮光膜40の各開口39の形状が射出瞳30における各測距用瞳31,32へ投影される。すなわち、各測距用瞳31,32の配置(位置、大きさ((面積))は各遮光膜40の各開口39の位置、大きさによって規定される。また、撮像用画素12aでは、マイクロレンズ41が光学系11の像面近傍に配置され、マイクロレンズ41は撮像用光束36を遮光膜66(開口65)へ集光させる。さらに、撮像用画素12aでは、光学系11及びマイクロレンズ41は射出瞳30及び遮光膜66(開口65)が光学的に共役になるように構成される。したがって、マイクロレンズ41によって開口65の形状が射出瞳30における撮像用瞳33へ投影される。すなわち、撮像用瞳33の配置(位置、大きさ(面積))は遮光膜66の開口65の位置、大きさによって規定される。一対の測距用画素12bの各PD38は、測距用瞳31,32をそれぞれ通過する測距用光束34,35から各マイクロレンズ37によって形成される像から光電変換された画像信号を出力する。本実施の形態では、出力された画像信号に対して像ズレ検出演算処理(相関処理、位相差検出処理)等を施すことにより、一対の画像(以下、それぞれ「第1の画像」、「第2の画像」という。)の視差を算出する。さらに、当該視差から三角測量の原理に基づいてデフォーカス量や対象物の距離を算出する(例えば、米国特許出願公開第2015/0092988号明細書参照)。また、撮像用画素12aのPD42は、撮像用瞳33を通過する撮像用光束36からマイクロレンズ41によって形成される像が光電変換された画像信号を出力し、当該画像信号から対象物の撮影画像(以下、「第3の画像」という。)が形成される。なお、図3(A)及び図3(B)では遮光膜40や遮光膜66を設けたが、これらの遮光膜は省略してもよい。この場合、PD38やPD42の位置、大きさを開口39や開口65の位置、大きさと同じにすることにより、上述した各測距用瞳31,32の配置や撮像用瞳33の配置を規定することができる。
また、図3(C)では、測距用瞳31,32の各々から測距用光束34,35が射出されて撮像兼測距用画素12cに入射する。撮像用瞳33からは撮像用光束36が射出されて撮像兼測距用画素12cに入射する。撮像兼測距用画素12cはマイクロレンズ43と、該マイクロレンズ43を介して射出瞳30と対向するPD44〜46とを有する。撮像兼測距用画素12cでは、マイクロレンズ43が光学系11の像面近傍に配置され、マイクロレンズ43は測距用光束34、35及び撮像用光束36を各PD44〜46へ集光させる。光学系11及びマイクロレンズ43は射出瞳30及びPD44〜46が光学的に共役になるように構成される。したがって、マイクロレンズ43により、PD44の形状が射出瞳30における測距用瞳31へ投影される。また、マイクロレンズ43により、PD45の形状が射出瞳30における測距用瞳32へ投影される。さらに、マイクロレンズ43により、PD46の形状が射出瞳30における撮像用瞳33へ投影される。すなわち、各測距用瞳31,32及び撮像用瞳33の配置(位置、大きさ)はPD44〜46の位置、大きさによって規定される。撮像兼測距用画素12cのPD44,45は、測距用瞳31,32をそれぞれ通過する測距用光束34,35からマイクロレンズ43によって形成される像が光電変換された画像信号を出力する。ここでも、出力された画像信号に対して像ズレ検出演算処理(相関処理、位相差検出処理)等を施すことにより、一対の画像(第1の画像、第2の画像)の視差を算出する。さらに、当該視差から三角測量の原理に基づいてデフォーカス量や対象物の距離を算出する。また、撮像兼測距用画素12cのPD46は、撮像用瞳33を通過する撮像用光束36からマイクロレンズ43によって形成される像が光電変換された画像信号を出力し、当該画像信号から対象物の画像(第3の画像)が形成される。
図4は、撮像面位相差方式を用いた測距装置の測距精度について説明するための図である。なお、図4(A)乃至図4(C)では、理解を容易にするために各測距用瞳31,32を通過する測距用光束34,35の中心線のみが描画される。また、光学系11を代表してレンズ11aのみが描画され、便宜的に、レンズ11aの全面が射出瞳30を構成するものとする。
通常、オートフォーカス機能を有さない固定焦点光学系を有する測距装置では、予め測距範囲が設定される。従来は、各測距用光束34,35から形成される一対の画像の視差が0となる位置(以下、「視差0位置D」という。)が、測距範囲の遠距離端E及び近距離端Eの中間点(ほぼ中点)に位置するように、光学系11が構成されていた(図4(A))。より具体的には、視差0位置Dが、その中点よりも少しだけ近距離端E側に位置するように、その光学系11が構成されていた。すなわち、撮像画像を認識処理に用いるには測距範囲内において像のボケが少ないことが望ましいため、測距範囲の両端で像のボケサイズが同じになるように合焦位置を固定していた。このとき、視差0位置Dにおける対象物の測距用光束34から形成される像51及び測距用光束35から形成される像52は重なる。なお、図中において、像51及び像52は入射角に対する強度分布として示される。この測距装置ではレンズ11aから視差0位置Dまでの距離も予め設定され、視差0位置Dまでの距離と、対象物の一対の画像信号の視差とに基づいて三角測量の原理を用い、レンズ11aから対象物の距離(距離情報)が得られる。
ここで、視差0位置Dよりも遠距離端E側(以下、単に「遠距離端E側」という。)において、対象物が距離lだけ遠距離端Eへ向けて移動したとき(分かり易さのために、対象物が遠距離端Eまで移動したとして図示している)、図4(B)に示すように、像51の重心及び像52の重心の差(視差)はdからdに変化する。一方、視差0位置Dよりも近距離端E側(以下、単に「近距離端E側」という。)において、対象物が距離lだけ近距離端Eへ向けて移動したとき(分かり易さのために、対象物が近距離端Eまで移動したとして図示している。)、図4(C)に示すように、視差はdからdに変化する。ここで、対象物が同じ距離lだけ移動した場合、遠距離端E側における測距用光束34,35の入射角の変化量は、近距離端E側における測距用光束34,35の入射角の変化量に比べて小さい。したがって、対象物が同じ距離lだけ移動した場合、遠距離端E側における視差の変化量|d−d|は、近距離端E側における視差の変化量|d−d|よりも小さい。すなわち、遠距離端E側では対象物が移動しても視差の変化量が少ないため、三角測量の原理を用いる撮像面位相差方式では測距精度が近距離端E側よりも低下する。一般化すると、視差の変化量はレンズ11aから対象物の距離の約二乗の逆数に比例する。すなわち、レンズ11aから対象物までが遠いほど、視差の変化量が少なくなり、三角測量の原理を用いる撮像面位相差方式では測距精度が低下する。本実施の形態では、これに対応して、視差0位置Dを遠距離端E側にずらす。
図5は、本実施の形態における視差0位置及び測距範囲の関係を説明するための図である。なお、図5(A)乃至図5(C)でも、理解を容易にするために各測距用瞳31,32を通過する測距用光束34,35の中心線のみが描画される。また、光学系11を代表してレンズ11aのみが描画され、便宜的に、レンズ11aの全面が射出瞳30を構成するものとする。
本実施の形態に係る測距装置では、遠距離端Eがレンズ11aから、例えば、100m、若しくは50mに設定され、近距離端Eがレンズ11aから、例えば、1m、若しくは2mに設定される。また、当該測距装置では、視差0位置Dが遠距離端E側に位置するように、光学系11が構成される(図5(A))。これにより、測距範囲において近距離端E側よりも測距精度が低下する遠距離端E側を短くすることができる。すなわち、測距精度が低下する範囲を少なくすることができるので、測距範囲全体における測距精度の平均的信頼性を向上させることができる。
また、一般的に、三角測量では視差0位置Dから対象物が遠ざかると、対象物の像がボケて撮像素子12において対象物の画像信号の信号強度が低下し、さらに、対象物の像そのものが変形するため、対象物の像の重心が求め難い。その結果、測距精度が低下する。一方、対象物が視差0位置Dの近くに存在すると、対象物の像はボケにくく、対象物の画像信号の信号強度が低下せず、且つ対象物の像は変形しにくいため、対象物の像の重心が求め易い。その結果、測距精度は向上する。ここで、本実施の形態では、視差0位置Dが遠距離端E側に位置するため、測距範囲において相対的に視差0位置Dから遠距離端Eまでが短くなり、遠距離端E側において対象物が視差0位置Dから遠ざかりにくい。その結果、遠距離端E側において測距精度が低下するのを抑制することができる。
一方、本実施の形態では、相対的に視差0位置Dから近距離端Eまでが長くなり、近距離端E側において対象物が視差0位置Dから遠ざかり易いことから、近距離端Eにおける測距精度が低下することが懸念される。しかしながら、上述したように、レンズ11aから対象物までが遠いほど、測距精度が低下する。換言すれば、レンズ11aから対象物までが近いほど、測距精度が向上する。したがって、本実施の形態では、近距離端E側において、視差0位置Dから遠ざかることに起因する測距精度の低下を、レンズ11aから対象物までが近くなることに起因する測距精度の向上が補う。これにより、近距離端E側において測距精度が低下するのを抑制することができる。
本実施の形態では、上述したように、視差0位置Dが遠距離端E側に位置するため、対象物が遠距離端Eに存在する場合の視差d(図5B)が、対象物が近距離端Eに存在する場合の視差d(図5C)よりも短くなる。このとき、視差dが、視差dの1.2倍以上になるように視差0位置Dを設定すると、製造誤差などに影響されず、測距精度の低下を抑制できる。特に、視差dが、視差dの2.0倍以上になるように視差0位置Dを設定することにより、遠距離端E側と近距離端E側の測距精度低下抑制効果を両立できる。
図6は、測距範囲の遠距離端側にずらされた視差0位置が合焦位置と一致する場合について説明するための図である。なお、図6では、理解を容易にするために各測距用瞳31,32及び撮像用瞳33を通過する測距用光束34,35(図中実線で示す)及び撮像用光束36(図中破線で示す)がそのまま描画される。また、カメラ10の合焦位置Fとして撮像用瞳33に関して撮像素子12と光学的に共役となる光軸上の位置が設定される。さらに、光学系11を代表してレンズ11aのみが描画され、便宜的に、レンズ11aの全面が射出瞳30を構成するものとする。
図6では、視差0位置Dが合焦位置Fと一致するように光学系11が構成される。このとき、結果として合焦位置Fも遠距離端E側にずれる。これにより、遠距離端Eに存在する対象物の撮像用光束36から形成される像のボケサイズ(錯乱円)Φが近距離端Eに存在する対象物の撮像用光束36から形成される像のボケサイズΦよりも小さくなる。なお、遠距離端Eにおける像のボケサイズΦは撮像素子12において2画素未満分になるように設定される。このとき、近距離端における像のボケサイズΦが認識処理で許容可能な最大ボケサイズ以下となるように、撮像用瞳33の大きさを決める。なお、近距離では、遠距離に比べて物体が大きく映るため、認識処理におけるボケサイズの許容値は近距離側の方が大きい。したがって、近距離端における像のボケサイズΦが遠距離端Eにおける像のボケサイズΦより大きくなっても、認識処理の精度が低下するのを抑制することができる。
図7は、測距範囲の遠距離端側にずらされた視差0位置が合焦位置と一致しない場合について説明するための図である。なお、図7でも、理解を容易にするために各測距用瞳31,32及び撮像用瞳33を通過する測距用光束34,35(図中実線で示す)及び撮像用光束36(図中破線で示す)がそのまま描画される。ここでも、合焦位置Fとして撮像用瞳33に関して撮像素子12と光学的に共役となる光軸上の位置が設定される。さらに、光学系11を代表してレンズ11aのみが描画され、便宜的に、レンズ11aの全面が射出瞳30を構成するものとする。
図7では、合焦位置Fが視差0位置Dと一致せず、合焦位置Fが測距範囲の遠距離端E及び近距離端Eの中点に位置するように、光学系11が構成される。合焦位置F及び視差0位置Dの不一致は各レンズ11a,11bの収差を意図的に変更することによって実現する。これにより、遠距離端Eに存在する対象物の撮像用光束36から形成される像のボケサイズΦを、近距離端Eに存在する対象物の撮像用光束36から形成される像のボケサイズΦと同程度に設定することができる。また、当該光学系11は、距離範囲の両端E,Eにおける像のボケサイズの比が、距離範囲の両端E,Eのそれぞれに対象物が存在する場合の視差d,dの比(視差比)よりも小さくなるように設定される。具体的には、遠距離端Eにおける像のボケサイズΦと、近距離端における像のボケサイズΦとが下記式を満たすように光学系11が構成される。
/d > Max(Φ,Φ)/Min(Φ,Φ)≧ 1
但し、Max,Minはそれぞれ( )内の最大値,最小値を表す。
その結果、測距範囲において得られる対象物の像の質が、対象物が遠距離端E側に存在する場合及び対象物が近距離端E側に存在する場合のいずれか一方において大きく低下するのを防止することができる。また、図6に示す場合に比べ、撮像用瞳33の大きさを大きくすることができるため、より明るくノイズが少ない撮影画像を得ることができる。
図8は、本発明の第1の実施の形態における光学系の射出瞳を示す図である。なお、図中の横方向が視差方向に対応する。
図8(A)において、射出瞳30は、当該射出瞳30の中心(光学系11の光軸)に関して視差方向に互いに反対側(好ましくは対称)に位置し、且つ射出瞳30の両端近傍にそれぞれ位置する2つの楕円状の測距用瞳31,32を有する。さらに、射出瞳30は、視差方向において各測距用瞳31,32に挟まれて射出瞳30の略中央に位置し、且つ光学系11の光軸を含む正円状の撮像用瞳33を有する。各測距用瞳31,32の視差方向に関する重心間距離Lの射出瞳30の視差方向に関する長さ(直径)である射出瞳幅Wに対する比は0.6以上且つ0.9以下である。また、撮像用瞳33の重心から光学系11の光軸までの視差方向に関する距離Dの射出瞳幅Wに対する比は0以上且つ0.05以下である。
これにより、測距用瞳31及び測距用瞳32を視差方向に関して十分に離間させることができ、基線長を長くすることができる。その結果、撮像面位相差方式を用いて測定される対象物の距離情報の精度を高くすることができる。また、距離Dが0.05以下であるため、撮像用光束36の中心と光軸のずれを小さくすることができる。その結果、撮像用光束36から得られる撮像画像のボケが自然なものとなり、画像解析等の精度を高くすることができる。
また、各測距用瞳31,32の視差方向に関する長さである各測距用瞳幅W,W(部分瞳幅)の射出瞳幅Wに対する比は0.1以上且つ0.4以下である。さらに、撮像用瞳33の視差方向に関する長さである撮像用瞳幅Wの射出瞳幅Wに対する比は0.05以上且つ0.4以下である。
これにより、各測距用瞳幅W,Wを小さく維持して視差方向に関する各測距用瞳31,32の配置の自由度を増すことができる。その結果、各測距用瞳31,32を射出瞳30の視差方向に関する両端近傍に位置させることができ、もって、基線長を確実に長くすることができる。また、各測距用瞳幅W,Wが小さすぎると、測距用光束34,35の光量が大幅に減り、得られる測距用の画像信号のS/N比が低下して測定される距離の精度が低下する。しかしながら、上述したように、各測距用瞳幅W,Wの射出瞳幅Wに対する比は0.1以上であるため、測距用光束34,35の光量が大幅に減るのを防止することができる。また、各測距用瞳幅W,Wが大きくなる、すなわち、各測距用瞳31,32が大きくなると基線長が短くなり、測定される距離の精度が低下する。しかしながら、上述したように、各測距用瞳幅W,Wの射出瞳幅Wに対する比は0.4以下であるため、基線長が短くなるのを防止することができる。
また、楕円状の各測距用瞳31,32は図中縦方向(視差方向と垂直な方向)に長辺を有する。各測距用瞳31,32の図中縦方向に関する長さである測距用瞳高さHの各測距用瞳幅W,Wに対する比(以下、「アスペクト比」という。)は1以上であり、好ましくは2以上である。これにより、各測距用瞳31,32を通過する測距用光束34,35の量を増加させることができる。その結果、測距用光束34,35によって形成される像から得られる画像信号のS/N比を高くすることができ、対象物の距離情報を高精度に求めることができる。
さらに、射出瞳30は、視差方向において各測距用瞳31,32に挟まれる撮像用瞳33を有し、撮像用瞳33を通過する撮像用光束36によって形成される像が光電変換された画像信号から対象物の撮影画像が形成される。上述したように、撮像用瞳33の撮像用瞳幅Wの射出瞳幅Wに対する比は0.4以下である。これにより、射出瞳30の全領域を通過する光束を用いた場合に比べ、絞りを小さくして対象物の焦点深度を深くすることができ、認識処理に適した対象物の撮影画像を得ることができる。一方、撮像用瞳33の撮像用瞳幅Wの射出瞳幅Wに対する比は0.05以上であるため、画像信号のS/N比を高くすることができる。
なお、測距用瞳31,32の大きさや形状は上述した各測距用瞳幅W,Wや測距用瞳高さHに関する制約に従う限りにおいて任意であり、例えば、図8(B)に示すように、各測距用瞳31,32がやや小ぶりであってもよい。また、図8(C)に示すように、各測距用瞳31,32と、撮像用瞳33とが同じ形状(正円状)を呈していてもよい。しかしながら、測距用瞳31,32の大きさは、測距用瞳31,32をそれぞれ通過する測距用光束34,35に基づく各画像信号の強度が正確な対象物の距離情報を取得することができる程度まで高くなる大きさであることを必要とする。すなわち、測距用瞳高さHは、できるだけ長いほうが好ましく、撮像用瞳33の図中縦方向に関する長さである撮像用瞳高さよりも長いことが好ましい(具体的には、撮像用瞳高さの1.1倍以上の長さであることがより好ましい)。
上述したように、各測距用瞳31,32の配置は各測距用画素12bにおける各遮光膜40の位置、大きさによって規定され、撮像用瞳33の配置は撮像用画素12aにおける遮光膜66の位置、大きさによって規定される。若しくは、各測距用瞳31,32及び撮像用瞳33の配置は撮像兼測距用画素12cにおけるPD44〜46の位置、大きさによって規定される。したがって、撮像兼測距用画素12cでは、図9(A)に示すように、縦長の各測距用瞳31,32に対応するように各PD44,45は図中縦方向(視差方向と垂直な方向)に長辺を有する矩形状を呈する。また、射出瞳30の両端近傍にそれぞれ位置する2つの測距用瞳31,32に対応するように、各PD44,45は視差方向に関して互いに離間して配置される。また、正円状の撮像用瞳33に対応するようにPD46は正方形状を呈し、射出瞳30の略中央に位置する撮像用瞳33に対応するように、PD46は撮像兼測距用画素12cにおいて略中央に配置される。図9(A)に示すように、一の撮像兼測距用画素12cが各PD44,45を有する場合、1つの撮像兼測距用画素12cから一対の画像の視差を算出するための画像信号が得られるため、当該画像信号を多く得ることができる。すなわち、画像信号の解像度を高くすることができる。これにより、形成される画像を高画質にすることができる。また、距離情報の解像度を高くすることができる。
なお、撮像兼測距用画素12cがPD44及びPD45のうち一方のみを有していてもよい。例えば、図9(B)に示すように、(図中下方の)一の撮像兼測距用画素12cがPD44を有し、(図中上方の)他の撮像兼測距用画素12cがPD45を有する。この場合、測距用瞳31を通過する測距用光束34が一の撮像兼測距用画素12cのPD44によって受光され、当該PD44は測距用光束34によって形成される像が光電変換された画像信号を出力する。また、測距用瞳32を通過する測距用光束35が他の撮像兼測距用画素12cのPD45によって受光され、当該PD45は測距用光束35によって形成される像が光電変換された画像信号を出力する。さらに、一の撮像兼測距用画素12cのPD44及び他の撮像兼測距用画素12cのPD45から出力された画像信号から一対の画像の視差が算出される。図9(A)に示すように、撮像兼測距用画素12cがPD44及びPD45のうち一方のみを有する場合、一つの撮像兼測距用画素12cが有するPDの数を2つに減らすことができる。これにより、各PDの配置に余裕ができ、もって、各PDを大きくすることができる。その結果、各PDの受光量を増加させて各PDの感度を向上することができ、光量が十分でない環境においても、形成される画像を高画質にすることができ、さらに、距離の計算の精度を向上することができる。
なお、本実施の形態では、射出瞳30が図中横方向に配列された各測距用瞳31,32を有するが、さらに図中縦方向に配列された2つの測距用瞳を有していてもよい。例えば、図10(A)に示すように、射出瞳30は各測距用瞳31,32に加えて図中縦方向に配列された2つの楕円状の測距用瞳47,48を有する。各測距用瞳47,48は射出瞳30の図中縦方向に関する両端近傍にそれぞれ位置する。これにより、図中横方向だけでなく図中縦方向における一対の画像の視差を算出することができ、対象物における横線や斜め線までの距離の測定の精度を向上することができる。この場合、撮像兼測距用画素12cは、図10(B)に示すように、楕円状の各測距用瞳47,48に対応するように図中横方向に長辺を有する矩形状を呈するPD49,50を有する。また、射出瞳30の図中縦方向に関する両端近傍にそれぞれ位置する各測距用瞳47,48に対応するように、各PD49,50は図中縦方向に関して互いに離間して配置される。
また、本実施の形態では、撮像用画素12aは原色系のカラーフィルタを有するため、撮像用画素12aが受光する撮像用光束36から形成される像はカラー画像である。なお、撮像用画素12aのカラーフィルタは原色系ではなく補色系であってもよい。補色系のカラーフィルタは透過させる光束の光量が原色系のカラーフィルタよりも多いため、PD42の感度を向上させることができる。一方、測距用画素12bではPD38が受光する光束は開口39を通過する光束に限られ、撮像兼測距用画素12cではPD44,45の大きさは限定される。しかしながら、測距用画素12bや撮像兼測距用画素12cはカラーフィルタを有さない、若しくは補色系のカラーフィルタを有する。これにより、PD38やPD44,45が受光する光束の光量はさほど制限されない。したがって、PD38やPD44,45の感度が大幅に低下することがない。なお、測距用画素12bや撮像兼測距用画素12cがカラーフィルタを有さない場合、測距用画素12bや撮像兼測距用画素12cが受光する測距用光束34,35から形成される一対の画像はモノクロ画像である。
次に、本発明の第2の実施の形態について説明する。本発明の第2の実施の形態は、上述した第1の実施の形態に係る測距装置を移動体としての自動車に適用したものである。
図11は、本実施の形態に係る移動体としての自動車に運転支援システムを搭載した状態を概略的に説明するための図であり、図12は、運転支援システムの構成図である。
図11及び図12において、車両59は、カメラ10、画像解析部13及び距離情報取得部14を有する測距装置60と、車両位置判定部61とを備える。車両位置判定部61は、該測距装置60が算出する測距結果、例えば、前走車までの距離に基づいて当該車両59の前走車に対する相対的な位置を判定する。なお、画像解析部13、距離情報取得部14及び車両位置判定部61は、ソフトウェア(プログラム)による実装及びハードウェアによる実装のいずれも可能であり、ソフトウェアとハードウェアとの組合せによって実装してもよい。例えば、カメラ10に内蔵されたコンピュータ(マイコン、FPGA等)のメモリにプログラムを格納し、そのプログラムをコンピュータに実行させることで各部の処理を実現してもよい。また、各部の処理の全部又は一部を論理回路によって実現するASIC等の専用プロセッサを設けてもよい。
また、車両59は、車両情報取得装置62(移動体情報取得装置)と、制御装置63と、警報装置64とを備え、車両位置判定部61が車両情報取得装置62と、制御装置63と、警報装置64と接続される。車両位置判定部61は、車両情報取得装置62から車両59の車速(速度)、ヨーレート、及び舵角等の少なくともいずれかを車両情報(移動体の情報)として取得する。制御装置63は車両位置判定部61の判定結果に基づいて車両59を制御する。警報装置64は車両位置判定部61の判定結果に基づいて警報を発する。制御装置63は、例えば、ECU(エンジンコントロールユニット)である。例えば、車両位置判定部61の判定結果として前走車との衝突可能性が高い場合、制御装置63は車両59のブレーキをかける、アクセルを戻す、エンジン出力を抑制する等して衝突を回避、被害を軽減する車両制御を行う。また、例えば、前走車との衝突可能性が高い場合、警報装置64は音等の警報を鳴し、カーナビゲーションシステム等の画面に警報情報を表示し、シートベルトやステアリングに振動を与える等してユーザに警告を行う。本実施の形態では、測距装置60のカメラ10が車両59の周囲、例えば、前方若しくは後方を撮像する。なお、制御装置63が、測距装置60の測距結果だけでなく車両情報取得装置62で取得した車両情報にも基づいて車両59を制御する構成にしてもよい。なお、車両59のエンジンとしては、ガソリンや軽油を燃料とする内燃機関であってもよく、電気によって作動するモータであってもよい。
図13は、本発明の第2の実施の形態に係る移動体としての自動車における運転支援システムによる衝突回避処理を示すフローチャートである。以下、この衝突回避処理を説明することによって運転支援システムの各部の動作を具体的に説明する。
まず、ステップS1ではカメラ10を用いて複数の画像(例えば、第1の画像乃至第3の画像)の画像信号を取得する。次に、ステップS2では車両情報取得装置62から車両情報の取得を行う。ここでの車両情報は、車両59の車速、ヨーレート、及び舵角等の少なくともいずれかを含む情報である。次に、ステップS3では取得された複数の画像信号のうち少なくとも1つの画像信号に対して特徴解析(認識処理)を行う。具体的には、画像解析部13が、画像信号におけるエッジの量や方向、濃度値、色、輝度値等の特徴量を解析することにより、対象物(自動車、自転車、歩行者、車線、ガードレール、ブレーキランプ等)を認識(検知)する。なお、画像の特徴量解析は、複数の画像信号のそれぞれに対して行ってもよく、若しくは、複数の画像信号のうち一部の画像信号のみ(例えば、第3の画像の画像信号のみ)に対して行ってもよい。
続くステップS4では、カメラ10で撮像された一対の画像(例えば、第1及び第2の画像)の視差を距離情報取得部14で求めることにより、撮像された画像に存在する対象物の距離情報を取得する。この距離情報の取得は距離情報取得部14で行う。なお、視差の算出方法に関しては、SSDA法や面積相関法等が既に公知の技術として存在するため、本実施の形態では詳細の説明は省略する。なお、ステップS2、S3、S4は、上記のステップ順に行ってもよく、若しくは各ステップを並列に行ってもよい。ここで、撮像された画像に存在する対象物の距離又はデフォーカス量はステップS4で求めた視差、カメラ10の内部パラメータ及び外部パラメータから計算することができる。
その後、ステップS5で、求められた距離情報が予め定めた設定内にあるか否か、つまり、設定距離内に障害物が存在するか否かを判定し、前方または後方の衝突可能性の判定を行う。設定距離内に障害物が存在する場合、衝突可能性ありと判定し、制御装置63は車両59の回避動作を行う(ステップS6)。具体的には、衝突可能性ありの旨を制御装置63や警報装置64に対して通知する。このとき、制御装置63は車両59の移動方向及び移動速度の少なくとも1つを制御する。例えば、ブレーキをかける、つまり、車両59の各輪に制動力を発生させる制御信号を生成して出力し、エンジンの出力を抑制する等して前走車との衝突の回避及び衝突可能性の低減を行う。また、警報装置64はユーザに対して音や映像、振動等で危険を通知する。その後、本処理を終了する。一方、設定距離内に障害物が存在しない場合、衝突可能性なしと判定し、本処理を終了する。
図13の衝突回避処理によれば、効果的に障害物の検知を行うことが可能となる。つまり、正確に障害物を検知し、衝突回避及び被害低減が可能となる。
なお、本実施の形態では、距離情報に基づいた衝突回避について説明したが、距離情報に基づいて、先行車に追従走行し、車線内中央を維持し、又は、車線からの逸脱を抑制する車両に本発明を適用することもできる。また、本発明は、車両59の運転支援だけでなく、車両59の自律運転にも適用可能である。さらに、本発明における測距装置60は、自動車等の車両に限らず、例えば、船舶、航空機、ドローンあるいは産業用ロボット等の移動体に適用することができる。さらに、本発明における測距装置60は、移動体に限らず、交差点監視システムや高度道路交通システム(ITS)において用いられる機器等、広く物体認識を利用する機器に適用することができる。例えば、交差点監視システムにおける非移動体である交差点監視カメラに本発明を適用してもよい。
以上、本発明について各実施の形態を用いて説明したが、本発明は上述した各実施の形態に限定されるものではない。
上述した第1の実施の形態では、測距範囲を1m〜100m又は2m〜50mに設定したが、例えば、100〜150mに設定してもよい。また、上述した第1の実施の形態において、測距装置は第1の画像乃至第3の画像を取得するが、測距装置の撮像素子12において撮像用画素12a又はPD46を設けることなく第3の画像を取得しない構成としてもよい。この場合、画像解析部13は第1の画像や第2の画像に対して特徴量解析を実行する。
さらに、図9(A)に示す撮像兼測距用画素12cを、PD44からの画像信号及びPD45からの画像信号のそれぞれを出力するように構成してもよい。なお、PD44からの画像信号は、測距用瞳31を通過した測距用光束34に基づく第1の画像の信号であり、以下、単に「第1の画像の信号」と称する。また、PD45からの画像信号は、測距用瞳32を通過した測距用光束35に基づく第2の画像の信号であり、以下、単に「第2の画像の信号」と称する。若しくは、当該撮像兼測距用画素12cを、第1の画像の信号及びPD44からの画像信号とPD45からの画像信号が合算された画像信号のそれぞれを出力するように構成してもよい。なお、PD44からの画像信号とPD45からの画像信号が合算された画像信号は、測距用瞳31を通過した光束及び測距用瞳32を通過した光束に基づく第4の画像の信号であり、以下、単に「第4の画像の信号」と称する。この場合、第1の画像の信号と第4の画像の信号の差を距離情報取得部14で求めることにより、第2の画像の信号を求めることができる。
上述した第1の実施の形態では、対象物が遠距離端Eに存在する場合の視差dが、対象物が近距離端Eに存在する場合の視差dよりも短くなる。特に、対象物が遠距離端Eに存在する場合の視差dは小さいほど、測距精度の低下抑制の観点から好ましい。したがって、例えば、対象物が遠距離端Eに存在する場合の視差dが撮像素子12において2画素に対応する距離未満になるように設定されるのが好ましい。なお、ここでの2画素に対応する距離は、一対をなす2つの測距用画素12bがそれぞれ形成する画像信号を用いて距離測定を行う場合、間に撮像用画素12aを挟む、一対をなす2つの測距用画素12bの中心間距離に該当する(図14(A))。さらに、各測距用画素12bの配列方法は図3(B)に示すものに限られず、例えば、図14(B)に示すように、間に撮像用画素12aを挟まない配列方法も実現し得る。この場合、2画素に対応する距離は、視差方向に並ぶ3つの測距用画素12bからなる画素列における両端の測距用画素12bの中心間距離に該当する。また、1つの撮像兼測距用画素12cが形成する一対の画像信号を用いて距離測定を行う場合、2画素に対応する距離は、視差方向に並ぶ3つの撮像兼測距用画素12cからなる画素列における両端の撮像兼測距用画素12cの中心間距離に該当する(図14(C),同(D))。
本発明は、上述の各実施の形態の1以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
,d 視差
視差0位置
E1 遠距離端
E2 近距離端
F0 合焦位置
10 カメラ
11 光学系
12 撮像素子
12a 撮像用画素
12b 測距用画素
12c 撮像兼測距用画素
13 画像解析部
14 距離情報取得部
30 射出瞳
31,32 測距用瞳
33 撮像用瞳
34,35 測距用光束
36 撮像用光束

Claims (22)

  1. 固定焦点光学系である光学系と、前記光学系からの光束を受光する撮像素子と、前記撮像素子からの画像信号に基づいて距離情報を取得する距離情報取得部とを備える測距装置であって、
    前記距離情報取得部は、前記光学系の射出瞳の第1の領域を通過する対象物からの光束に基づく第1の画像と、前記射出瞳の第2の領域を通過する前記対象物からの光束に基づく第2の画像との視差に基づいて前記対象物の前記距離情報を取得し、
    前記光学系は、前記測距装置から100mの距離に存在する対象物の前記視差が前記測距装置から1mの距離に存在する対象物の前記視差よりも短くなるように構成されていることを特徴とする測距装置。
  2. 前記光学系は、前記測距装置から50mの距離に存在する対象物の前記視差が前記測距装置から2mの距離に存在する対象物の前記視差よりも短くなるように構成されていることを特徴とする請求項1記載の測距装置。
  3. 前記光学系は、前記測距装置から100mの距離に存在する対象物の前記視差が前記撮像素子において2画素に対応する距離未満になるように構成されていることを特徴とする請求項1又は2記載の測距装置。
  4. 前記光学系は、前記測距装置から1mの距離に存在する対象物の前記視差が前記測距装置から100mの距離に存在する対象物の前記視差の1.2倍以上になるように構成されていることを特徴とする請求項1乃至3のいずれか1項に記載の測距装置。
  5. 前記光学系は、前記測距装置から1mの距離に存在する対象物の前記視差が前記測距装置から100mの距離に存在する対象物の前記視差の2.0倍以上になるように構成されていることを特徴とする請求項1乃至3のいずれか1項に記載の測距装置。
  6. 前記第1の領域の重心及び前記第2の領域の重心の間の距離の、前記射出瞳の視差方向に関する長さに対する比は、0.6以上且つ0.9以下であることを特徴とする請求項1乃至5のいずれか1項に記載の測距装置。
  7. 前記第1の領域及び前記第2の領域のそれぞれの視差方向に関する長さの、前記射出瞳の視差方向に関する長さに対する比は、0.1以上且つ0.4以下であることを特徴とする請求項1乃至6記載のいずれか1項に記載の測距装置。
  8. 前記射出瞳の第3の領域を通過する前記対象物からの光束に基づく第3の画像を解析する画像解析部をさらに備えることを特徴とする請求項1乃至7のいずれか1項に記載の測距装置。
  9. 前記光学系は、前記測距装置から100mの距離に存在する対象物の前記第3の領域を通過する光束から形成される像のボケサイズΦと、前記測距装置から1mの距離に存在する対象物の前記第3の領域を通過する光束から形成される像のボケサイズΦとが下記式を満たすように構成され、
    /d > Max(Φ,Φ)/Min(Φ,Φ)≧ 1
    Max,Minはそれぞれ( )内の最大値,最小値、dは前記測距装置から100mの距離に存在する対象物の前記視差、dは前記測距装置から1mの距離に存在する対象物の前記視差を表すことを特徴とする請求項8記載の測距装置。
  10. 前記第3の領域は前記光学系の光軸を含み、
    前記第1の領域及び前記第2の領域は、前記光軸を含まず、前記光軸に関して互いに反対側に位置することを特徴とする請求項8又は9記載の測距装置。
  11. 前記第3の領域の重心から前記光学系の光軸までの距離の、前記射出瞳の視差方向に関する長さに対する比は、0以上且つ0.05以下であることを特徴とする請求項8乃至10のいずれか1項に記載の測距装置。
  12. 前記第3の領域の視差方向に関する長さの、前記射出瞳の視差方向に関する長さに対する比は、0.05以上且つ0.4以下であることを特徴とする請求項8乃至11のいずれか1項に記載の測距装置。
  13. 固定焦点光学系である光学系と、前記光学系からの光束を受光する撮像素子と、前記撮像素子からの画像信号に基づいて距離情報を取得する距離情報取得部とを備える測距装置であって、
    前記距離情報取得部は、前記光学系の射出瞳の第1の領域を通過する対象物からの光束に基づく第1の画像と、前記射出瞳の第2の領域を通過する前記対象物からの光束に基づく第2の画像との視差に基づいて前記対象物の前記距離情報を取得し、
    前記光学系は、前記測距装置の測距範囲の遠距離端に存在する対象物の前記視差が前記測距範囲の近距離端に存在する対象物の前記視差よりも短くなるように構成されていることを特徴とする測距装置。
  14. 前記光学系は、前記遠距離端に存在する対象物の前記視差が前記撮像素子において2画素に対応する距離未満になるように構成されていることを特徴とする請求項13記載の測距装置。
  15. 前記光学系は、前記測距範囲の近距離端に存在する対象物の前記視差が前記測距装置の測距範囲の遠距離端に存在する対象物の前記視差の1.2倍以上になるように構成されていることを特徴とする請求項13又は14記載の測距装置。
  16. 前記光学系は、前記測距範囲の近距離端に存在する対象物の前記視差が前記測距装置の測距範囲の遠距離端に存在する対象物の前記視差の2.0倍以上になるように構成されていることを特徴とする請求項13又は14記載の測距装置。
  17. 前記射出瞳の第3の領域を通過する前記対象物からの光束に基づく第3の画像を解析する画像解析部をさらに備えることを特徴とする請求項13乃至16のいずれか1項に記載の測距装置。
  18. 前記光学系は、前記遠距離端に存在する対象物の前記第3の領域を通過する光束から形成される像のボケサイズΦと、前記近距離端に存在する対象物の前記第3の領域を通過する光束から形成される像のボケサイズΦとが下記式を満たすように構成されていることを特徴とする請求項13記載の測距装置。
    /d > Max(Φ,Φ)/Min(Φ,Φ)≧ 1
    但し、Max,Minはそれぞれ( )内の最大値,最小値、dは前記遠距離端に存在する対象物の前記視差、dは前記近距離端に存在する対象物の前記視差を表す。
  19. 測距装置と、前記測距装置の測距結果に基づいて前記移動体を制御する制御装置とを備える移動体であって、
    前記測距装置は、固定焦点光学系である光学系と、前記光学系からの光束を受光する撮像素子と、前記撮像素子からの画像信号に基づいて距離情報を取得する距離情報取得部とを備え、
    前記距離情報取得部は、前記光学系の射出瞳の第1の領域を通過する対象物からの光束に基づく第1の画像と、前記射出瞳の第2の領域を通過する前記対象物からの光束に基づく第2の画像との視差に基づいて前記対象物の前記距離情報を取得し、
    前記光学系は、前記測距装置から100mの距離に存在する対象物の前記視差が前記測距装置から1mの距離に存在する対象物の前記視差よりも短くなるように構成されていることを特徴とする移動体。
  20. 前記移動体の情報を取得する移動体情報取得装置を有し、
    前記制御装置は、前記移動体の情報及び前記測距結果に基づいて、前記移動体の移動方向及び移動速度の少なくとも1つを制御することを特徴とする請求項19記載の移動体。
  21. 前記制御装置は、前記移動体が障害物と衝突する可能性が存在すると判定された場合に、前記移動体の移動方向及び移動速度の少なくとも1つを制御することを特徴とする請求項19又は20記載の移動体。
  22. 前記測距装置の距離情報取得部は障害物の距離情報を取得し、
    前記測距装置の画像解析部は障害物の画像を解析して前記障害物の特徴情報を取得し、
    前記制御装置は、前記障害物の前記距離情報及び前記特徴情報に基づいて、前記移動体を制御することを特徴とする請求項19乃至21のいずれか1項に記載の移動体。
JP2017031363A 2016-03-14 2017-02-22 測距装置及び移動体 Pending JP2017167126A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/450,321 US10690495B2 (en) 2016-03-14 2017-03-06 Ranging apparatus and moving object capable of high-accuracy ranging
US16/876,270 US11808607B2 (en) 2016-03-14 2020-05-18 Ranging apparatus and moving object capable of high-accuracy ranging
JP2021163537A JP7266652B2 (ja) 2016-03-14 2021-10-04 測距装置及び移動体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016050237 2016-03-14
JP2016050237 2016-03-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021163537A Division JP7266652B2 (ja) 2016-03-14 2021-10-04 測距装置及び移動体

Publications (1)

Publication Number Publication Date
JP2017167126A true JP2017167126A (ja) 2017-09-21

Family

ID=59913225

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017031363A Pending JP2017167126A (ja) 2016-03-14 2017-02-22 測距装置及び移動体

Country Status (1)

Country Link
JP (1) JP2017167126A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020092353A (ja) * 2018-12-06 2020-06-11 キヤノン株式会社 光電変換装置及び撮像システム
JP2020190411A (ja) * 2019-05-17 2020-11-26 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
CN115086549A (zh) * 2022-05-06 2022-09-20 深圳市格灵精睿视觉有限公司 拍摄方法、拍摄装置、计算机设备、存储介质
WO2024070123A1 (ja) * 2022-09-27 2024-04-04 キヤノン株式会社 測距装置、車載システム、および移動装置
CN115086549B (en) * 2022-05-06 2024-04-30 深圳市格灵精睿视觉有限公司 Shooting method, shooting device, computer equipment and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1137752A (ja) * 1997-07-18 1999-02-12 Aqueous Res:Kk 距離検出装置
US20080212838A1 (en) * 2006-12-21 2008-09-04 Massachusetts Institute Of Technology Methods and apparatus for 3D surface imaging using active wave-front sampling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1137752A (ja) * 1997-07-18 1999-02-12 Aqueous Res:Kk 距離検出装置
US20080212838A1 (en) * 2006-12-21 2008-09-04 Massachusetts Institute Of Technology Methods and apparatus for 3D surface imaging using active wave-front sampling

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020092353A (ja) * 2018-12-06 2020-06-11 キヤノン株式会社 光電変換装置及び撮像システム
JP7353752B2 (ja) 2018-12-06 2023-10-02 キヤノン株式会社 光電変換装置及び撮像システム
JP2020190411A (ja) * 2019-05-17 2020-11-26 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
US11637948B2 (en) 2019-05-17 2023-04-25 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium
JP7427370B2 (ja) 2019-05-17 2024-02-05 キヤノン株式会社 撮像装置、画像処理装置、画像処理方法、撮像装置の校正方法、ロボット装置、ロボット装置を用いた物品の製造方法、制御プログラムおよび記録媒体
CN115086549A (zh) * 2022-05-06 2022-09-20 深圳市格灵精睿视觉有限公司 拍摄方法、拍摄装置、计算机设备、存储介质
CN115086549B (en) * 2022-05-06 2024-04-30 深圳市格灵精睿视觉有限公司 Shooting method, shooting device, computer equipment and storage medium
WO2024070123A1 (ja) * 2022-09-27 2024-04-04 キヤノン株式会社 測距装置、車載システム、および移動装置

Similar Documents

Publication Publication Date Title
JP7266652B2 (ja) 測距装置及び移動体
JP6957162B2 (ja) 測距装置及び移動体
JP7057097B2 (ja) 距離計測装置、距離計測システム、撮像装置、移動体、距離計測装置の制御方法およびプログラム
US20160360081A1 (en) Control apparatus, image pickup apparatus, control method, and non-transitory computer-readable storage medium
JP6156724B2 (ja) ステレオカメラ
JP2018077190A (ja) 撮像装置及び自動制御システム
JP7098790B2 (ja) 撮像制御装置及び移動体
WO2017150553A1 (ja) 撮像装置
JP2018155709A (ja) 位置姿勢推定装置および位置姿勢推定方法、運転支援装置
JP2017167126A (ja) 測距装置及び移動体
JP6789643B2 (ja) 撮像装置
US11280606B2 (en) Moving object and ranging apparatus capable of acquiring image and high-accurately measuring distance
US10900770B2 (en) Distance measuring device, imaging apparatus, moving device, robot device, and recording medium
JP2008070629A (ja) 光検出装置、カメラ、焦点検出装置および光学特性測定装置
US10921119B2 (en) Three dimensional image measurement system
JP5338112B2 (ja) 相関演算装置、焦点検出装置および撮像装置
US11889186B2 (en) Focus detection device, focus detection method, and image capture apparatus
JP5338113B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP2017219791A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP5338119B2 (ja) 相関演算装置、焦点検出装置および撮像装置
JP6257201B2 (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置
JP2014010284A (ja) 焦点検出装置、撮像装置およびカメラシステム
JP7380146B2 (ja) 情報取得装置
US11455743B2 (en) Shooting control apparatus, image capturing apparatus, shooting control method, and storage medium
JP2019066186A (ja) 撮像装置及び撮像装置の距離算出方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220215