JP2020020667A - 測距装置および車載カメラシステム - Google Patents

測距装置および車載カメラシステム Download PDF

Info

Publication number
JP2020020667A
JP2020020667A JP2018144645A JP2018144645A JP2020020667A JP 2020020667 A JP2020020667 A JP 2020020667A JP 2018144645 A JP2018144645 A JP 2018144645A JP 2018144645 A JP2018144645 A JP 2018144645A JP 2020020667 A JP2020020667 A JP 2020020667A
Authority
JP
Japan
Prior art keywords
optical system
index
image
distance measuring
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018144645A
Other languages
English (en)
Other versions
JP7207889B2 (ja
Inventor
明広 福田
Akihiro Fukuda
明広 福田
智暁 井上
Tomoaki Inoue
智暁 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018144645A priority Critical patent/JP7207889B2/ja
Publication of JP2020020667A publication Critical patent/JP2020020667A/ja
Application granted granted Critical
Publication of JP7207889B2 publication Critical patent/JP7207889B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】簡易な構成で高精度に距離情報を算出することが可能な測距装置を提供する。【解決手段】測距装置(100)は、第一の光学系(111a)と、第二の光学系(111b)と、第一の光学系の撮像範囲内に配置された第一の指標(116a)と、第二の光学系の撮像範囲内に配置された第二の指標(116b)と、第一の光学系により形成された第一の指標の像の位置情報および第二の光学系により形成された第二の指標の像の位置情報を検出する撮像素子(112a、112b)とを有する。【選択図】図1

Description

本発明は、監視カメラや車載カメラなどの撮像装置に適して用いられ、被写体までの距離を測定する測距装置に関する。
ステレオカメラを用いた測距装置では、温度変動や物理的な衝撃などによる構成部材の変形により、光学特性が変化し、測距結果に誤差が生じる。特許文献1には、撮像装置の前方に設けられた校正器具にフォーカスを合わせて校正器具内の複数の指標点の空間的な分布を求め、その分布に基づいて撮像装置の位置・姿勢を補正することで、測距結果の誤差を補正する方法が開示されている。
特開2006−30157号公報
しかしながら、特許文献1に開示された方法では、複数の指標点が撮像装置の視野内に存在するため、画像全体の光量が減少する。その結果、高精度に距離情報を取得することが困難である。
そこで本発明は、簡易な構成で高精度に距離情報を取得することが可能な測距装置および撮像装置を提供することを目的とする。
本発明の一側面としての測距装置は、第一の光学系と、第二の光学系と、前記第一の光学系の撮像範囲内に配置された第一の指標と、前記第二の光学系の撮像範囲内に配置された第二の指標と、前記第一の光学系により形成された前記第一の指標の像の位置情報および前記第二の光学系により形成された前記第二の指標の像の位置情報を検出する撮像素子とを有する。
本発明の他の側面としての車載カメラシステムは、前記測距装置と、前記測距装置により取得された被写体に関する距離情報に基づいて自車両と前記物体との衝突可能性を判定する衝突判定部とを有する。
本発明の他の側面としての移動装置は、前記測距装置を備え、該測距装置を保持して移動可能である。
本発明の他の目的及び特徴は、以下の実施形態において説明される。
本発明によれば、簡易な構成で高精度に距離情報を算出することが可能な測距装置および撮像装置を提供することができる。
実施例1における測距装置のブロック図である。 実施例1における撮像部の外観図である。 実施例1におけるキャリブレーションマーカー部の外観図である。 実施例1における測距方法のフローチャートである。 実施例1における撮像部の構成図である(変形していない状態)。 実施例1における撮像部の構成図である(変形した状態)。 実施例2における撮像部の構成図である。 実施例2における撮像光学系の説明図である。 各実施例における被写体距離の算出方法の説明図である。 各実施例における対応被写体探索処理の説明図である。 各実施例における撮像光学系が変形した場合の被写体距離の算出方法の説明図である。 実施例3における車載カメラシステムの機能ブロック図である。 実施例3における車両の要部概略図である。 実施例3における車載カメラシステムの動作例を示すフローチャートである。
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
まず、図9を参照して、2つの撮像光学系を用いて被写体距離を取得する方法について説明する。図9は、被写体距離の算出方法の説明であり、互いに同一の構造を有する2つの撮像光学系CA、CBを用いて撮影シーンのうちの1点に存在する被写体Objを撮像する様子を示している。撮像素子SA、SBはそれぞれ、撮像光学系CA、CBにより形成された被写体像(光学像)を受光する。撮像光学系CA、CBのそれぞれの入射瞳中心は(−D/2,0)、(D/2,0)に存在し、被写体Objは(x、z)に存在する。撮像光学系CA、CBのそれぞれの焦点距離をf、撮像素子SA、SBのそれぞれにおける被写体Objの座標をa、bとすると、以下の式(1)が成立する。
式(1)において、b−aは、互いに異なる視点から同一の被写体を撮像した際の撮像面上での位置のずれ、すなわち視差である。視差b−a(視差量)を取得することができれば、視差b−a、撮像光学系CA、CBのそれぞれの焦点距離f、および、基線長Dを式(1)に代入することにより、被写体距離z(撮像光学系の入射瞳中心から被写体Objまでの距離)を算出することができる。
続いて、図10を参照して、2つの撮像光学系を用いて取得された2つの画像から視差量を取得するための対応被写体探索処理について説明する。図10は、対応被写体探索処理の説明図であり、互いに異なる視点から撮像された画像IMG1、IMG2を示している。画像座標(X,Y)は、図10中に示される画素群の中心を原点として定義し、水平方向をX軸、垂直方向をY軸とする。また、画像座標(X,Y)に位置する画像IMG1の画素値をF1(X,Y)とし、画像IMG2の画素値をF2(X,Y)として説明する。画像IMG1における任意の座標(X,Y)に対応する画像IMG2の画素は、座標(X,Y)における画像IMG1の画素値F1(X,Y)と最も類似する画像IMG2の画素値を探すことで求めることができる。なお、以降の説明において、画像上の対応点と対応画素とは同一の意味である。
ここで、図10に示される画像IMG1、IMG2上の縦線で示される画素P1、P2は、互いに同じ被写体からの光を記録した、対応画素(対応点)に相当する。ただし、一般的に任意の画素と最も類似する画素を探すことは難しいため、画像座標(X,Y)の近傍の画素も用い、ブロックマッチング法と呼ばれる手法で類似画素を探索することができる。
例えば、ブロックサイズが3である場合のブロックマッチング処理について説明する。画像IMG1の任意の座標(X,Y)の画素(注目画素)、および、その前後の座標(X−1、Y)、(X+1、Y)に位置する2つの画素の計3画素の画素値はそれぞれ、F1(X,Y)、F1(X−1,Y)、F1(X+1,Y)となる。これに対し、座標(X,Y)からX方向にkだけずれた画像IMG2の画素の画素値はそれぞれ、F2(X+k,Y),F2(X+k−1,Y),F2(X+k+1,Y)となる。このとき、画像IMG1の座標(X,Y)に位置する注目画素と、画像IMG2の座標(X+k,Y)に位置する画素との類似度Eは、以下の式(2)のように定義される。
式(2)において逐次kの値を変えて類似度Eを算出し、最も小さい類似度Eを与える座標(X+k、Y)が、画像IMG1の注目画素に対応する画像IMG2の画素の座標となる。ここでは、X方向にのみ逐次座標を変化させながら類似度Eを算出しているが、Y方向、または、X方向およびY方向の両方向にも逐次座標を変化させながら類似度Eを算出してもよい。このような対応被写体探索処理を行うことにより、2つの画像のそれぞれにおける対応点(対応画素)の座標を取得することができ、それらの相違量である視差量を算出することが可能である。
本実施形態では、ブロックサイズが3である場合のブロックマッチング処理について説明したが、前述の処理において、探索範囲およびブロックサイズは変更可能なパラメータである。視差量が事前にある程度予測される場合には、探索範囲をある領域に絞って処理を行うことで、処理負荷を大幅に低減して高速化を図ることができる。ブロックサイズについては、一般的に被写体の構造サイズに合わせて設定することにより、視差量の算出精度を向上させることができる。また、特に画像がボケている場合、そのボケ量を加味してブロックサイズを拡大することにより、視差量の算出誤差を低減することができる。また、類似度Eに対して直線フィッティングやパラボラフィッティングによってサブ画素レベルで視差量を算出する手法が知られている。これらのフィッティング関数は、画像の鮮鋭度に応じてサブ画素算出誤差が変化することが知られており、画像の鮮鋭度に応じて関数を選択することも可能である。
以上説明したように、2つの撮像光学系を用いて取得した2つの画像において対応被写体探索処理を行うことにより視差量を算出し、この視差量に基づいて被写体距離を算出することができる。また、撮像光学系に応じて視差量と像面移動量であるデフォーカス量との関係は決定される。このため、その視差量に基づいてデフォーカス量を算出することができる。そして、そのデフォーカス量に基づいてレンズの繰り出し量を求め、レンズを移動し合焦させることができる(位相差AF)。以降、本明細書中では、被写体距離、視差量、デフォーカス量、または、位相差情報を被写体距離に関する情報という意味で距離情報とも表現する。
ここで、前述の被写体距離zの算出では、撮像光学系CA、CBを用いて(x、z)に存在する被写体Objを撮像した場合、撮像素子SA、SB上の常に同じ位置である座標a、bに被写体Objの像が生じることを前提としている。この前提条件は、撮像光学系CA、CBが変形しない場合には常に成り立つが、撮像光学系CA、CBが変形した場合にはその限りではない。一例として、図11は、図9に示される撮像光学系CAが左方向に偏芯し、撮像光学系CBが左回りに傾いた場合の状態を模式的に示している。この状態で撮像光学系CA、CBを用いて(x、z)に存在する被写体Objを撮像した場合、被写体Objの像が生じる座標は、撮像素子SAではa+cの位置、撮像素子SBではb+dの位置となる。すなわち、初期状態である図9から撮像光学系が変形した図11の状態への変化により、撮像素子SA、SB上の像位置がそれぞれ像ズレ量c、dだけずれる。式(1)から明らかなように、分母に像ズレ量c、dが加わるため、式(1)の右辺の値は被写体距離zとは異なる値となる。すなわち、撮像光学系の変形による像ズレ量の発生により、被写体距離zの算出に誤差が生じる。
像ズレが発生する主な原因は、左右の撮像装置の筐体の相対関係がずれることである。このため、従来技術では、像ズレを検出するためにマーカーを用いる場合、左右の撮像光学系の視野に共通に含まれるような位置に設置する必要があった。また従来技術では、撮像装置の筐体自体のズレ量を測定するため、校正器具とカメラユニットとを一体に保持することができなかった。このため、像ズレの検出を行うためにステレオカメラユニットを設置した車両のフロントガラスや外部の校正装置を用いる必要があった。
本実施形態の撮像部は、ステレオ画像を取得するための第一の撮像光学系および第二の撮像光学系を有し、第一の撮像光学系および第二の撮像光学系のそれぞれの少なくとも一部が一体的に保持(固定)されている。このため、第一の撮像光学系および第二の撮像光学系の筐体の相対位置関係は略一定であるとみなすことができる。これにより、撮像部内に二つの撮像光学系のそれぞれ一方の撮像範囲にのみ含まれるようにカメラ校正用のキャリブレーションマーカー部(マーカー)を配置することができる。マーカーの位置の変化量から算出される像ズレ量に基づいて測距のための補正値を算出し、補正値と撮像部により取得される複数の視差画像とに基づいて距離情報を算出する。
このような構成により、光学系の変位や変形による像ズレが発生した状態でも、簡易な構成で(すなわち外部の校正装置を用いることなく)高精度に距離を算出することが可能となる。ここまで、本実施形態の測距装置による距離算出方法の概要について説明した。以下、測距装置(撮像装置)について、各実施例において詳述する。
まず、図1および図2を参照して、本発明の実施例1における測距装置について説明する。図1は、測距装置(ステレオカメラユニット)100のブロック図である。図2は、撮像部110の外観図である。図3は、キャリブレーションマーカー部113(113a、113b)の外観図である。
図1および図2に示されるように、測距装置100は、主として被写体の距離情報を取得する撮像部110を有する。撮像部110は、複数の光学素子とそれらを保持する部材のみで構成されている。本実施例において、撮像部110は、撮像光学系111a、111b、撮像素子112a、112b、および、キャリブレーションマーカー部113a、113bを有する。
図2に示されるように、撮像光学系111a、111bは、左右で一体となるように互いに固定されている。これにより、撮像光学系111a、111bの相対位置関係は略一定とみなすことができる。このため、撮像光学系111a、111bのそれぞれの像ズレ量を検出することにより、測距装置100の全体の補正値を求めることが可能である。なお本実施例において、撮像光学系111a、111bをそれぞれ別の筐体で保持し、さらに別の部材を用いて2つの筐体を一体的に保持しているが、これに限定されるものではない。これに代えて、撮像光学系111a、111bを同一の部材で保持するように構成してもよい。また本実施例において、撮像光学系111a、111bの一部のみを一体的に保持するように構成してもよい。撮像光学系111a、111bのうち、例えば、像ズレ量に対する敏感度の高い反射部材のみを一体的に保持するように構成することもできる。
撮像素子112a、112bは、CMOSセンサやCCDセンサ等の固体撮像素子である。キャリブレーションマーカー部113a、113bは、図3に示されるように、光を透過する透明基板115上に、不透明の複数のマーカー(指標、印)116が描かれている。透明基板115は、撮像部110へのゴミ等の侵入を防ぐカバーガラスの役割もかねている。複数のマーカー116は、画像中心部に写り込まないように撮像光学系111a、111bのそれぞれの視野の周辺に配置することが好ましい。また、測距装置100の用途によっては、水平方向および垂直方向で同じ範囲が見えている必要がない場合がある。例えば、測距装置100の用途が車載カメラである場合、周囲を監視する際に、歩道や対向車等、水平方向に関しては広く見えたほうがよいが、垂直方向に関しては最低限信号機や道路標識が見えればよく、水平方向に比べて見える範囲を狭くしても構わない。このような場合、垂直方向の視野外にマーカー116を設定することで、センサ領域を有効活用することができるため、好ましい。
図1において、撮像光学系111a、111bはそれぞれ、被写体(不図示)からの光を撮像素子112a、112b上に結像させる単焦点撮像光学系である。撮像素子112a、112bは、撮像光学系111a、111bをそれぞれ介して形成された光学像(被写体像)を光電変換してアナログ電気信号(画像信号)を出力する。A/Dコンバータ10は、撮像素子112a、112bにより生成されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部20に出力する。
画像処理部20は、2つの画像を生成する。画像処理部20は、A/Dコンバータ10から出力されるデジタル信号に対して、画素補間処理、輝度信号処理、および、色信号処理など、いわゆる現像処理を行う。画像処理部20により生成される2つの画像は、撮像光学系111a、111bのそれぞれにより形成された被写体像および画像周辺に写り込んだマーカー像に相当し、互いに視差を有する複数(2つ)の視差画像である。
制御部30は、撮像部110に設けられた撮像素子112a、112bを制御して撮像を行う。画像処理部20の補正値算出部21は、写り込んだマーカー像の位置に基づいて、像ズレ量を算出する。キャリブレーションマーカー部113a、113bのそれぞれに複数のマーカー116を配置することにより、被写体の状況に応じて、位置を検出しやすいマーカーのみを選択して用いることができる。また補正値算出部21は、算出された2つの撮像光学系111a、111bの像ズレ量に基づいて、測距のための補正値を算出する。メモリ80には、測距装置100を組み上げた初期状態での補正値等が記録されている。画像処理部20の距離情報算出部22は、画像処理部20により生成された2つの視差画像と、補正値算出部21により算出された補正値とを用いて、被写体距離を算出する。メモリ(記憶部)80は、測距装置100を組み立てた初期状態での補正値などの補正情報を記憶している。
キャリブレーションマーカー部113a、113bは、撮像部110を小型にするため、撮像光学系111a、111bにそれぞれ近い位置に配置することが好ましい。一方、キャリブレーションマーカー部113a、113bを撮像光学系111a、111bのそれぞれに近すぎる位置に配置すると、撮像光学系111a、111bの合焦位置から外れるため、取得するマーカー像がボケてしまう。マーカー像が大きくボケると、マーカー位置の測定精度が低下する。マーカー像がボケないために、マーカーのボケ量に関する以下の条件式(3)を満足することが好ましい。
条件式(3)において、fは撮像光学系111a、111bのそれぞれの焦点距離、sは撮像光学系111a、111bのそれぞれの主点から合焦位置までの距離である。また条件式(3)において、FはFナンバー、δは撮像素子112a、112bのそれぞれの画素ピッチ、Lは撮像光学系111a、111bのそれぞれの主点からキャリブレーションマーカー部113a、113bまでの距離である。
より好ましくは、以下の条件式(3a)を満足する。
更に好ましくは、以下の条件式(3b)を満足する。
したがって、焦点距離fの短い広角レンズの方が、撮像光学系111a、111bのそれぞれからキャリブレーションマーカー部113a、113bまでの距離を縮めることができ、より小型な撮像部110を提供できるため好ましい。本実施例において、以下の式(4)を満足することが好ましい。
撮像部110を構成する撮像光学系111a、111bは、最も被写体に近いレンズ同士の間の長さが50mmになるように配置されており、この長さは撮像部110の基線長Dに相当する。撮像光学系111a、111bは、互いに同一の構成であって、左右対称になるように平行に配置されている。また、撮像部110を構成する2つの撮像光学系111a、111bの画角は同一である。
次に、図4を参照して、測距装置100による測距方法について説明する。図4は、本実施例における測距方法のフローチャートである。図4の各ステップは、主に制御部30または画像処理部20により実行される。まずステップS101において、制御部30は、撮像部110を制御して撮像を行うことにより、2つの画像を取得する。
ここで、図5を参照して、撮像部110が変形していない状態における撮像部110の構成について説明する。図5は、撮像部110の構成図である。図5(a)に示されるように、撮像光学系111aは、2つのレンズ117a1、117a2と2つのプリズム118a1、118a2とを備えて構成されている。同様に、撮像光学系111bは、2つのレンズ117b1、117b2と2つのプリズム118b1、118b2とを備えて構成されている。図5(a)において、撮像光学系111a、111bの光軸OA1、OA2がそれぞれ一本鎖線で示されている。撮像光学系111aの光軸OA1は、X−Z平面においてプリズム118a1で90度、プリズム118a2でそれぞれ−90度折り曲げられ、撮像素子112aに入射する。すなわち、2つのプリズム118a1、118a2はそれぞれ、撮像光学系111aの光軸OA1を90度屈曲させる。同様に、撮像光学系111bにおける2つのプリズム118b1、118b2は、光軸OA2を90度屈曲させる。撮像光学系111a、111bは互いに同一の構成を有し、左右対称になるように配置されている。
図5(b)において、基線長Dを一点鎖線で示している。また図5(b)において、光軸OA1と撮像素子112aとの交点をOCa、光軸OA2と撮像素子112bとの交点をOCbとしてそれぞれ示している。このように、撮像光学系111a、111bは、光軸OA1、OA2と撮像素子112a、112bとの交点OCa、OCbとをそれぞれ結ぶ直線と、基線長Dとが互いに略水平(平行)となるように配置されている。また、撮像素子112a、112bは、その長辺が基線長Dと略平行になり、その短辺が基線長Dと略垂直となるように配置されている。図5(b)において、マーカー116a、116bはそれぞれ、撮像部110の変形が生じていない状態でのマーカー像を表している。
次に、図6を参照して、撮像部110が変形した状態における撮像部110の構成について説明する。図6は、撮像部110の構成図である。変形の例として、ここでは撮像光学系111a、111bのプリズム118a1、118b1が内側に倒れた状態を説明する。このような変形が生じた場合、図5(a)に示されるような光路(光軸OA1、OA2)を通っていた軸上光線は、図6(a)中に一点鎖線で示されるように、プリズム118a1、118b1で光路(光軸OA1’、OA2’)が傾く。その結果、図6(b)に示されるように、元々の光軸光線が交点OCa’、OCb’とそれぞれ像ズレ量c、dだけ内側にずれた場所に到達する。図6(b)において、マーカー116a’、116b’はそれぞれ、撮像部110の変形が生じた状態でのマーカー像を表している。このように、撮像光学系111a、111bよりも物体側(拡大側)にキャリブレーションマーカー部113a、113bを配置することにより、撮像光学系111a、111bを構成する全ての光学素子の倒れや偏芯などの影響を検出することが可能となる。
続いて、図4のステップS102において、制御部30は、撮像素子112a、112bを検出部として用い、キャリブレーションマーカー部113a、113bのマーカー116a、116bの位置(マーカー位置、マーカー位置情報)を検出する。図5に示されるように撮像部110の変形が生じていない場合、マーカー位置は初期状態と変わらないため、マーカー位置(検出位置)は0となる。ここで、初期状態との比較として、メモリ80から初期状態時のマーカー位置(マーカー位置情報)を取得して、検出位置(検出位置情報)と比較することも可能である。
一方、図6に示されるように撮像部110の変形が生じた場合、初期状態から撮像部110の内向きに像ズレ量c、dだけ発生している。すなわち、撮像光学系111aのマーカー位置(検出位置)は−c、撮像光学系111bのマーカー位置(検出位置)は−dとなる。なお本実施例では、マーカー位置の検出を撮像と同時に(撮影ごとに)毎回実施するが、これに限定されるものではない。これは、撮像部110の変形が常に生じ続けるわけではないためであり、変形が生じうる頻度に応じて任意にマーカー検出や後段の補正値の算出処理を低減させることができる。例えば、撮影30フレーム毎に1回のマーカー検出を実行する又は1時間毎に実行するなどの例が考えられる。
続いてステップS103において、補正値算出部21は、マーカー位置情報に基づいて、測距に必要となる補正値を算出する。本実施例では、補正値として撮像光学系111aに対しては−c、撮像光学系111bに対しては−dという補正値を算出する。
続いてステップS104において、距離情報算出部22は、2つの撮影画像とステップS103にて算出された補正値とに基づいて、距離情報を算出する。被写体距離を算出する際に必要となる撮像部110を構成する2つの撮像光学系111a、111bの焦点距離、基線長D、撮像素子112a、112bの画素サイズ等の情報は、メモリ80に格納されている。距離情報算出部22は、メモリ80から適宜その情報を受け取ることができる。距離情報算出部22は、前述の対応被写体探索処理により、2つの撮影画像から各被写体の視差量を算出する。図5に示されるような変形が生じた状態で撮像された2つの画像から算出される視差量は、像ズレ量を含む値である。本実施例において、一例として、算出された視差量は(a+c+b+d)であり、正確な視差量は(a+b)であるとする。このため、そのままの視差量を用いて式(1)から被写体距離を算出すると、像ズレ量(c+d)の誤差が距離情報に生じてしまう。そこで、ステップS103にて算出された像ズレ量に相当する補正値を用い、算出された視差量から像ズレ量を差し引くことにより、像ズレにより生じる距離情報の誤差を低減することが可能となる。
本実施例の測距装置によれば、光学系の変位や変形による像ズレが発生した状態でも、外部の校正装置を用いることなく距離算出精度を向上させることができる。
次に、本発明の実施例2における測距装置(ステレオカメラユニット)について説明する。本実施例の測距装置は、撮像部110に代えて撮像部120を有する点で、図1を参照して説明した実施例1の測距装置100と異なる。本実施例の測距装置の他の構成は、実施例1の測距装置100と同様であるため、それらの説明を省略する。
まず、図7を参照して、本実施例における撮像部120の構成について説明する。図7は、撮像部120の構成図である。撮像部120は、主として被写体の距離情報を取得する。また撮像部120は、撮像光学系121a、121b、撮像素子122a、122b、および、キャリブレーションマーカー部123a、123bを有し、内側フレーム125および外側フレーム126の2層のフレームで保持されている。
撮像光学系121a、121bは、光学フレーム124上にそれぞれ形成された5面の自由曲面ミラーで構成されている。回転非対称な形状の自由曲面ミラーを利用した反射光学系を撮像光学系121a、121bとして用いることにより、F値が明るく(具体的には画面中心付近のF値が2.0前後等)、広角で歪曲のない光学系を容易に実現することができる。また撮像光学系121a、121bは、光学フレーム124上に一体で形成されていることにより、左右の相対的な位置関係のズレを低減することができる。
本実施例において、制御部30は、撮像部120のキャリブレーションマーカー部123a、123bを制御し、マーカーの表示・非表示を切り替える。このような構成により、マーカーの表示・非表示でそれぞれ画像を取得して差分画像を生成することにより、被写体に影響されることなく高精度にマーカー位置(マーカー位置情報)を検出することができる。また、キャリブレーションマーカー部123a、123bとして透明の無機ELディスプレイ(無機ELパネル)等の自発光の透過型ディスプレイを用いることにより、夜間等の低照度の環境でも安定してマーカーを検出することが可能となる。なお本実施例において、キャリブレーションマーカー部123a、123bを無機ELパネルで構成するが、液晶パネルや有機ELパネル等の能動的にマーカーの表示・非表示を切り替え可能な他の素子で構成してもよい。
撮像部120は、外部の温度変化等の影響を軽減するため、外側フレーム126と内側フレーム125との2層構造になっている。キャリブレーションマーカー部123a、123bは、温度変化を受けにくい内側フレーム125上に設置されることが好ましい。また、マーカー位置の測定精度を高めるため、マーカーの表示位置を被写体に応じて変化させることが好ましい。例えば、被写体のテクスチャの少ない領域や被写体とキャリブレーションマーカーの輝度値の差が大きい領域にキャリブレーションマーカーを表示する。これにより、被写体とキャリブレーションマーカーとの識別が容易になり、マーカー位置の測定精度が向上する。この結果、より正確な補正値を求めることができる。また本実施例において、キャリブレーションマーカー部123a、123bは、式(4)を満足するように配置されることが好ましい。
撮像部120を構成する撮像光学系121a、121bは、最も被写体に近いレンズ同士の間の長さが150mmになるように配置されており、この長さは撮像部120の基線長Dに相当する。撮像光学系121a、121bは、互いに同一の構成であって、左右対称になるように平行に配置されている。また、撮像部120を構成する2つの撮像光学系121a、121bの画角は同一である。
本実施例は、開口部(開口絞り)SPと第一の反射面R2と第二の反射面R3の下記の点を各頂点とする三角形において、その一つの角度を所定の範囲内に設定することで広角化しても、全系の大型化を防ぐことができる。例えば、本実施例の撮像光学系(反射光学系)121a、121bは、図8に示されるように構成される。図8は、撮像光学系121(121a、121b)の説明図である。撮像光学系121は、物体側(拡大側、拡大共役側)から像側(縮小側、縮小共役側)へ光線が進む順に、キャリブレーションマーカー部123、開口部SP、第一の曲率を有する第一の反射面R2、および、第二の曲率を有する第二の反射面R3を有する。
キャリブレーションマーカー部123の中心点をS、開口部SPの中心点(原点)をP、第一の反射面R2のローカル原点(交点)をQ、第二の反射面R3のローカル原点(交点)をRとする。交点Qと中心点Pとを結ぶ線分QPと中心点Pと交点Rとを結ぶ線分PRとがなす角度を∠QPR(deg)する。また、交点Qと中心点Sとを結ぶ線分QSと中心点Sと交点Rとを結ぶ線分SRとがなす角度を∠QSR(deg)とする。このとき本実施例の撮像光学系121は、以下の条件式(5)を満足することが好ましい。
60<∠QSR<∠QPR<120 ・・・(5)
ここで、開口部SP(R1)の中心を通過して縮小面の中心に至る基準光線(中心主光線)の経路を基準軸とする。このとき、中心点Pは基準軸と開口部SPの中心点との交点、ローカル原点Qは基準軸と第一の反射面R2との交点、ローカル原点Rは基準軸と第二の反射面R3との交点にそれぞれ相当する。また本実施例において、第一の反射面R2と第二の反射面R3とを含む複数の反射面のうち少なくとも一つの反射面に関して、基準軸との交点における面法線が基準軸に対して傾いている。
本実施例では、条件式(5)を満足することにより、以下の四つの効果を奏する。
第一の効果は、第一の反射面R2を小型化する効果である。第一の反射面R2を小型化するには、開口部SPと第一の反射面R2との間隔を短くすればよい。第一の反射面R2の大きさは、画角と、開口部SPと第一の反射面R2との間隔のみで決定される。このため、画角が先に決定されると、第一の反射面R2の大きさを小さくするには、開口部SPと第一の反射面R2との間隔を短くするしかない。しかし、開口部SPと第一の反射面R2との間隔を短くし過ぎると、第一の反射面R2から第二の反射面R3へ向かう光束を開口部SPが遮ってしまうため、好ましくない。このため、開口部SPと第一の反射面R2との間隔をできる限り短くすることが好ましい。
第二の効果は、第二の反射面R3を小型化する効果である。第二の反射面R3を小型化するには、第一の反射面R2の形状を凹面にする必要がある。逆に、第一の反射面R2の形状を凸面にすると、第一の反射面R2からの反射光線が発散して第二の反射面R3が巨大化するため、好ましくない。また、第一の反射面R2を凹面にすると、各画角光束のそれぞれが収斂し、中間結像面Mを構成しつつ各画角光束同士も1点に集まるように収斂する構成となる。このため、第一の反射面R2と第二の反射面R3との間隔をある程度の距離だけ離すことにより、第二の反射面R3の大きさを小さくすることができる。しかし、第一の反射面R2と第二の反射面R3との間隔を離し過ぎると、Z軸方向に大型化してしまうため、離し過ぎることは好ましくない。
第三の効果は、第一の反射面R2で発生する偏心収差を低減する効果である。開口部SPから入射した光を第一の反射面R2で反射させて第二の反射面R3に向けて射出する際に、第一の反射面R2での反射角を小さくできれば、画角光束ごとに発生する非対称な収差(偏心収差)を低減させることができる。このためには、第一の反射面R2の傾き角を小さくし、第二の反射面R3をZ軸に近づけるように構成することが好ましい。しかし、第二の反射面R3をZ軸に近づけ過ぎると、開口部SPに入射する最外画角光線を第二の反射面R3で遮ってしまうことになるため、好ましくない。
第四の効果は、前述の第一から第三の効果による広角化により、マーカーを開口近傍に設置できるという効果である。光学系の焦点距離が短いほうが被写界深度が深くなり、マーカーを合焦位置から離れた位置に配置させることができる。これにより、光学系の主点からマーカーまでの距離を小さくでき、撮像部120の小型化を実現することが可能となる。
このように条件式(5)を満足することにより、以上の四つの効果(小型化および高画質化)を奏するため、好ましい。より好ましくは、以下の条件式(5a)を満足する。
65<∠QSR<115 ・・・(5a)
更に好ましくは、以下の条件式(5b)を満足する。
72<∠QSR<108 ・・・(5b)
本実施例の撮像光学系(反射光学系)121は、YZ平面内において、Z軸を中心として±40度の画角を有し、XZ平面内においてはZ軸を中心として±20度の画角を有する。また本実施例において、∠QSR=73(deg)である。このような構成により、光学系の変位や変形による像ズレが発生した状態においても、外部の校正装置を用いることなく距離算出精度を向上させることが可能となる。
次に、実施例1または実施例2の測距装置(ステレオカメラユニット)を備えた車載カメラ10およびそれを備える車載カメラシステム(運転支援装置)600について説明する。図12は、車載カメラ10および車載カメラシステム600の構成図である。車載カメラシステム600は、自動車等の車両に設置され、車載カメラ10により取得した車両の周囲の画像情報に基づいて、車両の運転を支援するための装置である。図13は、車載カメラシステム600を備える車両700の概略図である。図13においては、車載カメラ10の撮像範囲50を車両700の前方に設定した場合を示しているが、撮像範囲50を車両700の後方に設定してもよい。
図12に示すように、車載カメラシステム600は、車載カメラ10と、車両情報取得装置20と、制御装置(ECU:エレクトロニックコントロールユニット)30と、警報装置40と、を備える。また、車載カメラ10は、撮像部1と、画像処理部2と、視差算出部3と、距離算出部4と、衝突判定部5とを備えている。画像処理部2、視差算出部3、距離算出部4、及び衝突判定部5で、処理部が構成されている。撮像部1は、上述した何れかの実施形態に係る光学系と撮像素子とを有する。ステレオ光学系の場合、左右二つの光学系(撮像光学系)と、二つの光学系のそれぞれに対応する二つの撮像素子とを含む。
図14は、車載カメラシステム600の動作例を示すフローチャートである。以下、このフローチャートに沿って、車載カメラシステム600の動作を説明する。
まず、ステップS1では、撮像部1を用いて車両の周囲の対象物(被写体)を撮像し、複数の画像データ(視差画像データ)を取得する。続いてステップS2では、車両情報取得装置20から車両情報の取得を行う。車両情報とは、車両の車速、ヨーレート、舵角などを含む情報である。続いてステップS3では、撮像部1により取得された複数の画像データに対して、画像処理部2により画像処理を行う。具体的には、画像データにおけるエッジの量や方向、濃度値などの特徴量を解析する画像特徴解析を行う。ここで、画像特徴解析は、複数の画像データの夫々に対して行ってもよいし、複数の画像データのうち一部の画像データのみに対して行ってもよい。
続いてステップS4では、撮像部1により取得された複数の画像データ間の視差(像ズレ)情報を、視差算出部3によって算出する。視差情報の算出方法としては、SSDA法や面積相関法などの既知の方法を用いることができるため、本実施形態では説明を省略する。なお、ステップS2、S3、S4は、上記の順番に処理を行ってもよいし、互いに並列して処理を行ってもよい。
続いてステップS5では、撮像部1により撮像した対象物との間隔情報(距離情報)を、距離算出部4によって算出する。すなわち距離算出部4は、複数の光学系を介してそれぞれ形成された複数の画像に基づいて被写体の距離情報を算出する。距離情報は、視差算出部3により算出された視差情報と、撮像部1の内部パラメータ及び外部パラメータとに基づいて算出することができる。なお、ここでの距離情報とは、対象物との間隔、デフォーカス量、像ズレ量、などの対象物との相対位置に関する情報のことであり、画像内における対象物の距離値を直接的に表すものでも、距離値に対応する情報を間接的に表すものでもよい。
続いてステップS6では、距離算出部4により算出された距離情報が予め設定された設定距離の範囲内に含まれるか否かの判定を、衝突判定部5によって行う。これにより、車両の周囲の設定距離内に障害物が存在するか否かを判定し、車両と障害物との衝突可能性を判定することができる。衝突判定部5は、設定距離内に障害物が存在する場合は衝突可能性ありと判定し(ステップS7)、設定距離内に障害物が存在しない場合は衝突可能性なしと判定する(ステップS8)。
次に、衝突判定部5は、衝突可能性ありと判定した場合(ステップS7)、その判定結果を制御装置30や警報装置40に対して通知する。このとき、制御装置30は、衝突判定部5での判定結果に基づいて車両を制御し、警報装置40は、衝突判定部5での判定結果に基づいて警報を発する。
例えば、制御装置30は、車両に対して、ブレーキをかける、アクセルを戻す、各輪に制動力を発生させる制御信号を生成してエンジンやモータの出力を抑制する、などの制御を行う。また、警報装置40は、車両のユーザ(運転者)に対して、音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与える、などの警告を行う。
以上、本実施形態に係る車載カメラシステム600によれば、上記の処理により、効果的に障害物の検知を行うことができ、車両と障害物との衝突を回避することが可能になる。特に、上述した各実施形態に係る光学系を車載カメラシステム600に適用することで、車載カメラ10の全体を小型化して配置自由度を高めつつ、広画角にわたって障害物の検知及び衝突判定を行うことが可能になる。
なお、距離情報の算出については、様々な実施形態が考えられる。一例として、撮像部1が有する撮像素子として、二次元アレイ状に規則的に配列された複数の画素部を有する瞳分割型の撮像素子を採用した場合について説明する。この場合、結像光学系がステレオ光学系を構成していなくても距離情報を算出可能である。瞳分割型の撮像素子において、一つの画素部は、マイクロレンズと複数の光電変換部とから構成され、光学系の瞳における異なる領域を通過する一対の光束を受光し、対をなす画像データを各光電変換部から出力することができる。
そして、対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、距離算出部4により像ずれ量の分布を表す像ずれマップデータが算出される。あるいは、距離算出部4は、その像ずれ量をさらにデフォーカス量に換算し、デフォーカス量の分布(撮像画像の2次元平面上の分布)を表すデフォーカスマップデータを生成してもよい。また、距離算出部4は、デフォーカス量から変換される対象物との間隔の距離マップデータを取得してもよい。
なお、本実施形態では、車載カメラシステム600を運転支援(衝突被害軽減)に適用したが、これに限られず、車載カメラシステム600をクルーズコントロール(全車速追従機能付を含む)や自動運転などに適用してもよい。また、車載カメラシステム600は、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(測距装置を保持して移動可能な移動装置)に適用することができる。また、本実施形態に係る車載カメラ10、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
各実施例において、測距装置100は、第一の光学系(撮像光学系111a、121a)および第二の光学系(撮像光学系111b、121b)を有する。また測距装置は、第一の光学系の撮像範囲内に配置された第一の指標(マーカー116a)、および、第二の光学系の撮像範囲内に配置された第二の指標(マーカー116b)を有する。また測距装置は、第一の光学系により形成された第一の指標の像の位置情報および第二の光学系により形成された第二の指標の像の位置情報を検出する撮像素子(112a、112b、122a、122b)を有する。
好ましくは、第一の指標は第二の光学系の撮像範囲外に配置されており、第二の指標は第一の光学系の撮像範囲外に配置されている。また好ましくは、撮像素子は、第一の光学系により形成された第一の視差画像を取得する第一の撮像素子(撮像素子112a、122a)と、第二の光学系により形成された第二の視差画像を取得する第二の撮像素子(撮像素子112b、122b)とを有する。また好ましくは、第一の光学系および第二の光学系は、ステレオ画像(第一の視差画像および第二の視差画像)を形成するように構成されている。
好ましくは、被写体に関する距離情報を算出する画像処理部20を更に有する。第一の撮像素子は、第一の光学系により形成された第一の指標の像の位置情報を検出する。第二の撮像素子は、第二の光学系により形成された第二の指標の像の位置情報を検出する。そして画像処理部は、ステレオ画像と、第一の指標の像の位置情報と、第二の指標の像の位置情報とに基づいて、被写体に関する前記距離情報を算出する。より好ましくは、画像処理部は、補正値算出部21および距離情報算出部22を有する。補正値算出部は、第一の指標の像の位置情報と第二の指標の像の位置情報とに基づいて、測距のための補正値を算出する。そして距離情報算出部は、ステレオ画像と補正値とに基づいて、距離情報を算出する。より好ましくは、補正値は、被写体に関する視差量に含まれる像ズレ量の影響を補正するためのデータである。
好ましくは、第一の光学系および第二の光学系のそれぞれの少なくとも一部は、反射面を有する。また好ましくは、測距装置は、第一の光学系および第二の光学系を収容する第一のフレーム(内側フレーム125)、および、第一のフレームよりも外側に配置された第二のフレーム(外側フレーム126)を有する。第一の指標および第二の指標は、第一のフレームに設けられている。
好ましくは、第一の指標および第二の指標は、任意のタイミングで第一の指標および第二の指標の表示と非表示とを切り替え可能な透過型の光学素子である。より好ましくは、測距装置は、光学素子を制御する制御部30を有する。そして制御部は、第一の領域よりも被写体のテクスチャの少ない第二の領域に第一の指標および第二の指標を表示するように光学素子を制御する。また好ましくは、制御部は、第一の領域よりも被写体と第一の指標または第二の指標との輝度値の差が大きい第二の領域に第一の指標および第二の指標を表示するように光学素子を制御する。
各実施例によれば、簡易な構成で高精度に距離情報を算出することが可能な測距装置および撮像装置を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
1 測距装置
111a、121a 撮像光学系(第一の光学系)
111b、121b 撮像光学系(第二の光学系)
116a マーカー(第一の指標)
116b マーカー(第二の指標)

Claims (19)

  1. 第一の光学系と、
    第二の光学系と、
    前記第一の光学系の撮像範囲内に配置された第一の指標と、
    前記第二の光学系の撮像範囲内に配置された第二の指標と、
    前記第一の光学系により形成された前記第一の指標の像の位置情報および前記第二の光学系により形成された前記第二の指標の像の位置情報を検出する撮像素子と、を有することを特徴とする測距装置。
  2. 前記第一の指標は、前記第二の光学系の撮像範囲外に配置されており、
    前記第二の指標は、前記第一の光学系の撮像範囲外に配置されていることを特徴とする請求項1に記載の測距装置。
  3. 前記撮像素子は、
    前記第一の光学系により形成された第一の視差画像を取得する第一の撮像素子と、
    前記第二の光学系により形成された第二の視差画像を取得する第二の撮像素子と、を有することを特徴とする請求項1または2に記載の測距装置。
  4. 前記第一の光学系および前記第二の光学系は、ステレオ画像を形成するように構成されていることを特徴とする請求項1乃至3のいずれか1項に記載の測距装置。
  5. 被写体に関する距離情報を算出する画像処理部を更に有し、
    前記第一の撮像素子は、前記第一の光学系により形成された前記第一の指標の像の位置情報を検出し、
    前記第二の撮像素子は、前記第二の光学系により形成された前記第二の指標の像の位置情報を検出し、
    前記画像処理部は、前記ステレオ画像と、前記第一の指標の像の位置情報と、前記第二の指標の像の位置情報とに基づいて、前記被写体に関する前記距離情報を算出することを特徴とする請求項4に記載の測距装置。
  6. 前記画像処理部は、
    前記第一の指標の像の位置情報と前記第二の指標の像の位置情報とに基づいて、測距のための補正値を算出する補正値算出部と、
    前記ステレオ画像と前記補正値とに基づいて、前記距離情報を算出する距離情報算出部と、を有することを特徴とする請求項5に記載の測距装置。
  7. 前記補正値は、前記被写体に関する視差量に含まれる像ズレ量の影響を補正するためのデータであることを特徴とする請求項6に記載の測距装置。
  8. 前記第一の光学系および前記第二の光学系のそれぞれの少なくとも一部は、反射面を有することを特徴とする請求項1乃至7のいずれか1項に記載の測距装置。
  9. 前記第一の光学系および前記第二の光学系のそれぞれの焦点距離をf、前記第一の光学系および前記第二の光学系のそれぞれの主点から合焦位置までの距離をs、FナンバーをF、前記撮像素子の画素ピッチをδ、前記第一の光学系および前記第二の光学系のそれぞれの前記主点から前記第一の指標または前記第二の指標までの距離をLとするとき、

    なる条件を満足することを特徴とする請求項1乃至8のいずれか1項に記載の測距装置。
  10. 前記第一の光学系および前記第二の光学系を収容する第一のフレームと、
    前記第一のフレームよりも外側に配置された第二のフレームと、を更に有し、
    前記第一の指標および前記第二の指標は、前記第一のフレームに設けられていることを特徴とする請求項1乃至9のいずれか1項に記載の測距装置。
  11. 前記第一の光学系および前記第二の光学系はそれぞれ、
    拡大側から縮小側へ順に、前記第一の指標または前記第二の指標、開口部、第一の曲率を有する第一の反射面、および、第二の曲率を有する第二の反射面を有し、
    前記開口部の中心を通過して縮小面の中心に至る基準光線の経路を基準軸として、前記第一の指標または前記第二の指標の中心点をS、前記基準軸と前記第一の反射面との交点をQ、前記基準軸と前記第二の反射面との交点をR、前記交点Qと前記中心点Sとを結ぶ線分QSと前記中心点Sと前記交点Rとを結ぶ線分SRとのなす角度(deg)を∠QSRとするとき、
    60<∠QSR<120
    なる条件を満足することを特徴とする請求項1乃至10のいずれか1項に記載の測距装置。
  12. 前記第一の反射面と前記第二の反射面とを含む複数の反射面のうち少なくとも一つの反射面に関して、前記基準軸との交点における面法線が前記基準軸に対して傾いていることを特徴とする請求項11に記載の測距装置。
  13. 任意のタイミングで前記第一の指標および前記第二の指標の表示と非表示とを切り替え可能な透過型の光学素子を更に有することを特徴とする請求項1乃至12のいずれか1項に記載の測距装置。
  14. 前記光学素子を制御する制御部を更に有し、
    前記制御部は、第一の領域よりも被写体のテクスチャの少ない第二の領域に前記第一の指標および前記第二の指標を表示するように前記光学素子を制御することを特徴とする請求項13に記載の測距装置。
  15. 前記光学素子を制御する制御部を更に有し、
    前記制御部は、第一の領域よりも被写体と前記第一の指標または前記第二の指標との輝度値の差が大きい第二の領域に前記第一の指標および前記第二の指標を表示するように前記光学素子を制御することを特徴とする請求項13に記載の測距装置。
  16. 請求項1乃至15のいずれか1項に記載の測距装置と、前記測距装置により取得された被写体に関する距離情報に基づいて自車両と前記物体との衝突可能性を判定する衝突判定部と、を有することを特徴とする車載カメラシステム。
  17. 前記自車両と前記物体との衝突可能性が有ると判定された場合に、前記自車両の各輪に制動力を発生させる制御信号を出力する制御装置を有することを特徴とする請求項16に記載の車載カメラシステム。
  18. 前記自車両と前記物体との衝突可能性が有ると判定された場合に、前記自車両の運転者に対して警報を発する警報装置を有することを特徴とする請求項16または17に記載の車載カメラシステム。
  19. 請求項1乃至15のいずれか1項に記載の測距装置を備え、該測距装置を保持して移動可能であることを特徴とする移動装置。
JP2018144645A 2018-08-01 2018-08-01 測距装置および車載カメラシステム Active JP7207889B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018144645A JP7207889B2 (ja) 2018-08-01 2018-08-01 測距装置および車載カメラシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018144645A JP7207889B2 (ja) 2018-08-01 2018-08-01 測距装置および車載カメラシステム

Publications (2)

Publication Number Publication Date
JP2020020667A true JP2020020667A (ja) 2020-02-06
JP7207889B2 JP7207889B2 (ja) 2023-01-18

Family

ID=69587469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018144645A Active JP7207889B2 (ja) 2018-08-01 2018-08-01 測距装置および車載カメラシステム

Country Status (1)

Country Link
JP (1) JP7207889B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110501A (zh) * 2021-05-11 2021-07-13 北京京东乾石科技有限公司 一种测试无人驾驶设备的系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942946A (ja) * 1995-03-07 1997-02-14 New Japan Radio Co Ltd 電子部品の測定装置、測定方法及びキャリブレーションマスク
JP2004144923A (ja) * 2002-10-23 2004-05-20 Olympus Corp ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法
JP2012032349A (ja) * 2010-08-03 2012-02-16 Alps Electric Co Ltd ステレオカメラシステム及び該システムを備える車両
JP2018074479A (ja) * 2016-11-01 2018-05-10 株式会社リコー 撮像装置、及び移動体システム
JP2018097189A (ja) * 2016-12-14 2018-06-21 キヤノン株式会社 複眼撮像光学系および複眼撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0942946A (ja) * 1995-03-07 1997-02-14 New Japan Radio Co Ltd 電子部品の測定装置、測定方法及びキャリブレーションマスク
JP2004144923A (ja) * 2002-10-23 2004-05-20 Olympus Corp ファインダ、撮影装置、マーカ提示部材、及び、キャリブレーションのための撮影方法
JP2012032349A (ja) * 2010-08-03 2012-02-16 Alps Electric Co Ltd ステレオカメラシステム及び該システムを備える車両
JP2018074479A (ja) * 2016-11-01 2018-05-10 株式会社リコー 撮像装置、及び移動体システム
JP2018097189A (ja) * 2016-12-14 2018-06-21 キヤノン株式会社 複眼撮像光学系および複眼撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113110501A (zh) * 2021-05-11 2021-07-13 北京京东乾石科技有限公司 一种测试无人驾驶设备的系统和方法
CN113110501B (zh) * 2021-05-11 2023-09-01 北京京东乾石科技有限公司 一种测试无人驾驶设备的系统和方法

Also Published As

Publication number Publication date
JP7207889B2 (ja) 2023-01-18

Similar Documents

Publication Publication Date Title
JP6746328B2 (ja) 光学系、それを備える撮像装置及び投影装置
US20160379066A1 (en) Method and Camera System for Distance Determination of Objects from a Vehicle
WO2016056197A1 (ja) 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
WO2016171050A1 (ja) 画像処理装置
JP6807543B2 (ja) 撮像装置
JP4975592B2 (ja) 撮像装置
JP4414661B2 (ja) ステレオアダプタ及びそれを用いた距離画像入力装置
EP2779654A2 (en) Stereo camera
JP2017156713A (ja) 撮像装置及び投影装置
CN107122770B (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
JP2017156712A (ja) 光学系、それを備える撮像装置及び投影装置
JP7005207B2 (ja) 光学系、それを備える撮像装置及び投影装置
US10761406B2 (en) Optical system, image capturing apparatus, distance measuring apparatus, and vehicle-mounted system
JP5455033B2 (ja) 距離画像入力装置と車外監視装置
JP6669182B2 (ja) 乗員監視装置
US11595631B2 (en) Imaging device, image capturing optical system, and movable apparatus
EP4036626A1 (en) Wide-angle imaging lens
JP7207889B2 (ja) 測距装置および車載カメラシステム
CN109855594A (zh) 摄像装置、距离测量设备、车载系统和移动设备
JP2019028127A (ja) 光学系、それを備える撮像装置及び投影装置
JP6983740B2 (ja) ステレオカメラシステム、及び測距方法
JP6983584B2 (ja) 撮像装置、それを備える測距装置及び車載カメラシステム
JP2019028128A (ja) 光学系、それを備える撮像装置及び投影装置
JP2018189747A (ja) 光学系、それを備える撮像装置及び投影装置
JP2004354435A (ja) ステレオ撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210714

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230105

R151 Written notification of patent or utility model registration

Ref document number: 7207889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151