JP2018117204A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2018117204A
JP2018117204A JP2017005692A JP2017005692A JP2018117204A JP 2018117204 A JP2018117204 A JP 2018117204A JP 2017005692 A JP2017005692 A JP 2017005692A JP 2017005692 A JP2017005692 A JP 2017005692A JP 2018117204 A JP2018117204 A JP 2018117204A
Authority
JP
Japan
Prior art keywords
imaging
road
image
map information
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017005692A
Other languages
English (en)
Other versions
JP6699567B2 (ja
Inventor
峰樹 曽我
Mineki Soga
峰樹 曽我
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017005692A priority Critical patent/JP6699567B2/ja
Priority to US15/856,816 priority patent/US10462378B2/en
Publication of JP2018117204A publication Critical patent/JP2018117204A/ja
Application granted granted Critical
Publication of JP6699567B2 publication Critical patent/JP6699567B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】撮像装置の適切な露光条件を比較的速やかに求める。
【解決手段】撮像装置(1)は、移動体周辺を撮像して周辺画像を取得する撮像手段(11)と、移動体の位置を検出する位置検出手段(12)と、道路地図情報を保持する地図手段(14)と、検出された位置及び道路地図情報に基づいて取得された周辺画像の道路に該当する領域を推定して、該推定された領域の少なくとも一部を含む測光領域を設定する設定手段(15)と、取得された周辺画像の設定された測光領域内の画像情報に基づいて、撮像手段の露光条件を算出する算出手段(16)と、算出された露光条件となるように撮像手段を制御する制御手段(17)と、を備える。
【選択図】図1

Description

本発明は、撮像装置に関し、特に、例えば車両等の移動体に搭載され、該移動体の周辺を撮像する撮像装置の技術分野に関する。
この種の装置として、例えば、車載カメラで撮像された画像内の画像領域に露光の過不足を原因として画像処理ができない不適合領域がある場合、車載カメラの位置の変化及び車載カメラの光軸方向の変化のうち少なくとも一つに基づいて、画像領域の位置座標を変更する装置が提案されている(特許文献1参照)。撮像された画像中の障害物と自車両との間の走行路面の画像部分に、該障害物の位置、自車速及び車線形状に応じて処理領域を設定し、該設定された処理領域内の画像情報に基づいて、撮像装置の次回の露光量を算出する装置が提案されている(特許文献2参照)。撮像装置の撮像領域内に第1基準領域を設定して、第1基準領域の輝度に応じて撮像装置の露光量を調節する装置であって、第1基準領域内に障害物が検知された場合、第2基準領域を設定して、第2基準領域の輝度に応じて撮像装置の露光量を調節する装置が提案されている(特許文献3参照)。
特開2013−160895号公報 特開平10−066060号公報 特開2013−168737号公報
この種の装置は、例えば障害物検知や車線検知等に用いられることが多く、路面を適切に撮像可能であることが求められる。例えば特許文献3の第1基準領域のように、撮像された画像の路面部分を含むと予想される領域が、不変な画像領域として設定されると、例えば道路の起伏が比較的大きい場合や道路形状が比較的複雑な場合、路面以外のもの(例えば建物や街路樹、空等)が画像領域に含まれ、露光調整が適切に行われない可能性がある。例えば特許文献1に記載の技術のように、カメラの位置変化や光軸方向変化に基づいて、或いは、特許文献2に記載の技術のように、障害物や車線が検知された後に、露光調整のための画像領域が設定されると、適切な露光量が求められるまでに比較的時間がかかる可能性がある。
本発明は、上記問題点に鑑みてなされたものであり、適切な露光条件を比較的速やかに求めることができる撮像装置を提案することを課題とする。
本発明の撮像装置は、上記課題を解決するために、移動体周辺を撮像して周辺画像を取得する撮像手段と、前記移動体の位置を検出する位置検出手段と、道路地図情報を保持する地図手段と、前記検出された位置及び前記道路地図情報に基づいて前記取得された周辺画像の道路に該当する領域を推定して、前記推定された領域の少なくとも一部を含む測光領域を設定する設定手段と、前記取得された周辺画像の前記設定された測光領域内の画像情報に基づいて、前記撮像手段の露光条件を算出する算出手段と、前記算出された露光条件となるように前記撮像手段を制御する制御手段と、を備える。
当該撮像装置では、移動体の位置及び道路地図情報に基づいて、周辺画像の道路に該当する領域が推定された上で測光領域が設定される。つまり、当該撮像装置では、周辺画像に道路がどのように写るかを予測して測光領域が設定される。このため、当該撮像装置によれば、適切な露光条件を比較的速やかに求めることができる。
本発明の撮像装置の一態様では、前記撮像手段の光軸方向を推定する光軸推定手段を更に備え、前記設定手段は、前記検出された位置、前記道路地図情報及び前記推定された光軸方向に基づいて前記取得された周辺画像の道路に該当する領域を推定して、前記測光領域を設定する。
移動体が常に道路の延びる方向に沿って移動するとは限らない。また、撮像手段の光軸方向は、移動体の向きに連れて変化する。例えば道路の凹凸に起因して、移動体が上下に振動すると、周辺画像の道路に該当する領域も、上下いずれかに偏ることになる。更に、車線変更等に起因して、撮像手段の光軸方向が道路の延びる方向からずれると、周辺画像の道路に該当する領域も、該光軸方向が道路の延びる方向に沿っている場合に比べて、左右いずれかに偏ることもある。この態様では、撮像手段の光軸方向が推定されるので、周辺画像の道路に該当する領域の推定精度を向上させることができる。従って、この態様によれば、より適切な露光条件を比較的速やかに求めることができる。
本発明の撮像装置の他の態様では、前記道路地図情報は、道路を示す情報として、複数の地点各々の3次元座標を夫々示す複数の点と、前記複数の点の相互間の接続情報とを含み、前記設定手段は、前記検出された位置及び前記道路地図情報に基づいて前記取得された周辺画像の道路に該当する領域を推定すると共に、前記複数の点及び前記接続情報を参照して、前記推定された領域のうち、前記検出された位置から所定距離離れた地点に該当する部分を含むように、前記測光領域を設定する。
この態様によれば、移動体の位置から所定距離離れた地点を撮像するために適切な露光条件を比較的速やかに設定することができる。この結果、撮像した周辺画像に基づいて障害物を検出するために当該撮像装置が用いられる場合には、例えば移動体の位置から所定距離離れた地点に存在する障害物を、周辺画像から比較的容易にして検出することができる。尚、「所定距離」は、撮像対象(言い換えれば、周辺画像を用いて検出したいもの)に応じて適宜設定されてよい。
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
実施形態に係る撮像装置の構成を示すブロック図である。 実施形態に係る露光調整動作を示すフローチャートである。 実施形態に係る露光条件算出処理を示すフローチャートである。 測光領域の一例を示す図である。 測光領域の他の例を示す図である。 測光領域の他の例を示す図である。
本発明の撮像装置に係る実施形態について、図1乃至図4を参照して説明する。
(装置構成)
実施形態に係る撮像装置の構成について、図1を参照して説明する。図1は、実施形態に係る撮像装置の構成を示すブロック図である。
実施形態に係る撮像装置1は、例えば自動四輪車、自動二輪車等の移動体(図示せず)に搭載されている。図1において、撮像装置1は、撮像手段11、自己位置検出手段12、光軸方向光軸推定手段13、地図手段14、測光領域設定手段15、露光条件算出手段16及び撮像制御手段17を備えて構成されている。
撮像手段11は、例えばCMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子を有する。撮像手段11は、移動体の周辺(典型的には、移動体の前方)を撮像して周辺画像を逐次取得する。
自己位置検出手段12は、例えばGPS(Global Positioning System)信号を受信して、当該撮像装置1の位置(即ち、当該撮像装置1を搭載する移動体の位置)を検出する。移動体に搭載されたセンサの出力と地図情報とを整合させることにより検出された位置の精度を高めることが望ましい。例えば、撮像手段11で得られた画像を俯瞰画像に変換し、地図情報として保持された路面テクスチャと最も相関が大きくなる位置を求めることで、より高精度の位置を推定できる。光軸方向光軸推定手段13は、例えばジャイロセンサの出力に基づいて、当該撮像装置1の姿勢、即ち、光軸方向を推定する。
地図手段14は、例えば地図データベースであり、道路地図情報を保持する。道路地図情報には、道路形状及び道路勾配を示す情報が含まれている。具体的には、道路地図情報には、例えば、緯度、経度及び標高を夫々示す複数のデータ点と、複数のデータ点の相互間を接続する道路を示す接続情報とが含まれている。複数のデータ点は、例えば交差点等の結節点(所謂ノード)に対応するデータ点に限らず、道路(又は車線毎)に沿って一定間隔で配列されたデータ点も含んでよい。
測光領域設定手段15は、自己位置検出手段12により検出された当該撮像装置1の位置、光軸推定手段13により検出された当該撮像装置1の光軸方向、及び道路地図情報に基づいて、撮像手段11により撮像された周辺画像上に測光領域を設定する。「測光領域」は、撮像手段11の露光条件を設定するための画像情報(例えば輝度値)を抽出する範囲を規定する。
露光条件算出手段16は、測光領域設定手段15により設定された測光領域内の画像情報に基づいて露光条件を算出する(露光条件の算出方法については後述する)。撮像制御手段17は、露光条件算出手段16により算出された露光条件に基づいて、撮像手段11を制御する。
ここで、「測光領域」を設定することの意義について説明する。移動体の走行環境の明るさは、数十ルクス(例えば、夜間のヘッドライト照射エリア)から、約十万ルクス(例えば、晴天の日中)まで、照度が4桁以上変化する。更に、例えば路面等の様々な撮像対象の反射率も考慮すれば、照度は5〜6桁変化する。このような走行環境を適切に撮像可能な装置として、ワイドダイナミックレンジカメラが存在する。しかしながら、ワイドダイナミックレンジカメラは、例えばコストの観点から、移動体に搭載される撮像装置として採用されないこともある。
他方で、比較的狭いダイナミックレンジのカメラでは、走行環境を適切に撮像することが難しい場合がある。例えば陰日向やトンネルの内外等の明所と暗所とが一枚の画像内に写る場合、明所が白とびしたり、暗所が黒つぶれしたりすることがある。撮像範囲内の明暗差(即ち、照度範囲)に対してカメラのダイナミックレンジが不足する場合、撮像範囲の全てをカバーする露光条件を適切に設定することはできない。そこで、撮像対象(走行環境認識では、例えば路面や障害物)が適切に撮像されるように、該撮像対象の明るさに応じて露光条件が動的に設定される。露光条件を適切に設定するためには、画像内で撮像対象が写っている部分の画像情報を抽出する必要があるので、「測光領域」が設定されるのである。
(露光調整動作)
次に、上述の如く構成された撮像装置1における露光調整動作について、図2及び図3のフローチャートを参照して説明する。
図2において、撮像手段11は、移動体の周辺を撮像して周辺画像を取得する(ステップS101)。自己位置検出手段12は、撮像装置1の位置を検出する(ステップS102)。光軸推定手段13は、撮像装置1の光軸方向を検出する(ステップS103)。尚、ステップS101〜S103の処理は、典型的には、並行して行われる。
次に、測光領域設定手段15は、自己位置検出手段12により検出された位置に基づいて、地図手段14から移動体の現在地周辺の道路地図情報(特に、複数のデータ点及び接続情報)を抽出する。測光領域設定手段15は、抽出された道路地図情報から3次元道路形状を再現する。移動体の現在地周辺にカーブ路が存在する場合、測光領域設定手段15は、抽出された道路地図情報に含まれる複数のデータ点に基づいて、例えばBスプライン曲線やクロソイド曲線等によりカーブ路の道路形状を再現してよい。
測光領域設定手段15は、例えば撮像手段11に係る焦点位置、撮像素子に係る画素ピッチ、撮像手段11の光軸方向等の当該撮像装置1に係る光学条件に基づいて、再現された3次元道路形状を周辺画像上に投影(重畳)する(ステップS104)。尚、撮像手段11の光軸方向は、光軸推定手段13により検出された撮像装置1の光軸方向から求められる。続いて、測光領域設定手段15は、周辺画像の道路に該当する領域(以降、適宜“道路部分”と称する)の少なくとも一部を含むように測光領域を設定する(ステップS105)。
測光領域について、図4を参照して具体的に説明する。図4において、破線21a及び21bは周辺画像に投影された3次元道路形状(ここでは、車線を示す線)を表しており、点線枠31は測光領域を表している。路面が撮像対象である場合、測光領域設定手段15は、投影された3次元道路形状を参照して、道路部分の少なくとも一部を含むように測光領域31を設定する。図4では、直線路であるので測光領域31は台形であるが、測光領域31は台形に限らず、道路形状に応じて様々な形状を採ることができる。
測光領域は、一般に大きくする方が算出される露光条件が時間的に安定する。その反面、測光領域を大きくすると道路部分以外の領域が測光領域に含まれる可能性が大きくなる。そこで、測光領域31の幅(図4の左右方向の長さ)は、道路幅よりも狭くなるように設定されることが望ましい。このように構成すれば、例えば移動体の振動に起因して、周辺画像の道路部分と投影された3次元道路形状との間にずれが生じた場合、測光領域31に、例えば空や建物等が含まれることを抑制することができる。
測光領域設定手段15により測光領域が設定された後、図3に示す露光条件算出処理(S2)が行われる。露光条件は、一般的に、レンズの絞り値(F値)、露光時間(シャッタ速度)及びゲイン(ISO感度)を指す。移動体の走行中は、走行環境の明るさが比較的頻繁に変化するので、レンズの絞り値は固定値とされることが多い。本実施形態でも、レンズの絞り値は固定値として、露光条件が求められる。しかしながら、レンズの絞り値が可変値であってもよい。
図3において、露光条件算出手段16は、周辺画像から測光領域31内の複数の画素各々の輝度値を取得して、輝度平均Bmを算出する(ステップS201)。尚、輝度値は、画像情報の一例である。ステップS201の処理と並行して、露光条件算出手段16は、撮像手段11の現在の露光時間Tc及び現在のゲインGcを取得する(ステップS202)。
次に、露光条件算出手段16は、輝度平均Bmと目標輝度Btとの比α(=Bt/Bm)を求める(ステップS203)。次に、露光条件算出手段16は、比αが1より大きいか否かを判定する(ステップS204)。ここで、「比αが1より大きい」とは、目標輝度Btが輝度平均Bmより明るいことを意味する。
ステップS204の判定において、比αが1より大きいと判定された場合(ステップS204:Yes)、露光条件算出手段16は、現在の露光時間Tcと比αとの積αTcが、最大露光時間Tmaxより長いか否かを判定する(ステップS205)。この判定において、積αTcが最大露光時間Tmaxより長いと判定された場合(ステップS205:Yes)、露光条件算出手段16は、露光時間Tnを最大露光時間Tmaxとすると共に、ゲインGnを“α(Tc/Tmax)Gc”とする(ステップS206)。
次に、露光条件算出手段16は、ゲインGnが最大ゲインGmaxより大きいか否かを判定する(ステップS207)。この判定において、ゲインGnが最大ゲインGmax以下であると判定された場合(ステップS207:No)、後述するステップS209の処理が行われる。
他方、ステップS207の判定において、ゲインGnが最大ゲインGmaxより大きいと判定された場合(ステップS207:Yes)、露光条件算出手段16は、ゲインGnを最大ゲインGmaxとする(ステップS208)。その後、露光条件算出手段16は、露光時間Tn及びゲインGnを露光条件として設定する(ステップS209)。
ステップS205の判定において、積αTcが最大露光時間Tmax以下であると判定された場合(ステップS205:No)、露光条件算出手段16は、露光時間Tnを積αTnとすると共に、ゲインGnを現在のゲインGcとする(ステップS210)。その後、ステップS209の処理が行われる。
ステップS204の判定において、比αが1以下であると判定された場合(ステップS204:No)、露光条件算出手段16は、現在のゲインGcと比αとの積αGcが、最小ゲインGminより小さいか否かを判定する(ステップS211)。この判定において、積αGcが最小ゲインGminより小さいと判定された場合(ステップS211:Yes)、露光条件算出手段16は、露光時間Tnを“α(Gc/Gmin)Tc”とすると共に、ゲインGnを最小ゲインGminとする(ステップS212)。
次に、露光条件算出手段16は、露光時間Tnが最小露光時間Tminより小さいか否かを判定する(ステップS213)。この判定において、露光時間Tnが最小露光時間Tmin以上であると判定された場合(ステップS213:No)、ステップS209の処理が行われる。
他方、ステップS213の判定において、露光時間Tnが最小露光時間Tminより小さいと判定された場合(ステップS213:Yes)、露光条件算出手段16は、露光時間Tnを最小露光時間Tminとする(ステップS214)。その後、ステップS209の処理が行われる。
ステップS211の判定において、積αGcが最小ゲインGmin以上であると判定された場合(ステップS211:No)、露光条件算出手段16は、露光時間Tnを現在の露光時間Tcとすると共に、ゲインGnを積αGcとする(ステップS215)。その後、ステップS209の処理が行われる。
尚、最大露光時間Tmaxは、例えばフレーム間時間(例えば30fpsであれば33ミリ秒)や、モーションブラーを考慮して設定される。最小露光時間Tminは、例えば撮像手段11で用いられている回路のクロック周波数等によって規定される。最大ゲインGmaxは、例えば撮像素子から出力される信号に含まれるノイズの最大許容値として設定される。最小ゲインGminは、典型的には、“1”である。
再び図2に戻り、撮像制御手段17は、露光条件算出手段16により設定された露光時間Tn及びゲインGnに基づいて、撮像手段11を制御する(ステップS106)。ステップS106の処理の後、所定時間経過後に、再びステップS101の処理が行われる。一般には撮像手段11で取得される画像毎にステップS101からステップS106の処理が繰り返される。
(技術的効果)
当該撮像装置1では、道路地図情報等を用いて、周辺画像の道路部分の少なくとも一部を含むように測光領域が設定されると共に、該設定された測光領域内の画像情報(例えば輝度値)に基づいて露光条件が算出される。このため、当該撮像装置1によれば、撮像対象(例えば、路面や路面上の障害物)の撮像に適切な露光条件を比較的速やかに求めることができる。
実施形態に係る「自己位置検出手段12」、「測光領域設定手段15」、「露光条件算出手段16」及び「撮像制御手段17」は、夫々、本発明に係る「位置検出手段」、「設定手段」、「算出手段」及び「制御手段」の一例である。
<第1変形例>
上述の実施形態では、周辺画像上に3次元道路形状を投影する際に、撮像手段11の光軸方向が考慮されている。第1変形例では、測光領域設定手段15は、撮像手段11の光軸方向が、道路の延びる方向と平行であると仮定して、周辺画像上に3次元道路形状を投影する。第1変形例では、例えば図5に示すように、周辺画像に投影された3次元道路形状(破線22a及び22b参照)が、周辺画像の道路部分からずれる場合があるが、おおむね適切に測光領域(図5では、点線枠32)を設定できることが、本願発明者の研究により判明している。第1変形例では、光軸方向光軸推定手段13が必須の構成ではなくなるので、例えば製造コストの削減や装置の小型化等を図ることができる。
<第2変形例>
測光領域設定手段15は、次のように測光領域を設定してもよい。即ち、測光領域設定手段15は、道路地図情報に含まれる、本発明に係る「複数の点」の一例としての、複数のデータ点から、自己位置検出手段12により検出された撮像装置1の現在地に最も近い第1データ点を抽出し、第1データ点に接続されると共に、第1データ点から所定距離だけ離れた地点に最も近い第2データ点を求める。
次に、測光領域設定手段15は、第2データ点により示される地点に対応する周辺画像の画素が測光領域の底辺の中央となるように、撮像装置1から上記所定距離だけ離れた地点で所定のサイズ(例えば幅4メートル、高さ3メートル)に対応する周辺画像における領域(図6の点線枠33参照)を測光領域として設定する。尚、「第2データ点により示される地点に対応する周辺画像の画素」は、上述のステップS104の処理において、3次元道路形状(図6では、破線23a及び23bにより示される車線)が周辺画像上に投影される際に、当該撮像装置1に係る光学条件に基づいて求められる。
このように構成すれば、撮像装置1の位置(即ち、移動体の位置)から所定距離だけ離れた地点を撮像するために適切な露光条件を比較的速やかに設定することができる。この結果、例えば当該撮像装置1が障害物検知に用いられる場合に、移動体の位置から所定距離だけ離れた地点に存在する障害物(図6では、車両)を、周辺画像から明るさ変動に対してロバストに検知することができる。尚、「所定距離」及び「所定のサイズ」各々は、撮像対象(又は検知対象)に応じて適宜設定されてよい。
<第3変形例>
図3に示すフローチャートにおける比αの範囲を、例えば0.8〜1.2に制限してよい。このように構成すれば、時間的に連続するフレーム画像間の急激な明るさの変化を抑制することができる。或いは、図3のステップS203の処理で求められた比αが、例えば0.9〜1.1の範囲内である場合、現在の露光条件が維持されてよい。このように構成すれば、輝度平均Bmが目標輝度Btに近い場合に、明暗の頻繁な繰り返し(所謂ハンチング現象)を防止することができる。
図3に示すフローチャートでは、画像情報として輝度値を挙げたが、輝度値に代えて、R値、G値及びB値のいずれかが用いられてよい。撮像手段11がベイヤーカメラである場合は、カラー画像又は輝度画像変換前のRAW画像の画素値を輝度値とみなしてもよい。
図3に示すフローチャートでは、輝度平均Bmが目標輝度Btに近づくような露光条件が求められるが、例えば測光領域内において白とび画素と黒つぶれ画素との合計が最少になるような露光条件が求められてよい。
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う撮像装置もまた本発明の技術的範囲に含まれるものである。
1…撮像装置、11…撮像手段、12…自己位置検出手段、13…光軸方向光軸推定手段、14…地図手段、15…測光領域設定手段、16…露光条件算出手段、17…撮像制御手段

Claims (3)

  1. 移動体周辺を撮像して周辺画像を取得する撮像手段と、
    前記移動体の位置を検出する位置検出手段と、
    道路地図情報を保持する地図手段と、
    前記検出された位置及び前記道路地図情報に基づいて前記取得された周辺画像の道路に該当する領域を推定して、前記推定された領域の少なくとも一部を含む測光領域を設定する設定手段と、
    前記取得された周辺画像の前記設定された測光領域内の画像情報に基づいて、前記撮像手段の露光条件を算出する算出手段と、
    前記算出された露光条件となるように前記撮像手段を制御する制御手段と、
    を備えることを特徴とする撮像装置。
  2. 前記撮像手段の光軸方向を推定する光軸推定手段を更に備え、
    前記設定手段は、前記検出された位置、前記道路地図情報及び前記推定された光軸方向に基づいて前記取得された周辺画像の道路に該当する領域を推定して、前記測光領域を設定する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記道路地図情報は、道路を示す情報として、複数の地点各々の3次元座標を夫々示す複数の点と、前記複数の点の相互間の接続情報とを含み、
    前記設定手段は、前記検出された位置及び前記道路地図情報に基づいて前記取得された周辺画像の道路に該当する領域を推定すると共に、前記複数の点及び前記接続情報を参照して、前記推定された領域のうち、前記検出された位置から所定距離離れた地点に該当する部分を含むように、前記測光領域を設定する
    ことを特徴とする請求項1又は2に記載の撮像装置。
JP2017005692A 2017-01-17 2017-01-17 撮像装置 Active JP6699567B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017005692A JP6699567B2 (ja) 2017-01-17 2017-01-17 撮像装置
US15/856,816 US10462378B2 (en) 2017-01-17 2017-12-28 Imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017005692A JP6699567B2 (ja) 2017-01-17 2017-01-17 撮像装置

Publications (2)

Publication Number Publication Date
JP2018117204A true JP2018117204A (ja) 2018-07-26
JP6699567B2 JP6699567B2 (ja) 2020-05-27

Family

ID=62841280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017005692A Active JP6699567B2 (ja) 2017-01-17 2017-01-17 撮像装置

Country Status (2)

Country Link
US (1) US10462378B2 (ja)
JP (1) JP6699567B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022053417A (ja) * 2020-09-24 2022-04-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、撮像装置、移動体、制御方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10536646B2 (en) * 2017-07-28 2020-01-14 Panasonic Intellectual Property Corporation Of America Imaging control device and imaging control method
CN112179355B (zh) * 2020-09-02 2023-05-26 西安交通大学 针对光度曲线典型特征的姿态估计方法
US11671714B1 (en) * 2022-01-24 2023-06-06 Qualcomm Incorporated Motion based exposure control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326168A (ja) * 2004-05-12 2005-11-24 Fuji Photo Film Co Ltd 運転支援システム、車両、および運転支援方法
KR20080095441A (ko) * 2007-04-24 2008-10-29 삼성전자주식회사 얼굴인식 방법과 장치
JP2010200057A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd 撮像装置
WO2012086053A1 (ja) * 2010-12-24 2012-06-28 パイオニア株式会社 画像調整装置、制御方法、プログラム、及び記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3742152B2 (ja) 1996-08-13 2006-02-01 日産ディーゼル工業株式会社 車両用撮像装置
JP2013160895A (ja) 2012-02-03 2013-08-19 Denso Corp カメラ露出設定装置
JP2013168737A (ja) 2012-02-14 2013-08-29 Toyota Motor Corp 露光制御装置
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326168A (ja) * 2004-05-12 2005-11-24 Fuji Photo Film Co Ltd 運転支援システム、車両、および運転支援方法
KR20080095441A (ko) * 2007-04-24 2008-10-29 삼성전자주식회사 얼굴인식 방법과 장치
JP2010200057A (ja) * 2009-02-26 2010-09-09 Hitachi Ltd 撮像装置
WO2012086053A1 (ja) * 2010-12-24 2012-06-28 パイオニア株式会社 画像調整装置、制御方法、プログラム、及び記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022053417A (ja) * 2020-09-24 2022-04-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 制御装置、撮像装置、移動体、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP6699567B2 (ja) 2020-05-27
US20180205863A1 (en) 2018-07-19
US10462378B2 (en) 2019-10-29

Similar Documents

Publication Publication Date Title
US11409303B2 (en) Image processing method for autonomous driving and apparatus thereof
JP4970516B2 (ja) 周囲確認支援装置
JP7108856B2 (ja) 運転制御システムおよび運転制御方法
US10462378B2 (en) Imaging apparatus
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
ES2259180T3 (es) Procedimiento y aparato para detectar el movimiento de objetos en una secuencia de imagenes.
JP7268001B2 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
JP4433045B2 (ja) 露出制御装置及び露出制御プログラム
CN112040154A (zh) 用于减少成像光源中的闪烁伪影的系统和方法
JP2012226513A (ja) 検知装置、及び検知方法
WO2019085930A1 (zh) 车辆中双摄像装置的控制方法和装置
JP2008110715A (ja) 車両用オートライトシステム
CN112715026A (zh) 用于车辆上的飞行时间相机的自适应照射
CN114520880A (zh) 一种曝光参数调节方法及装置
EP4272153A1 (en) Vehicle to infrasture system and method with long wave infrared capability
JP5800288B2 (ja) 車両用画像処理装置
JP2010226652A (ja) 画像処理装置、画像処理方法、および、コンピュータプログラム
JP2018073275A (ja) 画像認識装置
TW201929210A (zh) 半導體裝置、攝影系統及程式
JP2009159109A (ja) 自動撮像装置及び自動撮像方法
JP2008033781A (ja) 路面勾配検出装置及び画像表示装置
JP2003209735A (ja) 監視装置及びブレ補正機能付蓄積型カメラ
CN109309785B (zh) 拍摄控制装置以及拍摄控制方法
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
JP2008230561A (ja) 撮像制御装置および測光領域調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180724

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190722

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200304

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200413

R151 Written notification of patent or utility model registration

Ref document number: 6699567

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151