JP2022099868A - 車載用カメラ - Google Patents
車載用カメラ Download PDFInfo
- Publication number
- JP2022099868A JP2022099868A JP2020213919A JP2020213919A JP2022099868A JP 2022099868 A JP2022099868 A JP 2022099868A JP 2020213919 A JP2020213919 A JP 2020213919A JP 2020213919 A JP2020213919 A JP 2020213919A JP 2022099868 A JP2022099868 A JP 2022099868A
- Authority
- JP
- Japan
- Prior art keywords
- area
- shutter
- vehicle
- shutter time
- electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 230000001629 suppression Effects 0.000 description 8
- 239000003990 capacitor Substances 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Abstract
【課題】実質的なフレームレートを低下させることなく、SNRとブレ抑制との両立を図る。【解決手段】車載用カメラは、イメージセンサ15とシャッタと画像処理部と露光制御部とを有する。イメージセンサ15は、光情報を収集する複数の画素を備える。シャッタは、先幕及び後幕のうちの少なくとも先幕が電子式である電子先幕のシャッタであって、各画素での光情報の収集を電子制御により開始させることにより当該シャッタを開く。画像処理部は、収集された光情報に基づいて画像を生成する。露光制御部は、シャッタが開いているシャッタ時間が、イメージセンサ15の全画素Pを複数に分割したエリアA1,A2ごとに互いに異なる長さになるように、シャッタを制御する。【選択図】 図3
Description
本発明は、車両(自車)に搭載されて自車の外界を動画で撮像する車載用のカメラに関する。
車載用のカメラの中には、次に示すイメージセンサとシャッタと画像処理部とを有するものがある。イメージセンサは、シャッタ時間の間にイメージセンサの各画素に照射された光の強さに基づいて光情報を収集する。その収集された光情報に基づいて、画像処理部が画像を生成する。このような技術を示す文献としては、例えば次の特許文献1がある。
シャッタ時間を長くすると、光情報を示す電気信号の強さをノイズの強さで割ったSNR(Signal to Noise Ratio)は大きくなるが、ブレも大きくなってしまう。他方、シャッタ時間を短くするとブレは小さくなるが、SNRも小さくなってしまう。しかしながら、画像においては、例えば比較的ブレ難い等の理由によりSNRを優先したいエリアと、比較的ブレ易い等の理由によりブレ抑制を優先したいエリアとが存在する。
この対応としては、例えば、長シャッタ撮像と短シャッタ撮像との両方を順に行う対応が考えられる。しかし、その場合、長シャッタ撮像1フレームと短シャッタ撮像1フレームとの2フレームが、実質的な1フレームとなるため、実質的なフレームレートが低下してしまう。
本発明は、上記事情に鑑みてなされたものであり、実質的なフレームレートを低下させることなくSNRとブレ抑制との両立を図ることを、主たる目的とする。
本発明のカメラは、自車に搭載されて前記自車の外界を動画で撮像する車載用カメラであって、イメージセンサとシャッタと画像処理部と露光制御部とを有する。前記イメージセンサは、光情報を収集する複数の画素を備える。前記シャッタは、先幕及び後幕のうちの少なくとも先幕が電子式である電子先幕のシャッタであって、各前記画素での前記光情報の収集を電子制御により開始させることにより当該シャッタを開く。前記画像処理部は、収集された前記光情報に基づいて画像を生成する。前記露光制御部は、前記シャッタが開いているシャッタ時間が、前記イメージセンサの全画素を複数に分割したエリアごとに互いに異なる長さになるように、前記シャッタを制御する。
本発明によれば、電子先幕のシャッタを用いて、シャッタ時間がエリアごとに互いに異なる長さになるように制御する。そのため、SNRを優先したいエリアではシャッタ時間を長くし、ブレ抑制を優先したいエリアではシャッタ時間を短くすることができる。しかも、長シャッタ撮像と短シャッタ撮像との両方を順に行う場合とは違い、2フレームが実質的な1フレームとなることがないため、実質的なフレームレートが低下してしまうといったことがない。そのため、本発明によれば、実質的なフレームレートを低下させることなく、SNRとブレ抑制との両立を図ることができる。
次に本発明の実施形態について、図面を参照しつつ説明する。ただし、本発明は以下の実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲で適宜変更して実施できる。
[第1実施形態]
図1は、本実施形態のカメラ50を示す概略図である。カメラ50は、車両(自車)に搭載されて自車の前方を動画で撮像する車載用カメラである。カメラ50は、例えば、レーンキープ制御、オートクルーズ制御、プリクラッシュセーフティ制御等の運転支援用のカメラであってもよいし、ドライブレコーダ用のカメラであってもよい。カメラ50は、撮像部10と露光制御部20と画像処理部30とを有する。
図1は、本実施形態のカメラ50を示す概略図である。カメラ50は、車両(自車)に搭載されて自車の前方を動画で撮像する車載用カメラである。カメラ50は、例えば、レーンキープ制御、オートクルーズ制御、プリクラッシュセーフティ制御等の運転支援用のカメラであってもよいし、ドライブレコーダ用のカメラであってもよい。カメラ50は、撮像部10と露光制御部20と画像処理部30とを有する。
撮像部10は、レンズ11と電子シャッタ12とイメージセンサ15とを備える。レンズ11は光を集めてイメージセンサ15に照射させる。イメージセンサ15は、CCDセンサやCMOSセンサ等であり、光情報を収集する複数の画素Pを有すると共に、画素Pごとに、例えばフォトダイオード151とキャパシタ152とを備える。そして、電子シャッタ12が開いているシャッタ時間において、各画素Pのフォトダイオード151に光が照射されると、その照射光の強さに応じた電流により当該画素Pのキャパシタ152が充電される。
電子シャッタ12は、先幕及び後幕のいずれもが電子式であって、機械式の先幕及び機械式の後幕のいずれも有しない。具体的には、各画素Pにおいてキャパシタ152への充電を電子制御により開始させる行為が、先幕(電子先幕)を開く行為に該当する。つまり、各画素Pでの光情報の収集を電子制御により開始させる行為が、電子シャッタ12を開く行為に該当する。そして、キャパシタ152の電圧情報の読み込みを開始させる行為が、後幕を閉じる行為に該当する。つまり、各画素Pで収集された光情報の読み込みを開始させる行為が、電子シャッタ12を閉じる行為に該当する。その読み込まれた光情報は、画像処理部30に送信される。
画像処理部30は、その光情報に基づいて画像処理を行い、画像35を生成する。露光制御部20は、撮像部10の絞り(図示略)や電子シャッタ12を制御することにより、撮像部10の露光を制御する。
図2は、画像処理部30により生成された画像35の一例を示す図であり、図3は、図2に示す画像35を撮像しているときのイメージセンサ15の様子を示す平面図である。なお、図3では、視認性のため、イメージセンサ15の各画素Pを実際のものよりも極端に大きく図示している。以下では、画素Pを横方向にグループ化した各グループを、「ラインL1~Ln」という。ラインL1~Lnは、第1ラインL1から最終ラインLnまである。
次に本実施形態で解決すべき課題について説明する。シャッタ時間を長くすると、SNRは大きくなるが、ブレも大きくなってしまう。他方、シャッタ時間を短くするとブレは小さくなるが、SNRも小さくなってしまう。しかしながら、画像35においては、比較的にブレ難い等の理由によりSNRを優先したいエリアと、比較的ブレ易い等の理由によりブレ抑制を優先したいエリアとが存在する。
具体的には、図2に示す画像35の第1エリアa1は、道路Rが自車の進行方向に真っすぐ延びている場合に、その道路Rの無限遠部Fとなる部分を中央部に含む円形のエリアである。そして、画像35内における第1エリアa1の外側のエリアが、画像35の第2エリアa2である。そして、図3に示すイメージセンサ15の第1エリアA1は、図2に示す画像35の第1エリアa1を撮像するエリアであり、図3に示すイメージセンサ15の第2エリアA2は、図2に示す画像35の第2エリアa2を撮像するエリアである。
そのため、第1エリアA1(a1)は、自車の遠方を撮像することからブレが小さくなると認められる、SNRを優先したいエリアである。他方、第2エリアA2(a2)は、第1エリアA1よりも自車の近傍を撮像することから第1エリアA1よりもブレが大きくなると認められる、ブレ抑制を優先したいエリアである。
そこで、露光制御部20は、第1エリアA1(a1)に対しては、シャッタ時間として「第1シャッタ時間T1」を設定する。他方、第2エリアA2(a2)に対しては、シャッタ時間として、第1シャッタ時間T1よりも短い「第2シャッタ時間T2」を設定する。その詳細について、以下に説明する。
図4は、露光制御部20による電子シャッタ12の制御を示すタイムチャートである。電子シャッタ12は、いわゆるローリングシャッタ等であって、第1ラインL1、第2ラインL2、第3ラインL3・・最終ラインLnの順に、キャパシタ152の電圧情報の読み取りを開始させる、すなわち電子シャッタ12を閉じる。その関係上、各ラインL1~Lnにおいて電子シャッタ12を閉じるタイミングt3は、読み取り時間T3ずつずれている。読み取り時間T3は、各ラインL1~Lnにおいてキャパシタ152の電圧情報を読み取るのに要する時間である。
露光制御部20は、図4の1番上のタイムチャート(L1:A1)に示すように、第1ラインL1において第1エリアA1に属する各画素Pについては、第1ラインL1における第1タイミングt1で電子シャッタ12を開く。その第1ラインL1における第1タイミングt1は、第1ラインL1において電子シャッタ12を閉じるタイミングt3よりも第1シャッタ時間T1だけ前のタイミングである。
他方、露光制御部20は、図4の上から2番目のタイムチャート(L1:A2)に示すように、第1ラインL1において第2エリアA2に属する各画素Pについては、第1ラインL1における第2タイミングt2で電子シャッタ12を開く。その第1ラインL1における第2タイミングt2は、第1ラインL1において電子シャッタ12を閉じるタイミングt3よりも第2シャッタ時間T2だけ前のタイミングである。
露光制御部20は、図4の上から3番目のタイムチャート(L2:A1)に示すように、第2ラインL2において第1エリアA1に属する各画素Pについては、第2ラインL2における第1タイミングt1で電子シャッタ12を開く。その第2ラインL2における第1タイミングt1は、第2ラインL2において電子シャッタ12を閉じるタイミングt3よりも第1シャッタ時間T1だけ前のタイミングである。
他方、露光制御部20は、図4の上から4番目のタイムチャート(L2:A2)に示すように、第2ラインL2において第2エリアA2に属する各画素Pについては、第2ラインL2における第2タイミングt2で電子シャッタ12を開く。その第2ラインL2における第2タイミングt2は、第2ラインL2において電子シャッタ12を閉じるタイミングt3よりも第2シャッタ時間T2だけ前のタイミングである。
つまり、露光制御部20は、いずれのラインL1~Lnにおいても、第1エリアA1に属する各画素Pについては、当該画素Pの属するラインL1~Lnにおいて電子シャッタ12を閉じるタイミングt3よりも第1シャッタ時間T1だけ前の、当該ラインL1~Lnにおける第1タイミングt1で電子シャッタ12を開く。他方、露光制御部20は、いずれのラインL1~Lnにおいても、第2エリアA2に属する各画素Pについては、当該画素Pの属するラインL1~Lnにおいて電子シャッタ12を閉じるタイミングt3よりも第2シャッタ時間T2だけ前の、当該ラインL1~Lnにおける第2タイミングt2で電子シャッタ12を開く。
以上により、いずれの互いに異なるラインL1~Lnにおいても、第1タイミングt1どうし、第2タイミングt2どうし及び電子シャッタ12を閉じるタイミングt3どうしは、それぞれ互いに異なるものとなる。しかし、いずれのラインL1~Lnにおいても、第1エリアA1に属する画素Pに対しては、同じ第1シャッタ時間T1を設定すると共に、第2エリアA2に属する画素Pに対しては、同じ第2シャッタ時間T2を設定することができる。
画像処理部30は、図1に示す補正部31を有している。補正部31は、図2に示す第1エリアa1に対するゲインよりも、第2エリアa2に対するゲインの方が大きくなるように制御する。それにより、第1シャッタ時間T1と第2シャッタ時間T2との差であるシャッタ時間差(T1-T2)により、第1エリアa1よりも第2エリアa2の方が暗くなってしまうのを、防止している。具体的には、補正部31は、シャッタ時間が長いほどゲインを小さくし、シャッタ時間が短いほどゲインを大きくする。それにより、第1エリアa1及び第2エリアa2の輝度が、実際の輝度に応じた輝度になるようにして、第1エリアa1と第2エリアa2との間に輝度が変わる境界が現れるのを防止している。
露光制御部20は、図1に示す車速取得部21とヨーレート取得部22とオプティカルフロー取得部23とを有する。車速取得部21は、自車の速度を取得する。ヨーレート取得部22は、自車のヨーレートを取得する。オプティカルフロー取得部23は、被写体の動きであるオプティカルフローを取得する。そして、露光制御部20は、自車の速度と自車のヨーレートとオプティカルフローとに基づいて、各エリアA1,A2のシャッタ時間T1,T2を設定する。その詳細について以下に説明する。
露光制御部20は、自車の速度が所定速度よりも小さい場合に比べて当該所定速度よりも大きい場合の方が、つまり自車の速度が相対的に小さい場合に比べて相対的に大きい場合の方が、図3に示す各エリアA1,A2のシャッタ時間T1,T2が短くなるように制御する。より具体的には、例えば露光制御部20は、自車の速度がより大きいほど、各エリアA1,A2のシャッタ時間T1,T2がより短くなるように制御する。自車の速度が大きいほど、第1エリアA1及び第2エリアA2とも風景が速く流れるからである。
このとき露光制御部20は、第1シャッタ時間T1よりも第2シャッタ時間T2を大きく変更する。それにより、自車の速度が相対的に小さい場合に比べて相対的に大きい場合の方が、第1シャッタ時間T1と第2シャッタ時間T2との差であるシャッタ時間差(T1-T2)が大きくなるように制御する。具体的には、例えば露光制御部20は、自車の速度がより大きいほど、シャッタ時間差(T1-T2)がより大きくなるように制御する。自車の速度が大きいほど、第1エリアA1(a1)で風景が流れる速度と、第2エリアA2(a2)で風景が流れる速度との差が、より大きくなるからである。
また、露光制御部20は、ヨーレートが所定ヨーレートよりも小さい場合に比べて当該所定ヨーレートよりも大きい場合の方が、つまりヨーレートが相対的に小さい場合に比べて相対的に大きい場合の方が、各エリアA1,A2のシャッタ時間T1,T2が短くなるように制御する。より具体的には、例えば露光制御部20は、ヨーレートがより高いほど、各エリアA1,A2のシャッタ時間T1,T2がより短くなるように制御する。ヨーレートが高いほど、第1エリアA1(a1)及び第2エリアA2(a2)とも風景が速く流れるからである。このとき、例えば一律で各エリアA1,A2のシャッタ時間T1,T2を短くしてもよいし、互いに異なる量ずつ各エリアA1,A2のシャッタ時間T1,T2を短くしてもよい。
また、露光制御部20は、オプティカルフローに基づいて、例えば図2に示す対向車等の所定の移動体Mがあると認められる場合には、少なくともその移動体Mを撮像するエリア(図3ではA2)のシャッタ時間が、移動体Mがあると認められない場合に比べて短くなるように制御する。移動体Mの移動により、当該移動体Mの撮像がブレ易くなるおそれがあるからである。なお、その所定の移動体Mは、例えば、単に道路Rに対して移動していると認められる物体としてもよいし、道路Rに対して自車との相対速度が大きくなる方向に移動していると認められる物体としてもよい。
以上の通り、露光制御部20は、自車の速度、自車のヨーレート、オプティカルフローに基づいて、総合的に各エリアA1,A2のシャッタ時間T1,T2を決定する。その総合的にシャッタ時間T1,T2を決定する具体的方法について、以下に説明する。
露光制御部20は、例えばエリアA1,A2ごとにブレ指数b1,b2を設定する。このとき、第1エリアA1のブレ指数である第1ブレ指数b1よりも第2エリアA2のブレ指数である第2ブレ指数b2を大きくする。さらに、自車の速度が大きいほど、各エリアA1,A2のブレ指数b1,b2を大きくする。その際、自車の速度が大きいほど、第1ブレ指数b1と第2ブレ指数b2との差(b2-b1)を大きくする。さらに、ヨーレートが大きいほど、各エリアA1,A2のブレ指数b1,b2を例えば一律に大きくする。さらに、オプティカルフローに基づいて、所定の移動体Mがあると認められるエリア(図3ではA2)のブレ指数を大きくする。
そして、各エリアA1,A2の最終的なブレ指数b1,b2に基づいて、当該エリアA1,A2のシャッタ時間T1,T2を決定する。つまり、各エリアA1,A2について、最終的なブレ指数b1,b2が大きいほど、シャッタ時間T1,T2を短くする。これにより、自車の速度、自車のヨーレート、オプティカルフローに基づいて、総合的に各エリアA1,A2のシャッタ時間T1,T2を決定できる。
以下に、本実施形態の効果をまとめる。
露光制御部20は、第1シャッタ時間T1よりも第2シャッタ時間T2を短くしている。これにより、相対的に自車の遠方を撮像することにより相対的にブレ難い第1エリアA1ではSNRを優先し、相対的に自車の近傍を撮像することにより相対的にブレ易い第2エリアA2ではブレ抑制を優先することができる。しかもこのとき、長シャッタ撮像と短シャッタ撮像との両方を順に行う場合とは違い、2フレームが実質的な1フレームとなることがないので、実質的なフレームレートが低下してしまうといったことがない。そのため、実質的なフレームレートを低下させることなく、SNRとブレ抑制との両立を図ることができる。
また、露光制御部20は、自車の速度が相対的に小さい場合に比べて相対的に大きい場合の方が、各エリアA1,A2のシャッタ時間T1,T2が短くなるように制御する。そのため、風景が速く流れてブレ易い高速時に、各エリアA1,A2のシャッタ時間T1,T2を短くできる。
また、露光制御部20は、自車の速度が相対的に小さい場合に比べて相対的に大きい場合の方が、第1シャッタ時間T1と第2シャッタ時間T2との差であるシャッタ時間差(T1-T2)が大きくなるように制御する。そのため、遠方の風景の流れる速度と近傍の風景の流れる速度との差が大きくなる高速時に、シャッタ時間差(T1-T2)を大きくできる。
また、露光制御部20は、自車のヨーレートが相対的に小さい場合に比べて相対的に大きい場合の方が、各エリアA1,A2のシャッタ時間T1,T2が短くなるように制御する。そのため、自車の旋回により風景が速く流れてブレ易い高ヨーレート時に、各エリアA1,A2のシャッタ時間T1,T2を短くできる。
また、露光制御部20は、オプティカルフローに基づいて、所定の移動体Mがあると認められる場合に、当該移動体Mを撮像するエリアのシャッタ時間が短くなるように制御する。そのため、当該移動体Mの移動によりブレ易くなり得るエリアのシャッタ時間を短くできる。
また、本実施形態では、電子シャッタ12がローリングシャッタ等であることから、画素PのラインL1~Lnごとに、電子シャッタ12を閉じるタイミングt3が互いにずれている。その点、露光制御部20は、第1エリアA1に属する各画素Pについては、当該画素Pの属するラインL1~Lnにおいて電子シャッタ12を閉じるタイミングt3よりも第1シャッタ時間T1だけ前の、当該ラインL1~Lnにおける第1タイミングt1で電子シャッタ12を開く。他方、第2エリアA2に属する各画素Pについては、当該画素Pの属するラインL1~Lnにおいて電子シャッタ12を閉じるタイミングt3よりも第2シャッタ時間T2だけ前の、当該ラインL1~Lnにおける第2タイミングt2で電子シャッタ12を開く。それにより、いずれのラインL1~Lnにおいても、第1エリアA1に属する画素Pに対しては、同じ第1シャッタ時間T1を設定すると共に、第2エリアA2に属する画素Pに対しては、同じ第2シャッタ時間T2を設定することができる。
[第2実施形態]
次に第2実施形態について説明する。以下の実施形態では、それ以前の実施形態のものと同一の又は対応する部材等について同一の符号を付する。本実施形態は、第1実施形態をベースに、これと異なる点を中心に説明し、第1実施形態と同一の又は類似する部分については、適宜説明を省略する。
次に第2実施形態について説明する。以下の実施形態では、それ以前の実施形態のものと同一の又は対応する部材等について同一の符号を付する。本実施形態は、第1実施形態をベースに、これと異なる点を中心に説明し、第1実施形態と同一の又は類似する部分については、適宜説明を省略する。
図5は、本実施形態のカメラ50を示す概略図である。本実施形態は、第1実施形態でいう電子シャッタ12の代わりに、電子先幕シャッタ13を有する。電子先幕シャッタ13は、先幕及び後幕のうちの先幕のみが電子式(電子先幕)であって、機械式の後幕138を備えている。その機械式の後幕138を閉じる行為が、電子先幕シャッタ13を閉じる行為に該当する。
図6は、露光制御部20による電子先幕シャッタ13の制御を示すタイムチャートである。なお、図6に示す「t3」は、シャッタを閉じるタイミングではなく、単にキャパシタ152の電圧情報の読み込みを開始するタイミングである。
露光制御部20は、図6の1番上のタイムチャート(L1:A1)に示すように、第1ラインL1において第1エリアA1に属する各画素Pについては、後幕138を閉じるタイミングtEよりも第1シャッタ時間T1だけ前の第1タイミングt1で電子先幕シャッタ13を開く。他方、図6の上から2番目のタイムチャート(L1:A2)に示すように、第1ラインL1において第2エリアA2に属する各画素Pについては、後幕138を閉じるタイミングtEよりも第2シャッタ時間T2だけ前の第2タイミングt2で電子先幕シャッタ13を開く。
また、露光制御部20は、図6の上から3番目のタイムチャート(L2:A1)に示すように、第2ラインL2において第1エリアA1に属する各画素Pについては、後幕138を閉じるタイミングtEよりも第1シャッタ時間T1だけ前の第1タイミングt1で電子先幕シャッタ13を開く。また、図6の上から4番目のタイムチャート(L2:A2)に示すように、第2ラインL2において第2エリアA2に属する各画素Pについては、後幕138を閉じるタイミングtEよりも第2シャッタ時間T2だけ前の第2タイミングt2で電子先幕シャッタ13を開く。
つまり、露光制御部20は、いずれのラインL1~Lnにおいても、第1エリアA1に属する各画素Pについては、後幕138を閉じるタイミングtEよりも第1シャッタ時間T1だけ前の第1タイミングt1で電子先幕シャッタ13を開く。他方、露光制御部20は、いずれのラインL1~Lnにおいても、第2エリアA2に属する各画素Pについては、後幕138を閉じるタイミングtEよりも第2シャッタ時間T2だけ前の第2タイミングt2で電子先幕シャッタ13を開く。
以上により、いずれのラインL1~Lnにおいても、第1エリアA1に属する画素Pに対しては、第1シャッタ時間T1を設定すると共に、第2エリアA2に属する画素Pに対しては、第2シャッタ時間T2を設定することができる。
本実施形態によれば、電子先幕シャッタ13が機械式の後幕138を有し、ローリングシャッタではないことから、いわゆるローリングシャッタ現象等が発生してしまうおそれがない。そのような、電子先幕シャッタ13のカメラ50において、第1エリアA1に属する各画素Pに対して第1シャッタ時間T1を設定すると共に、第2エリアA2に属する各画素Pに対して第2シャッタ時間T2を設定することができる。
[他の実施形態]
以上に示した実施形態は、例えば次のように変更して実施できる。
以上に示した実施形態は、例えば次のように変更して実施できる。
第1実施形態等では、画像35を2つに分割したエリアa1,a2ごとに、シャッタ時間を設定している。これに代えて、図9に示すように、画像35を3つに分割してもよいし、図7,図8に示すように、画像35を4つに分割してもよいし、画像35を5つ以上に分割してもよい。
これらの場合、例えば図7に示すように、第2エリアa2よりも外側のエリアを第3エリアa3とし、第3エリアa3よりも外側のエリアを第4エリアa4とすることができる。そして、第2シャッタ時間T2よりも短い時間を、第3エリアa3のシャッタ時間とし、第3エリアa3のシャッタ時間よりも短い時間を、第4エリアa4のシャッタ時間とすることができる。各エリアa1~a3(最も外側以外)の形状は、例えば図7に示すように円形であってもよいし、図8に示すように横長の楕円形であってもよいし、図9に示すように縦長の楕円形であってもよい。
また、各エリアa1~a3(最も外側以外)の形状は、例えば図10に示すように正方形であってもよいし、図11に示すように横長の長方形であってもよいし、図12に示すように縦長の長方形であってもよい。
また、第1実施形態等では、道路Rにおける無限遠部Fとなる部分を含むエリアを第1エリアa1とし、その外側のエリアを第2エリアa2としている。これに代えて、図13に示すように、画像35の上下中央のエリアを第1エリアa1とし、それよりも上側及び下側のエリアを第2エリアa2として、上側の第2エリアa2よりも上側、及び下側の第2エリアa2よりも下側の部分を第3エリアa3としてもよい。
また、図14に示すように、画像35の左右中央のエリアを第1エリアa1とし、それよりも左側及び右側のエリアを第2エリアa2としてもよい。また、図15に示すように、画像35の中央のエリアを第1エリアa1とし、第1エリアa1の真上及び真下のエリアを第2エリアa2とし、第1エリアa1の真横のエリアを第3エリアa3とし、第1エリアa1~第3エリアa3以外のエリアを第4エリアa4としてもよい。
また、図16に示すように、画像35の中央のエリアを第1エリアa1とし、第1エリアa1の真下のエリアを第2エリアa2とし、第1エリアa1及び第2エリアa2の真横のエリアを第3エリアa3とし、第1エリアa1~第3エリアa3以外のエリアを第4エリアa4としてもよい。
また、図17に示すように、道路Rが自車の進行方向に真っすぐ延びている場合にその道路R上となるエリアにおける上半分のエリアを第1エリアa1とし、下半分のエリアを第2エリアa2としてもよい。そして、第1エリアa1及び第2エリアa2の外側のエリアを第3エリアa3とし、第3エリアa3の上側のエリアを第4エリアa4としてもよい。
また、図18に示すように、道路Rが自車の進行方向に真っすぐ延びている場合にその道路R上となるエリアにおける上半分のエリア、及びその上半分のエリアを無限遠部Fを軸に上下に反転させたエリアを、第1エリアa1としてもよい。そして、道路R上となるエリアにおける下半分のエリア、及びその下半分のエリアを無限遠部Fを軸に上下に反転させたエリアを、第3エリアa3としてもよい。そして、第1エリアa1に上下から挟み込まれるエリアを第2エリアa2とし、第2エリアa2の側方において第3エリアa3に上下から挟み込まれるエリアを第4エリアa4とし、第1エリアa1~第4エリアa4以外のエリアを第5エリアa5としてもよい。
また、第1実施形態等では、道路Rが自車の進行方向に真っすぐ延びている場合にその道路Rの無限遠部Fを中央部に含むことになるエリアを、第1エリアa1としている。これに代えて、露光制御部20は、例えば画像認識により道路Rを認識し、その認識した道路Rにおける無限遠部Fを中央部に含むエリアを、第1エリアa1とするようにしてもよい。
この場合、例えば図19(a)に示すように道路Rがまっすぐ延びている場合には、画像35の中央のエリアが第1エリアa1になる。他方、図19(b)に示すように道路Rが左に曲がっている場合には、画像35の左寄りのエリアが第1エリアa1になる。他方、図19(c)に示すように道路Rが右に曲がっている場合には、画像35の右寄りのエリアが第1エリアa1になる。他方、図19(d)に示すように、現在の勾配よりも前方の勾配の方が上り側に大きい場合、すなわち、例えば平地を走行中において前方が上り坂の場合や、下り坂を走行中において前方が平地の場合等には、画像35の上寄りのエリアが第1エリアa1になる。他方、図19(e)に示すように、現在の勾配よりも前方の勾配の方が下り側に大きい場合、すなわち、例えば平地を走行中において前方が下り坂の場合や、上り坂を走行中において前方が平地の場合等には、画像35の下寄りのエリアが第1エリアa1になる。
第1実施形態等では、露光制御部20は、図1等に示すように、車速取得部21とヨーレート取得部22とオプティカルフロー取得部23とを備え、自車の速度とヨーレートとオプティカルフローとに基づいて、各エリアA1,A2のシャッタ時間T1,T2を変更している。これに代えて、車速取得部21とヨーレート取得部22とオプティカルフロー取得部23とのうちの一部又は全部を省略して、それによるシャッタ時間の変更を省略してもよい。
第1実施形態等では、露光制御部20は、ブレを基準に、各エリアのシャッタ時間を決めている。これに代えて、例えばSNRを基準に、各エリアのシャッタ時間を決めてもよい。具体的には、例えば、相対的にSNRの要求が小さいエリアのシャッタ時間に比べて、相対的にSNRの要求が大きいエリアのシャッタ時間を長くしてもよい。
第1実施形態等では、カメラ50は、自車の前方を撮像するが、自車の後方やそれ以外の方向を撮像するものであってもよい。
12…電子シャッタ、13…電子先幕シャッタ、15…イメージセンサ、20…露光制御部、30…画像処理部、35…画像、50…カメラ、A1…第1エリア、A2…第2エリア、P…画素、T1…第1シャッタ時間、T2…第2シャッタ時間。
Claims (10)
- 自車に搭載されて前記自車の外界を動画で撮像する車載用カメラ(50)において、
光情報を収集する複数の画素を備えるイメージセンサ(15)と、
先幕及び後幕のうちの少なくとも先幕が電子式である電子先幕のシャッタであって、各前記画素での前記光情報の収集を電子制御により開始させることにより開くシャッタ(12,13)と、
収集された前記光情報に基づいて画像(35)を生成する画像処理部(30)と、
前記シャッタが開いているシャッタ時間が、前記イメージセンサの全画素を複数に分割したエリアごとに互いに異なる長さになるように、前記シャッタを制御する露光制御部(20)と、
を有する車載用カメラ。 - 前記露光制御部は、所定の前記エリアである第1エリア(A1)の前記シャッタ時間(T1)に比べて、前記第1エリアよりもブレが大きくなると認められる前記エリアである第2エリア(A2)の前記シャッタ時間(T2)の方が短くなるように、前記シャッタを制御する、請求項1に記載の車載用カメラ。
- 前記露光制御部は、前記自車の速度を取得する車速取得部(21)を備え、前記自車の速度が所定速度よりも小さい場合に比べて前記所定速度よりも大きい場合の方が、各前記エリアのシャッタ時間が短くなるように、前記シャッタを制御する、請求項1又は2に記載の車載用カメラ。
- 前記露光制御部は、所定の前記エリアである第1エリア(A1)のシャッタ時間(T1)に比べて、前記第1エリアよりも前記自車の近傍を撮像する前記エリアである第2エリア(A2)のシャッタ時間(T2)の方が短くなるように、前記シャッタを制御する、請求項1~3のいずれか1項に記載の車載用カメラ。
- 前記露光制御部は、前記自車の速度を取得する車速取得部(21)を備え、前記自車の速度が所定速度よりも小さい場合に比べて前記所定速度よりも大きい場合の方が、前記第1エリアのシャッタ時間と前記第2エリアのシャッタ時間との差(T1-T2)が大きくなるように、前記シャッタを制御する、請求項4に記載の車載用カメラ。
- 前記露光制御部は、前記自車のヨーレートを取得するヨーレート取得部(22)を備え、前記ヨーレートが所定ヨーレートよりも小さい場合に比べて前記所定ヨーレートよりも大きい場合の方が、各前記エリアのシャッタ時間が短くなるように、前記シャッタを制御する、請求項1~5のいずれか1項に記載の車載用カメラ。
- 前記露光制御部は、被写体の動きであるオプティカルフローを取得するオプティカルフロー取得部(23)を備え、前記オプティカルフローに基づいて、前記エリアのシャッタ時間を制御する、請求項1~6のいずれか1項に記載の車載用カメラ。
- 前記オプティカルフローに基づいて所定の移動体(M)があると認められる場合には、少なくとも前記移動体があると認められる前記エリアのシャッタ時間が、前記移動体があると認められない場合に比べて短くなるように、前記シャッタを制御する、請求項7に記載の車載用カメラ。
- 前記シャッタは、前記先幕及び前記後幕のいずれも電子式である電子シャッタ(12)であって、前記画素をグループ化したライン(L1~Ln)ごとに時間差で、収集された前記光情報の読み込みを開始させることにより当該電子シャッタを閉じるものであり、
前記イメージセンサは、前記エリアとして、前記シャッタ時間が第1シャッタ時間(T1)である第1エリア(A1)と、前記シャッタ時間が第2シャッタ時間(T2)である第2エリア(A2)とを有し、
前記露光制御部は、
前記第1エリアに属する各前記画素については、当該画素の属する前記ラインにおいて前記電子シャッタを閉じるタイミング(t3)よりも前記第1シャッタ時間だけ前の、当該ラインにおける第1タイミング(t1)で前記電子シャッタを開き、
前記第2エリアに属する各前記画素については、当該画素の属する前記ラインにおいて前記電子シャッタを閉じるタイミング(t3)よりも前記第2シャッタ時間だけ前の、当該ラインにおける第2タイミング(t2)で前記電子シャッタを開く、
請求項1~8のいずれか1項に記載の車載用カメラ。 - 前記シャッタは、前記先幕及び前記後幕のうちの前記先幕のみが電子式の電子先幕シャッタ(13)であって、前記後幕としての機械式の後幕(138)を備えるものであり、
前記イメージセンサは、前記エリアとして、前記シャッタ時間が第1シャッタ時間(T1)である第1エリア(A1)と、前記シャッタ時間が第2シャッタ時間(T2)である第2エリア(A2)とを有し、
前記露光制御部は、前記第1エリアに属する各前記画素では、前記後幕を閉じるタイミング(tE)よりも前記第1シャッタ時間だけ前の第1タイミング(t1)で前記電子先幕シャッタを開き、前記第2エリアに属する各前記画素では、前記後幕を閉じるタイミングよりも前記第2シャッタ時間だけ前の第2タイミング(t2)で前記電子先幕シャッタを開く、
請求項1~8のいずれか1項に記載の車載用カメラ。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020213919A JP2022099868A (ja) | 2020-12-23 | 2020-12-23 | 車載用カメラ |
US17/645,425 US20220201184A1 (en) | 2020-12-23 | 2021-12-21 | In-vehicle camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020213919A JP2022099868A (ja) | 2020-12-23 | 2020-12-23 | 車載用カメラ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022099868A true JP2022099868A (ja) | 2022-07-05 |
Family
ID=82022577
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020213919A Pending JP2022099868A (ja) | 2020-12-23 | 2020-12-23 | 車載用カメラ |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220201184A1 (ja) |
JP (1) | JP2022099868A (ja) |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003101860A (ja) * | 2001-09-21 | 2003-04-04 | Canon Inc | 撮像装置、撮影画像生成方法、プログラムおよび記憶媒体 |
JP4258539B2 (ja) * | 2006-08-31 | 2009-04-30 | 株式会社日立製作所 | 複数画角カメラ |
JP4453775B2 (ja) * | 2008-06-27 | 2010-04-21 | トヨタ自動車株式会社 | 物体検出装置 |
JP5118751B2 (ja) * | 2008-09-10 | 2013-01-16 | パナソニック株式会社 | カメラ本体および撮像装置 |
JP5625854B2 (ja) * | 2010-12-13 | 2014-11-19 | ソニー株式会社 | 撮像装置及びシャッタ動作選択方法 |
JP5621569B2 (ja) * | 2010-12-13 | 2014-11-12 | ソニー株式会社 | 撮像装置及びシャッタ動作補正方法 |
JP2012182657A (ja) * | 2011-03-01 | 2012-09-20 | Sony Corp | 撮像装置、および撮像装置制御方法、並びにプログラム |
US9332192B2 (en) * | 2012-02-07 | 2016-05-03 | Seiko Epson Corporation | Image generating device and exposure start timing adjustment method |
WO2015146971A1 (ja) * | 2014-03-26 | 2015-10-01 | 株式会社ニコン | シャッタ装置および撮像装置 |
JP6476064B2 (ja) * | 2015-05-01 | 2019-02-27 | オリンパス株式会社 | 撮像装置、及び撮像制御方法 |
JP6570918B2 (ja) * | 2015-08-19 | 2019-09-04 | オリンパス株式会社 | 撮像装置、撮像方法 |
JP2018056684A (ja) * | 2016-09-27 | 2018-04-05 | キヤノン株式会社 | 撮像装置、撮像制御方法および撮像制御プログラム |
WO2018066348A1 (ja) * | 2016-10-03 | 2018-04-12 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像装置および撮像方法、並びに電子機器 |
JP6759089B2 (ja) * | 2016-12-21 | 2020-09-23 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法 |
US20190356834A1 (en) * | 2017-01-20 | 2019-11-21 | Sony Corporation | Imaging device, imaging method, and program |
WO2018181124A1 (ja) * | 2017-03-30 | 2018-10-04 | 富士フイルム株式会社 | 撮像装置及び撮像装置の制御方法 |
WO2019021412A1 (ja) * | 2017-07-27 | 2019-01-31 | 日本電気株式会社 | 位置推定装置、位置推定方法及びプログラム記録媒体 |
WO2019087928A1 (ja) * | 2017-10-30 | 2019-05-09 | 富士フイルム株式会社 | 撮像装置、ファインダ装置、撮像装置の制御方法、ファインダ装置の制御方法、撮像装置の制御プログラム及びファインダ装置の制御プログラム |
US20200364564A1 (en) * | 2019-05-17 | 2020-11-19 | Fair Ip, Llc | Data processing systems and methods using a neural network for generating vehicle encoding |
-
2020
- 2020-12-23 JP JP2020213919A patent/JP2022099868A/ja active Pending
-
2021
- 2021-12-21 US US17/645,425 patent/US20220201184A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220201184A1 (en) | 2022-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4262072B2 (ja) | 自動車用補助機器制御装置 | |
BR112021003115A2 (pt) | aparelho, sistema, método, e, programa de formação de imagem | |
JP3909691B2 (ja) | 車載用画像処理装置 | |
JP5400171B2 (ja) | 認識用撮像装置及びその制御方法 | |
US20100165102A1 (en) | Method and device for determining a change in the pitch angle of a camera of a vehicle | |
CN1940711A (zh) | 前方摄影装置 | |
JPH08240833A (ja) | 車両用カメラの露光制御装置 | |
CN103914810A (zh) | 用于动态后视镜的图像超分辨率 | |
JP2011239145A (ja) | 撮像装置 | |
CN101367350A (zh) | 一种汽车主动防眩光装置和方法 | |
DE102013115000A1 (de) | Blendungsminderung für dynamischen Rückspiegel | |
CN109792492A (zh) | 摄像控制装置及方法、程序和记录有该程序的记录介质 | |
CN105933610A (zh) | 一种车牌拖尾优化曝光的方法及装置 | |
JP4950967B2 (ja) | 自動車用補助機器制御装置 | |
CN104553961B (zh) | 利用倾斜信息的前照灯控制装置及其方法 | |
JP4798945B2 (ja) | 撮像装置 | |
WO2022019026A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
JP2022099868A (ja) | 車載用カメラ | |
JP6311875B2 (ja) | 間歇的トラッキング撮影装置 | |
JP5256060B2 (ja) | 撮像装置 | |
CN110536814A (zh) | 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法 | |
JP2008230464A (ja) | 車載カメラ用自動露出装置 | |
JP4655947B2 (ja) | 車両用表示装置、プログラム | |
JP4304610B2 (ja) | カメラ式車両感知器における画面の輝度調整方法及び装置 | |
JP2022094850A (ja) | 車載用カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230309 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240311 |