JP2018061086A

JP2018061086A - 撮影装置

Info

Publication number: JP2018061086A
Application number: JP2016195723A
Authority: JP
Inventors: 小林　和彦; Kazuhiko Kobayashi; 和彦小林; 俊和村尾; Toshikazu Murao; 西川　雅人; Masahito Nishikawa; 雅人西川
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-10-03
Filing date: 2016-10-03
Publication date: 2018-04-12
Anticipated expiration: 2036-10-03
Also published as: DE102017217555B4; CN107896307A; US10375316B2; US20180097984A1; CN107896307B; DE102017217555A1; JP6604297B2

Abstract

【課題】ＨＤＲ合成により、画質の異なる複数の合成画像を円滑且つ適切に生成する。
【解決手段】撮影装置は、連続的にＮ回の撮影処理を行う。各撮影処理では、露光時間の異なる複数回の撮影が連続的に行われる。また、各撮影処理について、該撮影処理で得られた複数の撮影画像に基づくＨＤＲ合成により、ダイナミックレンジが拡大された撮影画像である合成画像が生成される。各合成画像は固有の画質を有し、各撮影処理の撮影の最大露光時間は、該画質に応じて定められる。また、各撮影処理は、同期タイミング５０〜５３に対応する。各撮影処理では、いずれかの撮影の露光が、対応する同期タイミングの到来時に終了し、該撮影に続く撮影の露光は、該同期タイミングの到来時に開始される。また、各撮影の露光時間が重複しないよう、最大露光時間に基づき露光のタイミングが定められる。
【選択図】図２

Description

本開示は、撮影装置に関する。

特許文献１における車載用の画像処理システムは、異なる運転支援機能に対応する複数の撮影を連続的に行う。これらの撮影は、対応する運転支援機能に応じたシャッタースピードで行われる。そして、各運転支援機能に用いられるパラメータが、該運転支援機能に対応する撮影画像から取得される。

特開２０１０−１１８７６７号公報

しかしながら、特許文献１の画像処理システムによる撮影では、十分なダイナミックレンジを有する撮影画像が得られない可能性がある。ここで、ハイダイナミックレンジ合成（以後、ＨＤＲ合成と記載）を行うことで、ダイナミックレンジが拡大された撮影画像が得られる。

これに対し、車両の運転支援では、リアルタイムな撮影画像が必要となる。このため、ＨＤＲ合成による合成画像を運転支援に用いる場合、短時間で、露光時間の異なる撮影を複数回行う必要がある。したがって、画質の異なる複数の合成画像を運転支援に提供するため、複数回にわたってＨＤＲ合成を行うとなると、各撮影の露光時間が重複する可能性が生じる。そして、これを回避するため、露光時間の長さが制限されたり、合成画像の生成が遅延したりする恐れがある。

本開示は、ＨＤＲ合成により、画質の異なる複数の合成画像を、円滑且つ適切に生成するためのする技術を提供する。

本開示の撮影装置（１）は、撮像素子（１２）により撮影を行う。撮像装置は、撮影部（１０）と、制御部（２３）と、合成部（２１）と、を備える。
撮影部は、予め定められた露光時間にわたる露光を行うことで撮影を行う。また、制御部は、２以上のいずれかの整数をＮとし、連続的にＮ回の撮影処理を行う部位であって、これらの撮影処理の各々にて、撮影部により露光時間の異なる複数回の撮影を連続的に行う。また、合成部は、Ｎ回の撮影処理の各々について、該撮影処理における複数回の撮影により得られた複数の撮影画像に基づき、ＨＤＲ合成により、ダイナミックレンジが拡大された撮影画像である合成画像を生成する。

また、Ｎ回の撮影処理の各々により生成された各々の合成画像は、該合成画像に対応して定められた画質を有している。また、Ｎ回の撮影処理の各々における各撮影の露光時間の最大値である最大露光時間は、該撮影処理により生成される合成画像の画質に応じて定められている。また、Ｎ回の撮影処理の各々は、Ｎ回にわたって定期的に到来する同期タイミング（５０〜５３）の各々に対応している。

そして、制御部は、Ｎ回の撮影処理の各々において、該撮影処理に対応する同期タイミングの前後にわたって複数回の撮影を連続的に行い、いずれかの撮影を、該同期タイミングが到来した時に露光が終了するように行うと共に、該撮影に続く他の撮影を、該同期タイミングが到来した時に露光が開始されるように行う。また、Ｎ回の撮影処理にて行われる各々の撮影の露光時間が重複しないよう、これらの撮影の最大露光時間に基づき、これらの撮影における露光のタイミングが定められている。

このような構成によれば、Ｎ回の撮影処理の各々では、同期タイミングの前後にわたって複数回の撮影が行われる。これにより、各撮影処理における複数回の撮影の総露光時間として、同期タイミングの周期よりも長い時間を確保することが可能となる。また、先行する撮影処理における複数回の撮影と、これに続く撮影処理における複数回の撮影との間のインターバルを、短縮可能となる。

このため、Ｎ回の撮影処理における各撮影について、適切な露光時間を確保することが可能となる。これにより、各撮影処理により得られた撮影画像に基づくＨＤＲ合成にて、適切な画質の合成画像を生成可能となる。また、これらの撮影に要する時間を抑制することが可能となる。したがって、ＨＤＲ合成により、画質の異なる複数の合成画像を、円滑且つ適切に生成することが可能となる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

本実施形態の撮影装置のブロック図である。本実施形態の撮影装置による撮影処理の説明図である。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
図１における本実施形態の撮影装置１は、車両に搭載される。以後、撮影装置１が搭載された車両を、自車両とも記載する。撮影装置１は、自車両の周辺（一例として、自車両の前方）を撮影する。撮影装置１による撮影画像は、自車両に搭載されたＥＣＵ２により行われる自車両の運転支援に用いられる。

ここで、運転支援とは、例えば、自動運転であっても良い。自動運転とは、自車両の加速、制動、及び、操舵等の運転操作を自動的に行うものである。具体例を挙げると、自動運転とは、自車両を目的地まで完全に自動的に走行させるものや、自車両を先行する他の車両に追従して走行させるものであっても良い。この他にも、自動運転には、自車両の加速及び制動のみを自動的に行い、速度を自動的に制御した状態で自車両を走行させるもの、及び、自車両の操舵のみを自動的に行い、進路を自動的に制御した状態で自車両を走行させるものが含まれても良い。また、この他にも、運転支援とは、例えば、衝突回避，速度警報，追突警報，車間警報，車線逸脱警報等であっても良い。なお、衝突回避とは、自車両が物体と衝突する可能性がある場合に制動制御や操舵制御を行い、衝突を回避するものであっても良い。

撮影装置１は、カメラとしての構成を有する。具体的には、撮影装置１は、撮影部１０とメイン制御部２０とを有する。
撮影部１０は、光学系１１と複数の撮像素子１２とを有する。

光学系１１は、図示しないレンズ，絞り部，シャッター等を有する。レンズは、入射した可視光線を複数の撮像素子１２に結像させる。また、絞り部は、絞り値に応じて、レンズを通過した可視光線の光量を調整する。絞り部を通過した可視光線は、複数の撮像素子１２に入射する。また、シャッターは、予め定められたシャッター速度で撮影時に開閉する。これにより、シャッター速度に応じた露光時間にわたって露光が行われる。換言すれば、該露光時間にわたって、可視光線が複数の撮像素子１２に入射する。

複数の撮像素子１２は、例えば、複数のＣＭＯＳセンサ又は複数のＣＣＤセンサ等を有する。これらの撮像素子１２は、格子状（換言すれば、アレイ状）に配置されている。各撮像素子１２は、入射した可視光線の強さを示すアナログ信号を出力する。該アナログ信号は、所定のゲインで増幅され、メイン制御部２０に出力される。

一方、メイン制御部２０は、合成部２１と、信号処理部２２と、制御部２３とを有する。
信号処理部２２は、複数の撮像素子１２から入力されたアナログ信号に基づき、ＲＧＢ形式又はＹＵＶ形式の撮影画像データ（以後、ＲＡＷデータとも記載）を生成する。

合成部２１は、信号処理部２２により生成された複数のＲＡＷデータに基づき、ハイダイナミックレンジ合成（以後、ＨＤＲ合成とも記載）を行う。以後、ＨＤＲ合成により得られた撮影画像を、合成画像とも記載する。合成画像は、車内ＬＡＮ３等を介してＥＣＵ２に提供される。ＥＣＵ２は、合成画像に基づき上述した運転支援を行う。

ＨＤＲ合成により、複数のＲＡＷデータが示す撮影画像よりもダイナミックレンジが拡大された撮影画像が生成される。より詳しくは、ＨＤＲ合成により、白飛び及び黒濡れといった現象が抑制され、より詳細な階調を有する撮影画像が生成される。このため、ＥＣＵ２による運転支援において、合成画像に基づきより高い精度で画像認識を行うことが可能となる。なお、ＨＤＲ合成のための撮影を行う処理については、後述する。

制御部２３は、撮影部１０を制御して撮影を行う。制御部２３は、撮影部１０における撮影パラメータを設定する。撮影パラメータとは、例えば、シャッター速度（換言すれば、露光時間），絞り値，アナログ信号を増幅するゲイン等である。撮影部１０は、制御部２３により設定された撮影パラメータに従って撮影を行う。

なお、合成部２１、信号処理部２２、及び制御部２３は、ＣＰＵ，ＲＡＭ，ＲＯＭ，フラッシュメモリ等の半導体メモリを有する周知のマイクロコンピュータを中心に構成されていても良い。つまり、これらの部位は、ＣＰＵが半導体メモリに記憶されたプログラムを実行することで、上記機能を実現しても良い。なお、半導体メモリは、非遷移的実態的記録媒体に相当する。また、これらの部位は、多数の論理回路を含むデジタル回路等により構成されていても良い。そして、上記機能が、ソフトウェアではなくハードウェアを用いて実現されても良い。

［２．撮影について］
次に、ＨＤＲ合成のための撮影について詳しく説明する。
撮影装置１のメイン制御部２０における制御部２３は、上述したＨＤＲ合成を行うための撮影処理を行う。撮影処理では、撮影部１０により、長露光撮影と短露光撮影との２種類の撮影が、連続的に２回行われる。長露光撮影は、短露光撮影よりも露光時間が長い。また、長露光撮影及び短露光撮影は、露光時間以外の撮影パラメータが相違していても良い。そして、合成部２１は、長露光撮影及び短露光撮影により生成された２つのＲＡＷデータに基づき、ＨＤＲ合成を行う。

また、撮影装置１は、ＨＤＲ合成により、合成画像１〜４の４種類の合成画像を生成する。合成画像１〜４は、異なる撮影対象に対応している。合成画像１〜４の各々は、運転支援において、該合成画像に対応する撮影対象を認識するのに好適な画質を有する。換言すれば、各合成画像の画質は、該合成画像に対応する撮影画像に基づき定められている。運転支援では、各合成画像から、該合成画像に対応する撮影対象が認識される。

なお、撮影処理での各撮影において、自車両周辺の環境（例えば、明るさ等）に応じて露光時間が調整されても良い。以後、このような撮影における露光時間の最大値を、最大露光時間と記載する。一方、撮影処理での各撮影における露光時間は、固定されていても良い。以後、このような撮影における露光時間の固定値を、最大露光時間と記載する。

ここで、合成画像１〜４を生成するための撮影処理を、それぞれ、第１〜第４撮影処理と記載する。制御部２３は、合成画像の画質（換言すれば、撮影対象）に応じて、該合成画像を生成するための撮影処理での各撮影における撮影パラメータを調整する。特に、上述した各撮影対象を合成画像から好適に認識可能とするには、第１〜第４撮影処理の各々における各撮影の露光時間を、該撮影処理に対応する撮影対象に応じて定める必要がある。このため、各撮影処理における各撮影は、該撮影対象に対応する撮影対象に応じて、少なくとも最大露光時間が固有に定められる。無論、これらの撮影は、さらに、露光時間以外の撮影パラメータが固有に定められても良い。

そして、制御部２３は、定期的に到来する同期タイミングに従い、合成画像１〜４を生成するため、第１〜第４撮影処理を連続的に行う。同期タイミングは、一例として、２５ｍｓｅｃ間隔で到来する。ここで、図２に示すように、連続的に到来する４つの同期タイミングを、第１〜第４同期タイミング５０〜５３とする。第１〜第４同期タイミング５０〜５３は、連続的に繰り返し到来する。つまり、第４同期タイミング５３が到来した後には、次の第１〜第４同期タイミング５０〜５３が到来する。

第１〜第４撮影処理は、それぞれ、第１〜第４同期タイミング５０〜５３に対応している。つまり、制御部２３は、第１同期タイミング５０に同期して、合成画像１を生成するための第１撮影処理を行う。また、制御部２３は、第２同期タイミング５１に同期して、合成画像２を生成するための第２撮影処理を行う。また、制御部２３は、第３同期タイミング５２に同期して、合成画像３を生成するための第３撮影処理を行う。また、制御部２３は、第４同期タイミング５３に同期して、合成画像４を生成するための第４撮影処理を行う。

また、長露光時間１０１，１１１，１２１，１３１は、第１〜第４撮影処理における長露光撮影の露光のタイミングを示している。なお、長露光時間１０１，１１１，１２１，１３１は、一例として、これらの長露光撮影にて最大露光時間にわたる露光が行われた場合の、露光のタイミングを示している。また、短露光時間１０２，１１２，１２２，１３２は、第１〜第４撮影処理における短露光撮影の露光のタイミングを示している。なお、短露光時間１０２，１１２，１２２，１３２は、一例として、これらの短露光撮影にて最大露光時間にわたる露光が行われた場合の、露光のタイミングを示している。また、図２における総露光時間１００〜１３０は、第１〜第４撮影処理における２回の撮影における露光のタイミングを示している。

つまり、各撮影処理では、長露光撮影が短露光撮影に先行して行われる。すなわち、各撮影処理における長露光撮影は、該撮影処理が同期する同期タイミングの前に行われる。より詳しくは、該同期タイミングが到来した時に露光が終了するように、長露光撮影が行われる。一方、各撮影処理における短露光撮影は、該撮影処理が同期する同期タイミングの後に行われる。より詳しくは、該同期タイミングが到来した時に露光が開始されるように、短露光撮影が行われる。

このため、同期タイミングが到来した後から、次の同期タイミングが到来するまでの各周期においては、先行する撮影処理の短露光撮影が行われた後に、後続の撮影処理における長露光撮影が行われる。

なお、各撮影処理において、短露光撮影が長露光撮影に先行して行われるようにしても良い。つまり、各撮影処理では、同期タイミング５０〜５３が到来した時に露光が終了するように、短露光撮影が行われ、同期タイミング５０〜５３が到来した時に露光が開始されるように、長露光撮影が行われても良い。

また、第１〜第４撮影処理における複数回の撮影の露光時間が重複しないよう、これらの撮影の最大露光時間に基づき、これらの撮影における露光のタイミングが調整されている。

具体的には、第１撮影処理における短露光撮影の最大露光時間（換言すれば、短露光時間１０２）は、他の撮影処理における短露光撮影の最大露光時間（換言すれば、短露光時間１１２，１２２，１２３）よりも短い。このため、第２撮影処理における長露光撮影の最大露光時間（換言すれば、長露光時間１１１）は、他の撮影処理における長露光撮影の最大露光時間（換言すれば、長露光時間１０１，１２１，１３１）よりも長くなっている。換言すれば、長露光撮影の最大露光時間が最も長い撮影処理が、第２撮影処理となる。

また、第２，第３撮影処理における短露光撮影の最大露光時間（換言すれば、短露光時間１１２，１２２）は、他の撮影処理における短露光撮影の最大露光時間（換言すれば、短露光時間１０２，１３２）と比較すると長い。このため、第３，第４撮影処理における長露光撮影の最大露光時間（換言すれば、長露光時間１２１，１３１）は、他の撮影処理における長露光撮影の最大露光時間（換言すれば、長露光時間１０１，１１１）よりも短くなっている。換言すれば、長露光撮影の最大露光時間が短い撮影処理が、第３及び第４撮影処理となる。

［３．効果］
本実施形態によれば、以下の効果を奏する。
（１）本実施形態の撮影装置１によれば、第１〜第４撮影処理の各々では、同期タイミングの前後にわたって複数回の撮影が行われる。これにより、各撮影処理における複数回の撮影の総露光時間として、同期タイミングの周期よりも長い時間を確保することが可能となる。また、先行する撮影処理における複数回の撮影と、これに続く撮影処理における複数回の撮影との間のインターバルを、短縮可能となる。

このため、第１〜第４撮影処理における各撮影について、適切な露光時間を確保することが可能となる。これにより、各撮影処理により得られた撮影画像に基づくＨＤＲ合成にて、適切な画質の合成画像を生成可能となる。また、これらの撮影に要する時間を抑制することが可能となる。したがって、ＨＤＲ合成により、画質の異なる複数の合成画像を、円滑且つ適切に生成することが可能となる。

（２）また、第１〜第４撮影処理により生成された合成画像１〜４は、ＥＣＵ２に提供される。そして、ＥＣＵ２は、合成画像１〜４に基づき運転支援を行う。また、各合成画像は、異なる撮影対象に対応しており、対応する撮影対象を認識するのに適した画質を有する。このため、ＥＣＵ２は、合成画像１〜４に基づき、好適に運転支援を行うことができる。

（３）また、撮影装置１は、車両に搭載される。このため、撮影装置１により生成された合成画像１〜４を、好適に運転支援に用いることができる。
（４）また、第１〜第４撮影処理では、長露光撮影と短露光撮影とが行われる。そして、各撮影処理では、長露光撮影は同期タイミングの前に行われ、短露光撮影は同期タイミングの後に行われる。このため、各撮影処理における各撮影について、適切な露光時間を確保することが可能となる。

（５）また、第１〜第４撮影処理では、長露光撮影及び短露光撮影の２回の撮影が行われる。このため、各撮影処理における各撮影について、より確実に、適切な露光時間を確保することが可能となる。

［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）上記実施形態の撮影装置１は、第１〜第４撮影処理を連続的に行い、４種類の合成画像を生成する。しかしながら、撮影装置１は、ＨＤＲ合成のため、同様にしてＮ回の撮影処理を行っても良い。そして、撮影装置１は、これらの撮影処理により、画質の異なるＮ種類の合成画像を生成しても良い。なお、Ｎは、２、３、又は５以上のいずれかの整数である。

（２）また、上記実施形態の撮影装置１は、撮影処理において、ＨＤＲ合成のため、２回の撮影を連続的に行う。しかしながら、撮影装置１は、撮影処理において、露光時間の異なる３回以上の撮影を連続的に行っても良い。なお、該３回以上の撮影には、長露光撮影及び短露光撮影の２種類の撮影が含まれていても良い。この場合において、長露光撮影とは、最大露光時間が予め定められた水準に達する撮影であっても良い。また、短時間撮影とは、最大露光時間が該水準に達しない撮影であっても良い。そして、上記実施形態と同様にして、一方の種類の撮影が同期タイミングの前に、他方の種類の撮影が同期タイミングの後に行われても良い。

さらに、撮影処理では、撮影の種類に関わらず、該撮影処理にて連続的に行われる各撮影のタイミングが定められても良い。
なお、これらの場合においても、上記実施形態と同様に、同期タイミングの直前に行われる撮影は、同期タイミングが到来した時に露光が終了する。また、同期タイミングの直後に行われる撮影は、同期タイミングが到来した時に露光が開始される。また、撮影処理における各撮影の露光のタイミングは、他の撮影と露光時間が重複しないように定められる。

（３）また、上記実施形態における撮影装置１を、車両に搭載されない装置（例えば、携帯装置等）として構成しても良い。この場合、各撮影処理により生成される合成画像の画質は、撮影対象とは無関係に定められても良い。また、この場合、撮影装置１により生成された合成画像は、運転支援以外の用途に用いられても良い。また、携帯装置である撮影装置１を、必要に応じて車両に搭載しても良い。そして、該撮影装置１は、生成した合成画像を、該車両にて運転支援を行うＥＣＵに提供しても良い。

（４）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（５）上述した撮影装置１の他、当該撮影装置１を構成要素とするシステム、当該撮影装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、撮影装置１による撮影処理に相当する方法など、種々の形態で本開示を実現することもできる。

１…撮影装置、２…ＥＣＵ、１０…撮影部、１１…光学系、１２…撮像素子、２０…メイン制御部、２１…合成部、２２…信号処理部、２３…制御部、５０…第１同期タイミング、５１…第２同期タイミング、５２…第３同期タイミング、５３…第４同期タイミング。

Claims

撮像素子（１２）により撮影を行う撮影装置（１）であって、
予め定められた露光時間にわたる露光を行うことで撮影を行う撮影部（１０）と、
２以上のいずれかの整数をＮとし、連続的に前記Ｎ回の撮影処理を行う部位であって、これらの撮影処理の各々にて、前記撮影部により前記露光時間の異なる複数回の撮影を連続的に行う制御部（２３）と、
前記Ｎ回の撮影処理の各々について、該撮影処理における前記複数回の撮影により得られた複数の撮影画像に基づき、ＨＤＲ合成により、ダイナミックレンジが拡大された撮影画像である合成画像を生成する合成部（２１）と、を備え、
前記Ｎ回の撮影処理の各々により生成された各々の前記合成画像は、該合成画像に対応して定められた画質を有しており、前記Ｎ回の撮影処理の各々における各撮影の前記露光時間の最大値である最大露光時間は、該撮影処理により生成される前記合成画像の前記画質に応じて定められており、
前記Ｎ回の撮影処理の各々は、前記Ｎ回にわたって定期的に到来する同期タイミング（５０〜５３）の各々に対応しており、
前記制御部は、前記Ｎ回の撮影処理の各々において、該撮影処理に対応する前記同期タイミングの前後にわたって前記複数回の撮影を連続的に行い、いずれかの撮影を、該同期タイミングが到来した時に前記露光が終了するように行うと共に、該撮影に続く他の撮影を、該同期タイミングが到来した時に前記露光が開始されるように行い、
前記Ｎ回の撮影処理にて行われる各々の撮影の前記露光時間が重複しないよう、これらの撮影の前記最大露光時間に基づき、これらの撮影における前記露光のタイミングが定められている
撮影装置。
請求項１に記載の撮影装置において、
前記合成画像は、車両における運転支援に用いられ、
前記運転支援において、前記Ｎ回の撮影処理により生成される各々の前記合成画像から、異なる撮影対象が認識され、
前記Ｎ回の撮影処理により生成される各々の前記合成画像の前記画質は、該撮影画像から認識される前記撮影対象に基づき定められる、
撮影装置。
請求項２に記載の撮影装置において、
前記撮影装置は、前記車両に搭載される
撮影装置。
請求項１から請求項３のうちのいずれか１項に記載の撮影装置において、
前記Ｎ回の撮影処理の各々における前記複数回の撮影として、長露光撮影と短露光撮影との２種類の撮影が行われ、前記長露光撮影は、前記短露光撮影に比べて前記露光時間が長く、
前記Ｎ回の撮影処理の各々において、一方の前記種類の撮影における前記露光を該撮影処理に対応する前記同期タイミングよりも前に行い、他方の前記種類の撮影における前記露光を該同期タイミングよりも後に行うことで、これらの撮影処理にて行われる各々の撮影の前記露光時間が重複しないようにした
撮影装置。
請求項４に記載の撮影装置において、
前記制御部は、前記Ｎ回の撮影処理の各々にて、前記種類の異なる２回の撮影を行う
撮影装置。