JP2018056881A - 撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体 - Google Patents

Abstract

【課題】より適切な露光時間を決定可能な撮像制御装置等を提供すること。【解決手段】撮像制御装置は、多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させる制御部と、前記第一多重露光画像を受け取る入力部と、を備え、前記制御部は、前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させる。【選択図】図１

Description

本開示は、撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体に関する。

従来、この種の撮像制御装置等としては、例えば、下記の特許文献１に記載の撮像装置がある。この撮像装置では、露光期間を変えつつ多重露光による撮像が可能になっている。

特開２００１−１９７３７３号公報

本開示は、より高画質な多重露光画像の生成を制御可能な撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体を提供することを目的とする。

本開示の一形態は、
多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させる制御部と、
前記第一多重露光画像を受け取る入力部と、を備え、
前記制御部は、前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させる、
撮像制御装置に向けられる。

本開示の他の形態は、
多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させるステップと、
前記第一多重露光画像を受け取るステップと、
前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させるステップと、
を備えた撮像制御方法に向けられる。

本開示のさらに他の形態は、
コンピュータに、
多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させるステップと、
前記第一多重露光画像を受け取るステップと、
前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させるステップと、
を実行させるプログラムに向けられる。

本開示のさらに他の形態は、
コンピュータに、
多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させるステップと、
前記第一多重露光画像を受け取るステップと、
前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させるステップと、
を実行させるプログラムを記録した非一過性の記録媒体に向けられる。

本開示によれば、より適切な露光時間を決定可能な撮像制御装置、撮像制御方法、プログラムおよびそれを記録した記録媒体を提供することが出来る。

本開示の一実施形態に係る撮像制御装置およびその周辺の構成を模式的に示すブロック図 図１のイメージセンサの構成を模式的に示すブロック図 図２Ａの単位画素の構造を模式的に示す断面図 フレーム期間における多重露光の典型的な動作タイミングを示す図 多重露光画像データに映る被写体像（即ち、移動物体像）Ｓの例示する模式図 フレーム期間における多重露光中に透明電極および画素電極の間の電位差の変化を示す模式図 図１の撮像制御装置の処理を示すフロー図 第一露光信号の第一例の時間波形を示す模式図 第一露光信号の第二例の時間波形を示す模式図 第二フレーム期間の電圧信号の第一例および第二例の時間波形を示す図 高速道路の支線から本線に合流しようとしている車両を示す模式図 図１のＥＣＵの詳細な構成を示すブロック図 第三単位フレームにおける露光信号の時間波形を示す模式図 複数のパイロットフレーム期間の間に挿入された第一フレーム期間および第二フレーム期間を示す模式図 図２Ａの単位画素の構造の他の例を模式的に示す断面図

以下、図面を参照して、本開示の一実施形態に係る撮像制御装置１７を説明する。

＜１．撮像制御装置の概略構成および周辺構成＞
図１において、撮像装置１と、方位・測距センサ３と、電子制御ユニット（以下、ＥＣＵという）５とが、車両Ｖにおいて通信可能に接続されている。

＜１−１．撮像装置の構成＞
撮像装置１は、例えば車両Ｖの右前方から右側方にわたる広範囲な視野内を撮像可能に車両Ｖの前方右隅辺りに配置され、光学系１１と、イメージセンサ１３と、画像送信部１５と、システムコントローラ１７と、を備えている。

光学系１１は、周知のレンズ群を有する。レンズ群において、例えばフォーカスレンズは光軸方向に移動し、これにより、イメージセンサ１３における被写体像の合焦位置を調整可能となる。

イメージセンサ１３は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサであって、図２Ａに示すように、行列方向に配列された複数の画素（画素アレイ）１３１と、行走査回路１３３と、列走査回路１３５と、電圧制御回路１３７と、を含む。各画素１３１は、行走査回路１３３と信号線を用いて個々に電気的に接続され、列走査回路１３５と信号線を用いて個々に電気的に接続される。なお、電圧制御回路１３７については後述する。また、図２Ａの視認性の観点で、単一の画素にのみ参照符号１３１を割り当てている。

各画素１３１は、図２Ｂに示すように、大略的に、入射光を光電変換する光電変換部１３１１と、電荷検出回路１３１３と、を有する。
光電変換部１３１１は、透明電極１３１１Ａと、画素電極１３１１Ｂと、これらの間に介在する光電変換層１３１１Ｃと、を有する。光電変換層１３１１Ｃとしては、スズナフタロシアニンより作製された有機薄膜が例示される。

電荷検出回路１３１３は、半導体基板１３１５に設けられ、層間絶縁層１３１７内のコンタクトプラグ１３１９を介して画素電極１３１１Ｂに電気的に接続される。このような電荷検出回路１３１３は、光電変換部１３１１で発生した信号電荷を検出する。

上記の光電変換層１３１１Ｃに光が照射され、透明電極１３１１Ａと画素電極１３１１Ｂとの間にバイアス電圧が印加されると、光電変換によって生じる正および負の電荷のうちの一方が画素電極１３１１Ｂによって収集され、収集された電荷は電荷検出回路１３１３に蓄積される。本発明者らは、光電変換層１３１１Ｃを光電変換部１３１１に用い、かつ、画素電極１３１１Ｂと透明電極１３１１Ａとの間の電位差をある程度にまで小さくすることによって、電荷検出回路１３１３に既に蓄積された信号電荷の光電変換層１３１１Ｃを介した透明電極１３１１Ａへの移動、および、電位差を小さくした後における電荷検出回路１３１３への信号電荷のさらなる蓄積を抑制可能であるとの知見を得た。つまり、光電変換層１３１１Ｃに印加するバイアス電圧の大きさの制御により、従来のように複数の画素のそれぞれに転送トランジスタなどの素子を別途設けることなく、グローバルシャッター機能を実現可能である。

上記構成のイメージセンサ１３において、複数画素１３１は、フレーム期間において相異なる複数のタイミングで、共通の表示属性の程度が相異なる複数の撮像データを取得し、複数の撮像データを多重化した多重露光画像データを生成可能になっている。複数画素１３１の電荷検出回路１３１３は、このような多重露光画像データとして読み出して、画像送信部１５と、システムコントローラ１７とに出力可能になっている。なお、イメージセンサ１３は、多重露光ではない単一露光画像データを生成することも可能である。共通の表示属性については後述する。

再度、図１を参照する。画像送信部１５は、多重露光画像データ等を外部（例えば、ＥＣＵ５）に出力する。なお、多重露光画像データ等は、未圧縮・未加工のＲＡＷデータのまま出力されても良いし、画像圧縮や所定の画像処理を行った上で出力されても良い。

システムコントローラ１７は、大略的には、入力部１７１と、プログラムメモリ１７３と、ワーキングメモリ１７５と、撮像装置側マイコン１７７と、出力部１７９と、を備えている。
入力部１７１には、多重露光画像データが入力可能になっている。

マイコン１７７は、プログラムメモリ１７３に予め格納されたプログラムＰ１をワーキングメモリ１７５を使いつつ実行することで、撮像制御装置１７の制御部として機能する。なお、システムコントローラ１７は、撮像制御装置１７として機能するだけでなく、撮像装置１全体を制御するが、この点については本開示で関心が無いので説明を控える。

＜１−２．撮像装置の基本的な動作＞
次に、図３〜図５を参照して、撮像装置１の基本的な動作について説明する。
まず、図３は、フレーム期間における多重露光の典型的な動作タイミングを示している。

図３において、ＶＤはフレーム期間の開始パルスを示す。
露光信号は、露光が有効であるか無効であるかを示すパルスを含む。本開示では、Ｈｉ期間は、光電変換層１３１１Ｃが光にさらされる露光期間（露光状態）とする。Ｌｏｗ期間は、逆に非露光期間（非露光状態）である。また、本開示では、露光期間を可変にするために、フレーム期間において、露光信号に含まれるパルス幅が可変とされる。

表示属性設定信号は、共通の表示属性の程度を設定するための信号である。設定されたパルス振幅が大きいほど、共通の表示属性の程度が高いことを示している。
なお、露光信号と表示属性設定信号とは、両方の機能を兼ねる単一の信号であってもよい。

本開示において、共通の表示属性は、明るさおよび色の少なくとも一方である。明るさは、各画素セルのＲＧＢ信号から得られる明度であり、色は、ＲＧＢ信号から得られる色相または彩度である。

露光信号および表示属性設定信号は、典型的には、システムコントローラ１７によって生成される制御信号である。

図３には、フレーム期間に五回の露光を実施する例を示している。イメージセンサ１３は、各露光により取得された複数の撮像データを重畳・多重化して、多重露光画像データを作成する。このような多重露光画像データにおいて、背景等の動きがない被写体は、画素アレイ（図２参照）の同じ複数画素１３１によって各露光期間に撮像されることになる。そして、同じ複数画素１３１によって画像データが蓄積される。

これに対し、フレーム期間内で動きがある被写体は、それぞれの露光期間において異なる複数画素１３１によって撮像されることがある。その結果、五回の露光全てにおいて撮像に関与した複数画素１３１が異なれば、その被写体は独立した五個の像として多重露光画像データに合成される。

表示属性設定信号に応じて共通の表示属性の程度（例えば、明度）を変化させて各露光を行うことで、各露光期間で得られる撮像データの共通の表示属性（例えば、明度）の程度を異ならせることが出来る。その結果、多重露光画像データにおいて、動きのある被写体の五個の像の間で、共通の表示属性の程度は互いに異なる。

ここで、図４は、多重露光画像データに映る被写体像（即ち、移動物体像）Ｓの一例を模式的に示している。図４では、共通の表示属性の程度の違いを明度で個々に表現している。明度が高いほど、時系列上で最新の被写体像であることを示している。なお、共通の表示属性の程度の経時変化は、単調増加または単調減少であることが好ましい。

本開示では、フレーム期間における露光毎に画素１３１の単位時間当たりの感度も変更出来る。これにより、各露光の間で明るさおよび色情報を変化させることができる。具体的に説明すると、光電変換部１３１１の透明電極１３１１Ａおよび画素電極１３１１Ｂ（図２Ｂを参照）の間の電位差を変化させることで、露光毎の感度を変更することが可能になる。そのような感度変更の詳細な説明は、例えば特開２００７−１０４１１３号公報に記載されているため、その説明を省略する。

また、透明電極１３１１Ａおよび画素電極１３１１Ｂ（図２Ｂを参照）の間の電位差を小さくすることにより、光電変換された電荷を検出させないようにし、感度を実質的にゼロにすることもできる。これによれば、グローバルシャッター動作が可能になる。

イメージセンサ１３は、共通の表示属性の程度を示す制御信号に基づいてその程度を変化させる電圧制御回路１３７を有する。複数の画素１３１は、光電変換膜制御線を介して電圧制御回路１３７に電気的に接続される。具体的に説明すると、画素電極１３１１Ｂの電位は電荷検出回路１３１３の電位に等しく、光電変換膜制御線は、透明電極１３１１Ａに電気的に接続されている。電圧制御回路１３７は、共通の表示属性の程度を示す制御信号に基づいて所定の電位を透明電極１３１１Ａに印加する。

ここで、図５は、フレーム期間における多重露光中に透明電極１３１１Ａおよび画素電極１３１１Ｂの間の電位差の変化（換言すると、透明電極１３１１Ａへの印加電圧の変化）の様子を模式的に示している。

図５の例示では、共通の表示属性の程度は透明電極１３１１Ａおよび画素電極１３１１Ｂの間の電位差に相当する。電位差を設定する信号のパルス振幅が大きいほど、電位差が大きいことを意味している。なお、露光時間はパルス幅で表される。

図示された電位差に関して、Ｌｏｗレベルは光電変換されないレベルに相当する。換言すると、Ｌｏｗレベルはグローバルシャッター動作が可能なレベルに対応している。Ｌｏｗレベル以外のレベルは光電変換されるのに十分なレベルに相当する。Ｈｉレベルは光電変換が最大限行われるレベルに相当する。従って、電位差が大きくなるほど、各画素１３１の感度は高くなる。Ｌｏｗおよびそれ以外の電位差レベルを含むサイクルを複数回繰り返すことで、多重露光撮像が行われる。各撮像の間で電位差を変化させることにより、各露光期間中の感度を変更している。

このように、透明電極１３１１Ａおよび画素電極１３１１Ｂの間の電位差をフレーム期間内の各露光の間で変更すること、およびグローバルシャッター動作によって、多重露光と各撮像における感度の変更との両立が可能になる。その結果、フレーム期間内の各露光において、共通の表示属性（具体的には明度）の程度を独立して変更することができる。それゆえ、多重露光画像データにおいて被写体像の動きを時系列で確認することが可能となる。

＜１−３．技術的課題の詳細＞
本開示のイメージセンサ１３によれば、上記の通り、多重露光画像データにおいて被写体像の動きを時系列で確認できるが、この際、フレーム期間内の各露光時間によっては、露光不足や露光過多となり、被写体像が明確に確認できないことがある。

本開示では、露光時間を適切に設定可能な撮像制御装置１７等を提供することを目的とする。

＜１−４．撮像制御装置の具体的な処理＞
次に、図６を参照して、本撮像制御装置１７の具体的な処理を説明する。
マイコン１７７は、プログラムＰ１を実行し始めると、まず、露光時間を決定するタイミングが到来したか否かを判断する（ステップＳ００１）。

ステップＳ００１での判断手法としては、下記が例示される。第一に、前回の露光時間の決定から一定時間が経過したか否かにより、タイミング到来を判断することが出来る。第二に、予め設定された時刻が到来したか否かにより、タイミング到来を判断することが出来る。いずれにしても、露光不足や露光多寡は、被写体周辺の照度により生じるので、適度な時間間隔で、露光時間の決定を行うことが望ましい。

ステップＳ００１でＮＯと判断すると、マイコン１７７は、ステップＳ０１７を行う。

ステップＳ００１でＹＥＳと判断すると、マイコン１７７は、露光信号と第一例としての第一露光信号（図７上段を参照）を生成する（ステップＳ００３）。より具体的には、図７において、第一露光信号は、好ましくは、フレーム期間の第一例としての第一フレーム期間において、互いに異なるパルス幅を有する複数のパルスを含んでいる。ここで、各パルス幅は、前回のステップＳ００３の実行時と比較して変わっていても良いし、そうでなくともよい。なお、図７上段には、複数のパルスのそれぞれは、パルス振幅については互いに同じであるが、デューティ比については互いに異なっている。

また、第一露光信号は、図７に示すもの以外にも、図８に示すように、フレーム期間において、相異なるパルス幅を有する複数のパルスを含んでいるが、複数のパルスのそれぞれにおけるパルス振幅およびデューティ比は互いに同じであってもよい。

次に、マイコン１７７は、図７や図８に例示するような表示属性設定信号を生成する（ステップＳ００５）。具体的には、表示属性設定信号は、第一露光信号のパルス周期毎に、振幅レベルが変化する。

マイコン１７７は、生成した第一露光信号および表示属性設定信号を出力部１７９を介して電圧制御回路１３７に出力する（ステップＳ００７）。

電圧制御回路１３７は、入力表示属性設定信号を入力第一露光信号でスイッチングする。換言すると、電圧制御回路１３７は、入力第一露光信号がＨｉ期間であれば、入力表示属性設定信号を出力する。このようなスイッチングにより生成した電圧信号（図９上段左側を参照）を、電圧制御回路１３７は、全画素１３１の透明電極１３１１Ａおよび画素電極１３１１Ｂの間に同時に印加する（グローバルシャッター機能）。本開示では、電圧信号における各パルスのパルス幅は露光時間を示し、そのパルス振幅は明度を示す。

イメージセンサ１３において、全画素１３１への電圧印加によるグローバルシャッター動作により、フレーム期間における各露光の開始および終了が全画素１３１にわたって同時となる。各画素１３１に蓄積された信号電荷は、行走査回路１３３および列走査回路１３５から読み出されて、多重露光画像データの第一例としての第一多重露光画像データがイメージセンサ１３から出力されて、入力部１７１を介してワーキングメモリ１７５に格納される。これにより、マイコン１７７は、第一多重露光画像データを取得する（ステップＳ００９）。

ここで、図１０には、高速道路の支線から本線に合流しようとしている車両Ｖが示される。支線を走行中の車両Ｖの右側方の本線を、それぞれが前照灯および尾灯を点灯した複数台の車両（先行車両Ｖ１と、その後に続く後続車両Ｖ２を含む）が走行しているとする。この場合、先行車両Ｖ１および後続車両Ｖ２は、車両Ｖよりも高速で走行しており、相対速度を有する。このような状況で撮像された第一多重露光画像データには、例えば、先行車両の尾灯が第一移動物体として映ると共に、後続車両の前照灯が第二移動物体として映る。

前述のように、露光時間の決定時、フレーム期間における露光の度に、パルス振幅が例えば単調増加するため、第一多重露光画像データにおける第一移動物体の各像が有する明度は、対応する像が何番目に露光されたのかを示すことになる。

また、露光時間の決定時、フレーム期間における各露光時間は異なる。従って、第一多重露光画像データにおいて第一移動物体の各像は互いに異なる露光度で映る。もし、露光過多であれば対応する像はブレており、露光不足であれば対応する像は暗く映る。

上記明度および露光度に関しては、第二移動物体にも同様に当てはまる。

マイコン１７７は、取得した第一多重露光画像データから、第一移動物体について、明度および露光時間が互いに異なる複数像を検出する。なお、マイコン１７７は、第二移動物体の複数像を検出しても良い（ステップＳ０１１）。

次に、マイコン１７７は、検出した第一移動物体（または第二移動物体）の像それぞれに対してエッジ検出を行って、周囲に対し最も明度が鋭敏に変化している像を選択する（ステップＳ０１３）。

ここで、第一移動物体（または第二移動物体）の像の明度順位と、露光時間とは一意に対応している。マイコン１７７は、ステップＳ０１３で選択した第一移動物体（または第二移動物体）の像の明度順位から露光時間を特定する（ステップＳ０１５）。このようにして特定された露光時間は、現在の照度に対し最適な露光時間となる。

マイコン１７７は、ステップＳ０１５の次に、露光信号の第二例としての第二露光信号（図３を参照）を生成する（ステップＳ０１７）。より具体的には、図３において、第二露光信号は、好ましくは、フレーム期間の第二例としての第二フレーム期間において、それぞれがステップＳ０１５で特定されたパルス幅を有する複数のパルスを含んでいる。

次に、マイコン１７７は、例えば、ステップＳ００５で説明したような表示属性設定信号を生成する（ステップＳ０１９）。

マイコン１７７は、生成した第二露光信号および表示属性設定信号を出力部１７９を介して電圧制御回路１３７に出力する（ステップＳ０２１）。

電圧制御回路１３７は、入力表示属性設定信号を入力第二露光信号でスイッチングし、それによって生成された電圧信号（図５や図９上段右側を参照）を、全画素１３１の透明電極１３１１Ａおよび画素電極１３１１Ｂの間に同時に印加する（グローバルシャッター機能）。

なお、図９上段右側には、第二フレーム期間において、パルス振幅が単調増加する電圧信号が示されているが、これに限らず、図９下段右側に示すように、第二フレーム期間において、パルス振幅が略一定の電圧信号が、全画素１３１に同時に印加されても良い。

イメージセンサ１３において、全画素１３１への電圧印加により、グローバルシャッター動作により、第二フレーム期間における各露光の開始および終了が全画素１３１にわたって同時となる。各画素１３１に蓄積された信号電荷は、行走査回路１３３および列走査回路１３５から読み出されて、多重露光画像データの第二例としての第二多重露光画像データがイメージセンサ１３から出力されて、画像送信部１５からＥＣＵ５に送信される（ステップＳ０２３）。

上記ステップＳ０２３の次に、マイコン１７７は、ステップＳ００１に戻る。

＜１−５．作用・効果＞
ここで、図１０に示すように、支線走行中の車両Ｖの右側方の本線を、それぞれが前照灯および尾灯を点灯した先行車両Ｖ１と後続車両Ｖ２とが走行しているとする。この場合、第二多重露光画像データには、例えば、先行車両Ｖ１の尾灯が第一移動物体として映ると共に、後続車両Ｖ２の前照灯が第二移動物体として映る。前述のように、第二フレーム期間では各露光時間が最適に設定されるため、第二多重露光画像データにおいて、第一移動物体および第二移動物体それぞれは、最適な露光時間で露光され、その結果、明暗を適切に再現できるようになる。

また、イメージセンサ１３がグローバルシャッター機能を有するため、たとえ高速の移動物体を撮像したとしても、歪みの少ない高速移動物体が映った第二多重露光画像データを得ることが可能となる。

また、本開示では、撮像制御装置１７は、１フレーム期間で最適な露光時間を決定しているため、車載用途に特に好適である。なぜなら、自車両Ｖや他車両の高速走行により急変しうる交通環境下で、複数のフレーム期間を用いて露光時間を決定していては、決定した時点では、もはや最適な露光時間ではないことが多いからである。

また、本開示では、前述の通り、露光時間の決定を複数回行うことが可能となっている。これは、車両Ｖが走行する照度環境が経時変化するため、本撮像制御装置１７が、このような照度環境の変化に好適に適応して、照度環境に応じた最適な露光時間を設定可能にするためである。

＜２．撮像制御装置の周辺構成＞
ここで、図１を参照し、方位・測距センサ３について説明する。方位・測距センサ３は、車両Ｖの右前方から右側方にわたる視野とするように車両Ｖの前方右隅辺りに配置され、例えば先行車両Ｖ１や後続車両Ｖ２のようなターゲットまでの方位と距離を少なくとも検出し、ＥＣＵ５に出力する。

具体的には、方位・測距センサ３は、電波、音波、赤外光・近赤外光等の信号を自身の視野内に放射し、ターゲットで反射・散乱して戻ってきたリターン信号を処理することで、ターゲットまでの方位および距離を検出する。この種の方位・測距センサ３としては、ドップラーレーダ、ＴＯＦ（Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ）方式のレーダ、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）がある。

他にも、方位・測距センサ３としては、ステレオカメラを用いることも可能である。

なお、ＥＣＵ５の処理を簡素化するため、撮像装置１および方位・測距センサ３の位置関係は固定的であることが好ましい。

次に、図１に示すＥＣＵ５について説明する。
ＥＣＵ５は、大略的には、図１１に示すように、情報入力部５１と、画像入力部５３と、プログラムメモリ５５と、ワーキングメモリ５７と、ＥＣＵ側マイコン５９と、ＥＣＵ側出力部５１１と、を備えている。

情報入力部５１は、ＣＡＮ（Ｃｏｎｔｒｏｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のインタフェース等である。この情報入力部５１には、方位・測距センサ３から、ターゲット毎に方位および距離を示す情報が入力される。

画像入力部５３は、ＭＯＳＴ（Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍｓ Ｔｒａｎｓｐｏｒｔ）等のインタフェースである。この画像入力部５３には、撮像装置１から、少なくとも第二多重露光画像データが入力される。

情報入力部５１の入力情報および画像入力部５３の入力第二多重画像データは、マイコン５９の制御下で、ワーキングメモリ５７に転送される。

マイコン５９は、プログラムメモリ５５に予め格納されたプログラムＰ３をワーキングメモリ５７を使いつつ実行することで、ＥＣＵ５の制御部として機能する。

ここで、マイコン５９は、図１０に示すシーン、即ち、車両Ｖが高速道路の支線から本線に合流する際、進入先の走行レーンにおける車両Ｖの進入予想位置の前方および後方を走行する先行車両Ｖ１および後続車両Ｖ２の車間距離ｄと移動速度を推定する。

この時、マイコン５９は、エッジ検出等により、１フレーム分の入力第二多重画像データから、第一移動物体（即ち、先行車両Ｖ１の尾灯）および第二移動物体（後続車両Ｖ２の前照灯）を推定し、その後、これらの間の距離を車間距離ｄとして高精度に推定する。この時、車両Ｖから第一移動物体までの距離と、車両Ｖから第二移動物体までの距離とは、方位・測距センサ３からの入力情報を使用すると良い。

なお、第二多重画像データには、第一移動物体および第二移動物体のそれぞれについて複数像が映っているため、先行車両Ｖ１および後続車両Ｖ２それぞれの移動速度や、車間距離ｄの経時変化を検出することも出来る。

ここで、前述の通り、イメージセンサ１３は、最適な露光時間で、グローバルシャッター機能により撮像を行っているため、入力第二多重画像データにおける各像のブレや歪みは極めて少ない。これにより、マイコン５９は、正確な車間距離ｄを検出することが出来る。

さらに言えば、本開示では、１フレーム分の入力第二多重画像データを処理することで、車間距離ｄを得ることが出来る。換言すると、マイコン５９は、撮像装置１から複数フレームの画像を待つことなく、車間距離ｄを得ることが出来る。このように、本開示によれば、相対的に短時間で車間距離ｄを得ることが出来る。

上記のようにして得た車間距離ｄ等を、マイコン５９は、出力部５１１を介して、例えば自動運転向けＥＣＵに転送する。自動運転向けＥＣＵは、例えば、受け取った車間距離ｄ等に基づき、車両Ｖの操舵、アクセルおよびブレーキを制御して、車両Ｖを高速道路の本線に導く。

＜３−１．付記（相対速度によるパルス幅・パルス周期について）＞
ところで、第一露光信号は、前述の通り、第一フレーム期間において、互いに異なるパルス幅を有する複数のパルスを含んでいる。ここで、本開示のように、撮像装置１を車載用途で使用する場合、パルス幅は、自車両Ｖの走行速度と、ターゲットとする他車両（先行車両Ｖ１や後続車両Ｖ２）との走行速度とに基づき設定されることが好ましい。さらに言えば、自車両Ｖとターゲット車両Ｖ１，Ｖ２との相対速度に基づき、第一露光信号における各パルス幅は選ばれることが好ましい。これにより、イメージセンサ１３において、被写体（即ち、他車両）の各像がより適切な露光時間で撮像されることになり、その結果、マイコン５９でも、さらに高精度な車間距離および移動速度を推定出来るようになる。

また、第一露光信号における各パルス周期は、自車両Ｖの走行速度と、ターゲットとする他車両（先行車両Ｖ１や後続車両Ｖ２）との走行速度とに基づき設定されることが好ましい。さらに言えば、自車両Ｖとターゲット車両Ｖ１，Ｖ２との相対速度に基づき、第一露光信号における各パルス周期は選ばれることが好ましい。これにより、イメージセンサ１３により、第一多重露光画像データにおいて、被写体（即ち、他車両）の各像の間隔を調整可能になるため、エッジ検出等がし易くなる。その結果、マイコン５９でも、さらに高精度な車間距離および移動速度を推定出来るようになる。

＜３−２．付記（照度によるパルス幅・パルス周期について）＞
また、様々な条件で、車両Ｖから見て、他車両（先行車両Ｖ１や後続車両Ｖ２）が明るすぎたり暗すぎたりすることもある。即ち、他車両周辺の照度条件が良好でないことがある。従って、他車両周辺の照度条件（例えば、自車両Ｖに対する太陽の位置等）に応じて、マイコン１７７は、第一露光信号における各パルス幅およびパルス周期が適切に変更することが好ましい。

＜３−３．付記（注目領域毎の多重露光）＞
また、本開示のように車載用途の場合、自車両Ｖも走行するため、イメージセンサ１３がどの領域を多重露光するかも重要になってくる。また、車両Ｖの走行シーンに応じて、撮像装置１が注目すべき領域は異なってくる。そこで、車両Ｖが高速で直進している場合には、撮像装置１の注目領域は直進方向であるし、車両Ｖが右折する場合には、撮像装置１の注目領域は右折方向である。従って、マイコン１７７は、図６の処理において、イメージセンサ１３が有する全画素１３１のうち、注目領域からの光を受光する複数画素１３１に限定し、グローバルシャッター機能により、限定した複数画素１３１の全てに同時に第一露光信号および第二露光信号を供給しても良い。この場合、マイコン１７７はさらに、第一多重露光画像データにおける注目領域から、第一移動物体および第二移動物体の少なくとも一方について複数像を検出することが好ましい。なお、マイコン１７７は、注目領域を、車両Ｖの移動方向を検出可能で車載の操舵角センサ（図示せず）等から特定することが出来る。

また、上記注目領域の決定方法は、他にも下記が例示される。例えば、マイコン１７７が、イメージセンサ１３または距離・方位センサ３としてのステレオカメラから取得した画像に対してエッジ検出を行って、ターゲットとする移動物体が存在する領域を注目領域としても良い。そして、マイコン１７７は、それ以降の第一フレーム期間または第二フレーム期間において、イメージセンサ１３が有する全画素１３１のうち、注目領域からの光を受光する複数画素１３１に限定して、グローバルシャッター機能により、限定された複数画素１３１の全てに同時に第一露光信号および第二露光信号を供給しても良い。この場合、マイコン１７７はさらに、第一多重露光画像データにおける注目領域から、第一移動物体または第二移動物体の複数像を検出しても良い。

なお、本開示のように、図１０に示すシーンを想定する場合には、注目領域は、進入先の走行レーンを走行する先行車両Ｖ１の尾灯および後続車両Ｖ２の前照灯近傍とすることが好ましい。

＜３−４．付記（他のフレーム期間）＞
上記実施形態では、図７および図８から理解できるように、第二フレーム期間でも多重露光が実施されていた。しかし、第二フレーム期間における多重露光に代えて、マイコン１７７は、図１２上段および下段に示すように、第二フレーム期間において、図６のステップＳ０１５で決定した露光時間を有する単一のパルスを有する第二露光信号を生成しても良い。この場合、イメージセンサ１３からは、単一露光画像データが得られる。

また、マイコン１７７は、図１２上段に示すように、第一フレーム期間において最適な露光時間を決定し、その後、第二フレーム期間において多重露光を実施した後、第二フレーム期間において単一露光を実施しても構わない。また、図１２下段に示すように、マイコン１７７は、第一フレーム期間において最適な露光時間を決定し、第二フレーム期間において単一露光を実施した後、第二フレーム期間において多重露光を実施しても構わない。

＜３−５．付記（パイロットフレーム期間）＞
また、マイコン１７７は定期的に、図６のステップＳ００３〜Ｓ０１５を実施する。定期的に繰り返される第一フレーム期間をパイロットフレーム期間という。マイコン１７７は、図１３に示すように、このような複数のパイロットフレーム期間の間において、前述の第一フレーム期間において第一露光信号を用いて最適な露光時間を決定した後、その後に続く第二フレーム期間（または第二フレーム期間）において第二露光信号（または第二露光信号）を用いて、イメージセンサ１３から第二多重露光画像データ（または単一露光画像データ）を得ても良い。

＜３−６．付記（その他）＞
また、プログラムＰ１は、ＤＶＤ等のような非一過性の記録媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置に格納されても良い。

また、上記実施形態では、マイコン１７７がプログラムＰ１を実行するとして説明した。しかし、これに限らず、ＥＣＵ側マイコン５９がプログラムＰ１を実行しても構わない。

＜４−１．第一変形例＞
上記開示では、図７および図８に示すように、第一フレーム期間における露光信号（即ち、第一露光信号）において、各複数パルスは互いに同じパルス振幅を有していた。

しかし、上記に限らず、第一露光信号における各パルスが、時系列で、第一パルス幅ｗ１、第二パルス幅ｗ２（ｗ２＞ｗ１），…第ｎパルス幅ｗｎ（ｗｎ＞ｗ（ｎ−１））を有する時、対応する第一パルス振幅ａ１，第二パルス振幅ａ２，…第ｎパルス振幅ａｎは、ａ１＜ａ２，…，ａｎ−１＜ａｎと設定することが好ましいことがある。

パルス幅が小さいということは露光量が少ないことを意味し、パルス振幅が大きいということは露光量が多いことを意味する。それゆえ、もし、相対的に小さなパルス幅のパルスが相対的に大きなパルス振幅を有していると、各パルス間で露光時間が変わらなくなることがある。よって、上記の通り、第一露光信号の各パルスにおいて、パルス幅が小さなパルスは、小さなパルス振幅を有することが好ましいことがある。

なお、第二フレーム期間における、第二露光信号のパルス振幅は、逆行の場合を除き、最大値にしておく。

＜４−２．第二変形例＞
上記実施形態において、イメージセンサ１３における各画素１３１は、広いダイナミックレンジを実現するために、明暗それぞれの感度に対応する２つのセルを備えていても良い。即ち、各画素１３１は、図１４に示すように、高飽和に対応した撮像セル（以下、高飽和セルという）１３２１と、高感度用の撮像セル（以下、高感度セルという）１３２３と、を備えている。

高飽和セル１３２１は、高感度セル１３２３と比較して低感度である。

また、高飽和セル１３２１において、電荷蓄積ノードは、ＭＯＭ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｍｅｔａｌ）容量等を採用することで、高感度セル１３２３と比較して大容量となっている。

逆に、高感度セル１３２３において、電荷蓄積ノードは、ＭＯＭ容量等を非採用とすることで、高飽和セル１３２１と比較して小容量となっている。その結果、ランダムノイズを抑制できるため、高感度セル１３２３は、リセットノイズを抑制することが出来る。

マイコン１７７は、車両Ｖが夜間を走行中またはトンネル内を走行中、各画素１３１に備わる高飽和セル１３２１および高感度セル１３２３のうち、高飽和セル１３２１を用いて、図６の処理を実行する。これにより、他車両の尾灯や前照灯を正確に検出できるようになる。

本開示に係る撮像制御装置、撮像制御方法、プログラムおよびその記録媒体は、適切な露光時間を設定可能であり、車載用途に好適である。

１ 撮像装置
１３ イメージセンサ
１３１ 複数画素
１７ システムコントローラ（撮像制御装置）
１７７ マイコン

Claims (11)

1. 多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させる制御部と、
   前記第一多重露光画像を受け取る入力部と、を備え、
   前記制御部は、前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させる、
   撮像制御装置。
2. 前記制御部は、
   前記第一フレーム期間において前記第一露光信号を用いて前記イメージセンサに第一多重露光画像を撮像させることを、時間をあけて複数回行い、
   前記入力部が受け取った前記第一多重露光画像のそれぞれから、前記相異なるパルス幅から一つを選択する、
   請求項１に記載の撮像制御装置。
3. 前記イメージセンサおよび前記撮像制御装置が車両に搭載される場合、前記制御部は、少なくとも前記車両の速度に基づき、前記第一露光信号に含まれる複数のパルス幅を設定する、
   請求項１に記載の撮像制御装置。
4. 前記制御部は、
   前記イメージセンサのうち、所定の注目領域からの光を受光する画素領域に対しては、前記第一露光信号を用いて第一多重露光画像を撮像させ、
   前記入力部が受け取った前記第一多重露光画像における前記注目領域に映る被写体に関する複数像に基づき、前記互いに異なるパルス幅から一つを選択する、
   請求項１に記載の撮像制御装置。
5. 前記イメージセンサおよび前記撮像制御装置が車両に搭載される場合において、
   前記イメージセンサは、高感度セルと、前記高感度セルよりも低感度であるが電荷蓄積ノードが大容量となっている高飽和セルと、を含む複数の画素を備え、
   前記制御部は、前記車両が夜間またはトンネルを走行中、前記イメージセンサに含まれる前記高飽和セルに対し、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて前記第一多重露光画像を撮像させる、
   請求項１に記載の撮像制御装置。
6. 前記イメージセンサおよび前記撮像制御装置が車両に搭載される場合、前記制御部は、少なくとも前記車両の速度に基づき、前記第一露光信号に含まれる複数のパルス周期を設定する、
   請求項１に記載の撮像制御装置。
7. 前記イメージセンサおよび前記撮像制御装置が車両に搭載される場合、前記制御部は、前記車両周囲の照度に基づき、前記第一露光信号に含まれる複数のパルス幅およびパルス周期の少なくとも一つを設定する、
   請求項１に記載の撮像制御装置。
8. 前記制御部はさらに、前記イメージセンサに対して、定期的に現れるパイロットフレーム期間において、前記第一露光信号を用いて第一多重露光画像を撮像させ、
   前記制御部は、
   前記複数のパイロットフレーム期間の間に、前記イメージセンサに対し、前記第一フレーム期間において前記第一露光信号を用いて第一多重露光画像を撮像させ、
   前記入力部に入力される前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、前記第二露光信号用いて前記イメージセンサに画像を撮像させる、
   請求項１に記載の撮像制御装置。
9. 多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させるステップと、
   前記第一多重露光画像を受け取るステップと、
   前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させるステップと、
   を備えた撮像制御方法。
10. コンピュータに、
    多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させるステップと、
    前記第一多重露光画像を受け取るステップと、
    前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させるステップと、
    を実行させるプログラム。
11. コンピュータに、
    多重露光による撮像が可能なイメージセンサに対して、第一フレーム期間において、相異なるパルス幅を有する複数のパルスを含む第一露光信号を用いて第一多重露光画像を撮像させるステップと、
    前記第一多重露光画像を受け取るステップと、
    前記第一多重露光画像に基づき、前記相異なるパルス幅から一つを選択し、前記第一フレーム期間より後の第二フレーム期間において、選択したパルス幅を有する少なくとも一つのパルスを含む第二露光信号を用いて前記イメージセンサに画像を撮像させるステップと、
    を実行させるプログラムを記録した非一過性の記録媒体。