JP2018074285A

JP2018074285A - 撮像装置

Info

Publication number: JP2018074285A
Application number: JP2016209732A
Authority: JP
Inventors: 西川　雅人; Masahito Nishikawa; 雅人西川
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2016-10-26
Filing date: 2016-10-26
Publication date: 2018-05-10
Anticipated expiration: 2036-10-26
Also published as: CN107995411B; DE102017219253A1; CN107995411A; US20180114300A1; US10783619B2; JP6665754B2

Abstract

【課題】シャッタ時間の異なる複数の画像を合成することで生成されるダイナミックレンジの広い合成画像におけるＳＮ特性の低下を抑制する技術を提供する。【解決手段】Ｓ１１０では、次サイクルの撮像に使用するシャッタ時間ＳＴ１〜ＳＴ３および総合ゲインＧを設定する。アナログゲインＧａが上限値Ｇｕまで割り振られた場合でも、最低限のＳ／Ｎを確保するのに必要なデジタルゲインＧｄの制限値をＧthとする。Ｓ１２０〜Ｓ１６０では、Ｇ≦Ｇthである場合、ゲインの割り振りをＧｄ←Ｇ、Ｇａ←１とする。Ｇ＞Gthである場合、Ｇ−Ｇth≦Ｇuであれば、ゲインの割り振りをＧｄ←Ｇth、Ｇａ←Ｇ−Ｇthとし、Ｇ−Ｇth＞Ｇuであれば、ゲインの割り振りをＧａ←Ｇｕ、Ｇｄ←Ｇ−Ｇｕとする。【選択図】図９

Description

本開示は、シャッタ時間の異なる複数の画像を合成して合成画像を生成する機能を備えた撮像装置に関する。

特許文献１には、画像センサからシャッタ時間が異なる複数の画像を取得し、これらの画像を合成することによって、ダイナミックレンジの広い画像を生成するハイダイナミックレンジ機能（以下、ＨＤＲ機能）を備えた撮像装置が開示されている。

また、ＨＤＲ機能を用いて合成された画像の画素値を出力する際には、画素値を少ないビット数で表現できるようにするために画素値を圧縮することが行われている。具体的には、低輝度の領域では相対的に分解能が細かく、中高輝度の領域では相対的に分解能が粗くなるような圧縮特性を用いて圧縮する。

特開２０１４−１０９８５３号公報

ところで、画像センサから出力される画像の画素値は、シャッタ時間や周囲の環境に応じて変化するため、平均的な輝度が所定範囲内に収まるように、画素値に対するゲインが適宜設定される。

このゲインには、画像センサから出力されるアナログ信号の増幅に用いるアナログゲインと、アナログ信号をデジタル信号に変換後、そのデジタル信号の増幅演算に用いるデジタルゲインとがある。但し、デジタルゲインによって増幅すると、画像の解像度が低下するため、一般的には、アナログゲインを優先的に使用し、アナログゲインでは不足する分をデジタルゲインで補うように調整することが行われている。

しかしながら、画像の輝度とＳ／Ｎとの関係を表すＳＮ特性に着目すると、このＳＮ特性は、アナログゲインを増加させるほどＳ／Ｎが低下する。このため、アナログゲインを優先的に使用する従来の手法では、ＳＮ特性の悪い合成画像が生成される可能性があるという問題があった。

本開示は、シャッタ時間の異なる複数の画像を合成することで生成されるダイナミックレンジの広い合成画像におけるＳＮ特性の低下を抑制する技術を提供する。

本開示の撮像装置は、撮像部（２）と、合成部（３１，３２）と、増幅部（３３）と、圧縮部（３４）と、設定部（４：Ｓ１１０）と、割振部（４：Ｓ１２０〜Ｓ１６０）と、を備える。

撮像部は、撮像時のシャッタ時間および撮像によって取得される画像の画素値を出力する際の増幅率であるアナログゲインを調整可能に構成されている。合成部は、撮像部にて撮像されたシャッタ時間が異なる画像である複数の原画像の画素値を、デジタル化して合成することで合成画像を生成する。増幅部は、合成部にて生成された合成画像の画素値を、予め設定された増幅率であるデジタルゲインにて増幅することで増幅画像を生成する。圧縮部は、増幅部にて生成された増幅画像の画素値を、予め設定された圧縮特性に従って圧縮することで出力画像を生成する。設定部は、出力画像に従って、撮像部での次回の撮像に使用する複数の原画像についてのシャッタ時間、および次回の撮像により生成される出力画像の出力レベルを決定する増幅率である総合ゲインを設定する。割振部は、設定部にて設定された総合ゲインが、シャッタ時間および圧縮特性によって決まる制限値以下である場合は、総合ゲインのすべてをデジタルゲインに割り振る。また、総合ゲインが制限値を超過し且つアナログゲインの上限値以下である場合は、総合ゲインのうち制限値分をデジタルゲインに、制限値を超過する超過分をアナログゲインに割り振る。更に、総合ゲインが上限値を超過する場合は、総合ゲインのうち上限値分をアナログゲインに、上限値を超過する超過分をデジタルゲインに割り振る。

このような構成によれば、圧縮特性およびシャッタ時間に応じて決まる制限値やアナログゲインの上限値を用い、ＳＮ特性への影響を考慮して、総合ゲインをアナログゲインおよびデジタルゲインに割り振っているため、ＳＮ特性の低下が抑制された合成画像を生成することができる。

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。

運転支援システムの構成を示すブロック図である。圧縮特性を例示するグラフである。原画像のＳＮ特性を例示するグラフである。合成画像のＳＮ特性とアナログゲインとの関係を示すグラフである。合成画像のＳＮ特性とデジタルゲインとの関係を示すグラフである。圧縮特性を考慮した合成画像のＳＮ特性を示すグラフである。圧縮特性を考慮した合成画像のＳＮ特性とアナログゲインとの関係を示すグラフである。圧縮特性を考慮した合成画像のＳＮ特性とデジタルゲインおよびデジタルゲインの制限値との関係を示すグラフである。パラメータ調整処理のフローチャートである。

以下、図面を参照しながら、本開示の実施形態を説明する。
［１．構成］
図１に示す運転支援システム１は、カメラモジュール２と、画像合成部３と、画像処理部４と、支援実行部５と、を備える。なお、カメラモジュール２および画像合成部３、画像処理部４が撮像装置に相当する。

カメラモジュール２は、撮像部２１と、画像取得部２２と、設定部２３とを備える。
撮像部２１は、光学素子部２１１とイメージセンサ２１２とを備える。光学素子部２１１は、光を集める集光レンズや、予め定められた光の成分を透過する光学フィルタ等を備える。イメージセンサ２１２は、ＣＣＤまたはＣＭＯＳ素子を二次元的に配列することで構成された周知のものであり、光学素子部２１１を介して入射した光の強度に応じた信号を出力する。但し、撮像時のシャッタ時間ＳＴは、設定部２３からの指示に従って可変設定される。

画像取得部２２は、イメージセンサ２１２から各画素の輝度を表す信号を取得して画像合成部３に出力する周知の電子回路を備える。以下では、各画素の輝度を表す信号の信号レベルを画素値という。画像取得部２２は、画素値を増幅する増幅回路を有しており、増幅回路を介して増幅された画素値を出力する。この増幅回路の増幅率を、以下ではアナログゲインＧａとよぶ。アナログゲインＧａは、設定部２３からの指示に従って可変設定される。また、アナログゲインＧａには設定可能な上限値Ｇｕが存在する。

設定部２３は、画像処理部４からの指示に従って、撮像部２１のシャッタ時間ＳＴおよび画像取得部２２におけるアナログゲインＧａを設定して撮像を実行する。ここでは、予め設定された周期毎に、長さの異なる３種類のシャッタ時間ＳＴ１〜ＳＴ３にて３つの画像（以下、原画像）を撮像し、それら原画像の画素値をアナログゲインＧａにて増幅して出力するように構成されている。

画像合成部３は、ＡＤ変換部３１と、合成部３２と、増幅部３３と、圧縮部３４とを備える。なお、画像合成部３は、１チップの集積回路によって構成されている。
ＡＤ変換部３１は、画像取得部２２から出力される原画像の画素値を表すアナログ信号を、デジタルデータに変換して取り込む。

合成部３２は、ＡＤ変換部３１を介して取得したデジタル化された三つの原画像を合成することによって、個々の原画像よりダイナミックレンジの広い一つの合成画像を生成する。原画像は、撮像時のシャッタ時間ＳＴが長いほど低輝度の分解能が高くなり、そのシャッタ時間ＳＴに応じて平均的な信号レベルも変化する。以下では、シャッタ時間ＳＴの長い順に第１画像、第２画像、第３画像という。また、ｉ＝１，２，３として、第ｉ画像のシャッタ時間をＳＴｉで表すものとする。合成画像を生成する際には、各原画像の平均的な信号レベルが、第１画像と一致するように、第２画像および第３画像の画素値にデジタルゲインを加えて合成するようにされている。

増幅部３３は、画像処理部４からの指示に従って設定された増幅率であるデジタルゲインＧｄにて、合成部３２にて生成された合成画像の画素値を、演算によって増幅して出力するように構成されている。なお、増幅部３３が出力する画素値は、Ｍビット（例えば、１６ビット）で表され、しかも、画素の輝度と画素値とはリニアな関係にある。また、デジタルゲインＧｄは、合成部３２において合成時に加えるゲインとは独立に設定されるものである。

圧縮部３４は、増幅部３３が出力するＭビットで表現された増幅画像の画素値を、予め設定された圧縮特性に従って圧縮して出力する。圧縮後の画素値は、Ｍビットより小さく設定されたＮビット（例えば、８ビット）で表され、画素の輝度と画素値とはノンリニアな関係を有する。圧縮特性は、図２に示すように、輝度がＬ１以下である領域を低圧縮領域、輝度がＬ１より大きい領域を高圧縮領域として、高圧縮領域では、低圧縮領域より高い圧縮率を有する。以下では、低圧縮領域と高圧縮領域の境界である輝度がＬ１となるポイントを圧縮ポイントという。

画像処理部４は、ＣＰＵ４１と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ４２）と、を有する周知のマイクロコンピュータを中心に構成される。画像処理部４の各種機能は、ＣＰＵ４１が非遷移的実体的記録媒体であるメモリ４２に格納されたプログラムを実行することにより実現される。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理部４を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理部４は、ＣＰＵ４１がプログラムを実行することで、物標検出処理、パラメータ調整処理を少なくとも実現する。なお、これらの処理を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。

物標検出処理は、画像合成部３から供給される合成画像に基づき、合成画像に写り込んだ各種物標に関する情報である物標情報を生成する周知の処理である。なお、検出対象となる物標には、例えば、白線等の路面表示、道路標識、先行車両、歩行者、その他の障害物等が含まれる。また、物標情報には、物標の自車両に対する相対位置、相対速度等が含まれる。

パラメータ調整処理は、画像合成部３からの出力画像に基づき、次サイクルの処理で使用するシャッタ時間ＳＴ１〜ＳＴ３およびアナログゲインＧａ、デジタルゲインＧｄを求める処理であり、その詳細については後述する。

支援実行部５は、画像処理部４の物標検出処理によって生成された物標情報に基づき、各種車載機器を制御して、所定の運転支援を実行する。制御対象となる車載機器には、各種画像を表示するモニタ、警報音や案内音声を出力する音響機器が含まれる他、自車の内燃機関、パワートレイン機構、ブレーキ機構等を制御する制御装置が含まれていてもよい。また、運転支援としては、例えば、レーンキーピングアシスト、クルーズコントロールプ、ブレーキアシスト、各種警報の発生などが含まれていてもよい。

［２．ＳＮ特性］
ここで、アナログゲインＧａおよびデジタルゲインＧｄとＳＮ特性との関係について説明する。

個々の原画像の輝度とＳ／Ｎとの関係を表すＳＮ特性は、図３に示すように、それぞれ単調増加を示し、いわゆる飽和曲線のようなグラフとなる。但し、各原画像は、シャッタ時間に応じて平均的な信号レベルが異なったものとなるため、合成する際には、デジタルゲインをかけてレベル調整をする。デジタルゲインは、Ｓ／Ｎを変化させることなく輝度を高めることになるため、飽和曲線状のグラフは、デジタルゲインをかけるほど輝度方向に広がった形状となる。

三つの原画像（即ち、第１画像、第２画像、第３画像）を合成した合成画像の輝度対ＳＮ特性は、図４および図５にて点線で示すように、山形が連なったような形状のグラフとなる。これは、第１画像から第２画像、および第２画像から第３画像へ切り替える際には、いきなり切り替えるのではなく、両画像を適宜混ぜ合わせて徐々に切り替えるため、徐々にＳ／Ｎが落ち込むことによる。以下では、このＳ／Ｎが落ち込む方向に変化する領域を切り替わり領域と呼ぶ。

アナログゲインＧａを増大させた場合、合成画像のＳＮ特性は、図４に示すように、全体的にＳ／Ｎが低下する方向に変化する。一方、デジタルゲインＧｄを増大させた場合、Ｓ／Ｎに変化はなく輝度のみが大きくなるため、合成画像のＳＮ特性は、図５に示すように、全体的に輝度方向に引き伸ばされた形状に変化する。

次に、圧縮部３４での圧縮特性も考慮した合成画像のＳＮ特性について説明する。図２に示す圧縮ポイントの輝度Ｌ１より大きい輝度、即ち、高圧縮領域の輝度に対する信号レベルＳは（１）式で表される。ここでＣは、高圧縮領域での圧縮率であり、たとえば１／８や１／１６に設定される。また、Ｓ／Ｎの値ＳＲ［ｄＢ］は、圧縮がない低圧縮領域では（２）式、圧縮がある高圧縮領域では（３）式で表される。

つまり、高圧縮領域では、Ｌ１より大きい輝度成分は圧縮されてＬ１に加算されるのに対して、ノイズ成分は単純に圧縮されるため、高圧縮領域では低圧縮領域と比較してＳＮ特性が著しく良くなる。この圧縮特性を考慮したＳＮ特性は、図６に示すように、圧縮ポイントでの信号レベルＳ１（即ち、輝度Ｌ１）以下では、図４および図５中の点線で示した特性と同じであり、信号レベルＳ１より大きい領域では、更に圧縮の影響が加わったものとなり、Ｓ／Ｎが急激に増大する。

そして、この圧縮特性を考慮した合成画像のＳＮ特性は、アナログゲインを増大させた場合には、図７に示すように、Ｓ／Ｎが低下する。また、デジタルゲインを増大させた場合には、図８に示すように、信号レベルＳ１以下の領域では、横軸方向に引き伸ばされたグラフとなり、信号レベルＳ１より大きい領域では、圧縮の影響が加わるため、デジタルゲインを増大させる前と同様に、Ｓ／Ｎが急激に増大する。

ここで、当該運転支援システム１において合成画像に要求されるＳ／Ｎの下限値をＡ、アナログゲインＧａを上限値Ｇｕに設定したときに生じるＳ／Ｎの低下分をＢとする。以下では、第１画像から第２画像への切り替わり領域中のポイントが信号レベルＳ１において、Ａ＋｜Ｂ｜より大きなＳ／Ｎを確保するのに必要なデジタルゲインＧｄを制限値Ｇthという。

［３．処理］
次に、画像処理部４が実行するパラメータ調整処理について、図９のフローチャートを用いて説明する。

本処理は、画像合成部３を介して出力画像が取得される毎に起動する。
本処理が起動すると画像処理部４は、まずＳ１１０にて、取得した出力画像に基づき、次サイクルの撮像に使用するパラメータを設定する。このパラメータには、３種類のシャッタ時間ＳＴ１〜ＳＴ３および出力画像の出力レベルを決める総合ゲインＧが少なくとも含まれている。この処理は、ＨＤＲ合成を行う装置においては、周知の処理であるため、その詳細については説明を省略する。

Ｓ１２０では、総合ゲインＧがデジタルゲインの制限値Ｇthより大きいか否かを判断する。総合ゲインＧが制限値Ｇth以下であればＳ１３０に移行し、総合ゲインＧが制限値Ｇthより大きければＳ１４０に移行する。

Ｓ１３０では、デジタルゲインＧｄに総合ゲインＧを、アナログゲインＧａに１を割り振って、Ｓ１７０に進む。
Ｓ１４０では、総合ゲインＧから制限値Ｇthを減じた残余ゲインＧ−Ｇthが、アナログゲインＧの上限値Ｇuより大きいか否かを判断する。残余ゲインＧ−Ｇthが上限値Ｇu以下であれば、Ｓ１５０に移行し、残余ゲインＧ−Ｇthが上限値Ｇuより大きければＳ１６０に移行する。

Ｓ１５０では、総合ゲインＧのうち、デジタルゲインＧｄに制限値Ｇth分を、アナログゲインＧａに残余ゲインＧ−Ｇthを割り振って、Ｓ１７０に進む。
Ｓ１６０では、総合ゲインＧのうち、アナログゲインＧａに上限値Ｇu分を、デジタルゲインＧｄに残りのゲインＧ−Ｇｕを割り振って、Ｓ１７０に進む。

Ｓ１７０では、Ｓ１１０にて設定されたシャッタ時間ＳＴ１〜ＳＴ３、およびＳ１２０〜Ｓ１６０の処理で設定されたアナログゲインＧａをカメラモジュール２の設定部２３に出力すると共に、Ｓ１２０〜Ｓ１６０の処理で設定されたデジタルゲインＧｄを、画像合成部３の増幅部３３に出力して、本処理を終了する。

Ｓ１７０にて出力されたシャッタ時間ＳＴ１〜ＳＴ３およびアナログゲインＧａ，デジタルゲインＧｄは、次サイクルでの撮像や、撮像画像の画素値の増幅、合成画像の画素値の増幅に用いられる。

［４．効果］
以上詳述した本実施形態によれば、以下の効果を奏する。
本実施形態では、次サイクルで撮像された画像に対して適用する総合ゲインＧを、アナログゲインＧａおよびデジタルゲインＧｄに割り振る際に、制限値ＧthまではデジタルゲインＧｄに優先的に割り振っている。また、制限値Ｇthを超えるゲインについてはアナログゲインＧａに割り振り、アナログゲインＧａが上限値Ｇｕに達しても不足する分についてはデジタルゲインＧｄに割り振っている。これにより、アナログゲインＧａに上限値Ｇｕまで割り振られたとしても、Ｓ／Ｎが下限値Ａを下回るような輝度域の発生を抑制することができ、ＳＮ特性の優れた合成画像を生成することができる。ひいては合成画像から得られる情報に基づいて実行される運転支援制御の精度を向上させることができる。

［５．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（ａ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（ｂ）上述した撮像装置（即ち、カメラモジュール２、画像合成部３、画像処理部４の他、当該撮像装置を構成要素とするシステム、当該撮像装置を構成する割振部としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、ゲイン割振方法など、種々の形態で本開示を実現することもできる。

１…運転支援システム、２…カメラモジュール、３…画像合成部、４…画像処理部、５…支援実行部、２１…撮像部、２２…画像取得部、２３…設定部、３１…ＡＤ変換部、３２…合成部、３３…増幅部、３４…圧縮部、４１…ＣＰＵ、４２…メモリ、２１１…光学素子部、２１２…イメージセンサ。

Claims

撮像時のシャッタ時間および撮像によって取得される画像の画素値を出力する際の増幅率であるアナログゲインを調整可能に構成された撮像部（２）と、
前記撮像部にて撮像され、前記シャッタ時間が異なる画像である複数の原画像の画素値を、デジタル化して合成することで合成画像を生成するように構成された合成部（３１，３２）と、
前記合成部にて生成された合成画像の画素値を、予め設定された増幅率であるデジタルゲインにて増幅することで増幅画像を生成するように構成された増幅部（３３）と、
前記増幅部にて生成された増幅画像の画素値を、予め設定された圧縮特性に従って圧縮することで出力画像を生成するように構成された圧縮部（３４）と、
前記出力画像に従って、前記撮像部での次回の撮像に使用する前記複数の原画像についてのシャッタ時間、および前記次回の撮像により生成される前記出力画像の出力レベルを決定する増幅率である総合ゲインを設定するように構成された設定部（４：Ｓ１１０）と、
前記設定部にて設定された前記総合ゲインが、シャッタ時間および圧縮特性によって決まる制限値以下である場合は、前記総合ゲインのすべてを前記デジタルゲインに割り振り、前記総合ゲインが前記制限値を超過し且つ前記アナログゲインの上限値以下である場合は、前記総合ゲインのうち前記制限値分を前記デジタルゲインに、前記制限値を超過する超過分を前記アナログゲインに割り振り、前記総合ゲインが前記上限値を超過する場合は、前記総合ゲインのうち上限値分を前記アナログゲインに、前記上限値を超過する超過分を前記デジタルゲインに割り振るように構成された割振部（４：Ｓ１２０〜Ｓ１６０）と、
を備える撮像装置。
前記圧縮特性は、予め設定された輝度を有する圧縮ポイントより高い輝度の領域では、前記圧縮ポイントより低い輝度の領域より高い圧縮率となるように設定され、
前記制限値は、前記シャッタ時間の最も長い原画像から２番目に長い画像へ切り替わる際に信号が大きくなるほどＳ／Ｎが低下する領域を切り替わり領域として、前記デジタルゲインを前記制限値に設定したときに、該切り替わり領域中に前記圧縮ポイントが位置し、該圧縮ポイントでのＳ／Ｎが、前記アナログゲインを上限値まで割り振ったときに生じるＳ／Ｎの低下分の絶対値と当該装置に要求されるＳ／Ｎの下限値とを加算した大きさ以上となるように設定されている、
請求項１に記載の撮像装置。