JP2005006283A

JP2005006283A - 撮像装置

Info

Publication number: JP2005006283A
Application number: JP2004072530A
Authority: JP
Inventors: Hiroshi Sato; 宏佐藤
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2003-05-20
Filing date: 2004-03-15
Publication date: 2005-01-06
Anticipated expiration: 2024-03-15
Also published as: US20040233300A1; EP1526713A2; US7421091B2; EP1526713A3; JP4228947B2

Abstract

【課題】解像度を低下させることなく感度の向上を図るようにした撮影装置を提供する。
【解決手段】加算器２は、二次元平面に複数の画素を展開した撮像素子１の一つの画素の出力に対して当該画素の周辺に存在する画素の出力を加算する。その際、後段の画像処理装置４で行われる画像処理の種別に応じて画素出力の加算パターンを決定し、その加算パターンにより撮像素子１から出力される画像信号の画素出力を加算して画像を生成する。加算後の画像に画像処理を施して出力する。
【選択図】図１

Description

本発明は、固体撮像素子を用いた撮像装置に関する。

ＣＣＤ固体撮像素子の水平方向隣接画素の電荷を加算することにより感度を向上させるとともに、加算によって生じる水平解像度の劣化を抑制するようにした固体撮像装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開平０６−２０９４３４号公報

上述した従来の撮像装置では次のように画像信号を処理している。ＣＣＤ固体撮像素子のリセットゲートに印加するリセットパルスを２画素周期の間欠駆動とし、水平隣接画素の電荷を混合することによって、２倍の感度を実現する。さらに、リセットパルスの位相制御と垂直相関を利用した信号の内挿処理との組み合わせによって、水平解像度の低下を３／４に抑制する。しかしながら、解像度の低下は避けられない。

本発明は、二次元平面に複数の画素を展開した撮像手段から出力される画像信号に対して画像処理を行う前に、撮像手段の一つの画素の出力に対して当該画素の周辺に存在する画素の出力を加算する。その際、画像処理の種別に応じて、画素出力の加算パターンを決定し、その加算パターンにより、撮像手段から出力される画像信号の画素出力を加算して画像を生成する。加算後の画像に画像処理を施して出力する。

画像処理の種別に応じて画素出力の加算パターンを決定するのに代えて、車両の挙動に応じて加算パターンを決定しても良い。あるいは、撮像装置のブレに応じて画素出力の加算パターンを決定してもよい。

本発明によれば、解像度を低下させることなく感度の向上を図ることができる。

《第１の実施の形態》
図１は第１の実施の形態の撮像装置の構成を示す。撮像装置は、撮像素子１と、加算器２と、ＡＤ変換器３と、画像処理装置４と、加算パターン生成装置５とを備える。

撮像素子１は、二次元平面上に展開された複数の受光素子と、各受光素子の出力電圧を読み出す読み出し回路とからなるＣＭＯＳ構造の半導体デバイスである。撮像素子１は、読み出しアドレス信号により指定された受光素子の出力電圧を撮像素子の出力電圧として出力する。

加算器２は、後述する加算パターン生成装置５によりアドレスを指定された受光素子の出力信号を、加算パターン生成装置５からリセット信号が出力されるまでの間、加算する。つまり、加算器２は、撮像素子１の一つの画素の出力にその画素の周辺に存在する画素の出力を加算して新しい画像を生成する。

加算器２の加算処理において、単に加算するだけでなく、受光素子ごとに重みを付けて加算するようにしてもよい。この場合、加算パターン生成装置５から重み付け要素を出力するか、あるいは重み付け要素が固定されている場合には、加算器２で重み付け要素を自動的に生成するようにしてもよい。

ＡＤ変換器３は加算器２の出力をデジタル処理するためにアナログ−デジタル変換を行う。このＡＤ変換器２には従来より周知のデバイスおよび回路を用いる。

処理装置４は、デジタル変換後の撮像信号に対して画像処理を施して、前方に存在する車両の検出、道路状況の検出などを行う。この検出手法については従来より周知の手法を用いればよい。処理装置４はまた、実行する画像処理の種別を加算パターン生成装置５へ出力する。例えば、道路上に描かれた白線を検出するために、３×３の画素データを縦ソベルフィルター演算処理して縦エッジ検出を行う場合には、加算パターン生成装置５へ縦エッジ検出を行う画像処理を示す信号（以下、画像処理種別信号）を出力する。

加算パターン生成装置５は、画像処理種別信号を処理装置４から入力し、処理の種別に応じた加算画素の組み合わせパターンを生成し、この加算パターンに応じて受光素子を指定するアドレス信号を撮像素子１へ出力する。さらに、加算パターン生成装置５は加算器２を初期化するリセット信号を加算器２へ出力する。

画像処理の種別に応じた加算画素の組み合わせパターンは、例えば横方向に連続した３個の受光素子出力を加算するパターン、あるいは一つおきに縦に並ぶ４個の受光素子出力を加算するパターンなど、処理目的に対して最適な結果が得られるパターンとすればよい。

図２〜図５は、第１の実施の形態の撮像装置で得られる加算画像信号による画像処理結果を示す。いずれの図も(ａ)が撮像素子１により撮像した原画像、(ｂ)が加算器２の各種加算パターンにより一つの画素の出力に当該画素の周辺に存在する画素の出力を加算して生成した新画像、(ｃ)が新画像から処理装置４により各種のエッジ検出を行った結果を示す。

図２は縦方向に連続する画素の出力を加算した場合の画像処理結果を示す。縦方向に連続する画素の出力を加算することによって、横方向の解像度を落とすことなく明るい画像を得ることができる。そのため、夜間などの低照度環境下であっても、明るくコントラストの高い画像を得ることができる。例えば、処理装置４において、歩行者検出のような対象物の縦エッジ成分を精度よく抽出する画像処理を行う場合には、縦方向に連続する画素の出力を加算すればよい。

図３は横方向に連続する画素の出力を加算した場合の画像処理結果を示す。横方向に連続する画素の出力を加算することによって、縦方向の解像度を落とすことなく明るい画像を得ることができ、夜間などの低照度環境下であっても明るくコントラストの高い画像を得ることができる。例えば先行車両あるいは後続車両を検出する場合に、対象物の横エッジ成分が大きいため、横エッジ成分を抽出する処理を行うが、横方向に連続する画素の出力を加算することによって縦方向の解像度が減少せず、低照度であっても精度の高い縦エッジ抽出を行うことができる。さらに、横方向に連続する画素の出力を加算することによって、横エッジ成分に比べ高い縦エッジ成分を有する画像を生成することができる。

このように、画像データから必要な情報を抽出する処理装置４の画像処理の種別により加算パターンを切り換えることによって、低照度時であっても精度を落とさずに対象物を検出できる。

図２および図３の例では、縦方向または横方向の画素を一次元的に加算することによって、縦エッジまたは横エッジの情報を低減させずに高輝度画像を得た。しかし、加算パターンを二次元的に拡張することによってより高い効果を得ることができる。

図４は“¬”型に連続する画素の出力を加算した画像信号に対する画像処理の結果を示す。“¬”型に連続する画素の出力を加算することによって、“¬”型の特徴を強調させた明るい画像を生成することができる。例えば車両の角を精度よく検出する場合などに活用することができる。

図５は“＼”型に連続する画素の出力を加算した画像信号に対する画像処理の結果を示す。“＼”型に連続する画素の出力を加算することによって、“＼”型の特徴を強調させた明るい画像を生成することができる。例えば道路上に斜めに描かれた白線を検出する場合などに活用でき、画像上の斜めの白線を精度よく検出することができる。

加算パターンは、図２〜図５に示した縦方向、横方向、“¬”型および“＼”型に限定されず、例えば“＋”型、“への字”型、“△”型などいろいろなパターンを用いることができる。

このように上記実施の形態による撮像装置では、撮像素子１の一つの画素の出力に対して、当該画素の周辺に存在する画素の出力を加算する。この加算は、画像処理の種別に応じて決定された、画素出力の加算パターンに基づいて行われる。したがって、この撮像装置から得られる画像信号を用いて処理装置４で画像を処理を行うと、解像度が低下することなく低照度時の感度が向上した画像を用いた良好なエッジ検出を行うことができる。

また、画像処理により検出する画像のエッジの種別に応じた加算パターンを生成することにより、縦、横、斜め、“¬”型のいろいろな種別のエッジを正確に検出することができる。

さらに、画像処理により歩行者や車両などの特定の対象物を検出する際に、検出対象物に応じた加算パターンを生成することにより、車両前後の歩行者や車両を確実に検出することができる。

撮像素子１から出力される１フレームごとに加算パターンを変更することもできる。例えばフレームごとに加算パターンを縦、横、縦、横のように交互に繰り返し変更する。この場合、処理装置４において加算パターンに合わせて縦エッジ抽出処理、横エッジ抽出処理を組み合わせればよい。このフレームごとの加算パターンを変更する手法は、高いフレームレートの撮像素子と組み合わせた場合に特に効果的である。高フレームレートで交互の繰り返し処理を行った場合には、縦加算と横加算との時間差が小さくなるため、同時に縦エッジと横エッジの抽出を高感度画像で行った結果と同等の処理結果を得ることができる。

図６は、フレームレートあるいは露光時間に応じて加算パターンを変更する撮像装置の他の例を示す。図６において、図１で示す撮像装置と同様な箇所には同一の符号を付して説明を省略する。符号１１は、フレームレートを設定するフレームレート設定装置もしくは、露光時間を設定する露光時間設定装置である。

たとえば処理装置４が縦エッジ検出の画像処理を行う場合、加算される横方向に連続する画素数を、設定装置１１で設定されたフレームレートや露光時間に応じて変更することができる。この場合、加算パターンを横方向加算パターンと呼べば、フレームレートや露光時間に応じて、横方向加算パターンで加算される画素数が変更されると言い換えることができる。

このような撮像装置から出力される画像信号を用いて画像処理を行えば、必要な感度を得ると同時に、ダイナミックレンジが拡大でき、解像度の低下を最少限にすることができる。

図７は撮像装置のブレに応じて加算パターンを変更する他の撮像装置の一例を示す。図６において、図７で示す撮像装置と同様な箇所には同一の符号を付して説明を省略する。符号２１は、撮像装置の光軸の動き（ブレ）を検出するブレ検出センサーである。

撮像素子１上に被写体像を結像する撮影光学系の光軸が動くと、画像のブレやボケが生じる。このような場合、ブレ検出センサー１１により撮像装置の光軸の動き（ブレ）を検出する。そして、その検出方向、すなわち画像のブレやボケが発生する方向と同一方向に連続する画素の出力を加算するように加算パターンを生成する。

このような撮像装置から出力される画像信号を用いて画像処理を行えば、撮像装置の光軸がブレた場合でも、解像度を低下させることなく検出対象画像を感度よく抽出することができる。

《第２の実施の形態》
車両の挙動を検出し、車両の挙動に応じて画素の加算パターンを切り換えるようにした第２の実施の形態による撮像装置を図８を参照して説明する。図１に示す機器および装置と同様なものに対しては同一の符号を付して相違点を中心に説明する。

ＡＤ変換器３Ａは、撮像素子１の出力をデジタル処理するためにアナログ−デジタル変換を行う。この一実施の形態では、量子化のビット数を次のように定める。
（ＡＤ変換器出力ビット数）＝（加算器出力ビット数）＋log_２（加算画素数）
これにより、低照度時の情報を欠落させることなく、画像処理が実行できる分解能を得ることができる。

加算器２Ａは、加算パターン生成装置５によりアドレスを指定された受光素子の出力信号を、加算パターン生成装置５からリセット信号が出力されるまでの間、デジタル処理により加算する。

この第２の実施の形態では、撮像素子１の出力信号を直ちにＡＤ変換し、デジタル処理により加算を行う例を示す。しかし、第１の実施の形態のように、撮像素子１の出力信号をアナログ処理により加算し、加算結果をＡＤ変換してもよい。

車両挙動計測装置６は車両の挙動を計測する装置である。例えば、操舵によるヨー方向の動きを計測するヨーレートセンサー、車両の上下動を計測する車高センサーなどからの情報に基づいて、加算パターンの種別を加算パターン生成装置５へ出力する。

車両の上下動が大きい場合には縦方向に加算するパターンを指示する。車両の上下動が大きい場合には、画像が縦方向にブレるために縦方向の解像度が低下してしまうので、縦方向の画素の出力信号を加算しても解像度が低下することはない。一方、車両のヨーレートが大きい場合には横方向に加算するパターンを指示する。車両のヨーレートが大きい場合には、画像が横方向にぶれるために横方向の解像度が低下してしまうので、横方向の画素の出力信号を加算しても解像度が低下することはない。

この第２の実施の形態による画像処理結果は、上述した図２〜図５に示す第１の実施の形態による画像処理結果と同様であり、説明を省略する。

第２の実施の形態による撮像装置では、車両の挙動を検出し、車両の挙動に応じた加算パターンを生成するようにした。したがって、走行中に車両が上下左右に動いても、解像度の低下を抑制しながら低照度時の感度を向上させることができる。

第２の実施の形態では、車両の挙動に基づいて加算パターンを変更する例を示した。しかし、第１の実施の形態およびその変形例で説明した画像処理の種別に基づく加算パターンの変更と併用するようにしてもよい。

上述した第１および第２の実施の形態では、本願発明である撮像装置を車両に適用する例を示した。しかし、本願発明は車両以外のあらゆる用途に用いることができる。例えば、物体の位置を検出するロボット用の撮像装置に適用することもできる。

なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。

第１の実施の形態による撮像装置の構成を示す図である。縦方向の画素出力を加算した場合の画像処理結果を示す図である。横方向の画素出力を加算した場合の画像処理結果を示す図である。 “¬”型に連続する画素出力を加算した場合の画像処理結果を示す図である。 “＼”型に連続する画素出力を加算した場合の画像処理結果を示す図である。第１の実施の形態による撮像装置の変形例を示す図である。第１の実施の形態による撮像装置の変形例を示す図である。第２の実施の形態による撮像装置の構成を示す図である。

符号の説明

１撮像素子
２、２Ａ加算器
３、３ＡＡＤ変換器
４処理装置
５加算パターン生成装置
６車両挙動計測装置
１１フレームレート設定装置
２１ブレ検出センサ

Claims

二次元平面に複数の画素を展開した撮像手段と、
前記撮像手段の一つの画素の出力に対して、当該画素の周辺に存在する画素の出力を加算して画像を生成する加算手段と、
前記加算手段による加算結果の画像を処理する画像処理手段と、
前記画像処理手段による画像処理の種別に応じて、前記加算手段で加算する画素出力の加算パターンを生成する加算パターン生成手段とを備える撮像装置。
請求項１に記載の撮像装置において、
前記画像処理手段が画像のエッジを検出する画像処理を行う場合、
前記加算パターン生成手段は、前記画像処理手段の検出エッジの種別に応じて加算パターンを生成する。
請求項１または２に記載の撮像装置において、
前記画像処理手段が特定の対象物を検出する画像処理を行う場合、
前記加算パターン生成手段は、前記画像処理手段の検出対象物に応じて加算パターンを生成する。
請求項１に記載の撮像装置において、
前記画像処理手段が撮影フレームごとに画像処理の種別を変更する場合、前記加算パターン生成手段は、前記撮像フレームごとに変更される画像処理の種別に応じて前記加算パターンを生成する。
請求項２に記載の撮像装置において、
前記画像処理部が撮影フレームごとに検出エッジの種類を変更する場合、前記加算パターン生成部は、前記撮像フレームごとに変更される検出エッジの種類に応じて前記加算パターンを生成する。
請求項１に記載の撮像装置において、
前記画像処理の種別に応じて前記加算パターン生成手段で生成される加算パターンの画素数を、前記撮像手段のフレームレートまたは露光時間に応じて変更する。
請求項２に記載の撮像装置において、
前記検出エッジの種類に応じて前記加算パターン生成手段で生成される加算パターンの画素数を、前記撮像手段のフレームレートまたは露光時間に応じて変更する。
請求項３に記載の撮像装置において、
前記検出対象物に応じて前記加算パターン生成手段で生成される加算パターンの画素数を、前記撮像手段のフレームレートまたは露光時間に応じて変更する。
二次元平面に複数の画素を展開した撮像手段と、
前記撮像手段の一つの画素の出力に対して、当該画素の周辺に存在する画素の出力を加算して画像を生成する加算手段と、
前記加算手段による加算結果の画像を処理する画像処理手段と、
車両挙動検出部により検出された車両の挙動に応じて加算パターンを生成する加算パターン生成手段とを備える撮像装置。
二次元平面に複数の画素を展開した撮像手段の一つの画素の出力に対して、当該画素の周辺に存在する画素の出力を加算して画像を生成する加算手段と、
前記加算手段による加算結果の画像を処理する画像処理手段と、
ブレ検出手段による撮像装置のブレ検出結果に応じて加算パターンを生成する加算パターン生成手段とを備える撮像装置。
請求項１乃至１０のいずれか一項に記載の撮像装置において、
アナログ画像信号をデジタル画像信号に変換するＡＤ変換手段をさらに備え、
前記ＡＤ変換手段の出力ビット数を、前記加算手段の出力ビット数にlog_２（加算する画素数）を加えたビット数とする。