JP2008182419A - 位相調整装置およびデジタルカメラ - Google Patents

Abstract

【課題】位相調整の精度を高いものにするとともに、最適位相を求める処理を高速に行えるようにする。
【解決手段】撮像素子２によるアナログ撮像信号Ｓａを画素毎に変換して得られたデジタル撮像信号Ｓｄが入力され、デジタル撮像信号に基づいて撮像用のパルスの位相を調整する位相調整装置であって、第１の画素領域内の複数の画素についてデジタル撮像信号の輝度レベルを検出する輝度レベル検出部１１と、第２の画素領域内の複数の画素についてデジタル撮像信号の画素間の信号ばらつきを示す分散を算出する分散演算部１２と、被写体照射部１４の発光パターンを制御する機能を有するとともに、輝度レベル検出部と分散演算部の演算結果に応じてパルスの最適位相を求めて位相調整を行うタイミング調整部１３とを備える。
【選択図】図１

Description

本発明は、デジタルカメラにおける撮像に用いるパルスの位相（タイミング）調整を行う位相調整装置および位相調整装置が組み込まれたデジタルカメラに関する。

デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等）は、ＣＣＤやＭＯＳのイメージセンサといった撮像素子によって撮像されたアナログ撮像信号をデジタル撮像信号へと変換し、所定の処理を加えた上で記録する。撮像素子によって被写体を撮像するためには、撮像素子を駆動するパルスや信号レベルを検出するパルスなどが必要である。これらのパルスの位相については、製造に起因するばらつきがあることから、ハードウェア設計時に調整することがむずかしい。そこで、製造後に技術者が位相調整を行い、調整された位相を示す情報を記憶領域に格納し、実使用において記憶領域から位相情報を読み出して最適位相を設定するようにしている。

従来、また、露光時間を最小としてもっぱらノイズ成分を取り込むようにし、高周波成分（ノイズ成分）が最小となる条件で位相を調整するようにした技術が知られている（例えば特許文献１参照）。
特開２００５−１５１０８１号公報（第４−８頁、第１−５図）

デジタルカメラの分野において、位相調整装置を組み込むシステムを種々に変更する場合がある。特に医療用カメラなどの領域においては、デジタルカメラの製造後に撮像素子の交換を行う可能性が出てきている。組み込むシステムや撮像素子が異なると、当然に、それを駆動するパルスの位相も異なることになるため、位相を再調整することとなる。しかし、技術者がマニュアル的に位相を再調整するのでは、組み込むシステムの変更や撮像素子の交換を迅速・容易に行うことはむずかしい。

また、調整対象のパルスは複数種類あるが、上記特許文献１の場合には、個々のパルスの特性は考慮せず、すべてのパルスに対して同じ手法で最適位相を求めているため、精度があまり高くない。

さらには、近年、車載カメラ等も普及しており、温度特性により最適位相が大きく変化することが考えられる。

本発明は、このような事情に鑑みて創作したものであり、組み込むシステムが変更されたり撮像素子が交換された場合でも、またデジタルカメラがおかれる撮影条件（温度、電圧等）の変化にかかわらず、撮像素子の駆動のためのパルスの位相の調整を、技術者がマニュアルで行う場合に比べて、より迅速・容易に行えるようにするとともに、位相調整の精度を高いものにすることを目的としている。さらには、最適位相を求める処理を高速に行えるようにすることを目的とする。

本発明による位相調整装置は、撮像素子で得られたアナログ撮像信号を画素毎にデジタル値に変換することにより得られるデジタル撮像信号が入力され、前記デジタル撮像信号に基づいて撮像に用いられるパルスの位相を調整するものであって、
第１の画素領域内の複数の画素について前記デジタル撮像信号の輝度レベルを検出する輝度レベル検出部と、
第２の画素領域内の複数の画素について前記デジタル撮像信号の画素間の信号ばらつきを示す分散を算出する分散演算部と、
被写体照射部の発光パターンを制御する機能を有するとともに、前記輝度レベル検出部と前記分散演算部の演算結果に応じて前記パルスの最適位相を求めて位相調整を行うタイミング調整部とを備えたものである。

この構成の位相調整装置においては、第１の画素領域内の複数の画素でのデジタル撮像信号について、輝度レベル検出部が輝度レベルを検出し、得られた輝度情報をタイミング調整部に与える。タイミング調整部は、受け取った輝度情報に基づいて、パルスの位相の最適位相を割り出し、その最適位相の設定をタイミングジェネレータなどに指示する。この輝度情報に基づくパルスの位相調整は、例えば、信号期間においてピークとなる信号成分をサンプリングするためのピークサンプルパルスの位相調整、あるいは相関二重サンプリングで基準となる信号成分をサンプリングするための基準サンプルパルスの位相調整に適している。また、画素間の信号ばらつきを示す分散を算出すべき第２の画素領域内の複数の画素について、分散演算部が分散を算出し、得られた分散の情報をタイミング調整部に与える。タイミング調整部は、受け取った分散の情報に基づいて、さらにパルスの位相を調整する。この分散の情報に基づくパルスの位相の調整は、例えば、アナログ撮像信号をデジタル撮像信号にＡＤ変換するときの動作クロックであるＡＤクロック信号の位相調整に適している。以上の位相調整の処理が、輝度レベル検出部と分散演算部とタイミング調整部との協働により自動的に行われる。また、撮像素子から得られたアナログ撮像信号において、実際に、輝度レベル検出部が輝度を測定し、分散演算部が画素間の信号ばらつきを示す分散を算出して、その輝度および分散を加味した状態でパルスの位相を調整しているので、撮像素子の駆動のためのパルスの位相の調整の精度が高いものとなる。つまり現在の撮像素子の状況に即した位相調整が可能となっている。また、撮像素子の駆動のためのパルスの各位相を自動調整するので、技術者がマニュアルでパルスの位相を調整する場合に比べて、調整処理に要する時間を短縮することが可能となる。

加えて、タイミング調整部が被写体照射部の発光パターンを制御する機能を備えていることによって、次のような作用が発揮される。すなわち、基準サンプルパルスやピークサンプルパルスは、輝度レベルに基づいて最適位相が決定される。ＡＤクロック信号は、分散に基づいて最適位相が決定される。分散とは、撮像素子の遮光状態で理想的には一定となる各画素の信号レベルがどの程度ばらついているかを示す値である。したがって、ＡＤクロック信号の位相は、分散が小さくなるように設定される必要がある。輝度レベルの検出は、被写体露光量が大きいほど正確になる。これに対して、分散の算出は、被写体露光量が小さいときに正確となる。そこで、輝度レベルの検出は、露光量の多い明部データにおいて捕捉することが望ましく、分散の算出は、露光量の少ない暗部データにおいて捕捉することが望ましい。以上のことにかんがみ、本発明では、タイミング調整部は被写体照射部の発光パターンを制御するように構成されている。

輝度レベル検出部によってデジタル撮像信号の輝度レベルを検出し、タイミング調整部において輝度レベルに基づいてピークサンプルパルスや基準サンプルパルスの最適位相を求める際には、タイミング調整部は露光量大となるように被写体照射部の発光パターンを制御する。また、分散演算部によってデジタル撮像信号の画素間の信号ばらつきを示す分散を算出し、タイミング調整部において分散に基づいてＡＤクロック信号の最適位相を求める際には、タイミング調整部は露光量小（理想は露光量ゼロ）となるように被写体照射部の発光パターンを制御する（非発光）。このような被写体照射部の発光パターンの制御により、輝度レベルも分散も精度の高いものを求めることができ、ピークサンプルパルス、基準サンプルパルスおよびＡＤクロック信号の最適位相を高精度に設定することが可能となる。

上記構成の位相調整装置において、前記タイミング調整部は、前記輝度レベルを検出するための明部データと前記分散を算出するための暗部データとを１フレーム内で複数の露出パターンを用いて取得するように、前記被写体照射部の発光パターンを制御するという態様がある。

このように構成すれば、１フレーム中に複数の露光パターンを作り出し、１枚の画像データから輝度レベル算出用の明部データと分散算出用の暗部データを同時的に取得するので、データの取得のための所要時間が削減され、位相調整の高速化が図られる。なお、本構成には、撮像素子としてにＭＯＳイメージセンサを用い、ＭＯＳイメージセンサのライン露光を利用することが望ましい。

また上記構成の位相調整装置において、前記タイミング調整部は、位相調整の対象である前記撮像素子として、リセット用シフトレジスタのリセットパルスをいずれのラインに対してマスクするかを任意に設定可能なリセットマスク制御部を有する撮像素子を対象とし、前記リセット用シフトレジスタに対してライン毎にリセットパルスの有無を制御することで、１フレーム内で前記輝度レベル算出用の明部データと前記分散算出用の暗部データを取得するという態様がある。

このように構成すれば、露光時間の長いラインの明部データと露光時間の短いラインの暗部データの同一フレーム内での取得が簡単に実現され、位相調整に用いるデータの取得時間を大幅に削減できる。これは、被写体照射部の発光パターンの制御とは無関係のものである。奇数ライン、偶数ラインはそれぞれ１フレームに多数ある。したがって、１フレーム内で明部データおよび暗部データを取得する機会が多くあることになり、輝度レベルおよび分散の精度を高いものにすることも可能である。

また上記構成の位相調整装置において、前記タイミング調整部は、前記撮像素子がベイヤー配列のカラーフィルタを有している場合には、前記撮像素子の最終出力信号が２ｎライン単位（ｎは正の整数）で前記リセットパルスのマスク・非マスクを設定するように前記リセットマスク制御部を制御するという態様がある。このように構成すれば、９画素混合の画像処理モードでも対応することが可能となる。

また上記構成の位相調整装置において、前記タイミング調整部は、前記撮像素子における垂直シフトレジスタを任意の速度でシフトする機能を有するという態様がある。この構成においては、垂直シフトレジスタのシフト動作について、通常読み出しと高速読み出しとの切り替えを行い、位相調整に必要な画素部分のデータのみを通常読み出しで読み出し、その他のデータを高速読み出してデータを読み捨てる。これにより、実効的な垂直周期を短縮し、位相調整を高速化することが可能となる。

また上記構成の位相調整装置において、さらに、前記デジタル撮像信号の一部分を選択する読み出し選択部を有し、前記読み出し選択部によって選択した部分を通常読み出しして位相調整に用いるという態様がある。１フレーム分のデータを用いて明部データおよび暗部データを取得する方式では、画素数が充分に多い高画素の撮像素子の場合には、データの取得時間が多大となる。そこで、読み出し選択部により一部分に制限し、その制限範囲で暗部データと明部データとを取得し、位相調整に用いることにより、データの取得時間を削減し、位相調整の高速化を図る。

また上記構成の位相調整装置において、さらに、前記撮像素子における欠陥画素を検出する欠陥画素検出部を有し、前記読み出し選択部は前記欠陥画素検出部で検出された画素は選択しないという態様がある。欠陥画素では入射光の光量によらず信号レベルが最大値か最小値近辺に固定される。そこで、欠陥画素検出手段において欠陥画素を検出し、読み出し選択部が欠陥画素を選択しないように制御することにより、欠陥画素を位相調整に使用しないようにすることができ、位相調整の精度を向上させることが可能となる。

上記構成の位相調整装置に関連する本発明のデジタルカメラとしては、
撮像素子と、
前記撮像素子で得られたアナログ撮像信号について相関二重サンプリングを行うことにより画素毎の信号レベルを決定する相関二重サンプリング部と、
前記相関二重サンプリング部から出力された撮像信号の振幅を調整する自動利得制御部と、
前記自動利得制御部によって振幅が調整された撮像信号をデジタル値に変換してデジタル撮像信号とするＡＤ変換器と、
前記ＡＤ変換器による前記デジタル撮像信号を入力とする請求項１から請求項８までのいずれかに記載の位相調整装置と、
前記位相調整装置によって調整された位相に基づいて、撮像に用いられるパルスを生成するタイミングジェネレータとを備えた構成のデジタルカメラがある。

上記における構成要素の撮像素子、相関二重サンプリング部、自動利得制御部、ＡＤ変換器、タイミングジェネレータについては、デジタルカメラの一般的な構成要素であるので、特に説明する必要はない。ここでのポイントは、当該のデジタルカメラが上記構成の位相調整装置を搭載しているということである。

上記構成のデジタルカメラにおいて、前記位相調整装置は、さらに発光パターンが制御可能な被写体照射部を有し、前記タイミング調整部は、前記被写体照射部の発光パターンを制御する機能を有するという態様がある。

また上記構成のデジタルカメラにおいて、前記タイミング調整部は、前記輝度レベルを検出するための明部データと前記分散を算出するための暗部データとを１フレーム内で複数の露出パターンを用いて取得するように、前記被写体照射部の発光パターンを制御するという態様がある。

また上記構成のデジタルカメラにおいて、前記タイミング調整部は、位相調整の対象である前記撮像素子として、リセット用シフトレジスタのリセットパルスをいずれのラインに対してマスクするかを任意に設定可能なリセットマスク制御部を有する撮像素子を対象とし、前記リセット用シフトレジスタに対してライン毎にリセットパルスの有無を制御することで、１フレーム内で前記輝度レベル算出用の明部データと前記分散算出用の暗部データを取得するという態様がある。

また上記構成のデジタルカメラにおいて、前記自動利得制御部は、さらに、前記明部データと前記暗部データとでゲインを切り替えるゲイン切替制御部を有するという態様がある。このように構成すれば、明部データと暗部データに異なるゲインをかけることが可能で、暗部データには大きなゲインをかけることにより、分散の検出精度が高いものとなる。

また上記構成のデジタルカメラにおいて、さらに、表示部を有し、前記表示部の表示の有無に応じて前記ゲイン切替制御部のゲイン切り替えの有無を決定するという態様がある。

１フレーム中に明部データと暗部データが存在する場合、位相調整中に画像を表示すると明部データと暗部データの輝度差が表示されてしまう。このような場合には、ゲイン切替制御部で明部データと暗部データとにそれぞれ適切なゲインを適用することにより、ゲイン調整後の出力データのレベルを一定にすることができ、位相調整中にも表示部に輝度差のない画像を表示することが可能となる。

本発明によれば、撮像素子から得られたアナログ撮像信号において輝度を実際に測定し、それに基づいてパルスの位相を調整するので、つまり現在の撮像素子の状況に即した位相調整を行うので、パルス位相調整の精度を高いものとすることができる。また、パルスの各位相を自動調整するので、技術者がマニュアルで調整する場合に比べて、調整処理に要する時間を短縮することが可能となる。さらに、速度面に関しても、輝度レベル検出用の明部データと分散算出用の暗部データとを１枚の画像データから取得するので、輝度レベルも分散も精度の高いものを求めることができ、各パルス（ピークサンプルパルス、基準サンプルパルス、ＡＤクロック信号）の最適位相を高精度に設定することができ、合わせて、データ取得時間を短縮して、位相調整処理の高速化を図ることができる。これは、特に、車載のデジタルカメラ等、リアルタイム性が非常に重要な分野に有用である。

以下、本発明にかかわる位相調整装置搭載のデジタルカメラの実施の形態を図面を用いて詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態１におけるデジタルカメラの全体的な構成を示すブロック図である。本実施の形態におけるデジタルカメラは、被写体像を撮像素子２上に集光するための光学レンズ１と、光学レンズ１によって集光された被写体像を撮像する撮像素子（ＭＯＳイメージセンサ）２と、撮像素子２から出力されるアナログ撮像信号Ｓａに所定の処理を加えてデジタル撮像信号Ｓｄに変換するアナログフロントエンド１０と、アナログフロントエンド１０から出力されるデジタル撮像信号Ｓｄに所定の処理（色補正、ＹＣ処理等）を加えて映像信号を生成するＤＳＰ（Digital Signal Processor）２０とを備えている。撮像素子２は複数の画素を有しており、これらの複数の画素は、被写体の撮像に用いられる有効画素領域と、有効画素領域の周辺に遮光された状態で配置されてＯＢ（OpticalBlack）レベルの検出に用いられるＯＢ画素領域とから構成されている。

アナログフロントエンド１０は、撮像素子２から出力されるアナログ撮像信号Ｓａの信号レベルを確定するために相関二重サンプリング（ＣＤＳ：Correlated Double Sampling）を行う相関二重サンプリング部３と、相関二重サンプリング部３から出力される信号を調整可能なゲインで増幅する自動利得制御部（ＡＧＣ：AutomaticGain Control）４と、自動利得制御部４によって増幅された信号をデジタル撮像信号Ｓｄへと変換するＡＤ変換器（Analog DigitalConverter）５と、撮像に用いるためのパルスを生成するタイミングジェネレータ（Timing Generator）６と、タイミングジェネレータ６によって生成されたパルスを撮像素子２へと出力するための垂直ドライバ７とを備えている。

ＤＳＰ２０は、所定の領域内の選択された画素の信号レベルの平均値を求めることにより輝度のレベルを検出する輝度レベル検出部１１と、選択された画素間の信号レベルの分散を演算する分散演算部１２と、これら輝度レベル検出部１１と分散演算部１２の検出・演算結果に基づいて、タイミングジェネレータ６が生成する基準サンプルパルスＤＳ１、ピークサンプルパルスＤＳ２およびＡＤクロック信号ＡＣＫの位相（タイミング）調整を行うタイミング調整部１３とを有している。また、図１において、１４はタイミングジェネレータ６によるパルス制御によってパルス発光を行う被写体照射部である。

図２は撮像素子２から出力されるアナログ撮像信号Ｓａを時系列で表した図である。図２に示すように、アナログ撮像信号Ｓａは、基準期間Ｔ１と信号期間Ｔ２とから構成されている。

基準期間Ｔ１は撮像素子２から基準電圧が出力される期間であり、相関二重サンプリング部３が動作する際の基準となる信号を検出する期間である。信号期間Ｔ２は信号電圧が出力される期間であり、信号期間Ｔ２においてピークとなる信号電圧と基準期間Ｔ１における基準電圧とをサンプリングし、差分をとることによってアナログ撮像信号Ｓａの信号レベルＶｓを得ることが可能となる。なお、図２では、図中の下方向を信号成分が正の方向として規定している。

図３は本実施の形態における、各パルスの位相調整の全体フローを示している。この位相調整は、主に輝度レベル検出部１１、分散演算部１２およびタイミング調整部１３によって行われる。

本実施の形態で調整対象とするパルスは、基準サンプルパルスＤＳ１、ピークサンプルパルスＤＳ２およびＡＤクロック信号ＡＣＫとする。基準サンプルパルスＤＳ１とは、相関二重サンプリングで基準となる信号成分をサンプリングするためのパルスである。したがって、基準期間の中心において立ち上がりエッジがくるように位相調整されることが望ましい。ピークサンプルパルスＤＳ２とは、信号期間Ｔ２においてピークとなる信号成分をサンプリングするためのパルスである。したがって、撮像素子２から出力される信号成分がピークとなるときに立ち上がりエッジがくるように位相調整されることが望ましい。ここで、、相関二重サンプリング部３によって求められる信号レベルＶｓとは、ピークサンプルパルスＤＳ２の立ち上がりにおけるピークの信号成分と、基準サンプルパルスＤＳ１の立ち上がりによって定まる基準期間内の信号成分との差分に他ならない。ＡＤクロック信号ＡＣＫはＡＤ変換器５の動作用のクロック信号であり、ＡＤ変換結果がばらつかないように位相調整されることが望ましい。

本実施の形態においては、まず、基準サンプルパルスＤＳ１およびＡＤクロック信号ＡＣＫの位相をあらかじめ定められた初期値に固定した上で、ピークサンプルパルスＤＳ２の位相を初期値からずらしながら、ピークサンプルパルスＤＳ２の位相を決定するのに必要となるデータを測定する（ステップＳ１）。

次に、そのデータを評価することによって、ピークサンプルパルスＤＳ２としての最適な位相を決定する（ステップＳ２）。

ピークサンプルパルスＤＳ２の位相が決定されると、ピークサンプルパルスＤＳ２の位相を決定された最適値に固定するとともに、ＡＤクロック信号ＡＣＫの位相は初期値に固定したままで、基準サンプルパルスＤＳ１の位相を初期値からずらしながら、基準サンプルパルスＤＳ１の位相を決定するのに必要となるデータを測定する（ステップＳ３）。

次に、そのデータを評価することによって、基準サンプルパルスＤＳ１として最適な位相を決定する（ステップＳ４）。

基準サンプルパルスＤＳ１およびピークサンプルパルスＤＳ２の位相が決定されると、これらを最適値に固定した上で、ＡＤクロック信号ＡＣＫの位相を初期値からずらしながら、ＡＤクロック信号ＡＣＫの位相を決定するのに必要となるデータを測定する（ステップＳ５）。

次に、そのデータを評価することによって、ＡＤクロック信号ＡＣＫとして最適な位相を決定する（ステップＳ６）。

基準サンプルパルスＤＳ１、ピークサンプルパルスＤＳ２およびＡＤクロック信号ＡＣＫの最適な位相が決定されると、決定された最適な位相に関する情報をタイミングジェネレータ６内のレジスタに設定する（ステップＳ７）。これによって、最適な位相でパルスが発生される。

図４は撮像素子（ＭＯＳイメージセンサ）２の構成を示している。この撮像素子２は、複数の光電変換素子２１をマトリクス状に配列したエリアセンサ２２と、リセットパルスＲＴｉを入力したときはリセットパルスＲＴｉから読出しタイミング信号ＲＤｉまでの露光時間に光電変換素子２１に蓄積された信号電荷をエリアセンサ２２からライン単位で読み出し、リセットパルスＲＴｉの入力がないときは読出しタイミング信号ＲＤｉから次のサイクルの読出しタイミング信号ＲＤｉまでの露光時間に光電変換素子２１に蓄積された信号電荷をエリアセンサ２２からライン単位で読み出す信号電荷読出し制御部２５と、信号電荷読出し制御部２５に対して読出しタイミング信号ＲＤｉをライン単位で順次に出力する垂直シフトレジスタ２３と、信号電荷読出し制御部２５に対してリセットパルスＲＴｉをライン単位で順次に出力するリセット用シフトレジスタ２４と、信号電荷読出し制御部２５によってエリアセンサ２２の光電変換素子２１から転送されてきた信号電荷を１画素分ずつ水平方向に転送し、図示しない電圧信号に変換する出力アンプへと送出する水平シフトレジスタ２６とから構成されている。

この撮像素子２の動作を図５を参照して説明する。

撮像素子２の信号電荷の読出基準タイミングを生成する読出しタイミング基準信号ＲＤ０を垂直シフトレジスタ２３に入力し、順次シフトしながら各ラインの読出しタイミング信号ＲＤ１，ＲＤ２，ＲＤ３…を生成する。

１ライン目について詳しく説明すると、先行する第１の読出しタイミング信号ＲＤ１の立ち上がりにより１ライン目の光電変換素子（画素）２１…群が蓄積信号電荷をリセットされ、かつ信号電荷の蓄積を再スタートする。次いで、次のサイクルの第１の読出しタイミング信号ＲＤ１が立ち上がるまでに第１のリセットパルスＲＴ１が立ち上がり、それまでの蓄積信号電荷がリセットされるとともに、信号電荷の蓄積が再スタートする。この間の蓄積信号電荷は廃棄される。

第１のリセットパルスＲＴ１の立ち上がりの後、次のサイクルの第１の読出しタイミング信号ＲＤ１が立ち上がる。これが図５において三角形で表されている。三角形の横軸は時間を表し、縦軸は露光量を表す。この１ライン目の三角形が示す露光状態の露光時間がＴst１である。露光時間Ｔst１の長さは、第１のリセットパルスＲＴ１をどのタイミングで立ち上げるかによって決まる。

例えば被写体照射部１４にＬＥＤ（発光ダイオード）を用いたときについて説明する。図５に示すように、フレーム内でＬＥＤを発光パルスＰＬのように発光させると、露光中にＬＥＤ１４が発光しているラインでは明部データを取得でき、露光中にＬＥＤ１４が消灯しているラインでは暗部データを取得でき、１フレームの中で明部と暗部データを取得できる。これにより、１フレームで１種類のデータを取得した場合に比べ、位相調整に用いるデータの取得時間を大幅に削減できる。ＬＥＤ１４の発光状態が切り替わるラインが発生するが、このラインのデータは位相調整には使用しないようにする。

輝度レベル検出部１１によってデジタル撮像信号Ｓｄの輝度レベルを検出し、タイミング調整部１３において輝度レベルに基づいてピークサンプルパルスＤＳ２や基準サンプルパルスＤＳ１の最適位相を求める際には、タイミング調整部１３は露光量大となるように被写体照射部１４の発光パターンを制御する。また、分散演算部１２によってデジタル撮像信号Ｓｄの画素間の信号ばらつきを示す分散を算出し、タイミング調整部１３において分散に基づいてＡＤクロック信号ＡＣＫの最適位相を求める際には、タイミング調整部１３は露光量ゼロとなるように被写体照射部１４の発光パターンを制御する（非発光）。

発光パルスＰＬのタイミングで取得された明部データにおける輝度レベルは、基準サンプルパルスＤＳ１やピークサンプルパルスＤＳ２の最適位相の決定に用いられる。また、発光パルスＰＬのタイミング以外の領域で取得された暗部データにおける分散は、ＡＤクロック信号ＡＣＫの最適位相の決定に用いられる。

本実施の形態によれば、撮像素子２自体を交換した場合や、外的要因（温度、電圧変化等）、経年劣化によって撮像素子２の特性が変化した場合に、タイミングジェネレータ６から出力されるピークサンプルパルスＤＳ２、基準サンプルパルスＤＳ１およびＡＤクロック信号ＡＣＫの各位相を自動調整することが可能となる。さらに、被写体照射部１４の発光パターンの制御により、輝度レベルも分散も精度の高いものを求めることができ、各パルス・信号の最適位相を高精度に設定することが可能となる。

（実施の形態２）
図６は本発明の実施の形態２におけるデジタルカメラでの撮像素子２の構成を示している。図６において、実施の形態１の図４におけるのと同じ符号は同一構成要素を指している。２６はリセット用シフトレジスタ２４と信号電荷読出し制御部２５との間に介挿されて信号電荷読出し制御部２５に対するリセットパルスＲＴｉの伝達を許容する状態と禁止する状態とをライン単位で設定するリセットマスク制御部である。

次に、図７を用いて垂直シフトレジスタ２３のリセットパルスをマスク・非マスクに設定した場合の露光時間の違いを説明する。ここでは、奇数ラインがマスク、偶数ラインが非マスクに設定されている。リセットマスク制御部２７においてリセットパルスＲＴｉ（ｉ＝１，２…）がマスクされたラインの露光時間（Ｔｌｇ１，Ｔｌｇ３，Ｔｌｇ５・・・）は１フレームの周期に等しくなる。非マスクの偶数ラインの露光時間は、上記実施の形態１で説明したように、リセットパルスＲＴｉの立ち上がりから読出しタイミング信号ＲＤｉ（ｉ＝１，２…）の立ち上がりまでの時間である。これにより、同一フレーム内で複数の露光時間を設定できる。このような撮像素子２を用いれば、明部データ（露光時間の長いライン）、暗部データ（露光時間の短いライン）を同一フレーム内で取得できるようになり、１フレームで１種類のデータを取得した場合に比べ、位相調整に用いるデータの取得時間を大幅に削減できる。

撮像素子２に図８のようなベイヤー配列のカラーフィルタが使用されている場合には、輝度信号Ｙは、Ｙ＝０．５９Ｇ＋０．３Ｒ＋０．１１Ｂで求められる。そのため、隣接するＲ画素、Ｇｒ画素、Ｇｂ画素、Ｂ画素をカラーフィルタの繰り返し単位Ｕとし、カラーフィルタ繰り返し単位Ｕ内の画素が同一のリセットパルスマスク設定となるように、２ｎライン単位（ｎ＝１，２，３・・・）でマスク・非マスクの設定を行ってもよい。

図９はｎ＝１のときのリセットパルスマスク設定を示している。

撮像素子２において画素混合が行われる場合には、画素混合後の最終出力において、カラーフィルタの繰り返し単位Ｕの出力が同一のリセットパルスマスク設定の画素から生成されるように、リセットパルスのマスク・非マスクの設定を行ってもよい。以下、９画素混合の場合を例に説明する。

図１０は９画素混合時の画素混合領域を示している。各画素混合領域は３個の画素分だけ行方向にずれるとともに、３個の画素分だけ列方向にずれることにより、各画素混合ユニットが順次オーバーラップするように２次元に配列されている。Ｒ画素混合領域３１はカラーフィルタ（Ｒ）を有する画素Ｒ１１，Ｒ１２，Ｒ１３，Ｒ２１，Ｒ２２，Ｒ２３，Ｒ３１，Ｒ３２，Ｒ３３を含んでおり、Ｒ画素混合領域３１の中心に位置する画素Ｒ２２の信号と、その周辺に位置する８個の画素の信号とが混合されることにより、混合画素信号Ｒが出力される。Ｇｒ画素混合領域３２、Ｇｂ画素混合領域３３、Ｂ画素混合領域３４についても同様に、画素混合領域の中心に位置する画素の信号とその周辺の８つの画素の信号とが混合されることにより混合信号Ｇｒ２２，Ｇｂ２２，Ｂ２２が出力される。画素混合後の撮像素子２の最終出力は画素混合信号が混合前のベイヤー配列と同様に配列されたものとなる。

図１１は９画素混合時のリセットパルスマスク設定を示している。

（実施の形態３）
位相調整には必ずしも１フレーム分のデータは必要ではない。画素数が充分に多い高画素の撮像素子を用いる場合などには、図１２に示すように、位相調整に必要な部分のデータのみを読み出して、その他のデータを高速読み出しするように構成する。ここで、高速読み出しとは、垂直シフトレジスタ２３を高速にシフト動作させることにより、データを読み捨てることである。本実施の形態では、図１で点線で示すように、ＤＳＰ２０内に、デジタル撮像信号Ｓｄの一部分を選択して通常読み出しし、位相調整に用いる読み出し選択部１５を設けるものとする。通常読み出し時の垂直周期がＰ１であるとする。位相調整に際して、位相調整に必要なデータのみを通常読み出しにより読み出し、その他は高速読み出しによりデータを読み捨てることにより、垂直周期をＰ２のように短縮でき、位相調整を高速化することができる。本実施の形態は、実施の形態１（発光パターン制御）または実施の形態２（リセットパルスマスク制御）とは無関係に成立する。

図１３に露光方法と読み出し範囲の違いによる垂直周期と読み出し時間について示す。通常露光時に１フレーム分のデータを用いて位相調整を行う場合、明部データＤ１と暗部データＤ２が必要となり、読み出し範囲Ａ１のデータを読み出す必要がある。このときの垂直周期はＴｆ１となり、読み出し範囲Ａ１の読み出しには、時間Ｔｒ１が必要となる。

実施の形態１の位相調整装置により露光したデータＤ３の中央部を用いて位相調整を行う場合、垂直周期はＴｆ２となり、読み出し範囲Ａ２の読み出し時間はＴｒ２となる。

実施の形態２の位相調整装置により露光したデータＤ４の上部を用いて位相調整を行う場合、垂直周期はＴｆ３となり、読み出し範囲Ａ３の読み出し時間はＴｒ３となる。同じ撮像素子２を用いた場合、読み出し範囲Ａ２とＡ３のサイズが等しければ、垂直周期Ｔｆ２とＴｆ３は等しくなる。しかし、実施の形態２の方法を用いれば、より早くデータの読み出しを終了することができ、より早く演算を開始できる。前者の場合は、通常読み出しの前に高速読み出しの期間をとる必要があるのに対して、後者の場合には、高速読み出しはなく、直ちに通常読み出しを行うからである。

このように実施の形態１または実施の形態２の位相調整装置において、位相調整に必要なデータのみ読み出して位相調整を行うことで大幅に調整時間を短縮することができる。

（実施の形態４）
図１４は本発明の実施の形態４におけるデジタルカメラの全体構成を示す図である。撮像素子２等の画素は、製造に起因した欠陥画素を有している場合がある。このような欠陥画素では入射光の光量によらず信号レベルが最大値か最小値近辺に固定されていることが多い。したがって、欠陥画素の値は仮に各パルスの検出領域内にあったとしても、位相調整には使用しないようにすることが望ましい。本実施の形態では、欠陥画素検出手段１６において欠陥画素を検出し、その欠陥画素のアドレスをあらかじめ記憶手段１７に記憶しておき、読み出し選択部１５は記憶手段１７に記憶されているアドレスの画素を選択しないようにする。このようにすることにより、データの読み出し範囲内で欠陥画素を選択しないことにより、欠陥画素を位相調整に使用しないようにすることができ、位相調整の精度が向上する。

（実施の形態５）
図１５は本発明の実施の形態５におけるアナログフロントエンド１０を示す図である。自動利得制御部４はゲイン切替制御部４ａを備える。相関二重サンプリング部３からの出力に対して、データ毎にゲインＡまたはゲインＢのいずれを適用するかをゲイン切替制御部４ａで選択切替し、ＡＤ変換器５に出力する。このようにすることで、明部データＤ１と暗部データＤ２に異なるゲインをかけることができ、暗部データＤ２には大きなゲインＢをかけて、その分散を検出しやすくすることができる。

また、図１６は表示部を持ったデジタルカメラの全体構成を示す図である。アナログフロントエンド１０から出力されたデータを画像処理部１８で処理し、表示部３０に表示する。１フレーム中に明部データと暗部データが存在する場合、位相調整中に画像を表示すると暗部データと明部データの輝度差が表示部３０に表示されてしまう。このような場合には、自動利得制御部４におけるゲイン切替制御部４ａで明部データＤ１にはゲインＡを、暗部データＤ２にはゲインＢを切り替えて適用することにより、ゲイン調整後の出力データＤｏのレベルを一定にすることができ、位相調整中にも表示部３０に輝度差のない画像を表示することができる。

また、表示部３０の表示状態を検出して、ゲイン切替制御部４ａの動作状態を決定できるようにしてもよい。

本実施の形態は、実施の形態１（発光パターン制御）または実施の形態２（リセットパルスマスク制御）とは無関係に成立する。

なお、以上で説明した実施の形態はあくまでも一例であり、発明の主旨の範囲内で様々に変更可能であることはいうまでもない。

本発明によって、デジタルカメラにおける撮像に用いるパルスのタイミング調整を自動で行うことが可能になるため、少なくともデジタルカメラにおいて利用可能性がある。特に、データ取得時間が短縮化されて高速化が図れるので、車載のデジタルカメラ等、リアルタイム性が非常に重要な分野に有用である。

本発明の実施の形態１におけるデジタルカメラの全体的な構成を示すブロック図 撮像素子から出力される信号成分を示す図 本発明の実施の形態における位相調整の全体的な動作を示すフローチャート 本発明の実施の形態１における撮像素子の構成を示す図 本発明の実施の形態１において被写体照射部をパルス発光したときの撮像素子の露光を示す図 本発明の実施の形態２におけるリセットマスク制御部を備えた撮像素子の構成を示す図 本発明の実施の形態２においてリセットパルスをマスク・非マスクに設定したときの露光を示す図 本発明の実施の形態２におけるベイヤー配列のカラーフィルタを持った撮像素子を用いた場合にカラーフィルタ繰り返し単位とリセットパルスのマスク・非マスクの設定の関係を示す図 本発明の実施の形態２におけるリセットパルスを２ｎライン単位でマスク・非マスク設定したときの露光を示す図 本発明の実施の形態２におけるベイヤー配列のカラーフィルタを持った撮像装置において９画素混合の混合画素を示す図 本発明の実施の形態２における９画素混合時のリセットパルスのマスク・非マスク状態の設定例 本発明の実施の形態３において位相調整に不要な部分を高速に読み出すことで垂直周期の短縮を図り、調整の高速化を行うことを示す図 本発明の実施の形態３において露光方法と読み出し範囲の違いによる垂直周期と読み出し時間に違いを示す図 本発明の実施の形態４におけるデジタルカメラの全体構成を示すブロック図 本発明の実施の形態５おけるアナログフロントエンドの構成を示すブロック図 本発明に実施の形態５において表示部を備えたデジタルカメラの全体構成を示すブロック図

符号の説明

１ 光学レンズ
２ 撮像素子（ＭＯＳイメージセンサ）
３ 相関二重サンプリング部（ＣＤＳ）
４ 自動利得制御部（ＡＧＣ）
４ａ ゲイン切替制御部
５ ＡＤ変換器（ＡＤＣ）
６ タイミングジェネレータ（ＴＧ）
７ 垂直ドライバ
１０ アナログフロントエンド
１１ 輝度レベル検出部
１２ 分散演算部
１３ タイミング調整部
１４ 被写体照射部
１５ 読み出し選択部
１６ 欠陥画素検出手段
１７ 記憶手段
１８ 画像処理部
２０ ＤＳＰ
２１ 光電変換素子
２２ エリアセンサ
２３ 垂直シフトレジスタ
２４ リセット用シフトレジスタ
２５ 信号電荷読出し制御部
２６ 水平シフトレジスタ
２７ リセットマスク制御部
３０ 表示部
ＰＬ 発光パルス
ＲＴｉ リセットパルス
ＲＤｉ 読出しタイミング信号

Claims (13)

1. 撮像素子で得られたアナログ撮像信号を画素毎にデジタル値に変換することにより得られるデジタル撮像信号が入力され、前記デジタル撮像信号に基づいて撮像に用いられるパルスの位相を調整する位相調整装置であって、
   第１の画素領域内の複数の画素について前記デジタル撮像信号の輝度レベルを検出する輝度レベル検出部と、
   第２の画素領域内の複数の画素について前記デジタル撮像信号の画素間の信号ばらつきを示す分散を算出する分散演算部と、
   被写体照射部の発光パターンを制御する機能を有するとともに、前記輝度レベル検出部と前記分散演算部の演算結果に応じて前記パルスの最適位相を求めて位相調整を行うタイミング調整部とを備えた位相調整装置。
2. 前記タイミング調整部は、前記輝度レベルを検出するための明部データと前記分散を算出するための暗部データとを１フレーム内で複数の露出パターンを用いて取得するように、前記被写体照射部の発光パターンを制御する請求項１に記載の位相調整装置。
3. 前記タイミング調整部は、位相調整の対象である前記撮像素子として、リセット用シフトレジスタのリセットパルスをいずれのラインに対してマスクするかを任意に設定可能なリセットマスク制御部を有する撮像素子を対象とし、前記リセット用シフトレジスタに対してライン毎にリセットパルスの有無を制御することで、１フレーム内で前記輝度レベル算出用の明部データと前記分散算出用の暗部データを取得する請求項２に記載の位相調整装置。
4. 前記タイミング調整部は、前記撮像素子がベイヤー配列のカラーフィルタを有している場合には、前記撮像素子の最終出力信号が２ｎライン単位（ｎは正の整数）で前記リセットパルスのマスク・非マスクを設定するように前記リセットマスク制御部を制御する請求項３に記載の位相調整装置。
5. 前記タイミング調整部は、前記撮像素子における垂直シフトレジスタを任意の速度でシフトする機能を有する請求項１に記載の位相調整装置。
6. さらに、前記デジタル撮像信号の一部分を選択する読み出し選択部を有し、前記読み出し選択部によって選択した部分を通常読み出しして位相調整に用いる請求項５に記載の位相調整装置。
7. さらに、前記撮像素子における欠陥画素を検出する欠陥画素検出部を有し、前記読み出し選択部は前記欠陥画素検出部で検出された画素は選択しない請求項６に記載の位相調整装置。
8. 撮像素子と、
   前記撮像素子で得られたアナログ撮像信号について相関二重サンプリングを行うことにより画素毎の信号レベルを決定する相関二重サンプリング部と、
   前記相関二重サンプリング部から出力された撮像信号の振幅を調整する自動利得制御部と、
   前記自動利得制御部によって振幅が調整された撮像信号をデジタル値に変換してデジタル撮像信号とするＡＤ変換器と、
   前記ＡＤ変換器による前記デジタル撮像信号を入力とする請求項１から請求項７までのいずれかに記載の位相調整装置と、
   前記位相調整装置によって調整された位相に基づいて、撮像に用いられるパルスを生成するタイミングジェネレータとを備えたデジタルカメラ。
9. 前記位相調整装置は、さらに発光パターンが制御可能な被写体照射部を有し、前記タイミング調整部は、前記被写体照射部の発光パターンを制御する機能を有する請求項８に記載のデジタルカメラ。
10. 前記タイミング調整部は、前記輝度レベルを検出するための明部データと前記分散を算出するための暗部データとを１フレーム内で複数の露出パターンを用いて取得するように、前記被写体照射部の発光パターンを制御する請求項９に記載のデジタルカメラ。
11. 前記タイミング調整部は、位相調整の対象である前記撮像素子として、リセット用シフトレジスタのリセットパルスをいずれのラインに対してマスクするかを任意に設定可能なリセットマスク制御部を有する撮像素子を対象とし、前記リセット用シフトレジスタに対してライン毎にリセットパルスの有無を制御することで、１フレーム内で前記輝度レベル算出用の明部データと前記分散算出用の暗部データを取得する請求項１０に記載のデジタルカメラ。
12. 前記自動利得制御部は、さらに、前記明部データと前記暗部データとでゲインを切り替えるゲイン切替制御部を有する請求項８に記載のデジタルカメラ。
13. さらに、表示部を有し、前記表示部の表示の有無に応じて前記ゲイン切替制御部のゲイン切り替えの有無を決定する請求項１２に記載のデジタルカメラ。

Images