JP2015126368A - 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】撮影の結果得られた複数枚の画像を加算処理する際、電源変動などに起因する縞状のパターンノイズを容易に軽減する。【解決手段】タイミング制御部５０１は複数の画像を撮像素子３０４から連続的に読み出す際に、画像にノイズ源である電源回路３１５からノイズが加わる場合に、タイミング発生部３１３による撮像素子の駆動タイミングを制御して、１つの画像を読み出し中にノイズ源から加わるノイズの位相と当該読み出し中の画像よりも１つ前に読み出された画像にノイズ源から加わるノイズの位相とを所定の位相関係に制御する。【選択図】図５

Description

本発明は、画像処理装置、その制御方法、および制御プログラム、並びに撮像装置に関する。

一般に、電子カメラなどの撮像装置においては、ＣＣＤ又はＣＭＯＳイメージセンサーなどの固体撮像素子（以下単に撮像素子と呼ぶ）が用いられている。このような撮像装置では、撮像素子において光学像を電気信号（アナログ信号）に変換する過程で画像の画質劣化の原因となる様々なノイズが発生する。代表的なノイズとして、画素およびその読み出し回路におけるリセットノイズ、そして、画素領域において生じる暗電流などの撮像動作を行う度に変動するランダムノイズがある。

さらに、撮像装置には、その内部又は近傍に撮像素子の電源電圧を周期的に変動させるノイズ源となり得る構成要素が備えられている。そして、これらのノイズ源が撮像素子の読み出し中に動作すると、その電源変動および電磁波などによって撮像素子に供給される電源電圧が変動する。

一般に、これらのノイズ源は構成要素およびその部品毎に特定の周波数で駆動されるので、撮像素子の電源電圧が周期的に変動して周期的な横縞状のパターンノイズとして画像に現われることが知られている。

ところで、短時間で複数回の撮像および信号処理が可能な高速読み出しを行う撮像装置が開発されている。このような撮像装置では、高速に複数回の撮像を行うことで得られる複数枚の画像を加算処理して１枚の画像を生成することによって、個々の画像に含まれる所謂ダークノイズなどのランダムノイズを平均化することが行われている。そのため、最終的に得られる合成画像は、１回の撮像から得られる画像よりもランダムノイズが低減されて画質が向上することになる。

一方、周期的に変動するノイズ源に起因する横縞のパターンノイズについては、加算前の個々の画像における横縞パターンノイズの発生位置によっては、合成画像においてノイズが増大してしまうことがある。

このため、周期的に変動するノイズ源に起因する横縞のパターンノイズについて、そのノイズ源の周波数を検出して、当該周波数に応じて撮像素子を駆動する駆動信号の駆動周波数を変更することによって、横縞のパターンノイズを軽減するようにした撮像装置がある（特許文献１参照）。

特開２０１０−１４１７９９号公報

ところが、上述の特許文献１に記載の撮像装置では、ノイズ源の周波数に応じて撮像素子の駆動周波数を変更しているので、複数のノイズ源が存在すると、ノイズ源毎に撮像素子の駆動周波数を変更する必要がある。この結果、複数のノイズ源が存在する場合には、撮像素子の駆動周波数を変更することが困難となってしまい、横縞のパターンノイズを軽減できなくなってしまう。

そこで、本発明の目的は、撮影の結果得られた複数枚の画像を加算処理する際、電源変動などに起因する縞状のパターンノイズを容易に軽減することのできる画像処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による画像処理装置は、光学像に応じた画像を出力する撮像素子から連続的に得られる複数の画像を合成して合成画像を得る画像処理装置であって、前記撮像素子を駆動制御して前記撮像素子から前記複数の画像を連続的に読み出す駆動手段と、前記複数の画像を合成処理して前記合成画像を得る画像処理手段と、前記複数の画像を前記撮像素子から連続的に読み出す際に、前記画像にノイズ源からノイズが加わる場合に、前記駆動手段による前記撮像素子の駆動タイミングを制御して、１つの画像を読み出し中に前記ノイズ源から加わるノイズの位相と当該読み出し中の画像よりも１つ前に読み出された画像に前記ノイズ源から加わるノイズの位相とを所定の関係に制御する制御手段と、を有することを特徴とする。

本発明による撮像装置は、撮像光学系を介して光学像が結像されて前記光学像に応じた画像信号を得る撮像素子と、請求項１〜６のいずれか１項に記載の画像処理装置と、を有することを特徴とする。

本発明による制御方法は、光学像に応じた画像を出力する撮像素子から連続的に得られる複数の画像を合成して合成画像を得る画像処理装置の制御方法であって、前記撮像素子を駆動制御して前記撮像素子から前記複数の画像を連続的に読み出す駆動ステップと、前記複数の画像を合成処理して前記合成画像を得る画像処理ステップと、前記複数の画像を前記撮像素子から連続的に読み出す際に、前記画像にノイズ源からノイズが加わる場合に、前記駆動ステップによる前記撮像素子の駆動タイミングを制御して、１つの画像を読み出し中に前記ノイズ源から加わるノイズの位相と当該読み出し中の画像よりも１つ前に読み出された画像に前記ノイズ源から加わるノイズの位相とを所定の関係に制御する制御ステップと、を有することを特徴とする。

本発明による制御プログラムは、光学像に応じた画像を出力する撮像素子から連続的に得られる複数の画像を合成して合成画像を得る画像処理装置で用いられる制御プログラムであって、前記画像処理装置が備えるコンピュータに、前記撮像素子を駆動制御して前記撮像素子から前記複数の画像を連続的に読み出す駆動ステップと、前記複数の画像を合成処理して前記合成画像を得る画像処理ステップと、前記複数の画像を前記撮像素子から連続的に読み出す際に、前記画像にノイズ源からノイズが加わる場合に、前記駆動ステップによる前記撮像素子の駆動タイミングを制御して、１つの画像を読み出し中に前記ノイズ源から加わるノイズの位相と当該読み出し中の画像よりも１つ前に読み出された画像に前記ノイズ源から加わるノイズの位相とを所定の関係に制御する制御ステップと、を実行させることを特徴とする。

本発明によれば、撮影の結果得られた複数枚の画像を加算処理などの合成処理する際、縞状のパターンノイズを容易に軽減することができる。

本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す撮像素子についてその等価回路を示す図である。 図２に示す撮像素子における信号読み出し動作を説明するための駆動パターンの一例を示す図である。 図１に示すカメラにおいて２枚の画像を加算処理する際の横縞状のノイズの影響を説明するための図であり、（ａ）は１枚目の画像と２枚目の画像とが同一位相である場合の影響を示す図、（ｂ）は１枚目の画像と２枚目の画像とが位相反転状態である場合の影響を示す図である。 図１に示すカメラで用いられるタイミング制御部の一例についてその構成を示すブロック図である。 図５に示すタイミング制御部による読み出し制御を説明するためのタイミングチャートであり、（ａ）は奇数枚目の撮影の際の読み出し制御を示すタイミングチャート、（ｂ）は偶数枚目の撮影の際の読み出し制御を示すタイミングチャートである。 本発明の第２の実施形態による画像処理装置を備えるカメラで用いられるタイミング制御部の一例についてその構成を示すブロック図である。 本発明の第２の実施形態による画像処理装置を備えるカメラで撮影を行う際のノイズ信号の位相を説明するための図であり、（ａ）は１枚目の撮影の際のノイズ信号の位相を示す図、（ｂ）は２枚目の撮影の際のノイズ信号の位相を示す図、（ｃ）は３枚目の撮影の際のノイズ信号の位相を示す図、（ｄ）は４枚目の撮影の際のノイズ信号の位相を示す図である。

以下、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による画像処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、ＣＭＯＳイメージセンサーなどの固体撮像素子（以下単に撮像素子と呼ぶ）３０４を有している。撮像素子３０４の前側には順にシャッター３０３、絞り３０２、および撮影レンズユニット（以下単にレンズと呼ぶ）３０１が配置されている。これらレンズ３０１、絞り３０２、およびシャッター３０３は撮像光学系を構成する。

レンズ３０１から入射した光学像は絞り３０２およびシャッター３０３でその光量が調整されて撮像素子３０４に結像する。撮像素子３０４は光学像を光電変換によって電気信号（アナログ画像信号）に変換する。撮像素子３０４から出力されたアナログ画像信号（撮像信号ともいう）はアナログフロントエンド回路（ＡＦＥ）３０５に与えられる。ＡＦＥ３０５は撮像信号に対して所定の撮像信号処理を行うとともに、アナログーデジタル（Ａ／Ｄ）変換を行って画像データを出力する。そして、この画像データは信号処理部３０６に送られる。

信号処理部３０６は画像データに対して各種の補正処理を行うとともに、必要に応じてデータ圧縮処理を行って処理済み画像データとする。そして、処理済み画像データはメモリ部３０７に一時的に記憶される。さらに、信号処理部３０６は、撮影の結果、撮像素子３０４から連続的に得られた複数枚の画像（画像データ）を加算処理（合成処理）して合成画像データとする画像合成処理も行う。

なお、撮像素子３０４、ＡＦＥ３０５、および信号処理部３０６にはタイミング発生部３１３からタイミングパルスが供給される。タイミング発生部３１３は、全体制御・演算部３１２の制御下で後述するクロック信号ＣＬＫ＿ＣＭＯＳに応じてタイミングパルスを生成する。

全体制御・演算部３１２は各種の演算処理を行うとともに、カメラ全体の制御を行う。外部インターフェース（Ｉ／Ｆ）部３１０には、例えば、外部コンピュータ３１１などの外部機器が接続され、外部Ｉ／Ｆ部３１０は当該外部機器と通信を行う。なお、外部Ｉ／Ｆ３１０は、無線ユニット３１８を介して画像データを送信するなど、外部機器との通信を無線で行うこともできる。

記録媒体制御インターフェース（Ｉ／Ｆ）部３０８には、記録媒体３０９が着脱可能に接続される。記録媒体３０９が記録媒体制御Ｉ／Ｆ３０８に装着されている場合、記録媒体制御Ｉ／Ｆ３０８は記録媒体３０９に画像データを記録し、さらに記録媒体３０９に記録された画像データを読み出す。なお、記録媒体３０９は、例えば、半導体メモリで構成されている。

ストロボ部３１４は、全体制御・演算部３１２の制御下で、ＡＦ（オートフォーカス）補助光の投光およびフラッシュ調光を行う。電源回路３１５は、例えば、電池電圧を所望の電圧に変換するＤＣ／ＤＣ回路を備え、カメラで必要な電圧を必要な期間、記録媒体３０９を含む各部に供給する。ＤＣ／ＤＣ回路は、後述するクロック信号ＣＬＫ＿ＤＣＤＣに基づいて駆動される。

なお、レンズ駆動回路３１８は、全体制御・演算部３１２の制御下でレンズ３０１を駆動制御し、絞り駆動回路３１７は絞り３０２を駆動制御する。同様に、シャッター駆動回路３１６は、全体制御演算部３１２の制御下でシャッター３０３を駆動制御する。

図１に示すカメラにおいては、上述のように、ストロボ、電圧変換を行うためのＤＣ／ＤＣ回路、レンズ、絞り、およびシャッターを駆動するためのアクチュエータ駆動回路が備えられている。さらに、カメラには外部機器と通信を行うための通信ユニット（外部Ｉ／Ｆ部３１０および無線ユニット３１８）が備えられている。つまり、図示のカメラは、その内部又は近傍に撮像素子３０４の電源電圧を周期的に変動させるノイズ源となり得る構成要素を有している。

これらノイズ源が撮像素子３０４の信号読み出し中に動作すると、その電源変動および電磁波などによって撮像素子３０４に供給される電源電圧が変動する。これらのノイズ源の各々は、構成要素又は部品毎に特定の周波数のクロック信号で駆動されるので、撮像素子３０４の電源電圧が周期的に変動して、周期的な横縞状のパターンノイズとして画像に現われることになる。

なお、図１に示すノイズ源以外にも、動作によってカメラの電源および撮像素子３０４周辺の磁場を変動させ得る機器および部品はノイズ源となる。

図２は、図１に示す撮像素子３０４についてその等価回路を示す図である。

図２を参照して、撮像素子３０４を構成する各回路素子は、半導体集積回路製造技術によって、例えば、単結晶シリコンなどの半導体基板上に形成される。ここでは、画素アレイの行数及び列数は、ｎ行×ｍ列（ｎおよびｍの各々は２以上の整数である）であるとする。なお、図示の例では、ｎ＝ｍ＝３の３行×３列の画素アレイが示されているが、画素アレイの行数および列数は、図示の例に限定されない。

撮像素子３０４は、２次元マトリックス状に配列された複数の単位画素４００を有しており、これら単位画素４００によって画素部が構成される。単位画素４００はフォトダイオードＰＤを有しており、フォトダイオードＰＤは、光を受けて電気信号である光信号を発生する。図示の例では、フォトダイオードＰＤは、そのアノードが接地されている。

フォトダイオードＰＤのカソードは、フォトダイオードＰＤに蓄積された光信号電荷を転送するための転送ＭＯＳ Ｍ１を介して、増幅ＭＯＳ Ｍ３のゲートに接続されている。増幅ＭＯＳ Ｍ３のゲートには、当該増幅ＭＯＳ Ｍ３をリセットするためのリセットＭＯＳ Ｍ２のソースが接続され、リセットＭＯＳ Ｍ２のドレインはリセット電源に接続されている。また、増幅ＭＯＳ Ｍ３のドレインは直接電源に接続されている。さらに、転送ＭＯＳ Ｍ１のドレインおよび増幅ＭＯＳ Ｍ３のゲートはフローティングディフュージョンＦＤに接続されている。そして、増幅ＭＯＳ Ｍ３のソースは選択ＭＯＳ Ｍ４のドレインに接続される。

ｎ行目の単位画素４００の転送ＭＯＳ Ｍ１のゲートは、図中横方向に延在する行転送線ＰＴＸ＿ｎに接続される。また、ｎ行目の単位画素４００のリセットＭＯＳ Ｍ２のゲートは、図中横方向に延在する行リセット線ＰＲＥＳ＿ｎに接続される。そして、ｎ行目の単位画素４００の選択ＭＯＳ Ｍ４のゲートは、図中横方向に延在する行選択線ＰＳＥＬ＿ｎに接続される。

上述の行転送線ＰＴＸ＿ｎ、行リセット線ＰＲＥＳ＿ｎ、および行選択線ＰＳＥＬ＿ｎは、垂直走査回路（ＶＳＲ）ブロック４１１に接続されている。垂直走査回路ブロック４１１は行転送線ＰＴＸ＿ｎに、画素信号の転送を制御するための信号電圧を、後述するタイミングで供給する。さらに、垂直走査回路ブロック４１１は行リセット線ＰＲＥＳ＿ｎに、単位画素４００のリセットを制御するための信号電圧を後述するタイミングで供給する。そして、垂直走査回路ブロック４１１は行選択線ＰＳＥＬ＿ｎに、信号転送を行う画素行を選択するための信号電圧を後述するタイミングで供給する。

図示のように、ｍ列目の単位画素４００の増幅ＭＯＳ Ｍ３のソースは、縦方向に延在する垂直信号線Ｖ＿ｍに選択ＭＯＳ Ｍ４を介して接続される。垂直信号線Ｖ＿ｍは、負荷手段である定電流源Ｉに接続されるととともに、クランプ容量Ｃ０に接続される。また、クランプ容量Ｃ０は、演算増幅器４０１の反転端子に接続される。

演算増幅器４０１の非反転端子はクランプ電圧ＶＣ０Ｒに接続され、演算増幅器４０１の出力端子は、基準信号転送スイッチＭ１１を介して基準信号（撮像信号に対する基準信号）を一時保持するための容量ＣＴＮ＿ｍに接続される。また、演算増幅器４０１の出力端子は、光信号転送スイッチＭ１２を介して光信号（撮像信号）を一時保持するための容量ＣＴＳ＿ｍに接続される。

基準信号保持容量ＣＴＮ＿ｍおよび光信号保持容量ＣＴＳ＿ｍの逆側の端子は接地されている。基準信号転送スイッチＭ１１と基準信号保持容量ＣＴＮ＿ｍとの接続点および光信号転送スイッチＭ１２と光信号保持容量ＣＴＳ＿ｍとの接続点は、それぞれ水平転送スイッチＭ２１および水平転送スイッチＭ２２を介して、光信号と基準信号との差分を得るための差動回路ブロック４３１に接続される。

なお、図２に示す他の垂直信号線Ｖ＿ｍ−１およびＶ＿ｍ＋１についても同様にして読み出し回路が設けられる。

各列の基準信号転送スイッチＭ１１のゲートは、第１の転送信号入力端子ＰＴＮに共通に接続される。また、各列の光信号転送スイッチＭ１２のゲートは、第２の転送信号入力端子ＰＴＳに共通に接続される。第１の転送信号入力端子ＰＴＮおよび第２の転送信号入力端子ＰＴＳには、後述するタイミングでそれぞれ信号電圧が供給される。

ｍ列目の水平転送スイッチＭ２１および水平転送スイッチＭ２２のゲートは、列選択線ＰＨ＿ｍを介して水平走査回路（ＨＳＲ）ブロック４２１に接続される。なお、列選択線ＰＨ＿ｍ−１およびＰＨ＿ｍ＋１についても同様にしてＨＳＲブロックに接続される。

図３は、図２に示す撮像素子３０４における信号読み出し動作を説明するための駆動パターンの一例を示す図である。

撮像素子３０４における信号読み出しを行う際には、その１行目から開始し、２行目、３行目、および４行目と順に行われる。そして、該当行の信号の読み出し動作が終了した後に、次の行の読み出し動作に移る。

ここで、図２および図３を参照して、撮像素子３０４のｎ行目に注目して、その読み出し動作を説明する。

いま、時刻Ｔ０＿ｎで、行選択パルスＰＳＥＬがローレベル（Ｌレベル）となると、直前に読出しを行った行、つまり、（ｎ−１）行目の画素選択ＭＯＳ Ｍ４がオフとなって、（ｎ−１）行目の単位画素４００の選択が解除される。同時に、クランプパルスＰＣ０Ｒがハイレベル（Ｈレベル）となって、クランプ容量Ｃ０のリセットが開始される。また、転送信号入力パルスＰＴＳおよびＰＴＮがＨレベルとなって、基準信号保持容量ＣＴＮおよび光信号保持容量ＣＴＳのリセットが開始される。

時刻Ｔ１＿ｎで、行送りパルスＰＶが垂直走査回路（ＶＳＲ）ブロック４１１に入力されると、読出しを行う選択行の行送りが行われる。ここでは、選択行が（ｎ−１）行目からｎ行目に送られることになる。

時刻Ｔ２＿ｎで、行リセットパルスＰＲＥＳがＬレベルとなって、フローティングディフュージョンＦＤのリセットが解除され、フローティングディフュージョンＦＤの基準電位が決定される。

時刻Ｔ３＿ｎで、行送りパルスＰＶがＨレベルとなる。また、行選択パルスＰＳＥＬがＨレベルとなって、画素選択ＭＯＳ Ｍ４がオンとなって、ｎ行目の単位画素４００が選択される。

時刻Ｔ４＿ｎで、転送信号入力パルスＰＴＳおよびＰＴＮがＬレベルとなって、光信号保持容量ＣＴＳおよび基準信号保持容量ＣＴＮのリセットが終了し、光信号保持容量ＣＴＳおよび基準信号保持容量ＣＴＮの基準電位が決定される。

時刻Ｔ５＿ｎで、クランプパルスＰＣ０ＲがＬレベルとなり、容量Ｃ０に基準電位ＶＣ０Ｒが保持される。

時刻Ｔ６＿ｎで、転送信号入力パルスＰＴＮがＨレベルとなり、フローティングディフュージョンＦＤの電位（電圧）が基準信号保持容量ＣＴＮに出力される。

時刻Ｔ７＿ｎで、転送信号入力パルスＰＴＮがＬレベルとなり（保持タイミング）、この時点におけるフローティングディフュージョンＦＤの電位（電圧）が基準信号としてノイズ信号保持容量ＣＴＮに保持される。

時刻Ｔ８＿ｎで、転送信号入力パルスＰＴＳがＨレベルとなり、フローティングディフュージョンＦＤの電位（電圧）が光信号保持容量ＣＴＳに出力される。

時刻Ｔ９＿ｎで、転送信号入力パルスＰＴＳがＨレベルの間に、行転送線ＰＴＸがＨレベルとなり、転送ＭＯＳ Ｍ１がオンとなって、フォトダイオードＰＤに蓄積されていた電荷がフローティングディフュージョンＦＤに転送される。

時刻Ｔ１０＿ｎで、行転送線ＰＴＸがＬレベルとなり、転送ＭＯＳ Ｍ１がオフされて、電荷のフローティングディフュージョンＦＤへの転送が終了する。

時刻Ｔ１１＿ｎで、転送信号入力パルスＰＴＳがＬレベルとなり、この時点におけるフローティングディフュージョンＦＤの電位が光信号（撮像信号）として光信号保持容量ＣＴＳに保持される。

時刻Ｔ１２＿ｎで、行リセットパルスＰＲＥＳがＨレベルとなって、フローティングディフュージョンＦＤのリセットが開始される。

時刻Ｔ１３＿ｎで、列送りパルスＰＨが水平走査回路（ＨＳＲ）４２１に入力されると、読出し領域の先頭列から末尾の列まで列転送パルスが順に列選択線ＰＨに入力され、時刻Ｔ１４＿ｎで末尾の列までの列送りパルスＰＨの入力が完了する。これによって、光信号保持容量ＣＴＳおよび基準信号保持容量ＣＴＮに保持された信号は、１列分ずつ順番に差動回路ブロック４３１に送られる。そして、差動回路ブロック４３１によって光信号と基準信号との差分増幅信号が画像信号として撮像素子３０４の出力端子から出力される。

以上が、ｎ行目の画素行の信号読み出し動作であり、これを１水平期間（Ｈ）と定義する。ｎ行目の画素信号の読み出しが終了した後は、（ｎ＋１）行目の読み出し動作に移る。なお、ｎ行目以外の画素行の読み出しについても、ｎ行目と同様の読み出し動作を繰り返して、各行の信号読み出しが終了すると、次の行の読み出しに移行する。

上述の動作は、撮像素子３０４に含まれる全ての画素行の信号読み出しが終了するまで繰り返されて、１フレーム分の画像信号が撮像素子３０４から読み出される。

ここで、図示のカメラにおいては、複数枚の画像（つまり、画像データ）を加算処理する際、撮像素子３０４の読み出し開始タイミングにおいて、撮影毎に周期的に変動するノイズ源の位相が所定の位相となるように制御する。なお、以下の説明では、カメラの内部の周期的に変動するノイズ源として電源回路３１５のＤＣ／ＤＣコンバータのスイッチング動作を例に挙げて説明するが、ノイズ源はＤＣ／ＤＣコンバータに限られるものではない。

ＤＣ／ＤＣコンバータを駆動する駆動クロックＣＬＫ＿ＤＣＤＣの駆動周波数をｆ（ＭＨｚ）とする。この場合、ＤＣ／ＤＣコンバータの駆動の影響によって撮像素子３０４の読み出しを行う際に周波数ｆ（ＭＨｚ）のノイズが混入する。すなわち、次の式（１）で示される周波数ｆ、そして、初期位相θの正弦波のノイズｙ（ｔ）が撮像素子３０４から読み出される信号に混入することになる。

なお、式（１）において、ｔは時刻を示す。

図３において、１水平期間をＨとし、転送信号入力パルスＰＴＮがＬレベルとなり基準信号が保持容量ＣＴＮに保持されるタイミング（時刻）Ｔ７＿ｎと転送信号入力パルスＰＴＳがＬレベルとなって光信号（撮像信号）が保持容量ＣＴＳに保持されるタイミングＴ１１＿ｎとの時間差をΔＴとする。

読み出し動作の際に混入した周波数ｆのノイズについてｎ行目の差分検出における影響をＬ（ｎ）とすると、Ｌ（ｎ）は、次の式（２）で示される。

式（２）は、三角関数の公式を用いて、式（３）に変形することができる。

式（３）から、ノイズ周波数ｆでかつ初期位相θのノイズｙ（ｔ）が読み出し動作中に混入した場合に、行毎に出力信号が変動して横縞状のノイズが発生することが分かる。また、撮影画像の画面上における横縞状のノイズの位相は、ノイズ源の駆動クロック信号の初期位相θに応じて決まることが分かる。

図４は、図１に示すカメラにおいて２枚の画像を加算処理する際の横縞状のノイズの影響を説明するための図である。そして、図４（ａ）は１枚目の画像と２枚目の画像とで横縞状ノイズが同一位相である場合の影響を示す図であり、図４（ｂ）は１枚目の画像と２枚目の画像とで横縞状ノイズが位相反転状態である場合の影響を示す図である。

ここで、加算処理を行う場合に、１枚目の画像（画像１）を撮影する際のノイズ源の駆動クロック信号の初期位相をθ１とし、２枚目の画像（画像２）を撮影する際のノイズ源の駆動クロック信号の初期位相をθ２とする。また、式（３）に応じて得られる１枚目の画像を撮影する際の横縞状のノイズ成分をＬ１（ｎ）とし、２枚目の画像を撮影する際の横縞状のノイズ成分をＬ２（ｎ）とする。そして、加算処理後における横縞状のノイズ成分をＭ（ｎ）とする。ここで、Ｍ（ｎ）は、Ｍ（ｎ）＝Ｌ２（ｎ）＋Ｌ１（ｎ）で求められる。

図４（ａ）に示す例は、ノイズ源の駆動クロック信号の初期位相θ１およびθ２の位相差がゼロ（０）である。つまり、θ２＝θ１である。この場合、式（３）により、Ｌ１（ｎ）＝Ｌ２（ｎ）となって、Ｍ（ｎ）＝２×Ｌ２（ｎ）となる。即ち、１枚目の画像および２枚目の画像の横縞状のノイズの位相が一致する場合に、加算処理を行うと、加算後の画像においては横縞状のノイズは２倍となってしまうことが分かる。

図４（ｂ）に示す例は、ノイズ源の駆動クロック信号の初期位相θ１およびθ２の位相差がπである。つまり、θ２＝θ１＋πである。この場合には、式（３）により、Ｌ１（ｎ）＝−Ｌ２（ｎ）となって、Ｍ（ｎ）＝ゼロ（０）となる。即ち、１枚目の画像および２枚目の画像の横縞状のノイズの位相が反転関係にある場合に、加算処理を行うと、加算後の画像においては横縞状のノイズがほとんど目立たなくなる。

そこで、ここでは、加算処理の際に１枚の画像を撮影する都度、横縞状のパターンノイズの位相が反転するように撮像素子３０４の駆動タイミングを制御する。

図５は、図１に示すカメラで用いられるタイミング制御部の一例についてその構成を示すブロック図である。なお、タイミング制御部５０１は、図１に示した全体制御・演算部３１２に内蔵される。

図５において、タイミング制御部５０１は、ＰＬＬ５０２、第１および第２の分周器５０３および５０４、および反転・非反転選択部５０５を有している。ＰＬＬ５０２は基準クロックＣＬＫ＿ＩＮの整数倍の周波数を有するクロック（ＰＬＬクロックと呼ぶ）ＣＬＫを生成する。第１の分周器５０３はＰＬＬクロックＣＬＫを分周して所定の第１の周波数を有するクロック信号（第１のクロック信号又は第１の駆動信号と呼ぶ）ＣＬＫ＿ＤＣＤＣを生成する。そして、第１の分周器５０３は当該第１のクロック信号ＣＬＫ＿ＤＣＤＣを反転・非反転選択部５０５を介して電源回路３１５に供給する。

第２の分周器５０４はＰＬＬクロックＣＬＫを分周して所定の第２の周波数を有するクロック信号（第２のクロック信号又は第２の駆動信号と呼ぶ）ＣＬＫ＿ＣＭＯＳを生成して、当該第２のクロック信号ＣＬＫ＿ＣＭＯＳをタイミング発生部３１３に供給する。

タイミング制御部５０１は第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相を外部信号によって確定することができる。具体的には、外部から与えられるタイミング信号ＶＤ＿ｒｅａｄに応じて、第１の分周器５０３は内蔵するカウンタ回路のカウント値をリセット（つまり、初期化）する。これによって、第１の分周器５０２は、ノイズ源である電源回路３１５のＤＣ／ＤＣコンバータの駆動クロックである第１のクロック信号ＣＬＫ＿ＤＣＤＣの初期位相を確定し、第１のクロック信号ＣＬＫ＿ＤＣＤＣを第２のクロック信号ＣＬＫ＿ＣＭＯＳに同期させる。

タイミング発生部３１３は、タイミング信号ＶＤ＿ｒｅａｄと第２のクロック信号ＣＬＫ＿ＣＭＯＳを受けて、撮像素子３０４を駆動するためのタイミングパルス（制御信号）を生成する。すなわち、タイミング発生部３１３は、図３において説明した撮像素子３０４の読み出しを制御する制御信号（つまり、駆動信号）を出力する。

全体制御・演算部３１２から出力されるタイミング信号ＶＤ＿ｒｅａｄは、撮像素子３０４から読み出しを開始するタイミングを制御するために用いられる。

反転・非反転選択部５０５は、加算処理の際に奇数枚目の撮影であるか又は偶数枚目の撮影であるかに応じて、分周期５０３の出力である第１のクロック信号を非反転又は反転して出力する。つまり、反転・非反転選択部５０５は奇数枚目の撮影であるか又は偶数枚目の撮影であるかに応じて、反転および非反転のいずれかを選択する。

具体的には、全体制御・演算部３１２は偶数枚目および奇数枚目のいずれかを指示する選択信号ＯＤＤｏｒＥＶＥＮを出力する。そして、反転・非反転選択部５０５は選択信号ＯＤＤｏｒＥＶＥＮに応じて、第１のクロック信号を反転又は非反転とする。

ここでは、全体制御・演算部３１２は撮影が奇数枚目であると、選択信号ＯＤＤｏｒＥＶＥＮをＨレベルとする。一方、撮影が偶数枚目であると、全体制御演算部３１２は選択信号ＯＤＤｏｒＥＶＥＮをＬレベルとする。反転・非反転選択部５０５は、選択信号ＯＤＤｏｒＥＶＥＮがＨレベルであると、入力信号である第１のクロック信号ＣＬＫ＿ＤＣＤＣをそのまま出力する。選択信号ＯＤＤｏｒＥＶＥＮがＬレベルであると、反転・非反転選択部５０５は入力信号である第１のクロック信号ＣＬＫ＿ＤＣＤＣを、例えば、インバーター（図示せず）を介して出力する（つまり、第１のクロック信号ＣＬＫ＿ＤＣＤＣを反転させて出力する）。以下、反転させた第１のクロック信号ＣＬＫ＿ＤＣＤＣを第１の反転クロック信号ＣＬＫ＿ＤＣＤＣと呼ぶ。

このようにして、複数枚の画像を加算処理する場合に、読み出し開始の際におけるノイズ源の駆動クロック信号の位相を確定して、さらに、偶数枚目および奇数枚目においてそれぞれ第１のクロック信号ＣＬＫ＿ＤＣＤＣを反転させる。

図６は、図５に示すタイミング制御部による読み出し制御を説明するためのタイミングチャートである。そして、図６（ａ）は奇数枚目の撮影の際の読み出し制御を示すタイミングチャートであり、図６（ｂ）は偶数枚目の撮影の際の読み出し制御を示すタイミングチャートである。なお、図６に示す例は、複数枚の画像を加算処理する際の撮像素子３０４の駆動タイミング制御である。

図６（ａ）を参照して、時刻Ｔ＿ｓｔａｒｔにおいて１枚目（つまり、奇数枚目）の画像の撮影が開始されると、タイミング信号ＶＤ＿ｒｅａｄが全体制御・演算部３１２から入力される。これによって、時刻Ｔ０＿ｏにおいて、タイミング発生部３１３は撮像素子３０４の１行目を読み出すための駆動信号を出力する。この際、タイミング信号ＶＤ＿ｒｅａｄによって、第１の分周器５０３は、第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相を初期位相にリセットする。

さらに、１枚目の画像の撮影であるので、全体制御・演算部３１２は選択信号ＯＤＤｏｒＥＶＥＮをＨレベルとする。これによって、反転・非反転選択部５０５は第１のクロック信号ＣＬＫ＿ＤＣＤＣを反転することなくそのまま出力する。

これによって、１行目の読み出し制御の開始タイミング（時刻）Ｔ０＿ｏにおける第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相が常に所定の位相に確定する。図示の例では、時刻Ｔ０＿ｏにおいて、第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相が０［ｒａｄ］となるように、全体制御・演算部３１２は第１のクロック信号ＣＬＫ＿ＤＣＤＣのリセットタイミングを制御する。

次に、図６（ｂ）を参照して、時刻Ｔ＿ｓｔａｒｔ’において２枚目（つまり、偶数枚目）の画像の撮影が開始されると、タイミング信号ＶＤ＿ｒｅａｄが全体制御・演算部３１２から入力される。これによって、時刻Ｔ０＿ｅにおいて、タイミング発生部３１３は撮像素子３０４の１行目を読み出すための駆動信号を出力する。この際、タイミング信号ＶＤ＿ｒｅａｄによって、第１の分周器５０３は、第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相を初期位相にリセットする。

さらに、２枚目の画像の撮影であるので、全体制御・演算部３１２は選択信号ＯＤＤｏｒＥＶＥＮをＬレベルとする。これによって、反転・非反転選択部５０５は第１のクロック信号ＣＬＫ＿ＤＣＤＣを反転して、第１の反転クロック信号ＣＬＫ＿ＤＣＤＣとして出力する。

これによって、１行目の読み出し制御の開始タイミング（時刻）Ｔ０＿ｅにおける第１の反転クロック信号ＣＬＫ＿ＤＣＤＣの位相は、奇数枚目の撮影で出力される第１のクロック信号ＣＬＫ＿ＤＣＤＣと反転した状態で常に所定の位相に確定する。図示の例では、時刻Ｔ０＿ｅにおいて、第１の反転クロック信号ＣＬＫ＿ＤＣＤＣの位相がπ［ｒａｄ］となるように、全体制御・演算部３１２は第１のクロック信号ＣＬＫ＿ＤＣＤＣのリセットタイミングを制御する。

このようにして、本発明の第１の実施形態では、ノイズ源の駆動クロック信号の位相に関して、奇数枚目の撮影の際の初期位相θ１と偶数枚目の撮影の際の初期位相θ２を常に反転させることができる。この結果、複数枚の画像（つまり、奇数枚目および偶数枚目）の画像を加算処理する際に、横縞状のパターンノイズを相殺することができ、複数枚の撮影を行って合成画像を得る際の横縞状のパターンノイズを確実に抑制することができる。

なお、第１の実施形態では、２枚の画像を加算処理する場合を例に挙げて説明したが、複数枚の画像を加算処理する場合に同様に適用することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による画像処理装置を備えるカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成は、図１に示すカメラと同様であるので、ここでは説明を省略する。

前述の第１の実施形態においては、図５に示すタイミング制御部によって奇数枚目および偶数枚目の撮影の際の読み出しを制御して、加算処理の際に生じる横縞状のパターンノイズを抑制している。一方、第２の実施形態では、総撮影枚数に応じて各画像撮影の際におけるノイズ信号（つまり、ノイズ源）の位相を制御して横縞状のパターンノイズを抑制する。つまり、第２の実施形態では、後述するようにして、画像に生じる横縞状のパターンノイズの位相を１周期の範囲内で等間隔にずらして横縞状のパターンノイズを平均化して抑制する。

図７は、本発明の第２の実施形態による画像処理装置を備えるカメラで用いられるタイミング制御部の一例についてその構成を示すブロック図である。

なお、図示のタイミング制御部７０１は、図５に示す反転・非反転選択部５０５の代わりに、後述する初期位相決定部５０６を備えており、他の構成は図５に示すタイミング制御部５０１と同様であるので、ここでは説明を省略する。

ユーザーは、複数枚の撮影を行う際には、操作部（図示せず）を用いて、総撮影枚数Ｎを入力する。全体制御・演算部３１２は当該総撮影枚数Ｎ（Ｎは２以上の整数）と何枚目の撮影であるかを示すカウント信号ｃｏｕｎｔを初期位相決定部５０６に送る。そして、初期位相決定部５０６は総撮影枚数情報Ｎおよびカウント信号ｃｏｕｎｔに応じて後述するカウント値を決定する。

ここで、総撮影枚数Ｎ＝４とし、さらに、ＰＬＬクロック信号の周波数を１６ＭＨｚ、第１のクロック信号ＣＬＫ＿ＤＣＤＣの周波数を１ＭＨｚとすると、第１の分周期５０３はＰＬＬクロック信号を１６分周して、周波数１ＭＨｚの第１のクロック信号ＣＬＫ＿ＤＣＤＣを生成する。つまり、第１の分周器５０３は内蔵するカウンタ回路が１６回カウントアップすると、１周期の第１のクロック信号ＣＬＫ＿ＤＣＤＣを出力することになる。

ここで、総撮影枚数Ｎ＝４であると、初期位相決定部５０６はｃｏｕｎｔ信号が示す枚数目に応じてカウント値（設定値ともいう）ｙとして、ｙ＝１６×（ｃｏｕｎｔ−１）／４を設定する。これによって、画像の読み出し開始タイミングＴ０＿ｃｏｕｎｔにおいて、ノイズ信号（ノイズ源）の位相を１周期の範囲内で等間隔にずらして撮影することができる。

図８は、本発明の第２の実施形態による画像処理装置を備えるカメラで撮影を行う際のノイズ源の駆動クロック信号の位相を説明するための図である。そして、図８（ａ）は１枚目の撮影の際のノイズ源の駆動クロック信号の位相を示す図であり、図８（ｂ）は２枚目の撮影の際のノイズ源の駆動クロック信号の位相を示す図である。また、図８（ｃ）は３枚目の撮影の際のノイズ源の駆動クロック信号の位相を示す図であり、図８（ｄ）は４枚目の撮影の際のノイズ源の駆動クロック信号の位相を示す図である。

１枚目の撮影においては、カウント信号ｃｏｕｎｔ＝１であるので、初期位相決定部５０６は第１の分周器５０３に備えられたカウンタ回路のカウント値としてｙ＝０を設定する。これによって、１行目の読み出し開始タイミングＴ０＿１において、第１の分周器５０３の出力である第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相が０［ｒａｄ］に確定する。

２枚目の撮影においては、カウント信号ｃｏｕｎｔ＝２であるので、初期位相決定部５０６は第１の分周器５０３に備えられたカウンタ回路のカウント値としてｙ＝４を設定する。これによって、１行目の読み出し開始タイミングＴ０＿２において、第１の分周器５０３の出力である第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相がπ／２［ｒａｄ］に確定する。

３枚目の撮影においては、カウント信号ｃｏｕｎｔ＝３であるので、初期位相決定部５０６は第１の分周器５０３に備えられたカウンタ回路のカウント値としてｙ＝８を設定する。これによって、１行目の読み出し開始タイミングＴ０＿３において、第１の分周器５０３の出力である第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相がπ［ｒａｄ］に確定する。

４枚目の撮影においては、カウント信号ｃｏｕｎｔ＝４であるので、初期位相決定部５０６は第１の分周器５０３に備えられたカウンタ回路のカウント値としてｙ＝１２を設定する。これによって、１行目の読み出し開始タイミングＴ０＿４において、第１の分周器５０３の出力である第１のクロック信号ＣＬＫ＿ＤＣＤＣの位相が３π／２［ｒａｄ］に確定する。

このようにして、読み出しタイミング制御を行うことによって、Ｎ枚の画像を加算処理する際、各画像の読み出し開始タイミングにおいてノイズ信号の位相を１周期の範囲内で等間隔にずらすことができる。

この結果、本発明の第２の実施形態では、各画像に生じる横縞状のパターンノイズの位相は、横縞の１周期の範囲内で総撮影枚数で等分した位置にずれて発生することになる。よって、加算処理後の合成画像においては同一位相の横縞のパターンノイズが加算されて強調されることを回避することができ、横縞状のパターンノイズの発生を抑制することができる。

なお、第２の実施形態では、４枚の画像を加算処理する場合に限らず、複数の画像を加算処理する場合についても同様に適用することができる。

また、第１および第２の実施形態では、ノイズ源としてＤＣ／ＤＣコンバータを例に挙げて説明したが、周期的に駆動する他の回路に対しても同様にして適用することができる。

さらに、第１および第２の実施形態では、ノイズ源の駆動クロック信号の位相制御から換算処理までをカメラで行う場合について説明したが、ノイズ源の駆動クロック信号の位相制御のみをカメラで行い、加算処理について外部機器などを用いて行うようにしてもよい。この場合に、全体制御・演算部３１２は各画像にノイズ源の位相情報（つまり、第１のクロック信号の位相を示す位相情報）を付加して、例えば、記録媒体３０９に記録するようにする。そして、外部機器が位相情報に応じて加算処理すべき画像を選択するようにしもよい。

加えて、第１および第２の実施形態では、ノイズ源が１つである場合を例に挙げて説明したが、複数のノイズ源に対しても上述の読み出しタイミング制御を適用することができる。

上述の説明から明らかなように、図１、図５、および図７に示す例においては、全体制御・演算部３１２、タイミング発生部３１３、およびタイミング制御部５０１が駆動手段として機能し、ＡＦＥ３０５および信号処理部３０６が画像処理手段として機能する。そして、全体制御・演算部３１２およびタイミング制御部５０１が制御手段として機能する。

また、ＰＬＬ５０２および第１の分周器５０３は第１の生成手段として機能し、ＰＬＬ５０２および第２の分周器５０４は第２の生成手段として機能する。そして、全体制御・演算部３１２および反転・非反転選択部５０５又は初期位相決定部５０６はタイミング手段として機能する。

なお、図１および図５に示す例では、少なくともＡＦＥ３０５、信号処理部３１２、全体制御・演算部３１２、タイミング発生部３１３、およびタイミング制御部５０１又は７０１が画像処理装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも駆動ステップ、画像処理ステップ、および制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

３０４ 撮像素子
３０６ 信号処理部
３１２ 全体制御・演算部
３１３ タイミング発生部
３１５ 電源回路
５０１，７０１ タイミング制御部
５０２ ＰＬＬ
５０３，５０４ 分周器
５０４ 反転・非反転選択部
５０５ 初期位相決定部

Claims (10)

1. 光学像に応じた画像を出力する撮像素子から連続的に得られる複数の画像を合成して合成画像を得る画像処理装置であって、
   前記撮像素子を駆動制御して前記撮像素子から前記複数の画像を連続的に読み出す駆動手段と、
   前記複数の画像を合成処理して前記合成画像を得る画像処理手段と、
   前記複数の画像を前記撮像素子から連続的に読み出す際に、前記画像にノイズ源からノイズが加わる場合に、前記駆動手段による前記撮像素子の駆動タイミングを制御して、１つの画像を読み出し中に前記ノイズ源から加わるノイズの位相と当該読み出し中の画像よりも１つ前に読み出された画像に前記ノイズ源から加わるノイズの位相とを所定の関係に制御する制御手段と、
   を有することを特徴とする画像処理装置。
2. 前記所定の関係は前記位相が反転する関係であることを特徴とする請求項１に記載の画像処理装置。
3. 前記ノイズ源は、前記撮像素子を除く前記画像処理装置に備えられた１つの回路ブロックであり、
   前記制御手段は、前記回路ブロックを駆動する第１の駆動信号を生成する第１の生成手段と、
   前記駆動手段を駆動する第２の駆動信号を生成する第２の生成手段と、
   前記撮像素子の読み出しを開始する際、前記第１の駆動信号と前記第２の駆動信号とを同期させて、かつ前記第１の駆動信号と前記第２の駆動信号との位相を前記所定の関係とするタイミング手段とを有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記タイミング手段は、前記第１の生成手段を制御して前記第１の駆動信号をリセットし当該第１の駆動信号の位相を確定するとともに、前記第２の生成手段を制御して前記第２の駆動信号を前記駆動手段に与えて前記撮像素子の読み出しを開始することを特徴とする請求項３に記載の画像処理装置。
5. 前記ノイズ源は、前記撮像素子を除く前記画像処理装置に備えられた１つの回路ブロックであり、
   前記制御手段は、前記回路ブロックを駆動する第１の駆動信号を生成する第１の生成手段と、
   前記駆動手段を駆動する第２の駆動信号を生成する第２の生成手段と、
   前記撮像素子の読み出しを開始する際、前記第１の駆動信号と前記第２の駆動信号とを同期させて、かつ前記画像処理手段で合成すべき画像の枚数に応じて前記画像の各々の読み出し開始タイミングにおいて前記ノイズ源から生じるノイズの１周期の範囲内で前記第１の駆動信号の位相をずらすタイミング手段とを有することを特徴とする請求項１に記載の画像処理装置。
6. 前記タイミング手段は前記１周期の範囲内で前記合成すべき画像の枚数に応じて前記第１の駆動信号の位相を等間隔にずらすことを特徴とする請求項５に記載の画像処理装置。
7. 前記画像の各々について当該画像が読み出された際における前記第１の駆動信号の位相を位相情報として付加する記憶手段を有することを特徴とする請求項５又は６に記載の画像処理装置。
8. 撮像光学系を介して光学像が結像されて前記光学像に応じた画像信号を得る撮像素子と、
   請求項１〜６のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
9. 光学像に応じた画像を出力する撮像素子から連続的に得られる複数の画像を合成して合成画像を得る画像処理装置の制御方法であって、
   前記撮像素子を駆動制御して前記撮像素子から前記複数の画像を連続的に読み出す駆動ステップと、
   前記複数の画像を合成処理して前記合成画像を得る画像処理ステップと、
   前記複数の画像を前記撮像素子から連続的に読み出す際に、前記画像にノイズ源からノイズが加わる場合に、前記駆動ステップによる前記撮像素子の駆動タイミングを制御して、１つの画像を読み出し中に前記ノイズ源から加わるノイズの位相と当該読み出し中の画像よりも１つ前に読み出された画像に前記ノイズ源から加わるノイズの位相とを所定の関係に制御する制御ステップと、
   を有することを特徴とする制御方法。
10. 光学像に応じた画像を出力する撮像素子から連続的に得られる複数の画像を合成して合成画像を得る画像処理装置で用いられる制御プログラムであって、
    前記画像処理装置が備えるコンピュータに、
    前記撮像素子を駆動制御して前記撮像素子から前記複数の画像を連続的に読み出す駆動ステップと、
    前記複数の画像を合成処理して前記合成画像を得る画像処理ステップと、
    前記複数の画像を前記撮像素子から連続的に読み出す際に、前記画像にノイズ源からノイズが加わる場合に、前記駆動ステップによる前記撮像素子の駆動タイミングを制御して、１つの画像を読み出し中に前記ノイズ源から加わるノイズの位相と当該読み出し中の画像よりも１つ前に読み出された画像に前記ノイズ源から加わるノイズの位相とを所定の関係に制御する制御ステップと、
    を実行させることを特徴とする制御プログラム。