JP2006332722A - 画像処理装置、撮像装置、および画像処理方法 - Google Patents

Abstract

【課題】 複数の画面レートの画像信号を処理可能な画像処理装置の製造コストを削減し、かつ消費電力を少なくする。
【解決手段】 ラッチ信号出力部２２内のラッチ信号生成部２３が、通常撮像レート（６０ｆｐｓ）のラッチ信号と、高速撮像レート（２４０ｆｐｓ）のラッチ信号の２種類のラッチ信号を生成し、選択部５０に並列に出力する。選択部５０は、システム制御部１６０から入力されるラッチ選択信号に基づいて、入力された２種類のラッチ信号からラッチ信号を選択し、ＡＷＢ演算処理部３３へ出力する。ＡＷＢ演算処理部３３では、選択部５０で選択されたラッチ信号により、ＡＷＢ演算処理の演算結果のラッチタイミングや、システム制御部からの制御信号のラッチタイミングなどが制御される。
【選択図】 図４

Description

本発明は、画像信号を処理する画像処理装置、この装置を含む撮像装置、および画像処理方法に関し、特に、複数の画面レートの画像信号に対応した画像処理装置、撮像装置、および画像処理方法に関する。

近年、デジタルスチルカメラに代表される撮像装置の競争の激化に伴い、民生用の撮像装置においても一層の高画質化、高集積化、高機能化が求められている。このため、これまで業務用途に限定されていた特殊な機能も民生用機器へ普及し始めている。通常の撮像レートよりも高速な画面レートで撮像を行う高速撮像機能は、上記特殊な機能の代表的なものの１つである。この高速撮像機能を実現するためには、撮像装置内部の演算の高速化が必要である。

従来の撮像装置としては、外部メモリおよびハードディスクなどの外部記録装置を接続することにより、高速撮像を実現したものがあった（たとえば、特許文献１参照）。また、センサからのデータを並列に処理するような回路構造を取ることにより、単位時間あたりの画像データの処理量を増加させて、高速撮像を実現したものもあった（たとえば、特許文献２参照）。
特開平９−１８６９６４号公報（段落番号〔０００４〕〜〔０００５〕、図１） 特開平８−２５１４９２号公報（段落番号〔００１８〕〜〔００２７〕、図１）

しかし、上記各特許文献に開示された撮像装置のように、高速撮像機能を実現するために内部の演算を高速化すると、演算回路などの製造コストや回路規模、消費電力が増大することが問題であった。

本発明はこのような点に鑑みてなされたものであり、複数の画面レートの画像信号を処理可能な安価で消費電力の少ない画像処理装置を提供することを目的とする。
また、本発明の他の目的は、複数の画面レートで撮像することができる安価で消費電力の少ない撮像装置を提供することである。

また、本発明の他の目的は、複数の画面レートの画像信号を安価かつ低消費電力で処理可能な画像処理方法を提供することである。

本発明では上記問題を解決するために、画像信号を処理する画像処理装置において、前記画像信号の検波値に応じて演算を行う演算処理手段と、前記演算処理手段に対して処理のタイミングを指示する信号であって、前記画像信号に適用される異なる複数の画面レートに基づく複数のラッチ信号を生成するラッチ信号生成手段と、前記ラッチ信号生成手段から入力された複数のラッチ信号から一のラッチ信号を選択し、前記演算処理手段に出力するラッチ信号選択手段と、前記ラッチ信号選択手段に対して選択するラッチ信号を指示するラッチ信号選択指示手段とを有することを特徴とする画像処理装置が提供される。

このような画像処理装置では、ラッチ信号生成手段が、画像信号に適用される異なる複数の画面レートに基づく複数のラッチ信号を生成し、ラッチ信号選択手段が、ラッチ信号選択指示手段からの指示に応じて、複数のラッチ信号から一のラッチ信号を選択して演算処理手段に出力する。これにより、演算処理手段では、より高速な画面レートの画像信号を基に演算が実行される際にも、必要に応じてより低速な画面レートに基づくラッチ信号が選択され、そのラッチ信号を基に演算結果が出力される。

本発明の画像処理装置によれば、より高速な画面レートの画像信号を基に演算処理手段が演算する際に、必要に応じてより低速な画面レートに基づくラッチ信号が選択されて、そのラッチ信号を基に演算することができるので、演算処理手段の処理負荷を低減でき、製造コストおよび消費電力を抑制できる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。
図１は、実施の形態に係る撮像装置の機能を示すブロック図である。図１に示すように、撮像装置１００は、レンズ１１０、アイリス１２０、撮像素子１３０、Ｆ／Ｅ（Front End）１４０、信号処理部１５０、およびシステム制御部１６０を備えている。また、Ｆ／Ｅ１４０は、ＡＧＣ（Auto Gain Control）１４１とＡＤＣ（Analog Digital Converter）１４２を備えている。また、信号処理部１５０は、同期信号出力部１５１、カメラ信号処理部１５２、および制御演算処理部１５３を備えている。

レンズ１１０は、被写体からの光を撮像素子１３０に集光するためのものであり、複数枚から構成されており、システム制御部１６０からの制御信号に基づいて位置を移動させてフォーカス合わせやズーミングを行う。アイリス１２０は、レンズ１１０を介して入射される被写体からの光の量を調節する装置である。

撮像素子１３０は、システム制御部１６０からの制御信号に基づいて駆動され、被写体からの入射光を光電変換によって電気信号に変換する。本実施の形態では例として、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型の撮像素子が用いられている。また、この撮像素子１３０は、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal/Noise）比を良好に保つサンプルホールド機能を内蔵している。

この撮像素子１３０は、ＮＴＳＣ方式の仕様である６０ｆｐｓ（フィールド／秒）以上のレートで高速に信号を読み出すことができる。ここでは、たとえば、撮像素子１３０が高速に信号を読み出す高速レートモードに切り替えたときには標準レートの４倍である２４０ｆｐｓで読み出すものとする。

撮像素子１３０は、たとえば１ライン分の画素信号を出力するときに、隣接している同色の画素の信号を加算して同時に出力することによって、画角を変えることなく、画像サイズを小さくする機能を備えている。このような画素加算により、画素信号の読み出し周波数を高めることなく、画面の切替レートを高めることができる。なお、加算する画素の数を調節することで、任意の画面レートで出力できるようにしてもよい。また、撮像素子１３０としては、他のＭＯＳ型、あるいはＣＣＤ（Charge Coupled Device）型の撮像素子を用いてもよい。撮像素子１３０がＣＣＤ型の撮像素子である場合、ＣＤＳ処理機能はＦ／Ｅ１４０に設けられてもよい。

Ｆ／Ｅ１４０は、撮像素子１３０から出力された画像信号に対して、ＡＧＣ１４１における処理により利得を制御し、ＡＤＣ１４２における処理によりＡ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。

信号処理部１５０は、Ｆ／Ｅ１４０からのＲＧＢ（Red Green Blue）信号に対して各種カメラ信号処理を施し、輝度（Ｙ）信号および色差（Ｃ）信号を出力するブロックであり、たとえば１つの半導体集積回路として実現される。この信号処理部１５０は、同期信号出力部１５１、カメラ信号処理部１５２、および制御演算処理部１５３を備えている。

同期信号出力部１５１は、カメラ信号処理部１５２、制御演算処理部１５３、およびシステム制御部１６０との間の信号送受信などの処理タイミングを同期させるための各種信号を出力する。たとえば、後述するように、制御演算処理部１５３では、システム制御部１６０からの制御信号の受信タイミング、自身の演算結果の出力タイミングなどが同期信号出力部１５１から出力されるラッチ信号により制御される。

カメラ信号処理部１５２は、Ｆ／Ｅ１４０からのＲＧＢ信号の加工などを行うブロックであり、たとえば、ＷＢ（White Balance）アンプ、デジタルクランプ部、欠陥画素補正のための画素信号置換部などを備えている。制御演算処理部１５３は、Ｆ／Ｅ１４０からの画像信号の検波値やシステム制御部１６０からの信号に基づき、ＷＢ調整処理や色補正処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などのカメラ信号処理に必要な演算を行う。

システム制御部１６０は、この撮像装置１００全体を統括的に制御するブロックであり、たとえばＣＰＵなどからなるマイクロコントローラとして実現される。カメラ信号処理にあたっては、水平・垂直同期信号にしたがって、信号処理部１５０に対して制御に必要な情報を要求し、それに応じて受信した値を用いて演算を行い、撮像装置１００内の各部に制御信号を出力する。たとえば、ＡＦの演算結果に応じてレンズ１１０の位置を制御し、ＡＥの演算結果に応じてアイリス１２０の開度やシャッタ速度、撮像素子１３０の電子シャッタ速度を制御する。また、Ｆ／Ｅ１４０に対しては、ＡＥの演算結果に応じたＡＧＣ１４１のゲインの制御信号を、信号処理部１５０に対しては、ＷＢゲインの制御信号などを出力する。

図２は、同期信号出力部の機能を示すブロック図である。図２に示すように、同期信号出力部１５１は、同期信号生成部２０、イネイブル信号生成部２１、およびラッチ信号出力部２２を備えている。同期信号生成部２０は、カメラ信号処理部１５２および制御演算処理部１５３への水平同期信号および垂直同期信号等の各種タイミング信号を生成する。イネイブル信号生成部２１は、撮像素子１３０からの入力信号の有効・無効を示すイネイブル信号を生成して、カメラ信号処理部１５２および制御演算処理部１５３へ出力する。ラッチ信号出力部２２は、システム制御部１６０からの制御信号や、信号処理部１５０による演算結果などをラッチするためのラッチ信号を出力する。

図３は、制御演算処理部の機能を示すブロック図である。図３に示すように、制御演算処理部１５３は、制御演算前処理部３０、ＡＦ演算処理部３１、ＡＥ演算処理部３２、およびＡＷＢ演算処理部３３を備えており、制御演算前処理部３０に対して、ＡＦ演算処理部３１、ＡＥ演算処理部３２、およびＡＷＢ演算処理部３３の各ブロックが並列に接続されている。

制御演算前処理部３０は、同期信号出力部１５１からの同期信号やイネイブル信号を基に、後段のＡＦ演算処理部３１、ＡＥ演算処理部３２、およびＡＷＢ演算処理部３３への映像信号の入力の制御や、水平・垂直方向のアドレスのカウント、制御対象領域内の有効・無効を示すタイミング信号の生成などを行う。また、同期信号出力部１５１からのラッチ信号を後段の各部に出力する。後述するように、これらのラッチ信号が複数入力された場合には、これらのラッチ信号が制御演算前処理部３０を介して必要な演算処理部に供給される。

ＡＦ演算処理部３１は、被写体までの距離に応じて自動的にレンズを駆動制御するＡＦ処理（自動測距処理）のための各種演算処理を行う。ＡＥ演算処理部３２は、被写体照度に応じてシャッタスピードや絞り値を算出し自動的に露出条件を決定するＡＥ処理（自動測光処理）のための各種演算処理を行う。ＡＷＢ演算処理部３３は、被写体または光源の色温度を測定し、各色（Ｒ，Ｇ，Ｂ）に対するゲインを決定し最適な色再現処理を自動的に行うＡＷＢ処理（自動測色処理）のための各種演算処理を行う。

ＡＦ演算処理部３１、ＡＥ演算処理部３２、およびＡＷＢ演算処理部３３の各演算処理部は、システム制御部１６０からの制御信号に基づき各種演算処理を行い、必要に応じて演算結果をシステム制御部１６０に出力する。ここで、各演算処理部の演算結果のラッチタイミングや、システム制御部１６０からの制御信号の受信タイミングなどは、同期信号生成部２０からのラッチ信号により制御される。

〔第１の実施の形態〕
図４は、ラッチ信号をブロック単位（ここでは図３で示した各演算処理単位）で切り替えるときのラッチ信号出力部の機能を示すブロック図である。ここでは例として、ＡＷＢ演算処理部３３に対してラッチ信号を供給するラッチ信号出力部について説明する。

図４に示すように、ラッチ信号出力部２２は、ラッチ信号生成部２３と選択部５０を備えている。ラッチ信号生成部２３は、通常撮像レートのラッチ信号（６０ｆｐｓ）と高速撮像レートのラッチ信号（２４０ｆｐｓ）からなる２種類のラッチ信号を、それぞれの画面レートでの垂直同期信号を基に生成している。

選択部５０は、ラッチ信号生成部２３から受け取った２つのラッチ信号から、システム制御部１６０からのラッチ選択信号に基づいて１つのラッチ信号を選択し、たとえばＡＷＢ演算処理部３３へと出力する。ＡＷＢ演算処理部３３は、選択部５０から出力されたラッチ信号に基づいて、システム制御部１６０からの制御信号および演算結果のラッチ動作を実行する。すなわち、高速撮像レートのラッチ信号が選択された場合は高速撮像レートでラッチ動作を行い、通常撮像レートのラッチ信号が選択された場合は高速撮像時であっても通常撮像レートでのラッチ動作を行う。

たとえば、ＡＷＢ演算処理部３３は、被写体または光源の色温度の測定や、各色に対するゲインの計算などの一部を行う。高速撮像時に撮像被写体の光源および色温度が大きく変化すると、２４０ｆｐｓのラッチ信号を選択し、高速撮像レートでＡＷＢ演算処理部３３を制御する。逆に、高速撮像時であっても、撮像被写体の光源および色温度が大きく変化しないならば、システム制御部１６０の制御負荷および通信データ量低減のため、６０ｆｐｓのラッチ信号を選択してＡＷＢ演算処理部３３を高速撮像レートで制御しない。

あるいは、撮影シーンに応じてユーザの操作入力に応じてラッチ信号を切り替えるようにしてもよい。たとえば、撮像装置を固定して撮影するときは、画面の変化が少ないので６０ｆｐｓのラッチ信号を選択し、撮像装置を動かして撮影するときや、移動する被写体を撮影するときなどに、２４０ｆｐｓのラッチ信号を選択することで、より高画質な映像を得ることができる。

このように、ＡＷＢ演算処理部３３全体を１つのブロックとしてラッチ信号を切り替えて制御を行う。このとき、ＡＷＢ演算処理部３３とともにＡＦ演算処理部３１とＡＥ演算処理部３２のラッチ信号を選択部５０によって選択するような構成としてもよい。また、ＡＷＢ演算処理部３３以外のブロックは、ラッチ信号生成部２３からある一定のレートのラッチ信号のみ流れるように構成し、選択部を通さなくてもよい。また、ラッチ信号出力部２２内にラッチ信号生成部２３から２つのラッチ信号が並列に入力される選択部が複数備えられており、それぞれの選択部に対してラッチ選択信号を出力し、ラッチ信号を選択できる構成としてもよい。

以上のようなラッチ信号の選択の様子を図５のタイミングチャートに示す。
図５は、本実施の形態に係る信号処理部の処理を示すタイミングチャートである。図５に示すように、時間Ｔ１、Ｔ５、Ｔ９のときが通常撮像レート（６０ｆｐｓ）の垂直同期タイミングであり、時間Ｔ１〜Ｔ９のそれぞれが高速撮像レート（２４０ｆｐｓ）の垂直同期タイミングであるとする。

高速撮像時においては、フィールドは高速撮像レートの同期信号に合わせて切り替わる。また、たとえばＡＷＢ演算処理部３３による画像信号の検波（たとえば積分）も、高速撮像レートの同期信号に合わせてフィールドごとに行われる。このとき、選択部５０によって高速撮像レートのラッチ信号が選択されてＡＷＢ演算処理部３３に出力されると、画像信号の検波値は高速撮像レートのラッチ信号に合わせてラッチされ、システム制御部１６０に取り込まれてＷＢアンプゲインの制御値演算が実行される。たとえば、時間Ｔ１〜Ｔ２の間で露光された画像信号は、時間Ｔ２でＡＷＢ演算処理部３３により検波され、その検波値は時間Ｔ３でラッチされて、ラッチされた検波値を基に時間Ｔ３〜Ｔ４の間でシステム制御部１６０によりＷＢアンプゲインの演算が実行される。以下、順次毎時間画像信号が検波されてラッチされ、ＷＢアンプゲインが演算されることになる。

一方、高速撮像時に、選択部５０によって通常撮像レートのラッチ信号が選択されてＡＷＢ演算処理部３３に出力されると、ＡＷＢ演算処理部３３では、２４０ｆｐｓの垂直同期タイミングごとに画像信号の検波が行われるものの、検波値のラッチは、図中の時間Ｔ１，Ｔ５，Ｔ９のように６０ｆｐｓのラッチ信号に同期して行われる。たとえば時間Ｔ５でラッチされた検波値を基に、時間Ｔ５〜Ｔ６でシステム制御部１６０によるＷＢアンプゲインの演算が実行される。

すなわち、高速撮像時に、通常撮像レートのラッチ信号が選択された場合には、高速撮像レートのラッチ信号が選択されたときに比べて、システム制御部１６０に対するデータ転送量が１／４となり、システム制御部１６０の演算負荷も１／４に軽減される。また、上記ではＡＷＢ演算処理部３３の演算値のラッチタイミングを制御したが、たとえばＡＷＢ演算処理部３３でのシステム制御部１６０からの制御信号のラッチタイミングを、同様の通常撮像レートのラッチ信号で制御し、その制御信号に応じてＡＷＢ演算処理部３３の演算を開始することで、ＡＷＢ演算処理部３３での演算負荷も軽減される。

以上のように、ブロック単位で複数のラッチ信号から当該ブロックが行う処理に必要最小限のレートをもつラッチ信号を選択できるような構成とし、高速撮像時にシステム制御部１６０にて、ＡＷＢ演算処理部３３からの演算結果を高速撮像レートで必要としない場合などに、通常撮像レートのラッチ信号を選択し切り替えることにより、制御処理の負荷および通信データ量を軽減でき、製造コストおよび消費電力を低減しながらも、高速撮像時にも色調調整のとれた被写体映像信号の生成を行うことが可能となる。

〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。本実施の形態の画像処理装置は、ラッチ信号をフィールド単位で切り替えることが異なる以外は、第１の実施の形態で示した構成と同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。

図６は、ラッチ信号をフィールド単位で切り替えるときのラッチ信号出力部の機能を示すブロック図である。ここでは例として、ＡＦ演算処理部３１に対してラッチ信号を供給するラッチ信号出力部について説明する。図６に示すように、ラッチ信号出力部２２ａは、ラッチ信号生成部２３、選択部６０、および論理演算部６１を備えている。

ラッチ信号生成部２３は、第１の実施の形態と同様に、通常撮像レートのラッチ信号（６０ｆｐｓ）と高速撮像レートのラッチ信号（２４０ｆｐｓ）からなる２種類のラッチ信号を生成する。

論理演算部６１は、高速撮像時において入力されるフィールドカウンタ信号と、任意に設定されるフィールド選択信号との論理積演算を行い、各信号が一致したときにのみラッチ信号生成部２３からのラッチ信号を出力し、それ以外ではラッチ信号をマスクする（この例ではＬレベル固定とする）。フィールドカウンタ信号は、たとえばシステム制御部１６０などにより垂直同期信号に同期してカウントされる信号であり、本実施の形態では、高速撮像レートが通常撮像レートの４倍であることから、０から３までを繰り返してカウントする。また、フィールド選択信号はシステム制御部１６０から指定される０〜３の信号である。フィールドカウンタ信号のカウント周期と、１つ以上のフィールド選択信号の指定との組み合わせに応じて、様々なフィールドの選択規則を生成して任意のフィールドにおいてラッチタイミングを出力することができる。

選択部６０は、論理演算部６１からのラッチ信号と通常撮像レートのラッチ信号とから、システム制御部１６０からのラッチ選択信号に基づいて１つのラッチ信号を選択し、ＡＦ演算処理部３１へと出力する。

ＡＦ演算処理部３１は、選択部６０から出力されたラッチ信号に基づいて、システム制御部１６０からの制御信号および演算結果のラッチ動作を実行する。すなわち、論理演算部６１からのラッチ信号が選択された場合は任意のフィールドに対するラッチ動作を行い、通常撮像レートのラッチ信号が選択された場合は固定フィールドに対する通常撮像レートでのラッチ動作をブロック単位で行う。

一般に信号処理部１５０において画像信号を処理する際には、まずフォーカスが合っている必要があるため、他のブロックに先駆けて制御処理を行うことが必要な場合がある。ラッチ信号出力部２２ａは、ＡＦ演算処理部３１へ出力するラッチ信号の制御対象であるフィールドを必要に応じて変えることができるので、高速撮像時において他のブロックの制御に先駆けてフォーカス合わせの制御を行うことが可能となる。特に、高速撮像時において被写体の動きが激しいといった場合には、他のブロックの制御に先駆けてフォーカス合わせを行うことで、画質をより向上させることができる。

たとえば、システム制御部１６０は、隣接するフレームまたはフィールドにおけるＡＦ用の測距結果の差分をとり、これらが一定値未満の場合には選択部６０により６０ｆｐｓのラッチ信号を選択させ、一定値以上となった場合には論理演算部６１からのラッチ信号を選択させて、ＡＷＢ演算処理部３３などの他のブロックに先駆けてフォーカス合わせを実行させるようにする。

また、撮像装置を固定して撮影する場合と移動しながら撮影する場合、あるいは被写体の動きの有無など、撮影シーンに応じてユーザの操作入力に応じてラッチ信号を切り替えるようにしてもよい。

以上のようなラッチ信号の選択の様子を図７のタイミングチャートに示す。
図７は、本実施の形態に係る信号処理部の処理を示すタイミングチャートである。
この図７では例として、ＡＦ演算処理部３１に対しては、フィールド選択信号を“１”として論理演算部６１からのラッチ信号を選択している。一方、ＡＷＢ演算処理部３３に対しては６０ｆｐｓのラッチ信号が供給されているものとする。

高速撮像時においては、ＡＦ演算処理部３１による測距のための検波や、ＡＷＢ演算処理部３３による色温度測定のための検波は、時間Ｔ１１〜Ｔ１９においてそれぞれフィールドごとに実行されている。ここで、論理演算部６１からのラッチ信号が選択された場合には、６０ｆｐｓのラッチ信号の出力タイミングの次の垂直同期タイミングに、論理演算部６１からのラッチ信号が出力される。

たとえば、時間Ｔ１５では、時間Ｔ１４〜Ｔ１５で露光された画像信号に基づいてＡＦ演算処理部３１による検波が行われ、その検波結果が時間Ｔ１６でラッチされ、ラッチされた検波結果を用いてシステム制御部１６０においてＡＦの制御が実行される。この制御によりフォーカスが合った状態で時間Ｔ１７〜Ｔ１８の露光が行われ、その露光による画像信号が時間Ｔ１８でＡＷＢ演算処理部３３によって検波される。そして、時間Ｔ１９で検波結果がラッチされて、システム制御部１６０においてＷＢゲインの制御値が演算される。

このように、本実施の形態では、２４０ｆｐｓのラッチ信号が間引かれてＡＦ演算処理部３１に供給されるので、高速撮像レートのラッチ信号が選択されたときに比べてシステム制御部１６０に対するデータ転送量がこの例では１／４となり、システム制御部１６０の演算負荷も１／４に軽減される。これとともに、任意のフィールドに合わせてラッチ信号を間引いて出力できるので、高速撮像時に、システム制御部１６０では、任意のフィールドに対するＡＦ演算処理部３１からの演算結果（評価値）を得ることが可能となる。したがって、演算負荷や消費電力、製造コストが低減されながらも、好適な被写体映像信号の生成を行うことが可能となる。

なお、上記第１および第２の実施の形態では、撮像中に必要に応じてラッチ信号を切り替える例を示したが、たとえば、信号処理部１５０の開発段階において、上述したラッチ信号の切り替え機能を共通に設けておき、後段の制御演算処理部１５３内の各演算処理部の仕様変更に応じてラッチ信号を選択させ、その後は選択を固定させておくようにしてもよい。たとえば、高速撮像レートでの処理が必要なブロックにのみ高速撮像レート用のラッチ信号を供給し、その他の必要のないブロックに対しては常に低速撮像レート用のラッチ信号を供給するように選択部を設定しておく。これにより、信号処理部１５０の回路構成に汎用性を持たせ、開発コストを低減することができる。

〔第３の実施の形態〕
次に、本発明の第３の実施の形態について説明する。本実施の形態の画像処理装置は、ラッチ信号を演算処理部の内部のレジスタ単位またはレジスタ群単位で切り替えることが異なる以外は、第１の実施の形態で示した構成と同様である。このため、上記第１の実施の形態とほぼ同様の構成部分については同一の符号を付すなどして適宜その説明を省略する。

図８は、ラッチ信号をレジスタ単位で切り替えるときのＡＥ演算処理部の機能を示すブロック図である。ここでは例として、ＡＥ演算処理部３２ｂにおいてレジスタ単位でラッチ信号を切り替える場合について説明する。図８に示すように、ラッチ信号出力部２２ｂから高速撮像レート（２４０ｆｐｓ）のラッチ信号、通常撮像レート（６０ｆｐｓ）のラッチ信号がＡＥ演算処理部３２ｂに対して出力されている。また、システム制御部１６０からの２つのラッチ選択信号が、ラッチ信号出力部２２ｂを介してＡＥ演算処理部３２ｂに対して出力されている。ＡＥ演算処理部３２ｂは、選択部７０および７１、レジスタ８０および８１を備えている。

選択部７０および７１は、それぞれラッチ信号出力部２２ｂからの２種類のラッチ信号と、それぞれ１つずつのラッチ選択信号を受け取る。そして、受け取ったラッチ選択信号に基づいて１つのラッチ信号を選択し、対応するレジスタ８０および８１へ出力する。

レジスタ８０および８１は、ＡＥ演算処理部３２ｂの内部での演算結果や、システム制御部１６０から出力された制御信号などを一時的に保持するものである。そして、高速撮像時において、各レジスタ８０および８１に記憶されたデータのラッチタイミングを制御するラッチ信号を、選択部７０および７１で個別に選択することができる。なお、各選択部７０および７１からのラッチ信号は、それぞれ複数のレジスタに供給されるようにしてもよい。

たとえば、ＡＥ演算処理部３２ｂは、被写体照度に応じてシャッタスピードや絞り値を算出する。明るさが大きく変化する場合、内部の演算結果に応じて必要な処理レートが異なる場合がある。すなわち、高速撮像の場合、ＡＥ演算処理部３２ｂの中に、高速撮像レートで制御されるレジスタ（またはレジスタ群）と、固定フィールドに対する通常撮像レートで制御されるレジスタ（またはレジスタ群）とが混在する。逆に明るさが大きく変化しない場合、単に固定フィールドに対する通常撮像レートで制御すればよい。

システム制御部１６０では、ＡＥ演算処理部３２ｂからの演算結果（評価値）を任意のレジスタから所望のレートで得ることが可能となり、高速撮像時に常に露出調整のとれた被写体映像信号の生成を行うことが可能となる。

以上のように、レジスタ単位で複数のラッチ信号を選択できるような構成にして、ラッチ動作をレジスタ単位で切り替えることにより、必要最小限のレートをもつラッチ信号を選択できるようになり、高速撮像時にも常に好適な被写体映像信号の生成を行うことが可能となる。また、システム制御部１６０の制御負荷および通信データ量を軽減し、機器の低コスト化や低消費電力化を実現することが可能となる。

以上の各実施の形態で示したような撮像装置によれば、同期信号出力部１５１内のラッチ信号出力部から出力される、カメラ信号処理部１５２および制御演算処理部１５３へのラッチ信号を、撮像レートに応じてブロック、フィールド、およびレジスタ単位の三方式で切り替えることにより、高速撮像時のシステム制御部１６０や信号処理部１５０の処理負荷および通信データ量を軽減するため、機器の低コスト化および低消費電力化を実現することが可能である。

なお、上記実施の形態では、それぞれＡＷＢ演算処理部、ＡＦ演算処理部、ＡＥ演算処理部での構成例を示したが、上記演算処理部にいずれの方式を適用してもよく、この場合においても上記各実施の形態と同様の効果を奏する。また、ブロック、フィールド、レジスタ単位の三つの切り替え方式を組み合わせて使用することもできる。また、上記実施の形態においては、高速撮像レートを２４０ｆｐｓ、通常撮像レートを６０ｆｐｓとしたが、いずれの撮像レートも上記以外の撮像レートとしてもよい。

また、上記実施の形態では、高速レートモードでは、撮像素子１３０からの画像信号の解像度が標準レートモードより低くなるため、信号処理部１５０では、動作周波数を高めることなく画像信号を処理することができる。しかし、撮像素子１３０の出力信号周波数を高めて高速撮像を実現した場合では、信号処理部１５０に対して必要に応じてより低い画面レートに基づくラッチ信号を供給することで、信号処理部１５０の内部の動作周波数も低減することができ、製造コストや消費電力の低減効果がより高められる。

また、上記実施の形態のいずれにおいても、信号処理部１５０が集積回路（ハードウェア）で構成される例を示したが、このブロック内の構成のすべて、あるいはその一部をコンピュータ等を利用してソフトウェア的に実現するようにしてもよく、この場合においても上記各実施の形態と同様の効果を奏する。また、撮像機能を持つ装置だけでなく、撮像された画像信号の入力を受けて各種画像処理を行う装置に対して本発明を適用することもできる。この場合にも、その機能のすべて、または一部をソフトウェア処理により実現してもよい。

実施の形態に係る撮像装置の機能を示すブロック図である。 同期信号出力部の機能を示すブロック図である。 制御演算処理部の機能を示すブロック図である。 ラッチ信号をブロック単位で切り替えるときのラッチ信号出力部の機能を示すブロック図である。 第１の実施の形態に係る信号処理部の処理を示すタイミングチャートである。 ラッチ信号をフィールド単位で切り替えるときのラッチ信号出力部の機能を示すブロック図である。 第２の実施の形態に係る信号処理部の処理を示すタイミングチャートである。 ラッチ信号をレジスタ単位で切り替えるときのＡＥ演算処理部の機能を示すブロック図である。

符号の説明

１００……撮像装置、１１０……レンズ、１２０……アイリス、１３０……撮像素子、１４０……Ｆ／Ｅ、１４１……ＡＧＣ、１４２……ＡＤＣ、１５０……信号処理部、１５１……同期信号出力部、１５２……カメラ信号処理部、１５３……制御演算処理部、１６０……システム制御部

Claims (9)

1. 画像信号を処理する画像処理装置において、
   前記画像信号の検波値に応じて演算を行う演算処理手段と、
   前記演算処理手段に対して処理のタイミングを指示する信号であって、前記画像信号に適用される異なる複数の画面レートに基づく複数のラッチ信号を生成するラッチ信号生成手段と、
   前記ラッチ信号生成手段から入力された複数のラッチ信号から一のラッチ信号を選択し、前記演算処理手段に出力するラッチ信号選択手段と、
   前記ラッチ信号選択手段に対して選択するラッチ信号を指示するラッチ信号選択指示手段と、
   を有することを特徴とする画像処理装置。
2. 前記ラッチ信号生成手段は、前記ラッチ信号選択手段に対して、第１の画面レートに対応する画像の同期信号に基づいて生成される第１のラッチ信号と、前記第１の画面レートより高速な第２の画面レートに対応する画像の同期信号に基づいて生成される第２のラッチ信号を出力することを特徴とする請求項１記載の画像処理装置。
3. 前記画像信号が前記第２の画面レートであるときに、前記第２のラッチ信号を所定の規則に従って間引き、前記ラッチ信号選択手段に出力する出力制御手段をさらに有することを特徴とする請求項２記載の画像処理装置。
4. 前記演算処理手段の備えるレジスタまたはレジスタ群ごとに前記ラッチ信号選択手段が個別に設けられたことを特徴とする請求項１記載の画像処理装置。
5. 複数の前記演算処理手段が設けられ、前記ラッチ信号選択手段から少なくとも１つの前記演算処理手段に対して前記ラッチ信号が出力されることを特徴とする請求項１記載の画像処理装置。
6. 複数の前記演算処理手段が設けられ、前記演算処理手段ごとに前記ラッチ信号選択手段が設けられ、前記各ラッチ信号選択手段から対応する前記演算処理手段に対してラッチ信号が出力されることを特徴とする請求項１記載の画像処理装置。
7. 前記ラッチ信号は、前記演算処理手段による演算結果のラッチタイミング、または前記演算処理手段の演算処理を制御するために前記演算処理手段に入力される制御信号のラッチタイミングの少なくとも一方を指示する信号であることを特徴とする請求項１記載の画像処理装置。
8. 画像を撮像する撮像装置において、
   異なる複数の画面レートで画像を撮像する固体撮像素子と、
   撮像により得られた画像信号の検波値に応じて演算を行う演算処理手段と、
   前記演算処理手段に対して処理のタイミングを指示する信号であって、前記複数の画面レートに基づく複数のラッチ信号を生成するラッチ信号生成手段と、
   前記ラッチ信号生成手段から入力された複数のラッチ信号から選択指示に応じた一のラッチ信号を選択し、前記演算処理手段に出力するラッチ信号選択手段と、
   前記ラッチ信号選択手段に対して選択するラッチ信号を指示するラッチ信号選択指示手段と、
   を有することを特徴とする撮像装置。
9. 画像信号を処理する画像処理方法において、
   ラッチ信号生成手段が、演算処理手段に対して処理のタイミングを指示する信号であって、異なる複数の画面レートに基づく複数のラッチ信号を生成するステップと、
   ラッチ信号選択手段が、前記ラッチ信号生成手段から入力された複数レートのラッチ信号から一のラッチ信号を選択して前記演算処理手段に出力するステップと、
   前記演算処理手段が、選択されたラッチ信号に基づき、画像信号の検波値に応じて演算を行うステップと、
   を含むことを特徴とする画像処理方法。

Images