JP2004147092A

JP2004147092A - 信号処理装置、撮像装置、及び制御方法

Info

Publication number: JP2004147092A
Application number: JP2002309898A
Authority: JP
Inventors: Hisanori Hirose; 広瀬　久敬
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-10-24
Filing date: 2002-10-24
Publication date: 2004-05-20
Also published as: US20040080641A1; US7456866B2

Abstract

【課題】撮像素子を非加算モード及び加算モードの両方で駆動可能な場合に、いずれのモードで読み出した場合でも同じカメラ信号処理を行うこと。
【解決手段】原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有し、非加算読み出し方法と、加算読み出し方法とにより駆動可能な撮像素子（２）から出力される画像信号を処理する信号処理装置であって、非加算読み出し方法と加算読み出し方法とを切り換える撮影モード設定部（１２）と、非加算読み出し方法が設定されたときに、撮像素子から入力した信号をそのまま出力し、加算読み出し方法が設定されたときに、撮像素子から入力した信号を信号の重心位置を補正して出力する重心ずれ補正処理部（６）と、重心ずれ補正処理部から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行うカメラ信号処理部（８）とを有する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は固体撮像素子から出力される画像信号に対して処理を行う信号処理装置、ビデオカメラ等の撮像装置、信号処理装置の制御方法に関し、特に撮像領域の各画素から信号をそのまま読み出すモードと、信号を加算して読み出すモードとにより選択的に駆動可能な固体撮像素子から出力される画像信号に対して処理を行う信号処理装置、撮像装置、信号処理装置の制御方法に関する。
【０００２】
【従来の技術】
従来、撮像装置の各受光素子から得られる信号電荷を混合して読み出す撮像装置では、例えば、撮像素子の駆動手段が同色の色要素に対応する電荷どうしが垂直列に対応する垂直転送レジスタ上で混合されるように撮像素子を駆動する方法が考えられている（例えば、特許文献１参照。）。
【０００３】
図４に原色ベイヤー配列をもつ撮像素子を垂直方向に同色混合される場合の概念図を示す。原色ベイヤー配列の撮像素子では、図４（ａ）で示されるようにＲＧＢの色フィルタが配置されている。すなわち、水平方向に見た場合にＲ、Ｇの繰り返しのラインと、Ｇ、Ｂの繰り返しのラインとが交互に配置されている。画素混合が垂直方向に行われる場合、同色の色フィルタは１画素おきに配置されているので、撮像素子駆動手段は混合される画素も１画素おきのタイミングで混合されるように撮像素子を駆動する。
【０００４】
具体的には例えば図４（ａ）に示すＲ_００、Ｇ_０１のラインと　Ｒ_２０、Ｇ_２１のラインの画素信号を混合して、図４（ｂ）に示すＲ_１０、Ｇ_１１のラインの画素信号が生成される。また、Ｇ_１０、Ｂ_１１のラインの画素信号とＧ_３０、Ｂ_３１のラインの画素信号からＧ_２０、Ｂ_２１のラインの画素信号が生成される。同様にして、Ｒ_４０、Ｇ_４１のラインとＲ_６０、Ｇ_６１のラインの画素信号からＲ_５０、Ｇ_５１のラインの画素信号が、Ｇ_５０、Ｂ_５１のラインとＧ_７０、Ｂ_７１のラインの画素信号からＧ_６０、Ｂ_６１のラインの画素信号が生成される。混合後の信号は、混合前と同じ原色のベイヤー配列になる。
【０００５】
【特許文献１】
特開２０００−２５３４１５号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来の方法で混合処理を行うと、混合後の信号の重心位置が混合前の２画素の中央になるので、重心位置に注目すると垂直方向に均等ではなく、図４（ｂ）に示すような２ラインずつ接近した位置となってしまう問題がある。従って、このような配列に合わせたカメラ信号処理を行う必要がある。更に、静止画を撮影するときなど撮像素子の信号電荷を混合せずにそのまま読み出す場合には原色ベイヤー配列に合わせたカメラ信号処理が必要となり、混合せずに読み出す場合と、動画撮影における混合して読み出す場合とのそれぞれに合わせたカメラ信号処理部が必要であった。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、混合せずに読み出す場合と、混合して読み出す場合の両方において同じカメラ信号処理を行うことができるようにすることを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、各受光素子からそれぞれ信号を読み出す第１の読み出し方法と、１行おきに同じ色の受光素子から得られる信号を加算して読み出す第２の読み出し方法とにより駆動可能な撮像素子から出力される画像信号を処理する本発明の信号処理装置は、前記第１の読み出し方法と、前記第２の読み出し方法とを切り換える切り換え手段と、前記第１の読み出し方法が設定されたときに、前記撮像素子から入力した信号をそのまま出力し、前記第２の読み出し方法が設定されたときに、前記撮像素子から入力した信号の重心位置を補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有することを特徴とする。
【０００９】
また、本発明の撮像装置は、上記信号処理装置を備えることを特徴とする。
【００１０】
更に、原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、各受光素子からそれぞれ信号を読み出す第１の読み出し方法と、１行おきに同じ色の受光素子から得られる信号を加算して読み出す第２の読み出し方法とにより駆動可能な撮像素子から出力される画像信号を処理する信号処理装置であって、前記撮像素子から入力した信号の重心位置を補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有する信号処理装置の本発明の制御方法は、前記第１の読み出し方法と、前記第２の読み出し方法のいずれが設定されているかを判断する判断工程と、前記第１の読み出し方法が設定されている時に、前記撮像素子から入力した信号に前記補正手段が処理を行わないようにし、前記第２の読み出し方法が設定されたときに、前記補正手段により処理を行うように制御する制御工程とを有することを特徴とする。
【００１１】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１２】
図１は、本発明の実施の形態における撮像装置のブロック図である。図１において、２は不図示の光学系を介して入射した光束を、その光量に応じて電気信号に変換するＣＣＤやＭＯＳ等の撮像素子、４は撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器、６はＡ／Ｄ変換器４から出力されたデジタル信号に対して、後述する重心ずれの補正を行う重心ずれ補正処理部、８は重心ずれ補正処理部６から出力されたデジタル信号に対して、色分離処理、アパーチャー処理、ガンマ処理等を施した後、輝度信号、色差信号を生成するカメラ信号処理部、１０は撮像素子２を制御するタイミング信号を生成する撮像素子駆動部、１２は、撮像素子２の各受光素子から得られる信号電荷を非加算で読み出す非加算モード（静止画撮影モード）と、各受光素子から得られる同色の信号電荷を混合して読み出す加算モード（動画撮影モード）とを切り換える撮影モード設定部である。
【００１３】
撮影モード設定部１２により非加算モード（静止画撮影モード）が設定されている場合には、撮像素子駆動部１０は撮像素子２の各受光素子から信号電荷を加算せずに順に出力するように制御し、加算モードに設定されている場合には、上記従来例で図４を参照して説明したようにして読み出し制御する。
【００１４】
更に、重心ずれ補正処理部６は、図３に示すように、撮影モード設定部１２により非加算モードが設定されている場合には（ステップＳ１０でＮＯ）、補正を行わず、Ａ／Ｄ変換器４から入力されるデジタル信号をそのままカメラ信号処理部８に出力し（ステップＳ１２）、加算モードが設定されている場合には（ステップＳ１０でＹＥＳ）、後述する補正を行ってから（ステップＳ１１）、カメラ信号処理部８に出力する（ステップＳ１２）。
【００１５】
従って、非加算モードでは、撮像素子２が図４（ａ）に示すような原色ベイヤー配列のカラーフィルターで覆われている場合、フィルター配列に従った信号電荷が読み出され、重心ずれ補正処理部６は読み出された順でそのままカメラ信号処理部８に出力するので、カメラ信号処理部８では原色ベイヤー配列の撮像素子に対応した信号処理を施して輝度信号、色差信号を出力させる。
【００１６】
一方、加算モード（動画撮影モード）では、図４を参照して従来例で説明したようにして、撮像素子２から同色信号を加算して読み出す。
【００１７】
混合後の信号は、混合前と同じ原色のベイヤー配列に似た配置になる。しかし、従来例でも説明したように、混合後の信号の重心位置は混合前の２画素の中央になるので、重心位置に注目すると、各画素は垂直方向に均等ではなく、図４（ｂ）に示すように、２ラインずつ接近した配置となる。
【００１８】
そこで、本実施の形態における重心ずれ補正処理部６では、撮影モード設定部１２により加算モードが選択されている場合に、重心位置が均等になるように補正する。
【００１９】
図２は、本実施の形態における重心ずれ補正処理を説明する図である。図２（ａ）は、図４を用いて説明した画素混合が行われた場合に、Ａ／Ｄ変換器４から出力された同色画素混合信号を表す。ここで、Ｐ_２ｎ及びＰ_２ｎ−２は偶数ラインを示し、偶数ラインでは重心ずれによって接近した２ラインのうち上のラインとする。また、Ｐ_２ｎ−１及びＰ_２ｎ＋１は奇数ラインを示し、奇数ラインでは重心ずれによって接近した２ラインのうち下のラインとする。
【００２０】
Ｐ’_２ｎ及びＰ’_２ｎ−２は偶数ラインの重心ずれ補正後のライン、Ｐ’_２ｎ−１及びＰ’_２ｎ＋１は奇数ラインの重心ずれ補正後のラインを表す。なお、ｎは自然数を表す。
【００２１】
図２（ａ）に示すように、Ｐ_２ｎ−２とＰ_２ｎ−１の間隔と、Ｐ_２ｎ−１とＰ_２ｎの間隔の比は１：３になるため、本実施の形態における重心ずれ補正処理部６は重心ずれ補正後の信号を図２（ｂ）に示すように等間隔にするため、以下の式によって補正処理を行う。
Ｐ’_２ｎ　＝　１／８×Ｐ_２ｎ−２　＋　７／８×Ｐ_２ｎ
Ｐ’_２ｎ−１　＝　７／８×Ｐ_２ｎ−１　＋　１／８×Ｐ_２ｎ＋１
【００２２】
すなわち、偶数ラインの信号は、そのラインの画素信号（例えば、Ｐ_２ｎラインの画素信号）と、２ライン前の画素信号（例えばＰ_２ｎ−２ラインの画素信号）とを７：１の比率で加重加算して補完を行い、奇数ラインの信号は、そのラインの画素信号（例えば、Ｐ_２ｎ−１ラインの画素信号）と、２ライン後のラインの画素信号（例えばＰ_２ｎ＋１ラインの画素信号）とを７：１の比率で加重換算して補間を行う。
【００２３】
ここで、図２（ａ）に示す同色混合後の色信号順では、同色の信号が１画素おきに配置されているため、上式で表される補間点の信号も、１ラインおきの同色の画素対を用いて算出される。
【００２４】
図２（ｂ）は、上記のようにして重心補正して得られた信号の概念を示している。
【００２５】
重心ずれ補正処理部６により上記の様な処理を行った後、図２（ｂ）に示すように垂直方向の重心位置が均等になった画素混合信号が図１のカメラ信号処理部８に入力される。重心ずれ補正処理を施した画素混合信号は、通常の原色ベイヤー配列のカラーフィルターに従った信号電荷と同じとして扱えるので、非加算モード時と同じカメラ信号処理を施して輝度信号、色差信号を出力することができる。
【００２６】
なお、上記実施の形態においては、
Ｐ’_２ｎ　＝　１／８×Ｐ_２ｎ−２　＋　７／８×Ｐ_２ｎ
Ｐ’_２ｎ−１　＝　７／８×Ｐ_２ｎ−１　＋　１／８×Ｐ_２ｎ＋１
【００２７】
の式を用いて重心ずれを補正したが、重心ずれを補正する方法はこれに限るものでは無く、本発明はこれ以外の重心ずれ補正方法を用いた場合にも適用することができる。
【００２８】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、デジタルスチルカメラ、デジタルビデオカメラなど）に適用してもよい。
【００２９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００３０】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３１】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図４に示すフローチャート及び図２に示す補正動作に対応するプログラムコードが格納されることになる。
【００３２】
【発明の効果】
上記の通り本発明によれば、撮像素子を非加算モード及び加算モードの両方で駆動可能な場合に、いずれのモードで読み出した場合でも同じカメラ信号処理を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における撮像装置の概略構成を示すブロック図である。
【図２】本発明の実施の形態における重心ずれ補正動作を説明するための図である。
【図３】本発明の実施の形態における制御を示すフローチャートである。
【図４】従来の撮像素子における画素混合の様子を示す概念図である。
【符号の説明】
２　撮像素子
４　Ａ／Ｄ変換器
６　重心ずれ補正処理部
８　カメラ信号処理部
１０　撮像素子駆動部
１２　撮影モード設定部

Claims

原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、各受光素子からそれぞれ信号を読み出す第１の読み出し方法と、１行おきに同じ色の受光素子から得られる信号を加算して読み出す第２の読み出し方法とにより駆動可能な撮像素子から出力される画像信号を処理する信号処理装置であって、
前記第１の読み出し方法と、前記第２の読み出し方法とを切り換える切り換え手段と、
前記第１の読み出し方法が設定されたときに、前記撮像素子から入力した信号をそのまま出力し、前記第２の読み出し方法が設定されたときに、前記撮像素子から入力した信号の重心位置を補正して出力する補正手段と、
前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段と
を有することを特徴とする信号処理装置。
前記補正手段は、補正する対象の信号の偶数行をＰ_２ｎ、奇数行をＰ_２ｎ−１（ｎは共に自然数）とし、重心ずれ補正後の信号の偶数行をＰ’_２ｎ、奇数行をＰ’_２ｎ−１（ｎは共に自然数）とした場合に、
Ｐ’_２ｎ　＝　１／８×Ｐ_２ｎ−２＋７／８×Ｐ_２ｎ
Ｐ’_２ｎ−１　＝　７／８×Ｐ_２ｎ−１＋１／８×Ｐ_２ｎ＋１
の演算により補正することを特徴とする請求項Ｄ０１に記載の信号処理装置。
請求項１または２に記載の信号処理装置を有する撮像装置。
原色ベイヤー配列のカラーフィルタにより覆われた複数の受光素子を有する撮像素子であって、各受光素子からそれぞれ信号を読み出す第１の読み出し方法と、１行おきに同じ色の受光素子から得られる信号を加算して読み出す第２の読み出し方法とにより駆動可能な撮像素子から出力される画像信号を処理する信号処理装置であって、前記撮像素子から入力した信号の重心位置を補正して出力する補正手段と、前記補正手段から出力される信号に対して、原色ベイヤー配列の信号に対応する処理を行う処理手段とを有する信号処理装置の制御方法であって、
前記第１の読み出し方法と、前記第２の読み出し方法のいずれが設定されているかを判断する判断工程と、
前記第１の読み出し方法が設定されている時に、前記撮像素子から入力した信号に前記補正手段が処理を行わないようにし、前記第２の読み出し方法が設定されたときに、前記補正手段により処理を行うように制御する制御工程と
を有することを特徴とする制御方法。
情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１または２に記載の信号処理装置として機能させることを特徴とするプログラム。
請求項４に記載の制御方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
請求項５又は６に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。