JP2004126797A

JP2004126797A - 画像信号処理装置

Info

Publication number: JP2004126797A
Application number: JP2002287653A
Authority: JP
Inventors: Kenkichi Hayashi; 林　健吉
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2002-09-30
Filing date: 2002-09-30
Publication date: 2004-04-22
Anticipated expiration: 2022-09-30
Also published as: JP4133179B2

Abstract

【課題】演算規模を増加させることなく簡単な回路構成で帯域制限処理を効果的に行うことができる画像信号処理装置を提供する。
【解決手段】輝度フィルタリング処理部５４では、ＬＰＦ６２が画素数５×５の領域分の輝度データＹを水平方向に配列された１×５の画素列毎に処理して、各画素列の中央に位置する画素の輝度値を出力する。ＬＰＦ６２で得られた輝度値はラインメモリ６４に順次記憶され、ＬＰＦ６６に同時に出力される。各画素列内の注目画素は垂直方向に配列されているので、ＬＰＦ６６は垂直方向に配列された５×１の画素列の各画素の輝度値を処理して、該画素列の中央に位置する画素の輝度値を出力する。ＬＰＦ６２とＬＰＦ６６とで順次処理することにより、２次元のＬＰＦで処理するのと同様の効果を得ることができる。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置に係り、特に、画像信号の輝度成分及び色差成分の帯域制限処理を行う画像信号処理装置に関する。
【０００２】
【従来の技術】
従来、デジタルカメラ等に使用されているＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）の信号処理では、各画素間を補間する際に発生する偽信号及び偽色の発生を低減するために、得られた輝度信号や色差信号に対して、高周波成分を除去するローパスフィルタ（ＬＰＦ；Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ）を用いて帯域制限処理を行っている。この場合、視覚的に影響の無い範囲で高周波成分を除去するために、ＣＣＤの水平方向及び垂直方向に２次元状に配列された正方形の画素ブロック毎に帯域制限処理を施す周波数特性を備えた２次元デジタルフィルタを用いるのが一般的である。なお、水平方向及び垂直方向に処理を行う信号処理方法が提案されてはいるが（例えば、特許文献１及び特許文献２参照）、この場合、一方の補正処理は他方の補正処理とは無関係に行われている。
【０００３】
【特許文献１】
特開平６−２９６２８５号公報
【特許文献２】
特開平７−２９８２７３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、２次元のデジタルＬＰＦは演算モジュールが多く、回路構成が複雑である。例えば、図７（Ａ）に示すように、従来の画像信号処理装置では、５行５列に配列された２５画素分の輝度信号が、ラインメモリ１Ｙに順次記憶され、ラインメモリ１Ｙから２次元ＬＰＦ２Ｙに同時に入力される。この場合、１つの２次元ＬＰＦ２Ｙには２５個の演算モジュールが必要になる。このため、コストアップを招くと共に処理時間が長くなる、という問題があった。
【０００５】
特に、色差信号についてＬＰＦを用いて帯域制限処理を行う場合には、Ｒ色差及びＢ色差の２つの信号に対する処理が必要になるため、更に演算規模が増大する。即ち、図７（Ｂ）に示すように、５行５列に配列された２５画素分のＲ色差信号が、ラインメモリ１Ｃｒに順次記憶され、ラインメモリ１Ｃｒから２次元ＬＰＦ２Ｃｒに同時に入力される。同様に、２５画素分のＢ色差信号が、ラインメモリ１Ｃｂから２次元ＬＰＦ２Ｃｂに同時に入力される。この場合、２次元ＬＰＦ２Ｃｒ、２Ｃｂの各々について２５個、合計５０個の演算モジュールが必要になる。
【０００６】
また、デジタルカメラのフォーマットでは、画像データ量の削減のため、得られたＲ色差及びＢ色差の色差信号の各々は、間引き処理部３Ｃｒｂで輝度信号に対して半分のデータサイズに間引かれ、間引かれた信号が多重化（合成）される。
【０００７】
一方、Ｒ色差及びＢ色差の色差信号の各々を最終的には輝度信号に対して半分のデータサイズにすることを利用して、Ｒ色差及びＢ色差の２つの信号に対する処理を、各々１つのラインメモリと１つの２次元ＬＰＦとで行うこともできる。この場合、図８に示すように、間引き処理部３Ｃで予め半分の画素数に間引いた２つの信号を合成する。合成信号は、ラインメモリ１Ｃに順次入力されて記憶され、２５画素分の合成信号が、ラインメモリ１Ｃから２次元ＬＰＦ２Ｃに同時に入力される。このように、Ｒ色差及びＢ色差についてラインメモリと２次元ＬＰＦとを共用化することで、演算規模を小さくすることができる。
【０００８】
しかしながら、画素数を間引くことにより、画像信号にエリアジング成分が発生し、画質が低下する、という問題がある。一方、エリアジング成分を低減するためには、間引き処理を行う前の色差信号に対して予め帯域制限処理を行わなければならず、結果的に演算規模が増加する。
【０００９】
本発明は上記問題を解決すべく成されたものであり、本発明の目的は、演算規模を増加させることなく簡単な回路構成で帯域制限処理を効果的に行うことができる画像信号処理装置を提供することにある。本発明の他の目的は、演算規模を増加させることなく、エリアジング成分を低減することができる画像信号処理装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために本発明の画像信号処理装置は、水平方向及び垂直方向から選択される第１の方向に複数画素配列された画素列が第１の方向と直交する第２の方向に複数行配列されたブロック毎に入力される画素値を、前記画素列毎に処理して該画素列内の注目画素の画素値として出力する第１のフィルタと、前記第１のフィルタで処理された画素列内の注目画素の画素値を処理して目的とする注目画素の画素値として出力する第２のフィルタと、を備えたことを特徴とする。
【００１１】
本発明の画像信号処理装置では、第１のフィルタで第１の方向（例えば、水平方向）に複数画素配列された画素列が第２の方向（例えば、垂直方向）に複数行配列されたブロック毎に入力される画素値を前記画素列毎に処理して該画素列内の注目画素の画素値として出力した後、第１のフィルタで処理された画素列内の注目画素の画素値を、第２のフィルタで処理して目的とする注目画素の画素値として出力する。このように、画像信号の帯域制限処理機能を２つのフィルタに分割し、各画素列の注目画素の画素値を求めた後、これらの注目画素の画素値から目的とする注目画素の画素値を求めることで、第１のフィルタ及び第２のフィルタの回路構成を簡単にすることができ、同等の帯域制限処理をより小さい演算規模で実現することができる。即ち、簡単な回路構成で帯域制限処理を効果的に行うことができる。
【００１２】
上記の画像信号処理装置において、第１のフィルタ及び第２のフィルタのうち垂直方向に配列された画素列を処理するフィルタの前に、入力された画素値を順次記憶して同時に出力するラインメモリを設けることができる。例えば、第１のフィルタで水平方向に複数画素配列された画素列が垂直方向に複数行配列されたブロック毎に入力される画素値を前記画素列毎に処理する場合、第１のフィルタと第２のフィルタとの間に、第１のフィルタから入力された画素値を順次記憶して第２のフィルタに同時に出力するラインメモリを設けることができる。
【００１３】
また、ラインメモリの前に、第１のフィルタ又は第２のフィルタで処理された画素値から一部の画素値のみを取り出してラインメモリに入力する間引き手段を設けることが好ましい。例えば、第１のフィルタで水平方向に複数画素配列された画素列が垂直方向に複数行配列されたブロック毎に入力される画素値を前記画素列毎に処理する場合、第１のフィルタとラインメモリとの間に、第１のフィルタで処理された画素列内の注目画素の画素値から一部の画素値のみを取り出して前記ラインメモリに入力する間引き手段を設けることが好ましい。このように、画素数を間引く際に予めフィルタで処理した画像信号を間引くので、発生するエリアジング成分を低減することができる。
【００１４】
カラーの画像信号の場合には、輝度値と２つの色差値とに分けて帯域制限処理を行う。この場合、画像信号処理装置は、水平方向及び垂直方向から選択される第１の方向に複数画素配列された画素列が第１の方向と直交する第２の方向に複数行配列されたブロック毎に入力される各画素の輝度値を、前記画素列毎に処理して該画素列内の注目画素の輝度値として出力する第１のローパスフィルタと、
前記第１のローパスフィルタで処理された画素列内の注目画素の輝度値を処理して目的とする注目画素の輝度値として出力する第２のローパスフィルタと、前記ブロック毎に入力される各画素の第１の色差値を、水平方向に配列された画素列毎に処理して該画素列内の注目画素の第１の色差値として出力する第３のローパスフィルタと、前記ブロック毎に入力される各画素の第２の色差値を、水平方向に配列された画素列毎に処理して該画素列内の注目画素の第２の色差値として出力する第４のローパスフィルタと、前記第３のローパスフィルタの出力値から一部の色差値を取り出すと共に前記第４のローパスフィルタの出力値から一部の色差値を取り出して、取り出した第１の色差値と第２の色差値とを多重化する多重化手段と、多重化された色差値を処理して目的とする注目画素の色差値として出力する第５のローパスフィルタと、で構成される。
【００１５】
上記の画像信号処理装置では、第１のローパスフィルタで第１の方向に複数画素配列された画素列が第２の方向に複数行配列されたブロック毎に入力される各画素の輝度値を前記画素列毎に処理して該画素列内の注目画素の輝度値として出力した後、第１のローパスフィルタで処理された画素列内の注目画素の輝度値を、第２のローパスフィルタで処理して目的とする注目画素の輝度値として出力する。
【００１６】
このように、輝度値の帯域制限処理機能を２つのフィルタに分割し、各画素列の注目画素の輝度値を求めた後、これらの注目画素の輝度値から目的とする注目画素の輝度値を求めることで、第１のローパスフィルタ及び第２のローパスフィルタの回路構成を簡単にすることができ、同等の帯域制限処理をより小さい演算規模で実現することができる。即ち、簡単な回路構成で帯域制限処理を効果的に行うことができる。
【００１７】
また、上記の画像信号処理装置では、第３のローパスフィルタでブロック毎に入力される各画素の第１の色差値を水平方向配列された複数画素毎に処理して該複数画素内の注目画素の第１の色差値として出力し、第４のローパスフィルタで前記ブロック毎に入力される各画素の第２の色差値を水平方向に配列された画素列毎に処理して該画素列内の注目画素の第２の色差値として出力する。この後、多重化手段により第３のローパスフィルタの出力値から一部の色差値を取り出すと共に第４のローパスフィルタの出力値から一部の色差値を取り出して、取り出した第１の色差値と第２の色差値とを多重化する。そして、第５のローパスフィルタで多重化された色差値を処理して目的とする注目画素の色差値として出力する。
【００１８】
この場合も同様に、２種類の色差値の帯域制限処理機能を２つのフィルタに分割し、水平方向に配列された画素列毎に処理して該画素列内の注目画素の色差値を求めた後、これらの注目画素の色差値から目的とする注目画素の色差値を求めることで、第３乃至第５のローパスフィルタの回路構成を簡単にすることができ、同等の帯域制限処理をより小さい演算規模で実現することができる。即ち、簡単な回路構成で帯域制限処理を効果的に行うことができる。
【００１９】
また、人間の視覚は輝度には敏感であるが、色差にはそれほど敏感ではない。このため、視覚的に重要でない色差値を例えば半分に間引くことで、画質を低下させること無く画像データを圧縮することができる。
【００２０】
更に、画素数が減少した第１の色差値と第２の色差値とを多重化して単一の信号として処理することにより、２種類の色差値について第５のフィルタを共用化することができ、回路構成が非常に簡単になる。
【００２１】
【発明の実施の形態】
以下、図面を参照して本発明の画像信号処理装置をデジタルスチルカメラの信号処理部に適用した実施の形態を詳細に説明する。
【００２２】
図１に示すように、本発明の実施の形態に係るデジタルスチルカメラ１０は、光学レンズ系１２、操作部１４、システム制御部１８、信号発生部２０、タイミング信号発生部２２、ドライバ部２４、絞り調節機構２６、光学ローパスフィルタ２８、色分解部（色フィルタ）ＣＦ、撮像部３０、前処理部３２、Ａ／Ｄ変換部３４、信号処理部（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）３６、圧縮／伸張部３８、記録再生部４０、及びモニタ４２が備えられている。これら各部を順次説明する。
【００２３】
光学レンズ系１２は、例えば、複数枚の光学レンズを組み合わせて構成されている。光学レンズ系１２には、図示しないこれら光学レンズを配置する位置を調節して画面の画角を操作部１４からの操作信号１４Ａに応じて調節するズーム機構や被写体とデジタルスチルカメラ１０との距離に応じてピント調節するＡＦ（Ａｕｔｏｍａｔｉｃ　Ｆｏｃｕｓ：自動焦点）調節機構が含まれている。操作部１４より出力される操作信号１４Ａは、システムバス１６を介してシステム制御部１８に供給される。光学レンズ系１２には、後述する信号発生部２０、タイミング信号発生部２２、ドライバ部２４を介してこれらの機構を動作させる駆動信号２４Ａが供給される。
【００２４】
操作部１４には、図示しないシャッタスイッチや例えばモニタ画面に表示される項目を選択するカーソル選択機能等が備えられている。特に、シャッタスイッチは、複数の段階のそれぞれでデジタルスチルカメラ１０の操作を行なうようにシステムバス１６を介して第１のモードと第２のモードの何れが選択されたかを操作信号１４Ａによりシステム制御部１８に出力して報知する。
【００２５】
システム制御部１８は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ：中央演算処理装置）を備えている。システム制御部１８には、デジタルスチルカメラ１０の動作手順が書き込まれたＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ：読み出し専用メモリ）が含まれる。システム制御部１８は、例えば、ユーザの操作に伴って操作部１４から供給される操作信号１４ＡとこのＲＯＭに記憶された情報を用いて各部の動作を制御する制御信号１８Ａを生成する。システム制御部１８は、生成した制御信号１８Ａを信号発生部２０、前処理部３２、Ａ／Ｄ変換部３４の他に、システムバス１６を介してＤＳＰ３６、圧縮／伸張部３８、記録再生部４０、及びモニタ４２にも供給する。
【００２６】
信号発生部２０はシステム制御部１８からの制御に応じてシステムクロック２０Ａを図示しない発振器により発生する。信号発生部２０は、このシステムクロック２０Ａをタイミング信号発生部２２及びＤＳＰ３６に供給する。また、システムクロック２０Ａは、例えば、システムバス１６を介してシステム制御部１８の動作タイミングとしても供給される。
【００２７】
タイミング信号発生部２２は、供給されるシステムクロック２０Ａを制御信号１８Ａに基づいて各部を動作させるタイミング信号２２Ａを生成する回路を含む。タイミング信号発生部２２は、生成したタイミング信号２２Ａを図１に示すように各部に出力すると共に、ドライバ部２４にも供給する。ドライバ部２４は、上述した光学レンズ系１２のズーム調節機構及びＡＦ調節機構の他、絞り調節機構２６及び撮像部３０にも駆動信号２４Ａをそれぞれ供給する。
【００２８】
絞り調節機構２６は、被写体の撮影において最適な入射光の光束を撮像部３０に供給するように入射光束断面積（すなわち、絞り開口面積）を調節する機構である。絞り調節機構２６にもドライバ部２４から駆動信号２４Ａが供給される。この駆動信号２４Ａは、上述したシステム制御部１８からの制御に応じて行なう動作のための信号である。この場合、システム制御部１８は、撮像部３０で光電変換した信号電荷を基にＡＥ（Ａｕｔｏｍａｔｉｃ　Ｅｘｐｏｓｕｒｅ：自動露出）処理として絞り・露光時間を算出している。この算出した値に対応する制御信号２４Ａがタイミング信号発生部２２に供給された後、絞り調節機構２６には、このタイミング信号発生部２２からのタイミング信号２２Ａに応じた駆動信号２４Ａがドライバ部２４から供給される。
【００２９】
撮像部３０では光電変換する撮像素子（受光素子）を光学レンズ系１２の光軸と直交する平面（撮像面）が形成されるように配置されている。また、撮像素子の入射光側には、個々の撮像素子に対応して光学像の空間周波数をナイキスト周波数以下に制限する光学ローパスフィルタ２８と一体的に色分解する色フィルタＣＦが一体的に配設されている。本実施の形態では、単板方式の色フィルタを用いて撮像する。色フィルタＣＦの配列等については後述する。
【００３０】
撮像素子には、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ：電荷結合素子）やＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：金属酸化型半導体）タイプの固体撮像デバイスが適用される。撮像部３０では、供給される駆動信号２４Ａに応じて光電変換によって得られた信号電荷を所定のタイミングとして、例えば、信号読み出し期間における電子シャッタのオフの期間にフィールドシフトにより垂直転送路に読み出され、この垂直転送路をラインシフトした信号電荷が水平転送路に供給され、この水平転送路を経た信号電荷が図示しない出力回路による電流／電圧変換によってアナログ電圧信号３０Ａにされ、前処理部３２に出力される。
【００３１】
前処理部３２には、図示しないＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関二重サンプリング：以下ＣＤＳという）部を含んで構成されている。ＣＤＳ部は、例えば、ＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部２２からのタイミング信号２２Ａによりクランプするクランプ回路と、タイミング信号２２Ａによりアナログ電圧信号３０Ａをホールドするサンプルホールド回路を有する。ＣＤＳ部は、ノイズ成分を除去してアナログ出力信号３２ＡをＡ／Ｄ変換部３４に送る。Ａ／Ｄ変換部３４は、供給されるアナログ出力信号３２Ａの信号レベルを所定の量子化レベルにより量子化してデジタル信号３４Ａに変換するＡ／Ｄ変換器を有する。Ａ／Ｄ変換部３４は、タイミング信号発生部２２から供給される変換クロック等のタイミング信号２２Ａにより変換したデジタル信号３４ＡをＤＳＰ３６に出力する。
【００３２】
ＤＳＰ３６は、撮像部３０の読み出しモードに応じて信号処理を行なうように構成されている。ＤＳＰ３６の構成については後述する。
【００３３】
圧縮／伸張部３８は、例えば、直交変換を用いたＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格での圧縮を施す回路と、この圧縮した画像を再び元のデータに伸張する回路とを有する。圧縮／伸張部３８は、システム制御部１８の制御により記録時には圧縮したデータをシステムバス１６を介して記録再生部４０に供給する。また、圧縮／伸張部３８は、後述する色差マトリクスで得られるデータをシステム制御部１８の制御によりスルーさせ、システムバス１６を介してモニタ４２に供給することもできる。圧縮／伸張部３８が伸張処理を行なう場合、逆に記録再生部４０から読み出したデータをシステムバス１６を介して圧縮／伸張部３８に取り込んで処理する。ここで、処理されたデータもモニタ４２に供給して表示させる。
【００３４】
記録再生部４０は、記録媒体に記録する記録処理部と、記録媒体から記録した画像データを読み出す再生処理部とを含む。記録媒体には、例えば、所謂スマートメディアのような半導体メモリや磁気ディスク、光ディスク等がある。磁気ディスク、光ディスクを用いる場合、画像データを変調する変調部と共に、この画像データを書き込むヘッドがある。
【００３５】
モニタ４２は、システム制御部１８の制御に応じてシステムバス１６を介して供給される輝度データ及び色差データ、又は３原色ＲＧＢのデータを、画面の大きさを考慮すると共に、タイミング調整して表示する機能を有する。
【００３６】
ＤＳＰ３６は、図２に示すように、データ補正部４４、Ｙｈ補間部４６、及び加算器４８を含んで構成されている。データ補正部４４は、入力されるデジタルデータのゲインバランスを調整するゲイン補正、補色を原色に変換するマトリクス（３×３行の行列等を使用）、自動的にホワイトバランスの調整を行なうＡＷＢ（Ａｕｔｏｍａｔｉｃ　Ｗｈｉｔｅ　Ｂａｌａｎｃｅ）や色の補正を行なうガンマ補正等を行なう。特にガンマ補正は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）に供給されるデジタル信号とこのデジタル信号に対応して出力する補正データとを組にした複数のデータセットの集まりであるルックアップテーブルを用いる。これら一連のデータ補正においてもタイミング信号発生部２２からのタイミング信号２２Ａに応じて各補正を行なう。データ補正部４４は、この処理した補正信号（補正データ）を補色から原色に色変換した色（Ｒ、Ｇ、Ｂ）毎に加算器４８に出力する。
【００３７】
また、Ｙｈ補間部４６は、Ａ／Ｄ変換部３４より得られるデジタル信号を基にこの仮想画素での輝度データ（Ｙｈ信号）を生成すると共に仮想画素の補間を行なう機能を有する。Ｙｈ補間部４６は、ハイパスフィルタ（ＨＰＦ；Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）５０を介して生成したＹｈ信号を加算器４８に出力する。なお、ＨＰＦ５０は、供給されるプレーンなＹｈ信号の高域成分だけを通過させるデジタルフィルタである。
【００３８】
加算器４８は、データ補正部４４によって各補正が行なわれることによって得られるＲＧＢ画素データ（ｒ、ｇ、ｂ）及びＹｈ補間部４６によって生成されたＹｈ信号５０Ａを加算することにより、高域成分を有するプレーンな画素データを生成する。加算器４８はプレーンな画素データを色差マトリクス５２に出力する。
【００３９】
色差マトリクス５２は、供給されるプレーンな画素データ（Ｒ、Ｇ、Ｂ各色毎のデータ）に基づいて帯域の延びた輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を生成する。これら３つの画素データは、各色に定めた混合割合で乗算演算することによって得られる。混合割合を決める係数は、従来からの値を用いる。色差マトリクス５２は、得られた輝度データＹを輝度フィルタリング処理部５４に出力し、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を色差フィルタリング処理部５８に出力する。また、輝度フィルタリング処理部５４で処理して得られた輝度データＹは、輝度データ補正部５６へ出力され、色差フィルタリング処理部５８で処理して得られた色差データＣは、色差ゲイン調整部６０に出力される。
【００４０】
輝度データ補正部５６は、供給される輝度データＹに対して高域でのレスポンスの低下を補うように、例えばトランスバーサルフィルタ等によって構成されている。この処理を施すことにより、画像表示した際に画像の輪郭が強調される。また、色差ゲイン調整部６０は、色差データＣのゲインを調整する。このように、輝度データ補正部５６、色差ゲイン調整部６０によってデータが処理されて色信号のレベルが向上することにより、画像表示した際の映像を高品位な解像度及び彩度の高いものにすることができる。輝度データ補正部５６、色差ゲイン調整部６０はそれぞれ、輝度データＹ、色差データＣを図１に示す圧縮／伸張部３８に出力する。
【００４１】
輝度フィルタリング処理部５４は、図３（Ａ）に示すように、１ブロック分の輝度データＹを画素列毎に処理して、該画素列中央に位置する画素を注目画素としてこの画素の輝度値を出力する１次元のローパスフィルタ（ＬＰＦ）６２と、ＬＰＦ６２から入力された画素列内での注目画素の輝度値を順次記憶して同時に出力するラインメモリ６４と、ラインメモリ６４から入力された複数の輝度値を処理して目的とする注目画素の輝度値を出力する１次元のＬＰＦ６６と、を備えている。
【００４２】
また、色差フィルタリング処理部５８は、図３（Ｂ）に示すように、１ブロック分の色差データ（Ｒ−Ｙ）を画素列毎に処理して、該画素列中央に位置する画素を注目画素としてこの画素のＲ色差値を出力する１次元のＬＰＦ６８と、１ブロック分の色差データ（Ｂ−Ｙ）を画素列毎に処理して、該画素列中央に位置する画素を注目画素としてこの画素のＢ色差値を出力する１次元のＬＰＦ７０と、画素列内での注目画素のＲ色差値及びＢ色差値の各々から一部の色差値を取り出し多重化し、多重化した色差データＣを出力する間引き処理部７２と、間引き処理部７２から入力された色差データＣを順次記憶して同時に出力するラインメモリ７４と、ラインメモリ７４から入力された複数の色差値を処理して目的とする注目画素の色差値を出力する１次元のＬＰＦ７６と、を備えている。
【００４３】
１次元のＬＰＦ６２、６６、６８、７０、７６は、図４に示すように、ＦＩＲ（Ｆｉｎｉｔｅ　Ｉｍｐｕｌｓｅ　Ｒｅｓｐｏｎｓｅ）フィルタ等の１次元のディジタルフィルタで構成されている。このＦＩＲフィルタは、遅延回路８０_１〜８０_Ｍ、乗算器８２_０〜８２_Ｍ、及び加算器８４で構成されており、入力信号を遅延回路８０_１〜８０_Ｍで遅延させて得られた（Ｍ＋１）個の信号の各々に、乗算器８２_０〜８２_Ｍで係数ａ_ｋ（ｋ＝０〜Ｍの整数）を乗じ、加算器８４で各乗算値の総和を演算するものである。ここで、｛ｘ（ｎＴ）｝は入力信号系列、｛ｙ（ｎＴ）｝は出力信号系列、Ｔは遅延時間、ｎは整数である。また、本実施の形態では、Ｍ＝４である。
【００４４】
ＬＰＦ６２、６８、７０のように、水平方向に配列された画素数１×５の画素列について処理を行うＬＰＦは、図５（Ａ）に示すように、各画素の画素値にローパスフィルタリング処理するための係数ａ_０〜ａ_４を乗算して総和を演算し、この総和を画素列の中央に位置する画素（斜線部分）の画素値として出力する。また、ＬＰＦ６６、７６のように、垂直方向に配列された画素数５×１の画素列について処理を行うＬＰＦは、図５（Ｂ）に示すように、各画素の画素値にローパスフィルタリング処理するための係数ｂ_０〜ｂ_４を乗算して総和を演算し、この総和を画素列の中央に位置する画素（斜線部分）の画素値として出力する。
【００４５】
次に、上記のデジタルスチルカメラ１０の動作について説明する。デジタルスチルカメラ１０に電源を投入すると、システム制御部１８によって各種の初期設定が行なわれ、操作可能状態になる。一般的に、モニタ４２に撮像画像を表示させるモードにしてモニタ表示させたり、レリーズボタンが押される等のユーザによる各種操作が行なわれる。
【００４６】
ドライバ部２４から供給される駆動信号に応じて撮像部３０からの撮像信号の読出しが行なわれ、読み出された信号に対して、前処理部３２でＣＤＳ処理等の前処理が行なわれる。ＣＤＳ処理により撮像部３０からの信号に含まれるノイズ成分が除去される。この読出しは、インターレース走査して得られた同一フィールドの信号電荷を混合して読み出すフィールド蓄積２ライン混合読出しである。次に、前処理部３２からのアナログ出力信号３２ＡをＡ／Ｄ変換部３４でデジタル信号３４Ａに変換する。この変換により各受光素子ＰＤからの信号電荷が画素データに変換され、以後の信号処理をデジタル処理で行なうことができる。
【００４７】
次に、ＤＳＰ３６で画素データ変換処理が行なわれる。Ａ／Ｄ変換部３４からデジタルデータが入力されると、データ補正部４４で入力されたデータについてゲイン補正、ガンマ補正等の処理を行い、処理した補正信号（補正データ）を補色から原色に色変換した色（Ｒ、Ｇ、Ｂ）毎に加算器４８に出力する。加算器４８は、ＲＧＢ画素データ（ｒ、ｇ、ｂ）及びＹｈ補間部４６によって生成されたＹｈ信号５０Ａを加算することにより、高域成分を有するプレーンな画素データを生成し、色差マトリクス５２に出力する。
【００４８】
色差マトリクス５２は、供給される画素データに基づいて輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を生成し、得られた輝度データＹを輝度フィルタリング処理部５４に出力し、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）を色差フィルタリング処理部５８に出力する。輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）の各々は、水平方向に複数画素配列された画素列が垂直方向に複数行配列された正方形の画素ブロック（ウインドウ）毎に処理される。
【００４９】
輝度フィルタリング処理部５４では、ＬＰＦ６２が、画素数５×５の領域分の輝度データＹを水平方向に配列された１×５の画素列毎に処理して、各画素列の中央に位置する画素の輝度値を出力する。ＬＰＦ６２で得られた各画素列内の中央に位置する画素の輝度値は、ラインメモリ６４に順次記憶され、ＬＰＦ６６に同時に出力される。各画素列内の注目画素は垂直方向に配列されているので、ＬＰＦ６６は、垂直方向に配列された５×１の画素列の各画素の輝度値を処理して、該画素列の中央に位置する画素の輝度値を出力する。
【００５０】
上述した通り、ＬＰＦ６２は、図５（Ａ）に示すように、要素がａ_０〜ａ_４の１行行列で表されるフィルタ特性を備え、ＬＰＦ６６は、図５（Ｂ）に示すように、要素がｂ_０〜ｂ_４の１列行列で表されるフィルタ特性を備えている。従って、ＬＰＦ６２とＬＰＦ６６とで順次処理することにより、図５（Ｃ）に示すように、上記１行行列と上記１列行列を乗算して得られる５行５列のマトリックスで表されるフィルタ特性を備えた２次元のＬＰＦで処理するのと同様の効果を得ることができる。即ち、画素数５×５の領域の各画素の画素値に係数ａ_０ｂ_０〜ａ_４ｂ_４を乗算して総和を演算し、この総和を領域中央に位置する画素（斜線部分）の画素値として出力するフィルタ特性を備えた２次元のＬＰＦで処理する場合と同様の画素値が、ＬＰＦ６６から出力される。これが目的とする注目画素の画素値である。
【００５１】
この通り、１次元のデジタルフィルタであるＬＰＦ６２とＬＰＦ６６とで順次処理することにより、簡単な回路構成で２次元のデジタルフィルタで処理したのと同じレベルのフィルタリング処理を行うことができ、輝度信号から高周波成分を除去して偽信号及び偽色の発生を低減することができる。このようにして高周波成分が除去された輝度データＹが輝度データ補正部５６へ出力される。
【００５２】
また、色差フィルタリング処理部５８では、ＬＰＦ６８が画素数５×５の領域分の色差データ（Ｒ−Ｙ）を水平方向に配列された１×５の画素列毎に処理して、各画素列の中央に位置する画素のＲ色差値を出力し、ＬＰＦ７０が同じ領域分の色差データ（Ｂ−Ｙ）を水平方向に配列された１×５の画素列毎に処理して、各画素列の中央に位置する画素のＢ色差値を出力する。
【００５３】
ＬＰＦ６８、ＬＰＦ７０で得られた各画素列内の中央に位置する画素のＲ色差値、Ｂ色差値は、間引き処理部７２に順次入力される。ＬＰＦ６８、ＬＰＦ７０で予め処理された画素値について間引き処理を行うので、間引き処理によるエリアジング成分の発生が低減される。
【００５４】
間引き処理部７２では、例えば、図６（Ａ）に示すように、入力順に配列されたＲ色差値（Ｃ_ｒ１〜Ｃ_ｒ４）、Ｂ色差値（Ｃ_ｂ１〜Ｃ_ｂ４）の各々から、図６（Ｂ）に示すように、奇数番目の色差値だけを選択的に取り出して、図６（Ｃ）に示すように、選択されたＲ色差値及びＢ色差値を交互に再配列して出力する。この結果、Ｒ色差データ及びＢ色データの各々は元の画素数に対して半分の画素数に間引かれ、間引かれたデータが多重化されて、輝度データと同じ大きさの色差データＣが出力される。
【００５５】
多重化された色差値は、ラインメモリ７４に順次記憶され、ＬＰＦ７６に同時に出力される。各画素列内の中央に位置する画素は垂直方向に配列されているので、ＬＰＦ７６は、垂直方向に配列された５×１の画素列の各画素の色差値を処理して、該画素列の中央に位置する画素の色差値を出力する。Ｒ色差とＢ色差のデータを多重化することで、色差データを単一のラインメモリ７４と単一のＬＰＦ７６で処理することができる。
【００５６】
輝度値の場合と同様に、１次元のデジタルフィルタであるＬＰＦ６８，７０及びＬＰＦ７６で順次処理することにより、簡単な回路構成で２次元のデジタルフィルタで処理したのと同じレベルのフィルタリング処理を行うことができ、色差信号から高周波成分を除去して偽信号及び偽色の発生を低減することができる。このようにして高周波成分が除去された色差データＣが色差ゲイン調整部６０へ出力される。
【００５７】
輝度データＹは、輝度データ補正部５６で処理された後、システムバス１６を介してモニタ４２に供給され、色差データＣは、色差ゲイン調整部６０で処理された後、システムバス１６を介してモニタ４２に供給される。モニタ４２にデータ（輝度データ、色差データ）が供給されると、画像がモニタ４２に表示される。
【００５８】
また、システム制御部１８において、自動的に適正な露出制御を行なわせるための自動制御演算処理が行なわれる。自動制御演算処理は、画素変換処理の途中過程で得られる３原色の画素データＲＧＢを用いて行なわれる。さらに、ここで得られた値に応じて制御信号１８Ａが上述した各部に供給され絞り調節機構２６やＡＦ（Ａｕｔｏｍａｔｉｃ　Ｆｏｃｕｓ：自動焦点）調整機構が調節される。
【００５９】
一方、ユーザによりレリーズボタンが全押しされた場合、撮像部３０にはこのモードに応じた駆動信号２４Ａが供給される。この場合、撮像部３０では、全画素読出しが行なわれ、読み出された信号に対して順次前処理、Ａ／Ｄ変換処理が行なわれる。全画素読出しされた信号（補色の画素データ）は、ＤＳＰ３６に供給される。
【００６０】
ＤＳＰ３６のデータ補正部４４では、上述と同様に、供給された画素データに対して各種の補正が施され、Ｙｈ補間部４６では、供給された補色の画素データを基にこの仮想画素での輝度データ（Ｙｈ信号）が生成され、加算器４８では、データ補正部４４によって各種補正がなされることによって得られた３原色ＲＧＢの画素データｒ、ｇ、ｂと、Ｙｈ補間部４６で生成されたＹｈ信号５０Ａと、が加算されて高解像度広帯域信号の３原色画素データが生成される。周波数領域で見た場合、この信号処理を施すことによって、より画素データの帯域を広域化している。この広域化した画素データの各データから輝度データＹ、色差データ（Ｒ−Ｙ）、（Ｂ−Ｙ）へと信号出力形式の変換がなされると共に、画像として表示した際の品質をより高くする信号処理がなされる。
【００６１】
次に、これらの信号処理によって得られた輝度データＹ、色差データＣが、圧縮／伸張部３８、システムバス１６を介して記録再生部４０やモニタ４２にそれぞれ供給される。
【００６２】
以上説明した通り、本実施の形態では、輝度フィルタリング処理部５４において、１次元のデジタルフィルタであるＬＰＦ６２で１ブロック分の輝度データＹを画素列毎に処理して画素列内で中央に位置する画素の輝度値を求め、同じく１次元のデジタルフィルタであるＬＰＦ６６で、ＬＰＦ６２で得られた輝度値を処理して目的とする注目画素の輝度値を求めることにより、より小さい演算規模で２次元のデジタルフィルタと同等のフィルタリング処理を実施することができる。
【００６３】
また、色差フィルタリング処理部５８においても同様に、１次元のデジタルフィルタであるＬＰＦ６８、７０で１ブロック分の色差データＲ−Ｙ、Ｂ−Ｙを画素列毎に処理して画素列内で中央に位置する画素の色差値を求め、同じく１次元のデジタルフィルタであるＬＰＦ７６でＬＰＦ６８、７０で得られた色差値を処理して目的とする注目画素の色差値を求めることにより、より小さい演算規模で２次元のデジタルフィルタと同等のフィルタリング処理を実施することができる。
【００６４】
また、色差フィルタリング処理部５８では、間引き処理部７２で、ＬＰＦ６８、７０で処理して得られたＲ色差値及びＢ色差値の各々から一部の色差値を取り出し多重化することで、多重化された色差データＣを、単一のラインメモリ７４と単一のＬＰＦ７６で処理することができるので、Ｒ色差とＢ色差の各々について処理を行う場合と比較して、色差フィルタリング処理部５８の回路構成が一層簡素化される。
【００６５】
更に、予めＬＰＦ６８、７０で処理した後に間引き処理を行うので、間引き処理により発生するエリアジング成分を低減することができる。
【００６６】
なお、本実施の形態では、画素数５×５の領域毎に処理する場合について説明したが、画素数は５×５には限定されない。また、本実施の形態では、１ブロック分の輝度データＹを第１のＬＰＦで水平方向に配列された画素列毎に処理した後、画素列内での注目画素の輝度値として得られた複数の輝度値を第２のＬＰＦで処理しているが、順序を入れ替えて、第１のＬＰＦで垂直方向に配列された画素列毎に処理した後、得られた複数の輝度値を第２のＬＰＦで処理するようにしてもよい。
【００６７】
【発明の効果】
本発明の画像信号処理装置によれば、演算規模を増加させることなく簡単な回路構成で帯域制限処理を効果的に行うことができる、という効果を得ることができる。
【００６８】
また、予め第１のフィルタで処理した画素値について間引き処理を行う場合には、演算規模を増加させることなく、エリアジング成分を低減することができる、という効果を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るデジタルスチルカメラの概略的な構成を示すブロック図である。
【図２】本発明の実施の形態に係るデジタルスチルカメラにおけるＤＳＰの概略的な構成を示すブロック図である。
【図３】（Ａ）は図２に示すＤＳＰの輝度フィルタリング処理部の概略的な構成を示すブロック図であり、（Ｂ）は図２に示すＤＳＰの色差フィルタリング処理部の概略的な構成を示すブロック図である。
【図４】（Ａ）〜（Ｃ）は、本実施の形態で使用するローパスフィルタ（ＬＰＦ）のフィルタ特性を説明するための説明図である。
【図５】ＦＩＲフィルタの回路図である。
【図６】（Ａ）〜（Ｃ）は、画素の間引き処理及び多重化を説明するための模式図である。
【図７】（Ａ）及び（Ｂ）は，従来のフィルタリング処理部の構成を示すブロック図である。
【図８】従来のフィルタリング処理部の他の構成を示すブロック図である。
【符号の説明】
１０　　デジタルスチルカメラ
３０　　撮像部
３４　　Ａ／Ｄ変換部
３６　　ＤＳＰ
４６　　Ｙｈ補間部
５４　　輝度フィルタリング処理部
６２、６６、６８、７０、７６　　ローパスフィルタ（ＬＰＦ）
６４、７４　　ラインメモリ
５８　　色差フィルタリング処理部
７２　　間引き処理部

Claims

水平方向及び垂直方向から選択される第１の方向に複数画素配列された画素列が第１の方向と直交する第２の方向に複数行配列されたブロック毎に入力される画素値を、前記画素列毎に処理して該画素列内の注目画素の画素値として出力する第１のフィルタと、
前記第１のフィルタで処理された画素列内の注目画素の画素値を処理して目的とする注目画素の画素値として出力する第２のフィルタと、
を備えた画像信号処理装置。
前記第１のフィルタ及び前記第２のフィルタのうち垂直方向に配列された画素列を処理するフィルタの前に、入力された画素値を順次記憶して同時に出力するラインメモリを設けた請求項１に記載の画像信号処理装置。
前記ラインメモリの前に、前記第１のフィルタ又は前記第２のフィルタで処理された画素値から一部の画素値のみを取り出して前記ラインメモリに入力する間引き手段を設けた請求項２に記載の画像信号処理装置。
水平方向及び垂直方向から選択される第１の方向に複数画素配列された画素列が第１の方向と直交する第２の方向に複数行配列されたブロック毎に入力される各画素の輝度値を、前記画素列毎に処理して該画素列内の注目画素の輝度値として出力する第１のローパスフィルタと、
前記第１のローパスフィルタで処理された画素列内の注目画素の輝度値を処理して目的とする注目画素の輝度値として出力する第２のローパスフィルタと、
前記ブロック毎に入力される各画素の第１の色差値を、水平方向に配列された画素列毎に処理して該画素列内の注目画素の第１の色差値として出力する第３のローパスフィルタと、
前記ブロック毎に入力される各画素の第２の色差値を、水平方向に配列された画素列毎に処理して該画素列内の注目画素の第２の色差値として出力する第４のローパスフィルタと、
前記第３のローパスフィルタの出力値から一部の色差値を取り出すと共に前記第４のローパスフィルタの出力値から一部の色差値を取り出して、取り出した第１の色差値と第２の色差値とを多重化する多重化手段と、
多重化された色差値を処理して目的とする注目画素の色差値として出力する第５のフィルタと、
を備えた画像信号処理装置。