JP2013012851A - 画像処理装置及びその制御方法並びにプログラム - Google Patents

Abstract

【課題】 撮像素子から得られた信号の画素数より少ない画素数に変換して現像を行う場合に、撮像した際に発生する折り返りノイズが残留する。
【解決手段】 画素密度の異なる複数色のカラー配列を持つ入力画像を縮小した縮小画像を生成する縮小手段、縮小画像から輝度信号および輪郭補償用輝度信号を生成する輝度信号手段、輪郭補償用輝度信号に対してフィルタ処理を行って輪郭補償信号を生成する輪郭補償手段、および、輝度信号と輪郭補償信号を合成する合成手段を有する画像処理装置を提供する。ここで、輝度信号生成手段は、縮小画像の縮小倍率に応じて輪郭補償用輝度信号の生成方法を異ならせるものであり、縮小倍率が閾値より大きい場合には、閾値以下である場合に比べて、入力画像における画素密度の高い色信号が輪郭補償用輝度信号に含まれる比率を高くする。
【選択図】 図２

Description

本発明は、撮像素子より得られる信号から縮小した画像を生成する画像処理技術に関する。

近年、ＣＭＯＳセンサなどの撮像素子が進化し、撮像した信号を高速に読み出すことが可能となってきている。これに伴い、フルＨＤ動画や４Ｋ２Ｋ動画など動画の高画素化が進んできている。また、撮像素子からの読み出しの画素数を動画の記録画素数よりも多く読み出し、処理の途中で信号を間引いて画像を生成することでオーバーサンプリングの効果を得ることもできるため、高画質な動画を生成することが可能となってきている。

一方で、動画のフレームレートを満たすように処理できる画素数には上限があり、それを超える場合には現像処理に工夫が必要となる。例えば、撮像素子から読み出した画素をそのままの画素数で現像を行い最後に縮小するのは、処理を行うデータ数が多いため処理系に高い負荷がかかってしまう。したがって、撮像素子から読み出した後なるべく早い段階で画像を縮小し、縮小後の画像を現像処理することで処理するデータ量を減らす方法が考えられる。

撮像素子から得たＲＡＷ画像の段階で間引きを行う処理として、例えば、次のような処理が知られている（特許文献１）。ＲＡＷ画像から一度輝度信号や色信号を生成し、輝度信号および色信号それぞれにフィルタリングを行ったのち画素を間引く。その間引いた輝度信号および色信号を合成してＲＡＷ画像に戻す。このように構成することでＲＡＷ画像に対しての間引き処理を実現している。また、さらに間引く際のフィルタ係数を縮小倍率に応じて変更することによって間引きによる折り返りを防ぐ方法が開示されている。

特開２０１０−００４４７２号公報

しかしながら、上述した従来の方法においては、センサのカラーフィルタ配列および色信号に応じて撮像素子から得られる信号の帯域が異なることについては考慮されていない。そのため、単純に輝度信号として一律に間引き処理を行うだけでは折り返りの弊害が発生してしまう可能性がある。

例えば、撮像素子のカラーフィルタの配列が図６のようなベイヤー配列である場合で説明する。図６のようなフィルタ配列の場合、Ｇ１とＧ２を同じＧ信号とみなすと、Ｇ信号の画素の密度はＲおよびＢ信号のそれぞれの画素密度よりも高くなり、Ｇ信号の帯域とＲおよびＢ信号の帯域はそれぞれ図７のようになる。Ｇ信号の帯域は白色領域（斜線領域含む）内であり、白色領域の外側は折り返り信号となる。この白色領域は、水平および垂直方向の帯域はナイキスト周波数以下であって、斜め４５度および１３５度方向の帯域はナイキスト周波数の１／√２で表される周波数以下である。また、ＲおよびＢ信号の帯域は斜線領域内であり、外側は折り返り信号となる。この斜線領域は、水平および垂直方向の帯域はナイキスト周波数の１／２以下であって、斜め４５度および１３５度の帯域は白色領域と一致する。撮像素子から読み出された画像を水平および垂直にそれぞれ１／２以下のサイズに縮小する場合には、すべての色信号について帯域内（斜線領域）の信号のみが残るため折り返り信号はほとんど残留しない。一方で、撮像素子から読み出された画像を１／２以上のサイズに縮小する場合には、例えば、図の破線内の帯域が残るため、Ｇ信号は斜めの折り返り（網点領域部分）が残留するものの水平および垂直方向の折り返りはほとんど残らない。しかし、ＲおよびＢ信号については縮小前に既に折り返っている部分（斜線領域の外側）があるため、縮小後も折り返り信号が残留してしまう。

本発明は、上記問題に鑑みてなされたものである。すなわち本発明は、撮像素子から得られた信号の画素数より少ない画素数に変換して現像を行う際に、折り返り信号を好適に抑えることを可能にすることを目的とする。

本発明の一側面によれば、画素密度の異なる複数色のカラー配列を持つ入力画像を縮小した縮小画像を生成する縮小手段と、前記縮小画像から輝度信号及び輪郭補償用輝度信号を生成する輝度信号生成手段と、前記輪郭補償用輝度信号に対してフィルタ処理を行って輪郭補償信号を生成する輪郭補償手段と、前記輝度信号と前記輪郭補償信号を合成する合成手段を有し、前記輝度信号生成手段は、前記入力画像に対する前記縮小画像の画素数の比を示す縮小倍率に応じて、前記輪郭補償用輝度信号の生成方法を異ならせるものであり、前記縮小倍率が閾値より大きい場合には、前記縮小倍率が閾値以下である場合に比べて、前記入力画像における画素密度の高い色信号が前記輪郭補償用輝度信号に含まれる比率を高くすることを特徴とする画像処理装置が提供される。

本発明によれば、撮像素子から得た信号を縮小して現像する際に、折り返りを好適に抑えた画像を得ることができる。

実施形態におけるデジタルカメラの概略構成を示す図。 第１の実施形態における画像処理回路の構成の一部を示す図。 図２の画像処理回路による処理内容を示すフローチャート。 第２の実施形態における画像処理回路の構成の一部を示す図。 図４の画像処理回路による処理内容を示すフローチャート。 撮像素子のカラーフィルタ配列の例を示す図。 撮像素子から得られる色信号の帯域を説明する図。

（第１の実施形態）
図１は、本発明の実施の形態におけるデジタルカメラの概略構成を示す図である。本発明は、画像信号に対して画像処理を施すことができる画像処理装置であれば、デジタルカメラに限らず、デジタルビデオカメラやパーソナルコンピュータなどでも実現することが可能である。

図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り装置、および、シャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等の光電変換素子であり、被写体像を電気信号に変換して画像信号を生成する。本実施形態では撮像素子１０２はＣＣＤで構成されているものとする。また、撮像素子１０２は、複数色のカラー配列、例えば図６に示すようなベイヤー型のカラー配列を持つものとする。

前置処理回路１０３は、ＣＤＳ（Correlated Double Sampling）回路や増幅回路を備えている。ＣＤＳ回路は撮像素子１０２で生成された画像信号に含まれている暗電流を抑圧し、増幅回路はＣＤＳ回路から出力された画像信号を増幅する。Ａ／Ｄ変換器１０４は、前置処理回路１０３から出力された画像信号をデジタルの画像信号に変換する。

画像処理回路１０５は、画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、エッジ強調補正処理などを行い、画像信号を輝度信号Ｙおよび色差信号Ｕ、Ｖとして出力する。また、画像処理回路１０５は、画像信号から被写体の輝度値や被写体のピント状態を示す合焦値も算出する。画像処理回路１０５はＡ／Ｄ変換器１０４から出力された画像信号のみでなく、記録媒体１０９から読み出した画像信号に対しても同様の画像処理を行うことができる。

制御回路１０６は、本実施形態のデジタルカメラを構成する各回路を制御して、デジタルカメラの動作を統括する。画像処理回路１０５で処理された画像信号から得られる輝度値や操作部材１１０から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。

表示メモリ１０７は、表示装置１０８で表示する画像の元になる画像信号を一時的に記憶するメモリである。表示装置１０８は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像信号や、記録媒体１０９から読み出した画像信号を用いて、画像を表示する。撮像素子１０２から読み出される連続した画像信号を、随時更新して表示することで、電子的なビューファインダーとして機能することが可能である。表示装置１０８は画像だけではなく、デジタルカメラの状態表示、ユーザが選択あるいはカメラが決定したシャッター速度、絞り値、あるいは、感度情報などの文字情報、画像処理回路１０５にて測定した輝度分布を示すグラフ等も表示することが可能である。記録媒体１０９は、このデジタルカメラに着脱可能に構成されたものであっても、デジタルカメラに内蔵されたものであってもよい。

操作部材１１０は、ユーザがデジタルカメラに指示を送るために操作する部材である。バス１１１は、画像処理回路１０５、制御回路１０６、表示メモリ１０７、および、記録媒体１０９の間で画像信号をやり取りするために用いられる。

次に、本実施形態におけるデジタルカメラの動画撮影時の動作の一例について説明する。

ユーザによって操作部材１１０が操作され、撮影準備を開始する指示が送られると、制御回路１０６がそれぞれの回路の動作の制御を開始する。

撮像素子１０２が光学系１０１を透過した被写体像を光電変換してアナログの画像信号を生成し、Ａ／Ｄ変換器１０４が前置処理回路１０３によって処理されたアナログの画像信号をデジタル化する。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号に対して、ホワイトバランス処理、ノイズ抑圧処理、階調変換処理、輪郭補正処理などを行う。

画像処理回路１０５で処理された画像信号は、表示メモリ１０７を介して、表示装置１０８で画像として表示される。上述したように、撮像素子１０２で連続的に画像信号を生成し、表示装置１０８が読み出される連続した画像信号を用いて、被写体の画像をリアルタイムで更新して表示することで、電子的なビューファインダーとして機能する。

ユーザが操作部材１１０に含まれるシャッターボタンを操作するまで、これらの処理を繰り返す。ユーザがシャッターボタンを操作すると、記録媒体１０９に画像処理回路１０５から出力された画像信号を記録する。

ここで、本発明の特徴である、画像処理回路１０５における現像処理について詳細に説明を行う。図２は、画像処理回路１０５の構成の一部を示す図である。

本実施形態の画像処理回路１０５は、縮小回路２０１、輝度色信号生成回路２０２、輪郭補償用輝度信号生成回路２０３、輪郭補償回路２０４、合成回路２０５を含む。

図３は、上記回路の処理内容を説明するためのフローチャートである。画像処理回路１０５は、Ａ／Ｄ変換器１０４から出力された画像信号を受け取ると、図３のフローチャートに示す処理を行う。なお、ホワイトバランス処理や階調変換処理などは省略する。

ステップＳ００１において、縮小回路２０１が、入力画像（ベイヤー配列）のＲ、Ｇ１、Ｇ２、Ｂを色信号毎に分離し、それぞれの色信号に対してフィルタ係数［１、２、１］のローパスフィルタを適用することで補間を行う。これにより、各画素にＲ、Ｇ１、Ｇ２、Ｂのすべての色信号が生成される。さらに、各色信号に対して、所定の縮小倍率で水平および垂直方向に間引き処理を行うことで縮小された各色信号を生成する。

ステップＳ００２において、輝度色信号生成回路２０２が、各色信号の縮小画像を用いて輝度信号Ｙおよび色信号ＵＶを生成する。輝度信号は着目する画素毎に、例えば、次式に従って生成される。
Ｙ ＝ ０．３Ｒ＋０．３Ｇ１＋０．３Ｇ２＋０．１Ｂ
また、色信号は、例えば、次式に従って生成される。
Ｕ ＝ Ｂ − Ｙ
Ｖ ＝ Ｒ − Ｙ

ステップＳ００３において、輪郭補償用輝度信号生成回路２０３が、輝度色信号生成回路２０２と並行して、各縮小画像から輪郭補償を行うための輝度信号ＹＡを生成する。輪郭補償用輝度信号ＹＡは縮小倍率α（０＜α＜１）によって生成方法が変更される。例えば、
α≦１／２のとき、 ＹＡ＝０．３Ｒ＋０．３Ｇ１＋０．３Ｇ２＋０．１Ｂ
α＞１／２のとき、 ＹＡ＝０．５Ｇ１＋０．５Ｇ２
のように生成される。なお、縮小倍率αは、撮像素子１０２から間引かずに読み出された画像の水平および垂直方向のそれぞれの画素数に対する、縮小後の画像の水平および垂直方向のそれぞれの画素数の比率を示す。すなわち、元の画像が３０００万×４０００万画素で構成されており、縮小倍率αが１／２、１／４であれば、縮小後の画像はそれぞれ１５００万×２０００万画素、７５０万×１０００万画素で構成されることを示す。

本実施形態では、縮小倍率αが１／２以下であれば、Ｒ、Ｇ１、Ｇ２、Ｂのいずれの色信号においても折り返り信号が残留しないので、Ｒ、Ｇ１、Ｇ２、Ｂの全ての色信号を用いて輪郭補償用輝度信号ＹＡを生成する。これに対し、縮小倍率αが１／２よりも大きいのであれば、Ｇ１とＧ２を同じＧ信号とみなすと、Ｇの色信号においては水平および垂直方向の折り返り信号が残留しないが、ＲおよびＢ信号においては折り返り信号が残留する。折り返り信号が残留した輝度信号を用いて輪郭補償信号を生成すると、折り返り信号を強調することになってしまうため、このような場合は、ＲおよびＢ信号を用いずに、Ｇ１およびＧ２信号のみから輪郭補償用輝度信号ＹＡを生成する。

ステップＳ００４において、輪郭補償回路２０４が、輪郭補償用輝度信号ＹＡにフィルタ処理を行って輪郭補償信号を生成する。輪郭補償信号は、ＹＡに対してバンドパスフィルタを適用することで生成する。バンドパスフィルタは、例えば、水平および垂直方向にそれぞれフィルタ係数［−１，０、２，０、−１］を適用すればよい。バンドパスフィルタの出力に対して、ノイズを除去するためのコアリング処理や、振幅が強くなりすぎることを回避するためのクリップ処理などを行ってもよい。なお、ＹＡの色構成比を縮小倍率に応じて変更することは、縮小倍率に応じて輝度信号を構成する色毎の周波数特性を変更することに相当する。

ステップＳ００５において、合成回路２０５が、輝度信号Ｙに対して輪郭補償信号を加算し、輪郭補償されたＹＵＶ信号を出力する。

以上のように構成することで、縮小倍率が予め設定された閾値（例えば、１／２）以下の場合には輝度信号Ｙと同等の輝度信号から輪郭補償信号を生成するため解像感を良好に補償することができる。また、縮小倍率が閾値より大きい場合には、画素密度の高いＧ信号のみから輪郭補償信号を生成することで、縮小倍率が閾値以下である場合に比べて、ＲＢ信号よりもＧ信号の高域を強調する度合いを相対的に増加させる。このため、折り返り信号の少ない画像信号を得ることが可能となる。あるいは、縮小倍率が予め設定された値より大きい場合には、Ｇ信号に使用する重みを増やした輝度信号に対して輪郭補償を行う。これにより、折り返り信号の少ない画像信号を得ることが可能となる。

なお、本実施形態においては縮小倍率αを変更した場合に、所定の閾値を境に輪郭補償に用いる輝度信号の生成方法を二者択一で切り替わるような場合について説明したが、これに限られるものではない。これら２つの方法で生成された輪郭補償用輝度信号を、縮小倍率αの値に応じて重み付け加算するようにしてもよい。ただし、縮小倍率が１／２より大きい場合には、縮小倍率が１／２以下である場合に比べて、ＲＢ信号よりもＧ信号の高域を強調する度合いが相対的に増加するように、重み付けの係数を設定する必要がある。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態では、回路規模を削減した場合の構成について説明する。基本的な構成は第１の実施形態と同様であり、異なる点を中心に説明を行う。

図４は、本実施形態における画像処理回路１０５の構成の一部を示す図である。図４のうち、図２と同じ構成を有する回路には、図２と同じ符号を付与している。図２の輝度色信号生成回路２０２および輪郭補償用輝度信号生成回路２０３の代わりに、本実施形態では、輪郭補償用輝度信号生成回路３０２、色信号生成回路３０３、メモリ３０４、輝度信号変換回路３０５が追加されている。

図５は、本実施形態における画像処理回路１０５の処理内容を説明するためのフローチャートである。

ステップＳ１０１において、縮小回路２０１が、第一の実施形態と同様に入力画像を縮小しＲ、Ｇ１、Ｇ２、Ｂの各色信号の縮小画像を生成する。

ステップＳ１０２において、輪郭補償用輝度信号生成回路３０２が、縮小画像から輪郭補償用輝度信号ＹＡを生成する。輪郭補償用輝度信号ＹＡは縮小倍率α（０＜α＜１）によって生成方法が変更される。すなわち、
α≦１／２のとき、 ＹＡ＝０．３Ｒ＋０．３Ｇ１＋０．３Ｇ２＋０．１Ｂ・・・（１）
α＞１／２のとき、 ＹＡ＝０．５Ｇ１＋０．５Ｇ２ ・・・（２）
のように生成される。

ステップＳ１０３において、色信号生成回路３０３が、縮小画像から色信号を生成する。色信号は次式のように生成される。
Ｕ ＝ Ｂ − Ｙ０ ・・・（３）
Ｖ ＝ Ｒ − Ｙ０ ・・・（４）
ただし、Ｙ０ ＝ ０．３Ｒ＋０．３Ｇ１＋０．３Ｇ２＋０．１Ｂ ・・・（５）

ステップＳ１０４において、メモリ３０４が、輪郭補償用輝度信号ＹＡおよび色信号ＵＶを記憶する。このメモリ３０４を配置することによって、縮小回路２０１の回路規模を削減することが可能となる。第１の実施形態では、縮小回路２０１は、縮小処理および輪郭補償処理のために必要なラインメモリを有する必要がある。すなわち、輪郭補償回路２０４が第１の実施形態のように垂直方向に［−１，０、２，０、−１］で示されるフィルタ係数を適用するのであれば、輪郭補償回路２０４には最低でも垂直方向に５ライン分の信号を入力する必要がある。さらに、この輪郭補償回路２０４に５ライン分の画像を送るためには、縮小回路２０１は、その縮小倍率の逆数をその５ラインに乗じた数だけのラインメモリが必要となる。つまり、縮小回路２０１の縮小倍率が１／３であり、かつ、輪郭補償回路２０４のバンドパスフィルタの入力タップ数が５であるならば、縮小回路２０１は１５（３×５）のラインメモリが必要とされる。本実施形態では、縮小回路２０１の出力を一度メモリ３０４に記憶させることで、縮小回路２０１においては縮小処理に必要な分だけラインメモリを用意させればよいため、回路規模が節約できる。さらに、色信号生成回路においてＵＶ信号を水平や垂直方向に半分に間引き情報量を減らすことによってメモリ３０４のラインメモリの量を削減することが可能である。通常記録されるＹＵＶ信号はＹＵＶ４２２やＹＵＶ４２０など色信号の情報を減らして記録するため、ここで色信号を間引いても画質には影響が少ない。

ステップＳ１０５において、輝度信号変換回路３０５が、輪郭補償用輝度信号ＹＡを輝度信号Ｙに変換する。縮小倍率αに応じて次のように生成される。

α≦１／２のとき、 Ｙ＝ＹＡ ・・・（６）
α＞１／２のとき、 Ｙ＝ＹＡ＋０．１６７Ｕ＋０．５Ｖ ・・・（７）
このように変換することで、αによらずＹは同じ信号を得ることが可能となる。すなわち、式（１）〜式（７）より、
α≦１／２のとき、 Ｙ＝０．３Ｒ＋０．３Ｇ１＋０．３Ｇ２＋０．１Ｂ
α＞１／２のとき、 Ｙ＝０．３Ｒ＋０．３Ｇ１＋０．３Ｇ２＋０．１Ｂ
となり、直流成分を構成する輝度信号の色構成比はαによらず同じものとなる。

ステップＳ１０６において、輪郭補償回路２０４が輪郭補償用輝度信号ＹＡから輪郭補償信号を生成する。輪郭補償回路は第１の実施形態と同様である。

ステップＳ１０７において、輝度信号Ｙと輪郭補償信号とを合成し、ＹＵＶ信号を出力する。

以上のように構成することで、回路規模を抑えながら折り返りを抑えた縮小画像を生成することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。本実施形態では、撮像素子からの出力画素が水平方向と垂直方向で間引き率が異なる場合について説明を行う。

撮像素子からの読み出し速度によっては、全画素読み出すと動画のフレームレートに間に合わない場合がある。そのような場合、例えば水平方向には全画素読み出し、垂直方向は同色の３画素を加算間引きして読み出すことで垂直方向の画素数を１／３に減らす場合がある。読み出す画素数が少なくなるためフレームレートを上げることが可能となる。なお、垂直方向の間引き量は１／３に限られるものではなく、他の間引き量でもよい。

このように水平方向と垂直方向の読み出しの間引き率が異なる場合について説明する。入力画像の水平方向と垂直方向とで縮小倍率が異なる場合に、より小さいほうの縮小倍率を基準として、輪郭補償用輝度信号の生成方法を選択する例について説明する。以下の具体例においては、画像処理回路１０５の構成は第２の実施形態と同じである。動作として、第２の実施形態と異なる部分のみ説明を行う。また、撮像素子からの読み出しとしては、水平方向の間引きを行わず、垂直方向のみ間引く場合について説明する。

縮小回路２０１において、水平方向の縮小を行わず、垂直方向のみの縮小を行うことで縦横のアスペクト比を補正する。また、輪郭補償用輝度信号生成回路３０２において、輝度信号は垂直方向の縮小倍率α（０＜α＜１）に応じて生成方法が変更される。すなわち、
α≦１／２のとき、 ＹＡ＝０．３Ｒ＋０．３Ｇ１＋０．３Ｇ２＋０．１Ｂ ・・・（８）
α＞１／２のとき、 ＹＡ＝０．５Ｇ１＋０．５Ｇ２ ・・・（９）
のように生成される。

また、輝度信号変換回路３０５において、垂直方向の縮小倍率αに応じて次のように輝度信号を変更する。
α≦１／２のとき、 Ｙ＝ＹＡ
α＞１／２のとき、 Ｙ＝ＹＡ＋０．１６７Ｕ＋０．５Ｖ

以上のように構成することで、撮像素子からの画素の読み出しが水平および垂直方向で間引き率が異なる場合であっても、折り返りを適切に抑えた縮小画像を生成することが可能となる。

なお、本実施形態においては垂直方向の縮小倍率に応じて輝度信号の生成方法を変更するような構成とした。しかし、水平方向については縮小倍率に応じて輝度信号の生成方法を変更しなくてもよい。例えば以下のように構成してもよい。すなわち、輝度信号を式（８）、（９）の２つをともに作成しておく。間引いていない水平方向は式（８）の輝度信号から輪郭補償信号を生成する。間引いている垂直方向は縮小倍率に応じて式（８）と式（９）から選択、あるいは、角度に応じて加重加算して輪郭補償信号を生成する。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (8)

1. 画素密度の異なる複数色のカラー配列を持つ入力画像を縮小した縮小画像を生成する縮小手段と、
   前記縮小画像から輝度信号及び輪郭補償用輝度信号を生成する輝度信号生成手段と、
   前記輪郭補償用輝度信号に対してフィルタ処理を行って輪郭補償信号を生成する輪郭補償手段と、
   前記輝度信号と前記輪郭補償信号を合成する合成手段と、を有し、
   前記輝度信号生成手段は、前記入力画像に対する前記縮小画像の画素数の比を示す縮小倍率に応じて、前記輪郭補償用輝度信号の生成方法を異ならせるものであり、前記縮小倍率が閾値より大きい場合には、前記縮小倍率が閾値以下である場合に比べて、前記入力画像における画素密度の高い色信号が前記輪郭補償用輝度信号に含まれる比率を高くする
   ことを特徴とする画像処理装置。
2. 前記輝度信号生成手段は、前記縮小倍率が閾値より大きい場合には、前記入力画像における画素密度の高い色信号のみから前記輪郭補償用輝度信号を生成し、前記縮小倍率が閾値以下である場合には、前記入力画像における画素密度の高い色信号および他の色信号から前記輪郭補償用輝度信号を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記輝度信号生成手段は、前記縮小画像から前記輝度信号を生成することと並行して、前記縮小画像から前記輪郭補償用輝度信号を生成することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記輝度信号生成手段は、前記縮小画像から前記輪郭補償用輝度信号を生成し、前記輪郭補償用輝度信号から前記輝度信号を生成することを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記輝度信号生成手段は、前記縮小画像の縮小倍率が前記入力画像を縮小する方向によって異なる場合には、小さい方の縮小倍率に応じて前記輪郭補償用輝度信号の生成方法を設定することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記画素密度の異なる複数色のカラー配列を持つ入力画像は、ベイヤー配列の入力画像であることを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 画素密度の異なる複数色のカラー配列を持つ入力画像を縮小した縮小画像を生成するステップと、
   前記縮小画像から輝度信号及び輪郭補償用輝度信号を生成するステップと、
   前記輪郭補償用輝度信号に対してフィルタ処理を行って輪郭補償信号を生成するステップと、
   前記輝度信号と前記輪郭補償信号を合成するステップと、を有し、
   前記入力画像に対する前記縮小画像の画素数の比を示す縮小倍率に応じて、前記輪郭補償用輝度信号の生成方法を異ならせるものであり、前記縮小倍率が閾値より大きい場合には、前記縮小倍率が閾値以下である場合に比べて、前記入力画像における画素密度の高い色信号が前記輪郭補償用輝度信号に含まれる比率を高くする
   ことを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images