JP2003087808A - 画像処理方法および装置並びにプログラム - Google Patents

画像処理方法および装置並びにプログラム

Info

Publication number
JP2003087808A
JP2003087808A JP2001273340A JP2001273340A JP2003087808A JP 2003087808 A JP2003087808 A JP 2003087808A JP 2001273340 A JP2001273340 A JP 2001273340A JP 2001273340 A JP2001273340 A JP 2001273340A JP 2003087808 A JP2003087808 A JP 2003087808A
Authority
JP
Japan
Prior art keywords
signal
value
values
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001273340A
Other languages
English (en)
Inventor
Tatsuya Aoyama
達也 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2001273340A priority Critical patent/JP2003087808A/ja
Publication of JP2003087808A publication Critical patent/JP2003087808A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Color Television Image Signal Generators (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 単板ＣＣＤのような撮像デバイスにおいて得
られる画像データから全画素位置に信号値を推定する際
に、偽色の発生や色味の低減を防止する。 【解決手段】 単板ＣＣＤ１においてＣｙ，Ｍｇ，Ｙ
ｅ，Ｇｒ信号からなる画像データＳ０を取得し、信号値
算出手段２２において、Ｃｙ，Ｍｇ，Ｙｅ，Ｇｒにロー
パスフィルタによるフィルタリング処理を施し、フィル
タリング処理後の信号値と、信号値を有する画素位置に
おけるＣｙ，Ｍｇ，Ｙｅ，Ｇｒとの差分に基づいて、全
画素位置におけるＣｙ，Ｍｇ，Ｙｅ，Ｇｒ信号を求め
る。この際、撮影するシーンの色味が少ない場合には、
ＬＰＦ切替手段２３において、カットする周波数帯域が
より低いローパスフィルタを使用し、シーンの色味が多
い場合にはカットする周波数帯域がより高いローパスフ
ィルタを使用する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、単板ＣＣＤのよう
な撮像デバイスにおいて得られたカラー画像を表す画像
データのように、全画素位置において全色を表す信号値
を有さない画像データを用いて、全画素位置における信
号値を推定する画像処理方法および装置並びに画像処理
方法をコンピュータに実行させるためのプログラムに関
するものである。
【０００２】
【従来の技術】デジタルカメラに用いられるＣＣＤ等の
撮像デバイスとしては、分光感度が異なる複数種類の光
電変換素子を同一平面上に交互に配置して構成されてい
るものが知られている（以下単板ＣＣＤと称する）。例
えば、図１４に示すように、Ｃｙ（シアン）、Ｍｇ（マ
ゼンタ）、Ｙｅ（イエロー）、Ｇｒ（グリーン）のそれ
ぞれに分光感度を有する光電変換素子が配置された単板
ＣＣＤが知られている。図１４に示すように、この単板
ＣＣＤは、ＭｇおよびＧｒチャンネルの光電変換素子を
交互に配置したｘ方向に延在する第１のラインと、Ｙｅ
およびＣｙチャンネルの光電変換素子を交互に配置した
ｘ方向に延在する第２のラインとをｙ方向に交互に配置
することにより、Ｍｇ，Ｙｅ，Ｍｇ，Ｃｙチャンネルの
光電変換素子およびＧｒ，Ｃｙ，Ｇｒ，Ｙｅチャンネル
の光電変換素子がこの順序でｙ方向に繰り返し配置され
て撮像面が形成されている。
【０００３】このような単板ＣＣＤの場合、Ｃｙ，Ｍ
ｇ，Ｙｅ，Ｇｒの各信号値を同一画素位置において得る
ことができないため、隣接するＣｙ，Ｍｇ，Ｙｅ，Ｇｒ
チャンネルの４個の光電変換素子の組（すなわち図１４
において太線で囲んだ領域）において得られた信号によ
り１つの画素が構成される。しかしながら、４つの信号
で１つの画素を構成しようとすると、色ずれや偽色が生
じるおそれがある。また、各チャンネルの光電変換素子
数は単板ＣＣＤを構成する全素子数よりも少ないため、
高解像度の画像を得ることができない。例えば、図１４
に示す単板ＣＣＤにおいては、各チャンネルの光電変換
素子数は全素子数の１／４しかないため、同一素子数の
モノクロ撮像装置に比べて解像度が１／４となってしま
う。
【０００４】このため、Ｃｙ，Ｍｇ，Ｙｅ，Ｇｒ各チャ
ンネルの光電変換素子が存在しない画素位置における信
号値を補間処理により求める方法が提案されているが、
単に補間処理を行うのみでは、信号値が大きく変化する
部分において偽色が発生することがある。この場合、撮
像系に光学ローパスフィルタを使用したり、撮像により
得られた画像データに対してローパスフィルタによる平
滑化処理を行うことにより偽色の発生を防止することが
できるが、この場合解像度が悪化するという問題があ
る。
【０００５】ここで、人間の視覚特性は色よりも輝度に
対して感度が高いものである。このため、単板ＣＣＤに
おいて得られたカラー画像データから、各画素の輝度を
表す高周波の輝度信号と低周波の色差信号とを生成し、
輝度信号および色差信号を用いてカラー画像データを再
構成するようにした方法が提案されている（単板カラー
ビデオカメラ用新輝度信号生成方式、杉浦ら、テレビジ
ョン学会誌Vol.48 No.2、pp.210〜216、1994）。以下、
この方式について説明する。
【０００６】図１４に示す単板ＣＣＤにおいて、ｘ方向
に延在する２つのラインをペアとして、図１４に示すよ
うなｎラインおよびｎ＋１ラインを設定する。そしてｎ
ラインについては、ＭｇおよびＣｙの加算信号（Ｍｇ＋
Ｃｙ）と、ＧｒおよびＹｅの加算信号（Ｇｒ＋Ｙｅ）と
を交互に読み出す。一方、ｎ＋１ラインについては、Ｍ
ｇおよびＹｅの加算信号（Ｍｇ＋Ｙｅ）と、Ｇｒおよび
Ｃｙの加算信号（Ｇｒ＋Ｃｙ）とを交互に読み出す。こ
こで、ある画像中の部分領域においては、３種類の色信
号間に極めて強い相関が存在し、画像中の局所的な領域
においては、３種類の色信号の比率は略一定であるとい
うことが知られている。図１５は図１４に示すｎライン
の局所的な領域を示す図である。ここで、Ｙ1を領域１
の輝度信号、Ｙ2を領域２の輝度信号とし、加算信号
（Ｍｇ＋Ｃｙ）、加算信号（Ｇｒ＋Ｙｅ）および輝度信
号Ｙを３種類の色信号とすると、領域１および領域２に
おいて下記の式（１）に示す関係が成立する。 (Mg1+Cy1):(Gr1+Ye1):Y1=(Mg2+Cy2):(Gr2+Ye2):Y2 （１） 式（１）によれば、画像中の局所的な領域においては、
輝度信号と加算信号との比率が一定であるという特性に
基づいて、各画素位置での輝度信号を算出することがで
きる。
【０００７】
【０００８】また、式（１）より、 (Mg1+Cy1):Y1=(Mg2+Cy2):Y2 （２） の関係も成立する。すなわち、画像の局所的な領域にお
いては２種類の信号の比率は一定であることがいえる。
なお、上記式（２）は信号値が真数の場合について成立
するものであり、信号値が対数または指数の場合には、 (Mg1+Cy1)-Y1=(Mg2+Cy2)-Y2 （３） のように、画像の局所的な領域においては２種類の信号
の差は一定であるという関係が成立する。
【０００９】一方、加算信号（Ｍｇ＋Ｃｙ）を得た画素
ペア位置（ｙ方向２画素分）での輝度信号Ｙは、上記式
（２）の関係に基づいて、下記の式（４）に示すよう
に、この画素ペア位置周辺の平均的な輝度信号Ｙ
LPFと、この画素ペア位置周辺の平均的な加算信号（以
下ローパス加算信号とする）（Ｍｇ＋Ｃｙ）LPFとの比
率を、加算信号（Ｍｇ＋Ｃｙ）に乗算することにより算
出することができる。 Y=(Mg+Cy)・YLPF/(Mg+Cy)LPF （４）
【００１０】なお、式（４）におけるローパス加算信号
（Ｍｇ＋Ｃｙ）LPFは、加算信号（Ｍｇ＋Ｃｙ）にロー
パスフィルタによるフィルタリング処理を施すことによ
り得られる。また、ＹLPFは単板ＣＣＤのｎライン上に
おいて隣接して得られる加算信号（Ｍｇ＋Ｃｙ）および
加算信号（Ｇｒ＋Ｙｅ）に対してローパスフィルタによ
るフィルタリング処理を施すことによりローパス加算信
号（Ｍｇ＋Ｃｙ）LPFおよびローパス加算信号（Ｇｒ＋
Ｙｅ）LPFを得、これらを加算することにより得られ
る。
【００１１】なお、ｎライン上における加算信号（Ｇｒ
＋Ｙｅ）を得た画素ペア位置（２画素分）、ｎ＋１ライ
ンにおける加算信号（Ｍｇ＋Ｙｅ）を得た画素ペア位置
（２画素分）およびｎ＋１ラインにおける加算信号（Ｇ
ｒ＋Ｃｙ）を得た画素ペア位置（２画素分）における輝
度信号についても同様に算出することができる。
【００１２】ところで、図１４に示す単板ＣＣＤは、正
方状に光電変換素子が配列されており、色差順次配列の
アレイ構造を有するＣＣＤと称される。一方、単板ＣＣ
Ｄとして、例えば図１６に示すように市松状に画素が配
置されたハニカム配列のアレイ構造を有するＣＣＤが知
られている。なお、これを市松状の画素配列と称するこ
ともある。このようなハニカム配列のアレイ構造を有す
るＣＣＤにおいては、破線で囲まれたラインを基本単位
として、上記と同様にして加算信号（Ｍｇ＋Ｙｅ）を得
た画素ペア位置（２画素分）および加算信号（Ｇｒ＋Ｙ
ｅ）を得た画素ペア位置（２画素分）における輝度信号
を求めることができる。
【００１３】
【発明が解決しようとする課題】ところで、上述した輝
度信号を求める方法においては、加算信号に対してロー
パスフィルタによるフィルタリング処理を施すことによ
り、ローパス加算信号を得ているが、ローパスフィルタ
のフィルタリング特性に応じて、偽信号の抑制レベル
や、色味の消失レベルが異なる。例えば、色味の少ない
画像に対しては、カットオフ周波数が低いローパスフィ
ルタを用いることにより、再現帯域を拡張することがで
きて偽色の発生を防止できるが、色味の多い画像につい
て同様のローパスフィルタを用いると、再現帯域が狭く
なり色味が消失してしまう。
【００１４】本発明は上記事情に鑑みなされたものであ
り、画像データにより表される画像の色味に応じて適切
に信号値を推定できる画像処理方法および装置並びに画
像処理方法をコンピュータに実行させるためのプログラ
ムを提供することを目的とするものである。
【００１５】
【課題を解決するための手段】本発明による第１の画像
処理方法は、異なる分光分布を有する第１から第４の信
号値を有する第１から第４の画素からなる画像を表す画
像データであって、前記第１から第４の画素が色差順次
配列されてなる画像を表す画像データの、前記第１から
第４信号値に基づいて、全画素位置における前記第１か
ら第４信号値のうち少なくとも１つの信号値を推定して
前記画像データの帯域を拡張する画像処理方法であっ
て、前記画像データにより表される画像のシーンの色味
に応じたフィルタリング特性を有するローパスフィルタ
により、前記第１から第４信号値に対して前記所定方向
および／または前記直交方向にフィルタリング処理を施
して、フィルタリング処理済みの第１から第４信号値を
取得し、前記第１から第４信号値および前記フィルタリ
ング処理済みの第１から第４信号値に基づいて、前記全
画素位置における前記第１から第４信号値のうちの少な
くとも１つの信号値を推定することを特徴とするもので
ある。
【００１６】ここで、「色差順次配列」とは、第１およ
び第２の画素が所定方向に交互に配置されて第１ライン
が形成され、第３および第４の画素が所定方向に交互に
配置されて第２ラインが形成され、第１および第２ライ
ンが所定方向に直交する直交方向に交互に配置されてな
る画素の配列をいう。例えば、第１から第４画素をそれ
ぞれＭｇ，Ｇｒ，Ｙｅ，Ｃｙに対応させ、ＭｇおよびＧ
ｒをｘ方向に交互に配置して第１ラインを形成し、Ｙｅ
およびＣｙ画素をｘ方向に交互に配置して第２ラインを
形成し、第１および第２ラインをｙ方向に交互に配置す
ることにより、色差順次配列が得られる。具体的には、
図１４に示す単板ＣＣＤにおいて得られた画像データに
おける画素の配列が色差順次配列となる。なお、この色
差順次配列においては、第２ラインの画素配列がｎライ
ン目とｎ＋１ライン目とで異なっているが、同一として
もよい。すなわち、図１４に示す単板ＣＣＤにおいて得
られる画像データおいては、ｎライン目においては、左
端からＹｅ，Ｃｙ，Ｙｅ…の順序で画素が配列されてお
り、ｎ＋１ライン目においては左端からＣｙ，Ｙｅ，Ｙ
ｅ…の順序で画素が配列されているが、いずれのライン
も左端からＹｅ，Ｃｙ，Ｙｅ…の順序またはＣｙ，Ｙ
ｅ，Ｙｅ…の順序で画素を配列したものも、色差順次配
列に含まれるものである。
【００１７】なお、全画素位置における第１から第４の
全ての信号値を推定するとした場合、本発明による画像
処理方法は、Ｍｇ画素位置におけるＣｙ，Ｙｅ，Ｇｒ信
号、Ｃｙ画素位置におけるＭｇ，Ｙｅ，Ｇｒ信号、Ｙｅ
画素位置におけるＣｙ，Ｍｇ，Ｇｒ信号およびＧｒ画素
位置におけるＣｙ，Ｍｇ，Ｙｅ信号を推定するようにし
たものである。
【００１８】また、色差順次配列においては、画素の配
列は正方状のものに限定されるものではなく、市松状に
配列されたものであってもよい。
【００１９】例えば図１６に示すようにＣｙ，Ｍｇ，Ｙ
ｅ，Ｇｒのそれぞれに分光感度を有する光電変換素子を
有するハニカム配列の単板ＣＣＤにおいては、Ｃｙ，Ｍ
ｇ，Ｙｅ，Ｇｒの色信号からなる画像データが得られ
る。そしてこの画像データにより表される画像の画素の
配列を図１６を参照して説明すると、第１から第４画
素、第１信号値から第４信号値をそれぞれＣｙ，Ｍｇ，
Ｙｅ，Ｇｒに対応させ、第１ラインを図１６上左上から
右下方向にＭｇ画素およびＣｙ画素を交互に配置したラ
インとし、第２ラインを第１ラインと同様の方向にＧｒ
画素およびＹｅ画素を交互に配置したラインとすれば、
画素の配列は色差順次配列となる。
【００２０】ここで、色味が少ないシーンにおいては、
ローパスフィルタのカットオフ周波数が低いほど推定さ
れる信号値の再現帯域を拡張して偽色の発生を防止でき
る。一方、色味が多いシーンにおいてはカットオフ周波
数が高いほど色味の消失を防止できる。したがって、
「シーンの色味に応じたフィルタリング特性を有するロ
ーパスフィルタ」としては、例えば色味が少ないほどカ
ットオフ周波数が低いローパスフィルタを用いればよ
い。
【００２１】なお、本発明による第１の画像処理方法に
おいては、信号値を推定する画素位置における前記所定
方向についての信号値の推定値である所定方向推定値、
および前記直交方向についての信号値の推定値である直
交方向推定値を算出し、前記信号値を推定する画素位置
における信号値の変動方向に応じて、前記所定方向推定
値および前記直交方向推定値を所定の重み付け係数によ
り重み付け加算して、前記第１から第４信号値のうち少
なくとも１つの信号値を推定することが好ましい。
【００２２】この場合、前記所定の重み付け係数は、前
記信号値を推定する画素位置における信号値の変化方向
を表す尺度値に基づいて算出されたものであることが好
ましい。「尺度値」とは、信号値を推定する画素位置で
の信号値の変化方向を表すものであり、例えば前記所定
方向および前記直交方向において信号値を推定する画素
位置における信号値の変化量により尺度値を表すことが
できる。
【００２３】ここで、「所定方向推定値」および「直交
方向推定値」とは、所定方向および直交方向についてそ
れぞれ推定した第１から第４信号値のうち少なくとも１
つの信号値のことである。
【００２４】また、本発明による第１の画像処理方法に
おいては、前記画像データにより表される画像の前記第
１から第４画素が市松状に配列されてなるものであって
もよい。
【００２５】このような画素位置の配列の場合、全ての
画素位置における信号値を推定するとともに、該推定さ
れた信号値に基づいて、空孔画素位置における信号値を
推定することが好ましい。
【００２６】またこの場合、前記空孔画素位置を含む全
画素位置における第１から第４の信号値に基づいて、該
空孔画素位置を含む全画素位置における輝度色差信号を
算出することが好ましい。
【００２７】ここで、「空孔画素位置」とは、図１６に
示すようなハニカム配列の単板ＣＣＤにおいて、これを
正方配列とみなした場合に、例えば図１６の横方向にお
けるＭｇとＧｒとの間、ＣｙとＹｅとの間の画素位置の
ように、信号値を有さない画素位置とみなせる位置のこ
とをいう。
【００２８】さらに、本発明による第１の画像処理方法
においては、前記全画素位置における前記第１から第４
の信号値を推定し、該推定された信号値に基づいて、前
記全画素位置における輝度色差信号を算出してもよい。
【００２９】本発明による第２の画像処理方法は、異な
る分光分布を有する第１から第４の信号値を有する第１
から第４の画素からなる画像を表す画像データであっ
て、前記第１から第４の画素が色差順次配列されてなる
画像を表す画像データの、所定方向に延在する第１ライ
ン上において互いに隣接する２つの信号値の加算値であ
る第１加算値、および前記第１ラインに隣接する第２ラ
イン上において互いに隣接する２つの信号値の加算値で
ある第２加算値に基づいて、前記第１および前記第２の
加算値が得られる前記所定方向の全画素ペア位置におけ
る前記第１および前記第２加算値、並びに前記第１ライ
ンに直交する直交方向に延在する第３ライン上において
互いに隣接する２つの信号値の加算値である第３加算
値、および前記第３ラインに隣接する第４ライン上にお
いて互いに隣接する２つの信号値の加算値である第４加
算値に基づいて、前記第３および前記第４の加算値が得
られる前記直交方向の全画素ペア位置における前記第３
および前記第４加算値を推定して前記画像データの帯域
を拡張する画像処理方法であって、前記画像データによ
り表される画像のシーンの色味に応じたフィルタリング
特性を有するローパスフィルタにより、前記第１から第
４加算値に対して前記所定方向および／または前記直交
方向にフィルタリング処理を施して、フィルタリング処
理済みの第１から第４加算値を取得し、前記第１から第
４加算値および前記フィルタリング処理済みの第１から
第４加算値に基づいて、前記所定方向の全画素ペア位置
における前記第１および第２の加算値、並びに前記直交
方向の全画素ペア位置における前記第３および第４加算
値を推定することを特徴とするものである。
【００３０】例えば図１６に示すようにＣｙ，Ｍｇ，Ｙ
ｅ，Ｇｒのそれぞれに分光感度を有する光電変換素子を
有するハニカム配列の単板ＣＣＤにおいては、Ｃｙ，Ｍ
ｇ，Ｙｅ，Ｇｒの色信号からなる画像データが得られ
る。そしてこの画像データにより表される画像の画素の
配列を図１６を参照して説明すると、第１から第４画
素、第１信号値から第４信号値をそれぞれＣｙ，Ｍｇ，
Ｙｅ，Ｇｒに対応させ、第１ラインを図１６上左上から
右下方向にＭｇおよびＣｙ画素を交互に配置したライン
とし、第２ラインを第１ラインと同様の方向にＧｒおよ
びＹｅ画素を交互に配置したラインとした場合、本発明
による画像処理方法における第１加算値は（Ｍｇ＋Ｃ
ｙ）、第２加算値は（Ｇｒ＋Ｙｅ）、第３加算値は（Ｍ
ｇ＋Ｙｅ）、第４加算値は（Ｇｒ＋Ｃｙ）となる。そし
て、第１加算値（Ｍｇ＋Ｃｙ）が得られた画素ペア位置
（２画素分）における（Ｇｒ＋Ｙｅ）、第２加算値（Ｇ
ｒ＋Ｙｅ）が得られた画素ペア位置（２画素分）におけ
る（Ｍｇ＋Ｃｙ）、第３加算値（Ｍｇ＋Ｙｅ）が得られ
た画素ペア位置（２画素分）における（Ｇｒ＋Ｃｙ）お
よび第４加算値（Ｇｒ＋Ｃｙ）が得られた画素ペア位置
（２画素分）における（Ｍｇ＋Ｙｅ）を推定するように
したものである。
【００３１】なお、本発明による第２の画像処理方法に
おいては、前記画像データにより表される画像の前記第
１から第４画素が市松状に配列されてなることが好まし
い。
【００３２】この場合、前記推定された加算値に基づい
て、前記全画素位置における輝度色差信号を算出するこ
とが好ましく、さらに、前記全画素位置における輝度色
差信号に基づいて、空孔画素位置における輝度色差信号
を算出することが好ましい。
【００３３】さらに、本発明による第２の画像処理方法
においては、前記推定された加算値に基づいて、前記全
画素位置における輝度色差信号を算出することが好まし
い。
【００３４】また、本発明による第１および第２の画像
処理方法においては、前記第１から前記第４の信号値
が、それぞれＣｙ（シアン）、Ｍｇ（マゼンタ）、Ｙｅ
（イエロー）、Ｇｒ（グリーン）のいずれかの色信号で
あることが好ましい。
【００３５】さらに、本発明による第１および第２の画
像処理方法においては、前記画像データを、異なる分光
感度を有する第１から第４の光電変換素子を単一面上に
色差順次配列させて撮像面が形成された撮像デバイスに
おいて得てもよい。
【００３６】本発明による第１の画像処理装置は、異な
る分光分布を有する第１から第４の信号値を有する第１
から第４の画素からなる画像を表す画像データであっ
て、前記第１から第４の画素が色差順次配列されてなる
画像を表す画像データの、前記第１から第４信号値に基
づいて、全画素位置における前記第１から第４信号値の
うち少なくとも１つの信号値を推定して前記画像データ
の帯域を拡張する画像処理装置であって、前記画像デー
タにより表される画像のシーンの色味に応じたフィルタ
リング特性を有するローパスフィルタにより、前記第１
から第４信号値に対して前記所定方向および／または前
記直交方向にフィルタリング処理を施して、フィルタリ
ング処理済みの第１から第４信号値を取得するフィルタ
リング手段と、前記第１から第４信号値および前記フィ
ルタリング処理済みの第１から第４信号値に基づいて、
前記全画素位置における前記第１から第４信号値のうち
の少なくとも１つの信号値を推定する信号値推定手段と
を備えたことを特徴とするものである。
【００３７】なお、本発明による第１の画像処理装置に
おいては、前記信号値推定手段は、信号値を推定する画
素位置における前記所定方向についての信号値の推定値
である所定方向推定値、および前記直交方向についての
信号値の推定値である直交方向推定値を算出し、前記信
号値を推定する画素位置における信号値の変動方向に応
じて、前記所定方向推定値および前記直交方向推定値を
所定の重み付け係数により重み付け加算して、前記第１
から第４信号値のうち少なくとも１つの信号値を推定す
る手段であることが好ましい。
【００３８】また、本発明による第１の画像処理装置に
おいては、前記画像データにより表される画像の前記第
１から第４画素が市松状に配列されてなるものであって
もよい。
【００３９】この場合、前記信号値推定手段は、前記全
画素位置における前記第１から第４の信号値を推定する
とともに、該推定された信号値に基づいて、空孔画素位
置における前記第１から第４の信号値を推定する手段で
あることが好ましい。
【００４０】またこの場合、前記信号値推定手段は、前
記空孔画素位置を含む全画素位置における第１から第４
の信号値に基づいて、該空孔画素位置を含む全画素位置
における輝度色差信号を算出する手段であることが好ま
しい。
【００４１】さらに本発明による第１の画像処理装置に
おいては、前記信号値推定手段は、前記全画素位置にお
ける前記第１から第４の信号値を推定し、該推定された
信号値に基づいて、前記全画素位置における輝度色差信
号を算出する手段としてもよい。
【００４２】本発明による第２の画像処理装置は、異な
る分光分布を有する第１から第４の信号値を有する第１
から第４の画素からなる画像を表す画像データであっ
て、前記第１から第４の画素が色差順次配列されてなる
画像を表す画像データの、所定方向に延在する第１ライ
ン上において互いに隣接する２つの信号値の加算値であ
る第１加算値、および前記第１ラインに隣接する第２ラ
イン上において互いに隣接する２つの信号値の加算値で
ある第２加算値に基づいて、前記第１および前記第２の
加算値が得られる前記所定方向の全画素ペア位置におけ
る前記第１および前記第２加算値、並びに前記第１ライ
ンに直交する直交方向に延在する第３ライン上において
互いに隣接する２つの信号値の加算値である第３加算
値、および前記第３ラインに隣接する第４ライン上にお
いて互いに隣接する２つの信号値の加算値である第４加
算値に基づいて、前記第３および前記第４の加算値が得
られる前記直交方向の全画素ペア位置における前記第３
および前記第４加算値を推定して前記画像データの帯域
を拡張する画像処理装置であって、前記画像データによ
り表される画像のシーンの色味に応じたフィルタリング
特性を有するローパスフィルタにより、前記第１から第
４加算値に対して前記所定方向および／または前記直交
方向にフィルタリング処理を施して、フィルタリング処
理済みの第１から第４加算値を取得するフィルタリング
手段と、前記第１から第４加算値および前記フィルタリ
ング処理済みの第１から第４加算値に基づいて、前記所
定方向の全画素ペア位置における前記第１および第２の
加算値、並びに前記直交方向の全画素ペア位置における
前記第３および第４加算値を推定する信号値推定手段と
を備えたことを特徴とするものである。
【００４３】なお、本発明による第２の画像処理装置に
おいては、前記画像データにより表される画像の前記第
１から第４画素が市松状に配列されてなるものであって
もよい。
【００４４】また、本発明による第２の画像処理装置に
おいては、前記信号値推定手段は、前記推定された加算
値に基づいて、前記全画素位置における輝度色差信号を
算出する手段であってもよい。
【００４５】この場合、前記信号値推定手段は、前記全
画素位置における輝度色差信号に基づいて、空孔画素位
置における輝度色差信号を算出する手段であることが好
ましい。
【００４６】さらに、本発明による第２の画像処理装置
においては、前記信号値推定手段は、前記推定された加
算値に基づいて、前記全画素位置における輝度色差信号
を算出する手段であってもよい。
【００４７】また、本発明による第２の画像処理装置に
おいては、前記第１から前記第４の信号値が、それぞれ
Ｃｙ，Ｍｇ，Ｙｅ，Ｇｒのいずれかの色信号であっても
よい。
【００４８】さらに、本発明による第２の画像処理装置
においては、前記画像データは、異なる分光感度を有す
る第１から第４の光電変換素子を単一面上に色差順次配
列させて撮像面が形成された撮像デバイスにおいて得ら
れたものであってもよい。
【００４９】なお、本発明による第１および第２の画像
処理方法をコンピュータに実行させるためのプログラム
として提供してもよい。
【００５０】また、本発明による画像処理装置をデジタ
ルカメラ等の撮像装置に設けてもよく、プリンタ等の出
力装置に設けてもよい。
【００５１】
【発明の効果】本発明による第１の画像処理方法および
装置によれば、シーンの色味に応じて特性が切替可能な
ローパスフィルタにより第１から第４信号値に対して所
定方向および／または直交方向にフィルタリング処理が
施されてフィルタリング処理済みの第１から第４信号値
が取得される。そして、第１から第４信号値およびフィ
ルタリング処理済みの第１から第４信号値に基づいて、
全画素位置における第１から第４信号値のうちの少なく
とも１つの信号値が推定される。このため、帯域を拡張
しつつ、シーンの色味に応じて偽色の発生が低減された
あるいは色味の消失の少ない画像を再現可能な信号値を
推定することができる。
【００５２】また、信号値が変化する方向に応じて、所
定方向および直交方向について算出された信号値を重み
付け加算して、各画素位置における信号値を算出するこ
とにより、信号値の変化方向に拘わらず偽色の発生を防
止できるとともに、アーチファクトの発生をも防止する
ことができる。
【００５３】本発明による第２の画像処理方法および装
置によれば、シーンの色味に応じて特性が切替可能なロ
ーパスフィルタにより第１から第４加算値に対してフィ
ルタリング処理が施されてフィルタリング処理済みの第
１から第４加算値が取得される。そして、第１から第４
加算値およびフィルタリング処理済みの第１から第４加
算値に基づいて、所定方向および直交方向の全画素ペア
位置における第１から第４加算値が推定される。
【００５４】このため、シーンの色味に応じて偽色の発
生が低減されたあるいは色味の消失の少ない画像を再現
可能な加算値を推定することができる。
【００５５】
【発明の実施の形態】以下図面を参照して本発明の実施
形態について説明する。図１は本発明の第１の実施形態
による画像処理装置の構成を示す概略ブロック図であ
る。図１に示すように本発明の第１の実施形態による画
像処理装置は、単板ＣＣＤ１と、単板ＣＣＤ１を構成す
る各光電変換素子において得られた信号値に基づいて全
画素位置における信号値を求める画像処理手段２とを備
える。
【００５６】画像処理手段２は、単板ＣＣＤ１を構成す
る各光電変換素子において得られた各信号値に対してロ
ーパスフィルタによるフィルタリング処理を施してロー
パス信号を得るＬＰＦ処理手段２１と、各信号値および
ローパス信号に基づいて、画像データＳ０により表され
る画像の全画素位置における信号値を算出する信号値算
出手段２２と、ＬＰＦ処理手段２１において用いられる
ローパスフィルタの特性を撮影するシーンの色味に応じ
て切り替えるＬＰＦ切替手段２３と、信号値算出手段２
２において算出された信号から後述する図３に示す空孔
画素位置＊の信号値を算出して、帯域が拡張された画像
データＳ１を得る市松正方補間手段２４と、画像データ
Ｓ１をＹＣＣ輝度色差空間の画像データＳ２に変換する
ＹＣＣ変換手段２５を備える。
【００５７】ここで、信号値算出手段２２、市松正方補
間手段２４およびＹＣＣ変換手段２５が、信号値推定手
段に対応する。
【００５８】なお、画像データＳ２は、スマートメディ
ア、メモリスティックなどのメディアに記録して保管さ
れる。
【００５９】図１に示す単板ＣＣＤ１においては、これ
を構成する光電変換素子からはアナログ信号が得られる
ものであるが、本実施形態における画像データＳ０は、
アナログ信号をＡ／Ｄ変換したデジタル信号であり、な
おかつこのデジタル信号は単板ＣＣＤ１に入力する光量
の０．４５乗あるいは対数値となるように変換されてい
るものとする。
【００６０】なお、本実施形態による画像処理装置は、
デジタルカメラのような撮像装置やフイルムから画像を
読み取るスキャナ等の読取装置に設けられるものであっ
てもよく、これらの装置において得られた画像信号を再
生するモニタやプリンタ等の再生装置に設けられるもの
であってもよい。また、画像処理装置単体として用いて
もよい。なお、ここでは、本実施形態による画像処理装
置をカメラに適用したものとして説明する。
【００６１】図２は、単板ＣＣＤ１において得られた画
像データＳ０により表される画像の画素配列を示す図で
ある。図２（ａ）に示す画素配列は、ｘ方向にＭｇ，Ｇ
ｒチャンネルに対応するＭｇ画素およびＧｒ画素を交互
に配列した第１のラインと、ｘ方向にＣｙ，Ｙｅチャン
ネルに対応するＣｙ画素およびＹｅ画素を交互に配列し
た第２のラインとをｙ方向に交互に配列したものであ
り、ｙ方向における各ラインにおいてもＭｇ，Ｙｅ，Ｍ
ｇ，Ｃｙ画素およびＧｒ，Ｃｙ，Ｇｒ，Ｙｅ画素が交互
に配列された正方状の画素配列となっている。本発明に
おいては、このような正方状の画素配列を色差順次配列
と称するものとする。
【００６２】また、図２（ｂ）に示す画素配列は、ｙ方
向にＭｇ，Ｇｒチャンネルに対応するＭｇ画素およびＧ
ｒ画素を交互に配設したラインと、ｙ方向にＣｙ，Ｙｅ
チャンネルに対応するＣｙ画素およびＹｅ画素画素を配
列したラインとを、各ラインの画素の配列間隔が他のラ
インの画素配列に対してｙ方向に略１／２相対的にずれ
るように配列したものであり、市松状の画素配列となっ
ている。本発明においてはこのような市松状の画素配列
をハニカム配列と称するものとする。このハニカム配列
は、ｘ方向に対して左下から右上に４５度傾斜した方向
（矢印Ａ方向）についてみれば、Ｍｇ，Ｙｅ画素を交互
に配列したラインと、同様に４５度傾斜した方向にＧ
ｒ，Ｃｙ画素を交互に配列したラインとを、この方向に
直交する方向（矢印Ｂ方向）に交互に配列したものとな
っている。なお、左上から右下に４５度傾斜した方向
（矢印Ｂ方向）についてみれば、Ｍｇ，Ｃｙ画素を交互
に配列したラインと、同様に４５度傾斜した方向にＧ
ｒ，Ｙｅ画素を交互に配列したラインとを、この方向に
直交する方向（矢印Ａ方向）に交互に配列したものとな
っている。また、ハニカム配列は上述したように市松状
に画素が配列されてなるものであり、信号値を有さない
空孔画素位置＊を用いて図３に示すように正方状に表現
することも可能である。本実施形態においては、図２
（ｂ）すなわち図３に示すハニカム配列の単板ＣＣＤ１
において得られた画像データＳ０に対して処理を行うも
のとして説明する。
【００６３】次いで、画像処理装置２において行われる
処理について説明する。まず、空孔画素位置＊を除く全
画素位置におけるＭｇ信号の算出処理について説明す
る。
【００６４】処理（１） 図４はＣｙ画素位置におけるＭｇ信号（以下Ｍｇ（Ｃ
ｙ）信号とする）の算出処理を説明するための図であ
る。まず、Ｍｇ画素位置におけるＭｇ信号（以下Ｍｇ
（Ｍｇ）信号とする）について、図３の矢印Ｂ方向にＬ
ＰＦ処理手段２１においてローパスフィルタによるフィ
ルタリング処理を施して、矢印Ｂ方向にＭｇ，Ｃｙ画素
が並ぶライン（以下第１のラインとする）における各画
素位置のローパスＭｇ信号ＭｇL1を算出する。次いで、
Ｃｙ画素位置におけるＣｙ信号（以下Ｃｙ（Ｃｙ）信号
とする）について、図３の矢印Ｂ方向にＬＰＦ処理手段
２１においてローパスフィルタによるフィルタリング処
理を施して、第１のラインにおける各画素位置のローパ
スＣｙ信号ＣｙL1を算出する。そして、下記の式（５）
により、Ｍｇ（Ｃｙ）信号を算出する。 Ｍｇ（Ｃｙ）＝ＭｇL1（Ｃｙ）＋（Ｃｙ（Ｃｙ）−ＣｙL1（Ｃｙ）） （５）
【００６５】ここで、式（５）は画像の局所的な領域に
おいては、２種類の信号との差は等しいという前提によ
り定められるものである。例えば、Ｃｙ画素位置での２
種類の信号の差が等しいとは、 Ｍｇ（Ｃｙ）−ＭｇL1（Ｃｙ）＝（Ｃｙ（Ｃｙ）−ＣｙL1（Ｃｙ）） （６） の関係を満たすということであり、式（６）をＭｇ（Ｃ
ｙ）信号について解いたものが式（５）となる。これに
より、第１のライン上におけるＭｇ信号が求められる。
【００６６】処理（２） 図５はＹｅ画素位置におけるＭｇ信号（以下Ｍｇ（Ｙ
ｅ）信号とする）の算出処理を説明するための図であ
る。まず、Ｍｇ（Ｍｇ）信号について、図３の矢印Ａ方
向にＬＰＦ処理手段２１においてローパスフィルタによ
るフィルタリング処理を施して、矢印Ａ方向にＭｇ，Ｙ
ｅ画素が並ぶライン（以下第２のラインとする）におけ
る各画素位置のローパスＭｇ信号ＭｇL2を算出する。次
いで、Ｙｅ画素位置におけるＹｅ信号（以下Ｙｅ（Ｙ
ｅ）信号とする）について、図３の矢印Ａ方向にＬＰＦ
処理手段２１においてローパスフィルタによるフィルタ
リング処理を施して、第２のラインにおける各画素位置
のローパスＹｅ信号ＹｅL2を算出する。そして、下記の
式（７）により、Ｍｇ（Ｙｅ）信号を算出する。 Ｍｇ（Ｙｅ）＝ＭｇL2（Ｙｅ）＋（Ｙｅ（Ｙｅ）−ＹｅL2（Ｙｅ）） （７）
【００６７】ここで、式（７）は画像の局所的な領域に
おいては、２種類の信号との差は等しいという前提によ
り定められるものである。例えば、Ｙｅ画素位置での２
種類の信号の差が等しいとは、 Ｍｇ（Ｙｅ）−ＭｇL2（Ｙｅ）＝（Ｙｅ（Ｙｅ）−ＣｙL2（Ｙｅ）） （８） の関係を満たすということであり、式（６）をＭｇ（Ｙ
ｅ）信号について解いたものが式（７）となる。これに
より、第２のライン上におけるＭｇ信号が求められる。
【００６８】処理（３） 図６はＧｒ画素位置におけるＭｇ信号（以下Ｍｇ（Ｇ
ｒ）信号とする）の算出処理を説明するための図であ
る。なお、Ｍｇ（Ｇｒ）信号の算出は２通りの方法があ
り、先に第１の方法について説明する。第１の方法は、
Ｙｅ画素位置に算出されたＭｇ信号すなわちＭｇ（Ｙ
ｅ）信号を用いてＭｇ（Ｇｒ）信号を算出する方法であ
る。
【００６９】まず、Ｍｇ（Ｙｅ）信号について、図３の
矢印Ｂ方向にＬＰＦ処理手段２１においてローパスフィ
ルタによるフィルタリング処理を施して、矢印Ｂ方向に
Ｇｒ，Ｙｅ画素が並ぶライン（以下第３のラインとす
る）における各画素位置のローパスＭｇ信号ＭｇL3を算
出する。次いで、Ｇｒ画素位置におけるＧｒ信号（以下
Ｇｒ（Ｇｒ）信号とする）について、図３の矢印Ｂ方向
にＬＰＦ処理手段２１においてローパスフィルタによる
フィルタリング処理を施して、第３のラインにおける各
画素位置のローパスＧｒ信号ＧｒL3を算出する。そし
て、下記の式（９）により、Ｍｇ（Ｙｅ）信号を算出す
る。 Ｍｇ（Ｇｒ）＝ＭｇL3（Ｙｅ）＋（Ｇｒ（Ｇｒ）−ＧｒL3（Ｇｒ）） （９）
【００７０】ここで、式（９）は画像の局所的な領域に
おいては、２種類の信号との差は等しいという前提によ
り定められるものである。例えば、Ｇｒ画素位置での２
種類の信号の差が等しいとは、 Ｍｇ（Ｇｒ）−ＭｇL3（Ｙｅ）＝（Ｇｒ（Ｇｒ）−ＧｒL3（Ｇｒ））（１０） の関係を満たすということであり、式（１０）をＭｇ
（Ｇｒ）信号について解いたものが式（９）となる。こ
れにより、第３のライン上におけるＭｇ信号が求められ
る。なお、第１の方法により算出されたＭｇ（Ｇｒ）信
号には添付数字として１を付与し、Ｍｇ（Ｇｒ）1信号
とする。
【００７１】次いで、第２の方法について説明する。第
２の方法は、Ｃｙ画素位置に算出されたＭｇ信号すなわ
ちＭｇ（Ｃｙ）信号を用いてＭｇ（Ｇｒ）信号を算出す
る方法である。図７は、第２の方法によりＧｒ画素位置
に算出されたＭｇ信号の算出処理を説明するための図で
ある。
【００７２】まず、Ｍｇ（Ｃｙ）信号について、図３の
矢印Ａ方向にＬＰＦ処理手段２１においてローパスフィ
ルタによるフィルタリング処理を施して、矢印Ａ方向に
Ｇｒ，Ｃｙ画素が並ぶライン（以下第４のラインとす
る）における各画素位置のローパスＭｇ信号ＭｇL4を算
出する。次いで、Ｇｒ画素位置におけるＧｒ信号（以下
Ｇｒ（Ｇｒ）信号とする）について、図３の矢印Ａ方向
にＬＰＦ処理手段２１においてローパスフィルタによる
フィルタリング処理を施して、第４のラインにおける各
画素位置のローパスＧｒ信号ＧｒL4を算出する。そし
て、下記の式（１１）により、Ｍｇ（Ｃｙ）信号を算出
する。 Ｍｇ（Ｇｒ）＝ＭｇL4（Ｃｙ）＋（Ｇｒ（Ｇｒ）−ＧｒL4（Ｇｒ））（１１）
【００７３】ここで、式（１１）は画像の局所的な領域
においては、２種類の信号との差は等しいという前提に
より定められるものである。例えば、Ｇｒ画素位置での
２種類の信号の差が等しいとは、 Ｍｇ（Ｇｒ）−ＭｇL4（Ｃｙ）＝（Ｇｒ（Ｇｒ）−ＧｒL4（Ｇｒ））（１２） の関係を満たすということであり、式（１２）をＭｇ
（Ｇｒ）信号について解いたものが式（１１）となる。
【００７４】これにより、第４のライン上におけるＭｇ
信号が求められる。なお、第２の方法により算出された
Ｍｇ（Ｇｒ）信号には添付数字として２を付与し、Ｍｇ
（Ｇｒ）2信号とする。
【００７５】なお、Ｇｒ画素位置のＭｇ信号としては、
Ｍｇ（Ｇｒ）1，Ｍｇ（Ｇｒ）2のいずれを用いてもよい
が、Ｍｇ信号を算出するＧｒ画素位置における信号値の
変動方向に基づいて、下記の式（１３）に示すように、
Ｍｇ（Ｇｒ）1，Ｍｇ（Ｇｒ）2を重み付け加算すること
が好ましい。 Ｍｇ（Ｇｒ）＝ｗ０・Ｍｇ（Ｇｒ）2＋（１−ｗ０）・Ｍｇ（Ｇｒ）1（１３） ここで、ｗ０は重み付け係数であり、下記の式（１４）
により算出される。 w0=|Gr(Gr)-GrL3(Gr)|/(|Gr(Gr)-GrL3(Gr)|+|Gr(Gr)-GrL4(Gr)|) （１４） なお、ｗ０はＧｒ画素位置の矢印Ｂ方向における信号値
の変化を表す。また、ｗ０の範囲は０≦ｗ０≦１であ
り、矢印Ｂ方向において信号値の変動が少ないほど０に
近い値となる。これにより、画素値の変化が少ない方向
ほど大きな重み付けがなされて、Ｇｒ画素位置のＭｇ信
号が算出されることとなる。
【００７６】以上の処理により、Ｍｇ信号が存在しない
全ての画素位置におけるＭｇ信号を算出することができ
る。
【００７７】以上、全画素位置におけるＭｇ信号の算出
について説明したが、全画素位置におけるＣｙ，Ｙｅ，
Ｇｒ信号の算出もＭｇ信号と同様に行うことができる。
すなわち、Ｃｙ信号については、上記処理（１）により
Ｍｇ画素位置のＣｙ信号Ｃｙ（Ｍｇ）を、処理（２）に
よりＧｒ画素位置のＣｙ信号Ｃｙ（Ｇｒ）を、そして処
理（３）によりＹｅ画素位置のＣｙ信号Ｃｙ（Ｙｅ）を
算出できる。また、Ｙｅ信号については、処理（１）に
よりＧｒ画素位置のＹｅ信号Ｙｅ（Ｇｒ）を、処理
（２）によりＭｇ画素位置のＹｅ信号Ｙｅ（Ｍｇ）を、
そして処理（３）によりＣｙ画素位置のＹｅ信号Ｙｅ
（Ｃｙ）を算出できる。さらに、Ｇｒ信号については、
処理（１）によりＹｅ画素位置のＧｒ信号Ｇｒ（Ｙｅ）
を、処理（２）によりＣｙ画素位置のＧｒ信号Ｇｒ（Ｃ
ｙ）を、そして処理（３）によりＭｇ画素位置のＧｒ信
号Ｇｒ（Ｍｇ）を算出できる。
【００７８】なお、図２（ａ）に示す色差順次配列の単
板ＣＣＤ１においては、矢印Ａ方向を図２における紙面
上下方向、矢印Ｂ方向を図２における紙面左右方向とす
ることにより、ハニカム配列の場合と同様に全画素位置
におけるＣｙ，Ｍｇ，Ｙｅ，Ｇｒ信号を算出することが
できる。ここで、ｘ軸方向を矢印Ｂ方向、ｙ軸方向を矢
印Ａ方向にそれぞれ対応させると、Ｇｒ画素位置のＭｇ
信号Ｍｇ（Ｇｒ）については、ｘ軸方向にＭｇ，Ｇｒ画
素が並ぶライン上において上記処理（１）を行うことに
より算出できる。Ｙｅ画素位置のＭｇ信号については、
まずｘ軸方向にＣｙ，Ｙｅ画素が並ぶライン上におい
て、Ｃｙ画素位置のＹｅ信号（Ｙｅ（Ｃｙ））を上記処
理（１）により算出し、ｙ軸方向にＭｇ，Ｃｙ，Ｍｇ，
Ｙｅ画素が並ぶライン上において上記処理（２）を行う
ことにより算出できる。また、Ｃｙ画素位置のＭｇ信号
については、ｙ軸方向にＧｒ，Ｃｙ画素が並ぶライン上
において、信号Ｍｇ（Ｇｒ）を用いて上記処理（２）を
行うことにより算出できる。
【００７９】このようにして、全画素位置においてＣ
ｙ，Ｍｇ，Ｙｅ，Ｇｒ全ての信号値が得られると、市松
正方補間手段２４において、図３における空孔画素位置
＊でのＣｙ，Ｍｇ，Ｙｅ，Ｇｒ信号を補間演算により算
出して、画素が正方状に配列されてなる画像データＳ１
を得る。この補間演算は、図８に示すような空孔画素位
置＊周辺の４画素位置の信号値を用いた補間フィルタ
や、図９に示すように４×４画素についての２次元Cubi
cスプライン補間演算を行う補間フィルタの補間係数の
配置を４５度傾斜させた補間係数の配置を有する補間フ
ィルタを用いて補間演算を行うことにより求めることが
できる。なお、この空孔画素位置＊における信号値を算
出するための補間演算を市松正方補間演算とする。これ
により、空孔画素位置を含む全画素位置に信号値を有す
る、帯域が拡張された画像データＳ１が得られる。
【００８０】このようにして得られた画像データＳ１
は、ＹＣＣ変換手段２５において、下記の式（１４）、
（１５）、（１６）により輝度信号Ｙおよび色差信号Ｃ
ｒ，Ｃｂからなる画像データＳ２に変換される。 Ｙ＝Ｍｇ＋Ｃｙ＋Ｙｅ＋Ｇｒ （１４） Ｃｒ＝Ｙｅ＋Ｍｇ−Ｃｙ−Ｇｒ （１５） Ｃｂ＝Ｍｇ＋Ｃｙ−Ｙｅ−Ｇｒ （１６）
【００８１】ここで、ＬＰＦ処理手段２１におけるロー
パスフィルタの特性について説明する。単板ＣＣＤ１の
画素ピッチに対応するサンプリング周波数をｆｓとし、
ＬＰＦ処理手段２１において用いられるローパスフィル
タのフィルタリング特性を図１０（ａ）に示すようにｆ
ｓ／２√２以上の高周波成分をカットする特性を有する
ものとすると、グレー画像に対するＣｙ，Ｍｇ，Ｙｅ，
Ｇｒ各信号の再現帯域は図１０（ｂ）に示すものとな
る。なお、図１０および以降の説明においては、ｆｓ／
２がナイキスト周波数、実線が再現可能な周波数帯域、
Ｈが水平方向、Ｖが垂直方向を示す。ここで、ローパス
フィルタを図１０（ｃ）、（ｆ）に示すように、それぞ
れｆｓ／４√２以上、ｆｓ／８√２以上の高周波成分を
カットする特性を有するものとすると、グレー画像に対
するＣｙ，Ｍｇ，Ｙｅ，Ｇｒ各信号の再現帯域は図１０
（ｄ）、（ｆ）にそれぞれ示すものとなる。なお、図１
０（ｂ）、（ｄ）、（ｆ）に示す再現帯域は、それぞれ
ｆｓ／２、ｆｓ／４およびｆｓ／８以上の高周波成分を
カットするフィルタリング特性を有するローパスフィル
タを用いて図３の矢印Ａ，Ｂ方向にフィルタリング処理
を行った場合と同様のものとなる。
【００８２】図１０に示すように、画像データＳ０によ
り表される画像がグレー画像のように色味がないあるい
は少ないものである場合には、カットオフ周波数が高い
ローパスフィルタを用いると、画像データＳ０の再現帯
域が狭くなり、偽色が多く発生してしまうが、カットオ
フ周波数が低いローパスフィルタを用いるほど、画像デ
ータＳ０の再現帯域を拡げることができ、かつ偽色を低
減することができる。
【００８３】一方、色がＭｇ〜Ｇｒに変化している画像
においては、図１０（ａ）、（ｃ）、（ｅ）に示すフィ
ルタリング特性を有するローパスフィルタを用いて処理
を行うと、図１１（ａ）、（ｂ）、（ｃ）に示すよう
に、カットオフ周波数が低周波数帯域となるほど再現帯
域が狭くなってしまう。これは、グレー画像において
は、Ｃｙ，Ｍｇ，Ｙｅ，Ｇｒ信号の特性が全て同じ位相
となるのに対して、色がＭｇ〜Ｇｒに変化する画像で
は、画像自身が有するＭｇとＧｒとの特性が逆位相にな
っており、Ｍｇの情報を用いてＧｒの再現帯域を拡張す
る場合の前提条件が破綻するためである。
【００８４】したがって、本実施形態においては、画像
データＳ０により表される画像の色味に応じてＬＰＦ切
替手段２３により、ＬＰＦ処理手段２１において用いら
れるローパスフィルタのフィルタリング特性を切り替え
る。具体的には、本実施形態による画像処理装置をカメ
ラに適用した場合、撮影しようとするシーンの色味を入
力する手段をカメラに設ければよい。そして、撮影しよ
うとするシーンにビルが多く含まれることから色味が少
ない旨の入力がなされた場合には、ＬＰＦ切替手段２３
においてカットオフ周波数がより低周波数帯域となるフ
ィルタリング特性を有するローパスフィルタに切り替え
る。一方、色味が多い旨の入力がなされた場合には、Ｌ
ＰＦ切替手段２３においてカットオフ周波数が比較的高
い周波数帯域となるフィルタリング特性を有するローパ
スフィルタに切り替える。
【００８５】なお、シーンの入力に代えて、使用するロ
ーパスフィルタのフィルタリング特性を指定するように
してもよい。
【００８６】次いで、本実施形態の動作について説明す
る。図１２は、本実施形態の動作を示すフローチャート
である。まず、撮影を行おうとするシーンの色味の入力
を受け付け（ステップＳ１）、入力された色味に応じて
ＬＰＦ切替手段２３によりＬＰＦ処理手段２１において
使用されるローパスフィルタのフィルタリング特性が切
り替えられる（ステップＳ２）。次いで、シーンの撮影
を行って単板ＣＣＤ１において画像データＳ０を得る
（ステップＳ３）。ここで、算出する信号は、Ｃｙ，Ｍ
ｇ，Ｙｅ，Ｇｒの４種類あることから、Ｃｙ，Ｍｇ，Ｙ
ｅ，Ｇｒのそれぞれに１〜４の番号を付与し、番号順に
全画素位置における信号値を算出するものとする。この
ため、まず初期値としてｉ＝１とセットし（ステップＳ
４）、信号値算出手段２２において、算出する信号をｉ
番目の信号にセットする（ステップＳ５）。
【００８７】そして、信号値算出手段２２において、上
記処理（１）（ステップＳ６）、処理（２）（ステップ
Ｓ７）および処理（３）（ステップＳ８）が行われ、信
号値を有する全画素位置においてｉ番目の信号値が算出
される。続いて、Ｃｙ，Ｍｇ，Ｙｅ，Ｇｒ全ての信号を
算出したか否かが判断される（ステップＳ９）。ステッ
プＳ９が否定された場合には、ステップＳ１０において
ｉ＝ｉ＋１としてステップＳ５に戻り、算出する信号を
２番目の信号にセットする。以下、ステップＳ９が肯定
されるまで、ステップＳ５からステップＳ１０の処理を
繰り返し、信号値を有する全画素位置におけるＣｙ，Ｍ
ｇ，Ｙｅ，Ｇｒ信号を算出する。
【００８８】ステップＳ９が肯定されると、全ての画素
位置においてＣｙ，Ｍｇ，Ｙｅ，Ｇｒ信号が算出された
として、各画素の信号値に対して図８あるいは図９に示
す補間フィルタによる市松正方補間演算を行って、図３
に示す空孔画素位置＊における信号値を市松正方補間演
算により算出し、帯域が拡張された画像データＳ１を得
る（ステップＳ１１）。これにより、図３に示すハニカ
ム配列による単板ＣＣＤ１の全画素位置（空孔画素位置
＊を含む）におけるＣｙ，Ｍｇ，Ｙｅ，Ｇｒ信号を得る
ことができ、各画素位置において信号を有する、帯域が
拡張された画像データＳ１を得ることができる。さら
に、画像データＳ１をＹＣＣ変換手段２５においてＹＣ
Ｃ変換し、輝度色差空間の画像データＳ２を得（ステッ
プＳ１２）、処理を終了する。
【００８９】このように、第１の実施形態によれば、シ
ーンの色味に応じてローパスフィルタの特性を切り替え
てフィルタリング処理を行って、全画素位置におけるＣ
ｙ，Ｍｇ，Ｙｅ，Ｇｒ信号を算出するようにしたため、
帯域を拡張しつつも、シーンの色味に応じて偽色の発生
が低減されたあるいは色味の消失の少ない画像を再現可
能な信号値を推定することができる。
【００９０】また、上記処理（３）においては、信号値
が変化する方向に応じて、矢印Ａ，Ｂ方向にそれぞれフ
ィルタリング処理を行うことにより算出された信号値を
重み付け加算して、各画素位置における信号値を算出し
ているため、信号値の変化方向に拘わらず偽色の発生を
防止できるとともに、アーチファクトの発生をも防止す
ることができる。
【００９１】次いで、本発明の第２の実施形態について
説明する。図１３は、本発明の第２の実施形態による画
像処理装置の構成を示す概略ブロック図である。図１３
に示すように、本発明の第２の実施形態による画像処理
装置は、第１の実施形態と同様に図２（ｂ）に示すハニ
カム配列の単板ＣＣＤ１において得られた画像データＳ
０に対して処理を施すものであり、信号値算出手段３
２、市松正方補間手段３４、ＬＰＦ処理手段２１および
ＬＰＦ切替手段２３を備えた画像処理手段２′を備えて
なる。
【００９２】第２の実施形態においては、図３の矢印
Ａ，Ｂ方向に延在する第１から第４のライン上におい
て、隣接する２つの画素位置（以下画素ペア位置とす
る）における信号値の加算値をその画素ペア位置の信号
値とみなし、ある画素ペア位置における他の画素ペア位
置の加算値を算出するようにしたものである。以下この
加算値の算出について説明する。
【００９３】図３に示すように、単板ＣＣＤ１の矢印Ａ
方向には、Ｍｇ，Ｙｅ画素が並ぶ第２のラインおよびＧ
ｒ，Ｃｙ画素が並ぶ第４のラインが存在し、矢印Ｂ方向
には、ＭＧ，Ｃｙ画素が並ぶ第１のラインおよびＧｒ，
Ｙｅ画素が並ぶ第３のラインが存在する。そして、矢印
Ａ方向には、第２のライン上のＭｇ画素位置およびＹｅ
画素位置からなる第２の画素ペア位置並びに第４のライ
ン上のＧｒ画素位置およびＣｙ画素位置からなる第４の
画素ペア位置が存在し、第２および第４の画素ペア位置
においては、それぞれ加算値（Ｍｇ＋Ｙｅ）および加算
値（Ｇｒ＋Ｃｙ）が得られる。一方、矢印Ｂ方向には、
第１のライン上のＭｇ画素位置およびＣｙ画素位置から
なる第１の画素ペア位置並びに第３のライン上のＧｒ画
素位置およびＹｅ画素位置からなる第３の画素ペア位置
が存在し、第１および第３の画素ペア位置においては、
それぞれ加算値（Ｍｇ＋Ｃｙ）および加算値（Ｇｒ＋Ｙ
ｅ）が得られる。
【００９４】ここで、矢印Ａ方向について第２および第
４画素ペア位置を１つの画素エリアとして考えると、そ
の１つの画素エリアからは加算値（Ｍｇ＋Ｙｅ）および
加算値（Ｇｒ＋Ｃｙ）が得られ、第２画素ペア位置の加
算値（Ｇｒ＋Ｃｙ）および第４画素ペア位置の加算値
（Ｍｇ＋Ｙｅ）をそれぞれ求めることにより、矢印Ｂ方
向について帯域を拡張することができる。一方、矢印Ｂ
方向について第１および第３画素ペア位置を１つの画素
エリアとして考えると、その１つの画素エリアからは加
算値（Ｍｇ＋Ｃｙ）および加算値（Ｇｒ＋Ｙｅ）が得ら
れ、第１画素ペア位置の加算値（Ｇｒ＋Ｙｅ）および第
３画素ペア位置の加算値（Ｍｇ＋Ｃｙ）をそれぞれ求め
ることにより、矢印Ａ方向について帯域を拡張すること
ができる。
【００９５】このため、第２の実施形態においては、第
１の画素ペア位置において加算値（Ｇｒ＋Ｙｅ）を、第
２の画素ペア位置において加算値（Ｇｒ＋Ｃｙ）を、第
３の画素ペア位置において加算値（Ｍｇ＋Ｃｙ）を、第
４の画素ペア位置において加算値（Ｍｇ＋Ｙｅ）をそれ
ぞれ算出するものである。
【００９６】以下、信号値算出手段３２において行われ
る処理について説明する。まず、第１画素ペア位置にお
ける加算値（Ｇｒ＋Ｙｅ）1が下記の式（１７）により
算出される。 (Gr+Ye)1=(Gr+Ye)L+{(Mg+Cy)-(Mg+Cy)L} （１７） ここで、（Ｇｒ＋Ｙｅ）Lおよび（Ｍｇ＋Ｃｙ）Lは、加
算値（Ｇｒ＋Ｙｅ）および加算値（Ｍｇ＋Ｃｙ）を矢印
Ａ方向にローパスフィルタによりフィルタリング処理を
行うことにより得られたローパス加算値である。なお、
ローパスフィルタのフィルタリング特性は、第１の実施
形態と同様にシーンの色味に応じてＬＰＦ切替手段２３
において切り替えられる。
【００９７】次いで、第３画素ペア位置における加算値
（Ｍｇ＋Ｃｙ）3が下記の式（１８）により算出され
る。 (Mg+Cy)3=(Mg+Cy)L+{(Gr+Ye)-(Gr+Ye)L} （１８）
【００９８】これにより、第１および第３画素ペア位置
からなる画素エリア内において矢印Ａ方向に帯域が拡張
される。また、第１および第３画素ペア位置において
は、下記の式（１９）により色差信号Ｃｂを、式（２
０）により輝度信号Ｙを算出することができる。 Ｃｂ＝（Ｍｇ＋Ｃｙ）−（Ｇｒ＋Ｙｅ） （１９） Ｙ＝（Ｍｇ＋Ｃｙ）＋（Ｇｒ＋Ｙｅ） （２０）
【００９９】従来、色差信号Ｃｂおよび輝度信号Ｙは、
第１および第３画素ペア位置からなる画素エリア内の第
１画素ペア位置における加算値（Ｍｇ＋Ｃｙ）および第
３画素ペア位置における加算値（Ｇｒ＋Ｙｅ）から算出
していたため、４画素で１つの色差信号Ｃｂしか算出す
ることができなかった。本実施形態によれば、２画素で
１つの色差信号Ｃｂを算出することができるため、色差
信号Ｃｂの帯域を矢印Ａ方向に拡張することができる。
【０１００】次いで、第２画素ペア位置における加算値
（Ｇｒ＋Ｃｙ）2が下記の式（２１）により算出され
る。 (Gr+Cy)2=(Gr+Cy)L+{(Mg+Ye)-(Mg+Ye)L} （２１） ここで、（Ｇｒ＋Ｃｙ）Lおよび（Ｍｇ＋Ｙｅ）Lは、加
算値（Ｇｒ＋Ｃｙ）および加算値（Ｍｇ＋Ｙｅ）を矢印
Ｂ方向にローパスフィルタによりフィルタリング処理を
行うことにより得られたローパス加算値である。
【０１０１】次いで、第４画素ペア位置における加算値
（Ｍｇ＋Ｙｅ）4が下記の式（２２）により算出され
る。 (Mg+Ye)4=(Mg+Ye)L+{(Gr+Cy)-(Gr+Cy)L} （２２）
【０１０２】これにより、第２および第４画素ペア位置
からなる画素エリア内において矢印Ｂ方向に帯域が拡張
される。また、第２および第４画素ペア位置において
は、下記の式（２３）により色差信号Ｃｒを、式（２
４）により輝度信号Ｙを算出することができる。 Ｃｒ＝（Ｍｇ＋Ｙｅ）−（Ｇｒ＋Ｃｙ） （２３） Ｙ＝（Ｍｇ＋Ｙｅ）＋（Ｇｒ＋Ｃｙ） （２４）
【０１０３】従来、色差信号Ｃｒ、輝度信号Ｙは、第２
および第４画素ペア位置からなる画素エリア内の第２画
素ペア位置における加算値（Ｍｇ＋Ｙｅ）および第４画
素ペア位置における加算値（Ｇｒ＋Ｃｙ）から算出して
いたため、４画素で１つの色差信号Ｃｒしか算出するこ
とができなかった。本実施形態によれば、２画素で１つ
の色差信号Ｃｒを算出することができるため、色差信号
Ｃｒの帯域を矢印Ｂ方向に拡張することができる。
【０１０４】なお、１つの画素エリア内の輝度信号Ｙと
しては、矢印Ａ方向について算出されたもの（以下Ｙａ
とする）および矢印Ｂ方向について算出されたもの（以
下Ｙｂとする）のいずれを用いてもよいが、画素エリア
内の輝度信号Ｙを算出する画素位置における信号値の変
動方向に基づいて、下記の式（２５）に示すように、輝
度信号Ｙａ，Ｙｂを重み付け加算することが好ましい。 Ｙ＝ｗ１・Ｙａ＋（１−ｗ１）・Ｙｂ （２５） ここで、ｗ１は重み付け係数であり、例えば、輝度信号
Ｙを求める画素位置がＣｙ画素位置である場合には、下
記の式（２６）により算出される。 ｗ１＝ｍ１／（ｍ１＋ｍ２） （２６） 但し、ｍ１＝(Gr+Cy)-(Gr+Cy)L ｍ２＝(Mg+Ye)-(Mg+Ye)L
【０１０５】このように、Ｃｙ，Ｍｇ，Ｙｅ，Ｇｒ各画
素位置における輝度信号Ｙおよび色差信号Ｃｒ，Ｃｂを
算出することにより、信号値算出手段３２においては輝
度色差色空間の画像データＳ１１が得られる。画像デー
タＳ１１は、市松正方補間手段３４に入力され、ここで
図３における空孔画素位置＊での輝度信号Ｙおよび色差
信号Ｃｒ，Ｃｂを算出して、画素が正方状に配列されて
なる輝度色差空間の画像データＳ１２が得られる。
【０１０６】なお、上記各実施形態においては、単板Ｃ
ＣＤ１において得られた画像データＳ０に対して処理を
施しているが、図２（ａ）あるいは図２（ｂ）に示すよ
うな色差順次配列を有する画像を表す画像データであれ
ば、いかなる態様にて取得した画像データに対しても同
様に処理を施すことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像処理装置の
構成を示す概略ブロック図
【図２】単板ＣＣＤにおける画素配列を示す図
【図３】ハニカム配列の単板ＣＣＤの画素配列を示す図
【図４】処理（１）を説明するための図
【図５】処理（２）を説明するための図
【図６】処理（３）の第１の方法を説明するための図
【図７】処理（３）の第２の方法を説明するための図
【図８】市松正方フィルタの例を示す図（その１）
【図９】市松正方フィルタの例を示す図（その２）
【図１０】ローパスフィルタのフィルタリング特性およ
び処理後の画像データの再現帯域を示す図
【図１１】処理後の画像データの再現帯域を示す図
【図１２】第１の実施形態の動作を示すフローチャート
【図１３】本発明の第２の実施形態による画像処理装置
の構成を示す概略ブロック図
【図１４】色差順次配列を示す図
【図１５】従来方法による信号値の算出を説明するため
の図
【図１６】ハニカム配列を示す図
【符号の説明】
１ 単板ＣＣＤ ２，２′ 画像処理手段 ２１ ＬＰＦ処理手段 ２２，３２ 信号値算出手段 ２３ ＬＰＦ切替手段 ２４ 市松正方補間手段 ２５ ＹＣＣ変換手段
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/60 Ｈ０４Ｎ 1/46 Ａ Ｆターム(参考） 5B057 CA01 CA08 CA16 CB01 CB08 CB16 CE06 DB06 DB09 5C065 AA03 BB19 CC01 DD02 EE03 GG02 GG13 GG21 GG22 GG23 GG30 5C077 LL19 MP08 PP02 PP33 PP37 PP47 PP48 PQ12 SS01 TT09 5C079 HB02 JA23 LA14 LA24 MA11 NA03

Claims (31)

    【特許請求の範囲】
  1. 【請求項１】 異なる分光分布を有する第１から第４
    の信号値を有する第１から第４の画素からなる画像を表
    す画像データであって、前記第１から第４の画素が色差
    順次配列されてなる画像を表す画像データの、前記第１
    から第４信号値に基づいて、全画素位置における前記第
    １から第４信号値のうち少なくとも１つの信号値を推定
    して前記画像データの帯域を拡張する画像処理方法であ
    って、 前記画像データにより表される画像のシーンの色味に応
    じたフィルタリング特性を有するローパスフィルタによ
    り、前記第１から第４信号値に対して前記所定方向およ
    び／または前記直交方向にフィルタリング処理を施し
    て、フィルタリング処理済みの第１から第４信号値を取
    得し、 前記第１から第４信号値および前記フィルタリング処理
    済みの第１から第４信号値に基づいて、前記全画素位置
    における前記第１から第４信号値のうちの少なくとも１
    つの信号値を推定することを特徴とする画像処理方法。
  2. 【請求項２】 信号値を推定する画素位置における前
    記所定方向についての信号値の推定値である所定方向推
    定値、および前記直交方向についての信号値の推定値で
    ある直交方向推定値を算出し、 前記信号値を推定する画素位置における信号値の変動方
    向に応じて、前記所定方向推定値および前記直交方向推
    定値を所定の重み付け係数により重み付け加算して、前
    記第１から第４信号値のうち少なくとも１つの信号値を
    推定することを特徴とする請求項１記載の画像処理方
    法。
  3. 【請求項３】 前記画像データにより表される画像の
    前記第１から第４画素が市松状に配列されてなることを
    特徴とする請求項１または２記載の画像処理方法。
  4. 【請求項４】 前記全画素位置における前記第１から
    第４の信号値を推定するとともに、該推定された信号値
    に基づいて、空孔画素位置における前記第１から第４の
    信号値を推定することを特徴とする請求項３記載の画像
    処理方法。
  5. 【請求項５】 前記空孔画素位置を含む全画素位置に
    おける第１から第４の信号値に基づいて、該空孔画素位
    置を含む全画素位置における輝度色差信号を算出するこ
    とを特徴とする請求項４記載の画像処理方法。
  6. 【請求項６】 前記全画素位置における前記第１から
    第４の信号値を推定し、 該推定された信号値に基づいて、前記全画素位置におけ
    る輝度色差信号を算出することを特徴とする請求項１か
    ら３のいずれか１項記載の画像処理方法。
  7. 【請求項７】 異なる分光分布を有する第１から第４
    の信号値を有する第１から第４の画素からなる画像を表
    す画像データであって、前記第１から第４の画素が色差
    順次配列されてなる画像を表す画像データの、所定方向
    に延在する第１ライン上において互いに隣接する２つの
    信号値の加算値である第１加算値、および前記第１ライ
    ンに隣接する第２ライン上において互いに隣接する２つ
    の信号値の加算値である第２加算値に基づいて、前記第
    １および前記第２の加算値が得られる前記所定方向の全
    画素ペア位置における前記第１および前記第２加算値、
    並びに前記第１ラインに直交する直交方向に延在する第
    ３ライン上において互いに隣接する２つの信号値の加算
    値である第３加算値、および前記第３ラインに隣接する
    第４ライン上において互いに隣接する２つの信号値の加
    算値である第４加算値に基づいて、前記第３および前記
    第４の加算値が得られる前記直交方向の全画素ペア位置
    における前記第３および前記第４加算値を推定して前記
    画像データの帯域を拡張する画像処理方法であって、 前記画像データにより表される画像のシーンの色味に応
    じたフィルタリング特性を有するローパスフィルタによ
    り、前記第１から第４加算値に対して前記所定方向およ
    び／または前記直交方向にフィルタリング処理を施し
    て、フィルタリング処理済みの第１から第４加算値を取
    得し、 前記第１から第４加算値および前記フィルタリング処理
    済みの第１から第４加算値に基づいて、前記所定方向の
    全画素ペア位置における前記第１および第２加算値、並
    びに前記直交方向の全画素ペア位置における前記第３お
    よび第４加算値を推定することを特徴とする画像処理方
    法。
  8. 【請求項８】 前記画像データにより表される画像の
    前記第１から第４画素が市松状に配列されてなることを
    特徴とする請求項７記載の画像処理方法。
  9. 【請求項９】 前記推定された加算値に基づいて、前
    記全画素位置における輝度色差信号を算出することを特
    徴とする請求項８記載の画像処理方法。
  10. 【請求項１０】 前記全画素位置における輝度色差信
    号に基づいて、空孔画素位置における輝度色差信号を算
    出することを特徴とする請求項９記載の画像処理方法。
  11. 【請求項１１】 前記推定された加算値に基づいて、
    前記全画素位置における輝度色差信号を算出することを
    特徴とする請求項７記載の画像処理方法。
  12. 【請求項１２】 前記第１から前記第４の信号値が、
    それぞれＣｙ，Ｍｇ，Ｙｅ，Ｇｒのいずれかの色信号で
    あることを特徴とする請求項１から１１のいずれか１項
    記載の画像処理方法。
  13. 【請求項１３】 前記画像データは、異なる分光感度
    を有する第１から第４の光電変換素子を単一面上に色差
    順次配列させて撮像面が形成された撮像デバイスにおい
    て得られたものであることを特徴とする請求項１から１
    ２のいずれか１項記載の画像処理方法。
  14. 【請求項１４】 異なる分光分布を有する第１から第
    ４の信号値を有する第１から第４の画素からなる画像を
    表す画像データであって、前記第１から第４の画素が色
    差順次配列されてなる画像を表す画像データの、前記第
    １から第４信号値に基づいて、全画素位置における前記
    第１から第４信号値のうち少なくとも１つの信号値を推
    定して前記画像データの帯域を拡張する画像処理装置で
    あって、 前記画像データにより表される画像のシーンの色味に応
    じたフィルタリング特性を有するローパスフィルタによ
    り、前記第１から第４信号値に対して前記所定方向およ
    び／または前記直交方向にフィルタリング処理を施し
    て、フィルタリング処理済みの第１から第４信号値を取
    得するフィルタリング手段と、 前記第１から第４信号値および前記フィルタリング処理
    済みの第１から第４信号値に基づいて、前記全画素位置
    における前記第１から第４信号値のうちの少なくとも１
    つの信号値を推定する信号値推定手段とを備えたことを
    特徴とする画像処理装置。
  15. 【請求項１５】 前記信号値推定手段は、信号値を推
    定する画素位置における前記所定方向についての信号値
    の推定値である所定方向推定値、および前記直交方向に
    ついての信号値の推定値である直交方向推定値を算出
    し、 前記信号値を推定する画素位置における信号値の変動方
    向に応じて、前記所定方向推定値および前記直交方向推
    定値を所定の重み付け係数により重み付け加算して、前
    記第１から第４信号値のうち少なくとも１つの信号値を
    推定する手段であることを特徴とする請求項１４記載の
    画像処理装置。
  16. 【請求項１６】 前記画像データにより表される画像
    の前記第１から第４画素が市松状に配列されてなること
    を特徴とする請求項１４または１５記載の画像処理装
    置。
  17. 【請求項１７】 前記信号値推定手段は、前記全画素
    位置における前記第１から第４の信号値を推定するとと
    もに、該推定された信号値に基づいて、空孔画素位置に
    おける前記第１から第４の信号値を推定する手段である
    ことを特徴とする請求項１６記載の画像処理装置。
  18. 【請求項１８】 前記信号値推定手段は、前記空孔画
    素位置を含む全画素位置における第１から第４の信号値
    に基づいて、該空孔画素位置を含む全画素位置における
    輝度色差信号を算出する手段であることを特徴とする請
    求項１７記載の画像処理装置。
  19. 【請求項１９】 前記信号値推定手段は、前記全画素
    位置における前記第１から第４の信号値を推定し、 該推定された信号値に基づいて、前記全画素位置におけ
    る輝度色差信号を算出する手段であることを特徴とする
    請求項１４から１６のいずれか１項記載の画像処理装
    置。
  20. 【請求項２０】 異なる分光分布を有する第１から第
    ４の信号値を有する第１から第４の画素からなる画像を
    表す画像データであって、前記第１から第４の画素が色
    差順次配列されてなる画像を表す画像データの、所定方
    向に延在する第１ライン上において互いに隣接する２つ
    の信号値の加算値である第１加算値、および前記第１ラ
    インに隣接する第２ライン上において互いに隣接する２
    つの信号値の加算値である第２加算値に基づいて、前記
    第１および前記第２の加算値が得られる前記所定方向の
    全画素ペア位置における前記第１および前記第２加算
    値、並びに前記第１ラインに直交する直交方向に延在す
    る第３ライン上において互いに隣接する２つの信号値の
    加算値である第３加算値、および前記第３ラインに隣接
    する第４ライン上において互いに隣接する２つの信号値
    の加算値である第４加算値に基づいて、前記第３および
    前記第４の加算値が得られる前記直交方向の全画素ペア
    位置における前記第３および前記第４加算値を推定して
    前記画像データの帯域を拡張する画像処理装置であっ
    て、 前記画像データにより表される画像のシーンの色味に応
    じたフィルタリング特性を有するローパスフィルタによ
    り、前記第１から第４加算値に対して前記所定方向およ
    び／または前記直交方向にフィルタリング処理を施し
    て、フィルタリング処理済みの第１から第４加算値を取
    得するフィルタリング手段と、 前記第１から第４加算値および前記フィルタリング処理
    済みの第１から第４加算値に基づいて、前記所定方向の
    全画素ペア位置における前記第１および第２加算値、並
    びに前記直交方向の全画素ペア位置における前記第３お
    よび第４加算値を推定する信号値推定手段とを備えたこ
    とを特徴とする画像処理装置。
  21. 【請求項２１】 前記画像データにより表される画像
    の前記第１から第４画素が市松状に配列されてなること
    を特徴とする請求項２０記載の画像処理装置。
  22. 【請求項２２】 前記信号値推定手段は、前記推定さ
    れた加算値に基づいて、前記全画素位置における輝度色
    差信号を算出する手段であることを特徴とする請求項２
    １記載の画像処理装置。
  23. 【請求項２３】 前記信号値推定手段は、前記全画素
    位置における輝度色差信号に基づいて、空孔画素位置に
    おける輝度色差信号を算出する手段であることを特徴と
    する請求項２２記載の画像処理装置。
  24. 【請求項２４】 前記信号値推定手段は、前記推定さ
    れた加算値に基づいて、前記全画素位置における輝度色
    差信号を算出する手段であることを特徴とする請求項２
    ０記載の画像処理装置。
  25. 【請求項２５】 前記第１から前記第４の信号値が、
    それぞれＣｙ，Ｍｇ，Ｙｅ，Ｇｒのいずれかの色信号で
    あることを特徴とする請求項１４から２４のいずれか１
    項記載の画像処理装置。
  26. 【請求項２６】 前記画像データは、異なる分光感度
    を有する第１から第４の光電変換素子を単一面上に色差
    順次配列させて撮像面が形成された撮像デバイスにおい
    て得られたものであることを特徴とする請求項１４から
    ２５のいずれか１項記載の画像処理装置。
  27. 【請求項２７】 異なる分光分布を有する第１から第
    ４の信号値を有する第１から第４の画素からなる画像を
    表す画像データであって、前記第１から第４の画素が色
    差順次配列されてなる画像を表す画像データの、前記第
    １から第４信号値に基づいて、全画素位置における前記
    第１から第４信号値のうち少なくとも１つの信号値を推
    定して前記画像データの帯域を拡張する画像処理方法を
    コンピュータに実行させるためのプログラムであって、 前記画像データにより表される画像のシーンの色味に応
    じたフィルタリング特性を有するローパスフィルタによ
    り、前記第１から第４信号値に対して前記所定方向およ
    び／または前記直交方向にフィルタリング処理を施し
    て、フィルタリング処理済みの第１から第４信号値を取
    得する手順と、 前記第１から第４信号値および前記フィルタリング処理
    済みの第１から第４信号値に基づいて、前記全画素位置
    における前記第１から第４信号値のうちの少なくとも１
    つの信号値を推定する手順とを有することを特徴とする
    プログラム。
  28. 【請求項２８】 前記信号値を推定する手順は、信号
    値を推定する画素位置における前記所定方向についての
    信号値の推定値である所定方向推定値、および前記直交
    方向についての信号値の推定値である直交方向推定値を
    算出し、 前記信号値を推定する画素位置における信号値の変動方
    向に応じて、前記所定方向推定値および前記直交方向推
    定値を所定の重み付け係数により重み付け加算して、前
    記第１から第４信号値のうち少なくとも１つの信号値を
    推定する手順であることを特徴とする請求項２７記載の
    プログラム。
  29. 【請求項２９】 異なる分光分布を有する第１から第
    ４の信号値を有する第１から第４の画素からなる画像を
    表す画像データであって、前記第１から第４の画素が色
    差順次配列されてなる画像を表す画像データの、所定方
    向に延在する第１ライン上において互いに隣接する２つ
    の信号値の加算値である第１加算値、および前記第１ラ
    インに隣接する第２ライン上において互いに隣接する２
    つの信号値の加算値である第２加算値に基づいて、前記
    第１および前記第２の加算値が得られる前記所定方向の
    全画素ペア位置における前記第１および前記第２加算
    値、並びに前記第１ラインに直交する直交方向に延在す
    る第３ライン上において互いに隣接する２つの信号値の
    加算値である第３加算値、および前記第３ラインに隣接
    する第４ライン上において互いに隣接する２つの信号値
    の加算値である第４加算値に基づいて、前記第３および
    前記第４の加算値が得られる前記直交方向の全画素ペア
    位置における前記第３および前記第４加算値を推定して
    前記画像データの帯域を拡張する画像処理方法をコンピ
    ュータに実行させるためのプログラムであって、 前記画像データにより表される画像のシーンの色味に応
    じたフィルタリング特性を有するローパスフィルタによ
    り、前記第１から第４加算値に対して前記所定方向およ
    び／または前記直交方向にフィルタリング処理を施し
    て、フィルタリング処理済みの第１から第４加算値を取
    得する手順と、 前記第１から第４加算値および前記フィルタリング処理
    済みの第１から第４加算値に基づいて、前記所定方向の
    全画素ペア位置における前記第１および第２加算値、並
    びに前記直交方向の全画素ペア位置における前記第３お
    よび第４加算値を推定する手順とを有することを特徴と
    するプログラム。
  30. 【請求項３０】 請求項１４から２６のいずれか１項
    記載の画像処理装置を備えたことを特徴とする撮像装
    置。
  31. 【請求項３１】 請求項１４から２６のいずれか１項
    記載の画像処理装置を備えたことを特徴とする出力装
    置。
JP2001273340A 2001-09-10 2001-09-10 画像処理方法および装置並びにプログラム Withdrawn JP2003087808A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001273340A JP2003087808A (ja) 2001-09-10 2001-09-10 画像処理方法および装置並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001273340A JP2003087808A (ja) 2001-09-10 2001-09-10 画像処理方法および装置並びにプログラム

Publications (1)

Publication Number Publication Date
JP2003087808A true JP2003087808A (ja) 2003-03-20

Family

ID=19098569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001273340A Withdrawn JP2003087808A (ja) 2001-09-10 2001-09-10 画像処理方法および装置並びにプログラム

Country Status (1)

Country Link
JP (1) JP2003087808A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013622A1 (ja) * 2003-06-30 2005-02-10 Nikon Corporation 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP2005151549A (ja) * 2003-10-23 2005-06-09 Sony Corp 画像処理装置および画像処理方法、並びに、プログラム
JP2009055142A (ja) * 2007-08-24 2009-03-12 Holtek Semiconductor Inc Ｙｍｃｇカラー・フィルタ・アレイに用いられる色彩補間法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013622A1 (ja) * 2003-06-30 2005-02-10 Nikon Corporation 色成分の混在配列された画像を処理する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP2005151549A (ja) * 2003-10-23 2005-06-09 Sony Corp 画像処理装置および画像処理方法、並びに、プログラム
JP4501070B2 (ja) * 2003-10-23 2010-07-14 ソニー株式会社 画像処理装置および画像処理方法、並びに、プログラム
JP2009055142A (ja) * 2007-08-24 2009-03-12 Holtek Semiconductor Inc Ｙｍｃｇカラー・フィルタ・アレイに用いられる色彩補間法
JP4620095B2 (ja) * 2007-08-24 2011-01-26 盛群半導體股▲ふん▼有限公司 Ｙｍｃｇカラー・フィルタ・アレイに用いられる色彩補間法

Similar Documents

Publication Publication Date Title
JP4162111B2 (ja) 画像処理方法および装置並びに記録媒体
US9582863B2 (en) Image processing apparatus, image processing method, and program
US8896722B2 (en) Image data processing apparatus and electronic camera
US9179113B2 (en) Image processing device, and image processing method, and program
US8184181B2 (en) Image capturing system and computer readable recording medium for recording image processing program
JP3985679B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
US8320714B2 (en) Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method
JP2002369212A (ja) カラー及び輝度用の受光体を有する粗にサンプリングされたイメージ感知ディバイス
JPH10164602A (ja) 画素補間装置及びその画素補間方法
JP2000078597A (ja) デジタルカラ―イメ―ジ値の処理装置
JP2004128985A (ja) 撮像システム、再生システム、撮像プログラム、再生プログラム
US8233733B2 (en) Image processing device
JP4321064B2 (ja) 画像処理装置および画像処理プログラム
WO2015093253A1 (ja) 画素補間処理装置、撮像装置、プログラムおよび集積回路
JP4272443B2 (ja) 画像処理装置および画像処理方法
US7986361B2 (en) Color processing apparatus and method thereof for generating an interpolated image
JP2003087808A (ja) 画像処理方法および装置並びにプログラム
JP4302855B2 (ja) 画像処理方法および装置並びに記録媒体
JP4302854B2 (ja) 画像処理方法および装置並びに記録媒体
JP3576600B2 (ja) カラー撮像装置
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP4122082B2 (ja) 信号処理装置およびその処理方法
JP4196055B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4239483B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4239480B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20081202