JP2000224601A

JP2000224601A - 画像処理装置及び画像処理プログラムを格納した記録媒体

Info

Publication number: JP2000224601A
Application number: JP11022062A
Authority: JP
Inventors: Takeo Tsuruoka; 建夫鶴岡; Taketo Tsukioka; 健人月岡
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1999-01-29
Filing date: 1999-01-29
Publication date: 2000-08-11
Anticipated expiration: 2019-01-29
Also published as: US6721003B1; JP4311794B2

Abstract

(57)【要約】【課題】欠落する色信号を高精度にかつ高速に復元可能
な画像処理装置を提供する。【解決手段】単板または二板または三板画素ずらし式撮
像系を有する画像処理装置であって、画像信号を画素単
位で順次走査し現注目画素を包含する少なくとも一つ以
上の近傍領域から領域分割のためのパラメータを算出す
るパラメータ算出手段（近傍領域抽出部１０６、パラメ
ータ算出部１０７）と、算出されたパラメータに基づき
画像信号を単一な色相関関係が成立する均一領域に分割
する画像信号分割手段（画像信号分割部１０９、均一領
域抽出部１１１）と、均一領域内に存在する色信号間の
色相関関係を線形式として回帰する回帰手段（色相関回
帰部１１３）と、均一領域内に存在する色信号と線形式
とに基づき欠落する色信号を回復する回復手段（欠落画
素復元部１１４）とを具備する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及び画
像処理プログラムを格納した記録媒体に関するものであ
る。

【０００２】

【従来の技術】図２２は、代表的な電子スチルカメラシ
ステムを示す図である。図２２の（ａ）に示す電子スチ
ルカメラ８０４により被写体を撮影することにより得ら
れた画像データは、通常は図２２の（ｂ）に示されるよ
うなメモリカード８０５に保存される。また、図２２の
（ｃ）に示すようなカラープリンタ８０１を接続ケーブ
ルにより接続してＡ６サイズ程度の小サイズのカラー印
刷を行うことができる。

【０００３】またメモリカード８０５は、所定のアダプ
タに収納することで図２２の（ｄ）に示すようなドッキ
ングステーション８０２に挿入することができ、このド
ッキングステーション８０２を介して図２２の（ｅ）に
示すＴＶモニター８００により画像の観察を行なうこと
ができる。また、ドッキングステーション８０２に図２
２の（ｆ）に示すようなＭＯドライブ８０３を接続する
ことにより図２２の（ｇ）に示すＭＯディスク８０６へ
画像データを保存することができる。

【０００４】一方、電子スチルカメラ８０４で得られた
画像データは、接続ケーブルにより図２２の（ｈ）に示
すようなデスクトップパソコン８０９に転送することが
できる。また、メモリカード８０５を所定のアダプタに
収納してノートパソコン８１０に画像データを取り込む
ことができる。さらに、ＭＯディスク８０６の画像デー
タを所定のＭＯドライブを介してノートパソコン８１０
に転送することができる。デスクトップパソコン８０９
のモニターやノートパソコン８１０の液晶画面は、ＴＶ
モニター８００と比較してより高精細な表示が可能であ
る。さらに、デスクトップパソコン８０９やノートパソ
コン８１０に、接続ケーブルにより図２２の（ｊ）に示
すような、カラープリンタ８０１よりも大型のカラープ
リンタ８１１を接続して画像を印刷することも可能であ
る。

【０００５】上記電子スチルカメラシステムにおいて、
一般に電子スチルカメラの有する画素数は６４０×４８
０( 約３０万画素) 〜１２８０×１０２４( 約１３０万
画素) 程度が用いられている。一方、ＴＶモニターでは
３０万画素程度、パソコンのモニターでは１００万画素
程度、３００ｄｐｉのＡ６サイズのプリントでは１３０
万画素程度、Ａ４サイズのプリントでは５００万画素程
度が要求される。また、電子スチルカメラでも画質モー
ドに応じた画素数の１／２×１／２サイズでの撮影や、
デジタルズームによって相対的な画素数の低下が発生す
るが、このように、システム全体では入力における画素
数と出力に必要とされる画素数が一致していない場合が
多数発生する。

【０００６】また、上記電子スチルカメラは、単板また
は二板または三板画素ずらし式ＣＣＤを用いた撮像系が
一般に普及している。画素ずらし方式による解像度向上
の技術については、例えば、「画像入力技術ハンドブッ
ク」（１９９２年３月３１日初版発行、木内雄二編、日
刊工業新聞社刊）の第１４３頁〜第１４５頁、及び第２
５９頁〜第２６０頁に一般的に解説されている。

【０００７】このような撮像系では、１つの画素が複数
の色信号から構成され、画素の位置に応じて少なくとも
１つ以上の色信号が欠落していることが多い。

【０００８】図２３は、単板式撮像系で一般的に用いら
れているシアン（Ｃｙ）、マゼンタ( Ｍｇ) 、イエロー
( Ｙｅ) 、グリーン（Ｇ）の補色モザイクフィルタの配
置を示す。図２３において、偶数フィールドのｎライン
とｎ＋１ラインに対応する輝度信号をそれぞれＹ_e,n、
Ｙ_e,n+1、色差信号をＣ_e,n、Ｃ_e,n+1とする。同様に
奇数フィールドのｎラインとｎ＋１ラインに対応する輝
度信号をＹ_o,n、Ｙ_o, _n+1、色差信号をＣ_o,n、Ｃ
_o,n+1とする。これらの信号は、次式で示される。

【０００９】Ｙ_o,n＝Ｙ_o,n+1＝Ｙ_e,n＝Ｙ_e,n+1＝２Ｒ＋３Ｇ＋２Ｂ（１）Ｃ_o,n＝Ｃ_e,n＝２Ｒ−Ｇ（２）Ｃ_o,n+1＝Ｃ_e,n+1＝２Ｂ−Ｇ（３）ただし、Ｃｙ、Ｍｇ、ＹｅはＧおよびレッド( Ｒ) 、ブ
ルー( Ｂ) により次式で示される。

【００１０】Ｃｙ＝Ｇ＋Ｂ（４）Ｍｇ＝Ｒ＋Ｂ（５）Ｙｅ＝Ｒ＋Ｇ（６） ( １) 式で示されるように、輝度信号は偶数，奇数フィ
ールドの全ラインで生成される。これに対し、( ２) 、
( ３) 式で示されるように２つの色差信号は１ラインご
とにしか生成されず、線形補間により欠落するラインを
補っている。この後、マトリックス演算を行うことで
Ｒ、Ｇ、Ｂの三原色を得ることができる。このような方
法では、色差信号は輝度信号に対して１／２の情報量し
かなく、エッジ部に色モワレと呼ばれるアーティファク
トが発生する。一般に、このような色モワレを低減する
ために水晶フィルタを用いたローパスフィルタを撮像素
子前面に配置することが行われるが、ローパスフィルタ
の挿入により解像度が低下するという新たな問題が発生
する。

【００１１】一方、上記のように色差信号のみで単純な
補間を行うのでなく、輝度信号の成分を用いて色差信号
を補正する方法が提案されている。その１つは輝度信号
Ｙを線形補間により作成するとともに、色差信号Ｃにつ
いては、輝度信号Ｙの変化の少ない領域では線形補間に
て補い、変化の大きい領域では輝度信号Ｙを以下の
（７）式に示されるように変形することで回復された色
差信号Ｃ′を得る。

【００１２】Ｃ′＝ａＹ＋ｂ（７）ここでａ、ｂは定数である。

【００１３】また、特開平０５−０５６４４６号公報で
は、輝度信号Ｙは線形補間で作成され、色差信号Ｃにつ
いては、輝度信号Ｙと色差信号Ｃを電気回路的ローパス
フィルタにて処理し、それぞれの低周波成分Ｙ_lowとＣ
_lowを得る。欠落が回復された色信号Ｃ′は（８）式で
得られる。

【００１４】

【数１】

【００１５】これは、色差信号を補正した輝度信号で置
き換えることに相当する。上記従来技術では輝度信号を
基準に色差信号を補正するが、輝度信号自体が三板式に
比べて１／２の情報量しかない。また、これらの方法に
おいても色モワレを低減するために水晶フィルタを用い
たローパスフィルタを使用する必要がある。このため、
基準となる輝度信号はさらに解像度が低下することにな
り、三板式に匹敵する画質向上は実現することができな
い。

【００１６】

【発明が解決しようとする課題】上記したように、従来
技術は、色差信号を線形補間または輝度信号に基づき補
っており、欠落する色信号を高精度にかつ高速に復元す
るという点について対応することができない。本発明は
この点に着目し、欠落する色信号を高精度にかつ高速に
復元可能な画像処理装置を提供することを目的とする。

【００１７】また、従来技術は、画像中のエッジや色の
境界部などに無関係に、機械的にライン単位で加減算に
より輝度信号や色差信号を生成しており、エッジや色の
境界部に発生する偽色を解像度の犠牲なしに低減すると
いう点について対応することができない。本発明はこの
点に着目し、解像度を低下させずにエッジや色の境界部
に発生する偽色を低減可能な画像処理装置を提供するこ
とを目的とする。

【００１８】また、従来技術は、撮像系の有する画素数
と出力系の要する画素数との関係を考慮することなく信
号処理を行なっており、適切な処理時間で適切な画質を
得るという点については対応することができない。本発
明はこの点に着目し、適切な処理時間で適切な画質を得
ることが可能な画像処理装置を提供することを目的とす
る。

【００１９】また、従来技術は、撮像系の有する画素数
と出力系の要する画素数との関係を考慮することなく信
号処理を行なっており、自動的処理にて適切な処理時間
で適切な画質を得るという点について対応することがで
きない。本発明はこの点に着目し、自動的処理にて適切
な処理時間で適切な画質を得ることが可能な画像処理装
置を提供することを目的とする。

【００２０】また、従来技術は、撮像系の有する画素数
と出力系の要する画素数との関係を考慮することなく信
号処理を行なっており、使用者の希望に基づき処理時間
または画質のどちらかを優先するという点について対応
することができない。本発明はこの点に着目し、使用者
の希望に基づき処理時間または画質のどちらかを優先し
て信号処理を行なえることが可能な画像処理装置を提供
することを目的とする。

【００２１】また、従来技術は、色差信号を線形補間ま
たは輝度信号に基づいて補っており、欠落する色信号を
高精度にかつ低コストで復元するという点については対
応することができない。本発明はこの点に着目し、欠落
する色信号を高精度にかつ低コストで復元可能な画像処
理装置を提供することを目的とする。

【００２２】また、従来技術は、色差信号を線形補間ま
たは輝度信号に基づき補っており、欠落する色信号を高
精度に復元するという点について対応することができな
い。また、一度線形補間または輝度信号に基づき欠落す
る色信号を補った信号に対して、これを再度処理して高
精度な復元をするという点について対応することができ
ない。本発明はこの点に着目し、一度線形補間などの処
理をした信号に対しても色信号を高精度に復元可能な画
像処理装置を提供することを目的とする。

【００２３】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る画像処理装置は、単板または二
板または三板画素ずらし式撮像系を有する画像処理装置
であって、画像信号を画素単位で順次走査し現注目画素
を包含する少なくとも一つ以上の近傍領域から領域分割
のためのパラメータを算出するパラメータ算出手段と、
上記算出されたパラメータに基づき上記画像信号を単一
な色相関関係が成立する均一領域に分割する画像信号分
割手段と、上記均一領域内に存在する色信号間の色相関
関係を線形式として回帰する回帰手段と、上記均一領域
内に存在する色信号と上記線形式とに基づき欠落する色
信号を回復する第１の回復手段とを具備する。

【００２４】また、第２の発明に係る画像処理装置は、
第１の発明において、前記パラメータ算出手段は、上記
近傍領域内に存在する色信号から分光スペクトルの勾配
を求め、上記勾配の大小関係から領域分割のためのパラ
メータを算出する。

【００２５】また、第３の発明に係る画像処理装置は、
第１の発明において、前記パラメータ算出手段は、上記
近傍領域内に存在する色信号から輝度信号を求め、上記
輝度信号のエッジ強度から領域分割のためのパラメータ
を算出する。

【００２６】また、第４の発明に係る画像処理装置は、
第１の発明において、前記パラメータ算出手段は、上記
近傍領域内に存在する色信号間の色相関関係を線形式と
して回帰し、上記線形式の定数項から領域分割のための
パラメータを算出する。

【００２７】また、第５の発明に係る画像処理装置は、
第１の発明において、前記パラメータ算出手段は、上記
近傍領域内に存在する色信号間の色相関関係を線形式と
して回帰し、上記線形式の回帰に使用した色信号の最大
値および最小値を代入したときの誤差から領域分割のた
めのパラメータを算出する。

【００２８】また、第６の発明に係る画像処理装置は、
第１の発明において、上記撮像系で撮像された画像信号
の欠落する色信号を線形補間にて回復する第２の回復手
段と、上記第１の回復手段と、上記第２の回復手段とを
切り換える切り換え手段とをさらに具備する。

【００２９】また、第７の発明に係る画像処理装置は、
第６の発明において、前記切り換え手段は、撮像時の画
像信号の画素数と出力媒体の要する画素数、または電子
ズームの使用の有無に基づき自動的に切り換えを行う。

【００３０】また、第８の発明に係る画像処理装置は、
第６の発明において、前記切り換え手段による切り換え
は、手動によるものである。

【００３１】また、第９の発明に係る画像処理装置は、
単板または二板または三板画素ずらし式撮像系を有する
画像処理装置であって、画像信号を画素単位で順次走査
し現注目画素を包含する局所領域を抽出する局所領域抽
出手段と、上記抽出された局所領域内にて複数の微小領
域を設定し、各微小領域から領域分割のためのパラメー
タを算出するパラメータ算出手段と、上記算出されたパ
ラメータに基づき上記局所領域を単一な色相関関係が成
立する均一領域に分割する局所領域分割手段と、上記局
所領域内にて上記均一領域に基づき現注目画素と同一の
領域に属する色信号を選択し、この色信号間の色相関関
係を線形式として回帰する選択回帰手段と、上記局所領
域内にて上記均一領域に基づき現注目画素と同一の領域
に属する色信号を選択し、この色信号と上記線形式に基
づき現注目画素と同等の領域における欠落する色信号を
回復する第１の回復手段とを具備する。

【００３２】また、第１０の発明に係る画像処理装置
は、第９の発明において、前記パラメータ算出手段は、
上記微小領域内に存在する色信号から分光スペクトルの
勾配を求め、上記勾配の大小関係から領域分割のための
パラメータを算出する。

【００３３】また、第１１の発明に係る画像処理装置
は、第９の発明において、前記パラメータ算出手段は、
上記微小領域内に存在する色信号から輝度信号を求め、
上記輝度信号のエッジ強度から領域分割のためのパラメ
ータを算出する。

【００３４】また、第１２の発明に係る画像処理装置
は、第９の発明において、前記パラメータ算出手段は、
上記微小領域内に存在する色信号間の色相関関係を線形
式として回帰し、上記線形式の定数項から領域分割のた
めのパラメータを算出する。

【００３５】また、第１３の発明に係る画像処理装置
は、第９の発明において、前記パラメータ算出手段は、
上記微小領域内に存在する色信号間の色相関関係を線形
式として回帰し、上記線形式の回帰に使用した色信号の
最大値および最小値を代入したときの誤差から領域分割
のためのパラメータを算出する。

【００３６】また、第１４の発明に係る画像処理装置
は、第９の発明において、上記撮像系で撮像された画像
信号の欠落する色信号を線形補間にて回復する第２の回
復手段と、上記第１の回復手段と、上記第２の回復手段
とを切り換える切り換え手段とをさらに具備する。

【００３７】また、第１５の発明に係る画像処理装置
は、第１４の発明において、前記切り換え手段は、撮像
時の画像信号の画素数と出力媒体の要する画素数、また
は電子ズームの使用の有無に基づき自動的に切り換えを
行う。

【００３８】また、第１６の発明に係る画像処理装置
は、第１４の発明において、前記切り換え手段による切
り換えは、手動によるものである。

【００３９】また、第１７の発明に係る画像処理装置
は、単板または二板または三板画素ずらし式撮像系を有
する画像処理装置であって、上記撮像系により撮像され
た画像信号の欠落する色信号を線形補間にて回復する第
１の回復手段と、この第１の回復手段により回復された
画像信号を上記撮像系で得られる本来の画像信号に変換
する変換手段と、上記変換された画像信号の欠落する色
信号を各色信号間の色相関関係に基づき回復する第２の
回復手段と、上記変換手段と上記第２の回復手段とを切
り換える切り換え手段とを具備する。

【００４０】また、第１８の発明に係る画像処理装置
は、第１７の発明において、前記切り換え手段は、撮像
時の画像信号の画素数と出力媒体の要する画素数、また
は電子ズームの使用の有無に基づき自動的に切り換えを
行う。

【００４１】また、第１９の発明に係る画像処理装置
は、第１７の発明において、前記切り換え手段による切
り換えは、手動によるものである。

【００４２】また、第２０の発明に係る記録媒体は、単
板または二板または三板画素ずらし式撮像系により撮像
して得られた画像信号を画素単位で順次走査し現注目画
素を包含する少なくとも一つ以上の近傍領域から領域分
割のためのパラメータを算出するパラメータ算出処理
と、上記算出されたパラメータに基づき上記画像信号を
単一な色相関関係が成立する均一領域に分割する画像信
号分割処理と、上記均一領域内に存在する色信号間の色
相関関係を線形式として回帰する回帰処理と、上記均一
領域内に存在する色信号と上記線形式とに基づき欠落す
る色信号を回復する回復処理とをコンピュータに実行さ
せる命令を含むプログラムを格納している。

【００４３】また、第２１の発明に係る記録媒体は、単
板または二板または三板画素ずらし式撮像系により撮像
して得られた画像信号を画素単位で順次走査し現注目画
素を包含する局所領域を抽出する局所領域抽出処理と、
上記抽出された局所領域内にて複数の微小領域を設定
し、各微小領域から領域分割のためのパラメータを算出
するパラメータ算出処理と、上記算出されたパラメータ
に基づき上記局所領域を単一な色相関関係が成立する均
一領域に分割する局所領域分割処理と、上記局所領域内
にて上記均一領域に基づき現注目画素と同一の領域に属
する色信号を選択し、この色信号間の色相関関係を線形
式として回帰する選択回帰処理と、上記局所領域内にて
上記均一領域に基づき現注目画素と同一の領域に属する
色信号を選択し、この色信号と上記線形式に基づき現注
目画素と同等の領域における欠落する色信号を回復する
選択回復処理とをコンピュータに実行させる命令を含む
プログラムを格納している。

【００４４】また、第２２の発明に係る記録媒体は、単
板または二板または三板画素ずらし式撮像系により撮像
して得られた画像信号の欠落する色信号を線形補間にて
回復する第１の回復処理と、この第１の回復処理により
回復された画像信号を上記撮像系で得られる本来の画像
信号に変換する変換処理と、上記変換された画像信号の
欠落する色信号を各色信号間の色相関関係に基づき回復
する第２の回復処理と、上記変換処理と上記第２の回復
処理とを切り換える切り換え処理とをコンピュータに実
行させる命令を含むプログラムを格納している。

【００４５】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を詳細に説明する。

【００４６】本出願人は特願平１０−０１５３２５にお
いて、局所領域内の色信号間の色相関関係に基づき高精
細に欠落する色信号を回復する方法を提案している。こ
の方法は、局所領域内が均一な被写体であり単一の色相
関関係がある場合には三板式に匹敵する画像が得られる
が、複数の被写体があり複数の色相関関係がある場合に
は偽信号が発生する。このため、この特願平では局所領
域ごとに信頼性を検証する方法を採用しているが、偽信
号の発生を完全に抑止することができない。また、信頼
性の低い領域を線形補間に切り換えるため、偽信号の抑
止を優先させると画質向上の効果が低下してしまう。さ
らに、局所領域ごとに色相関関係を算出するために高速
な処理を実現することが困難である。

【００４７】そこで、このような問題を克服するための
方法を具体的な実施形態に基づいて以下に詳細に説明す
る。

【００４８】（第１実施形態）図１は、本発明の第１実
施形態の構成図である。第１実施形態は、本発明の画像
処理装置が図２２の電子スチルカメラシステムにおける
電子スチルカメラ８０４により構成され、画像処理され
た信号をメモリカード８０５やカラープリンタ８０１に
出力する場合を想定している。

【００４９】単板式ＣＣＤを用いた入力部１０１は、Ｒ
信号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信
号用バッファ１０４に接続されている。Ｒ信号用バッフ
ァ１０２、Ｇ信号用バッファ１０３、Ｂ信号用バッファ
１０４は、処理切り換え部１０５を介して近傍領域抽出
部１０６と線形補間部１１６に接続されている。近傍領
域抽出部１０６は、パラメータ算出部１０７、パラメー
タ用バッファ１０８、画像信号分割部１０９を介して、
分割画像用バッファ１１０に接続されている。

【００５０】分割画像用バッファ１１０と処理切り換え
部１０５は均一領域抽出部１１１に接続され、均一領域
抽出部１１１は、均一領域用バッファ１１２を介して色
相関回帰部１１３と欠落画素復元部１１４とに接続され
ている。色相関回帰部１１３は欠落画素復元部１１４に
接続されている。欠落画素復元部１１４は、復元画像用
バッファ１１５を介してメモリカードやプリンタなどの
出力部１１７に接続されている。線形補間部１１６もま
た出力部１１７に接続されている。

【００５１】また、マイクロコンピュータなどの制御部
１１８は、入力部１０１、処理切り換え部１０５、近傍
領域抽出部１０６、画像信号分割部１０９、均一領域抽
出部１１１、色相関回帰部１１３、欠落画素復元部１１
４、線形補間部１１６に接続されている。

【００５２】以下に上記した構成の作用を説明する。こ
こでは信号の流れに沿って説明する。入力部１０１から
のＲＧＢ三信号は、制御部１１８の制御により、Ｒ信号
用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号用
バッファ１０４に転送される。各信号用バッファ１０
２、１０３、１０４内の色信号は、制御部１１８の制御
に基づき処理切り換え部１０５を介して近傍領域抽出部
１０６または線形補間部１１６へ転送される。この選択
は、図示しない切り換えスイッチにより行うことも可能
であるし、デジタルズームが使用された場合には近傍領
域抽出部１０６へ、使用されなかった場合には線形補間
部１１６へ転送するなど自動切り換えにすることも可能
である。

【００５３】線形補間部１１６へ転送された場合は、公
知の線形補間により欠落する色信号が復元され、出力部
１１７へ転送され処理は終了する。近傍領域抽出部１９
６に転送された場合は、信号を画素単位に順次走査して
いき、現注目画素を包含する少なくとも１つ以上の所定
サイズの近傍領域を抽出する。抽出するサイズは、入力
部１０１で使用されるフィルタ配置に基づき決められ、
抽出する領域数は処理速度と画質改善効果との兼ね合い
で決められる。パラメータ算出部１０７では、各近傍領
域ごとに近傍領域内に存在する色信号からスペクトルの
勾配を求め、この勾配の符号に基づきクラスに分類する
ことで領域分割のパラメータとする。１つの近傍領域が
抽出される場合はその近傍領域のクラスが、複数の近傍
領域が抽出される場合は最多数のクラスが現注目画素の
パラメータとされる。パラメータ算出部１０７で算出さ
れたパラメータは、パラメータ用バッファ１０８に転送
されて保存される。制御部１１８は、全画素の走査が終
了するまで上記過程を反復させる。全画素の走査が終了
すると、パラメータ用バッファ１０８には全画素に対す
るクラスがパラメータとして存在されることになる。

【００５４】次に制御部１１８は、パラメータ用バッフ
ァ１０８上のパラメータを画像信号分割部１０９へ転送
させる。画像信号分割部１０９は、公知の平滑化，ラベ
リング処理を行うことでクラスごとに領域分離を行い、
この結果を分割画像用バッファ１１０へ転送する。領域
分割終了後、均一領域抽出部１１１は制御部１１８の制
御により分割画像用バッファ１１０上の領域分割結果か
ら順次個々の領域に対応するＲＧＢ三信号を処理切り換
え部１０５から読み込み均一領域用バッファ１１２へ転
送する。

【００５５】色相関回帰部１１３は、均一領域用バッフ
ァ１１２上にある各色信号の色相関関係を線形式に回帰
し、この線形式のデータを欠落画素復元部１１４へ転送
する。欠落画素復元部１１４では、均一領域用バッファ
１１２上にある各色信号と色相関回帰部１１３からの線
形式のデータに基づき欠落する色信号を回復あるいは復
元し、復元画像用バッファ１１５へ転送する。制御部１
１８は、分割画像用バッファ１１０上にある全ての領域
が終了するまで上記過程を反復させる。全ての領域が終
了すると復元画像用バッファ１１５上には欠落信号が回
復された完全な画像信号が存在することになり、この信
号は出力部１１７へ出力される。

【００５６】図２は、入力部１０１の具体的構成の一例
を示す説明図である。レンズ系２０１とローパスフィル
タ２０２を介して単板式のＣＣＤ２０３が配置されてい
る。ＣＣＤ２０３は、例えば図３に示されるＲ、Ｇ、Ｂ
原色型のフィルタ配置を持つＣＣＤである。ＣＣＤ２０
３で得られた画像信号は、Ａ／Ｄ変換器２０４、色分離
回路２０５、プロセス回路２０６、２０７、２０８、マ
トリックス回路２０９を介してＲＧＢの三信号に変換さ
れ、Ｒ信号用バッファ１０２、Ｇ信号用バッファ１０
３、Ｂ信号バッファ１０４に保存される。また、ＣＣＤ
２０３にはクロックジェネレータ２１０に基づいて動作
されるＣＣＤ駆動回路２１１が接続されている。

【００５７】図３は、図２のＣＣＤ２０３におけるフィ
ルタ配置の具体的構成の一例を示す説明図である。ここ
では、図３（ａ）に示すように２×２サイズの基本配置
があり、図３（ｂ）に示すようにこの基本パターンが反
復的に繰り返されてＣＣＤ上の全画素を充填する構造と
なっている。図３（ｃ）は２×４サイズのその他の基本
配置を示す図である。

【００５８】図４は、近傍領域抽出部１０６、パラメー
タ算出部１０７でのスペクトルの勾配に基づく領域分割
に関する説明図である。図４（ａ）は、入力画像の一例
を示すもので、上部のＡ領域を白とし下部のＢ領域を赤
とする。図４（ｂ）は、Ａ領域とＢ領域において、Ｒ、
Ｇ、Ｂ３つの波長( λ) に対する強度( Ｉ) をプロット
した図である。Ａ領域は白であり、Ｒ、Ｇ、Ｂ３つの波
長に対するスペクトル強度の勾配はＩ_R（Ａ）＝Ｉ
_G（Ａ）＝Ｉ_B（Ａ）とほぼ等しく、これをクラス０と
する。

【００５９】また、Ｂ領域は赤であり、スペクトル強度
の勾配Ｉ_R（Ｂ）＞Ｉ_G（Ｂ）＝Ｉ_B（Ｂ）とＲ信号の
強度が大きく、Ｇ、Ｂはほぼ等しくＲ信号の強度より小
さい。これをクラス４とする。Ｒ、Ｇ、Ｂ３つの信号の
勾配の組み合わせは１３通り存在し、これに分類が不可
能な場合のクラスを付加したものを図５に示す。

【００６０】図４（ｃ）は、図４（ａ）の入力画像を図
３（ｂ）に示すフィルタ配置の単板ＣＣＤで撮像したと
きの画像を示す。スペクトルの勾配を求めるためにはＲ
ＧＢ３信号が必要になる。このため、ある画素を注目画
素としたときフィルタの基本配置のサイズに等しい領域
を近傍領域として設定し、この近傍領域内からスペクト
ルの勾配を求める。本実施形態では２×２サイズの近傍
領域を設定する。図４（ｃ）に示されるように、注目画
素を含有する近傍領域は４つの場合が考えられる。本実
施形態では、４つの近傍領域全てでスペクトルの勾配を
求める。なお、近傍領域内に同一の色信号が複数含まれ
る場合はこれを加算平均するものとする。図４（ｃ）で
は、４つの近傍領域はＩ_R（Ａ）＝Ｉ_G（Ａ）＝Ｉ
_B（Ａ）であり、クラス０に分類される。もし４つの近
傍領域でクラスが異なる場合は、最多数のクラスに分類
するものとし、最多数のクラスが存在しない場合は不定
のクラス１３に分類するものとする。

【００６１】図４（ｄ）は、各画素で上記のように０〜
１３までのクラスが割り当てられた状態を示すもので、
このクラス分けされた画像が分割画像用バッファ１１０
へ出力される。このクラス分けはスペクトルの形態に基
づき行われるため、同一のクラスにおいては同一のスペ
クトル形態をもち、色相関に関しても同一の関係式で近
似することができる。画像信号分割部１０９は、クラス
分けされた画像を公知の平滑化，ラベリング処理を行う
ことでクラスごとに領域分離を行う。図４（ｅ）は、三
領域に分割された状態を示すもので、この結果を分割画
像用バッファ１１０へ転送する。

【００６２】図６は、色相関回帰部１１３における色相
関関係の線形式への回帰の説明図である。図６（ａ）
は、入力画像の一例を示す。色相関回帰部１１３で処理
される画像は、上記パラメータ算出部１０７でのスペク
トルの勾配に基づき色相関に関して均一な領域に分割さ
れたものを対象としている。図６（ｂ）は、図６（ａ）
の入力画像を図３（ｂ）に示すフィルタ配置の単板ＣＣ
Ｄで撮像したときの画像を示す。以後、ＲＧＢ３信号を
Ｓ_i（ｉ＝Ｒ、Ｇ、Ｂ）で表記する。Ｓ_i信号の平均を
ＡＶ_ Ｓ_i、標準偏差をＤＥＶ_ Ｓ_iとする。２つの色
信号Ｓ_iとＳ_j（ｊ＝Ｒ、Ｇ、Ｂ、かつ、ｊはｉに等し
くない）間に線形な色相関が成立するならば、その線形
式は、

【数２】

【００６３】で回帰される。図６（ｃ）は、Ｒ−Ｇ信号
間での色相関関係の線形式への回帰を示す。同様にＧ−
Ｂ、Ｒ−Ｂの信号間でも線形式への回帰が行われる。上
記の線形式が得られれば、Ｒ信号が存在する画素からＧ
信号を回復でき、逆にＧ信号が存在する画素からＲ信号
を回復できる。ＲとＢ信号間、ＧとＢ信号間でも同様に
して回復できる。上記過程を分割画像用バッファ１１０
にある全ての領域に行うことで復元画像用バッファ１１
５上には全ての色信号が復元された画像が得られる。

【００６４】なお、本実施形態ではハードウェア的に処
理を行っているが、図７に示されるようにソフトウェア
的に処理を行うことも可能である。

【００６５】すなわち、図７において、まずステップＳ
１において入力部１０１からの単板画像信号を読み込
む。次にステップＳ２において図示しない切り換えスイ
ッチや、電子ズームの使用の有無に基づき処理を選択
し、線形補間の場合はステップＳ３へ、それ以外の場合
はステップＳ５へ分岐する。ステップＳ３では線形補間
を行い、欠落する色信号を回復する。ステップＳ４では
回復された色信号を出力し、処理を完了する。

【００６６】次にステップＳ５においてスペクトル勾配
に基づき領域分割を行う。ステップＳ５の詳細な処理に
ついては後述する。次にステップＳ６において領域分割
画像を走査して個々の領域を順次抽出して次段の処理を
行う。次にステップＳ７にて、均一領域内のＲ，Ｇ，Ｂ
各色信号の平均ＡＶ_ Ｓ_iと標準偏差ＤＥＶ_ Ｓ_iを算
出する。次にステップＳ８にて、（９）式に基づきＲ−
Ｇ、Ｇ−Ｂ、Ｒ−Ｂ間の線形式を算出する。

【００６７】次にステップＳ９にて線形式に基づき領域
内の欠落する色信号を回復する。次にステップＳ１０に
て、回復された色信号を出力する。次にステップＳ１１
にて全領域の走査が終了したかどうかを判断し、終了し
た場合は処理を完了し、終了していない場合はステップ
Ｓ６へ分岐する。

【００６８】上記のステップＳ５での領域分割は図８の
ように行われる。まずステップＳ５−１にて、画像信号
を画素単位に走査し次段の処理を行う。次にステップＳ
５−２にて、現注目画素を含有する４つの２×２サイズ
の近傍領域を抽出する。次にステップＳ５−３にて、上
記の図５に基づき近傍領域のスペクトル勾配からクラス
を求める。次にステップＳ５−４にて、最多数のクラス
が存在するかどうかを判断し、存在するならステップＳ
５−５へ、存在しない場合はステップＳ５−６へ分岐す
る。ステップＳ５−５では最多数のクラスを出力する。
ステップＳ５−６では不定クラスとして１３を出力す
る。

【００６９】次にステップＳ５−７にて、全画素の走査
が終了したかどうかを判断し、終了した場合はステップ
Ｓ５−８へ、終了していない場合はステップＳ５−１へ
分岐する。

【００７０】次にステップＳ５−８にて、３×３サイズ
のメディアンフィルタによる平滑化を行う。次にステッ
プＳ５−９にて、ラベリング処理にて領域を分割する。
次にステップＳ５−１０にて、領域分割画像を出力す
る。

【００７１】上記のように、入力される画像信号に対し
フィルタ配置に基づく近傍領域からスペクトルの勾配を
求め領域分割を行うことで、単一の色相関関係の成立す
る領域が得られる。この個々の領域に対して色相関関係
を線形式に回帰して算出し、欠落画素を回復する。この
ため、従来の線形補間では不可能であった高周波成分の
回復が行え、高精細な再生画像を生成できる。

【００７２】また、予め均一な領域に分割しておくため
偽信号の発生も防止できる。さらに、従来例では矩形領
域ごとに多数回の回帰計算を要していたが、より大きな
領域に対してのみ回帰計算を行えばよいので計算時間を
短縮することもできる。スペクトルの勾配は色信号の大
小関係から求めることができるため、高速かつ低コスト
で行うことができる。また、必要に応じて通常画質の線
形補間による回復も選択できるため処理速度の一層の高
速化も可能となる。

【００７３】なお本実施形態では、図３（ａ）に示すよ
うに２×２サイズのフィルタ配置を用いているが、これ
に限定される必要はなく自由な設定が可能である。例え
ば、図３（ｃ）に示すフィルタ配置も使用できる。この
場合、近傍領域抽出部１０６では２×４サイズの領域を
抽出することになる。また、近傍領域を４つ抽出するこ
とに限定される必要もなく、計算時間を短縮したい場合
は例えば１つで行うこともできる。この場合、パラメー
タ算出部１０７では最多数のクラスを求める必要が無
く、不定クラスもなくなることになる。また、本実施形
態では圧縮処理に関しては図示していないが、メモリカ
ードなどに保存する場合は出力部１１７の前段にＪＰＥ
Ｇなどの公知の圧縮部を付加する構成も可能である。

【００７４】（第２実施形態）以下に本発明の第２実施
形態を説明する。第２実施形態は上記した第１実施形態
におけるパラメータ算出部１０７の機能が異なる以外
は、構成自体は図１，２に示す第１実施形態と基本的に
同等である。

【００７５】以下に第２実施形態の作用を説明する。基
本的に第１実施形態と同等であり、以下は異なる部分の
み説明する。図９は、図２のＣＣＤ２０３におけるフィ
ルタ配置の具体的構成の一例を示す説明図である。本実
施形態では、第１実施形態と異なり、Ｃｙ、Ｍｇ、Ｙ
ｅ、Ｇの補色系のフィルタを用いる。図９（ａ）に示す
ように２×４サイズの基本配置を用い、図９（ｂ）に示
すようにこの基本パターンが反復的に繰り返されてＣＣ
Ｄ上の全画素を充填する構造となっている。なお、図２
の色分離回路２０５、プロセス回路２０６、２０７、２
０８、マトリックス回路２０９は補色系のフィルタ配置
にあわせて変更され、図１、図２のＲ信号用バッファ１
０２、Ｇ信号用バッファ１０３、Ｂ信号バッファ１０４
はＣｙ、Ｍｇ、Ｙｅ、Ｇ用の４信号用バッファに拡張さ
れる。

【００７６】図１０は、近傍領域抽出部１０６、パラメ
ータ算出部１０７での輝度信号に基づく領域分割に関す
る説明図である。図１０（ａ）は、入力画像の一例を示
すもので、上部のＡ領域を白とし下部のＢ領域を赤とす
る。図１０（ｂ）は、図１０（ａ）の入力画像を図９
（ｂ）に示すフィルタ配置の単板ＣＣＤで撮像したとき
の画像を示す。この単板状態から輝度信号を算出するに
はＣｙ、Ｍｇ、Ｙｅ、Ｇの４色の信号が必要になる。こ
のため、ある画素を注目画素としたとき左下方向に２×
２サイズの近傍領域を設定する。図９（ｂ）に示すフィ
ルタ配置では、左下方向に２×２サイズの近傍領域を設
定すれば必ずＣｙ、Ｍｇ、Ｙｅ、Ｇの４色の信号が存在
することになる。輝度信号ＹはＹ＝Ｃｙ＋Ｍｇ＋Ｙｅ＋Ｇ＝２Ｒ＋３Ｇ＋２Ｂ（１０）で与えられる。図１０（ｃ）は、（１０）式に基づき各
画素単位で算出された輝度信号を示す。図１０（ｄ）
は、この輝度信号に公知のエッジ抽出処理を行い算出さ
れたエッジ強度を示す。このエッジ強度に対して、所定
の閾値、例えば本実施形態では１５を用いて二値化処理
した結果が斜線で示されている。図１０（ｅ）は、二値
化処理された画素に基づき、公知のラベリング処理を行
うことで領域分離を行った結果を示す。本実施形態では
四領域に分割された状態を示すもので、この結果を分割
画像用バッファ１１０へ転送する。以後の処理は第１実
施形態と同様に行われ、各画素につきＣｙ、Ｍｇ、Ｙ
ｅ、Ｇの４信号が回復され回復画像用バッファ１１５へ
転送される。その後、（４）〜（６）式に示される関係
からＲ，Ｇ，Ｂの３信号が算出されて出力部１１７へ出
力される。

【００７７】なお、本実施形態ではハードウェア的に処
理を行っているが、図１１に示されるようにソフトウェ
ア的に処理を行うことも可能である。内容は、図７に示
される第１実施形態と同等であり、ステップＳ５のみが
ステップＳ１２に置換される。ステップＳ１２の領域分
割は図１２のように行われる。

【００７８】すなわち、まずステップＳ１２−１にて、
画像信号を画素単位に走査し次段の処理を行う。次にス
テップＳ１２−２にて、現注目画素を含有する２×２サ
イズの近傍領域を抽出する。次にステップＳ１２−３に
て、（１０）式に基づき輝度信号を算出する。次にステ
ップＳ１２−４にて、全画素の走査が終了したかどうか
を判断し、終了した場合はステップＳ１２−５へ、終了
していない場合はステップＳ１２−１へ分岐する。ステ
ップＳ１２−５ではエッジ抽出を行う。次にステップＳ
１２−６にて、二値化処理を行う。次にステップＳ１２
−７にて、ラベリング処理を行い、領域を分割する。次
にステップＳ１２−８にて、領域分割画像を出力する。

【００７９】上記のように、入力される画像信号に対し
フィルタ配置に基づく近傍領域から輝度信号のエッジ強
度を求め領域分割を行うことで、単一の色相関関係の成
立する領域が得られる。この個々の領域に対して色相関
関係を線形式に回帰して算出し、欠落画素を回復する。
このため、従来の線形補間では不可能であった高周波成
分の回復が行え、高精細な再生画像を生成できる。

【００８０】また、予め均一な領域に分割しておくため
偽信号の発生も防止できる。さらに、従来例では矩形領
域ごとに多数回の回帰計算を要していたが、より大きな
領域に対してのみ回帰計算を行えばよいので計算時間を
短縮することもできる。輝度信号の算出は加算演算のみ
で実現でき、高速かつ低コストで行うことができる。ま
た、必要に応じて通常画質の線形補間による回復も選択
できるため処理速度の一層の高速化も可能となる。

【００８１】また、本実施形態では補色式ＣＣＤを使用
しているが、原色式ＣＣＤにおいても適用することがで
きる。例えば図３（ａ）に示すフィルタ配置を用いる場
合の輝度信号算出法を図１３に示す。図１３（ａ）、
（ｂ）、（ｃ）は、注目画素をＲ、Ｇ、Ｂとした場合の
３×３サイズの近傍領域抽出部を示す。この近傍領域に
図１３（ｄ）に示すマトリックス係数を乗算すると、す
べての場合で４Ｒ＋８Ｇ＋４Ｂとなり、これを正規化し
て輝度信号として用いることができる。また、二板また
は三板画素ずらし式にも適用できる。

【００８２】（第３実施形態）以下に本発明の第３実施
形態を説明する。図１４は、本発明の第３実施形態の構
成図である。第３実施形態は、本発明の画像処理装置が
図２２の電子スチルカメラシステムにおける電子スチル
カメラ８０４とドッキングステーション８０２とから構
成される。これら２つは分離されており、電子スチルカ
メラ８０４で得られた画像信号は、メモリカード８０５
を介してドッキングステーション８０２に入力されて画
像処理され、処理された信号はドッキングステーション
８０２に接続されたカラープリンタ８０１や、ＴＶモニ
ター８００、ＭＯドライブ８０３に出力される。

【００８３】電子スチルカメラ８０４内の二板式ＣＣＤ
を用いた入力部３０１の信号は、Ｒ信号用バッファ３０
２、Ｇ信号用バッファ３０３、Ｂ信号用バッファ３０４
へ転送され、線形補間部３０５を介してメモリカード３
０６へ出力される。一方、ドッキングステーション内の
カード読み取り部３０７は処理切り換え部３０８へ接続
されている。処理切り換え部３０８は、変換部３０９と
出力部３２５へ接続されている。変換部３０９は、フィ
ルタ配置ＲＯＭ３１０からの信号を受け、Ｒ信号用バッ
ファ３１１、Ｇ信号用バッファ３１２、Ｂ信号用バッフ
ァ３１３へ接続している。Ｒ信号用バッファ３１１、Ｇ
信号用バッファ３１２、Ｂ信号用バッファ３１３は、局
所領域抽出部３１４、色相関回帰部３１５、パラメータ
用バッファ３１６、局所領域分割部３１７、分割画像用
バッファ３１８の順に転送される。分割画像用バッファ
３１８と局所領域抽出部３１４からの信号は均一領域抽
出部３１９へ転送され、均一領域抽出部３１９からの信
号は均一領域用バッファ３２０を介して色相関回帰部３
２１と欠落画素復元部３２２へ転送される。色相関回帰
部３２１からの信号は、欠落画素復元部３２２へ接続さ
れている。欠落画素復元部３２２からの信号は、復元画
像用バッファ３２３、加算平均部３２４を介してプリン
タやモニターなどの出力部３２５へ出力される。また、
マイクロコンピュータなどの制御部３２６は、処理切り
換え部３０８、局所領域抽出部３１４、局所領域分割部
３１７、均一領域抽出部３１９、色相関回帰部３２１、
欠落画素復元部３２２、加算平均部３２４へ接続されて
いる。

【００８４】以下に第３実施形態の作用を説明する。入
力部３０１からのＲＧＢ三信号は、Ｒ信号用バッファ３
０２、Ｇ信号用バッファ３０３、Ｂ信号用バッファ３０
４に転送され、線形補間部３０５にて欠落する色信号が
復元され、メモリカード３０６へ出力される。メモリカ
ード３０６上の画像信号は、ドッキングステーション８
０２内のカード読み取り部３０７へ挿入され、上記画像
信号は処理切り換え部３０８へ転送される。処理切り換
え部３０８は、制御部３２６の制御に基づき画像信号を
変換部３０９または出力部３２５へ転送する。この選択
は、図示しない切り換えスイッチにより行うことも可能
であるし、画像信号の画素数と出力媒体の画素数を比較
し、カラープリンタなどの出力媒体の画素数が多い場合
は変換部３０９へ、ＴＶモニターなどの出力媒体の画素
数が少ない場合は無処理で出力部３２５へ転送するなど
自動切り換えにすることも可能である。

【００８５】変換部３０９に転送された場合、変換部３
０９はフィルタ配置ＲＯＭ３１０内から撮像系で使用さ
れたフィルタ配置を読み出し、このフィルタ配置情報に
基づきメモリカード３０６上の画像信号を本来の撮像系
で得られた状態に変更し、信号ごとにＲ信号用バッファ
３１１、Ｇ信号用バッファ３１２、Ｂ信号用バッファ３
１３へ転送する。局所領域抽出部３１４は、変換された
画像信号を画素単位に順次走査していき、現注目画素を
包含する所定サイズ、例えば６×６サイズの局所領域を
抽出する。色相関回帰部３１５は、上記した第１実施形
態における（９）式に従い、上記局所領域内の色相関関
係の定数項を算出する。定数項は、（９）式を（１１）
式に示すように変形して得られる（ＤＥＶ_ Ｓ_i／ＤＥ
Ｖ_ Ｓ_j）ＡＶ_ Ｓ_j＋ＡＶ_ Ｓ_iに相当する。

【００８６】

【数３】

【００８７】この定数項は、単一な色相関関係が成立す
る領域では０に近い値となるため、この値に基づき領域
分割を行うことができる。色相関回帰部３１５は、上記
局所領域内に２×２サイズの微小領域を設定し、これを
順次走査して行く。この微小領域ごとに上記定数項をＲ
−Ｇ、Ｇ−Ｂ、Ｒ−Ｂの３組の信号間で算出し、３つの
定数項の最大値をパラメータ用バッファ３１６へ転送す
る。制御部３２６は、局所領域内の走査が終了するまで
上記過程を反復させる。走査が終了すると、パラメータ
用バッファ３１６には局所領域内の画素に対する定数項
がパラメータとして存在されることになる。

【００８８】次に制御部３２６は、パラメータ用バッフ
ァ３１６上のパラメータを局所領域分割部３１７へ転送
させる。局所領域分割部３１７は、上記パラメータに対
して、所定の閾値を用いて二値化処理を行う。これによ
り単一な色相関関係が成立する領域では０に、それ以外
の境界領域は１に区分される。次に、公知のラベリング
処理を行うことで領域分離が行われ、この結果を分割画
像用バッファ３１８へ転送する。領域分割終了後、均一
領域抽出部３１９は制御部３２６の制御により、分割画
像用バッファ３１８上の領域分割結果から現注目画素と
同一の領域に属するＲＧＢ三信号を局所領域抽出部３１
４から読み込み均一領域用バッファ３２０へ転送する。
色相関回帰部３２１は、均一領域用バッファ３２０上に
ある各色信号の色相関関係を線形式に回帰し、この線形
式のデータを欠落画素復元部３２２へ転送する。なお、
本実施形態では二板式ＣＣＤを想定しているため、Ｇ信
号には欠落する画素が存在しない。よって、Ｒ、Ｂ信号
の欠落する色信号を回復するためＲ−Ｇ、Ｇ−Ｂの２組
の信号間で線形式への回帰が行われる。欠落画素復元部
３２２では、均一領域用バッファ３２０上にある各色信
号と色相関回帰部３２１からの線形式のデータに基づき
欠落する色信号を回復し復元画像用バッファ３２３へ転
送する。回復処理の基本となる局所領域は、変換された
画像信号を画素単位に走査しながら設定される。このた
め、局所領域のサイズに応じた重複が発生することにな
り、回復される色信号も重複が生じることになる。本実
施形態では、復元画像用バッファ３２３へ積算しながら
保存するものとする。制御部３２６は、局所領域抽出部
３１４による画像信号の走査が終了するまで上記過程を
反復させる。全ての画素が終了すると加算平均部３２４
は、復元画像用バッファ３２３上の積算された画像信号
を積算数に応じて平均化し、出力部３２５へ出力する。

【００８９】図１５は入力部３０１の具体的構成の一例
を示す説明図である。レンズ系４０１を介してＧ信号用
ローパスフィルタ４０２とＧ信号用ＣＣＤ４０４および
Ｒ、Ｂ信号用ローパスフィルタ４０３とＲ、Ｂ信号用Ｃ
ＣＤ４０５が配置されている。Ｇ信号用ＣＣＤ４０４は
全画素にＧフィルタが、Ｒ、Ｂ信号用ＣＣＤ４０５はＲ
とＢのフィルタが市松状に配置されている。Ｇ信号用Ｃ
ＣＤ４０４からの電気信号はＡ／Ｄ変換器４０６を介し
てＧ信号用バッファ３０４に保存される。また、Ｒ、Ｂ
信号用ＣＣＤ４０５は、Ａ／Ｄ変換器４０７とＲ／Ｂ分
離回路４０８を介してＲ信号用バッファ３０２とＢ信号
用バッファ３０３へ転送される。Ｇ信号用ＣＣＤ４０４
とＲ、Ｂ信号用ＣＣＤ４０５は、クロックジェネレータ
４０９に基づいて動作されるＧ信号用ＣＣＤ駆動回路４
１０とＲ、Ｂ信号用ＣＣＤ駆動回路４１１とにそれぞれ
接続されている。

【００９０】図１６は、局所領域抽出部３１４、色相関
回帰部３１５での定数項に基づく領域分割に関する説明
図である。図１６（ａ）は、入力画像の一例を示すもの
で、上部のＡ領域が白で下部のＢ領域が赤とする。図１
６（ｂ）、（ｃ）は、図１６（ａ）の入力画像を、図１
５に示す二板ＣＣＤで撮像したときの局所領域の画像を
示す。局所領域は、例えば６×６サイズとなっている。
この局所領域内で、色信号間の色相関関係の定数項を算
出するためにＲ、Ｇ、Ｂの３信号が必要となる。色相関
回帰部３１５は２×２サイズの微小領域を設定し、図１
６（ｂ）、（ｃ）に示すように局所領域内を左上を原点
として走査していく。２×２サイズの微小領域を設定す
れば必ずＲ、Ｇ、Ｂの３信号が存在することになる。こ
の微小領域内で（１１）式に基づき各微小領域ごとに３
組の色相関関係の定数項を求め、その最大値を選択す
る。図１６（ｄ）は選択された定数項を示す。微小領域
を２×２サイズとしたため、この段階では５×５サイズ
に対応する定数項が得られる。この定数項に対して所定
の閾値、例えば本実施形態では１５を用いて二値化処理
した結果を斜線で示す。図１６（ｅ）は、二値化処理さ
れた画素に基づき、公知のラベリング処理を行うことで
領域分離を行った結果を示す。本実施形態では注目画素
は１のラベルに属しており、均一領域抽出部３１９は１
のラベルに属する画素を抽出することになる。

【００９１】なお、本形態例ではハードウェア的に処理
を行っているが、図１７に示されるようにソフトウェア
的に処理を行うことも可能である。

【００９２】すなわち、まずステップＳ２１にて、入力
部３０１からの画像信号を読み込む。次にステップＳ２
２にて図示しない切り換えスイッチや、電子ズームの使
用の有無に基づき処理を選択し、線形補間の場合は処理
を完了し、それ以外はステップＳ２３へ分岐する。ステ
ップＳ２３では撮像系で得られる本来の原画像信号へ変
換する。次にステップＳ２４にて、原画像信号を画素単
位に走査し次段の処理を行う。次にステップＳ２５に
て、現注目画素を含有する６×６サイズの局所領域を抽
出する。次にステップＳ２６にて、色相関関係の定数項
に基づき局所領域内を分割する。ステップＳ２６の処理
の詳細は後述する。

【００９３】次にステップＳ２７にて、現注目画素と同
一な領域内のＲ、Ｇ、Ｂ各色信号の平均ＡＶ_ Ｓ_iと標
準偏差ＤＥＶ_ Ｓ_iを算出する。次にステップＳ２８に
て、（９）式に基づきＲ−Ｇ、Ｇ−Ｂ間の線形式を算出
する。

【００９４】次にステップＳ２９にて、線形式に基づき
領域内の欠落する色信号を回復あるいは復元する。次に
ステップＳ３０にて、回復された色信号を積算しながら
出力する。次にステップＳ３１にて、全領域の走査が終
了したかどうかを判断し、終了した場合はステップＳ３
２へ、終了していない場合はステップＳ２４へ分岐す
る。ステップＳ３２では積算された色信号を平均して出
力する。

【００９５】上記したステップＳ２６の局所領域分割は
図１８のように行われる。

【００９６】すなわち、まずステップＳ２６−１にて、
局所領域を画素単位に走査し次段の処理を行う。次にス
テップＳ２６−２にて、２×２サイズの微小領域を抽出
する。次にステップＳ２６−３にて、（１１）式に基づ
きＲ−Ｇ、Ｇ−Ｂ、Ｒ−Ｂ３組の定数項を算出する。次
にステップＳ２６−４にて、最大値の定数項を出力す
る。次にステップＳ２６−５にて、局所領域の走査が終
了したかどうかを判断し、終了した場合はステップＳ２
６−６へ、終了していない場合はステップＳ２６−１へ
分岐する。ステップＳ２６−６では得られた定数項に対
して二値化処理を行う。次にステップＳ２６−７にて、
ラベリング処理により領域を分割する。次にステップＳ
２６−８にて、現注目画素と同一の領域を出力する。

【００９７】上記のように、本実施形態では、通常の線
形補間により欠落する色信号が回復された画像信号に対
し、撮像系のフィルタ配置に基づき、撮像系で得られる
本来の原画像信号に変換する。この後、所定サイズの局
所領域内で色相関関係を回帰した場合の定数項を求め領
域分割を行うことで、単一の色相関関係の成立する領域
が得られる。この領域に対して色相関関係を線形式に回
帰して算出し、欠落画素を回復する。このため、従来の
線形補間では不可能であった高周波成分の回復が行え、
高精細な再生画像を生成できる。また、予め均一な領域
に分割しておくため偽信号の発生も防止できる。

【００９８】また、本実施形態での処理は、電子スチル
カメラと分離して行えるため、従来の電子スチルカメラ
に対しても汎用的に適用することができる。さらに、処
理が局所領域を単位として行われるため使用するメモリ
量が少なく低コストにて実現できる。また、必要に応じ
て処理を迂回できるため無駄な処理を行う必要がない。

【００９９】なお、本実施形態では局所領域内の分割を
定数項を用いて行っているがこれに限定される必要はな
い。第１実施形態におけるスペクトルの勾配や第２実施
形態における輝度信号のエッジ強度なども利用できる。
逆に、本実施形態の定数項による分割は第１，第２実施
形態でも利用できる。また、本実施形態では二板ＣＣＤ
にて処理を行っているが、単板または三板画素ずらし式
にも適用できる。さらに、ソフトウェアにて行う場合
は、専用のドッキングステーションで行う必要はなく、
一般のデスクトップパソコンやノートパソコンにて処理
を実現できる。本実施形態は、上記例で示したように圧
縮処理のされていない画像信号に対して最大の効果が得
られる。しかし、改善効果が低下するが、圧縮処理され
た画像信号に対しても適用することができる。この場合
は、図１４における線形補間部３０５とメモリカード３
０６間に圧縮部を、カード読み取り部３０７と処理切り
換え部３０８間に伸張部を付加すればよい。

【０１００】（第４実施形態）以下に本発明の第４実施
形態を説明する。第４実施形態は、上記した第３実施形
態における色相関回帰部３１５の機能が異なる以外は、
構成自体は図１４、図１５に示す第３実施形態と基本的
に同等である。

【０１０１】以下に第４実施形態の作用を説明する。基
本的に第３実施形態と同等であり、以下は異なる部分の
み説明する。図１９は、局所領域抽出部３１４、色相関
回帰部３１５での最大値・最小値による線形式の誤差に
基づく領域分割に関する説明図である。図１９（ａ）
は、入力画像の一例を示すもので、均一な領域となって
いる。図１９（ｂ）は、（９）式に基づきＲ−Ｇ信号間
での色相関関係を平均ＡＶ_ Ｓ_iと標準偏差ＤＥＶ_ Ｓ
_iから線形式に回帰する過程を示す。以後、各信号にお
ける最大値をＭａｘ_ Ｓ_i、最小値をＭｉｎ_ Ｓ_iで示
す。（９）式に示す線形式に最大値または最小値を代入
した場合、本実施形態のように均一な領域では等号が成
立することになる。

【０１０２】

【数４】

【０１０３】ここで両辺の誤差をE ｒｒ_ ｍａｘとＥｒ
ｒ_ ｍｉｎとすると

【数５】

【０１０４】となる。一方、図１９（ｄ）は上部の領域
Ａを白とし下部の領域Ｂを赤とする不均一な領域であ
る。図１９（ｅ）は、（９）式に基づき領域全体のＲ−
Ｇ信号間での色相関関係の線形式と、領域Ａと領域Ｂの
個々の色相関関係の線形式を示す図である。領域全体で
回帰した線形式は、領域Ａと領域Ｂでの個々の特性に影
響され正しい色相関関係を示さない。このような線形式
に最大値または最小値を代入した場合は等号が成立しな
くなる。

【０１０５】

【数６】

【０１０６】よって、誤差Ｅｒｒ_ ｍａｘとＥｒｒ_ ｍ
ｉｎを用いて領域分割を行うことが可能となる。

【０１０７】色相関回帰部３１５は、局所領域抽出部３
１４で抽出された局所領域に対して例えば３×３サイズ
の微小領域を設定し、これを順次走査して行く。微小領
域のサイズは使用する撮像系のフィルタ配置により調整
される。この微小領域ごとに上記２組の誤差をＲ−Ｇ、
Ｇ−Ｂ、Ｒ−Ｂの３組の信号間で算出し、これらの誤差
の最大値をパラメータ用バッファ３１６へ転送する。制
御部３２６は、局所領域内の走査が終了するまで上記過
程を反復させる。以後は上記した第３実施形態と同様
に、パラメータ用バッファ３１６上のパラメータを局所
領域分割部３１７へ転送させる。局所領域分割部３１７
は、上記パラメータに対して、所定の閾値を用いて二値
化処理を行う。これにより単一な色相関関係が成立する
領域では０に、それ以外の境界領域は１に区分される。
次に、公知のラベリング処理を行うことで領域分離が行
われ、この結果を分割画像用バッファ３１８へ転送す
る。

【０１０８】なお、本実施形態ではハードウェア的に処
理を行っているが、図２０に示されるようにソフトウェ
ア的に処理を行うことも可能である。内容は、図２０に
示される第３実施形態と同等であり、ステップＳ２６の
みがステップＳ３３に置換される。

【０１０９】ステップＳ３３の領域分割は図２１のよう
に行われる。

【０１１０】すなわち、まずステップＳ３３−１にて、
局所領域を画素単位に走査し次段の処理を行う。次にス
テップＳ３３−２にて、３×３サイズの微小領域を抽出
する。次にステップＳ３３−３にて、（９）式に基づき
各色信号の色相関関係を線形式に回帰する。次にステッ
プＳ３３−４にて、（１３）式に基づき最大値・最小値
による誤差を算出する。次にステップＳ３３−５にて、
誤差の最大値を出力する。次にステップＳ３３−６に
て、全画素の走査が終了したかどうかを判断し、終了し
た場合はステップＳ３３−７へ、終了していない場合は
ステップＳ３３−１へ分岐する。次にステップＳ３３−
７にて、二値化処理を行う。次にステップＳ３３−８に
て、ラベリング処理を行い、領域を分割する。次にステ
ップＳ３３−９にて、領域分割画像を出力する。

【０１１１】上記のように、所定サイズの局所領域内で
色相関関係を回帰した場合の誤差を求めて領域分割を行
うことで、単一の色相関関係の成立する領域が得られ
る。この領域に対して色相関関係を線形式に回帰して算
出し、欠落画素を回復する。このため、従来の線形補間
では不可能であった高周波成分の回復を行え、高精細な
再生画像を生成できる。また、予め均一な領域に分割し
ておくため偽信号の発生も防止できる。本実施形態の処
理は、電子スチルカメラと分離して行えるため、従来の
電子スチルカメラに対しても汎用的に適用することがで
きる。さらに、処理が局所領域を単位として行われるた
め使用するメモリ量が少なく低コストにて実現できる。
また、必要に応じて処理を迂回できるため無駄な処理を
行う必要がない。

【０１１２】なお、本実施形態の誤差による分割は第
１，第２実施形態でも利用できる。

【０１１３】なお、上記した具体的実施形態からは以下
のような構成の発明が抽出される。１．単板または二板または三板画素ずらし式撮像系を有
する画像処理装置であって、画像信号を画素単位で順次
走査し現注目画素を包含する少なくとも一つ以上の近傍
領域から領域分割のためのパラメータを算出するパラメ
ータ算出手段と、上記算出されたパラメータに基づき上
記画像信号を単一な色相関関係が成立する均一領域に分
割する画像信号分割手段と、上記均一領域内に存在する
色信号間の色相関関係を線形式として回帰する回帰手段
と、上記均一領域内に存在する色信号と上記線形式とに
基づき欠落する色信号を回復する第１の回復手段と、を
具備することを特徴とする画像処理装置。

【０１１４】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１〜図８に示される第１実施形
態および図１，図２，図９〜図１３に示される第２実施
形態に少なくとも対応する。構成中のパラメータ算出手
段は、図１に示される近傍領域抽出部１０６、パラメー
タ算出部１０７に該当する。構成中の画像信号分割手段
は、図１に示される画像信号分割部１０９、均一領域抽
出部１１１に該当する。構成中の回帰手段は、図１に示
される色相関回帰部１１３に該当する。構成中の回復手
段は、図１に示される欠落画素復元部１１４に該当す
る。

【０１１５】この発明の画像処理装置の好ましい適用例
は、図１に示す処理切り換え部１０５からの信号に関し
て所定サイズの近傍領域が近傍領域抽出部１０６にて抽
出され、パラメータ算出部１０７と画像信号分割部１０
９にて領域分割がなされ、この領域分割に基づき色相関
回帰部１１３と欠落画素復元部１１４において、図６に
示す色相関関係を回帰した線形式に基づき欠落する色信
号が回復されて出力部１１７へ転送される画像処理装置
である。

【０１１６】（作用）画像信号を予め単一な色相関関係
の成立する均一領域に分割し、各領域ごとに色相関関係
に基づき欠落する色信号を回復する。

【０１１７】（効果）欠落する色信号を高精度にかつ高
速に復元可能な画像処理装置を提供することができる。

【０１１８】２．１．において、前記パラメータ算出手段は、上記近傍領
域内に存在する色信号から分光スペクトルの勾配を求
め、上記勾配の大小関係から領域分割のためのパラメー
タを算出する。

【０１１９】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１〜図８に示される第１実施形
態に少なくとも対応する。構成中のパラメータ算出手段
は、図１に示される近傍領域抽出部１０６、パラメータ
算出部１０７に該当する。

【０１２０】この発明の画像処理装置の好ましい適用例
は、図１に示す処理切り換え部１０５からの信号に関し
て所定サイズの近傍領域が近傍領域抽出部１０６にて抽
出され、パラメータ算出部１０７と画像信号分割部１０
９にて図４に示す近傍領域内のスペクトルの勾配に基づ
き領域分割がなされる画像処理装置である。

【０１２１】（作用）色相関関係による復元は、画像信
号をスペクトルの勾配から均一領域に分割し各領域ごと
に色相関関係に基づき欠落する色信号を回復する。

【０１２２】（効果）解像度を低下させずにエッジや色
の境界部に発生する偽色を低減可能な画像処理装置を提
供することができる。

【０１２３】３．１．において、前記パラメータ算出手段は、上記近傍領
域内に存在する色信号から輝度信号を求め、上記輝度信
号のエッジ強度から領域分割のためのパラメータを算出
する。

【０１２４】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１、図２、図９〜図１３に示さ
れる第２実施形態に少なくとも対応する。構成中のパラ
メータ算出手段は、図１に示される近傍領域抽出部１０
６、パラメータ算出部１０７に該当する。

【０１２５】この発明の画像処理装置の好ましい適用例
は、図１に示す処理切り換え部１０５からの信号に関し
て所定サイズの近傍領域が近傍領域抽出部１０６にて抽
出され、パラメータ算出部１０７にて図１０に示す近傍
領域内の輝度信号のエッジ強度に基づき領域分割がなさ
れる画像処理装置である。

【０１２６】（作用）色相関関係による復元は、画像信
号を輝度信号のエッジ強度から均一領域に分割し各領域
ごとに色相関関係に基づき欠落する色信号を回復する。

【０１２７】（効果）２．の効果と同様である。

【０１２８】４．１．において、前記パラメータ算出手段は、上記近傍領
域内に存在する色信号間の色相関関係を線形式として回
帰し、上記線形式の定数項から領域分割のためのパラメ
ータを算出する。

【０１２９】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１４〜図１８に示される第３実
施形態に少なくとも対応する。構成中のパラメータ算出
手段は、図１４に示される色相関回帰部３１５に該当す
る。

【０１３０】この発明の画像処理装置の好ましい適用例
は、図１４に示す処理切り換え部３０８からの信号に関
して所定サイズの近傍領域が局所領域抽出部３１４にて
抽出され、色相関回帰部３１５にて図１６に示す局所領
域内の色相関関係の線形式の定数項に基づき領域分割が
なされる画像処理装置。

【０１３１】（作用）色相関関係による復元は、画像信
号を色相関関係の線形式の定数項に基づき均一領域に分
割し各領域ごとに色相関関係に基づき欠落する色信号を
回復する。

【０１３２】（効果）２．の効果と同様である。

【０１３３】５．１．において、前記パラメータ算出手段は、上記近傍領
域内に存在する色信号間の色相関関係を線形式として回
帰し、上記線形式の回帰に使用した色信号の最大値およ
び最小値を代入したときの誤差から領域分割のためのパ
ラメータを算出する。

【０１３４】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１４、図１５、図１９、図２０
に示される第４実施形態に少なくとも対応する。構成中
のパラメータ算出手段は、図１４に示される色相関回帰
部３１５に該当する。

【０１３５】この発明の画像処理装置の好ましい適用例
は、図１４に示す処理切り換え部３０８からの信号に関
して所定サイズの近傍領域が局所領域抽出部３１４にて
抽出され、色相関回帰部３１５にて図１９に示す色相関
関係の線形式に最大値・最小値を代入したときの誤差に
基づき領域分割がなされる画像処理装置である。

【０１３６】（作用）色相関関係による復元は、画像信
号を色相関関係の線形式に最大値・最小値を代入したと
きの誤差に基づき均一領域に分割し各領域ごとに色相関
関係に基づき欠落する色信号を回復する。

【０１３７】（効果）２．の効果と同様である。

【０１３８】６．１．において、上記撮像系で撮像された画像信号の欠落
する色信号を線形補間にて回復する第２の回復手段と、
上記第１の回復手段と、上記第２の回復手段とを切り換
える切り換え手段と、をさらに具備する。

【０１３９】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１〜図８に示される第１実施形
態および図１、図２、図９〜図１３に示される第２実施
形態に少なくとも対応する。構成中の第２の回復手段
は、図１に示される線形補間部１１６に該当する。構成
中の第１の回復手段は、図１に示される近傍領域抽出部
１０６、パラメータ算出部１０７、画像信号分割部１０
９、均一領域抽出部１１１、色相関回帰部１１３、欠落
画素復元部１１４に該当する。構成中の切り換え手段
は、図１に示される処理切り換え部１０５に該当する。

【０１４０】この発明の画像処理装置は、図１および図
２および図３に示す入力部１０１からの画像信号がＲ信
号用バッファ１０２、Ｇ信号用バッファ１０３、Ｂ信号
用バッファ１０４にて保存され、処理切り換え部１０５
にて線形補間１１６または欠落画素復元部１１４にいた
る処理が選択され、線形補間１１６が選択された場合は
線形補間にて欠落する色信号が回復されて出力部１１７
へ転送され、欠落画素復元部１１４にいたる処理が選択
された場合は色相関回帰部１１３と欠落画素復元部１１
４により図６に示す色相関関係を回帰した線形式に基づ
き欠落する色信号が回復されて出力部１１７へ転送され
る画像処理装置である。

【０１４１】（作用）色相関関係に基づき欠落する色信
号を回復する手段と、線形補間に基づき欠落する色信号
を回復する手段とを有し、この２つの回復手段を切り替
えるようにする。

【０１４２】（効果）適切な処理時間で適切な画質を得
ることが可能な画像処理装置を提供することができる。

【０１４３】７．６．において、前記切り換え手段は、撮像時の画像信号
の画素数と出力媒体の要する画素数、または電子ズーム
の使用の有無に基づき自動的に切り換えを行う。

【０１４４】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１〜図８に示される第１実施形
態および図１、図２、図９〜図１３に示される第２実施
形態に少なくとも対応する。構成中の切り換え手段は、
図１に示される処理切り換え部１０５に該当する。

【０１４５】この発明の画像処理装置の好ましい適用例
は、図１および図２および図３に示す入力部１０１から
の画像信号がＲ信号用バッファ１０２、Ｇ信号用バッフ
ァ１０３、Ｂ信号用バッファ１０４にて保存され、処理
切り換え部１０５にて線形補間１１６または欠落画素復
元部１１４にいたる処理が選択される画像処理装置であ
る。

【０１４６】（作用）色相関関係に基づき欠落する色信
号を回復する手段と、線形補間に基づき欠落する色信号
を回復する手段とを有し、この２つの回復手段を撮像時
の画像信号の画素数と出力媒体の要する画素数、または
電子ズームの使用の有無に基づき自動的に切り替えるよ
うにする。

【０１４７】（効果）自動的処理にて適切な処理時間で
適切な画質を得ることが可能な画像処理装置を提供する
ことができる。

【０１４８】８．６．において前記切り換え手段による切り換えは、手動
によるものである。

【０１４９】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１〜図８に示される第１実施形
態および図１、図２、図９〜図１３に示される第２実施
形態に少なくとも対応する。構成中の切り換え手段は、
図１に示される処理切り換え部１０５に該当する。

【０１５０】この発明の画像処理装置の好ましい適用例
は、図１および図２および図３に示す入力部１０１から
の画像信号がＲ信号用バッファ１０２、Ｇ信号用バッフ
ァ１０３、Ｂ信号用バッファ１０４にて保存され、処理
切り換え部１０５にて線形補間１１６または欠落画素復
元部１１４にいたる処理が選択される画像処理装置であ
る。

【０１５１】（作用）色相関関係に基づき欠落する色信
号を回復する手段と、線形補間に基づき欠落する色信号
を回復する手段とを有し、この２つの回復手段を手動に
より切り換えを行う。

【０１５２】（効果）使用者の希望に基づき処理時間ま
たは画質のどちらかを優先して信号処理を行なえること
が可能な画像処理装置を提供することができる。

【０１５３】９．単板または二板または三板画素ずらし
式撮像系を有する画像処理装置であって、画像信号を画
素単位で順次走査し現注目画素を包含する局所領域を抽
出する局所領域抽出手段と、上記抽出された局所領域内
にて複数の微小領域を設定し、各微小領域から領域分割
のためのパラメータを算出するパラメータ算出手段と、
上記算出されたパラメータに基づき上記局所領域を単一
な色相関関係が成立する均一領域に分割する局所領域分
割手段と、上記局所領域内にて上記均一領域に基づき現
注目画素と同一の領域に属する色信号を選択し、この色
信号間の色相関関係を線形式として回帰する選択回帰手
段と、上記局所領域内にて上記均一領域に基づき現注目
画素と同一の領域に属する色信号を選択し、この色信号
と上記線形式に基づき現注目画素と同等の領域における
欠落する色信号を回復する第１の回復手段と、を具備す
ることを特徴とする画像処理装置。

【０１５４】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１４〜図１８に示される第３実
施形態および図１４、図１５、図１９〜図２１に示され
る第４実施形態に少なくとも対応する。構成中の局所領
域抽出手段は、図１４に示される局所領域抽出部３１４
に該当する。構成中のパラメータ算出手段は、図１４に
示される色相関回帰部３１５に該当する。構成中の局所
領域分割手段は、図１４に示される局所領域分割部３１
７に該当する。構成中の選択回帰手段は、図１４に示さ
れる均一領域抽出部３１９、色相関回帰部３２１に該当
する。構成中の第１の回復手段は、図１４に示される欠
落画素復元部３２２、加算平均部３２４に該当する。

【０１５５】この発明の画像処理装置の好ましい適用例
は、図１４に示す処理切り換え部３０８からの信号に関
して所定サイズの局所領域が局所領域抽出部３１４にて
抽出され、色相関回帰部３１５と局所領域分割部３１７
にて領域分割がなされ、この領域分割に基づき色相関回
帰部３２１と欠落画素復元部３２２が色相関関係を回帰
した線形式に基づき欠落する色信号を回復し、加算平均
部３２４にて重複されて回復された色信号が平均化され
出力部３２５へ転送される画像処理装置である。

【０１５６】（作用）画像信号から局所領域を順次抽出
して、この局所領域内で単一な色相関関係の成立する均
一領域に分割し、現注目画素と同一な均一領域内の欠落
する色信号を色相関関係に基づきを回復する。

【０１５７】（効果）欠落する色信号を高精度にかつ低
コストで復元可能な画像処理装置を提供することができ
る。

【０１５８】１０．９．において、前記パラメータ算出手段は、上記微小領
域内に存在する色信号から分光スペクトルの勾配を求
め、上記勾配の大小関係から領域分割のためのパラメー
タを算出する。

【０１５９】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１〜図８に示される第１実施形
態に少なくとも対応する。構成中のパラメータ算出手段
は、図１に示される近傍領域抽出部１０６、パラメータ
算出部１０７に該当する。

【０１６０】この発明の画像処理装置の好ましい適用例
は、図１に示す処理切り換え部１０５からの信号に関し
て所定サイズの近傍領域が近傍領域抽出部１０６にて抽
出され、パラメータ算出部１０７と画像信号分割部１０
９にて図４に示す近傍領域内のスペクトルの勾配に基づ
き領域分割がなされる画像処理装置である。

【０１６１】（作用）色相関関係による復元は、画像信
号をスペクトルの勾配から均一領域に分割し各領域ごと
に色相関関係に基づき欠落する色信号を回復する。

【０１６２】（効果）解像度を低下させずにエッジや色
の境界部に発生する偽色を低減可能な画像処理装置を提
供することができる。

【０１６３】１１．９．において、前記パラメータ算出手段は、上記微小領
域内に存在する色信号から輝度信号を求め、上記輝度信
号のエッジ強度から領域分割のためのパラメータを算出
する。

【０１６４】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１、図２、図９〜図１３に示さ
れる第２実施形態に少なくとも対応する。構成中のパラ
メータ算出手段は、図１に示される近傍領域抽出部１０
６、パラメータ算出部１０７に該当する。

【０１６５】この発明の画像処理装置の好ましい適用例
は、図１に示す処理切り換え部１０５からの信号に関し
て所定サイズの近傍領域が近傍領域抽出部１０６にて抽
出され、パラメータ算出部１０７にて図１０に示す近傍
領域内の輝度信号のエッジ強度に基づき領域分割がなさ
れる画像処理装置である。

【０１６６】（作用）色相関関係による復元は、画像信
号を輝度信号のエッジ強度から均一領域に分割し各領域
ごとに色相関関係に基づき欠落する色信号を回復する。

【０１６７】（効果）解像度を低下させずにエッジや色
の境界部に発生する偽色を低減可能な画像処理装置を提
供することができる。

【０１６８】１２．９．において、前記パラメータ算出手段は、上記微小領
域内に存在する色信号間の色相関関係を線形式として回
帰し、上記線形式の定数項から領域分割のためのパラメ
ータを算出する。

【０１６９】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１４〜図１８に示される第３実
施形態に少なくとも対応する。構成中のパラメータ算出
手段は、図１４に示される色相関回帰部３１５に該当す
る。

【０１７０】この発明の画像処理装置の好ましい適用例
は、図１４に示す処理切り換え部３０８からの信号に関
して所定サイズの近傍領域が局所領域抽出部３１４にて
抽出され、色相関回帰部３１５にて図１６に示す局所領
域内の色相関関係の線形式の定数項に基づき領域分割が
なされる画像処理装置である。

【０１７１】（作用）色相関関係による復元は、画像信
号を色相関関係の線形式の定数項に基づき均一領域に分
割し各領域ごとに色相関関係に基づき欠落する色信号を
回復する。

【０１７２】（効果）解像度を低下させずにエッジや色
の境界部に発生する偽色を低減可能な画像処理装置を提
供することができる。

【０１７３】１３．９．において、前記パラメータ算出手段は、上記微小領
域内に存在する色信号間の色相関関係を線形式として回
帰し、上記線形式の回帰に使用した色信号の最大値およ
び最小値を代入したときの誤差から領域分割のためのパ
ラメータを算出する。

【０１７４】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１４、図１５、図１９〜図２１
に示される第４実施形態に少なくとも対応する。構成中
のパラメータ算出手段は、図１４に示される色相関回帰
部３１５に該当する。

【０１７５】この発明の画像処理装置の好ましい適用例
は、図１４に示す処理切り換え部３０８からの信号に関
して所定サイズの近傍領域が局所領域抽出部３１４にて
抽出され、色相関回帰部３１５にて図１９に示す色相関
関係の線形式に最大値・最小値を代入したときの誤差に
基づき領域分割がなされる画像処理装置である。

【０１７６】（作用）色相関関係による復元は、画像信
号を色相関関係の線形式に最大値・最小値を代入したと
きの誤差に基づき均一領域に分割し各領域ごとに色相関
関係に基づき欠落する色信号を回復する。

【０１７７】（効果）解像度を低下させずにエッジや色
の境界部に発生する偽色を低減可能な画像処理装置を提
供することができる。

【０１７８】１４．９．において、上記撮像系で撮像された画像信号の欠落
する色信号を線形補間にて回復する第２の回復手段と、
上記第１の回復手段と、上記第２の回復手段とを切り換
える切り換え手段と、をさらに具備する。

【０１７９】（対応する発明の実施の形態）、（作
用）、（効果）は６．と同様である。

【０１８０】１５．１４．において、前記切り換え手段は、撮像時の画像信
号の画素数と出力媒体の要する画素数、または電子ズー
ムの使用の有無に基づき自動的に切り換えを行う。

【０１８１】（対応する発明の実施の形態）、（作
用）、（効果）は７．と同様である。

【０１８２】１６．１４．において、前記切り換え手段による切り換えは、
手動によるものである。

【０１８３】（対応する発明の実施の形態）、（作
用）、（効果）は８．と同様である。

【０１８４】１７．単板または二板または三板画素ずら
し式撮像系を有する画像処理装置であって、上記撮像系
により撮像された画像信号の欠落する色信号を線形補間
にて回復する第１の回復手段と、この第１の回復手段に
より回復された画像信号を上記撮像系で得られる本来の
画像信号に変換する変換手段と、上記変換された画像信
号の欠落する色信号を各色信号間の色相関関係に基づき
回復する第２の回復手段と、上記変換手段と上記第２の
回復手段とを切り換える切り換え手段と、を具備するこ
とを特徴とする画像処理装置。

【０１８５】（対応する発明の実施の形態）この発明に
関する実施の形態は、図１４〜図１８に示される第３実
施形態および図１４、図１５、図１９〜図２１に示され
る第４実施形態に少なくとも対応する。構成中の第１の
回復手段は、図１４に示される線形補間部３０５に該当
する。構成中の変換手段は、図１４に示される変換部３
０９に該当する。構成中の第２の回復手段は、図１４に
示される局所領域抽出部３１４、色相関回帰部３１５、
局所領域分割部３１７、均一領域抽出部３１９、色相関
回帰部３２１、欠落画素復元部３２２、加算平均部３２
４に該当する。構成中の切り換え手段は、図１４に示さ
れる処理切り換え部３０８に該当する。

【０１８６】この発明の画像処理装置の好ましい適用例
は、図１４および図１５に示す入力部３０１からの画像
信号がＲ信号用バッファ３０２、Ｇ信号用バッファ３０
３、Ｂ信号用バッファ３０４にて保存され、線形補間部
３０５にて欠落する色信号が復元されてメモリカード３
０６に出力される。このメモリカード上の画像信号はカ
ード読み取り部３０７にて読み取られ、処理切り換え部
３０８にて迂回処理または加算平均部３２４にいたる処
理が選択され、迂回処理が選択された場合はメモリカー
ド上の画像信号がそのまま出力部３２５へ転送され、加
算平均部３２４にいたる処理が選択された場合は色相関
回帰部３２１と欠落画素復元部３２２により色相関関係
を回帰した線形式に基づき欠落する色信号が回復されて
出力部３２５へ転送される画像処理装置である。

【０１８７】（作用）線形補間に基づき欠落する色信号
を回復する手段と、回復された色信号を撮像系の情報に
基づき本来の画像信号に変換した後、この画像信号から
色相関関係に基づき欠落する色信号を回復する手段を有
し、後者の回復手段を迂回可能とする。

【０１８８】（効果）一度線形補間などの処理をした信
号に対しても色信号を高精度に復元可能な画像処理装置
を提供することができる。

【０１８９】１８．１７．において、前記切り換え手段は、撮像時の画像信
号の画素数と出力媒体の要する画素数、または電子ズー
ムの使用の有無に基づき自動的に切り換えを行う。

【０１９０】（対応する発明の実施の形態）、（作
用）、（効果）は７．と同様である。

【０１９１】１９．前記切り換え手段による切り換え
は、手動によるものである。

【０１９２】（対応する発明の実施の形態）、（作
用）、（効果）は８．と同様である。

【０１９３】２０．単板または二板または三板画素ずら
し式撮像系により撮像して得られた画像信号を画素単位
で順次走査し現注目画素を包含する少なくとも一つ以上
の近傍領域から領域分割のためのパラメータを算出する
パラメータ算出処理と、上記算出されたパラメータに基
づき上記画像信号を単一な色相関関係が成立する均一領
域に分割する画像信号分割処理と、上記均一領域内に存
在する色信号間の色相関関係を線形式として回帰する回
帰処理と、上記均一領域内に存在する色信号と上記線形
式とに基づき欠落する色信号を回復する回復処理と、を
コンピュータに実行させる命令を含むプログラムを格納
した、コンピュータが読み取り可能な記録媒体。

【０１９４】（対応する発明の実施の形態）、（作
用）、（効果）は１．と同様である。

【０１９５】２１．単板または二板または三板画素ずら
し式撮像系により撮像して得られた画像信号を画素単位
で順次走査し現注目画素を包含する局所領域を抽出する
局所領域抽出処理と、上記抽出された局所領域内にて複
数の微小領域を設定し、各微小領域から領域分割のため
のパラメータを算出するパラメータ算出処理と、上記算
出されたパラメータに基づき上記局所領域を単一な色相
関関係が成立する均一領域に分割する局所領域分割処理
と、上記局所領域内にて上記均一領域に基づき現注目画
素と同一の領域に属する色信号を選択し、この色信号間
の色相関関係を線形式として回帰する選択回帰処理と、
上記局所領域内にて上記均一領域に基づき現注目画素と
同一の領域に属する色信号を選択し、この色信号と上記
線形式に基づき現注目画素と同等の領域における欠落す
る色信号を回復する選択回復処理と、をコンピュータに
実行させる命令を含むプログラムを格納した、コンピュ
ータが読み取り可能な記録媒体。

【０１９６】（対応する発明の実施の形態）、（作
用）、（効果）は９．と同様である。

【０１９７】２２．単板または二板または三板画素ず
らし式撮像系により撮像して得られた画像信号の欠落す
る色信号を線形補間にて回復する第１の回復処理と、こ
の第１の回復処理により回復された画像信号を上記撮像
系で得られる本来の画像信号に変換する変換処理と、上
記変換された画像信号の欠落する色信号を各色信号間の
色相関関係に基づき回復する第２の回復処理と、上記変
換処理と上記第２の回復処理とを切り換える切り換え処
理と、をコンピュータに実行させる命令を含むプログラ
ムを格納した、コンピュータが読み取り可能な記録媒
体。

【０１９８】（対応する発明の実施の形態）、（作
用）、（効果）は１７．と同様である。

【０１９９】

【発明の効果】請求項１または２０に記載の発明によれ
ば、欠落する色信号を高精度にかつ高速に復元可能な画
像処理装置を提供することができる。

【０２００】また、請求項２〜５、１０〜１３に記載の
発明によれば、解像度を低下させずにエッジや色の境界
部に発生する偽色を低減可能な画像処理装置を提供する
ことができる。

【０２０１】また、請求項６または１４に記載の発明に
よれば、適切な処理時間で適切な画質を得ることが可能
な画像処理装置を提供することができる。

【０２０２】また、請求項７，１５，１８に記載の発明
によれば、自動的処理にて適切な処理時間で適切な画質
を得ることが可能な画像処理装置を提供することができ
る。

【０２０３】また、請求項８，１６，１９に記載の発明
によれば、使用者の希望に基づき処理時間または画質の
どちらかを優先して信号処理を行なうことが可能な画像
処理装置を提供することができる。

【０２０４】また、請求項９または２１に記載の発明に
よれば、欠落する色信号を高精度にかつ低コストで復元
可能な画像処理装置を提供することができる。

【０２０５】また、請求項１７または２２に記載の発明
によれば、一度線形補間などの処理をした信号に対して
も色信号を高精度に復元可能な画像処理装置を提供する
ことができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態の構成図である。

【図２】単板式ＣＣＤ入力部の説明図である。

【図３】本発明の第１実施形態におけるフィルタ配置図
である。

【図４】スペクトル勾配に基づく領域分割の説明図であ
る。

【図５】スペクトルの勾配とクラスの対応関係を示す図
である。

【図６】色相関関係の線形式へ回帰の説明図である。

【図７】本発明の第１実施形態の作用を説明するための
フローチャート（その１）である。

【図８】本発明の第１実施形態の作用を説明するための
フローチャート（その２）である。

【図９】本発明の第２実施形態におけるフィルタ配置図
である。

【図１０】輝度信号に基づく領域分割の説明図である。

【図１１】本発明の第２実施形態の作用を説明するため
のフローチャート（その１）である。

【図１２】本発明の第２実施形態の作用を説明するため
のフローチャート（その２）である。

【図１３】原色フィルタの輝度信号算出の説明図であ
る。

【図１４】本発明の第３実施形態の構成図である。

【図１５】二板ＣＣＤ入力部の説明図である。

【図１６】定数項に基づく領域分割の説明図である。

【図１７】本発明の第３実施形態の作用を説明するため
のフローチャート（その１）である。

【図１８】本発明の第３実施形態の作用を説明するため
のフローチャート（その２）である。

【図１９】最大値・最小値による線形式の検証の説明図
である。

【図２０】本発明の第４実施形態の作用を説明するため
のフローチャート（その１）である。

【図２１】本発明の第４実施形態の作用を説明するため
のフローチャート（その２）である。

【図２２】電子スチルカメラシステムの構成例を示す図
である。

【図２３】単板式撮像素子のフィルタ配置の説明図であ
る。

【符号の説明】

１０１…入力部、１０２…Ｒ信号用バッファ、１０３…Ｇ信号用バッファ、１０４…Ｂ信号用バッファ、１０５…処理切換部、１０６…近傍領域抽出部、１０７…パラメータ算出部、１０８…パラメータ用バッファ、１０９…画像信号分割部、１１０…分割画像用バッファ、１１１…均一領域抽出部、１１２…均一領域用バッファ、１１３…色相関回帰部、１１４…欠落画素復元部、１１５…復元画像用バッファ、１１６…線形補間部、１１７…出力部。

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C065 AA03 BB13 BB15 BB23 BB48 CC01 CC09 DD02 DD17 DD18 DD19 DD20 EE05 EE06 EE08 EE12 EE14 GG13 GG17 GG18 GG30 GG31 HH02 HH04 5C066 AA01 BA20 CA05 CA23 DD07 DD08 EF13 GA01 GA31 GB01 KD06 KE04 KE05 KE09 KE19 KM02 KM05 LA02

Claims

【特許請求の範囲】

【請求項１】単板または二板または三板画素ずらし式
撮像系を有する画像処理装置であって、画像信号を画素単位で順次走査し現注目画素を包含する
少なくとも一つ以上の近傍領域から領域分割のためのパ
ラメータを算出するパラメータ算出手段と、上記算出されたパラメータに基づき上記画像信号を単一
な色相関関係が成立する均一領域に分割する画像信号分
割手段と、上記均一領域内に存在する色信号間の色相関関係を線形
式として回帰する回帰手段と、上記均一領域内に存在する色信号と上記線形式とに基づ
き欠落する色信号を回復する第１の回復手段と、を具備することを特徴とする画像処理装置。
【請求項２】前記パラメータ算出手段は、上記近傍領
域内に存在する色信号から分光スペクトルの勾配を求
め、上記勾配の大小関係から領域分割のためのパラメー
タを算出することを特徴とする請求項１記載の画像処理
装置。
【請求項３】前記パラメータ算出手段は、上記近傍領
域内に存在する色信号から輝度信号を求め、上記輝度信
号のエッジ強度から領域分割のためのパラメータを算出
することを特徴とする請求項１記載の画像処理装置。
【請求項４】前記パラメータ算出手段は、上記近傍領
域内に存在する色信号間の色相関関係を線形式として回
帰し、上記線形式の定数項から領域分割のためのパラメ
ータを算出することを特徴とする請求項１記載の画像処
理装置。
【請求項５】前記パラメータ算出手段は、上記近傍領
域内に存在する色信号間の色相関関係を線形式として回
帰し、上記線形式の回帰に使用した色信号の最大値およ
び最小値を代入したときの誤差から領域分割のためのパ
ラメータを算出することを特徴とする請求項１記載の画
像処理装置。
【請求項６】上記撮像系で撮像された画像信号の欠落
する色信号を線形補間にて回復する第２の回復手段と、上記第１の回復手段と、上記第２の回復手段とを切り換
える切り換え手段と、をさらに具備することを特徴とす
る請求項１記載の画像処理装置。
【請求項７】前記切り換え手段は、撮像時の画像信号
の画素数と出力媒体の要する画素数、または電子ズーム
の使用の有無に基づき自動的に切り換えを行うことを特
徴とする請求項６記載の画像処理装置。
【請求項８】前記切り換え手段による切り換えは、手
動によるものであることを特徴とする請求項６記載の画
像処理装置。
【請求項９】単板または二板または三板画素ずらし式
撮像系を有する画像処理装置であって、画像信号を画素単位で順次走査し現注目画素を包含する
局所領域を抽出する局所領域抽出手段と、上記抽出された局所領域内にて複数の微小領域を設定
し、各微小領域から領域分割のためのパラメータを算出
するパラメータ算出手段と、上記算出されたパラメータに基づき上記局所領域を単一
な色相関関係が成立する均一領域に分割する局所領域分
割手段と、上記局所領域内にて上記均一領域に基づき現注目画素と
同一の領域に属する色信号を選択し、この色信号間の色
相関関係を線形式として回帰する選択回帰手段と、上記局所領域内にて上記均一領域に基づき現注目画素と
同一の領域に属する色信号を選択し、この色信号と上記
線形式に基づき現注目画素と同等の領域における欠落す
る色信号を回復する第１の回復手段と、を具備すること
を特徴とする画像処理装置。
【請求項１０】前記パラメータ算出手段は、上記微小
領域内に存在する色信号から分光スペクトルの勾配を求
め、上記勾配の大小関係から領域分割のためのパラメー
タを算出することを特徴とする請求項９記載の画像処理
装置。
【請求項１１】前記パラメータ算出手段は、上記微小
領域内に存在する色信号から輝度信号を求め、上記輝度
信号のエッジ強度から領域分割のためのパラメータを算
出することを特徴とする請求項９記載の画像処理装置。
【請求項１２】前記パラメータ算出手段は、上記微小
領域内に存在する色信号間の色相関関係を線形式として
回帰し、上記線形式の定数項から領域分割のためのパラ
メータを算出することを特徴とする請求項９記載の画像
処理装置。
【請求項１３】前記パラメータ算出手段は、上記微小
領域内に存在する色信号間の色相関関係を線形式として
回帰し、上記線形式の回帰に使用した色信号の最大値お
よび最小値を代入したときの誤差から領域分割のための
パラメータを算出することを特徴とする請求項９記載の
画像処理装置。
【請求項１４】上記撮像系で撮像された画像信号の欠
落する色信号を線形補間にて回復する第２の回復手段
と、上記第１の回復手段と、上記第２の回復手段とを切り換
える切り換え手段と、をさらに具備することを特徴とす
る請求項９記載の画像処理装置。
【請求項１５】前記切り換え手段は、撮像時の画像信
号の画素数と出力媒体の要する画素数、または電子ズー
ムの使用の有無に基づき自動的に切り換えを行うことを
特徴とする請求項１４記載の画像処理装置。
【請求項１６】前記切り換え手段による切り換えは、
手動によるものであることを特徴とする請求項１４記載
の画像処理装置。
【請求項１７】単板または二板または三板画素ずらし
式撮像系を有する画像処理装置であって、上記撮像系により撮像された画像信号の欠落する色信号
を線形補間にて回復する第１の回復手段と、この第１の回復手段により回復された画像信号を上記撮
像系で得られる本来の画像信号に変換する変換手段と、上記変換された画像信号の欠落する色信号を各色信号間
の色相関関係に基づき回復する第２の回復手段と、上記変換手段と上記第２の回復手段とを切り換える切り
換え手段と、を具備することを特徴とする画像処理装
置。
【請求項１８】前記切り換え手段は、撮像時の画像信
号の画素数と出力媒体の要する画素数、または電子ズー
ムの使用の有無に基づき自動的に切り換えを行うことを
特徴とする請求項１７記載の画像処理装置。
【請求項１９】前記切り換え手段による切り換えは、
手動によるものであることを特徴とする請求項１７記載
の画像処理装置。
【請求項２０】単板または二板または三板画素ずらし
式撮像系により撮像して得られた画像信号を画素単位で
順次走査し現注目画素を包含する少なくとも一つ以上の
近傍領域から領域分割のためのパラメータを算出するパ
ラメータ算出処理と、上記算出されたパラメータに基づき上記画像信号を単一
な色相関関係が成立する均一領域に分割する画像信号分
割処理と、上記均一領域内に存在する色信号間の色相関関係を線形
式として回帰する回帰処理と、上記均一領域内に存在する色信号と上記線形式とに基づ
き欠落する色信号を回復する回復処理と、をコンピュータに実行させる命令を含むプログラムを格
納した、コンピュータが読み取り可能な記録媒体。
【請求項２１】単板または二板または三板画素ずらし
式撮像系により撮像して得られた画像信号を画素単位で
順次走査し現注目画素を包含する局所領域を抽出する局
所領域抽出処理と、上記抽出された局所領域内にて複数の微小領域を設定
し、各微小領域から領域分割のためのパラメータを算出
するパラメータ算出処理と、上記算出されたパラメータに基づき上記局所領域を単一
な色相関関係が成立する均一領域に分割する局所領域分
割処理と、上記局所領域内にて上記均一領域に基づき現注目画素と
同一の領域に属する色信号を選択し、この色信号間の色
相関関係を線形式として回帰する選択回帰処理と、上記局所領域内にて上記均一領域に基づき現注目画素と
同一の領域に属する色信号を選択し、この色信号と上記
線形式に基づき現注目画素と同等の領域における欠落す
る色信号を回復する選択回復処理と、をコンピュータに実行させる命令を含むプログラムを格
納した、コンピュータが読み取り可能な記録媒体。
【請求項２２】単板または二板または三板画素ずらし
式撮像系により撮像して得られた画像信号の欠落する色
信号を線形補間にて回復する第１の回復処理と、この第１の回復処理により回復された画像信号を上記撮
像系で得られる本来の画像信号に変換する変換処理と、上記変換された画像信号の欠落する色信号を各色信号間
の色相関関係に基づき回復する第２の回復処理と、上記変換処理と上記第２の回復処理とを切り換える切り
換え処理と、をコンピュータに実行させる命令を含むプログラムを格
納した、コンピュータが読み取り可能な記録媒体。