JP2001292452A - 撮像装置及びカラー撮像信号の処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 明暗のはっきりした境界部分を持つ画像の再
現性を改善するとともに画像の精細度を画素単位に向上
する。 【解決手段】 単板式のカラー撮像デバイスによって撮
像された元画像信号のＧ成分（ＢＤＧ）から低域画像信
号（ＧＬ）と高域画像信号（ＤＧＨ）を抽出し、低域画
像信号の注目画素とその周囲の隣接画素との相関性を評
価するとともに、その評価結果を用いて前記高域画像信
号の注目画素（情報欠落画素）を補間し、補間後の高域
画像信号（ＤＧＨ）と前記低域画像信号（ＧＬ）とを合
成して出力画像信号（ＧＨ）を生成する。高域画像信号
（ＤＧＨ）の補間により、画像のエッジ部分のシャープ
さを損なうことなく、画素単位に精細度を高めた補間済
画像信号（ＧＨ）を生成できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像装置及びカラ
ー撮像信号の処理方法に関し、詳しくは、単板式のカラ
ー撮像デバイスを備えた撮像装置及びカラー撮像信号の
処理方法に関する。

【０００２】

【従来の技術】多数の光電変換素子を二次元に配列し、
被写体からの光に応じた画像信号を出力する、例えば、
ＣＣＤ（Charge Coupled Device）に代表される撮像デ
バイスは、そのままでは色情報を含む画像信号を出力で
きない。光電変換素子が単に光の明暗の強度に対応した
信号しか発生しないからである。色情報を得るために、
３個の撮像デバイスを用い、その各々に赤、緑、青の色
フィルタを装着して、それぞれの撮像デバイスから赤
色、緑色、青色の画像信号を取り出すようにした三板式
のカラー撮像デバイスが知られている。三板式の撮像デ
バイスは専ら色再現性を重視するスタジオ用テレビカメ
ラなどに多用されるが、家庭用のビデオカメラや普及型
の電子カメラなどには、サイズや重さ及び電力消費の点
から１個の撮像デバイスとモザイク状の色フィルタとを
組み合わせた単板式のカラー撮像デバイスが用いられ
る。

【０００３】図２５は、ｎ列×ｍ行の画素を有するＣＣ
Ｄの構成図である。ＣＣＤ１は、入射光量に応じた電荷
を蓄積するｎ×ｍ個の光電変換素子２をマトリクス状に
二次元配列するとともに、各列間に１本ずつ、全部でｎ
本の垂直転送部３を配置して撮像領域４を形成し、さら
に、撮像領域４の図面に向かって下側に水平転送部５を
配置して構成する。光電変換素子２に蓄積された信号電
荷は、読み出し信号（不図示）に応答して隣接する垂直
転送部３に取り込まれ、垂直転送部３の内部を垂直転送
クロック（不図示）に同期して図面の下方向に順次転送
される。すべての垂直転送部３の出力端は水平転送部５
に接続されており、水平転送部５には、垂直転送クロッ
クに同期して１ライン分の信号電荷が順次に取り込まれ
る。水平転送部５に取り込まれた信号電荷は、水平転送
クロック（不図示）に同期して図面の左方向に順次転送
され、水平転送部５の出力端に到達した信号電荷は、同
端に設けられた電荷検出部６で電気信号に変換され、ア
ンプ７で増幅された後、端子８からＣＣＤ出力として外
部に取り出される。

【０００４】ここで、光電変換素子２の水平方向の並び
（走査線又はライン）にそれぞれＯ１、Ｅ１、Ｏ２、Ｅ
２、Ｏ３、Ｅ３、・・・・の便宜的な符号を付すことにす
る。但し、Ｏは奇数の略、Ｅは偶数の略である。Ｏ１、
Ｏ２、Ｏ３で奇数ラインを、Ｅ１、Ｅ２、Ｅ３で偶数ラ
インを示すものとする。インターレース型のＣＣＤは、
フィールド読み出し（フィールド蓄積ともいう）と、フ
レーム読み出し（フレーム蓄積ともいう）の二つのモー
ドを外部から切替えることができる。フィールド読み出
しではＣＣＤ出力がＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋Ｅ
３、・・・・の順番になり、フレーム読み出しでは奇数フレ
ームと偶数フレームの２回に分けてＣＣＤ出力が取り出
される。すなわち、奇数フレームではＣＣＤ出力がＯ
１、Ｏ２、Ｏ３、・・・・の順番になり、偶数フレームでは
ＣＣＤ出力がＥ１、Ｅ２、Ｅ３、・・・・の順番になる。

【０００５】図２６は、ＣＣＤ１と色フィルタ９を示す
図である。ＣＣＤ１の桝目は各々１個の光電変換素子２
を含む画素を表しており、各画素は色フィルタ９の桝目
と一対一に対応している。色フィルタ９の桝目はそれぞ
れ特定の色を有しており、色の選び方や配列の仕方によ
って様々なタイプのものが使用されている。例えば、図
２７は、Ｂ．Ｅ．Ｂａｙｅｒによって考え出されたベイ
ヤー方式（又は緑市松方式）と呼ばれる色フィルタの原
理図であり、この方式は色信号と輝度信号のＳ／Ｎバラ
ンスがよく、被写体の明るさに依存せずに良好な色再現
性が得られることから、広く用いられている方式であ
る。図２７において、Ｙは輝度情報を得るためのフィル
タ、Ｃ₁、Ｃ₂は色情報を得るためのフィルタである。Ｙ
フィルタを市松状に配置するとともに、奇数ラインの隙
間にＣ₁フィルタを配置し、偶数ラインの隙間にＣ₂ライ
ンを配置して構成する。なお、Ｙフィルタを多く配置す
る理由は、人間の視覚上、色情報よりも輝度情報の方が
画像の解像度や輪郭のシャープさをよく知覚するからで
ある。

【０００６】図２８は、実際の色フィルタの構成図であ
る。Ｒは赤色のフィルタ、Ｇは緑色のフィルタ、Ｂは青
色のフィルタである。赤（Ｒ）、緑（Ｇ）、青（Ｂ）は
光の三原色であり、特に、緑色は被写体の明るさをよく
表すから、Ｇフィルタは輝度情報を得るためのフィルタ
としても用いられる。すなわち、Ｇフィルタは、図２７
のＹフィルタに相当し、ＲフィルタとＢフィルタは、図
２７のＣ₁、Ｃ₂フィルタに相当する。なお、インターレ
ース型のＣＣＤの場合、色フィルタは、図２９に示すよ
うに奇数ライン（Ｏ＊；＊は１，２，３・…）と偶数ラ
イン（Ｅ＊）で同一の配列になるが、フィールド読み出
しやフレーム読み出しに関わらず、読み出された画素の
配列に着目すれば、図２８の配列（ベイヤー方式に則っ
た色情報の並び）とまったく同じである。すなわち、フ
ィールド読み出しではＯ１＋Ｅ１、Ｏ２＋Ｅ２、Ｏ３＋
Ｅ３の２ライン合成読み出しとなり、一方、フレーム読
み出しではＯ１、Ｏ２、Ｏ３、・・・、Ｅ１、Ｅ２、Ｅ３
の飛び越しライン読み出しとなるが、何れの読み出し
も、Ｇ／ＲラインとＢ／Ｇラインを順次に読み出す点で
同一である。したがって、本明細書では特に断りのない
限り、図２８に示すベイヤー方式の配列でＣＣＤの画素
や色フィルタの配列を説明することにする。

【０００７】既述のとおり、ベイヤー方式の色フィルタ
は、輝度情報を得るためのＧフィルタを市松状に配列し
て構成する。図３０は、Ｇフィルタだけを抜き出したフ
ィルタの構成図である。この図はＧ画素信号（以下「ベ
イヤーデータのＧ成分」ということもある）の並びを示
す図でもあり、市松状に配列するＧ画素信号は、縦横各
々一つの情報欠落画素を間に挟んでいる。ここで、Ｇ画
素信号は輝度情報を含み、輝度情報は既述のとおり画像
の解像度や輪郭のシャープさに大きな影響を与えるか
ら、上記情報欠落画素に対する補間処理、すなわち、何
らかの補間画素情報を与える必要があり、従来より「周
囲画素の平均値による補間法」や「ＬＰＦ（ローパスフ
ィルタ）による補間法」を用いた情報補間が行われてい
た。

【０００８】・第１の従来技術（周囲画素の平均値によ
る補間法） 周囲画素の平均値による補間法は、情報欠落画素を含む
ベイヤーデータのＧ成分に対して点順次の画素走査を行
いながら、各走査位置の画素（以下「注目画素」とい
う）が情報欠落画素である場合に、当該情報欠落画素の
上下左右に位置する四つの隣接画素の画素信号Ｇ_N、
Ｇ_W、Ｇ_S、Ｇ_Eを次式（１）に適用して、周囲画素の平
均値に相当する補間情報Ｇ_Xを演算し、注目画素にその
補間情報Ｇ_Xをセットしていくというものである。 Ｇ_X＝（Ｇ_N＋Ｇ_W＋Ｇ_S＋Ｇ_E）／４ ・・・・（１）

【０００９】しかしながら、周囲画素の平均値による補
間法にあっては、注目画素の上下左右の画素のいくつか
が、注目画素の画像領域とは異なる明るさの他の画像領
域に位置していた場合、両画像領域間の境界線に“凹
凸”（キザキザ）を生じるという不都合があった。これ
は、上式（１）のＧ_N、Ｇ_W、Ｇ_S、Ｇ_Eのいずれかが、他
の画像領域の明るさの情報を持つからであり、その情報
によって注目画素の値（Ｇ_X）が不本意に変化するから
である。

【００１０】・第２の従来技術（ＬＰＦによる補間法） 一方、ＬＰＦによる補間法は、ベイヤーデータのＧ成分
にｎ×ｎ（一般にｎ＝３）のＬＰＦをかけて畳み込みを
行ない（ＬＰＦ処理の詳細は本発明の実施の形態の欄で
説明する）、その畳込み結果を用いて、注目画素とその
周囲画素との間の相関性を表す相関情報を生成し、この
相関情報を元のベイヤーデータのＧ成分に加えるという
ものである。しかしながら、ＬＰＦによる補間法にあっ
ては、情報欠落画素以外の画素値も操作してしまうた
め、例えば、画像内に明暗のはっきりした境界があった
場合に、その境界線が“ぼやけ”てしまうという不都合
があった。

【００１１】・第３の従来技術 以上のように、上記二つの補間法にあっては、何れも明
暗のはっきりした境界部分を持つ画像の再現性が不十分
であった。そこで、本件発明者らは先に、上記二つの補
間法の欠点を克服するようにした「撮像装置及びカラー
撮像信号の処理方法」を提案している（特願平１１−８
３１４７号／平成１１年３月２６日）。図３１は、既提
案技術（以下「第３の従来技術」という）における補間
処理および該補間処理後の画像データに対する高域強調
処理の概略手順図である。この手順は、ベイヤーデータ
のＧ成分をＬＰＦ処理し（ステップＳ１）、ＬＰＦ処理
したベイヤーデータのＧ成分から相関情報を生成し（ス
テップＳ２）、その相関情報を用いて元のベイヤーデー
タのＧ成分を相関補間し（ステップＳ３）、ＬＰＦ処理
したベイヤーデータのＧ成分と相関補間後のベイヤーデ
ータのＧ成分との差分（高域差分）をとってＮ倍した後
（ステップＳ４）、Ｎ倍後の差分をＬＰＦ処理したベイ
ヤーデータのＧ成分に加えて出力画像とする（ステップ
Ｓ５）というものである。この第３の従来技術によれ
ば、注目画素の画素値に対して周囲画素の平均値を適用
しないため、明るさの異なる他の画像領域との境界線に
おける上述の“ギザギサ”問題を解消できるうえ、ＬＰ
Ｆ処理によって失われた周波数成分（高域差分）も補う
ことができるため、上述の“ぼやけ”問題も解消するこ
とができるという有益なメリットが得られる。

【００１２】ここで、上記の“Ｎ”は出力画像の高域強
調（エッジ強調ともいう）用の変数である。高域強調を
行なう場合は“Ｎ”の値を“１”よりも大きくする（ス
テップＳ６）。一般に、ＣＣＤ（Charge Coupled Devic
e）などの撮像デバイスを有する画像生成装置では、撮
像系の光学的伝達関数（いわゆるＯＴＦ：Optical Tran
sfer Function）や、ディジタル信号変換ならびに各種
信号処理の際の帯域制限などにより、ディジタル画像信
号の空間周波数の高域成分が失われやすく、画像のエッ
ジ部分のシャープさが損なわれるため、上記“Ｎ”の値
を“１”よりも大きく（例えばＮ＝２）して高域成分を
補償する。

【００１３】

【発明が解決しようとする課題】しかしながら、上記第
３の従来技術にあっては、明暗のはっきりした境界部分
を持つ画像の再現性を改善できるという有益なメリット
が得られるものの、例えば、画像の精細度を最大限に高
める（画素単位で良好な精細度を得る）という近時のユ
ーザニーズに対しては十分に応えているということがで
きず（特に高域強調を行おうとした場合）、この点にお
いて、未だ解決すべき技術課題があった。

【００１４】一般に、ディジタル画像の解像度は撮像デ
バイスの画素数に依存し、昨今では２００万画素を超え
る撮像デバイスを備えた画像生成装置も珍しくなく、そ
の画素数に応じたきわめて高精細なディジタル画像を生
成できるようになった。一方で、コストなどの要求から
普及型の電子スチルカメラ等にあっては、冒頭で説明し
たとおり単板式のデバイスを備えることが多く、たと
え、２００万画素を超える高画素デバイスであっても、
そのうちの何割かの画素（情報欠落画素）については内
部処理による情報補間が行われているところである。し
かしながら、この情報補間が不正確な場合（元の画像の
情報を正確にあらわしていない場合）は、例えば、金属
製の球状物体を撮影したディジタル画像などで、物体表
面の陰影変化を滑らかに表現することができない。上記
の第３の従来技術にあっては、詳細は後述するが、情報
欠落画素の補間情報がその周囲の画素情報と同一ないし
類似するものとなってしまうため、画像の精細度を画素
単位に向上することができず、上記画像の滑らかさの点
で改善すべき余地があった。

【００１５】そこで、本発明は、明暗のはっきりした境
界部分を持つ画像の再現性を改善するとともに、画像の
精細度を画素単位に向上できる撮像装置及びカラー撮像
信号の処理方法を提供することを目的とする。

【００１６】

【課題を解決するための手段】請求項１記載の発明に係
る撮像装置は、単板式のカラー撮像デバイスによって撮
像された画像信号を保持する保持手段と、前記保持手段
に保持された画像信号の低域成分を抽出して低域画像信
号を生成する第１生成手段と、前記保持手段に保持され
た画像信号の高域成分を抽出して高域画像信号を生成す
る第２生成手段と、前記低域画像信号の注目画素とその
周囲の隣接画素との相関性を評価する評価手段と、前記
評価手段の評価結果を用いて前記高域画像信号の注目画
素を補間する補間手段と、前記補間後の高域画像信号と
前記低域画像信号とを合成して出力画像信号を生成する
第３生成手段と、を備えたことを特徴とする。請求項２
記載の発明に係る撮像装置は、請求項１記載の撮像装置
において、前記補間手段は、前記評価手段の評価結果に
応じた重み付け係数を隣接画素に対して割り当て、隣接
画素に対して割り当てられた重み付け係数を前記高域画
像信号の隣接画素に適用して該隣接画素の平均値を演算
する演算手段を備え、前記演算手段の演算結果を用いて
前記高域画像信号の注目画素を補間することを特徴とす
る。請求項３記載の発明に係る撮像装置は、請求項２記
載の撮像装置において、前記演算手段は、相関性の低い
隣接画素に対しては小さな重み付け係数を割り当てる一
方、相関性の高い隣接画素に対しては大きな重み付け係
数を割り当てることを特徴とする。請求項４記載の発明
に係る撮像装置は、請求項１記載の撮像装置において、
前記隣接画素は、注目画素と同一位置の１ライン前の画
素、注目画素と同一ラインの隣り合う画素又は注目画素
と同一位置の１ライン後の画素の何れか若しくはすべて
であることを特徴とする。請求項５記載の発明に係る撮
像装置は、請求項１記載の撮像装置において、前記第３
生成手段は、前記補間後の高域画像信号をＮ倍（Ｎは１
または１以上の整数）して前記低域画像信号に合成する
ことを特徴とする。請求項６記載の発明に係る撮像装置
は、請求項１乃至請求項５いずれかに記載の撮像装置に
おいて、前記第２生成手段は、前記保持手段に保持され
た画像信号から前記第１の生成手段により生成された低
域画像信号を減算することにより画像信号の高域成分を
抽出して高域画像信号を生成することを特徴とする。請
求項７記載の発明に係る撮像装置は、請求項１乃至請求
項６いずれかに記載の撮像装置において、前記画像信号
は、単板式のカラー撮像デバイスによって撮像されたベ
イヤー信号中のＧ成分信号であることを特徴とする。請
求項８記載のカラー撮像信号の処理方法は、単板式のカ
ラー撮像デバイスによって撮像された画像信号を保持す
る第１ステップと、前記第１ステップで保持された画像
信号の低域成分を抽出して低域画像信号を生成する第２
ステップと、前記第１ステップで保持された画像信号の
高域成分を抽出して高域画像信号を生成する第３ステッ
プと、前記低域画像信号の注目画素とその周囲の隣接画
素との相関性を評価する第４ステップと、前記第４ステ
ップの評価結果を用いて前記高域画像信号の注目画素を
補間する第５ステップと、前記補間後の高域画像信号と
前記低域画像信号とを合成して出力画像信号を生成する
第６ステップと、を含むことを特徴とする。

【００１７】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。図１は、本発明の実施の形
態の全体構成図である。図１において、撮像デバイス１
０は撮像面にモザイク状の色フィルタが装着された、例
えば、ＣＣＤで構成される単板式のカラー撮像デバイス
であり、この撮像デバイス１０は不図示の光学系を介し
て入力された被写体像に対応する電気信号に変換して出
力する。撮像デバイス１０の駆動制御は駆動回路１１に
よって行われ、撮像デバイス１０から出力された電気的
な画像信号はＡ／Ｄ変換器１２によってディジタル信号
に変換された後、メモリコントローラ１３の制御の下で
メモリ部１４の画像メモリ１５（発明の要旨に記載の保
持手段に相当）に記憶される。

【００１８】メモリ部１４はさらに赤色専用メモリ（以
下「Ｒ用メモリ」という）１６、緑色専用メモリ（以下
「Ｇ用メモリ」という）１７、青色専用メモリ（以下
「Ｂ用メモリ」という）１８及び作業用メモリ１９を含
み、これらのメモリ１６〜１９の入出力はＣＰＵ２０に
よって制御される。ＣＰＵ２０は、発明の要旨に記載の
第１生成手段、第２生成手段、評価手段、補間手段、第
３生成手段及び演算手段として機能し、プログラムＲＯ
Ｍ２１にあらかじめ格納された処理プログラムに従っ
て、所定の補間処理を実行し、画像メモリ１５、Ｒ用メ
モリ１６、Ｇ用メモリ１７、Ｂ用メモリ１８及び作業用
メモリ１９の間のデータ入出力を制御しつつ、Ｒ用メモ
リ１６、Ｇ用メモリ１７及びＢ用メモリ１８に展開され
たＲ、Ｇ及びＢの各原色画像の情報欠落画素を補間する
処理を実行するとともに、以下に説明する工夫により、
特に画像の精細度を画素単位に高めて、表示、通信又は
印刷を含むあらゆる画像処理装置に適用して好適な近時
のユーザニーズを満足する良好な画質のカラー画像を生
成して提供する。なお、データＲＯＭ２２は色フィルタ
の画素配置情報を保持しており、この情報はＣＰＵ２０
からのアクセスで適宜に利用される。

【００１９】図２は、ＣＰＵ２０で実行される本実施の
形態の画素補間処理（図では「画素補間処理メイン処
理」という）の処理手順図である。この画素補間処理の
大まかな流れは、まず、画像メモリ１５に取り込まれた
元画像信号（ベイヤーデータ；以下「ＢＤ」という）を
原色別にＲ用メモリ１６、Ｇ用メモリ１７及びＢ用メモ
リ１８に展開し、その後、Ｒ用メモリ１６、Ｇ用メモリ
１７及びＢ用メモリ１８に展開された各原色画像を作業
用メモリ１９にコピーする（ステップＳ１０）。次に、
Ｒ用メモリ１６、Ｇ用メモリ１７及びＢ用メモリ１８に
展開されたコピー画像（以下、Ｇ成分（以下、「ＢＤ
Ｇ」という）についてのみ説明）を従来例と同様にＬＰ
Ｆ処理し（ステップＳ２０）、元のＢＤＧとＬＰＦ処理
した後のＢＤ（以下「ＧＬ」という）との差分（高域差
分）をとり（ステップＳ３０）、その高域差分（発明の
要旨に記載の高域画像信号に相当；以下「ＤＧＨ」とい
う）に対する相関補間処理を行う（ステップＳ４０）。
次に、画像の高域強調を行うか否かを判断し（ステップ
Ｓ５０）、高域強調を行わない場合は変数Ｎに“１”を
セット（ステップＳ６０）する一方、高域強調を行う場
合は変数Ｎに所定の強調係数（例えば“２”）をセット
する（ステップＳ７０）。次に、ＧＬ（ＬＰＦ処理後の
ＢＤＧ）とＮ倍した相関補間後のＤＧＨとを加算し（ス
テップＳ８０）、最後に、その加算結果（ＧＨ）を補間
済画像として出力する（ステップＳ９０）というもので
ある。

【００２０】図３は、ＢＤＧの配列モデル例を示す図で
ある。図において、桝目の一つ一つは画素であり、画素
内の数値は画素信号の大きさを示し、ハッチングは情報
欠落画素を表している。但し、各々の画素を（ｉ，ｊ）
の座標で表すこととし、ｉ及びｊの最小値を「０」、ｉ
の最大値ｉ_MAX及びｊの最大値ｊ_MAXを便宜的に「９」と
する。注目画素とその周囲画素の座標値の一般表記は、
図４（ａ）に示すとおりである。すなわち、注目画素の
座標を（ｉ，ｊ）とするとき、左上に位置する画素の座
標は（ｉ−１，ｊ−１）で表され、真上に位置する画素
の座標は（ｉ，ｊ−１）で表され、右上に位置する画素
の座標は（ｉ＋１，ｊ−１）で表され、右に位置する画
素の座標は（ｉ＋１，ｊ）で表され、右下に位置する画
素の座標は（ｉ＋１，ｊ＋１）で表され、真下に位置す
る画素の座標は（ｉ，ｊ＋１）で表され、左下に位置す
る画素の座標は（ｉ−１，ｊ＋１）で表され、左に位置
する画素の座標は（ｉ−１，ｊ）で表されるものとす
る。画素信号は、例えば「２５５」〜「０」までの階調
値を取り得るものとし、且つ、画像処理分野での一般的
な表現に倣って、図４（ｂ）に示すように「２５５」を
白レベル、「０」を黒レベルとする。なお、図４（ｂ）
ではγ（ガンマ）補正を考慮していない。

【００２１】ここで、以下の説明においては、図３に示
すＢＤＧの特定の範囲（破線で囲んだ範囲）を対象とし
た限定的な補間処理を例示するが、これは説明を単純化
するための便宜であり、それ以外の特段の理由はない。
ＢＤＧの特定の範囲には例示的に示す三つの画素値
（「２４」、「３２」及び「０」）が示されている。図
４（ｂ）によれば、「０」は黒レベルであり、「２４」
と「３２」は黒レベルよりも明るい中間レベルである。
但し、「２４」よりも「３２」の方が明るいレベルであ
るから、この画素値配列例によれば、人間の目にはレベ
ル「３２」が集中する中央部分が最も明るい部分として
認識されることになる。これを二次元平面内の輝度レベ
ルの変化（すなわち陰影変化）で見ると、中央部分に向
かって周囲から徐々に明るさを増す変化傾向となり、そ
の最大輝度レベルを持つ画素は、周囲をレベル「３２」
の画素に囲まれたひとつの情報欠落画素（以下「Ｇ_C」
という）であるということができる。

【００２２】本実施の形態における究極の目的は、この
情報欠落画素Ｇ_C（最大輝度レベルを持つであろう特定
の情報欠落画素）に対し、適切な画素値補間（この例示
では少なくとも周囲のレベル「３２」を上回る画素値補
間）を行うことにより、輝度レベルの変化（すなわち陰
影変化）に見た目の滑らかさを与え、以って、画素単位
に画像の精細度を向上できる有益なカラー撮像信号の処
理技術を提供することにある。

【００２３】以下、図２の各処理ステップごとに、その
詳細を説明する。 ＜ＬＰＦ処理＞図５は、図２のステップＳ２０の詳細処
理フローチャートであり、ＬＰＦ（ローパスフィルタ）
による補間法の処理手順図である。この処理手順では、
二つの座標変数ｉ、ｊの値を変化させながら水平方向と
垂直方向に点順次の画素走査を行いつつ（ステップＳ２
１、ステップＳ２５〜ステップＳ２９）、各走査位置
（ｉ，ｊ）ごとに、（ｉ，ｊ）を含む３×３個の画素に
対する、画素データ取得処理（ステップＳ２２）、重み
付け係数セット処理（ステップＳ２３）及びＧＬ_{(i ,j)}
演算処理（ステップＳ２４）を行う。なお、３×３個の
各画素に対応する画素値格納変数と重み付け係数の位置
関係は、それぞれ図６（ａ）、（ｂ）を参照することに
する。すなわち、図６（ａ）は各画素に対応する画素値
格納変数（Ｇ_NE、Ｇ_N、Ｇ_NW、Ｇ_W、Ｇ_SW、Ｇ_S、Ｇ_SE、
Ｇ_E、Ｇ_X）の配列図、図６（ｂ）は各画素に対応する重
み付け係数（Ｋ_NE、Ｋ _N、Ｋ_NW、Ｋ_W、Ｋ_SW、Ｋ_S、
Ｋ_SE、Ｋ_E、Ｋ_X）の配列図である。これらの変数及び係
数の添え字“ＮＥ”、“Ｎ”、“ＮＷ”、“Ｗ”、“Ｓ
Ｗ”、“Ｓ”、“ＳＥ”、“Ｅ”及び“Ｘ”はそれぞ
れ、前述の座標値の一般表記（図４（ａ）参照）に対応
する。すなわち、ＮＥは（ｉ−１，ｊ−１）、Ｎは同
（ｉ，ｊ−１）、ＮＷは（ｉ＋１，ｊ−１）、Ｗは（ｉ
＋１，ｊ）、ＳＷは（ｉ＋１，ｊ＋１）、Ｓは（ｉ，ｊ
＋１）、ＳＥは（ｉ−１，ｊ＋１）、Ｅは（ｉ−１，
ｊ）、Ｘは（ｉ，ｊ）に対応する。

【００２４】・画素データ取得処理 図５のステップＳ２２の画素データ取得処理の実際は、
図７及び図８に示すとおりである。この処理では、３×
３個の画素配列を左上、上、右上、右、右下、下、左
下、左、中央の順に巡回しつつ、各巡回位置の画素が情
報欠落画素であるか否かを判定し、情報欠落画素でない
場合は、その画素値を同位置の画素値格納変数にセット
する一方、情報欠落画素である場合は、同位置の画素値
格納変数に「０」をセットする動作を繰り返す。代表し
て左上の画素に対する動作を説明すると、（ｉ−１、ｊ
−１）の画素が情報欠落画素であるか否かを判定し（ス
テップＳ２２＿１）、情報欠落画素でない場合は、その
画素（ｉ−１、ｊ−１）の値を同位置の画素値格納変数
Ｇ_NEにセット（ステップＳ２２＿２）する一方、情報欠
落画素である場合は、同画素情報格納変数Ｇ_NEに「０」
をセット（ステップＳ２２＿３）する。今、便宜的に３
×３個の画素配列の状態を、図９（ａ）のとおりと考え
る。この例示は、図３における座標（４，４）、（５，
４）、（６，４）、（６，５）、（６，６）、（５，
６）、（４，６）、（４，５）及び（５，５）の画素か
らなる配列（太線枠内）に相当する。図９（ｂ）は、図
９（ａ）に従って画素データ取得処理を実行し、その結
果得られた画素値格納変数の値を一緒にまとめたもので
ある。

【００２５】・重み付け係数セット処理 図５のステップＳ２３の重み付け係数セット処理の実際
は、図１０及び図１１に示すとおりである。この処理で
は、画素データ取得処理と同様に、３×３個の画素配列
を左上、上、右上、右、右下、下、左下、左、中央の順
に巡回しつつ（ステップＳ２３＿１〜ステップＳ２３＿
２６）、各巡回位置の画素が情報欠落画素であるか否か
を判定し、情報欠落画素でない場合は、同位置の重み付
け係数に「１」、「２」又は「４」をセット（※）する
一方、情報欠落画素である場合は、同位置の重み付け係
数に「０」をセットする動作を繰り返し、最後にすべて
の重み付け係数の加算値ΣＫを演算する（ステップＳ２
３＿２８）。※但し、左上、右上、右下及び左下の重み
付け係数Ｋ_NE、Ｋ_NW、Ｋ_SW、Ｋ_SEについては「１」をセ
ットし、上下左右の重み付け係数Ｋ_N、Ｋ_W、Ｋ_S、Ｋ_Eに
ついては「２」をセットし、中央の重み付け係数Ｋ_Xに
ついては「４」をセットする。なお、これらの定数
（「１」、「２」及び「４」）は、中央の画素値に対す
る影響の大きさに応じて設定されていればよく、例示の
値に限定されない。代表して左上の画素に対する動作を
説明すると、（ｉ−１、ｊ−１）の画素が情報欠落画素
であるか否かを判定し（ステップＳ２３＿１）、情報欠
落画素でない場合は、同位置の重み付け係数Ｋ_NEに
「１」をセット（ステップＳ２３＿２）する一方、情報
欠落画素である場合は、同重み付け係数Ｋ_NEに「０」を
セット（ステップＳ２３＿３）する。

【００２６】図１２は、図９（ａ）、（ｂ）のデータに
従って重み付け係数セット処理を実行し、その結果得ら
れた重み付け係数をまとめたものである。図１２によれ
ば、重み付け係数の加算値ΣＫは、 ΣＫ＝Ｋ_NE＋Ｋ_N＋Ｋ_NW＋Ｋ_W＋Ｋ_SW＋Ｋ_S＋Ｋ_SE＋Ｋ_E＋
Ｋ_X ＝０＋２＋０＋２＋０＋２＋０＋２＋０ ＝８ ・・・・（２） になる。

【００２７】・ＧＬ_(i,j)演算処理の実際 図５のステップＳ２４のＧＬ_(i,j)演算処理の実際は、
図１３に示すとおりである。この処理では、上記の画素
データ取得処理及び重み付け係数セット処理の処理結果
を用いて、注目画素（ｉ，ｊ）の画素補間値ＧＬ_(i,j)
を演算する。図１３において、Ｇ_NE、Ｇ_N、Ｇ_NW、Ｇ_W、
Ｇ_SW、Ｇ_S、Ｇ_SE、Ｇ_E及びＧ_Xは、画素データ取得処理
で得られた画素値格納変数（図９（ｂ）参照）であり、
また、Ｋ _NE、Ｋ_N、Ｋ_NW、Ｋ_W、Ｋ_SW、Ｋ_S、Ｋ_SE、Ｋ_E及
びＫ_Xは、重み付け係数セット処理で得られた重み付け
係数（図１２参照）である。

【００２８】ＧＬ_(i,j)演算処理では、まず、位置を同
じくする画素値格納変数と重み付け係数を乗じ、その結
果で当該画素値格納変数を更新する（ステップＳ２４＿
１）。例えば、左上の画素に着目すると、Ｇ_NEにＫ_NEを
乗じ、その答えでＧ_NEを更新する。すべての画素値格納
変数の更新を完了すると、次に、更新済みの画素値格納
変数を加算して積算画素値ΣＧを演算する（ステップＳ
２４＿２）。そして、そのΣＧを重み付け係数セット処
理で演算したΣＫで除し、その答えをＧＬ_{(i,j )}とする
（ステップＳ２４＿３）。今、Ｇ_NE、Ｇ_N、Ｇ_NW、Ｇ_W、
Ｇ_SW、Ｇ_S、Ｇ_SE、Ｇ_E及びＧ_Xの値を、図９（ｂ）に示
すとおりとし、また、Ｋ_NE、Ｋ_N、Ｋ_NW、Ｋ_W、Ｋ_SW、Ｋ
_S、Ｋ_SE、Ｋ_E及びＫ_Xの値を、図１２に示すとおりとす
ると、ステップＳ２４＿１の結果は、

【００２９】 Ｇ_NE＝Ｇ_NE×Ｋ_NE＝０×０＝０ Ｇ_N＝Ｇ_N×Ｋ_N＝３２×２＝６４ Ｇ_NW＝Ｇ_NW×Ｋ_NW＝０×０＝０ Ｇ_W＝Ｇ_W×Ｋ_W＝３２×２＝６４ Ｇ_SW＝Ｇ_SW×Ｋ_SW＝０×０＝０ Ｇ_S＝Ｇ_S×Ｋ_S＝３２×２＝６４ Ｇ_SE＝Ｇ_SE×Ｋ_SE＝０×０＝０ Ｇ_E＝Ｇ_E×Ｋ_E＝３２×２＝６４ Ｇ_X＝Ｇ_X×Ｋ_X＝０×０＝０ ・・・・（３） となり、ΣＧは、 ΣＧ＝Ｇ_NE＋Ｇ_N＋Ｇ_NW＋Ｇ_W＋Ｇ_SW＋Ｇ_S＋Ｇ_SE＋Ｇ_E＋Ｇ_X ＝０＋６４+０+６４＋０＋６４＋０＋６４＋０ ＝２５６ ・・・・（４） となる。また、ΣＫは前式（２）より、ΣＫ＝８である
から、結局、注目画素（ｉ，ｊ）の補間値ＧＬ
_(i,j)は、 ＧＬ_(i,j)＝ΣＧ／ΣＫ＝２５６／８＝３２ ・・・・（５） となる。

【００３０】図１４は、注目画素（ｉ，ｊ）の補間値Ｇ
Ｌ_(i,j)の演算概念図であり、ベイヤーデータのＧ成分
（ＢＤＧ）の注目画素（情報欠落画素）（５，５）〔Ｇ
Ｌ_{(i ,j)} 〕の画素値として、上下左右の周囲の４画素
（５，４）、（６，５）、（５，６）、（４，５）の画
素値を反映したレベル「３２」（上式（５）の結果）が
与えられている。図１５は、このような処理をベイヤー
データのＧ成分（ＢＤＧ）のすべての画素（情報欠落画
素を含む）に対して実行して得られたＬＰＦ処理後のベ
イヤーデータのＧ成分（ＧＬ）を示す図であり、太線で
囲まれた画素は、上記例示の注目画素（５，５）であ
る。

【００３１】＜ＢＤＧ−ＧＬ処理＞図１６は、図２のス
テップＳ３０の詳細処理フローチャートであり、元のベ
イヤーデータのＧ成分（ＢＤＧ）とＬＰＦ処理後のベイ
ヤーデータのＧ成分（ＧＬ）との差分（高域差分；ＤＧ
Ｈ）をとるための処理手順図である。この処理手順で
は、二つの座標変数ｉ、ｊの値を変化させながら水平方
向と垂直方向に点順次の画素走査を行いつつ（ステップ
Ｓ３１、ステップＳ３４〜ステップＳ３８）、各走査位
置（ｉ，ｊ）ごとに、ＢＤＧの注目画素ＢＤＧ_(i,j)が
情報欠落画素であるか否かの判定を行い（ステップＳ３
２）、情報欠落画素でない場合に、その注目画素ＢＤＧ
_(i,j)の画素値から対応するＧＬ_(i,j)の画素値を減算し
て、その減算結果をＤＧＨ_(i,j)の画素値とする処理
（ステップＳ３３）をＢＤＧのすべての画素に対して繰
り返す。

【００３２】図１７は、そのような処理によって得られ
たＤＧＨである。升目内の数値（“１”、“２”、
“６”及び“−７”）は各々の座標位置におけるＢＤＧ
の画素とＧＬの画素の差分を表している。ここで、ＧＬ
はＬＰＦ処理（低域成分の抽出）を施した後のＢＤＧで
あって、言い換えれば、ＧＬは元のベイヤーデータのＧ
成分（ＢＤＧ）に含まれる低域成分であるから、ＢＤＧ
とＧＬの差分は、結局、元のベイヤーデータのＧ成分
（ＢＤＧ）から高域成分を抽出していることに相当し、
升目内の数値（“１”、“２”、“６”及び“−７”）
は各々の座標位置におけるＢＤＧの画素単位の高域成分
を表していることになる。

【００３３】＜ＤＧＨに対する相関補間処理＞図１８〜
図２０は、図２のステップＳ４０の詳細処理フローチャ
ートであり、上記の高域差分（ＤＧＨ）の情報欠落画素
に対する相関補間処理を行うための処理手順図である。
この処理手順では、二つの座標変数ｉ、ｊの値を変化さ
せながら水平方向と垂直方向に点順次の画素走査を行い
つつ（ステップＳ４１、ステップＳ４６〜ステップＳ５
０）、各走査位置（ｉ，ｊ）ごとに、情報欠落画素であ
るか否かを判定（ステップＳ４２）して情報欠落画素で
ある場合に相関演算処理（ステップＳ４３）、重み付け
係数演算処理（ステップＳ４４）及びＤＧＨ補間処理
（ステップＳ４５）を繰り返す。

【００３４】・相関演算処理 ステップＳ４３の相関値演算処理では、注目画素（ｉ，
ｊ）に隣接する上下左右四つの画素の各々に対応する相
関値変数Ｃ_(i,j-1)、Ｃ_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)
に、注目画素の画素値に対する各対応画素の画素値の差
（の絶対値）をセットする（ステップＳ４３ａ〜ステッ
プＳ４３ｄ）。例えば、注目画素（ｉ，ｊ）の上に位置
する画素（ｉ，ｊ−１）で説明すると、この場合は、注
目画素（ｉ，ｊ）の画素値ＧＬ_(i,j)と、対象画素
（ｉ，ｊ−１）の画素値ＧＬ_(i,j-1)の差の絶対値（｜
ＧＬ_(i,j)−ＧＬ_(i,j-1)｜）を演算し、その演算結果を
相関値変数Ｃ_(i,j-1)にセットする（ステップＳ４３
ａ）。そして、すべての相関値変数Ｃ_(i,j-1)、Ｃ
_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)に対する値のセットを
完了すると、次式（６）により、相関積算値ΣＣを演算
する（ステップＳ４３ｅ）。 ΣＣ＝Ｃ_(i,j-1)＋Ｃ_(i+1,j)＋Ｃ_(i,j+1)＋Ｃ_(i-1,j) ・・・・（６） 相関値変数Ｃ_(i,j-1)、Ｃ_(i+1,j)、Ｃ_(i,j+1)、Ｃ
_(i-1,j)の例えば、Ｃ_{(i,j-1 )}の値が大きい場合は注目画
素（ｉ，ｊ）と対象画素（ｉ，ｊ−１）の画素値の相関
性が低く、逆にＣ_(i,j-1)の値が小さい場合は相関性が
高いことを表す。かかる相関性は隣接画素間における明
暗又は色の類似性の度合いに対応するから、相関性の低
い画素同士は各々境界線（又は輪郭線）によって隔てら
れた異なる画像に属するとみなすことができ、一方、相
関性の高い画素同士は同一の画像に属するとみなすこと
ができる。

【００３５】・重み付け係数演算処理 ステップＳ４４の重み付け係数演算処理では、次の二つ
の並べ替え（ソート）処理を実行する。第一の並べ替え
処理（ステップＳ４４ａ）では、相関値演算処理でセッ
トしたすべての相関値変数Ｃ_(i,j-1)、Ｃ_(i+1,j)、Ｃ
_(i,j+1)、Ｃ_{(i-1, j)}について、昇順の並べ替え（値の小
さい順からの並べ替え）を行い、並べ替え後のＣ
_(i,j-1)、Ｃ_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)を値の小さ
い順から昇順変数ＡＳＣ₀、ＡＳＣ₁、ＡＳＣ₂、ＡＳＣ₃
にセットする。例えば、並べ替え後のＣ_{(i ,j-1)}、Ｃ
_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)の順位をＣ_(i,j-1)＜Ｃ
_(i+1,j)＜Ｃ_{(i ,j+1)}＜Ｃ_(i-1,j)とすると、以下のとお
りセットされる。 ＡＳＣ₀＝Ｃ_(i,j-1) ；（最小値） ＡＳＣ₁＝Ｃ_(i+1,j) ＡＳＣ₂＝Ｃ_(i,j+1) ＡＳＣ₃＝Ｃ_(i-1,j) ；（最大値）・・・・ （７）

【００３６】なお、並べ替え後のＣ_(i,j-1)、
Ｃ_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)に同じ値が含まれる
場合、例えば、Ｃ_(i,j-1)＝Ｃ_(i+1,j)＜Ｃ_(i,j+1)＜Ｃ
_(i-1,j)のような場合は、上式（７）のようにセットし
てもよく、あるいは、 ＡＳＣ₀＝Ｃ_(i+1,j) ；（最小値） ＡＳＣ₁＝Ｃ_(i,j-1) ＡＳＣ₂＝Ｃ_(i,j+1) ＡＳＣ₃＝Ｃ_(i-1,j) ；（最大値）・・・・ （８） のようにセット（Ｃ_(i,j-1)とＣ_(i+1,j)が入れ替わって
いる）してもよい。

【００３７】次に、第二の並べ替え処理（ステップＳ４
４ｂ）では、相関値演算処理でセットしたすべての相関
値変数Ｃ_(i,j-1)、Ｃ_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)に
ついて、降順の並べ替え（値の大きい順からの並べ替
え）を行い、並べ替え後のＣ_{(i ,j-1)}、Ｃ_(i+1,j)、Ｃ
_(i,j+1)、Ｃ_(i-1,j)に対応する座標位置のＤＧＨ画素値
ＤＧＨ_(i,j-1)、ＤＧＨ_(i+1,j)、ＤＧＨ_(i,j+1)、ＤＧ
Ｈ_(i-1,j)を、相関値変数Ｃ _(i,j-1)、Ｃ_(i+1,j)、Ｃ
_(i,j+1)、Ｃ_(i-1,j)の値の大きい順から降順変数ＤＥＳ
Ｃ₀、ＤＥＳＣ₁、ＤＥＳＣ₂、ＤＥＳＣ₃にセットする。
例えば、並べ替え後のＣ _(i,j-1)、Ｃ_(i+1,j)、Ｃ
_(i,j+1)、Ｃ_(i-1,j)の順位をＣ_(i,j-1)＜Ｃ_(i+1,j)＜Ｃ
_(i,j+1)＜Ｃ_(i-1,j)とすると、以下のとおりセットされ
る。 ＤＥＳＣ₀＝ＤＧＨ_(i-1,j) ；（最大値） ＤＥＳＣ₁＝ＤＧＨ_(i,j+1) ＤＥＳＣ₂＝ＤＧＨ_(i+1,j) ＤＥＳＣ₃＝ＤＧＨ_(i,j-1) ；（最小値）・・・・ （９）

【００３８】なお、第一の並べ替え処理と同様に、並べ
替え後のＣ_(i,j-1)、Ｃ_(i+1,j)、Ｃ _(i,j+1)、Ｃ_(i-1,j)
に同じ値が含まれる場合、例えば、Ｃ_(i,j-1)＝Ｃ
_(i+1,j)＜Ｃ_(i,j+1)＜Ｃ_(i-1,j)のような場合は、上式
（９）のようにセットしてもよく、あるいは、 ＤＥＳＣ₀＝ＤＧＨ_(i-1,j) ；（最大値） ＤＥＳＣ₁＝ＤＧＨ_(i,j+1) ＤＥＳＣ₂＝ＤＧＨ_(i,j-1) ＤＥＳＣ₃＝ＤＧＨ_(i+1,j) ；（最小値）・・・・ （１０） のようにセット（Ｃ_(i,j-1)とＣ_(i+1,j)が入れ替わって
いる）してもよい。

【００３９】・ＤＧＨ補間処理ステップＳ４５のＤＧＨ
補間算処理では、重み付け係数演算処理の演算結果を用
いて、次式（１１）及び次式（１２）により、注目画素
（ｉ，ｊ）の補間値ＤＧＨ_(i,j)を演算する（ステップ
Ｓ４５ａ、ステップＳ４５ｂ）。 ＤＧＨ_(i,j)＝ＡＳＣ₀×ＤＥＳＣ₀＋ ＡＳＣ₁×ＤＥＳＣ₁＋ ＡＳＣ₂×ＤＥＳＣ₂＋ ＡＳＣ₃×ＤＥＳＣ₃ ・・・・（１１） ＤＧＨ_(i,j)＝ＤＧＨ_(i,j)／ΣＣ ・・・・（１２）

【００４０】ここで、図２１（ａ）、（ｂ）に示すＧＬ
画素値配列モデル及びそのＧＬ画素値配列モデルに対応
したＤＧＨ画素値配列モデルを例にして具体的に説明す
る。図２１（ａ）において、太線枠内中央の画素をＧＬ
の注目画素ＧＬ_(i,j)とすると、その上下左右に位置す
る隣接画素ＧＬ_(i,j-1)、ＧＬ_(i+1,j)、ＧＬ_(i,j+1)、
ＧＬ_(i-1,j)の画素値は、それぞれ「３０」、「２
４」、「３０」及び「３０」である。また、図２１
（ｂ）において、太線枠内中央の画素をＤＧＨの注目画
素ＤＧＨ_(i,j)とすると、その上下左右に位置する隣接
画素ＤＧＨ_(i,j-1)、ＤＧＨ_(i+1,j)、ＤＧＨ_(i,j+1)、
ＤＧＨ_(i-1,j)の画素値は、それぞれ「２」、「８」、
「２」及び「２」である。

【００４１】まず、ステップＳ４３の「相関値演算処
理」で、注目画素ＧＬ_(i,j)に隣接する上下左右四つの
画素の各々に対応する相関値変数Ｃ_(i,j-1)、
Ｃ_(i+1,j)、Ｃ_{(i ,j+1)}、Ｃ_(i-1,j)に、注目画素の画素
値ＧＬ_(i,j)に対する各対応画素の画素値ＧＬ_(i,j-1)、
ＧＬ_(i+1,j)、ＧＬ_(i,j+1)、ＧＬ_(i-1,j)の差（の絶対
値）をセットする。すなわち、図２１（ａ）において、
各画素値ＧＬ_(i,j-1)、ＧＬ_(i+1,j)、ＧＬ_(i,j+1)、Ｇ
Ｌ_(i-1,j) 、ＧＬ_(i,j)は、 ＧＬ_(i,j-1)＝３０ ＧＬ_(i+1,j)＝２４ ＧＬ_(i,j+1)＝３０ ＧＬ_(i-1,j)＝３０ ＧＬ_(i,j)＝３２・・・・ （１３） であるから、各々の相関値変数Ｃ_(i,j-1)、Ｃ_(i+1,j)、
Ｃ_(i,j+1)、Ｃ_(i-1,j)には、次式（１４）の値がセット
され、さらに次式（１５）により、相関積算値ΣＣが演
算される。

【００４２】 Ｃ_(i,j-1)＝｜ＧＬ_(i,j)−ＧＬ_(i,j-1)｜＝｜３２−３０｜＝２ Ｃ_(i+1,j)＝｜ＧＬ_(i,j)−ＧＬ_(i+1,j)｜＝｜３２−２４｜＝８ Ｃ_(i,j+1)＝｜ＧＬ_(i,j)−ＧＬ_(i,j+1)｜＝｜３２−３０｜＝２ Ｃ_(i-1,j)＝｜ＧＬ_(i,j)−ＧＬ_(i-1,j)｜＝｜３２−３０｜＝２ ・・・・（１４） ΣＣ＝Ｃ_(i,j-1)＋Ｃ_(i+1,j)＋Ｃ_(i,j+1)＋Ｃ_(i-1,j) ＝２＋８＋２＋２ ＝１４ ・・・・（１５）

【００４３】図２２（ａ）は、画素位置と相関値変数Ｃ
_(i,j-1)、Ｃ_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)との対応関
係図である。次に、ステップＳ４４の「重み付け係数演
算処理」で、相関値変数Ｃ_(i,j-1)、Ｃ_(i+1,j)、Ｃ
_(i,j+1)、Ｃ_(i-1,j)を昇順に並べ替え、並べ替え後のＣ
_{(i,j-1 )}、Ｃ_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)を値の小
さい順から昇順変数ＡＳＣ₀、ＡＳＣ₁、ＡＳＣ₂、ＡＳ
Ｃ₃にセットし、さらに、相関値変数Ｃ_(i,j-1)、Ｃ
_{(i+1,j )}、Ｃ_(i,j+1)、Ｃ_(i-1,j)を降順に並べ替え、並
べ替え後のＣ_(i,j-1)、Ｃ_{(i+1,j )}、Ｃ_(i,j+1)、Ｃ
_(i-1,j)に対応する座標位置のＤＧＨ画素値ＤＧＨ
_(i,j-1)、ＤＧＨ_(i+1,j)、ＤＧＨ_(i,j+1)、ＤＧＨ
_(i-1,j)を、相関値変数Ｃ_(i,j-1)、Ｃ_{(i+1 ,j)}、Ｃ
_(i,j+1)、Ｃ_(i-1,j)の値の大きい順から降順変数ＤＥＳ
Ｃ₀、ＤＥＳＣ₁、ＤＥＳＣ₂、ＤＥＳＣ₃にセットする。

【００４４】ここで、Ｃ_(i,j-1)は「２」、Ｃ_(i+1,j)は
「８」、Ｃ_(i,j+1)は「２」、Ｃ_{(i- 1,j)}は「２」であ
り、Ｃ_(i,j-1)＝Ｃ_(i,j+1)＝Ｃ_(i-1,j)＜Ｃ_(i+1,j)であ
るから、これを昇順に並べ替えると「Ｃ_(i,j-1)、Ｃ
_(i,j+1)、Ｃ_(i-1,j)、Ｃ_(i+1,j)」の順番になり、降順
に並べ替えると「Ｃ_(i+1,j)、Ｃ_(i-1,j)、Ｃ_(i,j+1)、
Ｃ_{(i, j-1)}」の順番になる。なお、等値のものは順番を
入れ替えてもかまわない。したがって、昇順変数ＡＳＣ
₀、ＡＳＣ₁、ＡＳＣ₂、ＡＳＣ₃には、次式（１６）の値
がセットされ、降順変数ＤＥＳＣ₀、ＤＥＳＣ₁、ＤＥＳ
Ｃ₂、ＤＥＳＣ₃には、次式（１７）の値がセットされ
る。

【００４５】 ＡＳＣ₀＝Ｃ_(i,j-1) ；（最小値） ＡＳＣ₁＝Ｃ_(i,j+1) ＡＳＣ₂＝Ｃ_(i-1,j) ＡＳＣ₃＝Ｃ_(i+1,j) ；（最大値）・・・・ （１６） ＤＥＳＣ₀＝ＤＧＨ_(i+1,j) ；（最大値） ＤＥＳＣ₁＝ＤＧＨ_(i-1,j) ＤＥＳＣ₂＝ＤＧＨ_(i,j+1) ＤＥＳＣ₃＝ＤＧＨ_(i,j-1) ；（最小値）・・・・ （１７）

【００４６】次に、ステップＳ４５の「ＤＧＨ補間処
理」では、重み付け係数演算処理の演算結果を用いて、
前式（１１）及び前式（１２）により、注目画素（ｉ，
ｊ）の補間値ＤＧＨ_(i,j)を演算する。ここで、Ｃ
_(i,j-1)＝２、Ｃ_(i+1,j)＝８、Ｃ_(i,j+1)＝２、Ｃ
_(i-1,j)＝２であり、ＤＧＨ_(i,j-1)＝２、ＤＧＨ
_(i+1,j)＝８、ＤＧＨ_(i,j+1)＝２、ＤＧＨ_{(i-1, j)}＝２
であり、さらに、前式（１５）より、ΣＣ＝１４である
から、これらの実際値を当てはめると、式（１６）及び
式（１７）は、次式（１８）及び次式（１９）のように
書き表すことができ、結局、前式（１１）及び式（１
２）は、次式（２０）及び次式（２１）のように書き表
すことができる。

【００４７】 ＡＳＣ₀＝Ｃ_(i,j-1) ＝２ ＡＳＣ₁＝Ｃ_(i,j+1) ＝２ ＡＳＣ₂＝Ｃ_(i-1,j) ＝２ ＡＳＣ₃＝Ｃ_(i+1,j) ＝８・・・・ （１８） ＤＥＳＣ₀＝ＤＧＨ_(i+1,j) ＝８ ＤＥＳＣ₁＝ＤＧＨ_(i-1,j) ＝２ ＤＥＳＣ₂＝ＤＧＨ_(i,j+1) ＝２ ＤＥＳＣ₃＝ＤＧＨ_(i,j-1) ＝２・・・・ （１９）

【００４８】 ＤＧＨ_(i,j)＝２×８＋２×２＋２×２＋８×２ ＝１６＋４＋４＋１６ ＝４０ ・・・・（２０） ＤＧＨ_(i,j)＝４０／１４ ≒２．８５７（四捨五入して、ＤＧＨ_(i,j)＝３） ・・・・（２１）

【００４９】したがって、この補間値ＤＧＨ_(i,j)を用
いてＤＧＨの注目画素（情報欠落画素）（ｉ，ｊ）を補
間すれば、図２２（ｂ）に示すように、高域差分データ
（ＤＧＨ）の情報欠落画素を適切な画素値（この例示で
は“３”）で埋めることができる。しかも、補間値ＤＧ
Ｈ_(i,j)は相関性のある画素値の影響を強く受けるた
め、境界線（輪郭線）を挟んで隣接する画素の影響をほ
とんど受けることはない。このことは、明暗のはっきり
した境界部分を持つ画像の再現性を改善できることを示
唆している。

【００５０】＜ＤＧＨ（補間後のもの）とＧＬとの合成
処理＞図２のステップＳ８０におけるＤＧＨ（補間後の
もの）とＧＬとの合成処理では、具体的なフローチャー
トの提示は略すが、概念的に、図２３に示すような処理
を行う。図２３において、まず、補間処理後のＤＧＨを
Ｎ倍する。高域強調しない場合、Ｎに“１”がセットさ
れ、高域強調する場合、Ｎに所定の強調係数（例えば
“２”）がセットされる。

【００５１】今、Ｎ＝１としたとき、ＧＬとＤＧＨの合
成結果（ＧＨ）は、図中下段の左側に示すように、ＧＬ
の各画素値に、対応する位置のＤＧＨの画素値が加算さ
れている。このＧＨ（Ｎ＝１）において、注目すべき点
はもっとも明るいレベルを持つひとつの画素が存在する
ことにある。その画素は座標（５，５）の画素であり、
元々は情報が欠落していた画素である。本実施の形態の
補間処理を適用することにより、当該情報欠落画素に対
して、周囲の上下左右の画素値（図では“３２”）より
も高いレベルの“３５”を与えることができる。

【００５２】したがって、周囲を比較的高レベルの画素
値“３２”で取り囲まれた情報欠落画素の画素値を高輝
度側にシフトさせることができるから、少なくともその
レベル差（この例では“３５−３２”）に相当する分だ
け、当該ひとつの画素を際立たせることができる。その
結果、画素単位に画像の精細度を向上でき、本願発明の
課題を達成することができる。

【００５３】また、例えば、Ｎ＝２としたとき、ＧＬと
ＤＧＨの合成結果（ＧＨ）は、図中下段の右側に示すよ
うに、ＧＬの各画素値に、対応する位置のＤＧＨの画素
値が２倍されて加算されている。このＧＨ（Ｎ＝２）に
おいて、もっとも明るいレベルを持つひとつの画素は座
標（６，５）の画素であり、元々の情報欠落画素ではな
いが、その左隣の画素（座標（５，５）の画素）に着目
すると、座標（６，５）の画素を除く周囲の画素よりも
高いレベル（この例では“３８”）が与えられているた
め、Ｎ＝１の場合と同様に、座標（５，５）の画素を目
立たせることができる。

【００５４】以上のことを、冒頭の第３の従来技術との
対比で検証してみる。図２４は、本実施の形態と同様の
画素配列モデル（図３のベイヤーデータのＧ成分ＢＤＧ
参照）を適用した場合の従来技術の処理概念図である。
ＧＬ＿Ｊは本実施の形態のＧＬ（図１５参照）と同一の
ものである。また、ＧＨ＿Ｊは元のベイヤーデータのＧ
成分ＢＤＧを相関補間したものであり、その相関補間処
理のアルゴリズムは、本実施の形態の「ＤＧＨに対する
相関補間処理」（図１８〜図２０参照）に一応類似す
る。相違点は、ステップＳ４４における重み付け演算処
理において、ＤＥＳＣ₀、ＤＥＳＣ₁、ＤＥＳＣ₂、ＤＥ
ＳＣ₃にセットする画素値として元のベイヤーデータのG
成分ＢＤＧのものをそのまま使用することにある。

【００５５】一方、本実施の形態では、ＤＥＳＣ₀、Ｄ
ＥＳＣ₁、ＤＥＳＣ₂、ＤＥＳＣ₃にＢＤＧとＧＬの差
分、すなわちベイヤーデータのＧ成分ＢＤＧの高域差分
（ＤＧＨ）をセットするから、この点において両者は本
質的な違いがある。本実施の形態によれば、ＬＰＦ処理
によって失われた高域差分に相当するデータ（ＤＧＨ）
に対して上記相関補間処理（図１８〜図２０参照）を行
うため、情報欠落画素に対する補間情報を適正化でき、
画素単位に精細度を向上することができる。

【００５６】これに対して、図２４に示す従来技術のも
のは、ベイヤーデータのＧ成分（ＢＤＧ）そのものに対
して情報補間を行った後、その情報補間後のＧ成分デー
タ（ＧＨ＿Ｊ）とＧ成分データの低域成分（ＧＬ＿Ｊ）
との差分をとり、その差分データ（ＤＧＨ＿Ｊ）をＮ倍
（Ｎ＝１または例えばＮ＝２）してＧＬ＿Ｊと合成し、
最終的な補間済画像ＧＨ＿Ｊ（Ｎ＝１）またはＧＨ＿Ｊ
（Ｎ＝２）を生成しているが、ＤＧＨ＿Ｊは高域成分を
失っているから（例えば、ＤＧＨ＿Ｊの中央画素値
“０”を参照されたい）、Ｎ＝１のＧＨ＿Ｊにあって
は、座標（５，４）、（６，５）、（５，６）、（４，
５）及び（５，５）の五つの画素からなる領域が同一の
レベル（“３２”）に揃ってしまい、明らかに画素単位
での精細度を得ることができないし、また、Ｎ＝２の
ＧＨ＿Ｊにあっては、座標（５，５）の画素値がその上
下左右の画素値（“３４”または“４０”）よりも低レ
ベルの“３２”になってしまい、視覚上の不自然さを否
めないという欠点がある。

【００５７】本実施の形態によれば、このような欠点
、を生じることがなく、したがって、画素単位に精
細度を向上した有益な画素補間処理技術を提供できるの
である。

【００５８】

【発明の効果】本発明によれば、単板式のカラー撮像デ
バイスによって撮像された画像信号から低域画像信号と
高域画像信号を抽出し、低域画像信号の注目画素とその
周囲の隣接画素との相関性を評価するとともに、その評
価結果を用いて前記高域画像信号の注目画素を補間し、
補間後の高域画像信号と前記低域画像信号とを合成して
出力画像信号を生成するので、高域画像信号の補間によ
り、画像のエッジ部分のシャープさを損なうことなく、
画素単位に精細度を高めた補間済画像信号を生成するこ
とができる。又は、評価結果に応じた重み付け係数を隣
接画素に対して割り当てるとともに、隣接画素に対して
割り当てられた重み付け係数を高域画像信号の隣接画素
に適用して該隣接画素の平均値を演算し、その演算結果
を用いて高域画像信号の注目画素を補間するので、重み
付け係数の値を変えて補間処理の効果を様々に変更する
ことができる。又は、相関性の低い隣接画素に対しては
小さな重み付け係数を割り当てる一方、相関性の高い隣
接画素に対しては大きな重み付け係数を割り当てるの
で、相関性の高低をより明確にして、補間処理の効果を
一層高めることができる。又は、隣接画素は、注目画素
と同一位置の１ライン前の画素、注目画素と同一ライン
の隣り合う画素又は注目画素と同一位置の１ライン後の
画素の何れか若しくはすべてであるので、フレーム内の
画素補間を行うことができる。又は、保持手段に保持さ
れた画像信号から低域画像信号を減算することにより画
像信号の高域成分を抽出して高域画像信号を生成するの
で、簡単な画素値演算で済み、処理のオーバヘッドを抑
制できる。又は、画像信号は単板式のカラー撮像デバイ
スによって撮像されたベイヤー信号中のＧ成分信号であ
り、このＧ成分は明るさの情報を含むので、明暗のはっ
きりした境界部分を持つ画像の再現性を改善できる。

【図面の簡単な説明】

【図１】実施の形態の全体構成図である。

【図２】実施の形態の補間処理手順図である。

【図３】ベイヤーデータのＧ成分（ＢＤＧ）の配列モデ
ル例を示す図である。

【図４】画素座標値の一般表記図及び画像処理分野での
一般的な表現に倣った画素値レベル図である。

【図５】図２のステップＳ２０（ＬＰＦ処理）の詳細処
理フローチャートである。

【図６】３×３個の各画素に対応する画素値格納変数と
重み付け係数の位置関係図である。

【図７】画素データ取得処理の実際を示す処理手順図
（１／２）である。

【図８】画素データ取得処理の実際を示す処理手順図
（２／２）である。

【図９】具体的な画素配列の状態図及び画素値格納変数
の値を示す図である。

【図１０】重み付け係数セット処理の実際を示す処理手
順図（１／２）である。

【図１１】重み付け係数セット処理の実際を示す処理手
順図（２／２）である。

【図１２】具体的な重み付け係数の値を示す図である。

【図１３】ＧＬ_(i,j)演算処理の実際を示す処理手順図
である。

【図１４】注目画素（ｉ，ｊ）の補間値ＧＬ_(i,j)の演
算概念図である。

【図１５】ＬＰＦ処理後のベイヤーデータのＧ成分（Ｇ
Ｌ）を示す図である。

【図１６】図２のステップＳ３０（ＢＤＧ−ＧＬ処理）
の詳細処理フローチャートである。

【図１７】ＢＤＧ−ＧＬ処理の結果得られる高域差分デ
ータ（ＤＧＨ）を示す図である。

【図１８】図２のステップＳ４０（ＤＧＨに対する相関
補間処理）の詳細処理フローチャート（１／３）であ
る。

【図１９】図２のステップＳ４０（ＤＧＨに対する相関
補間処理）の詳細処理フローチャート（２／３）であ
る。

【図２０】図２のステップＳ４０（ＤＧＨに対する相関
補間処理）の詳細処理フローチャート（３／３）であ
る。

【図２１】ＧＬ画素値配列モデル及び補間前のＤＧＨ画
素値配列モデルを示す図である。

【図２２】画素位置と相関値変数Ｃ_(i,j-1)、
Ｃ_(i+1,j)、Ｃ_(i,j+1)、Ｃ_(i-1,j)との対応関係図及び
補間後の高域差分データ（ＤＧＨ）を示す図である。

【図２３】図２のステップＳ８０（補間後のＤＧＨとＧ
Ｌとの合成処理）に対応する概念的な説明図である。

【図２４】本実施の形態と同様の画素配列モデル（図３
のベイヤーデータのＧ成分ＢＤＧ参照）を適用した場合
の従来技術の処理概念図である。

【図２５】ＣＣＤの構成図である。

【図２６】ＣＣＤと色フィルタを示す図である。

【図２７】ベイヤー方式の色フィルタの原理図である。

【図２８】実際の色フィルタの構成図である。

【図２９】インターレース型ＣＣＤに適用する色フィル
タの構成図である。

【図３０】Ｇフィルタだけを抜き出したフィルタの構成
図（Ｇ画素信号の配列モデル図でもある）である。

【図３１】第３の従来技術における補間処理の概略手順
図である。

【符号の説明】

ＢＤ ベイヤーデータ（元画像信号） ＢＤＧ ベイヤーデータのＧ成分（元画像信号のＧ成
分） ＤＧＨ ＢＤとＧＬの高域差分（高域画像信号） ＧＨ 補間済画像（出力画像信号） ＧＬ ＬＰＦ処理後のＢＤ（低域画像信号） １０ ＣＣＤ（単板式のカラー撮像デバイス） １４ メモリ部（保持手段） ２０ ＣＰＵ（第１生成手段、第２生成手段、評価手
段、補間手段、第３生成手段、演算手段）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C065 AA03 CC01 CC08 DD02 DD17 EE05 GG21 GG23 GG30 GG31 GG42 5C066 AA01 AA11 CA06 DD07 EC01 ED00 EE04 GA01 JA03 KE02 KE03 KE05 KE09 KE11 KE19 KM02 KM05

Claims (8)

【特許請求の範囲】
1. 【請求項１】 単板式のカラー撮像デバイスによって撮
   像された画像信号を保持する保持手段と、 前記保持手段に保持された画像信号の低域成分を抽出し
   て低域画像信号を生成する第１生成手段と、 前記保持手段に保持された画像信号の高域成分を抽出し
   て高域画像信号を生成する第２生成手段と、 前記低域画像信号の注目画素とその周囲の隣接画素との
   相関性を評価する評価手段と、 前記評価手段の評価結果を用いて前記高域画像信号の注
   目画素を補間する補間手段と、 前記補間後の高域画像信号と前記低域画像信号とを合成
   して出力画像信号を生成する第３生成手段と、 を備えたことを特徴とする撮像装置。
2. 【請求項２】 前記補間手段は、 前記評価手段の評価結果に応じた重み付け係数を隣接画
   素に対して割り当て、隣接画素に対して割り当てられた
   重み付け係数を前記高域画像信号の隣接画素に適用して
   該隣接画素の平均値を演算する演算手段を備え、 前記演算手段の演算結果を用いて前記高域画像信号の注
   目画素を補間することを特徴とする請求項１記載の撮像
   装置。
3. 【請求項３】 前記演算手段は、 相関性の低い隣接画素に対しては小さな重み付け係数を
   割り当てる一方、相関性の高い隣接画素に対しては大き
   な重み付け係数を割り当てることを特徴とする請求項２
   記載の撮像装置。
4. 【請求項４】 前記隣接画素は、 注目画素と同一位置の１ライン前の画素、注目画素と同
   一ラインの隣り合う画素又は注目画素と同一位置の１ラ
   イン後の画素の何れか若しくはすべてであることを特徴
   とする請求項１記載の撮像装置。
5. 【請求項５】 前記第３生成手段は、 前記補間後の高域画像信号をＮ倍（Ｎは１または１以上
   の整数）して前記低域画像信号に合成することを特徴と
   する請求項１記載の撮像装置。
6. 【請求項６】 前記第２生成手段は、 前記保持手段に保持された画像信号から前記第１の生成
   手段により生成された低域画像信号を減算することによ
   り画像信号の高域成分を抽出して高域画像信号を生成す
   ることを特徴とする請求項１乃至請求項５いずれかに記
   載の撮像装置。
7. 【請求項７】 前記画像信号は、単板式のカラー撮像デ
   バイスによって撮像されたベイヤー信号中のＧ成分信号
   であることを特徴とする請求項１乃至請求項６いずれか
   に記載の撮像装置。
8. 【請求項８】 単板式のカラー撮像デバイスによって撮
   像された画像信号を保持する第１ステップと、 前記第１ステップで保持された画像信号の低域成分を抽
   出して低域画像信号を生成する第２ステップと、 前記第１ステップで保持された画像信号の高域成分を抽
   出して高域画像信号を生成する第３ステップと、 前記低域画像信号の注目画素とその周囲の隣接画素との
   相関性を評価する第４ステップと、 前記第４ステップの評価結果を用いて前記高域画像信号
   の注目画素を補間する第５ステップと、 前記補間後の高域画像信号と前記低域画像信号とを合成
   して出力画像信号を生成する第６ステップと、 を含むことを特徴とするカラー撮像信号の処理方法。