JP2003152990A - 生データ画像のデモザイク処理及びサイズ調整を行う方法 - Google Patents
生データ画像のデモザイク処理及びサイズ調整を行う方法Info
- Publication number
- JP2003152990A JP2003152990A JP2002228822A JP2002228822A JP2003152990A JP 2003152990 A JP2003152990 A JP 2003152990A JP 2002228822 A JP2002228822 A JP 2002228822A JP 2002228822 A JP2002228822 A JP 2002228822A JP 2003152990 A JP2003152990 A JP 2003152990A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image block
- block
- mosaic
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 title abstract description 42
- 230000004044 response Effects 0.000 claims abstract description 4
- 230000008569 process Effects 0.000 description 20
- 230000007246 mechanism Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 238000003780 insertion Methods 0.000 description 10
- 230000037431 insertion Effects 0.000 description 10
- 239000003086 colorant Substances 0.000 description 8
- 238000003709 image segmentation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000013398 bayesian method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 102000003729 Neprilysin Human genes 0.000 description 1
- 108090000028 Neprilysin Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Color Image Communication Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
(57)【要約】
【課題】 生データ画像のデモザイク処理及びサイズ調
整をより効率的に実施する方法を提供する。 【解決手段】 モザイク画像の現在の画像ブロックを受
信するステップ（３０２）と、現在の画像ブロックの指
標を前記現在の画像ブロックのカラーデータに基づいて
計算するステップ（３０８）と、モザイク画像のサイズ
調整済画像を作成するように、前記指標に応答して前記
モザイク画像の前記現在の画像ブロックから、サイズを
調整した画像ブロックを生成するステップ（３１８）と
を含み、前記サイズを調整した画像ブロックの生成が、
前記モザイク画像のサイズ調整済画像がデモザイク画像
となるような方法で、前記モザイク画像の前記現在の画
像ブロックから選択されたカラー情報を、前記サイズを
調整した画像ブロックへと割り当てるステップを含む。
整をより効率的に実施する方法を提供する。 【解決手段】 モザイク画像の現在の画像ブロックを受
信するステップ（３０２）と、現在の画像ブロックの指
標を前記現在の画像ブロックのカラーデータに基づいて
計算するステップ（３０８）と、モザイク画像のサイズ
調整済画像を作成するように、前記指標に応答して前記
モザイク画像の前記現在の画像ブロックから、サイズを
調整した画像ブロックを生成するステップ（３１８）と
を含み、前記サイズを調整した画像ブロックの生成が、
前記モザイク画像のサイズ調整済画像がデモザイク画像
となるような方法で、前記モザイク画像の前記現在の画
像ブロックから選択されたカラー情報を、前記サイズを
調整した画像ブロックへと割り当てるステップを含む。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は一般に画像処理に関
するものであり、より具体的には生データ（モザイク）
画像のデモザイク処理及びサイズ調整を実施する為のシ
ステム及び方法に関する。 【０００２】 【従来の技術】カラーディジタルカメラは、その価格の
低下が進んでいることもあり、民生品市場においても広
く普及しつつある。カラーディジタルカメラは通常、電
荷結合素子（ＣＣＤ）センサ又は相補型金属酸化物半導
体（ＣＭＯＳ）センサのいずれかである単一の光センサ
を利用しており、これにより撮像対象場面をディジタル
的に取り込むものである。ＣＣＤ及びＣＭＯＳセンサ
は、いずれも光の強度にしか感応しない。従って、これ
らのセンサは異なる色を識別することはできない。色を
識別するには、代表的には赤色、緑色、青色である原色
へと光を分離する為のカラーフィルタ技術を応用する。 【０００３】一般的なフィルタ技術とは、センサアレイ
上に配置してこれに当たる光をベイヤー(Bayer)パター
ンへと分離するカラーフィルタアレイ（ＣＦＡ）を用い
るものである。ベイヤーパターンは、各次元（垂直及び
水平）における一周期が２つの異なる色画素で構成され
る周期パターンである。水平方向における一周期は、緑
色画素及び赤色画素、或いは青色画素及び緑色画素のい
ずれかから構成される。垂直方向における一周期は、緑
色画素及び青色画素、或いは赤色画素及び緑色画素のい
ずれかから構成される。従って、緑色画素は赤色又は青
色画素数の２倍存在することになる。緑色画素数との間
に差があるのは、人間の目が三原色全てを等しく感知し
ない為である。この結果、撮像対象場面のカラー画像を
実際の色の画像として認識する為には、より多くの緑色
画素が必要とされるのである。 【０００４】ＣＦＡの存在により、センサが取り込む画
像は、「生データ」画像とも呼ばれるモザイク画像とな
るが、モザイク画像中の各画素は、赤色、緑色又は青色
のいずれか１つの値しか持たない。生データ画像は、そ
の後欠損した色値を周囲の画素から得た色情報から推定
することによりデモザイク処理され、カラー画像が作成
されるのである。 【０００５】生データ画像をカラー画像へと変換する為
の従来のデモザイク法は複数存在する。デモザイク法の
主な３つの一般的カテゴリーは、補間に基づく方式、特
徴に基づく方式及びベイズ方式である。補間に基づくデ
モザイク処理とは、簡単な補間式を用いて色平面を別々
に補間するものである。補間方式によるデモザイク処理
としては、バイリニア補間法、ｓｉｎｃ（）関数を用い
た帯域制限補間法、スプライン補間法等があげられる。
特徴に基づいたデモザイク法とは、所定の画像の局所的
特徴を画素レベルで調べ、それに準じて画像の補間を行
うというものである。この特徴に基づく方式の基本的概
念は、特徴のエッジを横断する補間を回避するという点
にある。ベイズ法とは、以前に認識した何らかの画像構
造を想定することにより、データに基づいて尤もらしい
カラー画像を見出そうとするものである。 【０００６】生データ画像のデモザイク処理後、特定の
アプリケーション用に画像のサイズが調整されることも
ある。例えば、デモザイク処理された画像をビデオ会議
用の所定の帯域幅を持つ通信チャネルを介して適正に送
信出来るように縮小される場合がある。また、他の事例
として、デモザイク処理後の画像をユーザーがプリビュ
ーで閲覧出来るようにサムネイル画像へと縮小する場合
もある。画像をより小さなサイズへと調整する為の従来
方式は複数存在する。一般的な方法の１つは、縮小画像
の各画素に原画像中の最も近い画素のカラー値が当てら
れるという、原画像の縮小版を作成する方法である。他
の一般的な方法においては、低域フィルタ処理又は補間
処理を原画像に実施し、画像を適正な率で間引きするこ
とにより縮小画像が生成される。低域フィルタ処理又は
補間処理は、間引き処理におけるエイリアシングの発生
を低減するものである。 【０００７】 【発明が解決しようとする課題】生データ画像のデモザ
イク処理及びデモザイク処理後のサイズ調整を個別に実
施する従来の方法であっても充分なデモザイク処理・サ
イズ調整済画像を生成することは出来るが、デモザイク
処理・サイズ調整済画像の生成において、生データ画像
のデモザイク処理及びサイズ調整をより効率的に実施す
る為のシステム及び方法が必要とされている。 【０００８】 【課題を解決するための手段】モザイク画像、即ち生デ
ータ画像を処理する為のシステム及び方法とは、１つの
統合処理によりモザイク画像のデモザイク処理及びサイ
ズ調整を同時に実施するものである。統合化したデモザ
イク処理・サイズ調整により、システムは、これらの処
理を別途順番に実施する従来のシステムよりも効率的な
デモザイク処理・サイズ調整を実施することが出来る。
更に、統合化したデモザイク処理・サイズ調整は、従来
のシステムによりデモザイク処理及びサイズ調整処理を
施した画像と比べてより高い画質のデモザイク処理・サ
イズ調整済画像を生成することが出来る。 【０００９】本発明に基づく方法は、デモザイク処理及
びサイズ調整を同時に施そうとするモザイク画像を受信
するステップを含む。その後モザイク画像は画像ブロッ
クへと分割され、これらが順次処理される。モザイク画
像の各画像ブロックに対し、所定の指標が計算される。
一実施例においては、計算される指標は統計学的指標で
あり、例えば現在の画像ブロック中のＲ、Ｂ、Ｇ１及び
Ｇ２カラー値の分散(variances)等である。他の実施例
においては、計算される指標は現在の画像ブロック中の
Ｒ、Ｂ及びＧカラー値のグラディエント(gradients)
等、特徴に基づく指標である。次に、現在の画像ブロッ
ク中のＲ、Ｂ及びＧカラー値の平均値が計算される。 【００１０】計算された指標にいずれかが所定の閾値を
超える場合、現在の画像ブロックは半分に分割され、新
たな現在の画像ブロックが生成される。分割された半分
の一方が新たな現在の画像ブロックとなる。そしてこの
新たな現在の画像ブロックが、前の現在の画像ブロック
と同じ仕方で処理される。しかしながら、計算された指
標がいずれも所定の閾値を超えていない場合、現在の画
像ブロックの計算された平均値が最終画像の１画素へと
割り当てられることになる。最終画像は、デモザイク処
理・サイズ調整済画像である。 【００１１】本発明に基づくシステムは、デモザイク処
理及びサイズ調整処理を同時に施すモザイク画像を受け
る画像パイプラインユニットを含む。モザイク画像は、
撮像対象場面をモザイク画像として電子的に取り込む、
システムの画像取り込みユニットから受け取ることが出
来る。画像パイプラインユニットは、モザイク画像を画
像ブロックへと分割する画像分割モジュールを含む。画
像パイプラインユニットは更に、指標計算機構、プロセ
ッサ及びカラー挿入機構をも含む。指標計算機構によ
り、モザイク画像の各画像ブロックについての所定の指
標が計算される。一実施例においては、計算される指標
は現在の画像ブロックにおけるＲ、Ｂ、Ｇ１及びＧ２カ
ラー値の分散等の統計学的指標である。他の実施例にお
いては、計算される指標は現在の画像ブロック中のＲ、
Ｂ及びＧカラー値のグラディエント等のような、特徴に
基づく指標（特徴的指標）である。更に、モザイク画像
の各画像ブロックについて、現在の画像ブロックにおけ
るＲ、Ｂ及びＧカラー値の平均値がカラー挿入機構によ
り計算される。 【００１２】プロセッサは所定の画像ブロックについ
て、計算された指標のいずれかが所定の閾値を超えてい
るどうかを判定する。超えている場合、現在の画像ブロ
ックは半分に分割され、新たな現在の画像ブロックが生
成される。分割された半分の一方が新たな現在の画像ブ
ロックとなる。そしてこの新たな現在の画像ブロック
が、前の現在の画像ブロックと同じ仕方で処理される。
しかしながら、計算された指標がいずれも所定の閾値を
超えなかった場合、現在の画像ブロックの計算された平
均値が最終画像の１画素へと割り当てられることにな
る。 【００１３】本発明の利点は、デモザイク処理及びサイ
ズ調整処理を統合化したことで、モザイク画像のデモザ
イク処理及びサイズ調整処理の効率が向上するという点
にある。更に、この結果得られるデモザイク処理・サイ
ズ調整済画像の画質が、従来のシステム及び方法により
生成されたデモザイク処理・サイズ調整済画像よりも大
幅に優れているという点があげられる。 【００１４】本発明の他の態様及び利点は、本発明の原
理を例として説明する添付図と以下の詳細説明から明ら
かとなる。 【００１５】 【発明の実施の形態】図１を参照すると、本発明の第一
の実施例に基づく画像処理システム１００が描かれてい
る。画像処理システムは、撮像対象場面をモザイク画
像、即ち生データ画像として電子的に取り込み、このモ
ザイク画像にデモザイク処理及びサイズ調整処理を同時
に実施するものであり、システムの効率及び得られるデ
モザイク処理・サイズ調整済画像の画質を向上させるも
のである。 【００１６】画像処理システム１００は、画像取り込み
ユニット１０２、画像パイプラインユニット１０４、記
憶ユニット１０６及び表示装置１０８を含む。システム
の画像取り込みユニット１０２は、モザイク画像、即ち
生データ画像の形で撮像対称場面を電子的に取り込むも
のである。画像取り込みユニットは、電子センサ及びカ
ラーフィルタアレイ（ＣＦＡ）を含む。電子センサは電
荷結合素子（ＣＣＤ）センサ、相補型金属酸化物半導体
（ＣＭＯＳ）センサ又は他の光電センサとすることが出
来る。一実施形態においては、ＣＦＡはベイヤーフィル
タパターンに配列された赤色（Ｒ）、緑色（Ｇ）及び青
色（Ｂ）フィルタを含む。しかしながら、ＣＦＡは異な
るフィルタパターンに配列された、異なる色のフィルタ
を含むものであっても良い。ＣＦＡの作用によりセンサ
の感光素子の各々には特定の色の光のみが送られること
になる。従って、画像取り込みユニットにより取り込ま
れたディジタル画像は、ＣＦＡのフィルタパターンに基
づいてそれぞれに単一の色を持つ画素から構成されるモ
ザイク画像となるのである。この結果、モザイク画像の
各画素は、例えばＲ、Ｇ又はＢのいずれか一色のみの強
度値を持つことになる。ベイヤーパターンのモザイク画
像の一部分を図２Ａに示した。 【００１７】本実施形態においては、モザイク画像の各
画素は単一色のみの強度値しか含んでいない為、デモザ
イク画像、即ちカラー画像を生成する為に必要な他の２
色の強度値を欠いた状態にある。図２Ａに示したよう
に、モザイク画像のＧ画素は、２つの異なるタイプのＧ
画素を表すＧ１又はＧ２として識別されている。従って
本願においては、図２Ａに示すモザイク画像は、図２Ｂ
に示すように４つのカラー成分Ｒ、Ｇ１、Ｇ２及びＢに
分解することが出来る。モザイク画像のこれらの分解成
分を本願においては時にＧ１平面２０２、Ｇ２平面２０
４、Ｒ平面２０６及びＢ平面２０８と呼ぶこともある。
また、Ｇ１及びＧ２平面を集合的に言う場合、本願にお
いてはＧ平面と呼ぶものとする。 【００１８】図１に戻るが、画像処理システム１００の
画像パイプラインユニット１０４は、画像取り込みユニ
ット１０２により取り込まれたモザイク画像を受ける為
に画像取り込みユニットに接続されている。画像パイプ
ラインユニットは、モザイク画像のデモザイク／縮小画
像を生成するものである。デモザイク／縮小画像は、本
願においては最終画像と呼ぶ場合もある。画像パイプラ
インユニットは、画像分割モジュール１１６、統計学的
指標計算機構１１８、カラー挿入機構１１０、メモリ１
１２及びプロセッサ１１４を含む。画像分割モジュール
１１６、統計学的指標計算機構１１８及びカラー挿入機
構１１０は、機能ブロックを表すものであり、必ずしも
別個の部品である必要はない。これらのコンポーネント
は、画像パイプラインユニット１０４においてソフトウ
ェア、ファームウェア及びハードウェアのいずれの組み
合わせによって実現したものでも良い。 【００１９】画像パイプラインユニット１０４の画像分
割モジュール１１６は、画像取り込みユニット１０２か
ら入力されたモザイク画像を原画像ブロックへと分割す
るものである。例えば、画像分割モジュールは、入力さ
れたモザイク画像を８ｘ８画素の画像ブロックへと分割
するものであっても良い。以下にも説明するように、モ
ザイク画像の各原画像ブロックは、入力されたモザイク
画像の最終画像を形成する単一の画素へと変換される。
よって最終画像のサイズ、即ち入力されたモザイク画像
の縮小率は、分割された画像ブロックサイズに依存する
ものである。 【００２０】画像パイプラインユニット１０４のカラー
挿入機構１１０は、入力されたモザイク画像の所定の原
画像ブロックについて、最終画像の変換画素のＲ、Ｇ及
びＢカラー値を計算するものである。変換画素のＲ、Ｇ
及びＢカラー値は、入力されたモザイク画像の現在の画
像ブロックにおけるＲ、Ｇ１、Ｇ２及びＢのカラー値か
ら導き出される。現在の画像ブロックは、入力されたモ
ザイク画像の原画像ブロック全体である場合も、或いは
その原画像ブロックの選択された一部である場合もあ
る。本実施形態においては、現在の画像ブロックにおけ
る、Ｒカラー値の平均値、Ｇカラー値（Ｇ１及びＧ２両
方のカラー値）の平均値及びＢカラー値の平均値が、最
終画像の変換された画素のＲ、Ｇ及びＢカラー値として
使用される。従って、カラー挿入機構は現在の画像ブロ
ックのＲ、Ｇ及びＢカラー値のそれぞれの平均値を計算
して最終画像の変換画素のＲ、Ｇ及びＢカラー値を提供
するものである。 【００２１】画像パイプラインユニット１０４の統計学
的指標計算機構１１８は、現在の画像ブロックのＲ、Ｇ
１、Ｇ２及びＢ色平面についてそれぞれの統計学的指標
を計算することにより、現在の画像ブロックにおけるカ
ラー値の統計学的分布を判定するものである。例えば、
統計学的指標は、現在の画像ブロックの各色平面の強度
値の分散であっても、或いは現在の画像ブロックにおけ
る特定色の強度値の変化の測定に用いることが出来る他
の統計学的指標であっても良い。これらの統計学的指標
を画像パイプラインユニットにて用いる方法は、後に説
明する。 【００２２】画像パイプラインユニット１０４のプロセ
ッサ１１４は、統計学的指標計算機構１１８により計算
された統計学的指標を分析し、現在の画像ブロックにお
けるカラー値が、最終画像の変換後の画素のＲ、Ｇ及び
Ｂカラー値を計算するのに好適であるかどうかを判定す
るものである。具体的に説明すると、プロセッサは、現
在の画像ブロックについて計算された統計学的指標のい
ずれかが、所定の閾値を超えているかどうかを判定する
のである。超えていた場合、現在の画像ブロックは２分
の１に縮小され、新たな現在の画像ブロックが形成され
る。即ち、現在の画像ブロックが半分に分割され、２つ
の２分の１部分の一方が新たな現在の画像ブロックとし
て選択されるのである。新たな現在の画像ブロックは、
統計学的指標計算機構１１８による新たな統計学的指標
の計算に用いられる。その後これらの新たな統計学的指
標はプロセッサにより分析され、新たな現在の画像ブロ
ックにおけるカラー値が、最終画像の変換画素へのＲ、
Ｇ及びＢカラー値の計算に用いるのに適しているかどう
かが判定される。しかしながら、計算された現在の画像
ブロックの各統計学的指標が所定の閾値を超えなかった
場合は、現在の画像ブロックのＲ、Ｇ及びＢカラー値の
平均値が最終画像の変換画素へと埋め込まれる。画素へ
のカラー値の埋め込みとは、本願においてはそれぞれの
画素へのカラー値の割り当てであると定義される。現在
の画像ブロックが、Ｒ，Ｇ１、Ｇ２及びＢ色平面の単色
のカラー値しか含まない場合（例えば現在の画像ブロッ
クが２ｘ２画素の画像ブロックの場合等）、最終画像の
変換画素には現在の画像ブロックの元のＲ及びＢカラー
値が使用され、元のＧ１及びＧ２カラー値の平均値、又
は一方の値が変換画素のＧカラー値として使用される。
その後変換画素のディジタルデータは一時的にパイプラ
インユニット１０４のメモリ１１２（フラッシュメモリ
又はランダムアクセスメモリ）へと記憶され、入力され
たモザイク画像の全ての原画像ブロックが変換されて最
終画像、すなわちデモザイク／縮小画像が形成されるま
で維持される。 【００２３】最終画像は、画像処理システム１００の記
憶ユニット１０６への保存及び（又は）表示装置１０８
上での表示が可能である。記憶ユニットは、ＤＲＡＭ等
のような従来のメモリとすることが出来る。かわりに記
憶ユニットを、例えば標準的なコンピュータ用フレキシ
ブルディスク等の着脱可能な記憶メディアをインターフ
ェースするドライブとすることも出来る。表示装置とし
ては、ＬＣＤディスプレイ又は最終画像を表示すること
が出来る他の類似のディスプレイを用いることが出来
る。 【００２４】画像処理システム１００のデモザイク及び
サイズ調整処理について、図３のフローチャート及び図
１のブロック図を参照しつつ説明する。ステップ３０２
においては、入力された撮像対象場面のモザイク画像
は、画像パイプラインユニット１０４により受信され
る。本実施形態においては、入力されたモザイク画像は
画像取り込みユニット１０２により取り込まれたベイヤ
ーパターンの画像である。次にステップ３０４におい
て、モザイク画像は画像ブロックへと分割される。分割
された画像ブロックのサイズが、モザイク画像の縮小率
を決定する。従って、分割された画像ブロックのサイズ
を変化させることにより、入力されたモザイク画像にデ
モザイク処理及びサイズ調整処理を施したものである最
終画像のサイズを選択することが出来る。しかしなが
ら、本明細書の説明においては、入力されたモザイク画
像は８ｘ８画素の画像ブロックへと分割されるものと想
定する。８ｘ８画素の画像ブロックの一例を図４Ａに示
した。 【００２５】次にステップ３０６において、最終画像の
一画素を生成するように、８ｘ８画像ブロックの１つが
現在の画像ブロックとして選択される。ステップ３０８
においては、画像パイプラインユニット１０４の統計学
的指標計算機構１１８により、現在の画像ブロックにお
けるＲ、Ｇ１、Ｇ２、及びＢカラー値の各々について統
計学的指標が計算される。本実施形態においては、統計
学的指標は、Ｒ、Ｇ１、Ｇ２及びＢカラー値の分散であ
り、従って本明細書では、統計学的指標が分散であると
して説明する。現在の画像ブロックは、当初は選択され
た８ｘ８の画像ブロックである。しかしながら以下に説
明するように、現在の画像ブロックは選択された８ｘ８
画像ブロックの一部分でもあり得る。ステップ３１０に
おいては、現在の画像ブロックにおけるＲカラー値の平
均値、Ｇカラー値（Ｇ１及びＧ２両方のカラー値）の平
均値及びＢカラー値の平均値が画像パイプラインユニッ
ト１０４のカラー挿入機構１１０により計算される。ス
テップ３０８及びステップ３１０は並行して実行するこ
とが出来る。次に、ステップ３１２において、計算され
た分散が、実験により経験的に得られた値でも良い閾値
Ｔｖを超えているかどうかが判定される。計算された分
散の全てが閾値を超えていない場合、処理はステップ３
１８へと進み、現在の画像ブロックのＲカラー平均値、
Ｇカラー平均値及びＢカラー平均値が、Ｒ、Ｇ及びＢカ
ラー値として最終画像の画素へと割り当てられることに
より、最終画像の当該画素が生成される。 【００２６】しかしながら、計算された分散のうちのい
ずれかが閾値Ｔｖを超えていた場合、処理はステップ３
１４へと進み、現在の画像ブロックが半分に分割され
る。現在の画像ブロックは縦に分割しても横に分割して
も良い。現在の画像ブロックを分割する仕方について
は、後により詳細を説明する。次にステップ３１６にお
いて、分割された画像ブロックの一方が新たな現在の画
像ブロックとして選択される。分割された画像ブロック
の選択方法は本発明においてはあまり重要ではない。新
たな現在の画像ブロックが選択された後、処理はステッ
プ３０８へと戻り、先の現在の画像ブロックに対して上
記に説明したのと同様の仕方で新たな現在の画像ブロッ
クが処理される。従って、現在の画像ブロックについて
計算された平均値は、いずれかのカラー値に著しいばら
つきがあった場合は使用されることはないのである。著
しいばらつきは、この画像ブロックがエッジを含んでい
る可能性を示す。エッジをまたいでのカラー補間は最終
画像の画素に望ましくない色を導入してしまったり、最
終画像を劣化させる可能性もある為、結果的にこのよう
な画像ブロックのカラー値は補間されずに最終画像の画
素のカラー値として使用される。 【００２７】極端な場合においては、現在の画像ブロッ
クは、Ｒ、Ｇ１、Ｇ２及びＢの色平面の各々の情報を含
みつつも最も小さい画像ブロックである２ｘ２画素の画
像ブロックである。このような場合、現在の画像ブロッ
クの元のＲ及びＢカラー値が最終画像の画素に使用さ
れ、元のＧ１及びＧ２カラー値の平均又はいずれか一方
の値が最終画像の画素のＧカラー値として使用される。 【００２８】ステップ３１８の後、処理はステップ３２
０へと進み、入力されたモザイク画像の選択されている
８ｘ８画像ブロックが、処理を実施するべき最後の画像
ブロックであるかどうかが判定される。最後のブロック
であった場合、処理は終了する。しかしながら、選択さ
れた画像ブロックが入力モザイク画像の最後の８ｘ８画
像ブロックではない場合、処理はステップ３０６へと戻
り、入力モザイク画像の次の８ｘ８画像ブロックが選択
され、処理されることになる。 【００２９】図４Ａに示した８ｘ８画像ブロックのよう
な８ｘ８原画像ブロックを、本発明に基づいて１回又は
２回にわたり分割する仕方について説明する。この８ｘ
８画像ブロックについて計算された分散が閾値を超えて
いた場合、８ｘ８画像ブロックは図４Ｂに示すように、
２つの４ｘ８画像ブロック４０２、４０４へと縦に分割
することが出来る。８ｘ８画像ブロックは、かわりに図
４Ｃに示したように２つの８ｘ４画像ブロック４０６、
４０８へと水平に分割することも可能である。次に、８
ｘ８画像ブロックが縦に分割された場合、４ｘ８の画像
ブロック４０２、４０４の一方が新たな現在の画像ブロ
ックとして選択される。選択された４ｘ８画像ブロック
について計算された分散の各々が閾値Ｔｖを超えていた
場合、この４ｘ８画像ブロックを横半分に分割して図４
Ｄに示した２つの４ｘ４画像ブロック４１０、４１２を
形成することが出来る。しかしながら、８ｘ８画像ブロ
ックが水平に分割されている場合、８ｘ４画像ブロック
４０６、４０８の一方が新たな現在の画像ブロックとし
て選択される。選択された８ｘ４画像ブロックについて
計算された分散の各々が閾値Ｔｖを超えていた場合、こ
の８ｘ４画像ブロックを縦半分に分割して図４Ｅに示し
た２つの４ｘ４画像ブロック４１４、４１６を形成する
ことが出来る。この処理は現在の画像ブロックについて
計算された分散の各々が閾値Ｔｖを超えなくなるまで、
或いは図４Ｆに示したように、新たな現在の画像ブロッ
クが２ｘ２画像ブロックとなるまで繰り返される。２ｘ
２画像ブロックは、Ｒ、Ｇ１、Ｇ２及びＢの色平面の各
々に単一の値しか含んでいない為、これ以上の画像ブロ
ックの分割はカラー値の一部を失うことなく実施するこ
とは出来ない。 【００３０】図５は、本発明の第二の実施形態に基づく
画像処理システム５００を描いたものである。画像処理
システム５００は、図１に示した画像処理システム１０
０のコンポーネントの殆どを含んでいる。２つの画像処
理システム１００及び５００の唯一の違いは、画像処理
システム１００において用いられていた統計学的指標計
算機構１１８が、画像処理システム５００においては特
徴的指標計算機構５０２に置き換えられている点であ
る。統計学的指標計算機構１１８とは対象的に、特徴的
指標計算機構５０２は統計学的指標ではなく、特徴的指
標を計算するという機能を持つ。一実施形態において
は、特徴的指標計算機構５０２は、入力されたモザイク
画像の現在の画像ブロックにおけるＲ、Ｇ（Ｇ１及びＧ
２の両方）及びＢカラー値の各々のグラディエントを計
算するものである。しかしながら、他の実施形態におい
て特徴的指標計算機構５０２は他の特徴的指標を計算す
るものであっても良い。 【００３１】第二の実施形態に基づく画像処理システム
５００のデモザイク及びサイズ調整処理について、図６
のフローチャート及び図１のブロック図を参照しながら
説明する。ステップ６０２において、画像パイプライン
ユニット１０４が入力された撮像対象場面のモザイク画
像を受ける。本実施形態においては、入力されたモザイ
ク画像は画像取り込みユニット１０２により取り込まれ
たベイヤーパターンの画像である。次にステップ６０４
において、モザイク画像は画像ブロックへと分割され
る。分割する画像ブロックのサイズは異なっていても良
いが、ここでは８ｘ８の画像ブロックを想定して説明を
する。 【００３２】次にステップ６０６において、８ｘ８画像
ブロックの１つが、入力されたモザイク画像にデモザイ
ク処理及びサイズ調整を施した画像である最終画像の一
画素を生成する為に選択される。ステップ６０８におい
ては、画像パイプラインユニット１０４の特徴的指標計
算機構５０２により現在の画像ブロックにおけるＲ、Ｇ
及びＢカラー値の各々についての特徴的指標が計算され
る。本実施形態においては、特徴的指標は、Ｒ、Ｇ及び
Ｂカラー値のグラディエントであり、従って特徴的指標
を本明細書ではグラディエントとして説明する。ステッ
プ６１０においては、画像パイプラインユニット１０４
のカラー挿入機構１１０により、現在の画像ブロックに
おけるＲカラー値、Ｇカラー値（Ｇ１及びＧ２両方のカ
ラー値）及びＢカラー値の平均値が計算される。ステッ
プ６０８及びステップ６１０は並行して実施することも
出来る。次にステップ６１２において、計算されたグラ
ディエントが閾値Ｔｇを超えるものであるかどうかが判
定されるが、この閾値は実験により経験的に決定するこ
とが出来る。計算された全てのグラディエントが閾値Ｔ
ｇを超えていない場合、処理はステップ６１８へと進
み、現在の画像ブロックのＲカラー値の平均値、Ｇカラ
ー値の平均値及びＢカラー値の平均値を、最終画像の一
画素のＲ、Ｇ及びＢカラー値として割り当てることによ
り最終画像の画素が生成される。 【００３３】しかしながら、計算されたグラディエント
のいずれかが閾値Ｔｇを超えている場合、処理はステッ
プ６１４へと進み、現在の画像ブロックが半分に分割さ
れる。現在の画像ブロックは、縦に分割しても横に分割
しても良い。次にステップ６１６において、分割された
画像ブロックの一方が新たな現在の画像ブロックとして
選択される。その後処理はステップ６０８へと戻り、先
の現在の画像ブロックに関連して上記に説明した仕方と
同じ仕方により新たな現在の画像ブロックが処理され
る。従って、現在の画像ブロックにおいて、カラー値の
いずれかのグラディエントが著しいものであった場合、
現在の画像ブロックについて計算された平均値は使用さ
れない。カラー値のいずれかのグラディエントが著しい
ものであることは、現在の画像ブロックのカラー値が、
最終画像の画素の補間カラー値の生成に不適切であるこ
とを意味する。この結果、現在の画像ブロックが分割さ
れ、最終画像の画素に好適なカラー値を持つ画像ブロッ
クが探索されることになるのである。 【００３４】ステップ６１８後、処理はステップ６２０
へと進み、入力されたモザイク画像の選択された８ｘ８
画像ブロックが処理されるべき画像ブロックの最後のも
のであるかどうかが判定される。最終画像ブロックであ
る場合、処理は終了する。しかし、選択された画像ブロ
ックが入力されたモザイク画像の最後の８ｘ８画像ブロ
ックではない場合、処理はステップ６０６へと戻り、入
力されたモザイク画像の次の８ｘ８画像ブロックが選択
され、処理されることになる。 【００３５】上記の本発明の特定の実施形態は、説明目
的で提示したものである。これらの説明は網羅的なもの
でも、本発明を本願明細書に開示した実施形態に限定す
るものでもない。上述した教示内容に照らして多くの変
更形態及び改変形態が可能である。実施形態は、本発明
の原理及びその実用的なアプリケーションを説明する為
に選択されたものであり、これにより他の当業者が本発
明及び実施形態をその企図する特定の用途に好適な様々
な変更を加えつつ利用し得るように意図したものであ
る。本発明の範囲は、特許請求の範囲及びその均等物に
より定義されるものである。 【００３６】本発明の態様を以下に例示する。 【００３７】１．モザイク画像のデモザイク処理及びサ
イズ調整を実施する為の方法であって、前記モザイク画
像の現在の画像ブロックを受信するステップと、前記現
在の画像ブロックの指標を前記現在の画像ブロックのカ
ラーデータに基づいて計算するステップと、前記モザイ
ク画像のサイズ調整済画像を作成するように、前記指標
に応答して前記モザイク画像の前記現在の画像ブロック
から、サイズを調整した画像ブロックを生成するステッ
プとを含み、前記サイズを調整した画像ブロックの生成
が、前記モザイク画像のサイズ調整済画像がデモザイク
画像となるような方法で、前記モザイク画像の前記現在
の画像ブロックから選択されたカラー情報を、前記サイ
ズを調整した画像ブロックへと割り当てるステップを含
む方法。 【００３８】２．前記現在の画像ブロックの前記指標を
計算する前記ステップが、前記現在の画像ブロックの前
記カラーデータから統計学的指標を計算するステップを
含む上記１に記載の方法。 【００３９】３．前記統計学的指標を計算する前記ステ
ップが、前記現在の画像ブロックの前記カラーデータか
ら分散を計算するステップを含み、前記分散が前記統計
学的指標として使用される上記２に記載の方法。 【００４０】４．前記現在の画像ブロックの前記カラー
データから前記分散を計算する前記ステップが、前記現
在のブロック中において、特定の色の値から前記分散を
計算するステップを含む上記３に記載の方法。 【００４１】５．前記現在の画像ブロックの前記指標の
計算をする前記ステップが、前記現在の画像ブロックの
前記カラーデータから特徴的指標を計算するステップを
含む上記１に記載の方法。 【００４２】６．前記特徴的指標を計算する前記ステッ
プが、前記現在の画像ブロックの前記カラーデータから
グラディエントを計算するステップを含み、前記グラデ
ィエントが前記特徴的指標として使用される上記５に記
載の方法。 【００４３】７．前記現在の画像ブロックの前記カラー
データから前記グラディエントを計算する前記ステップ
が、前記現在の画像ブロックにおける特定の色の値から
前記グラディエントを計算するステップを含む上記６に
記載の方法。 【００４４】８．前記現在の画像ブロックの前記指標が
所定の基準を満たした場合、前記現在の画像ブロックを
分割することにより、新たな現在の画像ブロックが生成
される上記１に記載の方法。 【００４５】９．前記計算及び前記新たな現在の画像ブ
ロックの前記生成ステップが、繰り返される上記８に記
載の方法。 【００４６】１０．前記現在の画像ブロックを分割する
前記ステップが、前記現在の画像ブロックの前記指標が
所定の閾値を超えた場合に、前記現在の画像ブロックが
分割されることにより、前記新たな現在の画像ブロック
が生成される上記８に記載の方法。 【００４７】１１．前記モザイク画像の前記現在の画像
ブロックの前記選択されたカラー情報を前記サイズ調整
後の画像ブロックへと割り当てる前記ステップが、前記
現在の画像ブロックにおけるカラー値の平均値を前記サ
イズ調整後の画像ブロックへと割り当てるステップを含
む上記１に記載の方法。 【００４８】１２．前記モザイク画像の前記現在の画像
ブロックから前記サイズ調整後の画像ブロックを生成す
る前記ステップが、前記モザイク画像の前記現在の画像
ブロックから前記サイズ調整後の画像の一画素を生成す
るステップを含む上記１に記載の方法。 【００４９】１３．モザイク画像のデモザイク処理及び
サイズ調整を実施する為のシステムであって、前記モザ
イク画像の現在の画像ブロックを受け、前記モザイク画
像の前記現在の画像ブロックから、サイズを調整した画
像ブロックを生成することにより、前記モザイク画像の
サイズ調整済み画像を作成するように構成された画像処
理モジュールを含み、前記画像処理モジュールが、前記
現在の画像ブロックのカラーデータに基づいて前記現在
の画像ブロックの指標を計算するように構成された指標
計算機構と、前記指標に呼応して、前記モザイク画像の
サイズ調整済み画像がデモザイク画像となるような方法
で前記モザイク画像の前記現在の画像ブロックから選択
されたカラー情報を前記サイズ調整後の画像ブロックへ
と割り当てるように構成されたカラー挿入機構とを含む
システム。 【００５０】１４．前記指標計算機構が、前記現在の画
像ブロックの前記カラーデータから統計学的指標を計算
するように構成されている上記１３に記載のシステム。 【００５１】１５．前記指標計算機構が、前記現在の画
像ブロックの前記カラーデータから、前記統計学的指標
として使用される分散を計算するように構成されている
上記１４に記載のシステム。 【００５２】１６．前記指標計算機構が、前記現在の画
像ブロックの前記カラーデータから特徴的指標を計算す
るように構成されている上記１３に記載のシステム。 【００５３】１７．前記指標計算機構が、前記現在の画
像ブロックの前記カラーデータから、前記特徴的指標と
して使用されるグラディエントを計算するように構成さ
れている上記１６に記載のシステム。 【００５４】１８．前記画像処理モジュール（１０４）
が、前記現在の画像ブロックの前記指標が所定の基準を
満たした場合に前記現在の画像ブロックを分割して新た
な現在の画像ブロックを作成するように構成されている
上記１３に記載のシステム。 【００５５】１９．前記画像処理モジュールの前記指標
計算機構及び前記カラー挿入機構が新たな指標を計算
し、前記新たな現在の画像ブロックの新たに選択された
カラー情報を割り当てるように構成されている上記１８
に記載のシステム。 【００５６】２０．前記カラー挿入機構が、前記現在の
画像ブロックにおけるカラー値の平均値を前記サイズ調
整された画像ブロックへと割り当てるように構成されて
いる上記１３に記載のシステム。 【００５７】２１．モザイク画像のデモザイク処理及び
サイズ調整を実施する為の方法であって、前記モザイク
画像の現在の画像ブロックを受けるステップと、前記現
在の画像ブロックのカラーデータに基づいて前記現在の
画像ブロックの指標を計算するステップと、前記指標を
閾値と比較するステップと、前記指標が前記閾値に対す
る所定の基準を満たしていた場合、前記現在の画像ブロ
ックを分割することにより前記モザイク画像の新たな現
在の画像ブロックを生成するステップと、前記指標が前
記閾値に対して前記所定の基準を満たしていない場合、
前記モザイク画像の前記現在の画像ブロックから一画素
を生成し、前記モザイク画像のサイズ調整済み画像を作
成するステップとを含み、前記ステップが、前記モザイ
ク画像の前記サイズ調整済み画像がデモザイク画像とな
るような方法で、前記モザイク画像の前記現在の画像ブ
ロックから選択されたカラー情報を前記画素へと割り当
てるステップを含む方法。 【００５８】２２．前記現在の画像ブロックの前記指標
を計算する前記ステップが、前記現在の画像ブロックの
カラーデータに基づき、統計学的指標を計算するステッ
プを含む上記２１に記載の方法。 【００５９】２３．前記指標を計算する前記ステップ
が、前記現在の画像ブロックのカラーデータに基づき、
特徴的指標を計算するステップを含む上記２１に記載の
方法。 【００６０】２４．前記モザイク画像の前記現在の画像
ブロックから選択された前記カラー情報を前記画素へと
組み込む前記ステップが、前記現在の画像ブロックにお
けるカラー値の平均値を前記画素へと組み込むステップ
を含む上記２１に記載の方法。 【００６１】２５．前記計算ステップ、前記比較ステッ
プ、前記分割ステップ及び前記モザイク画像の新たな現
在の画像ブロックの生成ステップを繰り返すステップを
更に含む上記２１に記載の方法。
するものであり、より具体的には生データ（モザイク）
画像のデモザイク処理及びサイズ調整を実施する為のシ
ステム及び方法に関する。 【０００２】 【従来の技術】カラーディジタルカメラは、その価格の
低下が進んでいることもあり、民生品市場においても広
く普及しつつある。カラーディジタルカメラは通常、電
荷結合素子（ＣＣＤ）センサ又は相補型金属酸化物半導
体（ＣＭＯＳ）センサのいずれかである単一の光センサ
を利用しており、これにより撮像対象場面をディジタル
的に取り込むものである。ＣＣＤ及びＣＭＯＳセンサ
は、いずれも光の強度にしか感応しない。従って、これ
らのセンサは異なる色を識別することはできない。色を
識別するには、代表的には赤色、緑色、青色である原色
へと光を分離する為のカラーフィルタ技術を応用する。 【０００３】一般的なフィルタ技術とは、センサアレイ
上に配置してこれに当たる光をベイヤー(Bayer)パター
ンへと分離するカラーフィルタアレイ（ＣＦＡ）を用い
るものである。ベイヤーパターンは、各次元（垂直及び
水平）における一周期が２つの異なる色画素で構成され
る周期パターンである。水平方向における一周期は、緑
色画素及び赤色画素、或いは青色画素及び緑色画素のい
ずれかから構成される。垂直方向における一周期は、緑
色画素及び青色画素、或いは赤色画素及び緑色画素のい
ずれかから構成される。従って、緑色画素は赤色又は青
色画素数の２倍存在することになる。緑色画素数との間
に差があるのは、人間の目が三原色全てを等しく感知し
ない為である。この結果、撮像対象場面のカラー画像を
実際の色の画像として認識する為には、より多くの緑色
画素が必要とされるのである。 【０００４】ＣＦＡの存在により、センサが取り込む画
像は、「生データ」画像とも呼ばれるモザイク画像とな
るが、モザイク画像中の各画素は、赤色、緑色又は青色
のいずれか１つの値しか持たない。生データ画像は、そ
の後欠損した色値を周囲の画素から得た色情報から推定
することによりデモザイク処理され、カラー画像が作成
されるのである。 【０００５】生データ画像をカラー画像へと変換する為
の従来のデモザイク法は複数存在する。デモザイク法の
主な３つの一般的カテゴリーは、補間に基づく方式、特
徴に基づく方式及びベイズ方式である。補間に基づくデ
モザイク処理とは、簡単な補間式を用いて色平面を別々
に補間するものである。補間方式によるデモザイク処理
としては、バイリニア補間法、ｓｉｎｃ（）関数を用い
た帯域制限補間法、スプライン補間法等があげられる。
特徴に基づいたデモザイク法とは、所定の画像の局所的
特徴を画素レベルで調べ、それに準じて画像の補間を行
うというものである。この特徴に基づく方式の基本的概
念は、特徴のエッジを横断する補間を回避するという点
にある。ベイズ法とは、以前に認識した何らかの画像構
造を想定することにより、データに基づいて尤もらしい
カラー画像を見出そうとするものである。 【０００６】生データ画像のデモザイク処理後、特定の
アプリケーション用に画像のサイズが調整されることも
ある。例えば、デモザイク処理された画像をビデオ会議
用の所定の帯域幅を持つ通信チャネルを介して適正に送
信出来るように縮小される場合がある。また、他の事例
として、デモザイク処理後の画像をユーザーがプリビュ
ーで閲覧出来るようにサムネイル画像へと縮小する場合
もある。画像をより小さなサイズへと調整する為の従来
方式は複数存在する。一般的な方法の１つは、縮小画像
の各画素に原画像中の最も近い画素のカラー値が当てら
れるという、原画像の縮小版を作成する方法である。他
の一般的な方法においては、低域フィルタ処理又は補間
処理を原画像に実施し、画像を適正な率で間引きするこ
とにより縮小画像が生成される。低域フィルタ処理又は
補間処理は、間引き処理におけるエイリアシングの発生
を低減するものである。 【０００７】 【発明が解決しようとする課題】生データ画像のデモザ
イク処理及びデモザイク処理後のサイズ調整を個別に実
施する従来の方法であっても充分なデモザイク処理・サ
イズ調整済画像を生成することは出来るが、デモザイク
処理・サイズ調整済画像の生成において、生データ画像
のデモザイク処理及びサイズ調整をより効率的に実施す
る為のシステム及び方法が必要とされている。 【０００８】 【課題を解決するための手段】モザイク画像、即ち生デ
ータ画像を処理する為のシステム及び方法とは、１つの
統合処理によりモザイク画像のデモザイク処理及びサイ
ズ調整を同時に実施するものである。統合化したデモザ
イク処理・サイズ調整により、システムは、これらの処
理を別途順番に実施する従来のシステムよりも効率的な
デモザイク処理・サイズ調整を実施することが出来る。
更に、統合化したデモザイク処理・サイズ調整は、従来
のシステムによりデモザイク処理及びサイズ調整処理を
施した画像と比べてより高い画質のデモザイク処理・サ
イズ調整済画像を生成することが出来る。 【０００９】本発明に基づく方法は、デモザイク処理及
びサイズ調整を同時に施そうとするモザイク画像を受信
するステップを含む。その後モザイク画像は画像ブロッ
クへと分割され、これらが順次処理される。モザイク画
像の各画像ブロックに対し、所定の指標が計算される。
一実施例においては、計算される指標は統計学的指標で
あり、例えば現在の画像ブロック中のＲ、Ｂ、Ｇ１及び
Ｇ２カラー値の分散(variances)等である。他の実施例
においては、計算される指標は現在の画像ブロック中の
Ｒ、Ｂ及びＧカラー値のグラディエント(gradients)
等、特徴に基づく指標である。次に、現在の画像ブロッ
ク中のＲ、Ｂ及びＧカラー値の平均値が計算される。 【００１０】計算された指標にいずれかが所定の閾値を
超える場合、現在の画像ブロックは半分に分割され、新
たな現在の画像ブロックが生成される。分割された半分
の一方が新たな現在の画像ブロックとなる。そしてこの
新たな現在の画像ブロックが、前の現在の画像ブロック
と同じ仕方で処理される。しかしながら、計算された指
標がいずれも所定の閾値を超えていない場合、現在の画
像ブロックの計算された平均値が最終画像の１画素へと
割り当てられることになる。最終画像は、デモザイク処
理・サイズ調整済画像である。 【００１１】本発明に基づくシステムは、デモザイク処
理及びサイズ調整処理を同時に施すモザイク画像を受け
る画像パイプラインユニットを含む。モザイク画像は、
撮像対象場面をモザイク画像として電子的に取り込む、
システムの画像取り込みユニットから受け取ることが出
来る。画像パイプラインユニットは、モザイク画像を画
像ブロックへと分割する画像分割モジュールを含む。画
像パイプラインユニットは更に、指標計算機構、プロセ
ッサ及びカラー挿入機構をも含む。指標計算機構によ
り、モザイク画像の各画像ブロックについての所定の指
標が計算される。一実施例においては、計算される指標
は現在の画像ブロックにおけるＲ、Ｂ、Ｇ１及びＧ２カ
ラー値の分散等の統計学的指標である。他の実施例にお
いては、計算される指標は現在の画像ブロック中のＲ、
Ｂ及びＧカラー値のグラディエント等のような、特徴に
基づく指標（特徴的指標）である。更に、モザイク画像
の各画像ブロックについて、現在の画像ブロックにおけ
るＲ、Ｂ及びＧカラー値の平均値がカラー挿入機構によ
り計算される。 【００１２】プロセッサは所定の画像ブロックについ
て、計算された指標のいずれかが所定の閾値を超えてい
るどうかを判定する。超えている場合、現在の画像ブロ
ックは半分に分割され、新たな現在の画像ブロックが生
成される。分割された半分の一方が新たな現在の画像ブ
ロックとなる。そしてこの新たな現在の画像ブロック
が、前の現在の画像ブロックと同じ仕方で処理される。
しかしながら、計算された指標がいずれも所定の閾値を
超えなかった場合、現在の画像ブロックの計算された平
均値が最終画像の１画素へと割り当てられることにな
る。 【００１３】本発明の利点は、デモザイク処理及びサイ
ズ調整処理を統合化したことで、モザイク画像のデモザ
イク処理及びサイズ調整処理の効率が向上するという点
にある。更に、この結果得られるデモザイク処理・サイ
ズ調整済画像の画質が、従来のシステム及び方法により
生成されたデモザイク処理・サイズ調整済画像よりも大
幅に優れているという点があげられる。 【００１４】本発明の他の態様及び利点は、本発明の原
理を例として説明する添付図と以下の詳細説明から明ら
かとなる。 【００１５】 【発明の実施の形態】図１を参照すると、本発明の第一
の実施例に基づく画像処理システム１００が描かれてい
る。画像処理システムは、撮像対象場面をモザイク画
像、即ち生データ画像として電子的に取り込み、このモ
ザイク画像にデモザイク処理及びサイズ調整処理を同時
に実施するものであり、システムの効率及び得られるデ
モザイク処理・サイズ調整済画像の画質を向上させるも
のである。 【００１６】画像処理システム１００は、画像取り込み
ユニット１０２、画像パイプラインユニット１０４、記
憶ユニット１０６及び表示装置１０８を含む。システム
の画像取り込みユニット１０２は、モザイク画像、即ち
生データ画像の形で撮像対称場面を電子的に取り込むも
のである。画像取り込みユニットは、電子センサ及びカ
ラーフィルタアレイ（ＣＦＡ）を含む。電子センサは電
荷結合素子（ＣＣＤ）センサ、相補型金属酸化物半導体
（ＣＭＯＳ）センサ又は他の光電センサとすることが出
来る。一実施形態においては、ＣＦＡはベイヤーフィル
タパターンに配列された赤色（Ｒ）、緑色（Ｇ）及び青
色（Ｂ）フィルタを含む。しかしながら、ＣＦＡは異な
るフィルタパターンに配列された、異なる色のフィルタ
を含むものであっても良い。ＣＦＡの作用によりセンサ
の感光素子の各々には特定の色の光のみが送られること
になる。従って、画像取り込みユニットにより取り込ま
れたディジタル画像は、ＣＦＡのフィルタパターンに基
づいてそれぞれに単一の色を持つ画素から構成されるモ
ザイク画像となるのである。この結果、モザイク画像の
各画素は、例えばＲ、Ｇ又はＢのいずれか一色のみの強
度値を持つことになる。ベイヤーパターンのモザイク画
像の一部分を図２Ａに示した。 【００１７】本実施形態においては、モザイク画像の各
画素は単一色のみの強度値しか含んでいない為、デモザ
イク画像、即ちカラー画像を生成する為に必要な他の２
色の強度値を欠いた状態にある。図２Ａに示したよう
に、モザイク画像のＧ画素は、２つの異なるタイプのＧ
画素を表すＧ１又はＧ２として識別されている。従って
本願においては、図２Ａに示すモザイク画像は、図２Ｂ
に示すように４つのカラー成分Ｒ、Ｇ１、Ｇ２及びＢに
分解することが出来る。モザイク画像のこれらの分解成
分を本願においては時にＧ１平面２０２、Ｇ２平面２０
４、Ｒ平面２０６及びＢ平面２０８と呼ぶこともある。
また、Ｇ１及びＧ２平面を集合的に言う場合、本願にお
いてはＧ平面と呼ぶものとする。 【００１８】図１に戻るが、画像処理システム１００の
画像パイプラインユニット１０４は、画像取り込みユニ
ット１０２により取り込まれたモザイク画像を受ける為
に画像取り込みユニットに接続されている。画像パイプ
ラインユニットは、モザイク画像のデモザイク／縮小画
像を生成するものである。デモザイク／縮小画像は、本
願においては最終画像と呼ぶ場合もある。画像パイプラ
インユニットは、画像分割モジュール１１６、統計学的
指標計算機構１１８、カラー挿入機構１１０、メモリ１
１２及びプロセッサ１１４を含む。画像分割モジュール
１１６、統計学的指標計算機構１１８及びカラー挿入機
構１１０は、機能ブロックを表すものであり、必ずしも
別個の部品である必要はない。これらのコンポーネント
は、画像パイプラインユニット１０４においてソフトウ
ェア、ファームウェア及びハードウェアのいずれの組み
合わせによって実現したものでも良い。 【００１９】画像パイプラインユニット１０４の画像分
割モジュール１１６は、画像取り込みユニット１０２か
ら入力されたモザイク画像を原画像ブロックへと分割す
るものである。例えば、画像分割モジュールは、入力さ
れたモザイク画像を８ｘ８画素の画像ブロックへと分割
するものであっても良い。以下にも説明するように、モ
ザイク画像の各原画像ブロックは、入力されたモザイク
画像の最終画像を形成する単一の画素へと変換される。
よって最終画像のサイズ、即ち入力されたモザイク画像
の縮小率は、分割された画像ブロックサイズに依存する
ものである。 【００２０】画像パイプラインユニット１０４のカラー
挿入機構１１０は、入力されたモザイク画像の所定の原
画像ブロックについて、最終画像の変換画素のＲ、Ｇ及
びＢカラー値を計算するものである。変換画素のＲ、Ｇ
及びＢカラー値は、入力されたモザイク画像の現在の画
像ブロックにおけるＲ、Ｇ１、Ｇ２及びＢのカラー値か
ら導き出される。現在の画像ブロックは、入力されたモ
ザイク画像の原画像ブロック全体である場合も、或いは
その原画像ブロックの選択された一部である場合もあ
る。本実施形態においては、現在の画像ブロックにおけ
る、Ｒカラー値の平均値、Ｇカラー値（Ｇ１及びＧ２両
方のカラー値）の平均値及びＢカラー値の平均値が、最
終画像の変換された画素のＲ、Ｇ及びＢカラー値として
使用される。従って、カラー挿入機構は現在の画像ブロ
ックのＲ、Ｇ及びＢカラー値のそれぞれの平均値を計算
して最終画像の変換画素のＲ、Ｇ及びＢカラー値を提供
するものである。 【００２１】画像パイプラインユニット１０４の統計学
的指標計算機構１１８は、現在の画像ブロックのＲ、Ｇ
１、Ｇ２及びＢ色平面についてそれぞれの統計学的指標
を計算することにより、現在の画像ブロックにおけるカ
ラー値の統計学的分布を判定するものである。例えば、
統計学的指標は、現在の画像ブロックの各色平面の強度
値の分散であっても、或いは現在の画像ブロックにおけ
る特定色の強度値の変化の測定に用いることが出来る他
の統計学的指標であっても良い。これらの統計学的指標
を画像パイプラインユニットにて用いる方法は、後に説
明する。 【００２２】画像パイプラインユニット１０４のプロセ
ッサ１１４は、統計学的指標計算機構１１８により計算
された統計学的指標を分析し、現在の画像ブロックにお
けるカラー値が、最終画像の変換後の画素のＲ、Ｇ及び
Ｂカラー値を計算するのに好適であるかどうかを判定す
るものである。具体的に説明すると、プロセッサは、現
在の画像ブロックについて計算された統計学的指標のい
ずれかが、所定の閾値を超えているかどうかを判定する
のである。超えていた場合、現在の画像ブロックは２分
の１に縮小され、新たな現在の画像ブロックが形成され
る。即ち、現在の画像ブロックが半分に分割され、２つ
の２分の１部分の一方が新たな現在の画像ブロックとし
て選択されるのである。新たな現在の画像ブロックは、
統計学的指標計算機構１１８による新たな統計学的指標
の計算に用いられる。その後これらの新たな統計学的指
標はプロセッサにより分析され、新たな現在の画像ブロ
ックにおけるカラー値が、最終画像の変換画素へのＲ、
Ｇ及びＢカラー値の計算に用いるのに適しているかどう
かが判定される。しかしながら、計算された現在の画像
ブロックの各統計学的指標が所定の閾値を超えなかった
場合は、現在の画像ブロックのＲ、Ｇ及びＢカラー値の
平均値が最終画像の変換画素へと埋め込まれる。画素へ
のカラー値の埋め込みとは、本願においてはそれぞれの
画素へのカラー値の割り当てであると定義される。現在
の画像ブロックが、Ｒ，Ｇ１、Ｇ２及びＢ色平面の単色
のカラー値しか含まない場合（例えば現在の画像ブロッ
クが２ｘ２画素の画像ブロックの場合等）、最終画像の
変換画素には現在の画像ブロックの元のＲ及びＢカラー
値が使用され、元のＧ１及びＧ２カラー値の平均値、又
は一方の値が変換画素のＧカラー値として使用される。
その後変換画素のディジタルデータは一時的にパイプラ
インユニット１０４のメモリ１１２（フラッシュメモリ
又はランダムアクセスメモリ）へと記憶され、入力され
たモザイク画像の全ての原画像ブロックが変換されて最
終画像、すなわちデモザイク／縮小画像が形成されるま
で維持される。 【００２３】最終画像は、画像処理システム１００の記
憶ユニット１０６への保存及び（又は）表示装置１０８
上での表示が可能である。記憶ユニットは、ＤＲＡＭ等
のような従来のメモリとすることが出来る。かわりに記
憶ユニットを、例えば標準的なコンピュータ用フレキシ
ブルディスク等の着脱可能な記憶メディアをインターフ
ェースするドライブとすることも出来る。表示装置とし
ては、ＬＣＤディスプレイ又は最終画像を表示すること
が出来る他の類似のディスプレイを用いることが出来
る。 【００２４】画像処理システム１００のデモザイク及び
サイズ調整処理について、図３のフローチャート及び図
１のブロック図を参照しつつ説明する。ステップ３０２
においては、入力された撮像対象場面のモザイク画像
は、画像パイプラインユニット１０４により受信され
る。本実施形態においては、入力されたモザイク画像は
画像取り込みユニット１０２により取り込まれたベイヤ
ーパターンの画像である。次にステップ３０４におい
て、モザイク画像は画像ブロックへと分割される。分割
された画像ブロックのサイズが、モザイク画像の縮小率
を決定する。従って、分割された画像ブロックのサイズ
を変化させることにより、入力されたモザイク画像にデ
モザイク処理及びサイズ調整処理を施したものである最
終画像のサイズを選択することが出来る。しかしなが
ら、本明細書の説明においては、入力されたモザイク画
像は８ｘ８画素の画像ブロックへと分割されるものと想
定する。８ｘ８画素の画像ブロックの一例を図４Ａに示
した。 【００２５】次にステップ３０６において、最終画像の
一画素を生成するように、８ｘ８画像ブロックの１つが
現在の画像ブロックとして選択される。ステップ３０８
においては、画像パイプラインユニット１０４の統計学
的指標計算機構１１８により、現在の画像ブロックにお
けるＲ、Ｇ１、Ｇ２、及びＢカラー値の各々について統
計学的指標が計算される。本実施形態においては、統計
学的指標は、Ｒ、Ｇ１、Ｇ２及びＢカラー値の分散であ
り、従って本明細書では、統計学的指標が分散であると
して説明する。現在の画像ブロックは、当初は選択され
た８ｘ８の画像ブロックである。しかしながら以下に説
明するように、現在の画像ブロックは選択された８ｘ８
画像ブロックの一部分でもあり得る。ステップ３１０に
おいては、現在の画像ブロックにおけるＲカラー値の平
均値、Ｇカラー値（Ｇ１及びＧ２両方のカラー値）の平
均値及びＢカラー値の平均値が画像パイプラインユニッ
ト１０４のカラー挿入機構１１０により計算される。ス
テップ３０８及びステップ３１０は並行して実行するこ
とが出来る。次に、ステップ３１２において、計算され
た分散が、実験により経験的に得られた値でも良い閾値
Ｔｖを超えているかどうかが判定される。計算された分
散の全てが閾値を超えていない場合、処理はステップ３
１８へと進み、現在の画像ブロックのＲカラー平均値、
Ｇカラー平均値及びＢカラー平均値が、Ｒ、Ｇ及びＢカ
ラー値として最終画像の画素へと割り当てられることに
より、最終画像の当該画素が生成される。 【００２６】しかしながら、計算された分散のうちのい
ずれかが閾値Ｔｖを超えていた場合、処理はステップ３
１４へと進み、現在の画像ブロックが半分に分割され
る。現在の画像ブロックは縦に分割しても横に分割して
も良い。現在の画像ブロックを分割する仕方について
は、後により詳細を説明する。次にステップ３１６にお
いて、分割された画像ブロックの一方が新たな現在の画
像ブロックとして選択される。分割された画像ブロック
の選択方法は本発明においてはあまり重要ではない。新
たな現在の画像ブロックが選択された後、処理はステッ
プ３０８へと戻り、先の現在の画像ブロックに対して上
記に説明したのと同様の仕方で新たな現在の画像ブロッ
クが処理される。従って、現在の画像ブロックについて
計算された平均値は、いずれかのカラー値に著しいばら
つきがあった場合は使用されることはないのである。著
しいばらつきは、この画像ブロックがエッジを含んでい
る可能性を示す。エッジをまたいでのカラー補間は最終
画像の画素に望ましくない色を導入してしまったり、最
終画像を劣化させる可能性もある為、結果的にこのよう
な画像ブロックのカラー値は補間されずに最終画像の画
素のカラー値として使用される。 【００２７】極端な場合においては、現在の画像ブロッ
クは、Ｒ、Ｇ１、Ｇ２及びＢの色平面の各々の情報を含
みつつも最も小さい画像ブロックである２ｘ２画素の画
像ブロックである。このような場合、現在の画像ブロッ
クの元のＲ及びＢカラー値が最終画像の画素に使用さ
れ、元のＧ１及びＧ２カラー値の平均又はいずれか一方
の値が最終画像の画素のＧカラー値として使用される。 【００２８】ステップ３１８の後、処理はステップ３２
０へと進み、入力されたモザイク画像の選択されている
８ｘ８画像ブロックが、処理を実施するべき最後の画像
ブロックであるかどうかが判定される。最後のブロック
であった場合、処理は終了する。しかしながら、選択さ
れた画像ブロックが入力モザイク画像の最後の８ｘ８画
像ブロックではない場合、処理はステップ３０６へと戻
り、入力モザイク画像の次の８ｘ８画像ブロックが選択
され、処理されることになる。 【００２９】図４Ａに示した８ｘ８画像ブロックのよう
な８ｘ８原画像ブロックを、本発明に基づいて１回又は
２回にわたり分割する仕方について説明する。この８ｘ
８画像ブロックについて計算された分散が閾値を超えて
いた場合、８ｘ８画像ブロックは図４Ｂに示すように、
２つの４ｘ８画像ブロック４０２、４０４へと縦に分割
することが出来る。８ｘ８画像ブロックは、かわりに図
４Ｃに示したように２つの８ｘ４画像ブロック４０６、
４０８へと水平に分割することも可能である。次に、８
ｘ８画像ブロックが縦に分割された場合、４ｘ８の画像
ブロック４０２、４０４の一方が新たな現在の画像ブロ
ックとして選択される。選択された４ｘ８画像ブロック
について計算された分散の各々が閾値Ｔｖを超えていた
場合、この４ｘ８画像ブロックを横半分に分割して図４
Ｄに示した２つの４ｘ４画像ブロック４１０、４１２を
形成することが出来る。しかしながら、８ｘ８画像ブロ
ックが水平に分割されている場合、８ｘ４画像ブロック
４０６、４０８の一方が新たな現在の画像ブロックとし
て選択される。選択された８ｘ４画像ブロックについて
計算された分散の各々が閾値Ｔｖを超えていた場合、こ
の８ｘ４画像ブロックを縦半分に分割して図４Ｅに示し
た２つの４ｘ４画像ブロック４１４、４１６を形成する
ことが出来る。この処理は現在の画像ブロックについて
計算された分散の各々が閾値Ｔｖを超えなくなるまで、
或いは図４Ｆに示したように、新たな現在の画像ブロッ
クが２ｘ２画像ブロックとなるまで繰り返される。２ｘ
２画像ブロックは、Ｒ、Ｇ１、Ｇ２及びＢの色平面の各
々に単一の値しか含んでいない為、これ以上の画像ブロ
ックの分割はカラー値の一部を失うことなく実施するこ
とは出来ない。 【００３０】図５は、本発明の第二の実施形態に基づく
画像処理システム５００を描いたものである。画像処理
システム５００は、図１に示した画像処理システム１０
０のコンポーネントの殆どを含んでいる。２つの画像処
理システム１００及び５００の唯一の違いは、画像処理
システム１００において用いられていた統計学的指標計
算機構１１８が、画像処理システム５００においては特
徴的指標計算機構５０２に置き換えられている点であ
る。統計学的指標計算機構１１８とは対象的に、特徴的
指標計算機構５０２は統計学的指標ではなく、特徴的指
標を計算するという機能を持つ。一実施形態において
は、特徴的指標計算機構５０２は、入力されたモザイク
画像の現在の画像ブロックにおけるＲ、Ｇ（Ｇ１及びＧ
２の両方）及びＢカラー値の各々のグラディエントを計
算するものである。しかしながら、他の実施形態におい
て特徴的指標計算機構５０２は他の特徴的指標を計算す
るものであっても良い。 【００３１】第二の実施形態に基づく画像処理システム
５００のデモザイク及びサイズ調整処理について、図６
のフローチャート及び図１のブロック図を参照しながら
説明する。ステップ６０２において、画像パイプライン
ユニット１０４が入力された撮像対象場面のモザイク画
像を受ける。本実施形態においては、入力されたモザイ
ク画像は画像取り込みユニット１０２により取り込まれ
たベイヤーパターンの画像である。次にステップ６０４
において、モザイク画像は画像ブロックへと分割され
る。分割する画像ブロックのサイズは異なっていても良
いが、ここでは８ｘ８の画像ブロックを想定して説明を
する。 【００３２】次にステップ６０６において、８ｘ８画像
ブロックの１つが、入力されたモザイク画像にデモザイ
ク処理及びサイズ調整を施した画像である最終画像の一
画素を生成する為に選択される。ステップ６０８におい
ては、画像パイプラインユニット１０４の特徴的指標計
算機構５０２により現在の画像ブロックにおけるＲ、Ｇ
及びＢカラー値の各々についての特徴的指標が計算され
る。本実施形態においては、特徴的指標は、Ｒ、Ｇ及び
Ｂカラー値のグラディエントであり、従って特徴的指標
を本明細書ではグラディエントとして説明する。ステッ
プ６１０においては、画像パイプラインユニット１０４
のカラー挿入機構１１０により、現在の画像ブロックに
おけるＲカラー値、Ｇカラー値（Ｇ１及びＧ２両方のカ
ラー値）及びＢカラー値の平均値が計算される。ステッ
プ６０８及びステップ６１０は並行して実施することも
出来る。次にステップ６１２において、計算されたグラ
ディエントが閾値Ｔｇを超えるものであるかどうかが判
定されるが、この閾値は実験により経験的に決定するこ
とが出来る。計算された全てのグラディエントが閾値Ｔ
ｇを超えていない場合、処理はステップ６１８へと進
み、現在の画像ブロックのＲカラー値の平均値、Ｇカラ
ー値の平均値及びＢカラー値の平均値を、最終画像の一
画素のＲ、Ｇ及びＢカラー値として割り当てることによ
り最終画像の画素が生成される。 【００３３】しかしながら、計算されたグラディエント
のいずれかが閾値Ｔｇを超えている場合、処理はステッ
プ６１４へと進み、現在の画像ブロックが半分に分割さ
れる。現在の画像ブロックは、縦に分割しても横に分割
しても良い。次にステップ６１６において、分割された
画像ブロックの一方が新たな現在の画像ブロックとして
選択される。その後処理はステップ６０８へと戻り、先
の現在の画像ブロックに関連して上記に説明した仕方と
同じ仕方により新たな現在の画像ブロックが処理され
る。従って、現在の画像ブロックにおいて、カラー値の
いずれかのグラディエントが著しいものであった場合、
現在の画像ブロックについて計算された平均値は使用さ
れない。カラー値のいずれかのグラディエントが著しい
ものであることは、現在の画像ブロックのカラー値が、
最終画像の画素の補間カラー値の生成に不適切であるこ
とを意味する。この結果、現在の画像ブロックが分割さ
れ、最終画像の画素に好適なカラー値を持つ画像ブロッ
クが探索されることになるのである。 【００３４】ステップ６１８後、処理はステップ６２０
へと進み、入力されたモザイク画像の選択された８ｘ８
画像ブロックが処理されるべき画像ブロックの最後のも
のであるかどうかが判定される。最終画像ブロックであ
る場合、処理は終了する。しかし、選択された画像ブロ
ックが入力されたモザイク画像の最後の８ｘ８画像ブロ
ックではない場合、処理はステップ６０６へと戻り、入
力されたモザイク画像の次の８ｘ８画像ブロックが選択
され、処理されることになる。 【００３５】上記の本発明の特定の実施形態は、説明目
的で提示したものである。これらの説明は網羅的なもの
でも、本発明を本願明細書に開示した実施形態に限定す
るものでもない。上述した教示内容に照らして多くの変
更形態及び改変形態が可能である。実施形態は、本発明
の原理及びその実用的なアプリケーションを説明する為
に選択されたものであり、これにより他の当業者が本発
明及び実施形態をその企図する特定の用途に好適な様々
な変更を加えつつ利用し得るように意図したものであ
る。本発明の範囲は、特許請求の範囲及びその均等物に
より定義されるものである。 【００３６】本発明の態様を以下に例示する。 【００３７】１．モザイク画像のデモザイク処理及びサ
イズ調整を実施する為の方法であって、前記モザイク画
像の現在の画像ブロックを受信するステップと、前記現
在の画像ブロックの指標を前記現在の画像ブロックのカ
ラーデータに基づいて計算するステップと、前記モザイ
ク画像のサイズ調整済画像を作成するように、前記指標
に応答して前記モザイク画像の前記現在の画像ブロック
から、サイズを調整した画像ブロックを生成するステッ
プとを含み、前記サイズを調整した画像ブロックの生成
が、前記モザイク画像のサイズ調整済画像がデモザイク
画像となるような方法で、前記モザイク画像の前記現在
の画像ブロックから選択されたカラー情報を、前記サイ
ズを調整した画像ブロックへと割り当てるステップを含
む方法。 【００３８】２．前記現在の画像ブロックの前記指標を
計算する前記ステップが、前記現在の画像ブロックの前
記カラーデータから統計学的指標を計算するステップを
含む上記１に記載の方法。 【００３９】３．前記統計学的指標を計算する前記ステ
ップが、前記現在の画像ブロックの前記カラーデータか
ら分散を計算するステップを含み、前記分散が前記統計
学的指標として使用される上記２に記載の方法。 【００４０】４．前記現在の画像ブロックの前記カラー
データから前記分散を計算する前記ステップが、前記現
在のブロック中において、特定の色の値から前記分散を
計算するステップを含む上記３に記載の方法。 【００４１】５．前記現在の画像ブロックの前記指標の
計算をする前記ステップが、前記現在の画像ブロックの
前記カラーデータから特徴的指標を計算するステップを
含む上記１に記載の方法。 【００４２】６．前記特徴的指標を計算する前記ステッ
プが、前記現在の画像ブロックの前記カラーデータから
グラディエントを計算するステップを含み、前記グラデ
ィエントが前記特徴的指標として使用される上記５に記
載の方法。 【００４３】７．前記現在の画像ブロックの前記カラー
データから前記グラディエントを計算する前記ステップ
が、前記現在の画像ブロックにおける特定の色の値から
前記グラディエントを計算するステップを含む上記６に
記載の方法。 【００４４】８．前記現在の画像ブロックの前記指標が
所定の基準を満たした場合、前記現在の画像ブロックを
分割することにより、新たな現在の画像ブロックが生成
される上記１に記載の方法。 【００４５】９．前記計算及び前記新たな現在の画像ブ
ロックの前記生成ステップが、繰り返される上記８に記
載の方法。 【００４６】１０．前記現在の画像ブロックを分割する
前記ステップが、前記現在の画像ブロックの前記指標が
所定の閾値を超えた場合に、前記現在の画像ブロックが
分割されることにより、前記新たな現在の画像ブロック
が生成される上記８に記載の方法。 【００４７】１１．前記モザイク画像の前記現在の画像
ブロックの前記選択されたカラー情報を前記サイズ調整
後の画像ブロックへと割り当てる前記ステップが、前記
現在の画像ブロックにおけるカラー値の平均値を前記サ
イズ調整後の画像ブロックへと割り当てるステップを含
む上記１に記載の方法。 【００４８】１２．前記モザイク画像の前記現在の画像
ブロックから前記サイズ調整後の画像ブロックを生成す
る前記ステップが、前記モザイク画像の前記現在の画像
ブロックから前記サイズ調整後の画像の一画素を生成す
るステップを含む上記１に記載の方法。 【００４９】１３．モザイク画像のデモザイク処理及び
サイズ調整を実施する為のシステムであって、前記モザ
イク画像の現在の画像ブロックを受け、前記モザイク画
像の前記現在の画像ブロックから、サイズを調整した画
像ブロックを生成することにより、前記モザイク画像の
サイズ調整済み画像を作成するように構成された画像処
理モジュールを含み、前記画像処理モジュールが、前記
現在の画像ブロックのカラーデータに基づいて前記現在
の画像ブロックの指標を計算するように構成された指標
計算機構と、前記指標に呼応して、前記モザイク画像の
サイズ調整済み画像がデモザイク画像となるような方法
で前記モザイク画像の前記現在の画像ブロックから選択
されたカラー情報を前記サイズ調整後の画像ブロックへ
と割り当てるように構成されたカラー挿入機構とを含む
システム。 【００５０】１４．前記指標計算機構が、前記現在の画
像ブロックの前記カラーデータから統計学的指標を計算
するように構成されている上記１３に記載のシステム。 【００５１】１５．前記指標計算機構が、前記現在の画
像ブロックの前記カラーデータから、前記統計学的指標
として使用される分散を計算するように構成されている
上記１４に記載のシステム。 【００５２】１６．前記指標計算機構が、前記現在の画
像ブロックの前記カラーデータから特徴的指標を計算す
るように構成されている上記１３に記載のシステム。 【００５３】１７．前記指標計算機構が、前記現在の画
像ブロックの前記カラーデータから、前記特徴的指標と
して使用されるグラディエントを計算するように構成さ
れている上記１６に記載のシステム。 【００５４】１８．前記画像処理モジュール（１０４）
が、前記現在の画像ブロックの前記指標が所定の基準を
満たした場合に前記現在の画像ブロックを分割して新た
な現在の画像ブロックを作成するように構成されている
上記１３に記載のシステム。 【００５５】１９．前記画像処理モジュールの前記指標
計算機構及び前記カラー挿入機構が新たな指標を計算
し、前記新たな現在の画像ブロックの新たに選択された
カラー情報を割り当てるように構成されている上記１８
に記載のシステム。 【００５６】２０．前記カラー挿入機構が、前記現在の
画像ブロックにおけるカラー値の平均値を前記サイズ調
整された画像ブロックへと割り当てるように構成されて
いる上記１３に記載のシステム。 【００５７】２１．モザイク画像のデモザイク処理及び
サイズ調整を実施する為の方法であって、前記モザイク
画像の現在の画像ブロックを受けるステップと、前記現
在の画像ブロックのカラーデータに基づいて前記現在の
画像ブロックの指標を計算するステップと、前記指標を
閾値と比較するステップと、前記指標が前記閾値に対す
る所定の基準を満たしていた場合、前記現在の画像ブロ
ックを分割することにより前記モザイク画像の新たな現
在の画像ブロックを生成するステップと、前記指標が前
記閾値に対して前記所定の基準を満たしていない場合、
前記モザイク画像の前記現在の画像ブロックから一画素
を生成し、前記モザイク画像のサイズ調整済み画像を作
成するステップとを含み、前記ステップが、前記モザイ
ク画像の前記サイズ調整済み画像がデモザイク画像とな
るような方法で、前記モザイク画像の前記現在の画像ブ
ロックから選択されたカラー情報を前記画素へと割り当
てるステップを含む方法。 【００５８】２２．前記現在の画像ブロックの前記指標
を計算する前記ステップが、前記現在の画像ブロックの
カラーデータに基づき、統計学的指標を計算するステッ
プを含む上記２１に記載の方法。 【００５９】２３．前記指標を計算する前記ステップ
が、前記現在の画像ブロックのカラーデータに基づき、
特徴的指標を計算するステップを含む上記２１に記載の
方法。 【００６０】２４．前記モザイク画像の前記現在の画像
ブロックから選択された前記カラー情報を前記画素へと
組み込む前記ステップが、前記現在の画像ブロックにお
けるカラー値の平均値を前記画素へと組み込むステップ
を含む上記２１に記載の方法。 【００６１】２５．前記計算ステップ、前記比較ステッ
プ、前記分割ステップ及び前記モザイク画像の新たな現
在の画像ブロックの生成ステップを繰り返すステップを
更に含む上記２１に記載の方法。
【図面の簡単な説明】
【図１】本発明の第一の実施形態に基づく画像処理シス
テムのブロック図である。 【図２Ａ】モザイク画像におけるカラー値のベイヤーパ
ターンを示す図である。 【図２Ｂ】ベイヤーパターンを持つモザイク画像の異な
る色平面を示す図である。 【図３】図１の画像処理システムのデモザイク処理及び
サイズ調整処理のフローチャートである。 【図４Ａ】モザイク画像を分割した８ｘ８画像ブロック
の１つを示す図である。 【図４Ｂ】モザイク画像の８ｘ８画像ブロックを縦半分
に分割した場合を示す図である。 【図４Ｃ】モザイク画像の８ｘ８画像ブロックを横半分
に分割した場合を示す図である。 【図４Ｄ】モザイク画像の４ｘ８画像ブロックを横半分
に分割した場合を示す図である。 【図４Ｅ】モザイク画像の８ｘ４画像ブロックを縦半分
に分割した場合を示す図である。 【図４Ｆ】モザイク画像の２ｘ２画像ブロックを示す図
である。 【図５】本発明の第二の実施形態に基づく画像処理シス
テムのブロック図である。 【図６】図５の画像処理システムのデモザイク処理及び
サイズ調整処理のフローチャートである。 【符号の説明】 １００／５００ 画像処理システム １０４ 画像パイプラインユニット １１８ 統計学的指標計算機構 ５０２ 特徴的指標計算機構 １１０ カラー挿入機構
テムのブロック図である。 【図２Ａ】モザイク画像におけるカラー値のベイヤーパ
ターンを示す図である。 【図２Ｂ】ベイヤーパターンを持つモザイク画像の異な
る色平面を示す図である。 【図３】図１の画像処理システムのデモザイク処理及び
サイズ調整処理のフローチャートである。 【図４Ａ】モザイク画像を分割した８ｘ８画像ブロック
の１つを示す図である。 【図４Ｂ】モザイク画像の８ｘ８画像ブロックを縦半分
に分割した場合を示す図である。 【図４Ｃ】モザイク画像の８ｘ８画像ブロックを横半分
に分割した場合を示す図である。 【図４Ｄ】モザイク画像の４ｘ８画像ブロックを横半分
に分割した場合を示す図である。 【図４Ｅ】モザイク画像の８ｘ４画像ブロックを縦半分
に分割した場合を示す図である。 【図４Ｆ】モザイク画像の２ｘ２画像ブロックを示す図
である。 【図５】本発明の第二の実施形態に基づく画像処理シス
テムのブロック図である。 【図６】図５の画像処理システムのデモザイク処理及び
サイズ調整処理のフローチャートである。 【符号の説明】 １００／５００ 画像処理システム １０４ 画像パイプラインユニット １１８ 統計学的指標計算機構 ５０２ 特徴的指標計算機構 １１０ カラー挿入機構
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 イザーク・バハラヴ
アメリカ合衆国95124カリフォルニア州サ
ン・ノゼ、セイント・ローレンス・ドライ
ヴ 2548
(72)発明者 ラマクリシュナ・カカララ
アメリカ合衆国94086カリフォルニア州サ
ニーヴェイル、イースト・イヴリン・アヴ
ェニュー 1055、ビー９
(72)発明者 ディートリック・ダブリュ・ヴォック
アメリカ合衆国94025カリフォルニア州メ
ンロ・パーク、ロブル・アヴェニュー
960Ｃ
Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16
CB01 CB08 CB12 CB16 CC01
CD06 CD07 CD10 CH08
5C065 BB48 CC01 DD02 DD15 GG30
GG32
5C076 AA22 BA06 BB06 BB07
5C077 LL18 MP08 PP20 PP32 PP37
PP46 PP68 PQ12 PQ20 SS01
TT06 TT09
5C079 HB01 JA14 JA23 LA28 LA37
MA11 NA13
Claims (1)
- 【特許請求の範囲】 【請求項１】モザイク画像のデモザイク処理及びサイズ
調整を実施する為の方法であって、 前記モザイク画像の現在の画像ブロックを受信するステ
ップと、 前記現在の画像ブロックの指標を前記現在の画像ブロッ
クのカラーデータに基づいて計算するステップと、 前記モザイク画像のサイズ調整済画像を作成するよう
に、前記指標に応答して前記モザイク画像の前記現在の
画像ブロックから、サイズを調整した画像ブロックを生
成するステップとを含み、前記サイズを調整した画像ブ
ロックの生成が、前記モザイク画像のサイズ調整済画像
がデモザイク画像となるような方法で、前記モザイク画
像の前記現在の画像ブロックから選択されたカラー情報
を、前記サイズを調整した画像ブロックへと割り当てる
ステップを含む方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/938,438 | 2001-08-23 | ||
| US09/938,438 US6989862B2 (en) | 2001-08-23 | 2001-08-23 | System and method for concurrently demosaicing and resizing raw data images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003152990A true JP2003152990A (ja) | 2003-05-23 |
| JP2003152990A5 JP2003152990A5 (ja) | 2005-10-27 |
Family
ID=25471447
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002228822A Ceased JP2003152990A (ja) | 2001-08-23 | 2002-08-06 | 生データ画像のデモザイク処理及びサイズ調整を行う方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6989862B2 (ja) |
| EP (1) | EP1288855B1 (ja) |
| JP (1) | JP2003152990A (ja) |
| DE (1) | DE60221757T2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005151549A (ja) * | 2003-10-23 | 2005-06-09 | Sony Corp | 画像処理装置および画像処理方法、並びに、プログラム |
| JP2006054887A (ja) * | 2004-08-09 | 2006-02-23 | Agilent Technol Inc | スケーリング可能な解像度を備えたカメラ |
| JP2009247004A (ja) * | 2009-07-27 | 2009-10-22 | Seiko Epson Corp | 印刷制御方法、印刷制御装置、及び印刷制御プログラム |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1308888A1 (en) * | 2001-11-06 | 2003-05-07 | STMicroelectronics S.r.l. | A method of processing digital images |
| US7158685B2 (en) * | 2002-06-28 | 2007-01-02 | Microsoft Corporation | Demosaicing graphical content |
| JP2004112738A (ja) * | 2002-07-25 | 2004-04-08 | Fujitsu Ltd | 単板式カラーイメージセンサの解像度変換方法及び画素データ処理回路 |
| US7084906B2 (en) * | 2002-10-15 | 2006-08-01 | Eastman Kodak Company | Reducing computation time in removing color aliasing artifacts from color digital images |
| JP4497945B2 (ja) * | 2003-02-04 | 2010-07-07 | キヤノン株式会社 | 撮像装置 |
| CN101431684B (zh) * | 2003-06-23 | 2013-10-23 | 索尼株式会社 | 处理图像的方法和设备 |
| KR100811965B1 (ko) * | 2003-12-22 | 2008-03-10 | 미쓰비시덴키 가부시키가이샤 | 화소 신호 처리 장치 및 화소 신호 처리 방법 |
| US7418130B2 (en) * | 2004-04-29 | 2008-08-26 | Hewlett-Packard Development Company, L.P. | Edge-sensitive denoising and color interpolation of digital images |
| US7589779B2 (en) * | 2005-04-13 | 2009-09-15 | Seiko Epson Corporation | Imaging module, interface, and method handling multiple simultaneous data types |
| KR100689480B1 (ko) * | 2005-05-09 | 2007-03-02 | 삼성전자주식회사 | 휴대단말기의 영상크기 변환방법 |
| US7668366B2 (en) | 2005-08-09 | 2010-02-23 | Seiko Epson Corporation | Mosaic image data processing |
| US7742636B2 (en) * | 2006-01-26 | 2010-06-22 | Nethra Imaging Inc. | Method and apparatus for scaling down a bayer domain image |
| US20070223057A1 (en) * | 2006-03-21 | 2007-09-27 | Sony Corporation | Method of estimating noise in spatial filtering of images |
| US20070230774A1 (en) * | 2006-03-31 | 2007-10-04 | Sony Corporation | Identifying optimal colors for calibration and color filter array design |
| US7558423B2 (en) * | 2006-03-31 | 2009-07-07 | Sony Corporation | Error analysis for image interpolation and demosaicing using lattice theory |
| US20080018753A1 (en) * | 2006-07-19 | 2008-01-24 | Chun-Ta Chiu | Method for modifying images by a way of capturing raw image data |
| US7609307B2 (en) * | 2006-09-13 | 2009-10-27 | National Chiao Tung University | Heterogeneity-projection hard-decision interpolation method for color reproduction |
| WO2009009024A2 (en) * | 2007-07-05 | 2009-01-15 | Siemens Energy & Automation, Inc. | Arrangement and method for procesing image data |
| US8462377B2 (en) * | 2007-07-25 | 2013-06-11 | Aptina Imaging Corporation | Method, apparatus, and system for reduction of line processing memory size used in image processing |
| US7851961B2 (en) * | 2007-09-20 | 2010-12-14 | Siemens Industry, Inc. | System and method with a rotor having parallel sided rotor bars |
| US8270713B2 (en) * | 2007-10-16 | 2012-09-18 | Aptina Imaging Corporation | Method and apparatus providing hardware-efficient demosaicing of image data |
| US8035704B2 (en) | 2008-01-03 | 2011-10-11 | Aptina Imaging Corporation | Method and apparatus for processing a digital image having defective pixels |
| US8229212B2 (en) * | 2008-04-08 | 2012-07-24 | Qualcomm Incorporated | Interpolation system and method |
| US10585344B1 (en) | 2008-05-19 | 2020-03-10 | Spatial Cam Llc | Camera system with a plurality of image sensors |
| US8355042B2 (en) * | 2008-10-16 | 2013-01-15 | Spatial Cam Llc | Controller in a camera for creating a panoramic image |
| US11119396B1 (en) | 2008-05-19 | 2021-09-14 | Spatial Cam Llc | Camera system with a plurality of image sensors |
| US8164655B2 (en) | 2008-05-19 | 2012-04-24 | Spatial Cam Llc | Systems and methods for concurrently playing multiple images from a storage medium |
| US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
| JP5191407B2 (ja) * | 2009-01-20 | 2013-05-08 | 三洋電機株式会社 | 画像処理装置 |
| KR101725044B1 (ko) * | 2010-05-27 | 2017-04-11 | 삼성전자주식회사 | 촬영이 가능한 디스플레이 장치 |
| US20120198386A1 (en) * | 2011-01-31 | 2012-08-02 | Nokia Corporation | Causing display of thumbnail images |
| WO2012136276A1 (en) * | 2011-04-04 | 2012-10-11 | Telefonaktiebolaget L M Ericsson (Publ) | A method and a processor for texture compression |
| WO2014080068A1 (en) * | 2012-11-26 | 2014-05-30 | Nokia Corporation | An arrangement for image processing |
| US9280803B2 (en) | 2013-04-25 | 2016-03-08 | Mediatek Inc. | Methods of processing mosaicked images |
| KR102594038B1 (ko) * | 2018-01-15 | 2023-10-26 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 |
| US11257184B1 (en) | 2018-02-21 | 2022-02-22 | Northrop Grumman Systems Corporation | Image scaler |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6046772A (en) * | 1997-07-24 | 2000-04-04 | Howell; Paul | Digital photography device and method |
| US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
| US5990950A (en) * | 1998-02-11 | 1999-11-23 | Iterated Systems, Inc. | Method and system for color filter array multifactor interpolation |
| US6236433B1 (en) * | 1998-09-29 | 2001-05-22 | Intel Corporation | Scaling algorithm for efficient color representation/recovery in video |
| US7030917B2 (en) * | 1998-10-23 | 2006-04-18 | Hewlett-Packard Development Company, L.P. | Image demosaicing and enhancement system |
| US6404918B1 (en) * | 1999-04-30 | 2002-06-11 | Hewlett-Packard Company | Image demosaicing method utilizing directional smoothing |
| US20020167602A1 (en) * | 2001-03-20 | 2002-11-14 | Truong-Thao Nguyen | System and method for asymmetrically demosaicing raw data images using color discontinuity equalization |
| US6816197B2 (en) * | 2001-03-21 | 2004-11-09 | Hewlett-Packard Development Company, L.P. | Bilateral filtering in a demosaicing process |
| US6924841B2 (en) * | 2001-05-02 | 2005-08-02 | Agilent Technologies, Inc. | System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels |
-
2001
- 2001-08-23 US US09/938,438 patent/US6989862B2/en not_active Expired - Fee Related
-
2002
- 2002-06-12 DE DE60221757T patent/DE60221757T2/de not_active Expired - Fee Related
- 2002-06-12 EP EP02013003A patent/EP1288855B1/en not_active Expired - Fee Related
- 2002-08-06 JP JP2002228822A patent/JP2003152990A/ja not_active Ceased
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005151549A (ja) * | 2003-10-23 | 2005-06-09 | Sony Corp | 画像処理装置および画像処理方法、並びに、プログラム |
| JP4501070B2 (ja) * | 2003-10-23 | 2010-07-14 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
| JP2006054887A (ja) * | 2004-08-09 | 2006-02-23 | Agilent Technol Inc | スケーリング可能な解像度を備えたカメラ |
| JP2009247004A (ja) * | 2009-07-27 | 2009-10-22 | Seiko Epson Corp | 印刷制御方法、印刷制御装置、及び印刷制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| DE60221757D1 (de) | 2007-09-27 |
| DE60221757T2 (de) | 2008-05-15 |
| US20040201721A1 (en) | 2004-10-14 |
| US6989862B2 (en) | 2006-01-24 |
| EP1288855B1 (en) | 2007-08-15 |
| EP1288855A3 (en) | 2005-04-13 |
| EP1288855A2 (en) | 2003-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003152990A (ja) | 生データ画像のデモザイク処理及びサイズ調整を行う方法 | |
| US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| US8326077B2 (en) | Method and apparatus for transforming a non-linear lens-distorted image | |
| US8238695B1 (en) | Data reduction techniques for processing wide-angle video | |
| TWI430184B (zh) | 結合全色像素之邊緣映射 | |
| JP4469019B2 (ja) | 画像データを生成する装置、方法およびプログラム | |
| JP5280448B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び半導体集積回路 | |
| US20070159542A1 (en) | Color filter array with neutral elements and color image formation | |
| US20090303343A1 (en) | Low-light video frame enhancement | |
| US8040558B2 (en) | Apparatus and method for shift invariant differential (SID) image data interpolation in fully populated shift invariant matrix | |
| JP2004208336A (ja) | 輝度勾配を用いたフルカラーイメージ適応的補間装置 | |
| JPH08298670A (ja) | 適応カラー補間単一センサカラー電子カメラ | |
| TW200903347A (en) | Edge mapping using panchromatic pixels | |
| JP2000078597A (ja) | デジタルカラ―イメ―ジ値の処理装置 | |
| JP2002305685A (ja) | 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用 | |
| WO2003047234A2 (en) | System and method for providing multi-sensor super-resolution | |
| JP2023025085A (ja) | カメラの画像処理方法およびカメラ | |
| WO2001026358A1 (en) | Demosaicing for digital imaging device using perceptually uniform color space | |
| CN107613216A (zh) | 对焦方法、装置、计算机可读存储介质和电子设备 | |
| US20110141321A1 (en) | Method and apparatus for transforming a lens-distorted image to a perspective image in bayer space | |
| WO2007082289A2 (en) | Color filter array with neutral elements and color image formation | |
| Chung et al. | New joint demosaicing and zooming algorithm for color filter array | |
| CN111242087A (zh) | 物体识别方法及装置 | |
| JP3887639B2 (ja) | 信号処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050706 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050706 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070501 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070511 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20070516 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070516 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20070730 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20070802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071029 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071116 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20080321 |