JP2002526999A - ビデオにおける効率的なカラー表現／回復のための新しいスケーリング・アルゴリズム - Google Patents

ビデオにおける効率的なカラー表現／回復のための新しいスケーリング・アルゴリズム

Info

Publication number
JP2002526999A
JP2002526999A JP2000573102A JP2000573102A JP2002526999A JP 2002526999 A JP2002526999 A JP 2002526999A JP 2000573102 A JP2000573102 A JP 2000573102A JP 2000573102 A JP2000573102 A JP 2000573102A JP 2002526999 A JP2002526999 A JP 2002526999A
Authority
JP
Japan
Prior art keywords
color
pixel
image
scaling
super
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000573102A
Other languages
English (en)
Other versions
JP4261062B2 (ja
JP2002526999A5 (ja
Inventor
アチャーリャ，ティンク
メッツ，ワーナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2002526999A publication Critical patent/JP2002526999A/ja
Publication of JP2002526999A5 publication Critical patent/JP2002526999A5/ja
Application granted granted Critical
Publication of JP4261062B2 publication Critical patent/JP4261062B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Television Systems (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 ＣＦＡ（カラー・フィルタ・アレイ）（図２）内に開始位置を表示し（５１０）、スケーリング領域のダウン・スケーリング・バージョンであるスーパー−ピクセルを生成（５１５）することによってサンプリング領域を決める方法であって、それにおいてスーパー−ピクセルはフル・カラー補間され（５２７）、ダウン・スケーリングおよびカラー補間が統合された形態で達成（５３５）される方法。

Description

【発明の詳細な説明】
【０００１】 発明の背景 １． 発明の分野 本発明は、包括的には画像処理に関する。より詳細に述べれば、本発明は、画
像のスケーリングおよびカラー補間／回復に関する。
【０００２】 ２． 関連技術の説明 シーン／環境のディジタル画像は、それに含まれるピクセル（独立したカラー
／輝度（強さ）のポイント）の行数および列数によって決まる特定のサイズを有
する。したがって、画像サイズまたは「解像度」は、列数と行数の乗算の式の形
で表される。たとえば、解像度が７６８×５７６の画像は、７６８のピクセル列
と５７６のピクセル行からなり、合計で４４２，３６８ピクセルを有する。
【０００３】 カメラ等の撮像デバイスによって取り込まれるか、あるいはそれによって表現
された画像のオリジナルのサイズが特定のアプリケーションにとって大きすぎる
ことがある。解像度が高いほど、より多くの画像情報を含み（所定面積当たりに
より多くのピクセルを含み）、解像度の低い画像より視覚的に望ましい品質が得
られる傾向にあるが、帯域幅、メモリ、およびその他の制約から低い解像度の画
像の使用が余儀なくされることがある。ディジタル・カメラ等のある種のデバイ
スについては、より解像度の低い画像を使用し、デバイスに必要となる記憶要素
をより小さくすることによって、全体のコストを下げることが望ましいとされる
こともある。テレビ会議に関して言えば、受信および送信ノードにおいて、調和
しない画像サイズの変換について考慮する必要がなくなるように、たとえば、Ｑ
ＣＩＦ（Quarter Common Intermediate Format、クオータ・コモン・インターミ
ディエート・フォーマット）等の特定の標準画像フォーマットが定義されている
。テレビ会議においては、特定の「フレーム」レート（出力のために個別の画像
フレームを受信するレートおよび／またはレンダリングする早さ）を維持するこ
とがしばしば望まれる。このフレーム・レートを維持するため、ＱＣＩＦ等のフ
ォーマットは、通常は、取り込みによるディジタル画像のほとんど、特にある種
のディジタル・カメラによって取り込まれるディジタル画像のサイズより小さい
ように定義されている。画像が、特定のアプリケーションにとって望ましいとさ
れる解像度を当初から有していないこともあるため、画像スケーリングとして知
られるプロセスが用いられることになる。画像が「アップ」スケーリングされる
と、そのサイズが増加し、「ダウン」スケーリングされると、そのサイズが減少
する。以下において「スケーリング」もしくは「スケーリングされた画像」と言
うときは、その意味ならびに用法としてダウン・スケーリング、すなわち画像サ
イズにおける減少を意図している。
【０００４】 画像のスケーリングは、画像の一部を切り取ることによって解像度を下げる画
像のトリミングとは明確に区別する必要がある。スケーリングは、画像のサイズ
が減少するが、スケーリング前の画像（以下、適宜「オリジナル」の画像または
「スケーリングされていない」画像といった表現を用いる）に含まれていた全体
のシーン／環境の大半が維持されることを意味する。すなわちオリジナルの画像
からのシーンは、スケーリング後においても完全に残されるが、より低い解像度
で表現される。
【０００５】 画像のスケーリングを達成する方法は、従来からいくつか知られている。もっ
とも一般的なスケーリング・テクニックは、等しい重み付けを用いて特定の画像
領域内のピクセルを平均化し、続いて「間引く」か、あるいはその領域内のピク
セルをすべて破棄することによってスケーリングされた画像内のピクセルを生成
する。平均化されたピクセルが元のピクセルの領域全体に置き換わるが、置き換
えられる領域は必ずしも平均化する領域と同じサイズである必要はない。たとえ
ば、２：１のスケーリング手順を考えると、オリジナル画像内の各２×２のピク
セルの領域がスケーリング後の画像において単一のピクセルによって置換される
。スケーリング後の画像のピクセル値を決定するときは、２×２の置換領域より
大きい領域、たとえば３×３の隣接領域を平均すると好ましくなることもある。
その場合、「サンプリング」領域（３×３）が「スケーリング」領域（２×２）
より大きいと言い、スケーリング領域内に生じ、スケーリング領域を超えて広が
る特徴が適切に考慮されるように、より多くの画像を考慮することを保証する上
で役立つことがある。しかしながら、サンプリング領域内の各ピクセルに対して
等しく重み付けが行われる平均化方法は、いくつかの点において不完全である。
まず、ピクセルの均等な平均化は、オリジナル画像の情報の多くを失う結果をも
たらす。均等な重み付け平均においては、画像領域のすべての部分をまったく同
等に扱い、すべてのピクセルを間引くことから、画像の特徴の識別にほとんど貢
献しない。
【０００６】 画像のスケーリングに加えて、別の、通常は独立して行われる、カラー補間と
呼ばれる画像処理テクニックが、後述するように画像センサによって生成された
ピクセル領域内の失われたカラーを回復するために使用される。ディジタルのス
チル・カメラならびにビデオ・カメラおよびその他の特定の撮像デバイスにおい
ては、まず、各ピクセルが特定のカラーの輝度（強さ）値のみを有するピクセル
の行および列からなる矩形として生の画像が表される。ＲＧＢ（レッド、グリー
ンおよびブルー）サブ−サンプリング撮像デバイスの場合であれば、画像が獲得
されて「バイエル」パターンで記憶される。このバイエル・パターンは、カラー
・フィルタ・アレイ（ＣＦＡ）を使用して３つのカラー平面をサブ−サンプリン
グした場合に、画像の１つの行がレッドとグリーンのピクセルの繰り返しとなり
、次の行がブルーとグリーンのピクセルの繰り返しとなるという特徴を有してい
る。たとえば最初の４行のピクセル（通常各ピクセルは８ビットの値である）に
ついてバイエル・パターンを示すと次のようになる（この後の行についても同じ
パターンの繰り返しになる）。
【０００７】 ＧＲＧＲＧＲ．．． ＢＧＢＧＢＧ．．． ＧＲＧＲＧＲ．．． ＢＧＢＧＢＧ．．． ・ ・ ・
【０００８】 この結果、各ピクセル位置は、単一カラー成分のみに関する輝度値を含むこと
になる。一部の撮像デバイスの場合のように、バイエル・パターンの各ピクセル
が８ビットの解像度（つまり、１つのピクセルが、そのカラーの０から２５５ま
での範囲に含まれる輝度を表す値となる）を有すると仮定すると、３つのＲ、Ｇ
およびＢ成分すべてを有する「フル・カラー」ピクセルは２４ビットの値になる
。カラー補間は、各ピクセルのカラー補間のための、失われた２つのカラー成分
の回復である。
【０００９】 しばしば、スケーリングおよびカラー補間は、独立に、個別のプロセスによっ
て行われる。スケーリングをカラー補間に先行して行った場合、補間プロセスに
おいてカラー成分に関するオリジナルのセンサ情報が未知となり、画像の質の低
下がもたらされる。しかしながら、最終画像にスケーリングおよびカラー補間が
ともに必要なことが演繹的に周知であるとすれば、その両方を実行する、組み合
わされたテクニックが必要になる。さらに、従来のスケーリングおよびカラー補
間テクニックの欠点を考慮すれば、許容可能な画像の質をもたらすべくその組み
合わせのテクニックを設計する必要がある。
【００１０】 さらに、実施に関して言えば、ＣＭＯＳ（相補形金属酸化膜半導体）撮像デバ
イス等のハードウエアにおいてスケーリングを実施するのであれば、スケーリン
グ手順における演算上の複雑性を抑えることが重要である。特にそのデバイスに
そのほかの多くの機能を実行させなければならないのであれば、その重要度は高
い。テレビ会議を目的として画像フレーム（独立した静止画像のシーケンス）の
送信に撮像デバイスを使用する場合は、送信がフレーム・レートの維持に充分な
速さを有し、かつ撮像デバイスと、取り込んだ画像フレームのパッケージングお
よび着信ノードに対する送信に使用されるプロセッシング・デバイス（コンピュ
ータ・システム）の間のインターフェースの帯域幅適応性と両立するものでなけ
ればならない。動画および静止画を提供し得るデュアル−モードのデバイスにお
いては、異なるレベルのスケーリングを相互交換可能な態様で容易に提供できる
方法および装置についても望まれている。
【００１１】 （発明の要約） ＣＦＡ（カラー・フィルタ・アレイ）内に開始位置を示すことによってサンプ
リング領域を決め、かつそのスケーリング領域のダウン・スケーリング・バージ
ョンであるスーパー−ピクセルを生成する方法が開示されている。そのスーパー
−ピクセルはフル・カラー補間され、ダウン・スケーリングとカラー補間は統合
された態様で達成される。
【００１２】 本発明に係る方法および装置の目的、特徴ならびに利点は、以下の説明から明
らかなものとなろう。
【００１３】 （発明の実施の形態） 以下、図面を参照して本発明の実施形態を例示する形で説明する。ここに例示
した実施形態は、本発明の側面を示すためのものであって、本発明の範囲を限定
すると解釈されるべきものではない。例示の実施形態の説明は、基本的にブロッ
ク図ないしはフローチャートを参照して行う。フローチャートについては、フロ
ーチャート内の各ブロックが方法のステップを表すとともに、当該方法のステッ
プを実行するための装置エレメントを表している。実装に応じて、対応する装置
エレメントは、ハードウエア、ソフトウエア、ファームウエア、あるいはそれら
の組み合わせによって構成されることがある。
【００１４】 図１は、４：１スケーリングを行うための本発明の一実施形態を示したフロー
チャートである。
【００１５】 図１に示されているテクニックは、たとえば単体の画像センサまたは画像セン
サのセットから導かれた、ＣＦＡ（カラー・フィルタ・アレイ）フォームの画像
に対して特に適切である。広く知られているＣＦＡパターンは、アレイ内の各ピ
クセル位置を３つのカラー、すなわちレッド（Ｒ）、グリーン（Ｇ）およびブル
ー（Ｂ）のうちの１つに関連付けるバイエル・パターン（後述；図２に示す）で
ある。グリーンに関連付けされるピクセルは、レッドもしくはブルーに関連付け
されるピクセルの２倍の頻度で現れる。各ピクセルは、３つのカラー成分、すな
わちレッド、グリーンおよびブルーをすべて含む「フル・カラー」ピクセルの表
現に適切であると考えられる、３つのカラーのうちの１つ（Ｒ、ＧまたはＢ）だ
けに関連付けされている。
【００１６】 本発明の一実施形態によれば、まず、ＣＦＡ内に最初の開始位置をセットする
（ステップ１１０）。この位置が、サンプリング領域およびスケーリング領域に
関する開始ポイントを決定することになる。たとえば、最初の４×４のスケーリ
ング領域に関する最初の開始位置を列１、行１にあるレッド・ピクセル（Ｒ１１
）（図２参照）とする。４：１スケーリングの場合、適切なフィルタリングをそ
れぞれのサブ画像（カラー平面）領域に適用して、「スーパー−ピクセル」に対
する３つの成分、Ｒ、ＧおよびＢ成分すべてを回復する。スーパー−ピクセルは
スケーリング後の画像において、ＣＦＡのスケーリング領域に置き換わったピク
セルである。後述するが、図３（ａ）は、最初のスーパー−ピクセルＸ１１に関
するレッド成分を獲得するために、ピクセルＲ１１から開始するレッドのサブ画
像に適用されるマトリクス（「マスク」）を示している。そのマスクを構成する
３タップのフィルタリングを考えると、合計で３２、すなわち９個のピクセル位
置のサブ画像が、結果として得られるマスクのサンプリング領域内に含まれるこ
とになる。次にこのマスクの積（図４（ａ）参照）を合計して（ステップ１２５
）、この４：１のスケーリングされた画像のスーパー−ピクセルのレッド成分を
回復する。この加算は、フィルタの適用の間に累算を実行することによって達成
できるが、所定のアレイ内に積を個別に記憶しておき、後から合計してもよい。
次に、スケーリング後画像のピクセルのレッド成分を表す単一の輝度値を獲得す
るために、マスク結果をそのマスクの合計の重みで除することによってマスク結
果の正規化を行う（ステップ１３０）。ステップ１２０においては、スーパー−
ピクセルのＲ、ＧおよびＢ成分を得るために、それぞれ図４（ａ）、４（ｂ）お
よび４（ｃ）に示したマスクを用いてフィルタリングが適用される。３つの成分
は、同時に決定されるか、連続的に決定されるが、それは所望の設計に依存する
。図４（ａ）に示したマスクの場合であれば、除数が１６（マスク係数の合計）
になる。正規化されたマスク結果は、サブ画像のカラーと同じカラーに関連付け
されたスケーリング後の画像におけるスーパー−ピクセルの成分を表す。最初の
ピクセル位置の場合は、最初の、この種の正規化されたマスク結果が、スケーリ
ング後の画像（図２参照）のスーパー−ピクセルＸ１１のレッド成分ＲＸになる
。この正規化されたマスク結果は、その後、スケーリング後の画像のアレイ内に
記憶される（ステップ１４０）。しかし、次のスケーリング後の画像のピクセル
を決定するときオリジナルのＣＦＡピクセルの一部を再使用することから、まだ
それを完全に破棄することはできない。最初のスーパー−ピクセルのレッド成分
に関するマスク（図４（ａ）参照）は、サンプリング領域内にピクセルＲ１５を
含んでいる。このフィルタが３タップ・フィルタであることから、スーパー−ピ
クセル内の成分に関するサンプリング領域が、スケーリング領域のほかに追加の
１行のピクセルおよび１列のピクセルを含む。グリーンならびにブルーの成分に
ついても同様の形態において求められるが、それぞれ図４（ｃ）および図４（ｂ
）に示したマスクが基礎になる。このようにしてスーパー−ピクセルに関する３
つの成分がすべて決定されると、ＣＦＡ内の次の開始位置が決定され、それが次
のスケーリング領域の開始位置になる（ステップ１５０）。スケーリング後の画
像に関するすべてのスーパー−ピクセルの計算を終了すると（ステップ１６０）
、統合化されたスケーリングおよびカラー補間に関する手順が完了したと判断さ
れる。計算がまだ残っていれば、選択した開始位置に関してステップ１２０から
１５０までが繰り返され、順次、次のスーパー−ピクセル（つまり、その成分）
が決定される。
【００１７】 図２は、本発明の少なくとも１つの実施形態に従ってスケーリングされるオリ
ジナルのＣＦＡ領域を示す。
【００１８】 図２に示したＣＦＡ領域は、３つの明確に区別されるカラー平面、すなわちレ
ッド（Ｒ）、グリーン（Ｇ）およびブルー（Ｂ）を含んでいると考えることがで
きる。それにおいてレッドのカラー平面に属するピクセル、つまりそれに関連付
けされているピクセルはプレフィクス「Ｒ」を用いて示し、ブルーのカラー平面
に関連付けされているピクセルはプレフィクス「Ｂ」を用いて示している。また
、グリーンのカラー平面に関連付けされているピクセルには、プレフィクス「Ｇ
」を用いている。一例を図２に示したバイエル・パターンのＣＦＡは、カラー平
面に関連付けされているピクセルが行ごとおよび列ごとに交番するという特徴を
有する。つまり、開始ピクセル位置が与えられたとき、開始ピクセル位置と同じ
行内を１列置きに考察し、その行を完了した後は、次に続く行をスキップして最
初の行の手順を３番目の行に対して繰り返すことによって、その開始ピクセル位
置と同一のカラーを持つピクセルのサブ画像を抽出もしくは獲得すると都合がよ
い。図２に示したＣＦＡは、ディジタル・カメラあるいはその他のセンサ・シス
テム等の撮像デバイスから得られる生の画像データを表している。
【００１９】 従来のスケーリング・テクニックは、どのような形においてもカラー補間を行
わない。この種のテクニックは入力画像がバイエル・パターンからではなく、各
ピクセルがＲＧＢのフル・カラー情報を有していることを前提として開発されて
いる。平均テクニックおよび／またはスケーリング後の画像内のオリジナル・ピ
クセルを単純に削除する間引きテクニックは、フル・カラーのピクセル画像に適
切であったとしても、ＣＦＡ画像に直接適用することは適切ではない。たとえば
、平均を使用して画像の２：１のダウン・スケーリングを行うスケーリング・テ
クニックは、図２の列１、行１の値Ｒ１１を、Ｒ１１に隣接する３つのピクセル
Ｇ２１、Ｇ１２およびＢ２２の平均で置き換えてしまう。しかしながら、それぞ
れのピクセルが異なるクロミナンス（カラー）およびルミナンス（輝度）情報を
有していることからこの種の平均は不適切である。２つのグリーン・ピクセルＧ
２１およびＧ１２は、基本的にルミナンス情報を有しているが、Ｂ２２およびＲ
１１は、基本的にクロミナンス情報を有している。４つのカラー平面をこのよう
な方法で混合し、スケーリング後の画像に属するピクセルの本質を求めようとす
れば、レッドのカラー情報がゆがめられ、壊される。同様に、ＧまたはＢピクセ
ルに対して平均を適用した場合にも、カラー平面の情報が混合され、それに含ま
れているその画像に関する情報（クロミナンス等）が壊されることになる。また
、スケーリング時にＧ２１、Ｇ１２およびＢ２２を単純に破棄する（間引く）無
条件のスケーリングにおいては、さらに多くの画像情報が破壊され、カラー補間
等のテクニックによってフル・カラー画像に変換することが本質的に不可能なＣ
ＦＡがもたらされる。
【００２０】 効率を達成し、ＣＦＡに関するこれらの障害を克服するために、本発明の一実
施形態によれば、各カラー平面のサブ画像にマスクを個別に適用し、その後、結
果を単一のスーパー−ピクセルに結合することによって、スケーリングおよびカ
ラー補間を同時に達成する。フィルタは、サブ画像領域に対して行ごとに適用し
た後、列ごとに適用することができる。このような適用を行うときには、フィル
タが、サブ画像領域内のピクセルの輝度値に乗ずる係数のマトリクス（マスク）
を形成する。結果として得られるドット積の値（つまり、全マスク積の合計）は
、図１に示したように、マスクの重みに対して正規化される。この正規化された
値は、その後スーパー−ピクセルのカラー成分（Ｒ、ＧまたはＢ）の値を表すこ
とになる。
【００２１】 ４：１のスケーリングに関する「スケーリング」領域（図２において実線を用
いて示される）は、オリジナルＣＦＡ領域の４×４のピクセルからなり、それが
４：１のスケーリングの場合であれば１つのスケーリング後の画像のスーパー−
ピクセルに変換され、あるいは２：１のスケーリングの場合であれば４×４のＣ
ＦＡ領域となる。本発明の一実施形態によれば、マスクがそれぞれのカラー平面
のサブ画像に適用されて、スケーリング後の画像のスーパー−ピクセルの３つの
成分すべてが決定される。サンプリング領域は、つまりこのマスクによって変換
される数のピクセルを含む領域は、スケーリング領域より大きい。たとえば、レ
ッド成分ＲＸ１１内の４：１のスケーリング後の画像のスーパー−ピクセルを決
定する場合であれば、３×３のマスクはレッド・ピクセルＲ１１、Ｒ１３、Ｒ１
５、Ｒ３１、Ｒ３３、Ｒ３５、Ｒ５１、Ｒ５３およびＲ５５に適用される。同様
にスケーリング後の画像のスーパー−ピクセルＸ１１のグリーン成分ＧＸ１１は
、２×４のマスクをオリジナルのＣＦＡのピクセルＧ１２、Ｇ１４、Ｇ２１、Ｇ
２３、Ｇ３２、Ｇ３４、Ｇ４１およびＧ４３に適用する。このように、サンプリ
ング領域はスケーリング領域より大きくなる。後述するように、これは、スケー
リング後の画像内の２つの同一のサブ画像のピクセルに関して使用するサンプリ
ング領域のオーバーラップをもたらし、それが一般的なスケーリング・テクニッ
クより適切なエッジの特徴の検出に寄与する。
【００２２】 このように行った結果、各スケーリング後の画像のスーパー−ピクセルＸｉｊ
が、３つのカラー成分ＲＸｉｊ、ＧＸｉｊおよびＢＸｉｊを持つことになる。４
：１のスケーリング後の画像は、オリジナルのＣＦＡ内における４行４列の正方
スケーリング領域に置き換わるスーパー−ピクセルＸｉｊから構成される。つま
り、オリジナルのＣＦＡがＭ×Ｎのサイズを有しているとすれば、４：１のスケ
ーリング後の画像のサイズはＭ／４×Ｎ／４あるいはＭ×Ｎ／１６になる。好都
合なことは、スケーリング後の画像の各スーパー−ピクセルがフル・カラー情報
を有しているため、カラー補間手順を独立に適用する必要がなくなることである
。
【００２３】 図３（ａ）〜３（ｃ）は、一例として示すレッドのサブ画像のＣＦＡ領域に関
するマスクを獲得するためのフィルタ適用段階を表している。
【００２４】 図３（ａ）は、オリジナルのＣＦＡにおけるレッドのサブ画像領域を示してい
る。垂直ならびに水平の両方向に適用される３タップのフィルタは、９つの積の
マスクを構成する。サンプリング領域の、レッドのカラー平面のサブ画像に関す
る９つのピクセルは、連続かつ隣接するピクセルとしてＣＦＡ内に現れず、むし
ろオフセットされた形となる。レッドのサブ画像は、オリジナルのＣＦＡ内のピ
クセル列およびピクセル行をそれぞれ１つ置きにスキップすることによって得ら
れる（図２参照）。
【００２５】 本発明の一実施形態に従って係数｛１，２，１｝を伴う３タップ・フィルタを
、図３（ａ）に示したオリジナルのサブ画像に対して水平に適用すると（つまり
サブ画像の行にわたってフィルタを適用すると）、その結果は、図３（ｂ）に示
した積の配列（マスク）になる。次に、結果として得られた図３（ｂ）に示す配
列に対して係数｛１，２，１｝の３タップ・フィルタを垂直に適用すると、その
結果として図３（ｃ）に示したマスクが得られる。図３（ｃ）に示したマスクが
表しているマスク積は、図１を参照して説明したように、その後合計されて単一
の値を求め、さらに正規化することができる。
【００２６】 結果として得られるマスクによれば、中心ピクセル（たとえばＲ３３）がその
サブ画像領域内のコーナにあるピクセルの重みの４倍を超えることがない。図３
（ｃ）を参照すると、コーナ以外のピクセル（領域の最初の行ならびに列および
最後の行ならびに列に含まれるピクセル）が、マスクを適用した結果、４を用い
た重み付けが行われる中心ピクセルの１／２の重み付けになっていることに注意
する必要がある。これにおいてもエッジ特徴がこのサブ画像内のどこに含まれて
いるかという予測を行うことはできないが、従来のスケーリング・フィルタに見
られたような、完全にエッジを表すことができないピクセルは存在しない。サン
プリング領域内のピクセル間の相関を密に維持することによって、エッジの特徴
が適正に表され、それが間引かれないという統計学的な保証が得られる可能性が
高くなる。このことは、大きな視覚的な影響を有する（つまり明確に見ることが
できる）エッジの特徴が通常、１ピクセルあるいは２ピクセルといった領域より
は少なくとも大きい領域を通過することからも正しいと言える。図４（ｂ）に示
されるように、スーパー−ピクセルＸ１１のブルー成分ＢＸ１１を獲得するため
のマスクは、係数に関して図３（ｃ）のマスクと同一であり、したがって２つの
方向に３タップ・フィルタ｛１，２，１｝を適用することによって得られる。
【００２７】 図４（ａ）は、４：１スケーリングが行われた画像のスーパー−ピクセルにお
けるレッド成分を獲得するために適用される一例のマスクを表している。
【００２８】 図３に戻って参照すると、前述した３タップ・フィルタは、まず行ごとにサン
プリング・サブ画像に対してそれを適用し、次に行ごとの適用の結果に対して列
ごとにそれを適用することができる。スケーリング後の画像のスーパー−ピクセ
ルにおける成分の輝度値は、サブ画像のサンプリング領域に対するフィルタリン
グ・オペレーションからもたらされるこの種のマスクの適用によって決定される
。ここでも慣例に倣い、与えられたスケーリング領域に関し、ＣＦＡの左上コー
ナを基準として、Ｍを行番号、Ｎを列番号として表すことにする。行番号と列番
号の間は、理解を容易にするためにカンマを用いて区切る。図４（ａ）は、スー
パー−ピクセルＸｉｊのレッド成分を決定するために必要となるマスクを表して
いる。たとえば、図２を参照すると、スケーリン後の画像のスーパー−ピクセル
Ｘ１１は、レッド成分ＲＸ１１を有しており、それが図４（ａ）のマスクによっ
て決定される。図４（ａ）に示したマスク積は、単一の値を得るために合計され
る。ＣＦＡ内の各ピクセルが、設定済みの輝度解像度を一般に有することから、
マスク積の合計もその値に正規化する必要があり、通常はそれが８ビットの値（
０〜２５５）となる。これは、マスク積の合計を係数の合計により単に除するこ
とによって得られる。４を係数とする項が１項、２を係数とする項が４項、さら
に１を係数とする項が４項であることから、図４（ａ）に示したマスクの合計の
「重み」（係数の合計）は１６である。したがって、スケーリン後の画像のスー
パー−ピクセルＸ１１のレッド成分ＲＸ１１は、［Ｒ１１＋２×Ｒ１３＋Ｒ１５
＋２×Ｒ３１＋４×Ｒ３３＋２×Ｒ３５＋Ｒ５１＋２×Ｒ５３＋Ｒ５５］／１６
となる（ただし、この式においては行番号と列番号を区切るカンマを省略してい
る）。同様にスケーリン後の画像のスーパー−ピクセルＸ１２のレッド成分ＲＸ
１２は（図２参照）（そのスケーリング領域の開始位置はＲ１５、つまりＭ＝１
、Ｎ＝５である）次に示す式を計算することによって得られる。
【００２９】 ［Ｒ１５＋２×Ｒ１７＋Ｒ１９＋２×Ｒ３５＋４×Ｒ３７ ＋２×Ｒ３９＋Ｒ５５＋２×Ｒ５７＋Ｒ５９］／１６
【００３０】 サンプリング領域にわたるマスク係数の分布は、サンプリング領域における中
心ピクセルとコーナ・ピクセルの間の、スケーリング後の画像における相対的な
適用範囲または表現が４倍でしかないことを示している。このことは、過度に重
み付けされるピクセルがないことおよび、単純な平均とは異なり中心等の、領域
内のより重要なエリアをより良好にカバーするべく機能することから、エッジ検
出に役立つ。
【００３１】 図４（ｂ）は、４：１スケーリングが行われた画像のスーパー−ピクセルにお
けるブルー成分を獲得するために適用される一例のマスクを表している。
【００３２】 スケーリング後の画像のスーパー−ピクセルＸにおけるブルー成分Ｂに使用さ
れるマスクは、マスクアレイ内の係数の分布という点において図４（ａ）に示し
たマスクと類似している。しかしながら、マスキングのためにサンプリングされ
るピクセルは、それらがレッドのサブ画像領域を表すのではなく、２番目のブル
ーのサブ画像領域を表すことからまったく異なったものとなる。ブルーのサブ画
像領域に関するサンプリング領域の開始ピクセルは、オリジナルのＣＦＡにおけ
るＢ２２になる（図２参照）。この位置Ｂ１２から開始し、図３（ａ）から図３
（ｃ）に示したレッドのサブ画像の場合と同様にして、３タップのフィルタを垂
直および水平に適用する。その結果として得られるマスクを図４（ｂ）に示す。
レッド成分ＲＸ１１の場合と同様に、ブルー成分についても、マスク積を合計し
た後、マスクの重みの合計（１６）によりそれを除することによって得ることが
できる。図２を再度参照するが、４：１スケーリング後の画像のスーパー−ピク
セルＸのブルー成分Ｂは、この手順から得られている。ここで再び、スケーリン
グ領域の開始位置（Ｍ，Ｎ）を考えると、ブルー成分ＢＸ１１（スーパー−ピク
セルＸ１１に対応）のスケーリング領域の開始位置はＭ＝１、Ｎ＝１であり、Ｂ
Ｘ１２（スーパー−ピクセルＸ１２に対応）のそれはＭ＝１、Ｎ＝５である。こ
れらの成分は、 ＢＸ１１＝［Ｂ２２＋２×Ｂ２４＋Ｂ２６＋２×Ｂ４２＋４×Ｂ４４ ＋２×Ｂ４６＋Ｂ６２＋２×Ｂ６４＋Ｂ６６］／１６ ＢＸ１２＝［Ｂ２６＋２×Ｂ２８＋Ｂ２０＋２×Ｂ４６＋４×Ｂ４８ ＋２×Ｂ４０＋Ｂ６６＋２×Ｂ６８＋Ｂ６０］／１６ から計算されるが、これにおいて「０」は、ＣＦＡの１０番目の列を表している
。
【００３３】 図４（ｃ）は、４：１スケーリングが行われた画像のスーパー−ピクセルにお
けるグリーン成分を獲得するために適用される一例のマスクを表している。
【００３４】 すでに述べたように、各スケーリング後の画像のスーパー−ピクセルＸｉｊに
関して、３つの成分、すなわちレッド成分ＲＸｉｊ、グリーン成分ＧＸｉｊおよ
びブルー成分ＢＸｉｊを生成する必要がある。本発明は、スケーリングとカラー
補間を組み合わせてＭ×ＮのＣＦＡから１／４のサイズのフル・カラー、すなわ
ちしばしばレッド、グリーンおよびブルーの３つのカラー平面のそれぞれに関す
る輝度値からなると見なされるフル・カラーを生成する。バイエル・パターンの
ＣＦＡにおいては、レッドおよびブルーのピクセルが交互の行に現れるが、グリ
ーンのピクセルは各行に現れる。つまり、レッドまたはブルーの一方に対してグ
リーンのピクセルの数は２倍になる。グリーンのピクセルは、千鳥パターンで配
列され、その画像の視覚的な鮮明度に決定的となる画像の「ルミナンス」情報の
ほとんどを含んでいる。このため、図４（ｃ）に示したグリーンのマスクは、図
４（ａ）および４（ｂ）にそれぞれ示したレッドおよびブルーのマスクと大きく
異なったものになっている。
【００３５】 図４（ｃ）を参照すると、このマスク内に含まれる積が９つではなく、８つで
あり、それによりグリーンの成分が求められることがわかる。また、マスク積を
構成する係数が、図４（ａ）および図４（ｂ）の場合とは異なり、マスク内にお
いて対称になっていない。このため、図３（ａ）〜３（ｃ）に示したように２次
元的にフィルタを適用し、図４（ｃ）に示したマスクを結果的に生成することは
困難になる。マスク係数の合計は、これにおいても１６であるが、重み付けが２
つのピクセルに集中している。
【００３６】 再度図１に戻って参照するが、スーパー−ピクセルＸ１１に関するスケーリン
グ領域には、ＣＦＡにおいて中心に位置するグリーン・ピクセルが２つあり、そ
れはＧ２３およびＧ３２である。この領域内のこのほかのグリーン・ピクセルは
、すべてエッジ／コーナに位置する。このように、そのスケーリング領域におけ
る本質的なルミナンス情報を表す可能性がもっとも高い中心のグリーン・ピクセ
ルに対してマスク係数４が割り当てられている。図４（ｃ）を参照すると、中心
のグリーン・ピクセルＧＭ＋１，Ｎ＋２、およびＧＭ＋２，Ｎ＋１には、４によ
る重み付けが行われる。したがって、スーパー−ピクセルＸ１１のグリーン成分
ＧＸ１１は、［Ｇ１２＋Ｇ１４＋２×Ｇ２１＋４×Ｇ２３＋４×Ｇ３２＋２×Ｇ
３４＋Ｇ４１＋Ｇ４３］として表すことができる。同様に、スーパー−ピクセル
Ｘ１２のグリーン成分ＧＸ１２は、［Ｇ１６＋Ｇ１８＋２×Ｇ２５＋４×Ｇ２７
＋４×Ｇ３６＋２×Ｇ３８＋Ｇ４５＋Ｇ４７］／１６となる。
【００３７】 さらに、先に触れたように図４（ａ）〜４（ｃ）は、サイズを１／４にするダ
ウン・スケーリングが行われるピクセルに関するマスクを示している。１／４サ
イズの画像のスケーリングは、しばしばテレビ会議等の動画ビデオ応用に使用さ
れる。１／２サイズつまり、２：１スケーリングが必要となる別の応用において
は、上述したマスキング手順を以下のように修正することができる。２：１の画
像のスケーリングにおいては、オリジナルのスケーリング前のＣＦＡにおける２
ピクセル行および２ピクセル列ごとに単一のスケーリング後の画像ピクセルへの
マッピングまたは変形が行われる。図２においてこれを示すのであれば、２：１
のスケーリング後の画像が、オリジナルのＣＦＡにおけるスケーリング領域の１
／２のサイズとなるようにすればよい。サイズおよび積の数（つまりサンプリン
グの基準）は、修正されることもあり、また前述と相似になることもある。しば
しばテレビ会議応用に求められるように、この種のデュアル−モード（２：１お
よび４：１）の高速ハードウエア実施が望ましい場合には、それぞれに個別のマ
スキングを使用すると不利になることもある。
【００３８】 図５は、本発明の一実施形態に従ったブロック図である。
【００３９】 図５は、画像取り込みデバイスの内部画像処理および圧縮コンポーネントを示
したブロック図である。センサ５００は、ある種のソースからの輝度値であるピ
クセル成分を生成する。センサ５００によって生成されたｍビットのピクセル値
は、取り込みインターフェース５１０に渡される。ディジタル・カメラに関して
言えばセンサ５００は、通常、１つの位置にある１つの「セル」において、Ｒ、
Ｇ、またはＢ成分のいずれか１つを検出する。つまり、各ピクセルの輝度値は、
３つのカラー平面／（ピクセル）の１つだけに関連付けされている。取り込みイ
ンターフェース５１０は、センサによって生成された画像を取り込み、個別のピ
クセルにカラーを関連付けするタグを追加する。タグは各２ビットであり、たと
えば００がＲ（レッド）、０１がＧ（偶数行のグリーン）、１０が（奇数行のグ
リーン）、１１がＢ（ブルー）のピクセルをそれぞれ表す。画像全体に関するこ
れらのピクセルのセットがＣＦＡである。
【００４０】 任意のセンサ・デバイスにおいて、センサ平面内のピクセル・セルの一部が照
明条件に対して適正に応答しないことは珍しくない。その結果、それらのセルに
よって生成されたピクセル値が不完全ものとなることがある。これらのピクセル
は「デッド・ピクセル」と呼ばれる。「ピクセル置換」ユニット５１５は、各デ
ッド・ピクセルを行内の直前の有効なピクセルによって置換する。
【００４１】 ＲＡＭテーブル５１６は、センサから供給される、デッド・ピクセルの行およ
び列インデクスからなる。このＲＡＭテーブル５１６は、取り込んだ画像との関
連においてデッド・ピクセルの位置の識別を補助する。コンパンディング・モジ
ュール５２５は、テーブル・ルックアップ・ベースのコンバータであり、センサ
から取り込まれたｍビット（１０ｂとラベル付けされている）輝度のオリジナル
の各ピクセルをｎビットの輝度値に変換するが、それにおいてｍ＜ｎ（通常、ｍ
＝１０、ｎ＝８）である。ＲＡＭテーブル５２６は、コンパンディング・モジュ
ール５２５に付随し、例示のセンサ・コンパンディング・テーブルのエントリを
記憶している。このようにしてＣＦＡ内の各ピクセルは、３つのカラー平面の１
つを表すｎビットの値となる。
【００４２】 コンパンディングの後、スケーリングおよびカラー補間（ＳＣＩ）ユニット５
２７が使用されて画像のダウン・スケーリングが行われる。オリジナルの画像サ
イズをＭ×Ｎとすれば、２：１のスケーリング・オペレーションによって画像サ
イズがＭ／２×Ｎ／２に縮小され、４：１のスケーリング・オペレーションによ
って画像サイズがＭ／４×Ｎ／４に縮小されるが、各スケーリング後の画像ピク
セルは、３つのカラー成分をすべて有する。ＲＡＭ ５２８は、ＳＣＩユニット
５２７に付随し、スケーリング／カラー補間オペレーションの間の中間ストレー
ジに使用される。
【００４３】 本発明の各種実施形態によれば、スケーリング・ユニット５２７がスケーリン
グおよびカラー補間を効率的に同時実行する能力を有する。本発明の一実施形態
における場合と同様に、Ｒ、ＧおよびＢ各色のカラー・サブ画像ごとに１つのマ
スクを用意し、マスクのセットをサブ画像（特定のカラー平面内の選択されたピ
クセル）に適用することによって４：１スケーリングが行われる。マスクが係数
（乗数）１および４からなることから、与えられたピクセルの輝度値を左にシフ
トするシフト・レジスタを用いてこのマスクを実施することができる。
【００４４】 本発明の一実施形態においては、マスク積が合計された後、正規化されてスケ
ーリング後の画像のピクセルが求められる。シフト・レジスタおよびバッファを
使用したフィルタ設計に加算器を追加し、各列および行において得られた積を、
加算器を用いてアキュームレータ内に累加する。９つ（グリーンの場合は８つ）
すべての積の加算が終了すると、アキュームレータの出力が別のシフト・レジス
タに渡され、それにおいて４ビットの右シフト、すなわち３つのマスクそれぞれ
に関する重みの和である１６による除算が行われる。それに代えて、各行または
列のピクセルを処理する間に、それらから結果として得られる積を加算し、続い
て正規化を行うこともできる。たとえば、３タップ・フィルタの出力を加算器に
渡して積を合計することが可能である。続いてこの合計を、フィルタのタップの
合計、つまり４（１＋２＋１）を用いて正規化する。４による除算は、２ビット
の右シフト（ここでもシフト・レジスタを用いる）によって可能である。それぞ
れの正規化した行または列の結果を蓄積しておけば、サンプリング領域に対して
フィルタを完全に適用するときに、蓄積した値に対して再度除算を行って正規化
することができる。
【００４５】 オリジナルのＣＦＡは、ＳＣＩ５２７によって４よりむしろ２を因数としてス
ケーリングされる。当業者であれば、前述の方法を変形して２：１もしくはＮ：
１のスケーリングを容易に実施することが可能であろう。上記の実施を用いれば
、スケーリング後の画像がより迅速に生成されて図６に示した他の画像処理ユニ
ットに渡され、最終的にはバス５６０を介した画像データの分配および画像取り
込みデバイスの出力を高速化する。これは、（フレーム・レートの維持）が重要
になるテレビ会議において使用される４：１スケーリング・オペレーションにと
って特に有利である。スケーリング後の画像の品質もまた、有効なカラー補間が
同時に実行されてフル・カラーのスケーリング後の画像データが得られるという
点において従来の４：１スケーリングより改善される。ＣＦＡがそれぞれｎビッ
トのピクセルを有するとき、スケーリング後の画像内の各スーパー−ピクセルは
、各カラー成分についてｎビットを有することから、それに関連付けされた３×
ｎビットを有することになる。これらのカラー成分値は、希望に応じて結合し、
あるいは個別に送信することができる。スーパー−ピクセルごとに獲得されたス
ケーリング後の画像データは、圧縮ユニット５３０およびエンコーダ５３５に渡
され、それにおいてスケーリング後の画像データは、扱い容易かつ移動容易なブ
ロックに圧縮され、エンコードされる。圧縮ならびにエンコードが行われたデー
タは、その後データ・パッキング・ユニット５４０によってパックされ、バス５
６０を介した転送のためにＤＭＡコントローラ５５０に渡される。バス・テクノ
ロジ、アドレッシング・プロトコルおよびＤＭＡコントローラについては、シス
テム設計の分野において周知であり、所望の応用に合わせて容易に修正／特化す
ることができる。
【００４６】 ＲＡＭテーブル５１６、５２６、５２８、５３２および５３４のそれぞれは、
バス５６０と直接通信が可能であり、それらのデータをロードし、その後、希望
に応じて修正することができる。さらに、これらのＲＡＭテーブルおよびその他
のＲＡＭテーブルを使用し、必要に応じてスケーリング後の画像データを記憶し
てもよい。スケーリング・ユニット５２７の個別のコンポーネント（セレクタ、
シフタ、レジスタ、およびコントロール・アドレス信号）については詳細を示し
ていないが、当業者であれば、容易にこの種のスケーリング・ユニットをインプ
リメントすることができよう。スケーリングおよび同時カラー補間の効率ならび
に容易さは高品質のダウン・スケーリングされたカラー画像を生成するという利
点をもたらし、それにおいては、従来のスケーリングのみのテクニックの場合よ
り優れた方法でエッジの特徴が保存される。以上Ｒ、ＧおよびＢのＣＦＡについ
て本発明の説明を行ったが、ＭＷＹ（マゼンタ、ホワイトおよびイエロ）といっ
た多数のＣＦＡスキームのいずれに対してもそれを適用することは可能である。
【００４７】 図６は、本発明の一実施形態のシステム・ブロック図である。
【００４８】 図示のコンピュータ・システム６１０は、任意の汎用もしくは専用コンピュー
タまたはＰＣ（パーソナル・コンピュータ）等のデータ処理マシンであり、カメ
ラ６３０が接続されている。カメラ６３０はディジタル・カメラ、ディジタル・
ビデオ・カメラ、あるいは任意の画像取り込みデバイスもしくは撮像システム、
またはこれらの組み合わせとすることが可能であり、シーン６４０のセンサ画像
の取り込みに使用される。基本的に、取り込まれた画像は画像処理回路６３２に
よって処理され、その結果、ＲＯＭ、ＲＡＭあるいは固定ディスク等のその他の
記憶デバイスでよい画像メモリ・ユニット６３４内にへの効率的な記憶が可能に
なる。画像メモリ・ユニット６３４内に収められコンピュータ・システム６１０
に渡される画像は、より良好にエッジの特徴を保存することによって、従来のス
ケーリングに起因する画像特徴の消失および独立したカラー補間が著しく軽減さ
れているという点において強化されている。静止画の撮影が可能なほとんどのデ
ィジタル・カメラにおいては、画像がまず記憶され、その後ダウンロードされる
。これによってカメラ６３０は、追加の遅延を招くことなく迅速に次の被写体／
シーンを取り込むことができる。しかしながら、ディジタル・ビデオ・カメラの
場合、特にライブ・テレビ会議に使用されるカメラにおいては、画像を迅速に取
り込むことだけでなく、それを迅速に処理し、かつカメラ６３０から出力するこ
とが重要になる。本発明は、各種実施形態において、相手方の画像処理回路６３
２に対するカラー画像データの高速スループットの提供に適しており、その結果
、本来的にカラー補間を行わない一般的なスケーリング・テクニックに対して全
体的な画像・フレームの転送速度が向上する。
【００４９】 本発明のこの実施形態においては、画像のスケーリングおよびカラー補間が、
画像処理回路６３２内で行われる。画像のスケーリングおよびカラー補間が終了
した後、さらに転送のための圧縮も行われる。転送された画像データは、Ｐｅｎ
ｔｉｕｍ（登録商標）（ペンティアム；Ｉｎｔｅｌ Ｃｏｒｐｏｒａｔｉｏｎ（
インテル・コーポレーション）の製品）等のプロセッサ６１２、およびインスト
ラクション、アドレスおよび結果のデータの記憶／ロードに使用されるＲＡＭ等
のメモリ６１１を用いて解凍される。別の実施形態においては、スケーリング／
カラー補間が、ハードウエア内で直接行われずに、コンピュータ・システム６１
０上で実行されるソフトウエア・アプリケーションによって行われることもある
。カメラ６３０からのダウンロード後にスケーリングされた画像のスーパー−ピ
クセルを生成するために使用されるアプリケーション（１ないしは複数）は、Ｃ
＋＋等の言語によって記述されたソース・コードからコンパイルされた実行可能
ファイルとすることができる。画像のスケーリングに必要なインストラクション
に対応するこの実行可能ファイルのインストラクションは、ディスク６１８また
はメモリ６１１に記憶することができる。当業者であれば、前述した方法に従っ
て画像のスケーリングおよび同時カラー補間を行わせるためにコンピューティン
グ・マシンをプログラムすることについては容易に明らかであろう。さらに本発
明の各種実施形態を、スケーリングおよびカラー補間を提供するビデオ・ディス
プレイ・アダプタあるいはグラフィックス処理ユニット上に実装することも考え
られる。
【００５０】 コンピュータ・システム６１０はプロセッサ６１２とメモリ６１１の間の情報
の転送を容易にするシステム・バス６１３、およびＩ／Ｏバス６１５と結合する
ブリッジ６１４を備えている。Ｉ／Ｏバス６１５は、ディスプレイ・アダプタ６
１６、ディスク６１８および、たとえばシリアル・ポートといったＩ／Ｏポート
６１７等の各種Ｉ／Ｏデバイスを結合する。この種のＩ／Ｏデバイス、バス、お
よびブリッジの多くの組み合わせを本発明の中で使用することが可能であり、図
示した組み合わせは可能性のあるこの種の組み合わせの１つを示しているに過ぎ
ない。
【００５１】 シーン６４０の画像等の画像がカメラ６３０によって取り込まれると、それが
画像処理回路６３２に送られる。画像処理回路６３２は、多くの他の機能の中で
も特に取り込んだ画像のダウン・スケーリングおよび同時カラー補間を実行する
ＩＣおよびその他のコンポーネントからなる。ここで説明したスケーリング／補
間テクニックを、画像メモリ・ユニットを使用してカメラ６３０によって取り込
まれたシーン６４０のオリジナルのＣＦＡを記憶するものとしてもよい。さらに
、この同じメモリ・ユニットを使用して、スケーリング／補間後の画像データを
記憶することもできる。すべてのピクセルのスケーリング、処理およびコンピュ
ータ・システム６１０に対するレンダリングのための転送が完了すると、カメラ
６３０が解放されて、次の画像を取り込むことができる。カラー補間の中で行わ
れるスケーリングの本質から、カメラ６３０を、グレイ・スケールではなくカラ
ーの動画カメラとして機能させることが可能であり、しかも純粋なグレイ・スケ
ール・タイプのカメラとほとんど複雑性に差がない。ユーザまたはアプリケーシ
ョンが画像のダウンロードを希望／要求すると、画像メモリ・ユニット内に記憶
されているスケーリングおよび圧縮の済んだ画像が画像メモリ・ユニット６３４
からＩ／Ｏポート６１７に送られる。Ｉ／Ｏポート６１７は、図示したバス・ブ
リッジ階層構造（Ｉ／Ｏバス６１５からブリッジ６１４、そこからシステム・バ
ス６１３へつながる構造）を使用してスケーリングおよび圧縮の済んだ画像を一
時的にメモリ６１１内に、あるいはオプションとしてディスク６１８内に記憶す
る。
【００５２】 圧縮された画像は、適切なアプリケーション・ソフトウエア（またはハードウ
エア）によりコンピュータ・システム６１０において解凍され、その実行にプロ
セッサ６１２が使用されることもある。その後この画像データは、ディスプレイ
・アダプタ６１６を使用して視覚的なレンダリングが行われて、レンダリング／
スケーリング後のカラー画像６５０となる。スケーリングが行われたカラー画像
は、オリジナルの取り込んだシーンよりサイズにおいて小さく現れる。これは、
センサによるオリジナルの取り込みサイズを必要としない多くの画像への応用に
おいて望ましい。テレビ会議への応用においては、圧縮およびスケーリングが行
われたフォームの画像データが、コンピュータ・システム６１０を除いて、ある
いはそれに加えてネットワークまたは通信システムを介して他方のノードまたは
コンピュータ・システムに渡され、テレビ会議のセッションが催される。本発明
の一実施形態においては、カメラですでにスケーリングおよびカラー補間が行わ
れていることから、画像データを直接、テレビ会議のセッションにおける他のノ
ード（１ないしは複数）に転送することができる通信ポートをカメラ６３０に実
装することができる。コンピュータ・システム６１０のユーザが、モニタ６２０
上における自らのシーンの確認を希望する場合には、スケーリングおよびカラー
補間の済んだ画像データをコンピュータ・システム６１０に渡すとともに、ネッ
トワークを介して他のノードに転送することができる。さらに、本発明の各種の
実施形態によって、望ましい場合には効率的なソフトウエア・スケーリングも可
能になる。すでに述べたように、スケーリング／カラー補間後のカラー画像は、
スケーリング・プロセスおよび実質的に埋め込みプロセスとなるカラー補間の同
時性の本質における強化に起因して、スケーリング・オペレーションにおける一
般的な場合より視覚的に正確なエッジの特徴を有している。モニタ６２０もしく
はテレビ会議セッションにおける他のノードに表示される最終的な結果は、カラ
ー補間を行わない、つまりそのタスクを別のデバイス／プロセスもしくは撮像セ
ッションの段階に任せる一般的なスケーリング方法に比較して質の高いレンダリ
ングされた画像６５０となる。
【００５３】 ここに例として示した実施形態は、本発明の原理を示すためにのみ提供された
ものであり、本発明の範囲を限定するものと考えるべきではない。むしろ本発明
の原理は、広範なシステムに適用されてここで述べた利点を達成し、かつその他
の利点を達成し、あるいはその他の目的を満たすことが可能である。
【図面の簡単な説明】
【図１】 ４：１スケーリングを行うための本発明の一実施形態を示したフローチャート
である。
【図２】 本発明の少なくとも１つの実施形態に従ってスケーリングされるオリジナルの
ＣＦＡ領域を示す。
【図３】 一例として示すレッドのサブ画像のＣＦＡ領域に関するマスクを獲得するため
のフィルタ適用段階を表している。
【図４】 ４：１スケーリングが行われた画像のスーパー−ピクセルにおけるそれぞれの
カラー成分を獲得するために適用される一例のマスクを示す。
【図５】 本発明の一実施形態に従ったブロック図である。
【図６】 本発明の一実施形態のシステム・ブロック図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 11/24 (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ， ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，Ｃ Ｒ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ， ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，Ｋ Ｚ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ， ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，Ｓ Ｌ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CD10 CE17 CH08 5C057 AA01 AA13 BA13 BB00 CA01 CE03 DA01 EA01 EH00 GG04 GJ03 5C065 AA01 BB48 CC01 CC09 DD02 GG13 GG21 GG23 5C066 AA01 BA13 CA00 DD06 EC01 ED09 GA01 KE02 KE03 KE04 KE08 KE13 KE24 KM02

Claims (15)

    【特許請求の範囲】
  1. 【請求項１】 カラー・フィルタ・アレイ（ＣＦＡ）内に開始位置を示すこ
    とによってスケーリング領域を決めるステップ；および、 前記スケーリング領域のダウン・スケーリングしたバージョンである、完全に
    カラー補間されたスーパー−ピクセルを生成するステップであって、前記ダウン
    ・スケーリングおよび前記カラー補間が統合された形で達成されるステップ； を包含する方法。
  2. 【請求項２】 前記ＣＦＡは、各ピクセルを、３つのカラー平面のうちの１
    つだけに関連付けさせることを特徴とする前記請求項１記載の方法。
  3. 【請求項３】 前記カラー平面は、レッド、グリーンおよびブルーであるこ
    とを特徴とする前記請求項２記載の方法。
  4. 【請求項４】 前記ＣＦＡは、バイエル・パターンに配列されることを特徴
    とする前記請求項２記載の方法。
  5. 【請求項５】 前記ダウン・スケーリングは、４対１のダウン・スケーリン
    グであることを特徴とする前記請求項１記載の方法。
  6. 【請求項６】 各スーパー−ピクセルに関するフル・カラー解像度は、各ス
    ーパー−ピクセルがレッド、グリーンおよびブルーの３つのカラー平面すべてに
    関する成分を有していることを示すものとする前記請求項３記載の方法。
  7. 【請求項７】 前記スーパー−ピクセルを生成するステップは： マスクをすべてが同一のカラー平面のピクセルを有するサブ画像領域に適用す
    るステップであって、前記サブ画像領域は、ものとするステップ；および、 前記マスクの結果を正規化し、前記各スーパー−ピクセルのカラー成分を生成
    するステップであって、前記サブ画像領域に関連付けされたカラーの前記カラー
    成分を生成するステップ； を含むことを特徴とする前記請求項１記載の方法。
  8. 【請求項８】 前記マスクは、前記画像領域の中心部分を重視しつつ、前記
    中心部分以外に生じているエッジの特徴を表現する能力を維持するべく構成され
    ることを特徴とする前記請求項１記載の方法。
  9. 【請求項９】 前記カラー平面は、マゼンタ、ホワイトおよびイエロである
    ことを特徴とする前記請求項２記載の方法。
  10. 【請求項１０】 各ピクセルが３つのカラー成分のうちの１つだけに関連付
    けされたＣＦＡピクセルをダウン・スケーリングしたスーパー−ピクセルであっ
    て、それぞれが前記３つのカラー成分のすべてを有するスーパー−ピクセルに変
    換するべく構成された、統合されたスケーリングおよびカラー補間ユニット；を
    備えた装置。
  11. 【請求項１１】 前記統合されたスケーリングおよびカラー補間ユニットに
    結合され、前記スーパー−ピクセルのデータを記憶するべく構成されたメモリを
    備えることを特徴とする前記請求項１０記載の装置。
  12. 【請求項１２】 前記統合されたスケーリングおよびカラー補間ユニットに
    結合される画像センサであって、前記ＣＦＡに関するデータをバイエル・パター
    ンで提供する画像センサを備えることを特徴とする前記請求項１０記載の装置。
  13. 【請求項１３】 前記スケーリングおよびカラー補間ユニットは、撮像デバ
    イスに組み込まれることを特徴とする前記請求項１０記載の装置。
  14. 【請求項１４】 前記撮像デバイスは、ディジタル・カメラであることを特
    徴とする前記請求項１４記載の装置。
  15. 【請求項１５】 インストラクションが記憶されたコンピュータ可読メディ
    アを含むプロダクツであって、前記インストラクションは、実行時に： カラー・フィルタ・アレイ（ＣＦＡ）内に開始位置を示すことによってスケー
    リング領域を決めさせ；および、 ダウン・スケーリングおよび前記カラー補間が統合された形で達成されるよう
    に、前記スケーリング領域のダウン・スケーリングしたバージョンである、完全
    にカラー補間されたスーパー−ピクセルを生成させる インストラクションが記憶されたコンピュータ可読メディアを含むプロダクツ。
JP2000573102A 1998-09-29 1999-09-16 ビデオにおける効率的なカラー表現／回復のための新しいスケーリング・アルゴリズム Expired - Fee Related JP4261062B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/163,022 US6236433B1 (en) 1998-09-29 1998-09-29 Scaling algorithm for efficient color representation/recovery in video
US09/163,022 1998-09-29
PCT/US1999/021538 WO2000019728A1 (en) 1998-09-29 1999-09-16 A new scaling algorithm for efficient color representation/recovery in video

Publications (3)

Publication Number Publication Date
JP2002526999A true JP2002526999A (ja) 2002-08-20
JP2002526999A5 JP2002526999A5 (ja) 2006-11-24
JP4261062B2 JP4261062B2 (ja) 2009-04-30

Family

ID=22588123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000573102A Expired - Fee Related JP4261062B2 (ja) 1998-09-29 1999-09-16 ビデオにおける効率的なカラー表現／回復のための新しいスケーリング・アルゴリズム

Country Status (8)

Country Link
US (1) US6236433B1 (ja)
JP (1) JP4261062B2 (ja)
KR (1) KR100569747B1 (ja)
AU (1) AU5927699A (ja)
DE (1) DE19983600B4 (ja)
GB (1) GB2357927B (ja)
TW (1) TW456153B (ja)
WO (1) WO2000019728A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092664A (ja) * 2014-11-07 2016-05-23 株式会社ニコン デジタルカメラ、画像出力プログラムおよび画像記録プログラム

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6786420B1 (en) 1997-07-15 2004-09-07 Silverbrook Research Pty. Ltd. Data distribution mechanism in the form of ink dots on cards
US6618117B2 (en) 1997-07-12 2003-09-09 Silverbrook Research Pty Ltd Image sensing apparatus including a microcontroller
US6624848B1 (en) 1997-07-15 2003-09-23 Silverbrook Research Pty Ltd Cascading image modification using multiple digital cameras incorporating image processing
US6690419B1 (en) 1997-07-15 2004-02-10 Silverbrook Research Pty Ltd Utilising eye detection methods for image processing in a digital image camera
US6948794B2 (en) 1997-07-15 2005-09-27 Silverbrook Reserach Pty Ltd Printhead re-capping assembly for a print and demand digital camera system
US6879341B1 (en) 1997-07-15 2005-04-12 Silverbrook Research Pty Ltd Digital camera system containing a VLIW vector processor
US7110024B1 (en) 1997-07-15 2006-09-19 Silverbrook Research Pty Ltd Digital camera system having motion deblurring means
AUPP702098A0 (en) 1998-11-09 1998-12-03 Silverbrook Research Pty Ltd Image creation method and apparatus (ART73)
US7030917B2 (en) * 1998-10-23 2006-04-18 Hewlett-Packard Development Company, L.P. Image demosaicing and enhancement system
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing
AUPQ056099A0 (en) * 1999-05-25 1999-06-17 Silverbrook Research Pty Ltd A method and apparatus (pprint01)
US7095164B1 (en) 1999-05-25 2006-08-22 Intel Corporation Display screen
US6992714B1 (en) * 1999-05-31 2006-01-31 Canon Kabushiki Kaisha Image pickup apparatus having plural pixels arranged two-dimensionally, and selective addition of different pixel color signals to control spatial color arrangement
US6697534B1 (en) 1999-06-09 2004-02-24 Intel Corporation Method and apparatus for adaptively sharpening local image content of an image
AUPQ289099A0 (en) * 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
US6658399B1 (en) 1999-09-10 2003-12-02 Intel Corporation Fuzzy based thresholding technique for image segmentation
US6625308B1 (en) 1999-09-10 2003-09-23 Intel Corporation Fuzzy distinction based thresholding technique for image segmentation
US7053944B1 (en) 1999-10-01 2006-05-30 Intel Corporation Method of using hue to interpolate color pixel signals
US7106910B2 (en) * 1999-10-01 2006-09-12 Intel Corporation Color video coding scheme
KR100311482B1 (ko) 1999-10-21 2001-10-18 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
US6812963B1 (en) * 1999-10-29 2004-11-02 Hewlett-Packard Development Company, L.P. Focus and exposure measurement in digital camera using charge binning
US6628827B1 (en) 1999-12-14 2003-09-30 Intel Corporation Method of upscaling a color image
US7158178B1 (en) 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6507350B1 (en) * 1999-12-29 2003-01-14 Intel Corporation Flat-panel display drive using sub-sampled YCBCR color signals
US6748118B1 (en) 2000-02-18 2004-06-08 Intel Corporation Method of quantizing signal samples of an image during same
US6961472B1 (en) 2000-02-18 2005-11-01 Intel Corporation Method of inverse quantized signal samples of an image during image decompression
US6738520B1 (en) * 2000-06-19 2004-05-18 Intel Corporation Method of compressing an image
US7046728B1 (en) 2000-06-30 2006-05-16 Intel Corporation Method of video coding the movement of a human face from a sequence of images
JP5108172B2 (ja) * 2000-09-06 2012-12-26 株式会社ニコン 画像データサイズ変換処理装置、電子スチルカメラ、および画像データサイズ変換処理用記録媒体
US6775413B1 (en) 2000-09-18 2004-08-10 Intel Corporation Techniques to implement one-dimensional compression
US6563439B1 (en) * 2000-10-31 2003-05-13 Intel Corporation Method of performing Huffman decoding
US6636167B1 (en) 2000-10-31 2003-10-21 Intel Corporation Method of generating Huffman code length information
US20020118746A1 (en) * 2001-01-03 2002-08-29 Kim Hyun Mun Method of performing video encoding rate control using motion estimation
US6766286B2 (en) 2001-03-28 2004-07-20 Intel Corporation Pyramid filter
US20020184276A1 (en) * 2001-03-30 2002-12-05 Tinku Acharya Two-dimensional pyramid filter architecture
US6889237B2 (en) * 2001-03-30 2005-05-03 Intel Corporation Two-dimensional pyramid filter architecture
EP1449190B1 (en) * 2001-05-02 2013-07-10 Bitstream, Inc. Methods, systems, and programming for producing and displaying subpixel-optimized images and digital content including such images
US7219309B2 (en) 2001-05-02 2007-05-15 Bitstream Inc. Innovations for the display of web pages
US6989862B2 (en) * 2001-08-23 2006-01-24 Agilent Technologies, Inc. System and method for concurrently demosaicing and resizing raw data images
EP1308888A1 (en) * 2001-11-06 2003-05-07 STMicroelectronics S.r.l. A method of processing digital images
JP2003299112A (ja) * 2002-03-29 2003-10-17 Fuji Photo Film Co Ltd デジタルカメラ
JP3682482B2 (ja) * 2002-04-24 2005-08-10 コニカミノルタフォトイメージング株式会社 撮像装置
US6933971B2 (en) * 2002-05-14 2005-08-23 Kwe International, Inc. Reconstruction of color components in digital image processing
US7379105B1 (en) * 2002-06-18 2008-05-27 Pixim, Inc. Multi-standard video image capture device using a single CMOS image sensor
US20040042551A1 (en) * 2002-09-04 2004-03-04 Tinku Acharya Motion estimation
US7266151B2 (en) * 2002-09-04 2007-09-04 Intel Corporation Method and system for performing motion estimation using logarithmic search
US20040057626A1 (en) * 2002-09-23 2004-03-25 Tinku Acharya Motion estimation using a context adaptive search
US7477781B1 (en) 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
ITTO20021072A1 (it) * 2002-12-10 2004-06-11 St Microelectronics Srl Procedimento e sistema per elaborare segnali video, ad esempio per la visualizzazione su display a colori di piccole dimensioni, relativo prodotto informatico.
US20040196389A1 (en) * 2003-02-04 2004-10-07 Yoshiaki Honda Image pickup apparatus and method thereof
US20040174446A1 (en) * 2003-02-28 2004-09-09 Tinku Acharya Four-color mosaic pattern for depth and image capture
US20040169748A1 (en) * 2003-02-28 2004-09-02 Tinku Acharya Sub-sampled infrared sensor for use in a digital image capture device
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
US7372484B2 (en) * 2003-06-26 2008-05-13 Micron Technology, Inc. Method and apparatus for reducing effects of dark current and defective pixels in an imaging device
FI115587B (fi) * 2003-12-03 2005-05-31 Nokia Corp Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi
US20050185836A1 (en) * 2004-02-24 2005-08-25 Wei-Feng Huang Image data processing in color spaces
US20050207676A1 (en) * 2004-03-16 2005-09-22 Wen-Kuo Lin Method for decimating image data filtered by a bayer pattern color filter array
FI20045157A (fi) * 2004-04-29 2005-10-30 Nokia Corp Menetelmä ja laitteisto digitaalisen matriisikuvan alaspäin skaalaamiseksi
CN100366045C (zh) * 2005-01-11 2008-01-30 北京中星微电子有限公司 一种实现缩放的图像转换方法
KR100630734B1 (ko) * 2005-01-13 2006-10-02 삼성전자주식회사 적응적 ｙ/ｃ 분리를 위한 디지털 영상 신호 처리 장치 및방법
US7364306B2 (en) * 2005-06-20 2008-04-29 Digital Display Innovations, Llc Field sequential light source modulation for a digital display system
US7404645B2 (en) * 2005-06-20 2008-07-29 Digital Display Innovations, Llc Image and light source modulation for a digital display system
US7551177B2 (en) * 2005-08-31 2009-06-23 Ati Technologies, Inc. Methods and apparatus for retrieving and combining samples of graphics information
US20070133902A1 (en) * 2005-12-13 2007-06-14 Portalplayer, Inc. Method and circuit for integrated de-mosaicing and downscaling preferably with edge adaptive interpolation and color correlation to reduce aliasing artifacts
US8005297B2 (en) * 2006-01-18 2011-08-23 Qualcomm Incorporated Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
KR101237157B1 (ko) 2006-05-01 2013-02-25 엘지디스플레이 주식회사 표시장치의 다운 샘플링 방법 및 장치
US8054344B2 (en) * 2006-06-16 2011-11-08 Raytheon Company Imaging system and method with intelligent digital zooming
KR101406562B1 (ko) 2007-05-22 2014-06-12 엘지전자 주식회사 다운 샘플링 장치 및 방법
CN102282586B (zh) * 2009-01-19 2017-05-10 诺基亚技术有限公司 用于减少图像数据的大小的方法和装置
JP5191407B2 (ja) * 2009-01-20 2013-05-08 三洋電機株式会社 画像処理装置
US8284232B2 (en) * 2009-01-30 2012-10-09 Hewlett-Packard Development Company, L.P. Equalization of video streams
US20110032269A1 (en) * 2009-08-05 2011-02-10 Rastislav Lukac Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
US8577185B2 (en) * 2010-03-17 2013-11-05 Samsung Electronics Co., Ltd. Apparatus and method for interpolating and rendering image on mobile devices
US9681017B2 (en) * 2012-11-26 2017-06-13 Nokia Technologies Oy Arrangement for image processing
KR20160149842A (ko) * 2015-06-19 2016-12-28 삼성전자주식회사 영상 처리 방법 및 그 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5053861A (en) * 1989-07-24 1991-10-01 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
US5065229A (en) * 1989-07-24 1991-11-12 Eastman Kodak Company Compression method and apparatus for single-sensor color imaging systems
US5189526A (en) * 1990-09-21 1993-02-23 Eastman Kodak Company Method and apparatus for performing image compression using discrete cosine transform
US5172227A (en) * 1990-12-10 1992-12-15 Eastman Kodak Company Image compression with color interpolation for a single sensor image system
US5168375A (en) * 1991-09-18 1992-12-01 Polaroid Corporation Image reconstruction by use of discrete cosine and related transforms
US5382976A (en) * 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5493335A (en) * 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
US5418565A (en) * 1994-02-15 1995-05-23 Eastman Kodak Company CFA compatible resolution reduction in a single sensor electronic camera
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US5652621A (en) * 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US5778106A (en) * 1996-03-14 1998-07-07 Polaroid Corporation Electronic camera with reduced color artifacts
US5631703A (en) * 1996-05-29 1997-05-20 Eastman Kodak Company Particular pattern of pixels for a color filter array which is used to derive luminance and chrominance values
US5926218A (en) * 1996-06-04 1999-07-20 Eastman Kodak Company Electronic camera with dual resolution sensors
KR200143568Y1 (ko) * 1996-08-30 1999-06-15 양재신 차량용 브레이크 스위치의 장착구조
US5818975A (en) * 1996-10-28 1998-10-06 Eastman Kodak Company Method and apparatus for area selective exposure adjustment
EP1010332B1 (de) * 1996-10-31 2003-03-26 Institut Für Mikroelektronik Stuttgart Lichtempfindliche sensoreinheit für eine elektronische kamera, mit einer flächigen anordnung von bildpunkten sowie verfahren zum auslesen der bildpunkte zur farbsignalverarbeitung
KR100216672B1 (ko) * 1996-12-30 1999-09-01 김영환 칼라 필터 어레이 및 그 신호 처리 회로
US6046772A (en) * 1997-07-24 2000-04-04 Howell; Paul Digital photography device and method
US5914749A (en) * 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016092664A (ja) * 2014-11-07 2016-05-23 株式会社ニコン デジタルカメラ、画像出力プログラムおよび画像記録プログラム

Also Published As

Publication number Publication date
US6236433B1 (en) 2001-05-22
KR100569747B1 (ko) 2006-04-11
DE19983600T1 (de) 2001-10-18
TW456153B (en) 2001-09-21
JP4261062B2 (ja) 2009-04-30
WO2000019728A1 (en) 2000-04-06
GB2357927B (en) 2002-11-27
GB0106060D0 (en) 2001-05-02
KR20010075439A (ko) 2001-08-09
DE19983600B4 (de) 2006-10-19
GB2357927A (en) 2001-07-04
AU5927699A (en) 2000-04-17

Similar Documents

Publication Publication Date Title
JP2002526999A (ja) ビデオにおける効率的なカラー表現／回復のための新しいスケーリング・アルゴリズム
US6348929B1 (en) Scaling algorithm and architecture for integer scaling in video
WO2021088473A1 (en) Image super-resolution reconstruction method, image super-resolution reconstruction apparatus, and computer-readable storage medium
US6366694B1 (en) Integrated color interpolation and color space conversion algorithm from 8-bit Bayer pattern RGB color space to 24-bit CIE XYZ color space
CN101521751B (zh) 摄像设备
KR100855025B1 (ko) 디지털 컬러 행렬 이미지를 다운스케일링하기 위한 방법 및장치
US20050185836A1 (en) Image data processing in color spaces
WO2016045242A1 (zh) 一种图像放大方法、图像放大装置及显示设备
JP2023025085A (ja) カメラの画像処理方法およびカメラ
JP2002516540A (ja) 知覚的に無損失の画像をもたらす２次元離散ウェーブレット変換に基づくカラー画像の圧縮
EP1605400A1 (en) Processing pipeline of pixel data of a color image acquired by a digital sensor
JPH09284798A (ja) 信号処理装置
WO2001026358A1 (en) Demosaicing for digital imaging device using perceptually uniform color space
EP2008238A1 (en) Techniques to facilitate use of small line buffers for processing of small or large images
US20070253626A1 (en) Resizing Raw Image Data Before Storing The Data
TW490590B (en) Method of operating a digital still camera
US20030122937A1 (en) Method for processing digital CFA images, particularly for motion and still imaging
KR20220030877A (ko) 다양한 인트라-프레임 아날로그 비닝을 사용하는 이미지 센서
CN117768774A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN110692240A (zh) 立体拍摄装置
US7158178B1 (en) Method of converting a sub-sampled color image
CN102170571A (zh) 一种支持双通道cmos传感器的数码相机架构
CN113287147A (zh) 一种图像处理方法及装置
JP2004056640A (ja) 補色系単板式カラーディジタルカメラにおける撮像画像の補間方法、その補間装置及びそれを備えたディジタルカメラ
CA2011507A1 (en) Parallel image filtering using convolution

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060912

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060912

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080701

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081001

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20081104

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees