JP2003199119A - ディジタルｃｆａ画像処理方法 - Google Patents
ディジタルｃｆａ画像処理方法Info
- Publication number
- JP2003199119A JP2003199119A JP2002323033A JP2002323033A JP2003199119A JP 2003199119 A JP2003199119 A JP 2003199119A JP 2002323033 A JP2002323033 A JP 2002323033A JP 2002323033 A JP2002323033 A JP 2002323033A JP 2003199119 A JP2003199119 A JP 2003199119A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cfa
- digital
- digital image
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000012545 processing Methods 0.000 title claims abstract description 17
- 230000008569 process Effects 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000003672 processing method Methods 0.000 claims 11
- 230000003287 optical effect Effects 0.000 claims 1
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101150048609 RR21 gene Proteins 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000113 differential scanning calorimetry Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 個々の画像および画像シーケンスの双方を獲
得する装置においてディジタル画像を処理する方法にお
いて、計算時間およびエネルギー消費を減少する。 【解決手段】 ディジタル画像処理方法は、ＣＦＡ（カ
ラーフィルタアレイ）フォーマットにおいて画像を獲得
するステップと、獲得された前記画像の解像度を低下す
るステップとを含み、前記解像度低下ステップは、前記
画像をＣＦＡフォーマットにおいて直接処理する。
得する装置においてディジタル画像を処理する方法にお
いて、計算時間およびエネルギー消費を減少する。 【解決手段】 ディジタル画像処理方法は、ＣＦＡ（カ
ラーフィルタアレイ）フォーマットにおいて画像を獲得
するステップと、獲得された前記画像の解像度を低下す
るステップとを含み、前記解像度低下ステップは、前記
画像をＣＦＡフォーマットにおいて直接処理する。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、ディジタルフォー
マットにおける画像の獲得および処理に関し、特に、例
えば、写真用途に関する個々の画像とビデオ用途に関す
る動画の双方を獲得することを目的とするディジタルカ
メラのような装置において有利に使用可能であるディジ
タルＣＦＡ画像を処理する方法に関する。
マットにおける画像の獲得および処理に関し、特に、例
えば、写真用途に関する個々の画像とビデオ用途に関す
る動画の双方を獲得することを目的とするディジタルカ
メラのような装置において有利に使用可能であるディジ
タルＣＦＡ画像を処理する方法に関する。
【０００２】
【従来の技術】ディジタルスチルカメラすなわちＤＳＣ
は、現在、ディジタル画像を取得するのに使用される最
も一般的な装置の一つである。市場におけるセンサの絶
えず増加する解像度と、低消費ディジタル信号プロセッ
サ（ＤＳＰ）の利用可能性とは、慣例的なカメラによっ
て提供されるのときわめて近い品質および解像度を達成
することができるディジタルカメラの開発を導いた。
は、現在、ディジタル画像を取得するのに使用される最
も一般的な装置の一つである。市場におけるセンサの絶
えず増加する解像度と、低消費ディジタル信号プロセッ
サ（ＤＳＰ）の利用可能性とは、慣例的なカメラによっ
て提供されるのときわめて近い品質および解像度を達成
することができるディジタルカメラの開発を導いた。
【０００３】個々の画像の獲得（“静止画像化”）を行
えるのと同時に、最新のディジタルカメラは、ビデオシ
ーケンスを取得（“動画化”）を行うこともできる。
えるのと同時に、最新のディジタルカメラは、ビデオシ
ーケンスを取得（“動画化”）を行うこともできる。
【０００４】ビデオシーケンスを発生するために、きわ
めて短い間隔において得られた多数の画像（例えば、１
秒あたり１５画像）を取得することが必要である。処理
され、圧縮された画像を、次に、最も一般的なディジタ
ルビデオフォーマット（例えば、ＭＰＥＧ−４）に符号
化する。
めて短い間隔において得られた多数の画像（例えば、１
秒あたり１５画像）を取得することが必要である。処理
され、圧縮された画像を、次に、最も一般的なディジタ
ルビデオフォーマット（例えば、ＭＰＥＧ−４）に符号
化する。
【０００５】個々の画像とビデオシーケンスの双方を獲
得することができる装置において、矛盾する２つの必要
条件が存在する。写真用途、すなわち静止画像化に関し
て、獲得速度およびメモリ占有を犠牲にしても、高解像
度および高品質と大きい処理能力が必要とされる。これ
と相違して、ビデオ用途に関して、解像度と品質を犠牲
にしても、速い獲得速度とメモリ資源の最適化とが必要
とされる。
得することができる装置において、矛盾する２つの必要
条件が存在する。写真用途、すなわち静止画像化に関し
て、獲得速度およびメモリ占有を犠牲にしても、高解像
度および高品質と大きい処理能力が必要とされる。これ
と相違して、ビデオ用途に関して、解像度と品質を犠牲
にしても、速い獲得速度とメモリ資源の最適化とが必要
とされる。
【０００６】同じ意見は、例えば第３世代携帯電話また
はＰＤＡパームトップコンピュータ（ポータブルディジ
タルアシスタンツ）のような未来のマルチメディア通信
端末にも該当し、これらは、個々の画像およびビデオシ
ーケンスの双方を獲得することができるべきである。
はＰＤＡパームトップコンピュータ（ポータブルディジ
タルアシスタンツ）のような未来のマルチメディア通信
端末にも該当し、これらは、個々の画像およびビデオシ
ーケンスの双方を獲得することができるべきである。
【０００７】ディジタル画像は、要素すなわち画素のマ
トリックスによって構成され、各々の画素は、画像の基
本的な断片に対応し、異なった光成分に各々関係する１
つ以上のディジタル値によってあらわされる。
トリックスによって構成され、各々の画素は、画像の基
本的な断片に対応し、異なった光成分に各々関係する１
つ以上のディジタル値によってあらわされる。
【０００８】図１に関して、写真およびビデオ要素に関
するディジタルカメラ１は、レンズおよび絞り３と、そ
の上に前記レンズが実際の光景の画像標本を集中させる
センサ４とを具える獲得ブロック２を含む。
するディジタルカメラ１は、レンズおよび絞り３と、そ
の上に前記レンズが実際の光景の画像標本を集中させる
センサ４とを具える獲得ブロック２を含む。
【０００９】センサ４は、ＣＣＤ（電荷結合素子）また
はＣＭＯＳ形式のいずれのものであるかにかかわりな
く、受けた露光に比例する電圧を各々が発生する光検出
セルのマトリックスを具える集積回路である。
はＣＭＯＳ形式のいずれのものであるかにかかわりな
く、受けた露光に比例する電圧を各々が発生する光検出
セルのマトリックスを具える集積回路である。
【００１０】各々の光検出セルによって発生された電圧
は、Ａ／Ｄコンバータ５によってディジタル値に変換さ
れる。この値を、前記カメラのダイナミクスに応じて
８、１０または１２ビットによって表してもよい。
は、Ａ／Ｄコンバータ５によってディジタル値に変換さ
れる。この値を、前記カメラのダイナミクスに応じて
８、１０または１２ビットによって表してもよい。
【００１１】代表的なセンサにおいて、単一の光検出セ
ルを各々の画素に関係付ける。前記センサを、光検出セ
ルと各々が関係付けられたフィルタ素子のマトリックス
によって構成された光フィルタによって覆う。各々のフ
ィルタ素子は、関係付けられた前記光検出セルに、単色
の赤色光の波長、単色の緑色光の波長および単色の青色
光の波長に対応する光放射を伝導し（その最小部分を吸
収し）、ある成分のみ、すなわち、赤色成分、緑色成分
または青色成分のみがピクセルごとに検出されるように
する。
ルを各々の画素に関係付ける。前記センサを、光検出セ
ルと各々が関係付けられたフィルタ素子のマトリックス
によって構成された光フィルタによって覆う。各々のフ
ィルタ素子は、関係付けられた前記光検出セルに、単色
の赤色光の波長、単色の緑色光の波長および単色の青色
光の波長に対応する光放射を伝導し（その最小部分を吸
収し）、ある成分のみ、すなわち、赤色成分、緑色成分
または青色成分のみがピクセルごとに検出されるように
する。
【００１２】使用されるフィルタの形式は、製造者に応
じて変化し、使用される最も一般的なものは、ベイヤー
フィルタとして知られている。このフィルタにおいて、
ベイヤーパターンとして知られるフィルタ素子の配置
は、図２に示す基本マトリックスＢＭによって決定され
る。
じて変化し、使用される最も一般的なものは、ベイヤー
フィルタとして知られている。このフィルタにおいて、
ベイヤーパターンとして知られるフィルタ素子の配置
は、図２に示す基本マトリックスＢＭによって決定され
る。
【００１３】この形式のフィルタに関して、緑色成分
（Ｇ）は、チェス盤状配置を有するセンサの画素の半分
によって検出され、他の２成分は、交互の行において配
置された残りの画素によって検出される。
（Ｇ）は、チェス盤状配置を有するセンサの画素の半分
によって検出され、他の２成分は、交互の行において配
置された残りの画素によって検出される。
【００１４】アナログ／ディジタルコンバータ５による
画像出力は、画素ごとに１つの成分（Ｒ、ＧまたはＢ）
を具えるため、不完全なディジタル画像である。この画
像のフォーマットは、慣例的に、ＣＦＡ（カラーフィル
タアレイ）と呼ばれる。
画像出力は、画素ごとに１つの成分（Ｒ、ＧまたはＢ）
を具えるため、不完全なディジタル画像である。この画
像のフォーマットは、慣例的に、ＣＦＡ（カラーフィル
タアレイ）と呼ばれる。
【００１５】この画像は、前処理ユニットＰｒｅＰｒｏ
６の入力部に送られ、このユニットは、全体の獲得段の
前またはその最中に活性化し、獲得ブロック２と相互作
用し、不完全なＣＦＡ画像から、自動制御機能、すなわ
ち、オートフォーカス、自動露出、センサ欠陥の補償お
よびホワイトバランス機能を行うのに有用な種々のパラ
メータを算定する。
６の入力部に送られ、このユニットは、全体の獲得段の
前またはその最中に活性化し、獲得ブロック２と相互作
用し、不完全なＣＦＡ画像から、自動制御機能、すなわ
ち、オートフォーカス、自動露出、センサ欠陥の補償お
よびホワイトバランス機能を行うのに有用な種々のパラ
メータを算定する。
【００１６】不完全なＣＦＡディジタル画像は、次に、
いくつかのブロックから成る、ＩＧＰ（画像発生パイプ
ライン）として知られるユニット７に送られる。前記Ｃ
ＦＡ画像から開始して、ＣｏｌｏｒＩｎｔｅｒｐとして
知られるブロック８は、補間処理によって、３つのＲ、
ＧおよびＢ成分に対応する３つの成分の組が各々の画素
と関係する完全なＲＧＢディジタル画像を発生する。こ
の変換を、前記画像の単一平面（ベイヤー)における表
現から、３つの平面（Ｒ，Ｇ，Ｂ）における表現への変
換とみなしてもよい。
いくつかのブロックから成る、ＩＧＰ（画像発生パイプ
ライン）として知られるユニット７に送られる。前記Ｃ
ＦＡ画像から開始して、ＣｏｌｏｒＩｎｔｅｒｐとして
知られるブロック８は、補間処理によって、３つのＲ、
ＧおよびＢ成分に対応する３つの成分の組が各々の画素
と関係する完全なＲＧＢディジタル画像を発生する。こ
の変換を、前記画像の単一平面（ベイヤー)における表
現から、３つの平面（Ｒ，Ｇ，Ｂ）における表現への変
換とみなしてもよい。
【００１７】この画像は、次に、品質を改善するＩｍｇ
Ｐｒｏｃブロック９によって処理される。いくつかの機
能がこのブロック９において行われ、すなわち、露出補
正と、センサ４によって導入されたノイズのフィルタ処
理と、特殊効果の適用と、その数および形式が一般的に
製造者ごとに変化する他の機能とが行われる。
Ｐｒｏｃブロック９によって処理される。いくつかの機
能がこのブロック９において行われ、すなわち、露出補
正と、センサ４によって導入されたノイズのフィルタ処
理と、特殊効果の適用と、その数および形式が一般的に
製造者ごとに変化する他の機能とが行われる。
【００１８】完全で改善された画像は、ブロック１０に
渡され、このブロック１０は、スケーリングブロックと
して知られる。このブロックは、必要ならば、前記画像
の解像度を低下する。前記センサの解像度と等しい最高
の利用可能な解像度を必要とする用途（例えば、高解像
度写真）は、解像度におけるいかなる低下も必要としな
い。しかしながら、例えば、解像度を、例えばフィルム
に関して半減すべき場合、前記スケーリングブロック
は、前記画素の４分の３を除去する。
渡され、このブロック１０は、スケーリングブロックと
して知られる。このブロックは、必要ならば、前記画像
の解像度を低下する。前記センサの解像度と等しい最高
の利用可能な解像度を必要とする用途（例えば、高解像
度写真）は、解像度におけるいかなる低下も必要としな
い。しかしながら、例えば、解像度を、例えばフィルム
に関して半減すべき場合、前記スケーリングブロック
は、前記画素の４分の３を除去する。
【００１９】スケーリング後、前記ＲＧＢ画像は、ブロ
ック１１によって、各々の画素が輝度成分Ｙと２つのク
ロミナンス成分ＣｂおよびＣｒとによって表される対応
するＹＣｄＣｒ画像に変換される。これは、前記ＩＧＰ
において行われる最後のステップである。
ック１１によって、各々の画素が輝度成分Ｙと２つのク
ロミナンス成分ＣｂおよびＣｒとによって表される対応
するＹＣｄＣｒ画像に変換される。これは、前記ＩＧＰ
において行われる最後のステップである。
【００２０】次のブロックは、圧縮／符号化ブロック１
２であり、一般的に、ＪＰＥＧを個々の画像に、ＭＰＥ
Ｇ−４をビデオシーケンスに使用する。
２であり、一般的に、ＪＰＥＧを個々の画像に、ＭＰＥ
Ｇ−４をビデオシーケンスに使用する。
【００２１】
【発明が解決しようとする課題】ビデオ用途に必要な解
像度は、写真用途に必要な解像度より低いが、先行技術
によれば、前記センサおよびＩＧＰは、それにもかかわ
らず、ビデオシーケンスを獲得するのにも最高解像度に
おいて動作する。
像度は、写真用途に必要な解像度より低いが、先行技術
によれば、前記センサおよびＩＧＰは、それにもかかわ
らず、ビデオシーケンスを獲得するのにも最高解像度に
おいて動作する。
【００２２】これは、無駄な計算を招き、この無駄な計
算は、時間およびエネルギーの膨大な消費と、メモリの
不必要な占有とに転化する。本発明の主な目的は、先行
技術のこの問題を回避または制限することである。
算は、時間およびエネルギーの膨大な消費と、メモリの
不必要な占有とに転化する。本発明の主な目的は、先行
技術のこの問題を回避または制限することである。
【００２３】
【課題を解決するための手段】この目的は、本発明によ
れば、低下されるフォトグラムの解像度をＣＦＡフォー
マットにおいて直接準備する方法によって達成される。
れば、低下されるフォトグラムの解像度をＣＦＡフォー
マットにおいて直接準備する方法によって達成される。
【００２４】
【発明の実施の形態】図１のブロックと同一または等価
のブロックを同じ参照符によって示す図３において見ら
れるように、本発明による方法を使用するディジタルカ
メラ１において、解像度を低下することに関して与えら
れたスケーリングアルゴリズム１０は、不完全なＣＦＡ
画像において、３つのＲ、Ｇ、Ｂ平面を再生する補間プ
ロセスの前に、直接作用する。さらに、図３において示
すことができるように、前記スケーリングアルゴリズム
は、拡大縮小されたＣＦＡ画像を与えるようなものであ
る。
のブロックを同じ参照符によって示す図３において見ら
れるように、本発明による方法を使用するディジタルカ
メラ１において、解像度を低下することに関して与えら
れたスケーリングアルゴリズム１０は、不完全なＣＦＡ
画像において、３つのＲ、Ｇ、Ｂ平面を再生する補間プ
ロセスの前に、直接作用する。さらに、図３において示
すことができるように、前記スケーリングアルゴリズム
は、拡大縮小されたＣＦＡ画像を与えるようなものであ
る。
【００２５】スケーリングアルゴリズム１０は、２つの
動作、すなわち、前記画像をアンチエイリアシングディ
ジタルローパスフィルタによって処理する動作と、空間
領域においてサブ標本化する動作とを行う。前記サブ標
本化は、各々の次元における予め決められた係数によっ
て拡大縮小された画像を発生する。
動作、すなわち、前記画像をアンチエイリアシングディ
ジタルローパスフィルタによって処理する動作と、空間
領域においてサブ標本化する動作とを行う。前記サブ標
本化は、各々の次元における予め決められた係数によっ
て拡大縮小された画像を発生する。
【００２６】例えば、Ｍ×Ｎスケーリングは、一方の次
元を係数Ｍによって縮小し、他方の次元を係数Ｎによっ
て縮小する。前記サブ標本化プロセスは、前記画像を、
Ｍ×Ｎの寸法を有する画素の隣接して重ならないブロッ
クに分割するステップと、各々のブロックを、例えば前
記ブロックを構成するＭ×Ｎの画素の強度を平均するこ
とによって得られた強度の単一画素で置き換えるステッ
プとから成る。慣例的なスケーリング技術によれば、前
記隣接ブロックを部分的に重ねることもできる。
元を係数Ｍによって縮小し、他方の次元を係数Ｎによっ
て縮小する。前記サブ標本化プロセスは、前記画像を、
Ｍ×Ｎの寸法を有する画素の隣接して重ならないブロッ
クに分割するステップと、各々のブロックを、例えば前
記ブロックを構成するＭ×Ｎの画素の強度を平均するこ
とによって得られた強度の単一画素で置き換えるステッ
プとから成る。慣例的なスケーリング技術によれば、前
記隣接ブロックを部分的に重ねることもできる。
【００２７】先行技術によれば、解像度低下アルゴリズ
ムは、ＲＧＢ画像において、すなわち、３つの別個の完
全な平面から成る画像において動作する。これらのアル
ゴリズムを前記３つのＲ、Ｇ、Ｂ平面に対応する３つの
モノクロ画像に別々に用いるため、各々の成分を別々に
処理する。
ムは、ＲＧＢ画像において、すなわち、３つの別個の完
全な平面から成る画像において動作する。これらのアル
ゴリズムを前記３つのＲ、Ｇ、Ｂ平面に対応する３つの
モノクロ画像に別々に用いるため、各々の成分を別々に
処理する。
【００２８】本発明において、しかしながら、前記解像
度低下アルゴリズムは、前記Ｒ、Ｇ、Ｂ平面の画素が単
一平面の一部を形成し、ベイヤーパターンマトリックス
にしたがって組み合わされる、不完全なＣＦＡ画像にお
いて動作する。
度低下アルゴリズムは、前記Ｒ、Ｇ、Ｂ平面の画素が単
一平面の一部を形成し、ベイヤーパターンマトリックス
にしたがって組み合わされる、不完全なＣＦＡ画像にお
いて動作する。
【００２９】特に、ＣＦＡ画像において直接作用するス
ケーリングアルゴリズムを、当業者によって、既知のス
ケーリングアルゴリズムを、これらがベイヤーパターン
において直接動作し、異なった色に関係する画素におい
て選択的に作用することができるように適合させること
によって実現することができる。
ケーリングアルゴリズムを、当業者によって、既知のス
ケーリングアルゴリズムを、これらがベイヤーパターン
において直接動作し、異なった色に関係する画素におい
て選択的に作用することができるように適合させること
によって実現することができる。
【００３０】本発明によるスケーリング方法の一例を、
図３ａの参照と共に与える。開始高解像度ＣＦＡディジ
タル画像ＨＲを、最初に、画素のブロックＭ１，Ｍ２，
Ｍ３，...，ＭＮに細分する。
図３ａの参照と共に与える。開始高解像度ＣＦＡディジ
タル画像ＨＲを、最初に、画素のブロックＭ１，Ｍ２，
Ｍ３，...，ＭＮに細分する。
【００３１】次に、各々のブロックＭ１，Ｍ２，Ｍ
３，...，ＭＮを処理し、低解像度画像ＬＲの単一の色
付き画素を発生する。例えば、ベイヤーパターンの配置
（図２におけるマトリックスＢＭを参照）にしたがって
青色、赤色および緑色画素を含むブロックＭ１を処理
し、低解像度画像ＬＲにおける緑色画素Ｇ１を発生す
る。次に、ブロックＭ２を処理し、赤色画素Ｒ１を発生
する、などである。したがって、出力画素は、低解像度
画像ＬＲが依然としてベイヤーＣＦＡ画像であるように
設定された色に関連付けられる。
３，...，ＭＮを処理し、低解像度画像ＬＲの単一の色
付き画素を発生する。例えば、ベイヤーパターンの配置
（図２におけるマトリックスＢＭを参照）にしたがって
青色、赤色および緑色画素を含むブロックＭ１を処理
し、低解像度画像ＬＲにおける緑色画素Ｇ１を発生す
る。次に、ブロックＭ２を処理し、赤色画素Ｒ１を発生
する、などである。したがって、出力画素は、低解像度
画像ＬＲが依然としてベイヤーＣＦＡ画像であるように
設定された色に関連付けられる。
【００３２】好適実施形態において、予め確立された色
（例えば緑色）に関係付けられた“低解像度画素”（例
えばＧ１）を得るために、高解像度ブロック（例Ｍ１に
おける）を、前記低解像度画素（すなわちＧ１）を予め
確立された色を有すると共に前記高解像度ブロックに属
する前記画素のすべての（例えば重み付けされた）平均
として計算することによって処理する。しかしながら、
他の同様の選択も可能である。
（例えば緑色）に関係付けられた“低解像度画素”（例
えばＧ１）を得るために、高解像度ブロック（例Ｍ１に
おける）を、前記低解像度画素（すなわちＧ１）を予め
確立された色を有すると共に前記高解像度ブロックに属
する前記画素のすべての（例えば重み付けされた）平均
として計算することによって処理する。しかしながら、
他の同様の選択も可能である。
【００３３】図１のブロックと同一または等価なブロッ
クを同じ参照符によって示す図４の参照と共に、本発明
による方法を使用する他のディジタルカメラは、写真用
途に関する画像を、ビデオシーケンスフォトグラムと異
なった方法において処理することができる。
クを同じ参照符によって示す図４の参照と共に、本発明
による方法を使用する他のディジタルカメラは、写真用
途に関する画像を、ビデオシーケンスフォトグラムと異
なった方法において処理することができる。
【００３４】ＰｒｅＰｒｏブロック６によって出力され
た最高解像度写真画像に前記既知の技術による処理を行
い、ＪＰＥＧエンコーダ１４に送る。
た最高解像度写真画像に前記既知の技術による処理を行
い、ＪＰＥＧエンコーダ１４に送る。
【００３５】ビデオシーケンスを構成する画像を、スケ
ーリングおよびカラー補間の双方を結合するブロック１
０によって処理する。実際には、アンチエイリアシング
フィルタ処理、アンダサンプリングおよび補間を同時に
行うブロックを形成することができる。実際には、前記
２つの動作（スケーリングおよび補間）の双方をたたみ
こみ行列によって決定することは既知である。単一のた
たみこみ行列を、前記２つのブロックと連続して関係付
けることができ、したがって、全体の処理を単一の動作
において行う。
ーリングおよびカラー補間の双方を結合するブロック１
０によって処理する。実際には、アンチエイリアシング
フィルタ処理、アンダサンプリングおよび補間を同時に
行うブロックを形成することができる。実際には、前記
２つの動作（スケーリングおよび補間）の双方をたたみ
こみ行列によって決定することは既知である。単一のた
たみこみ行列を、前記２つのブロックと連続して関係付
けることができ、したがって、全体の処理を単一の動作
において行う。
【００３６】ブロック１０によって出力されたＲＧＢ信
号を、ブロック１１によって直接ＹＣｒＣｄ信号に変換
し、次に、ＭＰＥＧ符号化ブロック１５に送る。
号を、ブロック１１によって直接ＹＣｒＣｄ信号に変換
し、次に、ＭＰＥＧ符号化ブロック１５に送る。
【００３７】補間後、したがって、ビデオシーケンス画
像は、さらなる調整または処理を受けず、写真画像に起
こることと相違して、この時点において導入されるいか
なる改善も、これらはＭＰＥＧ符号化によって導入され
る品質における損失によってほとんど完全に打ち消され
るため、計算の不必要な浪費を意味する。
像は、さらなる調整または処理を受けず、写真画像に起
こることと相違して、この時点において導入されるいか
なる改善も、これらはＭＰＥＧ符号化によって導入され
る品質における損失によってほとんど完全に打ち消され
るため、計算の不必要な浪費を意味する。
【００３８】上述した本発明は、高解像度の個々のフォ
トグラムも獲得することができる装置によるビデオシー
ケンスの獲得中の計算コスト、エネルギー消費およびメ
モリ占有を減少する。
トグラムも獲得することができる装置によるビデオシー
ケンスの獲得中の計算コスト、エネルギー消費およびメ
モリ占有を減少する。
【００３９】特に、前記スケーリングを前記カラー補間
とは異なる精巧さで保持する実施形態（図３および３ａ
において表す）は、特に有利である。
とは異なる精巧さで保持する実施形態（図３および３ａ
において表す）は、特に有利である。
【００４０】この場合において、実際には、前記スケー
リング後、低下した解像度を有するＣＦＡ画像を、慣例
的な標準画像発生パイプラインによって処理することが
でき、したがって、再設計または修正する必要がない。
さらに、画質の改善に関する処理ルーチン（伝統的にＩ
ＧＰにおいて実施される）を依然として使用することが
でき、低下した解像度を有する高品質な補間された画像
をＩＧＰの出力において与えることができる。
リング後、低下した解像度を有するＣＦＡ画像を、慣例
的な標準画像発生パイプラインによって処理することが
でき、したがって、再設計または修正する必要がない。
さらに、画質の改善に関する処理ルーチン（伝統的にＩ
ＧＰにおいて実施される）を依然として使用することが
でき、低下した解像度を有する高品質な補間された画像
をＩＧＰの出力において与えることができる。
【００４１】加えて、この場合において、前記スケーリ
ング方法に必要な動作は前記アンチエイリアシングフィ
ルタ処理及び色選択サブ標本化（ＣＦＡスケーリング）
のみであるため、これらの動作双方をハードウェアにお
いて行うことができる費用効果的なセンサを簡単に設計
することができる。
ング方法に必要な動作は前記アンチエイリアシングフィ
ルタ処理及び色選択サブ標本化（ＣＦＡスケーリング）
のみであるため、これらの動作双方をハードウェアにお
いて行うことができる費用効果的なセンサを簡単に設計
することができる。
【００４２】これらの理由のため、上述した実施形態
は、画質と、減少した処理の複雑さと、メモリ資源の節
約と、費用効果的な実施との間の最高のトレードオフを
達成することを可能にする。
は、画質と、減少した処理の複雑さと、メモリ資源の節
約と、費用効果的な実施との間の最高のトレードオフを
達成することを可能にする。
【００４３】ＶＧＡセンサ４（６４０×４８０）を有
し、ＭＰＥＧ−４標準にしたがって符号化されたビデオ
シーケンスを得るための図１に示す先行技術によるディ
ジタルカメラの参照と共に、ブロック１０によって実施
されるスケーリングアルゴリズムは、ＶＧＡ画像をＱＣ
ＩＦフォーマット（１７６×１４４）に減少しなければ
ならない。
し、ＭＰＥＧ−４標準にしたがって符号化されたビデオ
シーケンスを得るための図１に示す先行技術によるディ
ジタルカメラの参照と共に、ブロック１０によって実施
されるスケーリングアルゴリズムは、ＶＧＡ画像をＱＣ
ＩＦフォーマット（１７６×１４４）に減少しなければ
ならない。
【００４４】８ビットＡ／Ｄコンバータ５を使用すると
いう仮定で、ＶＧＡベイヤー画像は、３３０キロバイト
のサイズを有する。ＭＰＥＧ−４シーケンスが１秒あた
り１５フォトグラムを必要とするため、ＣｏｌｏｒＩｎ
ｔｅｒｐブロック８は、１３．５メガバイト／秒の出力
ストリームを発生するために４．５メガバイト／秒デー
タストリームを受ける。この巨大な量のデータを、Ｉｍ
ｐＰｒｏｃ９によって処理し、スケーリング後、１．１
４メガバイト／秒のストリームに減少する。
いう仮定で、ＶＧＡベイヤー画像は、３３０キロバイト
のサイズを有する。ＭＰＥＧ−４シーケンスが１秒あた
り１５フォトグラムを必要とするため、ＣｏｌｏｒＩｎ
ｔｅｒｐブロック８は、１３．５メガバイト／秒の出力
ストリームを発生するために４．５メガバイト／秒デー
タストリームを受ける。この巨大な量のデータを、Ｉｍ
ｐＰｒｏｃ９によって処理し、スケーリング後、１．１
４メガバイト／秒のストリームに減少する。
【００４５】本発明によれば、図３に示すようなディジ
タルカメラにおいて、ＣＦＡフォーマットにおける同じ
ＶＧＡセンサ４によって獲得された元の３３０キロバイ
ト画像を、スケーリングブロック１０によってＱＣＩＦ
フォーマットにおける２５キロバイトＣＦＡ画像にすぐ
に減少する。
タルカメラにおいて、ＣＦＡフォーマットにおける同じ
ＶＧＡセンサ４によって獲得された元の３３０キロバイ
ト画像を、スケーリングブロック１０によってＱＣＩＦ
フォーマットにおける２５キロバイトＣＦＡ画像にすぐ
に減少する。
【００４６】このフォーマットにおける１秒あたり１５
画像によって発生された３８０キロバイトストリーム
が、補間ブロック８の入力部において存在する。前記補
間は、前記データのサイズを３倍にし、すなわち、Ｉｍ
ｇＰｒｏｃブロック９は、１．１４メガバイト／秒のみ
のストリームにおいて動作する。
画像によって発生された３８０キロバイトストリーム
が、補間ブロック８の入力部において存在する。前記補
間は、前記データのサイズを３倍にし、すなわち、Ｉｍ
ｇＰｒｏｃブロック９は、１．１４メガバイト／秒のみ
のストリームにおいて動作する。
【００４７】本発明によれば、この例において、前記補
間ブロックおよびＩｍｇＰｒｏｃブロックは、先行技術
によって処理されるより一桁小さいサイズのデータ量を
処理する。
間ブロックおよびＩｍｇＰｒｏｃブロックは、先行技術
によって処理されるより一桁小さいサイズのデータ量を
処理する。
【００４８】与えた計算例は、ＶＧＡセンサ（３０７２
００画素）を仮定し、すなわち、本発明の利点は、計算
上の節約の点において、センサは現在６−７百万画素の
解像度を達しすることができることを憶えている場合、
より明らかである。
００画素）を仮定し、すなわち、本発明の利点は、計算
上の節約の点において、センサは現在６−７百万画素の
解像度を達しすることができることを憶えている場合、
より明らかである。
【図１】 先行技術によるディジタルカメラのブロック
図である。
図である。
【図２】 ベイヤーセンサフィルタの基本的マトリック
スを示す図である。
スを示す図である。
【図３】 本発明による方法を使用する第１のディジタ
ルカメラのブロック図である。
ルカメラのブロック図である。
【図３ａ】 本発明による方法の可能なインプリメンテ
ーションを示す図である。
ーションを示す図である。
【図４】 本発明による方法を使用する第２のディジタ
ルカメラのブロック図である。
ルカメラのブロック図である。
１ ディジタルカメラ
２ 獲得ブロック
３ レンズおよび絞り
４ センサ
５ Ａ／Ｄコンバータ
６ 前処理ユニット
７ ＩＧＰユニット
８ ＣｏｌｏｒＩｎｔｅｒｐブロック
９ ＩｍｇＰｒｏｃブロック
１０ スケーリングブロック
１１ ＲＧＢ／ＹＣｒＣｂ変換ブロック
１２ 圧縮／符号化ブロック
１３ 入出力部
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｈ０４Ｎ 5/91 Ｈ０４Ｎ 1/46 Ｚ
// Ｈ０４Ｎ 101:00 1/40 Ｄ
(71)出願人 502402319
エスティーマイクロエレクトロニクス リ
ミテッド
ＳＴＭＩＣＲＯＥＬＥＣＴＲＯＮＩＣＳ
ＬＴＤ.
イギリス国 イーエイチ12 ７ビーエフ
エディンバラ ピンクヒル エビエイショ
ン ハウス 31
(72)発明者 ミルコ グァルネーラ
イタリア国 カルタニセッタ 93012 ゲ
ラ ヴィア チッセローネ 51
(72)発明者 マッシモ マンクーソ
イタリア国 ミラノ 20051 モンツァ
ヴィア オリアーニ 19
(72)発明者 ジョナサン ハーウィッツ
イギリス国 イーエイチ13 ０エディンバ
ラ スパイロー ストリート 47
(72)発明者 スチュワート スミス
イギリス国 イーエイチ10 エイ エディ
ンバラ ニューバトル テラス 80
(72)発明者 キース ファインドレイター
イギリス国 イーエイチ10 ６エイキュー
エディンバラ コミストン ロード ３
エフアイ 113
Ｆターム(参考） 5C022 AA13 AC42 AC69
5C053 FA08 GB36 GB37 KA25 KA26
LA01
5C065 AA03 BB48 CC01 CC08 CC09
DD02 GG18
5C077 LL16 MM03 MM04 MP08 NP03
PP20 PP32 PP34 RR01 RR19
RR21 TT09
5C079 HB01 HB04 JA12 JA23 LA37
MA17 NA17
Claims (8)
- 【請求項１】 画素の個々のマトリックスによって各々
が表されるＣＦＡ（カラーフィルタアレイ）フォーマッ
トにおけるディジタル画像を処理する方法であって、前
記画像の解像度を前記画素のサブ標本化によって低下す
るステップを含むディジタル画像処理方法において、前
記解像度低下ステップを、前記ディジタルＣＦＡ画像に
おいて直接行い、低下した解像度を有するディジタルＣ
ＦＡ画像を発生することを特徴とするディジタル画像処
理方法。 - 【請求項２】 請求項１に記載のディジタル画像処理方
法において、前記ＣＦＡフォーマットにおけるディジタ
ル画像を、ベイヤーパターン（ＢＭ）にしたがって配置
されたフィルタ素子に関係付けられた光検出素子を有す
る光学センサ（４）によって獲得することを特徴とする
ディジタル画像処理方法。 - 【請求項３】 請求項１または２に記載のディジタル画
像処理方法において、前記解像度低下ステップが、前記
ＣＦＡ画像のアンチエイリアシングディジタルフィルタ
処理を行うステップを含むことを特徴とするディジタル
画像処理方法。 - 【請求項４】 請求項１、２または３に記載のディジタ
ル画像処理方法において、前記解像度低下ステップ後、
前記ＣＦＡ画像に補間ステップを行うことを特徴とする
ディジタル画像処理方法。 - 【請求項５】 請求項４に記載のディジタル画像処理方
法において、前記補間ステップが、Ｒ、Ｇ、Ｂフォーマ
ットにおける完全な画像を発生することを特徴とするデ
ィジタル画像処理方法。 - 【請求項６】 請求項４に記載のディジタル画像処理方
法において、前記補間ステップが、Ｙ、Ｃｒ、Ｃｂフォ
ーマットにおける完全な画像を発生することを特徴とす
るディジタル画像処理方法。 - 【請求項７】 請求項４、５または６に記載のディジタ
ル画像処理方法において、前記ＣＦＡ画像の解像度を低
下するステップと補間ステップとを、上述した機能の双
方を同時に行うたたみこみ行列による前記ＣＦＡ画像の
たたみこみの積に基づく単一のアルゴリズムによって行
うことを特徴とするディジタル画像処理方法。 - 【請求項８】 写真画像およびビデオシーケンス画像を
同じセンサによって獲得する装置の動作方法において、
前記ビデオシーケンス画像を請求項１ないし６のいずれ
か１項に記載のディジタル画像処理方法によって処理
し、前記写真画像を以下のステップ、すなわち、ＣＦＡ
フォーマットにおいて獲得するステップと、前記ＣＦＡ
画像を処理するステップと、その後の処理動作のすべて
を補間された画像において行うために、前記処理ステッ
プのすぐ後に補間するステップとによって処理すること
を特徴とする動作方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01830685:2 | 2001-11-06 | ||
| EP01830685A EP1308888A1 (en) | 2001-11-06 | 2001-11-06 | A method of processing digital images |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003199119A true JP2003199119A (ja) | 2003-07-11 |
Family
ID=8184760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002323033A Pending JP2003199119A (ja) | 2001-11-06 | 2002-11-06 | ディジタルｃｆａ画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20030122937A1 (ja) |
| EP (1) | EP1308888A1 (ja) |
| JP (1) | JP2003199119A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7570810B2 (en) | 2005-02-24 | 2009-08-04 | Seiko Epson Corporation | Method and apparatus applying digital image filtering to color filter array data |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6937274B2 (en) * | 2001-12-17 | 2005-08-30 | Motorola, Inc. | Dynamic range compression of output channel data of an image sensor |
| JP2006074652A (ja) * | 2004-09-06 | 2006-03-16 | Konica Minolta Photo Imaging Inc | 撮像装置 |
| US7525583B2 (en) | 2005-02-11 | 2009-04-28 | Hewlett-Packard Development Company, L.P. | Decreasing aliasing in electronic images |
| DE102005058415A1 (de) | 2005-12-07 | 2007-06-14 | Olympus Soft Imaging Solutions Gmbh | Verfahren zur Farbkorrekturberechnung |
| US7742636B2 (en) * | 2006-01-26 | 2010-06-22 | Nethra Imaging Inc. | Method and apparatus for scaling down a bayer domain image |
| EP2793219A1 (en) | 2007-04-11 | 2014-10-22 | Red.Com, Inc. | Video camera |
| US8237830B2 (en) | 2007-04-11 | 2012-08-07 | Red.Com, Inc. | Video camera |
| US8665316B2 (en) * | 2009-11-24 | 2014-03-04 | Microsoft Corporation | Multi-resolution digital large format camera with multiple detector arrays |
| US9979412B2 (en) | 2013-01-18 | 2018-05-22 | Otis Elevator Company | Encoder resolution reduction |
| WO2014127153A1 (en) | 2013-02-14 | 2014-08-21 | Red. Com, Inc. | Video camera |
| KR102620350B1 (ko) | 2017-07-05 | 2024-01-02 | 레드.컴, 엘엘씨 | 전자 디바이스에서의 비디오 이미지 데이터 처리 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5475425B1 (en) * | 1994-01-25 | 2000-07-25 | Przyborski Production | Apparatus and method for creating video ouputs that emulate the look of motion picture film |
| US6348929B1 (en) * | 1998-01-16 | 2002-02-19 | Intel Corporation | Scaling algorithm and architecture for integer scaling in video |
| US6236433B1 (en) * | 1998-09-29 | 2001-05-22 | Intel Corporation | Scaling algorithm for efficient color representation/recovery in video |
| JP4616429B2 (ja) * | 1999-01-29 | 2011-01-19 | 富士フイルム株式会社 | 画像処理装置 |
| US6404918B1 (en) * | 1999-04-30 | 2002-06-11 | Hewlett-Packard Company | Image demosaicing method utilizing directional smoothing |
| JP4378804B2 (ja) * | 1999-09-10 | 2009-12-09 | ソニー株式会社 | 撮像装置 |
| JP4245782B2 (ja) * | 2000-07-03 | 2009-04-02 | オリンパス株式会社 | 撮像装置 |
| JP4122693B2 (ja) * | 2000-08-09 | 2008-07-23 | 株式会社ニコン | 電子カメラ |
| US6989862B2 (en) * | 2001-08-23 | 2006-01-24 | Agilent Technologies, Inc. | System and method for concurrently demosaicing and resizing raw data images |
| CN1953504B (zh) * | 2005-10-21 | 2010-09-29 | 意法半导体研发（上海）有限公司 | 用于cfa图像插值的自适应分类方法 |
-
2001
- 2001-11-06 EP EP01830685A patent/EP1308888A1/en not_active Withdrawn
-
2002
- 2002-11-06 US US10/290,046 patent/US20030122937A1/en not_active Abandoned
- 2002-11-06 JP JP2002323033A patent/JP2003199119A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7570810B2 (en) | 2005-02-24 | 2009-08-04 | Seiko Epson Corporation | Method and apparatus applying digital image filtering to color filter array data |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1308888A1 (en) | 2003-05-07 |
| US20030122937A1 (en) | 2003-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102892008B (zh) | 双图像捕获处理 | |
| CN108712608B (zh) | 终端设备拍摄方法和装置 | |
| CN110381263B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN100594736C (zh) | 摄像设备及其控制方法 | |
| US8599282B2 (en) | Method and apparatus for generating image | |
| CN110213502B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| WO2012164896A1 (ja) | 画像処理装置及び画像処理方法並びにデジタルカメラ | |
| US8031243B2 (en) | Apparatus, method, and medium for generating image | |
| US20120127336A1 (en) | Imaging apparatus, imaging method and computer program | |
| CN107454322A (zh) | 拍照方法、装置、计算机可存储介质和移动终端 | |
| RU2712436C1 (ru) | Способ обработки rccb-изображения | |
| JP2003199119A (ja) | ディジタルｃｆａ画像処理方法 | |
| Illgner et al. | Programmable DSP platform for digital still cameras | |
| CN107517348A (zh) | 图像的渲染方法和装置 | |
| US7809188B1 (en) | Digital camera and method | |
| US8237829B2 (en) | Image processing device, image processing method, and imaging apparatus | |
| US20080068472A1 (en) | Digital camera and method | |
| CN108259754A (zh) | 图像处理方法及装置、计算机可读存储介质和计算机设备 | |
| CN113824914B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| KR20000057992A (ko) | 디지털 스틸 카메라용 화상 파이프라인 처리 시스템 | |
| CN110930440B (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
| US20100079582A1 (en) | Method and System for Capturing and Using Automatic Focus Information | |
| Lukac | Single-sensor digital color imaging fundamentals | |
| CN115706870B (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| US8150199B2 (en) | Methods and apparatus for image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051102 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070921 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080304 |