JP2012034378A - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
JP2012034378A
JP2012034378A JP2011190922A JP2011190922A JP2012034378A JP 2012034378 A JP2012034378 A JP 2012034378A JP 2011190922 A JP2011190922 A JP 2011190922A JP 2011190922 A JP2011190922 A JP 2011190922A JP 2012034378 A JP2012034378 A JP 2012034378A
Authority
JP
Japan
Prior art keywords
color
information
image
component
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011190922A
Other languages
English (en)
Other versions
JP5206850B2 (ja
Inventor
Kenichi Ishiga
健一 石賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2011190922A priority Critical patent/JP5206850B2/ja
Publication of JP2012034378A publication Critical patent/JP2012034378A/ja
Application granted granted Critical
Publication of JP5206850B2 publication Critical patent/JP5206850B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Television Image Signal Generators (AREA)
  • Color Image Communication Systems (AREA)

Abstract

【課題】色補間処理で必然的に生じる偽色の発生を最小限に抑えた高品質な補間画像を提供する。
【解決手段】複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、第１の画像の表色系とは異なる色成分の第１の型の輝度成分の色情報を生成する第１の型の輝度情報生成手順と、第１の画像の表色系と同じ色成分の第２の型の輝度成分の色情報を生成する第２の型の輝度情報生成手順と、色差成分の色情報を生成する色差情報生成手順と、色の変化の度合いである色勾配を求める色勾配解析手順と、第１の型の輝度情報生成手順により生成された第１の型の輝度情報と第２の型の輝度情報生成手順により生成された第２の型の輝度情報とを、求めた色勾配に基づき、切り替えて用いるか、もしくは、加重合成することによって、輝度成分の色情報を合成する。
【選択図】図１７

Description

本発明は、高精細高画質のデジタルカラー画像を生成する画像処理方法に関する。
単板カラー撮像素子等で色成分が空間的にサンプリングされたカラー画像データに対し色補間処理を行った場合、必ず偽色が発生する。このカラー画像データの画像構造、中でも特に色構造を破壊せずにこの偽色を適応的に除去する方法が国際公開第ＷＯ０２／０６０１８６号に示されている（本願発明者と同一発明者）。この方法では、一旦色差信号を求めて色指標を算出し、色判定することによって無彩色部では強い偽色除去を行い、有彩色部では弱い偽色除去を行う。
しかしながら、国際公開第ＷＯ０２／０６０１８６号による方法では、有彩色部における偽色に対して強力な対応ができないという問題があった。特に高ＩＳＯ感度撮影画像の場合、偽色の振幅が増大することにより、色斑ノイズという形で有彩色部、無彩色部関係なく偽色が出現する。このような場合に、画像全体の偽色の除去が必ずしも十分になされないという問題が生じる可能性があった。
本発明の第１の態様によると、複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に輝度成分の色情報を有する第２の画像に変換する画像処理方法であって、前記第１の画像の複数の色成分の色情報を用いて、零以上の可変な係数による加重加算することによって、前記第１の画像の表色系とは異なる色成分の第１の型の輝度成分の色情報を生成する第１の型の輝度情報生成手順と、前記第１の画像の１つの色成分の色情報を用いて、第１の画像の表色系と同じ色成分の第２の型の輝度成分の色情報を生成する第２の型の輝度情報生成手順と、前記第１の画像の色成分の色情報を用いて、色差成分の色情報を生成する色差情報生成手順と、前記生成した色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、前記第１の型の輝度情報生成手順により生成された第１の型の輝度情報と前記第２の型の輝度情報生成手順により生成された第２の型の輝度情報とを、前記求めた色勾配に基づき、切り替えて用いるか、もしくは、加重合成することによって、輝度成分の色情報を合成する輝度情報合成手順とからなる。
本発明の第２の態様によると、請求項１に記載の画像処理方法において、前記色差情報生成手順で生成された前記色差成分の色情報と前記輝度情報合成手順で合成された輝度成分の色情報を、前記第２の画像として出力する。
本発明の第３の態様によると、請求項１に記載の画像処理方法において、前記第１の型の輝度情報生成手順は、前記第１の画像の複数の色成分の色情報として、少なくとも対象画素位置の色成分の色情報を用いて、前記第１の型の輝度成分の色情報を生成する。
本発明の第４の態様によると、請求項１に記載の画像処理方法において、前記第１の型の輝度情報生成手順は、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算することによって、前記第１の型の輝度成分の色情報を生成する。
本発明の第５の態様によると、請求項１に記載の画像処理方法において、前記第１の型の輝度情報生成手順は、前記第１の画像の複数の色成分の色情報を、一定の色成分比率で加重加算することによって、前記第１の型の輝度成分の色情報を生成する。
第１の実施の形態における電子カメラの機能ブロック図である。 変換対象画素[i,j]にＲ成分の色情報を有する画像データを示す図である。 変換対象画素[i,j]にＢ成分の色情報を有する画像データを示す図である。 変換対象画素[i,j]にＧ成分の色情報を有する画像データを示す図である。 変換対象画素[i,j]にＧ成分の色情報を有する画像データを示す図である。 画像処理部が行う画像データ変換処理の概要を示すフローチャートである。 第１の実施の形態における処理の関係を説明するためのブロック図である。 5x5サイズの分離型フィルタの例を示す図である。 5x5サイズの範囲のメディアン処理の例を示す図である。 仮色差補正フィルタと同一サイズの5x5の範囲で、色勾配を調べている様子を説明する図である。 第２の実施の形態において、仮色差補正フィルタと同一サイズの9x9の範囲で、色勾配を調べている様子を説明する図である。 第３の実施の形態の例２における処理の関係を説明するためのブロック図である。 第４の実施の形態の画像処理部が行う画像データ変換処理の概要を示すフローチャートである。 第４の実施の形態における処理の関係を説明するためのブロック図である。 色差補正ローパスフィルタを示す図である。 色勾配の大きさとＧ成分合成化率の関係を示す図である。 第５の実施の形態の処理の関係を説明するためのブロック図である。 方向指標による９通り分類を示す図である。 変換対象画素がＧ画素の場合において、使用する画素の位置およびその係数（Ｇ位置の輝度生成係数パターン）を図示する図である。 変換対象画素がＲ画素あるいはＢ画素の場合において、方向指標に応じて使用する画素の位置およびその係数（Ｒ、Ｂ位置の輝度生成係数パターン）を図示する図である。 エッジ強調のフィルターを示す図である。 プログラムを、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供する様子を示す図である。
−第１の実施の形態−
（電子カメラの構成）
図１は、第１の実施の形態における電子カメラの機能ブロック図である。電子カメラ１は、Ａ／Ｄ変換部１０、画像処理部１１、制御部１２、メモリ１３、圧縮／伸長部１４、表示画像生成部１５を備える。また、メモリカード（カード状のリムーバブルメモリ）１６とのインタフェースをとるメモリカード用インタフェース部１７および所定のケーブルや無線伝送路を介してＰＣ（パーソナルコンピュータ）１８等の外部装置とのインタフェースをとる外部インタフェース部１９を備える。これらの各ブロックはバス２９を介して相互に接続される。画像処理部１１は、例えば、画像処理専用の１チップ・マイクロプロセッサで構成される。
電子カメラ１は、さらに、撮影光学系２０、撮像素子２１、アナログ信号処理部２２、タイミング制御部２３を備える。撮像素子２１には撮影光学系２０で取得された被写体の光学像が結像し、撮像素子２１の出力はアナログ信号処理部２２に接続される。アナログ信号処理部２２の出力は、Ａ／Ｄ変換部１０に接続される。タイミング制御部２３には制御部１２の出力が接続され、タイミング制御部２３の出力は、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０、画像処理部１１に接続される。撮像素子２１は例えば単板式ＣＣＤなどで構成される。
電子カメラ１は、さらに、レリーズボタンやモード切り換え用の選択ボタン等に相当する操作部２４およびモニタ２５を備える。操作部２４の出力は制御部１２に接続され、モニタ２５には表示画像生成部１５の出力が接続される。
なお、ＰＣ１８には、モニタ２６やプリンタ２７等が接続されており、ＣＤ−ＲＯＭ２８に記録されたアプリケーションプログラムが予めインストールされている。また、ＰＣ１８は、不図示のＣＰＵ、メモリ、ハードディスクの他に、メモリカード１６とのインタフェースをとるメモリカード用インタフェース部（不図示）や所定のケーブルや無線伝送路を介して電子カメラ１等の外部装置とのインタフェースをとる外部インタフェース部（不図示）を備える。
図１のような構成の電子カメラ１において、操作部２４を介し、操作者によって撮影モードが選択されてレリーズボタンが押されると、制御部１２は、タイミング制御部２３を介して、撮像素子２１、アナログ信号処理部２２、Ａ／Ｄ変換部１０に対するタイミング制御を行う。撮像素子２１は、光学像に対応する画像信号を生成する。その画像信号は、アナログ信号処理部２２で所定の信号処理が行われ、Ａ／Ｄ変換部１０でディジタル化され、画像データとして、画像処理部１１に供給される。
本実施の形態の電子カメラ１では、撮像素子２１において、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタがベイア配列されているので、画像処理部１１に供給される画像データはＲＧＢ表色系で示される。画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報が存在することになる。
画像処理部１１は、このような画像データに対し、後述する画像データ変換処理を行う他に、階調変換や輪郭強調などの画像処理を行う。このような画像処理が完了した画像データは、必要に応じて、圧縮／伸長部１４で所定の圧縮処理が施され、メモリカード用インタフェース部１７を介してメモリカード１６に記録される。
なお、画像処理が完了した画像データは、圧縮処理を施さずにメモリカード１６に記録したり、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、操作部２４を介し、操作者によって再生モードが選択されると、メモリカード１６に記録されている画像データは、メモリカード用インタフェース部１７を介して読み出されて圧縮／伸長部１２で伸長処理が施され、表示画像作成部１５を介してモニタ２５に表示される。
なお、伸長処理が施された画像データは、モニタ２５に表示せず、ＰＣ１８側のモニタ２６やプリンタ２７で採用されている表色系に変換して、外部インタフェース部１９を介してＰＣ１８に供給しても良い。また、後述する変換処理が行われた画像データを、モニタ２５、２６やプリンタ２７で採用されている表色系に変換する処理については、公知の技術によって実現できる。
（画像データの変換）
次に、撮像素子２１を介して取得したＲＧＢ表色系の画像データを、高精細高画質な画像データに変換する処理を説明する。撮像素子２１で撮像され、アナログ信号処理部２２、Ａ／Ｄ変換部１０を介して画像処理部１１に入力される画像データは、ベイア配列のＲＧＢ表色系で表され、前述した通り、１つの画素には１つの色成分しか含まれていない。すなわち、被写体のカラー像に関する情報がベイア配列に間引かれていると言える。以下、この画像データを変換前ＲＧＢ画像データとも言う。この変換前ＲＧＢ画像データを、各画素においてＲ成分、Ｇ成分、Ｂ成分を含む高精細高画質な画像データに変換する。すなわち、間引かれた画像データから、高精細高画質な画像データを生成、復元する。
図２〜図５は、変換前ＲＧＢ画像データを説明する図である。図２〜図５は、変換対象画素にどの色成分が配置されているかによって周辺の画素にどの色成分が配置されているかを示している。変換対象画素の座標を[i,j]で表す。図２は変換対象画素[i,j]にＲ成分の色情報を有する場合を示し、図３は変換対象画素[i,j]にＢ成分の色情報を有する場合を示す。図４は変換対象画素[i,j]にＧ成分の色情報を有し、縦方向に隣接する画素にＢ成分の色情報を有し横方向に隣接する画素にＲ成分の色情報を有する場合を示し、図５は変換対象画素[i,j]にＧ成分の色情報を有し、縦方向に隣接する画素にＲ成分の色情報を有し横方向に隣接する画素にＢ成分の色情報を有する場合を示している。
変換前ＲＧＢ画像データにおいて、Ｒ成分の色情報を有する画素をＲ画素、Ｂ成分の色情報を有する画素をＢ画素、Ｇ成分の色情報を有する画素をＧ画素と呼ぶことにする。
図６は、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。図７は、処理の関係を説明するためのブロック図である。図６、図７を使用して、画像処理部１１が行う第１の実施の形態の画像データ変換処理の概要を説明する。
第１の実施の形態の画像データ変換処理は、統計的に被写体実在色の色変化率にくらべ、色モアレ、色斑ノイズ等の色変化率が非常に小さいという性質を利用して、色勾配を指標とした適応的偽色除去処理を行うものである。特に、ベイヤ補間内での適応的偽色除去をする。なお、各ステップの処理は、後にさらに詳細に説明する。
ステップＳ１１では、ベイア面（図７の３０１）、すなわち変換前ＲＧＢ画像データを入力する。ステップＳ１２において、類似度を算出して縦横方向判定を行う（図７の３０２）。ステップＳ１３において、縦横方向判定に基づき、変換前ＲＧＢ画像データの各色成分の色情報を使用して、Ｃｒ、Ｃｂ面、すなわち色差情報Ｃｒ、Ｃｂをすべての画素において生成する（図７の３０３）。
ステップＳ１４では、色勾配を指標として区別するときに偽色の境界が色境界と誤認定されないように仮色差補正を行う（図７の３０４）。ステップＳ１５では、色差情報Ｃｒ、Ｃｂを使用して色勾配解析を行う（図７の３０５）。ステップＳ１６では、色勾配の大きさに応じて、色差補正処理をするか否かを切り替える（図７の３０６）。ステップＳ１６の色差補正を適応的色差補正と言う。ここで、適応的とは、必要に応じて適切にという意味である。適応的色差補正とは、条件によって補正をしたり、補正をしなかったり等することにより、適切に色差補正をするこという。
ステップＳ１７において、ステップＳ１２の方向判定結果に基づき、Ｇ面生成を行う（図７の３０７）。すなわち、すべての画素において、Ｇ色成分の色情報を補間処理により生成する。ステップＳ１８において、ステップＳ１６のＣｒ、Ｃｂ面とステップＳ１７のＧ面とに基づき、ＲＧＢ表色系に変換し（図７の３０８）、変換された画像データを出力する。出力された画像データは、各種の画像処理が施されたりメモリ等に格納されたりする。
なお、変換前ＲＧＢ画像データの画素数と変換後画像データの画素数は同じであり、２次元平面において各画素の位置は１：１で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。
1. 方向判定
1-1. 類似度の算出
入力された変換前ＲＧＢ画像データの各色成分の色情報を使用して、類似度の算出を行い、縦横方向判定を行う。まず、Ｒ画素およびＢ画素において、類似度を算出する。類似度とは、変換対象画素を含む局所領域内の色成分の色情報を使用して、変換対象画素と周辺画素との類似性の度合いを数値化したものである。本実施の形態では、縦方向の類似度と横方向の類似度を求め、縦方向に類似性が強いのか横方向に類似性が強いのかを判定する。色情報とは、撮像素子２１で取得された色信号を、所定の処理を行いデジタル化した値である。例えば、１バイト２５６階調で表される。
画素の座標を[x,y]とし、変換対象画素の座標を[i,j]とする。Ｇ画素の色情報をG[x,y]、Ｒ画素の色情報をR[x,y]、Ｂ画素の色情報をB[x,y]、Ｒ画素の色情報あるいはＢ画素の色情報を代表してZ[x,y]とする。縦方向の類似度Cv[i,j]は式(1)により、横方向の類似度Ch[i,j]は式(2)により求めることができる。
Cv[i,j]={(|G[i,j-1]-Z[i,j]|+|G[i,j+1]-Z[i,j]|)/2
+|G[i,j-1]-G[i,j+1]|}/2 ...(1)
Ch[i,j]={(|G[i-1,j]-Z[i,j]|+|G[i+1,j]-Z[i,j]|)/2
+||G[i-1,j]-G[i+1,j]|}/2 ...(2)
なお、類似度の算出については、各種の方法が提案されており、適宜本実施の形態で使用することができる。
1-2. 類似性判定
次に、類似性判定を行う。上記で求めたCv[i,j]、Ch[i,j]を使用して、変換対象画素の類似性の判定を行う。すなわち、第１の実施の形態では、縦方向に類似性が強いか、横方向に類似性が強いか、縦横不明かの判定を行う。具体的には、条件(3)を満足するときは、縦横類似性が不明として方向指標HV[i,j]=0をセットする。すなわち、縦横の類似度間の差分が閾値Th1以下であれば、縦方向に類似性が強いのか、横方向に類似性が強いのか判定できないことを意味する。Th1は所定の閾値であり、２５６階調のときは１０前後の値とする。画像のノイズが多いときは高めに設定する。
|Cv[i,j]-Ch[i,j]|≦Th1 ...(3)
条件(3)が満足しない場合、すなわち、縦横どちらかの方向の類似性が判定できる場合は、条件(4)を満足するか否かを判定する。条件(4)を満足するときは、縦方向に類似性が強いとして、方向指標HV[i,j]=1をセットする。条件(4)を満足しない場合は、横方向に類似性が強いとして方向指標HV[i,j]=-1をセットする。なお、類似度Cv[i,j]、Ch[i,j]は、値が小さいほど類似性が強いことを示している。
Cv[i,j]<Ch[i,j] ...(4)
2. 色差生成
2-1. Cr面生成
次に、Ｒ画素における色差情報Ｃｒ面生成について説明する。変換前ＲＧＢ画像データのＲ画素の色差情報Ｃｒを求める。このとき、上記で求めた類似性の方向指標HV[i,j]によって異なる式を使用する。HV[i,j]=1のときは式(5)、HV[i,j]=-1のときは式(6)、HV[i,j]=0のときは式(7)を使用してCr[i,j]を求める。
Cr[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1])/2 ...(5)
Cr[i,j]=R[i,j]-(G[i-1,j]+G[i+1,j])/2 ...(6)
Cr[i,j]=R[i,j]-(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ...(7)
2-2. Cr面補間
次に、Ｃｒ面の補間を行う。求めたＲ画素の色差情報Ｃｒを使用して、Ｂ画素、Ｇ画素の色差情報Ｃｒを補間処理によって求める。Ｂ画素に対応する画素の場合は式(8)、Ｇ画素で横方向にＲ画素が隣接する画素に対応する画素の場合は式(9)、Ｇ画素で縦方向にＲ画素が隣接する画素に対応する画素の場合は式(10)を使用して色差情報Ｃｒを求める。
Cr[i,j]=(Cr[i-1,j-1]+Cr[i-1,j+1]+Cr[i+1,j-1]+Cr[i+1,j+1])/4 ...(8)
Cr[i,j]=(Cr[i-1,j]+Cr[i+1,j])/2 ...(9)
Cr[i,j]=(Cr[i,j-1]+Cr[i,j+1])/2 ...(10)
2-3．Cb面生成、補間
色差情報Ｃｂについても、上記色差情報Ｃｒと同様にして求める。このようにして、変換前ＲＧＢ画像データのすべての画素について、色差情報Ｃｒ、Ｃｂを求める。
3. 仮色差補正
2.色差生成で求まった色差面には偽色がふんだんに乗っており、色モアレや高ＩＳＯ感度における色斑ノイズの要因となっている。これらは色構造と区別して適応的に除去されるべきであるが、次節で述べる色勾配を指標として区別するとき、偽色の境界が色境界と誤認定されないように予め仮の除去をしておく。以下に方法を2つを紹介するが、この方法に限らない。
方法1（ローパス処理）
次式(101)(102)および図８は、5x5サイズの分離型フィルタの例を示す。
Horizontal lowpass filtering
tmp_Cr[i,j]={6*Cr[i,j]+4*(Cr[i-1,j]+ Cr[i+1,j])+ Cr[i-2,j]+ Cr[i+2,j]}/16
...(101)
Vertical lowpass filtering
TCr[i,j]={6* tmp_Cr[i,j]+4*(tmp_Cr[i,j-1]+tmp_Cr[i,j+1])
+tmp_Cr[i,j-2]+tmp_Cr[i,j+2]}/16 ...(102)
TCb[i,j]も同様にして求める。
方法2（メディアン処理）
次式(103)および図９は、メディアン処理の例を示す。メディアン処理は、図９に示す5x5のサイズの範囲内ですべての画素値をソーティングし、中央にくる値（中央値）を採用する処理である。
TCr[i,j]=Median{Cr[i+m,j+n]} m=0,±1,±2 n=m=0,±1,±2 ...(103)
4. 色勾配解析
4-１. 色指標の算出
次に、色構造部を破壊しないように、色勾配を調べて偽色と実在色とを判別する。実在色は、3.の仮色差補正処理を加えても偽色に比べコントラストが残りやすいので、その統計的性質から非常に高い確度で区別が可能である。そのときできるだけ精度よく色構造を守るため、実在色間の色コントラストを上げて偽色間の色コントラストを下げるような色指標面を作る。一般に偽色は反対色間で現れやすいので、原色間で色指標を生成するのがよい。すなわち、上述のようにして求まった色差信号Cr[i,j],Cb[i,j]から、次式(104)を使用して画素単位の色を評価するための色指標Cdiff[i,j]に変換する。
Cdiff[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3 ...(104)
上記色指標は、RGB3原色間で組み合わせ可能な全ての色差情報を利用して、色構造の防御性能を向上させている。色差の定義式を展開すると次のようになる。
Cdiff=(|R-G|+|G-B|+|B-R|)/3 ...(105)
4-2. 色勾配の評価
次に、単一の色指標面に色コントラスト情報を押し込めた面内で、次式(106)により、色勾配Cgradを調べる。このとき色勾配検出用の微分フィルタサイズを、仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調べられるようにしている。その結果、色構造非破壊性を高める。図１０は、仮色差補正フィルタと同一サイズの5x5の範囲で、色勾配を調べている様子を説明する図である。
Figure 2012034378
 ここで、mmax=2、nmax=2である。演算を高速化するために、周辺全画素との微分を調べなくても、もう少し間引いた画素間微分に減らしてもよい。
5. 適応的色差補正
次に、次の条件式(107)により、色勾配の大きさに応じて色差補正処理をするか否かを切り替える。色勾配の大きい色境界部は元のCr[i,j]がそのまま使われる。色勾配は、輝度の勾配とは関係ない値である。
if Cgrad[i,j]≦ThG Cr[i,j]=TCr[i,j] ...(107)
このように、色差補正は輝度情報とは独立して、すなわち輝度情報を使用しないで行われる。言い換えれば、色差補正は、輝度情報とは無関係に、色差情報と色勾配のみに基づいて行われる。閾値ThGは、非常に小さな値を設定するだけで、有彩色部、無彩色部を問わず色斑ノイズ、色モアレ発生領域が色差補正対象領域に該当し、色構造部はうまく除外される。256階調のときは5以下程度の値をとる。上記では、色勾配が閾値ThGより大きい場合は、元のCr[i,j]がそのまま使われるとしたが、仮色差補正フィルタより狭い範囲のフィルタをかける場合であってもよい。
6. G面補間
次に、ステップＳ１２で求めた方法判定に基づき、ベイヤ面上のR/B位置におけるGの値を、次式(108)(109)(110)により求める。
if HV[i,j]=1 Gout[i,j]=(G[i,j-1]+G[i,j+1])/2
+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ...(108)
else if HV[i,j]=-1 Gout[i,j]=(G[i-1,j]+G[i+1,j])/2
+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ...(109)
else Gout[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4*Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]
-Z[i+2,j])/8 ...(110)
ZはR位置ではZ=R、B位置ではZ=Bを表す。ベイヤ面上のG位置では、Gout[i,j]=ベイヤ信号そのまま代入する。
7. 表色系変換
適切な偽色除去の加えられたCr,Cb面と、G面の3つの色情報から、次式(111)(112)によりRGB表色系への変換を行う。
Rout[i,j]=Cr[i,j]+Gout[i,j] ...(111)
Bout[i,j]=Cb[i,j]+Gout[i,j] ...(112)
このようにして、第１の実施の形態では、色補間処理で必然的に生じる偽色の発生を最小限に抑えた高品質な補間画像を提供する。とりわけ、画像構造を破壊しない適応的な偽色ノイズ対策を有彩色部、無彩色部関係なく加えることにより、高品質な補間画像を得ることができる。すなわち、色差成分に色勾配を指標として適応的補正処理を加えることにより、偽色の少ない高品質な補間画像を提供できる。
一般に、Bayer配列のように色成分が空間的にサンプリングされたデータを補間して復元した画像は、ナイキスト周波数レベルの輝度成分の変化が激しいところで、上述したような色モアレや高ISO感度時の色斑ノイズが生じやすい。すなわち、ナイキスト周波数レベルの輝度変化を生じているところで、RGBの間で微妙な補間予測誤差が生じ、うなり現象となって現れるのが色モアレである。一方、ナイキスト周波数レベルの輝度変化が一様な平坦部であっても、ランダムノイズの振幅の激しさからナイキスト周波数パターンに近いレベルでの補間予測誤差を生じることによって発生する偽色が、高ISO感度における色斑ノイズの大きな要因となっている。
したがって、第１の実施形態で示したように、輝度成分とは完全に切り離して、色差成分単独の情報のみに基づいて色勾配を調べて偽色除去することにより、これら色モアレや高ISO色斑ノイズを輝度信号の構造に左右されることなくうまく除去することが可能となる。さらに、高ISO感度時に生じている色斑ノイズを、平坦部のみならず、色勾配変化の少ない白黒文字等のエッジ部においてもきれいに除去することができる。
−第２の実施の形態−
第２の実施の形態は、第１の実施の形態の色差補正フィルタを更に強化した例を示す。第１の実施の形態と異なるのは、３．仮色差補正で使用するフィルタと、４．色勾配解析の微分フィルタのみである。仮色差補正のフィルタサイズを大きくするのに伴い、合わせて色勾配判定の微分フィルタも大きくして色構造の破壊を防ぐ。
第２の実施の形態の電子カメラ１の構成、画像処理部１１が行う画像データ変換処理の概要を示すフローチャート、処理の関係を説明するブロック図は、第１の実施の形態の図１、図６、図７と同様であるのでその説明を省略する。
3. 仮色差補正
第２の実施の形態の仮色差補正で使用する補正フィルタは、次の通りである。
方法1（ローパス処理）
次式(113)(114)は、9x9サイズの分離型フィルタの例を示す。
Horizontal lowpass filtering
tmp_Cr[i,j]={70*Cr[i,j]+56*(Cr[i-1,j]+Cr[i+1,j])
+28*(Cr[i-2,j]+ Cr[i+2,j])+8*(Cr[i-3,j]+ Cr[i+3,j])
+(Cr[i-4,j]+ Cr[i+4,j])}/256 ...(113)
Vertical lowpass filtering
TCr[i,j]={70* tmp_Cr[i,j]+56*(tmp_Cr[i,j-1]+tmp_Cr[i,j+1])
+28*(tmp_Cr[i,j-2]+tmp_Cr[i,j+2])+8*(tmp_Cr[i,j-3]+tmp_Cr[i,j+3])
+tmp_Cr[i,j-4]+tmp_Cr[i,j+4]}/256 ...(114)
TCb[i,j]も同様。
方法2（メディアン処理）
次式(115)は、メディアン処理の例を示す。
TCr[i,j]=Median{Cr[i+m,j+n]} m=0,±1,±2,±3,±4 n=m=0,±1,±2,±3,±4 ...(115)
4. 色勾配解析
4-１. 色指標の算出
色指標は、第１の実施の形態と同様にして求める。
4-2. 色勾配の評価
次式(116)により、色勾配Cgradを調べる。このとき色勾配検出用の微分フィルタサイズを、仮色差補正フィルタのサイズと同一にして破壊の可能性がある範囲は全て調べられるようにしている。その結果、色構造非破壊性を高める。図１１は、仮色差補正フィルタと同一サイズの9x9の範囲で、色勾配を調べている様子を説明する図である。
Figure 2012034378
 ここで、mmax=4、nmax=4である。この場合も実施の形態１と同様に、間引いたフィルタにしてもよい。
このようにして、第２の実施の形態では、第１の実施の形態の色差補正フィルタを更に強化しながら、第１の実施の形態と同様な効果を奏する。特に、色差補正フィルタサイズを第１の実施の形態の5x5サイズよりも大きい9x9サイズとしているので、より長周期にわたって発生する偽色（色モアレや色斑）を除去できる効果を奏する。
−第３の実施の形態−
第１の実施の形態および第２の実施の形態では、色補間途中の信号処理として説明をした。第３の実施の形態は、補間済のデータに対して本発明を適用するものである。例えば、電子カメラ内で補間して出力されたJPEGデータなどがある。この場合の例について、以下３通りほど示す。第３の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
（例１）
１）色空間変換
補間済RGBデータを、以下の定義のGCbCrデータに変換する。
Cr=R-G ...(117)
Cb=B-G ...(118)
G成分はそのまま。
２）色勾配判定法による適応的偽色除去
第１の実施の形態あるいは第２の実施の形態の「3. 仮色差補正」〜「7. 表色系変換」の処理をそのまま行う。
（例２）
補間済データは通常、絵作りのための色補正処理が加わっている。これらの影響を少なくして色勾配判定するため、例１の色空間変換ではなく、Lab空間に変換する。Luv空間等であってもよい。図１２は、例２における処理の関係を説明するためのブロック図である。
１）色空間変換
補間済RGBデータ（図１２の４０１）をLabデータに変換する（図１２の４０２）。
２）色勾配判定法による適応的偽色除去
第１の実施の形態の図７と本実施の形態の図１２において、仮色差補正３０４は仮ａｂ面補正４０３に対応し、色勾配解析３０５は色勾配解析４０４に対応し、適応的色差補正３０６は適応的色差補正４０５に対応し、表色系変換３０８は色空間変換４０６に対応する。第１の実施の形態あるいは第２の実施の形態の「3. 仮色差補正」〜「7. 表色系変換」の処理において、Cb,Crをa,bに置き換えて行う。単純に置き換えができないところだけ以下で定義する。
４．色勾配解析（図１２の４０４）
色指標Cdiffを、次式(119)あるいは次式(120)により求める。
Figure 2012034378
（例３）
例２のように色勾配を調べるために用いる色空間と色差補正処理する色空間が一致していなくてもよい。色差補正処理する色空間を例えば、Lab 空間のab面やYIQ空間のIQ面とする。色勾配を見るため、ab面やIQ面で色差補正を行った後、色空間を例えばHSV空間やLCH空間に変換する。変換後、以下の式(121)や式(122)により、輝度成分以外の色度（chromaticity）成分の変化をみて色勾配を求める。HSV空間のH,SやLCH空間のC,Hが色度成分（情報）である。色度（chromaticity）とは、簡単に言うと明るさを除いた色の性質を言う。色差（chrominance）も色度（chromaticity）に含まれる概念である。
HSV空間の場合
Cgrad[i,j]=|grad(S[i,j])|+|grad(H[i,j])| ...(121)
LCH空間の場合
Cgrad[i,j]=|grad(C[i,j])|+|grad(H[i,j])| ...(122)
ただし、gradは第１の実施の形態や第２の実施の形態で定義した演算子である。
このように、第３の実施の形態では、色度成分を有する色空間において、該色度成分に基づき色勾配を求めている。そして、求めた色勾配に基づき、第１の実施の形態と同様に適応的に色差補正を行う。これにより、第１の実施の形態と同様な効果を奏する。
−第４の実施の形態−
第４の実施の形態は、色勾配判定による輝度成分生成法の切替えについて説明する。第４の実施の形態の電子カメラ１の構成は、第１の実施の形態の図１と同様であるのでその説明を省略する。
従来、ベイヤ配列のカラーフィルタを備えた撮像素子で撮像されたカラー画像を補間する技術として、米国特許第5,382,976号が知られている。これは、ベイヤ面の方向性を調べながらG面を補間し、R,B面の補間はG面になぞらえてG面の高周波成分をR,B面に上乗せする方式である。R,B面の補間は、一旦色差面R-G,B-Gの空間に移行し、色差面で補間してからG面を加算して元のR,Bに戻すのと等価である。しかしながら、G面の補間は補間対象画素近傍に存在するG成分の平均値だけで補間しているため、凹凸のある構造物をうまく予測することができず、斜め線に対してはいわゆる斜線ジャギーが発生してしまう問題がある。
これに対処する１つの方法として、米国特許第5,629,734号に示されるように、G成分の補間においてもG面をR,B面になぞらえる方法がある。これは色差R-G,B-Gが常に一定と仮定し、R,G,Bが全て同様の振る舞いをするとの前提の下に組み立てられうるアルゴリズムである。
一方、別の対処方法として、本願発明者が発明した国際公開第02/071761号に開示された方法がある。この方法では、輝度成分をG面で補間するのではなく、RGBが加重合成された別の色空間の輝度成分に直接変換する段階で、中心画素の凹凸情報を取り込んで斜線ジャギー対策する。
しかしながら、米国特許第5,629,734号のような対処を施した場合、色差一定の仮定が成り立たない色境界部では、復元画像に破綻を来す問題がある。すなわち、G補間時の近傍G平均値に対するRもしくはB成分による補正項が逆に悪さをし、過補正が生じて色境界部の至る所で黒や白のブツブツ状のもの（オーバーシュート）が発生する。
一方の国際公開第02/071761号の方式では、米国特許第5,629,734号に比べ遥かに色境界部で問題を起こさせずに斜線ジャギー対策を可能とする。しかし、ごくまれにある特定の色組み合わせに当てはまる境界部で、筋状の縦縞、横縞（色境界ジャギー）が発生する場合がある。
第４の実施の形態の画像処理方法は、このような色境界部の問題を解決しつつ、斜線ジャギー対策も施された高精細高画質なカラー画像を生成する画像処理方法を提供する。
図１３は、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートである。図１４は、処理の関係を説明するためのブロック図である。図１３、図１４を使用して、画像処理部１１が行う画像データ変換処理の概要を説明する。
ステップＳ１では、ベイア面（図１４の１０１）、すなわち変換前ＲＧＢ画像データを入力する。ステップＳ２において、変換前ＲＧＢ画像データの各色成分の色情報を使用して、Ｃｒ、Ｃｂ面、すなわち色差情報Ｃｒ、Ｃｂをすべての画素において生成する（図１４の１０３）。このとき類似度を算出して縦横方向判定を行い（図１４の１０２）、縦横方向判定に基づき色差情報Ｃｒ、Ｃｂを生成する。
ステップＳ３では、色差情報Ｃｒ、Ｃｂを使用して色勾配解析を行う（図１４の１０４）。色勾配解析は、まず、該当画素が無彩色画素なのか、有彩色画素なのか、有彩色の場合はその彩色度がどの程度かなどの色を評価する色指標を求める。すべての画素について色指標を求め、色指標面を生成する。各画素について、該当画素の色指標と周辺画素の色指標とに基づき、色勾配をもとめ色境界があるかどうか解析する。色勾配とは、色の変化の度合いである。
ステップＳ４において、Ｇ面生成１を行う（図１４の１０５）。すなわち、すべての画素において、Ｇ色成分の色情報を補間処理により生成する。Ｇ面生成１の補間方法は、斜線解像が可能な方法である。すなわち、斜線ジャギーを発生させない補間方法である。次に、ステップＳ５において、Ｇ面生成２を行う（図１４の１０６）。Ｇ面生成１と同様に、すべての画素において、Ｇ色成分の色情報を補間処理により生成する。Ｇ面生成２の補間方法は、斜線ジャギーの発生の可能性はあるが色境界部での問題が発生しない補間方法である。
ステップＳ６において、ステップＳ３の色勾配解析結果に基づき、ステップＳ４のＧ面生成１とステップＳ５のＧ面生成２の補間結果を合成する（図１４の１０７）。例えば、色勾配が弱いとき、すなわち色の変化が平坦であるときは、Ｇ面生成１の補間結果を使用し、色勾配が強いとき、すなわち色境界部では、Ｇ面生成２の補間結果を使用する。あるいは、色勾配に応じた加重係数で、Ｇ面生成１の補間結果とＧ面生成２の補間結果を加算する。
ステップＳ７において、ステップＳ２のＣｒ、Ｃｂ面とステップＳ６のＧ面とに基づき、ＲＧＢ表色系に変換し（図１４の１０８）、変換された画像データを出力する。出力された画像データは、各種の画像処理が施されたりメモリ等に格納されたりする。
なお、変換前ＲＧＢ画像データの画素数と変換後画像データの画素数は同じであり、２次元平面において各画素の位置は１：１で対応する。ところで、上述した全ての画素における画像データ変換処理は、着目する局所領域における画像データ変換処理を繰り返すことにより達成される。従って、ここからは、着目領域での局所的に満たす関係式を用いて話を進める。以下、これらの処理の詳細について説明する。
以下「1-2-3．Cb面生成、補間」までの処理は、第１の実施の形態と同様であるので、説明を省略する。
1. Cr,Cb色差面生成
1-1. 方向判定
1-1-1. 類似度の算出
1-1-2. 類似性判定
1-2. 色差生成
1-2-1. Cr面生成
1-2-2. Cr面補間
1-2-3．Cb面生成、補間
1-2-4. 色差補正
色評価に先立ち色差情報Ｃｒ、Ｃｂの補正を行う。色評価を正確に行うため、前述のようにして取得したＣｒ、Ｃｂの色差面に生じている偽色を除去するためである。色差メディアンフィルタを使用してもよいが、第４の実施の形態では、以下の式(11)および図１５で示されるローパスフィルタを使用する。この処理は、偽色を除去するという目的を高速に達成することができる。なお、他の方法によって偽色を除去するようにしてもよい。
Cr[i,j]={4* Cr[i,j]
+2*(Cr[i-2,j]+ Cr[i+2,j]+Cr[i,j-2]+ Cr[i,j+2])
+1*(Cr[i-2,j-2]+Cr[i+2,j-2]+Cr[i-2,j+2]+Cr[i+2,j+2])}/16 ...(11)
Cb[i,j]も同様にして求める。
2. 色勾配解析
2-１. 色指標の算出
上述のようにして求まった色差情報Cr[i,j],Cb[i,j]から、式(12)を使用して画素単位の色を評価するための色指標Cdiff[i,j]を求める。
Cdiff[i,j]=(|Cr[i,j]|+|Cb[i,j]|+|Cr[i,j]-Cb[i,j]|)/3 ...(12)
色指標は、その値により無彩色か有彩色か、有彩色の場合低彩色か高彩色かの彩度を評価することができる。上記色指標は、RGB3原色間で組み合わせ可能な全ての色差情報を利用して、その精度を向上させている。色差を展開すると次の式(13)のようになる。本実施の形態では、この色指標を使用することにより、あらゆる色境界がまんべんなく見つかる。
Cdiff=(|R-G|+|G-B|+|B-R|)/3 ...(13)
2-2. 色勾配の評価
このようにベイヤ復元画像で予測される色が精度よく求まった段階で、従来技術の問題として浮上している色境界部を識別するため、色指標の面内で色の勾配を調べる。変換対象画素[i,j]における色勾配をgrad_Cdiff[i,j]で表すと、次式(14)により求めることができる。
grad_Cdiff[i,j]=
(|Cdiff[i-1,j]-Cdiff[i,j]|+|Cdiff[i+1,j]-Cdiff[i,j]|
＋|Cdiff[i,j-1]-Cdiff[i,j]|＋|Cdiff[i,j+1]-Cdiff[i,j]|
＋|Cdiff[i-1,j-1]-Cdiff[i,j]|＋|Cdiff[i+1,j+1]-Cdiff[i,j]|
＋|Cdiff[i-1,j+1]-Cdiff[i,j]|＋|Cdiff[i+1,j-1]-Cdiff[i,j]|)/8 ...(14)
式(14)の色勾配の演算には、あらゆる方向の色境界部を同時に検知するため、隣接する全ての画素との差分を求める等方型の一次微分フィルタを用いた。このように複数の方向に等方的に微分をほどこすのは、すべての方向のエッジを検出するためである。なお、差分の差分を求める二次微分フィルタを用いてもよい。一次微分では立ち上がりあるいは立ち下がりのエッジを見つけ、二次微分では山あるいは谷を見つけることができる。
3. G面生成1
前述した方向判定で求めた方向指標HV[i,j]に基づいて、変換前ＲＧＢ画像データのＲ画素[i,j]あるいはＢ画素[i,j]における、Ｇ色成分の色情報G[i,j]を求める。すなわち、Ｒ画素あるいはＢ画素における欠落するＧ成分の色情報を補間処理により求める。Ｇ面生成１で求める補間方法は、斜線解像が可能な、すなわち斜線ジャギーの発生をおさえることが可能な補間方法である。ただし、色境界部での問題は生じる可能性のある補間方法である。この補間方法で求まるＧ補間値をg1とする。
方向指標HV[i,j]=1のとき、すなわち縦方向に類似性が強いと判断されたとき、式(15)を使用してg1[i,j]を求める。方向指標HV[i,j]=-1のとき、すなわち横方向に類似性が強いと判断されたとき、式(16)を使用してg1[i,j]を求める。方向指標HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式(17)を使用してg1[i,j]を求める。
g1[i,j]=(G[i,j-1]+G[i,j+1])/2+(2*Z[i,j]-Z[i,j-2]-Z[i,j+2])/4 ...(15)
g1[i,j]=(G[i-1,j]+G[i+1,j])/2+(2*Z[i,j]-Z[i-2,j]-Z[i+2,j])/4 ...(16)
g1[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(4*Z[i,j]-Z[i,j-2]-Z[i,j+2]-Z[i-2,j]-Z[i+2,j])/8 ...(17)
なお、ZはＲ画素ではZ=R、Ｂ画素ではZ=Bを表す。
変換前ＲＧＢ画像データのＧ画素[i,j]におけるg1[i,j]は、Ｇ画素[i,j]の値をそのまま使用する。
4. G面生成2
Ｇ面生成１と同様に、前述した方向判定で求めた方向指標HV[i,j]に基づいて、変換前ＲＧＢ画像データのＲ画素[i,j]あるいはＢ画素[i,j]における、Ｇ色成分の色情報G[i,j]を求める。すなわち、Ｒ画素あるいはＢ画素における欠落するＧ成分の色情報を補間処理により求める。Ｇ面生成２で求める補間方法は、斜線ジャギー発生の問題はあるが、色境界部での問題は生じない補間方法である。この補間方法で求まったＧ補間値をg2とする。
方向指標HV[i,j]=1のとき、すなわち縦方向に類似性が強いと判断されたとき、式(18)を使用してg2[i,j]を求める。方向指標HV[i,j]=-1のとき、すなわち横方向に類似性が強いと判断されたとき、式(19)を使用してg2[i,j]を求める。方向指標HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式(20)を使用してg2[i,j]を求める。
g2[i,j]=(G[i,j-1]+G[i,j+1])/2 ...(18)
g2[i,j]=(G[i-1,j]+G[i+1,j])/2 ...(19)
g2[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4 ...(20)
変換前ＲＧＢ画像データのＧ画素[i,j]におけるg2[i,j]は、Ｇ画素[i,j]の値をそのまま使用する。
ここで、式(18)〜式(20)の別解として、斜線ジャギーの抑制がある程度可能な以下の式(21)〜式(23)のような工夫を加えてもよい。Ｇ色成分の補間において凹凸情報をＧ色成分自身で予測するので、色境界部での問題は式(18)〜式(20)と同様、全く起こらない。方向指標HV[i,j]=1のとき、すなわち縦方向に類似性が強いと判断されたとき、式(21)を使用してg2[i,j]を求める。方向指標HV[i,j]=-1のとき、すなわち横方向に類似性が強いと判断されたとき、式(22)を使用してg2[i,j]を求める。方向指標HV[i,j]=0のとき、すなわち縦横類似性が不明と判断されたとき、式(23)を使用してg2[i,j]を求める。
g2[i,j]=(G[i,j-1]+G[i,j+1])/2
+(2*G[i-1,j]-G[i-1,j-2]-G[i-1,j+2])/8
+(2*G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/8 ...(21)
g2[i,j]=(G[i-1,j]+G[i+1,j])/2
+(2*G[i,j-1]-G[i-2,j-1]-G[i+2,j-1])/8
+(2*G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/8 ...(22)
g2[i,j]=(G[i,j-1]+G[i,j+1]+G[i-1,j]+G[i+1,j])/4
+(2*G[i-1,j]-G[i-1,j-2]-G[i-1,j+2])/16
+(2*G[i+1,j]-G[i+1,j-2]-G[i+1,j+2])/16
+(2*G[i,j-1]-G[i-2,j-1]-G[i+2,j-1])/16
+(2*G[i,j+1]-G[i-2,j+1]-G[i+2,j+1])/16 ...(23)
5. G面合成
5-1. 加重比率の決定
前述の通り2通りのG面生成法を示したが、通常はG面生成1で求められた斜線ジャギー対策が可能なG補間値g1を用い、問題の生じる色境界部ではG面生成2で求められたG補間値g2を用いる。この切り替えの加重比率として前述の色勾配を用いる。画素[i,j]におけるg1の加重比率を1-λ、g2の加重比率をλとすると、λの値は以下式(24)〜式(26)により決定する。
if grad_Cdiff[i,j]≦th1 λ[i,j]=0 ...(24)
else if grad_Cdiff[i,j]≦th2 λ[i,j]=grad_Cdiff[i,j]/th2 ...(25)
else λ[i,j]=1 ...(26)
これを模式図で示すと図１６のようになる。閾値th1、th2の値は、256階調で表されているとき、th1=0〜4、th2=6〜10のような値を採るとよい。すなわち、色勾配の小さいところではg1を用い、色勾配の大きいところではg2を用い、その中間的なところでは色勾配の大きさそのものを指標として加重合成している。場合によってはth1=th2としてg1,g2の切り替えのみで中間部分を省略しても良い。
5-2. 加重合成処理
上記加重比率λを用いて2通りのG補間値g1,g2を、式(27)により加重合成する。
G[i,j]=(1-λ[i,j])*g1[i,j]+λ[i,j]*g2[i,j] ...(27)
6. 表色系変換
式(8)〜式(10)で求まったCr,Cb面、あるいは、式(11)により適切な色差補正の加えられたCr,Cb面と、式(27)で求まったG面の3つの色情報から式(28) 式(29)によりRGB表色系への変換を行う。
R[i,j]=Cr[i,j]+G[i,j] ...(28)
B[i,j]=Cb[i,j]+G[i,j] ...(29)
このように色勾配の強度に応じて補間法を変えることにより、斜線ジャギー対策と色境界部での破綻の抑制を両立する画像生成、復元が可能となる。特に、第４の実施の形態では、従来技術で問題となる色境界部での黒や白のブツブツ状のもの（オーバーシュート）の発生を抑えることができる。従って、偽構造の少ない高品質な補間画像を提供できる。
−第５の実施の形態−
第４の実施の形態では、一般的な補間処理の考え方を採用してＧ面生成１を行った。しかし、第５の実施の形態では、第４の実施の形態とは異なる別方式でＧ面生成１を行う例を示す。第５の実施の形態で行うＧ面生成１は、基本的には、国際公開第02/071761号に開示された方法に基づくものである。
第５の実施の形態の電子カメラ１の構成は、第４の実施の形態の図１と同様であるのでその説明を省略する。また、画像処理部１１が行う画像データ変換処理の概要を示すフローチャートは、第４の実施の形態の図１３のステップＳ３の色勾配解析とステップＳ４のＧ面生成１の内容が異なるのみである。従って、第５の実施の形態のフローチャートは省略し、図１３を参照することとする。
図１７は、第５の実施の形態における処理の関係を説明するためのブロック図である。第４の実施の形態の図１４と異なるところは、斜め方向判定２０１が追加され、Ｇ面生成１（２０２）は縦横方向判定１０２と斜め方向判定２０１の結果に基づいて行うところである。また、色勾配解析２０３の内容が第４の実施の形態の色勾配解析１０４と異なる。以下、この色勾配解析２０３（ステップＳ３）とＧ面生成１（２０２）（ステップＳ４）を中心に第５の実施の形態を説明する。
1. Cr,Cb色差面生成
Cr,Cb色差面生成は第４の実施の形態と同様である。Cr,Cb色差面生成では、第４の実施の形態と同様に、類似性の判定は縦横方向判定を使用する。
2. 色勾配解析
2-１. 色指標の算出
Cr,Cb色差面生成で求まった色差情報Cr[i,j],Cb[i,j]から、画素単位の色を評価するための色指標Cdiff[i,j]を求める。ところで、第４の実施の形態では、オーバーシュートの生じるあらゆる色境界を検出する必要があったが、第５の実施の形態では、後述するY面生成時に起きる筋状の縦縞、横縞発生箇所を抽出し、その箇所には別方式で対処することを狙いとしている。
これは、第５の実施の形態では、基本的に、国際公開第02/071761号に開示された方法に基づきＧ面生成１を行うので、米国特許第5,629,734号に比べ遥かに色境界部の問題を起こさせずに斜線ジャギー対策を可能とするためである。しかし、第５の実施の形態のＧ面生成１であっても、ある特定の色組み合わせに当てはまる境界部で、筋状の縦縞、横縞（色境界ジャギー）が発生する場合がある。これは、赤と青の色境界、緑とオレンジの色境界、ピンクと水色の色境界、白と黄色の色境界等で、筋状の縦縞、横縞（色境界ジャギー）が発生する可能性がある。中でも反対色間の対で起こりやすいことが分かった。これは、方向性を考慮してRGB一定比率で合成することにより通常の色境界部や斜め線構造物では滑らかに連結しているはずの輝度面が、特定の色の組み合わせ領域では、RGB色の色情報が相互に干渉しあって、合成後の輝度成分に局所的なモアレ現象を生じさせているためであると推測される。
従って、第５の実施の形態のＧ面生成１では、色境界ジャギーが、特に反対色間の色境界部で発生しやすく、通常の色境界では発生しない事実から、反対色色境界部の検出能力を上げるため、色指標として反対色間色差を利用して識別対象箇所のコントラストを上げる工夫をする。すなわち、式(30)を使用して色指標Cdiff[i,j]を求める。
Cdiff[i,j]=(|Cr[i,j]-Cb[i,j]/2|+|Cb[i,j]-Cr[i,j]/2|
+|Cr[i,j]/2+Cb[i,j]/2|)/3 ...(30)
上記色指標の色差部分を展開すると、次式(31)のようになる。R（赤）とCy（シアン）、G（緑）とMg（マゼンタ）、B（青）とYe（イエロー）は反対色（補色）の関係にある。
Cdiff=(|R-(G+B)/2|+|G-(B+R)/2|+|B-(R+G)/2|)/3
=(|R-Cy|+|G-Mg|+|B-Ye|)/3 ...(31)
2-2. 色勾配の評価
第４の実施の形態と同様に行う。
3. G面生成1
第４の実施の形態とは異なり、斜線解像、すなわち斜線ジャギーの発生を抑えることが可能な別の方式によるG成分生成を行う。これは、G補間をするのではなく、一旦別の表色系で輝度成分と色差成分を生成した後にRGB成分に変換する方式である。国際公開第02/071761号に開示された方法に基づくものである。
3-1. 斜め方向判定
3-1-1. 類似度の算出
変換前ＲＧＢ画像データのＲ画素あるいはＢ画素において、変換対象画素を含む局所領域内の画素情報を使用して、斜め方向の類似性を判定する。斜め方向とは、斜め４５度、斜め１３５度の方向である。図１８で示すと、斜め４５度は[HV,DN]=[0,1]の方向で、斜め１３５度は[HV,DN]=[0,-1]の方向である。図１８については、さらに後述する。斜め４５度方向の類似度C45[i,j]は式(32)により、斜め１３５度方向の類似度C135[i,j]は式(33)により求める。
C45[i,j]={(|G[i,j-1]-G[i-1,j]|+| G[i+1,j]-G[i,j+1]|)/2
+(|Z[i+1,j-1]-Z[i,j]|+|Z[i-1,j+1]-Z[i,j]|)/2}/2 ...(32)
C135[i,j]={(|G[i,j-1]-G[i+1,j]|+|G[i-1,j]-G[i,j+1]|)/2
+(|Z[i-1,j-1]-Z[i,j]|+|Z[i+1,j+1]-Z[i,j]|)/2}/2 ...(33)
3-1-2. 類似性判定
次に、類似性判定を行う。上記で求めたC45[i,j]、C135[i,j]を使用して、変換対象画素の類似性の判定を行う。ここでは、４５度方向に類似性が強いか、１３５度方向に類似性が強いか、４５度方向１３５度方向の判定は不能かの判定を行う。具体的には、条件(34)を満足するときは、４５度方向１３５度方向の判定は不能として方向指標DN[i,j]=0をセットする。Th2は所定の閾値であり、縦横方向判定のTh1と同程度の値とする。例えば、２５６階調のときは１０前後の値とする。４５度方向１３５度方向の類似度間の差分が閾値Th2以下であれば、４５度方向に類似性が強いのか、１３５度方向に類似性が強いのか判定できないことを意味する。
|C45[i,j]-C135[i,j]|≦Th2 ...(34)
条件(34)が満足しない場合、すなわち、４５度方向１３５度方向どちらかの方向の類似性が判定できる場合は、条件(35)を満足するか否かを判定する。満足するときは、４５度方向に類似性が強いとして、方向指標DN[i,j]=1をセットする。条件(35)を満足しない場合は、１３５度方向に類似性が強いとして方向指標DN[i,j]=-1をセットする。なお、類似度C45[i,j]、C135[i,j]は、値が小さいほど類似性が強いことを示している。
C45[i,j]<C135[i,j] ...(35)
3-2. 輝度Y面生成
3-2-1. 加重加算
第５の実施の形態の輝度情報Ｙの計算は、第４の実施の形態のＧ面生成ではなく、ベイア面を直接加重加算して輝度Ｙ面を生成する方式である。すなわち、補間処理がまだ行われていない変換前ＲＧＢ画像データの各色の色情報を使用して、輝度情報Ｙを直接生成するものである。変換前ＲＧＢ画像データ（ベイア面のデータ）の任意の色情報をA[x,y]で表すことにする。
第４の実施の形態と同様に求めた縦横方向指標HV[i,j]および上記で求めた斜め方向指標DN[i,j]に基づいて、変換前ＲＧＢ画像データのＲ画素あるいはＢ画素に対応する画素[i,j]における輝度情報ＹすなわちY[i,j]を求める。この縦横方向指標HV[i,j]および斜め方向指標DN[i,j]の組み合わせにより、類似性の方向が図１８に示すように９通りに分類できる。
方向指標[HV,DN]、すなわち類似性の方向に応じて、以下に示すように式(37)〜(45)の１つを選択してY[i,j]を計算する。変換対象画素[i,j]がＧ画素のときは式(36)を使用し、変換対象画素[i,j]がＧ画素以外のときは以下の方向指標に応じた式(37)〜(45)のいずれかの式を使用する。なお、図１９は、変換対象画素がＧ画素の場合において、使用する画素の位置およびその係数（Ｇ位置の輝度生成係数パターン）を図示する図である。図２０は、変換対象画素がＲ画素あるいはＢ画素の場合において、方向指標に応じて使用する画素の位置およびその係数（Ｒ、Ｂ位置の輝度生成係数パターン）を図示する図である。
方向指標[ 0, 0]のとき式(37)を使用する。
方向指標[ 0, 1]のとき式(38)を使用する。
方向指標[ 0,-1]のとき式(39)を使用する。
方向指標[ 1, 0]のとき式(40)を使用する。
方向指標[ 1, 1]のとき式(41)を使用する。
方向指標[ 1,-1]のとき式(42)を使用する。
方向指標[-1, 0]のとき式(43)を使用する。
方向指標[-1, 1]のとき式(44)を使用する。
方向指標[-1,-1]のとき式(45)を使用する。
Y[i,j]=YG...(36)
Y[i,j]=YRBhv ...(37)
Y[i,j]=YRB45 ...(38)
Y[i,j]=YRB135 ...(39)
Y[i,j]=YRBv ...(40)
Y[i,j]=YRBv45 ...(41)
Y[i,j]=YRBv135 ...(42)
Y[i,j]=YRBh ...(43)
Y[i,j]=YRBh45 ...(44)
Y[i,j]=YRBh135 ...(45)
ここで、上記YG、YRBhv、YRB45、YRB135、YRBv、YRBv45、YRBv135、YRBh、YRBh45、YRBh135は、以下の式(46)〜(55)で表される。
YG=α*A[i,j]
+(β/4)*{A[i-1,j]+A[i+1,j]+A[i,j-1]+A[i,j+1]} ...(46)
YRBhv=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(47)
YRB45=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(48)
YRB135=(β/2)*A[i,j]
+α*{(v1/2)*A[i-1,j]+(v2/2)*A[i+1,j]
+(u1/2)*A[i,j-1]+(u2/2)*A[i,j+1]}
+(β/2)*{s1*A[i-1,j-1] +s2*A[i+1,j+1]} ...(49)
YRBv=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(50)
YRBv45=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(51)
YRBv135=(β/2)*A[i,j]
+α*{u1*A[i,j-1]+u2*A[i,j+1]}
+(β/2)*{s1*A[i-1,j-1]+s2*A[i+1,j+1]} ...(52)
YRBh=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{(s1/2)*A[i-1,j-1]+(s2/2)*A[i+1,j+1]
+(t1/2)*A[i+1,j-1]+(t2/2)*A[i-1,j+1]} ...(53)
YRBh45=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{t1*A[i+1,j-1]+t2*A[i-1,j+1]} ...(54)
YRBh135=(β/2)*A[i,j]
+α*{v1*A[i-1,j]+v2*A[i+1,j]}
+(β/2)*{s1*A[i-1,j-1]+s2*A[i+1,j+1]} ...(55)
ただし、上記定数（係数）には以下の制約条件(56)が付く。また、これらは全て正または零の値をとる。
α+β=1,p+q=1,u1+u2=1,v1+v2=1,s1+s2=1,t1+t2=1 ...(56)
一般的に好ましい定数の設定には以下のような例がある。
u1≒u2,v1≒v2,s1≒s2,t1≒t2
(α,β)=(1/3,2/3),(4/9,5/9),(5/11,6/11),(1/2,1/2),(5/9,4/9),
(3/5,2/5),(2/3,1/3)
定数α,βは、輝度に占めるR,G,B比率を決めるパラメータで、Y=α*G+β*(R+B)/2の関係にある。
3-2-2. エッジ強調
上述のようにして求まったY面は正の係数のみで構成されているので、エッジ強調処理を施して適正なレベルのコントラストに戻す。エッジ強調処理をする場合は、方向性を考慮しなくてもよい簡略な固定フィルタを通すだけでよい。エッジ抽出を行うためのバンドパスフィルターとして、例えば式(57)および図２１で示すラプラシアンを用いる。さらに、式(58)の演算を行い最終的な輝度情報Ｙを求める。式(58)における定数Kは正の値をとり、通常1以上に設定する。
YH[i,j]={8*Y[i,j]-(Y[i-1,j]+Y[i+1,j]+Y[i,j-1]+Y[i,j+1]
+Y[i-1,j-1]+Y[i+1,j-1]+Y[i-1,j+1]+Y[i+1,j+1])}/16 ...(57)
Y[i,j]=Y[i,j]+K*YH[i,j] ...(58)
3-2-3. 表色系変換
第４の実施の形態と同様に式(8)〜式(10)で求まったCr,Cb面、あるいは、式(11)により適切な色差補正の加えられたCr,Cb面と、式(58)で求まったY面の3つの色情報から式(59)によりG成分への変換を行う。これにより求まるG成分をg1とする。
g1[i,j]=Y[i,j]-(β/2)*Cr[i,j]-(β/2)*Cb[i,j] ...(59)
4. G面生成2
G面生成2は、第４の実施の形態と同様である。
5. G面合成
G面合成は、第４の実施の形態と同様である。
6. 表色系変換
表色系変換は、第４の実施の形態と同様である。
このように色勾配の強度に応じて補間法を変えることにより、斜線ジャギー対策と色境界部での破綻の抑制を両立する画像生成、復元が可能となる。第５の実施の形態では、特に従来技術で問題となる反対色間色境界に発生しやすい筋状の縦縞、横縞の色境界ジャギーの発生を抑えることができる。従って、偽構造の少ない高品質な補間画像を提供できる。
上記第１の実施の形態から第５の実施の形態では、色差成分・輝度成分ともに色勾配を指標として適応的処理を加えることにより偽色・偽構造の少ない高品質な補間画像を提供できる。なかでも適応的偽色対策は、色モアレ除去や高ISO感度における色斑ノイズ対策に強力に威力を発揮する。
なお、上記実施の形態では、ベイア配列のＲＧＢ表色系の例を説明したが、必ずしもこの内容に限定する必要はない。他の配列のカラーフィルタであってもよい。
また、上記実施の形態では、類似性の判定に各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により類似性を判定するようにしてもよい。また、Ｇ面生成やＹ面生成の計算においても各種の計算式を示したが、必ずしも実施の形態に示した内容に限定する必要はない。他の、適切な計算式により輝度情報を生成するようにしてもよい。
また、上記第４、５の実施の形態では、色差補正でローパスフィルタ（図１６）、エッジ強調でバンドパスフィルタ（図２１）の例を示したが、必ずしもこれらの内容に限定する必要はない。他の構成のローパスフィルタやバンドパスフィルタであってもよい。
また、上記第４、５の実施の形態では、色勾配に基づき色境界部の輝度を担う色成分の適切な補間方法を選択あるいは加重加算する例を示したが、必ずしもこれらの内容に限定する必要はない。例えば、6.表色系変換の手前に色差補正をするための色差補正ローパスフィルタ処理を挿入し、色勾配の解析結果に基づき、その色差補正ローパスフィルタのオンオフを行うようにしてもよい。これにより、色境界部以外の偽色が取れ、色境界部での色にじみの発生を防ぐことができる。また、色勾配の解析結果に基づき、色差補正ローパスフィルタの種類やサイズを選択するようにしてもよい。
また、上記実施の形態では、電子カメラの例で示したが、必ずしもこの内容に限定する必要はない。動画を撮像するビデオカメラや、撮像素子つきパーソナルコンピュータや携帯電話などであってもよい。すなわち、撮像素子によりカラー画像データを生成するあらゆる装置に適用できる。
また、上記実施の形態では、単板式撮像素子の例で示したが、必ずしもこの内容に限定する必要はない。本発明は、２板式の撮像素子で撮像した画像データにも適用することができる。ＲＧＢベイア配列の単板式撮像素子で撮像した場合は、１つの画素には１つの色成分の情報を有し、ＲＧＢベイア配列の２板式撮像素子で撮像した場合は、１つの画素には２つの色成分の情報を有する。
パーソナルコンピュータなどに適用する場合、上述した処理に関するプログラムは、ＣＤ−ＲＯＭなどの記録媒体やインターネットなどのデータ信号を通じて提供することができる。図２２はその様子を示す図である。パーソナルコンピュータ４００は、ＣＤ−ＲＯＭ４０４を介してプログラムの提供を受ける。また、パーソナルコンピュータ４００は通信回線４０１との接続機能を有する。コンピュータ４０２は上記プログラムを提供するサーバーコンピュータであり、ハードディスク４０３などの記録媒体にプログラムを格納する。通信回線４０１は、インターネット、パソコン通信などの通信回線、あるいは専用通信回線などである。コンピュータ４０２はハードディスク４０３を使用してプログラムを読み出し、通信回線４０１を介してプログラムをパーソナルコンピュータ４００に送信する。すなわち、プログラムをデータ信号として搬送波にのせて、通信回線４０１を介して送信する。このように、プログラムは、記録媒体や搬送波などの種々の形態のコンピュータ読み込み可能なコンピュータプログラム製品として供給できる。
次の優先権基礎出願の開示内容は引用文としてここに組み込まれる。
日本国特許出願２００３年第１６７９２３号（２００３年６月１２日出願）

Claims (5)

  1. 複数の色成分からなる表色系で表され、１つの画素に１つの色成分の色情報を有する複数の画素からなる第１の画像を、複数の画素からなり各々の画素に輝度成分の色情報を有する第２の画像に変換する画像処理方法であって、
    前記第１の画像の複数の色成分の色情報を用いて、零以上の可変な係数による加重加算することによって、前記第１の画像の表色系とは異なる色成分の第１の型の輝度成分の色情報を生成する第１の型の輝度情報生成手順と、
    前記第１の画像の１つの色成分の色情報を用いて、第１の画像の表色系と同じ色成分の第２の型の輝度成分の色情報を生成する第２の型の輝度情報生成手順と、
    前記第１の画像の色成分の色情報を用いて、色差成分の色情報を生成する色差情報生成手順と、
    前記生成した色差情報に基づき、色の変化の度合いである色勾配を求める色勾配解析手順と、
    前記第１の型の輝度情報生成手順により生成された第１の型の輝度情報と前記第２の型の輝度情報生成手順により生成された第２の型の輝度情報とを、前記求めた色勾配に基づき、切り替えて用いるか、もしくは、加重合成することによって、輝度成分の色情報を合成する輝度情報合成手順とからなる。
  2. 請求項１に記載の画像処理方法において、
    前記色差情報生成手順で生成された前記色差成分の色情報と前記輝度情報合成手順で合成された輝度成分の色情報を、前記第２の画像として出力する。
  3. 請求項１に記載の画像処理方法において、
    前記第１の型の輝度情報生成手順は、前記第１の画像の複数の色成分の色情報として、少なくとも対象画素位置の色成分の色情報を用いて、前記第１の型の輝度成分の色情報を生成する。
  4. 請求項１に記載の画像処理方法において、
    前記第１の型の輝度情報生成手順は、前記第１の画像の少なくとも３種類の色成分の色情報を加重加算することによって、前記第１の型の輝度成分の色情報を生成する。
  5. 請求項１に記載の画像処理方法において、
    前記第１の型の輝度情報生成手順は、前記第１の画像の複数の色成分の色情報を、一定の色成分比率で加重加算することによって、前記第１の型の輝度成分の色情報を生成する。
JP2011190922A 2003-06-12 2011-09-01 画像処理方法 Active JP5206850B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011190922A JP5206850B2 (ja) 2003-06-12 2011-09-01 画像処理方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003167923 2003-06-12
JP2003167923 2003-06-12
JP2011190922A JP5206850B2 (ja) 2003-06-12 2011-09-01 画像処理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005506917A Division JP4882374B2 (ja) 2003-06-12 2004-06-10 画像処理方法、画像処理プログラム、画像処理装置

Publications (2)

Publication Number Publication Date
JP2012034378A true JP2012034378A (ja) 2012-02-16
JP5206850B2 JP5206850B2 (ja) 2013-06-12

Family

ID=33549317

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2005506917A Active JP4882374B2 (ja) 2003-06-12 2004-06-10 画像処理方法、画像処理プログラム、画像処理装置
JP2011190922A Active JP5206850B2 (ja) 2003-06-12 2011-09-01 画像処理方法
JP2011190923A Active JP5206851B2 (ja) 2003-06-12 2011-09-01 画像処理方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2005506917A Active JP4882374B2 (ja) 2003-06-12 2004-06-10 画像処理方法、画像処理プログラム、画像処理装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2011190923A Active JP5206851B2 (ja) 2003-06-12 2011-09-01 画像処理方法

Country Status (5)

Country Link
US (2) US7391903B2 (ja)
EP (1) EP1641283B1 (ja)
JP (3) JP4882374B2 (ja)
CN (1) CN100544450C (ja)
WO (1) WO2004112401A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095890A (ja) * 2013-11-14 2015-05-18 キヤノン株式会社 画像処理装置およびその制御方法
JP2018195918A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
JP2019053402A (ja) * 2017-09-13 2019-04-04 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7477781B1 (en) * 2002-10-10 2009-01-13 Dalsa Corporation Method and apparatus for adaptive pixel correction of multi-color matrix
JP4979595B2 (ja) * 2005-12-28 2012-07-18 オリンパス株式会社 撮像システム、画像処理方法、画像処理プログラム
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
JP5006067B2 (ja) 2006-06-29 2012-08-22 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP2008078922A (ja) * 2006-09-20 2008-04-03 Toshiba Corp 固体撮像装置
TW200820799A (en) * 2006-10-18 2008-05-01 Realtek Semiconductor Corp Method and apparatus for restraining error image colors
WO2008084544A1 (ja) * 2007-01-11 2008-07-17 Fujitsu Limited 画像補正プログラム、画像補正方法、画像補正装置
JP5041886B2 (ja) * 2007-06-13 2012-10-03 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
JP4914303B2 (ja) * 2007-07-13 2012-04-11 シリコン ヒフェ ベー．フェー． 画像処理装置及び撮像装置、画像処理方法及び撮像方法、画像処理プログラム
JP4912979B2 (ja) * 2007-08-10 2012-04-11 オリンパス株式会社 画像処理装置、画像処理方法及びプログラム
JP5032914B2 (ja) * 2007-08-10 2012-09-26 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法
KR101340518B1 (ko) * 2007-08-23 2013-12-11 삼성전기주식회사 영상의 색수차 보정 방법 및 장치
WO2009066770A1 (ja) * 2007-11-22 2009-05-28 Nikon Corporation デジタルカメラおよびデジタルカメラシステム
JP5212044B2 (ja) * 2007-11-22 2013-06-19 株式会社ニコン デジタルカメラおよびデジタルカメラシステム
JP5045421B2 (ja) * 2007-12-21 2012-10-10 ソニー株式会社 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
US7995840B2 (en) * 2008-03-28 2011-08-09 Seiko Epson Corporation Image processing apparatus, image processing method, and program for attaining image processing
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5486273B2 (ja) * 2008-12-26 2014-05-07 キヤノン株式会社 画像処理装置及び画像処理方法
JP2010268426A (ja) * 2009-04-15 2010-11-25 Canon Inc 画像処理装置、画像処理方法およびプログラム
TWI401963B (zh) * 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
TWI389571B (zh) * 2009-09-30 2013-03-11 Mstar Semiconductor Inc 影像處理方法以及影像處理裝置
CN102300035B (zh) * 2010-06-25 2013-12-11 杨国屏 降低数字图像中黑色含量的方法
US20130100310A1 (en) * 2010-07-05 2013-04-25 Nikon Corporation Image processing device, imaging device, and image processing program
JP2012053606A (ja) * 2010-08-31 2012-03-15 Sony Corp 情報処理装置および方法、並びにプログラム
JP6131546B2 (ja) 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
CN104429056B (zh) 2012-08-10 2017-11-14 株式会社尼康 图像处理方法、图像处理装置、摄像装置及图像处理程序
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
KR102009185B1 (ko) 2013-01-10 2019-08-09 삼성전자 주식회사 컬러 프린지 제거 방법
CN104969545B (zh) * 2013-02-05 2018-03-20 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法以及程序
CN104717474B (zh) * 2013-12-16 2017-07-25 瑞昱半导体股份有限公司 图像处理方法、模块及包含其的电子设备
DE102014010061A1 (de) * 2014-07-07 2016-01-07 Heidelberger Druckmaschinen Ag Verfahren zur Berechung von Ersatzfarben für Sonderfarben
JP2017050830A (ja) * 2015-09-04 2017-03-09 パナソニックＩｐマネジメント株式会社 照明装置、照明システム、及びプログラム
WO2017081925A1 (ja) * 2015-11-10 2017-05-18 ソニー株式会社 画像処理装置と画像処理方法
JP6563358B2 (ja) * 2016-03-25 2019-08-21 日立オートモティブシステムズ株式会社 画像処理装置及び画像処理方法
CN113877827B (zh) * 2021-09-14 2023-06-16 深圳玩智商科技有限公司 物流件抓取方法、抓取设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245314A (ja) * 1999-12-21 2001-09-07 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2002010289A (ja) * 2000-06-26 2002-01-11 Canon Inc 信号処理装置、信号処理方法、及び撮像装置
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6361239A (ja) * 1986-09-01 1988-03-17 Fuji Photo Film Co Ltd カラ−フイルム検定装置のオフセツトドリフト補正方法
JP3028553B2 (ja) 1990-04-09 2000-04-04 ソニー株式会社 画像処理装置及び画像処理方法
JPH04252667A (ja) * 1991-01-29 1992-09-08 Fujitsu Ltd カラ−画像読取装置
JP3252422B2 (ja) 1991-12-28 2002-02-04 ソニー株式会社 画像処理装置
US5382976A (en) 1993-06-30 1995-01-17 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing luminance gradients
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
JP3624483B2 (ja) * 1995-09-29 2005-03-02 富士写真フイルム株式会社 画像処理装置
JP3806211B2 (ja) * 1997-01-08 2006-08-09 株式会社リコー 撮像信号処理方法及び撮像信号処理装置
JP3946866B2 (ja) * 1997-07-31 2007-07-18 富士フイルム株式会社 画像信号処理装置及びプログラムを記録した媒体
JP4016470B2 (ja) 1997-12-09 2007-12-05 カシオ計算機株式会社 カラー撮像装置及びカラー画像補正方法
US6421084B1 (en) * 1998-03-02 2002-07-16 Compaq Computer Corporation Method for interpolating a full color image from a single sensor using multiple threshold-based gradients
US6392699B1 (en) * 1998-03-04 2002-05-21 Intel Corporation Integrated color interpolation and color space conversion algorithm from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US6356276B1 (en) 1998-03-18 2002-03-12 Intel Corporation Median computation-based integrated color interpolation and color space conversion methodology from 8-bit bayer pattern RGB color space to 12-bit YCrCb color space
US6075889A (en) 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images
US6697107B1 (en) 1998-07-09 2004-02-24 Eastman Kodak Company Smoothing a digital color image using luminance values
US6542187B1 (en) 1998-07-09 2003-04-01 Eastman Kodak Company Correcting for chrominance interpolation artifacts
JP4626007B2 (ja) * 1999-06-14 2011-02-02 株式会社ニコン 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
US6687414B1 (en) * 1999-08-20 2004-02-03 Eastman Kodak Company Method and system for normalizing a plurality of signals having a shared component
US6631206B1 (en) * 1999-08-30 2003-10-07 University Of Washington Image filtering in HSI color space
US6671401B1 (en) 1999-09-08 2003-12-30 Eastman Kodak Company Removing color moire patterns from digital images having known chromaticities
JP3699873B2 (ja) * 1999-10-27 2005-09-28 オリンパス株式会社 画像処理装置
US7158178B1 (en) * 1999-12-14 2007-01-02 Intel Corporation Method of converting a sub-sampled color image
US6980326B2 (en) 1999-12-15 2005-12-27 Canon Kabushiki Kaisha Image processing method and apparatus for color correction of an image
JP3726653B2 (ja) 2000-07-27 2005-12-14 ノーリツ鋼機株式会社 画像処理方法、画像処理装置および画像処理方法を実行するプログラムを記録した記録媒体
JP4055927B2 (ja) * 2000-08-25 2008-03-05 シャープ株式会社 画像処理装置およびデジタルカメラ
WO2002071761A1 (fr) * 2001-03-05 2002-09-12 Nikon Corporation Programme et dispositif de traitement d'images
JP3983500B2 (ja) * 2001-06-01 2007-09-26 株式会社メガチップス データ変換回路およびデジタル・カメラ
JP2003061105A (ja) * 2001-06-07 2003-02-28 Seiko Epson Corp 画像処理方法、画像処理プログラム、画像処理装置およびそれを用いたディジタルスチルカメラ
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
JP4717294B2 (ja) 2001-09-20 2011-07-06 キヤノン株式会社 画像処理方法、撮像装置およびプログラム
WO2003101119A1 (fr) * 2002-05-24 2003-12-04 Nikon Corporation Procede de traitement d'images, programme de traitement d'images et processeur d'images
EP1439715A1 (en) * 2003-01-16 2004-07-21 Dialog Semiconductor GmbH Weighted gradient based colour interpolation for colour filter array

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001245314A (ja) * 1999-12-21 2001-09-07 Nikon Corp 補間処理装置および補間処理プログラムを記録した記録媒体
JP2002010289A (ja) * 2000-06-26 2002-01-11 Canon Inc 信号処理装置、信号処理方法、及び撮像装置
WO2002060186A1 (fr) * 2001-01-25 2002-08-01 Nikon Corporation Procede de traitement d'image, programme de traitement d'image et processeur d'image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015095890A (ja) * 2013-11-14 2015-05-18 キヤノン株式会社 画像処理装置およびその制御方法
JP2018195918A (ja) * 2017-05-15 2018-12-06 キヤノン株式会社 信号処理装置、信号処理方法およびプログラム
JP2019053402A (ja) * 2017-09-13 2019-04-04 キヤノン株式会社 画像処理装置及び画像処理方法及びプログラム

Also Published As

Publication number Publication date
EP1641283A4 (en) 2007-02-28
JP5206850B2 (ja) 2013-06-12
US20060092298A1 (en) 2006-05-04
US7630546B2 (en) 2009-12-08
CN100544450C (zh) 2009-09-23
JP5206851B2 (ja) 2013-06-12
WO2004112401A1 (ja) 2004-12-23
EP1641283B1 (en) 2019-01-09
JP4882374B2 (ja) 2012-02-22
JPWO2004112401A1 (ja) 2006-07-20
US7391903B2 (en) 2008-06-24
JP2012016051A (ja) 2012-01-19
CN1806448A (zh) 2006-07-19
EP1641283A1 (en) 2006-03-29
US20080247643A1 (en) 2008-10-09

Similar Documents

Publication Publication Date Title
JP5206850B2 (ja) 画像処理方法
JP4054184B2 (ja) 欠陥画素補正装置
JP3985679B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP5045421B2 (ja) 撮像装置、色ノイズ低減方法および色ノイズ低減プログラム
CN102256141B (zh) 图像处理装置及图像处理方法、摄像装置
US8295595B2 (en) Generating full color images by demosaicing noise removed pixels from images
JP4815807B2 (ja) Ｒａｗデータから倍率色収差を検出する画像処理装置、画像処理プログラム、および電子カメラ
JP5197414B2 (ja) 画像処理装置及び画像処理方法
JP4668185B2 (ja) 画像処理方法
JP2004153823A (ja) 局部線形回帰法を用いた画像処理システム
JP4305071B2 (ja) 信号補正方法
US6671401B1 (en) Removing color moire patterns from digital images having known chromaticities
JP3633561B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR100869134B1 (ko) 이미지 처리장치 및 방법
JP4280462B2 (ja) 信号処理装置及び方法
KR101327790B1 (ko) 영상 보간 방법 및 장치
JP4958926B2 (ja) 信号処理装置及び方法
JP4239483B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4196055B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP4239480B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置
JP2013165482A (ja) 画像処理装置、画像処理プログラム、および撮像装置
KR100816299B1 (ko) 허위 색 억제 장치 및 방법
JP4495355B2 (ja) 画像補間装置
JP4666786B2 (ja) 画像補間装置
JP2002232903A (ja) 画像補間装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130204

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160301

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5206850

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250