JP2004221838A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents
画像処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP2004221838A JP2004221838A JP2003005586A JP2003005586A JP2004221838A JP 2004221838 A JP2004221838 A JP 2004221838A JP 2003005586 A JP2003005586 A JP 2003005586A JP 2003005586 A JP2003005586 A JP 2003005586A JP 2004221838 A JP2004221838 A JP 2004221838A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- interest
- interpolation
- color component
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Input (AREA)
- Picture Signal Circuits (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】色モザイク画像からカラー画像を生成するデモザイク処理、または画像の欠陥画素を補間する処理において、画像内の被写体のエッジ部分を、その方向に拘わらず、精度よく再現する。
【解決手段】注目画素決定部２０は、注目画素を中心とする局所領域に含まれる画素を抽出する。エッジ方向算出部２１は、局所領域におけるエッジ方向ベクトルおよびエッジサイズを算出する。重み算出部２２は、補間に用いるサンプル画素の重み係数を算出する。第１補間部２３は、サンプル画素の画素値と、重み係数を用いた重み付け補間演算を実行する。第２補間部２４は、局所領域に含まれる画素を用いる線形補間演算を実行する。セレクタ２５は、エッジサイズに応じて、第１の補間値または第２の補間値を出力する。本発明は、単板式ＣＣＤが搭載されたディジタルビデオカメラ、ディジタルスチルカメラ、スキャナに適用することができる。
【選択図】 図５
【解決手段】注目画素決定部２０は、注目画素を中心とする局所領域に含まれる画素を抽出する。エッジ方向算出部２１は、局所領域におけるエッジ方向ベクトルおよびエッジサイズを算出する。重み算出部２２は、補間に用いるサンプル画素の重み係数を算出する。第１補間部２３は、サンプル画素の画素値と、重み係数を用いた重み付け補間演算を実行する。第２補間部２４は、局所領域に含まれる画素を用いる線形補間演算を実行する。セレクタ２５は、エッジサイズに応じて、第１の補間値または第２の補間値を出力する。本発明は、単板式ＣＣＤが搭載されたディジタルビデオカメラ、ディジタルスチルカメラ、スキャナに適用することができる。
【選択図】 図５
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、単板式固体撮像素子を用いて取得した画像を元にしてカラー画像を生成したり、固体撮像素子を用いて取得した画像の欠陥画素を補間したりする場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、単板式固体撮像素子（ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）が搭載されているディジタルスチルカメラ、ディジタルビデオカメラなどの撮影装置においては、単板の固体撮像素子が出力する、各画素がＲ，Ｇ，Ｂ成分のうちのいずれかを有する色モザイク画像を元にして、各画素がそれぞれＲ，Ｇ，Ｂ成分の全てを有するカラー画像を生成する処理が実行されている。以下、この処理をデモザイク処理と記述する。
【０００３】
最も基本的なデモザイク処理では、例えば、色モザイク画像のＲ成分だけを有している注目画素に対して、注目画素の近傍に位置するＧ成分だけを有する画素を用いた線形補間演算によってＧ成分が生成される。同様に、注目画素の近傍に位置するＢ成分だけを有する画素を用いた線形補間演算によってＢ成分が生成される。
【０００４】
しかしながら、上述した基本的なデモザイク処理のように、単に、注目画素の近傍に位置し、かつ、所望の色成分信号を有する画素を線形補間に用いた場合、画像内の被写体のエッジ部分が全く考慮されていないので、エッジ部分に、色にじみ、解像度の劣化が発生することが多い。
【０００５】
このような問題を解決する第１のデモザイク処理として、色モザイク画像の注目画素に対して、周辺の色の変化を調べ、その変化に応じて重み付けを算出し、重み付け補間を行うことより、注目画素が本来有してなかった色成分信号を生成する方法を挙げることができる（例えば、特許文献１参照）。
【０００６】
第１のデモザイク処理によれば、エッジ方向に存在する画素が大きい重み付けで補間を行うことができるので、上述した基本的なデモザイク処理よりもエッジの再現性がよい。しかしながら、エッジ方向に存在しない画素についても小さい重み付けではあるが補間に用いられるので、被写体のエッジの再現性は完全ではなく、色にじみが発生してしまうことがある。
【０００７】
ところで、最近の生産技術によっても、欠陥画素を全く生じさせることなく、固体撮像素子を生産することは非常に困難である。そこで、固体撮像素子の生産の歩留まりを一定に保つために、固体撮像素子に生じたわずかな欠陥画素を許容してディジタルカメラに搭載し、ディジタルカメラ等において、欠陥画素の近傍に位置する正常な画素を用いて欠陥画素の画素値を補間する処理が行われている。以下、この処理を、欠陥画素補間処理と記述する。
【０００８】
従来の欠陥画素補間処理は、上述した最も基本的なデモザイク処理や、第１のデモザイク処理と同様の方法で行われていたが、これらと同様に問題が生じていた。
【０００９】
さらに、第１の欠陥画素補間処理として、欠陥画素と同じ色成分信号を有していて、欠陥画素対称の画素対のうち、画素対の画素値の差が最も小さいものの平均値を欠陥画素の画素値とする方法を挙げることができる（例えば、特許文献２参照）。
【００１０】
第１の欠陥画素補間処理は、被写体のエッジをまたぐ画素対が補間に用いられること避けることができるので、第１のデモザイク処理と同様の方法に比べてエッジの再現性がよい。しかしながら、欠陥画素と同じ色成分信号を有する欠陥画素対称の画素対の数は有限であるため、画素対の間の他にエッジがあった場合、精度よくエッジを再現することができないことがある。
【００１１】
第２の欠陥画素補間処理として、欠陥画素の近傍の画素を用いて水平曲率、垂直曲率を算出し、曲率の低い方向（垂直あるいは水平）に補間する方法を挙げることができる（例えば、特許文献３参照）。
【００１２】
第２の欠陥画素補間処理も、第１のデモザイク処理と同様の方法に比べてエッジの再現性がよい。しかしながら、補間方向が水平、垂直等に限定されので、エッジの方向が、水平方向および垂直方向以外であった場合、精度よくエッジを再現することができないことがある。
【００１３】
【特許文献１】
特開２００１−３０７０７９号公報
【特許文献２】
特開２００１−３０７０７９号公報
【特許文献３】
特開２００２−３３９６４号
【００１４】
【発明が解決しようとする課題】
上述したように、デモザイク処理と欠陥画素補間処理には、同様の方法を用いることが可能であり、共通の課題を抱えている。
【００１５】
すなわち、従来のデモザイク処理と欠陥画素補間処理には、被写体のエッジを考慮した方法も存在するが、エッジの方向によっては、精度よくエッジを再現することができない課題があった。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、デモザイク処理または欠陥画素補間処理において、画像内の被写体のエッジ部分を、その方向に拘わらず、精度よく再現できるようにすることを目的とする。
【００１７】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像を構成する複数の画素のうちの１つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成手段と、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出手段と、抽出手段によって抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出手段と、抽出手段によって抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号を補間する第１の補間手段とを含むことを特徴とする。
【００１８】
前記生成手段は、欠陥画素を注目画素に決定することができる。
【００１９】
本発明の画像処理装置は、抽出手段によって抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものに対して、距離に対応する重み係数を算出する重み係数算出手段をさらに含むことができる。
【００２０】
本発明の画像処理装置は、抽出手段によって抽出された画素のうち、エッジの方向ベクトルと直交し、注目画素を通る直線までの距離が所定の閾値よりも短いものに対して、距離に対応する重み係数を算出する重み係数算出手段をさらに含むことができる。
【００２１】
本発明の画像処理装置は、抽出手段によって抽出された画素を用いた線形補間演算により、注目画素が持っていない色成分信号を補間する第２の補間手段と、検出手段によって検出された局所領域におけるエッジの方向ベクトルのサイズを算出する算出手段と、方向ベクトルのサイズに従い、第１の補間手段の出力、または第２の補間手段の出力を、注目画素が持っていない色成分信号に選択する選択手段とさらに含むことができる。
【００２２】
本発明の画像処理方法は、入力された画像を構成する複数の画素のうちの１つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出ステップの処理で抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号を補間する補間ステップとを含むことを特徴とする。
【００２３】
本発明の記録媒体のプログラムは、入力された画像を構成する複数の画素のうちの１つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出ステップの処理で抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号を補間する補間ステップとを含むことを特徴とする。
【００２４】
本発明のプログラムは、入力された画像を構成する複数の画素のうちの１つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出ステップの処理で抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号を補間する補間ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２５】
本発明の画像処理装置および方法、並びにプログラムにおいては、入力された画像の注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報が生成され、局所領域情報から注目画素が持っていない色成分信号を有する画素が抽出される。さらに、抽出された画素に基づき、局所領域におけるエッジの方向ベクトルが検出され、抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号が補間される。
【００２６】
【発明の実施の形態】
図１は、本発明の一実施の形態であるディジタルビデオカメラの構成例を示している。ディジタルビデオカメラ１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００２７】
ディジタルビデオカメラ１の光学系は、被写体の光画像を集光するレンズ２、光画像の光量を調整する絞り３、および集光された光画像を所定のフレームレートで光電変換して色モザイク画像の画素となる電気信号を生成する単板式ＣＣＤイメージセンサ４から構成される。
【００２８】
信号処理系は、単板式ＣＣＤイメージセンサ４により生成された電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（ＣＤＳ）５、相関２重サンプリング回路５によってノイズが除去された電気信号をＡＤ変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６が出力する色モザイク画像に対してデモザイク処理を施して、Ｒ，Ｇ，Ｂ成分の全てを有する画素から構成されるカラー画像を生成するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）７から構成される。なお、ＤＳＰ７は、必要に応じて、欠陥画素補間処理も実行する。
【００２９】
ディジタルビデオカメラ１の記録系は、ＤＳＰ７から入力されるカラー画像をエンコードしてメモリ１３に記録したり、メモリ１３に記憶されている符号データを読み出してデコードし、ＤＳＰ７に供給したりするＣＯＤＥＣ（Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１２、および、エンコードされたカラー画像を記憶する磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ１３から構成される。
【００３０】
ディジタルビデオカメラ１の表示系は、ＤＳＰ７から供給されるカラー画像の画素をＤＡ変換するＤ／Ａコンバータ９、Ｄ／Ａコンバータ９が出力するＲ，Ｇ，Ｂ成分の全てを有する画素から構成されるカラー画像を、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号に変換してディスプレイ１１に出力するビデオエンコーダ１０、およびビデオ信号に対応する画像を表示することによってファインダやビデオモニタとして機能するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等よりなるディスプレイ１１から構成される。
【００３１】
ディジタルビデオカメラ１の制御系は、単板式ＣＣＤイメージセンサ４乃至ＤＳＰ７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）８、ユーザからの各種の操作を受け付けるインプットデバイス１５、およびディジタルビデオカメラ１の全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４から構成される。
【００３２】
次に、ディジタルビデオカメラ１の動作の概要について、図２のフローチャートを参照して説明する。ステップＳ１において、ディジタルビデオカメラ１の撮像系および信号処理系は、被写体を撮影し、対応する色モザイク画像を取得する。具体的には、被写体の光学画像（入射光）が、レンズ２および絞り３を介して単板式ＣＣＤイメージセンサ４に入射され、単板式ＣＣＤイメージセンサ４によって光電変換され、得られた色モザイク画像の画素となる電気信号が、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、ＤＳＰ７に供給される。
【００３３】
ステップＳ２において、信号処理系のＤＳＰ７は、Ａ／Ｄコンバータ６から入力された色モザイク画像に、本発明を適用したデモザイク処理を施してカラー画像を生成する。例えば、図３に示すように、色モザイク画像を構成する画素の有する色成分信号がベイヤ配列をなしている場合、注目画素（この例の場合、Ｒ成分だけを有している画素）に対し、注目画素を中心と所定の局所領域に含まれる画素のうち、Ｇ成分を有する画素を用いた重み付け補間により注目画素のＧ成分を生成し、Ｂ成分を有する画素を用いた重み付け補間により注目画素のＢ成分を生成する。ここで、ＤＳＰ７は、色モザイク画像を構成する画素の座標と有する色成分信号の種類を示す情報を、予め保持しているものとする。なお、本発明を適用したデモザイク処理については、図１２を参照して詳述する。
【００３４】
また、ＤＳＰ７に入力された色モザイク画像に欠陥画素が存在する場合、デモザイク処理の前に、本発明を適用した欠陥画素補間処理を実行するようにする。例えば、図４に示すように、色モザイク画像を構成する画素の有する色成分信号がベイヤ配列をなしている場合、欠陥画素（この例の場合、正常ならばＧ成分だけを有している画素）に対し、注目画素を中心と所定の局所領域に含まれる画素のうち、Ｇ成分を有する画素を用いた重み付け補間により欠陥画素のＧ成分を生成する。ここで、ＤＳＰ７は、色モザイク画像の欠陥画素の座標を示す情報も、予め保持しているものとする。
【００３５】
以上で、ディジタルビデオカメラ１の動作概要の説明を終了する。
【００３６】
次に、図５は、ＤＳＰ７の第１の構成例を示している。ＤＳＰ７の注目画素決定部２０は、上段から入力される色モザイク画像の画素を、順次、注目画素に決定し、注目画素を中心とする所定の局所領域（例えば、７×７画素）に含まれる画素を、エッジ方向算出部２１、重み算出部２２、第１補間部２３、および第２補間部２４に出力する。
【００３７】
エッジ方向算出部２１は、色モザイク画像の注目画素を中心とする所定の局所領域における色成分信号毎に、エッジ方向ベクトルおよびエッジサイズを算出して、エッジ方向ベクトルおよびエッジサイズを重み算出部２２に出力するとともに、エッジサイズを第２補間部２４、およびセレクタ２５に出力する。
【００３８】
図６は、エッジ方向算出部２１の構成例を示している。エッジ方向算出部２１のリサンプリング部３１は、注目画素を中心とする所定の局所領域に含まれる複数の画素を、注目画素が持っていない色成分信号毎にリサンプリングして、グラディエント算出部３２に出力する。グラディエント算出部３２は、色成分信号毎にリサンプリングされた同一の色成分信号を有する複数の画素に基づき、グラディエントオペレータ、方向別のエネルギ差分値等を利用して、各色成分信号のグラディエント（勾配）を算出して、ベクトル回転部３３に出力する。
【００３９】
ベクトル回転部３３は、各色成分信号のグラディエントを９０度回転し、エッジ方向ベクトルとして正規化部３４およびエッジサイズ算出部３５に出力する。正規化部３４は、ベクトル回転部３３から入力されたエッジ方向ベクトルを正規化して、後段の重み算出部２２に出力する。エッジサイズ算出部３５は、ベクトル回転部３３から入力されたエッジ方向ベクトルのノルムを算出し、その結果をエッジサイズとして、後段の第１補間部２３、第２補間部２４、およびセレクタ２５に出力する。
【００４０】
図５に戻る。重み算出部２２は、エッジ方向算出部２１から入力されるエッジサイズが所定の閾値ｔｈ３よりも大きい場合、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第１補間部２３に出力する。
【００４１】
ここで、サンプル画素とは、例えば、図７に示すように、Ｒ成分だけを有する注目画素のＢ成分を重み付け補間により生成する場合においては、注目画素を中心とする所定の局所領域に含まれる画素のうち、Ｂ成分だけを有しており、かつ、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Ｔｈ１よりも小さいものを指す。同様に、Ｒ成分だけを有する注目画素のＧ成分を重み付け補間により生成する場合においては、Ｇ成分だけを有しており、かつ、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Ｔｈ１よりも小さいものを指す。
【００４２】
図８は、重み算出部２２の構成例を示している。重み算出部２２の位置ベクトル算出部４１は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有する画素（以下、サンプル画素候補と記述する）の注目画素からの相対的な位置を示す位置ベクトルＳを算出して、距離算出部４２に出力する。距離算出部４２は、図９に示すように、各サンプル画素候補の位置ベクトルＳおよびエッジ方向ベクトルＬに基づいて、各サンプル画素候補と、注目画素を通るエッジ方向ベクトルＬと平行な直線との距離ｄを、次式（１）を用いてそれぞれ算出し、重み係数算出部４３に出力する。
【数１】
【００４３】
重み係数算出部４３は、サンプル画素候補のうち、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Ｔｈ１よりも小さいものをサンプル画素に決定し、各サンプル画素に対して、重み付け補間演算に用いる重み係数を算出して、サンプル画素の位置ベクトルＳとその重み係数ｗを、第１補間部２３に出力する。
【００４４】
具体的には、例えば、図１０に示すようなサンプル画素Ｐｉ（ｉ＝１，２，３，４）に対し、注目画素を通るエッジ方向ベクトルと平行な直線との距離ｄｉが短ければ短いほど、大きな値の重み係数ｗｉ１が算出されるように、次式（２）を用いて設定して、サンプル画素の位置ベクトルＳｉとその重み係数ｗｉ１を、後段に出力する。
【数２】
【００４５】
さらに、重み係数算出部４３は、例えば、図１１に示すようなサンプル画素Ｐｉに対し、注目画素を通りエッジ方向ベクトルと直交する直線との距離ｌｉが短ければ短いほど、大きな値の重み係数ｗｉ２が算出されるように、次式（３）を用いて設定して、サンプル画素の位置ベクトルＳｉとその重み係数ｗｉ２を、後段に出力する。
【数３】
【００４６】
なお、重み係数算出部４３において、重み係数ｗｉ１，ｗｉ２のうちの一方だけを算出し、設定するようにしてもよい。
【００４７】
図５に戻る。第１補間部２３は、色モザイク画像の注目画素に対し、次式（４）に示すような、サンプル画素Ｐｉの画素値ｖｉと、それぞれに設定された重み係数ｗｉ１を用いた重み付け補間演算を実行する。
【数４】
【００４８】
また、第１補間部２３は、次式（５）に示すような、サンプル画素Ｐｉの画素値ｖｉと、それぞれに設定された重み係数ｗｉ２を用いた重み付け補間演算を実行する。
【数５】
【００４９】
さらに、第１補間部２３は、式（４）の演算結果であるｆ１（ｖ）と、式（５）の演算結果であるｆ２（ｖ）の平均値を演算し、第１の補間値としてセレクタ２５に出力する。
【００５０】
なお、重み係数算出部４３から第１補間部２３に対して、重み係数ｗｉ１，ｗｉ２のうちの一方だけが供給される場合、式（４）の演算結果であるｆ１（ｖ）、または式（５）の演算結果であるｆ２（ｖ）を、第１の補間値としてセレクタ２５に出力するようにすればよい。
【００５１】
第２補間部２４は、エッジ方向算出部２１から入力されるエッジサイズが所定の閾値ｔｈ３よりも大きくない場合、色モザイク画像の注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有する画素を用いる線形補間により、注目画素が有していない色成分信号を生成し、第２補間値としてセレクタ２５に出力する。したがって、第２補間値は、エッジが全く考慮されていない補間値である。
【００５２】
セレクタ２５は、エッジ方向算出部２１から入力されるエッジサイズが所定の閾値Ｔｈ３よりも大きい場合、第１補間部２３から入力される第１の補間値を後段に出力し、エッジ方向算出部２１から入力されるエッジサイズが所定の閾値Ｔｈ３よりも大きくない場合、第２補間部２４から入力される第２の補間値を後段に出力する。
【００５３】
次に、ＤＳＰ７の第１の構成例によるデモザイク処理について、図１２のフローチャートを参照して説明する。ステップＳ１１において、注目画素決定部２０は、上段から入力された色モザイク画像を構成する画素を、順次、１画素ずつ注目画素に決定する。ステップＳ１２において、注目画素決定部２０は、注目画素を中心とする所定の局所領域に属する画素を抽出して、エッジ方向算出部２１乃至第２補間部２４に供給する。
【００５４】
ステップＳ１３において、エッジ方向算出部２１は、補間する色成分信号、すなわち、注目画素が有していない色成分信号毎に、エッジの方向ベクトルとエッジサイズを算出して、セレクタ２５に出力する。
【００５５】
ステップＳ１３の処理について、図１３のフローチャートを参照して詳述する。ステップＳ２１において、リサンプリング部３１は、注目画素が有していない色成分信号のうちの１つを、注目する色成分信号（すなわち、補間する色成分信号）に決定し、注目画素を中心とする所定の局所領域に含まれる複数の画素のうち、注目する色成分信号を有する画素を、グラディエント算出部３２に出力する。
【００５６】
ステップＳ２２において、グラディエント算出部３２は、注目する色成分信号を有する複数の画素に基づき、グラディエントオペレータ、方向別の画素値の差分等を利用して、グラディエントを算出して、ベクトル回転部３３に出力する。ステップＳ２３において、ベクトル回転部３３は、グラディエントを９０度回転し、その結果得られたエッジ方向ベクトルを、正規化部３４およびエッジサイズ算出部３５に出力する。
【００５７】
ステップＳ２４において、エッジサイズ算出部３５は、ベクトル回転部３３から入力されたエッジ方向ベクトルのノルムを算出し、その結果をエッジサイズとして、後段の第１補間部２３、第２補間部２４、およびセレクタ２５に出力する。ステップＳ２５において、正規化部３４は、ベクトル回転部３３から入力されたエッジ方向ベクトルを正規化して、後段の重み算出部２２に出力する。なお、ステップＳ２４の処理と、ステップＳ２５の処理は、並行して行うことができる。
【００５８】
ステップＳ２６において、リサンプリング部３１は、注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っているか否かを判定する。注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っていると判定された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２６において、注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っていないと判定された場合、このエッジ方向算出処理は終了されて、処理は、図１２のステップＳ１４に進む。
【００５９】
図１２に戻る。ステップＳ１４において、重み算出部２２および第２補間部２４は、エッジ方向算出部２１から入力された色成分信号毎のエッジサイズが所定の閾値ｔｈ３よりも大きいか否かを判定する。エッジサイズが所定の閾値ｔｈ３よりも大きいと判定された場合、処理は、ステップＳ１５に進む。ステップＳ１５において、重み算出部２２は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第１補間部２３に出力する。
【００６０】
ステップＳ１５の処理について、図１４のフローチャートを参照して詳述する。ステップＳ３１において、位置ベクトル算出部４１は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、１つを注目するサンプル画素候補Ｐｉに決定する。
【００６１】
ステップＳ３２において、位置ベクトル算出部４１は、注目するサンプル画素候補Ｐｉの注目画素からの相対的な位置を示す位置ベクトルＳｉを算出して、距離算出部４２に出力する。ステップＳ３３において、距離算出部４２は、サンプル画素候補Ｐｉと、注目画素を通るエッジ方向ベクトルＬと平行な直線との距離ｄｉを算出する。また、距離算出部４２は、サンプル画素候補Ｐｉと、注目画素を通るエッジ方向ベクトルＬと直交する直線との距離ｌｉを算出する。
【００６２】
ステップＳ３４において、重み係数算出部４３は、サンプル画素候補のうち、注目画素を通るエッジ方向ベクトルと平行な直線との距離ｄｉが、所定の閾値Ｔｈ１よりも小さく、かつ、注目画素を通るエッジ方向ベクトルと直交する直線との距離ｌｉが、所定の閾値Ｔｈ２よりも小さいか否かを判定し、両条件が満たされているサンプル画素候補Ｐｉをサンプル画素Ｐｉに決定して、距離が短ければ短いほど、その値が大きくなるように、重み係数ｗｉ１，ｗｉ２を算出して第１補間部２３に出力する。なお、いずれか一方の条件だけを適用するようにしてもよい。
【００６３】
ステップＳ３５において、位置ベクトル算出部４１は、重み算出部２２の位置ベクトル算出部４１は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、注目していないサンプル画素候補Ｐｉが残っているか否かを判定し、残っていると判定した場合、ステップＳ３１に戻り、それ以降の処理を繰り返す。その後、ステップＳ３５において、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、注目していないサンプル画素候補Ｐｉが残っていないと判定された場合、この重み係数算出処理は終了され、処理は図１２のステップＳ１６に進む。
【００６４】
図１２に戻る。ステップＳ１６において、第１補間部２３は、色モザイク画像の注目画素に対し、式（４）を用いた重み付け補間演算を実行する。また、第１補間部２３は、式（５）を用いた重み付け補間演算を実行する。さらに、第１補間部２３は、式（４）の演算結果であるｆ１（ｖ）と、式（５）の演算結果であるｆ２（ｖ）の平均値を演算し、第１の補間値としてセレクタ２５に出力する。セレクタ２５は、第１補間部２３からの第１の補間値を、注目画素の色成分信号として出力する。
【００６５】
なお、ステップＳ１４において、エッジサイズが所定の閾値ｔｈ３よりも大きくないと判定された場合、処理はステップＳ１７に進む。ステップＳ１７において、第２補間部２４は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号だけを有する画素を用いる線形補間により、注目画素が有していない色成分信号を生成し、第２補間値としてセレクタ２５に出力する。セレクタ２５は、第２補間部２４からの第２の補間値を、注目画素の色成分信号として出力する。
【００６６】
ステップＳ１８において、ＤＳＰ７は、色モザイク画像を構成する全ての画素のうち、注目画素に決定していない画素が残っているか否かを判定する。注目画素に決定していない画素が残っていると判定された場合、ステップＳ１１に戻り、ステップＳ１８において、注目画素に決定していない画素が残っていないと判定されるまで、ステップＳ１１以降の処理が繰り返される。以上で、デモザイク処理の説明を終了する。
【００６７】
以上説明したように、ＤＳＰ７の第１の構成例によるデモザイク処理によれば、色モザイク画像に存在する任意方向のエッジを検出し、エッジの方向および注目画素との距離を考慮してサンプル画素を決定し、サンプル画素を用いた重み付け補間演算により、注目画素が有していなかった色成分信号を補間するようにしたので、画像内のエッジ部分を、その方向に拘わらず、精度よく再現することができる。また、エッジ部分の色にじみを抑止することができる。
【００６８】
また、エッジが存在しない部分（あるいはエッジサイズが小さい部分）については、上述した重み付け補間演算を行わずに、従来の線形補間演算を行うので、その部分の補間値を速やかに取得することができる。
【００６９】
さらに、エッジサイズに応じて、エッジが考慮された第１の補間値と、エッジが考慮されていない第２の補間値を選択することにより、画像全体の高周波成分を精度よく再現することができる。
【００７０】
次に、図１５は、ＤＳＰ７の第２の構成例を示している。この第２の構成例は、図５に示された第１の構成例の第２補間部２４およびセレクタ２５を削除したものである。したがって、ＤＳＰ７の第２の構成例は、色モザイク画像のすべての画素に対して、エッジを考慮した重み付け補間演算により、有していない色成分信号を生成することになる。
【００７１】
図１６は、図１５に示されたＤＳＰ７の第２の構成例によるデモザイク処理を説明するフローチャートである。第２の構成例によるデモザイク処理は、基本的に、上述した第１の構成例によるデモザイク処理から、ステップＳ１４の処理およびステップＳ１７の処理を省略したものである。
【００７２】
ステップＳ５１において、注目画素決定部２０は、上段から入力された色モザイク画像を構成する画素を、順次、１画素ずつ注目画素に決定する。ステップＳ５２において、注目画素決定部２０は、注目画素を中心とする所定の局所領域に属する画素を抽出して、エッジ方向算出部２１乃至第１補間部２３に供給する。
【００７３】
ステップＳ５３において、エッジ方向算出部２１は、補間する色成分信号、すなわち、注目画素が有していない色成分信号毎に、エッジの方向ベクトルとエッジサイズを算出して、セレクタ２５に出力する。ステップＳ５４において、重み算出部２２は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第１補間部２３に出力する。
【００７４】
ステップＳ５５において、第１補間部２３は、色モザイク画像の注目画素に対し、式（４）を用いた重み付け補間演算を実行する。また、第１補間部２３は、式（５）を用いた重み付け補間演算を実行する。さらに、第１補間部２３は、式（４）の演算結果であるｆ１（ｖ）と、式（５）の演算結果であるｆ２（ｖ）の平均値を演算し、第１の補間値としてセレクタ２５に出力する。セレクタ２５は、第１補間部２３からの第１の補間値を、注目画素の色成分信号として出力する。
【００７５】
ステップＳ５６において、ＤＳＰ７は、色モザイク画像を構成する全ての画素のうち、注目画素に決定していない画素が残っているか否かを判定する。注目画素に決定していない画素が残っていると判定された場合、ステップＳ５１に戻り、ステップＳ５６において、注目画素に決定していない画素が残っていないと判定されるまで、ステップＳ５１以降の処理が繰り返される。以上で、デモザイク処理の説明を終了する。
【００７６】
以上説明したように、ＤＳＰ７の第２の構成例によるデモザイク処理によれば、色モザイク画像に存在する任意方向のエッジを検出し、エッジの方向および注目画素との距離を考慮してサンプル画素を決定し、サンプル画素を用いた重み付け補間演により、注目画素が有していなかった色成分信号を補間するようにしたので、画像内のエッジ部分を、その方向に拘わらず、精度よく再現することができる。また、エッジ部分の色にじみを抑止することができる。
【００７７】
以上、ＤＳＰ７によるデモザイク処理について説明したが、ＤＳＰ７による欠陥画素補間処理も、同様の手順で実行することができる。その場合、図４を参照して上述したように、欠陥画素を注目画素として、注目画素が正常ならば有している色成分信号を、注目画素を中心とする所定の局所領域に属する画素を用いた重み付け補間演算により生成するようにすればよい。
【００７８】
また、ＤＳＰ７によるデモザイク処理は、モノクロ画像に存在する欠陥画素を補間する場合にも適用することが可能である。
【００７９】
本実施の形態においては、色モザイク画像を構成する画素の色成分信号を、Ｒ，Ｇ，Ｂ成分としたが、例えば、Ｙ（イエロ）成分、Ｍｇ（マゼンダ）成分、およびシアン（Ｃｙ）成分のような、他の色成分信号の組み合わせにも、本発明を適用することが可能である。
【００８０】
さらに、本発明は、ディジタルビデオカメラの他、単板式固体撮像素子が搭載されたディジタルスチルカメラ、スキャナ等に適用することが可能である。
【００８１】
ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８２】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１を内蔵している。ＣＰＵ５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５３が接続されている。
【００８３】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部５６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク６３（ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）を含む）、もしくは半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００８４】
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または磁気ディスク６１乃至半導体メモリ６４から読み出されて記憶部５８にインストールされ、記憶部５８からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８６】
【発明の効果】
以上のように、本発明によれば、色モザイク画像からカラー画像を生成するデモザイク処理、または画像の欠陥画素を補間する処理において、画像内の被写体のエッジ部分を、その方向に拘わらず、精度よく再現することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したディジタルビデオカメラの構成例を示すブロック図である。
【図２】図１に示されたディジタルビデオカメラの動作を説明するフローチャートである。
【図３】図１に示されたＤＳＰによるデモザイク処理を説明するための図である。
【図４】図１に示されたＤＳＰによる欠陥画素補間処理を説明するための図である。
【図５】図１に示されたＤＳＰの第１の構成例を示すブロック図である。
【図６】図５に示されたエッジ方向算出部の構成例を示すブロック図である。
【図７】サンプル画素について説明するための図である。
【図８】図５に示された重み算出部の構成例を示すブロック図である。
【図９】図８に示された距離算出部の演算を説明するための図である。
【図１０】図８に示された重み係数算出部の演算を説明するための図である。
【図１１】図８に示された重み係数算出部の演算を説明するための図である。
【図１２】図５に示されたＤＳＰ７の第１の構成例によるデモザイク処理を説明するフローチャートである。
【図１３】図１２のステップＳ１３の処理を説明するフローチャートである。
【図１４】図１２のステップＳ１５の処理を説明するフローチャートである。
【図１５】図１に示されたＤＳＰの第２の構成例を示すブロック図である。
【図１６】図１５に示されたＤＳＰ７の第２の構成例によるデモザイク処理を説明するフローチャートである。
【図１７】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
７ ＤＳＰ， ２０ 注目画素決定部， ２１ エッジ方向算出部， ２２ 重み算出部， ２３ 第１補間部， ２４ 第２補間部， ２５ セレクタ， ５１ ＣＰＵ， ６１ 磁気ディスク， ６２ 光ディスク， ６３ 光磁気ディスク， ６４ 半導体メモリ
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、例えば、単板式固体撮像素子を用いて取得した画像を元にしてカラー画像を生成したり、固体撮像素子を用いて取得した画像の欠陥画素を補間したりする場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、単板式固体撮像素子（ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等）が搭載されているディジタルスチルカメラ、ディジタルビデオカメラなどの撮影装置においては、単板の固体撮像素子が出力する、各画素がＲ，Ｇ，Ｂ成分のうちのいずれかを有する色モザイク画像を元にして、各画素がそれぞれＲ，Ｇ，Ｂ成分の全てを有するカラー画像を生成する処理が実行されている。以下、この処理をデモザイク処理と記述する。
【０００３】
最も基本的なデモザイク処理では、例えば、色モザイク画像のＲ成分だけを有している注目画素に対して、注目画素の近傍に位置するＧ成分だけを有する画素を用いた線形補間演算によってＧ成分が生成される。同様に、注目画素の近傍に位置するＢ成分だけを有する画素を用いた線形補間演算によってＢ成分が生成される。
【０００４】
しかしながら、上述した基本的なデモザイク処理のように、単に、注目画素の近傍に位置し、かつ、所望の色成分信号を有する画素を線形補間に用いた場合、画像内の被写体のエッジ部分が全く考慮されていないので、エッジ部分に、色にじみ、解像度の劣化が発生することが多い。
【０００５】
このような問題を解決する第１のデモザイク処理として、色モザイク画像の注目画素に対して、周辺の色の変化を調べ、その変化に応じて重み付けを算出し、重み付け補間を行うことより、注目画素が本来有してなかった色成分信号を生成する方法を挙げることができる（例えば、特許文献１参照）。
【０００６】
第１のデモザイク処理によれば、エッジ方向に存在する画素が大きい重み付けで補間を行うことができるので、上述した基本的なデモザイク処理よりもエッジの再現性がよい。しかしながら、エッジ方向に存在しない画素についても小さい重み付けではあるが補間に用いられるので、被写体のエッジの再現性は完全ではなく、色にじみが発生してしまうことがある。
【０００７】
ところで、最近の生産技術によっても、欠陥画素を全く生じさせることなく、固体撮像素子を生産することは非常に困難である。そこで、固体撮像素子の生産の歩留まりを一定に保つために、固体撮像素子に生じたわずかな欠陥画素を許容してディジタルカメラに搭載し、ディジタルカメラ等において、欠陥画素の近傍に位置する正常な画素を用いて欠陥画素の画素値を補間する処理が行われている。以下、この処理を、欠陥画素補間処理と記述する。
【０００８】
従来の欠陥画素補間処理は、上述した最も基本的なデモザイク処理や、第１のデモザイク処理と同様の方法で行われていたが、これらと同様に問題が生じていた。
【０００９】
さらに、第１の欠陥画素補間処理として、欠陥画素と同じ色成分信号を有していて、欠陥画素対称の画素対のうち、画素対の画素値の差が最も小さいものの平均値を欠陥画素の画素値とする方法を挙げることができる（例えば、特許文献２参照）。
【００１０】
第１の欠陥画素補間処理は、被写体のエッジをまたぐ画素対が補間に用いられること避けることができるので、第１のデモザイク処理と同様の方法に比べてエッジの再現性がよい。しかしながら、欠陥画素と同じ色成分信号を有する欠陥画素対称の画素対の数は有限であるため、画素対の間の他にエッジがあった場合、精度よくエッジを再現することができないことがある。
【００１１】
第２の欠陥画素補間処理として、欠陥画素の近傍の画素を用いて水平曲率、垂直曲率を算出し、曲率の低い方向（垂直あるいは水平）に補間する方法を挙げることができる（例えば、特許文献３参照）。
【００１２】
第２の欠陥画素補間処理も、第１のデモザイク処理と同様の方法に比べてエッジの再現性がよい。しかしながら、補間方向が水平、垂直等に限定されので、エッジの方向が、水平方向および垂直方向以外であった場合、精度よくエッジを再現することができないことがある。
【００１３】
【特許文献１】
特開２００１−３０７０７９号公報
【特許文献２】
特開２００１−３０７０７９号公報
【特許文献３】
特開２００２−３３９６４号
【００１４】
【発明が解決しようとする課題】
上述したように、デモザイク処理と欠陥画素補間処理には、同様の方法を用いることが可能であり、共通の課題を抱えている。
【００１５】
すなわち、従来のデモザイク処理と欠陥画素補間処理には、被写体のエッジを考慮した方法も存在するが、エッジの方向によっては、精度よくエッジを再現することができない課題があった。
【００１６】
本発明はこのような状況に鑑みてなされたものであり、デモザイク処理または欠陥画素補間処理において、画像内の被写体のエッジ部分を、その方向に拘わらず、精度よく再現できるようにすることを目的とする。
【００１７】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像を構成する複数の画素のうちの１つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成手段と、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出手段と、抽出手段によって抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出手段と、抽出手段によって抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号を補間する第１の補間手段とを含むことを特徴とする。
【００１８】
前記生成手段は、欠陥画素を注目画素に決定することができる。
【００１９】
本発明の画像処理装置は、抽出手段によって抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものに対して、距離に対応する重み係数を算出する重み係数算出手段をさらに含むことができる。
【００２０】
本発明の画像処理装置は、抽出手段によって抽出された画素のうち、エッジの方向ベクトルと直交し、注目画素を通る直線までの距離が所定の閾値よりも短いものに対して、距離に対応する重み係数を算出する重み係数算出手段をさらに含むことができる。
【００２１】
本発明の画像処理装置は、抽出手段によって抽出された画素を用いた線形補間演算により、注目画素が持っていない色成分信号を補間する第２の補間手段と、検出手段によって検出された局所領域におけるエッジの方向ベクトルのサイズを算出する算出手段と、方向ベクトルのサイズに従い、第１の補間手段の出力、または第２の補間手段の出力を、注目画素が持っていない色成分信号に選択する選択手段とさらに含むことができる。
【００２２】
本発明の画像処理方法は、入力された画像を構成する複数の画素のうちの１つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出ステップの処理で抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号を補間する補間ステップとを含むことを特徴とする。
【００２３】
本発明の記録媒体のプログラムは、入力された画像を構成する複数の画素のうちの１つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出ステップの処理で抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号を補間する補間ステップとを含むことを特徴とする。
【００２４】
本発明のプログラムは、入力された画像を構成する複数の画素のうちの１つを注目画素に決定し、注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、局所領域情報から、注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、抽出ステップの処理で抽出された画素に基づき、局所領域におけるエッジの方向ベクトルを検出する検出ステップと、抽出ステップの処理で抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号を補間する補間ステップとを含む処理をコンピュータに実行させることを特徴とする。
【００２５】
本発明の画像処理装置および方法、並びにプログラムにおいては、入力された画像の注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報が生成され、局所領域情報から注目画素が持っていない色成分信号を有する画素が抽出される。さらに、抽出された画素に基づき、局所領域におけるエッジの方向ベクトルが検出され、抽出された画素のうち、エッジの方向ベクトルと平行であって注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、注目画素が持っていない色成分信号が補間される。
【００２６】
【発明の実施の形態】
図１は、本発明の一実施の形態であるディジタルビデオカメラの構成例を示している。ディジタルビデオカメラ１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００２７】
ディジタルビデオカメラ１の光学系は、被写体の光画像を集光するレンズ２、光画像の光量を調整する絞り３、および集光された光画像を所定のフレームレートで光電変換して色モザイク画像の画素となる電気信号を生成する単板式ＣＣＤイメージセンサ４から構成される。
【００２８】
信号処理系は、単板式ＣＣＤイメージセンサ４により生成された電気信号をサンプリングすることによってノイズを低減させる相関２重サンプリング回路（ＣＤＳ）５、相関２重サンプリング回路５によってノイズが除去された電気信号をＡＤ変換するＡ／Ｄコンバータ６、Ａ／Ｄコンバータ６が出力する色モザイク画像に対してデモザイク処理を施して、Ｒ，Ｇ，Ｂ成分の全てを有する画素から構成されるカラー画像を生成するＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）７から構成される。なお、ＤＳＰ７は、必要に応じて、欠陥画素補間処理も実行する。
【００２９】
ディジタルビデオカメラ１の記録系は、ＤＳＰ７から入力されるカラー画像をエンコードしてメモリ１３に記録したり、メモリ１３に記憶されている符号データを読み出してデコードし、ＤＳＰ７に供給したりするＣＯＤＥＣ（Ｃｏｍｐｒｅｓｓｉｏｎ／Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）１２、および、エンコードされたカラー画像を記憶する磁気ディスク、光ディスク、光磁気ディスク、半導体などよりなるメモリ１３から構成される。
【００３０】
ディジタルビデオカメラ１の表示系は、ＤＳＰ７から供給されるカラー画像の画素をＤＡ変換するＤ／Ａコンバータ９、Ｄ／Ａコンバータ９が出力するＲ，Ｇ，Ｂ成分の全てを有する画素から構成されるカラー画像を、輝度Ｙ、色差Ｃｒ，Ｃｂ等の通常のビデオ信号に変換してディスプレイ１１に出力するビデオエンコーダ１０、およびビデオ信号に対応する画像を表示することによってファインダやビデオモニタとして機能するＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等よりなるディスプレイ１１から構成される。
【００３１】
ディジタルビデオカメラ１の制御系は、単板式ＣＣＤイメージセンサ４乃至ＤＳＰ７の動作タイミングを制御するタイミングジェネレータ（ＴＧ）８、ユーザからの各種の操作を受け付けるインプットデバイス１５、およびディジタルビデオカメラ１の全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４から構成される。
【００３２】
次に、ディジタルビデオカメラ１の動作の概要について、図２のフローチャートを参照して説明する。ステップＳ１において、ディジタルビデオカメラ１の撮像系および信号処理系は、被写体を撮影し、対応する色モザイク画像を取得する。具体的には、被写体の光学画像（入射光）が、レンズ２および絞り３を介して単板式ＣＣＤイメージセンサ４に入射され、単板式ＣＣＤイメージセンサ４によって光電変換され、得られた色モザイク画像の画素となる電気信号が、相関２重サンプリング回路５によってノイズが除去され、Ａ／Ｄコンバータ６によってディジタル化された後、ＤＳＰ７に供給される。
【００３３】
ステップＳ２において、信号処理系のＤＳＰ７は、Ａ／Ｄコンバータ６から入力された色モザイク画像に、本発明を適用したデモザイク処理を施してカラー画像を生成する。例えば、図３に示すように、色モザイク画像を構成する画素の有する色成分信号がベイヤ配列をなしている場合、注目画素（この例の場合、Ｒ成分だけを有している画素）に対し、注目画素を中心と所定の局所領域に含まれる画素のうち、Ｇ成分を有する画素を用いた重み付け補間により注目画素のＧ成分を生成し、Ｂ成分を有する画素を用いた重み付け補間により注目画素のＢ成分を生成する。ここで、ＤＳＰ７は、色モザイク画像を構成する画素の座標と有する色成分信号の種類を示す情報を、予め保持しているものとする。なお、本発明を適用したデモザイク処理については、図１２を参照して詳述する。
【００３４】
また、ＤＳＰ７に入力された色モザイク画像に欠陥画素が存在する場合、デモザイク処理の前に、本発明を適用した欠陥画素補間処理を実行するようにする。例えば、図４に示すように、色モザイク画像を構成する画素の有する色成分信号がベイヤ配列をなしている場合、欠陥画素（この例の場合、正常ならばＧ成分だけを有している画素）に対し、注目画素を中心と所定の局所領域に含まれる画素のうち、Ｇ成分を有する画素を用いた重み付け補間により欠陥画素のＧ成分を生成する。ここで、ＤＳＰ７は、色モザイク画像の欠陥画素の座標を示す情報も、予め保持しているものとする。
【００３５】
以上で、ディジタルビデオカメラ１の動作概要の説明を終了する。
【００３６】
次に、図５は、ＤＳＰ７の第１の構成例を示している。ＤＳＰ７の注目画素決定部２０は、上段から入力される色モザイク画像の画素を、順次、注目画素に決定し、注目画素を中心とする所定の局所領域（例えば、７×７画素）に含まれる画素を、エッジ方向算出部２１、重み算出部２２、第１補間部２３、および第２補間部２４に出力する。
【００３７】
エッジ方向算出部２１は、色モザイク画像の注目画素を中心とする所定の局所領域における色成分信号毎に、エッジ方向ベクトルおよびエッジサイズを算出して、エッジ方向ベクトルおよびエッジサイズを重み算出部２２に出力するとともに、エッジサイズを第２補間部２４、およびセレクタ２５に出力する。
【００３８】
図６は、エッジ方向算出部２１の構成例を示している。エッジ方向算出部２１のリサンプリング部３１は、注目画素を中心とする所定の局所領域に含まれる複数の画素を、注目画素が持っていない色成分信号毎にリサンプリングして、グラディエント算出部３２に出力する。グラディエント算出部３２は、色成分信号毎にリサンプリングされた同一の色成分信号を有する複数の画素に基づき、グラディエントオペレータ、方向別のエネルギ差分値等を利用して、各色成分信号のグラディエント（勾配）を算出して、ベクトル回転部３３に出力する。
【００３９】
ベクトル回転部３３は、各色成分信号のグラディエントを９０度回転し、エッジ方向ベクトルとして正規化部３４およびエッジサイズ算出部３５に出力する。正規化部３４は、ベクトル回転部３３から入力されたエッジ方向ベクトルを正規化して、後段の重み算出部２２に出力する。エッジサイズ算出部３５は、ベクトル回転部３３から入力されたエッジ方向ベクトルのノルムを算出し、その結果をエッジサイズとして、後段の第１補間部２３、第２補間部２４、およびセレクタ２５に出力する。
【００４０】
図５に戻る。重み算出部２２は、エッジ方向算出部２１から入力されるエッジサイズが所定の閾値ｔｈ３よりも大きい場合、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第１補間部２３に出力する。
【００４１】
ここで、サンプル画素とは、例えば、図７に示すように、Ｒ成分だけを有する注目画素のＢ成分を重み付け補間により生成する場合においては、注目画素を中心とする所定の局所領域に含まれる画素のうち、Ｂ成分だけを有しており、かつ、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Ｔｈ１よりも小さいものを指す。同様に、Ｒ成分だけを有する注目画素のＧ成分を重み付け補間により生成する場合においては、Ｇ成分だけを有しており、かつ、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Ｔｈ１よりも小さいものを指す。
【００４２】
図８は、重み算出部２２の構成例を示している。重み算出部２２の位置ベクトル算出部４１は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有する画素（以下、サンプル画素候補と記述する）の注目画素からの相対的な位置を示す位置ベクトルＳを算出して、距離算出部４２に出力する。距離算出部４２は、図９に示すように、各サンプル画素候補の位置ベクトルＳおよびエッジ方向ベクトルＬに基づいて、各サンプル画素候補と、注目画素を通るエッジ方向ベクトルＬと平行な直線との距離ｄを、次式（１）を用いてそれぞれ算出し、重み係数算出部４３に出力する。
【数１】
重み係数算出部４３は、サンプル画素候補のうち、注目画素を通るエッジ方向ベクトルと平行な直線との距離が、所定の閾値Ｔｈ１よりも小さいものをサンプル画素に決定し、各サンプル画素に対して、重み付け補間演算に用いる重み係数を算出して、サンプル画素の位置ベクトルＳとその重み係数ｗを、第１補間部２３に出力する。
【００４４】
具体的には、例えば、図１０に示すようなサンプル画素Ｐｉ（ｉ＝１，２，３，４）に対し、注目画素を通るエッジ方向ベクトルと平行な直線との距離ｄｉが短ければ短いほど、大きな値の重み係数ｗｉ１が算出されるように、次式（２）を用いて設定して、サンプル画素の位置ベクトルＳｉとその重み係数ｗｉ１を、後段に出力する。
【数２】
さらに、重み係数算出部４３は、例えば、図１１に示すようなサンプル画素Ｐｉに対し、注目画素を通りエッジ方向ベクトルと直交する直線との距離ｌｉが短ければ短いほど、大きな値の重み係数ｗｉ２が算出されるように、次式（３）を用いて設定して、サンプル画素の位置ベクトルＳｉとその重み係数ｗｉ２を、後段に出力する。
【数３】
なお、重み係数算出部４３において、重み係数ｗｉ１，ｗｉ２のうちの一方だけを算出し、設定するようにしてもよい。
【００４７】
図５に戻る。第１補間部２３は、色モザイク画像の注目画素に対し、次式（４）に示すような、サンプル画素Ｐｉの画素値ｖｉと、それぞれに設定された重み係数ｗｉ１を用いた重み付け補間演算を実行する。
【数４】
また、第１補間部２３は、次式（５）に示すような、サンプル画素Ｐｉの画素値ｖｉと、それぞれに設定された重み係数ｗｉ２を用いた重み付け補間演算を実行する。
【数５】
さらに、第１補間部２３は、式（４）の演算結果であるｆ１（ｖ）と、式（５）の演算結果であるｆ２（ｖ）の平均値を演算し、第１の補間値としてセレクタ２５に出力する。
【００５０】
なお、重み係数算出部４３から第１補間部２３に対して、重み係数ｗｉ１，ｗｉ２のうちの一方だけが供給される場合、式（４）の演算結果であるｆ１（ｖ）、または式（５）の演算結果であるｆ２（ｖ）を、第１の補間値としてセレクタ２５に出力するようにすればよい。
【００５１】
第２補間部２４は、エッジ方向算出部２１から入力されるエッジサイズが所定の閾値ｔｈ３よりも大きくない場合、色モザイク画像の注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有する画素を用いる線形補間により、注目画素が有していない色成分信号を生成し、第２補間値としてセレクタ２５に出力する。したがって、第２補間値は、エッジが全く考慮されていない補間値である。
【００５２】
セレクタ２５は、エッジ方向算出部２１から入力されるエッジサイズが所定の閾値Ｔｈ３よりも大きい場合、第１補間部２３から入力される第１の補間値を後段に出力し、エッジ方向算出部２１から入力されるエッジサイズが所定の閾値Ｔｈ３よりも大きくない場合、第２補間部２４から入力される第２の補間値を後段に出力する。
【００５３】
次に、ＤＳＰ７の第１の構成例によるデモザイク処理について、図１２のフローチャートを参照して説明する。ステップＳ１１において、注目画素決定部２０は、上段から入力された色モザイク画像を構成する画素を、順次、１画素ずつ注目画素に決定する。ステップＳ１２において、注目画素決定部２０は、注目画素を中心とする所定の局所領域に属する画素を抽出して、エッジ方向算出部２１乃至第２補間部２４に供給する。
【００５４】
ステップＳ１３において、エッジ方向算出部２１は、補間する色成分信号、すなわち、注目画素が有していない色成分信号毎に、エッジの方向ベクトルとエッジサイズを算出して、セレクタ２５に出力する。
【００５５】
ステップＳ１３の処理について、図１３のフローチャートを参照して詳述する。ステップＳ２１において、リサンプリング部３１は、注目画素が有していない色成分信号のうちの１つを、注目する色成分信号（すなわち、補間する色成分信号）に決定し、注目画素を中心とする所定の局所領域に含まれる複数の画素のうち、注目する色成分信号を有する画素を、グラディエント算出部３２に出力する。
【００５６】
ステップＳ２２において、グラディエント算出部３２は、注目する色成分信号を有する複数の画素に基づき、グラディエントオペレータ、方向別の画素値の差分等を利用して、グラディエントを算出して、ベクトル回転部３３に出力する。ステップＳ２３において、ベクトル回転部３３は、グラディエントを９０度回転し、その結果得られたエッジ方向ベクトルを、正規化部３４およびエッジサイズ算出部３５に出力する。
【００５７】
ステップＳ２４において、エッジサイズ算出部３５は、ベクトル回転部３３から入力されたエッジ方向ベクトルのノルムを算出し、その結果をエッジサイズとして、後段の第１補間部２３、第２補間部２４、およびセレクタ２５に出力する。ステップＳ２５において、正規化部３４は、ベクトル回転部３３から入力されたエッジ方向ベクトルを正規化して、後段の重み算出部２２に出力する。なお、ステップＳ２４の処理と、ステップＳ２５の処理は、並行して行うことができる。
【００５８】
ステップＳ２６において、リサンプリング部３１は、注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っているか否かを判定する。注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っていると判定された場合、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２６において、注目画素が有していない色成分信号のうち、注目する色成分信号に決定していないものが残っていないと判定された場合、このエッジ方向算出処理は終了されて、処理は、図１２のステップＳ１４に進む。
【００５９】
図１２に戻る。ステップＳ１４において、重み算出部２２および第２補間部２４は、エッジ方向算出部２１から入力された色成分信号毎のエッジサイズが所定の閾値ｔｈ３よりも大きいか否かを判定する。エッジサイズが所定の閾値ｔｈ３よりも大きいと判定された場合、処理は、ステップＳ１５に進む。ステップＳ１５において、重み算出部２２は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第１補間部２３に出力する。
【００６０】
ステップＳ１５の処理について、図１４のフローチャートを参照して詳述する。ステップＳ３１において、位置ベクトル算出部４１は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、１つを注目するサンプル画素候補Ｐｉに決定する。
【００６１】
ステップＳ３２において、位置ベクトル算出部４１は、注目するサンプル画素候補Ｐｉの注目画素からの相対的な位置を示す位置ベクトルＳｉを算出して、距離算出部４２に出力する。ステップＳ３３において、距離算出部４２は、サンプル画素候補Ｐｉと、注目画素を通るエッジ方向ベクトルＬと平行な直線との距離ｄｉを算出する。また、距離算出部４２は、サンプル画素候補Ｐｉと、注目画素を通るエッジ方向ベクトルＬと直交する直線との距離ｌｉを算出する。
【００６２】
ステップＳ３４において、重み係数算出部４３は、サンプル画素候補のうち、注目画素を通るエッジ方向ベクトルと平行な直線との距離ｄｉが、所定の閾値Ｔｈ１よりも小さく、かつ、注目画素を通るエッジ方向ベクトルと直交する直線との距離ｌｉが、所定の閾値Ｔｈ２よりも小さいか否かを判定し、両条件が満たされているサンプル画素候補Ｐｉをサンプル画素Ｐｉに決定して、距離が短ければ短いほど、その値が大きくなるように、重み係数ｗｉ１，ｗｉ２を算出して第１補間部２３に出力する。なお、いずれか一方の条件だけを適用するようにしてもよい。
【００６３】
ステップＳ３５において、位置ベクトル算出部４１は、重み算出部２２の位置ベクトル算出部４１は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、注目していないサンプル画素候補Ｐｉが残っているか否かを判定し、残っていると判定した場合、ステップＳ３１に戻り、それ以降の処理を繰り返す。その後、ステップＳ３５において、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号を有するサンプル画素候補のうち、注目していないサンプル画素候補Ｐｉが残っていないと判定された場合、この重み係数算出処理は終了され、処理は図１２のステップＳ１６に進む。
【００６４】
図１２に戻る。ステップＳ１６において、第１補間部２３は、色モザイク画像の注目画素に対し、式（４）を用いた重み付け補間演算を実行する。また、第１補間部２３は、式（５）を用いた重み付け補間演算を実行する。さらに、第１補間部２３は、式（４）の演算結果であるｆ１（ｖ）と、式（５）の演算結果であるｆ２（ｖ）の平均値を演算し、第１の補間値としてセレクタ２５に出力する。セレクタ２５は、第１補間部２３からの第１の補間値を、注目画素の色成分信号として出力する。
【００６５】
なお、ステップＳ１４において、エッジサイズが所定の閾値ｔｈ３よりも大きくないと判定された場合、処理はステップＳ１７に進む。ステップＳ１７において、第２補間部２４は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間する色成分信号だけを有する画素を用いる線形補間により、注目画素が有していない色成分信号を生成し、第２補間値としてセレクタ２５に出力する。セレクタ２５は、第２補間部２４からの第２の補間値を、注目画素の色成分信号として出力する。
【００６６】
ステップＳ１８において、ＤＳＰ７は、色モザイク画像を構成する全ての画素のうち、注目画素に決定していない画素が残っているか否かを判定する。注目画素に決定していない画素が残っていると判定された場合、ステップＳ１１に戻り、ステップＳ１８において、注目画素に決定していない画素が残っていないと判定されるまで、ステップＳ１１以降の処理が繰り返される。以上で、デモザイク処理の説明を終了する。
【００６７】
以上説明したように、ＤＳＰ７の第１の構成例によるデモザイク処理によれば、色モザイク画像に存在する任意方向のエッジを検出し、エッジの方向および注目画素との距離を考慮してサンプル画素を決定し、サンプル画素を用いた重み付け補間演算により、注目画素が有していなかった色成分信号を補間するようにしたので、画像内のエッジ部分を、その方向に拘わらず、精度よく再現することができる。また、エッジ部分の色にじみを抑止することができる。
【００６８】
また、エッジが存在しない部分（あるいはエッジサイズが小さい部分）については、上述した重み付け補間演算を行わずに、従来の線形補間演算を行うので、その部分の補間値を速やかに取得することができる。
【００６９】
さらに、エッジサイズに応じて、エッジが考慮された第１の補間値と、エッジが考慮されていない第２の補間値を選択することにより、画像全体の高周波成分を精度よく再現することができる。
【００７０】
次に、図１５は、ＤＳＰ７の第２の構成例を示している。この第２の構成例は、図５に示された第１の構成例の第２補間部２４およびセレクタ２５を削除したものである。したがって、ＤＳＰ７の第２の構成例は、色モザイク画像のすべての画素に対して、エッジを考慮した重み付け補間演算により、有していない色成分信号を生成することになる。
【００７１】
図１６は、図１５に示されたＤＳＰ７の第２の構成例によるデモザイク処理を説明するフローチャートである。第２の構成例によるデモザイク処理は、基本的に、上述した第１の構成例によるデモザイク処理から、ステップＳ１４の処理およびステップＳ１７の処理を省略したものである。
【００７２】
ステップＳ５１において、注目画素決定部２０は、上段から入力された色モザイク画像を構成する画素を、順次、１画素ずつ注目画素に決定する。ステップＳ５２において、注目画素決定部２０は、注目画素を中心とする所定の局所領域に属する画素を抽出して、エッジ方向算出部２１乃至第１補間部２３に供給する。
【００７３】
ステップＳ５３において、エッジ方向算出部２１は、補間する色成分信号、すなわち、注目画素が有していない色成分信号毎に、エッジの方向ベクトルとエッジサイズを算出して、セレクタ２５に出力する。ステップＳ５４において、重み算出部２２は、注目画素を中心とする所定の局所領域に含まれる画素のうち、補間に用いるサンプル画素の重み係数を算出して、第１補間部２３に出力する。
【００７４】
ステップＳ５５において、第１補間部２３は、色モザイク画像の注目画素に対し、式（４）を用いた重み付け補間演算を実行する。また、第１補間部２３は、式（５）を用いた重み付け補間演算を実行する。さらに、第１補間部２３は、式（４）の演算結果であるｆ１（ｖ）と、式（５）の演算結果であるｆ２（ｖ）の平均値を演算し、第１の補間値としてセレクタ２５に出力する。セレクタ２５は、第１補間部２３からの第１の補間値を、注目画素の色成分信号として出力する。
【００７５】
ステップＳ５６において、ＤＳＰ７は、色モザイク画像を構成する全ての画素のうち、注目画素に決定していない画素が残っているか否かを判定する。注目画素に決定していない画素が残っていると判定された場合、ステップＳ５１に戻り、ステップＳ５６において、注目画素に決定していない画素が残っていないと判定されるまで、ステップＳ５１以降の処理が繰り返される。以上で、デモザイク処理の説明を終了する。
【００７６】
以上説明したように、ＤＳＰ７の第２の構成例によるデモザイク処理によれば、色モザイク画像に存在する任意方向のエッジを検出し、エッジの方向および注目画素との距離を考慮してサンプル画素を決定し、サンプル画素を用いた重み付け補間演により、注目画素が有していなかった色成分信号を補間するようにしたので、画像内のエッジ部分を、その方向に拘わらず、精度よく再現することができる。また、エッジ部分の色にじみを抑止することができる。
【００７７】
以上、ＤＳＰ７によるデモザイク処理について説明したが、ＤＳＰ７による欠陥画素補間処理も、同様の手順で実行することができる。その場合、図４を参照して上述したように、欠陥画素を注目画素として、注目画素が正常ならば有している色成分信号を、注目画素を中心とする所定の局所領域に属する画素を用いた重み付け補間演算により生成するようにすればよい。
【００７８】
また、ＤＳＰ７によるデモザイク処理は、モノクロ画像に存在する欠陥画素を補間する場合にも適用することが可能である。
【００７９】
本実施の形態においては、色モザイク画像を構成する画素の色成分信号を、Ｒ，Ｇ，Ｂ成分としたが、例えば、Ｙ（イエロ）成分、Ｍｇ（マゼンダ）成分、およびシアン（Ｃｙ）成分のような、他の色成分信号の組み合わせにも、本発明を適用することが可能である。
【００８０】
さらに、本発明は、ディジタルビデオカメラの他、単板式固体撮像素子が搭載されたディジタルスチルカメラ、スキャナ等に適用することが可能である。
【００８１】
ところで、上述した一連の画像処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００８２】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１を内蔵している。ＣＰＵ５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５２およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５３が接続されている。
【００８３】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部５６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）を含む）、光磁気ディスク６３（ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）を含む）、もしくは半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００８４】
ＣＰＵ５１は、ＲＯＭ５２に記憶されているプログラム、または磁気ディスク６１乃至半導体メモリ６４から読み出されて記憶部５８にインストールされ、記憶部５８からＲＡＭ５３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ５３にはまた、ＣＰＵ５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【００８５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００８６】
【発明の効果】
以上のように、本発明によれば、色モザイク画像からカラー画像を生成するデモザイク処理、または画像の欠陥画素を補間する処理において、画像内の被写体のエッジ部分を、その方向に拘わらず、精度よく再現することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したディジタルビデオカメラの構成例を示すブロック図である。
【図２】図１に示されたディジタルビデオカメラの動作を説明するフローチャートである。
【図３】図１に示されたＤＳＰによるデモザイク処理を説明するための図である。
【図４】図１に示されたＤＳＰによる欠陥画素補間処理を説明するための図である。
【図５】図１に示されたＤＳＰの第１の構成例を示すブロック図である。
【図６】図５に示されたエッジ方向算出部の構成例を示すブロック図である。
【図７】サンプル画素について説明するための図である。
【図８】図５に示された重み算出部の構成例を示すブロック図である。
【図９】図８に示された距離算出部の演算を説明するための図である。
【図１０】図８に示された重み係数算出部の演算を説明するための図である。
【図１１】図８に示された重み係数算出部の演算を説明するための図である。
【図１２】図５に示されたＤＳＰ７の第１の構成例によるデモザイク処理を説明するフローチャートである。
【図１３】図１２のステップＳ１３の処理を説明するフローチャートである。
【図１４】図１２のステップＳ１５の処理を説明するフローチャートである。
【図１５】図１に示されたＤＳＰの第２の構成例を示すブロック図である。
【図１６】図１５に示されたＤＳＰ７の第２の構成例によるデモザイク処理を説明するフローチャートである。
【図１７】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
７ ＤＳＰ， ２０ 注目画素決定部， ２１ エッジ方向算出部， ２２ 重み算出部， ２３ 第１補間部， ２４ 第２補間部， ２５ セレクタ， ５１ ＣＰＵ， ６１ 磁気ディスク， ６２ 光ディスク， ６３ 光磁気ディスク， ６４ 半導体メモリ
Claims (8)
- 画像を構成する画素の色成分信号を、近傍の画素の色成分信号を用いて補間する画像処理装置において、
入力された前記画像を構成する複数の画素のうちの１つを注目画素に決定し、前記注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成手段と、
前記局所領域情報から、前記注目画素が持っていない色成分信号を有する画素を抽出する抽出手段と、
前記抽出手段によって抽出された画素に基づき、前記局所領域におけるエッジの方向ベクトルを検出する検出手段と、
前記抽出手段によって抽出された画素のうち、前記エッジの方向ベクトルと平行であって前記注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、前記注目画素が持っていない色成分信号を補間する第１の補間手段と
を含むことを特徴とする画像処理装置。 - 前記生成手段は、欠陥画素を前記注目画素に決定する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記抽出手段によって抽出された画素のうち、前記エッジの方向ベクトルと平行であって前記注目画素を通る直線までの距離が所定の閾値よりも短いものに対して、前記距離に対応する重み係数を算出する重み係数算出手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。 - 前記抽出手段によって抽出された画素のうち、前記エッジの方向ベクトルと直交し、前記注目画素を通る直線までの距離が所定の閾値よりも短いものに対して、前記距離に対応する重み係数を算出する重み係数算出手段を
さらに含むことを特徴とする請求項１に記載の画像処理装置。 - 前記抽出手段によって抽出された画素を用いた線形補間演算により、前記注目画素が持っていない色成分信号を補間する第２の補間手段と、前記検出手段によって検出された前記局所領域におけるエッジの方向ベクトルのサイズを算出する算出手段と、
前記方向ベクトルのサイズに従い、前記第１の補間手段の出力、または前記第２の補間手段の出力を、前記注目画素が持っていない色成分信号に選択する選択手段と
さらに含むことを特徴とする請求項１に記載の画像処理装置。 - 画像を構成する画素の色成分信号を、近傍の画素の色成分信号を用いて補間する画像処理方法において、
入力された前記画像を構成する複数の画素のうちの１つを注目画素に決定し、前記注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、
前記局所領域情報から、前記注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、
前記抽出ステップの処理で抽出された画素に基づき、前記局所領域におけるエッジの方向ベクトルを検出する検出ステップと、
前記抽出ステップの処理で抽出された画素のうち、前記エッジの方向ベクトルと平行であって前記注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、前記注目画素が持っていない色成分信号を補間する補間ステップと
を含むことを特徴とする画像処理方法。 - 画像を構成する画素の色成分信号を、近傍の画素の色成分信号を用いて補間するためのプログラムであって、
入力された前記画像を構成する複数の画素のうちの１つを注目画素に決定し、前記注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、
前記局所領域情報から、前記注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、
前記抽出ステップの処理で抽出された画素に基づき、前記局所領域におけるエッジの方向ベクトルを検出する検出ステップと、
前記抽出ステップの処理で抽出された画素のうち、前記エッジの方向ベクトルと平行であって前記注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、前記注目画素が持っていない色成分信号を補間する補間ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 画像を構成する画素の色成分信号を、近傍の画素の色成分信号を用いて補間するためのプログラムであって、
入力された前記画像を構成する複数の画素のうちの１つを注目画素に決定し、前記注目画素を中心とする所定の局所領域に属する複数の画素からなる局所領域情報を生成する生成ステップと、
前記局所領域情報から、前記注目画素が持っていない色成分信号を有する画素を抽出する抽出ステップと、
前記抽出ステップの処理で抽出された画素に基づき、前記局所領域におけるエッジの方向ベクトルを検出する検出ステップと、
前記抽出ステップの処理で抽出された画素のうち、前記エッジの方向ベクトルと平行であって前記注目画素を通る直線までの距離が所定の閾値よりも短いものを用いた補間演算により、前記注目画素が持っていない色成分信号を補間する第１の補間ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003005586A JP4154661B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003005586A JP4154661B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004221838A true JP2004221838A (ja) | 2004-08-05 |
| JP4154661B2 JP4154661B2 (ja) | 2008-09-24 |
Family
ID=32896214
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003005586A Expired - Fee Related JP4154661B2 (ja) | 2003-01-14 | 2003-01-14 | 画像処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4154661B2 (ja) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100738185B1 (ko) | 2005-12-29 | 2007-07-10 | 매그나칩 반도체 유한회사 | 이미지 센서 및 이미지 센서의 이미지 윤곽선 검출방법 |
| WO2007139343A1 (en) * | 2006-05-30 | 2007-12-06 | Mtekvision Co., Ltd. | Color interpolation method and device |
| WO2008013406A1 (en) * | 2006-07-25 | 2008-01-31 | Mtekvision Co., Ltd. | Color interpolation method and device considering edge direction and cross stripe noise |
| KR100818447B1 (ko) | 2006-09-22 | 2008-04-01 | 삼성전기주식회사 | 컬러 필터를 사용하여 검출된 영상의 컬러 보간 방법 |
| JP2009038792A (ja) * | 2007-07-23 | 2009-02-19 | Nvidia Corp | デジタル画像内のカラーアーティファクトを低減させるための技法 |
| JP2009095012A (ja) * | 2007-10-05 | 2009-04-30 | Seiko Epson Corp | 補間方向の判定方法、色補間方法および色補間装置 |
| JP2009186388A (ja) * | 2008-02-08 | 2009-08-20 | Acutelogic Corp | Ｍｔｆ測定方法及びｍｔｆ測定装置 |
| JP2010035114A (ja) * | 2008-07-31 | 2010-02-12 | Elmo Co Ltd | 撮像装置 |
| KR100989760B1 (ko) | 2008-12-29 | 2010-10-26 | 엠텍비젼 주식회사 | 이미지 처리 장치, 이미지 처리 장치의 노이즈 제거 방법 및 노이즈 제거 방법이 기록된 기록매체 |
| CN101472048B (zh) * | 2007-12-21 | 2011-09-28 | 索尼株式会社 | 图像拾取装置、色噪声降低方法和色噪声降低程序 |
| US8295595B2 (en) | 2006-12-15 | 2012-10-23 | Sony Corporation | Generating full color images by demosaicing noise removed pixels from images |
| US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
| US8456547B2 (en) | 2005-11-09 | 2013-06-04 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
| US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
| US8571346B2 (en) | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
| US8570634B2 (en) | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
| US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
| US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
| US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
| US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
| US8712183B2 (en) | 2009-04-16 | 2014-04-29 | Nvidia Corporation | System and method for performing image correction |
| US8723969B2 (en) | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
| US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
| US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
| US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
| US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
| US9479745B2 (en) | 2014-09-19 | 2016-10-25 | Omnivision Technologies, Inc. | Color filter array with reference pixel to reduce spectral crosstalk |
| US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
| US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
| US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
| US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
| CN112349735A (zh) * | 2019-08-08 | 2021-02-09 | 爱思开海力士有限公司 | 图像传感器、图像信号处理器及包括其的图像处理系统 |
-
2003
- 2003-01-14 JP JP2003005586A patent/JP4154661B2/ja not_active Expired - Fee Related
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
| US8571346B2 (en) | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
| US8456547B2 (en) | 2005-11-09 | 2013-06-04 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
| US8456548B2 (en) | 2005-11-09 | 2013-06-04 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
| US8456549B2 (en) | 2005-11-09 | 2013-06-04 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
| US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
| KR100738185B1 (ko) | 2005-12-29 | 2007-07-10 | 매그나칩 반도체 유한회사 | 이미지 센서 및 이미지 센서의 이미지 윤곽선 검출방법 |
| US8768160B2 (en) | 2006-02-10 | 2014-07-01 | Nvidia Corporation | Flicker band automated detection system and method |
| US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
| WO2007139343A1 (en) * | 2006-05-30 | 2007-12-06 | Mtekvision Co., Ltd. | Color interpolation method and device |
| US8229213B2 (en) | 2006-07-25 | 2012-07-24 | Mtekvision Co., Ltd. | Color interpolation method and device considering edge direction and cross stripe noise |
| KR100826215B1 (ko) | 2006-07-25 | 2008-04-29 | 엠텍비젼 주식회사 | 격자 노이즈 및 에지 방향을 고려한 컬러 보간 방법 및장치 |
| WO2008013406A1 (en) * | 2006-07-25 | 2008-01-31 | Mtekvision Co., Ltd. | Color interpolation method and device considering edge direction and cross stripe noise |
| US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
| KR100818447B1 (ko) | 2006-09-22 | 2008-04-01 | 삼성전기주식회사 | 컬러 필터를 사용하여 검출된 영상의 컬러 보간 방법 |
| US8295595B2 (en) | 2006-12-15 | 2012-10-23 | Sony Corporation | Generating full color images by demosaicing noise removed pixels from images |
| US8723969B2 (en) | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
| JP4693067B2 (ja) * | 2007-07-23 | 2011-06-01 | エヌヴィディア コーポレイション | デジタル画像内のカラーアーティファクトを低減させるための技法 |
| US8724895B2 (en) | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
| JP2009038792A (ja) * | 2007-07-23 | 2009-02-19 | Nvidia Corp | デジタル画像内のカラーアーティファクトを低減させるための技法 |
| JP2009095012A (ja) * | 2007-10-05 | 2009-04-30 | Seiko Epson Corp | 補間方向の判定方法、色補間方法および色補間装置 |
| US8570634B2 (en) | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
| US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
| US8363123B2 (en) | 2007-12-21 | 2013-01-29 | Sony Corporation | Image pickup apparatus, color noise reduction method, and color noise reduction program |
| CN101472048B (zh) * | 2007-12-21 | 2011-09-28 | 索尼株式会社 | 图像拾取装置、色噪声降低方法和色噪声降低程序 |
| JP2009186388A (ja) * | 2008-02-08 | 2009-08-20 | Acutelogic Corp | Ｍｔｆ測定方法及びｍｔｆ測定装置 |
| US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
| US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
| JP2010035114A (ja) * | 2008-07-31 | 2010-02-12 | Elmo Co Ltd | 撮像装置 |
| US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
| KR100989760B1 (ko) | 2008-12-29 | 2010-10-26 | 엠텍비젼 주식회사 | 이미지 처리 장치, 이미지 처리 장치의 노이즈 제거 방법 및 노이즈 제거 방법이 기록된 기록매체 |
| US8712183B2 (en) | 2009-04-16 | 2014-04-29 | Nvidia Corporation | System and method for performing image correction |
| US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
| US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
| US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
| US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
| US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
| US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
| US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
| US9479745B2 (en) | 2014-09-19 | 2016-10-25 | Omnivision Technologies, Inc. | Color filter array with reference pixel to reduce spectral crosstalk |
| US9756298B2 (en) | 2014-09-19 | 2017-09-05 | Omnivision Technologies, Inc. | Color filter array with reference pixel to reduce spectral crosstalk |
| CN112349735A (zh) * | 2019-08-08 | 2021-02-09 | 爱思开海力士有限公司 | 图像传感器、图像信号处理器及包括其的图像处理系统 |
| CN112349735B (zh) * | 2019-08-08 | 2024-04-09 | 爱思开海力士有限公司 | 图像传感器、图像信号处理器及包括其的图像处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4154661B2 (ja) | 2008-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4154661B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4674607B2 (ja) | 画像処理装置および方法 | |
| JP4228699B2 (ja) | 撮像装置、および撮像素子 | |
| JP4946581B2 (ja) | 画像処理装置 | |
| WO2013031367A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP5421647B2 (ja) | 撮像装置及びその制御方法 | |
| JP5123756B2 (ja) | 撮像システム、画像処理方法および画像処理プログラム | |
| US8982248B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP2004221839A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2011188391A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP4429816B2 (ja) | 撮像装置および画像の高解像度化方法 | |
| JP5513978B2 (ja) | 撮像装置、集積回路および画像処理方法 | |
| WO2007077730A1 (ja) | 撮像システム、画像処理プログラム | |
| KR100986203B1 (ko) | 촬상 장치 및 이에 이용하는 결함 화소 보정 방법 | |
| JP4894594B2 (ja) | 画像処理装置 | |
| WO2014017153A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2010277267A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
| JP2013162347A (ja) | 画像処理装置、画像処理方法、プログラム、および装置 | |
| JP4556102B2 (ja) | 画像処理装置および画像処理方法、並びに、プログラム | |
| JP2008053875A (ja) | 画像処理装置および方法、プログラム、並びにプログラム格納媒体 | |
| JP5131567B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP5400655B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器 | |
| JP2002197455A (ja) | 画像処理装置及び画像処理方法 | |
| JP2003134523A (ja) | 撮像装置及び撮像方法 | |
| JP3491830B2 (ja) | 画像処理装置及び画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080314 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080321 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080612 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080625 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120718 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130718 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |