JP2010154024A - 画像処理装置、および画像処理方法 - Google Patents

Abstract

【課題】ベイヤ形式からフルＲＧＢ形式の画像データに変換し、さらにＹＵＶ４４４形式の画像データに変換する場合に、信頼性の高いＹＵＶ４４４形式の画像データを得る。
【解決手段】 デモザイキング部２１により、ベイヤ画像の画素データを補間してフルＲＧＢ形式の画素データに変換し、ＹＵＶ４４４変換部２２により、フルＲＧＢ形式の画素データをＹＵＶ４４４形式の画素データに変換する。そして、ＹＵＶ４２０変換部２３により、ＹＵＶ４４４形式の画素データを間引いてＹＵＶ４２０の画素データに変換する。この場合に、ベイヤ形式のＢ画素位置はＹＵ、Ｒ画素位置はＹＶ、Ｇ画素位置はＹとなるようにＹＵＶ４２０形式に間引く。そして、ＹＵＶ４４４補間部２４ではＹＵＶ４２０形式の画素データを補間してＹＵＶ４４４形式の画素データを作成する。
【選択図】図３

Description

本発明は、ベイヤ（Ｂａｙｅｒ）形式の画像データを、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）で表されるＹＵＶ形式の画像データに変換する、画像処理装置、および画像処理方法に関する。

従来技術のデジタルカメラ装置において、撮影画像をベイヤ（ＲＡＷ）形式からＹＵＶ形式に変換する際に、ベイヤ画像を、１画素あたりにＲＧＢの全てのデータが揃っているＲＧＢ４４４（「フルＲＧＢ」と記載）形式に変換した後にＹＵＶ４４４形式に変換する方法が開示されている（例えば、特許文献１を参照）。

この特許文献１で開示されたデジタルカメラ装置においては、画素データのベイヤ形式からフルＲＧＢ形式への変換には次の式が用いられている。
Ｇ＝(１／４)Ｇ１＋(１／４)Ｇ２＋(１／４)Ｇ３＋(１／４)Ｇ４、
Ｒ＝(１／４)Ｒ１＋(１／４)Ｒ２＋(１／４)Ｒ３＋(１／４)Ｒ４、
Ｂ＝(１／４)Ｂ１＋(１／４)Ｂ２＋(１／４)Ｂ３＋(１／４)Ｂ４

また、フルＲＧＢ形式からＹＵＶ４４４形式への変換には次の式が用いられている。
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ、
Ｕ＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５＊Ｂ、
Ｖ＝０．５＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ
特開２００４−３２８０７２号公報

しかしながら、この特許文献１のデジタルカメラ装置において開示されているような、ベイヤ画像をフルＲＧＢ形式の画像に変換してから、さらにＹＵＶ４４４形式の画像に変換する方法では、色差成分であるＵ成分とＶ成分に対してＢ，Ｒ以外の画素で画質が落ちるという問題がある。

これは、ベイヤ画像の画素データをフルＲＧＢ形式の画素データに補間した時に、ベイヤ画像のＲ画素位置におけるＢ画素値の近似性と、ベイヤ画像のＢ画素位置におけるＲ画素値の近似性が悪くなるためである。このため、フルＲＧＢ形式からＹＵＶ形式に変換した時に、ベイヤ画像のＲ画素位置とＧ画素位置のＵ成分、ベイヤ画像のＢ画素位置とＧ画素位置のＶ成分は近似性が悪くなるという問題が生じる。以下、この事情について説明する。

図９は、画素の近似性について説明するための図である。図９（Ａ）に示すように、ベイヤ形式の画素データをフルＲＧＢ形式の画素データに変換し、フルＲＧＢ形式の画素データをＹＵＶ形式の画素データに変換する場合に、それぞれの画素データの内において、○印で囲んだ部分の画素は近似しない画素となる。

例えば、図９（Ｂ）に示すように、ベイヤ画像の画素データをＲＧＢ形式の画素データに補間した場合に、補間されたフルＲＧＢ形式の画素データにおいて、符号ａ１で示す画素位置（ベイヤではＲの画素位置）のＲＧＢ画素の内、Ｂ画素は近似しない（近似性が悪い）画素となる。また、符号ａ２およびａ３で示す画素位置（ベイヤではＧの画素位置）のＲＧＢ画素の内、ＲとＢ画素は近似しない画素となり、符号ａ４で示す画素位置（ベイヤではＢの画素位置）のＲＧＢ画素の内、Ｒ画素は近似しない画素となる。

これは、例えば、図９（Ｂ）に示すフルＲＧＢ形式の画像データに変換された画素データの内、符号ａ１で示す画素位置の部分に着目すると、この画素位置ａ１の部分には本来はＲの画素データしかないため、ＧおよびＢの画素データについては、周囲の画素データから補間することになる。

この場合に、Ｇ画素については、図（Ｃ）に示すように、縦及び横方向に隣接するＧ画素から補間されるため、比較的近似性のよい補間ができる。一方、Ｂ画素については、図（Ｄ）に示すように、縦及び横方向に隣接するＧ画素よりも距離が遠い斜め方向に隣接するＢ画素を用いて補間するため近似性が悪くなる。他の画素位置ａ２、ａ３、ａ４内のＲＧＢ画素についても、同様な理由により、近似する画素と近似しない画素が生じることになる。

また、フルＲＧＢ形式の画像データをＹＵＶ４４４形式の画像データに変換する場合は、前述の「フルＲＧＢ形式→ＹＵＶ形式」への変換式を用いるが、この場合に、例えば、図（Ｂ）に示すＹＵＶ４４４形式の画素データにおいて符号ｂ１の画素位置に着目する。

この画素位置ｂ１のＹＵＶ画素のうちのＹ画素については、前述の式「Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ」により算出されるが、この式においては、本来のＲ画素に乗算される係数と、近似性のよいＧ画素に乗算される係数とがそれぞれ大きく、Ｒ画素とＧ画素とが算出結果に大きく影響するため、Ｙ画素は近似する画素となる。

また、Ｕ画素については、「Ｕ＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５＊Ｂ」により算出され、近似しないＢ画素に乗算される係数が大きく、Ｂ画素が算出結果に大きく影響するため、Ｕ画素は近似しない画素となる。

一方、Ｖ画素については、「Ｖ＝０．５＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ」で算出され、本来のＲ画素に乗算される係数と、近似性のよいＧ画素に乗算される係数とがそれぞれ大きく、Ｒ画素とＧ画素とが算出結果に大きく影響するため、Ｖ画素は近似する画素となる。他の画素位置ｂ２、ｂ３、ｂ４内のＹＵＶ画素についても、同様な理由により、近似する画素と近似しない画素が生じることになる。

このように、ベイヤ形式の画像データをフルＲＧＢ形式の画像データに変換し、フルＲＧＢ形式の画像データからＹＵＶ４４４形式の画像データに変換して表示する場合には、色差成分であるＵ成分とＶ成分に近似しない画素データが含まれることにより、表示画像の画質が落ちるという問題が生じていた。このため、この問題の解決が望まれていた。

本発明は、このような問題点に鑑みなされたものであり、本発明の目的は、ベイヤ画像をフルＲＧＢ形式の画像データに変換し、さらにフルＲＧＢ形式からＹＵＶ４４４形式の画像データに変換する際に、信頼性のあるＹＵＶ形式の画像データを得ることができ、表示される画像の画質の向上を図ることができる、画像処理装置、および画像処理方法を提供することにある。

本発明は、上記課題を解決するためになされたものであり、本発明の画像処理装置は、ベイヤ配列された撮像素子から出力されるベイヤ画像の画素データを、フルＲＧＢ形式の画素データに補間するデモザイキング部と、前記デモザイキング部により得られた前記フルＲＧＢ形式の画素データを基に、ＹＵＶ４４４形式の画素データを生成するＹＵＶ４４４変換部と、前記ＹＵＶ４４４形式の画素データを間引いてＹＵＶ４２０形式の画素データに変換するＹＵＶ４２０変換部と、前記ＹＵＶ４２０変換部により得られたＹＵＶ４２０形式の画素データを補間して、再度、ＹＵＶ４４４形式の画素データを生成するＹＵＶ４４４補間部と、を備えることを特徴とする。

また、本発明の画像処理装置は、前記ＹＵＶ４２０変換部において前記ＹＵＶ４４４形式の画素データを間引く場合に、ベイヤ画像のＢ画素位置に相当する部分についてはＹＵＶ画素データからＶ画素データを間引いてＹＵ画素データとし、ベイヤ画像のＲ画素位置に相当する部分についてはＹＵＶ画素データからＵ画素データを間引いてＹＶ画素データとし、ベイヤ画像のＧ画素位置に相当する部分についてはＹＵＶ画素データからＵＶ画素データを間引いてＹ画素データとすること、を特徴とする。

また、本発明の画像処理装置は、前記ＹＵＶ４４４変換部を削除すると共に、前記ＹＵＶ４２０変換部において、前記フルＲＧＢ形式の画素データからＹＵＶ４２０形式の画素データを直接に算出するように構成され、前記ＹＵＶ４２０変換部は、前記フルＲＧＢ形式の画素データを基に、ベイヤ画像のＢ画素位置に相当する部分に対してはＹＵ画素データを算出し、ベイヤ画像のＲ画素位置に相当する部分に対してはＹＶ画素データを算出し、ベイヤ画像のＧ画素位置に相当する部分に対してはＹ画素データを算出すること、を特徴とする。

また、本発明の画像処理方法は、ベイヤ配列された撮像素子から出力されるベイヤ画像の画素データを、フルＲＧＢ形式の画素データに補間するデモザイキング手順と、前記デモザイキング手順により得られた前記フルＲＧＢ形式の画素データを基に、ＹＵＶ４４４形式の画素データを生成するＹＵＶ４４４変換手順と、前記ＹＵＶ４４４形式の画素データを間引いてＹＵＶ４２０形式の画素データに変換するＹＵＶ４２０変換手順と、前記ＹＵＶ４２０変換手順により得られたＹＵＶ４２０形式の画素データを補間して、再度、ＹＵＶ４４４形式の画素データを生成するＹＵＶ４４４補間手順と、が画像処理装置内の制御部により行われることを特徴とする。

本発明の画像処理装置においては、デモザイキング部により、ベイヤ画像の画素データを補間してフルＲＧＢ形式の画素データに変換し、ＹＵＶ４４４変換部により、フルＲＧＢ形式の画素データをＹＵＶ４４４形式の画素データに変換する。そして、ＹＵＶ４２０変換部により、ＹＵＶ４４４形式の画素データを間引いてＹＵＶ４２０の画素データに変換する。この場合に、例えば、ベイヤ形式のＢ画素位置はＹＵ、Ｒ画素位置はＹＶ、Ｇ画素位置はＹとなるようにＹＵＶ４２０形式に間引く。そして、ＹＵＶ４４４補間部ではＹＵＶ４２０形式の画素データを補間してＹＵＶ４４４形式の画素データを作成する。

このように、画素データをＹＵＶ４４４形式からＹＵＶ４２０形式に一度間引くことにより、信頼性のあるＹＵＶ４２０形式の画素データを算出し、さらに、画素データをＹＵＶ４２０形式からＹＵＶ４４４形式を補間することで、信頼性のあるＹＵＶ４２０形式の画素データからＹＵＶ４４４形式の画素データを算出することができる。このため、表示する画像の画質の向上を図ることができる。

以下、本発明の実施の形態を添付図面を参照して説明する。

図１は、本発明の実施の形態に係る画像処理装置の構成を示す図である。図１に示すように、本発明の画像処理装置１は、撮像部１０、データ変換部２０、圧縮／伸張部３０、表示処理部４０、モニタ５０により構成される。また、制御部６０は、ＣＰＵ等を含み、画像処理装置１内の各部の処理動作を統括して所望の処理動作を行わせるための制御部である。

図１に示す画像処理装置１において、撮像部１０は、図２に示すベイヤ配列のＣＣＤ（電荷結合素子）１１とＡＤ変換部（アナログ／デジタル変換部）１２で構成されている。この撮像部１０は、ＣＣＤ１１により取得した画像データをＡＤ変換部１２でデジタル信号に変換して出力する。

データ変換部２０は、撮像部１０から入力されたデジタル信号の画像データをＹＵＶ形式の画像データに変換して出力する。データ変換部２０の詳細については後述する。圧縮／伸張部３０は、ＪＰＥＧ（Joint Photographic Experts Group）規格に基づいた画像データの圧縮および伸張を行なう。表示処理部４０は、圧縮／伸張部３０で加工された画像データをモニタ５０に出力するためのフルＲＧＢ形式の画像データに変換し、モニタ出力のための同期信号を付加して、モニタ５０に出力する。モニタ５０は、表示処理部４０から入力される画像データを液晶表示装置等に表示する。

図３は、本実施の形態の画像処理装置１におけるデータ変換部２０の構成を示す図である。データ変換部２０は、デモザイキング部２１、ＹＵＶ４４４変換部２２、ＹＵＶ４２０変換部２３、およびＹＵＶ４４４補間部２４で構成されている。

図４は、デモザイキング部２１の構成を示す図である。デモザイキング部２１は、Ｇ画素補間部１０１、Ｒ画素補間部１１１、Ｂ画素補間部１２１がそれぞれ存在する構成になっている。これらの演算には、以下に示す対称性を持つフィルタが用いられる。

第１のフィルタは、以下の式（１）に示す特性を持つフィルタである。この第１のフィルタは、図５（Ａ）に示すよう７個の画素中の図に示す位置の４個の画素のそれぞれに対して重み係数ａ１１，ａ１２，ａ１３，ａ１４を付与し、これらの４個の画素データのそれぞれに対し、対応する重み係数ａ１１，ａ１２，ａ１３，ａ１４を乗算して、１つの画素データを生成するために使用される。なお、図５（Ａ）では、図上で横方向に配列された画素を用いる例を示しているが、縦方向に配列された画素を用いることもできる。

第２のフィルタは、以下の式（２）に示す特性を持つフィルタである。この第２のフィルタは、図５（Ｂ）に示すように、３５個（横７個×縦５個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｂ１１，ｂ１２，ｂ１３，ｂ１４、ｂ２１，ｂ２２，ｂ２３，ｂ２４、ｂ３１，ｂ３２，ｂ３３，ｂ３４を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｂ１１，ｂ１２，ｂ１３，ｂ１４、ｂ２１，ｂ２２，ｂ２３，ｂ２４、ｂ３１，ｂ３２，ｂ３３，ｂ３４を乗算して、１つの画素データを生成するために使用される。

第３のフィルタは、以下の式（３）に示す特性を持つフィルタである。この第３のフィルタは、図５（Ｃ）に示すように、３５個（横５個×縦７個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｃ１１，ｃ１２，ｃ１３，ｃ２１，ｃ２２，ｃ２３、ｃ３１，ｃ３２，ｃ３３，ｃ４１，ｃ４２，ｃ４３を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｃ１１，ｃ１２，ｃ１３，ｃ２１，ｃ２２，ｃ２３、ｃ３１，ｃ３２，ｃ３３，ｃ４１，ｃ４２，ｃ４３を乗算して、１つの画素データを生成するために使用される。

第４のフィルタは、以下の式（４）に示す特性を持つフィルタである。この第４のフィルタは、図５（Ｄ）に示すように、４９個（横７個×縦７個）の画素中の図に示す位置の１２個の画素のそれぞれに対して重み係数ｄ１１，ｄ２１，ｄ２２，ｄ２３，ｄ３１，ｄ３２，ｄ３３，ｄ３４，ｄ４１，ｄ４２，ｄ４３，ｄ５１を付与し、これらの１２個の画素データのそれぞれに対し、対応する重み係数ｄ１１，ｄ２１，ｄ２２，ｄ２３，ｄ３１，ｄ３２，ｄ３３，ｄ３４，ｄ４１，ｄ４２，ｄ４３，ｄ５１を乗算して、１つの画素データを生成するために使用される。

そして、Ｇ画素補間部１０１では、例えば、図６（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＢ４４の画素データのみがある位置）に、画素Ｇ４４を補間する場合、式（１）に示す第１のフィルタを使用して、以下の式（５）により、Ｂ画素位置のＧ画素（Ｇ４４）の補間を行なっている。この例では、ベイヤ画像の画素Ｇ１４，Ｇ３４，Ｇ４１，Ｇ４３，Ｇ４５，Ｇ４７，Ｇ５４，Ｇ７４から、算出画素Ｇ４４を求めている。

また、図６（Ｂ）に示すように、図６（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＲ５５の画素データのみがある位置）に、画素Ｇ５５を補間する場合も、式（１）に示す第１のフィルタを使用し、同様にして、Ｒ画素位置のＧ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｇ２５，Ｇ４５，Ｇ５２，Ｇ５４，Ｇ５６，Ｇ５８，Ｇ６５，Ｇ８５から、算出画素Ｇ５５を求めている。

そして、ベイヤ画像のＧ画素と、ベイヤ画像のＲおよびＢ画素位置に補間されたＧ画素とを、メモリ部１３０のＧ画素領域１３１に走査線順にアドレスを割り当て格納する。

また、図４に示すように、Ｒ画素補間部１１１は、Ｇ画素位置補間部１１２とＢ画素位置補間部１１３とで構成されている。

Ｒ画素補間部１１１中のＧ画素位置補間部１１２では、例えば、図７（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＧ３４の画素データのみがある位置）に、画素Ｒ３４を補間する場合、式（２）に示す第２のフィルタを使用して、以下の式（６）により、Ｇ画素位置のＲ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ１７，Ｒ３１，Ｒ３３，Ｒ３５，Ｒ３７，Ｒ５１，Ｒ５３，Ｒ５５，Ｒ５７から、算出画素Ｒ３４を求めている。

また、図７（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＧ４３データのみがある位置）に、画素Ｒ４３を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（７）により、Ｇ画素位置のＲ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｒ１１，Ｒ１３，Ｒ１５，Ｒ３１，Ｒ３３，Ｒ３５，Ｒ５１，Ｒ５３，Ｒ５５，Ｒ７１，Ｒ７３，７５から、算出画素Ｒ４３を求めている。

上記処理により、ベイヤ画像のＲ画素とＧ画素位置補間部１１２により補間されたＲ画素をメモリ部１３０のＲ画素領域１３２に走査線順にアドレスを割り当て格納する。

この場合に、まだ算出されていないＢ画素位置のアドレスには何も書き込まれない。Ｂ画素位置補間部１１３では、メモリ部１３０のＲ画素領域１３２から、算出に必要なベイヤ画像のＲ画素と、Ｇ画素位置補間部１１２で補間されたＲ画素とを読み出し、補間を行う。

例えば、図７（Ｃ）に示す画素位置ｃ（図２に示すベイヤ画像ではＢ４４の画素データのみがある位置）に、画素Ｒ４４を補間する場合、式（４）に示す第４のフィルタを使用して、以下の式（８）により、Ｂ画素位置のＲ画素の補間を行なう。

この演算に使用するＲ画素Ｒ１４，Ｒ３４，Ｒ４１，Ｒ４３，Ｒ４５，Ｒ４７，Ｒ５４，Ｒ７４は、Ｇ画素位置補間部１１２において算出された算出済みのＲ画素のデータであり、Ｒ画素Ｒ３３，Ｒ３５，Ｒ５３，Ｒ５５はベイヤ画像のＲ画素である。これにより、算出画素Ｒ４４が求まる。

このようにして補間されたＲ画素をメモリ部１３０のＲ画素領域１３２に走査線順にアドレスを割り当て格納する。

また、Ｂ画素補間部１２１も、Ｒ画素補間部１１１と同様に、Ｇ画素位置補間部１２２とＲ画素位置補間部１２３で構成されている。

Ｂ画素補間部１２１中のＧ画素位置補間部１２２では、例えば、図８（Ａ）に示す画素位置ａ（図２に示すベイヤ画像ではＧ４５の画素データのみがある位置）に、画素Ｂ４５を補間する場合、式（２）に示す第２のフィルタを使用して、以下の式（９）により、Ｇ画素位置のＢ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ２８，Ｂ４２，Ｂ４４，Ｂ４６，Ｂ４８，Ｂ６２，Ｂ６４，Ｂ６６，Ｂ６８から、算出画素Ｂ４５を求めている。

また、図８（Ｂ）に示す画素位置ｂ（図２に示すベイヤ画像ではＧ５４の画素データのみがある位置）に、画素Ｂ５４を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１０）により、Ｇ画素位置のＢ画素の補間を行なっている。この例では、ベイヤ画像の画素Ｂ２２，Ｂ２４，Ｂ２６，Ｂ４２，Ｂ４４，Ｂ４６，Ｂ６２，Ｂ６４，Ｂ６６，Ｂ８２，Ｂ８４，Ｂ８６から、算出画素Ｂ５４が求まる。

上記処理により、ベイヤ画像のＢ画素とＧ画素位置補間部１２２により補間されたＢ画素をメモリ部１３０のＢ画素領域１３３に走査線順にアドレスを割り当て格納する。

この場合に、まだ算出されていないＲ画素位置のアドレスには何も書き込まれない。Ｒ画素位置補間部１２３では、メモリ部１３０のＢ画素領域１３３から、算出に必要なベイヤ画像のＢ画素と、Ｇ画素位置補間部１２２で補間されたＢ画素とを読み出して補間を行う。

例えば、図８（Ｃ）に示す画素位置ｃ（図２に示すベイヤ画像ではＲ５５の画素データのみがある位置）に、画素Ｂ５５を補間する場合、式（４）に示す第４のフィルタを使用して、以下の式（１１）により、Ｒ画素位置のＢ画素の補間を行なう。

この演算に使用するＢ画素Ｂ２５，Ｂ４５，Ｂ５２，Ｂ５４，Ｂ５６，Ｂ５８，Ｂ６５，Ｂ８５は、Ｇ画素位置補間部１２２において算出された算出済みのＢ画素のデータであり、Ｂ画素Ｂ４４，Ｂ４６，Ｂ６４，Ｂ６６はベイヤ画像のＢ画素である。これにより、算出画素Ｂ５５が求まる。

このようにして補間されたＢ画素をメモリ部１３０のＢ画素領域１３３に走査線順にアドレスを割り当て格納する。

上述したデモザイキング部２１における処理により、１画素あたりＲＧＢ形式の全てのデータが揃ったフルＲＧＢ形式の画素データがメモリ部１３０に格納される。

なお、各画素領域１３１,１３２，１３３は、フレームメモリもしくは１２ラインのラインメモリで実装される。１２ラインのラインメモリの場合には、１２ライン毎にメモリアドレスをリセットする。フレームメモリの場合には、１フレーム毎にメモリアドレスをリセットする。

図３に戻り、ＹＵＶ４４４変換部２２では、デモザイキング部２１内のメモリ部１３０に格納されたフルＲＧＢ形式のデータを読み出し、前述した以下の式(１２)〜(１４)を用いてＹＵＶ４４４形式に変換する。
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ ・・・・（１２）、
Ｕ＝−０．１６９＊Ｒ−０．３３１＊Ｇ＋０．５＊Ｂ ・・・・（１３）、
Ｖ＝０．５＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ ・・・・（１４）

その後、ＹＵＶ４２０変換部２３により、ＹＵＶ４４４形式に変換されたデータを間引いてＹＵＶ４２０形式に変換する。この場合、図９（Ａ）に示すように、ＹＵＶ４４４形式の画素データから、○印で囲む近似しない画素データだけを間引く。

すなわち、ＹＵＶ４４４形式の画素データを間引く場合に、ベイヤ画像のＢ画素位置に相当する部分についてはＹＵＶ画素データからＶ画素データを間引いてＹＵ画素データとする。ベイヤ画像のＲ画素位置に相当する部分についてはＹＵＶ画素データからＵ画素データを間引いてＹＶ画素データとする。ベイヤ画像のＧ画素位置に相当する部分についてはＹＵＶ画素データからＵＶ画素データを間引いてＹ画素データとする。これにより、信頼性の高いＹＵＶ４２０形式の画像データを得ることができる。図１０（Ａ）にＹＵＶ４２０形式の画像データの配列を示す。

そして、ＹＵＶ４４４補間部２４では、ＹＵＶ４２０形式に変換されたデータをＹＵＶ４４４形式に補間する。この補間については、前述の式（１）から（４）に示したフィルタを用いて行うことができる。

例えば、図１０（Ｂ）に示す画素位置ａ（図（Ａ）に示すＹＵＶ４２０ではＹ３４の画素データのみがある位置）に、画素Ｖ３４を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１５）により、Ｙ画素位置のＶ画素の補間を行うことができる。

同様にして、Ｖ４３，Ｖ４４についても、以下の式（１６），（１７）を用いて、Ｖ画素の補間を行うことができる。

また、例えば、図１１（Ｂ）に示す画素位置ａ（図（Ａ）に示すＹＵＶ４２０ではＹ４５の画素データのみがある位置）に、画素Ｕ４５を補間する場合、式（３）に示す第３のフィルタを使用して、以下の式（１８）により、Ｙ画素位置のＵ画素の補間を行うことができる。

同様にして、Ｕ５４，Ｕ５５についても、以下の式（１９），（２０）を用いて、Ｕ画素の補間を行うことができる。

上記補間処理を繰り返すことにより、ＹＵＶ４２０形式の画素データをＹＵＶ４４４形式の画素データに補間することができる。これにより、信頼性の高いＹＵＶ４２０形式の画素データを基にして、ＹＵＶ４４４形式の画素データを生成することができる。このため、表示する画像の品質を向上させることができる。

また、図１２は、データ変換部の変形例を示す図である。図３に示したデータ変換部２０では、デモザイキング部２１で補間されたフルＲＧＢ形式の画像をＹＵＶ４２０形式に変換する際に、ＹＵＶ４４４形式に一度変換して間引く処理を行っていたが、図１２に示すデータ変換部２０Ａでは、図１３に示すように、デモザイキング部２１で補間されたフルＲＧＢ形式の画像をＹＵＶ４２０形式に直接に変換する点に特徴がある。

この場合、デモザイキング部２１では、ベイヤ形式の画素データを補間しフルＲＧＢ形式の画素データに変換し、メモリ部１３０（図４を参照）に格納する。そして、ＹＵＶ４２０変換部２３Ａでは、図１３に示すように、メモリ部１３０に格納されたフルＲＧＢ形式の画素データを用いて、ベイヤ画像のＢ画素位置はＹＵ、Ｒ画素位置はＹＶ、Ｇ画素位置はＹとなるようにＹＵＶ４２０形式の画素データを算出する。この場合に、前述の式（１２），（１３），（１４）を使用することにより、近似する画素の影響が大きくなるようにして、Ｙ，Ｕ，Ｖを算出することができる。

例えば、ベイヤ画像のＲ画素位置に対しては、ＹＶ画素データを算出するが、このうちＹ画素については、前述の式「Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ」により算出される。この式においては、本来のＲ画素に乗算される係数と、近似性のよいＧ画素に乗算される係数とがそれぞれ大きく、Ｒ画素とＧ画素とが算出結果に大きく影響するため、Ｙ画素は近似する画素となる。

また、Ｖ画素については、「Ｖ＝０．５＊Ｒ−０．４１９＊Ｇ−０．０８１＊Ｂ」で算出される。この式においては、本来のＲ画素に乗算される係数と、近似性のよいＧ画素に乗算される係数とがそれぞれ大きく、Ｒ画素とＧ画素とが算出結果に大きく影響するため、Ｖ画素は近似する画素となる。他の画素位置についても、同様にして、近似する画素の影響が大きくなるようにして、Ｙ，Ｕ画素を算出することができる。

そして、図１２に示すように、ＹＵＶ４４４補間部２４によりＹＵＶ４２０形式の画素データを補間してＹＵＶ４４４形式の画素データを作成する。

このように、フルＲＧＢ形式からＹＵＶ４２０形式の画素データに変換することで、信頼性のあるＹＵＶ４２０形式の画素を算出することができる。そして、ＹＵＶ４２０形式からＹＵＶ４４４形式を補間することで、信頼性のあるＹＵＶ４２０形式の画素データから、ＹＵＶ４４４形式の画素データが算出されるために、表示する画像の画質の向上を図ることができる。

以上、本発明の実施の形態について説明したが、上述の画像処理装置１は、前述したように内部にコンピュータシステムを有している。

そして、図１に示す画像圧縮装置１、図３に示すデータ変換部２０、図４に示すデモザイキング部２１、および図１２に示すデータ変換部２０Ａにおける各処理部は専用のハードウェアにより実現されるものであってもよく、また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりその機能を実現させるものであってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

以上、本発明の実施の形態について説明したが、本発明の画像処理装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。

本発明の実施の形態に係る画像処理装置の構成を示す図である。 ベイヤ配列された画素の例を示す図である。 本発明の画像処理装置におけるデータ変換部の構成を示す図である。 デモザイキング部の構成を示す図である フィルタについて説明するための図である。 Ｇ画素補間部における補間例を示す図である。 Ｒ画素補間部における補間例を示す図である。 Ｂ画素補間部における補間例を示す図である。 画素の近似性について説明するための図である ＹＵＶ４２０からＹＵＶ４４４形式への補間方法の例（Ｖ画素）を示す図である。 ＹＵＶ４２０からＹＵＶ４４４形式への補間方法の例（Ｕ画素）を示す図である。 データ変換部の変形例を示す図である。 フルＲＧＢ形式からＹＵＶ４２０形式への変換について説明するための図である。

符号の説明

１・・・画像処理装置、１０・・・撮像部、２０，２０Ａ・・・データ変換部、２１・・・デモザイキング部、２２・・・ＹＵＶ４４４変換部、２３，２３Ａ・・・ＹＵＶ４２０変換部、２４・・・ＹＵＶ４４４補間部、３０・・・圧縮／伸張部、４０・・・表示処理部、５０・・・モニタ、６０・・・制御部、１０１・・・Ｇ画素補間部、１１１・・・Ｒ画素補間部、１１２・・・Ｇ画素位置補間部、１１３・・・Ｂ画素位置補間部、１２１・・・Ｂ画素補間部、１２２・・・Ｇ画素位置補間部、１２３・・・Ｒ画素位置補間部、１３０・・・メモリ部

Claims (4)

1. ベイヤ配列された撮像素子から出力されるベイヤ画像の画素データを、フルＲＧＢ形式の画素データに補間するデモザイキング部と、
   前記デモザイキング部により得られた前記フルＲＧＢ形式の画素データを基に、ＹＵＶ４４４形式の画素データを生成するＹＵＶ４４４変換部と、
   前記ＹＵＶ４４４形式の画素データを間引いてＹＵＶ４２０形式の画素データに変換するＹＵＶ４２０変換部と、
   前記ＹＵＶ４２０変換部により得られたＹＵＶ４２０形式の画素データを補間して、再度、ＹＵＶ４４４形式の画素データを生成するＹＵＶ４４４補間部と、
   を備えることを特徴とする画像処理装置。
2. 前記ＹＵＶ４２０変換部において前記ＹＵＶ４４４形式の画素データを間引く場合に、
   ベイヤ画像のＢ画素位置に相当する部分についてはＹＵＶ画素データからＶ画素データを間引いてＹＵ画素データとし、
   ベイヤ画像のＲ画素位置に相当する部分についてはＹＵＶ画素データからＵ画素データを間引いてＹＶ画素データとし、
   ベイヤ画像のＧ画素位置に相当する部分についてはＹＵＶ画素データからＵＶ画素データを間引いてＹ画素データとすること、
   を特徴とする請求項１に記載の画像処理装置。
3. 前記ＹＵＶ４４４変換部を削除すると共に、前記ＹＵＶ４２０変換部において、前記フルＲＧＢ形式の画素データからＹＵＶ４２０形式の画素データを直接に算出するように構成され、
   前記ＹＵＶ４２０変換部は、前記フルＲＧＢ形式の画素データを基に、
   ベイヤ画像のＢ画素位置に相当する部分に対してはＹＵ画素データを算出し、
   ベイヤ画像のＲ画素位置に相当する部分に対してはＹＶ画素データを算出し、
   ベイヤ画像のＧ画素位置に相当する部分に対してはＹ画素データを算出すること、
   を特徴とする請求項１に記載の画像処理装置。
4. ベイヤ配列された撮像素子から出力されるベイヤ画像の画素データを、フルＲＧＢ形式の画素データに補間するデモザイキング手順と、
   前記デモザイキング手順により得られた前記フルＲＧＢ形式の画素データを基に、ＹＵＶ４４４形式の画素データを生成するＹＵＶ４４４変換手順と、
   前記ＹＵＶ４４４形式の画素データを間引いてＹＵＶ４２０形式の画素データに変換するＹＵＶ４２０変換手順と、
   前記ＹＵＶ４２０変換手順により得られたＹＵＶ４２０形式の画素データを補間して、再度、ＹＵＶ４４４形式の画素データを生成するＹＵＶ４４４補間手順と、
   が画像処理装置内の制御部により行われることを特徴とする画像処理方法。

Images