JP2006054576A

JP2006054576A - 画像処理装置及び方法及びプログラム及び記憶媒体

Info

Publication number: JP2006054576A
Application number: JP2004233428A
Authority: JP
Inventors: Takuya Kotani; 拓矢小谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-08-10
Filing date: 2004-08-10
Publication date: 2006-02-23

Abstract

【課題】ＲＡＷデータを画像再現処理する際、出力解像度に応じて良好な画質の画像を得られるようにする。
【解決手段】１つの画素の色情報を、周囲の画素の色情報を用いて補間する画素補間処理を必要とするＲＡＷデータを処理するための画像処理装置であって、画素補間処理を行う画素補間部と、画素補間が行なわれた画像データに対して画像処理を用いた補正処理を行なう補正処理部と、画素補間が行なわれた画像データを拡大又は縮小するリサイズ処理を行なうリサイズ部と、該リサイズ部によって実行しようとするリサイズ処理が画像の拡大処理か縮小処理かを判定する拡大／縮小判定部とを具備し、拡大／縮小判定部の判定結果に基づいて補正処理とリサイズ処理の実行順序を変更する。
【選択図】図３

Description

本発明は画像処理技術に関し、特にデジタルカメラにより撮影して得られたデジタル画像データを処理する画像処理技術に関するものである。

デジタルスチルカメラなどの撮像装置では、ＣＭＯＳ、ＣＣＤ等の撮像素子により被写体光学像を光電変換して得られた撮影画像の電気信号をデジタルデータに変換したＲＡＷデータに様々な画像処理を施す。ＲＡＷデータを構成する各画素の色配列としては例えばＢａｙｅｒ配列があり、これに（１）画素補間処理、（２）ガンマ補正処理、ホワイトバランス調整処理などの画像補正処理、（３）出力解像度に応じた拡大縮小処理（リサイズ処理）を行い、画像出力装置により画像を再現する。以下これらの処理を画像再現処理と呼ぶ。なお、Ｂａｙｅｒ配列とは、撮像装置の各光電変換素子（各画素）が感知する色情報の配列で図９に示すＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の画素の並びからなる。各画素は１つの色情報しか持たないため、Ｂａｙｅｒ配列の画素補間処理では、他の色情報を周囲の画素の色情報から補間して生成する。ここで、Ｂａｙｅｒ配列の有効画素数と同じ画素数、同じ画像幅、同じ画像高さである画像サイズのことをフルサイズと呼ぶ。

画像の拡大縮小処理時の画質維持および処理速度向上の手法としては、Ｂａｙｅｒ配列形式のデータ自体を拡大縮小処理した後、画素補間処理および画像補正処理を行う方法が一般的である。しかし、特開平１１−２１５５１６号公報（特許文献１）に開示されているように、Ｂａｙｅｒ配列形式のデータを拡大縮小処理するのではなく画素補間処理自体を簡略化するアプローチがある。
特開平１１−２１５５１６号公報

しかしながら、画素補間処理自体を簡略化してしまうと画質が低下してしまうという問題がある。また、Ｂａｙｅｒ配列形式のデータを拡大縮小する場合も画質の低下を避けるため、実際にはＢａｙｅｒ配列形式データの拡大縮小処理の後フィルタを適用する処理が必要になる。

縮小画像を得る場合でも画素補間処理結果をフルサイズで出力し、この画素補間処理結果に対して画像補正処理を適用する前に縮小処理を行うことで、処理速度は従来方式に比べて劣るもののより高画質な画像を得ることができる。一方、フルサイズより大きいサイズで出力する場合には、拡大処理を画像補正処理前に行っても画像補正処理後に行っても画質はあまり変わらないため、拡大処理を行なう前に画像補正処理を行なったほうが、画像補正処理の対象となる画素数が増加せず、処理速度を上げることができる。

言い換えると、画像の縮小処理においては、画素補間処理直後で画像補正処理の前に縮小処理を行うことで、画像補正処理対象となる画素数を低減することができ、なおかつ高画質な出力を得ることができる。また、画像の拡大処理においては、画素補間処理と画像補正処理の双方を行った後に拡大処理を行うことで、画像補正処理対象となる画素数を増やすことなく良好な画像を得ることができる。

しかしながら、従来では、画像のリサイズ処理が拡大処理か縮小処理かに応じて、処理を最適化することは行なわれていなかった。

従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、ＲＡＷデータを画像再現処理する際、出力解像度に応じて良好な画質の画像を得られるようにすることである。

上述した課題を解決し、目的を達成するために、本発明に係わる画像処理装置は、１つの画素の色情報を、周囲の画素の色情報を用いて補間する画素補間処理を必要とするＲＡＷデータを処理するための画像処理装置であって、前記画素補間処理を行う画素補間手段と、前記画素補間が行なわれた画像データに対して画像処理を用いた補正処理を行なう補正処理手段と、前記画素補間が行なわれた画像データを拡大又は縮小するリサイズ処理を行なうリサイズ手段と、該リサイズ手段によって実行しようとするリサイズ処理が画像の拡大処理か縮小処理かを判定する拡大／縮小判定手段とを具備し、前記拡大／縮小判定手段の判定結果に基づいて前記補正処理と前記リサイズ処理の実行順序を変更することを特徴とする。

また、本発明に係わる画像処理方法は、１つの画素の色情報を、周囲の画素の色情報を用いて補間する画素補間処理を必要とするＲＡＷデータを処理するための画像処理方法であって、前記画素補間処理を行う画素補間工程と、前記画素補間が行なわれた画像データに対して画像処理を用いた補正処理を行なう補正処理工程と、前記画素補間が行なわれた画像データを拡大又は縮小するリサイズ処理を行なうリサイズ工程と、該リサイズ工程において実行しようとするリサイズ処理が画像の拡大処理か縮小処理かを判定する拡大／縮小判定工程とを具備し、前記拡大／縮小判定工程における判定結果に基づいて前記補正処理と前記リサイズ処理の実行順序を変更することを特徴とする。

また、本発明に係わるプログラムは、上記の画像処理方法をコンピュータに実行させることを特徴とする。

また、本発明に係わる記憶媒体は、上記のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする。

本発明によれば、ＲＡＷデータを画像再現処理する際、出力解像度に応じて良好な画質の画像を得ることが可能となる。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
図１は、本発明の実施形態に係わる画像処理システムの概略構成を示した図である。

図１において、ＣＰＵ１０１は、システム全体の動作をコントロールし、一次記憶部１０２に格納されたプログラムの実行などを行う。一次記憶部１０２は、主にメモリであり、二次記憶部１０３に記憶されたプログラムなどを読み込んで格納する。二次記憶部１０３は、例えばハードディスクなどで構成される。通常、一次記憶部１０２の容量は二次記憶部１０３の容量より小さく、一次記憶部１０２に格納しきれないプログラムやデータなどは二次記憶部１０３に格納される。また、長時間記憶しなくてはならないデータなども二次記憶部１０３に格納される。本実施形態では、プログラムを二次記憶部１０３に格納し、プログラム実行時に一次記憶部１０２に読み込んでＣＰＵ１０１が実行処理を行う。入力デバイス１０４とは、例えば、システムのコントロールに用いるマウスやキーボードの他、画像データの入力に必要なカードリーダー、スキャナ、フィルムスキャナなどである。出力デバイス１０５とは、例えば、モニタやプリンタなどが考えられる。

本実施形態は、コマンドシェル上で実行ファイルの形をとり、例えば次のような形で実行する。ここで、a.outを実行ファイル名とすると、a.outは次のように表わされる。

a.out [-w 出力画像幅] [-h 出力画像高さ] ファイル名
ここで、-wオプションで、出力画像幅をピクセル単位で指定する。また、-hオプションで出力画像の高さを指定する。-wオプションおよび-hオプションは省略可能で、省略した場合は、パラメータはフルサイズの値を用いる。本実施形態ではコマンドシェル上での実行ファイルとしたが、本実施形態の主眼は画像再現処理であり、その実装方法はこの形態に限らないことは言うまでもない。なお、上記の出力画像サイズは、拡大縮小（リサイズ）後の画像サイズを画素数で指定してもよいし、画像に設定された解像度情報を考慮した出力画像サイズで指定してもよい。

図２は、本実施形態における画像処理システムで対象とするＲＡＷデータファイルのファイル形式を示す図である。ファイル内部は、大きく分けて画像再現処理用パラメータとＲＡＷデータの２つから構成される。

画像再現処理用データとして、ホワイトバランス値と１６bitガンマテーブルが格納されている。その他に色調や彩度を整えるためのマトリクスなどを格納することも考えられるが、本実施形態では簡略化のためにこの２つが格納されているものとする。

ＲＡＷデータは図中に示したようにＢａｙｅｒ（ベイヤ）配列形式になっており、奇数行にはＲ（赤）とＧ１（緑）のデータ、偶数行にはＧ２（緑）とＢ（青）のデータが並んでいる。

なお、Ｂａｙｅｒ配列とは、既に述べたように撮像装置の各光電変換素子（各画素）が感知する色情報の配列で図９に示すＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の画素の並びからなる。各画素は１つの色情報しか持たないため、Ｂａｙｅｒ配列では、他の色情報を周囲の画素の色情報から補間して生成する。これを画素補間処理と呼ぶ。

図３は、本実施形態における画像再現処理プログラムのフローチャートである。図中の画素補間処理、画像補正処理、および拡大縮小処理（リサイズ処理）の詳細については後述する。

まず、ステップＳ３０１で、画素補間処理を行う。ステップＳ３０２で、出力画像サイズとフルサイズを比較して、拡大処理か縮小処理かを判断し、縮小処理の場合はステップＳ３０３へ、拡大処理の場合はステップＳ３０５へ進む。なお、ステップＳ３０２では、リサイズ後の画素数がリサイズ対象画像の画素数より小さい場合、又はリサイズ後の画像幅がリサイズ対象画像の画像幅より小さい場合、又はリサイズ後の画像の高さがリサイズ対象画像の画像の高さより小さい場合に縮小処理と判定するようにしてもよい。

画像を縮小する場合、ステップＳ３０３で縮小処理を行い、ステップＳ３０４で画像補正処理を行い処理を終了する。逆に拡大する場合には、ステップＳ３０５で画像補正処理を行い、ステップＳ３０６で拡大処理を行い処理を終了する。

図４は、画素補間処理のフローチャートである。本実施形態では例えば、ステップＳ４０１において実行される画素補間アルゴリズムとして公知のアルゴリズムであるEdge Sensing Interpolation Algorithm（C.Ting, “A Study of Spatial Color Interpolation Algorithms for Single-Detector Digital Cameras”, Psych２２１/EE３６２ Course Project Winter １９９９）を用いる。このアルゴリズムは、高速かつ高画質な画素補間方法として知られている。また、画素補間処理の過程で発生する偽色を緩和する処理として、ステップＳ４０２で補間結果に対してメディアンフィルタを適用する。このようにすることで、単純な画素補間結果に比べてより良好な結果を得ることができる。

図５は、画像補正処理のフローチャートである。ステップＳ５０１で、各画素に対してホワイトバランス補正を行なう。ここでは、ベイヤ配列の画素Ｒ、Ｇ１、Ｇ２、Ｂの各成分毎の倍率をＷＢＲ、ＷＢＧ１、ＷＢＧ２、ＷＢＢ、ホワイトバランス適用前の画素値を（Ｒold，Ｇold，Ｂold）、ホワイトバランス適用後の画素値を（Ｒnew，Ｇnew，Ｂnew）とすると、
Ｒnew＝ＷＢＲ×Ｒold
Ｇnew＝（ＷＢＧ１＋ＷＢＧ２）／２×Ｇold
Ｂnew＝ＷＢＢ×Ｂold
という式でホワイトバランス適用後の画素値を求めることが出来る。

次に、ステップＳ５０２でガンマ補正処理を行なう。ガンマテーブルは、１６bit階調の入力値に対する出力値が格納されており、
Ｒnew＝GammaLUT[Ｒold]
Ｇnew＝GammaLUT[Ｇold]
Ｂnew＝GammaLUT[Ｂold]
という処理でガンマ補正を適用することが出来る。

図６は、拡大縮小処理のフローチャートである。

まずステップＳ６０１で拡大処理か縮小処理かを判定する。縮小処理の場合、ステップＳ６０２で面積平均法で縮小処理を行う。拡大処理の場合、ステップＳ６０３で拡大対象画像の大きさをチェックする。拡大対象画像の幅が９６画素未満、かつ高さが９６画素未満の場合はステップＳ６０４で最近傍補間（拡大処理１）、そうでない場合はステップＳ６０５で双三次補間（拡大処理２）を用いて拡大補間を行う。

拡大補間処理を２つに分岐しているのは、次のような理由による。極端に小さい画像はアイコンのような画像であると予想される。したがって、双一次補間、双三次補間のような滑らかな補間ではなく最近傍補間で画素そのものを拡大したように感じられる出力が自然で好ましいと考えられる。逆にサイズの大きい画像は、撮影画像であると予想されるので、双一次補間、双三次補間のような滑らかな補間を適用する。このように拡大処理アルゴリズムを分岐させるのは必須ではないが、拡大処理アルゴリズムの切り替えにより良い出力を得ることができる。

（第２の実施形態）
一般に、画素補間処理の前にホワイトバランスを適用することで、より良好な補間結果が得られることが知られている。第１の実施形態では簡略化のために画素補間後の画像データにホワイトバランス処理を適用したが、画素補間前のベイヤ配列データに対して、
Ｒnew＝ＷＢＲ×Ｒold
Ｇ１new＝ＷＢＧ１×Ｇ１old
Ｇ２new＝ＷＢＧ２×Ｇ２old
Ｂnew＝ＷＢＧ×Ｂold
として計算しても良い。ここで、ベイヤ配列の画素はＲ、Ｇ１、Ｇ２、Ｂのいずれかであり、この場合、図７に示すように画素補間処理のフローチャートにホワイトバランス処理（ステップＳ７０１）が加わる。

図８に本実施形態における画像補正処理のフローチャートを示す。本実施形態では、ガンマテーブルを通した後、予め定められた３×３のマトリクスを適用する。このようにすることで、ガンマ補正に加えて色味の補正を行うことができる。

以上説明したように、上記の実施形態によれば、ＲＡＷデータの出力解像度に応じて画像再現処理内の処理順序を変更することで最適な出力を得ることが可能になる。特に縮小処理においては、画素補間処理のコストは高いものの、その他の処理を高速に処理することが可能になる上、従来に比べて高画質な出力を得ることが可能になる。

（他の実施形態）
また、各実施形態の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の実施形態に係わる画像処理システムの概略構成を示した図である。画像処理システムで対象とするＲＡＷデータファイルのファイル形式を示す図である。画像再現処理のフローチャートである。第１の実施形態における画素補間処理のフローチャートである。第１の実施形態における画像補正処理のフローチャートである。第１の実施形態における拡大縮小処理のフローチャートである。第２の実施形態における画素補間処理のフローチャートである。第２の実施形態における画像補正処理のフローチャートである。ベイヤ配列形式データの概要を示す図である。

符号の説明

１０１ＣＰＵ
１０２一次記憶部
１０３二次記憶部
１０４入力デバイス
１０５出力デバイス

Claims

１つの画素の色情報を、周囲の画素の色情報を用いて補間する画素補間処理を必要とするＲＡＷデータを処理するための画像処理装置であって、
前記画素補間処理を行う画素補間手段と、
前記画素補間が行なわれた画像データに対して画像処理を用いた補正処理を行なう補正処理手段と、
前記画素補間が行なわれた画像データを拡大又は縮小するリサイズ処理を行なうリサイズ手段と、
該リサイズ手段によって実行しようとするリサイズ処理が画像の拡大処理か縮小処理かを判定する拡大／縮小判定手段とを具備し、
前記拡大／縮小判定手段の判定結果に基づいて前記補正処理と前記リサイズ処理の実行順序を変更することを特徴とする画像処理装置。
前記画素補間手段は、前記ＲＡＷデータを入力とし、前記画素補間処理を行なって、リサイズする前の画像サイズであるフルサイズ画像を出力することを特徴とする請求項１に記載の画像処理装置。
前記画像補正手段は、少なくともホワイトバランス調整を行うことを特徴とする請求項１に記載の画像処理装置。
前記画像補正手段は、少なくともガンマ調整を行うことを特徴とする請求項１に記載の画像処理装置。
前記画像補正手段は、少なくとも色味調整を行うことを特徴とする請求項１に記載の画像処理装置。
前記リサイズ手段は、双一次補間により画像の拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記リサイズ手段は、双三次補間により画像の拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記リサイズ手段は、最近傍補間により拡大処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記リサイズ手段は、面積平均法を用いて縮小処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記リサイズ手段は、拡大率に応じて拡大補間方法を切り替えることを特徴とする請求項１に記載の画像処理装置。
前記リサイズ手段は、縮小処理は面積平均法で、拡大処理は予め定められたサイズより小さい画像については最近傍補間法で、予め定められたサイズ以上の画像については双一次補間法を用いて行うことを特徴とする請求項１に記載の画像処理装置。
前記リサイズ手段は、縮小処理は面積平均法で、拡大処理は予め定められたサイズより小さい画像については最近傍補間法で、予め定められたサイズ以上の画像については双三次補間法を用いて行うことを特徴とする請求項１に記載の画像処理装置。
前記リサイズ処理を行なった後の画像サイズを、画素数で指定することを特徴とする請求項１に記載の画像処置装置。
前記リサイズ処理を行なった後の画像サイズを、画像に設定された解像度情報を考慮した出力画像サイズで指定することを特徴とする請求項１に記載の画像処理装置。
前記拡大／縮小判定手段は、前記リサイズ処理を行なった後の画素数がリサイズ対象画像の画素数より小さい場合に縮小処理と判定することを特徴とする請求項１に記載の画像処理装置。
前記拡大／縮小判定手段は、前記リサイズ処理を行なった後の画像幅がリサイズ対象画像の画像幅より小さい場合に縮小処理と判定することを特徴とする請求項１に記載の画像処理装置。
前記拡大／縮小判定手段は、前記リサイズ処理を行なった後の画像の高さがリサイズ対象画像の画像の高さより小さい場合に縮小処理と判定することを特徴とする請求項１に記載の画像処理装置。
前記拡大／縮小判定手段によって縮小処理であると判定された場合に、画素補間処理、リサイズ処理、補正処理の順で処理を行うことを特徴とする請求項１に記載の画像処理装置。
前記拡大／縮小判定手段によって縮小処理であると判定されなかった場合に、画素補間処理、補正処理、リサイズ処理の順で処理を行うことを特徴とする請求項１に記載の画像処理装置。
１つの画素の色情報を、周囲の画素の色情報を用いて補間する画素補間処理を必要とするＲＡＷデータを処理するための画像処理方法であって、
前記画素補間処理を行う画素補間工程と、
前記画素補間が行なわれた画像データに対して画像処理を用いた補正処理を行なう補正処理工程と、
前記画素補間が行なわれた画像データを拡大又は縮小するリサイズ処理を行なうリサイズ工程と、
該リサイズ工程において実行しようとするリサイズ処理が画像の拡大処理か縮小処理かを判定する拡大／縮小判定工程とを具備し、
前記拡大／縮小判定工程における判定結果に基づいて前記補正処理と前記リサイズ処理の実行順序を変更することを特徴とする画像処理方法。
請求項２０に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。
請求項２１に記載のプログラムをコンピュータ読み取り可能に記憶したことを特徴とする記憶媒体。