JP2009118130A - 画像処理装置 - Google Patents

Abstract

【課題】画像処理に係る遅延量を削減することができる画像処理装置を提供する。
【解決手段】第１の画像処理回路（前処理部１０２、ゲインマップ生成処理部１０４、ゲイン生成部１０７）は処理対象の画像に対して第１の処理を行う。第２の画像処理回路（補間処理部１１１）は、第１の処理と異なる第２の処理を第１の処理と並行して処理対象の画像に対して行う。画像記憶部１１２は、第１の画像処理回路からの出力と第２の画像処理回路からの出力とを同期させる。乗算部１１４，１１５は、第１の画像処理回路からの出力と第２の画像処理回路からの出力とを合成する。
【選択図】図１

Description

本発明は、階調補正処理等を行う画像処理装置に関する。

デジタルカメラ等で画像に対して行われる画像処理の一つに階調補正処理がある。図４は、階調補正処理の一つである局所ヒストグラム平坦化処理における処理の流れを示している。処理対象の本画像４００において、一定間隔に並んだサンプリング点４１０でデータがサンプリング（間引き）され、画像４２０が生成される。この画像４２０に基づいて、本画像４００に乗算するゲイン値を示すゲインマップ４３０が生成される。

続いて、本画像４００の大きさに合わせてゲインマップ４３０が拡大され、本画像４００の画素位置に対応するゲイン値が算出される（拡大ゲインマップ４４０の生成）。本画像４００の各画素の値に対して、各画素に対応した拡大ゲインマップ４４０のゲイン値が乗算され、階調補正後の本画像４５０が生成される。さらに、本画像４５０に対して例えば拡大処理が行われ、拡大後の本画像４６０が生成される。

図３は、階調補正処理を行う従来の画像処理装置の構成を示している。この画像処理装置は、変換部３０１、画像記憶部３０２，３０４，３０６，３１３、前処理部３０３、ゲインマップ生成処理部３０５、画像読出し部３０７，３１４、ゲイン生成部３０８、乗算部３０９，３１０、逆変換部３１１、画像格納部３１２、および補間処理部３１５を有している。

変換部３０１には、画像を構成する各画素のＲＧＢ画像データが前段の処理回路から順次入力される。変換部３０１は、入力されたＲＧＢ画像データを、図４の本画像４００を構成する輝度データＹと色差データＣに変換する。変換部３０１から出力された輝度データＹと色差データＣは画像記憶部３０２および前処理部３０３に入力される。画像記憶部３０２は、入力された輝度データＹと色差データＣを一時記憶する。

また、前処理部３０３は、ゲインマップの生成に必要な画素の輝度情報をサンプリングし、画像記憶部３０４にデータを格納する。画像記憶部３０４に格納されたデータが図４の画像４２０に対応している。ゲインマップ生成処理部３０５は画像記憶部３０４からデータを取り出してゲイン値を算出し、計算結果のデータを画像記憶部３０６に格納する。画像記憶部３０６に格納されたデータが図４のゲインマップ４３０に対応している。

続いて、画像読出し部３０７は、元の画像の画素位置に対応するゲインマップ上の画素位置の周辺のデータを画像記憶部３０６から読み出し、ゲイン生成部３０８へ出力する。ゲイン生成部３０８は、画像読出し部３０７から出力されたデータを補間し、元の画像の画素位置に対応するゲイン値を算出する。ゲイン生成部３０８によって算出されたゲイン値は図４の拡大ゲインマップ４４０を構成する。乗算部３０９，３１０は、画像記憶部３０２に格納されている輝度データＹと色差データＣのそれぞれに対して、ゲイン生成部３０８によって算出されたゲイン値を乗算する。乗算部３０９，３１０によってゲイン値が乗算された輝度データＹと色差データＣは図４の本画像４５０を構成する。逆変換部３１１は、ゲイン値が乗算された輝度データＹと色差データＣをＲＧＢ画像データに変換する。

画像格納部３１２は、逆変換部３１１から出力されたＲＧＢ画像データを画像記憶部３１３に格納する。画像読出し部３１４は、処理対象の画素位置の周辺の画素のデータを画像記憶部３１３から読み出し、補間処理部３１５へ出力する。補間処理部３１５は、画像読出し部３１４から出力されたデータを補間することによって、拡大／縮小した画像における処理対象の画素位置のデータを生成する。補間処理部３１５によって生成されたデータは図４の本画像４６０を構成する。補間処理部３１５から各画素のＲＧＢ画像データが後段の処理回路へ順次出力される。以上が、階調補正処理を含む従来の画像処理の内容である。

なお、特許文献１には、逆光補正を含む階調補正を行う階調補正装置が記載されている。

特開２００６−３３１１７２号公報

上述した階調補正処理に限らず、多くの画像処理では、画像のライン単位で遅延が発生する。例えば、図３に示した画像処理装置では、ゲインの生成および乗算や画像の拡大／縮小による遅延が発生する。これらの処理を最適化することによって、遅延量を削減することができる。しかし、図３に示した画像処理装置では、ゲインの生成および乗算を行う処理（図３の階調補正処理）と、階調補正後の画像を拡大／縮小する処理（図３の拡大縮小処理）とが順番に実行されるため、これらの処理の最適化を個別に行わなければならない。

このため、画像処理装置全体で見ると、遅延量の削減が必ずしも十分であるとは言えない。例えば、各処理を個別に最適化した結果、ゲインの生成および乗算を行う処理による遅延量がｍライン、階調補正後の画像を拡大／縮小する処理による遅延量がｎラインとなった場合、全体の遅延量はｍ＋ｎラインとなるが、図３に示した画像処理装置では、これよりも遅延量を削減することはできない。

本発明は、上述した課題に鑑みてなされたものであって、画像処理に係る遅延量を削減することができる画像処理装置を提供することを目的とする。

本発明は、上記の課題を解決するためになされたもので、処理対象の画像に対して第１の処理を行う第１の画像処理回路と、前記第１の処理と異なる第２の処理を前記第１の処理と並行して前記処理対象の画像に対して行う第２の画像処理回路と、前記第１の画像処理回路からの出力と前記第２の画像処理回路からの出力とを同期させる同期回路と、前記同期回路が同期させた前記第１の画像処理回路からの出力と前記第２の画像処理回路からの出力とを合成する合成回路とを有する画像処理装置である。

また、本発明の画像処理装置において、前記第１の画像処理回路と前記第２の画像処理回路の一方は、前記処理対象の画像を間引いた画像に基づいて、画像に乗算するゲイン値を示すゲインマップを生成し、前記ゲインマップを所定の大きさに変換する回路であり、他方は、前記処理対象の画像を前記所定の大きさに変換する回路であり、前記合成回路は、前記所定の大きさに変換された前記処理対象の画像を構成するデータ値に対して、前記所定の大きさに変換された前記ゲインマップを構成するゲイン値を乗算することを特徴とする。

本発明によれば、第１の処理と第２の処理が並行して行われるため、画像処理に係る遅延量を削減することができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図２は本実施形態の階調補正処理の流れを示している。処理対象の本画像２００において、一定間隔に並んだサンプリング点２１０でデータがサンプリング（間引き）され、画像２２０が生成される。この画像２２０に基づいて、本画像に乗算するゲイン値を示すゲインマップ２３０が生成される。

本画像２００は拡大されて本画像２４０となる。この本画像２４０の大きさに合わせてゲインマップ２３０も拡大され、本画像２４０の画素位置に対応するゲイン値が算出される（拡大ゲインマップ２５０の生成）。本画像２４０の各画素の値に対して、各画素に対応した拡大ゲインマップ２５０のゲイン値が乗算され、階調補正後の本画像２６０が生成される。

図１は、本実施形態による画像処理装置の構成を示している。この画像処理装置は、変換部１０１，１１３、前処理部１０２、画像記憶部１０３，１０５，１０９，１１２、ゲインマップ生成処理部１０４、画像読出し部１０６，１１０、ゲイン生成部１０７、画像格納部１０８、補間処理部１１１、乗算部１１４，１１５（合成回路）、および逆変換部１１６を有している。

変換部１０１および画像格納部１０８には、画像を構成する各画素のＲＧＢ画像データが前段の処理回路から順次入力される。変換部１０１は、入力されたＲＧＢ画像データを、図２の本画像２００を構成する輝度データＹと色差データＣに変換する。変換部１０１から出力された輝度データＹと色差データＣは前処理部１０２に入力される。

前処理部１０２は、ゲインマップの生成に必要な画素の輝度情報をサンプリングし、画像記憶部１０３にデータを格納する。画像記憶部１０３に格納されたデータが図２の画像２２０に対応している。ゲインマップ生成処理部１０４は画像記憶部１０３からデータを取り出してゲイン値を算出し、計算結果のデータを画像記憶部１０５に格納する。画像記憶部１０５に格納されたデータが図２のゲインマップ２３０に対応している。

続いて、画像読出し部１０６は、元の画像の画素位置に対応するゲインマップ上の画素位置の周辺のデータを画像記憶部１０５から読み出し、ゲイン生成部１０７へ出力する。ゲイン生成部１０７は、画像読出し部１０６から出力されたデータを補間し、元の画像の画素位置に対応するゲイン値を算出する。ゲイン生成部１０７によって算出されたゲイン値は図２の拡大ゲインマップ２５０を構成する。

一方、画像格納部１０８は、入力されたＲＧＢ画像データを画像記憶部１０９に格納する。画像読出し部１１０は、処理対象の画素位置の周辺の画素のデータを画像記憶部１０９から読み出し、補間処理部１１１へ出力する。補間処理部１１１は、画像読出し部１１０から出力されたデータを補間することによって、拡大／縮小した画像における処理対象の画素位置のデータを生成する。補間処理部１１１によって生成されたデータは図２の本画像２４０を構成する。補間処理部１１１から出力されたデータは画像記憶部１１２へ出力される。画像記憶部１１２は、入力されたデータを一時記憶する。

変換部１１３は、画像記憶部１１２から出力されたＲＧＢ画像データを輝度データＹと色差データＣに変換する。乗算部１１４，１１５は、変換部１１３から出力された輝度データＹと色差データＣのそれぞれに対して、ゲイン生成部１０７によって算出されたゲイン値を乗算する。言い換えると、乗算部１１４，１１５は、変換部１１３から出力された輝度データＹおよび色差データＣと、ゲイン生成部１０７から出力されたゲイン値のデータとを合成する。

乗算部１１４，１１５によってゲイン値が乗算された輝度データＹと色差データＣは図２の本画像２６０を構成する。逆変換部１１６は、ゲイン値が乗算された輝度データＹと色差データＣをＲＧＢ画像データに変換する。逆変換部１１６から各画素のＲＧＢ画像データが後段の処理回路へ順次出力される。以上が、階調補正処理を含む本実施形態の画像処理の内容である。

図１に示した画像処理装置では、ゲインの生成による遅延量を調整するメモリとして画像記憶部１０３，１０５が設けられている。また、画像の拡大／縮小による遅延量を調整するメモリとして画像記憶部１０９が設けられている。さらに、乗算部１１４，１１５がゲインを乗算する対象とする画像の拡大／縮小による遅延量と、ゲインの生成による遅延量とを調整し、ゲイン生成部１０７の出力と変換部１１３の出力とを同期させるためのメモリとして画像記憶部１１２（同期回路）が設けられている。

本実施形態では、ゲインの生成に関する処理（以下、第１の処理とする）と、画像の拡大／縮小に関する処理（以下、第２の処理とする）とが並行して行われる。第１の処理による遅延量をｍラインとし、第２の処理による遅延量をｎライン（ｍ＞ｎ）とすると、第１の処理と第２の処理とが並行して行われることにより、画像処理装置全体では遅延量はｍラインとなる。したがって、本実施形態によれば、画像処理に係る遅延量を従来よりも削減することができ、レイテンシ（入力から出力までの処理時間）も削減することができる。また、画像処理に係る遅延量を削減することによって、メモリを削減することができる。

第１の処理による遅延量（ｍライン）と、第２の処理による遅延量（ｎライン）との差分（ｍ−ｎライン）は、例えば画像記憶部１１２によって調整される。あるいは、ライン単位の遅延量の調整を画像記憶部１０９が行い、サイクル単位の遅延量の調整を画像記憶部１１２が行うようにしてもよい。

また、図１に示した画像処理装置では、第１の処理による遅延量が、第２の処理による遅延量よりも大きいものとしているが、遅延量の大小関係が逆の場合には、画像記憶部１１２に相当するメモリをゲイン生成部１０７の後段に設ければよい。この場合に、ライン単位の遅延量の調整を画像記憶部１０３，１０５が行い、サイクル単位の遅延量の調整をゲイン生成部１０７の後段の画像記憶部が行うようにしてもよい。

また、撮像素子の種類に応じて処理の遅延量がライン単位で異なる場合があり、どんな撮像素子にでも対応可能とするため、ラインメモリではなくフレームメモリを使用することで、タイミング設計をフレーム単位とし、設計を容易化することが考えられる。フレームメモリを使用する場合、メモリを削減するために、例えばあるフレームでは画像からゲインを生成し、次のフレームで画像にゲインを乗算することが考えられる。しかし、被写体が大きく動くことにより、フレーム間で画像の相関が低下した場合には、誤ったゲインを画像に乗算することになり、画質に悪影響を与えてしまう。これに対して、本実施形態によれば、ゲインを生成した元となった同一フレームの画像にゲインを乗算することによって、画質に悪影響を与えることを防止することができる。

また、図４を参照して説明したように、階調補正処理を含む従来の画像処理では、ゲインマップを拡大し、ゲインを画像に乗算した後に画像を拡大しており、ゲインマップの拡大による誤差が画像の拡大により目立ってしまう可能性がある。これに対して、本実施形態によれば、ゲインマップと画像を同一サイズに一度に拡大し、ゲインを画像に乗算することによって、ゲインマップの拡大による誤差をより目立ちにくくすることができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、図１に示した画像処理装置は、ＲＧＢ画像データの拡大縮小処理を行った後にＲＧＢ画像データを輝度データＹと色差データＣに変換するように構成されているが、ＲＧＢ画像データを輝度データＹと色差データＣに変換した後に拡大縮小処理を行うように構成してもよい。

本発明の一実施形態による画像処理装置の構成を示すブロック図である。 本発明の一実施形態における画像処理の流れを示す参考図である。 従来の画像処理装置の構成を示すブロック図である。 従来の画像処理の流れを示す参考図である。

符号の説明

１０１，１１３・・・変換部、１０２・・・前処理部、１０３，１０５，１０９，１１２・・・画像記憶部、１０４・・・ゲインマップ生成処理部、１０６，１１０・・・画像読出し部、１０７・・・ゲイン生成部、１０８・・・画像格納部、１１１・・・補間処理部、１１４，１１５・・・乗算部、１１６・・・逆変換部、

Claims (2)

1. 処理対象の画像に対して第１の処理を行う第１の画像処理回路と、
   前記第１の処理と異なる第２の処理を前記第１の処理と並行して前記処理対象の画像に対して行う第２の画像処理回路と、
   前記第１の画像処理回路からの出力と前記第２の画像処理回路からの出力とを同期させる同期回路と、
   前記同期回路が同期させた前記第１の画像処理回路からの出力と前記第２の画像処理回路からの出力とを合成する合成回路と、
   を有する画像処理装置。
2. 前記第１の画像処理回路と前記第２の画像処理回路の一方は、前記処理対象の画像を間引いた画像に基づいて、画像に乗算するゲイン値を示すゲインマップを生成し、前記ゲインマップを所定の大きさに変換する回路であり、他方は、前記処理対象の画像を前記所定の大きさに変換する回路であり、
   前記合成回路は、前記所定の大きさに変換された前記処理対象の画像を構成するデータ値に対して、前記所定の大きさに変換された前記ゲインマップを構成するゲイン値を乗算する
   ことを特徴とする請求項１に記載の画像処理装置。

Images