JP2010147895A - 画像処理装置、集積回路装置及び電子機器 - Google Patents

Abstract

【課題】データの精度が失われるデータの圧縮において、適切な画像処理を行う画像処理装置、集積回路装置、電子機器を提供すること。
【解決手段】画像処理装置１００は、入力画像データのコントラスト補正、レベル補正、ガンマ補正及び彩度補正の少なくとも１つを行う画像補正部１０８と、画像圧縮部１１２とを含み、画像圧縮部１１２は、画像補正部１０８によって画像補正された入力画像データに画像圧縮を行う。
【選択図】図１

Description

本発明は、画像処理装置、集積回路装置及び電子機器等に関する。

現在、デジタルカメラ、ＤＶ、モバイル機器等の高性能化に伴い、そこで取り扱うデータも巨大化しており、画像データの圧縮が行われている。また、デジタルカメラなどで静止画や動画を撮影すると、撮影条件によって画質の良くない画像となる場合がある。一般に、このような画像をより良い画質で録画・再生するために、画像処理が行われている。このような画像処理として、例えばコントラスト補正、レベル補正、ガンマ補正、彩度補正がある。
特開２００８−２７１４１７号公報

データの精度が失われるデータの圧縮では、圧縮解凍後の画像データに画像処理を行うと、精度が失われた画像データに対し画像処理を行うこととなり、適切な画像処理を行うことは困難である。

また、画像処理機能を持たない装置においては、あらかじめ画像処理された画像データが提供されることが好ましい。

本発明は、以上のような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、画像圧縮を行う画像処理装置において適切な画像処理を行える画像処理装置、半導体集積回路装置及び電子機器を提供することを目的とする。

（１）本発明は、入力画像データの画像圧縮を行う画像処理装置であって、入力画像データのコントラスト補正、レベル補正、ガンマ補正及び彩度補正の少なくとも１つを行う画像補正部と、前記画像補正部によって補正された入力画像データの画像圧縮を行う画像圧縮部と、を含むことを特徴とする画像処理装置に関係する。

本発明によれば、画像圧縮部は、画像補正部によって補正された入力画像データに画像圧縮を行う。よって、画像補正部は、圧縮前の入力画像データに画像補正を行うことができるので、適切な画像補正を行うことが可能となる。

また、本発明によれば、画像処理機能をもたない装置にも、画像補正が行われた入力画像データを提供することができる。

（２）また、この画像処理装置では、前記画像圧縮部は、非可逆の画像圧縮を行ってもよい。

（３）また、この画像処理装置では、インタレース方式の入力画像データを受け取り、プログレッシブ方式の画像データに変換するインタレース／プログレッシブ変換を行うインタレース／プログレッシブ変換部を含み、前記画像補正部は、前記インタレース／プログレッシブ変換された入力画像データに補正を行うようにしてもよい。

（４）また、この画像処理装置では、前記画像補正部は、前記入力画像データの高輝度領域の輝度を下げ、前記入力画像データの低輝度領域の輝度を上げる補正を行うためのコントラスト補正値を出力するコントラスト補正部と、前記入力画像データの処理対象画素の輝度値と前記コントラスト補正値の加算処理を行う加算部とを含むようにしてもよい。

（５）また、この画像処理装置では、前記画像補正部は、前記入力画像データの輝度値の統計情報を取得する統計情報取得部と、前記統計情報に基づいて前記入力画像データの明るさ指標を演算する明るさ指標演算部と、前記入力画像データの処理対象画素周辺領域に含まれる複数の画素の輝度値をフィルタ処理して、局所平均輝度値を演算するフィルタ処理部と、前記明るさ指標と前記局所平均輝度値に基づいて前記入力画像データのコントラスト補正を行うコントラスト補正部と、を含み、前記統計情報取得部は、前記統計情報として、シャドー画素群についての第１の指標と、ハイライト画素群についての第２の指標を取得し、前記明るさ指標演算部は、前記第１の指標と前記第２の指標から前記明るさ指標を演算するようにしてもよい。

（６）また本発明は、上記のいずれかに記載の画像処理装置を含む集積回路装置に関係する。

（７）また本発明は、上記に記載の集積回路装置を含む電子機器に関係する。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

１．画像処理装置
図１に画像処理装置の構成例を示す。画像処理装置１００は、入力画像データのコントラスト補正、レベル補正、ガンマ補正及び彩度補正の少なくとも１つを行う画像補正部１０８と、画像補正部によって補正された入力画像データの画像圧縮を行う画像圧縮部１１２とを含む。

コントラスト補正は、画像の持つ階調情報を補正することで人間の見やすいコントラストに改善する画像処理である。コントラスト補正は、画像から統計情報を抽出し、その統計情報に基づいて補正値を算出することで行ってもよい。

レベル補正は、入力画像のダイナミックレンジを拡げる補正をすることで鮮明な画像にする画像処理である。

ガンマ補正は、画像の明るさの変化に対する電圧換算値の変化の比であるガンマ値の誤差を補正して、画像などの色のデータと、それが実際に出力される際の信号の相対関係を調節し、より自然に近い画像を得るための画像処理である。

彩度補正は、通常０〜１．０で表される画像の彩度に対して、彩度変換パラメータを乗ずることによって補正し、より鮮やかな画像にする画像処理である。

また、この画像処理装置１００では、前記画像圧縮部１１２は、非可逆の画像圧縮を行ってもよい。

画像処理装置１００は、非可逆の画像圧縮を行うことにより、圧縮効率を上げることができる。非可逆の画像圧縮は、多少のデータの欠落を許容する代わりに、劇的に圧縮効率を高めた圧縮方式であり、画像や映像、音声などの圧縮に用いられる。これらのデータはプログラムや文字データと違って、多少のデータの欠損や改変があっても、まったく意味が変わってしまうということはない。このため、非可逆の画像圧縮によれば、人間の視聴覚特性を元に人間が認識しにくい成分を削ったり、見えない／聞こえないよう巧妙にデータを改変したりして、極めて効率のよい圧縮を実現することができる。

よって、この画像処理装置１００によれば、圧縮効率の向上に関わらず、適切な画像圧縮を行うことができる。

また、本実施形態の画像処理装置１００では、インタレース方式の入力画像データを受け取り、プログレッシブ方式の画像データに変換するインタレース／プログレッシブ変換を行うインタレース／プログレッシブ変換部１０４を含み、前記画像補正部１０８は、前記インタレース／プログレッシブ変換された入力画像データに補正を行うようにしてもよい。

インタレース／プログレッシブ変換とは、インタレース方式の信号をプログレッシブ方式での表示に適した画像へと変換することをいう。これらの変換は画像表示装置一般に用いられ、例えば撮像素子からの出力信号の方式と出力モニタでの表示方式が合致しない場合に行われる。

本実施形態の画像処理装置１００によれば、画像補正部１０８はインタレース／プログレッシブ変換部１０４によってインタレース／プログレッシブ変換された入力画像データに画像補正を行い、画像圧縮部１１２は画像補正部１０８によって補正された入力画像データに画像圧縮を行う。これにより、画像圧縮前の画像データにインタレース／プログレッシブ変換部を行うことができる。

２．コントラスト補正
図２は、コントラスト補正の実施形態を説明するための図である。本実施形態の画像補正部１０８は、入力画像に応じて適応的にコントラスト補正を行う。すなわち、動画などの入力画像の変化に追従したコントラスト補正が行われる。

具体的には、本実施形態は、統計情報取得部２０、明るさ指標演算部３０、フィルタ処理部４０、コントラスト補正部６０を含む。そして、統計情報取得部２０が入力画像から統計情報を取得し、明るさ指標演算部３０、フィルタ処理部４０、コントラスト補正部６０がコントラスト補正を行う。

より具体的には、統計情報取得部２０は、入力画像に含まれる画素の輝度値について、統計情報を取得する。具体的には、各輝度値を持つ画素数を算出してヒストグラムを作成し、そのヒストグラムを基に統計情報を出力する。例えば、後に図５で説明するシャドー画素群についての第１の指標ａｃｃ＿ｍｉｎ、ハイライト画素群についての第２の指標ａｃｃ＿ｍａｘを出力する。

明るさ指標演算部３０は、統計情報取得部２０が出力する統計情報を受けて明るさ指標Ｌｍ（輝度指標、輝度統計値）を出力する。明るさ指標Ｌｍは、本実施形態が行う画像補正に用いられる指標であり、入力画像全体の持つ明るさを表す輝度値である。例えば、明るさ指標演算部３０は、明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｎと指標ａｃｃ＿ｍａｘの平均値を出力する。

フィルタ処理部４０は、処理対象画素周辺領域に含まれる画素の輝度値をフィルタ処理して局所平均輝度値Ｙｌｐｆを演算する。処理対象画素周辺領域は、入力画像の一部の領域であり、補正対象である処理対象画素を含む領域である。例えば、フィルタ処理は、処理対象画素周辺領域に含まれる画素の輝度値について平均をとる処理であり、局所平均輝度値Ｙｌｐｆは、処理対象画素周辺領域の平均輝度である。

コントラスト補正部６０は、入力画像のコントラスト補正（コントラスト圧縮）を行う。このコントラスト補正は、例えば入力画像のシャドー部分及びハイライト部分のコントラスト（輝度コントラスト）を維持又は改善する画像補正であり、補正の結果として入力画像のダイナミックレンジが圧縮される画像補正である。具体的には、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆを受けて第１の補正値Ｃｙを出力する。

さらに、本実施形態は加算部８０を含むことができる。加算部８０は、入力画像に含まれる画素のデータと補正値の加算処理を行う。具体的には、処理対象画素の輝度値Ｙに第１の補正値Ｃｙを加算し、コントラスト補正後の処理対象画素の輝度（Ｙ＋Ｃｙ）を出力する。

なお、統計情報取得部２０は、入力画像に含まれる全画素から統計情報を取得することもでき、入力画像に含まれる画素のうち一部の画素から統計情報を取得することもできる。また、統計情報取得部２０は、統計情報として入力画像の平均輝度Ｙａｖｅ（全画面平均輝度値）を取得することもできる。そして、明るさ指標演算部３０は、明るさ指標Ｌｍとして平均輝度Ｙａｖｅを出力することもできる。フィルタ処理部４０は、フィルタ処理として、処理対象画素周辺領域に含まれる画素の輝度値について画素毎に異なる重み付けをして平均値を求めることもできる。コントラスト補正部６０は、ダイナミックレンジを変えないでコントラスト補正を行うこともできるし、ダイナミックレンジを拡大するコントラスト補正を行うこともできる。さらに、加算部８０が行う加算処理は、加算だけでなく減算を含むこともでき、係数を乗算する処理を含むこともできる。

次に、図３、図４を用いてコントラスト補正について具体的に説明する。図３、図４は、本実施形態が行うコントラスト補正を模式的に示したものである。なお、説明を簡単にするために、入力画像ＦＬＡが輝度の高い領域ＰＡと輝度の低い領域ＰＢに二分されている場合を例に挙げている。但し、本実施形態の処理対象は図３の例に限らない。

図３に示すように、処理対象画素ＰＸは入力画像ＦＬＡに含まれる画素であり、入力画像ＦＬＡが走査されるに従って入力画像ＦＬＡ上を移動する。処理対象画素周辺領域ＰＸＲは、処理対象画素ＰＸとともに入力画像ＦＬＡ上を移動する領域である。例えば、処理対象画素ＰＸを中心として（２ｎ＋１）画素×（２ｍ＋１）画素（ｎ，ｍは、自然数）の領域を設定することができる。

ここで、明るさ指標演算部３０は、この入力画像ＦＬＡに対応する明るさ指標Ｌｍを求める。すなわち、明るさ指標Ｌｍは１画面の入力画像ＦＬＡに対して１つの値が求められる。そのため明るさ指標Ｌｍは、１画面中の走査によっては変化せず、動画であれば入力画像ＦＬＡの移り変わりに伴って変化する値である。また、フィルタ処理部４０は、処理対象画素周辺領域ＰＸＲに対応する局所平均輝度値Ｙｌｐｆを出力する。この局所平均輝度値Ｙｌｐｆは、１画面中の走査に従って変化する値である。

図４に、図３に示す走査線ＳＬＡ及び走査線ＳＬＢについての補正例を示す。図４では、走査線ＳＬＡが、明るさ指標Ｌｍよりも輝度の高い領域ＰＡにある走査線であり、走査線ＳＬＢが、明るさ指標Ｌｍよりも輝度の低い領域ＰＢにある走査線である場合について示している。

図４のグラフＰＹＡは、走査線ＳＬＡ上の画素の輝度値Ｙであり、処理対象画素ＰＸが走査線ＳＬＡを移動する場合の処理対象画素ＰＸの輝度値Ｙを表す。また、グラフＰＹＬＡは、その処理対象画素ＰＸに対応する処理対象画素周辺領域ＰＸＲについて、局所平均輝度値Ｙｌｐｆを示す。局所平均輝度値Ｙｌｐｆは、処理対象画素周辺領域ＰＸＲの平均輝度であるため、輝度Ｙの変化よりも緩やかに変化する。

そして、コントラスト補正によって、グラフＰＹＡに示す輝度値ＹがグラフＣＰＹＡに示す輝度値（Ｙ＋Ｃｙ）に補正される。コントラスト補正は、明るさ指標Ｌｍを中心として、局所平均輝度値Ｙｌｐｆに基づいて行われる。具体的には、コントラスト補正部６０が明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆに基づいて各画素に対応する補正値Ｃｙ（負又は正の補正値）を出力することで行われる。例えば、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆの差分値（Ｌｍ−Ｙｌｐｆ）に基づいて補正値Ｃｙが出力される。

同様に、グラフＰＹＢは走査線ＳＬＢ上の画素の輝度値Ｙを示し、グラフＰＹＬＢは走査線ＳＬＢ上の画素に対応する処理対象画素周辺領域ＰＸＲについての局所平均輝度値Ｙｌｐｆを示す。そして、コントラスト補正部６０によって、グラフＰＹＢに示す輝度値ＹがグラフＣＰＹＢに示す輝度値（Ｙ＋Ｃｙ）に補正される。

このようにして、本実施形態は入力画像ＦＬＡのコントラスト補正を行う。例えば後に説明する図１０のＣＡ１，ＣＡ２に示すように、本実施形態は、局所平均輝度値Ｙｌｐｆが最大値（例えば、２５５）付近及び最小値（例えば、０）付近のとき階調差が強調される補正値Ｃｙを出力できる。これにより、入力画像ＦＬＡのハイライト部分及びシャドー部分のコントラストを改善することができる。

さらに、本実施形態は、コントラスト補正の結果として入力画像ＦＬＡのダイナミックレンジを変化させる。具体的には、補正値Ｃｙの符号によってダイナミックレンジの拡大、圧縮を調整する。例えば図４に示すように、コントラスト補正部６０は、差分値（Ｌｍ−Ｙｌｐｆ）が正の場合に輝度を小さくする補正値Ｃｙ（負の補正値）を出力し、差分値（Ｌｍ−Ｙｌｐｆ）が負の場合に輝度を大きくする補正値Ｃｙ（正の補正値）を出力することができる。そして、コントラスト補正部６０は、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍから離れているほど補正値Ｃｙの絶対値を大きくすることができる。これにより、入力画像ＦＬＡのコントラスト補正を行うと共に、入力画像ＦＬＡのダイナミックレンジを圧縮することができる。

このとき、本実施形態は、入力画像ＦＬＡのダイナミックレンジを圧縮する一方で、距離の近い画素間の階調差を維持する。具体的には、局所平均輝度値Ｙｌｐｆを用いて補正値Ｃｙを求めることで実現される。例えば、図４のグラフＣＰＹＡに示すように、補正前のグラフＰＹＡのコントラストが保たれている。なお、図４では入力画像ＦＬＡの走査方向のみ示しているが、入力画像ＦＬＡ内での方向に関わらず距離の近い画素間のコントラストが保たれる。

本実施形態によれば、コントラスト補正によってダイナミックレンジを圧縮することができる。

また、単純にダイナミックレンジを圧縮する補正（例えば、ヒストグラム上の輝度値と補正値が１対１に対応する補正）を行うと、コントラストが劣化するという課題があった。具体的には、ダイナミックレンジ圧縮後の輝度値を丸め処理すること等により階調差が失われる。

この点、本実施形態によれば、局所平均輝度値に対して補正値を求めている。そのため、入力画像のローカルなコントラストを保存して補正することができる。これにより、入力画像のコントラストを劣化させることなくダイナミックレンジの圧縮を行うことができる。

３．明るさ指標
本実施形態のコントラスト補正においては、明るさ指標Ｌｍとして様々な値を用いることができる。そして、どのような値を用いるかによってコントラスト補正の特性を決めることができる。例えば後で説明するように、明るさ指標Ｌｍとして入力画像の平均輝度Ｙａｖｅを用いることができる。しかしながら、平均輝度Ｙａｖｅを用いると、ヒストグラムが低輝度又は高輝度に偏った分布のとき補正の効果が得にくいという課題があった。

図５に、この課題を解決できる明るさ指標Ｌｍの具体例を示す。この例では、シャドー画素群ＳＧ及びハイライト画素群ＨＧを用いて明るさ指標Ｌｍが求められる。まず、統計情報取得部２０が、入力画像に含まれる画素の輝度値についてヒストグラムＨＴＢを取得し、ヒストグラムＨＴＢからシャドー画素群ＳＧとハイライト画素群ＨＧを求める。

シャドー画素群ＳＧは、ヒストグラムＨＴＢを輝度の低い順から積算して、積算値が第１の閾値ＡＣＣ＿ＭＩＮＴＨを超えない範囲の画素で構成される。具体的には、下式（１）を満たす最大の輝度値ｋを求め、その輝度値以下の輝度を持つ画素をシャドー画素群ＳＧとする（ｊ，ｋは、ｊ≧０，ｋ≧０の整数）。ここでＮ（ｊ）は、統計情報取得部２０が統計情報の取得に用いた画素のうち輝度値ｊの画素数を表す。

一方、ハイライト画素群ＨＧは、ヒストグラムＨＴＢを輝度の高い順から積算して、積算値が第２の閾値ＡＣＣ＿ＭＡＸＴＨを超えない範囲の画素で構成される。具体的には、下式（２）を満たす最大の輝度値ｋを求め、その輝度値以上の輝度を持つ画素をハイライト画素群ＨＧとする。

そして、統計情報取得部２０は、シャドー画素群ＳＧについての第１の指標ａｃｃ＿ｍｉｎと、ハイライト画素群ＨＧについての第２の指標ａｃｃ＿ｍａｘを取得する。具体的には、指標ａｃｃ＿ｍｉｎはシャドー画素群ＳＧに含まれる画素の輝度値のうち、最大の輝度値である。また、指標ａｃｃ＿ｍａｘは、ハイライト画素群ＨＧに含まれる画素の輝度値のうち、最小の輝度値である。

次に、明るさ指標演算部３０が指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘを受けて明るさ指標Ｌｍを演算して出力する。例えば、明るさ指標演算部３０は、指標ａｃｃ＿ｍｉｎと指標ａｃｃ＿ｍａｘの平均値である指標ａｃｃ＿ｍｉｄを明るさ指標Ｌｍとして出力できる。すなわち、明るさ指標演算部３０は、下式（３）に示す指標ａｃｃ＿ｍｉｄを求めて明るさ指標Ｌｍとして出力できる。

なお、統計情報取得部２０は、閾値ＡＣＣ＿ＭＩＮＴＨと閾値ＡＣＣ＿ＭＡＸＴＨに互いに異なる値を用いて指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘを求めることもできる。また、明るさ指標演算部３０は、指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘに異なる重み付けをして指標ａｃｃ＿ｍｉｄを求めることもできる。

このような明るさ指標Ｌｍを用いれば、入力画像のハイライト部分にもシャドー部分にも均等にコントラスト補正を行うことができる。

図６（Ａ）に示す画像例を用いて具体的に説明する。図６（Ａ）に示す入力画像ＦＬＢは、画像の大部分が暗い領域で占められ、画面の一部に非常に明るい領域（ハイライト部分ＨＬ）がある画像を示している。例えば、入力画像ＦＬＢのように夜道の街灯や、その他、夜景や花火の画像などの場合である。

図６（Ｂ）は、入力画像ＦＬＢの輝度のヒストグラムＨＴＣ１を模式的に示したものである。ヒストグラムＨＴＣ１は、画像の大部分の暗い領域に対応する画素群Ａと、ハイライト部分ＨＬに対応する画素群Ｂから構成される。入力画像ＦＬＢに含まれる画素のほとんどは画素群Ａに属するため、ヒストグラムＨＴＣ１は、画素群Ｂと比較して画素群Ａに偏った形状となっている。このとき、指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘは、例えば図６（Ｂ）に示すように決定される。そして、指標ａｃｃ＿ｍｉｎ、ａｃｃ＿ｍａｘはシャドー画素群ＳＧ及びハイライト画素群ＨＧに対応して決定されるため、指標ａｃｃ＿ｍｉｄは画素群Ａと画素群Ｂの間の輝度値に設定される。一方、ヒストグラムＨＴＣ１の平均輝度Ｙａｖｅは、画素の集中する画素群Ａ付近の輝度値となる。

ところで、明るさ指標Ｌｍとして平均輝度Ｙａｖｅを用いた場合、入力画像ＦＬＢのような画像が適切にコントラスト補正されないという課題があった。図７（Ａ）を用いて説明する。

図７（Ａ）に明るさ指標Ｌｍの比較例を用いたコントラスト補正の例を示す。図７（Ａ）は、明るさ指標Ｌｍとして平均輝度Ｙａｖｅを使用し、入力画像ＦＬＢをコントラスト補正した例を示す模式図である。ここで、平均輝度Ｙａｖｅは、下式（４）を用いて統計情報取得部２０によって取得される（ｊは、ｊ≧０の整数）。（Ｔｘ×Ｔｙ）は、統計情報取得部２０が統計情報を取得する際に用いる全画素数を表し、Ｎ（ｊ）は、そのうちの輝度値ｊの画素数を表す。

図７（Ａ）に示すように、本実施形態が入力画像ＦＬＢをコントラスト補正することによって、ヒストグラムＨＴＣ１がＨＴＣ２となり、画素群Ａが画素群Ａ’に移動し、画素群Ｂが画素群Ｂ’に移動する。前述のようにコントラスト補正は明るさ指標Ｌｍを中心とした補正であるため、明るさ指標Ｌｍに近い画素群Ａから画素群Ａ’の補正は、高輝度側にも低輝度側にも移動が小さい。一方、高輝度の画素群Ｂは明るさ指標Ｌｍから離れているため、画素群Ｂから画素群Ｂ’の補正は低輝度側に大きく移動する。すなわち、図７（Ａ）の例では、画素群Ａに対して補正効果が少なく、画素群Ｂに対して補正が過剰になっている。そのため、ダイナミックレンジの圧縮についても高輝度側のみが過剰に圧縮されてしまう。

このように、明るさ指標Ｌｍとして平均輝度Ｙａｖｅを用いた場合、輝度分布が偏った入力画像に対して高輝度の画像領域と低輝度の画像領域を均等に補正できないという課題があった。

この点、本実施形態では明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｄを用いたことにより、輝度分布が偏った入力画像に対しても高輝度の画像領域と低輝度の画像領域を均等に補正できる。

図７（Ｂ）に、明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｄを使用し、入力画像ＦＬＢをコントラスト補正した例を模式図に示す。図７（Ｂ）に示すように、本実施形態が入力画像ＦＬＢをコントラスト補正することによって、ヒストグラムＨＴＣ１がＨＴＣ３となり、画素群Ａが画素群Ａ”に移動し、画素群Ｂが画素群Ｂ”に移動する。ここで、指標ａｃｃ＿ｍｉｄの輝度値は、画素群Ａと画素群Ｂの間にある。そのため、図７（Ａ）と比較して、画素群Ａに対する補正効果が十分得られ、画素群Ｂに対する補正が過剰になることがない。また、ダイナミックレンジの圧縮についても、低輝度側と高輝度側を偏りなく圧縮することができる。

このように、本実施形態では明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｄを用いたことにより適切なコントラスト補正を行うことができる。すなわち、シャドー画素群についての指標ａｃｃ＿ｍｉｎ、ハイライト画素群についての指標ａｃｃ＿ｍａｘから明るさ指標Ｌｍが決定されることで、入力画像の低輝度の領域も高輝度の領域も均等にコントラスト補正を行うことができる。

ここで、逆光で黒つぶれしたような低画質の画像についてはコントラストを改善すると共に、もともと高画質の画像には補正の影響を極力与えたくないという課題もあった。例えば、一般的な日中の風景写真のように画像の多くの領域が中輝度であり、階調も豊富な場合である。すなわち、輝度のヒストグラムでは中輝度に大多数の画素が分布し、輝度分布に偏りがない画像である。

この点、本実施形態によれば、中輝度に大多数の画素が分布する画像においては、その画素群の両端がシャドー画素群及びハイライト画素群となる。そのため、画素の分布の中央付近に明るさ指標が設定されることになる。局所平均輝度値が明るさ指標に近い場合に補正値が小さくなるようにしておけば、コントラスト補正によって画素の分布を壊さないようにできる。このように、低画質の画像はコントラストを改善するとともに、高画質の画像の画質を維持することができる。

さらに、輝度を強調する画像補正では、入力画像データのハイライト部分の輝度がさらに強調されるため、ハイライト部分の階調が高輝度側に圧縮されてコントラストが失われるという課題があった。

本実施形態によれば、入力画像の高輝度領域の輝度を下げ、低輝度領域の輝度を上げるコントラスト補正を行うことで、ダイナミックレンジを圧縮することができる。これにより、輝度エンハンスによるハイライト部分の画質劣化を防止できる。すなわち、一旦ダイナミックレンジを圧縮してハイライト部分の輝度を下げておくことで、輝度エンハンスによってハイライト部分の輝度が強調されても、高輝度側に圧縮されることなくコントラストを改善できる。

４．詳細な構成例
４．１．コントラスト補正
図８に、本実施形態の画像補正部１０８の詳細な構成例を示す。本実施形態は、統計情報取得部２０、フィルタ処理部４０、明るさ指標演算部３０、時間軸フィルタ３２，３４、コントラスト調整用オフセット演算部３６、補正調整用レジスタ４２、コントラスト補正部６０、加算部８０を含む。

具体的には、統計情報取得部２０は、入力画像から統計情報を取得する。この統計情報に基づいて、フィルタ処理部４０、明るさ指標演算部３０、コントラスト補正部６０によって入力画像に応じて適応的にコントラスト補正が行われる。また、コントラスト調整補正量演算部５８、コントラスト調整用オフセット演算部３６、補正調整用レジスタ４２によってコントラスト補正のオフセット調整が行われる。加算部８０は、処理対象画素の画素データに補正値を加算処理する。

より具体的には、統計情報取得部２０は、入力画像の輝度Ｙ、色差Ｕ（色差Ｃｂ）、色差Ｖ（色差Ｃｒ）を受けて、指標ａｃｃ＿ｍｉｎ，ａｃｃ＿ｍａｘ、平均輝度Ｙａｖｅ、指標Ｌｕｍｉｎ，Ｌｕｍａｘを統計情報として出力する。さらに、輝度Ｙ、色差Ｕ，Ｖから彩度Ｓに変換して、彩度平均Ｓａｖｅを統計情報として出力する。これらの統計情報は、動画の１フレーム毎に取得される。ここで、平均色差Ｕａｖｅ，Ｖａｖｅ、平均彩度Ｓａｖｅは、入力画像の色差Ｕ，Ｖ、彩度Ｓの平均値であり、上式（４）に示した平均輝度Ｙａｖｅと同様にして取得される。指標Ｌｕｍｉｎ，Ｌｕｍａｘは、統計情報の取得に用いられる画素のうち、それぞれ最小輝度の画素の輝度値、最大輝度の画素の輝度値である。統計情報取得部２０は、例えば入力画像に含まれる２のべき乗個の画素を用いて統計情報を取得できる。

フィルタ処理部４０は、輝度Ｙを受けて処理対象画素に対応する局所平均輝度値Ｙｌｐｆを出力する。具体的には、フィルタ処理部４０は、下式（５）に示すフィルタ処理を行う（ｎ，ｍは、自然数。ｓ，ｔは整数）。ここで、Ｙ（ｘ＋ｓ，ｙ＋ｔ）は、座標（ｘ＋ｓ，ｙ＋ｔ）の画素の輝度値であり、Ｙ（ｘ，ｙ）は、処理対象画素の輝度値である。また、処理対象画素を中心とする（２ｎ＋１）画素×（２ｍ＋１）画素の領域が処理対象画素周辺領域に対応する。下式（５）では、入力画像の解像度（例えば、ＶＧＡ，ＱＶＧＡ）に応じてｎ，ｍを変えることで、解像度の異なる画像でも同等の補正効果を得ることができる。

明るさ指標演算部３０は、指標ａｃｃ＿ｍｉｎ，ａｃｃ＿ｍａｘ、平均輝度Ｙａｖｅを受けて明るさ指標Ｌｍ、明るさ差分値Ｌｄを出力する。下式（６）に明るさ指標Ｌｍを示す。具体的には、明るさ指標演算部３０は明るさ指標Ｌｍとして、上式（３）で示した指標ａｃｃ＿ｍｉｄが閾値ａｃｃ＿ｈｔｈより大きいときは閾値ａｃｃ＿ｈｔｈを出力し、指標ａｃｃ＿ｍｉｄが閾値ａｃｃ＿ｌｔｈより小さいときは閾値ａｃｃ＿ｌｔｈを出力する。また、指標ａｃｃ＿ｍｉｄが閾値ａｃｃ＿ｌｔｈ以上閾値ａｃｃ＿ｈｔｈ以下のときは、明るさ指標Ｌｍとして指標ａｃｃ＿ｍｉｄを出力する。下式（７）に明るさ差分値Ｌｄを示す。明るさ差分値Ｌｄは、明るさ指標Ｌｍと平均輝度Ｙａｖｅの差分の絶対値であり、後述するコントラスト補正のオフセット調整に用いられる。例えば、明るさ差分値Ｌｄが大きくなると、低輝度でのコントラスト補正が強調される。

時間軸フィルタ３２，３４は、コントラスト補正値Ｃｙの急激な変化に伴う視覚的なちらつき（フリッカ）を防止するために挿入される。すなわち、動画のシーンチェンジにともなって補正値Ｃｙが急激に変化することを防止する。

具体的には、時間軸フィルタ３２は、明るさ指標Ｌｍを受けて明るさ指標Ｌｍ＿ｔを出力する。明るさ指標Ｌｍは動画の１フレーム毎に決まる値であるため、時間軸フィルタ３２は、動画のフレーム毎に時系列的に入力される明るさ指標Ｌｍをローパスフィルタ処理して明るさ指標Ｌｍ＿ｔを出力する。時間軸フィルタ３４は、明るさ差分値Ｌｄを受けて明るさ差分値Ｌｄ＿ｔを出力する。時間軸フィルタ３２と同様に、動画のフレーム毎に時系列的に入力される明るさ差分値Ｌｄをローパスフィルタ処理して明るさ差分値Ｌｄ＿ｔを出力する。例えば、時間軸フィルタ３２，３４は、ＩＩＲ（Infinite impulse response）ローパスフィルタで構成できる。

補正調整用レジスタ４２は、コントラスト補正の補正強度を調整するためのレジスタ値と、コントラスト補正のオフセット値を調整するためのレジスタ値を設定する。具体的には、補正調整用レジスタ４２は、コントラスト補正部６０に対してレジスタ値Ｒ＿ＡＨ，Ｒ＿ＡＬを出力し、コントラスト補正用オフセット演算部３６に対してレジスタ値Ｒ＿ＯＬ，Ｒ＿ＯＨ，Ｒ＿ＢＨ，Ｒ＿ＦＬ，Ｒ＿ＦＨを出力する。

コントラスト調整用オフセット演算部３６は、明るさ差分値Ｌｄ＿ｔ、レジスタ値Ｒ＿ＯＬ，Ｒ＿ＯＨ，Ｒ＿ＢＨ，Ｒ＿ＦＬ，Ｒ＿ＦＨを受けて、第１のオフセットＯｆ１と第２のオフセットＯｆ２を出力する。具体的には、コントラスト調整用オフセット演算部３６は、下式（８）に従ってオフセットＯｆ１を演算し、下式（９）に従ってオフセットＯｆ２を演算する。すなわち、オフセットＯｆ１，Ｏｆ２は、レジスタ値Ｒ＿ＯＬ，Ｒ＿ＯＨによって調整される。また、オフセットＯｆ１，Ｏｆ２の明るさ差分値Ｌｄ＿ｔに依存する成分がレジスタ値Ｒ＿ＦＬ，Ｒ＿ＦＨによって調整される。

コントラスト補正部６０は、局所平均輝度値Ｙｌｐｆ、処理対象画素の輝度Ｙ、明るさ指標Ｌｍ＿ｔ、オフセットＯｆ１，Ｏｆ２、レジスタ値Ｒ＿ＡＨ，Ｒ＿ＡＬを受けて補正値Ｃｙを出力する。具体的には、コントラスト補正部６０は、変換部６２、輝度コントラスト補正量テーブル６８を含む。

より具体的には、コントラスト補正部６０は、下式（１０）に示す局所平均輝度値Ｙｌｐｆ’を求める。すなわち、処理対象画素の輝度Ｙと局所平均輝度値Ｙｌｐｆの差分値の絶対値が閾値Ｙｌｔｈ（所定の値）より小さい場合には、局所平均輝度値Ｙｌｐｆ’として処理対象画素の輝度Ｙを用い、他の場合は局所平均輝度値Ｙｌｐｆ’として局所平均輝度値Ｙｌｐｆを用いる。

そして、変換部６２は、局所平均輝度値Ｙｌｐｆ’、明るさ指標Ｌｍ＿ｔ、オフセットＯｆ１，Ｏｆ２、レジスタ値Ｒ＿ＡＨ，Ｒ＿ＡＬを受けて変換局所平均輝度値Ａｖｅを出力する。具体的には、明るさ指標Ｌｍ＿ｔを用いて局所平均輝度値Ｙｌｐｆ’を変換処理して変換局所平均輝度値Ａｖｅを出力する。より具体的には、変換部６２は、最初に下式（１１）に示す点Ｐ１と下式（１２）に示す点Ｐ２を求める。次に、変換部６２は、点Ｐ１と点Ｐ２を結ぶ直線ｆ（Ｘ）から下式（１３）に示す変換局所平均輝度値Ａｖｅを求める。図９（Ａ）にＹｌｐｆ’＜Ｌｍ＿ｔの場合の変換例、図９（Ｂ）にＹｌｐｆ’＞Ｌｍ＿ｔの場合の変換例を示す。図９（Ａ）、図９（Ｂ）に示すように、変換部６２によって点Ｐ１と点Ｐ２が求められると、対応する直線ｆ（Ｘ）が決定される。そして、直線ｆ（Ｘ）のうち局所平均輝度値Ｙｌｐｆ’に対応する１点ｆ（Ｙｌｐｆ’）が変換局所平均輝度値Ａｖｅとして出力される。ここで、図９（Ｂ）に示すように、点Ｐ１と点Ｐ２を結ぶ直線がゼロ以下となる部分については、ｆ（Ｘ）はゼロに設定される。

輝度コントラスト補正量テーブル６８は、変換局所平均輝度値Ａｖｅ、局所平均輝度値Ｙｌｐｆ’を受けて、補正値Ｃｙを出力する。具体的には、下式（１４）に示す補正値Ｃｙを求める。より具体的には、補正値Ｃｙは、下式（１４）の第１項（局所ガンマ）に示す、局所平均輝度値Ｙｌｐｆ’と変換局所平均輝度値Ａｖｅの比に依存する値と、局所平均輝度値Ｙｌｐｆ’の差分から求められる。下式（１４）のγは、例えばγ＝２．２である。このようにして、例えば図１０のグラフＣＹＡ１〜ＣＹＡ３に示す補正値Ｃｙや、図１１に示すグラフＣＹＢ１〜ＣＹＢ３の補正値Ｃｙが出力される。なお、輝度コントラスト補正量テーブル６８は、例えばルックアップテーブルを用いて構成できる。

そして、加算部８０は、処理対象画素の輝度Ｙ、処理対象画素の色差Ｕ，Ｖ、補正値Ｃｙ，Ｌｙ，Ｇｙ’，Ｇｃｕ’，Ｇｃｖ’を受けて、出力輝度Ｙｏｕｔ、出力色差Ｕｏｕｔ，Ｖｏｕｔを出力する。具体的には、加算部８０は、処理対象画素の輝度Ｙと補正値Ｃｙ，Ｌｙ，Ｇｙ’の加算処理を行って出力輝度Ｙｏｕｔ（Ｙｏｕｔ＝Ｙ＋Ｃｙ＋Ｌｙ＋Ｇｙ’）を出力する。また、加算部８０は、処理対象画素の色差Ｕと補正値Ｇｃｕ’の加算処理を行って出力色差Ｕｏｕｔ（Ｕｏｕｔ＝Ｕ＋Ｇｃｕ’）を出力し、処理対象画素の色差Ｖと補正値Ｇｃｖ’の加算処理を行って出力色差Ｖｏｕｔ（Ｖｏｕｔ＝Ｖ＋Ｇｃｖ’）を出力する。ここで、補正値Ｌｙは、後述するレベル補正の補正値であり、補正値Ｇｃｕ’，Ｇｃｖ’は、後述する色差補正の補正値である。

４．２．レベル補正
本実施形態は、時間軸フィルタ９６，９８、統計値コントラスト補正部９２，９４、輝度レベル補正量テーブル９０（レベル補正部）を含む。具体的には、統計情報取得部２０によって入力画像の統計情報が取得され、統計情報を受けて統計値コントラスト補正部９２，９４、輝度レベル補正量テーブル９０が入力画像に応じて適応的にレベル補正を行う。

より具体的には、時間軸フィルタ９６，９８は、シーンチェンジに伴って補正値Ｌｙが急激に変化することを防止する。具体的には、時間軸フィルタ９６は、指標Ｌｕｍｉｎを受けてローパスフィルタ処理を行い、指標Ｌｕｍｉｎ＿ｔを出力する。時間軸フィルタ９８は、指標Ｌｕｍａｘを受けてローパスフィルタ処理を行い、指標Ｌｕｍａｘ＿ｔを出力する。ここで、指標Ｌｕｍｉｎ，Ｌｕｍａｘは、統計情報の取得に用いられる画素のうち、それぞれ最小輝度の画素の輝度値、最大輝度の画素の輝度値である。

統計値コントラスト補正部９２は、輝度ヒストグラムの低輝度側の輝度レベルを最適化し、統計値コントラスト補正部９４は、輝度ヒストグラムの高輝度側の輝度レベルを最適化する。具体的には、統計値コントラスト補正部９２は、指標Ｌｕｍｉｎ＿ｔを受けて出力値Ｓｌｍｉｎを出力し、統計値コントラスト補正部９４は、指標Ｌｕｍａｘ＿ｔを受けて出力値Ｓｌｍａｘを出力する。

輝度レベル補正量テーブル９０は、出力値Ｓｌｍｉｎ，Ｓｌｍａｘを受けて補正値Ｌｙを出力する。具体的には、補正値Ｌｙによって入力画像のレベル補正が行われる。より具体的には、図１２に模式的に示すように、補正値ＬｙによってヒストグラムＨＴＤ１がＨＴＤ２に補正される。すなわち、ＬＤ１に示すヒストグラムＨＴＤ１の低輝度部分がＬＤ２に示すように低輝度方向に拡大され、ＨＤ１に示すヒストグラムＨＴＤ１の高輝度部分がＨＤ２に示すように高輝度方向に拡大される。これにより、輝度ヒストグラムの低輝度側及び高輝度側の輝度レベルが最適化される。

４．３．彩度補正
図８に示す本実施形態の構成例は、彩度補正量演算部３０２、時間軸フィルタ３０４、彩度補正量テーブル３１０を含むことができる。具体的には、統計情報取得部２０が入力画像から統計情報を取得し、統計情報を受けて彩度補正量演算部３０２、彩度補正量テーブル３１０が入力画像に応じて適応的に彩度補正（彩度強調）を行う。

より具体的には、彩度補正量演算部３０２は、彩度平均Ｓａｖｅを受けた彩度補正値に対応する出力信号Ｓｇｃを出力する。

時間軸フィルタ３０４は、入力画像の変化に伴う補正値Ｇｃｕ’，Ｇｃｖ’の急激な変化を防止する。具体的には、時間軸フィルタ３０４は、出力値Ｓｇｃを受けてローパスフィルタ処理を行い、出力値Ｓｇｃ’を出力する。

彩度補正量テーブル３１０は、出力値Ｓｇｃ’を受けて彩度補正値Ｇｃｕ’，Ｇｃｖ’を出力する。例えば、補正値Ｇｃｕ’は、色差Ｕが負の時に負の補正値であり、色差Ｕが正の時に正の補正値である。これにより、入力画像の彩度が強調される。

ここで、輝度レベル補正量テーブル９０、輝度明るさ補正量テーブル８４、彩度補正量テーブル３１０は、例えばルックアップテーブルで構成できる。また、時間軸フィルタ８２，９６，９８は、例えばＩＩＲローパスフィルタで構成できる。

なお、本実施形態は図８に示す構成例に限定されず、一部構成を省略して使用することもできる（例えば時間軸フィルタ３２，３４，８２，９６，９８）。

５．コントラスト補正の具体例
５．１．補正値Ｃｙの具体例
図１０、図１１を用いて、コントラスト補正部６０が出力する補正値Ｃｙの具体例を説明する。

図１０に補正値Ｃｙの第１の具体例を示す。図１０に示すのは、Ｏｆ１＝Ｏｆ２＝０の場合の具体例である。例えばグラフＣＹＡ２において、ＣＡ１とＣＡ２に示す部分では局所平均輝度値Ｙｌｐｆ’が大きくなるに従って補正値Ｃｙも大きくなる。すなわち、入力画像のシャドー部分とハイライト部分においては、補正値Ｃｙによってコントラストが強調される。また、グラフＣＹＡ１〜ＣＹＡ３に示すように補正値Ｃｙは、Ｙｌｐｆ’＜Ｌｍ＿ｔにおいて正の値であり、Ｙｌｐｆ’＞Ｌｍ＿ｔにおいて負の値である。すなわち、補正値Ｃｙによって入力画像のダイナミックレンジが圧縮される。

図１１に補正値Ｃｙの第２の具体例を示す。図１１に示すのは、Ｏｆ２≠０の場合の具体例である。グラフＣＹＢ１〜ＣＹＢ３に示すように、補正値Ｃｙの高輝度側にはＯｆ２によってオフセットＯＦＨが生じる。このオフセットＯＦＨは、明るさ補正強調によるハイライトつぶれをより効果的に防止することができる。

ところで、明るさ補正強調による画質劣化を防止するため、コントラスト補正とともにダイナミックレンジ圧縮を行うという課題があった。同時に、逆光写真などのシャドー部の画質を改善するという課題もあった。

この点、本実施形態によれば、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより小さい場合には、処理対象画素の輝度値を大きくする補正値Ｃｙを出力し、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより大きい場合には、処理対象画素の輝度値を小さくするコントラスト補正を行うことができる。また、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆの差分の絶対値が大きいほど絶対値が大きくなる補正値Ｃｙによってコントラスト補正を行うことができる。これは、図８に示す構成例のコントラスト補正部６０、変換部６２、輝度コントラスト補正量テーブル６８によって実現できる。具体的には、上式（１１）〜（１４）によって実現できる。例えば、図１０、図１１に示す補正量Ｃｙによって実現できる。

これにより、入力画像のコントラストを改善するコントラスト補正を行うことができる。具体的には、図１０等に示したように、入力画像のシャドー部分とハイライト部分のコントラストを強調して画質を改善することができる。さらに、入力画像のコントラストを劣化させることなくダイナミックレンジを圧縮することができる。

また、本実施形態によれば、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより小さいときは、局所平均輝度値Ｙｌｐｆより変換局所平均輝度値Ａｖｅが大きくなる変換処理を行う。また、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより大きいときは、局所平均輝度値Ｙｌｐｆより変換局所平均輝度値Ａｖｅが小さくなる変換処理を行う。これは、図８に示す構成例の変換部６２及び上式（１１）〜（１３）によって実現できる。具体的には、図９（Ａ）、図９（Ｂ）で説明した変換処理によって実現できる。

これにより、入力画像のコントラストを劣化させることなくダイナミックレンジを圧縮できる補正値Ｃｙを実現することができる。

さらに、本実施形態によれば、明るさ指標Ｌｍより輝度の高い局所平均輝度値Ｙｌｐｆに対応する第１の補正強度及び、明るさ指標Ｌｍより輝度の低い局所平均輝度値Ｙｌｐｆに対応する第２の補正強度を設定することができる。これは、レジスタ値Ｒ＿ＡＨ（第１の補正強度）、レジスタ値Ｒ＿ＡＬ（第２の補正強度）によって実現できる。

これにより、レジスタ設定によってコントラスト補正強度を設定することができる。さらに、入力画像の低輝度部分におけるコントラスト補正強度と、入力画像の高輝度部分における補正強度を独立して設定することができる。

具体的には、本実施形態によれば、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより大きい場合には、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆの差分値に第１の補正強度Ｒ＿ＡＨを乗算する乗算処理を行う。また、局所平均輝度値Ｙｌｐｆが明るさ指標Ｌｍより小さい場合には、明るさ指標Ｌｍと局所平均輝度値Ｙｌｐｆの差分値に第２の補正強度Ｒ＿ＡＬを乗算する乗算処理を行う。これは、図８に示す構成例の補正調整用レジスタ４２、変換部６２及び、上式（１１）で実現できる。

これにより、コントラスト補正強度の調整を実現することができる。さらに、入力画像の低輝度部分におけるコントラスト補正強度の調整、入力画像の高輝度部分における補正強度の調整を独立して行うことができる。すなわち、レジスタ値Ｒ＿ＡＨによって補正値Ｃｙの高輝度側を強調でき、レジスタ値Ｒ＿ＡＬによって補正値Ｃｙの低輝度側を強調できる。

また、本実施形態によれば、変換処理の低輝度側のオフセットを調整する第１のオフセットと、変換処理の高輝度側のオフセットを調整する第２のオフセットを有する。そして、差分値（Ｌｍ−Ｙｌｐｆ）に補正強度Ｒ＿ＡＨ，Ｒ＿ＡＬを乗算する乗算処理の結果に第１のオフセットを加算するオフセット加算処理を行う。これは、図８に示す構成例のコントラスト調整用オフセット演算部３６、変換部６２及び、第１のオフセットＯｆ１、第２のオフセットＯｆ２、上式（１１）、上式（１２）によって実現できる。

これにより、コントラスト補正のオフセットを調整できる。さらに、低輝度側のオフセットと高輝度側のオフセットを独立して調整することができる。すなわち、オフセットＯｆ１によって補正値Ｃｙの低輝度側を強調し、高輝度側を弱めることができる。また、オフセットＯｆ２によって補正値Ｃｙの低輝度側を弱め、高輝度側を強調することができるとともに、図１１に示したオフセットＯＦＨを調整できる。オフセットＯＦＨにより、明るさ補正強調による画質劣化をさらに効果的に防止できる。

具体的には、本実施形態によれば、第１，第２のオフセット調整値を設定することができる。そして、第１，第２のオフセット調整値を用いてオフセットＯｆ１，Ｏｆ２を出力することができる。これは、図８に示す構成例の補正調整用レジスタ４２、コントラスト調整用オフセット演算部３６及び、レジスタ値Ｒ＿ＯＬ，Ｒ＿ＯＨ（第１，第２のオフセット調整値）、上式（８）、上式（９）によって実現できる。

これにより、レジスタ設定によってコントラスト補正のオフセットを調整できる。そして、低輝度側のオフセットと高輝度側のオフセットの独立した調整を実現できる。

さらに、本実施形態によれば、明るさ指標Ｌｍと平均輝度Ｙａｖｅの差分の絶対値である明るさ差分値Ｌｄを用いてのオフセットＯｆ１，Ｏｆ２を出力できる。これは、明るさ指標演算部３０、コントラスト調整用オフセット演算部３６、上式（７）、上式（８）、上式（９）によって実現できる。

これにより、輝度分布に偏りのある入力画像において、コントラスト補正を強調することができる。例えば、図６（Ｂ）で説明した低輝度側に偏ったヒストグラムをもつ入力画像の場合、明るさ指標Ｌｍ（＝ａｃｃ＿ｍｉｄ）より平均輝度Ｙａｖｅが小さくなるため、明るさ差分値Ｌｄが大きくなる。そして、上式（８）、上式（９）よりオフセットＯｆ１，Ｏｆ２が大きくなり、補正値Ｃｙの低輝度側及び高輝度側がともに強調される。

本実施形態では明るさ差分値Ｌｄを用いて補正値Ｃｙを強調することができる。すなわち、平均輝度Ｙａｖｅが低い場合に、ハイライト部分の輝度をより大きく下げることでハイライト部分の階調つぶれを防止し、画素数の多い低輝度部分のコントラストをより強調することができる。一方、輝度分布に偏りがない場合には、明るさ指標Ｌｍと平均輝度Ｙａｖｅの値が近く、明るさ差分値Ｌｄの値が小さい。そのため、輝度分布に偏りのある低画質の画像の場合にだけコントラスト補正を強調することができる。

ところで、入力画像の低階調部分（例えば、処理対象画素の輝度値と局所平均輝度値の差分値が０や１）において局所平均輝度値Ｙｌｐｆを用いてコントラスト補正すると、階調差を壊す場合があるという課題があった。すなわち、Ｙｌｐｆは処理対象画素周辺領域の輝度平均のため、低階調部分では丸め処理によって平均化される（例えば、Ｙｌｐｆ＝０．６，１．４が１，１に丸め処理される）という課題があった。さらに、Ｙｌｐｆの平均化を避けるために演算精度を上げると回路規模の増大を招くという課題があった。

この点、本実施形態によれば、処理対象画素の輝度値Ｙと局所平均輝度値Ｙｌｐｆの差分値の絶対値が所定の値より小さいとき、局所平均輝度値Ｙｌｐｆの代わりに処理対象画素の輝度値Ｙを用いることができる。これは、コントラスト補正部６０及び、閾値Ｙｌｔｈ（所定の値）、上式（１０）によって実現できる。

これにより、局所平均輝度値Ｙｌｐｆのみ用いた場合と比べて、低階調のコントラストを強調するコントラスト補正を実現できる。そして、Ｙｌｐｆの演算精度を上げることなく、低階調の階調差が壊されることを防止できる。これにより、回路規模の増大を防止できる。

５．２．本実施形態による画像補正の具体例
図１３に本実施形態による画像補正の具体例を示す。図１３では、説明を簡単にするために静止画に本実施形態を適用した場合について説明する。但し、本発明によれば、動画に適用して入力画像に対して適応的に画像補正することもできる。

図１３は、本実施形態を適用した画像の輝度ヒストグラム例である。ＨＴＥ１は、補正前の画像のヒストグラム例である。ＨＴＥ２は、コントラスト補正を行った後のヒストグラム例である。

まず、コントラスト補正によって、ＬＥ１に示すシャドー部分がＬＥ２に示すように高輝度方向に移動し、ＨＥ１に示すハイライト部分がＨＥ２に示すように低輝度方向に移動する。このように、コントラスト補正によってダイナミックレンジが圧縮される。このとき、ＨＥ３に示すように、コントラスト補正を行ったことでハイライト部分のコントラスト破壊が防止される。また、ＬＥ２，ＬＥ３に示すように、シャドー部分のコントラストがＬＥ１に比べて改善され、ＨＥ２、ＨＥ３に示すようにハイライト部分のコントラストがＨＥ１に比べて改善される。

本実施形態によれば、シャドー画素群についての指標及びハイライト画素群についての指標から求めた明るさ指標を用いてコントラスト補正を行う。これにより、入力画像の輝度分布が偏っている場合でも、高輝度の画像領域と低輝度の画像領域を均等にコントラストを改善できる。一方、中輝度に大多数の画素が分布する画像に対しては、明るさ指標は輝度分布の中央付近の輝度値にできる。これにより、高画質の画像では高コントラストを維持できる。そして、本実施形態では局所平均輝度値を用いてコントラスト補正を行う。これにより、局所的なコントラストを維持しまま入力画像全体のコントラストを補正できる。さらに本実施形態によればダイナミックレンジを圧縮するコントラスト補正を行うことができる。これにより、輝度のエンハンスによるハイライト部分のコントラスト劣化を防止できる。そして、明るさ指標によって高輝度の画像領域と低輝度の画像領域を均等にコントラストを改善できることで、ハイライト部分のコントラスト劣化を防止するとともに、シャドー部分のコントラストを改善することもできる。

６．画像処理装置
６．１．構成例
図１４に画像処理装置の画像補正部１０８の構成例を示す。図１４に示す構成例は、タイミング制御部５１０、統計値取得部５２０、補正係数演算部５４０、画像補正部５６０を含む。

タイミング制御部５１０は、例えば図１５に示すホストコンピュータ１０６から入力されるＹＵＶ形式の画像信号から同期信号を抜き出し、各部の動作タイミングを示すタイミング信号を生成する。

統計値取得部５２０は、ＹＵＶ形式の画像信号と、タイミング制御部５１０から入力されるタイミング信号を受けて、入力画像の１フレーム分の画像信号の統計情報（輝度、色差及び、彩度に関する統計情報）を取得する。

補正係数演算部５４０は、タイミング制御部５１０から入力されるタイミング信号と、統計値取得部５２０から入力される統計情報を受けて、画像補正用の補正値（Ｃｙ，Ｇｙ’等）をリアルタイムに算出する。

画像補正部５６０は、ＹＵＶ形式の画像信号と、補正係数演算部５４０から入力される画像補整用の補正値を受けて、次のフレームの画像信号の入力に同期して画像補正を実行する。

６．２．詳細な構成例
図１５に画像処理装置の画像処理部の詳細な構成例を示す。

図１５に示すように、画像処理装置１００は、ホストコンピュータ１０６から与えられる画像信号（ＲＧＢ（色信号形式）あるいはＹＵＶ（輝度信号と色差信号の形式））を受け、その画像信号がＲＧＢの場合はＹＵＶの画像信号に変換する画像入力インタフェース（Ｉ／Ｆ）１５０と、ホストコンピュータ１０６から与えられる制御情報（例えば、レジスタ値Ｒ＿ＡＨ，Ｒ＿ＡＬ）を一時的に蓄積するレジスタ１５２と、画像信号に画像補正処理を施す画像補正コア２００と、ＹＵＶ形式の画像信号をＲＧＢ形式の画像信号に変換する、または、ＹＵＶ形式のまま出力する画像出力インタフェース（Ｉ／Ｆ）１５４を含む。

以下、図１５の画像補正コア２００の各部の機能および動作を具体的に説明する。

タイミング部２１０は、画像入力インタフェース（Ｉ／Ｆ）１５０から出力されるＹＵＶ形式の画像信号から同期信号を抜き出し、各部の動作タイミングを示すタイミング信号を生成する。

共用演算器２１８は、第１および第２のマルチプレクサ（４００ａ，４００ｂ）と、算術論理演算ユニット（ＡＬＵ）４０２と、算術論理ユニット（ＡＬＵ）の演算結果を振り分ける分配器４０４と、複数の出力先レジスタ（デスティネーションレジスタ）４０６を含む。出力先レジスタ４０６は、出力先毎に区分されたレジスタ郡４０８ａ、４０８ｃにより構成される。また、複数のレジスタ郡４０８ａ、４０８ｃの各々に蓄積された演算結果の少なくとも一部を、第１および第２のマルチプレクサ（４００ａ，４００ｂ）の入力側に帰還させる帰還経路が形成されている。

ヒストグラム作成部（統計値取得部）２１２は、１フレーム分の画像信号の統計情報（輝度に関する統計情報および彩度に関する統計情報）を取得する。

コードテーブル（コード記憶部）２１６は、共用演算器２１８の動作手順を指定するための複数のマイクロコードを記憶している。

シーケンスカウンタ（シーケンス指示部）２１４は、コードテーブル２１６をポインティングし、コードテーブル２１６からのマイクロコードの出力順を制御する。デコーダ２１７は、コードテーブル２１６から順次、出力されるマイクロコードをデコードして、共用演算器に供給するための命令およびデータ（係数等）の少なくとも一つを生成する。

デコーダ２１７からは、第１および第２のマルチプレクサ（４００ａ，４００ｂ）に対して、演算に用いられる係数が供給され、算術論理ユニット（ＡＬＵ）４０２に対して演算命令（オペコード）が供給され、分配器４０４に対して分配先情報（デスティネーション情報）が供給される。

共用演算器２１８は、画像補正用の補正値（Ｃｙ，Ｇｙ’等）をリアルタイムに算出する。共用演算器２１８の演算によって、結果的に、図２等を用いて説明したコントラスト補正による画像処理が実行されることになる。また、図８等を用いて説明した、彩度補正による画像処理、レベル補正による画像処理が、実質的に実行されることになる。

共用演算器２１８の演算は、上述のとおり、信号処理手順をコード化したマイクロコードによって制御される。共用化された最小限の回路構成の演算器を用いることによって、同種のハードウエアを並列に設ける必要なくリアルタイム演算が可能となる。よって、最小の回路、最小の消費電力により、画像補正を実現することができる。

共用演算器２１８の演算結果は、出力先毎に区分されたレジスタ郡４０８ａ、４０８ｃに一時的に蓄積される。また、補正値は、係数バッファ４１０に蓄積される。係数バッファ４１０に蓄積された補正値は、次のフレームの画像信号の入力に同期して画像補正実行部２２２に供給され、画像補正が実行される。

また、複数のレジスタ郡４０８ａ、４０８ｃの各々に蓄積された演算結果の少なくとも一部は、帰還経路を介して、第１および第２のマルチプレクサ（４００ａ，４００ｂ）の入力側に帰還される。これによって、演算結果を入力側に戻して、その求められた照明輝度に基づいて画像の補正値を求める処理が実行される。

７．画像処理装置（集積回路装置）の構成例
図１６に画像処理装置（集積回路装置）の構成例を示す。この画像処理装置１００は、カメラインターフェース１０２と、インタレース／プログレッシブ変換処理部１０２と、マルチプレクサ１０６、１１０と、画像補正部１０８と、画像圧縮部１１２を含む。

本実施の形態では、入力画像データにインタレース／プログレッシブ変換処理部１０２がインタレース／プログレッシブ変換を行い、インタレース／プログレッシブ変換後の入力画像データに画像補正部１０８がコントラスト補正、レベル補正、ガンマ補正及び彩度補正の少なくとも１つを行う。

本実施形態によれば、マルチプレクサ１０６により、画像補正部１０８は、インタレース／プログレッシブ変換がされていない入力画像データにコントラスト補正、レベル補正、ガンマ補正及び彩度補正の少なくとも１つを行うことができる。

本実施形態によれば、マルチプレクサ１１０により、画像圧縮部１１２は、画像補正部１０８により画像補正が行われていない入力画像データついて画像圧縮を行うことができる。
８．ドライブレコーダー
図１７に本実施の形態の電子機器の一例である。ドライブレコーダーの構成例を示す。図１７では、ドライブレコーダーに画像データ記録処理用集積回路装置（ＩＣ）６３０と、画像データ記録処理用ＩＣ６３０に接続されるカメラモジュール６０２、衝撃センサ６１２、ＣＦカード（第１の不揮発性メモリ）６２４を含む。

画像データ記録処理用ＩＣ６３０は、ＣＰＵ６０８、画像処理装置１００、カメラＩ／Ｆ６０４、ＤＭＡＣ（Direct Memory Access Controller）６１０、センサＩ／Ｆ６１４、ＳＤＲＡＭ６２０、メモリＩ／Ｆ６２２、ＥＥＰＲＯＭ６２６、ＲＯＭ６１８、ＲＡＭ６１６を含む。

ＣＰＵ６０８は、ＲＯＭ６１８に格納された制御プログラムに従い、画像データ記録用の各種処理を行う。ＳＤＲＡＭ（一次記憶部）に記憶されている画像データを、所与のタイミングで、ＣＦカードやＥＥＰＲＰＭ（他の記憶媒体）に記憶させる処理や通信部６２８にサーバに送信することを命じる処理を行う。

またＣＰＵ６０８とＤＭＡＣ６１０が協動することにより、カメラモジュール６０２が取得した画像データ及び生成された照合情報をＳＤＲＡＭ（一次記憶部）に記憶させてもよい。ここでカメラモジュール６０２が取得した画像データは例えばＣＰＵ６０８がダイレクトにＳＤＲＡＭ（一次記憶部）に転送する構成でもよいし、ＣＰＵ６０８がＤＭＡＣ６１０に命令してＤＭＡＣ６１０がＳＤＲＡＭ（一次記憶部）に転送する構成でもよい。

カメラＩ／Ｆ４０４はカメラモジュール６０２に接続され、カメラモジュールで撮像された画像の画像データを受け付ける処理を行う。

ＥＥＰＲＯＭ６２６は、書き換え可能な不揮発性メモリであり、第２の不揮発性メモリとして機能する。

通信部６２８は、サーバ装置に対して照合情報の送信を行うものであり、その機能は、各種プロセッサ、あるいは通信用ＡＳＩＣなどのハードウエアや、所与のプログラムにより実現できる。

カメラモジュール６０２は、入射光を電気信号に変換する受光素子と、受光素子に光を入射させる光学系（例えば、レンズやミラーなどの光学素子によって構成された光学系）と、受光素子から出力された電気信号に所定の処理を行う処理部等で構成され、例えばＣＣＤカメラ等で実現してもよい。カメラモジュール６０２は車などの移動体に搭載され、時系列に複数の画像データを取得するように構成されていてもよい。例えば１秒間に３０フレームの割合で画像データを取得するように構成されていてもよい。

衝撃センサ４１２は、衝突等の事故を検出するためのセンサで、例えば加速度センサやジャイロセンサ等により実現可能であるがあるが、事故の衝撃を検出可能な他のセンサ等で実現することも可能である。

ＣＦ（CompactFlash）カード６２４は、書き換え可能な不揮発性メモリであり、第１の不揮発性メモリとして機能する。なおＣＦ（CompactFlash）カードに限られず、例えばメモリスティック等でもよい。

なお上記実施の形態では、第２の不揮発性メモリであるＥＥＰＲＯＭ６２６がＩＣ内部にある構成を例にとり説明したが、第２の不揮発性メモリが外部メモリであるＣＦカード（第１の不揮発性メモリとは別のＣＦカード）や、メモリスティックで実現する構成でもよい。

画像処理装置１００は、図１から図１６で説明した構成でもよい。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語（入力画像、コントラスト補正、コントラスト、明るさ指標等）と共に記載された用語（フレーム画像、コントラスト圧縮、輝度コントラスト、輝度指標等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またコントラスト補正部、明るさ指標演算部、フィルタ処理部、統計情報取得部、画像処理装置、集積回路装置、電子機器の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。

画像処理装置の構成例。 本実施形態の構成例。 コントラスト補正の説明図。 コントラスト補正の説明図。 明るさ指標の具体例。 図６（Ａ）、図６（Ｂ）は、明るさ指標を説明する画像例。 図７（Ａ）は、明るさ指標の比較例を用いたコントラスト補正の例。図７（ Ｂ）は、明るさ指標の具体例を用いたコントラスト補正の例。 本実施形態の詳細な構成例。 図９（Ａ）、図９（Ｂ）は、変換部の説明図。 補正値の第１の具体例。 補正値の第２の具体例。 レベル補正の説明図。 本実施形態を適用した画像例のヒストグラム。 集積回路装置の構成例。 集積回路装置の詳細な構成例。 画像処理装置の構成例。 電子機器の構成例。

符号の説明

２０ 統計情報取得部、
３０ 明るさ指標演算部、 ３６ コントラスト調整用オフセット演算部、
４０ フィルタ処理部、 ４２ 補正調整用レジスタ、
５８ コントラスト調整補正量演算部、
６０ コントラスト補正部、 ６２ 変換部、
６８ 輝度コントラスト補正量テーブル、 ７６ 明るさ補正量演算部、
８０ 加算部、 ８４ 輝度明るさ補正量テーブル、
９０ 輝度レベル補正量テーブル、 ９２，９４ 統計値コントラスト補正部、
１００ 画像処理装置、１０２ カメラインターフェース、
１０４ インタレース／プログレッシブ変換処理部、 １０６ マルチプレクサ、
１０８ 画像補正部、 １１０ マルチプレクサ、 １１２ 画像圧縮部、
３０２ 彩度補正量演算部、
３１０ 彩度補正量テーブル、
４００ ドライブレコーダー、 ４０２ カメラモジュール、 ４０４ カメラＩ／Ｆ、
４０８ ＣＰＵ、 ４１０ ＤＭＡＣ、 ４１２ 衝撃センサ、
４１４ センサＩ／Ｆ、 ４１６ ＲＡＭ、 ４１８ ＲＯＭ、 ４２０ ＳＤＲＡＭ、
４２２ メモリＩ／Ｆ、 ４２４ ＣＦカード、 ４２６ ＥＥＰＲＯＭ、
４２８ 通信部、 ４３０ 画像データ記録処理用ＩＣ、
５１０ タイミング制御部、 ５２０ 統計値取得部、
５４０ 補正係数演算部、 ５６０ 画像補正部、
Ｃｙ 第１の補正値、 Ｇｙ’ 第２の補正値、 Ｙ 輝度、 Ｙａｖｅ 平均輝度、
Ｌｍ 明るさ指標、 ａｃｃ＿ｍｉｎ 第１の指標、 ａｃｃ＿ｍａｘ 第２の指標、
ＳＧ シャドー画素群、 ＨＧ ハイライト画素群、 Ｙｌｐｆ 局所平均輝度値、
ＰＸＲ 処理対象画素周辺領域、 ＰＸ 処理対象画素

Claims (7)

1. 入力画像データの画像圧縮を行う画像処理装置であって、
   入力画像データのコントラスト補正、レベル補正、ガンマ補正及び彩度補正の少なくとも１つを行う画像補正部と、
   前記画像補正部によって補正された入力画像データの画像圧縮を行う画像圧縮部と、
   を含むことを特徴とする画像処理装置。
2. 請求項１において、
   前記画像圧縮部は、
   非可逆の画像圧縮を行うことを特徴とする画像処理装置。
3. 請求項１又は２において、
   インタレース方式の入力画像データを受け取り、プログレッシブ方式の画像データに変換するインタレース／プログレッシブ変換を行うインタレース／プログレッシブ変換部を含み、
   前記画像補正部は、
   前記インタレース／プログレッシブ変換された入力画像データに補正を行うことを特徴とする画像処理装置。
4. 請求項１乃至３のいずれかにおいて、
   前記画像補正部は、
   前記入力画像データの高輝度領域の輝度を下げ、前記入力画像データの低輝度領域の輝度を上げる補正を行うためのコントラスト補正値を出力するコントラスト補正部と、
   前記入力画像データの処理対象画素の輝度値と前記コントラスト補正値の加算処理を行う加算部と、
   を含むことを特徴とする画像処理装置。
5. 請求項１乃至４のいずれかにおいて、
   前記画像補正部は、
   前記入力画像データの輝度値の統計情報を取得する統計情報取得部と、
   前記統計情報に基づいて前記入力画像データの明るさ指標を演算する明るさ指標演算部と、
   前記入力画像データの処理対象画素周辺領域に含まれる複数の画素の輝度値をフィルタ処理して、局所平均輝度値を演算するフィルタ処理部と、
   前記明るさ指標と前記局所平均輝度値に基づいて前記入力画像データのコントラスト補正を行うコントラスト補正部と、
   を含み、
   前記統計情報取得部は、
   前記統計情報として、シャドー画素群についての第１の指標と、ハイライト画素群についての第２の指標を取得し、
   前記明るさ指標演算部は、
   前記第１の指標と前記第２の指標から前記明るさ指標を演算することを特徴とする画像処理装置。
6. 請求項１乃至５のいずれかに記載の画像処理装置を含むことを特徴とする集積回路装置。
7. 請求項６に記載の集積回路装置を含むことを特徴とする電子機器。

Images