JP2008125049A - 画像処理ｉｃ、画像処理装置、バックライト駆動装置 - Google Patents

Abstract

【課題】本発明は、様々な種類の入力画像について、その画質や視認性を高めることが可能な画像処理ＩＣ及びこれを用いた画像処理装置を提供することを目的とする。
【解決手段】本発明に係る画像処理ＩＣ２０は、入力画像の輝度ヒストグラムに基づいて輝度変換係数を算出し、入力画像を構成する各画素に対して、輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する半導体集積回路装置であって、入力画像の輝度に関する情報を取得し、これをＩＣ外部に送出する手段（１５）と、ＩＣ外部からの指示に応じて、入力画像の輝度に関する情報を反映した輝度変換処理を行うように、輝度変換処理に関するパラメータを可変制御する手段（１１）と、を有して成る構成とされている。
【選択図】図８

Description

本発明は、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成する画像処理ＩＣ及びこれを用いた画像処理装置、並びに、バックライト駆動装置に関するものである。

従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度ヒストグラムに基づいて、画像領域全体に共通の輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。

より具体的には、まず入力画像の全体を対象とした輝度ヒストグラム（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度ヒストグラムに基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。

これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。

なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。

また、画像信号の輝度制御や液晶ディスプレイのバックライト制御に関連する従来技術としては、特許文献５、６などを挙げることができる。
特表２００４−５３０３６８号公報 特開２０００−０１３６２５号公報 特開２０００−０３６０４３号公報 特開２００４−１４５３９９号公報 特開２００４−２２６６０８号公報 特開２００２−２０２７６７号公報

確かに、上記従来の画像処理装置であれば、画像全体として見てみると、入力画像よりも出力画像のコントラストを明瞭とすることができるので、その画質や視認性を高めることが可能となる。

しかしながら、上記従来の画像処理装置では、明るい画像や暗い画像など、千差万別の入力画像が入力されるにも関わらず、輝度変換処理の強度など、当該輝度変換処理に関連する種々のパラメータについては、入力画像に依ることなく、いずれも固定的に定められていた。そのため、上記従来の画像処理装置では、様々な種類の入力画像に対して、一律の輝度変換処理のみで対応せざるを得ず、入力画像によっては、その画質や視認性を十分に改善しきれないおそれがあった。

また、上記従来の画像処理装置には、出力画像の表示手段として、液晶ディスプレイを搭載して成るものも存在する。しかしながら、上記従来の画像処理装置では、入力画像に依ることなく、液晶ディスプレイのバックライトを一律的に点灯していたため、出力画像の視認性や消費電力の効率性については、必ずしも高いと言えなかった。

本発明は、上記の問題点に鑑み、様々な種類の入力画像について、その画質や視認性を高めることが可能な画像処理ＩＣ及びこれを用いた画像処理装置、並びに、バックライト駆動装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理ＩＣは、入力画像の輝度ヒストグラムに基づいて輝度変換係数を算出し、前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する画像処理ＩＣであって、前記入力画像の輝度に関する情報を取得し、これをＩＣ外部に送出する手段と；ＩＣ外部からの指示に応じて、前記入力画像の輝度に関する情報を反映した輝度変換処理を行うように、前記輝度変換処理に関するパラメータを可変制御する手段と；を有して成る構成（第１の構成）とされている。

また、本発明に係る画像処理装置は、上記第１の構成から成る画像処理ＩＣと；前記画像処理ＩＣから送出される前記入力画像の輝度に関する情報を受け取り、これを反映した輝度変換処理を行うように、前記画像処理ＩＣに指示を送る制御部と；を有して成る構成（第２の構成）とされている。

より具体的に述べると、上記第２の構成から成る画像処理装置において、前記制御部からの指示に応じて可変制御されるパラメータは、輝度変換処理の強度である構成（第３の構成）にするとよい。

このような構成とすることにより、上記パラメータを固定的に設定していた従来構成に比べて、入力画像に適合した輝度変換処理を施すことができるので、出力画像の画質や視認性を改善することが可能となる。

また、上記第２または第３の構成から成る画像処理装置は、前記出力画像を表示する液晶ディスプレイを有して成り、前記制御部は、前記画像処理ＩＣから送出される前記入力画像の輝度に関する情報を受け取り、これを反映したバックライト制御を行うように、前記液晶ディスプレイに指示を送る構成（第４の構成）にするとよい。

また、本発明に係るバックライト駆動装置は、液晶ディスプレイに表示される入力画像の輝度に関する情報を取得する輝度検出部と、前記輝度検出部の検出結果を反映して前記液晶ディスプレイのバックライト制御を行う駆動部と、を有して成る構成（第５の構成）とされている。

なお、上記第５の構成から成るバックライト駆動装置において、前記輝度検出部は、前記入力画像の各画素を複数の輝度範囲に区分し、各区分に属する画素数をカウントすることで、前記入力画像の輝度ヒストグラムを取得する構成（第６の構成）にするとよい。

また、上記第６の構成から成るバックライト駆動装置において、前記駆動部は、前記輝度検出部で得られた各区分毎のカウント値を足し合わせる第１加算器と、前記輝度検出部で得られた各区分毎のカウント値に所定の係数を乗算する乗算器と、前記乗算器によって所定の係数が乗算された各区分毎のカウント値を足し合わせる第２加算器と、第１加算器の演算結果と第２加算器の演算結果に基づいて、前記液晶ディスプレイのバックライト制御に用いられるＰＷＭ信号のデューティを決定するデューティ決定部と、を有して成る構成（第７の構成）にするとよい。

また、上記第７の構成から成るバックライト駆動装置にて、前記デューティ決定部は、第２加算器の演算結果を第１加算器の演算結果で正規化し、その演算結果をテーブル変換することで、前記ＰＷＭ信号のデューティを決定する構成（第８の構成）にするとよい。

このような構成とすることにより、入力画像の明暗に応じて、バックライトの輝度をフィードバック制御することができるので、出力画像の視認性向上と消費電力の効率性向上を両立することが可能となる。

また、上記第１の構成から成る画像処理ＩＣは、前記入力画像の領域を複数のエリアに分割する分割手段と、前記エリア毎の輝度ヒストグラムを算出するヒストグラム算出手段と、を有して成り、前記輝度変換係数は、前記輝度ヒストグラムに基づいて定められる構成（第９の構成）にするとよい。

また、上記した第９の構成から成る画像処理ＩＣは、前記ヒストグラム算出手段の算出結果に基づいて、前記エリア毎に定まるエリア別変換係数を算出する第１算出手段を有して成り、前記輝度変換係数は、前記エリア別変換係数に基づいて定められる構成（第１０の構成）にするとよい。

本構成によれば、エリア毎に算出された輝度ヒストグラムに基づいて、輝度変換係数が定められる。そのため、仮に画像全体に比べて輝度差の大きい箇所が部分的に存在していても、その部分は、その部分が属するエリアのヒストグラムに基づいて定められた輝度変換係数に応じて、輝度変換がなされることとなる。その結果、例えば、画像全体の輝度ヒストグラムに基づいて輝度変換係数が定められるもの等に比べて、当該部分についても良好なコントラストを得ることができる。

なお「輝度変換係数」および「エリア別変換係数」は、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。

また、上記第１０の構成から成る画像処理ＩＣは、前記エリア別変換係数について、画像空間におけるローパスフィルタを施すフィルタ手段を有して成る構成（第１１の構成）にするとよい。

エリア別変換係数は、該エリア内の輝度ヒストグラムに基づいて算出され、他のエリアに係る輝度情報は基本的には考慮されないため、エリア同士の境界部分において、輝度の差が目立つ場合がある。そこで、本構成のように、エリア別変換係数について画像空間におけるローパスフィルタを施すようにすることにより、かかる輝度の差を軽減させることが可能となる。

また、上記第１１の構成から成る画像処理ＩＣにおいて、前記フィルタ手段は、ある注目エリアについて前記フィルタを施すときには、該注目エリア周辺の所定範囲に存在するエリアの前記エリア別変換係数を用いるものである一方、該所定範囲の少なくとも一部が前記画像の領域からはみ出すときは、該はみ出す部分に所定の仮想係数を割り当て、該仮想係数を前記エリア別変換係数と仮定して前記ローパスフィルタを施す構成（第１２の構成）にするとよい。

本構成によれば、画像領域の外縁付近に位置するエリアについてフィルタ処理を施すときであっても、画像領域をはみ出した部分に割り当てた仮想係数をエリア別変換係数と仮定することにより、通常通りのフィルタ処理を行うことが可能となる。なお「仮想係数」はかかる目的を達成できるように、エリア別変換係数と同様の形式をとるものである。

また、上記第１０〜第１２いずれかの構成から成る画像処理ＩＣは、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、第２算出手段は、前記エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数を算出するものであり、前記輝度変換係数は、該画素別変換係数に基づいて定められる構成（第１３の構成）にするとよい。

エリア別変換係数は、エリア毎に一律に定められる（エリア内の画素同士では共通である）ため、依然としてエリア同士の境界における輝度の差が目立ってしまうことが考えられる。そこで、本構成では、エリア別変換係数に基づいて、エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数が算出される。そして、輝度変換係数がこの画素別変換係数に基づいて定められるので、エリア同士の境界における輝度の差がより抑制された画素を出力することが容易となる。

なお、「画素別変換係数」も、「輝度変換係数」や「エリア別変換係数」と同様に、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これに限定されるものではない。

また、上記した第１０〜第１３いずれかの構成から成る画像処理ＩＣは、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、前記輝度変換係数は、該画素別変換係数に基づいて定められるものであって、該第２算出手段は、ある注目画素の画素別変換係数を算出するにあたり、該注目画素近傍の４エリアを選出し、これらのエリアの各々における略中心の４点に着目したバイリニア演算処理を行う構成（第１４の構成）にするとよい。

本構成によれば、エリア別変換係数に基づいて、エリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。これにより、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。

なお、ここでの「注目画素近傍の４エリア」とは、図７に示すように、ある頂点を共有する４個のエリアであって、各エリアの略中心同士を結んでできる四辺形の内部に、注目画素が位置する関係となるものを指す。

また、上記した第１０〜第１４いずれかの構成から成る画像処理ＩＣは、動画における各フレームを前記入力画像とするものであり、第ｎ番目のフレームに対する前記輝度変換処理は、第（ｎ−１）番目のフレームの内容に基づいて定められた前記輝度変換係数に応じてなされる構成（第１５の構成）にするとよい。

本構成では、第ｎ番目のフレームに対して、第（ｎ−１）番目のフレームに対応した輝度変換係数を用いた輝度変換処理を行うようにしているから、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実現することが可能となる。その結果、入力画像に輝度変換処理を施したものをより早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。

また、上記第２〜第４いずれかの構成から成る画像処理装置は、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段を有して成り、前記入力画像は、該撮像により得られた画像である構成（第１６の構成）にするとよい。このような構成とすれば、上記いずれかの構成により得られる利益を享受しつつ、被写体の撮像を行うことが可能となる。

上記したように、本発明に係る画像処理ＩＣ、及び、これを用いた画像処理装置であれば、輝度変換処理に関するパラメータが固定されていた従来構成に比べて、入力画像に適合した輝度変換処理を施すことができるので、様々な種類の入力画像について、その画質や視認性を高めることが可能となる。

以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて、詳細な説明を行う。

まず、本発明に係る画像処理装置の第１実施形態について詳細に説明する。

図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。

本図に示す通り、本実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、輝度変換係数記憶部１３と、出力部１４を有して成る。

撮像部１０は、所定のレンズや撮像素子（例えば、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、各フレームに係る画像データは、輝度変換処理部１１及び輝度変換係数算出部１２に逐次出力される。

輝度変換処理部１１は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に対し、輝度変換処理を施して出力する。なお、この輝度変換処理は、入力画像における各画素の輝度を、輝度変換係数記憶部１４に記憶されている輝度変換係数に応じて変換することにより行われる。

輝度変換係数算出部１２は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。

輝度変換係数記憶部１３は、輝度変換係数算出部１２によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。

出力部１４は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ（例えば、車載モニタ）を備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像を逐次表示する。

上記構成から成る画像処理装置１は、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する。

次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。

図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。

本図に示すように、第ｎ番目のフレームに係る入力画像が到来すると、輝度変換係数算出部１２は、入力画像に基づいて輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１３に一旦格納される。

一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像に対し、既に輝度変換係数記憶部１３に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。

より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像は、出力部１４を通じて出力される。

Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ） ・・・（１）
このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像に対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実行することが可能となる。その結果、入力画像に輝度変換処理を施したものを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。

なお、第ｎ番目のフレームに係る入力画像に対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、動きの大きい動画である場合に顕著となる。また、例えば、入力画像として静止画を扱う場合等においては、第ｎ番目のフレームに係る入力画像に対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。

次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。

図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。

まず、１フレーム分の入力画像に対して、エリア分割を行う（ステップＳ１１）。

図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。

なお、図４の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。

エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。

なお、エリア別変換係数の算出方法については、フレーム全体を対象とする変換係数の算出方法と同様であるため、ここでは詳細な説明を割愛するが、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラム（各輝度または各輝度範囲に属する画素の出現頻度）が算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される、という点で従来構成とは異なっている。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像において高頻度な輝度範囲であるほど、出力画像において広い輝度範囲が割り当てられることとなる。

図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることが可能となる。

ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。

まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。

図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。

そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものである。

上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。

なお、仮想係数の設定方法は、上述の他、例えば、画像領域の外縁（図５中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。

このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。

図６は、ローパスフィルタの態様を説明するための図である。

これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。

例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。

ａ´（０）＝ａ（０）／２＋[ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）]／８
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図６に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおける各エリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。

上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素ごとに決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。

ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。

図７は、バイリニア演算について説明するための図である。

ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。

そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数[ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）]と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。

より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。

ｐ（Ｐ）＝｛ ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ ] ／（Ｘ×Ｙ）
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリアおよび仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。

かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。

なお、上述のようにバイリニア演算を用いた場合、通常、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出されることになる。しかし、エリア同士の境界における輝度の差を確実に小さくさせるため、上記バイリニア演算に代えて、またはバイリニア演算に加えて、別の演算手段を適用することとしても良い。

また、先述の輝度変換係数記憶部１３には、エリア別変換係数（エリア毎の係数）のみを格納しておき、最終的に輝度変換係数として採用する画素別変換係数（画素毎の係数）については、輝度変換処理が実行される時に算出されるものとしてもよい。このようにすれば、画素別変換係数を格納するものに比べて、輝度変換係数記憶部１３のメモリ容量が少なくて済むようになる。

また、上述した「画素」については、文字通り単一の画素を「画素」とする他、例えばＲＧＢ（赤・緑・青）の各画素からなる画素群を一体として考え、「画素」として取り扱うようにしてもよい。この場合「画素の輝度」は、当該画素群における輝度の平均値等と考えることができる。

次に、本発明に係る画像処理装置の第２実施形態について詳細に説明する。

図８は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。

本図に示すように、本実施形態の画像処理装置１’は、先述の第１実施形態とほぼ同様の構成から成り、画像処理ＩＣ２０と制御部３０（ＣＰＵ［Central Processing Unit］など）を協働させて成る画像処理システムを構築し、入力画像の輝度を反映した輝度変換処理を行う点に特徴を有している。そこで、第１実施形態と同様の部分については、図１と同一の符号を付すことで説明を省略し、以下では、本実施形態の特徴部分について、重点的な説明を行うことにする。

画像処理ＩＣ２０は、撮像部１０で得られる入力画像の輝度ヒストグラムに基づいて輝度変換係数を算出し、入力画像を構成する各画素に対して、輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する半導体集積回路装置であって、先に述べた輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３を有するほか、入力画像の輝度に関する情報を取得し、これをＩＣ外部に送出する手段として、輝度検出部１５を集積化して成る。

輝度検出部１５は、撮像部１０で得られる入力画像をモニタすることで、該入力画像の輝度ヒストグラムを取得し、これを入力画像の輝度に関する情報として制御部２０に送出する。なお、上記した輝度ヒストグラムの取得に際しては、処理の高速化を図るべく、入力画像の各画素を輝度情報の上位３ビットの値ごとに区分し、この各区分（各輝度範囲）に属する画素数をカウントすればよい。

また、画像処理ＩＣ２０において、輝度変換処理部１１は、制御部３０からの指示に応じて、入力画像の輝度に関する情報を反映した輝度変換処理を行うように、輝度変換処理に関するパラメータ（ここでは輝度変換処理の強度）を可変制御する構成とされている。

また、輝度変換処理部１１は、上記した輝度変換処理の強度制御を実現するために、制御部３０からの指示に応じて、入力輝度Ｉと輝度変換処理後の出力輝度Ｏをどのような比率で出力するかを定めるパラメータαを調整し、最終的な出力輝度Ｏ’を決定する構成とされている。例えば、パラメータαの値が大きいほど、輝度変換処理を強く効かせる形となり、逆に、パラメータαの値が小さいほど、輝度変換処理を弱く効かせる形となる。

一方、制御部３０は、画像処理ＩＣ２０の輝度検出部１５から送出される入力画像の輝度に関する情報（輝度ヒストグラム）を受け取り、これを反映した輝度変換処理を行うように、画像処理ＩＣ２０に指示を送る機能を具備している。

このように、制御部２０を用いて撮像画像の輝度ヒストグラムを読み出せるようにし、その結果を輝度変換処理に関するパラメータ（輝度変換処理の強度）に反映させる画像処理システムを構築することにより、上記のパラメータを固定的に設定していた従来構成に比べて、入力画像に適合した輝度変換処理を施すことができるので、出力画像の画質や視認性を改善することが可能となる。

また、本実施形態の画像処理装置１’は、出力部１４として、出力画像を表示する液晶ディスプレイを有して成り、制御部３０は、画像処理ＩＣ２０の輝度検出部１５から送出される入力画像の輝度に関する情報（輝度ヒストグラム）を受け取り、これを反映したバックライト制御を行うように、出力部１４（特に、液晶ディスプレイの駆動電流を制御する液晶ディスプレイドライバ）に指示を送る構成とされている。

このような構成とすることにより、例えば、撮像部１０で得られた入力画像が明るければ、周囲が明るく、バックライトの輝度を高めないと出力画像の視認性が低下するという判断の下、バックライトの輝度を高めて、出力画像を見やすくすることが可能となる。一方、撮像部１０で得られた入力画像が暗ければ、周囲が暗く、少々バックライトの輝度を落としても出力画像の視認性は低下しにくいという判断の下、バックライトの輝度を落とすことで、消費電力を低減することが可能となる。

すなわち、本実施形態の画像処理装置１’であれば、入力画像の明暗に応じて、バックライトの輝度をフィードバック制御することができるので、出力画像の視認性向上と消費電力の効率性向上を両立することが可能となる。

なお、上記実施形態では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、静止画像に対して輝度変換処理を施す画像処理装置など、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理装置全般に適用することが可能である。

例えば、映画などのコンテンツを再生する画像再生装置に本発明を適用する場合、上記のバックライト制御に関しては、入力画像が明るければ、少々バックライトの輝度を落としても出力画像の視認性は低下しにくいという判断の下、バックライトの輝度を落として消費電力を低減することが可能となる。一方、入力画像が暗ければ、バックライトの輝度を強めることで、出力画像を見やすくすることができる。

或いは、上記と逆に、入力画像が明るい場合には、出力画像の輝度が落ちないように、バックライトの輝度を通常値に設定する一方、入力画像が暗い場合には、バックライトの輝度を落として、消費電力を低減する構成としてもよい。

また、上記実施形態では、入力画像を複数エリアに分割し、各エリア毎の輝度ヒストグラムに基づいて輝度変換係数を算出する画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、画像処理ＩＣ２０と制御部３０を協働させて成る画像処理システムを構築し、入力画像の輝度を反映した輝度変換処理を行う本願発明の適用対象に関して言えば、何ら上記実施形態に限定されるものではなく、入力画像の輝度ヒストグラムに基づいて輝度変換係数を算出し、入力画像を構成する各画素に対して、輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する画像処理装置全般に広く適用することが可能である。

また、入力画像の輝度情報に基づいて、液晶ディスプレイのバックライト制御を行うという点に関して言えば、制御部３０を主体とする上記構成のほか、画像処理ＩＣ２０や出力部１４（特に液晶ディスプレイドライバ）を主体とする構成としても構わない。また、輝度検出部１５についても、画像処理ＩＣ２０に内蔵させた上記構成のほか、別途独立のＩＣとする構成や、出力部１４に内蔵させる構成としても構わない。

以下では、上記のバックライト制御を実現するための具体的な構成について、詳細な説明を行う。

図９は、本発明に係るバックライト駆動装置の一実施形態を示すブロック図である。

本図に示すように、本発明に係るバックライト駆動装置は、液晶ディスプレイ３００に表示される入力画像の輝度に関する情報を取得する輝度検出部１００と、輝度検出部１００の検出結果を反映して液晶ディスプレイ３００のバックライト制御を行う駆動部２００と、を有して成る構成とされている。

なお、本実施形態のバックライト駆動装置において、輝度検出部１００は、入力画像の各画素を複数の輝度範囲に区分し、各区分に属する画素数（HYS_count0〜HYS_count7）をカウントすることで、入力画像の輝度ヒストグラムを取得する構成とされている。

図１０は、入力画像の輝度ヒストグラムの一例を示す図である。なお、図１０の横軸は輝度（Ｙ）を示しており、縦軸は画素数（HYS_count）を示している。

また、本実施形態のバックライト駆動装置において、駆動部２００は、第１加算器２０１と、乗算器２０２と、第２加算器２０３と、デューティ決定部２０４を有して成る。

第１加算器２０１は、輝度検出部１００で得られた各区分毎のカウント値（HYS_count0〜HYS_count7）を足し合わせる手段である。すなわち、第１加算器２０１では、入力画像１フレーム分の全画素数（HYS_TOTAL）が得られることになる。

乗算器２０２は、輝度検出部１００で得られた各区分毎のカウント値（HYS_count0〜HYS_count7）に所定の係数（PWM_HCOEF0〜PWM_HCOEF7）を乗算する手段である。

なお、上記の係数（PWM_HCOEF0〜PWM_HCOEF7）については、各区分毎のカウント値について適切な重み付けを行い、最終的に入力画像１フレーム分の輝度値が数値化できるのであれば、いかなる値に設定しても構わない。例えば、ハードウェア構成の簡易化を優先するのであれば、PWM_HCOEF0=0、PWM_HCOEF1=1/64、PWM_HCOEF2=1/32、PWM_HCOEF3=1/16、PWM_HCOEF4=1/8、PWM_HCOEF5=1/4、PWM_HCOEF6=1/2、PWM_HCOEF7=1というように、輝度範囲が１区分下がる毎に、その重み付けが２分の１となるように、上記の係数（PWM_HCOEF0〜PWM_HCOEF7）を設定すればよい。また、異なる区分のカウント値に同一の係数を乗算することも可能である。

第２加算器２０３は、乗算器２０２によって所定の係数（PWM_HCOEF0〜PWM_HCOEF7）が乗算された各区分毎のカウント値を足し合わせる手段である。すなわち、第２加算器２０２では、ＰＷＭ信号のデューティを決定するために必要な分布和（hys_total）が得られることになる。

デューティ決定部２０４は、第１加算器２０１の演算結果（HYS_TOTAL）と第２加算器２０３の演算結果（hys_total）に基づいて、液晶ディスプレイ３００のバックライト制御に用いられるＰＷＭ信号のデューティを決定する手段である。

より具体的に述べると、上記のデューティ決定部２０４は、第２加算器２０３の演算結果（hys_total）を第１加算器２０１の演算結果（HYS_TOTAL）で正規化し、その演算結果（dutyA）をテーブル変換することで、ＰＷＭ信号のデューティ（PWM_DUTY）を決定する構成とされている。

図１１は、デューティ決定部２０４で用いられる変換テーブルの一例を示す図である。なお、図１１の横軸は、正規化処理により得られた基準デューティ（dutyA）を示しており、縦軸は、ＰＷＭ信号のデューティ（PWM_DUTY）を示している。

上記の変換テーブルを用いることで、基準デューティ（dutyA）とＰＷＭ信号のデューティ（PWM_DUTY）との相関関係、延いては、ＰＷＭ信号のハイレベル幅（Ｈ幅）を任意に設定することが可能となる。なお、基準デューティ（dutyA）とＰＷＭ信号のデューティ（PWM_DUTY）との間に、線形性（直線性）を持たせておけば、基準デューティ（dutyA）がそのままＰＷＭ信号のデューティ（PWM_DUTY）として用いられることになる。

また、上記の変換テーブルとしては、基準デューティ（dutyA）に対するＰＷＭ信号のデューティ（PWM_DUTY）を離散的に設定した上で、各離散値間を直線補間すればよい。このような構成とすることにより、変換テーブルのデータ量を縮小することが可能となる。

また、上記の変換テーブルは、ユーザが任意に書き換えられるように、レジスタ等に格納しておくことが望ましい。

液晶ディスプレイ３００のバックライトは、上記のＰＷＭ信号に基づいて、その駆動制御（電流制御）が行われる。

図１２は、バックライトのＰＷＭ駆動を説明するための図である。

本図に示すように、ＰＷＭ信号は、所定のサイクルでハイレベル期間（オン期間）とローレベル期間（オフ期間）を交互に繰り返すパルス信号であり、そのデューティ（ハイレベル幅）を可変制御することで、バックライトに流す駆動電流の平均値を調整することが可能となる。すなわち、ＰＷＭ信号のデューティを大きくするほど、バックライトは明るくなり、ＰＷＭ信号のデューティを小さくするほど、バックライトは暗くなる。

例えば、先の図１１で示した変換テーブルを用いた場合、入力画像が明るく、基準デューティ（dutyA）が大きい場合には、バックライトの輝度を高めて、視認性を保つ一方、入力画像が暗く、基準デューティ（dutyA）が小さい場合には、バックライトの輝度を落として、消費電力を低減することが可能となる。

なお、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。

本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理ＩＣ、及び、これを用いた画像処理装置において、出力画像の画質や視認性、並びに、消費電力の効率性を高める上で有用な技術である。

は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。 は、画像処理の全体的な流れを説明するための図である。 は、輝度変換係数の算出処理を説明するためのフローチャートである。 は、エリア分割の態様を説明するための図である。 は、仮想エリアが設定された状態を説明するための図である。 は、ローパスフィルタの態様を説明するための図である。 は、バイリニア演算について説明するための図である。 は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。 は、本発明に係るバックライト駆動装置の一実施形態を示すブロック図である。 は、入力画像の輝度ヒストグラムの一例を示す図である。 は、デューティ決定部２０４で用いられる変換テーブルの一例を示す図である。 は、バックライトのＰＷＭ駆動を説明するための図である。

符号の説明

１、１’ 画像処理装置
１０ 撮像部（撮像手段）
１１ 輝度変換処理部
１２ 輝度変換係数算出部
１３ 輝度変換係数記憶部
１４ 出力部
１５ 輝度検出部
２０ 画像処理ＩＣ
３０ 制御部（ＣＰＵ）
１００ 輝度検出部
２００ 駆動部
２０１ 第１加算器
２０２ 乗算器
２０３ 第２加算器
２０４ デューティ決定部
３００ 液晶ディスプレイ

Claims (8)

1. 入力画像の輝度ヒストグラムに基づいて輝度変換係数を算出し、前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する画像処理ＩＣであって、
   前記入力画像の輝度に関する情報を取得し、これをＩＣ外部に送出する手段と；
   ＩＣ外部からの指示に応じて、前記入力画像の輝度に関する情報を反映した輝度変換処理を行うように、前記輝度変換処理に関するパラメータを可変制御する手段と；
   を有して成ることを特徴とする画像処理ＩＣ。
2. 請求項１に記載の画像処理ＩＣと；
   前記画像処理ＩＣから送出される前記入力画像の輝度に関する情報を受け取り、これを反映した輝度変換処理を行うように、前記画像処理ＩＣに指示を送る制御部と；
   を有して成ることを特徴とする画像処理装置。
3. 前記制御部からの指示に応じて可変制御されるパラメータは、輝度変換処理の強度であることを特徴とする請求項２に記載の画像処理装置。
4. 前記出力画像を表示する液晶ディスプレイを有して成り、
   前記制御部は、前記画像処理ＩＣから送出される前記入力画像の輝度に関する情報を受け取り、これを反映したバックライト制御を行うように、前記液晶ディスプレイに指示を送ることを特徴とする請求項２または請求項３に記載の画像処理装置。
5. 液晶ディスプレイに表示される入力画像の輝度に関する情報を取得する輝度検出部と、前記輝度検出部の検出結果を反映して、前記液晶ディスプレイのバックライト制御を行う駆動部と、を有して成ることを特徴とするバックライト駆動装置。
6. 前記輝度検出部は、前記入力画像の各画素を複数の輝度範囲に区分し、各区分に属する画素数をカウントすることで、前記入力画像の輝度ヒストグラムを取得することを特徴とする請求項５に記載のバックライト駆動装置。
7. 前記駆動部は、前記輝度検出部で得られた各区分毎のカウント値を足し合わせる第１加算器と、前記輝度検出部で得られた各区分毎のカウント値に所定の係数を乗算する乗算器と、前記乗算器によって所定の係数が乗算された各区分毎のカウント値を足し合わせる第２加算器と、第１加算器の演算結果と第２加算器の演算結果に基づいて、前記液晶ディスプレイのバックライト制御に用いられるＰＷＭ信号のデューティを決定するデューティ決定部と、を有して成ることを特徴とする請求項６に記載のバックライト駆動装置。
8. 前記デューティ決定部は、第２加算器の演算結果を第１加算器の演算結果で正規化し、その演算結果をテーブル変換することで、前記ＰＷＭ信号のデューティを決定することを特徴とする請求項７に記載のバックライト駆動装置。

Images