JP2009033293A - 画像処理回路、半導体装置、画像処理装置 - Google Patents

Abstract

【課題】本発明は、入力画像のフリッカ成分を除去し、出力画像の視認性を高めることが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。
【解決手段】本発明に係る画像処理回路（特にフリッカ成分除去部２０）は、入力画像を構成する各画素毎の輝度値を合計し、１フレーム分のフレーム輝度を算出するフレーム輝度算出部２１と；前記フレーム輝度を時間軸で平滑化し、複数フレーム分の平均輝度を算出する平均輝度算出部２２と；前記フレーム輝度と前記平均輝度との差分値を算出する差分演算部２３と；前記入力画像を構成する各画素毎の輝度値に対して、前記差分値の減算または加算を行う補正演算部２４と；を有して成る構成とされている。
【選択図】図１

Description

本発明は、入力画像に所定の画像処理（例えば、輝度変換処理（いわゆる輝度ダイナミックレンジ補正処理））を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。

従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度分布に基づいて輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。

より具体的には、まず入力画像の全体を対象とした輝度分布（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度分布に基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。

これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。

なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。
特表２００４−５３０３６８号公報 特開２０００−０１３６２５号公報 特開２０００−０３６０４３号公報 特開２００４−１４５３９９号公報

確かに、上記従来の画像処理装置であれば、画像全体として見てみると、入力画像よりも出力画像のコントラストを明瞭とすることができるので、その画質や視認性を高めることが可能となる。

ところで、上記画像処理の対象となる入力画像には、フリッカ成分を含んでいるものも存在する。例えば、駆動周波数５０［Ｈｚ］の蛍光灯の下で、駆動周波数６０［Ｈｚ］のカメラによる動画撮影を行った場合、得られる動画像にはフリッカ成分が含まれる。

しかしながら、上記従来の画像処理装置には、入力画像のフリッカ成分を除去する手段が何ら設けられておらず、当該フリッカ成分が出力画像の視認性を低下させる要因の一つとなっていた。特に、入力画像に対して上記の輝度変換処理を施した場合には、フリッカ成分が増幅され、出力画像の視認性を著しく低下させるおそれがあった。

本発明は、上記の問題点に鑑み、入力画像のフリッカ成分を除去し、出力画像の視認性を高めることが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。

上記の目的を達成するために、本発明に係る画像処理回路は、入力画像を構成する各画素毎の輝度値を合計し、１フレーム分のフレーム輝度を算出するフレーム輝度算出部と；前記フレーム輝度を時間軸で平滑化し、複数フレーム分の平均輝度を算出する平均輝度算出部と；前記フレーム輝度と前記平均輝度との差分値を算出する差分演算部と；前記入力画像を構成する各画素毎の輝度値に対して、前記差分値の減算または加算を行う補正演算部と；を有して成る構成（第１の構成）とされている。

なお、上記第１の構成から成る画像処理回路は、さらに、前記補正演算部で得られた補正入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記補正入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；を有して成る構成（第２の構成）にするとよい。

また、本発明に係る半導体装置は、上記第１または第２の構成から成る画像処理回路を集積化して成る構成（第３の構成）とされている。

また、本発明に係る画像処理装置は、動画撮影を行う撮像部と；前記撮像部で得られた動画像を前記入力画像とし、これに所定の画像処理を施して、所望の出力画像を生成する請求項３に記載の半導体装置と；を有して成る構成（第４の構成）とされている。

本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、入力画像のフリッカ成分を除去し、出力画像の視認性を高めることが可能となる。

以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置（セキュリティカメラや車載カメラなどの撮像装置）に本発明を適用した場合を例に挙げて、詳細な説明を行う。

まず、本発明に係る画像処理装置の一実施形態について詳細に説明する。

図１は、本発明に係る画像処理装置の一実施形態を示すブロック図である。

本図に示すように、本実施形態の画像処理装置１は、撮像部１０と、フリッカ成分除去部２０と、輝度ダイナミックレンジ補正部３０と、出力部４０と、を有して成る。

撮像部１０は、所定のレンズや撮像素子（ＣＣＤ［Charge Coupled Devices］センサやＣＭＯＳ［Complimentary Metal Oxide Semiconductor］センサ）などを備えており、被写体の光学像を結像させることで、被写体の撮像処理（例えば３０フレーム毎秒の動画撮影）を行う手段である。なお、撮像部１０で得られる各フレーム毎の画像データは、フリッカ成分除去部２０に逐次出力される。

フリッカ成分除去部２０は、フレーム輝度算出部２１と、平均輝度算出部２２と、差分演算部２３と、補正演算部２４と、を有して成る。

フレーム輝度算出部２１は、撮像部１０から入力される画像データ（入力画像）を構成する各画素毎の輝度値を合計し、１フレーム分のフレーム輝度を算出する手段である。

平均輝度算出部２２は、前記フレーム輝度を時間軸で平滑化し、現フレームに直近の複数フレーム分の平均輝度を算出する手段である。

なお、上記平均輝度の算出手法としては、個々のフレーム輝度に重み付けを行わない単純移動平均（ＳＭＡ［Simple Moving Average］）を用いてもよいし、個々のフレーム輝度に異なる重み付けを行う加重移動平均（ＷＭＡ［Weighted Moving Average］）を用いても構わない。

また、上記平均輝度の算出対象として現フレームを含めるか否か、或いは、何フレーム分の平均輝度を算出するかについても、後述する差分演算部２３において、適切にフリッカ成分を抽出し得る限り、いかなる設定を行っても構わない。

図２は、上記したフレーム輝度と平均輝度との相関関係を示す模式図である。なお、図中の実線Ｌ１は、フリッカ成分を含んだフレーム輝度の挙動を示しており、破線Ｌ２は、フレーム輝度を時間軸で平滑化した平均輝度の挙動を示している。

差分演算部２３は、現フレーム輝度と平均輝度との差分値を算出し、これをフリッカ成分として抽出する手段である。なお、本実施形態において、差分演算部２３は、現フレーム輝度から平均輝度を差し引く構成とされている。すなわち、現フレーム輝度が平均輝度よりも高ければ、フリッカ成分として正の値が得られ、現フレーム輝度が平均輝度よりも低ければ、フリッカ成分として負の値が得られる。

補正演算部２４は、入力画像を構成する各画素毎の輝度値に対して、前記差分値の減算または加算を行う手段である。なお、本実施形態において、差分演算部２３は、先述したように、現フレーム輝度から平均輝度を差し引く構成とされているため、補正演算部２４は、入力画像を構成する各画素毎の輝度値から前記差分値を減算する構成とされている。すなわち、現フレーム輝度が平均輝度よりも高く、フリッカ成分として正の値が得られている場合には、入力画像を構成する各画素毎の輝度値を下げて、フリッカ成分を除去するように、逆に、現フレーム輝度が平均輝度よりも低く、フリッカ成分として負の値が得られている場合には、入力画像を構成する各画素毎の輝度値を上げて、フリッカ成分を除去るように、入力画像の補正演算が行われる。

輝度ダイナミックレンジ補正部３０は、輝度変換処理部３１と、輝度変換係数算出部３２と、を有して成る。

輝度変換処理部３１は、輝度変換係数算出部３２で得られる輝度変換係数に基づき、撮像部１０からフリッカ成分除去部２０を介して入力される画像データ（補正入力画像）を構成する各画素に対して、所定の輝度変換処理（輝度ダイナミックレンジ補正処理）を施す手段である。

輝度変換係数算出部３２は、補正入力画像の輝度分布に基づいて、上記の輝度変換係数を算出する手段である。より具体的に述べると、輝度変換係数算出部３２は、補正入力画像の輝度分布（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求め、この輝度分布に基づき、補正入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出する。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。

出力部４０は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ、或いは、外部ディスプレイを接続するためのインターフェイスを備えており、輝度ダイナミックレンジ補正部３０で得られた出力画像を表示する手段である。

なお、上記構成要素のうち、フリッカ成分除去部２０、及び、輝度ダイナミックレンジ補正部３０は、半導体装置に集積化するとよい。

上記したように、本実施形態の画像処理装置１は、動画撮影により得られた入力画像に所定の輝度変換処理を施して、これをディスプレイに表示する構成とされている。このような輝度変換処理を施す構成であれば、入力画像において頻度の高い輝度範囲の部分については、そのコントラストをより明瞭とすることが可能となる。

また、本実施形態の画像処理装置１は、上記の輝度ダイナミックレンジ補正に先立ち、入力画像に含まれるフリッカ成分を抽出し、これを積極的に除去する構成とされている。このような構成とすることにより、輝度ダイナミックレンジ補正によるフリッカ成分の強調を未然に抑制し、出力画像の視認性を高めることが可能となる。

なお、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。

例えば、上記実施形態では、フレーム輝度から平均輝度を差し引いた差分値をフリッカ成分として抽出し、これを入力画像から減算する構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、上記実施形態とは逆に、平均輝度からフレーム輝度を差し引いた差分値をフリッカ成分として抽出し、これを入力画像に加算する構成としても構わない。

本発明は、入力画像に所定の画像処理を施して、所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、入力画像のフリッカ成分を除去し、出力画像の視認性を高める上で有用な技術である。

は、本発明に係る画像処理装置の一実施形態を示すブロック図である。 は、フレーム輝度と平均輝度との相関関係を示す模式図である。

符号の説明

１ 画像処理装置
１０ 撮像部
２０ フリッカ成分除去部
２１ フレーム輝度算出部
２２ 平均輝度算出部
２３ 差分演算部
２４ 補正演算部（減算器）
３０ 輝度ダイナミックレンジ補正部
３１ 輝度変換処理部
３２ 輝度変換係数算出部
４０ 出力部

Claims (4)

1. 入力画像を構成する各画素毎の輝度値を合計し、１フレーム分のフレーム輝度を算出するフレーム輝度算出部と；前記フレーム輝度を時間軸で平滑化し、複数フレーム分の平均輝度を算出する平均輝度算出部と；前記フレーム輝度と前記平均輝度との差分値を算出する差分演算部と；前記入力画像を構成する各画素毎の輝度値に対して、前記差分値の減算または加算を行う補正演算部と；を有して成ることを特徴とする画像処理回路。
2. 前記補正演算部で得られた補正入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記補正入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；を有して成ることを特徴とする請求項１に記載の画像処理回路。
3. 請求項１または請求項２に記載の画像処理回路を集積化して成る半導体装置。
4. 動画撮影を行う撮像部と；前記撮像部で得られた動画像を前記入力画像とし、これに所定の画像処理を施して、所望の出力画像を生成する請求項３に記載の半導体装置と；を有して成ることを特徴とする画像処理装置。

Images