JP2008263313A - 画像処理装置および画像処理プログラム - Google Patents

Abstract

【課題】経験に基づくパラメータを必要とせず、最低輝度値により近い階調部分および最高輝度値により近い階調部分の各輝度差に対して安定したきめの細かい画質改善を図ることのできる画像伸張処理機能をもつ画像処理装置および画像処理プログラムを提供する。
【解決手段】 輝度伸張処理部２２は、カメラ１１が撮像したフレーム単位の入力画像がキャプチャ部１２を介して画像バッファ２１に保持される毎に、保持した入力画像から、注目エリアの対象画像を取得し、注目エリアの対象画像について当該画像全体の平均輝度を算出し、平均輝度から累乗パラメータを算出する。
【選択図】 図５

Description

本発明は、カメラで撮影した画像を入力画像として扱う画像処理装置およびカメラ映像の輝度伸張アルゴリズムに特徴をもつ画像処理プログラムに関する。

カメラ映像において、照明がない場合など照度が不足している状況において、画面が真っ黒になる場合がある。また逆に西日など強い光が差し込んだ場合など、画面が真っ白になる場合がある。このように局所的な階調に輝度が集まり、画面全体のコントラストがなくなり、監視や画像処理に不向きとなる映像となる場合がある。

一般的には、モノクロの入力画像に対して、暗い輝度が多いと判断した場合には、低階調部分に多くの階調を割り当て、逆に白い部分が多いと判断した場合には、高階調部分に多くの階調を割り当てる。従来の技術としては、（１）「線形変換」、（２）「標準偏差方式」、（３）「ヒストグラム平準化」等があるが、（１）、（２）の場合、平均値や分散を利用しただけでは、輝度の分布割合を求めることが難しく、また伸張するためのパラメータを経験等から決定する必要がある。一方、（３）の場合は、階調数を少なくする方法であることから伸張した結果の画像が粗くなる傾向にある。

この種、カメラ映像の画像伸張処理技術として、サンプル画像等を用いた経験に基づく係数（パラメータ）を演算要素に含むガンマ曲線関数の入出力特性に従い階調変換を行う技術が存在する。
特開２００６−２６１８３号公報

上記経験に基づく係数を演算要素に含むガンマ曲線関数の入出力特性に従い階調変換を行う技術は、経験に基づくパラメータを必要とすることから、実用段階での変換特性にばらつきが生じる可能性が大きいという問題があり、また、上記係数を用いた単一式でガンマ１を境に双方向のガンマ曲線を得ていることから、例えば、最高輝度値により近い階調部分の輝度差に対して画質改善を図ろうとすると、最低輝度値により近い階調部分の輝度差に対して所望の画質改善を図ることができないという問題があった。

本発明は上記実情に鑑みなされたもので、経験に基づくパラメータを必要とせず、かつ階調を低下させることなく、最低輝度値により近い階調部分および最高輝度値により近い階調部分の各輝度差に対して安定したきめの細かい画質改善を図ることのできる画像伸張処理機能をもつ画像処理装置および画像処理プログラムを提供することを目的とする。

本発明は、輝度伸張処理の対象となる入力画像について注目エリアの平均輝度を算出する平均輝度算出手段と、前記平均輝度をもとに前記入力画像に対する輝度伸張用の累乗パラメータを算出する累乗パラメータ算出手段と、前記累乗パラメータ算出手段が算出した累乗パラメータを用いて前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、を具備した画像処理装置を特徴とする。

また、本発明は、輝度伸張処理の対象となる入力画像について注目エリアの平均輝度を算出する平均輝度算出手段と、前記平均輝度をもとに前記入力画像に対する輝度伸張用の累乗パラメータを算出する累乗パラメータ算出手段と、前記平均輝度と前記入力画像の輝度階調範囲の中心輝度とを比較し、前記平均輝度の値が前記中心輝度の値以下であるとき前記累乗パラメータを用いて第１の演算式により凸曲線による輝度変換テーブルを作成し、前記平均輝度の値が前記中心輝度の値より大きいとき前記累乗パラメータを用いて第２の演算式により凹曲線による輝度変換テーブルを作成するテーブル作成手段と、前記輝度変換テーブルを用いて前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、を具備した画像処理装置を特徴とする。

また、本発明は、カメラで撮影した入力画像を画像バッファに保持し、前記画像バッファ上で前記入力画像についてガンマ補正を行う処理装置に、前記画像バッファに保持した入力画像について注目エリアの平均輝度を算出する機能と、前記平均輝度を用いて前記画像バッファに保持した入力画像のガンマ補正に用いる累乗パラメータを生成する機能と、を実現させるための画像処理プログラムを特徴とする。

また、本発明は、カメラで撮影した入力画像を画像バッファに保持し、前記画像バッファ上で前記入力画像についてガンマ補正を行う処理装置に、前記画像バッファに保持した入力画像について注目エリアの平均輝度を算出する機能と、前記平均輝度を用いて前記前記画像バッファに保持した入力画像のガンマ補正に用いる累乗パラメータを生成する機能と、前記画像バッファに保持した入力画像の平均輝度と前記画像バッファに保持した入力画像の輝度階調範囲の中心輝度とを比較して、前記平均輝度の値が前記中心輝度の値以下であるとき、第１の演算式により、前記累乗パラメータを用いて凸曲線による輝度変換テーブルを作成し、前記平均輝度の値が前記中心輝度の値より大きいとき、第２の演算式により、前記累乗パラメータを用いて凹曲線による輝度変換テーブルを作成する機能と、前記輝度変換テーブルを用いて前記画像バッファに保持した入力画像に対する輝度伸張出力画像を作成する機能と、を実現させるための画像処理プログラムを特徴とする。

本発明によれば、単眼カメラ（カメラ１台）の画像処理において、入力画像を当該画像の輝度値の分布状態から最適な階調に変換する輝度伸張処理機能をもつ画像処理装置において、経験に基づくパラメータを必要とせず、かつ階調を低下させることなく、最低輝度値により近い階調部分および最高輝度値により近い階調部分の各輝度差に対して安定したきめの細かい画質改善を図ることのできる画像伸張処理機能を実現することができる。

以下図面を参照して本発明の実施形態を説明する。
本発明の実施形態に係る画像処理装置の要部の構成要素を図１に示す。図１に示す輝度伸張処理部１は、単眼カメラで撮影した画像を入力画像として、当該入力画像について輝度伸張処理（ガンマ補正）を施し、上記入力画像を当該入力画像の輝度値の分布状態から最適な階調に変換する。ここでは、ＱＶＧＡ（３２０画素×２４０画素）の０〜２５５階調の画像を対象に、注目エリアの平均輝度と全階調の中心輝度とをもとに入力画像を輝度伸張処理する。

この輝度伸張処理部１における輝度伸張処理では、ガンマ（γ）補正の理論を参考にし、ガンマ補正に必要とする輝度伸張のための累乗パラメータ（輝度伸張パラメータ）を入力画像における注目エリアの画像の平均輝度から自動算出する手段を具備した。この累乗パラメータの自動算出では、まず、ガンマの値を求めるのに、上記平均輝度を利用して、非線形の２次曲線を求め、平均輝度が全階調の中心輝度よりも高いか低いかで、ガンマの値に対する＋／−の記号を与える。これにより、経験的なパラメータを一切必要とせずに、入力画像のみから伸張用パラメータを自動算出した、階調を低下させない輝度伸張画像を取得することができる。また、注目すべき（伸張処理すべき）画面上の領域を設定することで、その領域に適したガンマ補正を自動的に行うことができ、最適輝度値を割り当てた明瞭な輝度伸張画像を取得できる。

図１に示す輝度伸張処理部１の輝度伸張処理動作について、図２に示す動作説明図と、図３に示す累乗パラメータの特性図および図４に示す非線形輝度伸張特性図を参照して説明する。なお、ここでは画素各々の階調と伸張対象エリアは予め決定されているものとする。また、ここでは、０〜２５５階調の輝度分布に対し、その中心輝度値を「１２７」とする。

先ず、単眼カメラで撮影した入力画像（３２０画素×２４０画素）２について、予め設定された注目エリアの平均輝度を求める。

ここで求めた注目エリアの平均輝度から、以下の（１）式により、累乗パラメータを求める。但し（１）式においてαは固定値である。

累乗パラメータ γ＝（α／（１２７＊１２７））＊（平均輝度−１２７）^２＋１ ………（１）
ここでは、一例として、図３に示すように、最大値「４」の値をとり、平均輝度値（＝１２７）のとき「１」の値となる二次曲線の累乗パラメータ（ガンマ補正パラメータ）を算出する。

つぎに上記累乗パラメータを用い、平均輝度が中心輝度値（１２７）以下の場合は、以下の（２）式により、各輝度の変換後の値を決定し、凸曲線による変換テーブルを作成する。

変換後の輝度値＝２５５−（（２５５−入力輝度）／２５５）^γ＊２５５ ………（２）
平均輝度が中心輝度値（１２７）よりも大きい場合は、以下の（３）式により、各輝度の変換後の値を決定し、凹曲線の変換テーブルを作成する。

変換後の輝度値＝（入力輝度／２５５）^γ＊２５５ ………（３）
上記（２）式で生成した凸曲線による変換テーブル、若しくは上記（３）式で生成した凹曲線の変換テーブルを入力画像に対する輝度伸張用の輝度変換テーブル４として、入力画像２の輝度変換に適用し、入力輝度に対して出力輝度を変換した輝度伸張画像５を作成する。

上記した輝度変換テーブル４の入出力変換特性を図４に示している。図４において、凸曲線による輝度変換テーブルは、中心輝度値（１２７）より低い輝度範囲において低輝度になる程、線形に近い非線形の入出力特性曲線を有し、凹曲線による輝度変換テーブルは、中心輝度値（１２７）より高い輝度範囲において高輝度になる程、線形に近い非線形の入出力特性曲線を有することから、最低輝度値により近い階調部分および最高輝度値により近い階調部分の各輝度差に対してきめの細かい階調補正が行え安定した画像が得られる。例えば、ガンマ値（ガンマ関数）を１／２（０．５）とした場合、凹曲線の算出式と同一式（従来技術）の場合、図４に細中破線（γ１／２）で示すように、０〜５（入力）の輝度部分に、０〜３５（出力）の階調が割り当てられるため、低輝度部分の階調差が大き過ぎ、入力輝度の揺らぎが大きな変化として現れ、安定した画像が得られない。

これに対して、本発明の実施形態では、凸曲線による輝度変換テーブルと、凹曲線による輝度変換テーブルとで、それぞれ算出式を異ならせ、入力輝度が平均輝度以下であるときの凸曲線による輝度変換において、図４に太線で示すような入出力特性曲線（γ１／２（Ｔ），γ１／３（Ｔ），γ１／４（Ｔ））としていることから、例えば上記ガンマ値（ガンマ関数）を１／２（０．５）とした場合、図４に太破線（γ１／２（Ｔ））で示すように、０〜５（入力）の輝度部分に、０〜１０（出力）の階調が割り当てられる程度で、比較的線形に近い非線形を採用していることから、入力輝度の揺らぎに対して安定した変換画像が得られる。

上記したように本発明の実施形態では、入力画像における注目エリアの平均輝度から累乗パラメータを自動算出し、この累乗パラメータを利用して、上記算出式（２）で得た凸曲線による輝度変換テーブル、若しくは上記算出式（３）で得た凹曲線による輝度変換テーブルを用いて、入力画像に対し輝度伸張処理を施すことで、経験値としてのパラメータを一切必要とせず、かつ輝度階調を低下させない、安定した輝度変換が可能となる。

上記実施形態をより具現化した一例を図５乃至図７に示している。図５は本発明の実施形態に係る画像処理装置の構成を示すブロック図、図６は同実施形態に係る前置画像処理部に設けられた輝度伸張処理部の構成を示すブロック図、図７は上記輝度伸張処理部の処理手順を示すフローチャートである。なお、ここでは、画像処理装置の前置画像処理部に、本発明の要旨とするところの輝度伸張処理機能部を設けた構成を例示するが、上記輝度伸張処理機能部は図５に示す構成の画像処理装置に限らず、例えば、単にカメラ映像に対して輝度伸張処理を施す画像処理装置等、種々の画像処理装置に適用可能である。

本発明の実施形態に係る画像処理装置は、図５に示すように、カメラ１１と、キャプチャ部１２と、前置画像処理部１３と、画像処理部１４と、表示部１５とを具備して構成される。

カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられた撮像素子（例えばＣＣＤ固体撮像素子、若しくはＣＭＯＳイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分の画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。

キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を取り込み、前置画像処理部１３内の画像バッファ２１に保持する処理機能をもつ。

前置画像処理部１３は、キャプチャ部１２がカメラ１１から取り込んだフレーム単位の画像を輝度伸張処理の対象となる入力画像として保持する画像バッファ２１と、上述した図１に示す輝度伸張処理部１と同様の処理機能をもつ輝度伸張処理部２２とを具備して構成される。この前置画像処理部１３の内部構成要素については図６を参照して後述する。

画像処理部１４は、前置画像処理部１３の画像バッファ２１に保持された輝度伸張処理後の画像を取り込み、例えば時間差をもつ画像の差分二値化処理、ノイズ除去、変化画素を含む矩形領域の抽出および変化画素領域の追跡処理等の一連の画像処理を行う。表示部１５は上記画像処理部１４で処理した、例えば動物体領域の画像を表示出力する。

上記図５に示す前置画像処理部１３に設けられた輝度伸張処理部２２の構成要素を図６に示す。輝度伸張処理部２２は、注目領域画像作成部２２１と、平均輝度算出部２２２と、累乗パラメータ算出部２２３と、参照テーブル判定部２２４と、画像変換部２２５とを有する。

注目領域画像作成部２２１は、画像バッファ２１に保持された入力画像から、注目エリアの画像を取得するもので、システム管理者等により予め設定された注目領域指定情報に従い、画像バッファ２１をリードアクセスして、画像バッファ２１に保持された輝度伸張処理の対象となる入力画像から、上記注目領域指定情報に従う矩形領域の画像を注目エリア対象画像として取得する。

平均輝度算出部２２２は、注目領域画像作成部２２１が取得した注目エリア対象画像全体の平均輝度を算出する。

累乗パラメータ算出部２２３は、平均輝度算出部２２２が算出した平均輝度をもとに、上記（１）式に従い、入力画像に対する輝度伸張処理のための累乗パラメータを算出する。

参照テーブル判定部２２４は、上記平均輝度値が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度値が上記中心輝度値（１２７）以下であるとき、テーブル作成部２３１により、上記累乗パラメータを用いて上記（２）式に従う凸曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル（参照テーブル）２３２として作成し、上記平均輝度値が上記中心輝度（１２７）を超えるとき、テーブル作成部２３１により、上記累乗パラメータを用いて上記（３）式に従う凹曲線による参照テーブルを入力画像に対する輝度伸張用の輝度変換テーブル２３２として作成する。

画像変換部２２５は参照テーブル判定部２２４が作成した輝度変換テーブル（参照テーブル）２３２を用いて、画像バッファ２１に保持された入力画像に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ２１に書き戻すことによって画像バッファ２１上に輝度伸張画像を作成する。

上記した輝度伸張処理部２２の処理手順を図７に示している。

輝度伸張処理部２２は、カメラ１１が撮像したフレーム単位の入力画像がキャプチャ部１２を介して画像バッファ２１に保持される毎に図７に示す処理を実行する。

画像バッファ２１に輝度伸張処理の対象となる入力画像が保持されると、注目領域画像作成部２２１は、上記入力画像から、予め設定された注目エリアの対象画像を取得する。注目領域画像作成部２２１により注目エリアの対象画像が取得されると、平均輝度算出部２２２は注目領域画像作成部２２１が取得した注目エリアの対象画像について当該画像全体の平均輝度を算出する（ステップＳ１１）。

平均輝度算出部２２２により注目エリアの対象画像について当該画像の平均輝度が算出されると、累乗パラメータ算出部２２３は、平均輝度算出部２２２が算出した平均輝度をもとに、上記（１）式に従い、上記入力画像に対する輝度伸張処理のための累乗パラメータを算出する（ステップＳ１２）。

累乗パラメータ算出部２２３により累乗パラメータが算出されると、参照テーブル判定部２２４は、上記平均輝度が上記中心輝度値（１２７）以下であるか上記中心輝度値（１２７）を超えているかを判定し、上記平均輝度が上記入力画像の中心輝度値（１２７）以下であるとき、上記累乗パラメータを用いて上記（２）式に従う凸曲線による輝度変換用テーブルを作成する（ステップＳ１４（Ａ））。また、平均輝度が上記入力画像の中心輝度値（１２７）を超えるとき、上記（２）式に従う凸曲線による輝度変換用テーブルを作成する（ステップＳ１４（Ｂ））。

参照テーブル判定部２２４により輝度変換用テーブルが作成されると、画像変換部２２５は参照テーブル判定部２２４が作成した輝度変換用テーブルを用いて、画像バッファ２１に保持された入力画像に輝度変換処理を施し、入力輝度に対して出力輝度を変換した画像を画像バッファ２１に書き戻すことによって画像バッファ２１上に輝度伸張画像を作成する（ステップＳ１５）。

上記したように本発明の実施形態によれば、経験的なパラメータを一切必要とせず、入力画像のみから伸張用パラメータを自動算出して、当該パラメータを用い、常に入力画像の輝度分布に適合した、階調を低下させない輝度伸張画像を取得することができる。また、注目すべき（伸張処理すべき）画面上の領域を設定することで、その領域に適したガンマ補正を自動的に行うことができ、最適輝度値を割り当てた明瞭な輝度伸張画像を取得することができる。

なお、上記した実施形態では、ＱＶＧＡ（３２０画素×２４０画素）の０〜２５５階調のカメラ映像を輝度伸張処理の対象となる入力画像としたが、これに限らず、例えばＶＧＡ等の画像を扱う画像処理装置に於いても本発明に係る輝度伸張処理機能部を適用することができる。また、上記実施形態において、輝度伸張処理機能を実現する輝度伸張処理部２２の構成要素（注目領域画像作成部２２１、平均輝度算出部２２２、累乗パラメータ算出部２２３、参照テーブル判定部２２４、画像変換部２２５等）について、その一部機能若しくはすべての機能をソフトウェア処理により実現可能である。

本発明の実施形態に係る画像処理装置の要部の構成要素を示すブロック図。 上記実施形態に係る輝度伸張処理部の輝度伸張処理動作を説明するための動作説明図。 上記実施形態に係る累乗パラメータの特性図。 上記実施形態に係る輝度変換テーブルの入出力変換特性を示す図。 上記実施形態に係る画像処理装置の構成を示すブロック図。 上記実施形態に係る輝度伸張処理部の構成を示すブロック図。 上記実施形態に係る輝度伸張処理部の処理手順を示すフローチャート。

符号の説明

１…輝度伸張処理部、２…単眼カメラで撮影した画像（入力画像）、３…注目エリア対象画像、４…輝度変換テーブル（参照テーブル）、５…輝度伸張画像、１１…カメラ、１２…キャプチャ部、１３…前置画像処理部、１４…画像処理部、１５…表示部、２１…画像バッファ、２２…輝度伸張処理部、２２１…注目領域画像作成部、２２２…平均輝度算出部、２２３…累乗パラメータ算出部、２２４…参照テーブル判定部、２２５…画像変換部、２３１…テーブル作成部、２３２…輝度変換用テーブル（参照テーブル）。

Claims (5)

1. 輝度伸張処理の対象となる入力画像について注目エリアの平均輝度を算出する平均輝度算出手段と、
   前記平均輝度をもとに前記入力画像に対する輝度伸張用の累乗パラメータを算出する累乗パラメータ算出手段と、
   前記累乗パラメータ算出手段が算出した累乗パラメータを用いて前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
   を具備したことを特徴とする画像処理装置。
2. 輝度伸張処理の対象となる入力画像について注目エリアの平均輝度を算出する平均輝度算出手段と、
   前記平均輝度をもとに前記入力画像に対する輝度伸張用の累乗パラメータを算出する累乗パラメータ算出手段と、
   前記平均輝度と前記入力画像の輝度階調範囲の中心輝度とを比較し、前記平均輝度の値が前記中心輝度の値以下であるとき前記累乗パラメータを用いて第１の演算式により凸曲線による輝度変換テーブルを作成し、前記平均輝度の値が前記中心輝度の値より大きいとき前記累乗パラメータを用いて第２の演算式により凹曲線による輝度変換テーブルを作成するテーブル作成手段と、
   前記輝度変換テーブルを用いて前記入力画像に対する輝度伸張出力画像を作成する画像変換手段と、
   を具備したことを特徴とする画像処理装置。
3. 前記凸曲線による輝度変換テーブルは、前記中心輝度より低い輝度範囲において低輝度になる程、線形に近い非線形の入出力特性曲線を有し、前記凹曲線による輝度変換テーブルは、前記中心輝度より高い輝度範囲において高輝度になる程、線形に近い非線形の入出力特性曲線を有することを特徴とする請求項２に記載の画像処理装置。
4. カメラで撮影した入力画像を画像バッファに保持し、前記画像バッファ上で前記入力画像についてガンマ補正を行う処理装置に、
   前記画像バッファに保持した入力画像について注目エリアの平均輝度を算出する機能と、
   前記平均輝度を用いて前記画像バッファに保持した入力画像のガンマ補正に用いる累乗パラメータを生成する機能と、
   を実現させるための画像処理プログラム。
5. カメラで撮影した入力画像を画像バッファに保持し、前記画像バッファ上で前記入力画像についてガンマ補正を行う処理装置に、
   前記画像バッファに保持した入力画像について注目エリアの平均輝度を算出する機能と、
   前記平均輝度を用いて前記前記画像バッファに保持した入力画像のガンマ補正に用いる累乗パラメータを生成する機能と、
   前記画像バッファに保持した入力画像の平均輝度と前記画像バッファに保持した入力画像の輝度階調範囲の中心輝度とを比較して、前記平均輝度の値が前記中心輝度の値以下であるとき、第１の演算式により、前記累乗パラメータを用いて凸曲線による輝度変換テーブルを作成し、前記平均輝度の値が前記中心輝度の値より大きいとき、第２の演算式により、前記累乗パラメータを用いて凹曲線による輝度変換テーブルを作成する機能と、
   前記輝度変換テーブルを用いて前記画像バッファに保持した入力画像に対する輝度伸張出力画像を作成する機能と、
   を実現させるための画像処理プログラム。

Images