JP2013243528A

JP2013243528A - 画像処理装置

Info

Publication number: JP2013243528A
Application number: JP2012115548A
Authority: JP
Inventors: Masahiro Kobayashi; 正浩小林
Original assignee: Individual
Current assignee: Individual
Priority date: 2012-05-21
Filing date: 2012-05-21
Publication date: 2013-12-05
Anticipated expiration: 2032-05-21
Also published as: US9082163B2; JP5178933B1; US20130308859A1; WO2013175946A1

Abstract

【課題】動画などの画質改善を行う画像処理装置を提供する。
【解決手段】画像処理装置は明るさの調整と色調の調整を並列して行い、明るさの調整領域ではピクセル毎の明るさを演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の明るさが展開されるフレームバッファとを備え、色調の調整領域ではピクセル毎の色調を演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の色調が展開されるフレームバッファとを備え、色調を演算する演算処理装置には処理前と処理後のピクセル毎の明るさ比（ｆ）が入力され、この比（ｆ）が予め設定した色強調パラメータ（ColorRate）と等しいかそれよりも大きい場合は、比（ｆ）から色強調パラメータ（ColorRate）を引いた値の対数値を求め、この対数値に色強調パラメータ（ColorRate）を加え、この加えた値を色空間の値に乗じる。
【選択図】図２

Description

本発明は、監視カメラや室内の窓など同一画面内において極端に明るい部分と暗い部分が混在する画面で構成される画面を見やすい画面に変換する画像処理装置に関する。

監視カメラの映像は２４時間稼動しているため、極端に明るい状況や暗い状況が刻々変化する。カメラの一般的なオートゲインコントロールなどでは変化が大きい場合には極端な変化に追いつけない場合が多い。また、室内の窓など同一画面内において極端に明るい部分と暗い部分が混在する場合はゲインコントロールでは対応することが出来ない。

そこで、画像評価技術としてヒストグラムを使い、各カラーの明るさのレベル別にピクセル数をグラフ化し、画像内のピクセル分布を示し、シャドウ（ヒストグラムの左側部分）、中間調（ヒストグラムの中央）およびハイライト（ヒストグラムの右側部分）のディテールを表示し、画像に適切な補正を行うための十分なディテールがあるかどうかを判断する方法が使われている。

例えば、特許文献１には、光学像を光電変換して電気信号を出力する撮像素子と、該撮像素子から出力された電気信号を処理して映像信号を生成する信号処理手段と、該信号処理手段から出力された映像信号からヒストグラムを生成するヒストグラム回路と、該ヒストグラム回路によって検出されたヒストグラムを用いて露光制御を行う露光制御手段とを有する撮像装置が開示されている。

また特許文献２には、原稿からの光を読取って画像データを生成する工程と、前記画像データから濃度分布のヒストグラムを作成する工程と、前記画像データの全データ数に対する濃度分布の明暗両端寄りのデータ数の割合に基づいて濃度補正曲線を生成する工程と、前記濃度補正曲線で画像データの濃度補正を行う工程とを有する画像処理方法が開示されている。

更に特許文献３には、被写体を撮像し、撮像画像の画像データを取得する撮像手段と、その撮像手段により取得された画像データからなる撮像画像の所定の画素部分であって輝度レベルが所定の範囲内にある画素からなる画素部分に対し、当該画素部分における各画素の輝度値を、各画素間の相対的な輝度の上下関係を維持したまま各画素間の輝度間隔を増大させるよう変換する階調補正を行う階調補正手段とを備えた撮像装置が開示されている。

上記特許文献１にあっては、画素数の多い画面では大きな処理能力を持つＣＰＵを使わないとリアルタイムでの静止画撮影は難しい。特許文献２にあっては、能力の高いホストコンピュータを使わないと処理時間が長くなってしまう。特許文献３にあっては、画素数の多い画面全体のヒストグラムを計算すると時間がかかってしまう。

そこで、本発明者は特許文献４に係る画像処理装置を提案した。この画像処理装置４は、１パスの画像走査で画像の明るさを変換する画像処理装置であって、前記画像走査の走査位置を含む所定パターンの移動エリアについて明るさ情報ｉのヒストグラムｈｉｓｔ（ｉ）を求める手段と、前記ヒストグラムｈｉｓｔ（ｉ）をｉ≦ｐ（ただしｐは前記走査位置の変換前の明るさ情報）の範囲で累積して累積度数ｎを求める手段と、前記走査位置の明るさ情報ｐを前記累積度数ｎに応じて明るさ情報に変換する手段を備えている。

特開２００２−１４２１５０号公報特開２００３−０５１９４４号公報特開２００７−１２４０８７号公報特許第４３８６９５９号公報

特許文献４によれば、エリア分割のために画像を操作せずに１パスで画像の明るさを変換できるため、一般に市販されている安価なマイクロコンピュータやパーソナルコンピュータとグラフィックボードの組み合わせで容易にＶＧＡ動画のリアルタイム処理を行うことが可能となる。
しかしながら、特許文献４で提案される画像処理装置による処理は、各ピクセルの明るさの調整のみで、色調についての調整は行っていないため、改善の余地が残っている。

上記課題を解決するため、本発明は画像を構成するピクセル毎の明るさと色調を１パスの画像走査で調整する画像処理装置であって、この画像処理装置は明るさの調整と色調の調整を並列して行い、明るさの調整領域ではピクセル毎の明るさを演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の明るさが展開されるフレームバッファとを備え、色調の調整領域ではピクセル毎の色調を演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の色調が展開されるフレームバッファとを備え、前記色調を演算する演算処理装置には前記処理前と処理後のピクセル毎の明るさ比（ｆ）が入力され、この比（ｆ）が予め設定した色強調パラメータ（ColorRate）と等しいかそれよりも大きい場合は、比（ｆ）から色強調パラメータ（ColorRate）を引いた値の対数値を求め、この対数値に色強調パラメータ（ColorRate）を加え、この加えた値を色空間の値に乗じ、また比（ｆ）が予め設定した色強調パラメータ（ColorRate）よりも小さい場合には、色強調パラメータ（ColorRate）を色空間の値に乗じるようにした。

尚、前記色強調パラメータ（ColorRate）は外部から指定可能とすることが好ましい。

本発明に係る画像処理装置によれば、２パス方式を取らず単純なアルゴリズムなため、現在一般的に市販されている安価なマイクロコンピュータやパーソナルコンピュータとグラフィックボードの組み合わせで容易にＶＧＡ動画の明るさと色調のリアルタイム処理を行うことが可能であり、ＦＰＧＡなどへのハードウエア化やＤＳＰによる処理も可能となる

システムの基本例を示す図処理のフロー図ピクセル単位検出のヒストグラム最適化の基本原理図色調（CbCr）の倍率と前段画像処理での明るさ変化（Ｙ0／Ｙ1）の関係を示すグラフ補正前と補正後の画像を比較した写真で（ａ）は明るさ及び色調の調整を行っていない画像、（ｂ）は明るさ調整のみを行った画像、（ｃ）は明るさ及び色調の調整を行った画像補正前と補正後の画像を比較した写真で（ａ）は明るさ及び色調の調整を行っていない画像、（ｂ）は明るさ調整のみを行った画像、（ｃ）は明るさ及び色調の調整を行った画像補正前と補正後の画像を比較した写真で（ａ）は明るさ及び色調の調整を行っていない画像、（ｂ）は明るさ調整のみを行った画像、（ｃ）は明るさ及び色調の調整を行った画像

本発明の実施にはＦＰＧＡによる実装が最も効率的であるが、従来のコンピュータシステムでの実施も可能である。
以下に本発明の従来コンピュータでの実施の形態を図に基づいて詳細に説明する。
なお、以下の実施例は本発明においてグラフィックボードは旧来のものではなく、プロセッサあたり１２０個以上のコアを搭載したマルチコアＧＰＵを搭載したグラフィックボード使うことが望ましい。

図１は、本発明の基本システム例である。本システムは、基本的にはグラフィクスボードを搭載したマイクロコンピュータまたはパーソナルコンピュータであって、ＣＰＵ１にシステムバス３を介して接続されるグラフィックボード、ＲＯＭ２ａ、ＲＡＭ２ｂ、ＰＣＩなどのインターフェイス４を通して画像を取り込むフレームグラバ６で構成される。また、本装置を操作するためにＩ／Ｏインターフェイス５を通してボタン等の操作装置７やシリアルポート等の外部接続ポート８を持つ。

グラフィックボードは、一並列処理セルを持つＧＰＵ９、ＧＰＵメモリー１０、処理用フレームバッファ１１、出力用フレームバッファ１２、表示出力回路１３から構成されている。

ＧＰＵ９はＣＰＵ１から指示を受けて各セルに対して処理用フレームバッファ１１にある画像データを指示に従って処理を行い、処理結果を出力用フレームバッファ１２へ書き込むよう命令する。セルは複数あり並列処理を行うことでＣＰＵからの指示をセルの数だけ一斉に処理する。

コンピュータのＣＰＵ１は、起動時にＲＯＭ２ａから本件処理に相当するソフトウエアをＲＡＭ２ｂへ転送しソフトウエアを実行する。実行したソフトウエアは
（１）フレームグラバから画像を取り込む。
（２）取り込んだ画像をグラフィックボード上の処理用フレームバッファ１１へ転送する。
（３）ＧＰＵへ本件処理を指示する。
（４）ＧＰＵ内セルが並列処理によって指示を実行する。
（５）処理結果がすべて出力用フレームバッファに書き込まれるまで待つ。
（６）処理結果を表示。
といった一連の動作を繰り返す。

処理用フレームバッファ１１や出力用フレームバッファ１２では複数の色空間を表現することが出来る。本件では例えばＹＣｂＣｒ、ＨＳＶ、Ｌａｂ、ＨＬＳを対象とする。

表示出力回路１３は上記色空間表現となっている出力用フレームバッファ１２の内容をディスプレイに適合した映像信号に変換する。複数の映像信号に対応しており、アナログＲＧＢが一般的であるが、ＤＶＩ、コンポーネント（Ｄ１〜Ｄ４）、ＹＣ分離、コンポジットなどを出力することも出来る。

本願の画像処理装置にあっては、計算をコンピュータのＣＰＵではなく、グラフィックボードのＧＰＵを使う。これにより動的なデータをストリームとして処理することが可能となり、カーネルでの演算処理過程においては、データをリアルタイムに解析し、高精度且つ高速処理が行える。

本願の画像処理装置は明るさの調整と色調の調整を並列して行なう。図２に示すように処理用フレームバッファ１１に入力された画像（ピクセル）は明るさ情報と色情報に分けられ、明るさ情報は明るさの調整領域２０で処理され、色情報は色調の調整領域３０で処理される。

明るさの調整領域２０には、ピクセル毎の明るさを演算する演算処理装置２１と、この演算処理装置２１による処理前と処理後のピクセル毎の明るさが展開されるフレームバッファ２２、２３が設けられ、色調の調整領域３０には、ピクセル毎の色調を演算する演算処理装置３１と、この演算処理装置３１による処理前と処理後のピクセル毎の色調が展開されるフレームバッファ３２、３３が設けられる。

明るさを演算する演算処理装置２１による処理の原理を図３に基づいて説明する。先ず図３（ａ）に示すように所定のピクセル（縦７個、横７個）からなる読み取りパターン２４を設定し、この読み取りパターン２４の中心となるピクセルを着目ピクセル２５とし、この着目ピクセル２５の値を着目ピクセル２５を除いた読み取りパターン２４を構成するピクセル（縦７個、横７個）のヒストグラムから算出する。算出方法は一般的なヒストグラムの平均化算出方法を適用する。

その後、図３（ｂ）に示すように読み取りパターン２４及び着目ピクセル２５を右に１列分シフトする。
着目ピクセル２５が１ピクセル分右に移動すると、ヒストグラム計算における選択ピクセル１行目から７行目までのうち２列目〜７列目は図３（ａ）と共通であるが、新たに２列目〜７列目までと８列目が追加となっている。

８列目にあるピクセルについては新たな計算対象となるが、これは前回のヒストグラムの計算において、ピクセル（１，１）、（１、７）、（７、１）、（７，７）で囲まれる領域のヒストグラムの合計値から１列目のデータを減算した２列目〜７列目までのデータに８列目のデータを加算すれば容易にヒストグラムを計算することができる。

図３（ｂ）の実線領域は次の計算時の計算エリアを示し、４行５列目のピクセルがヒストグラム平均化による明るさ算出対象となる着目ピクセル２５、ピクセル（１、２）、（１，８）、（７，２）、（７、８）で囲まれる領域から着目ピクセル２５を除いた領域が計算領域となるが、前述の通り、実際の計算は、前の計算値から１列目のヒストグラムを減算し、８列目を加算するだけなので短時間で処理できる。

平均化の方法としては上記に限らず、読み取りパターン２４を１つおきに移動させる間引き高速処理も可能である。

一方、上記と並行して行う色調の調整は、ピクセル毎に明るさ調整処理前の明るさ（Ｙ１）と明るさ調整処理後の明るさ（Ｙ０）から、これらの比（ｆ）＝Ｙ０／Ｙ１を求める。

そして、比（ｆ）が予め設定した色強調パラメータ（ColorRate）と等しいかそれよりも大きい場合は、比（ｆ）から色強調パラメータ（ColorRate）を引いた値の対数値を求め、この対数値に色強調パラメータ（ColorRate）を加え、この加えた値を色空間の値（CbCr）に乗じる。
式は以下の式を用いる。
CbCr←CbCr*[ｍ*log2{(f- ColorRate)*n+c1}+c2+ ColorRate]
ここで、ｍ、ｎ、ｃ1、ｃ2は対数のカーブを適正にするための定数である。
m,nを２のべき乗の加減算とすれば、乗算の回数をさらに減らすことが出来る。
例）m ＝ 2 , n ＝ 1.75の場合、2倍は被乗数を左シフト１回、1.75倍は被乗数に右シフト１回と２回を加算すれば乗算が不要になる。
図４に、m＝2 、 n＝1.75、ｃ1＝9、ｃ2＝−６の場合の色調（CbCr）の倍率と前段画像処理での明るさ変化（Ｙ0／Ｙ1）の関係を示す。

ここで、log2は以下の展開で近似値を求めるものとする。
求める対数の整数部は被対数の最上位ビットのビット桁番号とする（ＬＳＢを０とした桁番号）。次に求める対数の小数分は上記最上位ビットを除いた下位ビットをそのまま小数部とする。
（表１）に１６ビット小数部４桁の場合の処理例を示す。
これによりシフト操作のみで被対数が１−２−４−８・・・と２のべき乗の時の対数（整数解）の間を直線で補間して近似することになり、対数を高速に演算出来る。

また、比（ｆ）が予め設定した色強調パラメータ（ColorRate）よりも小さい場合には、色空間の値（CbCr）にColorRateを乗じる。
CbCr←CbCr* ColorRate

尚、色強調パラメータ（ColorRate）については外部から指定可能とされており、色調整の度合いを調整できる。

以上のようにして明るさ調整された値（Ｙ）はフレームバッファ２３に展開され、色強調処理された色空間の値（CbCr）はフレームバッファ３３に展開され、これらの値は出力用フレームバッファ１２に送られ表示出力回路１３を介して表示される。

図５乃至図７は夫々外の風景、家の中及び配電盤に関し、（ａ）は明るさ及び色調の調整を行っていない画像、（ｂ）は明るさ調整のみを行った画像、（ｃ）は明るさ及び色調の調整を行った画像である。
これらの画像から本発明に係る画像処理装置を用いて、明るさ及び色調の調整を行った画像は他の画像に比べて、遠近感が優れ、細部までハッキリと識別できることが分かる。

本発明に係る画像処理装置は、監視カメラなどの画像処理をリアルタイムで行う装置として利用できる。

１…ＣＰＵ、２ａ…ＲＯＭ、２ｂ…ＲＡＭ、３…システムバス、４…インターフェイス、５…Ｉ／Ｏインターフェイス、６…フレームグラバ、７…操作装置、８…外部接続ポート、９…ＧＰＵ、１０…ＧＰＵメモリー、１１…処理用フレームバッファ、１２…出力用フレームバッファ、１３…表示出力回路、２０…明るさの調整領域、２１…演算処理装置、２２、２３…フレームバッファ２４…読み取りパターン、２５…注目ピクセル、３０…色調の調整領域、３１…演算処理装置、３２、３３…フレームバッファ。

Claims

１パスの画像走査で画像を構成するピクセル毎の明るさと色調を調整する画像処理装置であって、この画像処理装置は明るさの調整と色調の調整を並列して行い、明るさの調整領域ではピクセル毎の明るさを演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の明るさが展開されるフレームバッファとを備え、色調の調整領域ではピクセル毎の色調を演算する演算処理装置と、この演算処理装置による処理前と処理後のピクセル毎の色調が展開されるフレームバッファとを備え、前記色調を演算する演算処理装置には前記処理前と処理後のピクセル毎の明るさ比（ｆ）が入力され、この比（ｆ）が予め設定した色強調パラメータ（ColorRate）と等しいかそれよりも大きい場合は、比（ｆ）から色強調パラメータ（ColorRate）を引いた値の対数値を求め、この対数値に色強調パラメータ（ColorRate）を加え、この加えた値を色空間の値に乗じ、また比（ｆ）が予め設定した色強調パラメータ（ColorRate）よりも小さい場合には、色強調パラメータ（ColorRate）を色空間の値に乗じることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、前記色強調パラメータ（ColorRate）は外部から指定可能であることを特徴とする画像処理装置。