JP2019057080A

JP2019057080A - ダイナミックレンジ圧縮装置及び画像処理装置

Info

Publication number: JP2019057080A
Application number: JP2017180520A
Authority: JP
Inventors: 宗一郎細田; Soichiro Hosoda
Original assignee: Toshiba Corp; Toshiba Electronic Devices and Storage Corp
Current assignee: Toshiba Corp; Toshiba Electronic Devices and Storage Corp
Priority date: 2017-09-20
Filing date: 2017-09-20
Publication date: 2019-04-11
Anticipated expiration: 2037-09-20
Also published as: EP3460748A1; EP3460748B1; US10631016B2; CN109525849B; CN109525849A; US20190089993A1; JP6789904B2

Abstract

【課題】フレーム画像中の色に極端な偏りがあっても、データ圧縮後の輝度値の低下が生じないダイナミックレンジ圧縮装置を提供する。【解決手段】ダイナミックレンジ圧縮装置１４は、第１の輝度ダイナミックレンジに対応する色データから第２の輝度ダイナミックレンジに対応する色データに変換されたフレーム画像中の各画素の色データの値が所定の飽和値を超えたか否かにより画素毎の各色データの飽和を検出する飽和検出回路と、飽和が検出された画素が飽和していない状態の輝度値を保つために必要なデータ量を計算して、飽和が検出された画素において前記飽和が検出された飽和色データ以外の飽和していない他の非飽和色データに、配分して出力するデータ配分回路と、を有する輝度補正回路２７をローカルトーンマッピング処理回路２４に備える。【選択図】図３

Description

本発明の実施形態は、ダイナミックレンジ圧縮装置及び画像処理装置に関する。

近年、ハイダイナミックレンジ（ＨＤＲ）画像が注目され、実用化されている。ＨＤＲ画像は、露光時間などが異なる複数フレームの画像を合成して生成されることにより、高いダイナミックレンジを有する。

このＨＤＲ画像に対してＨＤＲ圧縮処理を行うＨＤＲ圧縮装置がある。ＨＤＲ圧縮装置は、ＨＤＲ画像を、ローダイナミックレンジの装置（例えば表示装置）での表示等のために用いられる。ＨＤＲ圧縮装置では、例えば２４ビットの画像データが８ビットの画像データに圧縮される。ＨＤＲ圧縮装置では、フレーム画像の輝度値の情報を用いてダイナミックレンジを縮小することにより、データ圧縮が行われる。

フレーム画像が色データ、例えばＲＧＢデータを有する場合、フレーム画像中にＲＧＢの色の極端な偏りがなければ、ＲＧＢデータ間の画素値間の比率が保たれながら、各画素の輝度値Ｙを輝度値Ｙ１に変換することにより画像データの圧縮は行われる。

しかし、元のフレーム画像中にＲＧＢの色に極端な偏りがあると、変換後の輝度値Ｙ１に基づいて各画素のＲＧＢの各色の画素値が再計算されたときに、ＲＧＢデータ間の画素値間の比率が保たれず、圧縮後の輝度値が大きく低下してしまうという問題がある。

例えば、元の画像において特定の１つの色の輝度値（例えば２４ビットデータ）のみが大きく、他の色の画素値が低い画素を含む場合、データ圧縮後の輝度値Ｙ１に対応する各色の画素値が再計算されたとき、他の色の画素値が低いため、特定の１つの色の色データだけが大きくなって内部レジスタにおいてオーバーフローし、結果として、その画素の輝度値が極端に低下して、その画素が黒点のようになってしまう場合がある。

特表２０１５−５２９８９０号公報特表２０１４−５１０３３９号公報特表２０１２−５２０６１９号公報

そこで、実施形態は、フレーム画像中の色に極端な偏りがあっても、データ圧縮後の輝度値の低下が生じないダイナミックレンジ圧縮装置及び画像処理装置を提供することを目的とする。

実施形態によれば、第１の輝度ダイナミックレンジに対応する色データから第２の輝度ダイナミックレンジに対応する色データに変換されたフレーム画像中の各画素の色データの値が所定の飽和値を超えたか否かにより画素毎の前記各色データの飽和を検出する飽和検出回路と、前記飽和が検出された画素が飽和していない状態の輝度値を保つために必要なデータ量を計算して、前記飽和が検出された画素において前記飽和が検出された飽和色データ以外の飽和していない他の非飽和色データに、配分して出力するデータ配分回路と、を有するダイナミックレンジ圧縮装置が提供される。
実施形態によれば、第１の輝度ダイナミックレンジに対応する色データから第２の輝度ダイナミックレンジに対応する色データに変換されたフレーム画像中の各画素の色データの値が所定の飽和値を超えたか否かにより画素毎の前記各色データの飽和を検出する飽和検出回路と、前記飽和が検出された画素において前記飽和が検出された飽和色データ以外の飽和していない他の非飽和色データに、前記飽和色データの一部を加算するように配分して出力するデータ配分回路と、を有するダイナミックレンジ圧縮装置が提供される。

本発明の第１の実施形態に係わる画像処理システム１のブロック図である。本発明の第１の実施形態に係わるＩＳＰ４の構成を示すブロック図である。本発明の第１の実施形態に係わるＨＤＲ圧縮回路１４の構成を示すブロック図である。本発明の第１の実施形態に係わる、ローカルトーンパラメータＬＴＰに基づく２つのトーンカーブのブレンドを説明するための図である。本発明の第１の実施形態に係わる、ＲＧＢ信号の画素値の配分を説明するための図である。ローカルトーンマッピング処理回路２４において輝度補正を行わないときの表示画像の例を示す図である。本発明の第２の実施形態に係わる、ＲＧＢ信号の画素値の配分を説明するための図である。

以下、図面を参照して実施形態を説明する。
（第１の実施形態）
（構成）
図１は、本実施形態に係わる画像処理システム１のブロック図である。

画像処理システム１は、ＣＭＯＳイメージセンサ等の撮像素子２ａを有するカメラ２と、カメラ２からの撮像信号を受信して、所定の画像処理を行う画像処理装置３とを含む。画像処理システム１は、例えば、カメラ２の画像から対象認識を行う装置である。

画像処理装置３は、半導体装置として、各種機器に搭載され、カメラで得られた画像に対して画像認識処理を行い、認識結果情報を出力する。
カメラ２は、撮像素子２ａを駆動して、静止画及び動画の撮像信号を出力することができると共に、露光時間が互いに異なる複数のフレームの撮像信号を出力することもできる。

画像処理装置３は、画像信号プロセッサ（以下、ＩＳＰという）４と、中央処理装置（以下、ＣＰＵという）５と、主メモリとしてのＤＲＡＭ６とを含む半導体装置すなわち半導体チップである。画像処理装置３は、図示しないインターフェース回路を介してカメラ２からの撮像信号を受信する。カメラ２と画像処理装置３は、例えばＭＩＰＩプロトコルによる通信を行い、画像処理装置３は、カメラ２から撮像信号を受信する。ＩＳＰ４とＣＰＵ５とＤＲＡＭ６は、バス７を介して接続され、データの送受信が可能となっている。

ＩＳＰ４は、カメラ２からの撮像信号を受信してＨＤＲ合成処理を行うと共にＨＤＲ圧縮処理を行い、圧縮された画像データを、バス７を介してＤＲＡＭ６に出力する。
ＣＰＵ５は、ＤＲＡＭ６に格納された画像データに対して所定の画像処理を行い、画像処理の結果をＤＲＡＭ６に格納する。例えば、ＣＰＵ５は、ＤＲＡＭ６に格納された画像データを読み出して画像認識処理を行い、認識された対象についての情報をＤＲＡＭ６の所定の領域に書き込む。対象についての情報は、図示しない装置によりバス７を介して読み出されて、物体認識、文字認識などの各種認識処理のために利用される。

図２は、ＩＳＰ４の構成を示すブロック図である。
ＩＳＰ４は、ＨＤＲ合成回路（以下、ＨＤＲＳという）１１と、セレクタ１２と、デモザイク回路１３と、ＨＤＲ圧縮回路（以下、ＨＤＲＣという）１４を含む。

ＨＤＲＳ１１は、互いに露光時間の異なる複数（ここでは３つ）のフレームの画像信号Ｐ１、Ｐ２、Ｐ３をカメラ２から受信して、ＨＤＲ合成処理を行い、セレクタ１２に出力する。画像信号Ｐ１、Ｐ２、Ｐ３は、例えば、カメラ２の撮像素子２ａのベイヤーフィルタの各画素値の１６ビットの画像信号である。ＨＤＲＳ１１は、ＨＤＲ合成を行い、２４ビットの画像信号を出力する。

セレクタ１２は、ＨＤＲＳ１１からの画像信号を選択してデモザイク回路１３に出力する。
なお、ここでは、セレクタ１２は、カメラ２からの画像信号ＰＰと、ＨＤＲＳ１１の画像信号のいずれかを選択して、デモザイク回路１３に出力することができるようになっている。これは、カメラ２自体がＨＤＲ合成処理回路を有している場合に、カメラ２の出力する画像信号ＰＰに対応できるようにするためである。

デモザイク回路１３は、ＨＤＲＳ１１の画像信号に対してデモザイク処理を行い、各画素について２４ビットのＲＧＢの画像信号を生成して、ＨＤＲＣ１４に出力する。
ＨＤＲＣ１４は、ＲＧＢの画像信号に対してローカルトーンマッピングによりＨＤＲ圧縮処理を行い、圧縮された画像信号を出力する。例えば、２４ビットのＲＧＢの画像信号が、１６ビットのＲＧＢの画像信号に圧縮されて変換される。

ＨＤＲＣ１４において生成された画像信号は、ＤＲＡＭ６に格納されて、画像信号に対してＣＰＵ５により各種処理が行われる。
図３は、ＨＤＲＣ１４の構成を示すブロック図である。

ＨＤＲＣ１４は、輝度計算回路２１と、ローカルトーンパラメータ計算回路２２と、メモリ２３と、ローカルトーンマッピング処理回路２４を含む。
ＨＤＲＣ１４は、デモザイク回路１３から出力された例えば２４ビットのＲＧＢの画像信号に対して、ＨＤＲ圧縮処理を行い、圧縮された画像信号（例えば１６ビット）を出力する。

輝度計算回路２１は、フレーム画像の各画素の輝度値を計算する。具体的には、輝度計算回路２１は、ＲＧＢの３色の画像信号から、各画素の輝度値を計算する回路である。輝度値Ｙは、次の式（１）から算出される。
Ｙ＝Ｃｒ＊Ｒ＋Ｃｇ＊Ｇ＋Ｃｂ＊Ｂ・・・（１）
Ｃｒ，Ｃｇ，Ｃｂは、係数であり、Ｃｒ＋Ｃｇ＋Ｃｂ＝１の関係を有する。

輝度計算回路２１は、各フレームの各画素の輝度値を出力する。結果として、輝度計算回路２１は、各画素の輝度値からなる輝度画像を出力する輝度画像生成回路である。
ローカルトーンパラメータ計算回路２２は、フレーム画像のローカルトーンパラメータＬＴＰを計算する回路である。具体的には、ローカルトーンパラメータ計算回路２２は、フレーム画像中の明るさ分布あるいは照明分布に基づいて、ローカルトーンマッピング用のトーンカーブの補正パラメータとしてのローカルトーンパラメータＬＴＰを算出して、ローカルトーンマッピング処理回路２４へ出力する回路である。

例えば、ローカルトーンパラメータ計算回路２２は、フレーム画像を所定の複数の領域に分割し、フレーム画像内の明るさ分布を求める。そして、ローカルトーンパラメータ計算回路２２は、各画素の周辺の明るさ分布の情報に基づいて、各画素のローカルトーンパラメータを抽出する。

メモリ２３は、ローカルトーンパラメータ計算回路２２において用いられるフレーム画像の明るさ分布情報として、前のフレーム画像の明るさ分布情報を一時的に格納するためのメモリである。よって、ローカルトーンパラメータ計算回路２２は、各画素のローカルトーンパラメータを計算するときに、前のフレーム画像の明るさ分布情報が必要なときにメモリ２３に格納された情報を参照する。

ローカルトーンパラメータ計算回路２２は、各画素のローカルトーンパラメータを抽出するときに、現在のフレーム画像の明るさ分布情報が得られない領域については、メモリ２３に格納された前のフレーム画像の明るさ分布情報を用いる。

ローカルトーンマッピング処理回路２４は、ローカルトーンマッピング回路２５と、ＲＧＢ再計算回路２６と、輝度補正回路２７を有する。
ローカルトーンマッピング回路２５は、所定のトーンカーブ情報を用いて、ローカルトーンパラメータ計算回路２２からのローカルトーンパラメータＬＴＰに基づいて、フレーム画像の各画素の元の輝度値（例えば２４ビット）を、トーンマッピングによりローダイナミックレンジの輝度値に変換する。

ここでは、トーンカーブを２つ用意しておき、ローカルトーンパラメータＬＴＰに基づいて、２つのトーンカーブをブレンドしたトーンカーブに基づいて、各画素の輝度値を変換する。

図４は、ローカルトーンパラメータＬＴＰに基づく２つのトーンカーブのブレンドを説明するための図である。横軸は、圧縮前の画素の輝度値Ｙを示し、縦軸は、圧縮後の画素の輝度値Ｙ１を示す。

ローカルトーンマッピング回路２５は、２つのトーンカーブＬＴＣ，ＨＴＣの情報を有している。図４において、一点鎖線で示すトーンカーブＬＴＣは、低輝度領域用のトーンカーブであり、点線で示すトーンカーブＨＴＣは、高輝度領域用のトーンカーブである。トーンカーブＬＴＣは、低輝度領域の輝度値を高くし、トーンカーブＨＴＣは、高輝度領域の輝度値を低くするように設定されている。

ローカルトーンパラメータＬＴＰは、各画素の周辺領域の明るさ分布に関する情報であり、周辺領域の明るさ分布に応じて、低輝度領域用のトーンカーブＬＴＣと高輝度領域用のトーンカーブＨＴＣのブレンド比率を示す。図４において、二点鎖線で示すトーンカーブは、ブレンドされたトーンカーブである。画素の周辺の領域が全体に明るければ、トーンカーブＨＴＣに近いトーンカーブとなり、画素の周辺の領域が全体に暗ければ、トーンカーブＬＴＣに近いトーンカーブとなり、画素の周辺の領域が明るい領域と暗い領域が混在するときは、トーンカーブＬＴＣとトーンカーブＨＴＣの中間のトーンカーブとなるように、ローカルトーンパラメータＬＴＰは決定される。

ローカルトーンマッピング回路２５は、ローカルトーンパラメータＬＴＰに基づいて、低輝度領域用のトーンカーブＬＴＣと高輝度領域用のトーンカーブＨＴＣをブレンドしたトーンカーブを決定し、決定されたトーンカーブに基づいて各画素の輝度値を圧縮する。

ＲＧＢ再計算回路２６は、ローカルトーンマッピング回路２５により変換された輝度値から、ローダイナミックレンジに対応する各画素のＲＧＢの各色の画素値を再計算する。
すなわち、ＲＧＢ再計算回路２６により、ローカルトーンマッピング回路２５により圧縮された輝度値に応じたＲＧＢの各色の画素値が逆算される。

従来は、このＲＧＢ再計算回路２６により得られたＲＧＢのフレーム画像信号が、ＨＤＲ圧縮画像信号として、表示装置などに出力されている。
しかし、本実施形態のローカルトーンマッピング処理回路２４は、輝度補正回路２７を含み、ＲＧＢ再計算回路２６により得られたＲＧＢのフレーム画像信号に対して輝度補正が行われる。

以下、ＲＧＢ再計算回路２６から出力されるＲＧＢ信号を、Ｒ１信号、Ｇ１信号及びＢ１信号という。
輝度補正回路２７は、飽和検出回路３１と、データ配分回路３２と、ブレンド回路３３を含む。

飽和検出回路３１は、ＲＧＢ再計算回路２６から出力されるＲ１、Ｇ１、Ｂ１の各色信号の画素値が飽和値（最大値）を超えているか否かを判定する回路である。
すなわち、飽和検出回路３１は、第１の輝度ダイナミックレンジ（例えば２４ビット）に対応する色データから第２の輝度ダイナミックレンジ（例えば１６ビット）に対応する色データに変換されたフレーム画像中の各画素の色データの値が所定の飽和値（後述する飽和値sat_val）を超えたか否かにより画素毎の各色データの飽和を検出する。

データ配分回路３２は、飽和検出回路３１により飽和した色信号が検出されたとき、飽和していない色信号の画素値へ、飽和した色信号の画素値を配分し、飽和した色信号の飽和値と、飽和していない色信号の配分後の色信号の画素値を出力する。

すなわち、データ配分回路３２は、前記飽和が検出された画素が飽和していない状態の輝度値を保つために必用なデータ量を計算して、飽和が検出された画素において飽和が検出された飽和色データ以外の飽和していない他の非飽和色データに、配分して出力する。

以下、データ配分回路３２から出力されるＲ信号、Ｇ信号及びＢ信号を、それぞれＲ２信号、Ｇ２信号及びＢ２信号という。
ブレンド回路３３は、ＲＧＢ再計算回路２６から出力されたＲ１、Ｇ１、Ｂ１信号と、データ配分回路３２から出力されたＲ２、Ｇ２、Ｂ２信号のブレンドを行う。

ローカルトーンマッピング処理回路２４は、ブレンド回路３３においてブレンドされたＲＧＢの画像信号を出力する。
次に、データ配分回路３２の処理について具体的に説明する。

図５は、ＲＧＢ信号の画素値の配分を説明するための図である。ここでは、Ｒ１（赤色）の信号が飽和値sat_valをオーバーしている例である。図５の縦軸は、Ｒ，Ｇ，Ｂの画素値、あるいはその画素の輝度値を示す。

図５において、飽和値sat_valは、ローカルトーンマッピング回路２５において算出された当該画素の圧縮後の画素値（例えば１６ビット）の最大値すなわち飽和値である。輝度値tgtYは、ローカルトーンマッピング回路２５において圧縮された当該画素の輝度値Ｙ１である。
tgtY_restは、ＨＤＲ圧縮後の輝度値tgtY（＝Ｙ１）と飽和値sat_valとの差を示す。

hdrG_restは、圧縮後のＧ１信号の画素値と飽和値sat_valとの差、言い換えればＧ１信号の飽和値sat_valまでの余裕値を示す。同様に、hdrB_restは、圧縮後のＢ１信号の画素値と飽和値sat_valとの差、言い換えればＢ１信号の飽和値sat_valまでの余裕値を示す。

まず、データ配分回路３２では、次の式（２）を用いて、hdrY_restが算出される。
hdrY_rest＝（（Ｃｇ＊hdrG_rest）＋（Ｃｂ＊hdrB_rest））・・・（２）
hdrY_restは、ＨＤＲ信号の輝度値において、飽和していない色信号（ここでは、Ｇ１信号とＢ１信号）を、係数（ここでは、Ｃｇ，Ｃｂ）を用いて輝度値Ｙ１を上げることができるデータ量、すなわち非飽和の色信号の嵩上げ最大可能量である。

さらに、データ配分回路３２は、このhdrY_restと、tgtY_restとを用いて、次の式（３）を用いて調整ゲインadj_gainを算出する。
adj_gain＝（tgtY_rest／hdrY_rest）・・・（３）
データ配分回路３２では、この調整ゲインadj_gainから、次の式（４）と（５）を用いて、飽和していない２つの色信号（ここではＧ１信号、Ｂ１信号）の画素値補正量が算出される。調整ゲインadj_gainは、１よりも小さい値である。

adjG_rest＝（hdrG_rest＊adj_gain）・・・（４）
adjB_rest＝（hdrB_rest＊adj_gain）・・・（５）
データ配分回路３２では、次の式（６）と（７）を用いて、飽和していない２つの色信号（ここではＧ１信号、Ｂ１信号）の補正画素値Ｇ２、Ｂ２が算出される。

Ｇ２＝（sat_val−adjG_rest）・・・（６）
Ｂ２＝（sat_val−adjB_rest）・・・（７）
式（６）と（７）により算出されたＧ２、Ｂ２の各信号と、飽和値のＲ２信号がデータ配分回路３２から出力される。

よって、上述したＲ１信号が飽和している場合、Ｇ１信号とＢ１信号は、調整ゲインadj_gainを用いて、増加するように補正されて、Ｇ２信号とＢ２信号となる。言い換えれば、式（２）から（７）より、非飽和色のＧ２とＢ２の各データは、飽和色のＲ１が飽和しても輝度値は低下しないようにする為に調整された値ということができる。

以上のように、データ配分回路３２は、他の非飽和色データの所定の飽和値sat_valまでの差に応じたデータから、飽和が検出された画素が飽和していない状態の輝度値を保つために必要なデータ量を計算して、他の非飽和色データに配分する。上記の例では、フレーム画像は、ＲＧＢの３つの色データを含み、データ配分回路３２は、３つの色データの中の１つの色データの値が所定の飽和値sat_valを超えたとき、３つの色データの中の１つの色データ以外の他の２つの色データについての飽和値sat_valまでの差に応じたデータから、飽和が検出された画素が飽和していない状態の輝度値を保つために必要なデータ量を計算して、他の非飽和色データである他の２つの色データに配分する。
なお、データ配分回路３２は、３つの色データの中の２つの色データの値が所定の飽和値sat_valを超えたとき、３つの色データの中の２つの色データ以外の他の１つの色データについての飽和値sat_valまでの差に応じたデータから、飽和が検出された画素が飽和していない状態の輝度値を保つために必要なデータ量を計算して、他の非飽和色データである他の１つの色データに配分する。

データ配分回路３２は、飽和値（sat_val）のＲ２信号と、式（６）と（７）により算出されたＧ２信号とＢ２信号をブレンド回路３３に出力する。
ブレンド回路３３は、ＲＧＢ再計算回路２６からのＲ１信号、Ｇ１信号、Ｂ１信号（輝度補正前の画像信号）と、データ配分回路３２からのＲ２信号、Ｇ２信号、Ｂ２信号（輝度補正後の画像信号）を受信し、設定されたブレンド係数OrgYbldに基づいて輝度補正前の画像信号と輝度補正後の画像信号をブレンドする。

ここでは、ブレンド係数OrgYbldは、０から１０２４の間のいずれかの数値であり、ＲＧＢ再計算回路２６からのＲ１信号、Ｇ１信号、Ｂ１信号の各色の画素値をブレンドする量を示す。

ブレンド回路３３は、次の式（８）〜（１０）に基づいて、輝度補正前の画像信号と輝度補正後の画像信号をブレンドした画像信号として、Ｒ３信号、Ｇ３信号、Ｂ３信号を出力する。

Ｒ３＝（（OrgYbld＊Ｒ１）＋（（１０２４−OrgYbld）＊Ｒ２））＞＞１０・・(８)
Ｇ３＝（（OrgYbld＊Ｇ１）＋（（１０２４−OrgYbld）＊Ｇ２））＞＞１０・・(９)
Ｂ３＝（（OrgYbld＊Ｂ１）＋（（１０２４−OrgYbld）＊Ｂ２））＞＞１０・・(10)
ここで、「＞＞１０」は、データの右シフトを示し、ブレンド係数として「１０２４」を用いているので、１０桁だけ右シフトをすることにより、各画素値を１０２４で除算することを示している。

ブレンド係数OrgYbldの値を高くすると、Ｒ３信号、Ｇ３信号及びＢ３信号を含む画像は、元々の画像の有する色に近い画像にすることができる。ブレンド係数OrgYbldの値が低くなると、Ｒ３信号、Ｇ３信号及びＢ３信号を含む画像の輝度は、高くなる。

以上のように、ブレンド回路３３は、第２の輝度ダイナミックレンジ（１６ビット）の各画素の色データＲ１、Ｇ１、Ｂ１と、データ配分回路３２において計算されたデータ量が配分された非飽和色の色データＲ２、Ｇ２、Ｂ２とを、設定されたブレンドパラメータに基づいて各画素の色毎にブレンドする。

このブレンド係数OrgYbldの値を調整することにより、輝度補正前の画像信号の影響度を調整することができる。
以上のように、本実施形態では、輝度補正回路２７において非飽和色の画素値を増加させることにより、圧縮後の輝度値Ｙ１を維持することができる。

図６は、ローカルトーンマッピング処理回路２４において輝度補正を行わないときの表示画像の例を示す図である。図６は、表示装置に表示された道路上に設置された信号機の画像ＤＩＭの例を示す。信号機ＳＩＧは、３つの色、すなわち緑色、黄色及び赤色の３つのランプＧＬ、ＢＬ、ＲＬを有する。

画像ＤＩＭは、赤色の信号ＲＬのみ色のみが強く、他の色が極めて弱いような、色に極端な偏りがある画像であるとき、輝度補正回路２７を有さない従来装置の場合、図５に示すように、再計算された画素の輝度値が大きく低下して、黒点ＢＰが画像ＤＩＭ中に現れる場合がある。

しかし、上述した本実施形態によれば、ローカルトーンマッピング処理回路２４において、非飽和画素の画素値を増加する輝度補正を行い、ＲＧＢの色信号を出力するようにしているので、図６に示すような黒点ＢＰの発生が抑制される。

以上の例では、ＲＧＢの３つの色のうちＲ信号が飽和しているときに、Ｇ信号とＢ信号に対して輝度補正を行っている場合を説明しているが、ＲＧＢの３つの色のうちＲ信号以外のＧ信号（あるいはＢ信号）が飽和しているときに、Ｇ信号（あるいはＢ信号）以外の２つの色信号（Ｒ信号とＢ信号、あるいはＲ信号とＧ信号）に対して輝度補正が行われる。

以上のように、本実施形態によれば、フレーム画像中の色に極端な偏りがあっても、データ圧縮後の輝度値の低下が生じないダイナミックレンジ圧縮装置及び画像処理装置を提供することができる。
（第２の実施形態）
第１の実施形態では、飽和していない非飽和画素の画素値の飽和値までの余裕値と、ＨＤＲ圧縮後の輝度値の比率を用いて非飽和画素の画素値の調整が行われているが、本実施形態では、所定の飽和値をオーバーしている分を、飽和していない所定の色の画素の画素値に加算するように調整が行われる。

図７は、ＲＧＢ信号の画素値の配分を説明するための図である。ここでは、Ｒ１（赤色）の信号が飽和値sat_valをオーバーしている例である。
データ配分回路３２は、Ｒ１信号の飽和値sat_valをオーバーしている分（点線で示す量）を、飽和していない所定の色（ここでは、Ｒ１が飽和値sat_valをオーバーしているときは、Ｇ１）の画素値に、加算している。

すなわち、本実施形態では、データ配分回路３２は、他の非飽和色データに、飽和色データの一部として、飽和が検出された飽和色データの所定の飽和値sat_valをオーバーしている分だけ加算する。
なお、Ｒ１信号の飽和値sat_valをオーバーしている分（点線で示す量）を、飽和していない所定の色（ここではＧ１）の画素値に加算した結果、その所定の色（ここではＧ１）も飽和値sat_valをオーバーしたときは、Ｇ１信号の飽和値sat_valをオーバーした分は、Ｂ１信号に加算される。

以上のように、フレーム画像は、ＲＧＢの３つの色データを含み、データ配分回路３２は、３つの色データの中の１つの色データの値が所定の飽和値sat_valを超えたとき、１つの色データの値が所定の飽和値からオーバーしている分に応じたデータを、飽和色データの一部として他の非飽和色データの１つ又は２つに加算する。

さらになお、非飽和の画素が２色の場合、飽和値をオーバーしている分を、所定の割合で、その非飽和の２色の色データに配分するようにしてもよい。
その他の処理は、第１の実施形態と同様であり、本実施形態も、第１の実施形態と同様の効果を有する。

なお、以上の２つの実施形態では、ＲＧＢの３つの色のうち１つの色データが飽和しているときに、他の２つの色データに対して輝度補正を行っている場合を説明しているが、ＲＧＢの３つの色のうち２つの色データが飽和しているときには、残りの１つの色データに対して輝度補正が行われる。

以上のように、上述した２つ実施形態によれば、フレーム画像中の色に極端な偏りがあっても、データ圧縮後の輝度値の低下が生じないダイナミックレンジ圧縮装置及び画像処理装置を提供することができる。
結果として、上述したダイナミックレンジ圧縮装置及び画像処理装置を有する画像処理システムは、物体認識、文字認識などの各種認識処理を精度良く行うことができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１画像処理システム、２カメラ、２ａ撮像素子、３画像処理装置、４ＩＳＰ、５ＣＰＵ、６ＤＲＡＭ、７バス、１２セレクタ、１３デモザイク回路、２１輝度計算回路、２２ローカルトーンパラメータ計算回路、２３メモリ、２４ローカルトーンマッピング処理回路、２５ローカルトーンマッピング回路、２６ＲＧＢ再計算回路、２７輝度補正回路、３１飽和検出回路、３２データ配分回路、３３ブレンド回路。

Claims

第１の輝度ダイナミックレンジに対応する色データから第２の輝度ダイナミックレンジに対応する色データに変換されたフレーム画像中の各画素の色データの値が所定の飽和値を超えたか否かにより画素毎の前記各色データの飽和を検出する飽和検出回路と、
前記飽和が検出された画素が飽和していない状態の輝度値を保つために必要なデータ量を計算して、前記飽和が検出された画素において前記飽和が検出された飽和色データ以外の飽和していない他の非飽和色データに、配分して出力するデータ配分回路と、
を有するダイナミックレンジ圧縮装置。
前記データ配分回路は、前記他の非飽和色データの前記所定の飽和値までの差に応じたデータから前記データ量を計算して、前記他の非飽和色データに配分する、請求項１に記載のダイナミックレンジ圧縮装置。
前記フレーム画像は、ＲＧＢの３つの色データを含み、
前記データ配分回路は、前記３つの色データの中の１又は２つの色データの値が前記所定の飽和値を超えたとき、前記３つの色データの中の前記１又は２つの色データ以外の他の色データについての前記差に応じたデータから前記データ量を計算して、前記他の非飽和色データである前記他の色データに配分する、請求項２に記載のダイナミックレンジ圧縮装置。
前記第２の輝度ダイナミックレンジの前記各画素の色データと、前記データ配分回路において計算された前記データ量が配分された前記非飽和色の色データとを、設定されたブレンドパラメータに基づいて前記各画素の色毎にブレンドするブレンド回路を有する、請求項１に記載のダイナミックレンジ圧縮装置。
請求項１に記載のダイナミックレンジ圧縮装置を有する画像処理装置。
第１の輝度ダイナミックレンジに対応する色データから第２の輝度ダイナミックレンジに対応する色データに変換されたフレーム画像中の各画素の色データの値が所定の飽和値を超えたか否かにより画素毎の前記各色データの飽和を検出する飽和検出回路と、
前記飽和が検出された画素において前記飽和が検出された飽和色データ以外の飽和していない他の非飽和色データに、前記飽和色データの一部を加算するように配分して出力するデータ配分回路と、
を有するダイナミックレンジ圧縮装置。
前記データ配分回路は、前記他の非飽和色データに、前記飽和が検出された前記飽和色データの前記所定の飽和値をオーバーしている分だけ加算する、請求項６に記載のダイナミックレンジ圧縮装置。
前記フレーム画像は、ＲＧＢの３つの色データを含み、
前記データ配分回路は、前記３つの色データの中の１つの色データの値が前記所定の飽和値を超えたとき、前記１つの色データの値が前記所定の飽和値からオーバーしている分に応じたデータを、前記飽和色データの一部として前記他の非飽和色データの１つ又は２つに加算する、請求項７に記載のダイナミックレンジ圧縮装置。
前記第２の輝度ダイナミックレンジの前記各画素の色データと、前記データ配分回路において前記飽和が検出された画素の色データの一部が加算された前記非飽和色の色データとを、設定されたブレンドパラメータに基づいて前記各画素の色毎にブレンドするブレンド回路を有する、請求項６に記載のダイナミックレンジ圧縮装置。
請求項６に記載のダイナミックレンジ圧縮装置を有する画像処理装置。