JP2007194832A - 階調補正装置 - Google Patents

Abstract

【課題】 コントラストを低下させずに良質な画像を得る階調補正を行い、後段処理のダイナミックレンジを越える広いダイナミックレンジを後段処理のダイナミックレンジに収めることができる階調補正装置を提供する。
【解決手段】 階調補正装置は、撮像画像の入力を受け付ける固体撮像素子１０２と、固体撮像素子１０２にて入力された撮像画像を輝度に基づいて複数の領域に分割する境界を生成する輝度境界生成部１１０２と、固体撮像素子１０２にて入力された撮像画像から物体の輪郭を抽出する輝度輪郭抽出部１１０３と、輝度境界生成部１１０２にて生成された境界と輝度輪郭抽出部１１０３にて抽出された輪郭とに基づいて、撮像画像を分割する複数の分割領域を生成する分割領域生成部１１１５と、分割領域生成部１１１５にて生成された分割領域ごとに階調補正を行う階調補正部１１１，１１２とを備える。
【選択図】図１

Description

本発明は、ディジタルカメラやイメージスキャナ、テレビジョン等の画像信号の階調補正を行う階調補正装置に関し、特に、ダイナミックレンジ拡大後に階調補正を行う装置に関する。

従来のディジタルカメラ等の撮像装置では、室内から窓際等を撮像する場合、室内の被写体に合わせて露光制御を行うと窓の外の風景が白く飛んでしまい、窓の外の風景に合わせて露光制御を行うと室内の被写体が黒く潰れてしまうことがあった。

例えば、図９（ａ）に示すように室内と室内より明るい外の風景を撮像する場合、撮像素子の露光量を室内の被写体に合わせると図９（ｂ）に示すように、窓の外の風景が白くなってしまう。逆に、撮像素子の露光量を窓の外の風景に合わせると、図９（ｃ）に示すように室内の被写体が黒く潰れてしまう。

このような問題を解決する方法として、例えば、シャッタースピードの制御によって撮像素子の露光量を変化させ、露光量の異なる複数の画像を撮像する方法が知られている。この方法によれば、露光量の異なる複数の画像を合成することによって撮像ダイナミックレンジを拡大し、明るい部分と暗い部分とを適切に撮像することが可能となる。

また、露光量の異なる複数の画像を合成する前に、ある一定輝度値以上の領域を高輝度用ガンマカーブで階調補正し、一定値以下の領域を低輝度用ガンマカーブで階調補正する方法も知られている。この方法によれば、２つのガンマカーブの繋ぎ目で入力輝度値と出力輝度値が逆転するので、階調感を損なうことなく、拡大された撮像ダイナミックレンジが後段処理のダイナミックレンジに収めることができる（特許文献１参照）。

また、露光量の異なる画像のうち露光量が少ない低輝度画像にローパスフィルタ（ＬＰＦ）を通した信号を合成係数として露光量の異なる高輝度・低輝度画像を合成することで、急峻な変化点を無くす方法も知られている。この方法によれば、局所的には輝度の逆転がなくなり、後段処理のダイナミックレンジを越えることなく見た目のダイナミックレンジを拡大できる（特許文献２参照）。
特開２００２−１３５６４９号公報 特開２００３−１５８６６９号公報

しかしながら、露光量の異なる複数の画像を合成する方法では、拡大した撮像ダイナミックレンジは信号処理回路やモニタといった後段処理のダイナミックレンジを越えてしまう。従って、後段処理のダイナミックレンジの範囲内に収めるために、合成画像に対してガンマ変換が行われるが、単純なガンマ変換で後段処理のダイナミックレンジに圧縮すると、階調感が損なわれてしまいコントラストが低下する場合があった。

また、特許文献１に記載されている発明では、例えば、図１０（ａ）に示す低輝度用ガンマカーブと図１０（ｂ）に示す高輝度用ガンマカーブの２種類のガンマカーブを用いて階調補正を行う。この際、例えば、図１０（ｃ）に示すように、入力輝度値Ｐｃで低輝度用ガンマカーブと高輝度用ガンマカーブが切り替わると、入力輝度値Ｐｃでガンマカーブが単調増加ではなくなる。従って、同一の被写体で輝度の変化が不連続になり不自然な画像になる可能性があった。例えば、図９（ａ）に示すシーンにおいて、テーブルの下部の入射光量がＴｂ、上部の入射光量がＴｔとすると、入射光量はテーブルの下部から上部まで連続的に増加するが、図１０（ｃ）に示すガンマカーブで変換を行うと、入射光量Ｔｂと入射光量Ｔｔの間に単調増加でない箇所が発生する。同様に、ボールの右下部から左上部に連続的に入力輝度値が変化する間に単調増加ではない箇所が発生してしまう。その結果、図９（ｄ）に示すように、濃淡の変化に連続性を有するはずの位置の物体中で輝度の逆転が生じた不自然な画像になってしまう。

特許文献２に記載されている発明では、局所的な輝度の逆転は起きないが、大局的に輝度が逆転する箇所が生じ、これが同一の物体の中で生じると不自然な画像になる場合がある。

本発明は、上記の背景に鑑みてなされたものであり、コントラストを低下させずに良質な画像を得る階調補正を行い、後段処理のダイナミックレンジを越える広いダイナミックレンジを後段処理のダイナミックレンジに収めることができる階調補正装置を提供する。

本発明の階調補正装置は、撮像画像の入力を受け付ける撮像画像入力部と、前記撮像画像入力部にて入力された撮像画像を輝度に基づいて複数の領域に分割する境界を生成する輝度境界生成部と、前記撮像画像入力部にて入力された撮像画像から物体の輪郭を抽出する輪郭抽出部と、前記輝度境界生成部にて生成された境界と前記輪郭抽出部にて抽出された輪郭とに基づいて、前記撮像画像を分割する複数の分割領域を生成する分割領域生成部と、前記分割領域生成部にて生成された分割領域ごとに階調補正を行う階調補正部とを備えた構成を有する。

この構成により、撮像された物体の輪郭を用いて階調補正を行う領域を決定するので、一の物体の中での出力輝度変化の不連続性の発生を防止した階調補正を行える。輪郭によって画定される同一の物体においては、通常、濃淡が連続的に変化するので、一の物体の中で同じ階調補正を行って濃淡の連続性を維持することにより、良質な補正画像を得ることができる。

本発明の階調補正装置において、前記分割領域生成部は、前記輝度境界生成部にて生成された境界のうち、前記輪郭抽出部にて抽出された輪郭により形成される閉じた領域を通過しない境界によって、前記分割領域を生成する構成を有する。

この構成により、輪郭により形成される閉じた領域で形成される一の物体の画像に対して、同じ階調補正が行われることとなるので、一の物体の中での輝度変化の不連続性の発生を防止することができる。

本発明の階調補正装置において、前記分割領域生成部は、前記輝度境界生成部にて生成された境界のうち、前記輪郭抽出部にて抽出された輪郭に一致する境界によって前記分割領域を生成する構成を有する。

この構成により、物体の輪郭を境界として階調補正に用いる関数を変えることで、コントラスト低下を抑えた階調補正を行い、良質な広ダイナミックレンジ画像を生成できる。

本発明の撮像装置は、被写体からの光を電気信号に光電変換する撮像素子と、前記撮像素子にて得られた撮像画像の階調補正を行う上記の階調補正装置とを備えた構成を有する。

この構成により、本発明の階調補正装置と同様に、一の物体の中での出力輝度変化の不連続性の発生を防止した階調補正を行える。

本発明によれば、撮像画像の輝度に加えて、撮像された物体の輪郭を用いて、階調補正を行う領域を決定するので、階調補正によって一の物体の中での出力輝度変化の不連続性の発生を防止して良質な補正画像を得ることができるというすぐれた効果を有する。

以下、本発明の実施の形態の階調補正装置について、図面を用いて説明する。本実施の形態では、階調補正処理を行う階調補正部および階調補正部を制御する信号を生成する階調補正制御部を備えた撮像装置を例として説明する。

図１は、本発明の実施の形態の撮像装置１００を示す図である。図１に示すように、撮像装置１００は、被写体を結像するレンズ１０１と、レンズ１０１にて結像された画像を光電変換する固体撮像素子１０２と、固体撮像素子１０２にて得られた信号に基づいて映像を合成する映像信号合成部１０６とを備えている。固体撮像素子１０２は露光時間の異なる２つの出力信号を出力する。以下、長い露光時間によって撮像された信号をＬＯＮＧ信号、短い露光時間によって撮像された信号をＳＨＯＲＴ信号という。

固体撮像素子１０２と映像信号合成部１０６との間には、ＣＤＳ１０３と、ＡＧＣ回路１０４と、Ａ／Ｄ変換器１０５とが介在されている。ＣＤＳ１０３は、固体撮像素子１０２からの出力信号を相関二重サンプリングしてノイズを除去する。ＡＧＣ回路１０４は、被写体の明るさに応じてＣＤＳ１０３からの出力を一定に利得制御する。Ａ／Ｄ変換器１０５は、アナログ信号をディジタル信号に変換する。映像信号合成部１０６は、Ａ／Ｄ変換器１０５から出力されたＬＯＮＧ信号とＳＨＯＲＴ信号を合成して映像信号を生成する。

また、本実施の形態の撮像装置１００は、映像信号合成部１０６にて生成された合成映像信号１１４の輝度平均値を算出する輝度平均値算出部１０７と、輝度平均値算出部１０７にて算出された輝度平均値に基づいて適切な露光時間を算出するマイコン１０８と、マイコン１０８により算出された露光時間に応じて固体撮像素子１０２を駆動するためのパルスを生成するタイミングパルス生成部１０９とを備えている。

また、撮像装置１００は、階調補正を行うための構成として、高輝度用の階調補正制御信号により階調補正を行う高輝度階調補正部１１１と、低輝度用の階調補正制御信号により階調補正を行う低輝度階調補正部１１２と、高輝度階調補正部１１１からの信号１１５と低輝度階調補正部１１２からの信号１１６とのいずれかを選択する映像信号選択部１１３とを備えている。高輝度階調補正部１１１と低輝度階調補正部１１２は、階調補正制御部１１０からの信号によって制御される。

次に、階調補正制御部１１０の構成について説明する。階調補正制御部１１０は、映像信号合成部１０６から出力された合成映像信号１１４に基づいて輝度信号１１０７を生成する輝度値生成部１１０１と、輝度値生成部１１０１にて生成された輝度信号１１０７に基づいて撮像画像を分割する複数の分割領域を生成し、その境界線をヒストグラム領域境界信号１１１０として出力する分割領域生成部１１１５と、ヒストグラム領域境界信号１１１０を基準に輝度値生成部１１０１からの輝度１１０７を２つのグループに振分ける輝度値振分け部１１０４とを有する。

また、階調補正制御部１１０は、輝度値振分け部１１０４で振分けられた輝度信号１１０７から高輝度領域ヒストグラム１１１１を生成する高輝度領域ヒストグラム生成部１１０５と、高輝度領域ヒストグラム１１１１を累積加算する累積加算部１１１３と、低輝度領域ヒストグラム１１１２を生成する低輝度領域ヒストグラム生成部１１０６と、低輝度領域ヒストグラム１１１２を累積加算する累積加算部１１１４とを有しており、累積加算部１１１３，１１１４からの出力を高輝度階調補正部１１１および低輝度階調補正部１１２に入力する。以上の構成により、撮像画像を複数の領域に分割し、分割された領域毎に求めた階調補正信号により階調補正処理を行う。

本実施の形態では、階調補正制御部１１０の分割領域生成部１１１５が領域を分割するための以下の構成を有する。すなわち、階調補正制御部１１０は、輝度信号１１０７と所定の閾値との大小関係に基づいて、撮像画像を分割する境界線を輝度境界信号１１０８として出力する輝度境界生成部１１０２と、輝度信号１１０７に基づいて撮像画像に含まれる被写体の輪郭成分を抽出し、輝度輪郭信号１１０９として出力する輝度輪郭生成部１１０３とを有する。分割領域生成部１１１５は、輝度境界信号１１０８と輝度輪郭信号１１０９に基づいて撮像画像の領域分割を行う。

輝度境界生成部１１０２は、輝度値生成部１１０１にて生成された輝度信号１１０７を所定の閾値と比較して、撮像画像を、輝度信号が所定の閾値より大きい領域と小さい領域とに分ける。ここで用いられる所定の閾値は、Ｌｏｎｇ信号が飽和しない極力大きな値が望ましく、映像信号合成部１０６で行った合成においてＬｏｎｇ信号とＳｈｏｒｔ信号とを切り替えた信号レベルとする。

図２（ｂ）は、図２（ａ）に示されるシーンを輝度境界生成部１１０２によって２つの領域に分けた例を示す図である。図２（ｂ）において、白色で示す部分は、輝度信号１１０７が所定の閾値より大きい領域、網掛けで示す部分は、輝度信号１１０７が所定の閾値より小さい領域を示す。輝度境界生成部１１０２は、白色の領域と網掛けの領域の境界線を輝度境界信号１１０８として出力する。

輝度輪郭生成部１１０３は、輝度信号１１０７にハイパスフィルター（ＨＰＦ）等をかけることによって輝度信号１１０７の輪郭成分を抽出し、輝度輪郭信号１１０９を出力する。図２（ｃ）は、図２（ａ）に示されるシーンから輪郭成分を抽出した例を示す図である。輝度輪郭生成部１１０３は、輝度輪郭信号１１０９を分割領域生成部１１１５に対して出力する。

分割領域生成部１１１５は、輝度境界信号１１０８と輝度輪郭信号１１０９を受信すると、両信号に基づいて、ヒストグラム領域境界信号１１１０を生成する。分割領域生成部１１１５は、輝度境界信号１１０８で示される線分と輝度輪郭信号１１０９で示される線分の両方に存在する閉じた線分をヒストグラム領域境界信号１１１０として、新しい領域を生成する。例えば、図２（ａ）に示されるシーンでは、ボール上部とテーブル上部を囲む境界線（図２（ｂ）参照）と一致する輪郭線は存在しないので（図２（ｃ）参照）、ヒストグラム領域境界信号１１１０としては出力されない。図２（ａ）に示される窓枠は、輝度境界信号１１０８（図２（ｂ）参照）と輝度輪郭信号１１０９（図２（ｃ）参照）の両方に存在するので、ヒストグラム領域境界信号１１１０として出力される。図２（ｄ）は、図２（ｂ）に示す輝度境界信号１１０８および図２（ｃ）に示す輝度輪郭信号１１０９から得られるヒストグラム領域境界信号１１１０を示す図である。

次に、本実施の形態の撮像装置１００の階調補正処理について説明する。ここでは、図２（ａ）に示す室内と窓外の風景を含むシーンを撮像した場合を例として説明する。

図３（ａ）は、入射光量に対する固体撮像素子１０２の出力レベルを表したグラフである。図３（ａ）に示されるように、Ｌｏｎｇ信号は室内のテーブルとボールが適正露出で撮像されるように露出時間を制御した場合の出力レベルを表し、Ｓｈｏｒｔ信号は窓外の家や空が適正露出で撮像されるように露出時間を制御した場合の出力レベルを表している。

Ｌｏｎｇ信号は入射光量Ａまでは入射光量に比例して出力レベルが増加し、入射光量Ａで飽和レベルｓａｔに達する。Ｌｏｎｇ信号は、入射光量Ａより上では常に飽和レベルｓａｔとなる。つまり、Ｌｏｎｇ信号は、入射光量Ａまでは画像として表現可能であるが、入射光量Ａを越えると白飛びして表現不可能となる。このような露光条件で図２（ａ）のシーンを撮像した場合、図９（ｂ）に示すように、室内のテーブルとボールは見えているが窓外の家と空は見えない画像が得られる。

一方、Ｓｈｏｒｔ信号では飽和レベルｓａｔに達する入射光量がかなり大きいため、広い範囲で入射光量と出力レベルとが比例の関係にある。つまり、入射光量の大きい範囲まで表現可能であるが、入射光量の変化量に比べ出力光量の変化量が少ないため、低入射光量では黒つぶれして表現不可能となる。このような露光条件で、図２（ａ）のシーンを撮像した場合、図９（ｃ）に示すように、窓外の家と空は見えているが、室内のテーブルとボールは黒つぶれした画像となる。

撮像装置１００の固体撮像素子１０２は、図３（ａ）に示すＬｏｎｇ信号とＳｈｏｒｔ信号を出力する。出力されたＬｏｎｇ信号およびＳｈｏｒｔ信号は、ＣＤＳ１０３、ＡＧＣ１０４、Ａ／Ｄ変換器１０５を通過し、映像信号合成部１０６に入力される。映像信号合成部１０６は、図３（ｂ）に示すように、Ｓｈｏｒｔ信号をｎ倍したＳｈｏｒｔ’信号を作る。ここで倍数ｎは、Ｌｏｎｇ信号の露光量対Ｓｈｏｒｔ信号の露光量により定める。図３（ｂ）に示すように、入射光量０〜ＡまではＬｏｎｇ信号とＳｈｏｒｔ’信号とは重なる。入射光量０〜Ａまでの区間ではＬｏｎｇ信号、入射光量Ａより上ではＳｈｏｒｔ’信号を選択することで、固体撮像素子１０２のｎ倍のダイナミックレンジを有する合成映像信号１１４を得る。

合成映像信号１１４は、前記固体撮像素子１０２のｎ倍の階調を表現可能となるが、このままでは映像信号処理、モニタといった後段処理のダイナミックレンジを大きく越えている。本実施の形態では、合成映像信号１１４を階調補正し、後段処理のダイナミックレンジ内に収める。

本実施の形態の階調補正は、階調補正制御部１１０によって制御される。階調補正制御部１１０においては、まず、輝度値生成部１１０１が、合成映像信号１１４から輝度信号１１０７を生成する。

続いて、輝度値生成部１１０１にて生成された輝度信号に基づいて、輝度境界生成部１１０２が撮像画像を所定の閾値より大きな値が属する領域と小さな値とが属する領域の２つの領域に分ける。ここで所定の閾値は、Ｌｏｎｇ信号が飽和しない極力大きな値が望ましい。ここでは映像信号合成部１０６で行った合成においてＬｏｎｇ信号とＳｈｏｒｔ信号とを切り替えた信号レベルｓａｔである。

また、輝度輪郭生成部１１０３は、輝度信号１１０７にハイパスフィルター（ＨＰＦ）等をかけることによって輝度信号１１０７の輪郭成分を抽出し、輝度輪郭信号１１０９を出力する。

次に、分割領域生成部１１１５は、輝度境界信号１１０８と輝度輪郭信号１１０９とに基づいて、図２（ｄ）に示すように、ヒストグラム領域境界信号１１１０を生成する。図２（ｄ）からも分かるように室内のボールの左上部分とテーブルの上部分とは高輝度ではあるが、輝度輪郭信号１１０９を考慮する事により低輝度領域に属することになる。このように同一の物体の中ではヒストグラム領域境界信号１１１０は発生しない。

分割領域生成部１１１５は、ヒストグラム領域境界信号１１１０を境界線として画像を高輝度領域と低輝度領域との２つの領域に分ける。図２（ｅ）はヒストグラム領域境界信号１１１０を境界線とした高輝度領域と低輝度領域との２つの領域を示す。図２（ｅ）において、白色で示した部分は高輝度領域、網掛けで示した部分は低輝度領域である。

輝度値振分け部１１０４は、ヒストグラム領域境界信号１１１０に基づいて輝度信号１１０７を高輝度領域に属するグループと低輝度領域に属するグループとに振り分ける。高輝度領域ヒストグラム生成部１１０５は、高輝度領域グループに振分けられた輝度信号１１０７に基づいて高輝度領域ヒストグラム１１１１を生成し、低輝度領域ヒストグラム生成部１１０６は、低輝度領域グループに振分けられた輝度信号１１０７から低輝度領域ヒストグラム１１１２を生成する。

ここでヒストグラムとは、入力値が取り得る値の範囲を幾つかの階級に分割し、各階級に属する入力値の度数を示した度数分布図である。図４（ａ）は高輝度領域ヒストグラム１１１１を示す図、図４（ｂ）は低輝度領域ヒストグラム１１１２を示す図である。図４（ａ）では所定の閾値よりも高い階級の度数が多く、図４（ｂ）では所定の閾値よりも低い階級の度数が多くなる。

次に、累積加算部１１１３は高輝度領域ヒストグラム１１１１を累積加算し、図４（ｃ）に示すような階調補正特性グラフを生成する。

図５（ａ）および図５（ｂ）は、累積加算によって該階調補正特性グラフを得る方法を説明するための図である。図５（ａ）は該階調補正特性グラフを得る方法をフローチャート、図５（ｂ）はヒストグラムと該階調補正特性グラフと該階調補正特性グラフの生成過程を示す図である。

図５（ａ）に示すように、まず、累積加算部１１１３は、入力値の最小の範囲である第０階級の度数を第０特性値とする（Ｓ１０）。次に、累積加算部１１１３は、ループカウンタｉを１に初期化し（Ｓ１２）、全階級の加算が終了したか判定する（Ｓ１４）。全階級の加算が終了していなければ（Ｓ１４でＮＯ）、第ｉ階級の特性値の加算処理をおこなう（Ｓ１６）。ここでは、第（ｉ−１）特性値と第ｉ階級の度数を加算した値を第ｉ特性値とする。ループカウンタｉをインクリメントし（Ｓ１８）、全階級の加算が終了したか否かの判定に戻る（Ｓ１４）。これにより、図５（ｂ）に示すように、ヒストグラムの階級数と同じ個数の直線からなる折れ線式のグラフＧａを得る。

全階級の加算が終了したら（Ｓ１４でＹＥＳ）、累積加算部１１１３は、ループカウンタｉを０に初期化し（Ｓ２０）、全特性値の正規化が終了したか判定する（Ｓ２２）。全特性値の正規化が終了していなければ（Ｓ２２でＮＯ）、第ｉ階級の正規化処理を行う（Ｓ２４）。ここでは、出力最大値（図５（ｂ）参照）を特性最大値（図５（ｂ）参照）で割った値を全特性値に掛けて正規化を行う。次に、累積加算部１１１３は、ループカウンタｉをインクリメントし（Ｓ２６）、全階級の正規化が終了したか否かの判定に戻る（Ｓ２２）。これにより、図５（ｂ）に示すように、グラフＧａを出力最大値で正規化したグラフＧｂを得る。グラフＧｂが、階調補正特性グラフとなる。全階級の正規化が終了した場合には（Ｓ２２でＹＥＳ）、累積加算部１１１３の処理を終了する。

上記のようにして求められた高輝度領域ヒストグラム１１１１は、図４（ｃ）に示されるように、所定の閾値よりも低い階級の度数が少ないので、階調補正特性グラフとしては所定の閾値以下の範囲では傾きが小さく、所定の閾値以上では傾きが大きくなる。つまり、高輝度領域ヒストグラム１１１１から生成される階調補正特性グラフは、低階級の階調を潰すことで高階級の階調を広げるような特性を持つ。

次に、高輝度階調補正部１１１は、図４（ｃ）に示す階調補正特性グラフで合成映像信号１１４を階調補正し階調補正信号１１５を得る。

図６は、入力値Ｙｉを階調補正した値を求める手順を示す図、図７（ａ）及び図７（ｂ）は、入力値Ｙｉを階調補正した値Ｙｏを求める際に使用する各変数と該階調補正特性グラフとの対応を示す図である。階調補正部１１１は、まず、入力値Ｙｉが属する階級を求め、この階級を第ｒａｎｋ階級とする（Ｓ３０）。そして、一階級幅を示す定数ｒａｎｇｅに変数ｒａｎｋを乗算した値を変数Ｙｉから減算し、変数ｙｌｓｂとする（Ｓ３２）。次に、ステップＳ７０３にて変数ｒａｎｋが０かどうかを判定し（Ｓ３４）、変数ｒａｎｋが０ならば（Ｓ３４でＹＥＳ）、第ｒａｎｋ階級での最小値を示す変数ｂａｓｅに０を代入し（Ｓ３６）、定数ｒａｎｇｅあたりの増加量を示す変数ｓｌｏｐｅに第ｒａｎｋ特性値を代入する（Ｓ３８）。変数ｒａｎｋが０でないならば（Ｓ３４でＮＯ）、変数ｂａｓｅに第（ｒａｎｋ−１）特性値を代入し（Ｓ４０）、変数ｓｌｏｐｅに第ｒａｎｋ特性値−第（ｒａｎｋ−１）特性値を代入する（Ｓ４２）。そして、階調補正部１１１は、変数ｂａｓｅと変数ｓｌｏｐｅと定数ｒａｎｇｅとを用いて出力値Ｙｏを算出する（Ｓ４４）。

上記では、高輝度領域ヒストグラム生成部１１０５、累積加算部１１１３、高輝度階調補正部１１１について説明したが、低輝度側の処理も、入力されるヒストグラムの特性や、階調補正特性グラフが異なるだけで、基本的に同じである。

累積加算部１１１４にて低輝度領域ヒストグラム１１１２から得られる図４（ｄ）に示す階調補正特性グラフは、所定の閾値よりも低輝度側の傾きが大きく、高輝度側の傾きが小さいグラフで、高輝度側の階調を潰して低輝度側の階調を広げる特性となる。階調補正部１１２は、図４（ｄ）に示す該階調補正特性グラフによって合成映像信号１１４を階調補正し、階調補正信号１１６を得る。

最後に、映像信号選択部１１３が、階調補正部１１１の出力と階調補正部１１２の出力をヒストグラム領域境界信号１１１０によって選択し、最終的な信号を出力する。具体的には、映像信号選択部１１３は、図２（ｅ）において白色で示した部分については階調補正部１１１の出力を選択し、網掛けで示した部分については階調補正部１１２の出力を選択する。

図８は、映像信号選択部１１３の動作を示す図である。まず、映像信号選択部１１３は、第１の画素に注目し、これを注目画素Ｙｐとする（Ｓ５０）。次に、全画素の出力値が決定したか判定し（Ｓ５２）、全画素の出力値が決定していなければ（Ｓ５２でＮＯ）、注目画素Ｙｐがヒストグラム領域境界信号に基づいて高輝度領域か否かを判定する（Ｓ５４）。注目画素Ｙｐが高輝度領域ならば（Ｓ５４でＹＥＳ）、映像信号選択部の出力ＯＵＴＳＩＧとして階調補正信号Ｙｏｈを選択する（Ｓ５６）。注目画素が高輝度領域ではないと判定された場合は（Ｓ５４でＮＯ）、出力ＯＵＴＳＩＧとして階調補正信号Ｙｏｌを選択する（Ｓ５８）。

続いて、映像信号選択部１１３は、注目画素Ｙｐを次の画素に移し（Ｓ６０）、全画素終了したか否かの判定（Ｓ５２）に戻る。ここで、第１の画素や注目する画素の決定順序は特に限定しないが、一例を挙げるならば、画面左上の画素を第１の画素とし、現在注目している画素の右の画素を次の注目画素とし、現在注目している画素が右端の画素であれば１つ下の行の左端を次の注目画素とする方法がある。
以上、本実施の形態の階調補正装置を備える撮像装置１００について説明した。

本実施の形態では、階調補正制御部１１０は、階調補正信号を適用する領域を決める分割領域生成部１１１５を備えている。この分割領域生成部１１１５は、輝度信号１１０７から求められた輝度境界信号１１０８および輝度輪郭信号１１０９の両方に存在する閉じた線分を用いて領域を決定しているので、異なる階調補正信号を適用する領域は、物体の輪郭によって形成されることになる。これにより、一の物体の中で階調補正の制御信号が変わらないので、濃淡に連続性のあることが多い一の物体の中で不自然な輝度逆転が生じることがなく、良質な階調補正画像が得られる。

以上、本発明の階調補正装置について、実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態では、２つの露光量の異なる映像信号を合成する例について説明したが、３つ以上の映像信号を合成するについても同様に実施可能である。

また、上記した実施の形態では、露光量の異なる画像のうち露光量の少ない映像信号を露光比倍して合成する例について説明したが、合成方法については特定するわけではなく、他のいかなる合成方法でも実施可能である。さらに、複数の映像信号を合成を行わず、処理する映像信号が単一でも実施可能である。

また、上記した実施の形態では、撮像画像を高輝度領域、低輝度領域に分けて階調補正する例について説明したが、本発明は階調補正を行う領域を２段階の領域に分ける場合のみならず、高輝度、中輝度、低輝度の３段階に分けてもよいし、それ以上の多段階に分けてもよい。

以上説明したように、一の被写体の中での出力輝度変化の発生を防止した階調補正を行えるというすぐれた効果を有し、例えば、ディジタルカメラやイメージスキャナ、テレビジョン等の画像信号の階調補正を行う階調補正装置等として有用である。

本実施の形態の階調補正装置を備えた撮像装置を示す図 （ａ）本実施の形態で説明する撮像シーンの例を示す図（ｂ）撮像シーンの輝度信号に基づいて２つの領域に分けた例を示す図（ｃ）撮像シーンの輝度信号に基づいて輪郭成分を抽出した例を示す図（ｄ）異なる階調補正を行う領域に分割する境界線の例を示す図（ｅ）高輝度領域と低輝度領域に振り分けた例を示す図 （ａ）本実施の形態における入射光量に対する撮像素子出力特性グラフ（ｂ）本実施の形態における合成動作説明のためのグラフ （ａ）高輝度領域ヒストグラムの例を示す図（ｂ）低輝度領域ヒストグラムの例を示す図（ｃ）高輝度領域ヒストグラムから得られる階調補正特性グラフの例を示す図（ｄ）低輝度領域ヒストグラムから得られる階調補正特性グラフの例を示す図 （ａ）階調補正特性グラフを生成する手順を示す図（ｂ）ヒストグラムと階調補正特性グラフと階調補正特性グラフの生成過程のグラフを示す図 入力値Ｙｉを階調補正した値Ｙｏを求める手順を示す図 （ａ）入力値Ｙｉを階調補正した値Ｙｏを求める際に用いる階調補正特性グラフを示す図（ｂ）図７（ａ）の領域７Ｂの拡大図であり、入力値Ｙｉを階調補正した値Ｙｏを求める際に用いる変数の関係を示す図 ２つの階調補正信号を選択する手順を示す図 （ａ）従来技術の説明で用いる撮像シーンの例を示す図（ｂ）階調補正により、明るい部分が白くなった例を示す図（ｃ）階調補正により、暗い部分が黒つぶれした例を示す図（ｄ）階調補正により、一の被写体の中で単調増加ではない箇所が発生した例を示す図 （ａ）特許文献１における低輝度用ガンマカーブ（ｂ）特許文献１における高輝度用ガンマカーブ（ｃ）特許文献１における統合的ガンマカーブ

符号の説明

１００ 撮像装置
１０１ レンズ
１０２ 固体撮像素子
１０３ ＣＤＳ
１０４ ＡＧＣ回路
１０５ Ａ／Ｄ変換器
１０６ 映像信号合成部
１０７ 輝度平均値算出部
１０８ マイコン
１０９ タイミングパルス生成部
１１０ 階調補正制御部
１１１ 高輝度階調補正部
１１２ 低輝度階調補正部
１１３ 映像信号選択部
１１４ 合成映像信号
１１５ 階調補正信号
１１６ 階調補正信号
１１０１ 輝度値生成部
１１０２ 輝度境界生成部
１１０３ 輝度輪郭生成部
１１０４ 輝度値振分け部
１１０５ 高輝度領域ヒストグラム生成部
１１０６ 低輝度領域ヒストグラム生成部
１１０７ 輝度信号
１１０８ 輝度境界信号
１１０９ 輝度輪郭信号
１１１０ ヒストグラム領域境界信号
１１１１ 高輝度領域ヒストグラム
１１１２ 低輝度領域ヒストグラム
１１１３ 累積加算部
１１１４ 累積加算部
１１１５ 分割領域生成部

Claims (4)

1. 撮像画像の入力を受け付ける撮像画像入力部と、
   前記撮像画像入力部にて入力された撮像画像を輝度に基づいて複数の領域に分割する境界を生成する輝度境界生成部と、
   前記撮像画像入力部にて入力された撮像画像から物体の輪郭を抽出する輪郭抽出部と、
   前記輝度境界生成部にて生成された境界と前記輪郭抽出部にて抽出された輪郭とに基づいて、前記撮像画像を分割する複数の分割領域を生成する分割領域生成部と、
   前記分割領域生成部にて生成された分割領域ごとに階調補正を行う階調補正部と、
   を備えたことを特徴とする階調補正装置。
2. 前記分割領域生成部は、前記輝度境界生成部にて生成された境界のうち、前記輪郭抽出部にて抽出された輪郭により形成される閉じた領域を通過しない境界によって、前記分割領域を生成することを特徴とする請求項１に記載の階調補正装置。
3. 前記分割領域生成部は、前記輝度境界生成部にて生成された境界のうち、前記輪郭抽出部にて抽出された輪郭に一致する境界によって前記分割領域を生成することを特徴とする請求項１に記載の階調補正装置。
4. 被写体からの光を電気信号に光電変換する撮像素子と、
   前記撮像素子にて得られた撮像画像の階調補正を行う請求項１〜３のいずれかに記載の階調補正装置と、
   を備えたことを特徴とする撮像装置。
   
   

Images