JP2012134772A

JP2012134772A - 画像処理装置及び方法

Info

Publication number: JP2012134772A
Application number: JP2010285150A
Authority: JP
Inventors: Takayuki Sudo; 貴之須藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-12-21
Filing date: 2010-12-21
Publication date: 2012-07-12
Anticipated expiration: 2030-12-21
Also published as: JP5683255B2

Abstract

【課題】ダイナミックレンジを変更させた時にも明るさが同じ部分の解像感をほぼ一定に保ちたい。
【解決手段】光学系により結像する光学像を電気信号に変換する撮像素子を用いて撮像された画像データから、前記画像の明るさ情報を生成する生成手段と、前記生成手段にて生成された明るさ情報からダイナミックレンジを決定する決定手段と、前記画像データにエッジ補正を施すエッジ補正手段と、前記エッジ補正手段によりエッジ補正された画像データに対して非線形変換を行う変換手段と、前記決定手段により決定されたダイナミックレンジに応じて、前記撮像における露出及び前記変換手段による非線形変換の特性を変更する変更手段と、前記決定手段により決定されたダイナミックレンジに応じて、前記エッジ補正手段によるエッジ補正量を制御する制御手段と、を有する。
【選択図】図５

Description

本発明はエッジ補正に関し、特に輝度系のガンマ補正の非線形特性を変更した際のエッジ補正手法に関する。

デジタルビデオカメラ等の撮像装置では撮像素子からの出力信号を画像処理し、モニタ等に出力する。モニタはガンマ特性を持つため、画像処理部にはモニタのガンマ特性を補正するためのガンマ補正回路が備わっている。輝度信号に対してモニタの逆ガンマ特性の補正を行うと、入射光に対するモニタ出力映像の輝度信号はおおよそ線形に変化する。しかしながら、露出を適正にした状態でモニタの逆ガンマ特性で補正を行うと、ダイナミックレンジが低くなり、高輝度部が比較的早く白飛びしてしまう。コントラストの低い被写体では問題ないが、コントラストが高くなると高輝度部の映像の白飛びが多くなる。そこで従来、明るさ情報を検出し、白飛び領域を検出することで、その情報をもとに絞りを制御することでダイナミックレンジを広くする手法があった（特許文献１参照）。

特開２０１０−１８３４６０号公報

しかしながら、明るさ情報から、その情報をもとにダイナミックレンジを広くする手法において、出力画像の高輝度部以外の明るさをダイナミックレンジ変更前後で略一定に保つために、高輝度部以外の輝度信号に対する輝度ガンマ特性を変更した場合、前記ガンマ特性の補正前に決定しているエッジ補正量に差が出る上、前記輝度ガンマ特性の影響を受け、出力画像の解像感に差が生じてしまうという問題があった。

本発明は、上述した問題点を解決するためのものであり、出力画像の解像感がほぼ一定になるようにする。

上記課題を解決するために、本発明の画像処理装置は、光学系により結像する光学像を電気信号に変換する撮像素子を用いて撮像された画像データから、前記画像の明るさ情報を生成する生成手段と、前記生成手段にて生成された明るさ情報からダイナミックレンジを決定する決定手段と、前記画像データにエッジ補正を施すエッジ補正手段と、前記エッジ補正手段によりエッジ補正された画像データに対して非線形変換を行う変換手段と、前記決定手段により決定されたダイナミックレンジに応じて、前記撮像における露出及び前記変換手段による非線形変換の特性を変更する変更手段と、前記決定手段により決定されたダイナミックレンジに応じて、前記エッジ補正手段によるエッジ補正量を制御する制御手段と、を有することを特徴とする。

以上説明したように本発明によれば、ダイナミックレンジを変更した上、高輝度部以外の明るさをほぼ一定に保つために、輝度信号を変換する非線形特性を変更した際、非線形特性を変更する前のエッジ補正量を適切にすることができ、ほぼ同じ明るさ領域における解像感をほぼ一定とすることができる。

本発明の実施の形態におけるデジタルビデオカメラの構成を概略的に示す図の一例である。ダイナミックレンジ変更時の輝度系ガンマ補正部に設定する非線形特性の例を示す図である。ダイナミックレンジ変更時のエッジ補正量の遷移を示す一例。ダイナミックレンジの拡大量とエッジ補正量との関係を示す図である。ダイナミックレンジ拡大前後のエッジ補正の関係を示す図である。

以下、図面を参照して、本発明の画像処理装置に係る実施の形態を説明する。
図１に本実施形態におけるデジタルビデオカメラの概略構成図を示す。図示のデジタルビデオカメラは、アイリス及びレンズを備える光学系１０１、撮像部１０２、信号処理部１０３、輝度系信号処理部１０４、エッジ補正部１０５、輝度系ガンマ補正部１０６、検波部１０７、Ｄレンジ決定部１０８、システム制御部１０９を有している。

システム制御部１０９は、光学系１０１、撮像部１０２、エッジ補正部１０５、輝度系ガンマ補正部１０６、検波部１０７、Ｄレンジ決定部１０８、を制御する。また、システム制御部１０９は検波部１０７より検波信号と、Ｄレンジ決定部１０８より決定したＤレンジ情報を得る。

図示の撮像部１０２は、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーまたはＣＣＤイメージセンサー（図示せず）等の撮像素子を有している。また、撮像部１０２にはタイミングジェネレータ（ＴＧ）も含まれている。

被写体（図示せず）を撮影すると、光学系１０１を通過した光学像が、撮像部１０２内の撮像素子上に結像される。そして、撮像素子は、結像による像を光電変換して電気信号を生成し、アナログ画像信号として出力する。この際、システム制御部１０９によって定められたシャッタースピードでアナログ画像信号を撮像素子から出力する。さらに撮像部１０２内には撮像素子の後段にＡＦＥ（ＡｎａｌｏｇＦｒｏｎｔＥｎｄ図示せず）があり、撮像素子のアナログ画像信号をアナログ−デジタル（Ａ／Ｄ）変換して、デジタル画像信号（以下、画像データと呼ぶ）とする。そして、この画像データは、信号処理部１０３に与えられる。

信号処理部１０３では黒レベルの補正や、ホワイトバランスの調整を行う。信号処理部１０３を経た画像データは輝度系信号処理部１０４に送られる。

輝度系信号処理部１０４では輝度信号の生成、ローパスフィルタ処理などが行われ、エッジ補正部１０５に送られる。図２はエッジ補正部内のブロック図である。２０１はエッジ検出部、２０２はエッジ補正量算出部である。エッジ検出部２０１では、画像データから隣接領域の輝度レベル差の振幅値および空間周波数を検出し、輝度レベル差の振幅値および空間周波数の高い領域をエッジ部として検出する。検出されたエッジ部に対して、エッジ補正量算出部２０２では隣接領域の輝度レベル差の振幅値に比例して、エッジ補正量を大きくするよう決定する。またエッジ補正量は上限値および下限値を持ち、ある輝度レベル差の振幅値以上では前記上限値、ある輝度レベル差の振幅値以下では前記下限値とする。下限値および上限値の開始点となる輝度レベル差の振幅値間は、前記両開始点を線形補完した特性とするよう制御を行う。前記のように決定されたエッジ補正量が画像データのエッジ部に加算され、エッジ補正部１０５より出力される。

エッジ補正が施された画像データは輝度系ガンマ補正部１０６に送られる。輝度系ガンマ補正部１０６では輝度信号を非線形変換し出力する。本実施形態では、輝度系ガンマ特性はあらかじめダイナミックレンジに合わせて１１種類用意されている。

また、輝度系信号処理で作成された輝度信号は、検波部１０７に送られる。検波部１０７ではシステム制御部１０９により設定された枠やスレッシュに基づき、画像データより露出制御用の評価値と高輝度信号の評価値を取得する。露出制御用の評価値は、例えば１フレームの画像データ全体の平均値のように、現在の映像の露出を表す値とする。露出制御用の評価値は検波部１０７よりシステム制御部１０９に送られる。システム制御部１０９は露出制御用の評価値が目標の値となるように、アイリス、シャッター、ゲインを制御する。一方、高輝度信号の評価値は高輝度部の信号が画像データ全体の中でどの程度存在するかを表す値となる。例えば、閾値を超えた輝度信号の信号量とする。信号量が多ければ高輝度部の信号が多いことが分かる。高輝度信号の評価値も露出制御用の評価値と同様、検波部１０７よりシステム制御部１０９に送られる。システム制御部１０９は高輝度信号の評価値に基づいて輝度系ガンマ補正部１０６の非線形特性を設定する。

また検波部１０７にて得られた評価値は、Ｄレンジ決定部１０８に送られる。Ｄレンジ決定部１０８では、高輝度信号の評価値よりシステム制御部１０９に設定されているＤレンジテーブルに応じてＤレンジの制御が行われる。例えば、閾値を超えた評価値は３段間でランク付けし、ダイナミックレンジの設定を１００％、２００％、３００％用意する。ランクが１であれば１００％、２であれば２００％、３であれば３００％、のようにダイナミックレンジを決定する。決定したダイナミックレンジの情報は、システム制御部１０９に送られる。システム制御部１０９では前記ダイナミックレンジに応じてアイリス、シャッター、ゲインなどを制御する。またシステム制御部１０９では、前記ダイナミックレンジに応じて、輝度系ガンマ補正部１０６を変更する。変更する輝度系ガンマ特性は、あらかじめダイナミックレンジが大きくなるほど高輝度部にて階調が表現できる上、それぞれ高輝度部以外の入力信号に対する出力はほぼ同じとなるような輝度系ガンマ特性を保有しておく。例としてダイナミックレンジを１００％から２００％に拡大した場合について説明する。図３（ａ）はダイナミックレンジ１００％および２００％時の輝度系ガンマ特性、図３（ｂ）はダイナミックレンジ１００％と２００％時の輝度系ガンマ特性におけるそれぞれの入出力特性を示す。

３０１はダイナミックレンジ１００％時の輝度系ガンマ特性、３０２ダイナミックレンジ２００％時の輝度系ガンマ特性、３０３はダイナミックレンジ１００％時の入出力特性、３０４はダイナミックレンジ２００％時の入出力特性である。

ダイナミックレンジ２００％時の輝度系ガンマ特性３０２は、ダイナミックレンジ１００％時よりも高輝度部の輝度系ガンマ特性は低く、高輝度部以外の領域では高くなる特性となっている。そのため、高輝度部の階調がダイナミックレンジ１００％時より表現できる上、高輝度部以外では出力画像の明るさをほぼ同じとすることができる。そのためダイナミックレンジ１００％時の入出力特性３０３と、ダイナミックレンジ２００％時の入出力特性３０４は高輝度部以外の領域にてほぼ同じ特性となる。

また、システム制御部１０９ではＤレンジ決定部１０８が決定したダイナミックレンジ情報より、輝度系ガンマ特性前のエッジ補正量を変更する。ダイナミックレンジ変更前後では、露出および輝度系ガンマ特性を変更している。そのため、輝度系ガンマ補正を施す前のエッジ補正量をを変更しない場合は、後段の輝度系ガンマ補正処理によって、輝度レベルが変化するため、画像データの解像感に差が生じてしまう。したがって、図４に示すようにダイナミックレンジを拡大する際は、エッジ補正量をダイナミックレンジで除算した値へと減少させる必要がある。

前記のようなエッジ補正処理を高輝度部以外の明るさ領域で実現するために、本実施形態では次のような処理を実施する。エッジ補正量の下限値の開始点となる輝度レベル差の振幅値と、エッジ補正量の上限値の開始点となる輝度レベル差の振幅値と、エッジ補正量の上限値をそれぞれダイナミックレンジで除算した値とする。下限値および上限値の開始点となる輝度レベル差の振幅値間は、前記両開始点を線形補完した特性となるよう制御を行う。そのため、ダイナミックレンジ変更後のエッジ補正の特性は、前記下限値の開始点となる輝度レベル差の振幅値、上限値の開始点となる輝度レベル差の振幅値およびエッジ補正量の上限値を基に導出される。

具体例として、図５にダイナミックレンジを１００％から２００％へ変更した際の、ダイナミックレンジ拡大前後のエッジ補正の関係を示す。５０１は、ダイナミックレンジ拡大前のダイナミックレンジ２００％時のエッジ補正量の特性、５０２は、ダイナミックレンジ拡大後のダイナミックレンジ１００％時のエッジ補正量の特性である。５０３はダイナミックレンジ１００％時のエッジ補正量の上限値である。５０４はダイナミックレンジ２００％時のエッジ補正量の上限値である。５０５はダイナミックレンジ２００％時のエッジ補正量の下限値の開始点となる輝度レベル差の振幅値である。５０６はダイナミックレンジ１００％時のエッジ補正量の下限値の開始点となる輝度レベル差の振幅値である。５０７はダイナミックレンジ２００％時のエッジ補正量の上限値の開始点となる輝度レベル差の振幅値である。５０８はダイナミックレンジ１００％時のエッジ補正量の下限値の開始点となる輝度レベル差の振幅値である。

振幅値５０５、および上限値５０４、振幅値５０７を、それぞれダイナミックレンジ１００％時の各値から、変更するダイナミックレンジで除算した値とするため１００／２００を掛けた値へと変更する。また前記エッジ補正量の上限値および下限値の間は上限値と下限値の開始点を線形補完した特性へと変更を行うことで、５０１のダイナミックレンジ拡大前のダイナミックレンジ２００％時のエッジ補正量の特性を得る。

図５のような関係でエッジ補正量の設定を行えば、ダイナミックレンジ変更時の輝度系ガンマ特性前のエッジ補正量を適時ダイナミックレンジで除算した値とすることができる。したがって、ダイナミックレンジ変更時に輝度ガンマ補正後のほぼ同じ明るさである画像データ部の解像感を略一定とすることができる。

＜他の実施形態＞
上記実施形態ではダイナミックレンジに応じて非線形変換を変える方法として複数の非線形変化特性をあらかじめ保有しておく手段を記載しているが、ダイナミックレンジに応じて変更した露出情報から非線形変換の特性を変えても良い。

また、高輝度部信号量に応じてダイナミックレンジを決定する手段として、画像データ中の閾値以上となる高輝度部信号が多いか否かで判定しているが、所定の閾値以上となる高輝度部信号値からダイナミックレンジを決定しても良い。

１０１光学系
１０２撮像部
１０３信号処理部
１０４輝度系信号処理部
１０５エッジ補正部
１０６輝度系ガンマ補正部
１０７検波部
１０８Ｄレンジ決定部
１０９システム制御部
２０１エッジ検出部
２０２エッジ補正量算出部
３０１ダイナミックレンジ１００％時の輝度系ガンマ特性
３０２ダイナミックレンジ２００％時の輝度系ガンマ特性
３０３ダイナミックレンジ１００％時の入出力特性
３０４ダイナミックレンジ２００％時の入出力特性
５０１ダイナミックレンジ２００％時のエッジ補正特性
５０２ダイナミックレンジ１００％時のエッジ補正特性
５０３ダイナミックレンジ１００％時のエッジ補正上限値
５０４ダイナミックレンジ２００％時のエッジ補正上限値
５０５ダイナミックレンジ２００％時のエッジ補正下限値の開始点
５０６ダイナミックレンジ１００％時のエッジ補正下限値の開始点
５０７ダイナミックレンジ２００％時のエッジ補正上限値の開始点
５０８ダイナミックレンジ１００％時のエッジ補正上限値の開始点

Claims

光学系により結像する光学像を電気信号に変換する撮像素子を用いて撮像された画像データから、前記画像の明るさ情報を生成する生成手段と、
前記生成手段にて生成された明るさ情報からダイナミックレンジを決定する決定手段と、
前記画像データにエッジ補正を施すエッジ補正手段と、
前記エッジ補正手段によりエッジ補正された画像データに対して非線形変換を行う変換手段と、
前記決定手段により決定されたダイナミックレンジに応じて、前記撮像における露出及び前記変換手段による非線形変換の特性を変更する変更手段と、
前記決定手段により決定されたダイナミックレンジに応じて、前記エッジ補正手段によるエッジ補正量を制御する制御手段と、を有することを特徴とする画像処理装置。
前記制御手段は、画像信号の輝度レベル差の振幅に比例してエッジ補正量を決定し、前記エッジ補正量は下限値と上限値を有し、所定の輝度レベル差の振幅以下では前記下限値のエッジ補正量とし、所定の輝度レベル差の振幅以上では前記上限値のエッジ補正量とし、前記下限値と上限値それぞれの開始点となる輝度レベル差の振幅値の間は、前記開始点間を線形補完した特性にてエッジ補正を行うことを特徴とする請求項１に記載の画像処理装置。
前記制御手段は、前記エッジ補正量の下限値の開始点となる輝度レベル差の振幅値をダイナミックレンジの値で除算した値とし、請求項２記載のエッジ補正量の上限値の開始点となる輝度レベル差の振幅値と、前記エッジ補正量の上限値を、それぞれダイナミックレンジで除算した値に変更することを特徴とする請求項２に記載の画像処理装置。
前記変更手段は、入力信号に対する出力を高輝度部以外はダイナミックレンジを変更する前とほぼ一定となるように非線形変換の特性を変更することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
前記決定手段は画像データの中で高輝度部の信号情報に応じて、ダイナミックレンジを決定することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
光学系により結像する光学像を電気信号に変換する撮像素子を用いて撮像された画像データから、前記画像の明るさ情報を生成する生成工程と、
前記生成工程にて生成された明るさ情報からダイナミックレンジを決定する決定工程と、
前記画像データにエッジ補正を施すエッジ補正工程と、
前記エッジ補正工程によりエッジ補正された画像データに対して非線形変換を行う変換工程と、
前記決定工程により決定されたダイナミックレンジに応じて、前記撮像における露出及び前記変換工程による非線形変換の特性を変更する変更工程と、
前記決定工程により決定されたダイナミックレンジに応じて、前記エッジ補正工程によるエッジ補正量を制御する制御工程と、を有することを特徴とする画像処理方法。