【０００１】
【発明の属する技術分野】
本発明は、撮像手段から得られた画像信号の処理、特に画像の階調を補正する画像処理装置に関する。
【０００２】
【従来の技術】
近年、多くの階調補正手段を搭載した撮像装置が開発されている。その中で特に目を引く従来の撮像装置としては、図７に示すようなものがあった（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平０７−２０３２４７号公報（段落番号２７〜３７、図３）。
【０００４】
以下、図７を参照して、上記従来の撮像装置の構成について説明する。図７に示す撮像装置は、入力映像信号を増幅して輝度信号を出力するＧＣＡ（ゲイン・コントロールド・アンプリファイア）２６と、入力した輝度信号のピークレベルＹＴＯＰを検出するピーク検波回路２８と、入力した輝度信号に入力したピークレベルＹＴＯＰをもつパルス信号を畳重するピークレベル付加回路２９と、入力端子ａと入力端子ｂとを有する切替スイッチ回路３０と、切替スイッチ回路３０を有するクランプ回路３１と、切替スイッチ回路３０から出力された輝度信号をガンマ補正するガンマ補正回路３２と、ガンマ補正した輝度信号を１水平走査期間遅延する１水平走査期間遅延回路（１ＨＣＣＤ）３３と、入力輝度信号のネガポジを反転する反転ネガポジ反転回路３４と、制御装置４４と、ＥＶＲ（電子ボリュウム形式のディジタルアナログ変換回路）４５と、切替スイッチ回路３０を手動に設定するマニュアル設定スイッチ４６と、ＥＶＲ４５の出力を調整する調整ボリュウム４７と、切替スイッチ回路３０の切替制御信号を出力する切替制御信号アンド回路４８とを有する。
【０００５】
次に、図７を参照して、上記のように構成された従来の撮像装置の動作を説明する。ＧＣＡ２６から出力された輝度信号はピーク検波回路２８に与えられる。ピーク検波回路２８は、入力する輝度信号の一定期間（たとえば１Ｖ（１６ｍｓ））におけるピークレベルＹＴＯＰをそれぞれ検出する回路である。ピーク検波回路２８において検出されたピークレベルＹＴＯＰを表わす信号は制御装置４４に与えられる。
【０００６】
ＥＶＲ４５は一種のディジタルアナログ変換回路である。ＥＶＲ４５にはＧＣＡ２６に対応するＥＶＲが含まれている。制御装置４４から与えられたＥＶＲデータがそれによって表わされる値に対応するアナログ電圧信号に変換され、ＥＶＲ４５から出力される。これらのアナログ電圧信号がゲイン制御信号としてＧＣＡ２６に与えられ、ＧＣＡ２６のゲインが制御される。また、輝度信号については色信号のピークレベルの変化にあわせてそのピークレベルが調整される。
【０００７】
ピーク検波回路２８に入力された輝度信号はそのまま出力されてピークレベル付加回路２９に与えられる。またピーク検波回路２８で検出されたピークレベルは対応するピークレベル付加回路２９に与えられる。ピークレベル付加回路２９は、入力した輝度信号の水平ブランキング期間の一部（黒ピーク付加期間）に、入力したピークレベルＹＴＯＰをもつパルス信号を畳重することによって付加を行う。
【０００８】
ピークレベル付加回路２９から出力された輝度信号は、クランプ回路３１に与えられる。クランプ回路３１は切替スイッチ回路３０から構成されている。切替スイッチ回路３０の一方の入力端子ａは対応するピークレベル付加回路２９の出力側に接続され、他方の入力端子ｂにはＥＶＲ４５から調整電圧が与えられている。切替スイッチ回路３０は、通常は入力端子ａに接続されており、マニュアル調整モードが設定されているときにのみ、クランプ期間（ＣＰＴ）において入力端子ｂに接続される。クランプ回路３１の切替スイッチ回路３０から出力された輝度信号は、ガンマ補正回路３２にそれぞれ与えられてガンマ補正が行なわれる。
ガンマ補正回路３２においてガンマ補正された輝度信号は、１水平走査期間遅延回路（１ＨＣＣＤ）３３によって１水平走査期間遅延されたのちネガポジ反転回路３４に与えられる。
【０００９】
撮像系にはネガポジ選択スイッチ（図示略）が設けられている。このネガポジ選択スイッチによって選択されたネガ撮影またはポジ撮影を表わす信号が、制御装置４４に与えられる。選択されたネガ撮影またはポジ撮影を表わす信号ＰまたはＮが、制御装置４４からネガポジ反転回路３４にそれぞれ与えられる。
ネガ撮影が設定されているときには、ネガ画像の輝度信号のピークレベル（これらのピークレベルはピークレベル付加回路２９において対応する信号に付加されている）がブランキングレベルになるように、輝度信号がネガポジ反転回路３４において反転される。
【００１０】
以上説明した従来の撮像装置は、被写体を撮像し、撮像手段から出力された画像信号に含まれているブランキング信号のブランキングレベルを基準として、そのブランキング信号に続く映像信号にガンマ補正を行ない、ガンマ補正された映像信号を出力するガンマ補正回路３２を備えた撮像装置において、クランプレベルを指示する信号を発生する手動操作手段（４６、４７）を設け、上記撮像手段から出力された映像信号に含まれるブランキング信号のブランキングレベルを、手動操作手段（４６、４７）によって指示されたレベルにクランプすることを特徴とし、映像信号のレベルの全体的な高さの変動にかかわらず、常に適切なガンマ特性を得ることができるというものである。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記従来の名称画像信号処理装置においては、階調補正はガンマ補正によるものであって、つまるところは、単調増加関数による写像であり、変換される信号レベルの大小関係は逆転し得ない。このため、図６に示すように、例えば逆光のような、非常に信号レベルの広い映像信号が得られたときなど、暗い部分と明るい部分との信号差を圧縮することによって、暗い部分にも明るい部分にも十分な階調感を持たせようとすれば、その中間レベルにおける階調は失われてしまうという問題があった。
【００１２】
本発明は、上記従来の問題を解決するためになされたもので、非常に信号レベルの広い画像信号に対しても、良好な階調感のある画像が得られる画像処理装置を提供するものである。
【００１３】
【課題を解決するための手段】
本発明における画像処理装置は、画像信号を出力する撮像手段と、前記画像信号を小領域に分割して前記小領域毎の信号レベルの代表値を算出する小領域代表値算出手段と、前記代表値によって構成された代表値面を生成する面成分生成手段と、前記代表値面のレベル圧縮を行う面成分圧縮手段と、前記画像信号と前記代表値面と圧縮された前記代表値面を用いて前記画像信号を補正する画像信号補正手段とを有するという構成を有している。この構成により、画像を複数領域に分割して領域毎の信号レベル代表値を算出し、代表値で構成された代表値面を算出し、この代表値面成分のレベル圧縮を行うことにより、局所的に信号レベルの大小関係を逆転させながら全体の信号レベルを圧縮することによって、非常に信号レベルの広い画像信号であっても、良好な階調感のある画像を得ることができる。
【００１４】
本発明における画像処理装置は、前記撮像手段が複数備えられ、前記画像信号補正手段は前記複数の撮像手段から得られた複数の画像信号間の信号レベルの比率を変化させることなく前記画像信号と前記代表値面と圧縮された前記代表値面を用いて前記画像信号を補正する機能を有するという構成を有している。この構成により、非常に信号レベルの広い、同一被写体複数画像信号（例えばＲＧＢ３つの画像信号を処理しなければならない三板カメラからの画像信号）について、代表画像を複数領域に分割して領域毎の信号レベル代表値を算出し、代表値で構成された代表値面を算出し、この代表値面成分のレベル圧縮を行い、画像信号間のレベル比率を保ちつつ画像信号を圧縮することによって、階調感は保ちつつ色の変化といった弊害がなく、全体の信号レベルを圧縮して良好な階調感のある画像を得ることができる。
【００１５】
本発明における画像処理方法は、撮像手段から入力した画像信号を小領域に分割し、前記小領域における信号レベルの代表値を算出し、前記代表値によって構成された代表値面を生成し、前記代表値面のレベル圧縮を行い、前記画像信号と前記代表値面と圧縮された前記代表値面を用いて前記画像信号を補正する各工程を有するという構成を有している。この構成により、画像を複数領域に分割して領域毎の信号レベル代表値を算出し、代表値で構成された代表値面を算出し、この代表値面成分のレベル圧縮を行うことにより、局所的に信号レベルの大小関係を逆転させながら全体の信号レベルを圧縮することによって、非常に信号レベルの広い画像信号であっても、良好な階調感のある画像が得られる画像処理を実現することができる。
【００１６】
本発明におけるプログラムは、請求項３に記載の各工程をコンピュータに実行させるという構成を有している。この構成により、請求項３に記載の各工程を他のコンピュータで実行させることが可能となる。
【００１７】
本発明におけるコンピュータ読み取り可能な記録媒体は、請求項４に記載のプログラムを記録したという構成を有している。この構成により、請求項４に記載のプログラムを記録した記録媒体を他のコンピュータで読み取り、実行させることが可能となる。
【００１８】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第１および第２の実施の形態を詳細に説明する。
まず、図１を参照して、本発明の第１の実施の形態における画像処理装置の構成を説明する。図１に示す画像処理装置は、撮像素子、前処理、ＡＤ（アナログディジタル変換手段）からなりディジタル化された画像信号を得る撮像手段１０と、画像信号について小領域毎に信号レベル代表値を算出する小領域代表値算出手段１１と、小領域毎の代表値によって構成された代表値面を生成する面成分生成手段１２と、生成した代表値面の所望の部分の信号レベルを圧縮する面成分圧縮手段１３と、画像信号と代表値面と圧縮された代表値面とを用いて画像信号を補正する画像信号補正手段１４とを有する。
【００１９】
次に、図１を参照して、本発明の第１の実施の形態における画像処理装置の動作を説明する。
まず、撮像手段１０から画像信号を得る。撮像手段１０に含まれている撮像素子はＣＣＤやＣＭＯＳを用いれば良く、カラー方式でもモノクロ方式でも良い。また、カラー方式の場合は輝度や緑成分を後段に出力すれば良い。前処理手段としては、相関２重サンプリング回路（ＣＤＳ）や利得制御やガンマ変換などが挙げられる。アナログディジタル変換手段ＡＤは８ｂｉｔ以上の分解能を持つことが望ましい。本実施の形態において、例として用いる画像信号のサイズは７６８水平画素×４８０垂直画素×８ｂｉｔモノクロである。
【００２０】
小領域代表値算出手段１１は撮像手段１０から得られた画像信号を処理して、小領域毎の信号レベル代表値（以下、単に代表値という）を算出する。代表値としては、信号レベルの平均値や中央値（メディアン）などが挙げられる。本実施の形態では１６画素毎に小領域を構成し、代表値として信号レベルの平均値を算出するものとする。すなわち本実施の形態では、画像信号は４８×３０領域を構成し、各小領域毎に構成全画素（１６×１６＝２５６画素）の信号レベルの平均値を算出するものとする。
画像を小領域に別けて小領域毎の信号レベル代表値（輝度値であるならば平均値、ＲＧＢであるならば各々の平均値やＲＧＢの最大値など）を出すといった統計量算出処理は、現行の一般的なカメラ信号処理等でも行われており、算出された統計量は、画像の光量制御やホワイトバランス制御などに用いられる。本件では、これまで光量制御などに用いられてきたデータを使用して階調補正処理を実行する。
【００２１】
なお、小領域は、本実施の形態で例として挙げた１６画素より少ない間隔で構成しても良いし広い間隔で構成しても良い。例えばｊｐｅｇ圧縮処理を利用するならば、小領域８×８画素とし、代表値をＤＣ成分とすれば圧縮処理中に得られる情報を用いることができるため、処理量の観点からも好ましい。
また、小領域は等間隔で構成する必要はなく、任意形状であっても良い。また、小領域の形状が固定である必要はなく、形状や大きさを制御対象としても良い。小領域の面積の大きさや形の変化によって得られる効果の違い等については、後述する。
【００２２】
面成分生成手段１２は、小領域毎に得られた代表値（本実施の形態では平均値）によって張られ、または構成された面を生成する。ここでは、７６８水平×４８０垂直画素であるテスト画像データについて、水平垂直ともに１６×１６画素を１小領域として４８×３０領域を構成し、領域毎に算出した平均値によって面を構成する。
図３は、領域毎に算出した平均値によって構成した面をグラフ化して示した図である。本実施の形態では、平均値間を線形補間することによって代表値面（本実施の形態では、平均値面とする）を生成する。
なお、代表値間を結ぶ方法は直線以外でも良い。Ｂ−スプライン法や三次畳込み法などを用いて曲面を構成してもよい。曲面を構成する場合に得られる効果については後述する。
【００２３】
面成分圧縮手段１３は、代表値面の圧縮を行う。本実施の形態では、
（ａ）輝度値に関する閾値を設け、閾値以上の部分に１以下の係数を掛ける（線形圧縮）、
（ｂ）輝度値に関する閾値を設け、閾値以上の部分から一定値を引く（オフセット減算）
ことによって、圧縮を行うようにした。
【００２４】
図４は、図３に示した平均値面について、
・閾値＝９６
・係数（ａ）＝０．１
・係数（ｂ）＝２０
としたときの圧縮後の平均値面をグラフ化して示したものである。
なお、圧縮方法は、（ａ）のような線形圧縮や、（ｂ）のようたオフセット減算のほかに、非線形変換による圧縮や、折れ線変換による圧縮などでもよく、単調増加関数以外でも良い。また、本実施の形態では、閾値以上の部分を減らすことで全体の信号レベルを圧縮しているが、閾値以下の部分を増やすことでも、全体の信号レベルの圧縮ができることは言うまでも無い。
【００２５】
本実施の形態で例として挙げた線形圧縮やオフセット減算は、比較的少ない処理量で所望の効果が得られるため、処理量の観点から好ましい。
非線形変換による圧縮や、折れ線変換による圧縮を用いれば、より自然な階調特性を得ることができる。すなわち、圧縮部分と非圧縮部分との乗り換えによる画質劣化を最小にできるため好ましい（例えば、乗り換え部分の圧縮率を１に近い値にすれば、圧縮・非圧縮乗り換え点が微分不可能であることに起因する画質の不自然な変化は発生しなくなる）。また、閾値などのパラメータを与える場合、パラメータは固定値を使用しても良いし、制御対象としても良い。例えば、画像全体の信号レベルについてのヒストグラムを求めておいて、ヒストグラムの上位ｘ％が圧縮対象になるように係数を制御する、といった方法がある。
なお、領域毎に得られた平均値を圧縮したあとに、圧縮された平均値を用いて面成分を生成してもよい。
【００２６】
画像信号補正手段１４は、画像信号と平均値面と圧縮された平均値面を用いて画像信号を補正する。その補正方法は、画像信号から平均値面を引き、圧縮平均値面を足せば良い。
図５はテスト画像に対する補正処理結果（第１８０行目のみ）を示す。図５において、（Ａ）は原画像、（Ｂ）は圧縮後画像、（Ｃ）は原画像から得られた平均値面、（Ｄ）は圧縮後平均値面である。
原画像（Ａ）と圧縮後画像（Ｂ）から明らかなように、通常一般に行われている階調補正はガンマなどの単調増加関数による写像であり、信号の絶対値は変化するが、信号間の大小関係は逆転しなかった。本実施の形態で示した方法によれば、局所的に信号の大小関係を逆転させながら、信号レベルの圧縮を行うことにより、良好な階調感を持つ画像を得ることができる。
【００２７】
また、領域の面積が大きいと、黒バックに白文字といった細かな輝度変化を持つ画像は信号レベルを圧縮しにくいが、画像信号レベルを圧縮しても画像全体の階調感は損なわれにくい。反対に、領域の面積が小さければ、より細かな輝度変化に対応できるようになるが、階調感は減少する。両者の適宜に使い分けることによって、より好ましい処理結果が得られる。
【００２８】
また、領域の面積が大きいと、輝度変化部分（例えば異なる物体間の境目）をまたいだ領域となる確率が大きくなる。輝度変化部分すなわち異なる物体をまたいだ状態で設定された領域では、画像信号を圧縮した場合に画像が不自然になりやすい。領域設定は画像によって、変化させることができるようにすると、より好ましい処理結果が得られる。
【００２９】
また、輝度変化部分のまたぎは、領域の形状にも因る。領域形状は本実施の形態で述べたような四角形である必要はない。円形や、三角形や、任意形状でもよい。任意形状にする場合、好ましい領域形状を得るためには、物体形状認識と認識した物体の小領域化が必要になる。このような処理を加えるとこによって、輝度変化部分をまたぐように設定される領域が減れば、先に述べたような画像信号圧縮の際に画像が不自然に見えるような現象も減少する。処理量は増加するが、画像の不自然さを抑えることができるため好ましい。
領域の設定は、大きさと形状と位置を、対象画像毎に制御できればさらに良い結果を得ることができる。先に述べたように、領域の設定制御は、物体の形状認識を行うことができれば実現可能である。
【００３０】
物体形状認識を用いない方法としては、以下に示す方法が挙げられる。領域毎に信号の最高値と最低値を取得して、最高値と最低値の差が大きければ、輝度変化部分（例えば異なる物体間の境目）をまたいだ領域設定になっていると判断して、領域を分割する（例えば１６水平×１６垂直から８水平×１６垂直×２領域に分割するなど）。逆に隣接領域間で代表値や最高値・最低値が、ほぼ同じ値であるならば、その領域を統合しても良い。先に述べたように、領域を広くとることによって、さらに良好な階調感を得ることができる。
また、代表値面または平均値面を曲線で構成すれば、面に不連続点がなくなり、不連続点に起因する画質の劣化が原理的に発生しないようにできるため好ましい。
【００３１】
以上説明した本発明の第１の実施の形態おける画像処理装置は、従来の画像処理装置に比べて、例えば、図６に示すように、逆光のような、非常に信号レベルの広い画像信号を処理する際に、入力した画像信号の画像領域を複数領域に分割して領域毎の信号レベル平均値を算出し、平均値で構成された面を算出し、平均値面成分のレベル圧縮を行うことにより、局所的に信号レベルの大小関係を逆転させながら全体の信号レベルを圧縮することによって、良好な階調感のある画像を得ることができるという優れた効果を有する。
【００３２】
次に、図２を参照して、本発明の第２の実施の形態における画像処理装置の構成を説明する。図２に示す画像処理装置は、ディジタル化された画像信号を得るための複数の撮像手段２０と、画像信号について少領域毎に代表値（以下、平均値として説明する）を算出する小領域代表値算出手段２１と、領域毎の平均値によって構成された平均値面を生成する面成分生成手段２２と、生成した平均値面について平均値面の所望の部分を変形圧縮する面成分圧縮手段２３と、画像信号と平均値面と圧縮された平均値面とを用いて、入力した複数の画像信号間の信号レベルの比率が変化しないように画像信号を補正する画像信号補正手段２４とを有する。
【００３３】
次に、図２を参照して、本発明の第２の実施の形態における画像処理装置の動作を説明する。本実施の形態における画像処理装置の撮像手段２０と、小領域代表値算出手段２１と、面成分生成手段２２と、面成分圧縮手段２３とは、第１の実施の形態のものと同様な機能を有する。
しかし、本実施の形態における撮像手段２０は、三板カメラを使用するため３つ存在するものとし、それぞれがプリズム（図示せず）で分光された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の画像信号を得るような構成を有するものとする。ＲＧＢに別れた画像信号のレベルを圧縮する場合には、色の変化に注意しなければならない。例えば、第１の実施の形態で述べた処理をＲＧＢそれぞれ独立に実施し、Ｒ＝１００％、Ｇ＝５０％、Ｂ＝１００％に圧縮されたという結果が得られたとする。
このとき輝度Ｙの生成比率を簡単化して、
Ｙ ＝ ０．３Ｒ ＋ ０．６Ｇ ＋ ０．１Ｂ ・・・（式１）
とする。色差信号Ｒ−Ｙ、Ｂ−Ｙは、
Ｒ−Ｙ ＝ ０．７Ｒ − ０．６Ｇ − ０．１Ｂ ・・・（式２）
Ｂ−Ｙ ＝ −０．３Ｒ − ０．６Ｇ ＋ ０．９Ｂ ・・・（式３）
である。元の画像信号がＲ＝Ｇ＝Ｂ＝１の白だったならば、圧縮前は、
Ｒ−Ｙ ＝ ０
Ｂ−Ｙ ＝ ０
であったが、圧縮後は、
（式２）から、Ｇのみ５０％のため、
Ｒ−Ｙ ＝ ０．７ − ０．３ − ０．１ ＝ ０．３
また、（式３）から、Ｇのみ５０％のため、
Ｂ−Ｙ ＝ −０．３ − ０．３ ＋ ０．９ ＝ ０．３
となり、マジェンタ方向に色がずれてしまう。このため、三板カメラのように複数の撮像手段によって色毎に画像信号を取得する構成になっている場合、第１の実施の形態で示したような画像信号レベルの圧縮を、各画像信号独立に実施してはならない。複数の撮像手段によって色毎に画像信号を取得し、圧縮する場合には、画像信号間の比率を保ちながら処理する必要がある。
【００３４】
そこで、本実施の形態では、以下に示す方法で画像信号間の比率を保ちながら信号レベルの圧縮を行う。
すなわち、撮像手段２０から取得した画像信号の一つであるＧ成分について、上記同様な小領域平均値算出、面成分生成、面成分圧縮の各処理を行う。ここで得られた圧縮率をＧ（ｋ）とする。原画像をＧ（ｏｒｇ）、平均値面をＧ（ｒｅｐ）、圧縮後画像をＧ（Ｃｏｍｐ）とするとき
Ｇ（ｃｏｍｐ）＝Ｇ（ｏｒｇ）−Ｇ（ｒｅｐ）＊Ｇ（ｋ）・・・（式４）
つまり、画素単位の圧縮率Ｇ（ｋｐ）は、
となる。そして、画素単位の圧縮率Ｇ（ｋｐ）を用いて他の色の圧縮を行う。こうすることによって、色相が変化することなく、信号レベルの圧縮を行うことができる。すなわち、画像信号補正手段２４により、原画像赤成分をＲ（ｏｒｇ）、原画像青成分をＢ（ｏｒｇ）、圧縮後赤成分をＲ（ｃｏｍｐ）、圧縮後青成分をＢ（ｃｏｍｐ）とすれば、
Ｒ（ｃｏｍｐ）＝Ｒ（ｏｒｇ）＊Ｇ（ｋｐ）
Ｂ（ｃｏｍｐ）＝Ｂ（ｏｒｇ）＊Ｇ（ｋｐ） ・・・（式６）
にすれば良い。
また、圧縮後画像Ｇ（Ｃｏｍｐ）は、（式４）から
Ｇ（ｃｏｍｐ）＝Ｇ（ｏｒｇ）−Ｇ（ｒｅｐ）＊Ｇ（ｋ）・・・（式４）
である。
【００３５】
なお、本実施の形態では、Ｇ成分を用いて圧縮率を算出したが、ＲＧＢから輝度成分を算出して輝度成分によって、圧縮率を算出しても良い。処理量は輝度成分算出分だけ増えるが、色によって偏らない信号レベルの圧縮が実現できる。
このような構成にすることによって、非常に信号レベルが広く、同一被写体複数画像信号（例えばＲＧＢ三つの画像信号を処理しなければならない三板カメラなどからの信号）について、平均値画像を複数領域に分割して領域毎の信号レベル平均値を算出し、この平均値で構成された平均値面を算出し、この平均値面のレベル圧縮を行い、画像信号間の比率関係を保ちつつ画像信号の圧縮することによって、階調感は保ちつつ、色の変化といった弊害がなく、全体の信号レベルを圧縮して良好な階調感のある画像を得ることができるという優れた効果を有する。
【００３６】
なお、画像処理装置の各機能は、磁気ディスク、光磁気ディスク、ＲＯＭ等のコンピュータで読み取り可能な記録媒体にプログラムとして記録することができる。このプログラムを記録した記録媒体は他のコンピュータで読み取られ、ＭＰＵ、ＤＳＰ等で実行することにより画像処理装置の各機能を実現することができる。
【００３７】
【発明の効果】
本発明における画像処理装置は、上記のように構成され、特に、画像の小領域に分割された小領域毎の信号レベル代表値で構成された代表値面をレベル圧縮し、局所的に信号レベルの大小関係を逆転させながら全体の信号レベルを圧縮するよう処理することにより、非常に信号レベルの広い画像信号であっても、良好な階調感のある画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理装置の構成を示すブロック図、
【図２】本発明の第２の実施の形態における画像処理装置の構成を示すブロック図、
【図３】テスト画像入力に対する平均値面グラフを示す図、
【図４】テスト画像入力に対する圧縮後の平均値面グラフを示す図、
【図５】テスト画像入力に対する画像信号レベルの圧縮処理を示す図（第１８０行目）、
（Ａ）原画像
（Ｂ）圧縮後画像
（Ｃ）平均値面
（Ｄ）圧縮後平均値面
【図６】テスト画像および画像処理ソフトウェアを用いて、明るい部分と暗い部分を形成した図、
【図７】従来技術における画像処理装置の構成を示す図。
【符号の説明】
１０、２０ 撮像手段
１１、２１ 小領域代表値算出手段
１２、２２ 面成分算出手段
１３、２３ 面成分圧縮手段
１４、２４ 画像信号補正手段
２６ ＧＣＡ（ゲイン・コントロールド・アンプリファイア）
２８ ピーク検波回路
２９ ピークレベル付加回路
３０ 切替スイッチ回路
３１ クランプ回路
３２ ガンマ補正回路
３３ １水平走査期間遅延回路
３４ ネガポジ反転回路
４４ 制御装置
４５ ＥＶＲ（ディジタルアナログ変換回路）
４６ マニュアル設定スイッチ
４７ 調整ボリュウム
４８ 切替制御信号アンド回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to processing of an image signal obtained from an imaging unit, and in particular, to an image processing apparatus that corrects a gradation of an image.
[0002]
[Prior art]
2. Description of the Related Art In recent years, an imaging device equipped with many tone correction units has been developed. Among them, a conventional imaging device that is particularly noticeable is shown in FIG. 7 (for example, see Patent Document 1).
[0003]
[Patent Document 1]
JP-A-07-203247 (paragraphs 27 to 37, FIG. 3).
[0004]
Hereinafter, the configuration of the above-described conventional imaging apparatus will be described with reference to FIG. The imaging apparatus shown in FIG. 7 includes a GCA (gain controlled amplifier) 26 that amplifies an input video signal and outputs a luminance signal, a peak detection circuit 28 that detects a peak level YTOP of the input luminance signal, A peak level adding circuit 29 for superimposing a pulse signal having a peak level YTOP inputted on the inputted luminance signal, a changeover switch circuit 30 having an input terminal a and an input terminal b, and a clamp circuit 31 having a changeover switch circuit 30 A gamma correction circuit 32 for gamma-correcting the luminance signal output from the changeover switch circuit 30; a one horizontal scanning period delay circuit (1HCCD) 33 for delaying the gamma-corrected luminance signal for one horizontal scanning period; Inverting negative / positive inverting circuit 34 for inverting negative / positive, controller 44, and EVR (electronic volume type) A digital / analog conversion circuit) 45, a manual setting switch 46 for manually setting the changeover switch circuit 30, an adjustment volume 47 for adjusting the output of the EVR 45, and a changeover control signal AND circuit for outputting a changeover control signal for the changeover switch circuit 30. 48.
[0005]
Next, the operation of the conventional imaging device configured as described above will be described with reference to FIG. The luminance signal output from the GCA 26 is supplied to a peak detection circuit 28. The peak detection circuit 28 is a circuit that detects the peak level YTOP of the input luminance signal during a certain period (for example, 1 V (16 ms)). A signal representing the peak level YTOP detected by the peak detection circuit 28 is provided to the control device 44.
[0006]
The EVR 45 is a kind of digital-to-analog conversion circuit. The EVR 45 includes an EVR corresponding to the GCA 26. The EVR data supplied from the controller 44 is converted into an analog voltage signal corresponding to the value represented by the EVR data, and output from the EVR 45. These analog voltage signals are supplied to the GCA 26 as gain control signals, and the gain of the GCA 26 is controlled. The peak level of the luminance signal is adjusted according to the change of the peak level of the color signal.
[0007]
The luminance signal input to the peak detection circuit 28 is output as it is and supplied to the peak level addition circuit 29. The peak level detected by the peak detection circuit 28 is supplied to a corresponding peak level addition circuit 29. The peak level adding circuit 29 performs addition by superimposing the input pulse signal having the peak level YTOP on a part of the horizontal blanking period (black peak adding period) of the input luminance signal.
[0008]
The luminance signal output from the peak level adding circuit 29 is provided to the clamp circuit 31. The clamp circuit 31 includes a changeover switch circuit 30. One input terminal a of the changeover switch circuit 30 is connected to the output side of the corresponding peak level adding circuit 29, and the other input terminal b is supplied with an adjustment voltage from the EVR 45. The changeover switch circuit 30 is normally connected to the input terminal a, and is connected to the input terminal b during the clamp period (CPT) only when the manual adjustment mode is set. The luminance signal output from the changeover switch circuit 30 of the clamp circuit 31 is applied to a gamma correction circuit 32 to perform gamma correction.
The luminance signal gamma-corrected in the gamma correction circuit 32 is delayed by one horizontal scanning period by a one horizontal scanning period delay circuit (1HCCD) 33 and then applied to a negative / positive inversion circuit.
[0009]
The image pickup system is provided with a negative / positive selection switch (not shown). A signal indicating negative photography or positive photography selected by the negative / positive selection switch is provided to the control device 44. A signal P or N representing the selected negative or positive image capturing is applied from the control device 44 to the negative / positive inverting circuit 34, respectively.
When the negative photographing is set, the luminance signal is set so that the peak level of the luminance signal of the negative image (these peak levels are added to the corresponding signal in the peak level adding circuit 29) becomes the blanking level. The signal is inverted in the negative / positive inversion circuit 34.
[0010]
The conventional imaging apparatus described above captures an image of a subject, and performs gamma correction on a video signal following the blanking signal based on a blanking level of a blanking signal included in an image signal output from the imaging unit. In the imaging apparatus provided with a gamma correction circuit 32 for outputting a gamma-corrected video signal, manual operation means (46, 47) for generating a signal indicating a clamp level are provided, and an image output from the imaging means is provided. The blanking level of the blanking signal included in the signal is clamped to the level specified by the manual operation means (46, 47). That is, an appropriate gamma characteristic can always be obtained.
[0011]
[Problems to be solved by the invention]
However, in the above-mentioned conventional name image signal processing device, the gradation correction is based on the gamma correction, and the result is a mapping based on a monotone increasing function, and the magnitude relationship of the converted signal levels cannot be reversed. For this reason, as shown in FIG. 6, for example, when a video signal having a very wide signal level such as a backlight is obtained, the signal difference between a dark part and a bright part is compressed, so that even a dark part is compressed. If a sufficient gradation is to be imparted to a bright portion, there is a problem that the gradation at the intermediate level is lost.
[0012]
The present invention has been made to solve the above-described conventional problem, and provides an image processing apparatus capable of obtaining an image having a good tone feeling even for an image signal having a very wide signal level. is there.
[0013]
[Means for Solving the Problems]
The image processing apparatus according to the present invention includes: an imaging unit that outputs an image signal; a small region representative value calculation unit that divides the image signal into small regions and calculates a representative value of a signal level for each of the small regions; Surface component generating means for generating a representative value surface constituted by values, surface component compression means for performing level compression of the representative value surface, and using the image signal, the representative value surface, and the compressed representative value surface. And an image signal correcting means for correcting the image signal. With this configuration, the image is divided into a plurality of regions, a signal level representative value is calculated for each region, a representative value plane composed of the representative values is calculated, and the level compression of the representative value surface component is performed. By compressing the entire signal level while reversing the magnitude relationship of the signal levels, it is possible to obtain an image with a good tone feeling even with an image signal having a very wide signal level.
[0014]
The image processing apparatus according to the aspect of the invention includes a plurality of the image pickup units, and the image signal correction unit includes the image signal and the image signal without changing a signal level ratio between the plurality of image signals obtained from the plurality of image pickup units. The apparatus has a function of correcting the image signal using the representative value plane and the compressed representative value plane. With this configuration, a representative image is divided into a plurality of regions for a plurality of image signals of the same subject (for example, an image signal from a three-chip camera that must process three image signals of RGB) having a very wide signal level, and a signal for each region is obtained. Calculate the level representative value, calculate the representative value plane composed of the representative values, perform the level compression of the representative value plane component, and compress the image signal while maintaining the level ratio between the image signals, thereby obtaining the gradation. It is possible to obtain an image with a good gradation feeling by compressing the entire signal level without deteriorating the color while maintaining the feeling.
[0015]
In the image processing method according to the present invention, the image signal input from the imaging unit is divided into small regions, a representative value of a signal level in the small region is calculated, and a representative value surface configured by the representative values is generated. A level compression of a representative value plane is performed, and the image signal is corrected using the image signal, the representative value plane, and the compressed representative value plane. With this configuration, the image is divided into a plurality of regions, a signal level representative value is calculated for each region, a representative value plane composed of the representative values is calculated, and the level compression of the representative value surface component is performed. By compressing the entire signal level while reversing the magnitude relationship of the signal levels, it is possible to realize an image processing that can obtain an image with a good tone even if the image signal has an extremely wide signal level. be able to.
[0016]
The program according to the present invention has a configuration for causing a computer to execute the steps described in claim 3. With this configuration, each step described in claim 3 can be executed by another computer.
[0017]
A computer-readable recording medium according to the present invention has a configuration in which the program according to claim 4 is recorded. With this configuration, it is possible to read and execute the recording medium on which the program described in claim 4 is recorded by another computer.
[0018]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, first and second embodiments of the present invention will be described in detail with reference to the accompanying drawings.
First, the configuration of the image processing apparatus according to the first embodiment of the present invention will be described with reference to FIG. The image processing apparatus shown in FIG. 1 includes an image pickup device 10 for obtaining a digitized image signal including an image pickup device, pre-processing, and AD (analog-to-digital conversion means), and calculates a signal level representative value for each small area of the image signal. Small area representative value calculation means 11, surface component generation means 12 for generating a representative value plane composed of representative values for each small area, and a surface component for compressing the signal level of a desired portion of the generated representative value plane The image processing apparatus includes a compression unit 13 and an image signal correction unit 14 that corrects the image signal using the image signal, the representative value surface, and the compressed representative value surface.
[0019]
Next, the operation of the image processing apparatus according to the first embodiment of the present invention will be described with reference to FIG.
First, an image signal is obtained from the imaging unit 10. The imaging device included in the imaging unit 10 may use a CCD or a CMOS, and may be a color system or a monochrome system. In the case of the color system, the luminance and the green component may be output to the subsequent stage. Examples of the preprocessing means include a correlated double sampling circuit (CDS), gain control, and gamma conversion. The analog-to-digital conversion means AD preferably has a resolution of 8 bits or more. In the present embodiment, the size of the image signal used as an example is 768 horizontal pixels × 480 vertical pixels × 8 bit monochrome.
[0020]
The small area representative value calculation means 11 processes the image signal obtained from the imaging means 10 and calculates a signal level representative value (hereinafter simply referred to as a representative value) for each small area. As the representative value, an average value or a median value (median) of signal levels can be given. In the present embodiment, it is assumed that a small area is formed for every 16 pixels and an average value of signal levels is calculated as a representative value. That is, in the present embodiment, the image signal forms a 48 × 30 region, and the average value of the signal levels of all the constituent pixels (16 × 16 = 256 pixels) is calculated for each small region.
A statistic calculation process of classifying an image into small regions and generating a signal level representative value for each small region (an average value for a luminance value, an average value for each of RGB and a maximum value of RGB, etc.) It is also performed in current general camera signal processing and the like, and the calculated statistic is used for image light amount control, white balance control, and the like. In this case, the gradation correction process is performed using data that has been used for light amount control and the like.
[0021]
Note that the small area may be configured with a smaller interval than the 16 pixels exemplified in this embodiment, or may be configured with a wider interval. For example, if jpeg compression processing is used, information obtained during the compression processing can be used if the small area is 8 × 8 pixels and the representative value is a DC component, which is preferable from the viewpoint of the processing amount.
Further, the small areas need not be formed at equal intervals, and may have an arbitrary shape. In addition, the shape of the small region does not need to be fixed, and the shape and size may be controlled. Differences in effects obtained due to changes in the size and shape of the small region will be described later.
[0022]
The plane component generation unit 12 generates a plane that is spanned or configured by a representative value (an average value in the present embodiment) obtained for each small area. Here, with respect to test image data of 768 horizontal × 480 vertical pixels, 48 × 30 regions are formed by using 16 × 16 pixels as one small region in both the horizontal and vertical directions, and a surface is formed by an average value calculated for each region.
FIG. 3 is a graph showing a surface constituted by the average value calculated for each region. In the present embodiment, a representative value plane (in the present embodiment, referred to as an average value plane) is generated by linearly interpolating between the average values.
The method for connecting the representative values may be other than a straight line. The curved surface may be configured using a B-spline method, a cubic convolution method, or the like. The effect obtained when forming a curved surface will be described later.
[0023]
The plane component compression unit 13 compresses the representative plane. In the present embodiment,
(A) A threshold value for a luminance value is provided, and a portion equal to or greater than the threshold value is multiplied by a coefficient of 1 or less (linear compression)
(B) A threshold value for a luminance value is provided, and a constant value is subtracted from a portion equal to or higher than the threshold value (offset subtraction).
Thus, compression is performed.
[0024]
FIG. 4 shows the average value surface shown in FIG.
Threshold = 96
-Coefficient (a) = 0.1
Coefficient (b) = 20
It is a graph showing the average value surface after compression when.
The compression method may be a method other than linear compression as in (a), offset subtraction as in (b), compression by non-linear transformation, compression by polygonal transformation, or a method other than a monotonically increasing function. Further, in the present embodiment, the entire signal level is compressed by reducing the portion above the threshold, but it goes without saying that the entire signal level can be compressed by increasing the portion below the threshold.
[0025]
The linear compression and offset subtraction described as examples in the present embodiment are preferable from the viewpoint of the processing amount because a desired effect can be obtained with a relatively small processing amount.
If compression using non-linear conversion or compression using polygonal line conversion is used, more natural gradation characteristics can be obtained. That is, it is preferable because image quality deterioration due to switching between the compressed portion and the non-compressed portion can be minimized (for example, if the compression ratio of the switching portion is set to a value close to 1, the compression / non-compression switching point cannot be differentiated. No unnatural change in image quality due to the above will occur). When a parameter such as a threshold value is given, a fixed value may be used for the parameter, or the parameter may be a control target. For example, there is a method in which a histogram for the signal level of the entire image is obtained, and a coefficient is controlled so that the upper x% of the histogram is a compression target.
After the average value obtained for each region is compressed, the surface component may be generated using the compressed average value.
[0026]
The image signal correcting means 14 corrects the image signal using the image signal, the average value plane, and the compressed average value plane. As a correction method, an average value plane may be subtracted from an image signal and a compressed average value plane may be added.
FIG. 5 shows the result of the correction processing on the test image (only the 180th line). In FIG. 5, (A) is the original image, (B) is the image after compression, (C) is the average plane obtained from the original image, and (D) is the average plane after compression.
As is clear from the original image (A) and the compressed image (B), the generally performed gradation correction is a mapping based on a monotonically increasing function such as gamma, and the absolute value of the signal changes. The relationship was not reversed. According to the method described in the present embodiment, by compressing the signal level while locally reversing the magnitude relationship of the signal, it is possible to obtain an image having a good tone feeling.
[0027]
Also, if the area of the region is large, it is difficult to compress the signal level of an image having a small luminance change such as white characters on a black background, but even if the image signal level is compressed, the tone of the entire image is hardly impaired. Conversely, if the area of the region is small, it is possible to cope with a finer change in luminance, but the sense of gradation is reduced. A more favorable processing result can be obtained by appropriately using both.
[0028]
In addition, when the area of the region is large, the probability that the region crosses a luminance change portion (for example, a boundary between different objects) increases. In a luminance change portion, that is, in a region set over a different object, an image tends to be unnatural when an image signal is compressed. If the area setting can be changed depending on the image, more preferable processing results can be obtained.
[0029]
Further, the straddling of the luminance change portion also depends on the shape of the region. The region shape does not need to be a square as described in the present embodiment. The shape may be a circle, a triangle, or an arbitrary shape. In the case of an arbitrary shape, it is necessary to recognize the object shape and reduce the size of the recognized object in order to obtain a preferable region shape. By adding such a process, if the area set so as to straddle the luminance change portion is reduced, the phenomenon that an image looks unnatural at the time of image signal compression as described above also decreases. Although the processing amount increases, it is preferable because unnaturalness of the image can be suppressed.
In setting the area, better results can be obtained if the size, shape, and position can be controlled for each target image. As described above, the setting control of the area can be realized if the shape of the object can be recognized.
[0030]
As a method not using the object shape recognition, the following method is exemplified. The maximum value and the minimum value of the signal are obtained for each region, and if the difference between the maximum value and the minimum value is large, it is determined that the region is set across a luminance change portion (for example, a boundary between different objects). Area (for example, from 16 horizontal × 16 vertical to 8 horizontal × 16 vertical × 2 areas). Conversely, if the representative value and the highest value / lowest value are approximately the same between adjacent regions, the regions may be integrated. As described above, by making the area wider, a better gradation feeling can be obtained.
In addition, it is preferable that the representative value surface or the average value surface be constituted by a curve, since there are no discontinuous points on the surface and the deterioration of image quality due to the discontinuous points can be prevented in principle.
[0031]
The image processing apparatus according to the first embodiment of the present invention described above, compared to a conventional image processing apparatus, for example, as shown in FIG. At the time of processing, the image area of the input image signal is divided into a plurality of areas, a signal level average value is calculated for each area, a plane composed of the average values is calculated, and level compression of the average value plane component is performed. Thus, by compressing the entire signal level while locally reversing the magnitude relationship of the signal levels, an excellent effect that an image with a good gradation feeling can be obtained can be obtained.
[0032]
Next, a configuration of an image processing apparatus according to a second embodiment of the present invention will be described with reference to FIG. The image processing apparatus shown in FIG. 2 includes a plurality of image pickup means 20 for obtaining a digitized image signal and a small area representative for calculating a representative value (hereinafter referred to as an average value) for each small area of the image signal. Value calculating means 21, surface component generating means 22 for generating an average value surface constituted by the average value for each area, and surface component compressing means 23 for deforming and compressing a desired portion of the generated average value surface. And an image signal correction unit 24 that corrects the image signal using the image signal, the average value plane, and the compressed average value plane so that the signal level ratio between the plurality of input image signals does not change. .
[0033]
Next, the operation of the image processing apparatus according to the second embodiment of the present invention will be described with reference to FIG. The imaging unit 20, the small area representative value calculation unit 21, the plane component generation unit 22, and the plane component compression unit 23 of the image processing apparatus according to the present embodiment have the same functions as those of the first embodiment. Having.
However, there are three imaging units 20 in the present embodiment because a three-plate camera is used, and each of the imaging units 20 is red (R), green (G), and blue ( It is assumed that the configuration is such that the image signal of B) is obtained. When compressing the level of an image signal separated into RGB, attention must be paid to a change in color. For example, it is assumed that the processing described in the first embodiment is independently executed for each of RGB, and the result is obtained that R = 100%, G = 50%, and B = 100%.
At this time, the generation ratio of the luminance Y is simplified,
Y = 0.3R + 0.6G + 0.1B (Equation 1)
And The color difference signals RY and BY are
RY = 0.7R-0.6G-0.1B (Formula 2)
BY = −0.3R−0.6G + 0.9B (formula 3)
It is. If the original image signal is white with R = G = B = 1, before compression,
RY = 0
BY = 0
However, after compression,
From (Equation 2), since only G is 50%,
RY = 0.7-0.3-0.1 = 0.3
From (Equation 3), since only G is 50%,
BY = −0.3−0.3 + 0.9 = 0.3
And the color shifts in the magenta direction. For this reason, when the image signal is acquired for each color by a plurality of image pickup means such as a three-chip camera, the compression of the image signal level as described in the first embodiment is performed independently for each image signal. Must not be implemented. When an image signal is acquired for each color by a plurality of imaging units and compressed, it is necessary to perform processing while maintaining the ratio between the image signals.
[0034]
Therefore, in the present embodiment, signal level compression is performed while maintaining the ratio between image signals by the following method.
That is, for the G component, which is one of the image signals acquired from the imaging means 20, the same processing as described above for small area average value calculation, plane component generation, and plane component compression is performed. The compression ratio obtained here is assumed to be G (k). When the original image is G (org), the average value plane is G (rep), and the compressed image is G (Comp).
G (comp) = G (org) -G (rep) * G (k) (Equation 4)
That is, the compression ratio G (kp) in pixel units is
It becomes. Then, other colors are compressed using the compression ratio G (kp) in pixel units. By doing so, the signal level can be compressed without changing the hue. That is, the original image red component is R (org), the original image blue component is B (org), the compressed red component is R (comp), and the compressed blue component is B (comp) by the image signal correction unit 24. If
R (comp) = R (org) * G (kp)
B (comp) = B (org) * G (kp) (Equation 6)
You can do it.
Further, the compressed image G (Comp) is obtained from (Equation 4).
G (comp) = G (org) -G (rep) * G (k) (Equation 4)
It is.
[0035]
In the present embodiment, the compression ratio is calculated using the G component. However, the compression ratio may be calculated based on the luminance component by calculating the luminance component from RGB. Although the processing amount increases by the amount of the luminance component calculation, the compression of the signal level which is not biased by the color can be realized.
With such a configuration, an average value image of a plurality of image signals of the same subject (for example, a signal from a three-chip camera which must process three image signals of RGB) having a very wide signal level is provided in a plurality of regions. Divide and calculate the average signal level for each area, calculate the average plane composed of the averages, perform level compression on this average plane, and maintain the ratio relationship between the image signals. The compression has an excellent effect that the entire signal level can be compressed to obtain an image with a good tone feeling, while maintaining the tone feeling, without any adverse effect such as color change.
[0036]
Each function of the image processing apparatus can be recorded as a program on a computer-readable recording medium such as a magnetic disk, a magneto-optical disk, and a ROM. The recording medium on which the program is recorded is read by another computer, and the functions of the image processing apparatus can be realized by executing the program on an MPU, a DSP, or the like.
[0037]
【The invention's effect】
The image processing apparatus according to the present invention is configured as described above, and in particular, level-compresses a representative value plane composed of signal level representative values for each small area divided into small areas of an image, and locally compresses the signal level. By compressing the entire signal level while reversing the magnitude relationship of, it is possible to obtain an image having a good tone feeling even with an image signal having an extremely wide signal level.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image processing apparatus according to a first embodiment of the present invention;
FIG. 2 is a block diagram illustrating a configuration of an image processing apparatus according to a second embodiment of the present invention;
FIG. 3 is a diagram showing an average value surface graph with respect to a test image input;
FIG. 4 is a view showing a mean value surface graph after compression with respect to a test image input;
FIG. 5 is a diagram showing a compression process of an image signal level with respect to a test image input (line 180);
(A) Original image
(B) Image after compression
(C) Average value surface
(D) Average value surface after compression
FIG. 6 is a diagram in which a bright portion and a dark portion are formed using a test image and image processing software;
FIG. 7 is a diagram illustrating a configuration of an image processing apparatus according to the related art.
[Explanation of symbols]
10, 20 imaging means
11, 21 Small area representative value calculating means
12, 22 plane component calculation means
13, 23 plane component compression means
14, 24 image signal correction means
26 GCA (Gain Controlled Amplifier)
28 Peak detection circuit
29 Peak level addition circuit
30 Changeover switch circuit
31 Clamp circuit
32 gamma correction circuit
33 1 Horizontal Scan Period Delay Circuit
34 Negative / Positive Inverting Circuit
44 Control device
45 EVR (Digital-Analog Converter)
46 Manual setting switch
47 Adjustment Volume
48 Switching control signal AND circuit
