JP2007158388A

JP2007158388A - 画質改善方法、装置及びプログラム

Info

Publication number: JP2007158388A
Application number: JP2005346416A
Authority: JP
Inventors: Shunichi Kato; 俊一加藤; Mari Sasaki; 麻里佐々木; Masaru Ida; 勝井田
Original assignee: Tama TLO Co Ltd
Current assignee: Tama TLO Co Ltd
Priority date: 2005-11-30
Filing date: 2005-11-30
Publication date: 2007-06-21
Anticipated expiration: 2025-11-30
Also published as: JP4719559B2

Abstract

【課題】画像情報をイメージセンサやモニタカメラ等の装置で入力する際、入力される光の明度や色彩に対する撮像素子の非線形な応答特性を補正し、元の画像の雰囲気を保ちつつ、自然な画像補正をおこない、画像処理のための実用に即したものとすることを目的とする。
【解決手段】人間の視覚特性の一つである側抑制の働きに作用している受容野の働きに習い、明暗対比型と色対比型を異なる手法で処理を行う。明度対比型に関しては、入力値に対する出力値の対応関係が、逆S字型の曲線を描くような関数を用いることで、暗い部分や明るい部分の視認性を上げるような明るさの値（V値）についての補正を行い、色対比に関しては、R値とG値の処理をしている回路（R-G回路）と、Y値とB値の処理をしている回路（Y-B回路）があるので、RG回路に関してR値とG値のコントラスト、YB回路に関してはY値とB値のコントラストがそれぞれ大きくなるような、入力値に対する出力値の対応関係がS字曲線を描く関数によって、色相の値（C_R-G値C_Y-B値）に関する補正を行なう。
【選択図】図７

Description

本発明は、色彩のついたカラー画像の画質、特にデジタルカメラ、携帯電話のカメラ、スキャナ装置、監視カメラ等で入力したカラー画像の輝度と色彩を自動的に有効な強度で調節し、元の画像の雰囲気を保ちつつ、画像がきれいに見えるように改善する方法とその装置及びプログラムに関する。

画像処理の分野、および画像を利用した視覚的インターフェイス技術の分野では、高精度の画像入力機構と共に、入力された画像を人間の特殊な操作を介さずに人間がきれいだと感じる画質に変換する必要性が高まっている。

本発明が考えるきれいな画像とは、元の画像の雰囲気を保ちつつ、画像の輝度および色彩の視認性を上げ、自然な補正がされた画像である。

この種の画質改善方法としては、画像の各画素値を線形変換する方法、ガンマ補正に代表される指数変換方法及び対数変換方法がある。また、極端に画像を強調したい場合、ヒストグラム平坦化により、画像の画素値をコントラスト強調する方法などがある。

更に、人の輝度感度特性曲線に合わせて、レンジを幾つかの区間に分割し、各区間毎に曲線に近似した線分を求め、それらの線分を結合させて、画素値を変換する区分的線形変換方法等がある（高木、下田（監修）「画像解析ハンドブック」、東京大学出版会、1991年）。

図１は、線形変換による画像のコントラスト強調の手法を説明するための図であり、図２は、指数変換による画像のコントラスト強調の手法を説明するための図であり、図３は、対数変換による画像のコントラスト強調の手法を説明するための図である。

図１，図２および図３を参照しながら、従来の手法を説明する。

線形変換による画像のコントラスト強調の手法は、図１に見るように、入力画像の画素値ｖの区間をｖ≦ｂ，ｂ≦ｖ≦ａ，ａ≦ｖ等の幾つかに分けて、それぞれの区間で画素値を変換する１次変換式を

のように定義し、この線形変換によって入力画像の画素値ｖをｆ（ｖ）に変換する。この際、利用者は強調したい画素値の区間（例えばｂ≦ｖ≦ａ）での１次変換式の傾きを大きく設定することが、行われている。

指数変換による画像のコントラスト強調の手法は、テレビジョン技術の分野ではガンマ補正と呼ばれ、図２に見るように、指数関数に基づいて入力画像の画素値ｖをｇ（ｖ）に変換する。この際、コントラストの強調の度合いは、図２の指数関数の各点における曲線の傾きで定まり、画素値ｖの大きな範囲（図２の例ではｂ≦ｖ≦ａ）でコントラストが強調される。この指数変換の式は入力画像全体に対して同じ形で適用されることが、行われている。

対数変換による画像のコントラスト強調の手法は、図３に見られるように、対数関数に基づいて入力画像の画素値ｖをｈ（ｖ）に変換する。この際、コントラスト強調の度合いは、図３の対数関数の各点における曲線の傾きで定まり、画素値ｖの小さな範囲（図３の例ではｂ≦ｖ≦ａ）でコントラストが強調される。この曲線の形状すなわち対数変換の式は入力画像全体に対して同じ形で適用される。

ヒストグラム平坦化による方法は、画素値の分布の塊を周囲に適切に分散させて、分布に則してコントラスト強調を実行する方法であり、実際に種々の画像強調手法の中でも強調効果が著しい手法となっている。

特公平７−３７０８４号公報特開平１０−１９８８０１号公報高木、下田（監修）「画像解析ハンドブック」、東京大学出版会、1991年

しかしながら、線形変換による方法では、入力された個々の画像を利用者が観察しながらその画質に応じて、図１に示した折れ線のように、入力画素値に対する出力画素値の写像を一次変換式の組として定義しなければならず、変換式の一般性は得られない。

指数変換による方法では、あらかじめ定義された変換式に従って画素値を変換するが、画素値の大きい値の区間（図２の例ではｂ≦ｖ≦ａ）のコントラストは強調されるが、一方、画素間の小さい値の区間（図２の例ではｖ≦ｂ）のコントラストは劣化する。

同様に、対数変換による方法では、あらかじめ定義された変換式に従って画素値を変換するが、画素値の小さい値の区間（図３の例ではｂ≦ｖ≦ａ）のコントラストは強調されるが、一方、画素値の大きい値の区間（図３の例ではａ≦ｖ）のコントラストは劣化する。

ヒストグラム平坦化による方法では、大域的なコントラストの強調効果が著しく、一方領域内部での変化等を示す比較的に小さい局所的なコントラストが抑制される問題がある。したがって、処理結果が不自然な仕上がりとなり、元の画像の雰囲気を失ってしまうことがある。

これらの問題を解決し、従来の変換関数では得られなかった非線形の補正をし、人間にとって見づらい局所的に暗い部分や局所的に明るい部分のコントラストを強調して人間に違和感なく画質を改善した画質改善方法及び装置が提案されている（特公平7-37084 号公報）。

また、上記非線形の補正を実現し、且つ局所コントラストばかりでなく、大域的コントラストも強調し、全自動的に適応的に画像を処理する画質改善方法、エッジ強度計算方法及びその装置が提案されている（特願平9-2773号）

上記の方法は、輝度情報を補正の対象とするものであり、色度情報を考慮しないため、上記の方法をカラー画像には適用できない。また、人間の視細胞のR値、G値、B値にあたるLMS色空間では、明度対比に対する処理と色対比に対する処理が異なるため、上記の手法と同じ手法でカラー画像に適用できるようにしようとしても有効な画像補正をすることができない。

さらにこの手法で用いられる入力値に対する出力値の対応関係が逆S字型の曲線を描く関数(図４)は、人間の視覚感度が低下する暗い部分と明るい部分の感度を手助けする効果があり、白黒画像の処理には大変有効であるが、その手法を色彩を含むカラー画像に適用した場合、色彩を落としてしまうという問題点があるため、同じ手法をカラー画像にも適応させるのは難しい。

人間の視細胞のLMS空間では、図５のような受容野で、輝度に対する処理と色相に対する処理を行っている。人間には、この受容野の働きによって生じる、側抑制という視覚特性機能がある。人間は、側抑制の働きによって、輝度や色相のコントラストを自然に調節している。本発明の画像改善方法は、人間の側抑制と呼ばれる視覚特性の働きに着目し、その働きを数理的なモデルにすることで、デジタルセンサーによって入力されたカラー画像を、その画像の分布に応じて、元の画像の雰囲気を保ちつつ、自動的に明度対比（輝度のコントラスト）および色対比（色彩のコントラスト）を有効な強度で強調することを特徴とする。

輝度に対する受容野は明度対比型と呼ばれている。色相に対する受容野は色対比型と呼ばれている。どちらの受容野もOn-center型とOff-center型があり、相互作用をしている。例えば、明度対比型では、On-center型の働きによって、ある点に明るい光が入ってくると、周囲の明るさを抑制する働きをする。それとは逆に、Off-center型の働きによって、ある点の周囲の光が興奮すると、ある点の光が抑制される。一方、色対比型では、On-center型の働きによって、ある点に赤の光が入ると周囲の赤の光を抑制するのではなく、周囲の緑の光を抑制する。それとは逆に、Off-center型の働きによって、ある点の周囲の赤い光が興奮すると、ある点の赤い光が抑制されるのではなく、ある点の緑の光が抑制される。このように、色対比に関しては、人間の視細胞では、RGB値にあたるLMS錐体細胞を単独に処理しているのではなく、L錐体とM錐体（つまりR値：赤とG値：緑）およびL錐体・M錐体とS錐体（つまりY値：黄とB値：青）の組み合わせで処理を行っている。本発明では、V回路、R-G回路、Y-B回路をそれぞれ独立に補正し、V回路は人間の視覚感度が低下する暗い部分や明るい部分の感度を助けるような逆S字型の曲線を描く関数を用いることで（図４）、輝度のコントラストおよびシャープさを強調し、R-G回路とY-B回路はそれぞれR値とG値のコントラスト、Y値とB値のコントラストが大きくなるようなS字型の曲線を描く関数を用いることで（図６）、色相のコントラスト及び鮮やかさを強調する。したがって、本発明では、RGB値を、明るさを表すV値、RとGの色差を表すC_R-G値及びYとBの色差を表すC_Y-B値に変換し、それぞれの回路ごとに補正をおこなう。

なお、図６（ａ）は、色差（C_R-G値）の強調に使用されるＳ字型の曲線を示しており、横軸がオリジナルの画像のC_R-G値であり、縦軸が補正されたC_R-G値である（縦軸、横軸とも、−２５５は緑（Ｇ）であり２５５は赤（Ｒ）に対応する）。図６（ｂ）は、色差（C_Y-B値）の強調に使用されるＳ字型の曲線を示しており、横軸がオリジナルの画像のC_Y-B値であり、縦軸が補正されたC_Y-B値である（縦軸、横軸とも、−２５５は青（Ｂ）であり２５５は黄（Ｙ）に対応する）。

すなわち本発明は、オリジナルの画像から色差を導出する色差導出ステップと、色差導出ステップにおいて導出された前記色差をＳ字型の曲線を用いて補正することで補正色差を導出する補正色差導出ステップと、補正色差導出ステップにおいて導出された前記補正色差を用いて画質の改善された画像を生成する画質改善画像生成ステップとを有することを特徴とする画質改善方法である。

上記発明は、オリジナルの画像から輝度Vを導出する輝度導出ステップと、前記輝度導出ステップにおいて導出された前記輝度Vを逆Ｓ字型の曲線を用いて補正することで補正輝度を導出する補正輝度導出ステップとを更に備え、前記画質改善画像生成ステップは、前記補正色差と前記補正輝度を用いて画質の改善された画像を生成するものとすることも可能である。

上記発明における前記色差は、RとGの色差を表すC_R-G値及びYとBの色差を表すC_Y-B値とすることができる。この場合、前記色差導出ステップは、前記前記オリジナルの画像のRGB値からの変換により前記C_R-G値及び前記C_Y-B値を導出するものとすることができる。同様に、前記輝度Vは、前記前記オリジナルの画像のRGB値からの変換により導出するものとすることができる。この場合、オリジナルの画像の全ての画素から抽出されるRGB値の全てについて色差及び／又は輝度の導出及び補正を行うことも可能であり、オリジナルの画像の一部の画素から抽出されるRGB値についてのみ、色差及び／又は輝度の導出及び補正を行うことも可能である。

上記発明における補正色差導出ステップは、前記色差の変域の上限及び下限を用いて前記Ｓ字型の曲線を決定するステップを更に備えることができる。

上記発明における補正色差導出ステップは、前記色差をＳ字型の曲線を用いて補正した後に、例えばオリジナルの画像の色差の最小値から最大値の範囲に、正規化することで補正色差を導出するものとすることができる。更には、注目画素及びその近傍の画素から得られるＲＧＢ値に基づいて補正変量（Ｒ_On+Off、Ｇ_On+Off、B_On、Ｙ_Off）を決定し、上記により正規化された値をこの補正変量（Ｒ_On+Off、Ｇ_On+Off、B_On、Ｙ_Off）を用いて更に微調整することで補正色差を導出するものとすることもできる。

上記発明における補正輝度導出ステップは、画像画素値変量α_On及びα_Offを導出し、この画像画素値変量α_On及びα_Offを用いて前記逆Ｓ字型の曲線を決定するステップを更に備えることができる。

上記発明における補正輝度導出ステップは、前記輝度を逆Ｓ字型の曲線を用いて補正した後に、例えば前記輝度が取り得る変域の下限から上限に、正規化することで前記補正輝度を導出するものとすることができる。

本発明は、上記各発明における各ステップを処理装置に実行させる画質改善プログラムとして構成することも可能である。

本発明は、上記各発発明における各ステップを実行するそれぞれの機構を備える画質改善装置として構成することも可能である。
なお、本発明におけるＳ字型の曲線とは、色差（ｕ）の変域の最小値から最大値を補正色差（Ｕ）に変換する曲線（Ｕ＝ｆ（ｕ））であって、前記色差（ｕ）が前記最小値からゼロである範囲では、前記曲線の２回微分（ｄ^２ｆ（ｕ）／ｄ^２ｕ）が非負（即ち、ゼロ又は正）となり、前記色差（ｕ）がゼロから前記最大値である範囲では、前記曲線の２回微分（ｄ^２ｆ（ｕ）／ｄ^２ｕ）が非正（即ち、ゼロ又は負）となる曲線をいう。

本発明における逆Ｓ字型の曲線とは、輝度（ｖ）の変域の最小値から最大値を補正輝度（Ｖ）に変換する曲線（Ｖ＝ｇ（ｖ））であって、前記輝度（ｖ）が前記最小値からある中間の値の範囲では、前記曲線の２回微分（ｄ^２ｇ（ｖ）／ｄ^２ｖ）が非正となり、前記輝度（ｖ）が前記中間の値から前記最大値である範囲では、前記曲線の２回微分（ｄ^２ｇ（ｖ）／ｄ^２ｖ）が非負となる曲線をいう。

本発明の画像改善装置は、(a)画像情報を入力するための入力機構と、(b)前記入力画像により得られた値から輝度を表すV値を入力するV入力機構と、(c)前記入力画像により得られた値からR値とG値の色差であるC_R-G値を入力するR-G入力機構と、(d)前記入力画像により得られた値からY値とB値の色差であるC_Y-B値を入力するY-B入力機構と、(e)前記V入力機構から画像を受け取り、各画素毎に当該画素を含む近傍のVの画素値を取り出すV近傍画像抽出機構と、(f)前記R-G入力機構から画像を受け取り、各画素毎に当該画素を含む近傍のC_R-Gの画素値を取り出すR-G近傍画像抽出機構と、(g)前記Y-B入力機構から画像を受け取り、各画素毎に当該画素を含む近傍のC_Y-Bの画素値を取り出すY-B近傍画像抽出機構と、(h)前記V近傍画像抽出機構から近傍画像を受け取り、当該画素近傍のVの局所的変域を測定するV近傍画像画素値変域解析機構と、(i)前記R-G近傍画像抽出機構から近傍画像を受け取り、当該画素近傍のC_R-G値の局所的変域を測定するR-G近傍画像画素値変域解析機構と、(j)前記Y-B近傍抽出機構から近傍画像を受け取り、当該画素近傍のC_Y-B値の局所的変域を測定するY-B近傍画像画素値変域解析機構と、(k)前記V入力機構及び前記V近傍画像画素値変域解析機構の結果に基づき、画像の下限値、標準偏差値、画像全体の平均値、画像の近傍の平均値によって前記V近傍中心の画素値の補正量を決定するV_On-center画像画素値変量決定機構と、(l) 前記V入力機構及び前記V近傍画像画素値変域解析機構の結果に基づき、画像の上限値、標準偏差値、画像全体の平均値、画像の近傍の平均値によって前記V近傍中心の画素値の補正量を決定するV_Off-center画像画素値変量決定機構と、(m)前記V_On-center画像画素値変量決定機構とV_Off-center画像画素値変量決定機構で得られた変数とによって、前記V_On-center画像画素値とV_Off-center画像画素値を修正し、これらの比の対数で得られるような、逆S字型の曲線を描く関数で、前記V近傍中心画素の画素値を決定するV画素値補正機構と、(n)前記V画素値補正機構で得られた画素値を正規化するV画素値正規化機構と、(o)前記R-G入力機構および前記R-G近傍画像画素値変域解析機構の結果に基づき、シグモイド関数のようなS字型を描く曲線で全体的な補正量を決定するR-G画素値補正機構と、(p) 前記R-G画素値補正機構で得られて画素値を正規化するR-G画素値正規化機構と、(q)前記R-G近傍画像抽出機構から得られた変数によりRの補正変量R_{On+Off-center}を決定し、前記R-G正規化機構で得られた値を微調整するR近傍画像画素値調節機構と、(r)前記R-G近傍画像抽出機構から得られたG近傍中心の画素値および近傍のR平均値に基づき、Gの補正変量G_{On+Off-center}を決定し、前記R-G画素値正規化機構より得られたG値を微調整するG近傍画像画素値調節機構と、(s)前記R画素値調節機構とG画素値調節機構で得られたRとGの画素値から、RとG値の色差に変換するC_r-g変換機構と、(t)前記Y-B入力機構及び前記Y-B近傍画像画素値変域解析機構の結果に基づき、シグモイド関数のようなS字型を描く曲線で全体的な補正量を決定するY-B画素値補正機構と、(u) 前記Y-B画素値補正機構で得られて画素値を正規化するY-B画素値正規化機構と、(v)前記Y-B近傍画像抽出機構から得られたY近傍中心の画素値を含む局所間のY平均とB近傍中心の画素値を含む局所間のB平均に基づき、B値の補正変数量B_On-centerを決定し、前記Y-B画素値正規化機構より得られたB値を調整するB近傍素画像画素値決定機構と、(u) 前記Y-B近傍画像抽出機構から得られたY近傍中心の画素値を含む局所間のY平均とB近傍中心の画素値を含む局所間のB平均に基づき、Y値の補正変数量Y_Off-centerを決定し、前記Y-B画素値正規化機構より得られたY値を微調整するY近傍素画像画素値調節機構と、 (w) 前記B近傍画像素値決定機構と前記Y近傍画像画素値調節機構で得られたYとB値の画素値から、YとB値の色差に変換するC_y-b変換機構と、(x) V画素値正規化機構で得られたVの画素値とC_r-g変換機構で得られたC_r-gの画素値とC_y-b変換機構で得られたC_y-bの画素値を統合し、修正されたrgb値を求めるrgb変換機構と、 (y)前期rgb変換機構から各画素の画素値を受け取り、画像全体を構成して出力する出力機構とを備えたことを特徴とする画質改善装置。

以上の画質改善方法及び装置によれば、入力されたカラー画像を入力された画像の輝度、R値とG値の色差、Y値とB値の色差のそれぞれの画素値の分布に適応して、画像全体の画素値の分布と、局所的な画素値の分布の両方を考慮した調節が可能となり、画素値の小さい値の区間の明度対比及び色対比が強調されると同時に、画素値の大きい値の区間の明度対比および色対比も自動的に強調することができる。

以下、図面を参照して本発明の実施例を詳細に説明する。

図７は、本発明の第一の実施例にかかる画質改善方法を説明するための流れ図であり、図８は、この画質改善方法を実施する装置のブロック図である。

まず、イメージセンサ、モニタカメラ等の入力機構により画像を入力する。この入力機構が、例えば次式のようにR,G,B値からV,C_R-G,C_Y-B値へ変換する。

V入力機構は、入力機構より画像を受け取る。このV入力画像の各画素値が、取り得る変域の下限をV_L、上限をV_U、入力画像全体のV値の平均値をVgmean、入力画像全体のV値の標準偏差をVhensaで表すものとする。

V近傍画像抽出機構は、V入力画像より画像を受け取り、この画像中の各画像毎にその近傍領域を含む部分画像を抽出し、近傍のV_On-center画像とする。近傍の一例として注目する画素の画素値をV₀とし、その８近傍の画素の画素値(図９)をそれぞれV₁, V₂, V₃, V₄, V₅, V₆, V_7, V₈中の最大値Vmax=max(V₀,・・・, V₈)、最小値Vmin=min(V₀,・・・, V₈)、平均値Vlmean=(V₀+・・・+ V₈₎/9を用いて説明する。

V_On-center画像画素値変量決定機構は、V近傍画像画素値変域解析機構より、画素値の局所的変域の最小値Vminを受け取る。例えば次式によって、V_On-center画像画素値変量α_Onを計算する。

V_Off-center画像画素値変量決定機構は、V近傍画像画素値変域解析機構より、画素値の局所的変域の最大値Vmaxを受け取る。例えば次式によって、V_Off-center画像画素値変量α_Offを計算する。

V画素値補正機構は、V近傍画像画素値変域解析機構より、注目する画素の画素値V₀を受け取り、V_Off-center画像画素値変量決定機構よりV_On-center画像画素値変量α_Onを受け取り、V_Off-center画像画素値変量決定機構よりV_Off-center画像画素値変量α_Offを受け取る。例えば次式で定義される画素値の関数k(V)

によって注目する画素の画素値V₀を補正する。この式は、V_On-center画像画素値変量α_Onによって補正されたV_On-center画像の画素値と、V_Off-center画像画素値変量α_Offによって補正されたV_Off-center画像画素値の比の対数を求めていることに相当している。

同様に、以下の諸量、すなわち、各画素値が取り得る変域の下限V_Lおよび上限V_Uに関してもk(V_L),k(V_U)を求める。

V画素値正規化機構は、V画素値補正機構より、V_L,V_Uの範囲に正規化された各画素値の画素値K(V₀)を受け取り、次式によって、画素値k(V₀)をV_LからV_Uの範囲に正規化しK(V₀)とする。

V画素値正規化機構は、上式によって正規化された画素値K(V₀)を次の３式によってさらに正規化することも可能であり、これにより、画素値K(V₀)がより確実にV_LからV_Uの範囲内に収まようにできる。得られる値によって補正されたV値（v値）が求まる。

R-G入力機構は、入力機構より画像を受け取る。このR-G入力画像の各画素値が、取り得る変域の下限をC_{R-G L}、上限をC_{R-G U}を表すものとする。

R-G近傍画像抽出機構から近傍画像を受け取り、当該画素近傍のC_R-G値の局所的変域を測定するR-G近傍画像画素値変域解析機構により、近傍のR-G画像とする。近傍の一例として、注目する画像の画素値をC_R-G0とし、その８近傍の画像のRの画素値をそれぞれRo, R₂,R ₃, R₄, R₅, R₆, R_7, R₈中の最大値Rmax=max(R₀,・・・, R₈)、最小値Rmin=min(R₀,・・・, R₈)、平均値Rlmean=(R₁+・・・+ R ₈₎/8と８近傍の画像のGの画素値をそれぞれG₁, G₂,G ₃, G₄, G₅, G₆, G_7, G₈中の最大値Gmax=max(G₀,・・・, G₈)、最小値Gmin=min(G₀,・・・, G₈)、平均値Glmean=(G₁+・・・+ G ₈₎/8を用いて説明する。

R-G画素値補正機構は、画像の全体的な補正強度をシグモイド関数のようなS字型の曲線を描く関数l(C_R-G)

（λは定数）
によって注目する画素の画素値C_R-G0を補正する。この式は、R-G近傍画像画素値変域解析機構より、注目する画素の画素値C_R-G0を受け取り、C_{R-G L,} C_{R-G Un}により、関数の曲率が定めている。

（λは定数）
同様に、以下の諸量、すなわち、各画素値が取り得る変域の下限C_{R-G L},および上限C_{R-G U}に関してもl(C_{R-G L}),l(C_{R-G U}),l(C_{R-G 0})を求める。

（λは定数）

R-G画素値正規化機構
R-G画素値正規化機構は、R-G画素値補正機構より、C_{R-G L,} C_{R-G Un}の範囲に正規化された各画素値の画素値l(C_R-G)を受け取り、例えば次式によって、画素値l(C_{R-G 0})をC_{R-G L}からC_{R-G U}の範囲に正規化しL(C_{R-G 0})とする。

R近傍画像画素値調節機構は、R-G近傍画像抽出機構から得られたR近傍中心の画素値および近傍のG平均値に基づき、Rの補正変量を決定し、色対比型の受容野のRの働きを表すような式により、R-G画素値正規化機構で得られた画像の全体的な補正を局所的な面から微調整する。例えば次式によって、R近傍画像画素値変量R_On+Off値を決定する。R_ON+OFF値を入力画像によって得られた元のR値に加えることで、R-G回路によって補正したR値（r’値）を求める。

G近傍画像画素値調節機構は、R-G近傍画像抽出機構から得られたG近傍中心の画素値および近傍のR平均値に基づき、Gの補正変量を決定し、色対比型の野のGの働きを表すような式により、R-G画素値正規化機構で得られた画像の全体的な補正を局所的な面から微調整する。例えば次式によって、G近傍画像画素値変量G_On+Off値を決定する。G_ON+OFF値を入力画像によって得られた元のG値に加えることで、R-G回路によって補正したG値（g’値）を求める。

C_r-g変換機構は、R近傍画像画素値変量とG近傍画像画素値変量で得られた値より、次式を用いてRとG値の色差に変換する。

Y-B入力機構は、入力機構より画像を受け取る。このY-B入力画像の各画素値が、取り得る変域の下限をC_{Y-B L}、上限をC_{Y-B U}で表すものとする。

Y-B近傍画像抽出機構から近傍画像を受け取り、当該画素近傍のC_Y-B値の局所的変域を測定するY-B近傍画像画素値変域解析機構により、近傍のY-B画像とする。近傍の一例として、Y-B回路にある細胞の数はR-G回路にある細胞に比べて非常に少ないので、注目する画像の画素値をC_{Y-B 0}とし、そのBの画素値とその８近傍の画素のBの画素値をそれぞれB₀,B₁, B₂, B₃, B₄, B₅, B₆, B_7, B₈とその平均値Blmean=(B₀+・・・+ B₈₎/9及びそのYの画素値とその８近傍の画素のYの画素値をそれぞれY₀,Y₁, Y₂, Y₃, Y₄, Y₅, Y₆, Y_7, Y₈とその平均値Ylmean=(Y₀+・・・+ Y₈₎/9を用いて説明する。

Y-B画素値補正機構は、画像の全体的な補正強度をシグモイド関数のようなS字型の曲線を描く関数により決定する。Y-B近傍画像画素値変域解析機構より、注目する画素の画素値C_{Y-B 0}を受け取り、C_{Y-B L,} C_{Y-B U}により、関数の曲率が定められる。例えば次式で定義される画素値の関数l(C_Y-B)

（λは定数）

Y-B画素値正規化機構
Y-B画素値正規化機構は、Y-B画素値補正機構より、C_{Y-B L,} C_{Y-B U}範囲に正規化された各画素値の画素値l(C_Y-B)を受け取り、例えば次式によって、画素値L(C_{Y-B 0})をC_{Y-B L}からC_{Y-B U}の範囲に正規化しL(C_{Y-B 0})とする。

B近傍画像画素値調節機構は、Y-B近傍画像抽出機構から得られたB近傍中心を含むB近傍平均画素値およびY近傍中心を含むY近傍平均画素値により、Bの補正変量を決定し、色対比型の受容野のBの働きを表すような式により、Y-B画素値正規化機構で得られた画像の全体的な補正を局所的な面から微調整する。例えば次式によって、B近傍画像画素値変量B_On値を決定するB_ON値を入力画像によって得られた元のB値に加えることで、Y-B回路によって補正したB値（g’値）を求める。

Y近傍画像画素値調節機構は、Y-B近傍画像抽出機構から得られたY近傍中心を含むY近傍平均画素値およびB近傍中心を含むB近傍平均画素値により、Yの補正変量を決定し、色対比型の受容野のYの働きを表すような式により、Y-B画素値正規化機構で得られた画像の全体的な補正を局所的な面から微調整する。例えば次式によって、Y近傍画像画素値変量Y_Off値を決定する。Y_OFF値を入力画像によって得られた元のY値に加えることで、Y-B回路によって補正したY値（y’値）を求める。

C_y-b変換機構は、B近傍画像画素値変量とY近傍画像画素値変量で得られた値より、例えば次式を用いてYとB値の色差に変換する。

rgb変換機構は、V画素値正規化機構、C_R-G変換機構、C_Y-B変換機構で得られた補正後の輝度（v値）及び色差（C_r-g,C_y-b値）から、rgb値に変換する。例えば次式のような連立方程式により求める。

画像出力機構は、rgb変換機構より正規化済の各画素の画素値(r値,g値,b値)を受け取り、画像全体を構成して出力する。

参考のために、図１０に本実施例で画像の輝度のコントラストとシャープさ及び色相のコントラスト、鮮やかさがどのように改善されるかをヒストグラム平滑化を用いて処理をした結果と比べることで示す。図１０は携帯電話のカメラで撮った写真で、ポスターの一部分の絵である。図８は（a）はオリジナル画像（b）本発明で提案した装置で補正を行った出力画像（c）ヒストグラム平滑化を用いて処理を行った出力画像である。
(c)は、右側の女の子の画像の部分等に（a）では存在しなかった青色が出現してしまっているのに対し、（b）は、左上のビルの輪郭がはっきりし、全体的に鮮やかさも増し、視認性が上がり、元の雰囲気を保ちつつ自然な補正がされていることがわかる。

以上説明したように、この実施例によれば、側抑制の働きに基づいてモデルを構築することによって、入力された原画像を、元の画像の雰囲気を保ちつつ自然な補正が可能となり、例えば携帯電話で撮った写真を即座に補正したり、輝度や色相のコントラストが悪い画像を即座に、自動的に補正するなどの効果がある。

V回路、R-G回路、Y-B回路をそれぞれ独立に補正しているため、輝度のみを変化させたり、特定の色相のみを変化させたり、輝度と色相を同時に変化させたりすることも可能であり、画像の輝度・色相・彩度を自由に変化させるなどの効果がある。

以上説明したように本発明によれば、例えばイメージセンサやモニタカメラ等から入力した色彩を含むカラー画像の輝度および色相のコントラストを、元の雰囲気を変えずに自然な補正をすることができる。

線形変換による画像のコントラスト強調の手法を説明するための図。指数変換による画像のコントラスト強調の手法を説明するための図。対数変換による画像のコントラスト強調の手法を説明するための図。輝度値補正に用いられる入力値に対する出力値の対応関係が逆S字型の曲線を描く関数。人間の視細胞において行われる輝度や色相のコントラストの調節機構を示す説明図色差（C_R-G値及びC_Y-B値）の補正に用いられる入力値に対する出力値の対応関係がS字型の曲線を描く関数を示す説明図。本発明の一の実施形態にかかる画質改善方法を説明するための流れ図。本発明の一の実施形態にかかる画質改善装置の構成を示すブロック図。注目画素(V₀)及び近傍画素(V₀,・・・, V₈)の取り方の一例を示す説明図。本発明による処理画像とヒストグラム平滑化による処理画像を対比を示す説明図。

Claims

センサーによりデジタル化されたR,G,B値を、明るさを表すＶ値、RとG値の色差を表すC_R-G値並びにYとB値の色差を表すC_Y-B値に変換し、明度対比型に関しては、入力値に対する出力値の対応関係が、逆S字型の曲線を描くような関数を用いることで、暗い部分や明るい部分の明るさに対する視認性を上げるような補正を行い、画像の全体的な変域及び画像の局所的な変域から補正量を決定し、色対比に関するC_R-G値とC_Y-B値においては、入力値に対する出力値の対応関係がS字型の曲線を描くような関数をそれぞれ用いることで、R値とG値のコントラスト、Y値とB値のコントラストを大きくし、色彩に対する視認性をあげるような補正を行い、画像の全体的な変域及び画像の局所的な変域から補正量を決定し、V値、 C_R-G値、C_Y-B値をそれぞれ独立に補正し、正規化した画素値を最後に統合することを特徴とする画質改善方法。
本発明の画像改善装置は、(a)画像情報を入力するための入力機構と、(b)前記入力画像により得られた値から輝度を表すV値を入力するV入力機構と、(c)前記入力画像により得られた値からR値とG値の色差であるC_R-G値を入力するR-G入力機構と、(d)前記入力画像により得られた値からY値とB値の色差であるC_Y-B値を入力するY-B入力機構と、(e)前記V入力機構から画像を受け取り、各画素毎に当該画素を含む近傍のVの画素値を取り出すV近傍画像抽出機構と、(f)前記R-G入力機構から画像を受け取り、各画素毎に当該画素を含む近傍のC_R-Gの画素値を取り出すR-G近傍画像抽出機構と、(g)前記Y-B入力機構から画像を受け取り、各画素毎に当該画素を含む近傍のC_Y-Bの画素値を取り出すY-B近傍画像抽出機構と、(h)前記V近傍画像抽出機構から近傍画像を受け取り、当該画素近傍のVの局所的変域を測定するV近傍画像画素値変域解析機構と、(i)前記R-G近傍画像抽出機構から近傍画像を受け取り、当該画素近傍のC_R-G値の局所的変域を測定するR-G近傍画像画素値変域解析機構と、(j)前記Y-B近傍抽出機構から近傍画像を受け取り、当該画素近傍のC_Y-B値の局所的変域を測定するY-B近傍画像画素値変域解析機構と、(k)前記V入力機構及び前記V近傍画像画素値変域解析機構の結果に基づき、画像の下限値、標準偏差値、画像全体の平均値、画像の近傍の平均値によって前記V近傍中心の画素値の補正量を決定するV_On-center画像画素値変量決定機構と、(l) 前記V入力機構及び前記V近傍画像画素値変域解析機構の結果に基づき、画像の上限値、標準偏差値、画像全体の平均値、画像の近傍の平均値によって前記V近傍中心の画素値の補正量を決定するV_Off-center画像画素値変量決定機構と、(m)前記V_On-center画像画素値変量決定機構とV_Off-center画像画素値変量決定機構で得られた変数とによって、前記V_On-center画像画素値とV_Off-center画像画素値を修正し、これらの比の対数で得られるような、逆S字型の曲線を描く関数で、前記V近傍中心画素の画素値を決定するV画素値補正機構と、(n)前記V画素値補正機構で得られた画素値を正規化するV画素値正規化機構と、(o)前記R-G入力機構および前記R-G近傍画像画素値変域解析機構の結果に基づき、シグモイド関数のようなS字型を描く曲線で全体的な補正量を決定するR-G画素値補正機構と、(p) 前記R-G画素値補正機構で得られて画素値を正規化するR-G画素値正規化機構と、(q)前記R-G近傍画像抽出機構から得られた変数によりRの補正変量R_On+Offを決定し、前記R-G正規化機構で得られた値を微調整するR近傍画像画素値調節機構と、(r)前記R-G近傍画像抽出機構から得られたG近傍中心の画素値および近傍のR平均値に基づき、Gの補正変量G_On+Offを決定し、前記R-G画素値正規化機構より得られたG値を微調整するG近傍画像画素値調節機構と、(s)前記R画素値調節機構とG画素値調節機構で得られたRとGの画素値から、RとG値の色差に変換するC_r-g変換機構と、(t)前記Y-B入力機構及び前記Y-B近傍画像画素値変域解析機構の結果に基づき、シグモイド関数のようなS字型を描く曲線で全体的な補正量を決定するY-B画素値補正機構と、(u) 前記Y-B画素値補正機構で得られて画素値を正規化するY-B画素値正規化機構と、(v)前記Y-B近傍画像抽出機構から得られたY近傍中心の画素値を含む局所間のY平均とB近傍中心の画素値を含む局所間のB平均に基づき、B値の補正変数量B_Onを決定し、前記Y-B画素値正規化機構より得られたB値を調整するB近傍素画像画素値調節機構と、(u) 前記Y-B近傍画像抽出機構から得られたY近傍中心の画素値を含む局所間のY平均とB近傍中心の画素値を含む局所間のB平均に基づき、Y値の補正変数量Y_Offを決定し、前記Y-B画素値正規化機構より得られたY値を微調整するY近傍素画像画素値調節機構と、 (w) 前記B近傍画像素値決定機構と前記Y近傍画像画素値決定機構で得られたYとB値の画素値から、YとB値の色差に変換するC_y-b変換機構と、(x) V画素値正規化機構で得られたVの画素値とC_r-g変換機構で得られたC_r-gの画素値とC_y-b変換機構で得られたC_y-bの画素値を統合し、修正されたrgb値を求めるrgb変換機構と、 (y)前期rgb変換機構から各画素の画素値を受け取り、画像全体を構成して出力する出力機構とを備えたことを特徴とする画質改善装置及びソフトウェア。