JP2016115304A - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP2016115304A
JP2016115304A JP2014255860A JP2014255860A JP2016115304A JP 2016115304 A JP2016115304 A JP 2016115304A JP 2014255860 A JP2014255860 A JP 2014255860A JP 2014255860 A JP2014255860 A JP 2014255860A JP 2016115304 A JP2016115304 A JP 2016115304A
Authority
JP
Japan
Prior art keywords
signal
value
color space
component
luminance signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014255860A
Other languages
English (en)
Inventor
善光 村橋
Yoshimitsu Murahashi
善光 村橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014255860A priority Critical patent/JP2016115304A/ja
Publication of JP2016115304A publication Critical patent/JP2016115304A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相ずれ等を適切に防止する画像処理装置を実現する。【解決手段】制限値取得部は、第1色空間の画像信号を、第2色空間の画像信号に変換した場合に、変換後の第2色空間の画像信号が第2色空間で規定される範囲内の信号とするための信号値制限情報を取得する。輝度信号処理部は、第1色空間の輝度成分信号に対して所定の処理(所定の画像処理)を実行するとともに、信号値制限情報に基づいて、クリッピング処理を実行することで、制限輝度信号を取得する。第2色空間変換部は、輝度信号処理部により取得された制限輝度信号と、第1色空間の色成分信号とを用いて、色空間変換することで、第2色空間の画像信号を取得する。【選択図】図1

Description

本発明は、画像処理技術に関し、例えば、画像信号に対して、所定の処理の後に色空間変換を実行する場合に、処理後の画像信号において、色相や彩度のずれの発生を適切に防止する技術に関する。
画像のノイズを抑制しつつ、ディテール感を向上させる様々な画像処理技術が開発されている。
例えば、特許文献1に開示されている画像処理装置には、画像のノイズを抑制しつつ、ディテール感を向上させる画像処理技術が開示されている。
特許文献1の画像処理装置では、以下のように、画像処理が実行される。
すなわち、特許文献1の画像処理装置では、エッジ強度検出処理部が入力画像データのエッジ強度を検出し、平滑化処理部がエッジ強度を平滑化する。そして、エッジ強度置換部は、平滑化されたエッジ強度が上限値より大きい場合、あるいは、下限値より小さい場合に、エッジ強度を「0」に置き換える。そして、ディテール強調処理部は、エッジ強度が「0」でない画素に対して強調処理を実行し、エッジ強度が「0」の画素に対しては、強調処理を実行しない。
特許文献1の画像処理装置では、上記のように処理することで、画像のノイズを抑制しつつ、ディテール感を向上させることができる。
従来の画像処理装置の処理の一例を、図8を用いて説明する。
図8は、画像処理装置に入力される画像信号の輝度信号Yinが形成する画像上のエッジ部分に相当する輝度信号Yinの信号波形(上図)と、当該輝度信号Yinが、特許文献1の画像処理装置で処理された後の輝度信号Youtの信号波形(下図)とを示す図である。
また、図8において、輝度信号Yinを平滑化した後に取得される輝度信号Y_Lpfと、平滑化後の輝度信号Y_Lpfに基づいて設定される上限値L_upperと、下限値L_lowerとを示している。
図8に示した輝度信号Yinの信号値は、いずれも上限値L_upperと下限値L_lowerとの間の値をとるので、従来の画像処理装置は、輝度信号Yinに対して、例えば、エッジ強調処理を実行する。その結果、図8の下図に示す、エッジ強調処理後の輝度信号Youtが取得される。
従来の画像処理装置において、上記のような処理を実行することで、エッジ部分が強調された輝度信号Youtが取得される。
特開2013−235517号公報
しかしながら、上記のような従来の画像処理装置による画像処理では、強調処理後の輝度信号の信号レベルが所定の範囲に収まることが保証されないため、例えば、輝度信号Youtに対して、色差信号(U信号、V信号)とともに、YUV−RGB色空間変換を行った場合、色空間変換後のRGB色空間の画像信号(R信号、G信号、および、B信号)により再現される各画素の色が、強調処理前の元の画像信号により再現される色とずれる場合がある。つまり、色空間変換後のRGB色空間の画像信号により再現される色相、彩度が、強調処理前の元の画像信号により再現される色相、彩度と一致しなくなることがある。つまり、色シフトや彩度落ちが発生することがある。
これは、YUV−RGB色空間変換を行う場合、R信号、G信号、および、B信号が、いずれも、輝度信号(Y信号)の影響を受けるためである。つまり、YUV−RGB色空間変換は、下記の数式に相当する処理により実行される。なお、YUV色空間のY信号(Y成分値)の値をYとし、色差信号U信号(U成分値)の値をUとし、色差信号V信号(V成分値)の値をYとする。また、RGB色空間のR信号(R成分値)をRとし、G信号(G成分値)をGとし、B信号(B成分値)をBとする。
下記数式から分かるように、R成分値(R信号)、G成分値(G信号値)、および、B成分値(B信号値)を算出するためには、いずれも、Y成分値(輝度信号値)の項が必要となる。このため、YUV−RGB色空間変換を行う場合、R信号、G信号、および、B信号は、いずれも、輝度信号(Y信号)の影響を受ける。
Figure 2016115304
例えば、図8の場合、処理後の輝度信号YoutのR1およびR2で示した部分の信号値が、YUV−RGB色空間変換を行った場合に、変換後の画像信号がRGB色空間の規定領域内となるための下限値Lbと上限値Ltとの間の値となっていない。このため、処理後の輝度信号YoutのR1およびR2で示した部分の信号値を用いて、YUV−RGB色空間変換を行うと、R1およびR2で示した部分の信号値(Y成分値)から取得されたRGB色空間の画像信号は、正しい色を再現することができない(色相、彩度がずれる)。
このように、上記のような従来の画像処理では、強調処理後の画像信号の信号レベルが所定の範囲に収まることが保証されないため、YUV−RGB色空間変換を行った場合、色空間変換後のRGB色空間の画像信号により再現される色相、彩度がずれるという問題がある。
そこで、本発明は、上記問題点に鑑み、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相、彩度がずれることを適切に防止する画像処理装置を実現することを目的とする。
上記課題を解決するために、第1の構成は、第1色空間で規定される画像信号であって、輝度成分信号と色成分信号とを含む画像信号である処理対象画像信号に対する処理を実行する画像処理装置であって、制限値取得部と、輝度信号処理部と、第2色空間変換部と、を備える。
制限値取得部は、第1色空間の画像信号を、第2色空間の画像信号に変換した場合に、変換後の第2色空間の画像信号が第2色空間で規定される範囲内の信号とするための信号値制限情報を取得する。
輝度信号処理部は、第1色空間の輝度成分信号に対して所定の処理(所定の画像処理)を実行するとともに、信号値制限情報に基づいて、クリッピング処理を実行することで、制限輝度信号を取得する。
第2色空間変換部は、輝度信号処理部により取得された制限輝度信号と、第1色空間の色成分信号とを用いて、色空間変換することで、第2色空間の画像信号を取得する。
本発明によれば、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相、彩度がずれることを適切に防止する画像処理装置を実現することができる。
第1実施形態に係る画像処理装置1000の概略構成図。 鮮鋭化処理部31の具体的構成例を示す図。 鮮鋭化処理部31の具体的構成例を示す図。 クリッピング処理の入出力特性図。 クリッピング処理の入出力特性図。 第2実施形態の画像処理装置2000の概略構成図。 第2実施形態の画像処理装置2000の鮮鋭化成分取得部31Aの概略構成図。 画像処理装置に入力される画像信号の輝度信号Yinが形成する画像上のエッジ部分に相当する輝度信号Yinの信号波形(上図)と、当該輝度信号Yinが、特許文献1の画像処理装置で処理された後の輝度信号Youtの信号波形(下図)とを示す図。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:画像処理装置の構成>
図1は、第1実施形態に係る画像処理装置1000の概略構成図である。
画像処理装置1000は、図1に示すように、第1色空間変換部1と、制限値取得部2と、輝度信号処理部3と、第2色空間変換部4とを備える。
なお、以下では、画像処理装置1000に入力される画像信号DinがRGB色空間の画像信号であり、画像信号Dinは、R成分信号Rinと、G成分信号Ginと、B成分信号Binとから構成されるものとする。また、第1色空間変換部1は、RGB−YUV色空間変換を行い、第2色空間変換部4は、YUV−RGB色空間変換を行うものとして、説明する。
第1色空間変換部1は、画像信号Din、すなわち、R成分信号Rinと、G成分信号Ginと、B成分信号Binとを入力する。第1色空間変換部1は、入力された、RGB色空間の画像信号Dinに対して、RGB−YUV色空間変換を行い、輝度信号Y1と、色差信号(U成分信号、V成分信号)U1、V1と、を取得する。そして、第1色空間変換部1は、取得した輝度信号Y1を輝度信号処理部3に出力する。また、第1色空間変換部1は、取得した、U成分信号U1およびV成分信号V1を、制限値取得部2と、第2色空間変換部4とに出力する。
制限値取得部2は、第1色空間変換部1から出力されるU成分信号U1およびV成分信号V1を入力する。制限値取得部2は、U成分信号U1およびV成分信号V1から、Y成分信号、U成分信号、V成分信号を、RGB色空間の画像信号に色空間変換した場合、変換後の画像信号がRGB色空間の規定領域内に入るためのY成分信号(輝度信号)の信号値の上限値Ltと下限値Lbとを取得する。そして、制限値取得部2は、取得した上限値Ltと下限値Lbとを輝度信号処理部3に出力する。
輝度信号処理部3は、図1に示すように、鮮鋭化処理部31と、制限部32とを備える。
鮮鋭化処理部31は、第1色空間変換部1から出力される輝度信号Y1を入力する。鮮鋭化処理部31は、入力された輝度信号Y1に対して、鮮鋭化処理を実行し、処理後の輝度信号を輝度信号Y2として、制限部32に出力する。
制限部32は、鮮鋭化処理部31から出力される輝度信号Y2と、制限値取得部2から出力される上限値Ltおよび下限値Lbと、を入力する。制限部32は、上限値Ltおよび下限値Lbを用いて、輝度信号Y2に対して、クリッピング処理を実行する。そして、制限部32は、処理後の輝度信号を輝度信号Y3として、第2色空間変換部4に出力する。
第2色空間変換部4は、制限部32から出力される輝度信号Y3と、第1色空間変換部1から出力されるU成分信号U1およびV成分信号V1とを入力する。第2色空間変換部4は、入力された輝度信号Y3、U成分信号U1およびV成分信号V1に対して、YUV−RGB色空間変換を行い、R成分信号Rout、G成分信号Gout、および、B成分信号Boutを取得する。そして、第2色空間変換部4は、取得した、R成分信号Rout、G成分信号Gout、および、B成分信号Boutを成分信号とするRGB色空間の画像信号を、画像信号Doutとして出力する。
<1.2:画像処理装置の動作>
以上のように構成された画像処理装置1000の動作について、以下、説明する。
第1色空間変換部1では、入力された、RGB色空間の画像信号Dinに対して、RGB−YUV色空間変換が実行され、輝度信号Y1と、色差信号(U成分信号、V成分信号)U1、V1とが取得される。そして、取得された輝度信号Y1は、第1色空間変換部1から輝度信号処理部3の鮮鋭化処理部31に出力される。また、取得された、U成分信号U1およびV成分信号V1は、第1色空間変換部1から、制限値取得部2および第2色空間変換部4に出力される。
鮮鋭化処理部31では、輝度信号Y1に対して、鮮鋭化処理が実行される。例えば、鮮鋭化処理部31では、輝度信号Y1に対して、高周波成分を強調、あるいは、高周波成分を抽出する処理を実行することにより、鮮鋭感のある画像を再現する輝度信号Y2が取得される。
ここで、鮮鋭化処理部31の具体的構成例と、鮮鋭化処理部31で実行される鮮鋭化処理について、説明する。
図2は、鮮鋭化処理部31の具体的構成例を示す図である。
図2の場合、鮮鋭化処理部31は、水平鮮鋭化処理部311と、垂直鮮鋭化処理部312と、を備える。
なお、以下では、輝度信号Y1が形成する画像の画素ごとに処理が実行される場合について説明する。つまり、1サンプル時間ごとに、画像上において、右に隣接する水平の画素に相当する輝度信号Y1が鮮鋭化処理部31に入力され、さらに、Hサンプル(H:水平方向の画素数)ごとに、画像上の垂直方向の下方向に隣接する画素が鮮鋭化処理部31に入力される場合(ラスタースキャンで画素が入力される場合)について説明する。
水平鮮鋭化処理部311は、図2に示すように、1サンプル遅延器z1、z2と、係数乗算器g1〜g3と、加算器add1、add2と、鮮鋭化強度調整器g4と、を備える。
水平鮮鋭化処理部311において、図2に示すように構成することで、1サンプル遅延器z1、z2により、水平方向に隣接する画素の画素値を取得し、係数乗算器g1〜g3により、FIRフィルタを構成することができる。そして、係数乗算器g1〜g3を、
g1=g3=−0.5
g2=1.0
に設定することで、輝度信号Y1の水平高周波成分を抽出することができる。
ここで、水平鮮鋭化処理部311に入力される輝度信号をY1(x+1,y)とし、1サンプル遅延器z1から出力される輝度信号をY1(x,y)とし、1サンプル遅延器z2から出力される輝度信号をY1(x−1,y)と表記する。つまり、z変換を用いた表記により、
Y1(x,y)=Y1(x+1,y)×z−1
Y1(x−1,y)=Y1(x,y)×z−1
である。なお、「z−1」は、1サンプルの遅延に相当する。
言い換えると、Y1(x−1,y)、Y(x,y)、Y(x+1,y)は、水平方向に隣接する3つの画素の画素値に相当する。
鮮鋭化係数乗算器g4の出力をΔQ(x,y)とすると、水平鮮鋭化処理部311では、
ΔQ(x,y)=α×{(−0.5)×Y1(x+1,y)+1.0×Y1(x,y)×(−0.5)×Y1(x−1,y)}
Q(x,y)=Y1(x,y)+ΔQ(x,y)
α:係数
に相当する処理が実行される。ΔQ(x,y)は、輝度信号Y1(x,y)の水平高周波成分であるので、Q(x,y)は、輝度信号Y1(x,y)に対して、水平高周波成分を強調した輝度信号である。
垂直鮮鋭化処理部312は、図2に示すように、Hサンプル遅延器zh1、zh2(H:水平方向の画素数)と、係数乗算器g5〜g7と、加算器add3、add4と、鮮鋭化強度調整器g8と、を備える。
垂直鮮鋭化処理部312において、図2に示すように構成することで、Hサンプル遅延器zh1、zh2により、垂直方向に隣接する画素の画素値を取得し、係数乗算器g5〜g7により、FIRフィルタを構成することができる。そして、係数乗算器g5〜g7を、
g5=g7=−0.5
g6=1.0
に設定することで、輝度信号Y1の垂直高周波成分を抽出することができる。
ここで、垂直鮮鋭化処理部312に入力される輝度信号をQ(x,y+1)とし、Hサンプル遅延器zh1から出力される輝度信号をQ(x,y)とし、Hサンプル遅延器zh2から出力される輝度信号をQ(x,y−1)と表記する。つまり、z変換を用いた表記により、
Q(x,y)=Q(x,y+1)×z−H
Q(x,y−1)=Q(x,y)×z−H
である。なお、「z−H」は、Hサンプルの遅延に相当する。
言い換えると、Q(x,y−1)、Q(x,y)、Q(x,y+1)は、垂直方向に隣接する3つの画素の画素値に相当する。
鮮鋭化係数乗算器g8の出力をΔP(x,y)とすると、垂直鮮鋭化処理部312では、
ΔP(x,y)=β×{(−0.5)×Q(x,y+1)+1.0×Q(x,y)×(−0.5)×Q(x,y−1)}
Y2(x,y)=Q(x,y)+ΔP(x,y)
β:係数
に相当する処理が実行される。ΔP(x,y)は、輝度信号Q(x,y)の垂直高周波成分であるので、Y2(x,y)は、輝度信号Q(x,y)に対して、垂直高周波成分を強調した輝度信号である。
上記のように処理することで、鮮鋭化処理部31では、輝度信号Y1の水平高周波成分および垂直高周波成分を強調した輝度信号Y2を取得することができる。
なお、鮮鋭化処理部31の構成は、上記に限定されることはなく、例えば、鮮鋭化処理部31を、図3に示すように、輝度信号Y1の水平高周波成分を強調する処理部と、輝度信号Y1の垂直高周波成分を強調する処理部と、を並列接続した構成としてもよい。
図3の構成の鮮鋭化処理部31では、鮮鋭化処理部31は、輝度信号Y1の水平高周波成分を強調した輝度信号Qを取得する水平鮮鋭化処理部311Aと、輝度信号Y1の垂直高周波成分を抽出した輝度信号ΔPを取得する垂直鮮鋭化処理部312Aと、を備える。また、図3の構成の鮮鋭化処理部31では、遅延器DL1、DL2を備える。遅延器DL1は、Hサンプル遅延器であり、遅延器DL2は、1サンプル遅延器である。遅延器DL1、DL2は、水平鮮鋭化処理部311Aの出力タイミングと、垂直鮮鋭化処理部312Aの出力タイミングを一致させるための遅延器である。
図3に示す構成の鮮鋭化処理部31においても、輝度信号Y1の水平高周波成分および垂直高周波成分を強調した輝度信号Y2を取得することができる。
また、上記以外の鮮鋭化手法により、輝度信号Y1の水平高周波成分および垂直高周波成分を強調した輝度信号Y2を取得するようにしてもよい。例えば、図2の構成において、水平鮮鋭化処理部311と垂直鮮鋭化処理部312の接続順序を逆にしてもよい。また、図3の構成において、伝達関数が同一となるように、加算器の位置等を変更するようにしてもよい。
さらに、鮮鋭化処理部31において、2次元フィルタ処理により、鮮鋭化処理を実行するようにしてもよい。また、鮮鋭化処理部31において、いわゆる非線形のエンハンサ処理により鮮鋭化処理を実行するようにしてもよいし、超解像技術を用いた処理により、鮮鋭化処理を実行するようにしてもよい。
以上のように処理されて取得された輝度信号Y2は、鮮鋭化処理部31から制限部32に出力される。
制限値取得部2では、U成分信号U1およびV成分信号V1から、Y成分信号、U成分信号、V成分信号を、RGB色空間の画像信号に色空間変換した場合、変換後の画像信号がRGB色空間の規定領域内に入るためのY成分信号(輝度信号)の信号値の上限値Ltと下限値Lbとが取得される。
具体的には、制限値取得部2は、RGB色空間において、R成分値の取り得る最大値をRmaxとし、G成分値の取り得る最大値をGmaxとし、B成分値の取り得る最大値をBmaxとし、U成分信号U1の信号値をUとし、V成分信号V1の信号値をVとすると、
Ltr=Rmax−1.402×V
Ltg=Gmax+0.344×U+0.714×V
Ltb=Bmax−1.772×U
Lt=min(Ltr,Ltg、Ltb)
min():要素の最小値を取得する関数
に相当する処理を実行することで、上限値Ltを取得する。
また、制限値取得部2は、RGB色空間において、R成分値の取り得る最小値をRminとし、G成分値の取り得る最小値をGminとし、B成分値の取り得る最小値をBminとすると、
Lbr=Rmin−1.402×V
Lbg=Gmin+0.344×U+0.714×V
Lbb=Bmin−1.772×U
Lb=max(Ltr,Ltg、Ltb)
max():要素の最大値を取得する関数
に相当する処理を実行することで、下限値Lbを取得する。
以上のようにして取得された上限値Ltおよび下限値Lbは、制限値取得部2から輝度信号処理部3の制限部32に出力される。
ここで、上限値Ltおよび下限値Lbを上記のように取得する理由について、説明する。
一般に鮮鋭化処理は、輝度成分信号に対して施す。RGB色空間で鮮鋭化処理をする場合、3つの色成分信号(R成分信号、G成分信号、B成分信号)に対して処理をしなければならない。一方、YUV色空間などのように、画像信号を、輝度信号(Y信号)とクロマ信号(C信号)とに分離する場合、輝度信号のみに対して処理を行えばよい。したがって、回路リソース、計算リソースの節約の観点から、画像信号を、輝度信号とクロマ信号とに分離して画像処理(映像処理)を行うことは一般に広く実施されている。
たとえば、ITU−R BT.601規格に基づくRGB−YUV色空間変換は、下記数式で表現される。
Figure 2016115304
また、ITU−R BT.601規格に基づくYUV−RGB色空間変換は、下記数式で表現される。
Figure 2016115304
上記(数式3)の3×3の行列は、(数式2)の3×3の行列の逆行列となっており、それぞれの行列の内積をとると単位行列となる。すなわち、変換前後でR成分値、G成分値、B成分値は、保存される(変化しない)。
RGB−YUV色空間変換、および、YUV−RGB色空間変換を行った場合に、R成分値、G成分値、B成分値が保存される(変化しない)ということは、入力画像のR成分値、G成分値、B成分値が、それぞれ、例えば、[0:1]の値域(RGB色空間の規定領域)に収まっていれば、上記(数式2)、(数式3)に相当する処理が実行されて取得されるR成分値、G成分値、B成分値も[0:1]の値域(RGB色空間の規定領域)に収まるということを意味する。なお、RGB色空間で定義されるR成分値(正規化されたR成分値)の取り得る範囲が[0:1]であり、RGB色空間で定義されるB成分値(正規化されたB成分値)の取り得る範囲が[0:1]であり、RGB色空間で定義されるG成分値(正規化されたG成分値)の取り得る範囲が[0:1]であるものとする。
ここで、鮮鋭化処理等によって入力画像から得られた輝度信号Yは、ΔYだけ変化してY’になるとする。すなわち、処理後の輝度信号Y’は、
Y’=Y+ΔY
であるとする。
下記(数式4)に示すように、RGB色空間の原画像(入力画像)に対して鮮鋭化処理を施して、輝度成分がΔYだけ変化したとすると、鮮鋭化処理後のR成分値R’、G成分値G’、B成分値B’は、原画像のR成分値R、G成分値G、B成分値BのそれぞれにΔYを加算したものとなる。
Figure 2016115304
色空間の値域を考慮した場合、輝度成分値の変動量ΔYによっては、鮮鋭化処理後のR成分値R’、G成分値G’、B成分値B’は、RGB色空間の値域[0:1]を超える可能性がある。特に、鮮鋭化効果を強くしようとした場合、輝度成分値の変動量ΔYの絶対値は大きくなる傾向にあり、色空間の値域を超える可能性が高くなる。
YUV−RGB色空間変換後の信号値がRGB色空間の値域を超えた場合、YUV−RGB色空間変換後の信号値がRGB色空間の値域内となるように、例えば、クリッピング処理が実行される。YUV−RGB色空間変換後の信号値をRGB色空間の値域[0:1]に収めるためには、例えば、以下のような処理が実行される。
クリッピング処理後のR成分値をR’’とし、クリッピング処理後のG成分値をG’’とし、クリッピング処理後のB成分値をB’’とする。
また、R成分値のクリッピング処理用補正値(クリッピング処理により発生する誤差)をErとし、G成分値のクリッピング処理用補正値(クリッピング処理により発生する誤差)をEgとし、B成分値のクリッピング処理用補正値(クリッピング処理により発生する誤差)をEbとする。この場合、クリッピング処理後の各成分値R’’、G’’、B’’は、以下の数式により表現される。
Figure 2016115304
この場合、以下のように処理することで、YUV−RGB色空間変換後の信号値をRGB色空間の値域[0:1]に収めることができる。
R成分値の処理について、説明する。
(1)R+ΔY>1の場合、R成分値のクリッピング処理用補正値Erを、
Er=1−(R+ΔY)
となるように設定する。
これにより、
R’’=1
となる。
(2)0≦R+ΔY≦1の場合、R成分値のクリッピング処理用補正値Erを、
Er=0
となるように設定する。
これにより、
R’’=R+ΔY
となり、0≦R’’≦1が保証される。
(3)R+ΔY<0の場合、R成分値のクリッピング処理用補正値Erを、
Er=−(R+ΔY)
となるように設定する。
これにより、
R’’=0
となる。
なお、G成分値の処理、B成分値の処理も、上記R成分値の処理と同様である。
このように処理することで、YUV−RGB色空間変換後の信号値をRGB色空間の値域[0:1]に収めることができる。
しかしながら、上記のように、RGB色空間の信号値に対して、クリッピング処理を実行した場合、色相、彩度がずれる可能性がある。これについて、以下、説明する。
RGB色空間の各色成分値に対してクリッピング処理を実行して取得された各色成分値である、R’’、G’’、B’’に対して、再び、RGB−YUV色空間変換により、YUV色空間の成分値に変換した場合、変換後の成分値は、以下のようになる。なお、R’’、G’’、B’’に対して、RGB−YUV色空間変換した場合に取得される、Y成分値をY’’とし、U成分値をU’’とし、V成分値をV’’とする。
Figure 2016115304
上記数式から分かるように、クリッピング処理用補正値(クリッピング処理により発生する誤差)Er、Eg、Ebが、すべて「0」である場合、
Y’’=Y+ΔY
U’’=U
V’’=V
となり、RGB色空間の信号に対して、クリッピング処理を実行しても、色相、彩度がずれることはない。
一方、クリッピング処理用補正値(クリッピング処理により発生する誤差)Er、Eg、Ebのいずれか1つでも「0」でない場合、
U’’=U−0.168×Er−0.331×Eg+0.500×Eb
V’’=V+0.500×Er−0.419×Eg−0.081×Eb
となり、U’’の値が、元のU成分値Uと異なる値となる可能性があり、また、V’’の値が、元のU成分値Vと異なる値となる可能性がある。つまり、この場合、RGB色空間の信号に対して、クリッピング処理を実行すると、色相、彩度がずれる可能性がある。
そこで、制限値取得部2では、RGB色空間における各色成分値の最大値Rmax、Gmax、Bmaxと、最小値Rmin、Gmin、Bminに基づいて、YUV−RGB色空間変換を行ったときに、色相ずれ、彩度ずれが発生しないY成分信号(輝度信号)の信号値の上限値Ltと下限値Lbとを算出する。
まず、上限値Ltの算出について、説明する。
鮮鋭化処理が実行された後の輝度成分値をY’とし、U成分値をUとし、V成分値をVとし、YUV−RGB色空間変換を行った後の、R成分値をR’とし、G成分値をG’とし、V成分値をV’とすると、
R’=Y’+1.402×V
G’=Y’−0.344×U−0.714×V
B’=Y’+1.772×U
となる。
上記数式を変形すると、
Y’=R’−1.402×V
Y’=G’+0.344×U+0.714×V
Y’=B’−1.772×U
となる。
上記の1番目の数式において、R’=Rmaxを代入し、そのときのY’をLtrとする。
上記の2番目の数式において、G’=Gmaxを代入し、そのときのY’をLtgとする。
上記の3番目の数式において、B’=Bmaxを代入し、そのときのY’をLtbとする。
この場合、
Ltr=Y’=Rmax−1.402×V
Ltg=Y’=Gmax+0.344×U+0.714×V
Ltb=Y’=Bmax−1.772×U
となる。
そして、(1)値Rmaxから求めたY’の値であるLtrと、(2)値Gmaxから求めたY’の値であるLtgと、(3)値Bmaxから求めたY’の値であるLtbの3つの値の中で最小値を求め、求めた最小値を、鮮鋭化処理が実行された後の輝度成分値をY’に対するクリッピング処理の上限値Ltとする。
つまり、制限値取得部2において、
Lt=min(Ltr,Ltg、Ltb)
min():要素の最小値を取得する関数
により、鮮鋭化処理が実行された後の輝度成分値をY’に対するクリッピング処理の上限値Ltを取得する。
次に、下限値Lbの算出について、説明する。
鮮鋭化処理が実行された後の輝度成分値をY’とし、U成分値をUとし、V成分値をVとし、YUV−RGB色空間変換を行った後の、R成分値をR’とし、G成分値をG’とし、V成分値をV’とすると、
R’=Y’+1.402×V
G’=Y’−0.344×U−0.714×V
B’=Y’+1.772×U
となる。
上記数式を変形すると、
Y’=R’−1.402×V
Y’=G’+0.344×U+0.714×V
Y’=B’−1.772×U
となる。
上記の1番目の数式において、R’=Rminを代入し、そのときのY’をLbrとする。
上記の2番目の数式において、G’=Gminを代入し、そのときのY’をLbgとする。
上記の3番目の数式において、B’=Bminを代入し、そのときのY’をLbbとする。
この場合、
Lbr=Y’=Rmax−1.402×V
Lbg=Y’=Gmax+0.344×U+0.714×V
Lbb=Y’=Bmax−1.772×U
となる。
そして、(1)値Rminから求めたY’の値であるLbrと、(2)値Gminから求めたY’の値であるLbgと、(3)値Bminから求めたY’の値であるLbbの3つの値の中で最大値を求め、求めた最大値を、鮮鋭化処理が実行された後の輝度成分値をY’に対するクリッピング処理の下限値Lbとする。
つまり、制限値取得部2において、
Lb=max(Ltr,Ltg、Ltb)
max():要素の最大値を取得する関数
により、鮮鋭化処理が実行された後の輝度成分値をY’に対するクリッピング処理の下限値Lbを取得する。
上記のようにして、鮮鋭化処理が実行された後の輝度成分値をY’に対するクリッピング処理の上限値Ltと下限値Lbにより、鮮鋭化処理が実行された後の輝度成分値Y’に対してクリッピング処理を実行すれば、YUV−RGB色空間変換を実行した場合であっても、色相ずれ、彩度ずれが発生することはない。
つまり、クリッピング処理の上限値Ltと下限値Lbは、RGB色空間における各色成分値の最大値Rmax、Gmax、Bmaxと、最小値Rmin、Gmin、Bminとに基づいて、YUV−RGB色空間変換を実行したときに、原理的に色相ずれ、彩度ずれが発生し得ない範囲を予め算出し、その範囲に基づいて、決定されたものである。
このような理由により、制限値取得部2では、鮮鋭化処理が実行された後の輝度成分値Y’に対して実行するクリッピング処理の上限値Ltおよび下限値Lbを上記のようにして、取得する。
制限部32では、制限値取得部2により取得された上限値Ltおよび下限値Lbを用いて、輝度信号Y2に対して、クリッピング処理が実行される。
具体的には、制限部32は、制限部32に入力される輝度信号Y2の信号値をY2とし、制限部32から出力する輝度信号Y3の信号値をY3とすると、
(1)Lt<Y2の場合
Y3=Lt
(2)Lb≦Y2≦Ltの場合
Y3=Y2
(3)Y2<Lbの場合
Y3=Lb
とするクリッピング処理を実行する。
図4に、クリッピング処理の入出力特性図を示す。
なお、制限部32で実行されるクリッピング処理の入出力特性図は、図4に示すものに限定されることはなく、図5に示すように、指数関数により実現される特性であってもよい。また、制限部32で実行されるクリッピング処理の入出力特性図は、三次関数やシグモイド関数により実現される特性あるいは非線形関数により実現される特性であってもよい。
例えば、以下のようなものであってもよい。
制限部32は、
(1)Y2>(Lb+Lt)/2の場合
Y3=Yo+(Lt−Yo)×{1−exp(−Y2/(Lt−Yo))}
Yo=(Lb+Lt)/2
(2)Y2≦(Lb+Lt)/2の場合
Y3=Yo+(Lb−Yo)×{1−exp(−Y2/(Yo−Lb))}
Yo=(Lb+Lt)/2
とするクリッピング処理を実行する。
そして、上記処理により取得された輝度信号Y3は、制限部32から、第2色空間変換部4に出力される。
第2色空間変換部4では、入力された輝度信号Y3、U成分信号U1およびV成分信号V1に対して、YUV−RGB色空間変換が実行され、R成分信号Rout、G成分信号Gout、および、B成分信号Boutが取得される。そして、取得された、R成分信号Rout、G成分信号Gout、および、B成分信号Boutを成分信号とするRGB色空間の画像信号は、画像信号Doutとして、第2色空間変換部4から出力される。
以上のように、画像処理装置1000では、制限値取得部2により、RGB色空間における各色成分値の最大値Rmax、Gmax、Bmaxと、最小値Rmin、Gmin、Bminに基づいて、YUV−RGB色空間変換を行ったときに、色相ずれ、彩度ずれが発生しないY成分信号(輝度信号)の信号値の上限値Ltと下限値Lbとが算出される。そして、画像処理装置1000では、鮮鋭化処理部31により、輝度信号Y1に対して、所定の画像処理が実行された後の輝度信号Y2に対して、上限値Ltと下限値Lbとによるクリッピング処理が実行される。そして、画像処理装置1000では、クリッピング処理後の輝度信号Y3と、U成分信号U1と、V成分信号V1とにより、YUV−RGB色空間変換が実行される。
したがって、画像処理装置1000では、YUV−RGB色空間変換後の画像信号Doutにおいて、色相ずれ、彩度ずれが発生しないことが保証される。
つまり、画像処理装置1000では、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相ずれ、彩度ずれの発生を適切に防止することができる。
画像処理装置1000では、入力画像を色空間変換によって輝度信号Yとクロマ信号Cに分離し、出力信号を色空間変換によって輝度信号Y’とクロマ信号C’に分離したとき、
C=C’
であることを保証することができる。
[第2実施形態]
次に、第2実施形態について説明する。
なお、上記実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
図6は、第2実施形態の画像処理装置2000の概略構成図である。
図7は、第2実施形態の画像処理装置2000の鮮鋭化成分取得部31Aの概略構成図である。
第2実施形態の画像処理装置2000は、第1実施形態の画像処理装置1000において、制限値取得部2を制限値取得部2Aに置換し、輝度信号処理部3を輝度信号処理部3Aに置換した構成を有している。
輝度信号処理部3Aは、図6に示すように、鮮鋭化成分取得部31Aと、制限部32Aと、加算器33とを備える。
鮮鋭化成分取得部31Aは、図7に示すように、水平鮮鋭化処理部311と、垂直鮮鋭化処理部312と、1サンプル遅延器z3と、Hサンプル遅延器zh3と、減算器sbt1とを備える。
鮮鋭化成分取得部31Aでは、第1実施形態の鮮鋭化処理部31と同様に、水平鮮鋭化処理部311と、垂直鮮鋭化処理部312とにより、水平高周波成分および垂直高周波成分が強調された輝度信号Y2が取得される。そして、減算器sbt1では、輝度信号Y2から、(1+H)サンプル分遅延された輝度信号Y1を減算する処理が実行される。減算器sbt1は、減算処理後の差分信号(鮮鋭化成分信号)を差分輝度信号ΔY1として、制限部32Aに出力する。
制限値取得部2Aは、図6に示すように、画像信号Dinの色成分信号である、R成分信号Rinと、G成分信号Ginと、B成分信号Binとを入力する。制限値取得部2Aは、R成分信号Rinと、G成分信号Ginと、B成分信号Binとに基づいて、輝度信号処理部3Aでの処理後の輝度信号を用いて、YUV−RGB色空間変換を行った場合に、変換後の画像信号がRGB色空間の規定領域内となるための差分輝度信号ΔY1に加算するための上限値ΔLtと下限値ΔLbとを取得する。
具体的には、制限値取得部2Aは、RGB色空間において、R成分値の取り得る最大値をRmaxとし、G成分値の取り得る最大値をGmaxとし、B成分値の取り得る最大値をBmaxとし、画像信号DinのR成分信号Rinの信号値をRとし、画像信号DinのG成分信号Ginの信号値をGとし、画像信号DinのB成分信号Binの信号値をBとすると、
ΔLtr=Rmax−R
ΔLtg=Gmax−G
ΔLtb=Bmax−B
ΔLt=min(ΔLtr,ΔLtg、ΔLtb)
min():要素の最小値を取得する関数
に相当する処理を実行することで、差分輝度信号ΔY1に加算するための上限値ΔLtを取得する。
また、制限値取得部2Aは、RGB色空間において、R成分値の取り得る最小値をRminとし、G成分値の取り得る最小値をGminとし、B成分値の取り得る最小値をBminとすると、
ΔLbr=Rmin−R
ΔLbg=Gmin−G
ΔLbb=Bmin−B
ΔLb=max(ΔLtr,ΔLtg、ΔLtb)
max():要素の最大値を取得する関数
に相当する処理を実行することで、差分輝度信号ΔY1に加算するための下限値ΔLbを取得する。
以上のようにして取得された差分輝度信号ΔY1に加算するための上限値ΔLtおよび下限値ΔLbは、制限値取得部2Aから輝度信号処理部3の制限部32Aに出力される。
制限部32Aでは、制限値取得部2Aにより取得された差分輝度信号ΔY1に加算するための上限値ΔLtおよび下限値ΔLbを用いて、差分輝度信号ΔY1に対して、クリッピング処理が実行される。
具体的には、制限部32Aは、制限部32Aに入力される差分輝度信号ΔY1の信号値をΔY1とし、制限部32Aから出力する差分輝度信号ΔY2の信号値をΔY2とすると、
(1)ΔLt<ΔY2の場合
ΔY2=Lt
(2)ΔLb≦ΔY1≦ΔLtの場合
ΔY2=ΔY1
(3)ΔY2<ΔLbの場合
ΔY2=Lb
とするクリッピング処理を実行する。
そして、クリッピング処理後の差分輝度信号ΔY2は、制限部32Aから加算器33に出力される。
加算器33では、差分輝度信号ΔY2と、輝度信号Y1とが加算される。つまり、加算器33は、
Y4=Y1+ΔY2
に相当する処理により輝度信号Y4を取得し、第2色空間変換部4にする。
以上のように、画像処理装置2000では、制限値取得部2により、RGB色空間における各色成分値の最大値Rmax、Gmax、Bmaxと、最小値Rmin、Gmin、Bminに基づいて、YUV−RGB色空間変換を行ったときに、色相ずれ、彩度ずれが発生しない、差分輝度信号に加算するためのY成分信号(輝度信号)の差分信号値の上限値ΔLtと下限値ΔLbとが算出される。そして、画像処理装置2000では、鮮鋭化処理部31により、差分輝度信号ΔY1に対して、所定の画像処理が実行された後の差分輝度信号ΔY1に対して、差分輝度信号ΔY1に加算するための上限値ΔLtと下限値ΔLbとによるクリッピング処理が実行される。そして、画像処理装置2000では、クリッピング処理後の差分輝度信号ΔY2と輝度信号Y1とを加算して取得された輝度信号Y4と、U成分信号U1と、V成分信号V1とにより、YUV−RGB色空間変換が実行される。
したがって、画像処理装置2000では、YUV−RGB色空間変換後の画像信号Doutにおいて、色相ずれ、彩度ずれが発生しないことが保証される。
つまり、画像処理装置2000では、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相ずれ、彩度ずれの発生を適切に防止することができる。
画像処理装置2000では、入力画像を色空間変換によって輝度信号Yとクロマ信号Cに分離し、出力信号を色空間変換によって輝度信号Y’とクロマ信号C’に分離したとき、
C=C’
であることを保証することができる。
[他の実施形態]
上記実施形態において、画像処理装置1000が、第1色空間変換部1を備える場合について、説明したが、これに限定されることはなく、画像処理装置1000は、第1色空間変換部1を備えない構成であってもよい。この場合は、あらかじめ輝度信号に相当する成分を含む色空間に変換された画像信号が、画像処理装置に入力されれば良い。
また、上記実施形態において、画像処理装置1000がRGB色空間の画像信号を入力する場合について説明したが、これに限定されることはなく、画像処理装置1000が別の色空間の画像信号を入力する構成であってもよい。この場合は、第1色空間変換部1は、当該別の色空間からYUV色空間に変換する色空間変換処理を行うように構成すればよい。
なお、上記実施形態において、色空間変換の行列は、ITU−R BT.601規格に基づくYUV変換のための行列を例に説明したが、これに限定されず、例えば、BT.709規格に基づく行列や、別の表色系(XYZ)により規定される行列であってもよい。いずれにせよ、輝度信号処理部の処理対象となる画像信号の色空間が、その基底ベクトル(成分)として、輝度信号に相当する基底ベクトル(成分)を含む色空間であれば、他の色空間であってもよい。
上記実施形態において、輝度信号処理部により実行される処理が鮮鋭化処理であるとして説明したが、これに限定されることはない。輝度信号処理部で実行される「画像処理」は、輝度に作用するものであればよい。輝度信号処理部で実行される「画像処理」は、例えば、ブライトネス、コントラスト、鮮鋭化などを調整等する処理であってもよい。
また、上記実施形態の一部または全部を組み合わせて、画像処理装置を実現するようにしてもよい。
また、上記実施形態(変形例を含む)の画像処理装置の一部または全部は、集積回路(例えば、LSI、システムLSI等)として実現されるものであってもよい。
上記実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)により実行されるものであってもよい。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、中央演算装置(CPU)が、ROM、あるいはRAMから当該プログラムを読み出し、実行されるものであってもよい。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
なお、上記実施形態に係る画像処理装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している部分がある。また、タイミング調整を行うための遅延器等についても図示を省略している部分がある。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
[付記]
なお、本発明は、以下のようにも表現することができる。
第1の発明は、第1色空間で規定される画像信号であって、輝度成分信号と色成分信号とを含む画像信号である処理対象画像信号に対する処理を実行する画像処理装置であって、制限値取得部と、輝度信号処理部と、第2色空間変換部と、を備える。
制限値取得部は、第1色空間の画像信号を、第2色空間の画像信号に変換した場合に、変換後の第2色空間の画像信号が第2色空間で規定される範囲内の信号とするための信号値制限情報を取得する。
輝度信号処理部は、第1色空間の輝度成分信号に対して所定の処理(所定の画像処理)を実行するとともに、信号値制限情報に基づいて、クリッピング処理を実行することで、制限輝度信号を取得する。
第2色空間変換部は、輝度信号処理部により取得された制限輝度信号と、第1色空間の色成分信号とを用いて、色空間変換することで、第2色空間の画像信号を取得する。
この画像処理装置では、輝度信号処理部が、制限値取得部により上記のようにして取得した信号値制限情報に基づいて、クリッピング処理を実行して制限輝度信号を取得し、第2色空間変換部が、制限輝度信号と、第1色空間の色成分信号とを用いて、色空間変換することで、第2色空間の画像信号を取得する。したがって、この画像処理装置では、第1色空間の画像信号を第2色空間の画像信号に変換した場合であっても、色空間変換後の第2色空間の画像信号の信号値が、第2色空間の規定領域内となることが保証される。つまり、この画像処理装置では、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号が規定内の信号であることが保証され、色空間変換後の画像信号において、例えば、色相ずれ、彩度ずれの発生を適切に防止することができる。
第2の発明は、第1の発明であって、信号値制限情報は、輝度信号の信号値の上限値と下限値とを含む。
輝度信号処理部は、第1色空間の輝度信号に対して所定の処理を実行することで、処理後輝度信号を取得し、取得した処理後輝度信号に対して、上限値と下限値によるクリッピング処理を実行することで、制限輝度信号を取得する。
これにより、この画像処理装置では、輝度信号の信号値の上限値と下限値を用いて、処理後輝度信号に対するクリッピング処理を実行することができる。
第3の発明は、第1または第2の発明であって、第1色空間は、YUV色空間であり、第2色空間は、RGB色空間であり、第1色空間の画像信号の色成分信号は、U成分信号およびV成分信号である。
これにより、この画像処理装置では、第1色空間をYUV色空間とし、第2色空間をRGB色空間として、処理を実行することができる。
第4の発明は、第2の発明であって、制限値取得部は、
RGB色空間において、R成分値の取り得る最大値をRmaxとし、G成分値の取り得る最大値をGmaxとし、B成分値の取り得る最大値をBmaxとし、
色成分信号のU成分信号U1の信号値をUとし、色成分信号のV成分信号V1の信号値をVとすると、
Ltr=Rmax+Aur×U+Avr×V
Ltg=Gmax+Aug×U+Avg×V
Ltb=Bmax+Aub×U+Aub×V
Lt=min(Ltr,Ltg、Ltb)
min():要素の最小値を取得する関数
Aur、Avr、Aug、Avg、Aub、Aub:係数
に相当する処理を実行することで算出した値Ltを上限値として取得する。
また、制限値取得部は、
RGB色空間において、R成分値の取り得る最小値をRminとし、G成分値の取り得る最小値をGminとし、B成分値の取り得る最小値をBminとすると、
Lbr=Rmin+Aur×U+Avr×V
Lbg=Gmin+Aug×U+Avg×V
Lbb=Bmin+Aub×U+Aub×V
Lb=max(Ltr,Ltg、Ltb)
max():要素の最大値を取得する関数
Aur、Avr、Aug、Avg、Aub、Aub:係数
に相当する処理を実行することで算出した値Lbを下限値として取得する。
この画像処理装置では、制限値取得部により、RGB色空間における各色成分値の最大値Rmax、Gmax、Bmaxと、最小値Rmin、Gmin、Bminに基づいて、YUV−RGB色空間変換を行ったときに、色相ずれ、彩度ずれが発生しないY成分信号(輝度信号)の信号値の上限値Ltと下限値Lbとが算出される。そして、この画像処理装置では、所定の画像処理が実行された後の輝度信号に対して、上限値Ltと下限値Lbとによるクリッピング処理が実行される。そして、この画像処理装置では、クリッピング処理後の輝度信号と、U成分信号と、V成分信号とにより、YUV−RGB色空間変換が実行される。
したがって、この画像処理装置では、YUV−RGB色空間変換後の画像信号において、色相ずれ、彩度ずれが発生しないことが保証される。
つまり、この画像処理装置では、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相ずれ、彩度ずれの発生を適切に防止することができる。
第5の発明は、第2または第4の発明であって、制限値取得部は、RGB色空間において、R成分値の取り得る最大値をRmaxとし、G成分値の取り得る最大値をGmaxとし、B成分値の取り得る最大値をBmaxとし、色成分信号のU成分信号U1の信号値をUとし、色成分信号のV成分信号V1の信号値をVとすると、
Ltr=Rmax−1.402×V
Ltg=Gmax+0.344×U+0.714×V
Ltb=Bmax−1.772×U
Lt=min(Ltr,Ltg、Ltb)
min():要素の最小値を取得する関数
に相当する処理を実行することで算出した値Ltを上限値として取得する。
また、制限値取得部は、RGB色空間において、R成分値の取り得る最小値をRminとし、G成分値の取り得る最小値をGminとし、B成分値の取り得る最小値をBminとすると、
Lbr=Rmin−1.402×V
Lbg=Gmin+0.344×U+0.714×V
Lbb=Bmin−1.772×U
Lb=max(Ltr,Ltg、Ltb)
max():要素の最大値を取得する関数
に相当する処理を実行することで算出した値Lbを下限値として取得する。
この画像処理装置では、制限値取得部により、RGB色空間における各色成分値の最大値Rmax、Gmax、Bmaxと、最小値Rmin、Gmin、Bminに基づいて、YUV−RGB色空間変換を行ったときに、色相ずれ、彩度ずれが発生しないY成分信号(輝度信号)の信号値の上限値Ltと下限値Lbとが算出される。そして、この画像処理装置では、所定の画像処理が実行された後の輝度信号に対して、上限値Ltと下限値Lbとによるクリッピング処理が実行される。そして、この画像処理装置では、クリッピング処理後の輝度信号と、U成分信号と、V成分信号とにより、YUV−RGB色空間変換が実行される。
したがって、この画像処理装置では、YUV−RGB色空間変換後の画像信号において、色相ずれ、彩度ずれが発生しないことが保証される。
つまり、この画像処理装置では、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相ずれ、彩度ずれの発生を適切に防止することができる。
第6の発明は、第1の発明であって、第2色空間の画像信号を入力とし、入力された第2色空間の画像信号を、第1色空間の画像信号に色空間変換することで、入力画像信号を取得する第1色空間変換部をさらに備える。
輝度信号処理部は、差分取得部と、制限部と、加算部と、を備える。
差分取得部は、第1色空間の輝度信号に対して第1の処理を実行することで第1輝度信号を取得し、取得した第1輝度信号と輝度信号とに対して差分処理を実行することで差分輝度信号を取得する。
制限部は、差分輝度信号に対して、クリッピング処理を実行することで、第2差分輝度信号を取得する。
加算部は、制限部により取得された第2差分輝度信号と、輝度信号とを加算することで、制限輝度信号を取得する。
そして、制限値取得部は、第1色空間変換部に入力される第2色空間の画像信号に基づいて、差分輝度信号の信号値の上限値である差分上限値と、差分輝度信号の信号値の下限値である差分下限値と、信号値制限情報として、取得する。
制限部は、差分上限値と差分下限値とを用いて、クリッピング処理を実行する。
これにより、この画像処理装置では、差分輝度信号に対して、差分上限値と差分下限値とを用いて、クリッピング処理を実行することができる。そして、この画像処理装置では、差分取得部と、制限部と、加算部と、を備える輝度信号処理部において処理が実行された場合においても、色空間変換後の第2色空間の画像信号の信号値が、第2色空間の規定領域内となることが保証される。つまり、この画像処理装置では、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号が規定内の信号であることが保証され、色空間変換後の画像信号において、例えば、色相ずれ、彩度ずれの発生を適切に防止することができる。
第7の発明は、第6の発明であって、第1色空間は、YUV色空間であり、第2色空間は、RGB色空間であり、第1色空間の画像信号の色成分信号は、U成分信号およびV成分信号である。
これにより、この画像処理装置では、第1色空間をYUV色空間とし、第2色空間をRGB色空間として、処理を実行することができる。
第8の発明は、第7の発明であって、制限値取得部は、RGB色空間において、R成分値の取り得る最大値をRmaxとし、G成分値の取り得る最大値をGmaxとし、B成分値の取り得る最大値をBmaxとし、画像信号DinのR成分信号Rinの信号値をRとし、画像信号DinのG成分信号Ginの信号値をGとし、画像信号DinのB成分信号Binの信号値をBとすると、
ΔLtr=Rmax−R
ΔLtg=Gmax−G
ΔLtb=Bmax−B
ΔLt=min(ΔLtr,ΔLtg、ΔLtb)
min():要素の最小値を取得する関数
に相当する処理を実行することで算出した値ΔLtを、差分上限値として取得する。
また、制限値取得部は、RGB色空間において、R成分値の取り得る最小値をRminとし、G成分値の取り得る最小値をGminとし、B成分値の取り得る最小値をBminとすると、
ΔLbr=Rmin−R
ΔLbg=Gmin−G
ΔLbb=Bmin−B
ΔLb=max(ΔLtr,ΔLtg、ΔLtb)
max():要素の最大値を取得する関数
に相当する処理を実行することで算出した値ΔLbを、差分下限値として取得する。
この画像処理装置では、制限値取得部により、RGB色空間における各色成分値の最大値Rmax、Gmax、Bmaxと、最小値Rmin、Gmin、Bminに基づいて、YUV−RGB色空間変換を行ったときに、色相ずれ、彩度ずれが発生しない、差分輝度信号に加算するためのY成分信号(輝度信号)の差分信号値の上限値ΔLtと下限値ΔLbとが算出される。そして、この画像処理装置では、差分輝度信号に対して、所定の画像処理が実行された後の差分輝度信号に対して、差分輝度信号に加算するための上限値ΔLtと下限値ΔLbとによるクリッピング処理が実行される。そして、この画像処理装置では、クリッピング処理後の差分輝度信号と輝度信号とを加算して取得された輝度信号と、U成分信号と、V成分信号とにより、YUV−RGB色空間変換が実行される。
したがって、この画像処理装置では、YUV−RGB色空間変換後の画像信号において、色相ずれ、彩度ずれが発生しないことが保証される。
つまり、この画像処理装置では、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相ずれ、彩度ずれの発生を適切に防止することができる。
第9の発明は、輝度信号に鮮鋭化映像処理効果を与える画像処理装置であって、
入力画像を色空間変換によって輝度信号Yとクロマ信号Cに分離し、出力信号を色空間変換によって輝度信号Y’とクロマ信号C’に分離したとき、
C=C’である、
画像処理装置である。
第10の発明は、輝度信号に鮮鋭化映像処理効果を与える画像処理装置であって、入力画像を色空間変換によって輝度信号Yとクロマ信号Cに分離し、出力信号を色空間変換によって輝度信号Y’とクロマ信号C’に分離したとき、
C=C’
となるように、少なくとも輝度信号の画像処理結果の数値を制限する制限部、を備える画像処理装置である。
本発明は、輝度信号に対して所定の処理を実行した場合であっても、色空間変換後の画像信号において、色相、彩度がずれることを適切に防止する画像処理装置を実現する画像処理装置を実現することができる。したがって、本発明は、映像関連産業分野において、有用であり、当該分野において実施することができる。
1000、2000 画像処理装置
1 第1色空間変換部
2、2A 制限値取得部
3、3A 輝度信号処理部
31 鮮鋭化処理部
31A 鮮鋭化成分取得部
32、32A 制限部
4 第2色空間変換部

Claims (10)

  1. 第1色空間で規定される画像信号であって、輝度成分信号と色成分信号とを含む前記画像信号である処理対象画像信号に対する処理を実行する画像処理装置であって、
    前記第1色空間の前記画像信号を、第2色空間の画像信号に変換した場合に、変換後の前記第2色空間の画像信号が前記第2色空間で規定される範囲内の信号とするための信号値制限情報を取得する制限値取得部と、
    前記第1色空間の前記輝度成分信号に対して所定の処理を実行するとともに、前記信号値制限情報に基づいて、クリッピング処理を実行することで、制限輝度信号を取得する輝度信号処理部と、
    前記輝度信号処理部により取得された前記制限輝度信号と、前記第1色空間の前記色成分信号とを用いて、色空間変換することで、前記第2色空間の画像信号を取得する第2色空間変換部と、
    を備える画像処理装置。
  2. 前記信号値制限情報は、前記輝度信号の信号値の上限値と下限値とを含み、
    前記輝度信号処理部は、
    前記第1色空間の前記輝度信号に対して所定の処理を実行することで、処理後輝度信号を取得し、取得した前記処理後輝度信号に対して、前記上限値と前記下限値によるクリッピング処理を実行することで、前記制限輝度信号を取得する、
    請求項1に記載の画像処理装置。
  3. 前記第1色空間は、YUV色空間であり、
    前記第2色空間は、RGB色空間であり、
    前記第1色空間の画像信号の色成分信号は、U成分信号およびV成分信号である、
    請求項1または2に記載の画像処理装置。
  4. 前記制限値取得部は、
    RGB色空間において、R成分値の取り得る最大値をRmaxとし、G成分値の取り得る最大値をGmaxとし、B成分値の取り得る最大値をBmaxとし、
    前記色成分信号のU成分信号U1の信号値をUとし、前記色成分信号のV成分信号V1の信号値をVとすると、
    Ltr=Rmax+Aur×U+Avr×V
    Ltg=Gmax+Aug×U+Avg×V
    Ltb=Bmax+Aub×U+Aub×V
    Lt=min(Ltr,Ltg、Ltb)
    min():要素の最小値を取得する関数
    Aur、Avr、Aug、Avg、Aub、Aub:係数
    に相当する処理を実行することで算出した値Ltを前記上限値として取得し、
    RGB色空間において、R成分値の取り得る最小値をRminとし、G成分値の取り得る最小値をGminとし、B成分値の取り得る最小値をBminとすると、
    Lbr=Rmin+Aur×U+Avr×V
    Lbg=Gmin+Aug×U+Avg×V
    Lbb=Bmin+Aub×U+Aub×V
    Lb=max(Ltr,Ltg、Ltb)
    max():要素の最大値を取得する関数
    Aur、Avr、Aug、Avg、Aub、Aub:係数
    に相当する処理を実行することで算出した値Lbを前記下限値として取得する、
    請求項2に記載の画像処理装置。
  5. 前記制限値取得部は、
    RGB色空間において、R成分値の取り得る最大値をRmaxとし、G成分値の取り得る最大値をGmaxとし、B成分値の取り得る最大値をBmaxとし、
    前記色成分信号のU成分信号U1の信号値をUとし、前記色成分信号のV成分信号V1の信号値をVとすると、
    Ltr=Rmax−1.402×V
    Ltg=Gmax+0.344×U+0.714×V
    Ltb=Bmax−1.772×U
    Lt=min(Ltr,Ltg、Ltb)
    min():要素の最小値を取得する関数
    に相当する処理を実行することで算出した値Ltを前記上限値として取得し、
    RGB色空間において、R成分値の取り得る最小値をRminとし、G成分値の取り得る最小値をGminとし、B成分値の取り得る最小値をBminとすると、
    Lbr=Rmin−1.402×V
    Lbg=Gmin+0.344×U+0.714×V
    Lbb=Bmin−1.772×U
    Lb=max(Ltr,Ltg、Ltb)
    max():要素の最大値を取得する関数
    に相当する処理を実行することで算出した値Lbを前記下限値として取得する、
    請求項2または4に記載の画像処理装置。
  6. 前記第2色空間の画像信号を入力とし、入力された前記第2色空間の前記画像信号を、前記第1色空間の画像信号に色空間変換することで、前記処理対象画像信号を取得する第1色空間変換部をさらに備え、
    前記輝度信号処理部は、
    前記第1色空間の前記輝度信号に対して第1の処理を実行することで第1輝度信号を取得し、取得した前記第1輝度信号と前記輝度信号とに対して差分処理を実行することで差分輝度信号を取得する差分取得部と、
    前記差分輝度信号に対して、クリッピング処理を実行することで、第2差分輝度信号を取得する制限部と、
    前記制限部により取得された前記第2差分輝度信号と、前記輝度信号とを加算することで、前記制限輝度信号を取得する加算部と、
    を備え、
    前記制限値取得部は、
    前記第1色空間変換部に入力される前記第2色空間の前記画像信号に基づいて、前記差分輝度信号の信号値の上限値である差分上限値と、前記差分輝度信号の信号値の下限値である差分下限値と、前記信号値制限情報として、取得し、
    前記制限部は、
    前記差分上限値と前記差分下限値とを用いて、前記クリッピング処理を実行する、
    請求項1に記載の画像処理装置。
  7. 前記第1色空間は、YUV色空間であり、
    前記第2色空間は、RGB色空間であり、
    前記第1色空間の画像信号の色成分信号は、U成分信号およびV成分信号である、
    請求項6に記載の画像処理装置。
  8. 前記制限値取得部は、
    RGB色空間において、R成分値の取り得る最大値をRmaxとし、G成分値の取り得る最大値をGmaxとし、B成分値の取り得る最大値をBmaxとし、画像信号DinのR成分信号Rinの信号値をRとし、画像信号DinのG成分信号Ginの信号値をGとし、画像信号DinのB成分信号Binの信号値をBとすると、
    ΔLtr=Rmax−R
    ΔLtg=Gmax−G
    ΔLtb=Bmax−B
    ΔLt=min(ΔLtr,ΔLtg、ΔLtb)
    min():要素の最小値を取得する関数
    に相当する処理を実行することで算出した値ΔLtを、前記差分上限値として取得し、
    RGB色空間において、R成分値の取り得る最小値をRminとし、G成分値の取り得る最小値をGminとし、B成分値の取り得る最小値をBminとすると、
    ΔLbr=Rmin−R
    ΔLbg=Gmin−G
    ΔLbb=Bmin−B
    ΔLb=max(ΔLtr,ΔLtg、ΔLtb)
    max():要素の最大値を取得する関数
    に相当する処理を実行することで算出した値ΔLbを、前記差分下限値として取得する、
    請求項7に記載の画像処理装置。
  9. 輝度信号に鮮鋭化映像処理効果を与える画像処理装置であって、
    入力画像を色空間変換によって輝度信号Yとクロマ信号Cに分離し、出力信号を色空間変換によって輝度信号Y’とクロマ信号C’に分離したとき、
    C=C’である、
    画像処理装置。
  10. 輝度信号に鮮鋭化映像処理効果を与える画像処理装置であって、
    入力画像を色空間変換によって輝度信号Yとクロマ信号Cに分離し、出力信号を色空間変換によって輝度信号Y’とクロマ信号C’に分離したとき、
    C=C’
    となるように、少なくとも輝度信号の画像処理結果の数値を制限する制限部、
    を備える画像処理装置。
JP2014255860A 2014-12-18 2014-12-18 画像処理装置 Pending JP2016115304A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014255860A JP2016115304A (ja) 2014-12-18 2014-12-18 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014255860A JP2016115304A (ja) 2014-12-18 2014-12-18 画像処理装置

Publications (1)

Publication Number Publication Date
JP2016115304A true JP2016115304A (ja) 2016-06-23

Family

ID=56141986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014255860A Pending JP2016115304A (ja) 2014-12-18 2014-12-18 画像処理装置

Country Status (1)

Country Link
JP (1) JP2016115304A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210035108A (ko) * 2020-04-17 2021-03-31 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210035108A (ko) * 2020-04-17 2021-03-31 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체
JP2021099868A (ja) * 2020-04-17 2021-07-01 北京百度網訊科技有限公司 画像処理方法、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品
JP7146985B2 (ja) 2020-04-17 2022-10-04 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像処理方法、画像処理装置、電子機器、コンピュータ読み取り可能な記憶媒体及びコンピュータプログラム製品
KR102600806B1 (ko) * 2020-04-17 2023-11-10 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 이미지 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체
US11930307B2 (en) 2020-04-17 2024-03-12 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method and apparatus, electronic device and computer-readable storage medium

Similar Documents

Publication Publication Date Title
JP4894595B2 (ja) 画像処理装置および方法、並びに、プログラム
CN107949864B (zh) 基于亮度区域的逆色调映射
US8606008B2 (en) Image processing device, image processing method, image processing program, and integrated circuit
JP4847591B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5034003B2 (ja) 画像処理装置
JP4523008B2 (ja) 画像処理装置および撮像装置
JP5870598B2 (ja) 画像のホワイトバランス処理方法及び装置
JP2008017458A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび集積回路
JP2007188391A (ja) 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP2008072377A (ja) 輝度信号作成装置及び輝度信号作成方法、並びに撮像装置
JP2016115304A (ja) 画像処理装置
WO2017098832A1 (ja) 画像処理装置及びプログラム
JP4400160B2 (ja) 画像処理装置
JP5295854B2 (ja) 画像処理装置及び画像処理プログラム
JP2009005331A (ja) 画像処理装置及び画像処理プログラム
JP2007259434A (ja) 画像処理装置及びその方法
US20160110854A1 (en) Image processing apparatus, image processing method, and program
JP7437921B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7365206B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006121432A (ja) 画像処理装置における補正処理方法および画像処理装置。
JP5127627B2 (ja) 画像処理装置
JP5135134B2 (ja) 画像処理装置及びその方法
JP5277388B2 (ja) 画像処理装置および撮像装置
TW201524186A (zh) 圖像處理方法以及圖像處理裝置
JP6742892B2 (ja) 画像処理装置および画像処理方法