JP2019054341A - 画像処理装置及び方法、及び撮像装置 - Google Patents

画像処理装置及び方法、及び撮像装置 Download PDF

Info

Publication number
JP2019054341A
JP2019054341A JP2017175797A JP2017175797A JP2019054341A JP 2019054341 A JP2019054341 A JP 2019054341A JP 2017175797 A JP2017175797 A JP 2017175797A JP 2017175797 A JP2017175797 A JP 2017175797A JP 2019054341 A JP2019054341 A JP 2019054341A
Authority
JP
Japan
Prior art keywords
color
signal
luminance
color difference
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017175797A
Other languages
English (en)
Other versions
JP7022544B2 (ja
JP2019054341A5 (ja
Inventor
彰太 山口
Shota Yamaguchi
彰太 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017175797A priority Critical patent/JP7022544B2/ja
Priority to US16/122,040 priority patent/US10825136B2/en
Publication of JP2019054341A publication Critical patent/JP2019054341A/ja
Publication of JP2019054341A5 publication Critical patent/JP2019054341A5/ja
Application granted granted Critical
Publication of JP7022544B2 publication Critical patent/JP7022544B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4015Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40068Modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0673Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Abstract

【課題】 HDRモニタが重心ずれや高周波成分の伝搬現象に起因する偽信号発生を抑圧した映像を生成することが可能な、画像信号を生成すること。【解決手段】 入力した画像信号から、第1の色空間における輝度用の色信号成分を生成する第1の生成手段と、前記画像信号から、前記第1の色空間における色差用の色信号成分を生成する第2の生成手段と、前記輝度用の色信号成分と前記色差用の色信号成分とを統合して、色輝度共通の色信号成分を生成する統合手段と、前記色輝度共通の色信号成分に対して、非線形処理を行う処理手段と、前記非線形処理を行った信号から、第2の色空間における輝度信号および色差信号を生成する分離手段と、前記色差信号に対して帯域制限処理を行う帯域制限手段と、を有し、前記帯域制限処理の特性は、前記輝度信号と色差信号の周波数特性に基づいて設定される。【選択図】 図2

Description

本発明は画像処理装置及び方法、及び撮像装置に関し、特に、輝度信号と色信号を生成し、HDR(高ダイナミックレンジ)モニタへの出力に適した信号を生成する画像処理装置及び方法、及び撮像装置に関する。
近年、ディスプレイの表示輝度が高くなることに伴い、これまで圧縮されていた高輝度側の階調を、より見た目に近い階調で再現できる高ダイナミックレンジ(以下、「HDR」と記す。)カメラシステムが提案されている。
特許文献1には、輝度信号と色信号に対して互いに異なる信号処理を行ったのちに、信号処理された輝度信号と色信号を統合して映像信号を生成する技術が開示されている。
一方、従来より、カメラから出力機器への信号伝送は、人間の視覚特性と伝送効率の点から、輝度信号と色差信号を分離し、2種類の信号を時分割多重で伝送する場合がある。この伝送を鑑みて、カメラ内の各種高画質化処理も、色差信号で出力される信号にのみ間欠的に適用し、システム負荷を低減したものがある。
特開2013−223152号公報
特許文献1の画像処理装置において、色信号に対する信号処理を、例えば偶数位相の信号にのみ適応して奇数位相を間引き、輝度系の信号との統合処理を行うことがある。このときに、間引かれた奇数位相の信号を隣接する偶数位相の画素値からコピーして生成すると、輝度系の信号と色差系の信号間で、重心ずれが発生する。また、輝度系の信号と色差系の信号との統合処理によって、輝度系の信号に含まれる高周波成分が、色差信号に伝搬する現象が発生する。
これら重心ずれ現象及び高周波成分の色差信号への伝搬現象が発生したまま、出力機器への伝送時に色差信号の所定位相を間引いて時分割多重でモニタ側に伝送した場合、モニタ側で信号が正しく復元されず、偽信号が発生するという課題がある。特にHDRでは高信号値側で本現象が顕著に現れる。
本発明は上記問題点を鑑みてなされたものであり、HDRモニタが重心ずれや高周波成分の伝搬現象に起因する偽信号発生を抑圧した映像を生成することが可能な、画像信号を生成することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、入力した画像信号から、第1の色空間における輝度用の色信号成分を生成する第1の生成手段と、前記画像信号から、前記第1の色空間における色差用の色信号成分を生成する第2の生成手段と、前記輝度用の色信号成分と前記色差用の色信号成分とを統合して、色輝度共通の色信号成分を生成する統合手段と、前記色輝度共通の色信号成分に対して、非線形処理を行う処理手段と、前記非線形処理を行った信号から、第2の色空間における輝度信号および色差信号を生成する分離手段と、前記色差信号に対して帯域制限処理を行う帯域制限手段と、を有し、前記帯域制限処理の特性は、前記輝度信号と色差信号の周波数特性に基づいて設定されることを特徴とする。
本発明によれば、HDRモニタが重心ずれや高周波成分の伝搬現象に起因する偽信号発生を抑圧した映像を生成することが可能な、画像信号を生成することができる。
本発明の第1及び第2の実施形態におけるデジタルカメラの構成を示すブロック図。 第1の実施形態における画像処理部の構成を示すブロック図。 第1の実施形態における色差用信号生成部によるRGB信号の間引き処理を示す図。 第1の実施形態における位相補償部による処理を示す図。 HDRモニタのEOTF特性及びカメラの階調変換特性の一例を示す図。 第1の実施形態における帯域制限部の帯域制限フィルタ特性の一例を示す図。 第1の実施形態における信号間引き部による処理を示す図。 第2の実施形態における画像処理部の構成を示すブロック図。 第2の実施形態における色差用信号生成部においてRGB信号の間引き処理が行われない場合を示す図。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
<第1の実施形態>
以下、本発明の第1の実施形態について説明する。図1は、第1の実施形態におけるデジタルカメラの構成例を示すブロック図である。図1において、ズームレンズ、フォーカスレンズを含むレンズ群101、及び、絞り機能を備えるシャッタ102を介して入射した光学像を、CMOS素子等で構成される撮像部103により光電変換し、電気信号に変換する。なお、第1の実施形態では、撮像部103は、ベイヤー配列のRGBカラーフィルタが配された複数の画素を有し、各画素はRGBいずれかの色の電気信号を出力する。
変換された電気信号は、アナログ画像信号としてA/D変換器104に入力される。A/D変換器104は、入力されたアナログ画像信号をデジタル画像信号にA/D変換し、変換したデジタル画像信号を、画像処理部105に出力する。画像処理部105は、A/D変換器104からの画像データ、または、メモリ制御部107からの画像データに対し、ホワイトバランス処理、デモザイク、ノイズリダクション、輪郭強調、階調変換、色補正などの各種画像処理を行う。また、画像処理部105は、コーデック部110、及び、外部出力端子113に出力するための映像信号や画像データを生成する。コーデック部110は映像信号及び画像データを圧縮符号化・復号化する。
画像処理部105から出力された画像データは、メモリ制御部107を介して画像メモリ106に書き込まれる。画像メモリ106は、撮像部103から出力された画像データや、表示部109に表示するための画像データを格納する。
D/A変換器108は、メモリ制御部107を介して入力された、画像メモリ106に格納されている表示用のデジタル画像データをアナログ信号に変換して表示部109に供給する。表示部109は、LCD等の表示器上に、D/A変換器108からのアナログ信号に応じた表示を行う。
システム制御部114は、デジタルカメラのシステム全体を制御し、コーデック部110により符号化された画像データを、インターフェース111を介して記録媒体112に格納させる。また、システム制御部114は、画像メモリ106、または画像処理部105、またはコーデック部110から出力される映像信号を、外部出力端子113を介して、本デジタルカメラに接続された、HDRモニタなどの外部出力機器に出力する。
次に、図2を用いて、画像処理部105の構成について説明する。なお、図2において、入力画像は、撮像された画像のデジタル画像信号に対し、公知のセンサーや光学収差に起因する各種補正処理を不図示の処理部により施したベイヤーRAW信号とする。輝度用信号生成部200は、入力画像から、輝度信号に適したRGB色空間(第1の色空間)における色信号成分を生成する。また、色差用信号生成部201は、入力画像から、色差信号に適したRGB色空間における色信号成分を生成する。
人間の視覚系は、明るさの変化に対しては、空間周波数応答が高いので、輝度用信号生成部200では、高周波成分を多く含むように、入力画像に対して、デモザイク、ノイズリダクション、輪郭補償などを行う。一方、人間の視覚系は、色の変化に対しては、空間周波数応答が低い。従って、色差用信号生成部201では、ノイズや画像処理によるエイリアシングなど、高周波成分に起因した画質劣化成分をなるべく低減するように、入力画像に対して、デモザイク、ノイズリダクション、色補正などを行う。また、色差用信号生成部201では、水平方向に対する信号の間引き処理を行う。間引き処理は、色差用信号生成部201における、デモザイク処理後の任意のタイミングで行われる。
図3は、デモザイク処理後の間引き処理を説明する図である。図3に示す例では、図3(a)に示すデモザイク後のRc,Gc,Bc信号に対し、奇数位相の信号を間引いている。ここで、nは任意の整数である。この間引き処理により、図3(b)に示すように、偶数位相のRc’,Gc’,Bc’信号のみが得られる。なお、出力のRc,Gc,Bc信号にアポストロフィ(’)が付与してあるのは、色差用信号生成部201内の種々の信号処理により、信号値が変化していることを示している。
位相補償部202は、色差用信号生成部201の出力RGB値に対し、間引かれた奇数位相信号の位相補償を行う。ここでは、位相補償後の信号が、間引き処理されていない輝度用信号生成部200の出力信号と重心ずれを起こさないように、補償対象画素の左右画素からの補間処理を行う。
ここで、補間処理は、以下の式(1)〜(6)により行う。
・水平座標mが奇数の場合
Rc’’(m) = { Rc’(m-1) + Rc’(m+1) } / 2 …(1)
Gc’’(m) = { Gc’(m-1) + Gc’(m+1) } / 2 …(2)
Bc’’(m) = { Bc’(m-1) + Bc’(m+1) } / 2 …(3)
・水平座標mが偶数の場合
Rc’’(m) = Rc’(m) …(4)
Gc’’(m) = Gc’(m) …(5)
Bc’’(m) = Bc’(m) …(6)
なお、式(1)〜(6)において、mは任意の水平座標値である。
図4に、第1の実施形態における位相補償部202の入力信号及び出力信号を示す。位相補償処理により、図4(a)に示す位相補償処理前の信号に対し、間引かれていた奇数位相の信号値が左右の偶数位相の画素値からの補間処理によって生成され、図4(b)に示す出力信号を得る。従って、本処理により、輝度用信号生成部200の出力信号と重心位置が揃った出力信号を得ることができる。
信号統合部203では、輝度用信号生成部200及び位相補償部202から出力される、輝度信号用と色差信号用の2系統のRGB信号を統合して、1系統のRGB信号を生成する。式(7)〜(9)は、信号統合部203で行われる処理例を示す。
Rmix = Rc" + a×(Ry’-Rc") + b×(Gy’-Gc") + c×(By’-Bc") …(7)
Gmix = Gc" + a×(Ry’-Rc") + b×(Gy’-Gc") + c×(By’-Bc") …(8)
Bmix = Bc" + a×(Ry’-Rc") + b×(Gy’-Gc") + c×(By’-Bc") …(9)
式(7)〜(9)において、a,b,cは、任意の係数であり、a+b+c=1を満たす。また、Ry’,Gy’,By’は、輝度用信号生成部200の出力信号である。
階調変換部204は、信号統合部203から出力されるRGB信号に対して、所定の階調変換(非線形処理)を行い、出力信号R’,G’,B’を生成する。ここで、階調変換部204での階調変換処理は、xを入力、yを出力、変換特性をf(x)とすると、y=f(x)と表記できるため、入力Rmix,Gmix,Bmixに対して、出力信号R’,G’,B’は、式(10)〜(12)の演算により得られる。
R’ = f (Rmix) …(10)
G’ = f (Gmix) …(11)
B’ = f (Bmix) …(12)
変換特性f(x)は、HDR対応のモニタで規定されたEOTF(電光変換)特性に対する逆特性である。図5(a)に、モニタ側のEOTF特性を、図5(b)にカメラの階調変換特性を示す。
色輝度分離部205は、階調変換部204から出力されるRGB信号から、式(13)〜(15)の演算を行って、輝度信号Yと色差信号U,Vを分離する。
Y = a×R’+b×G’+c×B’ …(13)
U = (1−c)×B’−a×R’−b×G’ …(14)
V = (1−a)×R’−c×B’−b×G’ …(15)
ここで、係数a,b,cは、前記の式(7)〜(9)におけるa,b,cと同じ値である。
色輝度分離部205から出力される輝度信号Yは、図2に示すようにそのまま画像処理部105の出力となるが、色差信号U,Vは帯域制限部206に入力される。
帯域制限部206では、色差信号U,Vに対し、帯域制限のためのフィルタ処理(帯域制限処理)を行う。このフィルタ処理を行う理由は、次の通りである。信号統合部203において、輝度信号用のRGB信号と色差信号用のRGB信号が統合される。そして、統合後の信号から色差信号が生成されることで、色差信号に対し、元来色差信号用のRGB信号に重畳していなかった高周波帯域の信号が、輝度信号用のRGB信号から伝搬するという現象が起こるためである。この現象が起こったまま、後段の信号間引き部207で信号の間引き処理を行うと、高周波帯域の信号が折り返り、モニタ表示される出力画像に著し画質劣化を引き起こす。従って、帯域制限部206におけるフィルタ特性は、輝度信号と色差信号の周波数特性から設定される。図6に、帯域制限部206のフィルタ特性の設計の一例を示す。なお、信号間引き部207が、水平方向の信号を間引くため、帯域制限部206に示すフィルタも水平方向にかけるものである。
図6の破線に示すように、帯域制限部206の理想的なフィルタ特性は、色差信号の最大周波数でゲインが0となるような特性である。ここで、輝度信号及び色差信号の最大周波数は、それぞれの信号処理内容から予め定められた値である。本第1の実施形態では、帯域制限部206では、着目画素の左右1画素までをフィルタリングの範囲とし、フィルタ出力は各画素値の1次結合であるという前提で、図6の実線で示すような特性となる。
上記特性を踏まえ、帯域制限部206は、次の式(16)及び(17)に示す演算を行う。
U’(m) = { ka×U(m-1) + kb×U(m) + kc×U(m+1) } / ( ka + kb + kc ) …(16)
V’(m) = { ka×V(m-1) + kb×V(m) + kc×V(m+1) } / ( ka + kb + kc ) …(17)
式(16)及び(17)において、フィルタリング係数ka,kb,kcは、図6に示すフィルタ特性を満たす所定の係数であり、mは任意の水平方向座標である。
信号間引き部207では、色差信号の伝送形式に合わせ、色差信号U’,V’の間引き処理を行う。本実施形態では、U’信号、V’信号を、時分割多重で転送するために、輝度信号Yに対し、色差信号U’,V’の水平解像度が半分となるように間引き処理を行う。この処理を図7に示す。図7(a)に示すように、入力信号に対し、奇数位相の信号を間引き、図7(b)に示す信号を得る。
最後に、色輝度分離部205から出力される輝度信号、及び、信号間引き部207から出力される色差信号は、画像メモリ106、またはコーデック部110を経由して、外部出力端子113から、HDRモニタに入力される。
上記の通り第1の実施形態における画像処理装置は、色差用信号処理で間引き処理された色差信号の位相補償処理を行い、さらに信号統合後に静止した色差信号に対し帯域制限処理を行う。そして、色差信号を間引いてHDRモニタへ伝送することで、HDRモニタ側で信号を復元する際に発生する偽信号を抑制することができ、表示される出力画像の画質劣化を低減することができる。
なお、上述した例では、色差用信号生成部201において奇数位相の信号を間引くものとして説明したが、本発明はこれに限るものではない。例えば、偶数位相の信号を間引いて、位相補償部202で偶数位相の信号を補償しても良く、予め決められた画素周期で信号を間引いて、位相補償部202で間引いた信号を補償すれば良い。
<第2の実施形態>
以下、本発明の第2の実施形態おける、デジタルカメラについて説明する。第2の実施形態におけるデジタルカメラは、画像処理部105の構成が、第1の実施形態と異なる。それ以外の構成は、図1に示すものと同様であるため、以下、図8を参照して、第2の実施形態における画像処理部105の構成及び処理内容について説明する。なお、図2と同じ作用をする構成要素については同じ参照番号を付して、適宜説明を割愛する。
図8は、第2の実施形態における、画像処理部105の構成を示す図である。輝度用信号生成部200は、入力画像から、輝度信号に適したRGB色空間における色信号成分を生成する。色差用信号生成部801は、入力画像から、色差信号に適したRGB色空間における色信号成分を生成する。第2の実施形態では、色差用信号生成部801は、水平方向に対する信号の間引き処理を行わない。従って、図9に示す例では、図9(a)に示すデモザイク後のRc,Gc,Bc信号に対し、図9(b)に示す同解像度のRc’,Gc’,Bc’信号が出力される。なお、出力のRc,Gc,Bc信号にアポストロフィ(’)が付与してあるのは、色差用信号生成部801内の種々の信号処理により、信号値が変化していることを示している。この場合、色差用信号の生成後に位相補償処理の必要が無くなるので、第1の実施形態における位相補償部202は必要が無くなる。信号統合部203は、輝度用信号生成部200及び色差用信号生成部801から出力される、輝度信号用及び色差信号用の2系統のRGB信号を統合して、1系統(色輝度共通)のRGB信号を生成する。
しかしながら、元々の輝度用信号生成部200と色差用信号生成部801の処理の違い等に起因する周波数帯域の差が、信号統合によって色差信号に伝搬する現象は、第1の実施形態と同様に発生する。そのため、信号分離後の色差信号に対する帯域制限処理は必要である。従って、第2の実施形態においても、帯域制限部206において帯域制限処理を行う。帯域制限部206におけるフィルタ設計の考え方は、第1の実施形態で図6を参照して説明したものと同様である。
上記の通り第2の実施形態によれば、入力画像に対して、輝度用信号と色差用信号に、それぞれ最適な画像処理を行い、輝度用信号と色差用信号を統合して1系統の信号を生成し、階調変換を行う。そして、階調変換後の信号に対し色輝度分離を行い、分離された色差信号に対し、輝度信号と色差信号の周波数帯域の違いに基づいた帯域制限処理を行う。そして、色差信号を間引いてHDRモニタへ伝送することで、HDRモニタ側で信号を復元する際に発生する偽信号を抑制することができ、表示される出力画像の画質劣化を低減することができる。
なお、第1及び第2の実施形態では、輝度用信号生成処理と色差用信号生成処理を行う色空間をRGB色空間としたが、XYZ色空間やLMS色空間など、他の混色系表色系の色空間で処理を行ってもよい。
また、階調変換処理後に色輝度分離を行う色空間をYUV色空間としたが、ICtCp色空間など、色輝度分離形式の他の色空間で処理を行ってもよい。
また、帯域制限部206のフィルタ特性を、色差信号と輝度信号の空間周波数から設定したが、さらに、撮影感度や階調変換部204の特性等に応じて設定してもよい。
<他の実施形態>
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
103:撮像部、105:画像処理部、114:システム制御部、200:輝度用信号生成部、201:色差用信号生成部、202:位相補償部、203:信号統合部、204:階調変換部、205:色輝度分離部、206:帯域制限部、207:信号間引き部

Claims (18)

  1. 入力した画像信号から、第1の色空間における輝度用の色信号成分を生成する第1の生成手段と、
    前記画像信号から、前記第1の色空間における色差用の色信号成分を生成する第2の生成手段と、
    前記輝度用の色信号成分と前記色差用の色信号成分とを統合して、色輝度共通の色信号成分を生成する統合手段と、
    前記色輝度共通の色信号成分に対して、非線形処理を行う処理手段と、
    前記非線形処理を行った信号から、第2の色空間における輝度信号および色差信号を生成する分離手段と、
    前記色差信号に対して帯域制限処理を行う帯域制限手段と、を有し、
    前記帯域制限処理の特性は、前記輝度信号と色差信号の周波数特性に基づいて設定されることを特徴とする画像処理装置。
  2. 前記第2の生成手段は、前記色差用の色信号成分に対してデモザイク処理を行った後に、予め決められた画素周期で間引き処理を行い、
    前記第2の生成手段により間引き処理を行った前記色差用の色信号成分に対して、前記統合手段による統合を行う前に、位相補償処理を行う位相補償手段を更に有することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第2の生成手段は、1画素おきに間引き処理を行うことを特徴とする請求項2に記載の画像処理装置。
  4. 前記位相補償処理は、間引かれた色差信号を、少なくとも2つの間引かれていない色差信号から生成することを特徴とする請求項2または3に記載の画像処理装置。
  5. 前記帯域制限手段は、フィルタを用いて前記帯域制限処理を行うことを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
  6. 前記フィルタは、色差信号の最大周波数でゲインが0となる特性を有することを特徴とする請求項5に記載の画像処理装置。
  7. 前記フィルタの特性は、前記処理手段による前記非線形処理の特性に基づいて設定されることを特徴とする請求項5または6に記載の画像処理装置。
  8. 前記フィルタの特性は、前記画像信号の撮影感度に基づいて設定されることを特徴とする請求項5乃至7のいずれか1項に記載の画像処理装置。
  9. 前記処理手段による前記非線形処理は、高ダイナミックレンジ(HDR)対応のモニタで規定された電光変換(EOTF)特性の逆特性に基づく処理であることを特徴とする請求項1乃至8のいずれか1項に記載の画像処理装置。
  10. 前記帯域制限手段により帯域制限処理された前記色差信号に対して、予め決められた画素周期で間引き処理を行う間引き手段を更に有することを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記第1の色空間は、混色系表色系の色空間であることを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
  12. 前記第1の色空間は、RGB色空間、XYZ色空間、またはLMS色空間であることを特徴とする請求項11に記載の画像処理装置。
  13. 前記第2の色空間は、色輝度分離形式の色空間であることを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
  14. 前記第2の色空間は、YUV色空間、またはICtCp色空間であることを特徴とする請求項13に記載の画像処理装置。
  15. 入射した光学像を光電変換し、画像信号を出力する撮像手段と、
    請求項1乃至14のいずれか1項に記載の画像処理装置と
    を有することを特徴とする撮像装置。
  16. 第1の生成手段が、入力した画像信号から、第1の色空間における輝度用の色信号成分を生成する第1の生成工程と、
    第2の生成手段が、前記画像信号から、前記第1の色空間における色差用の色信号成分を生成する第2の生成工程と、
    統合手段が、前記輝度用の色信号成分と前記色差用の色信号成分とを統合して、色輝度共通の色信号成分を生成する統合工程と、
    処理手段が、前記色輝度共通の色信号成分に対して、非線形処理を行う処理工程と、
    分離手段が、前記非線形処理を行った信号から、第2の色空間における輝度信号および色差信号を生成する分離工程と、
    帯域制限手段が、前記色差信号に対して帯域制限処理を行う帯域制限工程と、を有し、
    前記帯域制限処理の特性は、前記輝度信号と色差信号の周波数特性に基づいて設定されることを特徴とする画像処理装置。
  17. コンピュータを、請求項1乃至14のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
  18. 請求項17に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2017175797A 2017-09-13 2017-09-13 画像処理装置及び方法、及び撮像装置 Active JP7022544B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017175797A JP7022544B2 (ja) 2017-09-13 2017-09-13 画像処理装置及び方法、及び撮像装置
US16/122,040 US10825136B2 (en) 2017-09-13 2018-09-05 Image processing apparatus and method, and image capturing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017175797A JP7022544B2 (ja) 2017-09-13 2017-09-13 画像処理装置及び方法、及び撮像装置

Publications (3)

Publication Number Publication Date
JP2019054341A true JP2019054341A (ja) 2019-04-04
JP2019054341A5 JP2019054341A5 (ja) 2020-10-22
JP7022544B2 JP7022544B2 (ja) 2022-02-18

Family

ID=65631301

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017175797A Active JP7022544B2 (ja) 2017-09-13 2017-09-13 画像処理装置及び方法、及び撮像装置

Country Status (2)

Country Link
US (1) US10825136B2 (ja)
JP (1) JP7022544B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840860B2 (ja) * 2017-10-23 2021-03-10 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0385891A (ja) * 1989-08-29 1991-04-11 Matsushita Electric Ind Co Ltd ディジタルカメラ
JP2006333316A (ja) * 2005-05-30 2006-12-07 Acutelogic Corp 画像処理装置
JP2007043312A (ja) * 2005-08-01 2007-02-15 Fujifilm Holdings Corp 撮影装置
JP2010154024A (ja) * 2008-12-24 2010-07-08 Olympus Corp 画像処理装置、および画像処理方法
JP2011146893A (ja) * 2010-01-14 2011-07-28 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
JP2017121010A (ja) * 2015-12-28 2017-07-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7170632B1 (en) * 1998-05-20 2007-01-30 Fuji Photo Film Co., Ltd. Image reproducing method and apparatus, image processing method and apparatus, and photographing support system
US7304668B2 (en) * 2001-04-11 2007-12-04 Fujifilm Corporation Printer system and image processing system having image correcting function
TWI248297B (en) * 2003-01-17 2006-01-21 Fuji Photo Film Co Ltd Method and imaging apparatus for correcting defective pixel of solid-state image sensor, and method for creating pixel information
JP4305071B2 (ja) * 2003-06-30 2009-07-29 株式会社ニコン 信号補正方法
JP3938120B2 (ja) * 2003-09-17 2007-06-27 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP2005117612A (ja) * 2003-09-18 2005-04-28 Fuji Photo Film Co Ltd 画像処理方法および装置
JP4239094B2 (ja) * 2004-03-03 2009-03-18 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
JP4239091B2 (ja) * 2004-02-09 2009-03-18 ノーリツ鋼機株式会社 画像処理装置、方法、及びプログラム
US20070133017A1 (en) * 2004-02-12 2007-06-14 Hideyuki Kobayashi Image processing apparatus, photographing apparatus, image processing system, image processing method and program
JP4507855B2 (ja) * 2004-11-25 2010-07-21 ソニー株式会社 撮影装置の制御方法および制御装置、並びに制御プログラム
WO2007007878A1 (ja) * 2005-07-14 2007-01-18 Nikon Corporation 画像処理装置および画像処理方法
US7791656B2 (en) * 2005-08-16 2010-09-07 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP2007067815A (ja) * 2005-08-31 2007-03-15 Olympus Imaging Corp 画像処理装置及び画像処理方法
WO2007037229A1 (ja) * 2005-09-29 2007-04-05 Nikon Corporation 画像処理装置および画像処理方法
US7843493B2 (en) * 2006-01-31 2010-11-30 Konica Minolta Holdings, Inc. Image sensing apparatus and image processing method
JP5271631B2 (ja) * 2008-08-07 2013-08-21 Hoya株式会社 画像処理ユニット、撮像装置、合成画像作成プログラム
JP2011035643A (ja) * 2009-07-31 2011-02-17 Fujifilm Corp 多眼撮影方法および装置、並びにプログラム
WO2012023330A1 (ja) * 2010-08-16 2012-02-23 富士フイルム株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
US20120236173A1 (en) * 2011-03-17 2012-09-20 Telek Michael J Digital camera user interface which adapts to environmental conditions
WO2013094329A1 (ja) * 2011-12-19 2013-06-27 富士フイルム株式会社 画像処理装置、方法およびプログラムならびにその記録媒体
WO2013146067A1 (ja) * 2012-03-30 2013-10-03 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、記録媒体及びプログラム
JP2013223152A (ja) 2012-04-18 2013-10-28 Clarion Co Ltd 撮像装置
KR102105645B1 (ko) * 2012-10-08 2020-05-04 코닌클리케 필립스 엔.브이. 색상 제한들을 통한 루미넌스 변화 이미지 처리
JP6097588B2 (ja) * 2013-02-13 2017-03-15 キヤノン株式会社 画像処理装置及び画像処理方法
JP6193721B2 (ja) * 2013-10-23 2017-09-06 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6555863B2 (ja) * 2013-12-25 2019-08-07 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP6600216B2 (ja) * 2015-09-29 2019-10-30 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
US10298853B2 (en) * 2016-01-13 2019-05-21 Canon Kabushiki Kaisha Image processing apparatus, method of controlling image processing apparatus, and imaging apparatus
JP2018207176A (ja) * 2017-05-30 2018-12-27 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0385891A (ja) * 1989-08-29 1991-04-11 Matsushita Electric Ind Co Ltd ディジタルカメラ
JP2006333316A (ja) * 2005-05-30 2006-12-07 Acutelogic Corp 画像処理装置
JP2007043312A (ja) * 2005-08-01 2007-02-15 Fujifilm Holdings Corp 撮影装置
JP2010154024A (ja) * 2008-12-24 2010-07-08 Olympus Corp 画像処理装置、および画像処理方法
JP2011146893A (ja) * 2010-01-14 2011-07-28 Nikon Corp 画像処理装置、撮像装置及び画像処理プログラム
JP2017121010A (ja) * 2015-12-28 2017-07-06 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
JP7022544B2 (ja) 2022-02-18
US20190080435A1 (en) 2019-03-14
US10825136B2 (en) 2020-11-03

Similar Documents

Publication Publication Date Title
US10582151B2 (en) Camera system, video processing apparatus, and camera apparatus
JP5451782B2 (ja) 画像処理装置および画像処理方法
JP5591261B2 (ja) 画像処理装置
US5657082A (en) Imaging apparatus and method using interpolation processing
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2011239231A (ja) 画像処理装置、および、画像処理装置の制御方法
JP6014349B2 (ja) 撮像装置、制御方法、及びプログラム
US5671023A (en) Gamma correction circuit
JP7022544B2 (ja) 画像処理装置及び方法、及び撮像装置
US7250967B2 (en) Apparatus for modifying reproduction frequency band of video signal
JP4339671B2 (ja) 撮像装置
US9013606B2 (en) Image processing apparatus and control method thereof
US6266101B1 (en) Y/C separator
JP2003348442A (ja) テレビジョンカメラ装置
JP7289642B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
KR100266596B1 (ko) 디지탈스틸카메라의영상신호처리장치
WO2017026449A1 (ja) 撮像装置
JP2013042327A (ja) 画像処理装置及び固体撮像装置
JP2005328338A (ja) 撮像装置及び撮像装置付き携帯端末
JP2003047014A (ja) 撮像装置
JP2019004426A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2017220821A (ja) 画像処理装置
JPH09284602A (ja) 映像信号処理回路およびそれを有するビデオカメラ
JP2008178129A (ja) 映像信号の再現帯域変更装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200910

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220207

R151 Written notification of patent or utility model registration

Ref document number: 7022544

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151