JP2019028537A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2019028537A
JP2019028537A JP2017144401A JP2017144401A JP2019028537A JP 2019028537 A JP2019028537 A JP 2019028537A JP 2017144401 A JP2017144401 A JP 2017144401A JP 2017144401 A JP2017144401 A JP 2017144401A JP 2019028537 A JP2019028537 A JP 2019028537A
Authority
JP
Japan
Prior art keywords
gain map
gain
image
generating
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017144401A
Other languages
English (en)
Inventor
木村 直人
Naoto Kimura
直人 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017144401A priority Critical patent/JP2019028537A/ja
Priority to US16/040,221 priority patent/US10764468B2/en
Publication of JP2019028537A publication Critical patent/JP2019028537A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H04N1/4074Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original using histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393Enlarging or reducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

【課題】 画像の高周波領域のみコントラストを強調し、低周波領域の明るさを変化させない適応的なコントラスト補正を精度良く行うことを可能にした画像処理技術を提供すること。
【解決手段】 入力画像から、周波数帯域が互いに異なる複数の画像から構成される階層画像を生成する画像生成手段と、前記階層画像と、第1階調特性により第1ゲインマップを生成する第1ゲインマップ生成手段と、前記第1ゲインマップと前記第1階調特性と異なる特性を有する第2階調特性を用いて、第2ゲインマップを生成する第2ゲインマップ生成手段と、前記入力画像に対して第2ゲインマップを適用する処理手段と、を備えることを特徴とする画像処理装置である。
【選択図】 図2

Description

本発明は、画像の階調処理に関するものである。
従来、画像の階調処理技術として、図18の(18a)に示すようなS字カーブの変換特性で画像の輝度信号を変換する事によって画像のコントラストを向上させる技術があった。
しかしながら、前記S字カーブを適用すると、図18の(18b)の輝度ヒストグラムが示すように、低輝度はより低輝度、高輝度はより高輝度に変換されるため、コントラストを向上させる必要のない低周波領域、例えば、空や日陰のコンクリート等の領域の明るさが大きく変化してしまう問題があった。
この問題に対し、例えば特許文献1では圧縮のトーンカーブを適用した画像を縮小して拡大して生成した平滑化画像の輝度値と、トーンカーブの逆数によるゲイン値を元にトーンカーブを適用した画像に対し、再度コントラスト補正を行う技術が開示されている。
特開2004−221644号公報
しかしながら、特許文献1に開示された技術では、圧縮のトーンカーブを適用した後にコントラスト補正を行っているため、画像の階調が多く失われてしまってしてしまう。
そこで、本発明の目的は、画像の高周波領域のみコントラストを強調し、低周波領域の明るさを変化させない適応的なコントラスト補正を精度良く行うことを可能にした画像処理装置を提供することである。
本発明の1実施態様は、入力画像から、周波数帯域が互いに異なる複数の画像から構成される階層画像を生成する画像生成手段と、前記階層画像と、第1階調特性により第1ゲインマップを生成する第1ゲインマップ生成手段と、前記第1ゲインマップと前記第1階調特性と異なる特性を有する第2階調特性を用いて、第2ゲインマップを生成する第2ゲインマップ生成手段と、前記入力画像に対して第2ゲインマップを適用する処理手段と、を備える画像処理装置である。
本発明によれば、画像の高周波領域のみコントラストを強調し、低周波領域の明るさを変化させない適応的なコントラスト補正を精度良く行うことができる。
本発明の画像処理装置に適用可能な構成を示したブロック図 第1実施形態の画像処理部の構成を示したブロック図 第1実施形態の第1のゲインMAP生成部の構成を示したブロック図 第1実施形態の第2のゲインMAP生成部の構成を示したブロック図 第1実施形態の画像処理部の処理の流れを示した動作フロー図 第1実施形態の第1のゲインMAP生成部の処理を示した動作フロー図 第1実施形態の第2のゲインMAP生成部の処理を示した動作フロー図 階調特性とゲインMAPの関係について説明した図 第1実施形態の第1の階調特性と第2の階調特性の一例を示した図 本発明による画像のコントラスト向上効果について説明した図 第2実施形態の第2のゲインMAP生成部の構成を示したブロック図 第2実施形態の第2のゲインMAP生成部の処理を示した動作フロー図 第2実施形態の第1の階調特性と第2の階調特性の一例を示した図 第3実施形態の画像処理部の構成を示したブロック図 第3実施形態の第2のゲインMAP生成部の構成を示したブロック図 第3実施形態の画像処理部の処理を示した動作フロー図 第3実施形態の第2のゲインMAP生成部の処理を示した動作フロー図 従来技術であるS字カーブのコントラスト補正の課題について説明した図
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお本発明を撮像装置であるデジタルカメラに適用した実施形態を用いて説明するが、本発明はデジタルカメラに限らず、他の画像処理装置に適用することができる。
(第1実施形態)
本発明の第1実施形態の特徴は、入力画像の縮小画像と第1の階調特性により生成した第1のゲインMAPに対し、第1の階調特性による輝度変化をキャンセルする第2の階調特性を適用する事で第2のゲインMAPを生成し、入力画像に対し第2のゲインMAPでゲイン処理を行う点である。
図1は、本実施形態の撮像装置に適用可能な構成を示したブロック図である。図1を用いて、撮像装置の各構成について説明する。
光学系101は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系101は、撮像部102に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像部102は、光学系101を通過した被写体の光束を光電変換し電気信号に変換するCCDやCMOSセンサー等の光電変換素子である。
A/D変換部103は、入力された映像信号をデジタルの画像に変換する。
画像処理部104は、通常の信号処理の他に、露光量算出処理や階調処理を行う。画像処理部104はA/D変換部103から出力された画像のみでなく、記録部109から読み出した画像に対しても同様の画像処理を行うことができる。
露光量制御部105は、画像処理部104によって算出された露光量を実現する為に、光学系101と撮像部102を制御して、絞り、シャッタースピード、センサーのアナログゲインを制御する。
システム制御部106は、装置全体の動作を制御、統括する制御機能部である。画像処理部104で処理された画像から得られる輝度値や操作部107から送信された指示に基づいて、光学系101や撮像部102の駆動制御も行う。
表示部108は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイで構成され、撮像部102で生成された画像や、記録部110から読み出した画像を表示する。記録部109は、画像を記録する機能を有し、たとえば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでもよく、この情報記録媒体を着脱可能とする構成であってもよい。
バス110は、画像処理部104、システム制御部106、表示部108、および、記録部109の間で画像をやり取りするために用いられる。
次に、画像処理部104内の処理について説明を行う。
図2は、画像処理部104内の構成を示したブロック図である。画像処理部104は、第1のゲインMAP生成部201、第2のゲインMAP生成部202、ゲイン処理部203、現像処理部204によって構成される。
図2の画像処理部104内の各ブロックの処理の流れについて動作フローにしたのが、図5の動作フロー図である。以降、図5の動作フロー図を用いて画像処理部104内の処理の流れについて詳細に説明する。
ステップS501は、入力画像から第1のゲインMAP(第1ゲインマップ)を生成する処理を行う。第1のゲインMAPを生成する処理の内容の詳細については後述する。本実施形態においてゲインMAPとは、図8(b)に示すように、画像の位置に応じて適用するゲインが決められた画像を指す。
ステップS502は、ステップS501で生成した第1のゲインMAPと、入力画像に基づいて第2のゲインMAP(第2ゲインマップ)を生成する処理を行う。第2のゲインMAPを生成する処理の内容についても後述する。
ステップS503は、ステップS502で生成した第2のゲインMAPを用いて、入力画像に対しゲインをかける処理を行う。入力画像の座標(x,y)の信号値をin(x,y)、第2のゲインMAPの値をGain(x,y)とすると、ゲイン処理後の出力信号の信号値Out(x,y)は(式1)の様にして表される。
Figure 2019028537
ステップS504は、ステップS503でゲイン処理を行った画像に対して、現像処理を行う。現像処理は、ノイズリダクションやエッジ強調、色マトリクス処理やγ変換などの処理を指す。
以上が画像処理部104内の処理である。本実施形態の特徴的な処理はステップS501からステップS503までの処理である。
次に、ステップS501とステップS502の詳細の処理について説明を行う。
まず、ステップS501の第1のゲインMAPを生成する処理について説明を行う。
図3は、ステップS501の処理に対応する第1のゲインMAP生成部201(第1のゲインマップ生成部201)の構成を示したブロック図である。第1のゲインMAP生成部201は、輝度画像生成部301、第1の縮小画像生成部302、第2の縮小画像生成部303、第1のゲイン変換部304、階層ゲインMAP合成部305によって構成される。
第1のゲインMAP生成部201内の各ブロックの処理の流れについて動作フローにしたのが、図6の動作フロー図である。以降、図6の動作フロー図を用いて第1のゲインMAPを生成する処理について詳細に説明する。
ステップS601は、入力画像から輝度画像を生成する処理を行う。輝度画像の信号値の生成方法については、たとえばR,G,B同時化した画像の信号から(式2)の様な式で輝度信号Yを生成する方法を用いることができる。
Figure 2019028537
ステップS602は、ステップS601で生成した輝度画像から段階的に縮小処理を行って第1の縮小画像と第2の縮小画像を生成する。第1の縮小画像と第2の縮小画像は画像サイズが異なり、第2の縮小画像は第1の縮小画像をさらに縮小処理した作成した画像となる。縮小処理の方法については、バイリニア法を用いた縮小等の方法を用いることができる。従って、S602では、入力画像に基づいて、周波数帯域が互いに異なる複数の画像から構成される階層画像が生成される。
ステップS603は、ステップS601で生成した輝度画像と、ステップS602で生成した第1の縮小画像と第2の縮小画像に対し、第1の階調特性を適用する事で各々ゲインMAPを生成する。
第1の階調特性は、図8の(8a)で示すように、横軸を入力輝度信号、縦軸をゲイン信号で示したゲインテーブルを指す。なお、ゲインテーブルの形状は任意であり、本実施形態では、図8の(8a)で示すように、入力輝度信号が小さい場合は、ゲイン信号が大きく、入力輝度信号の信号値が大きくなるにつれて、ゲイン信号が小さくなるような形状をしたゲインテーブルである。輝度画像に第1の階調特性を適用することによって、図8の(8b)に示すように、画素位置に対応するゲイン信号で構成されたゲインMAPを生成する。
ステップS604は、ステップS603で輝度画像から生成したゲインMAP、第1の縮小画像から生成されたゲインMAP、第2の縮小画像から生成されたゲインMAPを合成することによって第1のゲインMAPを生成する。
なお、ゲインMAPの合成方法については、画像サイズの大きいゲインMAPのゲイン信号と画像サイズの小さいゲインMAPのゲイン信号をゲインの信号差に応じて加重加算する方法を用いることができる。
以上がステップS501の第1のゲインMAPを生成する処理の内容である。
次に、ステップS502の第2のゲインMAPを生成する処理について説明を行う。
図4は、ゲインS502の処理に対応する第2のゲインMAP生成部202の構成を示したブロック図である。第2のゲインMAP生成部202は、輝度画像生成部401、第1のゲイン処理部402、第2のゲイン変換部403、第1のゲインMAP補正部404(第1のゲインマップ補正部404)によって構成される。
図4の第2のゲインMAP生成部202内の各ブロックの処理の流れについて動作フローにしたのが、図7の動作フロー図である。以降、図7の動作フロー図を用いて第2のゲインMAPを生成する処理について詳細に説明する。
ステップS701は、入力画像から輝度画像を生成する。輝度画像の生成方法については前述のステップS601の処理と同様なので説明は省略する。
ステップS702は、ステップS701で生成した輝度画像に対し、前述のステップS501で生成した第1のゲインMAPを用いて第1のゲイン処理を行う。入力画像の座標(x,y)の信号値をin(x,y)、第1のゲインMAPの値をGain_1(x,y)とすると、第1のゲイン処理後の出力信号の信号値Out(x,y)は(式3)の様にして表される。
Figure 2019028537
ステップS703は、前記ステップS702で第1のゲイン処理を行った輝度画像を元に第2の階調特性から補正用のゲインMAPを生成する。
第2の階調特性については、図9を用いて説明する。
第2の階調特性は、第1の階調特性と同様にゲインテーブルの事を指すが、前述の第1の階調特性による階調変換をキャンセルする特性をもつ。図9の(9a)のは、第1の階調特性、図9の(9b)は第2の階調特性の一例を示している。第1の階調特性は、入力輝度信号のP1までは2倍のゲインを適用し、入力輝度信号のP2に近づくにつれ等倍のゲインになる特性を持つ。第2の階調特性は、第1の階調特性に対して、第1の階調特性により適用したゲインをキャンセルする特性となる。
具体的には、第1の階調特性で2倍のゲインが適用された信号値P1は2×P1となる為、第2の階調特性では入力信号が2×P1の値まではゲイン1/2倍を適用する。また、第1の階調特性で等倍のゲインが適用された信号値P2は変化しない為、第2の階調特性でも入力信号がP2の時点で等倍のゲインが適用されるような特性となっている。
第2の階調特性からゲインMAPを生成する方法については、前記ステップS603と同様に、ゲインテーブルで変換する方法である。前記ステップS702で第1のゲイン処理を行った輝度画像を入力としてゲインテーブルでゲイン信号に変換し、補正用のゲインMAP(補正ゲインマップ)として出力する。よって、S703で、補正ゲインマップ生成を行う。
図7に戻りステップS704の説明に移る。
ステップS704は、前記ステップS703で生成した補正用のゲインMAPを元に前述のステップS501で生成した第1のゲインMAPを補正して第2のゲインMAPを生成する。第2のゲインMAPの生成方法は、(式4)の様に第1のゲインMAPのゲイン信号に補正用のゲインMAPのゲイン信号を適用する事で生成する。座標(x,y)の第1のゲインMAPの値をGain_1(x,y)、補正用のゲインMAPの値をhGain(x,y)とすると、第2のゲインMAPの値はGain(x,y)である。
Figure 2019028537
以上がステップS502の第2のゲインMAPを生成する処理の内容である。
最後に、これまで説明した本実施形態におけるコントラスト向上効果について、図10を用いて説明する。図10の(10a)〜(10d)のグラフの見方は横軸がx方向の座標、縦軸が輝度信号とゲイン信号の値を表す。黒の線が輝度信号を示しており、グレーの線がゲイン信号を示している。
まず、輝度信号が変化する高周波領域での効果について説明する。
図10の(10a)は、輝度信号が変化する高周波領域での第1のゲインMAPによるゲイン処理の効果について説明した図である。
入力の輝度信号1001に対し、第1の階調特性をそのまま適用すると、ゲイン信号は1002の様になり、入力の輝度信号1001の値に応じて敏感にゲインを変化させた特性となる。ゲイン信号1002を入力の輝度信号1001にそのまま適用してしまうと、ゲイン処理後の輝度信号は1003となり、コントラストが低下してしまう。
そこで、入力画像の縮小画像を用いる事によって第1のゲインMAPを生成する事により、ゲイン信号は1004の様になり、入力の輝度信号1001の値に対して鈍感にゲインが変化する特性となる。ゲインが鈍感に変化すればする程、ゲイン処理後の輝度信号はコントラストが保たれる方向となり、ゲイン信号後の輝度信号は1005の様になる。引き続き、補正用のゲインMAPによるゲイン処理の効果について説明する。
図10の(10b)は、輝度信号が変化する高周波領域での補正用のゲインMAPによるゲイン処理の効果について説明した図である。
補正用のゲインMAPは、第1の階調特性をキャンセルする特性をもつ第2の階調特性をそのまま適用して生成しており、第1のゲインMAPの様に縮小画像を用いて生成していない。その為、補正用のゲインMAPによるゲイン信号は1006の様になり、前記の第1の階調特性をそのまま適用した時のゲイン信号1002を等倍のゲイン信号に戻すような特性となる。
しかしながら、第1のゲインMAPは縮小画像を用いて1004の様に、輝度信号に対して鈍感な階調特性となっており、第1のゲインMAPによりゲイン処理した輝度信号は1005の様になっている。その為、補正用のゲインMAPによりゲイン処理した輝度信号は、1007の様になり、入力の輝度信号1001よりコントラストがついた信号となる。以上により、輝度信号が変化する高周波領域では、本実施例の階調処理を行う事でコントラストを高める事ができる。本実施形態例では、(10a)と(10b)で説明した第1のゲインMAPと補正用のゲインMAPの効果を第2のゲインMAPという1枚のゲインMAPでゲイン処理する事で実現する。
次に、輝度信号が殆ど変化しない低周波領域での本実施例の効果について説明する。
図10の(10c)は、輝度信号が殆ど変化しない低周波領域での第1のゲインMAPによるゲイン処理の効果について説明した図である。
輝度信号が変化する高周波領域と違い、入力の輝度信号1009に対し、第1の階調特性をそのまま適用したゲイン信号1010と、入力画像の縮小画像を用いて生成した第1のゲインMAPのゲイン信号1012の敏感度は変わらない為、ゲイン処理後の信号もそれぞれ1011、1013となり、コントラストに殆ど違いは無い。これは、輝度信号が殆ど変化しない低周波領域である為、入力画像の縮小画像と等倍画像に殆ど輝度分布の差が無いのが大きな理由である。引き続き補正用のゲインMAPによるゲイン処理の効果について説明する。
図10の(10d)は、輝度信号が変化する高周波領域での補正用のゲインMAPによるゲイン処理の効果について説明した図である。
前述した第1のゲインMAPのゲイン信号は、入力の輝度信号に第1の階調特性をそのまま適用したゲイン信号と殆ど違いは無い。その為、第1の階調特性をキャンセルする特性をもつ第2の階調特性によるゲイン信号1014でゲイン処理を適用した信号は1015の様になり、入力の輝度信号1016と殆ど違いは無い。つまり、輝度信号が殆ど変化しない低周波領域では本実施例の階調処理を行っても明るさが変化しない効果が得られる。
以上の様に本実施例の処理を行う事により、輝度信号が変化する高周波領域のみコントラストを高め、輝度信号が殆ど変化しない低周波領域の明るさを変化させないコントラスト向上効果を実現できる。
(第2実施形態)
次に、第2実施形態について説明を行う。
本実施形態の特徴は、補正用のゲインMAPの生成時に第1のゲインMAPを用いない点であり、それ以外の処理は第1実施形態と同様である。
以降、本実施形態について第1実施形態と異なる構成の部分を中心に説明を行う。撮像装置、画像処理部104の構成、第1のゲインMAP生成部201、ゲイン処理部203、現像処理部204の処理内容は第1実施形態と同様なので説明は省略する。
次に、図11を用いて、第2のゲインMAP生成部202の構成について説明を行う。第2のゲインMAP生成部202は、輝度画像生成部1101、第2のゲイン変換部1102、第1のゲインMAP補正部1103で構成される。
図11の第2のゲインMAP生成部202内の各ブロックの処理の流れについて動作フローにしたのが、図12の動作フロー図である。以降、図12の動作フロー図を用いて第2のゲインMAPの生成処理について詳細に説明する。
ステップS1201は、入力画像から輝度画像を生成する処理を行う。輝度画像の生成方法については第1実施形態のステップS601と同様なので説明は省略する。
ステップS1202は、前記ステップS1201で生成された輝度画像に対し、第1の階調特性による階調変換をキャンセルする特性を持つ第2の階調特性を用いて補正用のゲインMAPを生成する。第2の階調特性について、図13を用いて説明する。第1実施形態と異なるのは、第2の階調特性の横軸が第1の階調特性が適用された後の輝度信号ではなく、入力画像の輝度信号である点である。
図13の(13a)の第1の階調特性は実施例1と同様であるが、図13の(13b)の第2の階調特性は第1実施形態と異なり、第1の階調特性のゲイン信号をキャンセルするゲイン信号に対応する入力輝度信号の横軸が変化している。第1の階調特性のゲイン信号の切り替わりとなる横軸の輝度信号は第1の階調特性と同様である。
ステップS1203は、前記ステップS1202で生成した補正ゲインMAPを用いて、第1のゲインMAPを補正する事により第2のゲインMAPを生成する。第2のゲインMAPの生成方法については、第1実施形態のステップS704の処理と同様なので説明は省略する。
以上が、本実施形態における第2のゲインMAP生成部202の処理内容である。
(第3実施形態)
次に、第3実施形態について説明を行う。
本実施形態の特徴は、第1のゲインMAPで入力画像に第1のゲイン処理を行った後、第2のゲインMAPによって第2のゲイン処理を行う点である。第1のゲインMAPの生成処理は第1実施形態と同様であり、第2のゲインMAPは実施例1の補正用のゲインMAPを指す。
以降、本実施形態について第1実施形態と異なる構成の部分を中心に説明を行う。
本実施形態の撮像装置の構成については第1実施形態と同様なので説明は省略する。
次に、図14を用いて、画像処理部104の構成について説明を行う。画像処理部104は、第1のゲインMAP生成部1401、第1のゲイン処理部1402、第2のゲインMAP生成部1403、第2のゲイン処理部1404、現像処理部1405で構成される。第1のゲインMAP生成部1401、現像処理部1405については実施例1と同様である。
図14の画像処理部104内の各ブロックの処理の流れについて動作フローにしたのが、図16の動作フロー図である。以降、図16の動作フロー図を用いて画像処理部104内の各ブロックの処理について詳細に説明する。
ステップS1601は、入力画像から第1のゲインMAPを生成する処理を行う。第1のゲインMAPの生成方法については、実施例1のステップS501と同様なので説明を省略する。
ステップS1602は、前記ステップS1601で生成した第1のゲインMAPを用いて入力画像に対し、第1のゲイン処理を行う。ゲイン処理の方法については、実施例1のステップS702と同様なので説明は省略する。
ステップS1603は、前記ステップS1602により第1のゲイン処理を行った画像を元に第2のゲインMAPを生成する。第2のゲインMAPの生成方法については後程詳細に説明を行う。
ステップS1604は、前記ステップS1602により第1のゲイン処理を行った画像に対し、前記ステップS1603で生成した第2のゲインMAPを用いて第2のゲイン処理を行う。第2のゲイン処理の方法については、第1実施形態のステップS503と同様なので説明は省略する。
ステップS1605は、前記ステップS1604で第2のゲイン処理を行った画像に対し、現像処理を行う。現像処理の内容については、第1実施形態のステップS504と同様である。
以上が、本実施形態における画像処理部104内の処理である。
次に、ステップS1603の第2のゲインMAPを生成する処理について説明を行う。
図15は、ステップS1603の処理に対応する第2のゲインMAP生成部1403内の構成を示したブロック図である。第2のゲインMAP生成部1403は輝度画像生成部1501、第2のゲイン変換部1502によって構成される。
図15の第2のゲインMAP生成部1403内の各ブロックの処理の流れについて動作フローにしたのが、図17の動作フロー図である。以降、図17の動作フロー図を用いて第2のゲインMAP生成部1403内の各ブロックの処理について詳細に説明する。
ステップS1701は、第1のゲイン処理後の画像から輝度画像を生成する処理を行う。輝度画像の生成方法については、実施例1のステップS601と同様なので説明は省略する。
ステップS1702は、前記ステップS1701で生成した輝度画像から第2の階調特性を用いて第2のゲインMAPを生成する。第2のゲインMAPの生成方法については、第1実施形態のステップS703の補正ゲインMAPの生成方法と同様なので説明は省略する。
以上で、本実施形態におけるステップS1603の第2のゲインMAPを生成する処理の説明を終了する。
なお、本発明は、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する構成としてもよい。この場合、そのプログラム及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
102 撮像部
104 画像処理部
106 システム制御部
201 第1のゲインMAP生成部
202 第2のゲインMAP生成部
203 ゲイン処理部
204 現像処理部
301 輝度画像生成部
302 第1の縮小画像生成部
303 第2の縮小画像生成部
304 第1のゲイン変換部
305 階層ゲインMAP合成部
401 輝度画像生成部
402 第1のゲイン処理部
403 第2のゲイン変換部
404 第1のゲインMAP補正部

Claims (6)

  1. 入力画像から、周波数帯域が互いに異なる複数の画像から構成される階層画像を生成する画像生成手段と、
    前記階層画像と、第1階調特性により第1ゲインマップを生成する第1ゲインマップ生成手段と、
    前記第1ゲインマップと前記第1階調特性と異なる特性を有する第2階調特性を用いて、第2ゲインマップを生成する第2ゲインマップ生成手段と、
    前記入力画像に対して第2ゲインマップを適用する処理手段と、を備えることを特徴とする画像処理装置。
  2. 前記第1ゲインマップと前記第2階調特性に基づいて補正ゲインマップを生成する補正ゲインマップ生成手段、を備え、
    前記第2ゲインマップ生成手段は、前記補正ゲインマップを用いて前記第1ゲインマップを補正することで、前記第2ゲインマップを生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第2階調特性は、入力画像に対して前記第1階調特性を適用した後の信号値を横軸として、第1階調特性による階調変換をキャンセルする特性を有することを特徴とする請求項2に記載の画像処理手段。
  4. 前記入力画像と前記第2階調特性に基づいて補正ゲインマップを生成する補正ゲインマップ生成手段、を備え、
    前記第2ゲインマップ生成手段は、前記補正ゲインマップを用いて第1ゲインマップを補正することで、前記第2のゲインマップを生成することを特徴とする請求項1に記載の画像処理手段。
  5. 前記第2階調特性は、入力画像の信号値を横軸として、第1の階調特性による階調変換をキャンセルする特性を有する第2の階調特性であることを特徴とする請求項4に記載の画像処理装置。
  6. 入力画像から、周波数帯域が互いに異なる複数の画像から構成される階層画像を生成する画像生成ステップと、
    前記階層画像と、第1階調特性により第1ゲインマップを生成する第1ゲインマップ生成ステップと、
    前記第1ゲインマップと前記第1階調特性と異なる特性を有する第2階調特性を用いて、第2ゲインマップを生成する第2ゲインマップ生成ステップと、
    前記入力画像に対して第2ゲインマップを適用する処理ステップと、を備えることを特徴とする画像処理方法。
JP2017144401A 2017-07-26 2017-07-26 画像処理装置および画像処理方法 Pending JP2019028537A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017144401A JP2019028537A (ja) 2017-07-26 2017-07-26 画像処理装置および画像処理方法
US16/040,221 US10764468B2 (en) 2017-07-26 2018-07-19 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017144401A JP2019028537A (ja) 2017-07-26 2017-07-26 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
JP2019028537A true JP2019028537A (ja) 2019-02-21

Family

ID=65138304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017144401A Pending JP2019028537A (ja) 2017-07-26 2017-07-26 画像処理装置および画像処理方法

Country Status (2)

Country Link
US (1) US10764468B2 (ja)
JP (1) JP2019028537A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6817779B2 (ja) * 2016-10-20 2021-01-20 キヤノン株式会社 画像処理装置、その制御方法、プログラムならびに記録媒体
JP7471832B2 (ja) * 2020-01-23 2024-04-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20220122008A (ko) 2021-02-26 2022-09-02 삼성전자주식회사 이미지 신호 프로세싱 방법, 이미지 신호 프로세서 및 그 이미지 센싱 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4214457B2 (ja) 2003-01-09 2009-01-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7266229B2 (en) * 2003-07-24 2007-09-04 Carestream Health, Inc. Method for rendering digital radiographic images for display based on independent control of fundamental image quality parameters
US7599578B2 (en) * 2004-09-17 2009-10-06 Nikon Corporation Apparatus, program, and method for image tone transformation, and electronic camera
US7755670B2 (en) * 2005-10-24 2010-07-13 Nikon Corporation Tone-conversion device for image, program, electronic camera, and tone-conversion method
US7949174B2 (en) * 2006-10-19 2011-05-24 General Electric Company System and method for calibrating an X-ray detector
US8155434B2 (en) * 2007-10-30 2012-04-10 Sharp Laboratories Of America, Inc. Methods and systems for image enhancement
JPWO2009107197A1 (ja) * 2008-02-26 2011-06-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP5173968B2 (ja) * 2008-09-25 2013-04-03 キヤノン株式会社 画像形成装置および画像形成方法
JP5673032B2 (ja) * 2010-11-29 2015-02-18 ソニー株式会社 画像処理装置、表示装置、画像処理方法及びプログラム
WO2013054446A1 (ja) * 2011-10-14 2013-04-18 株式会社モルフォ 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
US9036783B2 (en) * 2012-08-07 2015-05-19 General Electric Company Gain calibration technique for digital imaging systems
JP2014086932A (ja) * 2012-10-25 2014-05-12 Sony Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP6234191B2 (ja) * 2013-11-28 2017-11-22 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
JP6485068B2 (ja) * 2014-02-05 2019-03-20 パナソニックIpマネジメント株式会社 画像処理方法および画像処理装置
JP6274931B2 (ja) * 2014-03-19 2018-02-07 オリンパス株式会社 マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
US9652829B2 (en) * 2015-01-22 2017-05-16 Samsung Electronics Co., Ltd. Video super-resolution by fast video segmentation for boundary accuracy control
JP6648914B2 (ja) * 2015-06-16 2020-02-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN107205629B (zh) * 2015-06-30 2019-08-02 奥林巴斯株式会社 图像处理装置和摄像系统
US10714049B2 (en) * 2016-06-06 2020-07-14 Apple Inc. Electronic display border gain systems and methods
JP6817779B2 (ja) * 2016-10-20 2021-01-20 キヤノン株式会社 画像処理装置、その制御方法、プログラムならびに記録媒体
WO2018150627A1 (ja) * 2017-02-16 2018-08-23 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR102303764B1 (ko) * 2017-04-24 2021-09-17 삼성전자주식회사 크로스토크 처리 모듈 및 크로스토크를 처리하는 방법

Also Published As

Publication number Publication date
US20190037102A1 (en) 2019-01-31
US10764468B2 (en) 2020-09-01

Similar Documents

Publication Publication Date Title
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
JP4214457B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP6648914B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5672796B2 (ja) 画像処理装置、画像処理方法
KR102144390B1 (ko) 로컬 콘트라스트 향상을 수행하는 이미지 처리 장치 및 방법
JP2014153959A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2019028537A (ja) 画像処理装置および画像処理方法
JP6087612B2 (ja) 画像処理装置および画像処理方法
JP6552228B2 (ja) 画像表示装置及びその制御方法
JP2019047169A (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
JP2006115444A (ja) 画像処理方法、画像処理装置、画像処理プログラム、および電子カメラ
CN111031256B (zh) 图像处理方法、装置、存储介质及电子设备
JP2007180851A (ja) Raw画像の階調変換装置、プログラム、方法、および電子カメラ
JP4777038B2 (ja) 撮像装置および画像処理方法
JP2009200743A (ja) 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置
JP2021114180A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP2016127388A (ja) 画像処理装置およびその制御方法、プログラムならびに記憶媒体
JP7446847B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN114283100A (zh) 高动态范围图像合成与色调映射方法及电子设备
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP2017229025A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6386843B2 (ja) 画像処理装置、画像処理方法、プログラム、記憶媒体
JP2020071354A (ja) 投影システムおよび投影方法