JP2011166522A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2011166522A JP2011166522A JP2010028040A JP2010028040A JP2011166522A JP 2011166522 A JP2011166522 A JP 2011166522A JP 2010028040 A JP2010028040 A JP 2010028040A JP 2010028040 A JP2010028040 A JP 2010028040A JP 2011166522 A JP2011166522 A JP 2011166522A
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- pixel
- block
- value
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000012545 processing Methods 0.000 title claims abstract description 43
- 238000003672 processing method Methods 0.000 title abstract description 5
- 230000001186 cumulative effect Effects 0.000 claims abstract description 76
- 238000002156 mixing Methods 0.000 claims description 8
- 238000005286 illumination Methods 0.000 abstract description 14
- 238000003384 imaging method Methods 0.000 abstract description 8
- 238000000034 method Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002146 bilateral effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像装置近傍で照明光が当たる被写体像のコントラストを改善することができ、回路負荷を低減することが可能な画像処理装置、画像処理方法及びプログラムを提供する。
【解決手段】ブロック毎に画素値の頻度を算出し、N個のビンからなる第一のヒストグラムを生成し、画像全体の複数のブロックのうち輝度の高い高輝度ブロックの第一のヒストグラムと、ブロック毎の第一のヒストグラムを混合して、ブロック毎に第二ヒストグラムを生成する。対象画素が含まれるブロックと隣接するブロックの第二のヒストグラムに基づいて、対象画素のブロック内における画素位置に依存した画素値の頻度を算出し第三のヒストグラムを画素単位で生成する。第三のヒストグラムの最大累積頻度と画素値の出力値の最大値が一致するように、第三のヒストグラムに基づいて画素値と画素値の出力値の関係を生成し、対象画素の画素値から出力値を算出する。
【選択図】図2
【解決手段】ブロック毎に画素値の頻度を算出し、N個のビンからなる第一のヒストグラムを生成し、画像全体の複数のブロックのうち輝度の高い高輝度ブロックの第一のヒストグラムと、ブロック毎の第一のヒストグラムを混合して、ブロック毎に第二ヒストグラムを生成する。対象画素が含まれるブロックと隣接するブロックの第二のヒストグラムに基づいて、対象画素のブロック内における画素位置に依存した画素値の頻度を算出し第三のヒストグラムを画素単位で生成する。第三のヒストグラムの最大累積頻度と画素値の出力値の最大値が一致するように、第三のヒストグラムに基づいて画素値と画素値の出力値の関係を生成し、対象画素の画素値から出力値を算出する。
【選択図】図2
Description
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
照明装置を持つビデオカメラ等の撮像装置を使用して撮影を行い、ディスプレイに画像を表示すると、図6(A)に示すように、照明光が当たる部分と照明光が当たらない周辺の暗い部分が生じる。夜間等の撮影環境が暗いところで、撮像装置の近くに人物等の被写体が存在すると、照明光の反射によって被写体像が白飛びしてしまう。図6は、画像の一例を示す説明図である。
白飛びに近い高輝度画素からなる領域等、輝度差が少ない部分のコントラストを向上させるために、画像に対して、階調補正を施すことが一般的である。従来の階調補正に関する技術として、例えば非特許文献1がある。非特許文献1の技術では、画像に対して領域又は画素毎に階調補正する。
Fr▲e▼do Durand and Julie Dorsey, Fast Bilateral Filtering for the Display of High-Dynamic-Range Images, In SIGGRAPH '02: Proceedings of the 29th annual conference on Computer graphics and interactive techniques (2002), pp.257-266
画像処理における階調補正には、ゲイン調整やガンマ補正等の線形処理によるものがある。
ゲイン調整やガンマ補正等の線形処理による階調補正では、明暗差が大きい画像について、暗部のコントラストを良くしようと調整すると明部のコントラストが犠牲になり、反対に、明部のコントラストを良くしようと調整すると暗部のコントラストが犠牲になる。
また、非特許文献1のように領域又は画素毎に階調補正をする場合、通常、非常に大きなハードウェア・ソフトウェアのリソースを必要とする。
ところで、例えばセキュリティカメラ等を使用した監視システムでは、照明光が当たる撮像装置に近い被写体の視認性を良くすることが重要である。しかし、通常のゲイン調整やガンマ補正等の線形処理による階調補正をしても、撮像装置の近くの人物などが画像内で白飛びしたままとなり、被写体像を確実に視認できないという問題が発生する。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像装置近傍で照明光が当たる被写体像のコントラストを改善することができ、回路負荷を低減することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、複数の画素からなるブロック毎に画素値の頻度を算出し、ダイナミックレンジを複数のN(N=整数)個に分割して、1個のビンの幅が複数の画素値であるN個のビンからなる第一のヒストグラムを生成し、画像全体の複数のブロックのうち輝度値の高い画素からなる高輝度ブロックの第一のヒストグラムを抽出し、ブロック毎の第一のヒストグラムと高輝度ブロックの第一のヒストグラムを混合して、ブロック毎に第二ヒストグラムを生成するブロックヒストグラム生成部と、対象画素が含まれるブロックの第二のヒストグラムと、対象画素が含まれるブロックに隣接するブロックの第二のヒストグラムに基づいて、対象画素のブロック内における画素位置に依存した画素値の頻度を算出し、N個のビンからなる第三のヒストグラムを画素単位で生成する画素ヒストグラム生成部と、第三のヒストグラムの最大累積頻度と画素値の出力値の最大値が一致するように、第三のヒストグラムに基づいて画素値と画素値の出力値の関係を生成し、対象画素の画素値から出力値を算出する出力値決定部とを備える、画像処理装置が提供される。
上記ブロックヒストグラム生成部は、画素値に応じて頻度に重みづけをしてもよい。
上記ブロックヒストグラム生成部は、画素値に応じて画素値が含まれるビンに隣接するビンに頻度を加算してもよい。
上記画素ヒストグラム生成部は、対象画素と隣接するブロックの中心との間の距離で正規化して、対象画素が含まれるブロックの第二のヒストグラムと、対象画素が含まれるブロックに隣接するブロックの第二のヒストグラムを混合し、第三のヒストグラムを生成してもよい。
上記画素値と画素値の出力値の関係は、1個のビンの幅の最小画素値の頻度と最大画素値の頻度を結んだ線を連結してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、複数の画素からなるブロック毎に画素値の頻度を算出し、ダイナミックレンジを複数のN(N=整数)個に分割して、1個のビンの幅が複数の画素値であるN個のビンからなる第一のヒストグラムを生成するステップと、画像全体の複数のブロックのうち輝度値の高い画素からなる高輝度ブロックの第一のヒストグラムを抽出するステップと、ブロック毎の第一のヒストグラムと高輝度ブロックの第一のヒストグラムを混合して、ブロック毎に第二ヒストグラムを生成するステップと、対象画素が含まれるブロックの第二のヒストグラムと、対象画素が含まれるブロックに隣接するブロックの第二のヒストグラムに基づいて、対象画素のブロック内における画素位置に依存した画素値の頻度を算出し、N個のビンからなる第三のヒストグラムを画素単位で生成するステップと、第三のヒストグラムの最大累積頻度と画素値の出力値の最大値が一致するように、第三のヒストグラムに基づいて画素値と画素値の出力値の関係を生成し、対象画素の画素値から出力値を算出するステップとを備える画像処理方法が提供される。
複数の画素からなるブロック毎に画素値の頻度を算出し、ダイナミックレンジを複数のN(N=整数)個に分割して、1個のビンの幅が複数の画素値であるN個のビンからなる第一のヒストグラムを生成する手段、画像全体の複数のブロックのうち輝度値の高い画素からなる高輝度ブロックの第一のヒストグラムを抽出する手段、ブロック毎の第一のヒストグラムと高輝度ブロックの第一のヒストグラムを混合して、ブロック毎に第二ヒストグラムを生成する手段、対象画素が含まれるブロックの第二のヒストグラムと、対象画素が含まれるブロックに隣接するブロックの第二のヒストグラムに基づいて、対象画素のブロック内における画素位置に依存した画素値の頻度を算出し、N個のビンからなる第三のヒストグラムを画素単位で生成する手段、第三のヒストグラムの最大累積頻度と画素値の出力値の最大値が一致するように、第三のヒストグラムに基づいて画素値と画素値の出力値の関係を生成し、対象画素の画素値から出力値を算出する手段としてコンピュータを機能させるためのプログラムが提供される。
以上説明したように本発明によれば、撮像装置近傍で照明光が当たる被写体像のコントラストを改善することができ、回路負荷を低減することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.一実施形態の構成
2.一実施形態の動作
1.一実施形態の構成
2.一実施形態の動作
<1.一実施形態の構成>
まず、図1を参照して、本発明の一実施形態に係る表示装置100について説明する。図1は、本実施形態に係る表示装置100を示すブロック図である。
まず、図1を参照して、本発明の一実施形態に係る表示装置100について説明する。図1は、本実施形態に係る表示装置100を示すブロック図である。
表示装置100は、例えばテレビジョン受像機、モニター等である。表示装置100は、図1に示すように、例えば映像処理部102と、パネル駆動部104と、ディスプレイパネル106等からなる。
映像処理部102は、映像入力信号を受けて、映像入力信号に対して画像処理を行い、表示信号を生成する。画像処理には、例えば階調補正、輪郭検出、平滑化処理等がある。映像処理部102は、画像処理装置の一例である。
パネル駆動部104は、映像処理部102で生成された表示信号を受けて、駆動信号を生成する。
ディスプレイパネル106は、例えば液晶ディスプレイパネル、有機ELディスプレイパネル等である。ディスプレイパネル106は、パネル駆動部104で生成された駆動信号に基づいて、映像を画面に表示する。ディスプレイパネル106は、複数の画素がマトリクス状に配置されている。
次に、図2を参照して、本実施形態に係る映像処理部102について説明する。図2は、本実施形態に係る映像処理部102を示すブロック図である。
映像処理部102は、暗い撮影環境で照明光を被写体に向けて撮影した画像において、照明光を強く反射して画像内で明るい被写体像を白飛びさせないで、被写体像の視認性を向上させる。
映像処理部102は、ブロックヒストグラム生成部112と、画素ヒストグラム生成部114と、出力輝度レベル決定部116などからなる。
ブロックヒストグラム生成部112には、映像入力信号の輝度値(入力輝度レベル)が画素単位で入力される。輝度値は画素値の一例である。また、ブロックヒストグラム生成部112には、一つの画像をブロックに分割するための分割数が入力される。ブロックとは、複数の画素の集合である。ブロックのサイズは、例えば画像全体の1〜2%程度の面積である。なお、ブロックのサイズは、表示装置100に設けられたメモリ等のハードウェアに応じて変更可能である。
ブロックヒストグラム生成部112は、分割数に基づいて、図7に示すように、画像全体を複数のブロックに分割する。図7は、画像の分割を示す説明図である。そして、ブロックヒストグラム生成部112は、ブロック毎に輝度値の頻度をカウントし、各ブロックのヒストグラムを生成する。このとき、輝度値のダイナミックレンジを複数のN個に分割して、第一累積ヒストグラムを生成する。即ち、第一累積ヒストグラムの1個のビンの幅は、複数の輝度値からなり、第一累積ヒストグラムは、N個のビンからなる。この第一累積ヒストグラムは、第一のヒストグラムの一例である。
図9には、輝度値(輝度レベル)を6個に分割した第一累積ヒストグラムを示した。図9は、第一累積ヒストグラムを示すグラフである。輝度値のダイナミックレンジの分割数Nは、表示装置100に設けられたメモリ等のハードウェアに応じて変更可能である。また、分割数Nは、ダイナミックレンジの広さに応じて決定される。第一累積ヒストグラムの1個のビンの幅は、対数ベースにすることで、指数を用いて表される広ダイナミックレンジを包括しやすくなる。
ブロックヒストグラム生成部112は、第一累積ヒストグラムを生成する際、輝度値に応じて頻度に重みづけをする。また、ブロックヒストグラム生成部112は、輝度値に応じて周辺のビン、例えば隣接するビンにも頻度を加算する。各ビンの幅が広い場合、ビンと隣接するビンとの境界付近に輝度値の頻度が偏っていると、後述するトーンカーブが適切に生成されない。輝度値に応じて周辺のビンにも輝度値を加算することで、ビンに幅がある場合でも、頻度を分散させることができ、適切なトーンカーブを生成できる。
ブロックヒストグラム生成部112は、画像を構成する複数のブロックのうち最も明るいブロックを抽出する。ここで、抽出されたブロックを高輝度ブロックともいう。そして、ブロックヒストグラム生成部112は、各ブロックの第一累積ヒストグラムと、高輝度ブロックの第一累積ヒストグラムを混合して、ブロック毎に第二累積ヒストグラムを生成する。第二累積ヒストグラムは、第二のヒストグラムの一例である。これにより、画像全体が、「最も明るい領域」を優先した階調を有するようになる。
画素ヒストグラム生成部114は、対象画素が含まれるブロックの第二累積ヒストグラムと、周辺のブロックの第二累積ヒストグラムを混合し、第三累積ヒストグラムを画素単位で生成する。この第三累積ヒストグラムは、第三のヒストグラムの一例である。第三累積ヒストグラムは、第一累積ヒストグラムと一致するN個のビンからなる。
第二累積ヒストグラムを混合して第三累積ヒストグラムを生成する際、第三累積ヒストグラムは、対象画素のブロック内における画素位置に依存して算出される。これより、対象画素と隣接画素との間で輝度値が不自然に不連続となることを防止できる。
出力輝度レベル決定部116は、画素毎に生成された第三累積ヒストグラムに基づいて、画素毎に入力輝度値と出力輝度値の関係(トーンカーブ)を生成する。そして、出力輝度レベル決定部116は、画素毎のトーンカーブに基づいて、画素毎に入力輝度値から出力輝度値を決定する。トーンカーブを生成する際、図13に示すように、第三累積ヒストグラムの最大累積頻度、即ち画像全体の画素数を、出力輝度値の最大値と一致させる。そして、第三累積ヒストグラムの各ビンの頻度値に応じて出力輝度値が割り当てられる。
その結果、図13に示すように、画素が存在しない入力輝度値の範囲では、トーンカーブはフラットになり、画素が存在する入力輝度値の範囲では、トーンカーブは例えば線形である。図13は、トーンカーブ及び累積ヒストグラムを示すグラフである。トーンカーブは、図13に示すように、各ビンの範囲内の最小画素値における累積頻度と最大画素値における累積頻度を結んだ線を、すべてのビンについて連結したものになる。出力輝度レベル決定部116が、全ての画素の出力輝度値を決定することによって、入力輝度値に対して階調変換された出力輝度値からなる画像が生成される。
<2.一実施形態の動作>
次に、図3を参照して、本実施形態に係る階調変換処理動作について説明する。図3は、本実施形態に係る映像処理部102の階調変換処理を示すフローチャートである。本実施形態では、特に、暗い撮影環境で照明光を被写体に向けて撮影した画像を処理する場合について説明する。ここで、画像は、例えば赤外線を撮影した赤外線画像であり、照明光は、被写体に向けて照射する赤外線である。なお、赤外線画像に限らず、可視光線画像でもよく、赤外線照射ではなく、可視光線照射でもよい。
次に、図3を参照して、本実施形態に係る階調変換処理動作について説明する。図3は、本実施形態に係る映像処理部102の階調変換処理を示すフローチャートである。本実施形態では、特に、暗い撮影環境で照明光を被写体に向けて撮影した画像を処理する場合について説明する。ここで、画像は、例えば赤外線を撮影した赤外線画像であり、照明光は、被写体に向けて照射する赤外線である。なお、赤外線画像に限らず、可視光線画像でもよく、赤外線照射ではなく、可視光線照射でもよい。
まず、図7に示すように、一つの画像を複数のブロックに分割する(ステップS101)。分割数は、予め決められた値である。
次に、各ブロックにおいて、図9に示すような、輝度値のダイナミックレンジをN個のビンに分割した第一累積ヒストグラムを生成する(ステップS102)。このとき、輝度値に応じて頻度値に重みづけをする。重みづけ処理を含む第一累積ヒストグラムの生成処理については後述する。
そして、複数のブロックのうち最も明るいブロックを抽出する(ステップS103)。被写体に赤外線を照射して撮影する場合、通常、図11のAR1に示すように、画像内で明るい領域の視認性の重要度が最も高い。ブロックの明るさは、ブロックを構成する複数の画素の輝度値の平均値等に基づいて決定される。ここで、抽出されたブロックを高輝度ブロックともいう。ここで、明るいブロックの抽出は、必ずしも最高輝度のブロックに限定されず、最高輝度のブロックの輝度に近い高輝度のブロックを抽出するとしてもよい。
次に、各ブロックの第一累積ヒストグラムと、高輝度ブロックの第一累積ヒストグラムを混合して、ブロック毎に第二累積ヒストグラムを生成する(ステップS104)。これにより、赤外線照射エリアAR1の情報を活用して、画像全体が、「最も明るい領域」を優先した階調を有するようになる。
図12に累積ヒストグラムの混合の一例を示す。図12は、ヒストグラムを示すグラフであり、図12(A)は、あるブロックの第一累積ヒストグラムを示し、図12(B)は、高輝度ブロックの第一累積ヒストグラムを示し、図12(C)は、混合して得られる第二累積ヒストグラムを示す。赤外線照射エリアAR1以外のあるブロックにおいて、図12(A)のように第一累積ヒストグラムが得られ、最も明るいブロックにおいて、図12(B)のように第一累積ヒストグラムが得られる場合を想定する。このとき、赤外線照射エリアAR1以外のあるブロックの第一累積ヒストグラムと、高輝度ブロックの第一累積ヒストグラムを混合することで、図12(C)に示すように、赤外線照射エリアAR1以外のあるブロックの第二累積ヒストグラムが生成される。同様に、全てのブロックにおいて、第二累積ヒストグラムを生成できる。
その後、対象画素が含まれるブロックの第二累積ヒストグラムと、周辺のブロックの第二累積ヒストグラムを混合し、第三累積ヒストグラムを画素毎に生成する。(ステップS105)。対象画素が含まれるブロックの第二累積ヒストグラムと、周辺のブロックの第二累積ヒストグラムを混合する際、第三累積ヒストグラムは、対象画素のブロック内における画素位置に依存して算出される。第三累積ヒストグラムの生成処理については後述する。
最後に、画素毎に生成された第三累積ヒストグラムに基づいて、画素毎に入力輝度値と出力輝度値の関係(トーンカーブ)を生成し、画素毎の入力輝度値から出力輝度値を決定する(ステップS106)。全ての画素の出力輝度値が決定されることによって、入力輝度値に対して階調変換された出力輝度値からなる画像が生成される。
以上、一連の階調変換の処理動作によれば、映像処理部102は、暗い撮影環境で照明光を向けて撮影した画像において、照明光を反射する被写体の白飛びを抑制する。従って、表示装置100は例えば図6(B)に示すように、白飛びに近い輝度値を有する画素からなる領域について、視認性に優れた画像を表示できる。また、本実施形態の階調変換処理は、画素毎に出力輝度値を決定するが、非特許文献1による方法などと異なり、ブロック毎にヒストグラムを生成したり、少ないビンでヒストグラムを生成したりする。その結果、本実施形態の階調変換処理は、回路負荷を低減でき、非常に省リソースで実現できる。
[重みづけ処理]
次に、図4を参照して、本実施形態に係る重みづけ処理について説明する。図4は、本実施形態に係るブロック毎の累積ヒストグラム生成処理を示すフローチャートである。
次に、図4を参照して、本実施形態に係る重みづけ処理について説明する。図4は、本実施形態に係るブロック毎の累積ヒストグラム生成処理を示すフローチャートである。
まず、ブロック毎に、各輝度値の画素数をカウントする(ステップS111)。各輝度値の画素数はN個のビンのうちいずれかに加算される。第一累積ヒストグラムを生成する際、各ビンの範囲内で、入力輝度値に応じて頻度(カウント数)に重みづけをする(ステップS112)。
図8は、重みづけ係数と輝度レベルの関係及びヒストグラムを示すグラフである。図8に示すヒストグラムは、1個のビンの幅が3個の輝度値からなる場合である。そして、図8では、各ビンの範囲内で中央に位置する輝度値は、重みづけ係数が1であり、各ビンの範囲内で左端又は右端に位置する輝度値は、重みづけ係数が0.67である。ある輝度値の頻度に対して重み係数を乗じて得られる値が、重みづけされた頻度である。
また、各ビンの境界付近に位置する輝度値は、隣接するビンにも輝度値の頻度を加算する(ステップS113)。例えば図8では、ビンの境界付近に位置する輝度値では、重みづけ係数が0.33として、頻度に対して重みづけ係数を乗じる。そして、重みづけされた頻度が隣接するビンに加算される。
以上の一連の動作によって、図9に示すような第一累積ヒストグラムがブロック毎に生成される(ステップS114)。なお、図8で示したヒストグラムの各ビンの幅は、一例であり、3個の輝度値以外であってもよい。また、重みづけ係数についても、各ビンの幅等に応じて値を決定できる。更に、重みづけされた頻度は、隣接するビンだけでなく、一つ以上のビンを間に挟んだ周辺のビンに加算されるようにしてもよい。
[第三累積ヒストグラムの生成処理]
次に、図5を参照して、本実施形態に係る第三累積ヒストグラムの生成処理について説明する。図5は、本実施形態に係る画素単位の累積ヒストグラム生成処理を示すフローチャートである。
次に、図5を参照して、本実施形態に係る第三累積ヒストグラムの生成処理について説明する。図5は、本実施形態に係る画素単位の累積ヒストグラム生成処理を示すフローチャートである。
まず、累積ヒストグラムを生成する画素(以下、対象画素ともいう。)を含むブロックの第二累積ヒストグラムを算出する(ステップS121)。第二累積ヒストグラムは、例えば図3を参照して説明したステップS101〜S104によって算出される。次に、対象画素を含むブロックと隣接するブロック等、周辺のブロックの第二累積ヒストグラムを算出する(ステップS122)。
そして、図10に示すように、対象画素と対象画素を含むブロックの中心までの距離、及び対象画素と周辺のブロックの中心までの距離を算出する(ステップS123)。図10は、画像内の画素及びブロックを模式的に示す説明図である。図10では、網掛けされた画素が対象画素であり、対象画素と対象画素を含むブロックの中心までの距離はL0、対象画素と周辺のブロックの中心までの距離はL1,L2,L3である。
次に、画素毎に、対象画素を含むブロックの第二累積ヒストグラムと、周辺のブロックの第一累積ヒストグラムを距離で正規化して混合する(ステップS124)。対象画素を含むブロックのヒストグラムをH0、周辺のブロックのヒストグラムをH1,H2,H3とすると、対象画素毎に生成されるヒストグラムHは下式で表わされる。下式では、図10の対象画素(i,j)=(4,4)の場合について示す。
H(4,4)=(H0/L0+H1/L1+H2/L2+H3/L3)/(1/L0+1/L1+1/L2+1/L3)
これにより、対象画素を含むブロックの第二累積ヒストグラムと、周辺のブロックの第二累積ヒストグラムが距離で正規化して混合され、各画素位置における累積ヒストグラムが生成される(ステップS125)。即ち、対象画素のブロック内における画素位置に依存した画素値の頻度が算出され、画素毎に累積ヒストグラムが算出される。
従来技術では、領域又は画素毎に階調補正をする場合、通常、非常に大きなハードウェア・ソフトウェアのリソースを必要としていた。一方、本実施形態によれば、暗い撮影環境で、赤外線を被写体に向けて撮影した赤外線画像において、赤外線を強く反射して画像内で明るい被写体像を白飛びさせない。その結果、表示装置100は例えば図6(B)に示すように、被写体像の視認性を向上させる。また、本実施形態の階調変換処理は、画素毎に出力輝度値を決定するが、ブロック毎にヒストグラムを生成したり、少ないビンでヒストグラムを生成したりすることによって、従来技術と異なり、回路負荷を低減でき、非常に省リソースで実現できる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
100 表示装置
102 映像処理部
104 パネル駆動部
106 ディスプレイパネル
112 ブロックヒストグラム生成部
114 画素ヒストグラム生成部
116 出力輝度レベル決定部
102 映像処理部
104 パネル駆動部
106 ディスプレイパネル
112 ブロックヒストグラム生成部
114 画素ヒストグラム生成部
116 出力輝度レベル決定部
Claims (7)
- 複数の画素からなるブロック毎に画素値の頻度を算出し、ダイナミックレンジを複数のN(N=整数)個に分割して、1個のビンの幅が複数の画素値であるN個のビンからなる第一のヒストグラムを生成し、画像全体の複数の前記ブロックのうち輝度値の高い画素からなる高輝度ブロックの前記第一のヒストグラムを抽出し、前記ブロック毎の前記第一のヒストグラムと前記高輝度ブロックの前記第一のヒストグラムを混合して、前記ブロック毎に第二ヒストグラムを生成するブロックヒストグラム生成部と、
対象画素が含まれるブロックの前記第二のヒストグラムと、前記対象画素が含まれるブロックに隣接するブロックの前記第二のヒストグラムに基づいて、前記対象画素のブロック内における画素位置に依存した画素値の頻度を算出し、N個のビンからなる第三のヒストグラムを画素単位で生成する画素ヒストグラム生成部と、
前記第三のヒストグラムの最大累積頻度と前記画素値の出力値の最大値が一致するように、前記第三のヒストグラムに基づいて前記画素値と前記画素値の出力値の関係を生成し、前記対象画素の画素値から前記出力値を算出する出力値決定部と
を備える、画像処理装置。 - 前記ブロックヒストグラム生成部は、前記画素値に応じて前記頻度に重みづけをする、請求項1に記載の画像処理装置。
- 前記ブロックヒストグラム生成部は、前記画素値に応じて前記画素値が含まれるビンに隣接するビンに前記頻度を加算する、請求項2に記載の画像処理装置。
- 前記画素ヒストグラム生成部は、前記対象画素と前記隣接するブロックの中心との間の距離で正規化して、前記対象画素が含まれるブロックの前記第二のヒストグラムと、前記対象画素が含まれるブロックに隣接するブロックの前記第二のヒストグラムを混合し、前記第三のヒストグラムを生成する、請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記画素値と前記画素値の出力値の関係は、1個のビンの幅の最小画素値の頻度と最大画素値の頻度を結んだ線を連結したものである、請求項1〜4のいずれか1項に記載の画像処理装置。
- 複数の画素からなるブロック毎に画素値の頻度を算出し、ダイナミックレンジを複数のN(N=整数)個に分割して、1個のビンの幅が複数の画素値であるN個のビンからなる第一のヒストグラムを生成するステップと、
画像全体の複数の前記ブロックのうち輝度値の高い画素からなる高輝度ブロックの前記第一のヒストグラムを抽出するステップと、
前記ブロック毎の前記第一のヒストグラムと前記高輝度ブロックの前記第一のヒストグラムを混合して、前記ブロック毎に第二ヒストグラムを生成するステップと、
対象画素が含まれるブロックの前記第二のヒストグラムと、前記対象画素が含まれるブロックに隣接するブロックの前記第二のヒストグラムに基づいて、前記対象画素のブロック内における画素位置に依存した画素値の頻度を算出し、N個のビンからなる第三のヒストグラムを画素単位で生成するステップと、
前記第三のヒストグラムの最大累積頻度と前記画素値の出力値の最大値が一致するように、前記第三のヒストグラムに基づいて前記画素値と前記画素値の出力値の関係を生成し、前記対象画素の画素値から前記出力値を算出するステップと
を備える、画像処理方法。 - 複数の画素からなるブロック毎に画素値の頻度を算出し、ダイナミックレンジを複数のN(N=整数)個に分割して、1個のビンの幅が複数の画素値であるN個のビンからなる第一のヒストグラムを生成する手段、
画像全体の複数の前記ブロックのうち輝度値の高い画素からなる高輝度ブロックの前記第一のヒストグラムを抽出する手段、
前記ブロック毎の前記第一のヒストグラムと前記高輝度ブロックの前記第一のヒストグラムを混合して、前記ブロック毎に第二ヒストグラムを生成する手段、
対象画素が含まれるブロックの前記第二のヒストグラムと、前記対象画素が含まれるブロックに隣接するブロックの前記第二のヒストグラムに基づいて、前記対象画素のブロック内における画素位置に依存した画素値の頻度を算出し、N個のビンからなる第三のヒストグラムを画素単位で生成する手段、
前記第三のヒストグラムの最大累積頻度と前記画素値の出力値の最大値が一致するように、前記第三のヒストグラムに基づいて前記画素値と前記画素値の出力値の関係を生成し、前記対象画素の画素値から前記出力値を算出する手段
としてコンピュータを機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010028040A JP2011166522A (ja) | 2010-02-10 | 2010-02-10 | 画像処理装置、画像処理方法及びプログラム |
US12/931,108 US8577142B2 (en) | 2010-02-10 | 2011-01-25 | Image processing device, image processing method and program with improved image contrast |
CN2011100342058A CN102147916A (zh) | 2010-02-10 | 2011-02-01 | 图像处理装置、图像处理方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010028040A JP2011166522A (ja) | 2010-02-10 | 2010-02-10 | 画像処理装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011166522A true JP2011166522A (ja) | 2011-08-25 |
Family
ID=44353773
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010028040A Withdrawn JP2011166522A (ja) | 2010-02-10 | 2010-02-10 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US8577142B2 (ja) |
JP (1) | JP2011166522A (ja) |
CN (1) | CN102147916A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0251424A (ja) * | 1988-08-12 | 1990-02-21 | Tokyo Univ | Ca−Sr−Bi−Cu−O系酸化物超伝導性光伝導物質及びその製造法 |
JP2016535368A (ja) * | 2013-09-10 | 2016-11-10 | アップル インコーポレイテッド | 局所階調曲線計算を使用した画像階調調整 |
JP2018092307A (ja) * | 2016-12-01 | 2018-06-14 | 株式会社サイバーコア | 画像処理装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011124800A (ja) * | 2009-12-10 | 2011-06-23 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2011166522A (ja) * | 2010-02-10 | 2011-08-25 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8977589B2 (en) * | 2012-12-19 | 2015-03-10 | International Business Machines Corporation | On the fly data binning |
JP5930991B2 (ja) * | 2013-03-05 | 2016-06-08 | 株式会社 日立産業制御ソリューションズ | 撮像装置、撮像システムおよび撮像方法 |
JP6232909B2 (ja) * | 2013-10-10 | 2017-11-22 | 富士ゼロックス株式会社 | 画像処理装置、画像形成装置、システム、及びプログラム |
CN105303586B (zh) * | 2014-07-16 | 2018-05-11 | 深圳Tcl新技术有限公司 | 获取直方图的方法、亮度动态调整的方法及图像处理装置 |
CN104317832B (zh) * | 2014-10-10 | 2018-02-02 | 上海大学 | 一种用于图像检索的图像间距离的归一化方法 |
JP6550723B2 (ja) * | 2014-10-31 | 2019-07-31 | オムロン株式会社 | 画像処理装置、文字認識装置、画像処理方法、およびプログラム |
WO2017138947A1 (en) * | 2016-02-11 | 2017-08-17 | Hewlett-Packard Development Company, L.P. | Compressing each object in an electronic document |
US10007974B2 (en) * | 2016-06-10 | 2018-06-26 | Sensors Unlimited, Inc. | Enhancing images |
US10504487B2 (en) * | 2016-10-14 | 2019-12-10 | Apple Inc. | Ambient and content adaptive pixel manipulation |
JP2021018123A (ja) * | 2019-07-19 | 2021-02-15 | ソニーセミコンダクタソリューションズ株式会社 | 信号処理装置、信号処理方法 |
TWI743746B (zh) | 2020-04-16 | 2021-10-21 | 瑞昱半導體股份有限公司 | 影像處理方法及影像處理電路 |
CN113556545B (zh) * | 2020-04-23 | 2023-12-08 | 瑞昱半导体股份有限公司 | 图像处理方法及图像处理电路 |
CN112907477B (zh) * | 2021-03-02 | 2024-05-14 | 中国电子科技集团公司第三研究所 | 保持红外图像目标及背景不压制的自适应映射算法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5042077A (en) * | 1987-10-02 | 1991-08-20 | General Electric Company | Method of highlighting subtle contrast in graphical images |
US7006668B2 (en) * | 1999-12-28 | 2006-02-28 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
TW200638330A (en) * | 2005-04-21 | 2006-11-01 | Sunplus Technology Co Ltd | Brightness control method and device for a display |
JP4607006B2 (ja) * | 2005-12-27 | 2011-01-05 | 京セラ株式会社 | 映像信号処理方法および映像信号処理装置 |
US7944485B2 (en) * | 2006-08-30 | 2011-05-17 | Micron Technology, Inc. | Method, apparatus and system for dynamic range estimation of imaged scenes |
JP4552986B2 (ja) * | 2007-08-31 | 2010-09-29 | ソニー株式会社 | 画像表示装置 |
JP4998287B2 (ja) * | 2008-01-25 | 2012-08-15 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2011124800A (ja) * | 2009-12-10 | 2011-06-23 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
JP2011166522A (ja) * | 2010-02-10 | 2011-08-25 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
-
2010
- 2010-02-10 JP JP2010028040A patent/JP2011166522A/ja not_active Withdrawn
-
2011
- 2011-01-25 US US12/931,108 patent/US8577142B2/en not_active Expired - Fee Related
- 2011-02-01 CN CN2011100342058A patent/CN102147916A/zh active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0251424A (ja) * | 1988-08-12 | 1990-02-21 | Tokyo Univ | Ca−Sr−Bi−Cu−O系酸化物超伝導性光伝導物質及びその製造法 |
JP2016535368A (ja) * | 2013-09-10 | 2016-11-10 | アップル インコーポレイテッド | 局所階調曲線計算を使用した画像階調調整 |
KR101792809B1 (ko) * | 2013-09-10 | 2017-11-02 | 애플 인크. | 로컬 톤 곡선 계산을 사용한 이미지 톤 조정 |
KR101931466B1 (ko) * | 2013-09-10 | 2018-12-20 | 애플 인크. | 로컬 톤 곡선 계산을 사용한 이미지 톤 조정 |
JP2018092307A (ja) * | 2016-12-01 | 2018-06-14 | 株式会社サイバーコア | 画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20110194766A1 (en) | 2011-08-11 |
CN102147916A (zh) | 2011-08-10 |
US8577142B2 (en) | 2013-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2011166522A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN109862282B (zh) | 人物图像处理方法和装置 | |
JP4616749B2 (ja) | 適応コントラスト向上 | |
US9466098B2 (en) | Local definition of global image transformations | |
CN108322646B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN105745914B (zh) | 用于逆色调映射的方法和系统 | |
US8237813B2 (en) | Multiple exposure high dynamic range image capture | |
CN104519281B (zh) | 一种图像的处理方法及处理装置 | |
US9569688B2 (en) | Apparatus and method of detecting motion mask | |
US7826680B2 (en) | Integrated histogram auto adaptive contrast control (ACC) | |
WO2013129225A1 (ja) | 画像処理装置及び方法 | |
JP2011124800A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN112312035B (zh) | 曝光参数调节方法、曝光参数调节装置和电子设备 | |
CN107968919A (zh) | 用于逆色调映射的方法和设备 | |
US20150249779A1 (en) | Smoothing of ghost maps in a ghost artifact detection method for hdr image creation | |
CN110022442A (zh) | 用于高动态范围成像的曝光水平控制、系统和方法 | |
An et al. | Perceptual brightness-based inverse tone mapping for high dynamic range imaging | |
US11310440B2 (en) | Image processing apparatus, surveillance camera system, and image processing method | |
US20150271383A1 (en) | Method for generating hdr images using modified weight functions | |
JP2006186983A (ja) | カラー画像の露出補正方法 | |
TWI475512B (zh) | 動態範圍影像的雜訊處理方法及其影像擷取裝置 | |
Yao et al. | Intensity mapping function based weighted frame averaging for high dynamic range imaging | |
JP2012208776A (ja) | 画像処理装置、画像処理方法およびプログラム | |
Huo et al. | Evaluation of HDR tone mapped image and single exposure image | |
Yang et al. | Improved local adaptive logarithmic tone reproduction strategy for high contrast scenes in all-day surveillance applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20130507 |