JP2002132243A - Image processor and method as well as recording medium - Google Patents
Image processor and method as well as recording mediumInfo
- Publication number
- JP2002132243A JP2002132243A JP2000328161A JP2000328161A JP2002132243A JP 2002132243 A JP2002132243 A JP 2002132243A JP 2000328161 A JP2000328161 A JP 2000328161A JP 2000328161 A JP2000328161 A JP 2000328161A JP 2002132243 A JP2002132243 A JP 2002132243A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- dynamic range
- image
- function
- luminance value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 52
- 230000006870 function Effects 0.000 claims abstract description 167
- 238000013507 mapping Methods 0.000 claims abstract description 96
- 238000012545 processing Methods 0.000 claims description 133
- 238000012937 correction Methods 0.000 claims description 42
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims 1
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000003786 synthesis reaction Methods 0.000 abstract description 4
- 230000000875 corresponding effect Effects 0.000 description 38
- 238000010586 diagram Methods 0.000 description 26
- 238000003384 imaging method Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 12
- 230000002194 synthesizing effect Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 2
- 239000012788 optical film Substances 0.000 description 2
- 101000795655 Canis lupus familiaris Thymic stromal cotransporter homolog Proteins 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 102100033029 Carbonic anhydrase-related protein 11 Human genes 0.000 description 1
- 101150115013 DSP1 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000867841 Homo sapiens Carbonic anhydrase-related protein 11 Proteins 0.000 description 1
- 101001075218 Homo sapiens Gastrokine-1 Proteins 0.000 description 1
- 101100533652 Homo sapiens SLIRP gene Proteins 0.000 description 1
- 102100025491 SRA stem-loop-interacting RNA-binding protein, mitochondrial Human genes 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
Landscapes
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに記録媒体に関し、例えば、画像信号の輝
度のダイナミックレンジを変更する場合に用いて好適な
画像処理装置および方法、並びに記録媒体に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus and method, and a recording medium, and more particularly, to an image processing apparatus and method suitable for changing the dynamic range of luminance of an image signal, and a recording medium. .
【0002】[0002]
【従来の技術】CCD(Charge Coupled Device)イメージセ
ンサやCMOS(Complementary Mental-Oxide Semiconducto
r)イメージセンサのような固体撮像素子が、ビデオカメ
ラやディジタルスチルカメラ等の撮像装置、FA(Facto
ry Automation)の分野における部品検査装置、およびM
E(Medical Electronics)の分野における電子内視鏡等
の光計測装置に幅広く利用されている。2. Description of the Related Art CCD (Charge Coupled Device) image sensor and CMOS (Complementary Mental-Oxide Semiconducto)
r) A solid-state image sensor such as an image sensor is used for an imaging device such as a video camera or a digital still
ry Automation)
It is widely used in optical measurement devices such as electronic endoscopes in the field of E (Medical Electronics).
【0003】近年、それらの固体撮像素子を用いて、光
学フィルム写真に匹敵するダイナミックレンジを有する
画像信号を得ることができる技術が数多く開発されてい
る。In recent years, many technologies have been developed which can obtain image signals having a dynamic range comparable to that of optical film photography using these solid-state imaging devices.
【0004】一方、撮像された動画像や静止画像を表示
するCRT(Cathode Ray tube)のような表示装置、印刷す
るプリンタ、投影するプロジェクタ等の従来機器は、現
在において、それらが表現し得る輝度階調に制限があ
る。すなわち、表現可能な画像のダイナミックレンジが
狭い。よって、光学フィルム写真に匹敵するダイナミッ
クレンジを有する画像の画像信号(以下、広ダイナミッ
クレンジ画像と記述する)を取得することができたとし
ても、それを表現(表示や印刷等)することができない
問題がある。On the other hand, conventional devices such as a display device such as a CRT (Cathode Ray tube) for displaying a captured moving image or a still image, a printer for printing, and a projector for projecting the image are presently capable of expressing brightness. There are restrictions on gradation. That is, the dynamic range of an image that can be expressed is narrow. Therefore, even if an image signal of an image having a dynamic range comparable to that of an optical film photograph (hereinafter, referred to as a wide dynamic range image) can be obtained, it cannot be expressed (displayed, printed, etc.). There's a problem.
【0005】したがって、広ダイナミックレンジ画像の
輝度階調を圧縮してダイナミックレンジを狭め、表示装
置等の従来機器が表現可能な画像(以下、狭ダイナミッ
クレンジ画像と記述する)に変換するダイナミックレン
ジ圧縮処理技術が必要とされている。Accordingly, dynamic range compression for compressing the luminance gradation of a wide dynamic range image to narrow the dynamic range and converting the image into an image that can be expressed by a conventional device such as a display device (hereinafter referred to as a narrow dynamic range image). Processing technology is needed.
【0006】以下、従来において提案された4つのダイ
ナミックレンジ圧縮技術について説明する。Hereinafter, four dynamic range compression techniques proposed in the prior art will be described.
【0007】第1の技術として、画像信号の輝度のゲイ
ンとオフセットを調節することによって輝度をスケーリ
ングする方法が挙げられる。この第1の技術は、極めて
簡易であって、簡単に適用することができる。しかしな
がら、輝度階調を圧縮しないので、表示装置等のダイナ
ミックレンジを越える輝度の値は全てクリッピングされ
てしまい、元の広ダイナミックレンジ画像が有する情報
を活かしきることができない。As a first technique, there is a method of scaling the luminance by adjusting the gain and offset of the luminance of the image signal. This first technique is extremely simple and can be easily applied. However, since the luminance gradation is not compressed, all luminance values exceeding the dynamic range of the display device or the like are clipped, and the information of the original wide dynamic range image cannot be fully utilized.
【0008】第2の技術として、本来、表示装置等のガ
ンマ特性を補正するために実行されるガンマ補正処理を
流用してダイナミックレンジを圧縮する技術が挙げられ
る。ガンマ補正処理に用いられるガンマ補正曲線はべき
乗の関数であるので、ガンマ値である指数を変更するこ
とによって、簡単に補正特性を調節することができる。
しかしながら、ダイナミックレンジ圧縮に流用すること
に起因して、本来のガンマ補正処理に影響を及ぼしてし
まい、色バランスが崩れたり、コントラストの劣化が発
生することがある。As a second technique, there is a technique of compressing a dynamic range by using a gamma correction process originally performed to correct a gamma characteristic of a display device or the like. Since the gamma correction curve used for the gamma correction process is a function of the power, the correction characteristics can be easily adjusted by changing the exponent which is the gamma value.
However, diversion to dynamic range compression may affect the original gamma correction processing, resulting in a loss of color balance and deterioration of contrast.
【0009】第3の技術として、画像の累積ヒストグラ
ム曲線を階調補正曲線に用いるヒストグラム等化手法が
挙げられる。ヒストグラム等化手法では、輝度分布(ヒ
ストグラム)に対応して、画像中のより広い面積を占め
る輝度に対し、より多くの階調を与えるように階調変換
が施される。したがって、画像全体としてはコントラス
トを強調する方向に作用し、狭いダイナミックレンジで
あっても細部が明確化された視認性が高い画像を得るこ
とができる。しかしながら、階調変換の結果得られる画
像は、元の広ダイナミックレンジ画像の輝度分布に大き
く左右されるので、所望の画像が得られない場合があ
る。As a third technique, there is a histogram equalization method using a cumulative histogram curve of an image as a gradation correction curve. In the histogram equalization method, gradation conversion is performed so as to give more gradations to luminance occupying a larger area in an image in accordance with a luminance distribution (histogram). Therefore, the entire image acts in the direction of enhancing the contrast, and even in a narrow dynamic range, it is possible to obtain an image in which the details are clarified and the visibility is high. However, an image obtained as a result of the gradation conversion is greatly influenced by the luminance distribution of the original wide dynamic range image, and thus a desired image may not be obtained.
【0010】第4の技術として、局所オペレータを用い
て細部を強調する技術が挙げられる。第4の技術では、
画像が局所オペレータによって空間周波数帯域毎に分離
され、分離された空間周波数帯域のそれぞれに対し、ゲ
インが調節された後、それらが再び統合される。ゲイン
を調整する際、低周波数帯域を減衰させことによって、
階調を圧縮することができ、高周波数帯域の減衰量を少
なくすることによって、細部のコントラストが損なわれ
ないようにすることができる。[0010] As a fourth technique, there is a technique of emphasizing details using a local operator. In the fourth technology,
The images are separated for each spatial frequency band by the local operator, and after adjusting the gain for each of the separated spatial frequency bands, they are integrated again. When adjusting the gain, by attenuating the low frequency band,
The gradation can be compressed, and the attenuation of the high frequency band can be reduced, so that the contrast of the details can be kept from being lost.
【0011】よって、階調が少ない表示装置等の従来機
器であっても、細部の視認性が高い画像を表現すること
ができる。しかしながら、各帯域のバランスが変更され
た結果、画像内のエッジ部分等の高コントラスト領域に
階調の反転が生じてしまい、その部分が場合によって非
常に目障りなアーチファクト(artifact)として認知され
てしまうことがある。Therefore, even in the case of a conventional device such as a display device having a small number of gradations, it is possible to express an image with high visibility of details. However, as a result of the change in the balance of each band, gradation inversion occurs in a high-contrast region such as an edge portion in an image, and that portion is sometimes recognized as a very obtrusive artifact. Sometimes.
【0012】[0012]
【発明が解決しようとする課題】以上説明したように、
従来のダイナミックレンジ圧縮技術では、得られる狭ダ
イナミックレンジ画像がユーザの意図を反映した結果と
はならないことがある。具体的には、広ダイナミックレ
ンジ画像を狭ダイナミックレンジ画像に変換する際、例
えば画像中の被写体が占める領域を最適な輝度で表現さ
せようとしても、その実行が困難である課題があった。As described above,
In the conventional dynamic range compression technique, the obtained narrow dynamic range image may not be a result reflecting the user's intention. Specifically, when converting a wide dynamic range image into a narrow dynamic range image, there is a problem that, for example, it is difficult to express a region occupied by a subject in the image with optimal brightness.
【0013】本発明はこのような状況に鑑みてなされた
ものであり、広ダイナミックレンジ画像を狭ダイナミッ
クレンジ画像に変換する際、画像中の任意の領域の輝度
を最適化できるようにすることを目的とする。SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances, and it is an object of the present invention to optimize the brightness of an arbitrary area in an image when converting a wide dynamic range image into a narrow dynamic range image. Aim.
【0014】[0014]
【課題を解決するための手段】本発明の画像処理装置
は、第2のダイナミックレンジにおける第2の輝度値を
設定する設定手段と、第2の輝度値に対応する第1のダ
イナミックレンジにおける第1の輝度値を演算する演算
手段と、第1の輝度値および第2の輝度値からなる輝度
対に基づいて、マッピング関数を生成するマッピング関
数生成手段と、マッピング関数生成手段が生成したマッ
ピング関数を用いて第1の画像信号を第2の画像信号に
変換する変換手段とを含むことを特徴とする。An image processing apparatus according to the present invention comprises a setting means for setting a second luminance value in a second dynamic range, and a setting means for setting a second luminance value in the first dynamic range corresponding to the second luminance value. 1 for calculating a luminance value, a mapping function generating means for generating a mapping function based on a luminance pair composed of a first luminance value and a second luminance value, and a mapping function generated by the mapping function generating means. And a conversion means for converting the first image signal into the second image signal by using
【0015】前記マッピング関数生成手段には、輝度対
に対応する点を通り、かつ、第1のダイナミックレンジ
における第1の輝度値よりも小さい輝度値に対応する第
2のダイナミックレンジにおける輝度値を示す第1の関
数を生成する第1の関数生成手段と、輝度対に対応する
点を通り、かつ、第1のダイナミックレンジにおける第
1の輝度値以上の輝度値に対応する第2のダイナミック
レンジにおける輝度値を示す第2の関数を生成する第2
の関数生成手段と、輝度対が示す点の近傍において、第
1および第2の関数を滑らかに接続する第3の関数を生
成する第3の関数生成手段とを含ませるようにすること
ができる。[0015] The mapping function generating means may include a luminance value in a second dynamic range corresponding to a luminance value smaller than the first luminance value in the first dynamic range passing through a point corresponding to the luminance pair. A first function generating means for generating a first function shown in the first dynamic range, and a second dynamic range passing through a point corresponding to the luminance pair and corresponding to a luminance value equal to or greater than the first luminance value in the first dynamic range. Generating a second function indicating the luminance value at
And a third function generating means for generating a third function that smoothly connects the first and second functions in the vicinity of the point indicated by the luminance pair. .
【0016】前記第3の関数生成手段には、第1の関数
が示す所定の1点、輝度対が示す1点、および第2の関
数が示す所定の1点の3点によって定義される2次曲線
関数を、第3の関数として生成させるようにすることが
できる。The third function generating means includes two points defined by three points: a predetermined point indicated by the first function, a point indicated by the luminance pair, and a predetermined point indicated by the second function. The hyperbolic function may be generated as a third function.
【0017】本発明の画像処理装置は、マッピング関数
に基づいて第2の画像信号を構成する3原色信号の色バ
ランスを補正するための補正情報を算出する算出手段
と、補正情報を用いて第2の画像信号を構成する3原色
信号を補正する補正手段とをさらに含むことができる。An image processing apparatus according to the present invention comprises a calculating means for calculating correction information for correcting the color balance of the three primary color signals constituting the second image signal based on a mapping function, Correction means for correcting the three primary color signals constituting the two image signals.
【0018】本発明の画像処理方法は、第2のダイナミ
ックレンジにおける第2の輝度値を設定する設定ステッ
プと、第2の輝度値に対応する第1のダイナミックレン
ジにおける第1の輝度値を演算する演算ステップと、第
1の輝度値および第2の輝度値からなる輝度対に基づい
て、マッピング関数を生成するマッピング関数生成ステ
ップと、マッピング関数生成ステップの処理で生成され
たマッピング関数を用いて第1の画像信号を第2の画像
信号に変換する変換ステップとを含むことを特徴とす
る。According to the image processing method of the present invention, a setting step of setting a second luminance value in a second dynamic range, and calculating a first luminance value in the first dynamic range corresponding to the second luminance value. Using a mapping function generated in the processing of the mapping function generation step of generating a mapping function based on a luminance pair composed of the first luminance value and the second luminance value. Converting a first image signal into a second image signal.
【0019】本発明の記録媒体のプログラムは、第2の
ダイナミックレンジにおける第2の輝度値を設定する設
定ステップと、第2の輝度値に対応する第1のダイナミ
ックレンジにおける第1の輝度値を演算する演算ステッ
プと、第1の輝度値および第2の輝度値からなる輝度対
に基づいて、マッピング関数を生成するマッピング関数
生成ステップと、マッピング関数生成ステップの処理で
生成されたマッピング関数を用いて第1の画像信号を第
2の画像信号に変換する変換ステップとを含むことを特
徴とする。[0019] The program of the recording medium according to the present invention comprises a setting step of setting a second luminance value in a second dynamic range, and a first luminance value in the first dynamic range corresponding to the second luminance value. An operation step of calculating, a mapping function generating step of generating a mapping function based on a luminance pair including the first luminance value and the second luminance value, and a mapping function generated in the processing of the mapping function generating step. And converting the first image signal into a second image signal.
【0020】本発明の画像処理装置および方法、並びに
記録媒体のプログラムにおいては、第2のダイナミック
レンジにおける第2の輝度値が設定され、第2の輝度値
に対応する第1のダイナミックレンジにおける第1の輝
度値が演算される。さらに、第1の輝度値および第2の
輝度値からなる輝度対に基づいて、マッピング関数が生
成され、生成されたマッピング関数が用いられて第1の
画像信号が第2の画像信号に変換される。According to the image processing apparatus and method of the present invention, and a program for a recording medium, a second luminance value in a second dynamic range is set, and a second luminance value in a first dynamic range corresponding to the second luminance value is set. A luminance value of 1 is calculated. Further, a mapping function is generated based on the luminance pair consisting of the first luminance value and the second luminance value, and the first image signal is converted into a second image signal using the generated mapping function. You.
【0021】[0021]
【発明の実施の形態】図1は、本発明を適用した画像処
理システムの構成例を示している。この画像処理システ
ムは、被写体を広ダイナミックレンジ画像信号として撮
像するディジタルカメラ等よりなる撮像装置1、およ
び、撮像装置1から供給される広ダイナミックレンジ画
像信号を狭ダイナミックレンジ画像信号に変換するパー
ソナルコンピュータ等よりなる画像処理装置2から構成
される。FIG. 1 shows a configuration example of an image processing system to which the present invention is applied. The image processing system includes an imaging device 1 including a digital camera or the like that captures a subject as a wide dynamic range image signal, and a personal computer that converts a wide dynamic range image signal supplied from the imaging device 1 into a narrow dynamic range image signal. And the like.
【0022】画像処置装置2は、画像信号を処理する画
像処理部11、ユーザからの操作コマンド等を受け付
け、その操作コマンドの情報を画像処理部11に通知す
る操作入力部12、および、操作入力部12に対応する
GUI(Graphical User Interface)や画像処理部11の処
理結果を表示する表示部13から構成される。画像処理
装置2の画像処理部11は、処理結果である狭ダイナミ
ックレンジ画像信号を、適宜、画像処理装置2の外部に
出力する。The image processing apparatus 2 includes an image processing unit 11 for processing an image signal, an operation input unit 12 for receiving an operation command or the like from a user, and notifying the image processing unit 11 of information on the operation command. Corresponds to part 12
It comprises a GUI (Graphical User Interface) and a display unit 13 for displaying the processing results of the image processing unit 11. The image processing unit 11 of the image processing device 2 outputs a narrow dynamic range image signal, which is a processing result, to the outside of the image processing device 2 as appropriate.
【0023】図2は、撮像装置1の構成例を示してい
る。撮像装置1は、被写体の光画像を集光するレンズ2
1、透過する光量を調整する絞り22、レンズ21およ
び絞り22を介して入力される光画像を電気信号に変換
するCCDイメージセンサ23、相関2重サンプリング回
路、ガンマ補正回路およびニー特性回路等を含む前置増
幅器24、前置増幅器24から入力される電気信号を広
ダイナミックレンジ画像信号にエンコードするビデオエ
ンコーダ25、並びに広ダイナミックレンジ画像信号を
画像処理装置2に出力する出力部26から構成される。FIG. 2 shows an example of the configuration of the image pickup apparatus 1. An imaging device 1 includes a lens 2 for condensing a light image of a subject.
1. A stop 22, which adjusts the amount of transmitted light, a lens 21, a CCD image sensor 23 which converts an optical image input through the stop 22 into an electric signal, a correlated double sampling circuit, a gamma correction circuit, a knee characteristic circuit, and the like. And a video encoder 25 that encodes an electric signal input from the preamplifier 24 into a wide dynamic range image signal, and an output unit 26 that outputs the wide dynamic range image signal to the image processing device 2. .
【0024】撮像装置1の構成要素であるCCDイメージ
センサ23および前置増幅器24について説明する。図
3は、CCDイメージセンサ23の構成例を示している。C
CDイメージセンサ23は、インタレーススキャンを行う
インタライン型CCDと同様の構成をなしている。すなわ
ち、入射した光量に応じた電荷を蓄積すフォトダイオー
ド(PD)31が2次元に配列されており、フォトダイ
オード31の各縦列間に垂直レジスタ(Vレジスタ)3
2が設けられ、垂直レジスタ32の終端(図3において
下端)には、水平レジスタ(Hレジスタ)33が設けら
れている。The CCD image sensor 23 and the preamplifier 24, which are components of the imaging apparatus 1, will be described. FIG. 3 shows a configuration example of the CCD image sensor 23. C
The CD image sensor 23 has the same configuration as an interline CCD that performs interlace scanning. That is, photodiodes (PDs) 31 that accumulate charges according to the amount of incident light are two-dimensionally arranged, and a vertical register (V register) 3 is arranged between each column of the photodiodes 31.
2, a horizontal register (H register) 33 is provided at the end of the vertical register 32 (the lower end in FIG. 3).
【0025】なお、偶数フィールド構成する第2i(i
=0,1,2,・・・)ラインには、高感度のフォトダ
イオード31Hが用いられ、奇数フィールド構成する第
2i+1ラインには、低感度のフォトダイオード31L
が用いられている。It should be noted that the second i (i
= 0, 1, 2,...) Line, a high-sensitivity photodiode 31H is used.
Is used.
【0026】フォトダイオード31H,31Lの感度特
性について、図4を参照して説明する。図4において、
横軸Eiはフォトダイオード31H,31Lに入力され
る光の強度を示しており、縦軸Eoはフォトダイオード
31H,31Lに蓄積される電荷量を示している。The sensitivity characteristics of the photodiodes 31H and 31L will be described with reference to FIG. In FIG.
The horizontal axis Ei indicates the intensity of light input to the photodiodes 31H and 31L, and the vertical axis Eo indicates the amount of charge stored in the photodiodes 31H and 31L.
【0027】低感度のフォトダイオード31Lは、図4
の直線Aに示す感度特性を有する。すなわち、入力され
る光の強度の全域に亘り、入射光の強度に比例した電荷
を蓄積する。高感度のフォトダイオード31Hは、図4
の直線Bに示す感度特性を有する。すなわち、強度が弱
い光に対応し、その入射光の強度に比例して、低感度の
フォトダイオード31Lよりも多くの電荷を蓄積する。The low-sensitivity photodiode 31L is shown in FIG.
Has a sensitivity characteristic indicated by a straight line A. That is, electric charges proportional to the intensity of the incident light are accumulated over the entire range of the intensity of the input light. The high sensitivity photodiode 31H is shown in FIG.
Has a sensitivity characteristic indicated by a straight line B. That is, it corresponds to light having a low intensity, and accumulates more charges in proportion to the intensity of the incident light than the photodiode 31L of low sensitivity.
【0028】図3に戻る。フォトダイオード31H,3
1Lに蓄積された電荷は、所定のタイミング毎に対応す
る垂直レジスタ32に読み出された後、水平レジスタ3
3に転送される。水平レジスタ33は、1水平ライン分
の垂直レジスタ32から転送された電荷を順次出力す
る。Referring back to FIG. Photodiodes 31H, 3
The electric charge accumulated in 1L is read out to the corresponding vertical register 32 at every predetermined timing,
3 is transferred. The horizontal register 33 sequentially outputs the charges transferred from the vertical register 32 for one horizontal line.
【0029】フォトダイオード31H,31Lに蓄積さ
れた電荷を読み出すタイミングについて説明する。CCD
イメージセンサ23は、インタレーススキャンを行う
が、電荷読み出しの際、1画素に対応する電荷として、
上下に隣接するフォトダイオード31H,31Lの電荷
を読み出して加算するようになされている。The timing at which the charges stored in the photodiodes 31H and 31L are read will be described. CCD
The image sensor 23 performs an interlaced scan, but at the time of reading the charge, the charge corresponds to one pixel.
The charges of the photodiodes 31H and 31L vertically adjacent to each other are read and added.
【0030】例えば、偶数フィールドの第2iラインの
電荷としては、第2iラインのフォトダイオード31H
に蓄積された電荷と、第2i+1ラインのフォトダイオ
ード31Lに蓄積された電荷が読み出されて加算され
る。奇数フィールドの第2i+1ラインの電荷として
は、第2i+1ラインのフォトダイオード31Lに蓄積
された電荷と、第2(i+1)ラインのフォトダイオー
ド31Hに蓄積された電荷が読み出されて加算される。For example, as the electric charge of the 2i-th line of the even field, the photodiode 31H of the 2i-th line is used.
And the charge stored in the photodiode 31L of the (2i + 1) th line is read out and added. As the charge of the 2i + 1 line of the odd field, the charge stored in the photodiode 31L of the 2i + 1 line and the charge stored in the photodiode 31H of the second (i + 1) line are read out and added.
【0031】したがって、CCDイメージセンサ23は、
各画素に対応する電気信号として、低感度のフォトダイ
オード31Lに蓄積された電荷と高感度のフォトダイオ
ード31Hに蓄積された電荷の和を出力するようになさ
れている。よって、CCDイメージセンサ23は、図4の
直線A(フォトダイオード31Lに対応する)と直線B
(フォトダイオード31Hに対応する)を加算した線C
に示す感度特性を有することになる。すなわち、CCDイ
メージセンサ23は、光の強度が弱い領域において高感
度のフォトダイオード31Hが電荷を蓄積し、光の強度
が強い領域においては低感度のフォトダイオード31L
が電荷を蓄積するので、ノイズと飽和の少ない広ダイナ
ミックレンジの電気信号を得ることができる。Therefore, the CCD image sensor 23
As an electrical signal corresponding to each pixel, the sum of the charge stored in the low-sensitivity photodiode 31L and the charge stored in the high-sensitivity photodiode 31H is output. Accordingly, the CCD image sensor 23 has a straight line A (corresponding to the photodiode 31L) and a straight line B in FIG.
Line C to which (corresponding to photodiode 31H) is added
Has the sensitivity characteristics shown in FIG. That is, in the CCD image sensor 23, the high-sensitivity photodiode 31H accumulates electric charge in the region where the light intensity is low, and the low-sensitivity photodiode 31L in the region where the light intensity is high.
Accumulates electric charges, it is possible to obtain an electric signal having a wide dynamic range with less noise and saturation.
【0032】前置増幅器24は、図5に示す関数(図4
の曲線Cの逆関数)を、CCDイメージセンサ23から出
力された広ダイナミックレンジの電気信号Eoに適用し
て元の光信号の強度の推定値Ei’を得る。The preamplifier 24 has a function shown in FIG.
Is applied to the wide dynamic range electric signal Eo output from the CCD image sensor 23 to obtain an estimated value Ei ′ of the intensity of the original optical signal.
【0033】次に、図6は、画像処理用のアプリケーシ
ョンプログラムを実行することより、画像処理装置2と
して動作するパーソナルコンピュータの構成例を示して
いる。このパーソナルコンピュータは、CPU(Central Pr
ocessing Unit)41を内蔵している。CPU41にはバス
44を介して、入出力インタフェース45が接続されて
いる。Next, FIG. 6 shows an example of the configuration of a personal computer which operates as the image processing apparatus 2 by executing an application program for image processing. This personal computer has a CPU (Central Pr
ocessing Unit) 41. An input / output interface 45 is connected to the CPU 41 via a bus 44.
【0034】入出力インタフェース45には、操作入力
部12に相当するキーボード、マウスなどの入力デバイ
スよりなる入力部46、GUIや処理結果としての画像信
号を表示部13に出力する表示制御部47、撮像装置1
から入力される広ダイナミックレンジ画像信号をデコー
ドするビデオデコーダ48、各画素の輝度に相当する電
圧を量子化してディジタル画像信号に変換するA/Dコ
ンバータ49、ハードディスクやフレームメモリなどよ
りなり、画像処理用のプログラムやディジタル画像信号
等を格納する記憶部50、並びに、磁気ディスク52
(フロッピディスクを含む)、光ディスク53(CD-ROM
(Compact Disc-Read Only Memory)、DVD(Digital Versa
tile Disc)を含む)、光磁気ディスク54(MD(Mini
Disc)を含む)、および半導体メモリ55などの記録媒
体に対してデータを読み書きするドライブ51が接続さ
れている。The input / output interface 45 includes an input unit 46 including an input device such as a keyboard and a mouse corresponding to the operation input unit 12, a display control unit 47 for outputting a GUI and an image signal as a processing result to the display unit 13, Imaging device 1
A video decoder 48 that decodes a wide dynamic range image signal input from the microcomputer, an A / D converter 49 that quantizes a voltage corresponding to the luminance of each pixel and converts it into a digital image signal, a hard disk, a frame memory, and the like. Storage unit 50 for storing programs for use, digital image signals and the like, and magnetic disk 52
(Including floppy disk), optical disk 53 (CD-ROM
(Compact Disc-Read Only Memory), DVD (Digital Versa
tile Disc), magneto-optical disc 54 (MD (Mini
Disc) and a drive 51 that reads and writes data from and to a recording medium such as a semiconductor memory 55.
【0035】バス44には、入出力インタフェース45
の他、ROM(Read Only Memory)42およびRAM(Random Ac
cess Memory)43が接続されている。The bus 44 has an input / output interface 45
ROM (Read Only Memory) 42 and RAM (Random Ac
cess Memory) 43 is connected.
【0036】このパーソナルコンピュータに画像処理装
置2としての動作を実行させる画像処理用プログラム
は、磁気ディスク52乃至半導体メモリ55に格納され
た状態でパーソナルコンピュータに供給され、ドライブ
51によって読み出されて、記憶部50に内蔵されるハ
ードディスクドライブにインストールされている。記憶
部50にインストールされている画像処理用プログラム
は、入力部46に入力されるユーザからのコマンドに対
応するCPU41の指令によって、記憶部50からRAM43
にロードされて実行される。An image processing program for causing the personal computer to execute the operation as the image processing apparatus 2 is supplied to the personal computer in a state where it is stored in the magnetic disk 52 to the semiconductor memory 55, read by the drive 51, and It is installed in a hard disk drive built in the storage unit 50. The image processing program installed in the storage unit 50 is transmitted from the storage unit 50 to the RAM 43 by a command from the CPU 41 corresponding to a command from the user input to the input unit 46.
Is loaded and executed.
【0037】次に、当該画像処理システムの動作につい
て、図7のフローチャートを参照して説明する。ステッ
プS1において、撮像装置1は、被写体の光画像を撮像
し、得られた広ダイナミックレンジ画像信号を画像処理
装置2に出力する。Next, the operation of the image processing system will be described with reference to the flowchart of FIG. In step S <b> 1, the imaging device 1 captures an optical image of a subject and outputs an obtained wide dynamic range image signal to the image processing device 2.
【0038】ステップS2において、画像処理装置2の
画像処理部11は、ユーザの選択操作に対応して最適露
出情報を設定する。最適露出情報を設定する第1の動作
例について、図8のフローチャートを参照して説明す
る。In step S2, the image processing section 11 of the image processing apparatus 2 sets the optimum exposure information in response to the user's selection operation. A first operation example for setting the optimum exposure information will be described with reference to the flowchart in FIG.
【0039】ステップS11において、画像処理装置2
の画像処理部11は、撮像装置1から入力された広ダイ
ナミックレンジ画像信号から、所定の数の狭ダイナミッ
クレンジ画像信号を簡易生成する。狭ダイナミックレン
ジ画像信号を簡易生成する処理について、図9のフロー
チャートを参照して説明する。以下、処理される画像信
号は輝度信号であるとする。In step S11, the image processing device 2
The image processing unit 11 simply generates a predetermined number of narrow dynamic range image signals from the wide dynamic range image signals input from the imaging device 1. The process of simply generating a narrow dynamic range image signal will be described with reference to the flowchart in FIG. Hereinafter, it is assumed that the image signal to be processed is a luminance signal.
【0040】ステップS21において、画像処理部11
は、撮像装置1から入力されて記憶されている広ダイナ
ミックレンジ画像の各画素の画像信号Y(x,y)と、予め
用意されている複数の露出比率rのうちの1つを、記憶
部50から読み出す。ここで、x,yは、それぞれ、画
像の縦または横の座標値である。In step S21, the image processing unit 11
Stores the image signal Y (x, y) of each pixel of the wide dynamic range image input and stored from the imaging device 1 and one of a plurality of exposure ratios r prepared in advance in the storage unit. Read from 50. Here, x and y are the vertical and horizontal coordinate values of the image, respectively.
【0041】ステップS22において、画像処理部11
は、全ての画素の画像信号Y(x,y)に露出比率rを乗算
して変換画像信号Yn(x,y)を生成する。ステップS2
3において、画像処理部11は、変換画像信号Yn(x,
y)を、所定の閾値Ynmax,Ynminと比較して、
閾値Ynmaxよりも大きい変換画像信号Yn(x,y)
を、閾値Ynmaxを用いて置換し、閾値Ynminよ
りも小さい変換画像信号Yn(x,y)を、閾値Ynmin
を用いて置換する。このようにして生成された変換画像
信号Yn(x,y)が、簡易生成した狭ダイナミックレンジ
画像信号とされる。In step S22, the image processing unit 11
Generates the converted image signal Yn (x, y) by multiplying the image signal Y (x, y) of all pixels by the exposure ratio r. Step S2
3, the image processing unit 11 converts the converted image signal Yn (x,
y) is compared with predetermined threshold values Ynmax, Ynmin,
Conversion image signal Yn (x, y) larger than threshold value Ynmax
Is replaced with a threshold Ynmax, and the converted image signal Yn (x, y) smaller than the threshold Ynmin is replaced with the threshold Ynmin.
Replace with The converted image signal Yn (x, y) generated in this manner is a simply generated narrow dynamic range image signal.
【0042】以上説明したステップS21乃至S23の
処理は、予め用意されている露出比率rの種類の数と同
じ数だけ繰り返し実行される。The processes of steps S21 to S23 described above are repeatedly executed by the same number as the number of types of the exposure ratio r prepared in advance.
【0043】処理は、図8のステップS12に戻る。ス
テップS12において、画像処理部11は、ステップS
11の処理で簡易生成された狭ダイナミックレンジ画像
信号を表示部13に表示させ、また、表示させた複数の
狭ダイナミックレンジ画像のうちの1つをユーザに選択
させるためのGUIを表示部13に表示させる。The process returns to step S12 in FIG. In step S12, the image processing unit 11
The display unit 13 displays the narrow dynamic range image signal easily generated in the processing of Step 11 on the display unit 13 and displays a GUI for allowing the user to select one of the plurality of displayed narrow dynamic range images on the display unit 13. Display.
【0044】図10は、簡易生成された狭ダイナミック
レンジ画像を表示する表示部13の表示例を示してい
る。この表示例では、表示部13の画像表示領域61
に、9(=3×3)枚の簡易生成された狭ダイナミック
レンジ画像62が表示可能とされており、4枚の簡易生
成された狭ダイナミックレンジ画像62が表示されてい
る。表示された狭ダイナミックレンジ画像62の周囲に
は、枠63が設けられている。FIG. 10 shows a display example of the display unit 13 for displaying a simply generated narrow dynamic range image. In this display example, the image display area 61 of the display unit 13
In addition, nine (= 3 × 3) simply generated narrow dynamic range images 62 can be displayed, and four simply generated narrow dynamic range images 62 are displayed. A frame 63 is provided around the displayed narrow dynamic range image 62.
【0045】図11は、表示部13に表示された複数の
簡易生成された狭ダイナミックレンジ画像62を、ユー
ザが選択する際に操作するGUIの表示例を示している。G
UIとしての画像選択ボタンパネル71には、現在指定さ
れている画像の左側の画像を指定するときクリックされ
る左移動ボタン72、現在指定されている画像の右側の
画像を指定するときクリックされる右移動ボタン73、
および、指定されている画像を選択するときクリックさ
れるセレクトボタン74が設けられている。FIG. 11 shows a display example of a GUI operated when the user selects a plurality of simply generated narrow dynamic range images 62 displayed on the display unit 13. G
An image selection button panel 71 as a UI has a left shift button 72 that is clicked when specifying an image on the left of the currently specified image, and a click that is specified when specifying an image on the right of the currently specified image. Right button 73,
Further, a select button 74 which is clicked when selecting a designated image is provided.
【0046】表示部13の画像表示領域61に表示され
た枠63は、対応する画像がユーザによって指定されて
いる場合、それをユーザが認識できるように、例えば、
ハイライト表示される。図10の表示例の場合、3×3
の画像のうちの左上の画像が指定されており、その枠6
3がハイライト表示されている。The frame 63 displayed in the image display area 61 of the display unit 13 is provided, for example, so that the user can recognize the corresponding image when the corresponding image is specified by the user.
It is highlighted. In the case of the display example of FIG. 10, 3 × 3
Of the upper left image is designated, and its frame 6
3 is highlighted.
【0047】ユーザは、表示部13の画像表示領域61
に表示された複数の画像のうち、画像中の被写体の階調
が最も適切に表示されている画像を、画像選択ボタンパ
ネル71を用いて選択するようにする。The user operates the image display area 61 of the display unit 13.
Is selected using the image selection button panel 71, from among the plurality of images displayed in the image, the image in which the gradation of the subject in the image is most appropriately displayed.
【0048】図8に戻り、ステップS13において、画
像処理部11は、表示部13の画像表示領域61に表示
されている簡易生成された狭ダイナミックレンジ画像の
うちの1つをユーザが選択するまで待機し、簡易生成さ
れた狭ダイナミックレンジ画像のうちの1つをユーザが
選択したと判定した場合、処理はステップS14に進
む。ステップS14において、画像処理部11は、ユー
ザが選択した画像に対応する露出比率rを最適露出情報
として設定する。処理は、図7のステップS3にリター
ンする。Returning to FIG. 8, in step S13, the image processing section 11 waits until the user selects one of the simply generated narrow dynamic range images displayed in the image display area 61 of the display section 13. If it is determined that one of the simply generated narrow dynamic range images has been selected by the user, the process proceeds to step S14. In step S14, the image processing unit 11 sets the exposure ratio r corresponding to the image selected by the user as the optimal exposure information. The process returns to step S3 in FIG.
【0049】ステップS3において、画像処理部11
は、ステップS2で設定した最適露出情報に従い、撮像
装置1から入力された広ダイナミックレンジ画像信号を
狭ダイナミックレンジ画像信号に変換して表示部13に
出力する。In step S3, the image processing unit 11
Converts the wide dynamic range image signal input from the imaging device 1 into a narrow dynamic range image signal according to the optimal exposure information set in step S2 and outputs the converted signal to the display unit 13.
【0050】最適露出情報に従って広ダイナミックレン
ジ画像信号を狭ダイナミックレンジ画像信号に変換する
処理の詳細について説明する。The process of converting a wide dynamic range image signal into a narrow dynamic range image signal according to the optimum exposure information will be described in detail.
【0051】図12は、当該処理に関わる画像処理部1
1の第1の構成例を示している。輝度対検出部81は、
広ダイナミックレンジ画像信号および最適露出情報に基
づき、注目輝度・最適注目輝度対(M,Mm)を検出し
てマッピング関数生成部82に出力する。マッピング関
数生成部82は、広ダイナミックレンジ画像信号および
輝度対検出部81からの注目輝度・最適注目輝度対
(M,Mm)に基づき、マッピング関数を生成してマッ
ピング部83に出力する。マッピング部83は、広ダイ
ナミックレンジ画像信号を、マッピング関数生成部82
からのマッピング関数に適用して狭ダイナミックレンジ
画像信号を生成する。FIG. 12 shows an image processing unit 1 related to the processing.
1 shows a first configuration example. The luminance pair detection unit 81
Based on the wide dynamic range image signal and the optimum exposure information, a target luminance / optimal target luminance pair (M, Mm) is detected and output to the mapping function generator 82. The mapping function generation unit 82 generates a mapping function based on the wide dynamic range image signal and the target luminance / optimal target luminance pair (M, Mm) from the luminance pair detection unit 81, and outputs the generated mapping function to the mapping unit 83. The mapping unit 83 converts the wide dynamic range image signal into a mapping function generation unit 82
To generate a narrow dynamic range image signal.
【0052】輝度対検出部81の注目輝度・最適注目輝
度対(M,Mm)を検出する処理について、図13のフ
ローチャートおよび図14を参照して説明する。図14
は、広ダイナミックレンジ画像の輝度のダイナミックレ
ンジと、簡易生成された狭ダイナミックレンジ画像の輝
度のダイナミックレンジの関係を説明するための図であ
り、同図の横軸は、入力される広ダイナミックレンジ画
像の輝度Yの対数値logYを示し、縦軸は簡易生成され
た狭ダイナミックレンジ画像の輝度Ynの対数値logY
nを示している。The process of detecting the target luminance / optimal target luminance pair (M, Mm) by the luminance pair detecting section 81 will be described with reference to the flowchart of FIG. 13 and FIG. FIG.
Is a diagram for explaining the relationship between the dynamic range of the luminance of the wide dynamic range image and the dynamic range of the luminance of the simply generated narrow dynamic range image, and the horizontal axis of FIG. The logarithmic value logY of the brightness Y of the image is shown, and the vertical axis is the logarithmic value logY of the brightness Yn of the simply generated narrow dynamic range image.
n.
【0053】ステップS31において、輝度対検出部8
1は、予め設定されている広ダイナミックレンジ画像の
飽和輝度Ys、狭ダイナミックレンジ画像の飽和輝度Y
ns、および狭ダイナミックレンジ画像の中間輝度Yn
mを記憶部50から取得する。ここで、狭ダイナミック
レンジ画像の中間輝度Ynmは、例えば、例えば次式
(1)に示すように、所定の狭ダイナミックレンジ画像
の飽和輝度Ynsとノイズレベル輝度Ynnを用いて予
め演算されているものとする。 中間輝度Ynm=(Yns+Ynn)/2 ・・・(1)In step S31, the luminance pair detecting unit 8
Reference numeral 1 denotes a preset saturation luminance Ys of a wide dynamic range image and a preset saturation luminance Y of a narrow dynamic range image.
ns, and the intermediate luminance Yn of the narrow dynamic range image
m is obtained from the storage unit 50. Here, the intermediate luminance Ynm of the narrow dynamic range image is calculated in advance using the saturation luminance Yns and the noise level luminance Ynn of a predetermined narrow dynamic range image, for example, as shown in the following equation (1). And Intermediate luminance Ynm = (Yns + Ynn) / 2 (1)
【0054】ステップS32において、輝度対検出部8
1は、図8のステップS14で設定された最適露出情報
(露出比率r)を取得する。ステップS33において、
輝度対検出部81は、狭ダイナミックレンジ画像の中間
輝度Ynmに対応する広ダイナミックレンジ画像の輝度
を次式(2)を用いて演算する。この輝度を注目輝度M
に設定する。 注目輝度M=r・Ys(Ynm/Yns) ・・・(2)In step S32, the luminance pair detecting unit 8
1 acquires the optimal exposure information (exposure ratio r) set in step S14 of FIG. In step S33,
The luminance pair detection unit 81 calculates the luminance of the wide dynamic range image corresponding to the intermediate luminance Ynm of the narrow dynamic range image using the following equation (2). This luminance is referred to as the luminance
Set to. Attention brightness M = r · Ys (Ynm / Yns) (2)
【0055】ステップS34において、輝度対検出部8
1は、狭ダイナミックレンジ画像の中間輝度Ynmを最
適注目輝度Mmに設定する。ステップS35において、
輝度対検出部81は、注目輝度・最適注目輝度対(M,
Mm)をマッピング関数生成部82に出力する。In step S34, the luminance pair detecting section 8
1 sets the intermediate luminance Ynm of the narrow dynamic range image to the optimum target luminance Mm. In step S35,
The luminance pair detection unit 81 outputs the target luminance / optimal target luminance pair (M,
Mm) is output to the mapping function generator 82.
【0056】次に、図15は、マッピング関数生成部8
2の詳細な構成例を示している。マッピング関数生成部
82は、広ダイナミックレンジ画像の最大輝度Hと最小
輝度Lを取得する最大・最小輝度取得部91、最大・最
小輝度取得部91からの広ダイナミックレンジ画像の最
大輝度Hと最小輝度L、および輝度対検出部81からの
注目輝度・最適注目輝度対(M,Mm)に基づき、高域
対数関数を生成する高域関数決定部92、最大・最小輝
度取得部91からの広ダイナミックレンジ画像の最大輝
度Hと最小輝度L、および輝度対検出部81からの注目
輝度・最適注目輝度対(M,Mm)に基づき、低域対数
関数を生成する低域関数決定部93、および、高域関数
決定部92が生成する高域対数関数と、低域関数決定部
93が生成する低域対数関数を合成してマッピング関数
を生成する関数合成部94から構成される。FIG. 15 shows the mapping function generator 8.
2 shows a detailed configuration example. The mapping function generation unit 82 obtains the maximum luminance H and the minimum luminance L of the wide dynamic range image, the maximum / minimum luminance acquisition unit 91, and the maximum luminance H and the minimum luminance of the wide dynamic range image from the maximum / minimum luminance acquisition unit 91. L, a high-frequency function determination unit 92 that generates a high-frequency logarithmic function based on the luminance of interest / optimal luminance pair (M, Mm) from the luminance pair detection unit 81, and a wide dynamic range from the maximum / minimum luminance acquisition unit 91. A low-frequency function determination unit 93 that generates a low-frequency logarithmic function based on the maximum luminance H and the minimum luminance L of the range image and the luminance / optimal luminance pair (M, Mm) from the luminance pair detection unit 81; It comprises a function synthesis unit 94 that synthesizes a high-frequency logarithmic function generated by the high-frequency function determination unit 92 and a low-frequency logarithmic function generated by the low-frequency function determination unit 93 to generate a mapping function.
【0057】マッピング関数生成部82がマッピング関
数を生成する処理について、図16のフローチャートを
参照して説明する。The process in which the mapping function generator 82 generates a mapping function will be described with reference to the flowchart in FIG.
【0058】ステップS41において、最大・最小輝度
取得部91は、図17に示すような広ダイナミックレン
ジ画像の輝度信号Yのヒストグラムを生成する。ステッ
プS42において、最大・最小輝度取得部91は、輝度
信号Yに含まれるノイズを考慮して、頻度を有する輝度
の最大値よりも所定の割合(例えば、1%)だけ小さい
値を最大輝度Hに決定し、頻度を有する輝度の最小値よ
りも所定の割合(例えば、1%)だけ大きい値を輝度の
最小輝度Lに決定し、最大輝度Hおよび最小輝度Lを高
域関数決定部92、低域関数決定部93、および関数合
成部94に出力する。In step S41, the maximum / minimum luminance acquisition section 91 generates a histogram of the luminance signal Y of a wide dynamic range image as shown in FIG. In step S42, the maximum / minimum luminance acquisition unit 91 considers noise included in the luminance signal Y and sets the maximum luminance H to a value smaller by a predetermined ratio (for example, 1%) than the maximum value of luminance having frequency. And a value larger by a predetermined ratio (for example, 1%) than the minimum value of the frequency having the frequency is determined as the minimum luminance L of the luminance. The signal is output to the low-frequency function determination unit 93 and the function synthesis unit 94.
【0059】ステップS43において、関数合成部94
は、図18に示す2点(logL,Lm),(logH,H
m)を通る直線Aに相当する対数関数Ym(Y)を生成
する。 Ym(Y)=αlogY+β ・・・(3)In step S43, the function synthesizing section 94
Are the two points (logL, Lm), (logH, H
A logarithmic function Ym (Y) corresponding to a straight line A passing through m) is generated. Ym (Y) = αlogY + β (3)
【数1】 (Equation 1)
【0060】なお、図18は、広ダイナミックレンジ画
像の輝度のダイナミックレンジと、変換後の狭ダイナミ
ックレンジ画像の輝度のダイナミックレンジの関係を説
明するための図であり、同図の横軸は、入力される広ダ
イナミックレンジ画像の輝度Yの対数値logYを示し、
縦軸は変換後の狭ダイナミックレンジ画像の輝度Ymを
示している。図19乃至図21も同様である。また、H
m,Lmは、それぞれ狭ダイナミックレンジの最大輝度
または最小輝度を表しており、予め設定されている値で
ある。FIG. 18 is a diagram for explaining the relationship between the luminance dynamic range of a wide dynamic range image and the luminance dynamic range of a converted narrow dynamic range image. The horizontal axis of FIG. The logarithmic value logY of the luminance Y of the input wide dynamic range image is shown,
The vertical axis indicates the luminance Ym of the converted narrow dynamic range image. 19 to 21 are the same. Also, H
m and Lm represent the maximum luminance or the minimum luminance of a narrow dynamic range, respectively, and are preset values.
【0061】ステップS44において、高域関数決定部
92は、図18に示す2点(logM,Mm),(logH,
Hm)を通る直線Cに相当する高域対数関数YmH
(Y)を生成して関数合成部94に出力する。 YmH(Y)=αHlogY+βH ・・・(4)In step S44, the high-frequency function determination section 92 determines the two points (logM, Mm), (logH,
Hm) A high-frequency logarithmic function YmH corresponding to a straight line C passing through Hm)
(Y) is generated and output to the function synthesizing unit 94. YmH (Y) = αHlogY + βH (4)
【数2】 (Equation 2)
【0062】ステップS45において、低域関数決定部
93は、図18に示す2点(logL,Lm),(logM,
Mm)を通る直線Bに相当する低域対数関数YmL
(Y)を生成して関数合成部94に出力する。 YmL(Y)=αLlogY+βL ・・・(5)In step S45, the low-frequency function determination unit 93 determines the two points (logL, Lm), (logM,
Mm) The low-frequency logarithmic function YmL corresponding to the straight line B passing through
(Y) is generated and output to the function synthesizing unit 94. YmL (Y) = αLlogY + βL (5)
【数3】 (Equation 3)
【0063】なお、ステップS43,S44,S45の
処理の順序は、適宜入れ替えてもよいし、平行して同時
に実行するようにしてもよい。The order of the processes in steps S43, S44, and S45 may be changed as appropriate, or may be performed simultaneously in parallel.
【0064】ステップS46において、関数合成部94
は、 図18の直線Aに相当する対数関数Ym(Y)の
Yに注目輝度Mを代入し、得られたYm(M)と最適注
目輝度Mmを比較して、その比較結果に基づき、注目輝
度・最適注目輝度対に対応する点(logM,Mm)が、
直線Aよりも上に位置するか、直線Aよりも下に位置す
るか、または直線Aに一致するかを判定する。In step S46, function synthesizing section 94
Is obtained by substituting the target luminance M into Y of a logarithmic function Ym (Y) corresponding to the straight line A in FIG. 18, comparing the obtained Ym (M) with the optimum target luminance Mm, and based on the comparison result, The point (logM, Mm) corresponding to the luminance / optimal luminance pair is
It is determined whether it is located above the straight line A, below the straight line A, or coincides with the straight line A.
【0065】比較結果が、MmがYm(M)よりも大き
い場合には、図18に示すように、注目輝度・最適注目
輝度対に対応する点(logM,Mm)は直線Aよりも上
に位置すると判定されて、処理はステップS47に進
む。ステップS47において、関数合成部94は、図1
9に示すような上に凸のマッピング関数となるように、
図19の横軸上のパラメータCL,CHを次式(6)の
ように設定する。When the comparison result indicates that Mm is larger than Ym (M), the point (logM, Mm) corresponding to the target luminance / optimal target luminance pair is located above the straight line A as shown in FIG. If it is determined that it is located, the process proceeds to step S47. In step S47, the function synthesizing unit 94 executes the processing in FIG.
As shown in Fig. 9, an upward convex mapping function
The parameters CL and CH on the horizontal axis in FIG. 19 are set as in the following equation (6).
【数4】 ・・・(6)(Equation 4) ... (6)
【0066】ステップS50において、関数合成部94
は、高域対数関数YmH(Y)と低域対数関数YmL
(Y)を滑らかに連結してマッピング関数を生成する。
具体的には、入力輝度Y、すなわち、広ダイナミックレ
ンジ画像の輝度Yを、最小輝度Lよりも小さい領域、最
小輝度L以上であってCLよりも小さい領域、CL以上
であってCHよりも小さい領域、CH以上で最大輝度H
よりも小さい領域、または、最大輝度H以上である領域
に分け、各領域に対応するマッピング関数f(Y)を生
成する(詳細は図22を参照して後述する)。In step S50, function synthesizing section 94
Are the high-frequency logarithmic function YmH (Y) and the low-frequency logarithmic function YmL
(Y) is smoothly connected to generate a mapping function.
More specifically, the input luminance Y, that is, the luminance Y of the wide dynamic range image is set to a region smaller than the minimum luminance L, a region larger than the minimum luminance L and smaller than CL, and a region larger than CL and smaller than CH. Maximum brightness H above the area, CH
The area is divided into smaller areas or areas having a maximum luminance H or more, and a mapping function f (Y) corresponding to each area is generated (the details will be described later with reference to FIG. 22).
【0067】ステップS46での比較結果が、MmがY
m(M)と等しい場合、注目輝度・最適注目輝度対に対
応する点(logM,Mm)は直線Aに一致すると判定さ
れて、処理はステップS48に進む。ステップS48に
おいて、関数合成部94は、マッピング関数のパラメー
タCL,CHを次式(7)のように設定する。 CL=L CH=H ・・・(7)The comparison result in step S46 indicates that Mm is Y
If it is equal to m (M), it is determined that the point (logM, Mm) corresponding to the target luminance / optimal target luminance pair matches the straight line A, and the process proceeds to step S48. In step S48, the function synthesizing unit 94 sets the parameters CL and CH of the mapping function as in the following equation (7). CL = L CH = H (7)
【0068】ステップS46での比較結果が、MmがY
m(M)よりも小さい場合には、図20に示すように、
注目輝度・最適注目輝度対に対応する点(logM,M
m)は直線Aよりも下に位置すると判定されて、処理は
ステップS49に進む。ステップS49において、関数
合成部94は、図21に示すような下に凸のマッピング
関数となるようにパラメータCL,CHを次式(8)の
ように設定する。The comparison result in step S46 indicates that Mm is Y
When the distance is smaller than m (M), as shown in FIG.
Points corresponding to the target luminance / optimal target luminance pair (logM, M
m) is determined to be below line A, and the process proceeds to step S49. In step S49, the function synthesizing unit 94 sets the parameters CL and CH as in the following equation (8) so as to be a downwardly convex mapping function as shown in FIG.
【数5】 ・・・(8)(Equation 5) ... (8)
【0069】ステップS50における関数合成部94の
処理の詳細について、図22のフローチャートを参照し
て説明する。ステップS61,S63,S65,S72
における大小比較判定により、マッピング関数f(Y)
の変数である入力輝度Yが5つの領域のうちのいずれか
に分類される。Details of the processing of the function synthesizing section 94 in step S50 will be described with reference to the flowchart in FIG. Steps S61, S63, S65, S72
The mapping function f (Y)
Is classified into any one of the five regions.
【0070】ステップS61の処理を経て、最小輝度L
よりも小さい領域に分類された入力輝度Yに対しては、
ステップS62において、次式(9)に示すようにマッ
ピング関数f(Y)が定義される。 f(Y)=Lm Y<L ・・・(9)After the processing of step S61, the minimum luminance L
For an input luminance Y classified into a smaller area than
In step S62, a mapping function f (Y) is defined as shown in the following equation (9). f (Y) = Lm Y <L (9)
【0071】ステップS61,S63の処理を経て、最
小輝度L以上であってCLよりも小さい領域に分類され
た入力輝度Yに対しては、ステップS64において、次
式(10)に示すように、マッピング関数f(Y)が低
域対数関数YmL(Y)によって定義される。 f(Y)=YmL(Y)=αLlogY+βL L≦Y<L・・・(10)After the processing of steps S61 and S63, the input luminance Y classified into an area that is not less than the minimum luminance L and smaller than CL is determined in step S64 by the following equation (10). The mapping function f (Y) is defined by a low-frequency logarithmic function YmL (Y). f (Y) = YmL (Y) = αLlogY + βL L ≦ Y <L (10)
【0072】ステップS61,S63,S65の処理を
経て、CL以上であってCHよりも小さい領域に分類さ
れた場合、処理はステップS66に進む。After the processing in steps S61, S63, and S65, if the area is classified into an area not less than CL and smaller than CH, the processing proceeds to step S66.
【0073】ステップS66において、CL−2M+C
Hが0よりも大きいか否かが判定される。CL−2M+
CHが0よりも大きいと判定された場合、処理はステッ
プS67に進む。ステップS67において、媒介変数t
が次式(11)によって定義される。In step S66, CL-2M + C
It is determined whether H is greater than zero. CL-2M +
If it is determined that CH is greater than 0, the process proceeds to step S67. In step S67, the parameter t
Is defined by the following equation (11).
【数6】 ・・・(11)(Equation 6) ... (11)
【0074】ステップS68において、入力輝度Yに対
し、次式(12)に示すように、マッピング関数f
(Y)が定義される。In step S68, the mapping function f is calculated for the input luminance Y as shown in the following equation (12).
(Y) is defined.
【数7】 CL≦Y<CH・・・(12)(Equation 7) CL ≦ Y <CH (12)
【0075】ステップS66において、CL−2M+C
Hが0よりも大きくないと判定された場合、処理はステ
ップS69に進む。ステップS69において、CL−2
M+CHが0よりも小さいか否かが判定される。CL−
2M+CHが0よりも小さいと判定された場合、処理は
ステップS70に進む。ステップS70において、媒介
変数tが次式(13)によって定義される。In step S66, CL-2M + C
If it is determined that H is not larger than 0, the process proceeds to step S69. In step S69, CL-2
It is determined whether M + CH is smaller than 0. CL-
If it is determined that 2M + CH is smaller than 0, the process proceeds to step S70. In step S70, the parameter t is defined by the following equation (13).
【数8】 ・・・(13)(Equation 8) ... (13)
【0076】ステップS69において、CL−2M+C
Hが0よりも小さくない、すなわち、CL−2M+CH
=0であると判定された場合、処理はステップS71に
進む。ステップS71において、媒介変数tが次式(1
4)によって定義される。 t=(Y−CL)/2(M−CL) ・・・(14)In step S69, CL-2M + C
H is not less than 0, ie CL-2M + CH
If it is determined that = 0, the process proceeds to step S71. In step S71, the parameter t is calculated by the following equation (1).
4). t = (Y-CL) / 2 (M-CL) (14)
【0077】ステップS61,S63,S65,S72
の処理を経て、CH以上であって最大輝度Hよりも小さ
い領域に分類された入力輝度Yに対しては、ステップS
73において、次式(15)に示すように、マッピング
関数f(Y)が高域対数関数YmH(Y)によって定義
される。 f(Y)=YmH(Y)=αHlogY+βH CH≦Y<H・・・(15)Steps S61, S63, S65, S72
After the processing of the above, for the input luminance Y classified into an area that is equal to or more than CH and smaller than the maximum luminance H, the step S
At 73, the mapping function f (Y) is defined by the high-frequency logarithmic function YmH (Y) as shown in the following equation (15). f (Y) = YmH (Y) = αHlogY + βH CH ≦ Y <H (15)
【0078】ステップS61,S63,S65,S72
の処理を経て、最大輝度H以上である領域に分類された
入力輝度Yに対しては、ステップS74において、次式
(16)に示すように、マッピング関数f(Y)が高域
対数関数YmH(Y)によって定義される。 f(Y)=Lm H<Y ・・・(16)Steps S61, S63, S65, S72
In step S74, the mapping function f (Y) is changed to the high-frequency logarithmic function YmH for the input luminance Y classified into the area having the maximum luminance H or more through the processing of step S74. (Y). f (Y) = Lm H <Y (16)
【0079】以上説明したように、マッピング関数生成
部82の一連の処理によって、マッピング関数f(Y)
が生成される。As described above, the mapping function f (Y)
Is generated.
【0080】次に、生成されたマッピング関数f(Y)
に広ダイナミックレンジ画像信号を適用して狭ダイナミ
ックレンジ画像信号を生成するマッピング部83の処理
について、図23のフローチャートを参照して説明す
る。Next, the generated mapping function f (Y)
The processing performed by the mapping unit 83 for generating a narrow dynamic range image signal by applying a wide dynamic range image signal to the image data will be described with reference to the flowchart in FIG.
【0081】ステップS81において、マッピング部8
3は、記憶部50から広ダイナミックレンジ画像信号を
取得する。また、マッピング部83は、マッピング関数
生成部82からマッピング関数f(Y)を取得する。In step S81, the mapping unit 8
3 acquires a wide dynamic range image signal from the storage unit 50. Further, the mapping unit 83 acquires the mapping function f (Y) from the mapping function generation unit 82.
【0082】ステップS82において、マッピング部8
3は、広ダイナミックレンジ画像の全て画素の輝度信号
Y(x,y)を、マッピング関数f(Y)に順次代入して狭
ダイナミックレンジ画像信号を生成する。In step S82, the mapping unit 8
Reference numeral 3 generates a narrow dynamic range image signal by sequentially substituting the luminance signals Y (x, y) of all pixels of the wide dynamic range image into a mapping function f (Y).
【0083】以上説明したように画像処理部11の一連
の処理によれば、簡易生成されてた複数の狭ダイナミッ
クレンジの画像がユーザに提示され、そのうちの被写体
の階調が最も適切に表示されている画像がユーザによっ
て選択されて、選択された画像に基づいて注目輝度・最
適注目輝度対(M,Mm)が導き出される。さらに、注
目輝度・最適注目輝度対(M,Mm)に基づいてマッピ
ング関数f(Y)が生成されて、広ダイナミックレンジ
画像信号がマッピング関数f(Y)によって狭ダイナミ
ックレンジ画像信号に変換されるので、画像中の被写体
が適切な階調で表現される狭ダイナミックレンジの画像
を得ることができる。As described above, according to the series of processes of the image processing section 11, a plurality of images having a narrow dynamic range generated simply are presented to the user, and the gradation of the subject among them is most appropriately displayed. The selected image is selected by the user, and a target luminance / optimal target luminance pair (M, Mm) is derived based on the selected image. Further, a mapping function f (Y) is generated based on the target luminance / optimal target luminance pair (M, Mm), and the wide dynamic range image signal is converted into a narrow dynamic range image signal by the mapping function f (Y). Therefore, it is possible to obtain an image with a narrow dynamic range in which the subject in the image is expressed with an appropriate gradation.
【0084】なお、上述した説明においては、注目輝度
・最適注目輝度対(M,Mm)を1つだけ決定して、以
降の処理を実行するようにしたが、2つ以上の注目輝度
・最適注目輝度対を決定してマッピング関数を生成する
ようにしてもよい。In the above description, only one target luminance / optimal target luminance pair (M, Mm) is determined, and the subsequent processing is executed. The target luminance pair may be determined to generate a mapping function.
【0085】次に、画像処理部11が最適露出情報を設
定する第2の動作例について、図24および図25を参
照して説明する。図8乃至図11を参照して上述した第
1の動作例では、簡易生成された複数の狭ダイナミック
レンジ画像のうちの1つをユーザに選択させるようにし
たが、第2の動作例においては、所定の露出比率rを適
用して簡易生成した狭ダイナミックレンジ画像を1枚だ
け表示し、その画像の内で注目すべき範囲(例えば、被
写体が表示されている範囲)をユーザに指定させるよう
にし、その指定された範囲(図24(B)のマスク10
3)を示す情報を最適露出情報に設定して輝度対検出部
81に供給するようにする。Next, a second operation example in which the image processing section 11 sets the optimum exposure information will be described with reference to FIGS. 24 and 25. In the first operation example described above with reference to FIGS. 8 to 11, the user is caused to select one of the plurality of simply generated narrow dynamic range images, but in the second operation example, Only one narrow dynamic range image generated simply by applying the predetermined exposure ratio r is displayed, and the user is allowed to specify a range to be noted (for example, a range in which the subject is displayed) in the image. And the mask 10 in the specified range (FIG. 24B).
The information indicating 3) is set as the optimal exposure information and supplied to the luminance pair detecting unit 81.
【0086】図24は、簡易生成された1枚の狭ダイナ
ミックレンジ画像を表示する表示部13の表示例を示し
ている。同図(A)に示すように、表示部13の画像表
示・指定範囲描画領域101には、簡易生成された狭ダ
イナミックレンジ画像102が1枚だけ表示される。画
像表示・指定範囲描画領域101に表示された狭ダイナ
ミックレンジ画像102には、同図(B)に示すよう
な、ユーザによって指定された範囲を表すマスク103
が重畳して表示される。FIG. 24 shows a display example of the display unit 13 for displaying one narrow dynamic range image simply generated. As shown in FIG. 2A, only one narrow dynamic range image 102 generated simply is displayed in the image display / designated range drawing area 101 of the display unit 13. A narrow dynamic range image 102 displayed in the image display / designated range drawing area 101 has a mask 103 representing a range designated by the user as shown in FIG.
Are displayed in a superimposed manner.
【0087】図25は、狭ダイナミックレンジ画像10
2に重畳して表示されるマスク103をユーザが設定す
るとき操作するGUIの表示例を示している。GUIとしての
範囲指定パネル111には、マスク103の設定を開始
するときクリックされるペンボタン112、設定された
マスク103の設定を解除する消しゴムボタン113、
および、設定したマスク103を確定する完了ボタン1
14が設けられている。FIG. 25 shows a narrow dynamic range image 10.
2 shows a display example of a GUI operated when a user sets a mask 103 displayed to be superimposed on 2. A pen button 112 that is clicked when setting of the mask 103 is started, an eraser button 113 for canceling the set mask 103,
And a complete button 1 for fixing the set mask 103
14 are provided.
【0088】ユーザは、ペンボタン112をクリックし
た後、マウス等の入力デバイスを用いてマスク103の
範囲を描画し、完了ボタン114をクリックすることに
より、描画したマスク103の範囲を確定させる。これ
に対応して、確定されたマスク103の範囲を示す情報
が、最適露出情報として輝度対検出部81に供給され
る。After the user clicks the pen button 112, the user draws the range of the mask 103 using an input device such as a mouse, and clicks the completion button 114 to determine the range of the drawn mask 103. Correspondingly, information indicating the determined range of the mask 103 is supplied to the luminance pair detection unit 81 as optimal exposure information.
【0089】第2の動作例において、輝度対検出部81
は、最適注目輝度Mmとして、上述したステップS31
(図13)の処理と同様に、予め設定されている狭ダイ
ナミックレンジ画像の中間輝度Ynmを、記憶部50に
記憶されている画像処理用アプリロケーションプログラ
ムから取得する。In the second operation example, the luminance pair detecting section 81
Is set as the optimum target luminance Mm in the above-described step S31.
Similarly to the processing of FIG. 13, the preset intermediate luminance Ynm of the narrow dynamic range image is obtained from the image processing application location program stored in the storage unit 50.
【0090】一方の注目輝度Mを求めるために輝度対検
出部81は、広ダイナミックレンジ画像のうち、マスク
103の範囲に含まれる画素の輝度信号を取得して画素
集合G1とし、画素集合G1のうち、所定の飽和レベル
を上回る輝度の画素、および所定のノイズレベルを下回
る輝度の画素を除外して画素集合G2とする。さらに、
輝度対検出部81は、画素集合G2の輝度のヒストグラ
ムを生成して、最も頻度が高い輝度を注目輝度Mに設定
する。In order to obtain one target luminance M, the luminance pair detecting section 81 obtains luminance signals of the pixels included in the range of the mask 103 in the wide dynamic range image and sets them as a pixel set G1. Of these, pixels having a luminance higher than a predetermined saturation level and pixels having a luminance lower than a predetermined noise level are excluded to form a pixel set G2. further,
The luminance pair detection unit 81 generates a luminance histogram of the pixel set G2, and sets the most frequent luminance as the target luminance M.
【0091】このようにして設定された注目輝度・最適
注目輝度対(M,Mm)は、マッピング関数生成部82
に供給されて、上述した一連の処理と同様に処理され
る。The target luminance / optimal target luminance pair (M, Mm) set in this way is calculated by the mapping function generator 82.
And is processed in the same manner as the above-described series of processing.
【0092】以上のように、最適露出情報を設定する第
2の動作例によれば、ユーザが最適な輝度で表示してほ
しい被写体の範囲を指示するという直感的な操作によっ
て、所望の狭ダイナミックレンジ画像を作成することが
可能となる。As described above, according to the second operation example of setting the optimum exposure information, a desired narrow dynamic range can be obtained by an intuitive operation in which the user specifies the range of the subject to be displayed with the optimum brightness. A range image can be created.
【0093】次に、撮像装置1から画像処理装置2に対
して、カラーの広ダイナミックレンジ画像信号(3原色
信号R,G,B)が供給される場合に対応する画像処理
部11の構成例(以下、画像処理部11の第2の構成例
と記述する)および動作について、図26を参照して説
明する。画像処理部11の第2の構成例においては、カ
ラー画像の色バランスが損なわれないように階調変換が
行われる。Next, a configuration example of the image processing unit 11 corresponding to a case where a color wide dynamic range image signal (three primary color signals R, G, B) is supplied from the imaging device 1 to the image processing device 2. (Hereinafter, this will be described as a second configuration example of the image processing unit 11) and the operation will be described with reference to FIG. In the second configuration example of the image processing unit 11, gradation conversion is performed so that the color balance of a color image is not impaired.
【0094】図26は、画像処理部11の第2の構成例
を示している。輝度信号生成部121は、次式(17)
を用いて、入力される広ダイナミックレンジ画像の各画
素の3原色信号R,G,Bを用いて輝度Yを生成し、輝
度対検出部122、色補正関数生成部123、マッピン
グ部124、マッピング関数生成部125、マッピング
部126、および、べき乗演算部127に出力する。 輝度Y=kr・R+kg・G+kb・B ・・・(17)FIG. 26 shows a second example of the configuration of the image processing section 11. The luminance signal generation unit 121 calculates the following equation (17).
, A luminance Y is generated using the three primary color signals R, G, and B of each pixel of the input wide dynamic range image, and a luminance pair detection unit 122, a color correction function generation unit 123, a mapping unit 124, Output to the function generation unit 125, the mapping unit 126, and the exponentiation operation unit 127. Brightness Y = kr · R + kg · G + kb · B (17)
【0095】ここで、kr,kg,kbは定数であり、
例えば、kr=0.3、kg=0.6、kb=0.1と
する。Here, kr, kg, and kb are constants,
For example, kr = 0.3, kg = 0.6, and kb = 0.1.
【0096】輝度対検出部121は、輝度信号生成部1
21からの広ダイナミックレンジ画像の各画素の輝度
Y、および、上述した画像処理部11の第1または第2
の動作例によって取得した最適露出情報に基づき、注目
輝度・最適注目輝度対(M,Mm)を検出して色補正関
数生成部123およびマッピング関数生成部82に出力
する。The luminance-pair detecting section 121 includes the luminance signal generating section 1
21, the luminance Y of each pixel of the wide dynamic range image, and the first or second image processing unit 11 described above.
Based on the optimum exposure information acquired in the operation example of (1), the target luminance / optimal target luminance pair (M, Mm) is detected and output to the color correction function generation unit 123 and the mapping function generation unit 82.
【0097】色補正関数生成部123は、輝度信号生成
部121からの広ダイナミックレンジ画像の各画素の輝
度Y、および、輝度対検出部81からの注目輝度・最適
注目輝度対(M,Mm)に基づき、輝度Yに対応する色
補正量γを示す色補正関数fC(Y)を生成し、マッピ
ング部124に出力する。The color correction function generating section 123 outputs the luminance Y of each pixel of the wide dynamic range image from the luminance signal generating section 121 and the target luminance / optimal target luminance pair (M, Mm) from the luminance pair detecting section 81. , A color correction function fC (Y) indicating the color correction amount γ corresponding to the luminance Y is generated and output to the mapping unit 124.
【0098】色補正関数生成部123が色補正関数fC
(Y)を生成する処理について、より詳細に説明する。
当該色補正関数生成処理は、図16乃至図22を参照し
て上述したマッピング関数生成部82のマッピング関数
生成処理とほぼ同様であり、図22を用いて説明したス
テップS50(図16)における処理だけが若干異な
る。よって、当該色補正関数生成処理のうち、マッピン
グ関数生成処理のうちのステップS50における処理に
相当する処理についてのみ、図27を参照して説明す
る。The color correction function generator 123 generates the color correction function fC
The process of generating (Y) will be described in more detail.
The color correction function generation processing is substantially the same as the mapping function generation processing of the mapping function generation unit 82 described above with reference to FIGS. 16 to 22, and the processing in step S50 (FIG. 16) described with reference to FIG. Only slightly different. Therefore, of the color correction function generation processing, only processing corresponding to the processing in step S50 of the mapping function generation processing will be described with reference to FIG.
【0099】色補正関数生成部123は、ステップS9
1,S93,S95,S102における大小比較判定に
より、色補正関数fC(Y)の変数である入力輝度Yを
5つの領域のうちのいずれかに分類する。The color correction function generator 123 determines in step S9
The input luminance Y, which is a variable of the color correction function fC (Y), is classified into any of the five regions based on the magnitude comparison determination in 1, S93, S95, and S102.
【0100】ステップS91の処理を経て、最小輝度L
よりも小さい領域に分類された入力輝度Yに対しては、
ステップS92において、次式(17)に示すように色
補正関数fC(Y)が定義される。fC(Y)=αL
Y<L ・・・(1
7)After the processing in step S91, the minimum luminance L
For an input luminance Y classified into a smaller area than
In step S92, a color correction function fC (Y) is defined as shown in the following equation (17). fC (Y) = αL
Y <L (1
7)
【0101】ステップS91,S93の処理を経て、最
小輝度L以上であってCLよりも小さい領域に分類され
た入力輝度Yに対しては、ステップS94において、次
式(18)に示すように、色補正関数fC(Y)が定義
される。 fC(Y)=αL L≦Y<L・・・(18)After the processing of steps S91 and S93, for the input luminance Y classified into an area not less than the minimum luminance L and smaller than CL, in step S94, as shown in the following equation (18), A color correction function fC (Y) is defined. fC (Y) = αL L ≦ Y <L (18)
【0102】ステップS91,S93,S95の処理を
経て、CL以上であってCHよりも小さい領域に分類さ
れた場合、処理はステップS96に進む。If the area is classified into an area that is equal to or larger than CL and smaller than CH through the processing of steps S91, S93, and S95, the processing proceeds to step S96.
【0103】ステップS96において、CL−2M+C
Hが0よりも大きいか否かが判定される。CL−2M+
CHが0よりも大きいと判定された場合、処理はステッ
プS97に進む。ステップS97において、媒介変数t
が式(11)によって定義される。In step S96, CL-2M + C
It is determined whether H is greater than zero. CL-2M +
If it is determined that CH is greater than 0, the process proceeds to step S97. In step S97, the parameter t
Is defined by equation (11).
【0104】ステップS98において、入力輝度Yに対
し、次式(19)に示すように、色補正関数fC(Y)
が定義される。 fC(Y)=(1−t)αL+tαH CL≦Y<CH ・・・(19)In step S98, a color correction function fC (Y) is calculated for the input luminance Y as shown in the following equation (19).
Is defined. fC (Y) = (1−t) αL + tαH CL ≦ Y <CH (19)
【0105】ステップS96において、CL−2M+C
Hが0よりも大きくないと判定された場合、処理はステ
ップS99に進む。ステップS99において、CL−2
M+CHが0よりも小さいか否かが判定される。CL−
2M+CHが0よりも小さいと判定された場合、処理は
ステップS100に進む。ステップS100において、
媒介変数tが式(13)によって定義される。In step S96, CL-2M + C
If it is determined that H is not larger than 0, the process proceeds to step S99. In step S99, CL-2
It is determined whether M + CH is smaller than 0. CL-
If it is determined that 2M + CH is smaller than 0, the process proceeds to step S100. In step S100,
The parameter t is defined by equation (13).
【0106】ステップS99において、CL−2M+C
Hが0よりも小さくない、すなわち、CL−2M+CH
=0であると判定された場合、処理はステップS101
に進む。ステップS101において、媒介変数tが式
(14)によって定義される。In step S99, CL-2M + C
H is not less than 0, ie CL-2M + CH
If it is determined that = 0, the process proceeds to step S101.
Proceed to. In step S101, the parameter t is defined by Expression (14).
【0107】ステップS91,S93,S95,S10
2の処理を経て、CH以上であって最大輝度Hよりも小
さい領域に分類された入力輝度Yに対しては、ステップ
S103において、次式(20)に示すように、色補正
関数fC(Y)が定義される。 fC(Y)=αH CH≦Y<H・・・(20)Steps S91, S93, S95, S10
In step S103, for the input luminance Y classified into an area equal to or higher than CH and smaller than the maximum luminance H after the processing of step 2, the color correction function fC (Y ) Is defined. fC (Y) = αH CH ≦ Y <H (20)
【0108】ステップS91,S93,S95,S10
2の処理を経て、最大輝度H以上である領域に分類され
た入力輝度Yに対しては、ステップS104において、
次式(21)に示すように、色補正関数fC(Y)が定
義される。 fC(Y)=αH H<Y ・・・(21)Steps S91, S93, S95, S10
In step S104, for the input luminance Y classified into the area having the maximum luminance H or more after the processing of step 2,
As shown in the following equation (21), a color correction function fC (Y) is defined. fC (Y) = αH H <Y (21)
【0109】以上説明したような色補正関数生成部12
3の処理によって、色補正関数fC(Y)が生成され
る。The color correction function generator 12 as described above
By the process of 3, the color correction function fC (Y) is generated.
【0110】マッピング部124は、輝度信号生成部1
21からの各画素の輝度Yを、色補正関数fC(Y)に
適用して色補正量γを演算し、べき乗演算部127、1
28R,128G,128Bに出力する。The mapping section 124 is provided with a luminance signal generating section 1
The luminance Y of each pixel from the pixel 21 is applied to a color correction function fC (Y) to calculate a color correction amount γ.
28R, 128G and 128B.
【0111】マッピング関数生成部125は、上述した
マッピング関数生成部82と同様に、広ダイナミックレ
ンジ画像の各画素の輝度Yおよび注目輝度・最適注目輝
度対(M,Mm)に基づき、マッピング関数f(Y)を
生成してマッピング部126に出力する。マッピング部
126は、広ダイナミックレンジ画像の各画素の輝度Y
を、マッピング関数生成部125からのマッピング関数
f(Y)に適用して狭ダイナミックレンジ画像の各画素
の輝度Ymを生成し、スケーリング部129R,129
G,129Bに出力する。Similar to the mapping function generator 82 described above, the mapping function generator 125 calculates the mapping function f based on the luminance Y of each pixel of the wide dynamic range image and the target luminance / optimal target luminance pair (M, Mm). (Y) is generated and output to the mapping unit 126. The mapping unit 126 calculates the luminance Y of each pixel of the wide dynamic range image.
Is applied to the mapping function f (Y) from the mapping function generation unit 125 to generate the luminance Ym of each pixel of the narrow dynamic range image, and the scaling units 129R and 129
G, 129B.
【0112】べき乗演算部127は、広ダイナミックレ
ンジ画像の各画素の輝度Yをγ乗して、得られた補正輝
度Yγをスケーリング部129R,129G,129B
に出力する。べき乗演算部128Rは、広ダイナミック
レンジ画像の各画素の赤色信号Rをγ乗して、得られた
補正赤色信号Rγをスケーリング部129Rに出力す
る。べき乗演算部128Gは、広ダイナミックレンジ画
像の各画素の緑色信号Gをγ乗して、得られた補正緑色
信号Gγをスケーリング部129Gに出力する。べき乗
演算部128Bは、広ダイナミックレンジ画像の各画素
の青色信号Bをγ乗して、得られた補正青色信号Bγを
スケーリング部129Bに出力する。The exponentiation operation unit 127 raises the luminance Y of each pixel of the wide dynamic range image to the power of γ, and obtains the corrected luminance Yγ obtained by scaling units 129R, 129G, 129B.
Output to The exponentiation operation unit 128R raises the red signal R of each pixel of the wide dynamic range image to the power of γ, and outputs the obtained corrected red signal Rγ to the scaling unit 129R. The exponentiation operation unit 128G raises the green signal G of each pixel of the wide dynamic range image to the power of γ, and outputs the obtained corrected green signal Gγ to the scaling unit 129G. The exponentiation operation unit 128B raises the blue signal B of each pixel of the wide dynamic range image to the power of γ and outputs the obtained corrected blue signal Bγ to the scaling unit 129B.
【0113】スケーリング部129R乃至129Bは、
それぞれ、次式(22)乃至(24)を用い、狭ダイナ
ミックレンジ画像の各画素の赤色信号Rm、緑色信号G
m、または青色信号Bmを演算する。 Rm=Rγ・Ym/Yγ ・・・(22) Gm=Gγ・Ym/Yγ ・・・(23) Bm=Bγ・Ym/Yγ ・・・(24)The scaling units 129R to 129B
Using the following equations (22) to (24), respectively, the red signal Rm and the green signal G of each pixel of the narrow dynamic range image
m or the blue signal Bm. Rm = Rγ · Ym / Yγ (22) Gm = Gγ · Ym / Yγ (23) Bm = Bγ · Ym / Yγ (24)
【0114】以上説明したように、画像処理部11の第
2の構成例よれば、入力された広ダイナミックレンジ画
像の3原色信号R,G,Bに対し、ダイナミックレンジ
を圧縮する度合いに応じて自然な色バランスとなるよう
に補正を施すので、広ダイナミックレンジのカラー画像
を、色バランスが不自然ではない狭ダイナミックレンジ
のカラー画像に変換することが可能となる。As described above, according to the second configuration example of the image processing section 11, the dynamic range of the three primary color signals R, G, and B of the input wide dynamic range image is compressed according to the degree of compression. Since the correction is performed so as to obtain a natural color balance, it is possible to convert a color image having a wide dynamic range into a color image having a narrow dynamic range in which the color balance is not unnatural.
【0115】次に、図28は、本発明を適用したディジ
タルカメラの構成例を示している。このディジタルカメ
ラ140は、言わば、図1に示した画像処理システムを
1つの筐体に納めたものであり、被写体を広ダイナミッ
クレンジ画像信号として撮像し、適宜、狭ダイナミック
レンジ画像信号に変換して内蔵するメモリ148に記録
する。Next, FIG. 28 shows a configuration example of a digital camera to which the present invention is applied. This digital camera 140 is, so to speak, an image processing system shown in FIG. 1 housed in a single housing. The digital camera 140 captures a subject as a wide dynamic range image signal, and converts it into a narrow dynamic range image signal as appropriate. The data is recorded in the built-in memory 148.
【0116】ディジタルカメラ140は、被写体の光画
像を集光するレンズ141、光画像の光量を調整する絞
り142、集光された光画像を光電変換して広ダイナミ
ックレンジの電気信号に変換するCCDイメージセンサ1
43、CCDイメージセンサ143からの電気信号をサン
プリングすることによってノイズを低減させるCDS(Core
lated Double Sampling)144、および、アナログの電
気信号をディジタル化するA/Dコンバータ145、デ
ィジタル化された電気信号を画像信号に変換したり、ダ
イナミックレンジを圧縮したりする画像信号処理用プロ
セッサと画像用RAMよりなるDSP(Digital Signal Proces
sor)146から構成される。The digital camera 140 includes a lens 141 for condensing a light image of a subject, an aperture 142 for adjusting the light amount of the light image, and a CCD for photoelectrically converting the condensed light image to convert it into a wide dynamic range electric signal. Image sensor 1
43, CDS (Core) that reduces noise by sampling electrical signals from the CCD image sensor 143
related Double Sampling) 144, an A / D converter 145 for digitizing an analog electric signal, an image signal processor and an image for converting a digitized electric signal into an image signal or compressing a dynamic range. DSP (Digital Signal Proces)
sor) 146.
【0117】また、ディジタルカメラ140は、DSP1
46が処理した画像信号を圧縮符号化してメモリ148
に記録し、また、読み出して伸張し、DSP146に供給
するCODEC(Compression/Decompression)147、DSP1
46が処理した画像信号をアナログ化するD/Aコンバ
ータ149、アナログ化された画像信号を後段の表示部
151に適合する形式のビデオ信号にエンコードするビ
デオエンコーダ150、および、ビデオ信号に対応する
画像を表示することによりファインダとして機能するLC
D(Liquid Crystal Display)等よりなる表示部151か
ら構成される。The digital camera 140 has a DSP 1
The image signal processed by 46 is compression-encoded and stored in a memory 148.
, And CODEC (Compression / Decompression) 147, DSP1
The D / A converter 149 converts the processed image signal into an analog signal, the video encoder 150 encodes the analogized image signal into a video signal in a format suitable for the display unit 151 at the subsequent stage, and an image corresponding to the video signal. LC that functions as a finder by displaying
The display unit 151 includes a D (Liquid Crystal Display) or the like.
【0118】さらに、ディジタルカメラ140は、ドラ
イブ153を制御して、磁気ディスク154、光ディス
ク155、光磁気ディスク156、または半導体メモリ
157に記憶されている制御用プログラムを読み出し
て、読み出した制御用プログラム、操作部158から入
力されるユーザからのコマンド等に基づいて、ディジタ
ルカメラ140の全体を制御するCPUなどよりなる制御
部152、ユーザがシャッタタイミングやその他のコマ
ンドを入力する操作部158、および、CCDイメージセ
ンサ143乃至DSP146の動作タイミングを制御する
タイミングジェネレータ159から構成される。Further, the digital camera 140 controls the drive 153 to read a control program stored in the magnetic disk 154, the optical disk 155, the magneto-optical disk 156, or the semiconductor memory 157, and reads the read control program. A control unit 152 including a CPU for controlling the entire digital camera 140 based on a command from the user input from the operation unit 158, an operation unit 158 for the user to input a shutter timing and other commands, and It comprises a timing generator 159 for controlling the operation timing of the CCD image sensors 143 to DSP 146.
【0119】ディジタルカメラ140においては、DSP
146が、上述した画像処理システムの画像処理部11
に相当し、広ダイナミックレンジ画像信号を狭ダイナミ
ックレンジ画像信号に変換する処理を実行する。In the digital camera 140, the DSP
146 is the image processing unit 11 of the image processing system described above.
And performs a process of converting a wide dynamic range image signal into a narrow dynamic range image signal.
【0120】なお、ディジタルカメラ140を構成する
操作部158および表示部151は、図1の画像処理シ
ステムの画像処理装置2(パーソナルコンピュータ等よ
りなる)を構成する操作入力部12および表示部13に
比較して、小型のものが用いられるので、より簡単にユ
ーザが各種の操作入力を実行できるようにする必要があ
る。The operation unit 158 and the display unit 151 of the digital camera 140 are connected to the operation input unit 12 and the display unit 13 of the image processing apparatus 2 (comprising a personal computer) of the image processing system of FIG. In comparison, since a small one is used, it is necessary to allow the user to execute various operation inputs more easily.
【0121】そこで、ディジタルカメラ140では、全
体的な処理の順序を、図7のフローチャートにより説明
した図1の画像処理システムの処理の順序とは異なり、
広ダイナミックレンジ画像信号を取得する前に、最適露
出情報を設定するようになされている。Therefore, in the digital camera 140, the overall processing sequence is different from the processing sequence of the image processing system of FIG. 1 described with reference to the flowchart of FIG.
Prior to acquiring a wide dynamic range image signal, optimal exposure information is set.
【0122】ディジタルカメラ140の第1の動作例に
ついて、図29のフローチャートを参照して説明する。
ステップS111において、撮像する画像の構図がユー
ザによって選択される。選択された画像の構図(後述す
るガイド172に相当する)が最適露出情報として設定
される。A first operation example of the digital camera 140 will be described with reference to a flowchart of FIG.
In step S111, the composition of the image to be captured is selected by the user. The composition of the selected image (corresponding to a guide 172 described later) is set as the optimal exposure information.
【0123】当該最適露出情報を設定する処理につい
て、図30乃至図32を参照して説明する。図30は、
ファインダとして機能する表示部151の画像表示エリ
ア171の表示例を示している。同図に示すように、画
像表示エリア171には、被写体の画像に重畳して太線
等によって示されるガイド172や破線によって示され
る補助線が重畳して表示される。なお、ガイド172の
形状としては、複数のパターンが用意されており、操作
部158に設けられたガイド選択パネル181(図3
2)がユーザによって操作される毎、その形状が切り替
わるようになされている。The process of setting the optimum exposure information will be described with reference to FIGS. FIG.
9 shows a display example of an image display area 171 of a display unit 151 functioning as a finder. As shown in the figure, in the image display area 171, a guide 172 indicated by a thick line or the like and an auxiliary line indicated by a broken line are displayed so as to be superimposed on the image of the subject. A plurality of patterns are prepared for the shape of the guide 172, and a guide selection panel 181 (see FIG. 3) provided on the operation unit 158.
Each time 2) is operated by the user, the shape is switched.
【0124】図31(A)乃至(Q)は、予め用意され
ているガイド172の形状の例を示している。ガイド1
72の各形状には、所定のインデックスが付与されてい
る。なお、ガイド172の形状は、同図に示すような矩
形の他、例えば、円形や多角形であってもよい。FIGS. 31A to 31Q show examples of the shape of the guide 172 prepared in advance. Guide 1
A predetermined index is given to each of the shapes 72. The shape of the guide 172 may be, for example, a circle or a polygon other than the rectangle as shown in FIG.
【0125】図32は、操作部158に設けられたガイ
ド選択パネル181を示している。ガイド切替ボタン1
82は、ガイド172の形状を1つ前のインデックスに
対応するものに切り替えるとき押下される。切替ボタン
183は、ガイド172の形状を1つ先のインデックス
に対応するものに切り替えるとき押下される。選択ボタ
ン184は、表示されているガイド172の形状を確定
させるとき押下される。FIG. 32 shows a guide selection panel 181 provided on the operation unit 158. Guide switching button 1
The button 82 is pressed to switch the shape of the guide 172 to the one corresponding to the previous index. The switch button 183 is pressed when switching the shape of the guide 172 to the one corresponding to the next index. The selection button 184 is pressed when the shape of the displayed guide 172 is determined.
【0126】例えば、図30は、ガイド172の形状と
して図31(J)の例に切り替えられている状態を示し
ているが、この状態において、切替ボタン182が押下
された場合には、ガイド172の形状が同図(I)の例
に切り替えられ、切替ボタン183が押下された場合に
は、ガイド172の形状が同図(K)の例に切り替えら
れる。For example, FIG. 30 shows a state in which the shape of the guide 172 is switched to the example of FIG. 31 (J). In this state, when the switch button 182 is pressed, Is switched to the example of FIG. 11I, and when the switch button 183 is pressed, the shape of the guide 172 is switched to the example of FIG.
【0127】ユーザは、ファインダとして機能する表示
部151を見ながら被写体(例えば、人物)がガイド1
72の中に収まるように、ガイド選択パネル181の切
替ボタン182,183を操作してガイド172の切り
替えた後、選択ボタン184を押下してガイド172の
形状を確定させる。選択ボタン184の押下に対応し
て、現在表示されているガイド172の形状に対応する
インデックスが最適露出情報として設定される。The user looks at the display unit 151 functioning as a finder and moves the subject (for example, a person) to the guide 1.
After switching the guides 172 by operating the switch buttons 182 and 183 of the guide selection panel 181 so that the guides 172 fall within the 72, the selection button 184 is pressed down to determine the shape of the guides 172. When the selection button 184 is pressed, an index corresponding to the shape of the currently displayed guide 172 is set as optimal exposure information.
【0128】図29に戻る。ステップS112におい
て、ユーザが操作部158に設けられたシャッタを操作
した場合、それに対応して、広ダイナミックレンジ画像
信号が取得され、DSP146が内蔵する画像用RAMに格納
される。Returning to FIG. In step S112, when the user operates the shutter provided on the operation unit 158, a wide dynamic range image signal is acquired correspondingly and stored in the image RAM incorporated in the DSP 146.
【0129】ステップS113において、ステップS1
11で設定された最適露出情報(ガイド172の形状を
示すインデックス)に基づき、広ダイナミックレンジ画
像信号が狭ダイナミックレンジ画像信号に変換される。In step S113, step S1
A wide dynamic range image signal is converted into a narrow dynamic range image signal based on the optimal exposure information (index indicating the shape of the guide 172) set in 11.
【0130】具体的には、注目輝度・最適注目輝度対に
ついては、最適露出情報(ガイド172の形状を示すイ
ンデックス)に基づいてガイド172の内部領域の画像
信号が取得され、その輝度のヒストグラムが生成され
て、最も高い頻度を示す輝度が注目輝度Mに設定され
る。最適注目輝度Mmには、予め設定された狭ダイナミ
ックレンジの中間輝度が設定される。それ以降の処理
は、図24および図25を用いて上述した、画像処理シ
ステムの画像処理部11が最適露出情報を設定する際の
第2の動作例と同様である。More specifically, for the target luminance / optimal target luminance pair, an image signal of an area inside the guide 172 is obtained based on the optimum exposure information (index indicating the shape of the guide 172), and a histogram of the luminance is obtained. The luminance that is generated and has the highest frequency is set as the target luminance M. An intermediate luminance of a preset narrow dynamic range is set as the optimum noticeable luminance Mm. The subsequent processing is the same as the second operation example when the image processing unit 11 of the image processing system sets the optimum exposure information described above with reference to FIGS.
【0131】変換された狭ダイナミックレンジ画像信号
は、メモリ148に格納される。The converted narrow dynamic range image signal is stored in the memory 148.
【0132】なお、ディジタルカメラ140のDSP14
6においても、図26に示した画像処理システムの画像
処理部11の第2の構成例と同様に、カラーの広ダイナ
ミックレンジ画像を、色バランスを損なうことなく、カ
ラーの狭ダイナミックレンジ画像に変換する処理を実行
するようにしてもよい。The DSP 14 of the digital camera 140
In the sixth example, as in the second configuration example of the image processing unit 11 of the image processing system shown in FIG. 26, a color wide dynamic range image is converted into a color narrow dynamic range image without impairing the color balance. May be executed.
【0133】次に、ディジタルカメラ140の第2の動
作例について、図33のフローチャートを参照して説明
する。ステップS121において、撮像する画像の構図
がユーザによって選択される。選択された画像の構図
(ガイド172に相当する)が第1の最適露出情報とし
て設定される。Next, a second operation example of the digital camera 140 will be described with reference to the flowchart in FIG. In step S121, the composition of the image to be captured is selected by the user. The composition of the selected image (corresponding to the guide 172) is set as the first optimum exposure information.
【0134】当該第1の最適露出情報を設定する処理に
ついては、図30乃至図32を参照して上述した第1の
動作例の最適露出情報を設定する処理と同様である。The processing for setting the first optimum exposure information is the same as the processing for setting the optimum exposure information in the first operation example described above with reference to FIGS.
【0135】ステップS122において、ユーザが操作
部158に設けられたシャッタを操作した場合、それに
対応して、広ダイナミックレンジ画像信号が取得され、
DSP146が内蔵する画像用RAMに格納される。In step S122, when the user operates the shutter provided on the operation unit 158, a wide dynamic range image signal is acquired correspondingly.
The image is stored in the image RAM incorporated in the DSP 146.
【0136】ステップS123において、ユーザの操作
に対応し、第2の最適露出情報として露出比率rが設定
される。第2の最適露出情報として露出比率rを設定す
る処理について、図34および図35を参照して説明す
る。In step S123, an exposure ratio r is set as second optimal exposure information in response to a user operation. The process of setting the exposure ratio r as the second optimum exposure information will be described with reference to FIGS.
【0137】図34は、ステップS123における表示
部151の画像表示エリア171の表示例を示してい
る。いまの場合、画像表示エリア171には、ステップ
S122で取得された広ダイナミックレンジ画像が表示
され、それに重畳してステップS121で設定されたガ
イド172や補助線(破線)が表示される。ただし、画
像表示エリア171のガイド172の内部領域には、操
作部158に設けられた輝度補正パネル191(図3
5)に対するユーザの操作に対応して変更される露出比
率rを用いて簡易生成された狭ダイナミックレンジ画像
が表示される。FIG. 34 shows a display example of the image display area 171 of the display unit 151 in step S123. In this case, the wide dynamic range image acquired in step S122 is displayed in the image display area 171, and the guide 172 and the auxiliary line (dashed line) set in step S121 are displayed so as to be superimposed thereon. However, a brightness correction panel 191 (FIG. 3) provided on the operation unit 158 is provided in an area inside the guide 172 of the image display area 171.
A narrow dynamic range image simply generated using the exposure ratio r changed in response to the user operation for 5) is displayed.
【0138】図35は、操作部158に設けられた輝度
補正パネル191を示している。明補正(BRIGHTER)ボタ
ン192は、ガイド172の内部領域に表示される狭ダ
イナミックレンジ画像の輝度を、現状よりも1段階だけ
明るくする(輝度を上げる)とき押下される。暗補正(D
ARKER)ボタン193は、ガイド172の内部領域に表示
される狭ダイナミックレンジ画像の輝度を、現状よりも
1段階だけ暗くする(輝度を下げる)とき押下される。
OKボタン194は、現状の輝度を確定するとき押下さ
れる。FIG. 35 shows a luminance correction panel 191 provided on the operation unit 158. The brightness correction (BRIGHTER) button 192 is pressed to increase the brightness of the narrow dynamic range image displayed in the internal area of the guide 172 by one step from the current level (increase the brightness). Dark correction (D
The ARKER) button 193 is pressed to lower the brightness of the narrow dynamic range image displayed in the inner area of the guide 172 by one level (reduce the brightness) from the current level.
The OK button 194 is pressed to determine the current brightness.
【0139】例えば、明補正ボタン192が押下された
場合、狭ダイナミックレンジ画像の簡易生成に用いられ
る露出比率rが所定の値だけ増加される。よって、ガイ
ド172の内部領域の狭ダイナミックレンジ画像の輝度
が増して表示される。反対に、暗補正ボタン193が押
下された場合、狭ダイナミックレンジ画像の簡易生成に
用いられる露出比率rが所定の値だけ減少される。よっ
て、ガイド172の内部領域の狭ダイナミックレンジ画
像の輝度が減じて表示される。OKボタン194が押下
された場合、現状の露出比率rが第2の最適露出情報と
して設定される。For example, when the lightness correction button 192 is pressed, the exposure ratio r used for simple generation of a narrow dynamic range image is increased by a predetermined value. Therefore, the brightness of the narrow dynamic range image in the inner area of the guide 172 is displayed with increased brightness. Conversely, when the darkness correction button 193 is pressed, the exposure ratio r used for simple generation of a narrow dynamic range image is reduced by a predetermined value. Therefore, the brightness of the narrow dynamic range image in the area inside the guide 172 is reduced and displayed. When the OK button 194 is pressed, the current exposure ratio r is set as the second optimum exposure information.
【0140】図33に戻る。ステップS124におい
て、ステップS121で設定された第1の最適露出情報
(ガイド172の形状を示すインデックス)、およびス
テップS123で設定された第2の最適露出情報に基づ
き、広ダイナミックレンジ画像信号が狭ダイナミックレ
ンジ画像信号に変換される。Returning to FIG. In step S124, based on the first optimal exposure information (index indicating the shape of the guide 172) set in step S121 and the second optimal exposure information set in step S123, the wide dynamic range image signal is converted into a narrow dynamic range image signal. It is converted to a range image signal.
【0141】具体的には、注目輝度・最適注目輝度対に
ついては、第1の最適露出情報(ガイド172の形状を
示すインデックス)に基づいてガイド172の内部領域
の広ダイナミックレンジ画像の輝度が取得され、その輝
度のヒストグラムが生成されて、最も高い頻度を示す輝
度が注目輝度Mに設定される。More specifically, for the target luminance / optimal target luminance pair, the luminance of the wide dynamic range image in the area inside the guide 172 is obtained based on the first optimum exposure information (index indicating the shape of the guide 172). Then, a histogram of the luminance is generated, and the luminance indicating the highest frequency is set as the target luminance M.
【0142】最適注目輝度Mmとしては、広ダイナミッ
クレンジ画像の輝度に第2の最適露出情報としての露出
比率rが乗算されて狭ダイナミックレンジ画像が簡易生
成され、そのうちのガイド172の内部領域の輝度が抽
出されて、ヒストグラムが生成され、最も高い頻度を示
す輝度が最適注目輝度Mmに設定される。それ以降の処
理は、図24および図25を用いて上述した、画像処理
システムの画像処理部11が最適露出情報を設定する際
の第2の動作例と同様である。As the optimum noticeable brightness Mm, a narrow dynamic range image is easily generated by multiplying the brightness of the wide dynamic range image by the exposure ratio r as the second optimum exposure information, and the brightness of the internal area of the guide 172 is obtained. Is extracted, a histogram is generated, and the luminance indicating the highest frequency is set as the optimum luminance of interest Mm. The subsequent processing is the same as the second operation example when the image processing unit 11 of the image processing system sets the optimum exposure information described above with reference to FIGS.
【0143】変換された狭ダイナミックレンジ画像信号
は、メモリ148に格納される。The converted narrow dynamic range image signal is stored in the memory 148.
【0144】以上説明したように、ディジタルカメラ1
40の第2の動作例によれば、操作部158に対する簡
易な操作により、ユーザが注目したい領域をガイド17
2で指定することができ、さらに、ガイド172の内部
領域に対して所望する輝度を指定することができるの
で、得られる狭ダイナミックレンジ画像の階調がユーザ
が所望する結果により近いものとなる。As described above, the digital camera 1
According to the second operation example of 40, a simple operation on the operation unit 158 is used to guide the user to the area of interest.
2 and the desired brightness can be specified for the internal region of the guide 172, so that the gradation of the obtained narrow dynamic range image is closer to the result desired by the user.
【0145】なお、ディジタルカメラ140のDSP14
6に、上述した画像処理システムの画像処理部11と同
様の処理を実行させるようにしてもよい。反対に、画像
処理システムの画像処理部11に、ディジタルカメラ1
40のDSP146と同様の処理を実行させるようにして
もよい。The DSP 14 of the digital camera 140
6 may execute the same processing as that performed by the image processing unit 11 of the image processing system described above. Conversely, the digital camera 1 is provided in the image processing unit 11 of the image processing system.
The same processing as the DSP 146 of 40 may be executed.
【0146】ところで、本発明は、画像のダイナミック
レンジを変更せずに輝度を変更させる場合に適用するこ
とも可能である。By the way, the present invention can be applied to the case where the luminance is changed without changing the dynamic range of the image.
【0147】また、本発明は、本実施の形態のような画
像変換システムやディジタルカメラのみならず、例え
ば、スキャナ、ファクシミリ、コピー機など、画像信号
を処理する電子機器に適用することが可能である。The present invention can be applied not only to an image conversion system and a digital camera as in the present embodiment, but also to electronic equipment for processing image signals, such as a scanner, a facsimile, and a copier. is there.
【0148】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。[0148] In this specification, the steps for describing the program recorded on the recording medium are not limited to the processing performed in chronological order according to the described order, but are not necessarily performed in chronological order. Alternatively, it also includes individually executed processing.
【0149】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。In this specification, a system is
It represents the entire device composed of a plurality of devices.
【0150】[0150]
【発明の効果】以上のように、本発明の画像処理装置お
よび方法、並びに記録媒体のプログラムによれば、第2
のダイナミックレンジにおける第2の輝度値を設定し、
第2の輝度値に対応する第1のダイナミックレンジにお
ける第1の輝度値を演算し、第1の輝度値および第2の
輝度値からなる輝度対に基づいて、マッピング関数を生
成するようにしたので、広ダイナミックレンジ画像を狭
ダイナミックレンジ画像に変換する際、画像中の任意の
位置の輝度を最適化することが可能となる。As described above, according to the image processing apparatus and method of the present invention and the program of the recording medium, the second
A second brightness value in the dynamic range of
A first luminance value in a first dynamic range corresponding to the second luminance value is calculated, and a mapping function is generated based on a luminance pair including the first luminance value and the second luminance value. Therefore, when converting a wide dynamic range image into a narrow dynamic range image, it is possible to optimize the luminance at an arbitrary position in the image.
【図1】本発明の一実施の形態である画像処理システム
の構成例を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration example of an image processing system according to an embodiment of the present invention.
【図2】図1の撮像装置1の構成例を示すブロック図で
ある。FIG. 2 is a block diagram illustrating a configuration example of the imaging apparatus 1 of FIG.
【図3】図2のCCDイメージセンサ23の構成例を示す
ブロック図である。FIG. 3 is a block diagram illustrating a configuration example of a CCD image sensor 23 in FIG. 2;
【図4】CCDイメージセンサ23の感度特性を説明する
ための図である。FIG. 4 is a diagram for explaining a sensitivity characteristic of the CCD image sensor 23;
【図5】前置増幅器24の処理を説明するための図であ
る。FIG. 5 is a diagram for explaining processing of a preamplifier 24;
【図6】図1の画像処理装置2を実現するパーソナルコ
ンピュータの構成例を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration example of a personal computer that implements the image processing apparatus 2 of FIG.
【図7】画像処理システムの動作を説明するフローチャ
ートである。FIG. 7 is a flowchart illustrating an operation of the image processing system.
【図8】画像処理装置2の最適露出情報設定処理を説明
するフローチャートである。FIG. 8 is a flowchart illustrating an optimal exposure information setting process of the image processing apparatus 2.
【図9】画像処理装置2が狭ダイナミックレンジ画像を
簡易生成する処理を説明するフローチャートである。FIG. 9 is a flowchart illustrating a process in which the image processing apparatus 2 simply generates a narrow dynamic range image.
【図10】最適露出情報を設定する第1の動作例を説明
するための表示部13の表示例を示す図である。FIG. 10 is a diagram illustrating a display example of a display unit for explaining a first operation example of setting optimum exposure information.
【図11】最適露出情報を設定する第1の動作例におけ
るGUIの表示例を示す図である。FIG. 11 is a diagram illustrating a display example of a GUI in a first operation example for setting optimal exposure information.
【図12】画像処理部11の第1の構成例を示すブロッ
ク図である。FIG. 12 is a block diagram illustrating a first configuration example of an image processing unit 11;
【図13】図12の輝度対検出部81の処理を説明する
フローチャートである。FIG. 13 is a flowchart illustrating processing of a luminance pair detection unit 81 in FIG. 12;
【図14】輝度対検出部81の処理を説明するための図
である。FIG. 14 is a diagram for explaining processing of a luminance pair detection unit 81;
【図15】図12のマッピング関数生成部82の構成例
を示すブロック図である。15 is a block diagram illustrating a configuration example of a mapping function generation unit 82 in FIG.
【図16】マッピング関数生成部82の処理を説明する
フローチャートである。FIG. 16 is a flowchart illustrating processing of a mapping function generation unit 82;
【図17】図15の最大・最小輝度取得部91の処理を
説明するための図である。FIG. 17 is a diagram for explaining processing of a maximum / minimum luminance acquisition unit 91 in FIG. 15;
【図18】マッピング関数生成部82の処理を説明する
ための図である。FIG. 18 is a diagram for explaining processing of a mapping function generation unit 82;
【図19】マッピング関数生成部82の処理を説明する
ための図である。FIG. 19 is a diagram for explaining processing of a mapping function generation unit 82;
【図20】マッピング関数生成部82の処理を説明する
ための図である。FIG. 20 is a diagram for explaining processing of a mapping function generation unit 82;
【図21】マッピング関数生成部82の処理を説明する
ための図である。FIG. 21 is a diagram for explaining processing of a mapping function generation unit 82;
【図22】図16のステップS50の処理の詳細を説明
するフローチャートである。FIG. 22 is a flowchart illustrating details of a process in step S50 in FIG. 16;
【図23】図12のマッピング部83の処理を説明する
フローチャートである。FIG. 23 is a flowchart illustrating a process of a mapping unit 83 of FIG. 12;
【図24】最適露出情報を設定する第2の動作例を説明
するための表示部13の表示例を示す図である。FIG. 24 is a diagram illustrating a display example of the display unit for explaining a second operation example of setting the optimum exposure information.
【図25】最適露出情報を設定する第2の動作例におけ
るGUIの表示例を示す図である。FIG. 25 is a diagram illustrating a display example of a GUI in a second operation example for setting optimal exposure information.
【図26】画像処理部11の第2の構成例を示すブロッ
ク図である。FIG. 26 is a block diagram illustrating a second configuration example of the image processing unit 11;
【図27】画像処理部11の第2の構成例の処理を説明
するフローチャートである。FIG. 27 is a flowchart illustrating processing of the second configuration example of the image processing unit 11;
【図28】本発明の一実施の形態であるディジタルカメ
ラ140の構成例を示すブロック図である。FIG. 28 is a block diagram illustrating a configuration example of a digital camera 140 according to an embodiment of the present invention.
【図29】ディジタルカメラ140の第1の動作例を説
明するフローチャートである。FIG. 29 is a flowchart illustrating a first operation example of the digital camera 140.
【図30】ディジタルカメラ140の第1の動作例にお
いて最適露出情報を設定する処理を説明するための表示
部151の表示例を示す図である。30 is a diagram illustrating a display example of a display unit for explaining a process of setting optimal exposure information in the first operation example of the digital camera. FIG.
【図31】表示部151に表示されるガイド172の形
状の種類を示す図である。FIG. 31 is a diagram showing types of shapes of a guide 172 displayed on a display unit 151.
【図32】ディジタルカメラ140の操作部158に設
けられるガイド選択パネル181を示す図である。FIG. 32 is a view showing a guide selection panel 181 provided on the operation unit 158 of the digital camera 140.
【図33】ディジタルカメラ140の第2の動作例を説
明するフローチャートである。FIG. 33 is a flowchart illustrating a second operation example of the digital camera 140.
【図34】ディジタルカメラ140の第1の動作例にお
いて最適露出情報を設定する処理を説明するための表示
部151の表示例を示す図である。FIG. 34 is a diagram illustrating a display example of the display unit 151 for describing a process of setting optimal exposure information in the first operation example of the digital camera 140.
【図35】ディジタルカメラ140の操作部158に設
けられる輝度補正パネル191を示す図である。FIG. 35 is a diagram showing a luminance correction panel 191 provided in the operation unit 158 of the digital camera 140.
1 撮像装置, 2 画像処理装置, 11 画像処理
部, 12 操作入力部, 13 表示部, 41 CP
U, 52 磁気ディスク, 53 光ディスク, 5
4 光磁気ディスク, 55 半導体メモリ, 71画
像選択ボタンパネル, 81 輝度対検出部, 82
マッピング関数生成部, 83 マッピング部, 91
最大・最小輝度取得部, 92 高域関数決定部,
93 低域関数決定部, 94 関数合成部, 111
範囲指定パネル, 121 輝度信号生成部, 12
2 輝度対検出部, 123 色補正関数生成部, 1
24 マッピング部, 125 マッピング関数生成
部, 126 マッピング部, 127,128 べき
乗演算部, 129 スケーリング部, 140 ディ
ジタルカメラ, 146 DSP, 152 制御部,
154 磁気ディスク, 155 光ディスク, 15
6 光磁気ディスク, 157 半導体メモリ, 15
8 操作部, 172 ガイド, 181 ガイド選択
パネル, 191 輝度補正パネル1 imaging device, 2 image processing device, 11 image processing unit, 12 operation input unit, 13 display unit, 41 CP
U, 52 magnetic disk, 53 optical disk, 5
4 magneto-optical disk, 55 semiconductor memory, 71 image selection button panel, 81 luminance pair detection unit, 82
Mapping function generation unit, 83 mapping unit, 91
Maximum / minimum luminance acquisition unit, 92 high-frequency function determination unit,
93 Low-frequency function determination unit, 94 Function synthesis unit, 111
Range designation panel, 121 Luminance signal generator, 12
2 luminance pair detector, 123 color correction function generator, 1
24 mapping section, 125 mapping function generation section, 126 mapping section, 127, 128 exponentiation operation section, 129 scaling section, 140 digital camera, 146 DSP, 152 control section,
154 magnetic disk, 155 optical disk, 15
6 magneto-optical disk, 157 semiconductor memory, 15
8 operation section, 172 guide, 181 guide selection panel, 191 brightness correction panel
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/46 H04N 1/40 D 5C082 5/20 101E 9/73 1/46 Z Fターム(参考) 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE11 CE16 CH08 DC23 5C021 PA78 PA80 PA85 PA86 RB03 RB09 XA02 XA35 5C066 AA03 AA05 AA11 CA17 EA13 EC01 GA05 KE09 KE19 KE20 KF05 KM11 5C077 LL16 LL19 PP15 PP35 PP37 PQ12 PQ19 SS05 SS06 TT09 5C079 HB01 HB04 JA23 LA23 LA26 LB02 MA11 NA01 5C082 AA03 AA27 CA11 CA84 CB01 MM10 ──────────────────────────────────────────────────の Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) H04N 1/46 H04N 1/40 D 5C082 5/20 101E 9/73 1/46 Z F term (Reference) 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE11 CE16 CH08 DC23 5C021 PA78 PA80 PA85 PA86 RB03 RB09 XA02 XA35 5C066 AA03 AA05 AA11 CA17 EA13 EC01 GA05 KE09 KE19 KE20 KF05 P15P07P15PPK15PPK JA23 LA23 LA26 LB02 MA11 NA01 5C082 AA03 AA27 CA11 CA84 CB01 MM10
Claims (6)
ンジを有する第1の画像信号を、第2のダイナミックレ
ンジを有する第2の画像信号に変換する画像処理装置に
おいて、 前記第2のダイナミックレンジにおける第2の輝度値を
設定する設定手段と、 前記第2の輝度値に対応する前記第1のダイナミックレ
ンジにおける第1の輝度値を演算する演算手段と、 前記第1の輝度値および前記第2の輝度値からなる輝度
対に基づいて、マッピング関数を生成するマッピング関
数生成手段と、 前記マッピング関数生成手段が生成した前記マッピング
関数を用いて前記第1の画像信号を前記第2の画像信号
に変換する変換手段とを含むことを特徴とする画像処理
装置。1. An image processing apparatus for converting a first image signal having a first dynamic range into a second image signal having a second dynamic range with respect to a luminance value, wherein: Setting means for setting a second brightness value; calculating means for calculating a first brightness value in the first dynamic range corresponding to the second brightness value; and a first brightness value and a second brightness value Mapping function generating means for generating a mapping function based on a luminance pair consisting of the luminance values of: the first image signal is converted to the second image signal using the mapping function generated by the mapping function generating means An image processing apparatus comprising: a conversion unit configured to perform conversion.
ナミックレンジにおける前記第1の輝度値よりも小さい
輝度値に対応する前記第2のダイナミックレンジにおけ
る輝度値を示す第1の関数を生成する第1の関数生成手
段と、 前記輝度対に対応する点を通り、かつ、前記第1のダイ
ナミックレンジにおける前記第1の輝度値以上の輝度値
に対応する前記第2のダイナミックレンジにおける輝度
値を示す第2の関数を生成する第2の関数生成手段と、 前記輝度対が示す点の近傍において、前記第1および第
2の関数を滑らかに接続する第3の関数を生成する第3
の関数生成手段とを含むことを特徴とする請求項1に記
載の画像処理装置。2. The method according to claim 1, wherein the mapping function generation unit is configured to: pass the point corresponding to the luminance pair and correspond to a luminance value smaller than the first luminance value in the first dynamic range. First function generating means for generating a first function indicating a luminance value in a range; and a luminance value passing through a point corresponding to the luminance pair and being equal to or greater than the first luminance value in the first dynamic range. A second function generating means for generating a second function indicating a luminance value in the second dynamic range corresponding to the following; and smoothing the first and second functions near a point indicated by the luminance pair. Third to generate a third function to connect
The image processing apparatus according to claim 1, further comprising: a function generating unit.
関数が示す所定の1点、前記輝度対が示す1点、および
前記第2の関数が示す所定の1点の3点によって定義さ
れる2次曲線関数を、前記第3の関数として生成するこ
とを特徴とする請求項2に記載の画像処理装置。3. The third function generating means includes: a predetermined point indicated by the first function, a point indicated by the luminance pair, and a predetermined point indicated by the second function. The image processing apparatus according to claim 2, wherein a defined quadratic curve function is generated as the third function.
2の画像信号を構成する3原色信号の色バランスを補正
するための補正情報を算出する算出手段と、 前記補正情報を用いて、前記第2の画像信号を構成する
前記3原色信号を補正する補正手段とをさらに含むこと
を特徴とする請求項1に記載の画像処理装置。4. A calculating means for calculating correction information for correcting a color balance of three primary color signals constituting the second image signal based on the mapping function, and using the correction information, 2. The image processing apparatus according to claim 1, further comprising: a correction unit configured to correct the three primary color signals constituting the two image signals.
ンジを有する第1の画像信号を、第2のダイナミックレ
ンジを有する第2の画像信号に変換する画像処理装置の
画像処理方法において、 前記第2のダイナミックレンジにおける第2の輝度値を
設定する設定ステップと、 前記第2の輝度値に対応する前記第1のダイナミックレ
ンジにおける第1の輝度値を演算する演算ステップと、 前記第1の輝度値および前記第2の輝度値からなる輝度
対に基づいて、マッピング関数を生成するマッピング関
数生成ステップと、 前記マッピング関数生成ステップの処理で生成された前
記マッピング関数を用いて前記第1の画像信号を前記第
2の画像信号に変換する変換ステップとを含むことを特
徴とする画像処理方法。5. An image processing method of an image processing device for converting a first image signal having a first dynamic range into a second image signal having a second dynamic range with respect to a luminance value, wherein A setting step of setting a second luminance value in a dynamic range of; a calculating step of calculating a first luminance value in the first dynamic range corresponding to the second luminance value; and the first luminance value And a mapping function generating step of generating a mapping function based on a luminance pair composed of the second luminance value, and the first image signal using the mapping function generated in the processing of the mapping function generating step. Converting the image data into the second image signal.
ンジを有する第1の画像信号を、第2のダイナミックレ
ンジを有する第2の画像信号に変換する画像処理用のプ
ログラムであって、 前記第2のダイナミックレンジにおける第2の輝度値を
設定する設定ステップと、 前記第2の輝度値に対応する前記第1のダイナミックレ
ンジにおける第1の輝度値を演算する演算ステップと、 前記第1の輝度値および前記第2の輝度値からなる輝度
対に基づいて、マッピング関数を生成するマッピング関
数生成ステップと、 前記マッピング関数生成ステップの処理で生成された前
記マッピング関数を用いて前記第1の画像信号を前記第
2の画像信号に変換する変換ステップとを含むことを特
徴とするコンピュータが読み取り可能なプログラムが記
録されている記録媒体。6. An image processing program for converting a first image signal having a first dynamic range into a second image signal having a second dynamic range with respect to a luminance value, the program comprising: A setting step of setting a second luminance value in a dynamic range of; a calculating step of calculating a first luminance value in the first dynamic range corresponding to the second luminance value; and the first luminance value And a mapping function generating step of generating a mapping function based on a luminance pair consisting of the second luminance value, and the first image signal using the mapping function generated in the processing of the mapping function generating step. And a conversion step of converting the image data into the second image signal. In which the recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000328161A JP4556319B2 (en) | 2000-10-27 | 2000-10-27 | Image processing apparatus and method, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000328161A JP4556319B2 (en) | 2000-10-27 | 2000-10-27 | Image processing apparatus and method, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002132243A true JP2002132243A (en) | 2002-05-09 |
JP4556319B2 JP4556319B2 (en) | 2010-10-06 |
Family
ID=18805057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000328161A Expired - Fee Related JP4556319B2 (en) | 2000-10-27 | 2000-10-27 | Image processing apparatus and method, and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4556319B2 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006098360A1 (en) * | 2005-03-15 | 2006-09-21 | Omron Corporation | Image processor, image processing method, image processing system, program and recording medium |
WO2006098356A1 (en) * | 2005-03-15 | 2006-09-21 | Omron Corporation | Image processor, image processing method, program and recording medium |
WO2012071235A1 (en) * | 2010-11-23 | 2012-05-31 | Dolby Laboratories Licensing Corporation | Content metadata enhancement of high dynamic range images |
JP2012532335A (en) * | 2009-06-29 | 2012-12-13 | トムソン ライセンシング | Zone-based tone mapping |
JP2016034125A (en) * | 2014-07-28 | 2016-03-10 | ソニー株式会社 | Image processing unit and image processing method |
JP2018091999A (en) * | 2016-12-02 | 2018-06-14 | キヤノン株式会社 | Image processor, display device and image processing method |
WO2019008482A1 (en) * | 2017-07-07 | 2019-01-10 | 株式会社半導体エネルギー研究所 | Display system, and display system operation method |
JP2020507220A (en) * | 2016-09-07 | 2020-03-05 | ジーブイビービー ホールディングス エス.エイ.アール.エル. | High dynamic range processing |
JP2022524651A (en) * | 2019-04-25 | 2022-05-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Content Aware PQ Range Analyzer and Tone Mapping in Live Feed |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583596A (en) * | 1991-09-20 | 1993-04-02 | Dainippon Printing Co Ltd | Gradation corrector |
-
2000
- 2000-10-27 JP JP2000328161A patent/JP4556319B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0583596A (en) * | 1991-09-20 | 1993-04-02 | Dainippon Printing Co Ltd | Gradation corrector |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006098360A1 (en) * | 2005-03-15 | 2006-09-21 | Omron Corporation | Image processor, image processing method, image processing system, program and recording medium |
WO2006098356A1 (en) * | 2005-03-15 | 2006-09-21 | Omron Corporation | Image processor, image processing method, program and recording medium |
CN101142810B (en) * | 2005-03-15 | 2010-09-01 | 欧姆龙株式会社 | Image processor, image processing method, image processing system |
JP5182555B2 (en) * | 2005-03-15 | 2013-04-17 | オムロン株式会社 | Image processing apparatus, image processing method, image processing system, program, and recording medium |
JP2012532335A (en) * | 2009-06-29 | 2012-12-13 | トムソン ライセンシング | Zone-based tone mapping |
WO2012071235A1 (en) * | 2010-11-23 | 2012-05-31 | Dolby Laboratories Licensing Corporation | Content metadata enhancement of high dynamic range images |
KR101496755B1 (en) | 2010-11-23 | 2015-02-27 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | Content metadata enhancement of high dynamic range images |
US9275605B2 (en) | 2010-11-23 | 2016-03-01 | Dolby Laboratories Licensing Corporation | Content metadata enhancement of high dynamic range images |
JP2016034125A (en) * | 2014-07-28 | 2016-03-10 | ソニー株式会社 | Image processing unit and image processing method |
US10565695B2 (en) | 2014-07-28 | 2020-02-18 | Sony Corporation | Apparatus and method for transmitting and receiving high dynamic range images |
JP2020507220A (en) * | 2016-09-07 | 2020-03-05 | ジーブイビービー ホールディングス エス.エイ.アール.エル. | High dynamic range processing |
JP2018091999A (en) * | 2016-12-02 | 2018-06-14 | キヤノン株式会社 | Image processor, display device and image processing method |
WO2019008482A1 (en) * | 2017-07-07 | 2019-01-10 | 株式会社半導体エネルギー研究所 | Display system, and display system operation method |
US11676547B2 (en) | 2017-07-07 | 2023-06-13 | Semiconductor Energy Laboratory Co., Ltd. | Display system and operation method of the display system |
JP2022524651A (en) * | 2019-04-25 | 2022-05-09 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Content Aware PQ Range Analyzer and Tone Mapping in Live Feed |
JP7092952B2 (en) | 2019-04-25 | 2022-06-28 | ドルビー ラボラトリーズ ライセンシング コーポレイション | Content Aware PQ Range Analyzer and Tone Mapping in Live Feed |
Also Published As
Publication number | Publication date |
---|---|
JP4556319B2 (en) | 2010-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4427001B2 (en) | Image processing apparatus and image processing program | |
US6825884B1 (en) | Imaging processing apparatus for generating a wide dynamic range image | |
JP4524717B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP4163353B2 (en) | Image processing device | |
RU2443068C2 (en) | Image forming apparatus and method and software | |
US6812969B2 (en) | Digital camera | |
JP5434361B2 (en) | Image processing apparatus and image processing method | |
US7432975B2 (en) | Automatic focusing method and digital photographing apparatus using the same | |
JP2007049540A (en) | Image processing apparatus and method, recording medium, and program | |
JP4192418B2 (en) | Image processing apparatus and method, and recording medium | |
JP2022179514A (en) | Control apparatus, imaging apparatus, control method, and program | |
US20230196530A1 (en) | Image processing apparatus, image processing method, and image capture apparatus | |
JP4556319B2 (en) | Image processing apparatus and method, and recording medium | |
US20060028575A1 (en) | Automatic focusing method and digital photographing apparatus using the same | |
JP6108680B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP2011171842A (en) | Image processor and image processing program | |
KR101445613B1 (en) | Image processing method and apparatus, and digital photographing apparatus using thereof | |
EP4199528A1 (en) | Image processing apparatus, image capture apparatus, and image processing method | |
JP2018185586A (en) | Image processing device and image processing method, and imaging device | |
KR101750986B1 (en) | An apparatus and a method for processing image, and a computer-readable storage medium | |
KR101605769B1 (en) | Image processing method and apparatus, and digital photographing apparatus using thereof | |
JP2003230022A (en) | Image processing apparatus and method, and recording medium | |
JP2006094419A (en) | Image signal processing apparatus and image signal processing method | |
JP2010283527A (en) | Image processor and method of the same | |
JP6624895B2 (en) | Image processing apparatus, imaging apparatus, control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100614 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100629 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100712 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130730 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |