JP2004297407A - 画像処理方法 - Google Patents

画像処理方法 Download PDF

Info

Publication number
JP2004297407A
JP2004297407A JP2003086329A JP2003086329A JP2004297407A JP 2004297407 A JP2004297407 A JP 2004297407A JP 2003086329 A JP2003086329 A JP 2003086329A JP 2003086329 A JP2003086329 A JP 2003086329A JP 2004297407 A JP2004297407 A JP 2004297407A
Authority
JP
Japan
Prior art keywords
image
signal
gradation
processing method
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003086329A
Other languages
English (en)
Inventor
Koji Ichikawa
幸治 市川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003086329A priority Critical patent/JP2004297407A/ja
Publication of JP2004297407A publication Critical patent/JP2004297407A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Studio Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】鑑賞しやすい動画を得ることができる画像処理方法を提供する。
【解決手段】画像合成パラメータ決定部66は、合成する画像から複数フレーム前、例えば149フレーム前までの全150フレームの画像合成パラメータP、または画像合成パラメータPを求める際に参照した画像の特徴量の平均値を求め、この平均値を元にして画像合成パラメータPを決定する。画像合成処理部63では、画像合成パラメータ決定部66で決定された画像合成パラメータPを用いて高感度信号Hと低感度信号Lとを合成する。
【選択図】 図6

Description

【0001】
【発明の属する技術分野】
本発明は、広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる2画面の動画像を合成する画像処理方法に関する。
【0002】
【従来の技術】
デジタルカメラに搭載されるCCDイメージセンサなどの撮像素子は、画面の最も明るい部分から最も暗い部分までの階調を再現する能力、いわゆるダイナミックレンジが写真フイルムと比較して狭いため、明暗差の大きいシーンを撮影した場合には、高輝度域が白飛びしたり、低輝度域が黒くつぶれてしまう。
【0003】
上記のような問題を解決するために、CCDの出力信号を、暗い部分を強調した階調補正を行う暗部階調補正回路と、明るい部分を強調した階調補正を行う明部階調補正回路との2回路に供給し、この2回路の出力画像を加算することにより、ダイナミックレンジの広い動画像を得ることができる撮像装置が提案されている(特許文献1参照)。また、露光量の異なる2画面の動画像を合成した後、画像の輝度変化に応じてダイナミックレンジの圧縮係数を切り換える画像処理装置が提案されている(特許文献2参照)。
【0004】
【特許文献1】
特開平7−212620号公報
【特許文献2】
特開平9−298685号公報
【0005】
【発明が解決しようとする課題】
CCDを搭載したデジタルカメラで動画撮影を行う場合、カメラ自体の移動、あるいは被写体の移動により撮影シーンが時間的に変化する。このため、特許文献1および2に記載される装置では、ダイナミックレンジが急激に変化する場合があり、撮影した動画像が見づらくなるおそれがある。
【0006】
本発明は、動画の階調特性や明るさの時間的変化を緩やかにさせることで、鑑賞しやすい動画を得ることができる画像処理方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために、本発明は、広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる2画面の動画像を合成する画像処理方法において、前記合成を行う際に用いられ、前記動画像の特徴量に応じて変化する画像合成パラメータを、合成する画像から複数フレーム前までの画像合成パラメータまたは前記特徴量を元にして決定することを特徴とする。
【0008】
また、本発明は、広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる2画面の動画像を合成し、合成した動画像データに階調圧縮を施す画像処理方法において、前記階調圧縮を行う際に用いられ、前記動画像の特徴量に応じて変化する階調圧縮パラメータを、合成する画像から複数フレーム前までの階調圧縮パラメータまたは前記特徴量を元にして決定することを特徴とする。
【0009】
【発明の実施の形態】
図1および図2において、デジタルカメラ2の正面には、矢印方向にスライド操作自在なレンズバリア10が設けられている。このレンズバリア10を図1に示す開放位置にスライドさせることにより、撮像レンズ11、ストロボ発光部12が露呈して撮影可能な状態となる。
【0010】
撮像レンズ11の背後には、CCD30(図3参照)が配置されている。CCD30からの撮像信号は、A/D変換器31(図3参照)により、デジタルの画像データに変換される。この画像データは、デジタルカメラ2の背面に設けられた液晶表示器(LCD)13で、いわゆるスルー画像として表示される。また、デジタルカメラ2には光学ファインダを構成するファインダ対物窓14およびファインダ接眼窓15が設けられており、これらを通して被写体画像のフレーミングが行われる。
【0011】
デジタルカメラ2の上面には、レリーズボタン16が設けられている。このレリーズボタン16は、2段階押しのスイッチとなっており、LCD13または光学ファインダによるフレーミングの後にレリーズボタン16を軽く押圧すると、露光調整、撮像レンズ11の焦点調整などの各種撮影準備処理が施される。撮影準備処理が施された撮像信号は、レリーズボタン16を離すまでデータロックされる。そして、この状態でレリーズボタン16をもう1度強く押圧すると、撮影準備処理が施された1画面分の撮像信号が画像データに変換された後、メモリカードスロット17に着脱自在に装填されるメモリカード18などの記憶媒体に保存される。
【0012】
デジタルカメラ2の背面には、LCD13の他に、電源のオン/オフ切替えを行う電源ボタン、撮像レンズ11のズームレンズをワイド側、テレ側に変倍するズーム操作ボタン、各種モードを選択するモード切替えスイッチ、およびLCD13に表示されるメニュー画面内でカーソルを移動させるカーソル操作板からなる操作部19(1点鎖線で囲む部分)が設けられている。
【0013】
デジタルカメラ2では、静止画撮影を行う静止画撮影モード、動画撮影を行う動画撮影モード、撮影した画像をLCD13に表示する再生モード、および各種設定を行うセットアップモードなどが選択可能となっており、操作部19のモード切替えスイッチを操作することで、これらのモードの切替えが行われる。
【0014】
デジタルカメラ2の電気的構成を示す図3において、撮像レンズ11の背後には、撮像レンズ11を透過した被写体光が入射されるCCD30が配置されている。CCD30から出力された撮像信号は、図示しない相関二重サンプリング回路に入力され、CCD30の各セルの蓄積電荷量に正確に対応したR、G、Bの画像データとして出力される。相関二重サンプリング回路から出力された画像データは、増幅器(図示せず)で増幅され、A/D変換器31でデジタルデータに変換される。
【0015】
A/D変換器31から出力された画像データは、画像信号処理回路32に送信される。画像信号処理回路32は、後述する各種画像処理を画像データに施す。画像処理後の画像データは、圧縮伸長処理回路33により所定のファイル形式(例えばJPEG形式)で画像圧縮される。
【0016】
圧縮伸長処理回路33により圧縮された画像データは、カードI/F34を介してメモリカード18に保存される。または、外部I/F35を介してパーソナルコンピュータなどの外部機器に送信される。あるいは、LCDドライバ36を介してLCD13に表示される。
【0017】
CPU37は、システムバス38を介して各部に接続し、デジタルカメラ2全体の動作を統括制御する。システムバス38には、RAM39が接続されている。RAM39には、各種処理の実行に必要なデータが一時記憶される。CPU37には、前述のレリーズボタン16、操作部19の他に、EEPROM40、測光・測距回路41が接続されている。EEPROM40には、各種制御用のプログラムや設定情報が記録されている。CPU37は、これらの情報をEEPROM40から読み出して各種処理を実行する。
【0018】
測光・測距回路41は、被写体の輝度および撮像レンズ11との距離を検出し、CPU37に検出結果を送信する。CPU37は、この検出結果に基づいて、適正な焦点距離および露光量となるように撮像レンズ11の各種パラメータを調整する。測光・測距回路41は、CPU37からフィードバックされる調整信号を元に、撮像レンズ11、およびストロボ装置42を制御するストロボ制御回路43を駆動させる。
【0019】
図4に示すように、CCD30には、1つの画素を構成する光電変換素子の受光部50が、一定のピッチで複数配列されている。受光部50は、いわゆるハニカム形状を有し、主感光部50aと、この主感光部50aよりも受光面積が小さい副感光部50bとからなる。CCD30は、主感光部50aと副感光部50bの信号電荷を別々に取り出せるようになっている。
【0020】
図5に示すように、主感光部50aの信号出力は、副感光部50bと比較して少ない入射光量で飽和する。これにより、主感光部50aからは、主として低輝度域から中輝度域の階調を表現する高感度信号Hが取り込まれ、副感光部50bからは、高感度信号Hでは表現できない高輝度域の階調を表現する低感度信号Lが取り込まれる。
【0021】
図6に示すように、本発明の第1の実施形態に係る画像信号処理回路32には、マトリクス補正部60a、60b、ホワイトバランス(WB)補正部61a、61b、γ補正部62a、62b、画像合成処理部63などが設けられている。各補正部60a〜62a、60b〜62bは、主副感光部50a、50bで取り込まれた高感度信号H、低感度信号Lに対して、それぞれ別々に各種補正を施す。
【0022】
マトリクス補正部60a、60bは、リニアマトリクス変換式に基づいて色補正係数を補正する。WB補正部61a、61bは、色補正後の各データのホワイトバランスを調整する。γ補正部62a、62bは、ホワイトバランス調整後の各信号に対してγ補正を行う。γ補正後の各信号は、画像合成処理部63に送信される。
【0023】
画像合成処理部63では、(1)式により高感度信号Hと低感度信号Lとを合成する。合成後の信号をCとして、
C={H+Min(H/T、1)×L}×Max{−0.2×H/T+1、P} ・・・(1)
但し、Tは予め設定された閾値(図7参照)、Pは画像合成パラメータである。また、Min(H/T、1)は、H/Tと1とを比較して小さい方を選択することを表し、Max{−0.2×H/T+1、P}は、−0.2×H/T+1とPとを比較して大きい方を選択することを表す。
【0024】
合成信号C、(1)式の第1項X1({H+Min(H/T、1)×L})、第2項X2(Max{−0.2×H/T+1、P})は、それぞれ図7、図8のように表される。すなわち、第1項X1では、高感度信号Hが閾値T以下のとき、高感度信号Hと低感度信号Lとがそのまま加算され、高感度信号Hが閾値T以上となると、低感度信号LにH/Tを乗じたものが高感度信号Hに加算される。第2項X2では、高感度信号Hが閾値T以下のとき、−0.2×H/T+1が選択され、高感度信号Hが閾値T以上のとき、画像合成パラメータPが選択される。なお、図7の縦軸に表記された255は、0〜255の256段階(8ビット)で画像の階調表現が行われることを例示している。
【0025】
図6において、WB補正部61a、61bの出力側には、フレームメモリ64が接続されている。このフレームメモリ64には、動画撮影時にWB補正部61a、61bから出力された1フレーム分の高感度信号Hおよび低感度信号Lが、順次または一定間隔で間引きされて書き込まれる。
【0026】
画像合成パラメータPは、画像の特徴量に応じて変化し、例えば低感度信号Lの出力の最大値などから求められる。CPU37は、フレームメモリ64に書き込まれた1フレーム分の高感度信号Hおよび低感度信号Lを元に画像合成パラメータPを求め、画像合成パラメータ記憶部65に転送する。
【0027】
画像合成パラメータ記憶部65には、画像合成パラメータ決定部66が接続されている。画像合成パラメータ決定部66は、合成する画像から複数フレーム前、例えば149フレーム前までの全150フレームの画像合成パラメータP、または画像合成パラメータPを求める際に参照した画像の特徴量(ここでは低感度信号Lの出力の最大値)の平均値を求め、この平均値を元にして画像合成パラメータPを決定する。画像合成処理部63では、画像合成パラメータ決定部66で決定された画像合成パラメータPを用いて、上記(1)式から合成信号Cを算出する。
【0028】
図9に、本発明の第2の実施形態に係る画像信号処理回路70の構成を示す。この画像信号処理回路70には、マトリクス補正部71a、71b、ホワイトバランス(WB)補正部72a、72b、画像合成処理部73、階調圧縮部74、γ補正部75、色差マトリクス補正部76などが設けられている。高感度信号H、低感度信号Lは、マトリクス補正部71a、71b、WB補正部72a、72bでそれぞれ別々に各種補正を施された後、画像合成処理部73に送信される。
【0029】
画像合成処理部73では、(2)、(3)式により高感度信号Hと低感度信号Lとを合成する。合成後の信号をC’として、
C’=αH+βL ・・・(2)
C’=αH+2L−4095α ・・・(3)
但し、(2)式は、測光・測距回路41で検出される被写体の反射率が0〜150%であるとき、(3)式は、150〜300%であるときにそれぞれ適用される。また、係数α、βは、β=2−4αの関係を有し、デジタルカメラ2の階調特性に応じて予め設定される(例えばα=0.45、β=0.2)。
【0030】
(2)、(3)式により算出された合成信号C’は、図10のように表される。ここで、図の縦軸に表記された4095は、0〜4065の4096段階(12ビット)で画像の階調表現が行われることを例示している。また、合成信号C’で表現することが可能な被写体反射率の最大値を300%としているが、本実施形態はこの値に特に限定されるものではない。
【0031】
図9において、画像合成処理部73は、合成信号C’を階調圧縮部74に送信する。階調圧縮部74は、画像中の最大被写体反射率に応じて変化する階調圧縮パラメータP’を用いて、図11に示すような階調圧縮を合成信号C’に施す。すなわち、被写体反射率100%(適正露出のとき)以下では、合成信号C’をそのまま用い、被写体反射率100%〜300%では、階調圧縮パラメータP’を用いて合成信号C’を階調圧縮し、図中C’1〜C’3の間の特性を得る。なお、図の縦軸に表記された1365は、予め設定された適正露出のときの階調値である。
【0032】
画像合成処理部73の出力側には、フレームメモリ77が接続されている。このフレームメモリ77には、動画撮影時に画像合成処理部73から出力された1フレーム分の合成信号C’が、順次または一定間隔で間引きされて書き込まれる。CPU37は、フレームメモリ77に書き込まれた1フレーム分の合成信号C’を元に階調圧縮パラメータP’を求め、階調圧縮パラメータ記憶部78に転送する。
【0033】
階調圧縮パラメータ記憶部78には、階調圧縮パラメータ決定部79が接続されている。階調圧縮パラメータ決定部79は、合成する画像から複数フレーム前、例えば149フレーム前までの全150フレームの階調圧縮パラメータP’、または階調圧縮パラメータP’を求める際に参照した画像の特徴量(ここでは画像中の最大被写体反射率)の平均値を求め、この平均値を元にして階調圧縮パラメータP’を決定する。階調圧縮部74では、階調圧縮パラメータ決定部79で決定された階調圧縮パラメータP’を用いて合成信号C’に階調圧縮を施す。このような構成であると、カメラ自体の移動、あるいは被写体の移動により撮影シーンが変化した場合に、ダイナミックレンジが急激に変化することを抑制することができる。
【0034】
なお、上記実施形態では、主感光部50aと副感光部50bとからなるダブルハニカム構造を有するCCDを用いたが、撮像感度または露光量の異なる2画面の動画像を得ることができればよく、本発明はこれに限定されない。また、画像合成および階調圧縮に用いた(1)〜(3)式やその方法は一例であり、仕様に応じて適宜変更可能である。さらに、画像合成パラメータP、階調圧縮パラメータP’、および特徴量の平均値を求める方法としては、単純な加算平均でもよいし、合成する画像からの時間差に応じた重み付け平均を用いてもよい。
【0035】
【発明の効果】
以上のように、本発明の画像処理方法によれば、撮像感度または露光量の異なる2画面の動画像を合成する際に用いる画像合成パラメータ、あるいは合成した動画像データに階調圧縮を施す際に用いる階調圧縮パラメータを、合成する画像から複数フレーム前までのパラメータまたは画像の特徴量を元にして決定するので、動画の階調特性や明るさの時間的変化を緩やかにさせることができる。したがって、鑑賞しやすい動画を得ることができる。
【図面の簡単な説明】
【図1】デジタルカメラの正面概観斜視図である。
【図2】デジタルカメラの背面概観斜視図である。
【図3】デジタルカメラの電気的構成を示すブロック図である。
【図4】CCDの構成を示す拡大平面図である。
【図5】露光量に対する高感度信号と低感度信号の出力を示すグラフである。
【図6】本発明の第1の実施形態に係る画像信号処理回路の構成を示すブロック図である。
【図7】被写体輝度に対する高感度信号、低感度信号、(1)式の第1項、および合成信号の出力を示すグラフである。
【図8】高感度信号と(1)式の第2項との関係を示すグラフである。
【図9】本発明の第2の実施形態に係る画像信号処理回路の構成を示すブロック図である。
【図10】被写体反射率に対する高感度信号、低感度信号、および合成信号の出力を示すグラフである。
【図11】被写体反射率に対する階調圧縮後の合成信号の出力を示すグラフである。
【符号の説明】
2 デジタルカメラ
11 撮像レンズ
13 液晶表示器(LCD)
16 レリーズボタン
30 CCD
32、70 画像信号処理回路
37 CPU
41 測光・測距回路
50a 主感光部
50b 副感光部
63、73 画像合成処理部
64、77 フレームメモリ
65 画像合成パラメータ記憶部
66 画像合成パラメータ決定部
74 階調圧縮部
78 階調圧縮パラメータ記憶部
79 階調圧縮パラメータ決定部

Claims (2)

  1. 広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる2画面の動画像を合成する画像処理方法において、
    前記合成を行う際に用いられ、前記動画像の特徴量に応じて変化する画像合成パラメータを、
    合成する画像から複数フレーム前までの画像合成パラメータまたは前記特徴量を元にして決定することを特徴とする画像処理方法。
  2. 広いダイナミックレンジをもつ画像を得るために、撮像感度または露光量の異なる2画面の動画像を合成し、合成した動画像データに階調圧縮を施す画像処理方法において、
    前記階調圧縮を行う際に用いられ、前記動画像の特徴量に応じて変化する階調圧縮パラメータを、
    合成する画像から複数フレーム前までの階調圧縮パラメータまたは前記特徴量を元にして決定することを特徴とする画像処理方法。
JP2003086329A 2003-03-26 2003-03-26 画像処理方法 Pending JP2004297407A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003086329A JP2004297407A (ja) 2003-03-26 2003-03-26 画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003086329A JP2004297407A (ja) 2003-03-26 2003-03-26 画像処理方法

Publications (1)

Publication Number Publication Date
JP2004297407A true JP2004297407A (ja) 2004-10-21

Family

ID=33401016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003086329A Pending JP2004297407A (ja) 2003-03-26 2003-03-26 画像処理方法

Country Status (1)

Country Link
JP (1) JP2004297407A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162479A (ja) * 2012-02-08 2013-08-19 Canon Inc 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013162479A (ja) * 2012-02-08 2013-08-19 Canon Inc 撮像装置
US9414035B2 (en) 2012-02-08 2016-08-09 Canon Kabushiki Kaisha Image capturing apparatus provided with a function of combining a plurality of captured images

Similar Documents

Publication Publication Date Title
KR100819804B1 (ko) 촬상 장치
US8488019B2 (en) Image-capturing device, image-capturing method and storage medium storing image-capturing program for generating a wide dynamic range image
CN102148930B (zh) 摄像设备和图像处理方法
JP2008170932A (ja) 撮像装置および撮像装置の露出制御方法
TW201105118A (en) Imaging device, imaging method and computer-readable recording medium
US7830447B2 (en) Imaging apparatus including a plurality of image pickup elements
JP5009880B2 (ja) 撮像装置及び撮像方法
JP2005269373A (ja) 映像信号処理システムおよび電子映像機器
JP4717720B2 (ja) 画像処理装置および方法並びにプログラム
JP2006108759A (ja) 撮像装置
US7876366B2 (en) Electronic camera
JP4033456B2 (ja) デジタルカメラ
JP2004363726A (ja) 画像処理方法及びデジタルカメラ
JP2004007133A (ja) 撮像装置
EP2515543B1 (en) Image capturing apparatus and image capturing method
JP5310331B2 (ja) 撮像装置および撮像方法
WO2006054763A1 (ja) 電子カメラ
JP5772064B2 (ja) 撮像装置及び画像生成プログラム
KR101408359B1 (ko) 촬상장치 및 촬상방법
JP2004297407A (ja) 画像処理方法
JP2004128558A (ja) 撮像装置
JP5351663B2 (ja) 撮像装置およびその制御方法
JP2012129611A (ja) 撮像装置
JP2004236006A (ja) デジタルカメラ
JP2010081345A (ja) 撮像装置