JP2006203450A

JP2006203450A - 撮像装置及びその制御方法

Info

Publication number: JP2006203450A
Application number: JP2005011796A
Authority: JP
Inventors: Satoshi Nakayama; 智中山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-01-19
Filing date: 2005-01-19
Publication date: 2006-08-03
Anticipated expiration: 2025-01-19
Also published as: JP4522270B2; US8558908B2; US20060158536A1; US20110187901A1; US7948523B2; US20100134658A1

Abstract

【課題】撮像装置において、暗部の引き締まった高画質の花火画像を得られるようにすること。
【解決手段】入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像素子（１０３）と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替部（１０９）と、花火撮影モードで用いる第１のガンマ特性と、通常撮影モードで用いる第２のガンマ特性とを含むガンマ特性を切り替えるモード制御部（１１０）と、前記モード切替部により花火撮影モードに切り替えられた場合に、前記撮像素子から出力された画像信号に対して、前記モード制御部により切り替えられた第１のガンマ特性を用いてガンマ変換を行うガンマ回路（１１３）とを有し、前記第１のガンマ特性は、前記第２のガンマ特性よりも低輝度を抑制する特性を有する。
【選択図】図１

Description

本発明は、花火撮影モードを備えた撮像装置に関し、更には撮像装置の画像処理を行う為の制御方法に関する。

従来、電子カメラなどの撮像装置において、打上げ花火の撮影に特化した「打上げ花火モード」が開示されている（例えば、特許文献１参照）。人間の目には残像が残る特性がある為に花火の軌跡が尾を引いたように見えるが、実際の撮影においてはシャッター速度に応じた分の軌跡しか撮像されない為、例えば打上げ花火モード時の静止画像の撮影においては、自動的にシャッター速度を遅くして花火の軌跡を表現するなどの撮像制御が行われる。また、暗闇の中に打ちあがる為に通常の露出制御では適正な露光量にならないため、打上げ花火モード時の撮影においては花火に適した露出に固定されるなどの特殊な露出制御が行われる。

静止画撮影の場合、通常撮影モードが選択されると露出が適正になるようにシャッター速度を制御し、シャッターの開放期間に撮像素子に露光された光量分の映像信号が生成される。通常撮影モードでは手ブレや被写体ブレを防ぐ為に例えば１/３０秒程度のシャッター速度が低速側の限界となる。一方、花火撮影モードが選択されると、打上げ花火モード用として予め定まったシャッター速度となるように絞りを制御し、シャッターの開放期間に撮像素子に露光された光量分の映像信号が生成される。上述したように、人間の目には残像が残る特性がある為に花火の軌跡が尾を引いたように見えるが、電子カメラなどによる実際の撮影においてはシャッター速度に応じた分の軌跡しか撮像されない。このため、花火を撮影する際には２秒程度の期間露光を続け、花火の軌跡を表現するように撮影すると効果的である。従って、花火モード用として予め定めるシャッター速度を２秒程度とする場合が多い。図１４は１/３０秒のシャッター速度で打上げ花火を撮影した画像である。人間の目では尾を引いて見える花火もこのように点として撮像されてしまう。一方、図１５は２秒のシャッター速度で同じ打上げ花火を撮影した画像である。露光時間を２秒とすれば図のように打上げ花火の尾を引いた状態を表現することができる。

この他に花火撮影モード時の処理として、ホワイトバランスを太陽光に近い色温度に固定するなどの制御が行われる。花火撮影ではホワイトバランスの自動追尾は困難で、花火の色を人の見た目に近く表現するには太陽光に近いホワイトバランスが必要になる。

特開２００１−３１１９７７号公報

しかしながら、上記従来例の撮像装置では、バックが暗い空となる為に暗部のノイズが目立ちやすく、また、花火の煙などの影響で暗部が浮いて見えてしまう場合が多い。さらに、静止画ではシャッター速度を遅くすることで尾を引いた状態を表現できるが、動画撮影の場合は動画の更新周期に制限されてしまうため露光時間で尾を引いた状態を表現することはできなかった。また、通常撮影モードでの音声記録に音声の周波数特性を最適化すると、打上げ花火の迫力のある低音が再現されないなどの課題があった。

本発明は上記問題点を鑑みてなされたものであり、撮像装置において、暗部の引き締まった高画質の花火画像を得られるようにすることを第１の目的とする。

また、動画撮影においても花火の尾を引いた状態を表現できるようにすることを第２の目的とする。

更に、花火の撮影に最適な音声記録ができるようにすることを第３の目的とする。

上記第１の目的を達成するために、本発明の撮像装置は、入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像手段と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、花火撮影モードで用いる第１のガンマ特性と、通常撮影モードで用いる第２のガンマ特性とを含むガンマ特性を切り替えるガンマ特性切替手段と、前記モード切替手段により花火撮影モードに切り替えられた場合に、前記撮像手段から出力された画像信号に対して、前記ガンマ特性切替手段により切り替えられた第１のガンマ特性を用いてガンマ変換を行うガンマ変換手段とを有し、前記第１のガンマ特性は、前記第２のガンマ特性よりも低輝度を抑制する特性を有する。

また、本発明の撮像装置の制御方法は、入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像工程と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、花火撮影モードで用いる第１のガンマ特性と、通常撮影モードで用いる第２のガンマ特性とを含むガンマ特性を切り替えるガンマ特性切替工程と、前記モード切替工程により花火撮影モードに切り替えられた場合に、前記撮像工程から出力された画像信号に対して、前記ガンマ特性切替工程により切り替えられた第１のガンマ特性を用いてガンマ変換を行うガンマ変換工程とを有し、前記第１のガンマ特性は、前記第２のガンマ特性よりも低輝度を抑制する特性を有する。

また、別の構成によれば、本発明の撮像装置は、入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像手段と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、花火撮影モードで用いる第１の輪郭強調量と、通常撮影モードで用いる第２の輪郭強調量とを含む輪郭強調量を切り替える輪郭強調量切替手段と、前記モード切替手段により花火撮影モードに切り替えられた場合に、前記撮像手段から出力された画像信号に対して、前記輪郭強調量切替手段により切り替えられた第１の輪郭強調量を用いて輪郭強調を行う輪郭強調手段とを更に有する。

また、本発明の撮像装置の制御方法は、入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像工程と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、花火撮影モードで用いる第１の輪郭強調量と、通常撮影モードで用いる第２の輪郭強調量とを含む輪郭強調量を切り替える輪郭強調量切替工程と、前記モード切替工程により花火撮影モードに切り替えられた場合に、前記撮像工程で出力された画像信号に対して、前記輪郭強調量切替工程により切り替えられた第１の輪郭強調量を用いて輪郭強調を行う輪郭強調工程とを更に有する。

また、別の構成によれば、本発明の撮像装置は、入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像手段と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、花火撮影モードで用いる第１の彩度調整量と、通常撮影モードで用いる第２の彩度調整量とを含む彩度調整量を切り替える彩度調整量切替手段と、前記モード切替手段により花火撮影モードに切り替えられた場合に、前記撮像手段から出力された画像信号に対して、前記彩度調整量切替手段により切り替えられた第１の彩度調整量を用いて彩度調整を行う彩度調整手段とを更に有する。

また、本発明の撮像装置の制御方法は、入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像工程と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、花火撮影モードで用いる第１の彩度調整量と、通常撮影モードで用いる第２の彩度調整量とを含む彩度調整量を切り替える彩度調整量切替工程と、前記モード切替工程により花火撮影モードに切り替えられた場合に、前記撮像手段から出力された画像信号に対して、前記彩度調整量切替工程により切り替えられた第１の彩度調整量を用いて彩度調整を行う彩度調整工程とを更に有する。

また、上記第２の目的を達成するために、本発明の撮像装置は、入射光量に応じて電気信号に変換し、変換して得た画像信号を所定時間間隔で出力する撮像手段と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、画像信号を前記所定時間遅延させる遅延手段と、前記モード切替手段により花火撮影モードに切り替えられた場合に、前記撮像手段から出力される画像信号と、前記遅延手段から出力される画像信号を所定の割合で加算して出力する加算手段とを有し、前記遅延手段は、前記加算手段により加算された画像信号を遅延させる。

また、本発明の撮像装置の制御方法は、入射光量に応じて電気信号に変換し、変換して得た画像信号を所定時間間隔で出力する撮像工程と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、画像信号を前記所定時間遅延させる遅延工程と、前記モード切替工程により花火撮影モードに切り替えられた場合に、前記撮像工程において出力される画像信号と、前記遅延工程において遅延される画像信号を所定の割合で加算して出力する加算工程とを有し、前記遅延工程では、前記加算工程において加算された画像信号を遅延させる。

また、上記第３の目的を達成するために、音声を画像と共に記録する本発明の撮像装置は、音声を入力し、音声信号に変換して出力する音声入力手段と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、花火撮影モードで用いる第１の音声周波数特性と、通常撮影モードで用いる第２の音声周波数特性とを含む周波数特性を切り替える周波数特性切替手段と、前記モード切替手段により花火撮影モードに切り替えられた場合に、前記音声入力手段から出力された音声信号に対して、前記ガンマ切替手段により切り替えられた第１の音声周波数特性を用いて音声周波数特性変換を行う特性変換手段とを有し、前記第１の音声周波数特性は、前記第２の音声周波数特性よりも、低音を強調する特性を有する。

また、音声を画像と共に記録する本発明の撮像装置の制御方法は、音声を入力し、音声信号に変換して出力する音声入力工程と、花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、花火撮影モードで用いる第１の音声周波数特性と、通常撮影モードで用いる第２の音声周波数特性とを含む周波数特性を切り替える周波数特性切替工程と、前記モード切替工程により花火撮影モードに切り替えられた場合に、前記音声入力工程から出力された音声信号に対して、前記ガンマ切替工程により切り替えられた第１の音声周波数特性を用いて音声周波数特性変換を行う特性変換工程とを有し、前記第１の音声周波数特性は、前記第２の音声周波数特性よりも、低音を強調する特性を有する。

本発明によれば、撮像装置において、暗部の引き締まった高画質の花火画像を得ることができる。

また、動画撮影においても花火の尾を引いた状態を表現できる。

更に、花火の撮影に最適な音声記録ができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

＜第１の実施形態＞
図１は本発明の第１の実施形態を概略的に示す電子カメラの撮像系のブロック図である。同図において、１０１はレンズ、１０２は露光量調節を行う絞り、１０３は撮像素子、１０４は撮像素子の出力をサンプリングしてＡ／Ｄ変換を行うアナログフロントエンド（ＡＦＥ）、１０５は輝度／色（Ｙ／Ｃ）分離回路、１０６は色信号処理部、１０７は輝度信号処理部、１０８は色差マトリクス回路、１０９はモード切替部、１１１はシャッター速度制御部、１１２は輝度信号処理部１０７に含まれる輝度信号処理回路、１１３は輝度信号処理部１０７に含まれガンマ変換処理を行うガンマ回路、１１０はガンマ回路１１３にガンマカーブデータを与えるモード制御部、１１４は輝度信号処理部に含まれ輪郭強調処理を行う輪郭強調回路、１１５は色信号処理部に含まれる色信号処理回路、１１６は色信号処理部に含まれ色信号のレベルの補正を行う彩度補正回路、１１０はガンマ回路１１３、輪郭強調回路１１４、彩度補正回路１１６を制御するモード制御部である。

レンズ１０１に入射した光は絞り１０２により適正露光に調整され、撮像素子１０３で光電変換される。撮像素子１０３で光電変換された映像信号はアナログフロントエンド１０４でサンプリングおよびＡ／Ｄ変換され、Ｙ／Ｃ分離回路１０５で輝度信号と色信号に分離される。Ｙ／Ｃ分離回路１０５で分離された色信号は色信号処理部１０６において、色信号処理回路１１５によりでホワイトバランス制御などの色系の信号処理を経て、彩度補正回路１１６にて色の彩度を補正されたのち、色差マトリクス回路１０８へ入力される。一方、Ｙ／Ｃ分離回路１０５で分離された輝度信号は輝度信号処理部１０７に入力され、輝度信号処理回路１１２にて輝度系の信号処理を、また輪郭強調回路１１４にて輪郭強調などの処理を施され、ガンマ回路１１３においてガンマ変換処理をされた後に、色差マトリクス回路１０８へ入力され、色差信号となって出力される。また本第１の実施形態では、絞り１０２は静止画撮影時の露光時間を調節するシャッターの役割も備え、静止画撮影の場合には撮像素子が電荷を蓄積し始めた後に絞り１０２を閉じることによって露光時間が決定する。

モード切替部１０９において通常撮影モードが選択されている場合、モード制御部１１０は通常のガンマカーブをガンマ回路１１３に与える。一方、モード切替部１０９において花火撮影モードが選択されると、モード制御部１１０は花火撮影に適したガンマカーブをガンマ回路１１３に与える。

図２は通常撮影モードの輝度ガンマ特性を説明する図である。通常撮影モードのガンマ特性は、例えば動画の場合であればテレビジョンモニタのガンマ特性に合わせた特性、また静止画であれば、ＰＣのモニタや印刷する場合に適した特性となっており、入力信号に対して図２のような出力特性を備える。通常の被写体であればヒストグラムをとると暗部から明部にわたって極端に偏ることなく入力レベルが分布するため、通常撮影モードのガンマ特性に従ってガンマ変換をかけることにより、最適なレベル配分の画像を得ることができる。一方、打上げ花火の撮影では背景は暗い空であり、その中に輝度の高い花火が写される為にヒストグラムをとると、極めて低いレベルと極めて高いレベルの信号がほとんどを占める偏った分布となる。

図４は、図２に示す通常撮影モード用の輝度ガンマ特性を用いて画像処理を行った打上げ花火の画像である。上述したように、打上げ花火の撮影においては背景は暗い空であるが、一般に暗部では撮影時のランダムノイズが目立ちやすく、特に花火撮影では顕著になる。また、花火で発生した煙が花火の光で照らし出され、画像に映る場合が多い。花火の撮影としては、ランダムノイズは勿論であるが、花火の煙なども極力目立たないように撮影した方が好ましい画像となる。

図３は本発明の第１の実施形態において最も特徴的である花火撮影モードにおける輝度ガンマ特性を説明する図である。花火撮影モードの輝度ガンマ特性は図３に示すような出力特性を備え、図２に示す通常のガンマ特性と比較して、通常のガンマ特性よりも低い出力となる入力レベルの低い範囲が広く、また、通常のガンマ特性よりも高い出力となる入力レベルの高い範囲が広い。これは、上述したように打上げ花火のヒストグラムをとると極めて低いレベルと極めて高いレベルの信号がほとんどを占める分布となるので、入力レベルが低い部分に対する出力をより広範囲にわたって低く抑え、入力レベルが高い部分に対する出力をより広範囲にわたって高くするためである。このために、中レベルの入力に関しては出力レベルが急激に立ち上がる特性になっているが、中レベルの信号入力はかなり少ないため、このようなガンマ特性としても特に問題が生じることは無い。

図５は、図３に示す花火撮影モード用の輝度ガンマ特性を用いて画像処理を行った打上げ花火の画像である。図５から分かるようにランダムノイズは目立たなくなり、図４と比べると花火の煙なども目立たないように撮影されている。

このように、本第１の実施形態の花火撮影モードの輝度ガンマ特性によれば、より広範囲にわたって入力レベルの低い信号を通常撮影モードよりも抑圧して暗くするため、暗部のランダムノイズを目立たなくするとともに、花火で発生した煙に相当する出力レベルも低く抑えられる為、花火の煙なども目立たないように撮影することができる。更に、より広範囲にわたって入力レベルの高い信号を通常撮影モードよりも高くして明るくするため、花火に相当するレベルの信号を抜き出す効果があり、ユーザーは花火撮影モードを指定するだけで容易にコントラストの高いメリハリのある花火画像を撮影することが可能となる。

次に、花火撮影モード時の輪郭強調について説明する。

モード切替部１０９において通常撮影モードが選択されている場合、モード制御部１１０は通常の輪郭強調データを輪郭強調回路１１４に与える。一方、モード切替部１０９において花火撮影モードが選択されると、モード制御部１１０は花火撮影に適した輪郭強調データを輪郭強調回路１１４に与える。

図６は輪郭強調前の映像信号を示す図、図７は図６の映像信号から生成された輪郭強調信号を示す図、図８は輪郭強調を施された映像信号を示す図である。一般に撮像装置ではテレビジョンモニタなどで再生する際の鮮鋭度を上げるために輪郭強調処理を施している。この処理は映像信号にその高周波成分から生成した輪郭信号を加算し、見た目の鮮鋭度を上げる処理である。輪郭強調回路１１４では図６のような信号が入力されると図７のような輪郭強調信号を生成し、これを元の信号に加算して図８のような鮮鋭度を増した映像信号を出力する。

輪郭強調が施された映像信号は見た目の鮮鋭度は増すが、エッジ部分にアンダーシュートやオーバーシュートが目立つ画像となる。花火を撮影した場合の映像信号では、黒部分に花火の明るい部分が急激に立ち上がる為に輪郭強調量が少なくとも鮮鋭度は十分に高い場合が多い。さらに、花火撮影モードでは花火以外の被写体は撮影されない為に、輪郭強調量は花火のみをターゲットに設定することができる。通常の被写体を撮影した画像に適した輪郭強調で花火を撮影すると、輪郭が強調されすぎて花火の周りにアンダーシュートの黒い縁が目立つ状態となる。従って、花火の撮影では輪郭強調量を低くすることで、最適な画像を得ることができる。

次に、花火撮影モード時の彩度補正に関して説明する。モード切替部１０９において通常撮影モードが選択されている場合、モード制御部１１０は通常の色ゲインを彩度補正回路１１６に与える。一方、モード切替部１０９において花火撮影モードが選択されると、モード制御部１１０は花火撮影に適した色ゲインを彩度補正回路１１６に与える。

花火は輝度が高く、通常の被写体に合わせた彩度設定で撮像すると本来の色味が薄く見えてしまう場合が多い。これを補う為に、モード制御部１１０では通常撮影モードの色ゲインに対して花火撮影モードの色ゲインを高く設定する。花火撮影モードでは通常撮影モードに比べて色信号のゲインを高くし、彩度を上げる設定にした方が鮮やかな花火画像を得ることができる。

また、この際にホワイトバランスを太陽光などに合わせた状態に固定することで、彩度を高くする効果をより一層強調することができる。

なお、本第１の実施形態において説明したガンマ特性、輪郭強調信号、彩度補正は一例であって、花火の種類や露光時間に応じて、図３とは異なるガンマ特性、輪郭強調信号、彩度補正によりガンマ変換処理、輪郭強調処理、及び彩度補正処理を行うようにすることも可能である。

また、本第１の実施形態では、ガンマカーブをガンマ回路１１３に与えることによりガンマ変換する場合について説明したが、ガンマ変換の制御方法はこれに限るものではなく、例えば、変換式を用い、花火撮影モードが選択された場合に図３に示すガンマカーブを近似する変換式となるような変数や変換式そのものをガンマ回路１１３に与えるなど、様々なガンマ変換の方法を用いることが可能である。また、上記第１の実施形態では、ガンマ回路を１つだけ有し、通常撮影モードと花火撮影モードとで共有し、ガンマ特性を変更する場合について説明したが、花火撮影モード用のガンマ回路を別途設け、花火撮影モードが選択された場合に花火撮影モード用のガンマ回路に切り替える構成にしてもよい。

また、輪郭強調には様々な手法があるが、例えば振幅の小さい信号部と振幅の大きい信号部で異なった輪郭強調特性を得ることができる構成の輪郭強調回路の場合、花火に適した輪郭強調にする為には、小振幅用の輪郭強調量を小さくし、大振幅用の輪郭強調量は通常撮影モードと変えないなどの設定が考えられる。このように、花火撮影モードで単純に輪郭強調量を少なくするのではなく、輪郭強調回路の特性に応じて設定を変える事で最適な画像を得ることができる輪郭強調回路を本発明の撮像装置に適用してもよい。

また、花火撮影モードのガンマ特性は入力レベルの高い範囲において通常のガンマ特性よりも高い出力となるため、花火撮影モードにおいてガンマ特性を複数持つ場合には、それぞれのガンマ特性に合わせて彩度を上げる設定を変更してもよい。

また、本発明の第１の実施形態では、シャッターとして絞りを用いる構成について説明したが、絞りとは別にシャッターを設けたり、撮像素子１０３で光電変換された電荷のリセット及び電荷の蓄積を制御することによって実現される電子シャッターを用いるなど、別の構成を用いても構わない。

なお、本第１の実施形態は静止画の撮影に関しても動画の撮影に関しても有効であり、静止画撮影時と動画撮影時とで異なるガンマ特性を持たせても良いことは言うまでもない。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

図９は本発明の第２の実施形態を概略的に示す動画撮影用電子カメラの撮像系のブロック図である。同図において、２０１はレンズ、２０２は露光量調節を行う絞り、２０３は撮像素子、２０４は撮像素子の出力をサンプリングしてＡ／Ｄ変換を行うアナログフロントエンド（ＡＦＥ）、２０５はＹ／Ｃ分離回路、２０６は色信号処理部、２０７は輝度信号処理部、２０８は色差マトリクス回路、２０９はモード切替部、２１０は加算比率制御部、２１１は輝度信号系のフレーム加算部（以後、「輝度フレーム加算部」と呼ぶ。）、２１２は色信号系のフレーム加算部（以後、「色フレーム加算部」と呼ぶ。）である。また、２２０は音声の入力を行うマイク、２２１は音声変換部、２２２は音声周波数特性制御部である。

レンズ２０１に入射した光は絞り２０２により適正露光に調整され、撮像素子２０３で光電変換される。撮像素子２０３で光電変換された映像信号は所定時間周期でフレーム毎に読み出され、各フレームの映像信号はアナログフロントエンド２０４でサンプリングおよびＡ／Ｄ変換され、Ｙ／Ｃ分離回路２０５で輝度信号と色信号に分離される。Ｙ／Ｃ分離回路２０５で分離された色信号は後述するようにして色フレーム加算部２１２にて処理されたあと、色信号処理部２０６でホワイトバランス制御などの色系の信号処理を経て、色差マトリクス回路２０８へ入力される。一方、Ｙ／Ｃ分離回路２０５で分離された輝度信号は後述するようにして輝度フレーム加算部２１１にて処理されたあと、輝度信号処理部２０７に入力され、輪郭強調やガンマ変換処理などの処理を施され色差マトリクス回路２０８へ入力され、色差信号となって出力される。

次に、色フレーム加算部２１２及び輝度フレーム加算部２１１における処理について説明する。

図１０は色フレーム加算部２１２及び輝度フレーム加算部２１１における加算回路を説明する図であり、色フレーム加算部２１２及び輝度フレーム加算部２１１は同じ構成を有する。図中、７０１は入力信号減衰回路、７０２は加算回路、７０３は遅延信号減衰回路、７０４は１フレームの遅延回路である。このフレーム加算部の目的は、動画の撮影において過去の画像データを減衰させて現在の画像データに加算し、動きのある被写体に対して尾を引いたような特殊効果をもたらすものである。

図中、入力した信号は入力信号減衰回路７０１で加算比率（１―Ｋ）により予め減衰され、加算回路７０２で過去の画像信号と混合加算され出力される。一方、加算された信号は遅延回路７０４で１フレーム遅延された後、遅延信号減衰回路７０３で加算比率Ｋにより減衰された後、加算回路７０２で新しい信号に加算される。上述の加算比率Ｋは、０≦Ｋ＜１の範囲の数値をとり、Ｋが大きくなると遅延された過去の画像データの比率が大きくなり、尾引きの効果がより顕著に現れることとなる。入力信号減衰回路７０１と遅延信号減衰回路７０３の減衰率の合計は１となり、入力と出力の信号レベルは等しくなる。

上記構成において、モード切替部２０９により通常撮影モードが選択されると、加算比率制御部２１０は加算比率Ｋ＝０を色フレーム加算部２１２および輝度フレーム加算部２１１に与える。これにより、入力信号減衰回路７０１の加算比率は１、遅延信号減衰回路の加算比率は０となるため、通常撮影モードでは入力信号がそのまま色フレーム加算部２１２及び輝度フレーム加算部２１１から色信号処理部２０６及び輝度信号処理部２０７へそれぞれ出力されることになる。

一方、モード切替部２０９により花火撮影モードが選択されると、加算比率制御部２１０は花火撮影モードに適した加算比率Ｋ（０＜K＜１）を色フレーム加算部２１２および輝度フレーム加算部２１１に与える。色信号処理系、輝度信号処理系の両方に関してそれぞれフレーム加算を行うことで、色、輝度共に尾引きの効果を出すことができる。

図１１は１/６０秒周期で動画撮影した花火の１フレームのイメージ図である。図のように１/６０秒の露光時間では花火は点にしか映らず、動画で連続的に見るとパラパラした映像となる。一方、図１２は同じ１/６０秒周期で、色フレーム加算部２１２及び輝度フレーム加算部２１１により上述したフレーム加算処理を行って動画撮影した花火の１フレームのイメージ図である。遅延したフレームの画像が残像として花火の内側に残るようになり、図のように滑らかに尾を引いた画像となる。これを動画で連続的に見ると人間の目で見た花火と同じように残像が見える映像となる。

なお、本第２の実施形態の動画撮像装置によればの構成は動画を撮影する為のものであるが、静止画における花火の撮影では尾引きの効果を得る為にシャッター速度を遅くして２秒程度の露光時間とする様にすればよい。

上記の通り本第２の実施形態によれば、従来静止画でしか表現できなかった花火の尾引き効果を、動画撮影においても可能にすることができる。

なお、本第２の実施形態では撮像素子２０３からフレーム毎に画像を読み出す場合について説明したが、本発明はこれに限るものではなく、フィールド毎に画像を読み出す場合にも適用することができる。その場合、フレーム加算部２１１及び２１２では、フレーム画像の代わりにフィールド画像を加算すればよい。ただし、フィールド画像では、新しく読みだしたフィールド画像と、１フィールド期間前に読み出したフィールド画像とは画素位置が上下１画素ずれているため、上下画素の対応をとって加算する必要がある。または、フィールド毎にフレーム加算部を設けるようにしてもよい。

また、色信号処理系と輝度信号処理系の加算比率は同一でなくとも構わないし、Ｙ／Ｃ分離回路２０５の前段にフレーム加算部を入れる構成にしても構わない。

ところで、撮像した動画の映像信号ではランダムノイズが発生し、これを抑圧する目的でノイズリダクション処理を行う場合がある。このノイズリダクション処理の一つとしてフレーム相関を用いる方法があり、本第２の実施形態のフレーム加算部としてノイズリダクション回路を用いることができる。例えば、入力信号減衰回路において、入力信号は加算比率（１―Ｋ）分だけ減衰されるので、フレーム加算を行うことで、映像信号中の１フレームのみにしか存在しないノイズ信号を抑圧することができる。また、本第２の実施形態で説明したように、加算比率Ｋを大きくすると現在のフレームのみに存在する信号の減衰量が大きくなる為ランダムノイズの抑圧効果は大きくなるが、その場合、先に撮影した画像の影響が出てしまうので通常の被写体の撮影には向かない。従って、通常撮影モードでは加算比率Ｋを小さく設定してフレーム加算部をランダムノイズ抑圧の目的で使用し、花火撮影モードでは加算比率Ｋを大きく設定してフレーム加算部をランダムノイズ抑圧と尾引きの相乗効果のために使用することが考えられる。

このように、ノイズリダクション回路の相関比率を変えることでも同様の効果を得ることができる。この際に、通常撮影モードでもノイズリダクションによってフレーム加算が行われる場合があるが、本発明にはこの比率を通常撮影モードと花火撮影モードとで変えることも含まれる。

次に、音声処理について説明する。

図９において、マイク２２０から入力された音声は、音声変換部２２１において電気信号に変換され、更に音声周波数特性を変換されて、出力される。ここで、音声周波数特性制御部２２２はモード切替部２０９により切り替えられた撮像モードに応じて、撮像モードに適した音声周波数特性変換を音声変換部２２１に設定する。

図１３は本発明の第２の実施形態における電子カメラの音声周波数特性図である。図中点線１２０１は通常撮影モードの周波数特性を示し、実線１２０２は花火撮影モードの周波数特性を示す。

打上げ花火の生の音は通常の音に比べて低音の音圧レベルが高く、通常撮影モードの音声周波数特性では表現しきれない場合が多い。この花火の音を少しでも表現する為に、花火撮影モードに設定された場合は通常の音声周波数特性に対して低域の特性をブーストするように周波数特性を切り替える。図中の通常撮影モードの周波数特性１２０１の低域部分の特性を、花火撮影モードの周波数特性１２００のように変換することで、花火の音の低音の迫力が増す結果となる。

なお、図１３に示した花火撮影モード時の音声周波数特性はあくまでも一例であって、低域のみではなく他の周波数帯の特性を変えるようにしても構わない。

また、本第２の実施形態においては動画撮影用電子カメラの場合について説明したが、花火撮影モードが設定された場合に花火撮影に適した音声周波数変更処理を行う処理は、電子カメラに限ること無く、音声を記録する装置に適用することが可能である。

＜他の実施形態＞
なお、本発明は、一つの機器からなる装置（デジタルビデオカメラ、デジタルスチルカメラ）に適用しても、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の第１の実施形態における撮像装置の構成を示すブロック図である。本発明の第１の実施形態における通常撮影モードのガンマ特性を説明する図である。本発明の第１の実施形態における花火撮影モードのガンマ特性を説明する図である。本発明の第１の実施形態における通常撮影モードのガンマ特性により処理された画像例を示す図である。本発明の第１の実施形態における花火撮影モードのガンマ特性により処理された画像例を示す図である。本発明の第１の実施形態における輪郭強調前の信号を示す図である。本発明の第１の実施形態における輪郭強調信号を示す図である。本発明の第１の実施形態における輪郭強調後の信号を示す図である。本発明の第２の実施形態における撮像装置の構成を示すブロック図である。本発明の第２の実施形態におけるフレーム加算部の構成を示すブロック図である。従来例の動画像における１フレームの画像を示す図である。本発明の第２の実施形態の花火撮影モードで撮影した動画像における１フレームの画像を示す図である。本発明の第２の実施形態の音声周波数特性を説明するための図である。従来の１/３０秒露光で撮影した花火の静止画像の一例を示す図である。従来の２秒露光で撮影したの花火の静止画像の一例を示す図である。

符号の説明

１０１、２０１レンズ
１０２、２０２絞り
１０３、２０３撮像素子
１０４、２０４アナログフロントエンド
１０５、２０５輝度／色分離回路
１０６、２０６色信号処理部
１０７、２０７輝度信号処理部
１０８、２０８色差マトリクス回路
１０９、２０９モード切替部
１１０モード制御部
１１１シャッター制御部
１１２輝度信号処理回路
１１３ガンマ回路
２１０加算比率制御部
２１１、２１２フレーム加算部
２２０マイク
２２１音声変換部
２２２音声周波数特性制御部

Claims

入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像手段と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、
花火撮影モードで用いる第１のガンマ特性と、通常撮影モードで用いる第２のガンマ特性とを含むガンマ特性を切り替えるガンマ特性切替手段と、
前記モード切替手段により花火撮影モードに切り替えられた場合に、前記撮像手段から出力された画像信号に対して、前記ガンマ特性切替手段により切り替えられた第１のガンマ特性を用いてガンマ変換を行うガンマ変換手段とを有し、
前記第１のガンマ特性は、前記第２のガンマ特性よりも低輝度を抑制する特性を有することを特徴とする撮像装置。
前記第１のガンマ特性は、更に、前記第２のガンマ特性よりも高輝度を強調する特性を有することを特徴とする請求項１に記載の撮像装置。
入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像手段と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、
花火撮影モードで用いる第１の輪郭強調量と、通常撮影モードで用いる第２の輪郭強調量とを含む輪郭強調量を切り替える輪郭強調量切替手段と、
前記モード切替手段により花火撮影モードに切り替えられた場合に、前記撮像手段から出力された画像信号に対して、前記輪郭強調量切替手段により切り替えられた第１の輪郭強調量を用いて輪郭強調を行う輪郭強調手段とを更に有することを特徴とする撮像装置。
前記第１の輪郭強調量は、前記第２の輪郭強調量よりも小さいことを特徴とする請求項３に記載の撮像装置。
入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像手段と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、
花火撮影モードで用いる第１の彩度調整量と、通常撮影モードで用いる第２の彩度調整量とを含む彩度調整量を切り替える彩度調整量切替手段と、
前記モード切替手段により花火撮影モードに切り替えられた場合に、前記撮像手段から出力された画像信号に対して、前記彩度調整量切替手段により切り替えられた第１の彩度調整量を用いて彩度調整を行う彩度調整手段とを更に有することを特徴とする撮像装置。
前記第１の彩度調整量は、前記第２の彩度調整量よりも色信号の彩度を高くする調整量であることを特徴とする請求項５に記載の撮像装置。
花火撮影モード時のホワイトバランスを所定値に固定することを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像工程と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、
花火撮影モードで用いる第１のガンマ特性と、通常撮影モードで用いる第２のガンマ特性とを含むガンマ特性を切り替えるガンマ特性切替工程と、
前記モード切替工程により花火撮影モードに切り替えられた場合に、前記撮像工程で出力された画像信号に対して、前記ガンマ特性切替工程により切り替えられた第１のガンマ特性を用いてガンマ変換を行うガンマ変換工程とを有し、
前記第１のガンマ特性は、前記第２のガンマ特性よりも低輝度を抑制する特性を有することを特徴とする撮像装置の制御方法。
前記第１のガンマ特性は、更に、前記第２のガンマ特性よりも高輝度を強調する特性を有することを特徴とする請求項８に記載の制御方法。
入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像工程と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、
花火撮影モードで用いる第１の輪郭強調量と、通常撮影モードで用いる第２の輪郭強調量とを含む輪郭強調量を切り替える輪郭強調量切替工程と、
前記モード切替工程により花火撮影モードに切り替えられた場合に、前記撮像工程で出力された画像信号に対して、前記輪郭強調量切替工程により切り替えられた第１の輪郭強調量を用いて輪郭強調を行う輪郭強調工程とを更に有することを特徴とする制御方法。
前記第１の輪郭強調量は、前記第２の輪郭強調量よりも小さいことを特徴とする請求項１０に記載の制御方法。
入射光量に応じて電気信号に変換し、変換して得た画像信号を出力する撮像工程と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、
花火撮影モードで用いる第１の彩度調整量と、通常撮影モードで用いる第２の彩度調整量とを含む彩度調整量を切り替える彩度調整量切替工程と、
前記モード切替工程により花火撮影モードに切り替えられた場合に、前記撮像手段から出力された画像信号に対して、前記彩度調整量切替工程により切り替えられた第１の彩度調整量を用いて彩度調整を行う彩度調整工程とを更に有することを特徴とする制御方法。
前記第１の彩度調整量は、前記第２の彩度調整量よりも色信号の彩度を高くする調整量であることを特徴とする請求項１２に記載の制御方法。
花火撮影モード時のホワイトバランスを所定値に固定することを特徴とする請求項８乃至１３のいずれかに記載の制御方法。
入射光量に応じて電気信号に変換し、変換して得た画像信号を所定時間間隔で出力する撮像手段と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、
画像信号を前記所定時間遅延させる遅延手段と、
前記モード切替手段により花火撮影モードに切り替えられた場合に、前記撮像手段から出力される画像信号と、前記遅延手段から出力される画像信号を所定の割合で加算して出力する加算手段とを有し、
前記遅延手段は、前記加算手段により加算された画像信号を遅延させることを特徴とする撮像装置。
前記モード切替手段によって切り替えられる撮影モードに応じて、前記加算手段で用いる割合を設定する設定手段を更に有し、
前記設定手段は、前記花火撮影モードにおいて、前記通常撮影モードよりも、前記遅延手段から出力される画像信号の割合を高く設定することを特徴とする請求項１５に記載の撮像装置。
前記設定手段は、加算手段にて加算される、前記撮像手段から出力される画像信号の割合と、前記遅延手段から出力される画像信号の割合の合計が１となるように設定することを特徴とする請求項１６に記載の撮像装置。
前記設定手段は、前記通常撮影モードにおいて、前記遅延手段から出力される画像信号の割合を０に設定することを特徴とする請求項１６または１７に記載の撮像装置。
入射光量に応じて電気信号に変換し、変換して得た画像信号を所定時間間隔で出力する撮像工程と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、
画像信号を前記所定時間遅延させる遅延工程と、
前記モード切替工程により花火撮影モードに切り替えられた場合に、前記撮像工程において出力される画像信号と、前記遅延工程において遅延される画像信号を所定の割合で加算して出力する加算工程とを有し、
前記遅延工程では、前記加算工程において加算された画像信号を遅延させることを特徴とする撮像装置の制御方法。
前記モード切替工程によって切り替えられる撮影モードに応じて、前記加算工程において用いる割合を設定する設定工程を更に有し、
前記設定工程では、前記花火撮影モードにおいて、前記通常撮影モードよりも、前記遅延工程から出力される画像信号の割合を高く設定することを特徴とする請求項１９に記載の制御方法。
前記設定工程では、前記加算工程において加算される、前記撮像工程から出力される画像信号の割合と、前記遅延工程において遅延される画像信号の割合の合計が１となるように設定することを特徴とする請求項２０に記載の制御方法。
前記設定工程では、前記通常撮影モードにおいて、前記遅延手段から出力される画像信号の割合を０に設定することを特徴とする請求項２０または２１に記載の制御方法。
音声を画像と共に記録する撮像装置であって、
音声を入力し、音声信号に変換して出力する音声入力手段と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替手段と、
花火撮影モードで用いる第１の音声周波数特性と、通常撮影モードで用いる第２の音声周波数特性とを含む周波数特性を切り替える周波数特性切替手段と、
前記モード切替手段により花火撮影モードに切り替えられた場合に、前記音声入力手段から出力された音声信号に対して、前記ガンマ切替手段により切り替えられた第１の音声周波数特性を用いて音声周波数特性変換を行う特性変換手段とを有し、
前記第１の音声周波数特性は、前記第２の音声周波数特性よりも、低音を強調する特性を有することを特徴とする撮像装置。
音声を画像と共に記録する撮像装置の制御方法であって、
音声を入力し、音声信号に変換して出力する音声入力工程と、
花火撮影モードと、通常撮影モードとを少なくとも含む複数の撮影モードを切り替えるモード切替工程と、
花火撮影モードで用いる第１の音声周波数特性と、通常撮影モードで用いる第２の音声周波数特性とを含む周波数特性を切り替える周波数特性切替工程と、
前記モード切替工程により花火撮影モードに切り替えられた場合に、前記音声入力工程から出力された音声信号に対して、前記ガンマ切替工程により切り替えられた第１の音声周波数特性を用いて音声周波数特性変換を行う特性変換工程とを有し、
前記第１の音声周波数特性は、前記第２の音声周波数特性よりも、低音を強調する特性を有することを特徴とする制御方法。
請求項８、１０、１２、１９、２４のいずれかに記載の制御方法を実現するためのプログラムコードを有することを特徴とする情報処理装置が実行可能なプログラム。
請求項２５に記載のプログラムを記憶したことを特徴とする情報処理装置が読み取り可能な記憶媒体。