JP2010035050A

JP2010035050A - 電子カメラ

Info

Publication number: JP2010035050A
Application number: JP2008197006A
Authority: JP
Inventors: Kenichiro Iwami; 謙一郎岩見; Tetsuharu Kamata; 徹治鎌田; Toshimi Watanabe; 利巳渡邉
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2008-07-30
Filing date: 2008-07-30
Publication date: 2010-02-12
Anticipated expiration: 2028-07-30
Also published as: JP5332381B2

Abstract

【課題】高フレームレート撮影機能を利用して、画面内の所望の範囲の画質を向上可能な電子カメラを提供する。
【解決手段】所定期間内で被写体を複数回撮影して、それぞれの撮影における撮像範囲の複数の部分それぞれに対応する画像を表す画像信号を生成する撮像手段と、複数回の撮影それぞれについて、複数の部分のうちの指定された部分の画像を表す複数の画像信号を撮像手段から読み出す読出手段と、読出手段によって読み出された複数の画像信号を合成して、指定された部分に対応する画像を形成する合成手段とを備える。
【選択図】図１

Description

本発明は、高フレームレート撮影機能を備えた電子カメラに関する。

近年では、撮像素子の高速化が進んでおり、高フレームレート撮影機能を搭載した電子カメラも一般化している。

高フレームレート撮影機能は、動画撮影にはもちろん、静止画の撮影にも利用可能である。静止画への適用では、例えば、適正露光時間を２０フレームに分割露光し、取得した２０フレームの画像データを被写体のずれを補正しつつ合成することにより、各フレームの撮影におけるノイズを平均化し、高画質の静止画を生成する技術がある(特許文献１参照)。

上述したような高フレームレート撮影を、１千万画素を超えるような高画素の撮像素子を搭載した電子カメラで実現する際には、撮像素子で得られた画像信号の間引き読み出しが行われており、各フレームを形成する実質的な画素数が減らされている(特許文献２参照)。

このように、高フレームレート撮影を間引き読み出しを用いて実現している場合にも、複数フレームの画像を合成することによって、ノイズの平均化による画質向上効果は期待できる。
特開２００６−８６９７８号公報特開２００５−２１０２１８号公報

ところで、陸上競技などの撮影では、予めスタート地点やゴール地点、投擲開始地点などにピントを合わせた状態のカメラをトラックやフィールドに設置しておき、観客席などの離れた場所にいる撮影者がリモートコントロール装置を用いて遠隔撮影を行う場合がある。また、野生動物の生態観察の分野では、巣や水場などの全体を撮影範囲に捉えるようにカメラを設置しておき、定期的な撮影や遠隔操作による撮影が行われている。

このようなリモート撮影で取得された画像や監視カメラによって取得された画像では、画面内に捉えられた広い範囲のごく一部を拡大して利用する場合が考えられる。

このように、画像の一部分を拡大して利用する場合が想定される用途に、画像信号の間引き読み出しを行う従来の高フレームレート撮影では、撮像素子が備えている本来の画素数から期待される画質を提供することができなかった。

本発明は、高フレームレート撮影機能を利用して、画面内の所望の範囲の画質を向上可能な電子カメラを提供することを目的とする。

上述した目的は、以下に開示する電子カメラによって達成することができる。

この電子カメラの特徴は、所定期間内で被写体を複数回撮影して、それぞれの撮影における撮像範囲の複数の部分それぞれに対応する画像を表す画像信号を生成する撮像手段と、複数回の撮影それぞれについて、複数の部分のうちの指定された部分の画像を表す複数の画像信号を撮像手段から読み出す読出手段と、読出手段によって読み出された複数の画像信号を合成して、指定された部分に対応する画像を形成する合成手段とを備える点にある。

上述した基本構成の電子カメラでは、高フレームレート撮影機能を利用して、画面内の所望の範囲の画質を向上することができる。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(実施形態１)
図１に、本発明の一実施形態の電子カメラを示す。

図１に示した電子カメラの撮影光学系１１によって撮像素子１２の光電変換面上に結像された被写体像を表す画像信号は、信号処理部１３によって撮影感度に対応するゲイン調整などを施された上でデジタルデータに変換される。撮像素子１２の各画素に対応するデジタルデータからなる画像データは、メモリ１４を介して画像処理部２０に送られ、必要な画像処理が施された後に、記録インタフェース(Ｉ／Ｆ)１７を介してメモリカード１８など記憶媒体に記録される。

図１に示した撮影制御部１５は、操作パネル(図示せず)を介して利用者が予め入力した指示に従って、撮像素子１２や信号処理部１３および画像処理部２０に必要な設定情報を渡すとともに、受信器１６を介して入力されるレリーズ指示に応じて、これらの各部の動作を制御する。つまり、図１に示した電子カメラは、リモートカメラとして動作する。

図１に示した画像処理部２０には、画像合成処理のために、画像合成部２１および合成画像保持部２２と、これらの各部の動作を制御する合成制御部２３とが備えられている。

撮影制御部１５は、利用者による撮影前の設定操作で、高フレームレート撮影機能(例えば、１秒間に数百から１千フレームの画像を取得可能な機能)を静止画撮影に利用する旨の指示と、撮像素子１２に捉えられた撮像範囲において注目すべき範囲(以下、注目範囲と称する)の指定を受けることができる。この注目範囲としては、例えば、図２(ａ)，（ｂ）に太い破線で囲んで示すように、撮像素子１２で実現可能なフレームレートに対応するフレーム読出時間ｄに撮像素子１２から画像信号の読み出しが可能な分割読出領域を、撮像範囲において自由に配置することで設定することができる。なお、図２においては、フレーム読出時間ｄで撮像素子１２の全画素のうち４分の１に当たる画素に対応する画像信号が読み出し可能である場合について、撮像素子１２の受光面を４等分した矩形に対応する分割読出領域を横に２つ並べて配置した例(図２(ａ)参照)と、２つの分割読出領域を斜めに配置した例(図２(ｂ)参照)を示した。この分割読出領域としては、上述した分割露光時間ｄ内に撮像素子１２から画像信号の読み出しが可能な範囲であれば、形状、大きさともに自由に設定することができる。

以下、高フレームレート撮影機能を利用して、注目範囲について高画質の画像を取得する方法について説明する。

図３(ａ)，(ｂ)に、リモートカメラに適合した撮影動作を表す流れ図を示す。

撮影制御部１５は、まず、撮影前の設定操作で入力された指示に基づいて注目範囲を設定し(図３(ａ)のステップＳ１)、次いで、設定した注目範囲を上述したフレーム読出時間ｄ内に読み出し可能な分割読出領域に分割し、これらの分割読出領域について読み出し順序を決定する(ステップＳ２)。例えば、図２(ａ)に示したような注目範囲が設定された場合に、撮影制御部１５は、２つの分割読出領域１,２を交互に指定する読出順序を決定し、この読出順序に従って、指定された分割読出領域に属する全画素の画像信号を間引くことなく読み出すように、信号処理部１３の動作を制御すればよい。

このようにして撮影準備が完了した後は、ステップＳ３を繰り返して撮影指示を待ち、受信器１６を介してレリーズボタンの押下が通知されたときに(ステップＳ３の肯定判定)、高フレームレート撮影機能を利用した撮影動作を開始する。

高フレームレート撮影では、図４に示すように、適正露光時間Ｓを、高フレームレート撮影機能適用時のフレーム読出間隔ｄで除算して得られる回数Ｎ(例えば、２０回)の分割露光撮影が行われ、Ｎフレームの画像が得られる。なお、図４では、各分割露光撮影に対応する露光区間を符号「露光」に順番を示す数字を付して示し、また、各分割露光撮影で取得された画像にも同じ番号を付して示した。

各分割露光撮影が行われるごとに(ステップＳ４)、撮影制御部１５により、上述した読出順序で指定された分割読出領域に対応する画像信号の読み出しが信号処理部１３に対して指示され(ステップＳ５)、これに応じて、信号処理部１３により、指定された分割読出領域に属する全画素の画像信号が間引かれることなく読み出され(ステップＳ６)、対応する画像データに変換される。

例えば、図２(ａ)に示した例では、図４に示すように、奇数番号の露光区間では分割読出領域１の画像信号が、偶数番号の露光区間では分割読出領域２の画像信号がそれぞれ信号処理部１３によって読み出されて、これに対応する画像データが生成される。

このようにして生成された画像データは、メモリ１４を介して画像処理部２０の画像合成部２１に渡され、画像合成処理に供される(ステップＳ７)。

画像合成部２１は、合成制御部２３を介して、合成対象の画像データに対応する分割読出領域を指定する情報を受け取るとともに(図３(ｂ)のステップＳ７−１)、メモリ１４から画像データを受け取り(ステップＳ７−２)、分割読出領域ごとに合成する(ステップＳ７−３)。そして、合成した画像データを合成画像保持部２２に保持させる。このとき、画像合成部２１は、例えば、合成画像保持部２２に既に保持されている各分割読出領域に対応する画像データと、新たに受け取った画像データを足し合わせることで、画像の合成処理を分割読出領域ごとに実行することができる。

図３(ａ)に示した流れ図のステップＳ４〜ステップＳ８を繰り返していくことにより、例えば、図４に示すように、交互に取得される分割読出領域１,２の画像は、画像合成部２１によって、分割読出領域ごとに順次に合成される。

その後、全ての分割露光区間に対応する分割露光撮影が完了したときに(ステップＳ８の肯定判定)、例えば、適正露光時間を２０フレームに分割露光撮影する場合には、分割読出領域１,２についてそれぞれ１０フレームの分割露光撮影画像を合成した合成画像を得て処理を終了する。

上述した電子カメラで分割露光撮影を行った場合に、各分割露光区間に対応して取得される画像は、分割読出領域に含まれる撮像素子１２の全画素の画像信号に対応する情報を含んでいる。したがって、各分割露光区間に対応して取得される画像を、上述したようにして、分割読出領域ごとに合成することにより、注目範囲に含まれる撮像素子１２の全画素の画像信号に対応する情報が反映された合成画像を得ることができる。

このような合成画像では、撮像素子１２に備えられた画素数から期待される高い解像度が保たれており、しかも、分割露光撮影で得られた画像を合成したことによって、ノイズを平均化したことによる画質向上効果も得ることができる。

例えば、陸上競技のリモート撮影などにおいて、スタートラインに並んだ選手たちを図２(ａ)に示した注目範囲に収めるように撮像範囲を設定しておき、この注目範囲について、上述したような高フレームレート撮影を利用した撮影を行った場合には、上述した注目範囲に限っては、同じ撮像範囲について単純に高フレームレート撮影を行った場合に比べて解像度の高い画像を取得することが可能である。

このように、注目範囲を設定して高フレームレート撮影機能を利用した撮影を行って得られた合成画像では、ノイズが平均化されている上に、高解像度が実現されているので、上述した注目範囲の一部(例えば、スタートラインに並んだ選手の一人)を切り出して拡大した場合にも、電子カメラに搭載された撮像素子１２の画素数から期待できる高画質の画像を取得することができる。

したがって、図１に示したような構成を持つ電子カメラは、陸上競技などのリモート撮影や野生動物の生態観察のような用途において非常に有用である。

特に、野生動物の生態観察のような用途では、例えば、野鳥の営巣活動の観察などで、巣箱の入り口と巣箱の底に形成された巣との両方に注目した観察を行う場合などに有用である。この場合は、図２(ｂ)に示したように、注目範囲を自由に設定可能であることを利用して、巣箱全体を撮像範囲に収めておき、巣箱の入り口付近と巣箱の底付近とに対応する分割読出領域を含めた注目範囲を設定すればよい。

一方、防犯カメラのような監視カメラの用途向けに、動体検出技術を利用して注目範囲を動的に決定することも可能である。
(実施形態２)
図５に、本発明の別実施形態の電子カメラを示す。

なお、図５に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図５に示した電子カメラは、監視カメラとして動作するように構成されており、送受信部２７により、離れた場所にある図示しない監視カメラ制御部から定期的にあるいは不定期に送信される撮影指示を受信する。その撮影指示に応じて、撮影制御部１５により、信号処理部１３による画像信号読出動作の制御が行われる。

また、この撮影指示により、撮影制御部１５は、信号処理部１３によって生成された画像データを入力し、送受信部２７を介して監視カメラ制御部に送信する。このような構成により、撮影される画像が順次監視カメラ制御部に送られるので、監視カメラ制御部側では、これらの画像を表示することにより、スルー画のようにモニタすることができる。

また、画像合成部２１で生成され、合成画像保持部２２に保持された合成画像データは、合成制御部２６を介して撮影制御部１５に出力することができる。そして、撮影制御部１５は、その合成画像データを、送受信部２７を介して監視カメラ制御部に送信することができる。

なお、送受信部２７と監視カメラ制御部との通信は、無線LAN等で行えるように構成すればよい。

また、図５に示した画像処理部２１０は、図１の合成制御部２３に代えて、動体検出部２４、参照画像保持部２５および合成制御部２６が備えられている。動体検出部２４は、例えば、高フレームレート撮影機能による分割露光撮影で得られた最初の露光区間に対応する画像をメモリ１４から受け取って参照画像保持部２５に保持しておき、この参照画像と最後の露光区間に対応する画像とを比較することにより、撮像範囲内の動体を検出し、検出結果を合成制御部２６の処理に供する。

撮影制御部１５には、予め、図６(ａ)に示すように、注目範囲の初期状態として撮像範囲全体が設定されており、合成制御部２６を介して動体が検出された旨の検出結果を受け取ったときに、撮影制御部１５により、この検出結果に基づいて注目範囲を絞り込む制御が行われる。

以下、動体検出結果に応じて注目範囲を切り替えることにより、監視カメラとして好適な合成画像を取得する方法について説明する。

図７に、監視カメラに適合した撮影動作を表す流れ図を示す。

撮影開始時には、上述した初期設定に応じて、撮影制御部１５は、撮像範囲全体を注目範囲として設定する(ステップＳ１１)。次いで、撮影制御部１５は、例えば、この注目範囲を４つの分割読出領域の集合と見て、これらの分割読出領域１〜４について番号順に従って循環的に読み出すように読出順序を決定する(ステップＳ１２、図６(ａ)参照)。

その後、ステップＳ１３を繰り返して監視カメラ制御部(図示せず)からの撮影指示を待ち合わせ、撮影指示の受付に応じて(ステップＳ１３の肯定判定)、図３のステップＳ４〜Ｓ８と同様にして、分割露光で撮影された画像を分割読出領域ごとに合成して合成画像を生成する(ステップＳ１４)。

この過程で、動体検出部２４は、例えば、各分割読出領域について最初に取得された画像(第１〜第４分割露光に対応して得られた画像)を各分割読出領域に対応する参照画像として参照画像保持部２５に保持しておき、これらの分割読出領域について最後に取得された画像との比較を行って各分割読出領域内に現れた動体を検出する(ステップＳ１５)。

このような参照画像と最後に取得した画像との比較処理により、例えば、図６(ａ)に示すように、分割読出領域１に現れた動体を検出するとともに、その移動方向を特定することができる。

このようにして動体が検出された場合に(ステップＳ１６の肯定判定)、撮影制御部１５は、合成制御部２６を介して動体検出部２４から受け取った検出結果に基づいて、検出された動体を追跡するように注目範囲を設定する(ステップＳ１７)。例えば、第ｉ回の撮影で、図６(ａ)に示したように、分割読出領域１に矢印で示す方向に移動する動体が検出された場合に、撮影制御部１５は、第ｉ＋１回の撮影，第ｉ＋２回の撮影，第ｉ＋３回の撮影それぞれについて、図６(ｂ)に示すように、分割読出領域１の左上の座標を移動方向にずらした注目範囲を設定することができる。

その後、監視カメラ制御部(図示せず)から監視継続が指示されていることを確認して(ステップＳ１８の肯定判定)、撮影制御部１５は、ステップＳ１２に戻って、新たに設定された注目範囲に適合するように、分割読出領域および読出順序を決定する。

上述したようにして、注目範囲が１つの分割読出領域と同等の大きさの範囲に絞り込まれた場合には、撮影制御部１５により、高フレームレート撮影による各分割露光撮影で取得された画像それぞれから、絞り込まれた注目範囲を読み出すように信号処理部１３による読出動作が制御される。

したがって、次の撮影指示に応じて高フレームレート撮影が行われたときには、図６(ｂ)に示したように、動体を追跡するように設定された注目範囲の画像が間引かれることなく各分割露光区間について取得され、取得された全ての画像を合成することにより、この注目範囲について、きわめて高解像度かつ高画質の合成画像を取得することができる。

このようにして、動体が現れた範囲について高解像度かつ高画質の合成画像を取得する可能であることは、防犯目的などで設置された監視カメラにおいては、非常に有用な特徴である。

なお、上述したようにして絞り込まれた注目範囲から動体が脱出した場合や、撮像範囲内に動体が検出されなかった場合には(ステップＳ１６の否定判定)、撮影制御部１５により、撮像範囲全体が注目範囲として設定されて、注目範囲が初期設定に戻される(ステップＳ１９)。

以上の実施形態による電子カメラでは、所定時間内に撮像素子１２によって行われる各撮影における撮像範囲の指定された部分を信号処理部１３によって選択的に読出し、その部分ごとに画像処理部２０あるいは２１０によって合成する。その場合に、この場合に、信号処理部１３が各撮影に対応して撮像素子１２から読み出す画像信号は、指定された部分に対応する画像を示す画像信号に限られるので、指定された部分に対応して全ての画素に対応する画像信号を間引くことなく読み出して合成処理に供することが可能である。

したがって、上記実施形態の電子カメラによれば、スポーツ競技のリモート撮影や監視カメラ、野生動物の生態観察用カメラのように、撮像範囲が固定された撮影において、撮像範囲の所望の領域について高画質の画像を提供することができる。

本発明の一実施形態の電子カメラを示す図である。注目範囲と分割読出領域を説明する図である。リモートカメラに適合した撮影動作を表す流れ図である。合成処理を説明する図である。本発明の別実施形態の電子カメラを示す図である。動体検出に基づく注目範囲決定処理を説明する図である。監視カメラに適合した撮影動作を表す流れ図である。

符号の説明

１１…撮影光学系、１２…撮像素子、１３…信号処理部、１４…メモリ、１５…撮影制御部、１６…受信器、１７…記録インタフェース(Ｉ／Ｆ)，１８…メモリカード、２０…画像処理部、２１…画像合成部、２２…合成画像保持部、２３，２６…合成制御部、２４…動体検出部、２５…参照画像保持部。

Claims

所定期間内で被写体を複数回撮影して、それぞれの撮影における撮像範囲の複数の部分それぞれに対応する画像を表す画像信号を生成する撮像手段と、
前記複数回の撮影それぞれについて、前記複数の部分のうちの指定された部分の画像を表す複数の画像信号を前記撮像手段から読み出す読出手段と、
前記読出手段によって読み出された前記複数の画像信号を合成して、前記指定された部分に対応する画像を形成する合成手段と
を備えたことを特徴とする電子カメラ。
所定期間内で被写体を複数回撮影して、それぞれの撮影における撮像範囲内の画像を表す画像信号を生成する撮像手段と、
前記複数回の撮影それぞれに対応して、前記撮像範囲内で動体を検出し前記動体を含む部分を特定する範囲特定手段と、
前記複数回の撮影それぞれについて、前記範囲特定手段で特定された部分の画像を表す複数の画像信号を前記撮像手段から読み出す読出手段と、
前記読出手段によって読み出された前記複数の画像信号を合成して、前記動体に対応する画像を形成する合成手段と
を備えたことを特徴とする電子カメラ。
請求項２に記載の電子カメラにおいて、
前記撮像手段は、前記範囲特定手段で動体が検出されていないときは、それぞれの撮影における撮像範囲の複数の部分それぞれに対応する画像を表す画像信号を生成し、
前記読出手段は、前記範囲特定手段で動体が検出されていないときは、前記複数の部分のうちの指定された部分の画像を表す複数の画像信号を前記撮像手段から読み出すこと
を特徴とする電子カメラ。
請求項１または請求項３に記載の電子カメラにおいて、
前記指定された部分は、前記複数の部分のうちの２つ以上の部分であること
を特徴とする電子カメラ。
請求項１または請求項３に記載の電子カメラにおいて、
前記指定された部分は、前記複数の部分の全てであること
を特徴とする電子カメラ。
請求項４または請求項５に記載の電子カメラにおいて、
前記読出手段は、それぞれの前記指定された部分の画像を表す画像信号を、前記複数回の撮影において順番に読み出すこと
を特徴とする電子カメラ。