JP2009077272A - 撮像装置及びそのプログラム - Google Patents

撮像装置及びそのプログラム Download PDF

Info

Publication number
JP2009077272A
JP2009077272A JP2007245714A JP2007245714A JP2009077272A JP 2009077272 A JP2009077272 A JP 2009077272A JP 2007245714 A JP2007245714 A JP 2007245714A JP 2007245714 A JP2007245714 A JP 2007245714A JP 2009077272 A JP2009077272 A JP 2009077272A
Authority
JP
Japan
Prior art keywords
image data
exposure time
imaging
blur
frame image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007245714A
Other languages
English (en)
Other versions
JP5158409B2 (ja
Inventor
Hiroshi Shimizu
博 清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2007245714A priority Critical patent/JP5158409B2/ja
Publication of JP2009077272A publication Critical patent/JP2009077272A/ja
Application granted granted Critical
Publication of JP5158409B2 publication Critical patent/JP5158409B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】 画像のブレの低減、及び、画質劣化の低減を図る撮像装置及びそのプログラムを実現する。
【解決手段】
キャプチャフレーム周期が到来すると測光処理により得られた被写体の明るさ、通常のゲイン値に基づいて露光時間TL、絞り値を算出し、該算出された露光時間TL、絞り値、通常のゲイン値で撮像を行なう(S32〜S33)。そして、予め決められた比較的短い露光時間TSと露光時間TLとの差分に応じたゲイン値を算出し、該算出されたゲイン値、予め決められた露光時間TS、S33で算出された絞り値で撮像を行う(S36、37)。そして、露光時間TLで撮像された画像Lnの前後に撮像された画像を比較することにより該画像Lnのブレ量を検出し(S38)、該画像Lnのブレ量が所定値以上の場合は、露光時間TSで撮像された画像Snを記録し(S40、42)、ブレ量が所定値以上でない場合は該画像Snを記録する(S41、42)。
【選択図】 図5

Description

本発明は、撮像装置及びそのプログラムに係り、詳しくは、被写体のブレを低減させる撮像装置及びそのプログラムに関する。
近年、撮像装置、例えば、デジタルカメラにおいては、被写体の動きが速い場合には、感度を上昇させ、シャッタスピードを速くすることにより、ブレのない画像データを得るという技術が登場した(特許文献1)。
公開特許公報 特開2004−120576
しかしながら、上記特許文献によれば、シャッタボタン半押し後、全押しされるまでに撮像された複数の画像データに基づいて、被写体の動きを検出し、該検出された被写体の動きが大きい場合にシャッタ速度を速くし、感度を上昇させることにより被写体のブレを低減させることはできるが、以下のような問題がある。
シャッタ速度を速くして高感度で撮影すると得られる画像の画質は劣化してしまうので、シャッタ速度を速くして高感度での撮影はできるだけ回避させた方がよい。にもかかわらず、上記特許文献記載の技術は、シャッタ半押し後、全押しされるまでに撮像された画像データに基づいて検出された被写体の動きが大きい場合は、シャッタボタン全押し後の被写体の動きも大きいだろうと勝手に推測してシャッタ速度を速めているに過ぎず、シャッタボタン全押し後の被写体の動きが遅い場合であっても、シャッタ速度を速くして高感度で撮影しまっている。
そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、画像のブレの低減、及び、画質劣化の低減を図る撮像装置及びそのプログラムを提供することを目的とする。
上記目的達成のため、請求項1記載の発明による撮像装置は、被写体を撮像する撮像手段と、
被写体の明るさに基づいて第1の露光時間を算出する露光時間算出手段と、
前記撮像手段を制御することにより、1枚の画像データを撮像する撮像期間内に、前記露光時間算出手段により算出された第1の露光時間での撮像と、この第1の露光時間より短い第2の露光時間での撮像とを連続して行う連続撮像制御手段と、
前記1枚の画像データを撮像する撮像期間内のブレ量を検出するブレ量検出手段と、
前記ブレ量検出手段により検出されたブレ量が所定値以上の場合は、前記1枚の画像データの撮像期間内に撮像された画像データとして、前記第2の露光時間で撮像された画像データを採用し、前記ブレ量検出手段により検出されたブレ量が所定値より小さい場合は、前記1枚の画像データの撮像期間内に撮像された画像データとして前記第1の露光時間で撮像された画像データを採用する採用手段と、
を備えたことを特徴とする。
また、例えば、請求項2に記載されているように、前記ブレ量検出手段は、
前記第1の露光時間で撮像された画像データのブレ量を検出することにより、前記1枚の画像データを撮像する撮像期間内のブレ量を検出するようにしてもよい。
また、例えば、請求項3に記載されているように、前記第2の露光時間は、
ブレの影響が所定以内となるように予め決められた固定時間であるようにしてもよい。
また、例えば、請求項4に記載されているように、前記連続撮像制御手段は、
前記第1の露光時間と、前記第2の露光時間との差に応じて、該第2の露光時間で撮像された画像データの感度を上昇させるようにしてもよい。
また、例えば、請求項5に記載されているように、前記連続撮像制御手段は、
ゲインを上げることによって感度を上昇させるようにしてもよい。
また、例えば、請求項6に記載されているように、前記露光時間算出手段により算出された第1の露光時間が前記第2の露光時間以上か否かを判断する判断手段を備え、
前記連続撮像制御手段は、
前記判断手段により前記第1の露光時間が前記第2の露光時間以上と判断された場合は、前記1枚の画像データを撮像する撮像期間内に連続して前記第1の露光時間での撮像と、前記第2の露光時間との撮像を行い、前記判断手段により前記第1の露光時間が前記第2の露光時間以上でないと判断された場合は、前記1枚の画像データを撮像する撮像期間内に前記第1の露光時間での撮像のみを行うようにしてもよい。
また、例えば、請求項7に記載されているように、前記ブレ量検出手段は、
前記連続撮像制御手段により前記第1の露光時間で撮像された画像データの前後に撮像された画像データ、又は、前記連続撮像制御手段により前記第1の露光時間で撮像された画像データとその前又は後に撮像された画像データを用いて、前記1枚の画像データを撮像する撮像期間内のブレ量を検出するようにしてもよい。
また、例えば、請求項8に記載されているように、前記採用手段によって採用された画像データを表示手段に表示させる表示制御手段を備えるようにしてもよい。
また、例えば、請求項9に記載されているように、前記連続撮像制御手段により撮像された画像データを記録手段に記録保存する保存制御手段を備え、
前記ブレ量検出手段、前記採用手段、前記制御手段は、
前記保存制御手段により連続撮像制御手段によって撮像された画像データが記録保存された後に実行するようにしてもよい。
また、例えば、請求項10に記載されているように、前記採用手段により採用されなかった画像データを前記記録手段から消去する消去手段を備えるようにしてもよい。
また、例えば、請求項11に記載されているように、前記連続撮像制御手段により撮像された画像データを記録手段に記録保存する保存制御手段を備え、
前記ブレ量検出手段、前記採用手段、前記制御手段は、
前記保存制御手段により連続撮像制御手段によって撮像された画像データが記録保存される前に実行するようにしてもよい。
また、例えば、請求項12に記載されているように、前記保存制御手段は、
前記採用手段によって採用された画像データのみを保存記録するようにしてもよい。
また、例えば、請求項13に記載されているように、前記連続撮像制御手段は、
前記第1の露光時間での撮像と、前記第2の露光時間での撮像とを動画撮影におけるフレーム周期で繰り返し行うようにしてもよい。
また、例えば、請求項14に記載されているように、前記ブレ量検出手段は、
1枚のフレーム画像データを撮像する撮像期間内のブレ量を各フレーム毎に検出していき、
前記採用手段は、
前記各フレーム毎に、前記ブレ量検出手段により検出されたブレ量に基づいて前記第1の露光時間で撮像された画像データと前記第2の露光時間で撮像された画像データのいずれかを選択的に採用し、採用された画像データからなる動画データを作成するようにしてもよい。
また、例えば、請求項15に記載されているように、前記ブレ量検出手段により検出されたブレ量に応じて、各フレーム画像の切り出し位置を変えながらトリミングして記録する記録動作、または、前記ブレ量検出手段により検出されたブレ量に応じて、各フレーム画像の表示位置を変化させながら再生動作を行う動画ブレ補正手段を更に備えようにしてもよい。
また、例えば、請求項16に記載されているように、前記露光時間算出手段は、
被写体の明るさに基づいて動画撮像用の第1の露光時間を算出するようにしてもよい。
また、例えば、請求項17に記載されているように、前記連続撮像制御手段は、
連続して前記第1の露光時間での静止画撮像と、前記第2の露光時間との静止画撮像を行うようにしてもよい。
また、例えば、請求項18に記載されているように、前記露光時間算出手段は、
被写体の明るさに基づいて静止画撮像用の第1の露光時間を算出するようにしてもよい。
上記目的達成のため、請求項19記載の発明による撮像装置は、被写体を撮像する撮像手段と、
被写体の明るさに基づいて露光時間を算出する露光時間算出手段と、
前記撮像手段を制御することにより、前記露光時間算出手段により算出された露光時間で露光を行うことにより撮像を行う撮像制御手段と、
前記撮像制御手段による露光中の手ブレ量を検出する手ブレ量検出手段と、
前記ブレ量検出手段により検出されたブレ量が所定値以上か否かを判断する判断手段と、
を備え、
前記撮像制御手段は、
前記判断手段により前記手ブレ量検出手段によって検出された手ブレ量が所定値以上と判断された場合は、前記露光時間が経過しなくても直ちに露光を終了させることを特徴とする。
また、例えば、請求項20に記載されているように、前記撮像制御手段は、
前記第1の露光時間が経過する前に露光を終了した場合は、前記第1の露光時間と、実際に露光を行った時間との差に応じて、実際の露光時間で撮像された画像データの感度を上昇させるようにしてもよい。
上記目的達成のため、請求項21記載の発明によるプログラムは、被写体の明るさに基づいて第1の露光時間を算出する露光時間算出処理と、
被写体を撮像する撮像手段を制御することにより、1枚の画像データを撮像する撮像期間内に、前記露光時間算出処理により算出された第1の露光時間での撮像と、この第1の露光時間より短い第2の露光時間での撮像とを連続して行う連続撮像制御処理と、
前記1枚の画像データを撮像する撮像期間内のブレ量を検出するブレ量検出処理と、
前記ブレ量検出処理により検出されたブレ量が所定値以上の場合は、前記1枚の画像データの撮像期間内に撮像された画像データとして、前記第2の露光時間で撮像された画像データを採用し、前記ブレ量検出処理により検出されたブレ量が所定値より小さい場合は、前記1枚の画像データの撮像期間内に撮像された画像データとして前記第1の露光時間で撮像された画像データを採用する採用処理と、
を含み、上記各処理をコンピュータに実行させることを特徴とする。
上記目的達成のため、請求項22記載の発明によるプログラムは、被写体の明るさに基づいて露光時間を算出する露光時間算出処理と、
被写体を撮像する撮像手段を制御することにより、前記露光時間算出処理により算出された露光時間で露光を行うことにより撮像を行う撮像制御処理と、
前記撮像制御処理による露光中の手ブレ量を検出する手ブレ量検出処理と、
前記ブレ量検出処理により検出されたブレ量が所定値以上か否かを判断する判断処理と、
を含み、上記各処理をコンピュータに実行させるプログラムであって、
前記撮像制御処理は、
前記判断処理により前記手ブレ量検出処理によって検出された手ブレ量が所定値以上と判断された場合は、前記露光時間が経過しなくても直ちに露光を終了させることを特徴とする。
本発明によれば、表示される画像のブレの低減、画質劣化の低減を図ることができる。
以下、本実施の形態について、本発明の撮像装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[第1の実施の形態]
A.デジタルカメラの構成
図1は、本発明の撮像装置を実現するデジタルカメラ1の電気的な概略構成を示すブロック図である。
デジタルカメラ1は、撮影レンズ2、レンズ駆動ブロック3、絞り兼用シャッタ4、CCD5、垂直ドライバ6、TG(timing generator)7、ユニット回路8、DMAコントローラ(以下、DMAという)9、CPU10、キー入力部11、メモリ12、DRAM13、DMA14、ブレ量検出部15、DMA16、画像生成部17、DMA18、DMA19、表示部20、DMA21、圧縮伸張部22、DMA23、フラッシュメモリ24、バス25を備えている。
撮影レンズ2は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズを含む。そして、撮影レンズ2には、レンズ駆動ブロック3が接続されている。レンズ駆動ブロック3は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に駆動させるフォーカスモータ、ズームモータ(図示略)と、CPU10から送られてくる制御信号にしたがって、フォーカスレンズ、ズームレンズを光軸方向に駆動させるフォーカスモータドライバ、ズームモータドライバ(図示略)とから構成されている。
絞り兼用シャッタ4は、図示しない駆動回路を含み、駆動回路はCPU10から送られてくる制御信号にしたがって絞り兼用シャッタ4を動作させる。この絞り兼用シャッタ4は、絞り、シャッタとして機能する。
絞りとは、CCD5に入射される光の量を制御する機構のことをいい、シャッタとは、CCD5に光を当てる時間を制御する機構のことをいい、CCD5に光を当てる時間(露光時間)は、シャッタ速度によって変わってくる。
露出量は、この絞り値(絞りの度合い)とシャッタ速度によって定められる。
CCD5は、垂直ドライバ6によって走査駆動され、一定周期毎に被写体像のRGB値の各色の光の強さを光電変換して撮像信号としてユニット回路8に出力する。この垂直ドライバ6、ユニット回路8の動作タイミングはTG7を介してCPU10によって制御される。また、CCD5は電子シャッタとしての機能を有し、この電子シャッタは、垂直ドライバ6、TG7を介してCPU10を介して制御される。
ユニット回路8には、TG7が接続されており、CCD5から出力される撮像信号を相関二重サンプリングして保持するCDS(Correlated Double Sampling)回路、そのサンプリング後の撮像信号の自動利得調整を行なうAGC(Automatic Gain Control)回路、その自動利得調整後のアナログ信号をデジタル信号に変換するA/D変換器から構成されており、CCD5によって得られた撮像信号はユニット回路8を経た後、DMA9によってベイヤーデータの状態でバッファメモリ(DRAM13)に記憶される。
CPU10は、測光処理、記録処理、表示処理などを行う機能を有すると共に、デジタルカメラ1の各部を制御するワンチップマイコンである。
特に、CPU10は、測光処理に基づいて得られた被写体の明るさに基づいて、通常のゲイン値における絞り値及び露光時間TLを算出する算出部101、1枚のフレーム画像データの撮像期間内に、該算出された露光時間TLでの撮像と、予め決められた比較的時間の短い露光時間TSでの撮像を連続して行う連続撮像制御部102と、ブレ量検出部15により検出されたブレ量に基づいて、当該フレーム画像データとして、露光時間TLのフレーム画像データ、露光時間TSのフレーム画像データTSのどちらか一方のフレーム画像データを採用する採用部103とを含む。
キー入力部11は、静止画撮影や動画撮影等の撮影を指示するシャッタボタン、動画撮影モードや再生モード等のモードを切り替えるモード切替キー、十字キー、SETキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をCPU10に出力する。
メモリ12には、CPU10がデジタルカメラ1の各部を制御するのに必要な制御プログラム、及び必要なデータが記録されており、CPU10は、該プログラムに従い動作する。
DRAM13は、CCD5によって撮像された画像データを一時記憶するバッファメモリとして使用されるとともに、CPU10のワーキングメモリとしても使用される。
DMA14は、バッファメモリに記憶されているベイヤーデータ若しくは輝度色差信号の画像データを読み出して、ブレ量検出部15に出力するものである。
ブレ量検出部15は、個々の画像の露光時のブレ量(カメラと被写体との相対的な動き)を検出するものであり、手振れに起因するブレ量だけであればカメラ本体に取り付けたジャイロセンサによって検出することも可能であるが、ここでは、被写体の動きに起因するブレ量をも検出することを考慮して、複数のフレーム画像データに基づく電子的なブレ検出方法を用いるものとする。この複数のフレーム画像データに基づくブレ量の検出は、周知技術なので詳しく説明しないが、基本的には、2枚のフレーム画像データのブレ量を検出する技術を利用するものであり、ブロックマッチング法や代表点マッチング法など用いて2枚のフレーム画像データから、両者のフレーム画像データのブレ量を検出するようにしてもよいし、2枚のフレーム画像の差分に基づいてブレ量を検出するようにしてもよい。たとえば、差分が少なければ画像のブレはなく、差分が大きければ画像のブレは大きいからである。また、画像認識により顔を認識することにより、現在のフレームと1つ前のフレームとからどのくらい顔が動いたかを算出することによりブレ量を検出するようにしてもよく、要は、後のフレームの画像が前のフレームの画像からどのくらいブレたかを検出するものであればなんでもよい。
また、2枚のフレーム画像データに基づくブレ量の検出を行う場合、画質に大きな影響を与えるような大きなブレの周期は動画撮影のフレーム周期よりも十分に大きい(5倍以上)ことを前提とするものである。ブレの周期が動画撮影のフレーム周期に近い周期(2〜5倍程度)である場合には、2枚以上の画像データを用いてブレの動きを推定することでブレ検出の精度を向上させることができる。つまり、サンプリング定理に基づいて、検出対象となるブレの周期の少なくとも2倍以上の周期で各フレーム画像を撮像すればよいことになる。また、通常の動画のフレーム周期(例えば、30フレーム/秒)よりも速い周期のブレが問題となるような場合には、状況に応じて動画のフレーム周期を速めたり、動画フレームとは別に、ブレ検出専用のフレームを挿入するようにしてもよい。さらに、このブレ量の検出に用いる複数のフレーム画像の中に、ブレ量の検出対象となるフレーム画像を含めたり、ブレ量の検出対象となるフレーム画像の後のフレーム画像を含めることにより、ブレ量の検出精度をより向上させることができる。
なお、ここで検出されるブレ量は、単に比較対象となる2つのフレーム画像のブレ量、つまり、相対的なブレ量ではなく、時間を加味した絶対的なブレ量、つまり、単位時間当たりのブレ量とする。たとえば、相対的なブレ量とすると、比較対象となる2つのフレーム画像の撮影間隔が10秒の場合に検出されたブレ量と、比較対象となる2つのフレーム画像の撮影間隔が1秒の場合に検出されたブレ量が同じになる場合があるが、撮影間隔が1秒の場合の方がはるかにブレは大きいからであり、正確なブレ量は検出できないからである。
DMA16は、バッファメモリに記憶されたベイヤーデータの画像データを読み出して画像生成部17に出力するものである。
画像生成部17は、DMA16から送られてきた画像データに対して、画素補間処理、γ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号(YUVデータ)の生成も行なう。つまり、画像処理を施す部分である。
DMA18は、画像生成部17で画像処理が施された輝度色差信号の画像データ(YUVデータ)をバッファメモリに記憶させるものである。
DMA19は、バッファメモリに記憶されているYUVデータの画像データを表示部20に出力するものである。
表示部20は、カラーLCDとその駆動回路を含み、DMA19から出力された画像データの画像を表示させる。
DMA21は、バッファメモリに記憶されているYUVデータの画像データや圧縮された画像データを圧縮伸張部22に出力したり、圧縮伸張部22により圧縮された画像データや、伸張された画像データをバッファメモリに記憶させたりするものである。
圧縮伸張部22は、画像データの圧縮・伸張(例えば、JPEGやMPEG形式の圧縮・伸張)を行なう部分である。
DMA23は、バッファッメモリに記憶されている圧縮画像データを読み出してフラッシュメモリ24に記録させたり、フラッシュメモリ24に記録された圧縮画像データをバッファメモリに記憶させるものである。
B.デジタルカメラ1の動作
第1の実施の形態におけるデジタルカメラ1の動作を動画撮影時と動画再生時とに分けて説明する。
B−1.動画撮影時の動作について
まず、動画撮影時の動作を図2のフローチャートにしたがって説明する。
動画撮影モードにおいて、ユーザによってキー入力部11のシャッタボタンが押下されると(シャッタボタンの押下に対応する操作信号がキー入力部11から送られてくると)、動画撮影処理が開始されたと判断し、CPU10は、キャプチャフレーム周期(撮像タイミング)が到来するまで待ち処理を行う(ステップS1)。このキャプチャフレーム周期は、キャプチャフレームレートに基づいて定まる。たとえば、キャプチャフレームレートが30fpsの場合は、1/30秒毎にキャプチャフレーム周期が到来することになる。
そして、キャプチャフレーム周期が到来すると、CPU10は、測光処理を行うことにより、撮像される被写体の明るさを得る(ステップS2)。この測光処理は、直近に撮像されたフレーム画像データの輝度成分に基づいて行うようにしてもよいし、測光センサを設け、該測光センサから出力されたデータに基づいて行うようにしてもよい。ここでは、画像データの輝度成分に基づいて行う。
そして、CPU10の算出部101は、該測光処理により得られた被写体の明るさに基づいて、通常のゲイン値(ノイズが少ない画像を記録できる通常の感度)における絞り値、シャッタ速度(露光時間TL)を算出する(ステップS3)。この通常のゲイン値は、ユーザによって、又は自動的に予め決められた値である。ここで、算出される絞り値、シャッタ速度は動画撮影用の絞り値、シャッタ速度である。
なお、ここでは、ゲイン値を変えることにより感度を変えるようにしたが、ゲイン値の他に他の方法(たとえば、画素加算駆動)によって感度を変えるものであってもよい。
そして、CPU10の連続撮像制御部102は、垂直ドライバ6、TG7、ユニット回路8を制御することにより、ステップS3で算出された露光時間TL及び絞り値、通常のゲイン値で撮像を行い、画像生成部17で画像処理が施され、圧縮伸長部22で圧縮されたフレーム画像データをDMA23を介してフラッシュメモリ24に記録させる(ステップS4)。
つまり、ステップS3算出された露光時間TL及び絞り値で被写体を撮像し、ユニット回路8のAGC回路は、通常のゲイン値に基づいて該撮像された画像データは該撮像された画像データの利得を調整する。
そして、CPU10は、予め決められた露光時間TS(画像のブレが発生しにくい程度の比較的短い所定の露光時間)とステップS3で算出された露光時間TLの差分に応じてゲイン値を算出する(ステップS5)。つまり、予め決められた露光時間TS、ステップS3で算出された絞り値で撮像された画像データの明るさが、ステップS3で算出された露光時間TL及び絞り値、通常のゲイン値で撮像された画像データの明るさと同じになるように、ゲイン値を算出する。ここで、第1の実施の形態においては、露光時間TSは露光時間TLより短い時間であることを前提とするので、算出されるゲイン値は、通常のゲイン値より大きな値となるのでノイズが発生しやすくなる。
そして、CPU10の連続撮像制御部102は、垂直ドライバ6、TG7、ユニット回路8を制御することにより、該ステップS5で算出されたゲイン値、ステップS3で算出した絞り値、予め決められた露光時間TSで撮像を行い、画像生成部17で画像処理が施され、圧縮伸長部22で圧縮されたフレーム画像データをDMA23を介してフラッシュメモリ24に記録させる(ステップS6)。
つまり、予め決められた露光時間(所定の露光時間)TS、ステップS3で算出された絞り値で被写体を撮像し、ユニット回路8のAGC回路は、ステップS5で算出されたゲイン値に基づいて該撮像された画像データは該撮像された画像データの利得を調整する。これにより、感度を上げるので露光時間を短くしても適切な明るさのフレーム画像データを得ることができる。
このように、1枚のフレーム画像データの撮像期間内に、通常の測光処理に基づいた露光時間TLと、予め決められた露光時間TSを2枚連続して撮像する。
なお、この露光時間TLと露光時間TSとを合計した時間が、キャプチャフレーム周期より短い時間でなければならない。
そして、CPU10は、動画撮影記録処理が終了したか否かを判断し(ステップS7)、動画撮影が終了していない場合はステップS1に戻る。この動画撮影処理が終了したか否かの判断は、シャッタボタンの押下が解除されたか、つまり、キー入力部11からシャッタボタンの押下に対応する操作信号が送られてこなくなったか否かにより判断する。
一方、ステップS7で、動画撮影記録処理が終了したと判断すると、CPU10は、該記録したフレーム画像データに基づいてフラッシュメモリ24上に動画ファイルを生成する(ステップS8)。
なお、この動画撮影記録処理中は、露光時間TLで撮像されたフレーム画像データ、又は、露光時間TSで撮像されたフレーム画像データをDMA19を介しリアルタイムで順々に表示部20に表示させていく。
B−2.動画再生時の動作について
次に、動画再生時の動作を図3のフローチャートにしたがって説明する。
再生モードにおいて、再生したい動画ファイルがユーザによって選択されると、動画再生処理が開始されたと判断し、CPU10は、フラッシュメモリ24に記録されている該選択された動画ファイルのフレーム画像データを読み出し、最初に露光時間TLで撮像されたフレーム画像データLnを選択する(ステップS11)。
ここで、フレーム画像データLn(n:1,2,・・・,z−1,z)は、露光時間TLで撮像されたフレーム画像データを示し、Lnの「n」は、撮像された順番をも示す。たとえば、フレーム画像データL1は一番最初に露光時間TLで撮像されたフレーム画像データを示し、フレーム画像データL2は2番目、フレーム画像データLnはn番目に露光時間TLで撮像されたフレーム画像データを示し、フレーム画像データLzは最後に露光時間TLで撮像されたフレーム画像データを示す。つまり、ステップS11では、フレーム画像データL1を選択することになる。
また、フレーム画像データSn(n:1,2,・・・,z−1,z)は、露光時間TSで撮像されたフレーム画像データを示し、Snの「n」は、撮像された順番を示す。たとえば、フレーム画像データS1は一番最初に露光時間TSで撮像されたフレーム画像データを示し、フレーム画像データS2は2番目、フレーム画像データSnはn番目に露光時間TSで撮像されたフレーム画像データを示し、フレーム画像データSzは最後に露光時間TSで撮像されたフレーム画像データを示す。
ここで、図4は、撮像され記録された画像ファイルのフレーム画像データの様子及び再生対象となるフレーム画像データの様子の一例を示す図である。
図4に示すように、露光時間TLのフレーム画像データと、予め決められた露光時間TSのフレーム画像データが交互に撮像されたのがわかる。ここで、1枚目の撮像期間に撮像されたフレーム画像データをL1、S1とし、2枚目の撮像期間内に撮像されたフレーム画像データをL2、S2とし、n枚目の撮像期間に撮像されたフレーム画像データをLn、Snとする。なお、繰り返し言うまでもないが、フレーム画像データLは露光時間TLで撮像されたフレーム画像データを示し、フレーム画像データSは露光時間TSで撮像されたフレーム画像データを示している。
そして、CPU10は、該選択したフレーム画像データLnの前後のフレーム画像データをブレ量検出部15に出力し、ブレ量算出部15に前のフレーム画像データと後のフレーム画像データと比較させて両者の画像のブレ量を検出させることにより、該選択したフレーム画像データLnのブレ量を検出する(ステップS12)。この前後のフレーム画像データのブレ量により該選択されたフレーム画像データLnのブレ量がある程度わかるからである。つまり、該選択されたフレーム画像データLnの露光時間中にどのくらいブレたのかがわかる。この検出されたブレ量はCPU10に送られる。画像データのブレは、撮影者の手ブレや被写体のブレによって生じる。
この比較対象となる前後のフレーム画像データとは、選択しているフレーム画像データLnの直前のフレーム画像データSn−1と、直後のフレーム画像データSnをいい、たとえば、現在選択しているフレーム画像データがL2である場合は、S1のフレーム画像データと、S2のフレーム画像データとなり、現在選択されているフレーム画像データがL3である場合は、S2のフレーム画像データと、S3のフレーム画像データとなる。
この選択されたフレーム画像データLnとその直後に撮像されたフレーム画像データSnとの時間差はほどんとなく、該選択されたフレーム画像データの直前のフレーム画像データSn−1と直後のフレーム画像データSnとのブレ量がそのまま該選択されたフレーム画像データLnのブレ量と見てよいからである。また、露光時間の短い(画像のブレがない)フレーム画像データS同士を比較することにより、正確なブレ量を検出することもできるからである。なぜならば、比較的露光時間の長いフレーム画像データLは画像がブレていたり、ボケていたりする可能性が高いので、フレーム画像データL同士、又は、フレーム画像データLとフレーム画像データSと、を比較しても正確なブレ量が検出できない可能性もあるからである。
ここで、選択しているフレーム画像データがL1の場合は、フレーム画像データL1と、直後に撮像されたフレーム画像データS1とを比較してブレ量を検出するようにしてもよいし、シャッタボタンの押下直前に撮像されたフレーム画像データと、フレーム画像データS1とを比較してブレ量を検出するようにしてもよいし、さらに、フレーム画像データL1を選択した場合は、ブレ量を検出することなくそのまま後述するステップS14で該フレーム画像データL1を表示画像として採用し、ステップS17で表示させるようにしてもよい。
なお、比較するフレーム画像データを、選択したフレーム画像データLnの直前、直後のフレーム画像データに限定したが、選択したフレーム画像データLnの前のフレーム画像データと、後のフレーム画像データであれば直前、直後でなくてもよいし、必ずしも露光時間の短いフレーム画像データS同士を比較する必要もない。これによっても、該選択したフレーム画像データLnのブレ量はある程度わかるからである。また、前後のフレーム画像を比較するようにしたが、前後ではなく、単に前のフレーム画像データと、選択しているフレーム画像データLnとを比較するようにしてもよし、後のフレーム画像データと、選択しているフレーム画像データLnとを比較するようにしてもよい。これによっても、該選択したフレーム画像データLnのブレ量はわかるからである。
図3のフローチャートに説明に戻り、ステップS12で、該選択したフレーム画像データLnのブレ量を検出すると、CPU10の採用部103は、該選択したフレーム画像データのブレ量が所定値以上であるか、つまり、所定のブレ量以上であるか否かを判断する(ステップS13)。
ステップS13で、該選択したフレーム画像データLnのブレ量が所定値以上より大きいと判断すると、CPU10の採用部103は、当該フレーム画像データとして(次の表示期間内のフレーム画像データとして)、露光時間TSで撮像された方のフレーム画像データSnを表示画像として採用して(ステップS14)、ステップS16に進む。つまり、該選択したフレーム画像データLnと同じ撮像期間内に撮像された露光時間TSのフレーム画像データSnを採用することになる。これにより、ブレのない若しくは少ないフレーム画像を採用することができる。
一方、ステップS13で、該選択したフレーム画像データLnのブレ量が所定値以上より大きくないと判断すると、CPU10は、当該フレーム画像データとして、現在選択しているフレーム画像データLnを表示画像として採用して(ステップS15)、ステップS16に進む。これによりノイズのない若しくは少ないフレーム画像データを採用することができる。
ステップS16に進むと、CPU10は、表示フレーム周期(表示タイミング)が到来するまで待ち処理を行う。この表示フレーム周期は、表示フレームレートに基づいて定まる。たとえば、表示フレームレートが30fpsの場合は、1/30秒毎に表示フレーム周期が到来することになる。
表示フレーム周期が到来すると、CPU10は、当該フレーム画像データとして採用したフレーム画像データ(ステップS14又はステップS15で採用したフレーム画像データ)をDMA19を介して表示部20に再生表示させる(ステップS17)。
次いで、CPU10は、最後に露光時間TLで撮像されたフレーム画像データLzが選択されたか否かを判断する(ステップS18)。
ステップS18で、最後に露光時間TLで撮像されたフレーム画像データLzが未だ選択されていないと判断すると、次に露光時間TLで撮像されたフレーム画像データLn(n=n+1)を選択して(ステップS19)、ステップS12に戻る。
一方、ステップS18で、最後に露光時間TLで撮像されたフレーム画像データLzが選択されたと判断すると、再生処理を終了する。
図4に示すように、たとえば、フレーム画像データL2のブレ量は所定値より小さいので、2枚目のフレーム画像データとして表示されるフレーム画像データはフレーム画像データL2となり、フレーム画像データL3のブレ量が所定値以上なので、3枚目のフレーム画像データとして表示されるフレーム画像データは、フレーム画像データS3となる。同様に、フレーム画像データS4、フレーム画像データS5のブレ量は所定値以上なので、4枚目、5枚目のフレーム画像データとして表示されるフレーム画像データは、フレーム画像データS4、S5ということになる。
従来においては、画像のブレ及び補正処理は、ある程度の長い時間のスパンで判断して実行しているので、例えば、背景技術で説明したように、シャッタボタンの半押し後全押しまでに撮像された画像データに基づいて検出された被写体の動きが大きい場合は、ある程度の期間、シャッタ速度を速くして高感度で連続撮影しているので、このように撮影された動画データを再生する場合は、シャッタ速度を速くして高感度で撮影されたフレーム画像データが一定時間表示されてしまい、画質が劣化しているばかりか、シャッタ速度が速いためパラパラ漫画のような、被写体の動きが滑らかでないカクカクした動画が表示されてしまう。
しかし、上記第1の実施の形態で説明したように、被写体の明るさに基づいて通常の感度において必要な露光時間TLで撮像されたフレーム画像データLnのブレ量が所定値より小さい場合には、該露光時間TLで撮像されたフレーム画像データLnを表示させ、フレーム画像データLnのブレ量が所定値以上の場合は、予め決められた露光時間の短い露光時間TSで撮像されたフレーム画像データSnを表示させるので、ブレ(撮影時のブレに起因する個々の画像のボケ)を軽減させて若しくは無くして動画を再生させることができ、且つ、カクカクした動画の再生を抑えることができ、動画の画質を向上させることができる。
また、第1の実施の形態においては、個々の画像のブレ(ボケ)を低減することを主な目的としているために、動画としてのブレ補正処理については説明しなかったが、動画として複数の画像データの記録や再生表示を行う場合には、検出されるブレ量に基づいて各フレーム画像の切り出し位置を変化させながらトリミングして記録したり、ブレ量に基づいて各フレーム画像の表示位置を変えて表示を行うようにするのは当然である。また、この動画のブレ補正処理は、記録時と再生時のどちらで行ってもよい。また、動画の記録時に検出されたブレ量の情報を各フレーム画像に対応付けて記録しておき、このブレ量の情報を用いて再生時に2つのフレーム画像の選択表示を行うようにしてもよい。これにより、ブレのない動画を記録、再生することとができる。
以上のように、第1の実施の形態においては、各フレーム画像データの撮像期間内に、被写体の明るさに基づいて算出された露光時間TLと、予め決められた比較的短い露光時間TSとを連続して撮像して記録していき、該記録された動画データの再生時に、フレーム画像データLnのブレ量が所定値以上の場合は、当該フレーム画像データとしてフレーム画像データSnを表示させ、フレーム画像データLnのブレ量が所定値以上でない場合は、当該フレーム画像データとしてフレーム画像データLnを表示させるので、ブレ(撮影時のブレに起因する個々の画像のボケ)を軽減させて若しくは無くして動画を再生させることができ、且つ、カクカクした動画の再生を抑えることができ、表示される動画全体のブレを低減し、動画の画質を向上させることができる。
また、フレーム画像データLnのブレ量を検出して、該フレーム画像データLnを用いるか否かを判断しているので、確実にブレの少ないフレーム画像データを再生することができるとともに、必要以上に露光時間の短い(シャッタ速度の速い)フレーム画像データを再生することがない。したがって、表示されるフレーム画像データのブレの低減、画質劣化の低減を図ることができる。
なお、このフレーム画像データLnのブレ量を検出するには、フレーム画像データLnの実際のボケ具合から判断する方法や、露光期間中におけるカメラに対する被写体の動き量から判断する方法や、露光期間の長さとは無関係に露光時におけるカメラに対する被写体の動き速度から判断する方法や、カメラの動き量だけで判断する方法や、ジャイロセンサを用いる方法や、電子式なブレ検出方法など、いずれの方法であってもよいが、他の画像データと比較した場合の画像データLnのボケ具合を推定できる方法であることが必要である。
[第2の実施の形態]
次に第2の実施の形態について説明する。
第1の実施の形態においては、動画撮影時は、フレーム画像データLnとフレーム画像データSnとを交互で撮像して記録し、再生時において、フレーム画像データLnとフレーム画像データSnのどちらか一方を採用して表示させていくというものであったが、第2の実施の形態においては、撮影時に、フレーム画像データLnとフレーム画像データSnとのどちらか一方を採用して記録していくというものである。
また、上記第1の実施の形態においては、露光時間TLは露光時間TSより長いことを前提としたが、実際は、算出される露光時間TLが露光時間TSより短くなりうる可能性もあるので、算出される露光時間TLが露光時間TSより短い場合は、露光時間TSでの撮像を行なわない。
C.デジタルカメラ1の動作
第2の実施の形態も、図1に示したものと同様の構成を有するデジタルカメラ1を用いることにより本発明の撮像装置を実現する。
以下、第2の実施の形態のデジタルカメラ1の動作を図5のフローチャートにしたがって説明する。
動画撮影モードに中に、ユーザによってキー入力部11のシャッタボタンが押下されると(シャッタボタンの押下に対応する操作信号がキー入力部11から送られてくると)、動画撮影処理が開始されたと判断し、CPU10は、キャプチャフレーム周期(撮像タイミング)が到来するまで待ち処理を行う(ステップS31)。このキャプチャフレーム周期は、キャプチャフレームレートに基づいて定まる。たとえば、キャプチャフレームレートが30fpsの場合は、1/30秒毎にキャプチャフレーム周期が到来することになる。
そして、キャプチャフレーム周期が到来すると、CPU10は、測光処理を行うことにより、撮像される被写体の明るさを得る(ステップS32)。この測光処理は、直近に撮像されたフレーム画像データの輝度成分に基づいて行うようにしてもよいし、測光センサを設け、該測光センサから出力されたデータに基づいて行うようにしてもよい。ここでは、画像データの輝度成分に基づいて行う。
そして、CPU10の算出部101は、該測光処理により得られた被写体の明るさに基づいて、通常のゲイン値(通常の感度)における絞り値、シャッタ速度(露光時間TL)を算出する(ステップS33)。この通常のゲイン値は、予め決められた値である。ここで、算出される絞り値、シャッタ速度は動画撮影用の絞り値、シャッタ速度である。
なお、ここでは、ゲイン値を変えることにより感度を変えるようにしたが、ゲイン値の他に他の方法によって感度を変えるものであってもよい。
そして、CPU10の連続撮像制御部102は、垂直ドライバ6、TG7、ユニット回路8を制御することにより、ステップS33で算出された露光時間TL及び絞り値、通常のゲイン値で撮像を行い、画像生成部17で画像処理が施されたフレーム画像データをバッファメモリ(DRAM13)に記憶させる(ステップS34)。
つまり、ステップS33で算出された露光時間TL及び絞り値で被写体を撮像し、ユニット回路8のAGC回路は、通常のゲイン値に基づいて該撮像された画像データの利得を調整する。
次いで、CPU10は、ステップS33で算出された露光時間TLが露光時間TSより長いか否かを判断する(ステップS35)。この判断を行う意味は、露光時間TSで撮像する必要があるか否かを判断しているものであり、露光時間TLが露光時間TS以上長くなると、被写体ブレや手ブレなどによる画像のブレが発生しやすく若しくは発生する可能性が生じるためであり、露光時間TLが露光時間TSより長い場合は、後述するように露光時間TSで撮像を行う。
ステップS35で、露光時間TLが露光時間TSより長いと判断すると、CPU10は、予め決められた露光時間TSとステップS3で算出された露光時間TLの差分に応じてゲイン値を算出する(ステップS36)。つまり、予め決められた露光時間TS、ステップS33で算出された絞り値で撮像された画像データの明るさが、ステップS33で算出された露光時間TL及び絞り値、通常のゲイン値で撮像された画像データの明るさと同じになるように、ゲイン値を算出する。ここで、算出されるゲイン値は、通常のゲイン値より大きな値となるのでノイズが発生しやすくなる。
そして、CPU10の連続撮像制御部102は、垂直ドライバ6、TG7、ユニット回路8を制御することにより、該ステップS36で算出されたゲイン値、ステップS33で算出した絞り値、予め決められた露光時間TSで撮像を行い、画像生成部17で画像処理が施されたフレーム画像データをバッファメモリに記憶させる(ステップS37)。
つまり、予め決められた露光時間TS、ステップS33で算出された絞り値で被写体を撮像し、ユニット回路8のAGC回路は、ステップS36で算出されたゲイン値に基づいて該撮像された画像データは該撮像された画像データの利得を調整する。これにより、感度を上げるので露光時間を短くしても適切な明るさのフレーム画像データを得ることができる。
このように、露光時間TLが露光時間TSより長い場合は、1枚のフレーム画像データの撮像期間内に、通常の測光処理に基づいた露光時間TLでの撮像後に、続けて予め決められた露光時間TSで撮像する。
なお、この露光時間TLと露光時間TSとを合計した時間が、フレーム周期より短い時間でなければならないことは言うまでもない。
そして、CPU10は、ステップS34で直近に撮像したフレーム画像データLnの前後のフレーム画像データをブレ量検出部15に出力し、ブレ量検出部15に前のフレーム画像データと後のフレーム画像データと比較させて両者の画像のブレ量を検出させることにより、ステップS34で直近に撮像したフレーム画像データLnのブレ量を算出する(ステップS38)。この前後のフレーム画像データのブレ量により該フレーム画像データLnのブレ量がある程度わかるからである。つまり、ステップS34で直近に撮像されたフレーム画像データLnの露光中にどのくらいブレたのかがわかる。
このブレ量の算出は、上記第1の実施の形態と同様の動作によって行う。
そして、ステップS38で直近に撮像したフレーム画像データLnのブレ量を算出すると、CPU10の採用部103は、該算出したブレ量が所定値以上であるか、つまり、所定のブレ量以上であるか否かを判断する(ステップS39)。
ステップS39で、ステップS34で直近に撮像したフレーム画像データLnのブレ量が所定値以上より大きいと判断すると、CPU10の採用部103は、当該フレーム画像データとして(現在の撮像期間のフレーム画像データとして)、露光時間TSで撮像された方のフレーム画像データSn(ステップS37で直近に撮像されたフレーム画像データSn)を撮像画像として採用して(ステップS40)、ステップS42に進む。つまり、現在の撮像期間内に撮像された露光時間TSのフレーム画像データSnを採用することになる。これにより、ブレのないフレーム画像を撮像画像として採用することができる。この現在の撮像期間とはステップS31のフレーム周期に基づく撮像期間のことをいう。
一方、ステップS35で、ステップS33で算出された露光時間TLが露光時間TSよりも長くないと判断された場合、ステップS39で、該選択したフレーム画像データLnのブレ量が所定値以上より大きくないと判断すると、CPU10の採用部103は、当該フレーム画像データとして(現在の撮像期間のフレーム画像データとして)、露光時間TLで撮像されたフレーム画像データLn(ステップ34で直近に撮像されたフレーム画像データLn)を撮像画像として採用して(ステップS41)、ステップS42に進む。ステップS39からステップS41に進んだ場合は、ノイズの少ない若しくは無いフレーム画像データを採用することができる。
ステップS42に進むと、CPU10は、当該フレーム画像データとして採用したフレーム画像データ(ステップS40又はステップS41で採用したフレーム画像データ)を、当該フレームに対応して検出されたブレ量に応じた位置で切り出すとともに(動画のブレ補正処理を行うとともに)、圧縮伸長部22に圧縮させ、該圧縮させたフレーム画像データをDMA19を介してフラッシュメモリ24に記録させる。また、採用されなかったフレーム画像データは記録させることなく破棄される。このとき、採用されたフレーム画像データをDMA19を介して表示部20に表示させる。動画のブレ補正処理を行うので、ブレのない動画を記録することができる。
次いで、CPU10は、動画撮影記録処理が終了したか否かを判断し(ステップS43)、動画撮影が終了していない場合はステップS31に戻る。この動画撮影処理が終了したか否かの判断は、シャッタボタンの押下が解除されたか、つまり、キー入力部11からシャッタボタンの押下に対応する操作信号が送られてこなくなったか否かにより判断する。
一方、ステップS43で、動画撮影記録処理が終了したと判断すると、CPU10は、該記録したフレーム画像データに基づいてフラッシュメモリ24上に動画ファイルを生成する(ステップS44)。
図6は、第2の実施の形態で撮像される画像データの様子の一例を示す図である。
図6に示すようにフレーム画像データL1の露光時間TLが露光時間TS以下なので、露光時間の短い露光時間TSのフレーム画像データS1は撮像されず、当該フレーム画像データとして(1枚目のフレーム画像データとして)フレーム画像データL1が採用される。露光時間TLが露光時間TS以下の場合は画像のブレが発生しにくいからである。
また、同様に、フレーム画像データL2の露光時間TLも露光時間TS以下なので、フレーム画像データS2は撮像されず、当該フレーム画像データとして(2枚目のフレーム画像データとして)フレーム画像データL2が採用される。
また、フレーム画像データL3の露光時間TLが露光時間TSより長いので、フレーム画像データL3の撮像後、露光時間の短い露光時間TSのフレーム画像データS3を撮像する。露光時間TLが露光時間TSより長い場合は画像のブレが発生しやすいからである。また、フレーム画像データL3のブレ量は所定値より小さいので、ノイズの少ないフレーム画像データL3が採用される。
また、フレーム画像データL4、L5の露光時間TLが露光時間TSより長いので、フレーム画像データL4、L5の撮像後、露光時間の短い露光時間TSのフレーム画像データS4、S5を撮像する。露光時間TLが露光時間TSより長い場合は画像のブレが発生しやすいからである。また、フレーム画像データL4のブレ量は所定値以上なので、ブレの少ない若しくは無いフレーム画像データS4が採用され、レーム画像データL5のブレ量は所定値より小さいので、ノイズの少ないフレーム画像データL5が採用される。
また、フレーム画像データL6の露光時間TLも露光時間TS以下なので、フレーム画像データS6は撮像されず、当該フレーム画像データとして(6枚目のフレーム画像データとして)フレーム画像データL6が採用される。
ここで、図6をみるとわかるように、フレーム画像データS2は撮像されないので、フレーム画像データL3のブレ量を検出する場合には、フレーム画像データL3の直前、直後に撮像されたフレーム画像データは、フレーム画像データL2とフレーム画像データS3ということになるので、この2枚のフレーム画像データに基づいてフレーム画像データL3のブレ量が検出されることになる。同様に、フレーム画像データS6も撮像されないので、フレーム画像データS5とフレーム画像データL7に基づいてフレーム画像データL6のブレ量が検出されることになる。なお、ブレ量を検出するフレーム画像データLnの直前直後でなく、ブレ量を検出するフレーム画像データLnの前後に撮像されたフレーム画像データに基づいてブレ量を検出するようにしてもよいし、前後のフレーム画像データはなく、前のフレーム画像データ、又は、後のフレーム画像データと、ブレ量を検出するフレーム画像データLnとに基づいて該フレーム画像データLnのブレ量を検出するようにしてもよい。
また、図5のステップS42にでは、採用されたフレーム画像データのみを記録し、採用されなかったフレーム画像データは記録されることなく破棄されるが、破棄されるフレーム画像データであっても、後の露光時間TLで撮像されるフレーム画像データLnのブレ量を検出するために用いられるフレーム画像データは一定時間バッファメモリに保持される。つまり、採用されなかったフレーム画像データであっても、後のフレーム画像データLnのブレ量の算出に必要な限度でバッファメモリに保持され、ブレの算出に必要がなくなり次第バッファメモリから破棄されることになる。
このように、被写体の明るさに基づいて通常の感度において必要な露光時間TLが露光時間TSより長い場合は、当該撮像期間内には露光時間TLでフレーム画像データLnのみを撮像し、露光時間が露光時間TSより長い場合は、当該撮像期間に露光時間TLのフレーム画像データLnと、露光時間が比較的短い露光時間TSのフレーム画像データSnを撮像する。
また、当該撮像期間内にフレーム画像データLnのみを撮像した場合は、該フレーム画像データLnを当該撮像期間内のフレーム画像データとして採用し、当該撮像期間内にフレーム画像データLnとフレーム画像データSnとを撮像した場合は、フレーム画像データLnのブレ量が所定値以上の場合は当該撮像期間内のフレーム画像データとしてフレーム画像データSnを採用し、フレーム画像データLnのブレ量が所定値より小さい場合は当該撮像期間内のフレーム画像データとしてフレーム画像データLnを採用する。
以上のように、第2の実施の形態においては、被写体の明るさに基づいて算出された露光時間TLが露光時間TSより長くない場合は、予め決められた露光時間の短い露光時間TSでの撮像を行わないので、必要以上に撮像を行わなくてすみ、撮像の処理負担を軽減させることがでる。
また、フレーム画像データLnとフレーム画像データSnを連続して撮像した場合は、フレーム画像データLnのブレ量が所定値以上の場合は、当該フレーム画像データとしてフレーム画像データSnを記録させ、フレーム画像データLnのブレ量が所定値以上でない場合は、当該フレーム画像データとしてフレーム画像データLnを記録させるので、ブレを軽減させて若しくは無くして動画を再生させることができ、且つ、カクカクした動画の再生を抑えることができ、表示される動画全体のブレを低減し、動画の画質を向上させることができる。
また、撮影時にフレーム画像データLnとフレーム画像データSnのどちらか一方のみを採用して記録するので、再生時の処理負担を軽減させることができる。
また、フレーム画像データLnのブレ量を検出して、該フレーム画像データLnを用いるか否かを判断しているので、確実にブレの少ない若しくは無いフレーム画像データを記録したり再生することができるとともに、必要以上に露光時間の短い(シャッタ速度の速い)フレーム画像データを記録したり再生することがない。したがって、表示されるフレーム画像データのブレの低減、画質劣化の低減を図ることができる。
また、上記第2の実施の形態においては、ブレ量の検出対象となるフレーム画像の前後のフレーム画像を用いてブレ量を検出することでブレ量の検出精度を向上させるために、ステップS39以降の選択処理とステップS39以前の撮像処理とを非同期に行う(異なるフレームを対象として処理を行う)ようにしたが、ステップS39以降の選択処理とステップS39以前の撮像処理とを同期させ、同じフレームに対する撮像処理と選択処理をリアルタイムに行うようにしてもよい。この場合には、ステップS36の前にステップS39の判断を実行し、ブレ量が所定値以下であった場合には、ステップS36以降の露光時間TSでの撮像処理をスキップすることができ、ブレ量の検出精度は落ちるが、処理効率を向上させることができる。
[第3の実施の形態]
次に第3の実施の形態について説明する。
第2の実施の形態においては、撮像時にフレーム画像データに基づいてブレ量を算出するというものであるが、第3の実施の形態においては、ブレ量をセンサジャイロなどの各速度センサなどにより検出するというものである。
C.デジタルカメラ1の動作
第3の実施の形態も、図1に示したものと同様の構成を有するデジタルカメラ1を用いることにより本発明の撮像装置を実現するが、第3の実施の形態においては、ブレ量検出部15はジャイロセンサなどの角速度センサを備え、該角速度センサによって撮影者の手のブレ量を検出する。この検出されたブレ量はCPU10に送られる。また、CPU10は、連続撮像制御部102に代えて1枚のフレーム画像データの撮像期間に1枚のフレーム画像データのみを撮像する撮像制御部102を、また、CPU10は、採用部103に代えて、ブレ量検出部15によって検出された検出されたブレ量が所定値以上か否かを判断する判断部103を備える。
なお、角速度センサによってブレ量を検出するようにしたが、機械的にブレ量を検出することができるセンサであればよい。
以下、第3の実施の形態のデジタルカメラ1の動作を図7のフローチャートにしたがって説明する。
ユーザによってキー入力部11のシャッタボタンボタンが押下されると(シャッタボタンボタンの押下に対応する操作信号がキー入力部11から送られてくると)、動画撮影処理が開始されたと判断し、CPU10は、キャプチャフレーム周期(撮像タイミング)が到来するまで待ち処理を行う(ステップS51)。このキャプチャフレーム周期は、キャプチャフレームレートに基づいて定まる。たとえば、キャプチャフレームレートが30fpsの場合は、1/30秒毎にフレーム周期が到来することになる。
そして、キャプチャフレーム周期が到来すると、CPU10は、測光処理を行うことにより、撮像される被写体の明るさを得る(ステップS52)。この測光処理は、直近に撮像されたフレーム画像データの輝度成分に基づいて行うようにしてもよいし、測光センサを設け、該測光センサから出力されたデータに基づいて行うようにしてもよい。ここでは、画像データの輝度成分に基づいて行う。
そして、CPU10の算出部101は、該測光処理により得られた被写体の明るさに基づいて、通常のゲイン値(通常の感度)における絞り値、シャッタ速度(露光時間TL)を算出する(ステップS53)。この通常のゲイン値は、予め決められた値である。
なお、ここでは、ゲイン値を変えることにより感度を変えるようにしたが、ゲイン値の他に他の方法によって感度を変えるものであってもよい。
次いで、CPU10の撮像制御部102は、該算出された絞り値及び露光時間で露光を開始する(ステップS54)。つまり、撮像を開始する。
次いで、CPU10は、ブレ量検出部15を初期化する(ステップS55)。つまる、ブレ量検出15によって検出されるブレ量の積算値をゼロにする。
次いで、CPU10は、ブレ量検出部15にブレ量の検出を開始させる(ステップS56)。
次いで、CPU10は、ステップS54で露光を開始してから露光時間TLが経過したか否かを判断する(ステップS57)。
ステップS57で、露光時間が経過していないと判断すると、CPU10の判断部103は、ブレ量検出部15によって検出されたブレ量の積算値が所定値以上か否かを判断する。つまり、前回までのブレ量の積算値に対して、新たにジャイロで検出されたブレ量を積算することにより、露光開始時の位置からのトータルのブレ量を算出することで露光中に所定のブレ量以上にブレたか否かを判断する。
ステップS58で、ブレ量が所定値以上でないと判断すると、ステップS57に戻る。
一方、ステップS57で露光を開始してから露光時間が経過したと判断される前に、ステップS58でブレ量が所定値以上であると判断すると、CPU10の撮像制御部102は、露光を直ちに終了する(ステップS59)。この露光終了後に、撮像制御部102は、垂直ドライバ6、TG7を介して、CCD5により撮像された画像データを画像データを読み出す。
そして、CPU10は、実際に露光された露光時間TRと、ステップS53で算出された露光時間TLとの差分に応じたゲイン値を算出する(ステップS60)。つまり、実際の露光時間TR、ステップS53で算出された絞り値で実際に撮像された画像データの明るさが、ステップS53で算出された露光時間TL及び絞り値、通常のゲイン値で撮像される画像データの明るさと同じになるように、ゲイン値を算出する。ここで、算出されるゲイン値は、通常のゲイン値より大きな値となるのでノイズが発生しやすくなる。
そして、CPU10の撮像制御部102は、ユニット回路8のAGC回路にステップS60で算出されたゲイン値に基づいてCCD5から読みだされた画像データの利得を調整させて(ステップS61)、ステップS64に進む。この利得調整後のフレーム画像データはバッファメモリに記憶される。これにより、感度を上げるので露光時間を短くしても適切な明るさのフレーム画像データを得ることができる。
一方、ステップS58でブレ量が所定値以上であると判断される前に、ステップS57で露光を開始してから露光時間が経過したと判断されると、ステップS62に進み、CPU10の撮像制御部102は、露光を終了する(ステップS62)。この露光終了後に、CPU10は、垂直ドライバ6、TG7を介して、CCD5により撮像された画像データを読み出す。
そして、CPU10の撮像制御部102は、ユニット回路8のAGC回路に通常のゲイン値に基づいてCCD5から読みだされた画像データの利得を調整させて(ステップS63)、ステップS64に進む。この利得調整後のフレーム画像データはバッファメモリに記憶される。
次いで、CPU10は、画像生成部15によって画像処理が施され、圧縮伸長部22によって圧縮された利得調整後のフレーム画像データ(ステップS61又はステップS63の利得調整後のフレーム画像データ)をDMA23を介してフラッシュメモリ24に記録させる(ステップS64)。このとき、記録するフレーム画像データをDMA19を介して表示部20に表示させる。
次いで、CPU10は、動画撮影記録処理が終了したか否かを判断し(ステップS65)、動画撮影が終了していない場合はステップS51に戻る。この動画撮影処理が終了したか否かの判断は、シャッタボタンの押下が解除されたか、つまり、キー入力部11からシャッタボタンボタンの押下に対応する操作信号が送られてこなくなったか否かにより判断する。
一方、ステップS65で、動画撮影記録処理が終了したと判断すると、CPU10は、該記録したフレーム画像データに基づいて動画ファイルを生成して、フラッシュメモリ24に記録する(ステップS66)。
以上のように、第3の実施の形態においては、被写体の明るさに基づいて算出された露光時間TLの露光中に、ブレ量検出15により検出されたブレ量が所定値以上であると判断すると露光を終了させて画像データを読み出して記録し、ブレ量検出15により検出されたブレ量が所定値以上であると判断される前に、露光時間TLの露光が終了すると画像データを読み出して記録するので、ブレを軽減させて若しくは無くして動画を再生させることができ、且つ、カクカクした動画の再生を抑えることができ、表示される動画全体のブレを低減し、動画の画質を向上させることができる。
また、露光時間TLの露光中にブレ量を検出して、露光時間TLが経過する前に露光を終了するか否かを判断しているので、確実にブレの少ない若しくは無いフレーム画像データを記録したり再生することができるとともに、必要以上に露光時間の短い(シャッタ速度の速い)フレーム画像データを記録したり再生することがない。したがって、表示されるフレーム画像データのブレの低減、画質劣化の低減を図ることができる。つまり、画像データを利用せずにジャイロセンサ等の角速度センサによってリアルタイムにブレ量を検出するようにしたので、第2の実施形態のように、2つの露光時間で撮影された画像を後から選択するような処理を行う必要がなく、検出されるブレ量に応じて露光時間をリアルタイムに調整するような処理が可能なので、2回の撮像が1回になり、処理効率を向上させ、電池寿命を伸ばすことができる。
[変形例]
上記各実施の形態は、以下のような変形例も可能である。
(01)また、上記第1の実施の形態における動画再生処理は、単に、採用されたフレーム画像データを表示させるようにしたが(ステップS17)、採用された方のフレーム画像データを表示させるとともに、該採用されなかった方のフレーム画像データをフラッシュメモリ24から削除していくようにしてもよい。つまり、動画撮影処理中に、該再生している動画データを編集していくようにしてもよい。
これにより、再び動画データを再生する場合は普通に記録されているフレーム画像データを順々に表示させていけばよく、再生処理の負担を軽減させることができる。これによっても、上記第1の実施の形態で説明したような効果を得られる。
また、動画編集モードというものを設け、該動画編集モード中に、動画ファイルが選択されると、該動画ファイルの動画データを表示させないで単に編集していくようにしてもよい。このときの動作も図3に示すフローチャートとほぼ同様であるが、ステップS14又はステップS15の動作を経ると、そのままステップS17に進み、ステップS17では、採用されなかった方のフレーム画像データをフラッシュメモリ24から削除して、ステップS18に進む。これによっても、上記第1の実施の形態で説明したような効果を得られる。
(02)また、上記第1の実施の形態においては、ステップS3で算出された露光時間TLの長さにかかわらず、ステップS6で露光時間TSの撮像を行うようにしたが、第2の実施の形態と同様に、ステップS4で、ステップS3で算出された露光時間TLでの撮像を行うと、該ステップS3で算出された露光時間TLが露光時間TSより長いか否かを判断し、長いと判断された場合はステップS5に進み、該ステップS3で算出された露光時間TLが露光時間TSより長くないと判断された場合はそのままステップS7に進むようにしてもよい。これにより、写体の明るさに基づいて算出された露光時間TLが露光時間TSより長くない場合は、予め決められた露光時間の短い露光時間TSでの撮像を行わないので、必要以上に撮像を行わなくてすみ、撮像の処理負担を軽減させることがでる。
(03)また、上記第2、第3の実施の形態においては、動画撮影記録処理の場合について説明したが、スルー画像表示における動画撮像において適用するようにしてもよい。この場合は、図5のステップS42は、採用されたフレーム画像データを記録せずに、単に表示部20に採用されたフレーム画像データの表示のみを行えばよいことになり、図7のステップS64は得られたフレーム画像データを記録せずに、単に表示部20に表示させればよい。これによっても、第2、第3の実施の形態で説明したような効果を得ることができる。
(04)また、上記第1の、第2の実施の形態においては、動画撮像の場合について説明したが、静止画撮像にも適用してもよい。この場合は、被写体の明るさに基づいて静止画撮影用の露光時間TLを算出することになり、該露光時間TLの静止画撮像と、予め決められた露光時間TSでの静止画撮像とを連続して行えばよいことになる。この露光時間TLでの撮像と、露光時間TSでの撮像をあわせて1枚の画像データを撮像する撮像期間とする。
また、第3の実施の形態の場合は、単に算出された露光時間TLで静止画撮影を行い、検出されたブレ量が所定値以上になると、単に露光を終了することになる。
これにより、確実にブレの少ない静止画像データを再生することができるとともに、必要以上に露光時間の短い(シャッタ速度の速い)静止画像データを再生することがない。したがって、表示される静止画像データのブレの低減、画質劣化の低減を図ることができる。
(05)また、上記第1、第2の実施の形態において、1枚のフレーム画像データの撮像期間内にフレーム画像データLnと、フレーム画像データSnとを連続して撮像するようにしたが、1枚のフレーム画像データの撮像期間内に連続して2枚のフレーム画像データを撮像するのではなく、フレーム画像データの撮像期間毎にフレーム画像データLnと、フレーム画像データSnとを交互に連続して撮像するようにしてもよい。つまり、1フレームの撮像期間に撮像されるフレーム画像データは1枚ということになる。なお、これは概念上の違いてあって、本願請求項でいう1枚の画像データを撮像する撮像期間とは、露光時間TLでの撮像と、露光時間TSでの撮像とを行う期間のことをいう。つまり、1枚の画像データを撮像する撮像期間とは、1枚の画像データを得るのに必要な期間のことをいう。
この場合は、表示フレームレートは、キャプチャフレームレートの半分になってしまうが(撮像されたフレーム画像データの1/2しか再生や記録されないため)、つまり、キャプチャフレームレートが30fpsの場合は、表示フレームレートは15fpsとなってしまうが、表示フレームレートに合わせてキャプチャフレームレートを2倍にすればよい。たとえば、表示フレームレートを30fpsにしたい場合は、キャプチャフレームレートを60fpsにすればよい。
また、フレーム画像データLnの撮像のキャプチャフレームレートと、フレーム画像データSnの撮像のキャプチャフレームレートとを異ならせるようにしてもよい。また、表示フレームレートに合わせて、フレーム画像データLnのキャプチャフレームレートと、フレーム画像データSnのキャプチャフレームレートとを変えるようにしてもよい。たとえば、表示フレームレートが30fpsの場合は、フレーム画像データLnのキャプチャフレームレートを45fpsとし、フレーム画像データSnのキャプチャフレームレートを90fpsとすれば、表示フレームレートが30fpsとなるからである。
(06)また、上記各実施の形態においては、感度は予め決まっており(通常の感度)、被写体の明るさに基づいて、通常の感度における露光時間TLと絞り値を算出するようにしたが、被写体の明るさに基づいて露光時間TL、絞り値、感度を算出するようにしてもよい。
(07)また、上記第1、第2の実施の形態における、露光時間TSは、予め決まっていてもよいし、ユーザが任意に設定できるようにしてもよい。ユーザが任意に設定できるようにすることで、露光時間TSで撮像されるフレーム画像データSnのブレが発生する臨界を決めることができる。例えば、画像のブレは絶対避けたいと思う場合は露光時間TSを可能な限り短くすることができるし、余り高感度での撮影は嫌だと思う場合は露光時間TSをやや早めにすることができる。
(08)また、上記第1の、第2の実施の形態においては、フレーム画像データLnのブレ量を検出するようにしたが、これは、露光時間TLでの撮像と露光時間TSでの撮像を行う期間(1枚のフレーム画像データを撮像する期間)のブレ量を検出するための代表例であって、つまり、フレーム画像データLnのブレ量を、1枚のフレーム画像データを撮像する期間のブレ量と同視しているだけであって、他の方法によって1枚のフレーム画像データを撮像する期間のブレ量を検出するようにしてもよい。たとえば、第3の実施の形態にように、角速度センサ等により露光時間TLでの撮像と露光時間TSでの撮像とを行う期間(1枚のフレーム画像データを撮像する期間)のブレ量を検出していくようにしてもよい。
この場合も、露光時間TLでの撮像と、露光時間TSでの撮像を行い、該露光時間TLでの撮像と露光時間TSでの撮像の期間内に検出されたブレ量の積算値が所定値以上の場合には、露光時間TSで撮像されたフレーム画像データSnを採用し、ブレ量が所定値以上でない場合は露光時間TSで撮像されたフレーム画像データLnを採用する。
このとき、第1の実施の形態においては、撮影時は、撮像されたフレーム画像データを記録するとともに、検出されたブレ量も一緒に記録していき、再生時に該記録されたブレ量に基づいて、フレーム画像データLn、フレーム画像データSnのどちらを採用するか決めることになる。
これによっても、フレーム画像データのブレの軽減、画質劣化の低減を図ることができる。また、ブレを軽減させて動画を再生することができ、且つ、カクカクした動画の再生を押させることができる。
(09)また、上記変形例(01)乃至(08)を矛盾しない範囲で任意に組み合わせた態様であってもよい。
(10)また、本発明の上記各実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。
最後に、上記各実施の形態においては、本発明の撮像装置をデジタルカメラ1に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、被写体を撮像することができる機器であれば適用可能である。
本発明の実施の形態のデジタルカメラのブロック図である。 第1の実施の形態の動画撮影時の動作を示すフローチャートである。 第1の実施の形態の動画再生時の動作を示すフローチャートである。 撮像され記録された画像ファイルのフレーム画像データの様子及び再生対象となるフレーム画像データの様子の一例を示す図である。 第2の実施の形態のデジタルカメラ1の動作を示すフローチャートである。 第2の実施の形態で撮像される画像データの様子の一例を示す図である。 第3の実施の形態のデジタルカメラ1の動作を示すフローチャートである。
符号の説明
1 デジタルカメラ
2 撮影レンズ
3 レンズ駆動ブロック
4 絞り兼用シャッタ
5 CCD
6 垂直ドライバ
7 TG
8 ユニット回路
9 DMA
10 CPU
11 キー入力部
12 メモリ
13 DRAM
14 DMA
15 ブレ量検出部
16 DMA
17 画像生成部
18 DMA
19 DMA
20 表示部
21 DMA
22 圧縮伸張部
23 DMA
24 フラッシュメモリ
25 バス

Claims (22)

  1. 被写体を撮像する撮像手段と、
    被写体の明るさに基づいて第1の露光時間を算出する露光時間算出手段と、
    前記撮像手段を制御することにより、1枚の画像データを撮像する撮像期間内に、前記露光時間算出手段により算出された第1の露光時間での撮像と、この第1の露光時間より短い第2の露光時間での撮像とを連続して行う連続撮像制御手段と、
    前記1枚の画像データを撮像する撮像期間内のブレ量を検出するブレ量検出手段と、
    前記ブレ量検出手段により検出されたブレ量が所定値以上の場合は、前記1枚の画像データの撮像期間内に撮像された画像データとして、前記第2の露光時間で撮像された画像データを採用し、前記ブレ量検出手段により検出されたブレ量が所定値より小さい場合は、前記1枚の画像データの撮像期間内に撮像された画像データとして前記第1の露光時間で撮像された画像データを採用する採用手段と、
    を備えたことを特徴とする撮像装置。
  2. 前記ブレ量検出手段は、
    前記第1の露光時間で撮像された画像データのブレ量を検出することにより、前記1枚の画像データを撮像する撮像期間内のブレ量を検出することを特徴とする請求項1記載の撮像装置。
  3. 前記第2の露光時間は、
    ブレの影響が所定以内となるように予め決められた固定時間であることを特徴とする請求項1又は2記載の撮像装置。
  4. 前記連続撮像制御手段は、
    前記第1の露光時間と、前記第2の露光時間との差に応じて、該第2の露光時間で撮像された画像データの感度を上昇させることを特徴とする請求項1乃至3の何れかに記載の撮像装置。
  5. 前記連続撮像制御手段は、
    ゲインを上げることによって感度を上昇させることを特徴とする請求項4記載の撮像装置。
  6. 前記露光時間算出手段により算出された第1の露光時間が前記第2の露光時間以上か否かを判断する判断手段を備え、
    前記連続撮像制御手段は、
    前記判断手段により前記第1の露光時間が前記第2の露光時間以上と判断された場合は、前記1枚の画像データを撮像する撮像期間内に連続して前記第1の露光時間での撮像と、前記第2の露光時間との撮像を行い、前記判断手段により前記第1の露光時間が前記第2の露光時間以上でないと判断された場合は、前記1枚の画像データを撮像する撮像期間内に前記第1の露光時間での撮像のみを行うことを特徴とする請求項1乃至5の何れかに記載の撮像装置。
  7. 前記ブレ量検出手段は、
    前記連続撮像制御手段により前記第1の露光時間で撮像された画像データの前後に撮像された画像データ、又は、前記連続撮像制御手段により前記第1の露光時間で撮像された画像データとその前又は後に撮像された画像データを用いて、前記1枚の画像データを撮像する撮像期間内のブレ量を検出することを特徴とする請求項1乃至6の何れかに記載の撮像装置。
  8. 前記採用手段によって採用された画像データを表示手段に表示させる表示制御手段を備えたことを特徴とする請求項1乃至7の何れかに記載の撮像装置。
  9. 前記連続撮像制御手段により撮像された画像データを記録手段に記録保存する保存制御手段を備え、
    前記ブレ量検出手段、前記採用手段、前記制御手段は、
    前記保存制御手段により連続撮像制御手段によって撮像された画像データが記録保存された後に実行することを特徴とする請求項1乃至8の何れかに記載の撮像装置。
  10. 前記採用手段により採用されなかった画像データを前記記録手段から消去する消去手段を備えたことを特徴とする請求項9記載の撮像装置。
  11. 前記連続撮像制御手段により撮像された画像データを記録手段に記録保存する保存制御手段を備え、
    前記ブレ量検出手段、前記採用手段、前記制御手段は、
    前記保存制御手段により連続撮像制御手段によって撮像された画像データが記録保存される前に実行することを特徴とする請求項1乃至8の何れかに記載の撮像装置。
  12. 前記保存制御手段は、
    前記採用手段によって採用された画像データのみを保存記録することを特徴とする請求項11記載の撮像装置。
  13. 前記連続撮像制御手段は、
    前記第1の露光時間での撮像と、前記第2の露光時間での撮像とを動画撮影におけるフレーム周期で繰り返し行うことを特徴とする請求項1乃至12の何れかに記載の撮像装置。
  14. 前記ブレ量検出手段は、
    1枚のフレーム画像データを撮像する撮像期間内のブレ量を各フレーム毎に検出していき、
    前記採用手段は、
    前記各フレーム毎に、前記ブレ量検出手段により検出されたブレ量に基づいて前記第1の露光時間で撮像された画像データと前記第2の露光時間で撮像された画像データのいずれかを選択的に採用し、採用された画像データからなる動画データを作成することを特徴とする請求項13記載の撮像装置。
  15. 前記ブレ量検出手段により検出されたブレ量に応じて、各フレーム画像の切り出し位置を変えながらトリミングして記録する記録動作、または、前記ブレ量検出手段により検出されたブレ量に応じて、各フレーム画像の表示位置を変化させながら再生動作を行う動画ブレ補正手段を更に備えたことを特徴とする請求項14記載の撮像装置。
  16. 前記露光時間算出手段は、
    被写体の明るさに基づいて動画撮像用の第1の露光時間を算出することを特徴とする請求項13乃至15の何れかに記載の撮像装置。
  17. 前記連続撮像制御手段は、
    連続して前記第1の露光時間での静止画撮像と、前記第2の露光時間との静止画撮像を行うことを特徴とする請求項1乃至12の何れかに記載の撮像装置。
  18. 前記露光時間算出手段は、
    被写体の明るさに基づいて静止画撮像用の第1の露光時間を算出することを特徴とする請求項17記載の撮像装置。
  19. 被写体を撮像する撮像手段と、
    被写体の明るさに基づいて露光時間を算出する露光時間算出手段と、
    前記撮像手段を制御することにより、前記露光時間算出手段により算出された露光時間で露光を行うことにより撮像を行う撮像制御手段と、
    前記撮像制御手段による露光中の手ブレ量を検出する手ブレ量検出手段と、
    前記ブレ量検出手段により検出されたブレ量が所定値以上か否かを判断する判断手段と、
    を備え、
    前記撮像制御手段は、
    前記判断手段により前記手ブレ量検出手段によって検出された手ブレ量が所定値以上と判断された場合は、前記露光時間が経過しなくても直ちに露光を終了させることを特徴とする撮像装置。
  20. 前記撮像制御手段は、
    前記第1の露光時間が経過する前に露光を終了した場合は、前記第1の露光時間と、実際に露光を行った時間との差に応じて、実際の露光時間で撮像された画像データの感度を上昇させることを特徴とする請求項19記載の撮像装置。
  21. 被写体の明るさに基づいて第1の露光時間を算出する露光時間算出処理と、
    被写体を撮像する撮像手段を制御することにより、1枚の画像データを撮像する撮像期間内に、前記露光時間算出処理により算出された第1の露光時間での撮像と、この第1の露光時間より短い第2の露光時間での撮像とを連続して行う連続撮像制御処理と、
    前記1枚の画像データを撮像する撮像期間内のブレ量を検出するブレ量検出処理と、
    前記ブレ量検出処理により検出されたブレ量が所定値以上の場合は、前記1枚の画像データの撮像期間内に撮像された画像データとして、前記第2の露光時間で撮像された画像データを採用し、前記ブレ量検出処理により検出されたブレ量が所定値より小さい場合は、前記1枚の画像データの撮像期間内に撮像された画像データとして前記第1の露光時間で撮像された画像データを採用する採用処理と、
    を含み、上記各処理をコンピュータに実行させることを特徴とするプログラム。
  22. 被写体の明るさに基づいて露光時間を算出する露光時間算出処理と、
    被写体を撮像する撮像手段を制御することにより、前記露光時間算出処理により算出された露光時間で露光を行うことにより撮像を行う撮像制御処理と、
    前記撮像制御処理による露光中の手ブレ量を検出する手ブレ量検出処理と、
    前記ブレ量検出処理により検出されたブレ量が所定値以上か否かを判断する判断処理と、
    を含み、上記各処理をコンピュータに実行させるプログラムであって、
    前記撮像制御処理は、
    前記判断処理により前記手ブレ量検出処理によって検出された手ブレ量が所定値以上と判断された場合は、前記露光時間が経過しなくても直ちに露光を終了させることを特徴とするプログラム。
JP2007245714A 2007-09-21 2007-09-21 撮像装置及びそのプログラム Expired - Fee Related JP5158409B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007245714A JP5158409B2 (ja) 2007-09-21 2007-09-21 撮像装置及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007245714A JP5158409B2 (ja) 2007-09-21 2007-09-21 撮像装置及びそのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011287213A Division JP2012073650A (ja) 2011-12-28 2011-12-28 撮像装置及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2009077272A true JP2009077272A (ja) 2009-04-09
JP5158409B2 JP5158409B2 (ja) 2013-03-06

Family

ID=40611804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007245714A Expired - Fee Related JP5158409B2 (ja) 2007-09-21 2007-09-21 撮像装置及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5158409B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010110157A1 (ja) 2009-03-26 2010-09-30 アルプス電気株式会社 通信システム
JP2011254447A (ja) * 2010-05-07 2011-12-15 Canon Inc 動画再生装置、方法及びプログラム並びに記録媒体
US8982242B2 (en) 2011-06-15 2015-03-17 Olympus Imaging Corp. Imaging device and imaging method
KR101578600B1 (ko) 2013-03-22 2015-12-17 가시오게산키 가부시키가이샤 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체
WO2019082832A1 (ja) * 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
WO2019082831A1 (ja) * 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP2019083362A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 撮像装置、撮像装置の方法、および、プログラム
US11375132B2 (en) 2017-10-27 2022-06-28 Canon Kabushiki Kaisha Imaging apparatus, method of controlling the imaging apparatus, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6549409B2 (ja) * 2015-05-13 2019-07-24 オリンパス株式会社 撮像装置、撮像方法、およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04119080A (ja) * 1990-09-07 1992-04-20 Sony Corp Vtr
JPH04317278A (ja) * 1991-04-17 1992-11-09 Canon Inc 撮像装置
JP2001045361A (ja) * 1999-07-30 2001-02-16 Hitachi Ltd 撮像装置
JP2006005681A (ja) * 2004-06-17 2006-01-05 Sharp Corp 画像撮像装置、画像再生装置及び画像撮像再生システム
JP2006262221A (ja) * 2005-03-18 2006-09-28 Seiko Epson Corp 撮像装置および画像処理方法
JP2007235247A (ja) * 2006-02-27 2007-09-13 Olympus Imaging Corp 電子的ぶれ補正装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04119080A (ja) * 1990-09-07 1992-04-20 Sony Corp Vtr
JPH04317278A (ja) * 1991-04-17 1992-11-09 Canon Inc 撮像装置
JP2001045361A (ja) * 1999-07-30 2001-02-16 Hitachi Ltd 撮像装置
JP2006005681A (ja) * 2004-06-17 2006-01-05 Sharp Corp 画像撮像装置、画像再生装置及び画像撮像再生システム
JP2006262221A (ja) * 2005-03-18 2006-09-28 Seiko Epson Corp 撮像装置および画像処理方法
JP2007235247A (ja) * 2006-02-27 2007-09-13 Olympus Imaging Corp 電子的ぶれ補正装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010110157A1 (ja) 2009-03-26 2010-09-30 アルプス電気株式会社 通信システム
JP2011254447A (ja) * 2010-05-07 2011-12-15 Canon Inc 動画再生装置、方法及びプログラム並びに記録媒体
US8982242B2 (en) 2011-06-15 2015-03-17 Olympus Imaging Corp. Imaging device and imaging method
KR101578600B1 (ko) 2013-03-22 2015-12-17 가시오게산키 가부시키가이샤 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체
WO2019082832A1 (ja) * 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
WO2019082831A1 (ja) * 2017-10-27 2019-05-02 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
JP2019083362A (ja) * 2017-10-27 2019-05-30 キヤノン株式会社 撮像装置、撮像装置の方法、および、プログラム
US11258948B2 (en) 2017-10-27 2022-02-22 Canon Kabushiki Kaisha Image pickup apparatus, control method of image pickup apparatus, and storage medium
US11375132B2 (en) 2017-10-27 2022-06-28 Canon Kabushiki Kaisha Imaging apparatus, method of controlling the imaging apparatus, and program
JP7123544B2 (ja) 2017-10-27 2022-08-23 キヤノン株式会社 撮像装置、撮像装置の方法、および、プログラム

Also Published As

Publication number Publication date
JP5158409B2 (ja) 2013-03-06

Similar Documents

Publication Publication Date Title
JP5158409B2 (ja) 撮像装置及びそのプログラム
JP5234119B2 (ja) 撮像装置、撮像処理方法及びプログラム
US8848097B2 (en) Image processing apparatus, and method, for providing special effect
KR100920559B1 (ko) 카메라-흔들림 보정 기능을 갖는 동영상 재생장치 및 기록 매체
JP2007019973A (ja) 撮像装置及び撮像方法
US7475266B2 (en) Image capturing apparatus that performs dynamic frequency control of buffer memory during moving image capture
US7995104B2 (en) Image pick-up apparatus, image data processing apparatus, and recording medium
JP5909997B2 (ja) 撮像装置および撮像装置の制御方法
JP5338373B2 (ja) 撮像装置
JP4761048B2 (ja) 撮像装置及びそのプログラム
KR20120071972A (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
JP2009141538A (ja) 撮像装置、画像再生装置及びそのプログラム
JP2007325152A (ja) 撮像装置及びそのプログラム
JP2005086488A (ja) 電子スチルカメラおよび画像処理プログラム
JP5320795B2 (ja) 撮像装置
JP2009077265A (ja) 撮像装置
JP4467232B2 (ja) 画像記録装置及び方法
JP2015019243A (ja) 撮像装置、及びその制御方法とプログラム
JP2004222074A (ja) 撮像装置
JP2020123863A (ja) 撮像装置
JP2012073650A (ja) 撮像装置及びそのプログラム
JP2013016905A (ja) 撮像装置
JP2001094927A (ja) 電子スチルカメラ
JP2006148456A (ja) 電子カメラ
JPH0923371A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121016

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121128

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5158409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees