JP2007300269A - 露出補正装置、撮影装置、画像復元装置、露出値設定装置、露出補正値算出方法および制御プログラム - Google Patents

露出補正装置、撮影装置、画像復元装置、露出値設定装置、露出補正値算出方法および制御プログラム Download PDF

Info

Publication number
JP2007300269A
JP2007300269A JP2006124988A JP2006124988A JP2007300269A JP 2007300269 A JP2007300269 A JP 2007300269A JP 2006124988 A JP2006124988 A JP 2006124988A JP 2006124988 A JP2006124988 A JP 2006124988A JP 2007300269 A JP2007300269 A JP 2007300269A
Authority
JP
Japan
Prior art keywords
exposure
camera shake
unit
image
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006124988A
Other languages
English (en)
Other versions
JP4844220B2 (ja
Inventor
Michihiro Nagaishi
道博 長石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2006124988A priority Critical patent/JP4844220B2/ja
Publication of JP2007300269A publication Critical patent/JP2007300269A/ja
Application granted granted Critical
Publication of JP4844220B2 publication Critical patent/JP4844220B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Abstract

【課題】手ぶれが生じたときでも適正な露出で撮影画像を取得して、手ぶれの生じた撮影画像から被写体のぶれを低減した画像を復元するために用いられる露出補正装置、撮影装置、画像復元装置、露出値設定装置、露出補正値算出方法および制御プログラムを提供する。
【解決手段】撮影装置10により被写体の明るさに応じた露出で撮影画像を取得する際に用いられる露出補正装置24に、外部より入力された撮影装置10の撮影時の手ぶれ状態情報に基づいて、手ぶれに起因する露光不足を補うべく露出を補正するための露出補正値を出力する露出補正部24を備えさせる。
【選択図】図1

Description

本発明は、デジタルカメラ等の撮影装置を用いて被写体を撮影する際に用いられる露出補正装置、撮影装置、画像復元装置、露出計、露出補正値算出方法および制御プログラムに関する。
従来より、デジタルカメラ等の撮影装置において、自動露出機能(Automatic Exposure)を備えたものが知られている。被写体を撮影する際には、被写体の明るさ(輝度)に応じた適正な露出となるように絞り値やシャッター速度を設定する必要がある。自動露出機能を備えた撮影装置では、被写体の明るさに応じた適正な露出となるように撮影装置側で絞り値やシャッター速度等を自動的に設定することが行われている。
近年、自動露出機能に加えて、手ぶれ補正機能を備えた撮影装置が知られている。手ぶれ補正機能を備えた撮影装置では、例えば、角速度センサ等によって撮影時の手ぶれを検出して、手ぶれの軌跡データに基づき撮影画像から被写体のぶれを低減した復元画像を生成するようにしている(例えば、特許文献1および特許文献2参照)。
特開平6−27512号公報 特開平11−24122号公報
ところで、手ぶれが生じると撮影装置が動き、これにより撮像素子上に投光される被写体の像が動く。このため、手ぶれのない場合と比較して手ぶれのある場合には、撮像素子全体に露光される光量は同じであるものの、被写体の像を現す面積が手ぶれの分だけ増加して、被写体の光量が不足する。したがって、手ぶれが生じると、手ぶれのない場合と比べて、露出が不足気味となり、撮影画像にノイズも目立つようになる。
このように被写体の明るさに基づいて設定した露出では、撮影時に手ぶれが生じた際には露出が不足気味になる。そこで、手ぶれによる露光不足を改善するために、撮影者が手動で露出を補正して、露光量を増加させることが考えられる。しかしながら、撮影者が撮影する際に、自らの手ぶれ量を正確に予測して、絞り値やシャッタースピードを適切に設定することは困難である。また、手ぶれがない場合に手ぶれを見込んで露光量を増加させると逆に露出過多となり、白飛びが生じる可能性もある。
また、このような露光不足の撮影画像を用いて撮影画像における被写体のぶれを低減した復元画像を生成しても、被写体を表す画像の先鋭度は改善されるものの、全体的にノイズが残り、画像全体がぼやけたような印象を改善することは困難な場合が多い。
本発明の課題は、手ぶれが生じたときでも適正な露出で撮影画像を取得して、手ぶれの生じた撮影画像から被写体のぶれを低減した画像を復元するために用いられる露出補正装置、撮影装置、画像復元装置、露出値設定装置、露出補正値算出方法および制御プログラムを提供することにある。
上記課題を解決するために、本発明の露出補正装置は、撮影装置により被写体の明るさに応じた露出で前記被写体の撮影画像を取得する際に用いられる露出補正装置であって、外部より入力された前記撮影装置の撮影時の手ぶれ状態情報に基づいて、前記手ぶれに起因する露光不足を補うべく前記露出を補正するための露出補正値を出力する露出補正部を備えたことを特徴とする。この構成によれば、露出補正部は撮影時に手ぶれが生じた場合に、外部より入力される手ぶれ状態情報に基づいて、手ぶれに起因する露光不足を補うための露出補正値を出力する。このため、この露出補正装置を撮影装置に設ければ、被写体の撮影画像を得る際に手ぶれが生じても、露出補正値により露出が補正された適正な露出で撮影画像を取得することができる。
また、本発明の露出補正装置は、撮影装置に内蔵あるいは装着され、前記撮影装置により被写体の明るさに応じた露出で前記被写体の撮影画像を取得する際に用いられる露出補正装置であって、前記撮影装置の撮影時の手ぶれを検出してその手ぶれ量を算出する手ぶれ量算出部と、前記手ぶれ量に基づいて、前記手ぶれに起因する露光不足を補うべく前記露出を補正するための露出補正値を生成して出力する露出補正部とを備えたことを特徴とする。この構成によれば、手ぶれ量算出部は撮影時の手ぶれを検出し、その手ぶれ量を求める。そして、補正値算出部は、撮影時の手ぶれ量に基づいて、手ぶれに起因する露光不足を補うべく露出を補正するための露出補正値を生成して出力する。このため、この露出補正装置を撮影装置に設ければ、被写体の撮影画像を得る際に手ぶれが生じても、露出補正値により露出が補正された適正な露出で撮影画像を取得することができる。
また、本発明の撮影装置は、被写体の明るさに応じた露出で前記被写体を撮影する撮影部と、手ぶれに起因する露光不足を補うための露出補正値が外部より入力される入力部と、前記露出補正値により補正された露出で前記被写体を撮影するように前記撮影部を制御する撮影制御部とを備えたことを特徴とする。この構成によれば、撮影時に手ぶれが検出された場合に、入力部を介して外部より入力された露出補正値により手ぶれに起因する露光不足を補うように露出が補正される。そして、撮影制御部は、補正後の露出で被写体を撮影するように撮影部を制御する。したがって、撮影時に手ぶれが生じても適正な露出の撮影画像を取得することができる。
上記構成の撮影装置において、撮影制御部は、前記撮影部を制御する際に、前記撮影部が備えるシャッターのシャッター速度および絞りの絞り値を前記露出補正値により補正した露出となるように設定することが好ましい。この構成によれば、露出補正値により補正した露出となるように撮影制御部が自動的にシャッター速度や絞り値を設定するので、ユーザの手間を省力できる。
また、この際、前記撮影制御部は、前記シャッター速度が所定の最低速度以上となるように、前記シャッター速度および絞り値を設定することが好ましい。この構成によれば、撮影制御部は、シャッター速度が所定の最低速度以上となるようにシャッター速度および絞り値を設定するので、シャッター速度が遅くなりすぎて、逆に手ぶれが生じやすくなることを防止することができる。
この際、上記撮影装置に、撮影時の手ぶれの軌跡に基づいて、前記撮影画像における手ぶれの軌跡が除去された復元画像が外部より入力される復元画像入力部を備えると好ましい。この構成によれば、手ぶれが生じた場合に、手ぶれに起因する露光不足が補われるように補正された露出で撮影した撮影画像から、手ぶれの軌跡が除去された復元画像が復元画像入力部を介して入力されるので、撮影装置は適正な露出で秀麗に復元された復元画像を得ることができる。
また、上記の撮影装置において、前記撮影時の手ぶれ量、前記露出補正値、前記露出の設定条件、前記露出補正値の算出条件、前記露出補正値により補正される前後の露出値、補正される前後の露出における被写体の撮影画像および前記復元画像のうち、少なくとも何れか一つを表示する表示部を備えることが好ましい。この構成によれば、撮影時の手ぶれ量、露出補正値、露出の設定条件、露出補正値の生成条件、露出補正値により補正される前後の露出値、補正される前後の露出における被写体の撮影画像および復元画像のうち、少なくともいずれか一つを表示部において確認することができる。
また、上記いずれかの構成の撮影装置において、ユーザが前記露出の設定条件の設定操作、前記露出補正値の生成条件の設定操作および補正後の露出値の調整のうち、少なくともいずれか一つを行うことのできる操作部を備えることが好ましい。この構成によれば、操作部を介してユーザは、露出の設定条件、露出補正値の生成条件等を設定することにより、撮影時の露出がユーザ好みのものとなるようにすることができる。また、補正後の露出値を調整して、撮影時の露出をよりユーザ好みのものとなるようにすることができる。
また、本発明の画像復元装置は、撮影時に手ぶれが生じた場合、手ぶれに起因する露光不足を補うべく補正された露出で撮影された撮影画像を外部より取得する撮影画像取得部と、前記撮影時の手ぶれの軌跡を求める軌跡算出部と、前記撮影時の手ぶれの軌跡に基づいて、前記撮影画像における手ぶれの軌跡を除去した復元画像を生成する復元画像生成部と、を備えたことを特徴とする。この構成によれば、撮影画像取得部は、撮影時に手ぶれが生じた場合、手ぶれに起因する露光不足を補うべく補正された露出で撮影された撮影画像を取得し、復元画像生成部は、軌跡算出部により求められた撮影時の手ぶれの軌跡に基づいて、撮影画像における手ぶれの軌跡を除去した復元画像を生成する。すなわち、手ぶれが生じた場合でも適正な露出で取得された撮影画像から復元画像を生成するので、被写体のぶれを低減した画像を秀麗に生成することができる。
また、本発明の露出値設定装置は、撮影時の露出値を設定するために用いる露出値設定装置であって、前記撮影時の被写体の明るさを検出する明るさ検出部と、前記撮影時に手ぶれが生じた場合、前記被写体の明るさと、撮影時の手ぶれに起因する露光不足を補うために外部より入力される露出補正値とに基づいて、撮影時の露出値を設定する露出値設定部とを備えたことを特徴とする。この露出値設定装置によれば、撮影時に手ぶれが生じた場合には、被写体の明るさだけではなく、撮影時の手ぶれに起因する露光不足を補うための露出補正値とを用いて露出値を設定するので、撮影装置に適正な露出で被写体の撮影画像を取得させることができる。
また、本発明の露出補正値算出方法は、撮影装置を用いて被写体の明るさに応じた露出で前記被写体の撮影画像を取得する際の前記露出を補正するための露出補正値算出方法であって、前記撮影装置の撮影時の手ぶれの状態情報が外部より入力される過程と、前記手ぶれの状態情報に基づいて、手ぶれに起因する露光不足を補うべく前記露出を補正するための露出補正値を算出する過程とを備えたことを特徴とする。
また、本発明の制御プログラムは、撮影装置により被写体の明るさに応じた露出で前記被写体の撮影画像を取得する際に用いられ、露出補正部を備えた露出補正装置をコンピュータを用いて制御するための制御プログラムであって、外部より入力された前記撮影装置の手ぶれの状態情報に基づいて、前記露出補正部に手ぶれに起因する露光不足を補うための露出補正値を生成して出力させること、を特徴とする。
以下、図面を参照して本発明の実施の形態について説明する。
図1に、本実施の形態に係る撮影システム100の原理構成を示す。撮影システム100は、被写体の撮影画像を取得する際に、被写体の明るさに応じて設定された露出を、撮影時に手ぶれが検出された場合には手ぶれに起因する露光不足を補うように露出を補正して、被写体の撮影画像を適正な露出で取得し、手ぶれの生じた撮影画像から、手ぶれの軌跡を除去した復元画像を生成するようにしたものである。
図1に示すように、撮影システム100は、露出補正手段110と、露出値設定手段120と、撮影画像取得手段130と、画像復元手段140とを備えて構成される。
露出補正手段110は、ジャイロセンサ111と、ジャイロセンサ111のドリフトを補正するドリフト補正手段112と、露出補正値算出手段113とを備えている。露出補正手段110では、撮影装置10の動きをジャイロセンサ111で検知し、ドリフト補正手段112においてジャイロセンサ111のドリフトが補正され、露出補正値算出手段113において、ジャイロセンサ111から出力される角速度信号に基づいて、手ぶれの有無の判別、手ぶれ量の算出、露出を補正するための露出補正値の算出が行われる。
露出値設定手段120は、被写体の明るさと、露出補正手段110において算出された露出補正値を加味して撮影時の露出値を設定するものである。すなわち、露出値設定手段120では、被写体の明るさを検出し、手ぶれのない場合には被写体の明るさに応じた適正な露出値を設定する。撮影時に手ぶれが生じた場合には、手ぶれに起因する露光不足が生じるので、被写体の明るさなどに基づいて設定された適正露出値を露出補正手段110から与えられる露出補正値の分だけ露光量を増加させるように補正した値を撮影時の露出値として設定する。
撮影画像取得手段130は、露出値設定手段120により設定された露出値に基づいて、被写体を撮影して被写体の撮影画像を取得するものである。
画像復元手段140は、手ぶれの生じた撮影画像から被写体のぶれの軌跡を除去して、被写体のぶれを低減した復元画像を生成するもので、撮影時の手ぶれの軌跡を求める軌跡算出手段141と、撮影画像における手ぶれの軌跡を除去した復元画像を撮影画像から生成するために用いる画像変換用の逆行列を手ぶれの軌跡に基づいて作成する画像変換用逆行列作成手段142と、画像変換用の逆行列を用いて撮影画像から復元画像を生成する復元画像生成手段143とを備えている。
上記の撮影システム100の原理構成によれば、撮影時に手ぶれが生じた場合、露出補正手段110により手ぶれが検出され、手ぶれに起因する露光不足を補うように露出を補正するための補正値が算出される。露出値設定手段120は、被写体の明るさを検出して被写体の明るさと、露出補正手段110により算出された露出補正値とに基づいて、撮影時の露出値を設定する。撮影画像取得手段130は、露出値設定手段120により撮影時の手ぶれを加味して設定された露出値に基づいた露出で、被写体を撮影して撮影画像を得る。このため、本撮影システム100によれば、手ぶれが生じた際にも適正な露出で被写体の撮影画像を取得することができる。また、このように適正な露出で取得された撮影画像を用いて、画像復元手段140は、撮影画像における手ぶれの軌跡を除去した復元画像を生成するので、ノイズの増加を抑え、被写体を表す画像の先鋭度を改善した被写体のぶれを低減した画像を生成することができる。
次に、より具体的な実施の形態について説明する。
図2は、具体的な実施形態における撮影システム100の外観構成例を示したものである。図2に示す撮影システム100は、撮影装置10にジャイロユニット20が外付けユニットとして接続された構成となっている。撮影装置10は図1に示す撮影画像取得手段120および露出値設定手段130として機能するものであり、ジャイロユニット20は露出補正手段110および画像復元手段140として機能するものである。
図2に示す撮影装置10はいわゆるカメラ付携帯電話である。撮影装置10は、携帯電話としての通信機能の他に、所定の露出で被写体の動画像および静止画像を撮影し、撮影した撮影画像のデータを記録メディア15a(図3参照)に記録する機能を担うものである。一方、ジャイロユニット20は撮影時の手ぶれを検出し、露出補正処理により手ぶれの際に露光量を増加させるように露出を補正する露出補正装置としての機能と、画像復元処理により手ぶれの生じた撮影画像から被写体のぶれを低減した画像を復元する画像復元装置としての機能を担うものである。
図3に、図2に示す撮影装置10およびジャイロユニット20の各筐体10a、20aの内側に備えられる具体的な内部構成例を示す。
まず、撮影装置10の構成について説明する。
図3に示すように、撮影装置10は、撮影部11と、露出計12と、撮影制御部13と、撮影部RAM14と、外部記録部15と、操作部16と、表示部17と、制御部18と、インターフェース部19とを備えている。
図1に示した撮影画像取得手段130は、例えば、撮影部11、撮影制御部13、撮影部RAM14などを用いて構成することができる。また、図1に示した露出値設定手段120は、例えば、露出計12などを用いて構成することができる。
撮影部11は、複数の光学レンズ11aと、光学レンズ11aに入射する光量を所定の絞り値に調整する絞り11bと、露光時間を規定するメカニカルシャッター11cと、CCDやCMOS等の光電変換素子等から構成され、光学レンズ系を介して被写体の像が投影される撮像素子11dと、撮像素子11dにより取得したアナログ信号の撮影画像をデジタル信号に変換して撮影画像データを出力するA/D変換回路(図示略)などを備えている。
露出計12は受光センサ12aを備え、被写体の明るさを測光して、被写体の明るさに応じた適正な露出値を設定し、設定した露出値を撮影制御部13に出力するものである。また、撮影時に手ぶれが生じた際に、インターフェース部19を介してジャイロユニット20から露出計12に、手ぶれに起因する露光不足を補うべく露光量を増加させるように露出値を補正するための露出補正値が入力される。露出計12では、この露出補正値が入力された場合には、被写体の明るさに応じて設定する露出値をこの露出補正値により補正し、補正後の露出値を撮影制御部13に出力する。なお、この露出補正値については後述する。
ここで、受光センサ12aは光学レンズ系を介して被写体への入射光または被写体からの反射光を測光して、被写体の明るさを検出するものである。
また、被写体の明るさに応じた適正な露出値として、被写体の実際の色および色調を最も写実的に画像化することのできるような値を設定することができる。但し、露出値とは、露出、すなわち撮像素子11dに投影される露光量を数値で表したものであり、レンズ11aの絞り値(F値)とシャッター速度により決まる。
露出値は光学レンズ11aの絞り値がF1、露光時間(シャッター速度)が1秒のときの露光量をEV=0(但し、ISO感度100)と定義したものである。EV値を「1」増加させると、シャッター速度を一段階早く、または絞り値を一段階絞り込む必要があり、これにより撮影時の露光量を減少させることができる。一方、EV値は「1」減少させるには、シャッター速度を一段階遅く、または絞り値を一段階開ける必要があり、これにより撮影時の露光量を増加させることができる。被写体が明るければEV値は大きく設定され、被写体が暗ければEV値は小さく設定される。例えば、快晴時の屋外で被写体を撮影する際のEV値は「15」、薄曇りの屋外で被写体を撮影する際のEV値は「12」、明るい室内で被写体を撮影する際のEV値は「8」等のように被写体の明るさに応じて適正な露出値が設定される。
撮影制御部13は、制御部18の制御下、撮影部11を制御するものである。撮影制御部13は、撮影部11に対して露出やズーム倍率などの撮影条件を設定し、この撮影条件に従って撮影部11に被写体を撮影させるように露出制御やズーム制御等を行う。
露出制御において、撮影制御部13は、所定の露出設定モードの下、予め手動あるいは自動で設定されたISO感度および露出計12から入力される露出値に基づいて、絞り11bやシャッター11cを電子制御する。
露出設定モードとして、本実施の形態の撮影装置10は、いわゆるプログラムAE(Auto Exposure)モード、絞り優先AEモード、シャッター優先AEモード、露出自動補正モードを備える。
プログラムAEモードとは、被写体の明るさに応じた所定の露出となるように、撮影制御部13が絞り値およびシャッター速度をそれぞれ所定の値に設定するモードである。
絞り優先AEモードとは、ユーザにより操作部16を介して設定された絞り値に基づき、所定の露出となるようなシャッター速度を撮影制御部13が設定するモードである。
シャッター優先AEモードでは、ユーザにより操作部16を介して設定されたシャッター速度に基づいて、所定の露出となるような絞り値を撮影制御部13が設定するモードである。
露出自動補正モードとは、撮影時に手ぶれが生じた際に、手ぶれに起因する露光不足を補うべく露光量を増加させるように露出を補正するモードで、露出を補正するための露出補正値はジャイロユニット20から入力される。これによりユーザが意識することなく、手ぶれ時の露光不足を自動的に補正することができる。この露出自動補正モードは、プログラムAEモード、絞り優先AEモード、シャッター優先AEモードのいずれのモードにおいても設定することができる。
露出自動補正モードでは、ジャイロユニット20から入力される露出補正値に基づき、シャッター速度を遅くして露光時間を長くするか、絞り値を小さくして絞り11bを開けることにより、露光量を増加させるようにして、露出を補正する。しかし、シャッター速度を遅くすればするほど手ぶれが生じる可能性が高くなる。このため、本実施の形態では、撮影制御部13は、露出自動補正モードにおいて露出値が補正された際には基本的には絞り11bを開けることにより露出を補正するようにしている。また、手ぶれの増加を防止するため、シャッター速度を所定の最低速度以上となるように、レンズ11aの絞り値およびシャッター速度を設定する。ここで、所定の最低速度は次のようにして予め設定しておくことができる。例えば、事前に撮影装置10において設定可能なシャッター速度で撮影を行い、手ぶれが発生しにくいシャッター速度または手ぶれが発生しても所定の手ぶれ量以下となるようなシャッター速度を求めておき、手ぶれが発生しないまたは手ぶれが発生しても所定の手ぶれ量以下となるようなシャッター速度のうち最も遅いシャッター速度を上記の所定の最低速度として設定することができる。
また、露出の補正に際して、ジャイロユニット20から入力される露出補正値が大きく、絞り値やシャッター速度を設定可能な値を超えて設定しなければ、手ぶれに起因する露光不足を補うことができない場合には、撮影制御部13は手ぶれに起因する露光不足を完全に補うことができなくとも、絞り11bを開放したり、シャッター速度を上記の最低速度まで遅くして、露光量を増加可能な範囲で露出を補正することができる。すなわち、シャッター速度を上記所定の最低速度よりも遅くしなければ露出を補正できない場合には、露出補正値に見合った露光量の増加を図ることはできないが、露光量を増加可能な範囲で露出を補正するように設定することができる。
また、露出の補正に際して、絞り値やシャッター速度の設定値を大きく変更すると、被写界深度が変わるため、ジャイロユニット20から入力される露出補正値に基づいて露出を補正する際に、実際に補正可能な範囲を設定してもよい。例えば、EV値で「1」以上は露出を補正しないなど実際に露出を補正する際の上限量を設定しておき、その露出値となるように絞り値やシャッター速度を設定するようにしてもよい。
また、ジャイロユニット20から入力される露出補正値に基づいて、露出を補正する際には、ISO感度を上げることも考えられる。しかし、ISO感度を上げるとノイズが増加する可能性が高いので、本実施の形態では露出を補正する際にISO感度の変更は行わないように設定されている。
また、本実施の形態において、撮影制御部13は、被写体の静止画像を取得する場合でも、動画像を取得する場合でも、撮影部11に所定の時間間隔(フレーム間隔)で被写体の撮影画像データ(フレームデータ)を取得するように制御する。例えば、撮影部11に被写体の動画像を撮影させる場合、1秒あたり30フレーム(30fps)の連続する複数の被写体の静止画像を表す撮影画像データの集合として動画像の撮影画像データを取得するように制御する。
撮影部RAM14は、撮影部11から出力される撮影画像データを一時的に格納するバッファとして機能するものである。撮影部RAM14に格納された各撮影画像データは、制御部18に読み出され、制御部18の制御の下、表示部17に表示されたり、外部記録部15において記録メディア15aに記録されたりする。
外部記録部15は、記録メディア15aを着脱自在に備え、記録メディア15aに対して撮影画像を含む各種データの記録および読出を行うものである。
記録メディア15aは書き換え可能な記録媒体であり、磁気的・光学的記録媒体もしくは半導体記憶デバイスを用いて構成される。具体的には、記録メディア15aとしてビデオテープ、書き込み可能な光学ディスク、リムーバブルハードディスク、フラッシュメモリカード等を用いて構成できる。
外部記録部15は、制御部18の制御により、撮影部11により取得された撮影画像データそのもの、または所定のファイル形式にエンコードされた撮影画像データ、またはジャイロユニット20において生成された復元画像データを記録メディア15aに格納する。
操作部16は、撮影装置10の撮影操作、露出の設定条件や露出補正値の算出条件等の撮影条件の設定等を行う各種スイッチ等を備えている。ユーザは操作部16を介して操作することにより、露出値の調整やシャッター速度、絞り値の設定等を行うことができる。また、露出自動補正モードにより露出が自動的に補正された際にも、ユーザは操作部16を介して補正後の露出値を増減して露出をユーザ好みに調整することができる。また、露出を補正する際に、露出の設定条件の設定や露出補正値の算出条件の設定を行うことにより、補正後の露出をユーザ好みの露出となる様にすることができる。
表示部17は、制御部18の制御の下、撮影部RAM14に格納された撮影画像データ等に基づいて被写体の静止画像または動画像を表示するものである。また、表示部17は、制御部18の制御の下、露出設定等の撮影条件の設定内容やこれらの設定内容を変更するための操作メニュー等の各種の表示を行う。
ここで、露出設定に係る表示内容として、撮影時の露出値、絞り値、シャッター速度、ISO感度等の設定値などがある。また、露出自動補正モードにおいて、露出が自動的に補正された場合には、表示部17に撮影時の手ぶれ量、露光不足を補正するための露出補正値、露出補正値の算出条件、補正された前後の露出量ないし露出値を表示することができる。また、露出が自動的に補正された場合、その補正される前後の露出で取得された撮影画像や、ジャイロユニット20において復元画像の生成が行われた際には、その復元画像および復元前の撮影画像を表示することができる。
制御部18は、CPU、RAM、ROM等を用いて構成され、ROMに予め格納された制御プログラムに従い、RAMの一部を作業領域として、撮影装置10の各部を制御するものである。
インターフェース部19は、ジャイロユニット20と接続するためのインターフェースであり、ジャイロユニット20と物理的に一体に連結するためのコネクタ(図示略)を備えている。インターフェース部19を介して撮影装置10とジャイロユニット20は電気的に接続されて、相互に各種データの授受が行われる。このようなデータとして、例えば、撮影装置10からジャイロユニット20に与えられる撮影画像データや、ジャイロユニット20から撮影装置10に与えられる露出補正値データや復元画像データなどがある。
次に、ジャイロユニット20について説明する。図2に示したように、ジャイロユニット20は、一つの筐体20aの内側に各構成要素が収められて、一つのユニット状に構成されたものである。ジャイロユニット20はこの撮影装置10以外にも種々の撮影装置10と接続が可能である。
次に、ジャイロユニット20の筐体20aの内側に設けられる具体的な構成例を説明する。
図3に示すように、ジャイロユニット20は、インターフェース部21と、露出補正部22と、画像復元部25とを備えている。図1に示す露出補正手段110は、主として露出補正部22を用いて構成することができ、図1に示す画像復元手段140は、主として画像復元部25を用いて構成することができる。
インターフェース部21は撮影装置10と物理的に接続するためのコネクタ(図示略)を有し、コネクタを介して接続することで、上述のように、上記撮影装置10のインターフェース部19と相互に各種データの授受が可能な形態で電気的に接続されるとともに、物理的にも一体に連結されている。このため、撮影装置10が動くと、撮影装置10の動きに伴ってジャイロユニット20も動くように構成されている。したがって、ユーザが撮影装置10をパンニングやチルティングなどのカメラワークにより動かすと、ジャイロユニット20も撮影装置10の移動軌跡に従って動き、撮影時に手ぶれが生じると撮影装置10の振動(ぶれ)がジャイロユニット20にも伝達するように構成されている。
露出補正部22は露出を手ぶれに応じて補正する露出補正装置、露出補正手段110としての機能を有するもので、手ぶれ量算出部23と、補正値算出部24とを有している。
手ぶれ量算出部23は、X軸ジャイロセンサ23aおよびY軸ジャイロセンサ23bと、角速度検出部23cとを備えている。
X軸ジャイロセンサ23aおよびY軸ジャイロセンサ23bは、撮影装置10の動きを検出してその角速度に応じた角速度検出信号を角速度検出部23cに出力するものである。このジャイロセンサ23a、23bは図1に示すジャイロセンサ111に対応する。
角速度検出部23cは各ジャイロセンサ23a、23bから出力された角速度検出信号に基づいて、手ぶれを検出し、その手ぶれ量を算出するとともに手ぶれにより撮影装置10が移動した方向(手ぶれの生じた方向)を判別するものであり、手ぶれ量や手ぶれの生じた方向を手ぶれの状態情報として、補正値算出部24に出力するものである。
ここで、手ぶれの検出および手ぶれ量の算出について説明する。撮影装置10はユーザの手ぶれにより動く場合もあるが、カメラワークによりユーザが意図的に撮影装置10を動かす場合もある。そこで、角速度検出部23cは、各ジャイロセンサ23a、23bから入力される角速度検出信号に基づいて撮影装置10の角速度を求め、この角速度を積分することにより所定時間(例えば露光時間)における撮影装置10の移動量および移動方向を求める。次に、このように求めた移動量を予め設定した閾値と比較する。そして、撮影装置10の移動量が予め設定された閾値以下である場合に、撮影装置10の動きが手ぶれによるものであると判別する。
但し、閾値はカメラワークか手ぶれかを判別するために設定されるもので、手ぶれである可能性が高い最大の移動量またはカメラワークである可能性が高い最小の移動量に基づいて設定することができる。
また、ジャイロユニット20への電源を投入した直後は角速度検出信号に誤差が生じることが多いので、本実施の形態では電源の投入時点から一定時間(例えば1秒程度)経過後、ジャイロセンサ111の出力が安定してから角速度検出信号の取得を開始するものとする。
また、撮影装置10が動いていない状態でも暗電流などによりジャイロセンサ23a、23bからの出力があるため、本実施の形態では角速度検出部23cは所定電圧値以上の角速度検出信号を取得するものとする。
このように、角速度検出部23cにX軸ジャイロセンサ23a、Y軸ジャイロセンサ23bのドリフトを補正する機能を備えさせることにより、ジャイロユニット20内でドリフトの補正が行わせることができる。このため、ジャイロユニット20を撮影装置10に接続させることにより撮影装置10側で個々のジャイロセンサ23a、23bの特性を考慮してドリフトの補正を行う必要がなくなる。
補正値算出部24は、角速度検出部23cから入力される撮影時の手ぶれ量などの手ぶれの状態情報に基づいて、撮像素子11dに蓄積される露光量を増加させるように露出を補正するための露出補正値を算出して、この露出補正値をインターフェース部21を介して露出計12に与えるものである。図1に示した露出補正値算出手段113は、この補正値算出部24および角速度検出部23cなどを用いて構成することができる。
ここで、図4を参照して、補正値算出部24における露出補正値の算出方法について説明する。まず、手ぶれと露光量との関係について説明する。
被写体を撮像する際に、手ぶれにより撮影装置10が動く(ぶれる)と、撮像素子11d上に投影される被写体の像もぶれる。例えば、撮像素子11d上の所定方向における主要被写体のぶれ量がxであったとすると、主要被写体の像はぶれ量xの分だけ面積が増大して投影されることになる。このため、ぶれ量xが大きくなればなるほど主要被写体の光量が不足する。
但し、所定方向とはぶれの生じた方向とする。図4に示す例では、所定方向を長方形状の撮像素子11dにおける短辺方向(鉛直方向)として示した。また、撮像素子11d上の主要被写体のぶれ量は、光学レンズ11aの焦点距離、焦点に対する撮像素子11dの位置が考慮される。また、主要被写体とは、例えば、ポートレート写真においては人物が主要被写体となり、風景写真においては、例えば、ユーザが主として撮影したいと考えた建物や山等、撮影画像において主としてピントを合わせる対象とする被写体を指す。
ここで、ぶれの生じた方向における撮像素子11dの最大長をLとした場合、手ぶれが生じた際の光量Mは下記式で表現できると考えられる。
M = (L−x)/L × 100(%)
手ぶれのない場合(x=0の場合)、光量Mは100%となる。ぶれ量xが撮像素子11dのぶれの生じた方向の最大長と等しい場合(x=L)、光量Mは0%となる。
そして、上記式から不足分の光量は(100−M)%と表せる。この不足分の光量(100−M)%に基づいて、露出補正値を算出する。
ここで、露出補正値を不足分の光量を補うために必要な露出値(EV値)として求めるとすると、次の計算式により算出することができる。
露出補正値 = log2((100−M)×K)
但し、Kは補正係数である。この補正係数Kは撮像素子11dの特性などのばらつきなどを考慮して実験的に定めたものである。
上述した様に、撮影部11は、被写体の静止画像を取得する場合でも、動画像を取得する場合でも、所定のフレーム間隔で被写体の撮影データを連続的に取得している。ここで、所定のフレームにおいて露出を補正する場合、直前のフレームの撮影画像データにおける手ぶれ量に基づいて所定のフレームにおいて不足する露光量を予測し、この予測した露光量を露出補正値として算出することができる。なお、露出補正値の算出方法は上述の式(1)および式(2)に従う。
例えば、図5に示すように、所定のフレーム間隔で連続的に撮影画像P1〜P5を得ている場合、直前の撮影画像P4における被写体のぶれ量xが、微量であった場合、次の撮影画像P5における被写体のぶれ量xも微量であると予測される。このため、手ぶれに起因する露光不足の影響は少ないと予測されるから、次の撮影画像P5において露出を補正する必要はなく、露出補正値は「0」となる。
一方、直前の撮影画像P1における被写体のぶれ量xが大きかった場合、次の撮影画像P2における被写体のぶれ量xも大きいと予測されるから、ぶれ量xに基づいて次の撮影画像P2において不足される光量を算出し、次の撮影画像P2において露出を補正するための露出補正値(例えば+1EV)を算出することができる。
また、直前の撮影画像P2におけるぶれ量xが小さかった場合、次の撮影画像P3におけるぶれ量xも小さいと予測されるから、ぶれ量xに基づいて次の撮影画像P3において不足される光量を算出し、それを次の撮影画像P3において露出を補正するための露出補正値(例えば、+0.5)として算出することができる。この露出補正値を露出計12に与えることにより、露出計12から撮影制御部13に出力される露出値を被写体の明るさと手ぶれ量に応じた適正な露出値とすることができる。そして、撮影制御部13は撮影部11を制御して、被写体の明るさと手ぶれ量に応じた適正な露出値となるように絞り値やシャッター速度を設定するので、撮影装置10において手ぶれが生じた際も適正な露出の撮影画像を得ることができる。
軌跡算出部26は、図1に示す軌跡算出手段141として機能するもので、角速度検出部23cにより求められた角速度、手ぶれ量および移動方向に基づいて、撮影装置10が手ぶれにより動いた軌跡(手ぶれの軌跡)を求めるものである。
逆変換フィルタ部27は、図1に示す画像変換用逆行列作成手段142として機能するもので、軌跡算出部26により求めた手ぶれの軌跡をもとに、撮影画像から被写体のぶれの軌跡を取り除いた、被写体のぶれを低減した復元画像を生成するための画像変換用逆行列を作成するものである。
復元画像生成部28は、図1に示す復元画像生成手段として機能するものであり、逆変換フィルタ部27により求められた画像変換用逆行列を用いて演算処理を行って、ぶれを生じた撮影画像から被写体のぶれを低減した画像を復元するものである。この復元画像データはインターフェース部21を介して撮影装置10に出力され、制御部18の制御の下、記録メディア15aなどに格納される。
ここで、図6を参照して画像復元処理について更に説明する。
図6は、撮影装置10の軌跡とフレーム撮影の様子を示す図であり、図6(A)は撮影装置10のぶれの軌跡の例を、図6(B)は各時刻(t1〜t7)において取得した撮影画像データを示したものである。
図6(A)には、撮影装置10がX軸方向及びY軸方向に移動した軌跡が曲線で表されている。曲線上の点t1〜t7は、各撮影画像データ取得時(t1〜t7)における撮影装置10の位置を示す。画像を復元する処理は直前の撮影画像データ取得時からの軌跡に基づいて行われる。例えば図6(B)に示すように時刻t3で取得した撮影画像データから被写体のぶれを低減した画像を復元する場合は、直前の撮影画像データを取得した時刻t2から時刻t3までの間における撮影装置10の軌跡を求め、この軌跡に基づいて次に説明する画像変換用逆行列が生成される。
次に、画像変換用逆行列の生成について説明する。
逆変換フィルタ部27は、軌跡算出部26が求めた手ぶれの軌跡から、上記の特許文献1(特開平6−27512号公報)等により既に知られた様々な方法によって、ぶれ伝達関数hを求めて、その逆行列h-1を求める。
すなわち、手ぶれがない場合の画像(元の像)を関数f(x,y)で表し、手ぶれのある画像を関数g(x,y)で表すと、これらh,f,gには下記式(1)の関係が成り立つ。
Figure 2007300269
上記式(1)の両辺をフーリエ変換すれば、下記式(2)に示す関係式が得られる。
Figure 2007300269
上記式(2)の関係式を行列で表現すると、下記式(3)〜(6)のようになる。
Figure 2007300269
但し、下記式(4)の関係式はmn×mnの行列であり、式(5)〜(6)の関係式は、それぞれmn次の列ベクトルである。
Figure 2007300269
ぶれ伝達関数hは、図6(A)に例示したような手ぶれの動きの軌跡から求めることができる。従って、ぶれ伝達関数hを求め、この逆行列h-1を求めて、上記式(3)の行列式を解くことにより、手ぶれの生じた画像gから被写体のぶれを低減した画像fを得ることができる。
次に、図7を参照して、本実施の形態における撮影システム100において、被写体の撮影が行われた際のジャイロユニット20の動作について説明する。
但し、図7に示す処理手順において、撮影装置10にジャイロユニット20が接続され、撮影装置10とジャイロユニット20との間でデータの授受が可能な状態となっていることを動作の前提とする。また、ジャイロユニット20に電源が投入された時点から一定時間経過しており、各ジャイロセンサ23a、23bの出力は安定しているものとする。
まず、撮影時に撮影装置10のぶれが検出されると、手ぶれ量算出部23において撮影時の手ぶれ量が算出される(ステップS1)。但し、この手ぶれ量は直前のフレームの撮影画像を取得した際の手ぶれ量である。次に、算出された手ぶれ量に基づいて、補正値算出部24において、上述した方法により露出を補正するための露出補正値が求められる(ステップS2)。そして、補正値算出部24において求められた露出補正値はインターフェース部21を介して撮影装置10の露出計12に与えられる(ステップS3)。そして、撮影部11において補正された露出で撮影画像の取得に成功するまで待機する(ステップS4)。
ここで、撮影画像の取得に成功したか否かは、露出補正値に見合った露光量の増加を図るように補正した露出で被写体の撮影画像を取得できたか否か、あるいは、シャッター速度の制限等から露出補正値に見合った露光量の増加を図ることができない場合、所定の露出で被写体の撮影画像を取得するような設定が行われているか否か等により判別することができる。
そして、被写体の撮影画像の取得に成功すると(ステップS4:Y)、次に、ジャイロユニット20では軌跡算出部26において、上述した方法により、撮影時の手ぶれの軌跡が求められる(ステップS5)。そして、逆変換フィルタ部27において、ステップS5において求めた手ぶれの軌跡に基づき、撮影画像から被写体のぶれを低減した画像を生成するための画像変換用逆行列が作成される(ステップS6)。そして、撮影装置10から撮影画像を取得し(ステップS7)、ステップS6において作成された画像変換用逆行列に基づいて、復元画像生成部28において撮影画像から被写体のぶれを低減した復元画像が生成される(ステップS8)。
そして、復元画像生成部28において、復元画像を正しく生成できたか否かが判別され(ステップS9)、正しく復元できたと判別された場合(ステップS9:Y)、復元画像はインターフェース部21を介して撮影装置10に出力される。一方、正しく復元できなかったと判別された場合(ステップS9:N)、撮影装置10から入力された撮影画像に対してエッジ強調処理により生成した復元画像または元の撮影画像をそのまま撮影画像を撮影装置10に出力する(ステップS10)。
但し、復元画像を正しく生成できたか否かの判別は、例えば、撮影画像に対して復元画像におけるノイズの増加量が所定量以上か否か等により判別することが考えられる。また、エッジ強調処理では、例えば、手ぶれ方向および手ぶれ量に基づき、手ぶれの生じた方向を中心に手ぶれ量に応じた輪郭強調を行って、画像を鮮鋭化することができる。これにより、手ぶれを目立たなくした復元画像を生成することができる。
以上説明した実施の形態によれば、ジャイロユニット20は撮影時に手ぶれが生じた場合に露光量を増加させるように露出を補正するための露出補正値を求めて撮影装置10の露出計12に与える。このため、このジャイロユニット20を撮影装置10に接続すれば、被写体の撮影画像を得る際に手ぶれが生じても撮影装置10において適正な露出の撮影画像を取得することができる。
また、ジャイロユニット20において露出補正値を算出する際に、角速度検出部23cにおいて求めた手ぶれ量から、補正値算出部24は次に取得する撮影画像に不足すると予測される光量を求めて、この光量の分だけ露光量を増加させるための露出補正値を算出する。このため、撮影時に手ぶれが生じても手ぶれにより不足すると予測される光量が露出補正値により補われるように露出が補正され、撮影装置10において適正な露出の撮影画像を取得することができる。
また、撮影装置10においては、露出計12に露出補正値が入力されるような構成とし、露出補正値に応じて撮影制御部13に出力する露出値を補正するような構成とすればよい。このため、従来の撮影装置10と比較して大幅な装置構成の変更がなく、手ぶれにより露出が補正される機能を撮影装置10に付与するためのコストの増加を抑えることができる。
また、撮影制御部13は露出補正値により露光量を増加させるように補正された露出で被写体を撮影するように撮影部11を制御する。この際、撮影制御部13が自動的にシャッター速度や絞り値を補正後の露出となるように設定するので、ユーザの手間を省力できる。
また、撮影制御部13は、シャッター速度が所定の速度以上となるようにシャッター速度および絞り値を設定するので、シャッター速度が遅くなりすぎて、逆に手ぶれが生じやすくなることを防止することができる。
また、上記実施の形態において、撮影時の手ぶれ量、入力部を介して入力される露出補正値、撮影装置10における露出の設定条件、入力される露出補正値を求める際の算出条件、露出補正値により補正される前後の露出値、または、補正される前後の露出における被写体の撮影画像が表示部17に表示されるので、ユーザはこれらの表示を確認して、操作部16により露出の設定条件の設定操作、露出補正値の算出条件の設定操作、または補正後の露出値の調整を行い、ユーザの好みの露出にすることができる。
さらに、上記実施の形態では、表示部17にジャイロユニット20において生成された復元画像を表示することができるので、ユーザは復元画像を確認することができ、復元画像に基づいて露出補正値の上限値やシャッター速度の下限値を設定し、または補正後の露出値を増減してユーザの好みの露出とすることができる。
また、画像復元部25では、撮影時に手ぶれが生じた場合、露光量を増加させるように補正した露出で撮影された被写体の撮影画像から、被写体のぶれの軌跡を撮影画像から除去した復元画像を生成する。すなわち、手ぶれが生じた場合でも適正な露出で取得された撮影画像から復元画像を生成するので、ノイズの発生を抑えて、被写体のぶれを低減した画像を秀麗に生成することができる。
また、上記の実施の形態では、画像変換用の逆行列によっては復元画像を正しく生成できない場合には、エッジ強調処理により手ぶれを目立たなくした復元画像を生成することができる。エッジ強調処理では、逆行列を用いて復元画像を生成する場合と比較すると、高速に復元画像を生成することができる。
また、本実施の形態では、メカニカル方式のシャッター11cを採用しているので、CCDの電荷転送が有限時間に起因するローリングシャッター11c問題を回避することができ、レンズ11aから入射する被写体の投影光を撮像素子11dに均一に投光することができる。
但し、本発明は上記実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において適宜変更可能なのは勿論である。
例えば、上記実施の形態では、撮影制御部13の制御の下、撮影部11において被写体の動画像撮影時においても静止画像撮影時においても、所定のフレーム間隔で被写体の撮影画像データを連続的に取得する場合に、露出の補正および復元画像の生成を行う例について説明したが、本発明はこのような撮影画像を所定のフレーム間隔で連続的に取得する撮影装置10ではなく、撮影部11によって所定の露光時間の下、1回のみ露出を行って静止画像を撮影する撮影装置10に適用可能なのは勿論である。その場合も上記と略同様の動作により露出の補正、復元画像の生成を行うことができる。
また、上記実施の形態では、所定のフレーム間隔で被写体の撮影画像データを得ている場合に、直前のフレームにおける撮影画像を撮影した際の手ぶれ量に基づいて、露出補正値を算出するものとしたが、直前のフレームにおける手ぶれ量だけではなく、過去の連続する複数のフレームにおける手ぶれ量の平均値を求め、当該平均値に基づいて次のフレームにおいて不足する露光量を予測して、露出補正値を求めるようにしてもよい。
すなわち、露出補正部22において、X軸ジャイロセンサ23a、Y軸ジャイロセンサ23b及び角速度検出部23cによって所定の露光時間中の撮影装置10のぶれを検出して手ぶれか否かの判別および手ぶれ量の算出を行い、このように算出された手ぶれ量により上記と同様の方法により露出補正値を算出して、この露出補正値を撮影装置10の露出計12に与えることにより露出を補正させることができる。
また、所定の露光時間中の撮影装置10のぶれに基づいて、軌跡算出部26によって手ぶれの軌跡を求め、この手ぶれの軌跡に基づいて、逆変換フィルタ部27によって画像変換用逆行列を求めるとともに、復元画像生成部28において復元画像を生成することができる。
また、上記実施の形態において、特に説明しなかったが、復元画像の生成は撮影時に行ってもよいし、撮影後に行われるようにしてもよく、復元画像の生成時は特に限定されるものではない。撮影後に復元画像の生成を行う際には、手ぶれの軌跡等の算出に必要な情報を記録メディア15a等に格納させておき、復元画像の生成を行う際に記録メディア15aからこれらの情報を読み出すようにするとよい。
さらに、上記実施の形態では、ジャイロユニット20において、撮影時の露出を補正するための露出補正値の算出、復元画像の生成を行うものとして説明したが、本発明はこれに限定されるものではなく、手ぶれ量算出部23において求められた手ぶれ量や軌跡算出部26によって求められた手ぶれの軌跡等を手ぶれの状態情報としてジャイロユニット20から他の装置に出力し、この他の装置(例えば、撮影装置10)において、撮影時の露出の露出補正値の算出、手ぶれの軌跡に基づく復元画像の生成(エッジ強調処理を含む)を行うようにしてもよい。すなわち、手ぶれの状態情報が入力される他の装置を、手ぶれに起因する露光不足を補うべく露出を補正するための露出補正値を撮影装置や露出計等に出力する露出補正装置や、復元画像を手ぶれの状態情報に基づいて精製する画像復元装置として構成してもよい。この場合も、手ぶれ量の算出や手ぶれの軌跡を求める高負荷の処理をジャイロユニット20において実行することで、露出補正値の算出または復元画像の生成を行う装置側では低負荷の処理を行うことができる。
また、上記実施の形態において、ジャイロユニット20は、角速度検出部23cにおいて求めた手ぶれ量が所定の閾値より大きい場合にのみ、露出補正値の算出および復元画像の生成を行わせるようにしてもよい。この場合、手ぶれがない場合や、撮影画像における手ぶれによる被写体のぶれが視認できない程度に小さい場合は、その撮影画像については露出補正値の算出や復元画像の生成を行わないようにすることができ、処理の効率化を図ることができる。
また、上記実施の形態では、撮影装置10の動きを検出するため、X軸ジャイロセンサ23a、Y軸ジャイロセンサ23bにより角速度を検出する構成としたが、本発明はこれに限定されるものではなく、撮影装置10の単位時間あたりのぶれ量を検出可能なものであれば、例えば加速度センサを用いることも可能である。
さらに、上記実施の形態では、撮影システム100を撮影装置10としてのカメラ付き携帯電話と、露出補正装置および画像復元装置としてのジャイロユニット20とにより構成されるものとして説明したが、本発明はこれに限定されるものではない。例えば、図8に示すように、ジャイロユニット20と同様の機能を有するジャイロユニット30を撮影装置10の筐体10aの内側に設けられる内部ユニットとして構成してもよい。この場合、X軸ジャイロセンサ31、Y軸ジャイロセンサ32、露出補正値の算出、復元画像の生成等の演算処理を行う演算用のIC33、露出補正値の算出、復元画像の生成のための制御プログラムや各種データを格納するROM34等を一つの基板35上に設け、チップボンディング等により1つのIC状に構成してもよい。
また、上記実施の形態において、撮影装置10に、パーソナルコンピュータとケーブル等で通信可能に接続される外部インターフェースや、テレビやプロジェクタなどの外部ディスプレイ装置に動画像の映像信号を出力するための映像出力端子、音声信号を取り込み記録・再生するためのオーディオ回路や、音声信号を外部スピーカや外部アンプ等に出力するための音声出力端子などを備えさせてもよいのは勿論である。
また、本発明は、上記実施の形態で説明した撮影装置10以外の撮影機能を有する撮影機器にも適用することが可能であり、具体例を挙げると、デジタルスチルカメラ、デジタルビデオカメラ等の撮影装置10、および、このような撮影装置10を具備したPDA、ノート型パソコン等の各種電子機器においても適用可能である。このような電子機器において、上記のジャイロユニット20またはジャイロユニット30が備える構成を内蔵させてもよいし、本実施の形態で説明したような外付けジャイロユニット20を接続可能な構成としてもよい。
実施の形態に係る撮影システムの機能的構成例を示す図である。 実施の形態に係る撮影システムの外観構成例を示す図である。 実施の形態に係る撮影システムの具体的な機能的構成例を示す図である。 手ぶれと露光量との関係を示す図である。 露出補正値の算出方法を説明するための図である。 ぶれ軌跡と復元する撮影画像の撮影タイミングとの関係を示す図である。 実施の形態おけるジャイロユニットの動作を示すフローチャートである。 撮影システムの他の外観構成例を示す図である。
符号の説明
10…撮影装置、11…撮影部、11a…光学レンズ、11b…絞り、11c…メカニカルシャッター、11d…撮像素子、12…露出計、13…撮影制御部、16…操作部、17…表示部、18…制御部、19…インターフェース部、20…ジャイロユニット、21…インターフェース部、22…露出補正部(露出補正装置)、23…手ぶれ量算出部、24…補正値算出部(露出補正装置、露出補正部)、25…画像復元部(画像復元装置)、軌跡算出部…26、逆変換フィルタ部…27、復元画像生成部…28、100…撮影システム、110…露出補正手段(露出補正装置)、120…露出値設定手段(露出値設定装置)、130…撮影画像取得手段(撮影装置)、140…画像復元手段(画像復元装置)

Claims (12)

  1. 撮影装置により被写体の明るさに応じた露出で前記被写体の撮影画像を取得する際に用いられる露出補正装置であって、
    外部より入力された前記撮影装置の撮影時の手ぶれ状態情報に基づいて、前記手ぶれに起因する露光不足を補うべく前記露出を補正するための露出補正値を出力する露出補正部を備えたこと、
    を特徴とする露出補正装置。
  2. 撮影装置に内蔵あるいは装着され、前記撮影装置により被写体の明るさに応じた露出で前記被写体の撮影画像を取得する際に用いられる露出補正装置であって、
    前記撮影装置の撮影時の手ぶれを検出してその手ぶれ量を求める手ぶれ量算出部と、
    前記手ぶれ量に基づいて、前記手ぶれに起因する露光不足を補うべく前記露出を補正するための露出補正値を生成して出力する露出補正部と、
    を備えたことを特徴とする露出補正装置。
  3. 被写体の明るさに応じた露出で前記被写体を撮影する撮影部と、
    手ぶれに起因する露光不足を補うための露出補正値が外部より入力される入力部と、
    前記露出補正値により補正された露出で前記被写体を撮影するように前記撮影部を制御する撮影制御部と、
    を備えたことを特徴とする撮影装置。
  4. 請求項3記載の撮影装置において、
    前記撮影制御部は、前記撮影部を制御する際に、前記撮影部が備えるシャッターのシャッター速度および絞りの絞り値を前記露出補正値により補正した露出となるように設定すること、
    を特徴とする撮影装置。
  5. 請求項4記載の撮影装置において、
    前記撮影制御部は、前記シャッター速度が所定の最低速度以上となるように、前記シャッター速度および絞り値を設定すること、
    を特徴とする撮影装置。
  6. 請求項3〜5のいずれか一項に記載の撮影装置において、
    撮影時の手ぶれの軌跡に基づいて、前記撮影画像における手ぶれの軌跡が除去された復元画像が外部より入力される復元画像入力部を備えたこと、
    を特徴とする撮影装置。
  7. 請求項6記載の撮影装置において、
    前記撮影時の手ぶれ量、前記露出補正値、前記露出の設定条件、前記露出補正値の生成条件、前記露出補正値により補正される前後の露出値、補正される前後の露出における被写体の撮影画像および前記復元画像のうち、少なくとも何れか一つを表示する表示部を備えたこと、
    を特徴とする撮影装置。
  8. 請求項3〜7のいずれか一項に記載の撮影装置において、
    ユーザが前記露出の設定条件の設定操作、前記露出補正値の生成条件の設定操作および補正後の露出値の調整のうち、少なくともいずれか一つを行うことのできる操作部を備えたこと、
    を特徴とする撮影装置。
  9. 撮影時に手ぶれが生じた場合、手ぶれに起因する露光不足を補うべく補正された露出で撮影された撮影画像を外部より取得する撮影画像取得部と、
    前記撮影時の手ぶれの軌跡を求める軌跡算出部と、
    前記撮影時の手ぶれの軌跡に基づいて、前記撮影画像における手ぶれの軌跡を除去した復元画像を生成する復元画像生成部と、
    を備えたことを特徴とする画像復元装置。
  10. 撮影時の露出値を設定するために用いる露出値設定装置であって、
    前記撮影時の被写体の明るさを検出する明るさ検出部と、
    前記撮影時に手ぶれが生じた場合、前記被写体の明るさと、撮影時の手ぶれに起因する露光不足を補うために外部より入力される露出補正値とに基づいて、撮影時の露出値を設定する露出値設定部と、
    を備えたことを特徴とする露出値設定装置。
  11. 撮影装置を用いて被写体の明るさに応じた露出で前記被写体の撮影画像を取得する際の前記露出を補正するための露出補正値算出方法であって、
    前記撮影装置の撮影時の手ぶれの状態情報が外部より入力される過程と、
    前記手ぶれの状態情報に基づいて、手ぶれに起因する露光不足を補うべく前記露出を補正するための露出補正値を算出する過程と、
    を備えたことを特徴とする露出補正値算出方法。
  12. 撮影装置により被写体の明るさに応じた露出で前記被写体の撮影画像を取得する際に用いられ、露出補正部を備えた露出補正装置をコンピュータを用いて制御するための制御プログラムであって、
    外部より入力された前記撮影装置の手ぶれの状態情報に基づいて、前記露出補正部に手ぶれに起因する露光不足を補うための露出補正値を生成して出力させること、
    を特徴とする制御プログラム。
JP2006124988A 2006-04-28 2006-04-28 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム Expired - Fee Related JP4844220B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006124988A JP4844220B2 (ja) 2006-04-28 2006-04-28 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006124988A JP4844220B2 (ja) 2006-04-28 2006-04-28 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム

Publications (2)

Publication Number Publication Date
JP2007300269A true JP2007300269A (ja) 2007-11-15
JP4844220B2 JP4844220B2 (ja) 2011-12-28

Family

ID=38769414

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006124988A Expired - Fee Related JP4844220B2 (ja) 2006-04-28 2006-04-28 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム

Country Status (1)

Country Link
JP (1) JP4844220B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009144768A1 (ja) * 2008-05-30 2009-12-03 富士通株式会社 画像補正装置および画像補正方法
JP5704476B1 (ja) * 2014-06-24 2015-04-22 株式会社ビジョナリスト デジタル写真分析装置及びデジタル写真分析プログラム
JP2015231193A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11086921B2 (en) * 2018-10-09 2021-08-10 Sorin Mihail Pigulea Systems and methods to enable digital content aggregation and distribution

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0322766A (ja) * 1989-06-20 1991-01-31 Sony Corp カメラ装置
JPH11134481A (ja) * 1997-10-30 1999-05-21 Canon Inc 画像復元装置及び画像復元方法
JP2000023024A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 画像入力装置
JP2001045361A (ja) * 1999-07-30 2001-02-16 Hitachi Ltd 撮像装置
JP2001157110A (ja) * 1999-11-30 2001-06-08 Olympus Optical Co Ltd 電子カメラ装置
JP2006033760A (ja) * 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像補正方法
JP2007129491A (ja) * 2005-11-02 2007-05-24 Casio Comput Co Ltd ブレ検出システム装置、撮像装置及び外部記録媒体、及び、そのプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0322766A (ja) * 1989-06-20 1991-01-31 Sony Corp カメラ装置
JPH11134481A (ja) * 1997-10-30 1999-05-21 Canon Inc 画像復元装置及び画像復元方法
JP2000023024A (ja) * 1998-06-30 2000-01-21 Toshiba Corp 画像入力装置
JP2001045361A (ja) * 1999-07-30 2001-02-16 Hitachi Ltd 撮像装置
JP2001157110A (ja) * 1999-11-30 2001-06-08 Olympus Optical Co Ltd 電子カメラ装置
JP2006033760A (ja) * 2004-07-21 2006-02-02 Olympus Imaging Corp 撮像装置および画像補正方法
JP2007129491A (ja) * 2005-11-02 2007-05-24 Casio Comput Co Ltd ブレ検出システム装置、撮像装置及び外部記録媒体、及び、そのプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009144768A1 (ja) * 2008-05-30 2009-12-03 富士通株式会社 画像補正装置および画像補正方法
JP4930638B2 (ja) * 2008-05-30 2012-05-16 富士通株式会社 画像補正装置および画像補正方法
US8655095B2 (en) 2008-05-30 2014-02-18 Fujitsu Limited Image correction apparatus and image correction method
JP2015231193A (ja) * 2014-06-06 2015-12-21 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
US9692970B2 (en) 2014-06-06 2017-06-27 Canon Kabushiki Kaisha Image pickup apparatus, method of controlling image pickup apparatus, and non-transitory computer-readable storage medium
JP5704476B1 (ja) * 2014-06-24 2015-04-22 株式会社ビジョナリスト デジタル写真分析装置及びデジタル写真分析プログラム

Also Published As

Publication number Publication date
JP4844220B2 (ja) 2011-12-28

Similar Documents

Publication Publication Date Title
JP4872797B2 (ja) 撮像装置、撮像方法および撮像プログラム
US8290356B2 (en) Imaging device with image blurring reduction function
JP4341613B2 (ja) 制御装置、撮影装置、撮影装置の制御方法、および、制御プログラム
JP4900401B2 (ja) 撮影装置およびプログラム
CN109417593B (zh) 摄像装置、工作方法、图像处理装置以及图像处理方法
JP2007281536A (ja) 被写体ぶれ検出装置、撮影装置、これらの制御方法、制御プログラム及び記録媒体
JP2010187354A (ja) 撮像装置
JP2007206382A (ja) ぶれ検出装置、その制御方法、撮影装置、制御プログラム及び記録媒体
JP5952975B2 (ja) 撮像装置および撮像方法
JP4844220B2 (ja) 露出補正装置、撮影装置、露出値設定装置、露出補正値算出方法および制御プログラム
JP2007221711A (ja) センサユニット、及び、電子機器
JP6758950B2 (ja) 撮像装置、その制御方法とプログラム
JP2006148550A (ja) 画像処理装置及び撮像装置
JP5179859B2 (ja) 撮像装置及び撮像方法
KR20110125077A (ko) 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
JP2007306436A (ja) 撮像装置
JP2006217249A (ja) 電子カメラ、電子カメラシステムおよびプログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
KR20100112788A (ko) 손떨림 방지 기능과 플래쉬 기능의 제어 방법, 이를 이용한 촬영 방법 및 디지털 카메라 모듈
JP4853096B2 (ja) 手ぶれ補正装置、撮影装置及び手ぶれ補正方法
JP5613145B2 (ja) 撮影装置およびプログラム
JP2007147805A (ja) ぶれ量検出装置、撮影装置、これらの制御方法、制御プログラム及び記録媒体
JP2007129491A (ja) ブレ検出システム装置、撮像装置及び外部記録媒体、及び、そのプログラム
JP2022093912A (ja) 撮像装置、撮像方法およびプログラム
JP2023002445A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110128

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110517

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110913

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110926

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4844220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees