JP2004289709A

JP2004289709A - 撮像装置、撮像方法

Info

Publication number: JP2004289709A
Application number: JP2003081840A
Authority: JP
Inventors: Takahiro Taniguchi; 恭弘谷口; Kazunori Onoguchi; 一則小野口; Hiroaki Nakai; 宏章中井; Hiroshi Hattori; 寛服部; Susumu Kubota; 進窪田; Ryuzo Okada; 隆三岡田; Hiromitsu Nakayama; 啓満中山; Takeshi Nakano; 剛仲野; Kenji Furukawa; 賢司古川
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-03-25
Filing date: 2003-03-25
Publication date: 2004-10-14

Abstract

【課題】撮像装置の揺れを精度良く検出し、揺れに対応するための画像補正による画質劣化を抑制する。
【解決手段】高フレームレートの動画像及び通常フレームレートの動画像の両方を入力する撮像部１００と、高フレームレートの動画像の最初の画像に、揺れ量を求める際の基準となる領域である局所領域を設定する局所領域設定部１０１と、高フレームレートの動画像を用いて局所領域の動きを検出する動き検出部１０２と、求めた動きベクトルから通常フレームレートの画像間の揺れ量を算出する揺れ算出部１０３と、揺れ量に基づいて通常フレームレートの画像を補正する揺れ補正部１０４と、補正した画像を出力する画像出力部１０５とを備える。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、装置の揺れの影響を抑制し、安定に画像を取得できる撮像装置に関する。
【０００２】
【従来の技術】
ＴＶカメラ等の動画像を撮影する撮像装置では、カメラを装着した土台の揺れや撮影者の手振れなど、撮像装置そのものの振動によって取得した画像が揺れることがある。
【０００３】
このような揺れを補正する技術としては、撮像装置で撮影した画像を用いて画像の揺れを検出し、ソフトウエア的に補正する手法が提案されている（特許文献１）。
【０００４】
特許文献１の手法は、まず、通常のＮＴＳＣ入力のテレビカメラを用いて、１／３０秒毎（あるいは１／６０秒毎）に１フレームの画像を取得し、各フレーム間で画像中の対応点を追跡して動きベクトルを求める。そして、求めた動きベクトルを用いて、現在のフレームを補正するというものである。
【０００５】
【特許文献１】
特開２００２−１１２５２公報
【０００６】
【発明が解決しようとする課題】
上述したように、従来の手法では動画像の１フレーム単位（１／３０秒あるいは１／６０秒）で対応点追跡を行い、動きベクトルを求めている。
【０００７】
フレーム間では１／３０秒〜１／６０秒もの時間があるため、対応点の探索範囲を広くする必要がある。しかし、探索範囲を広げることにより、対応点と類似する画素情報を持つ領域を対応点と誤認識する追跡誤りが発生しやすくなる。
【０００８】
その結果、追跡誤りによって求められた不正確な動きベクトルに基づいて画像を補正することがあり、画質が劣化しやすいという問題があった。
【０００９】
そこで、本発明では、画質劣化の少ない揺れ補正が可能な撮像装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記課題を解決するために本発明の撮像装置は、第１のフレームレートの動画像及び第１のフレームレートより高い第２のフレームレートの動画像を撮像する撮像部と、前記第２のフレームレートの動画像において、各画像内の局所領域の動きを求める動き検出部と、前記動きに基づいて、前記第１のフレームレートの動画像の揺れ量を算出する揺れ算出部と、前記揺れ量に基づいて、前記第１のフレームレートの動画像を補正する揺れ補正部とを備える。
【００１１】
また、前記撮像部は、入射光を２系統に分岐させる光学素子と、一方の分岐光を前記第１のフレームレートで撮像する第１の撮像素子と、他方の分岐光を前記第２のフレームレートで撮像する第２の撮像素子とを備えても良い。
【００１２】
また、前記撮像部は、前記第１のフレームレートで撮像可能な第１の素子が形成された領域と、前記第２のフレームレートで撮像可能な第２の素子が形成された領域とを含んだ撮像素子を備えても良い。
【００１３】
また、前記撮像素子は、前記第１の素子の画素と前記第２の素子の画素とが交互に配列されていても良い。
【００１４】
また、前記撮像素子は、前記第１の素子の画素が中心部に配置され、前記第２の素子の画素が周辺部に配置されていても良い。
【００１５】
また、前記第１の素子は、前記第１のフレームレート及び前記第２のフレームレートのいずれでも撮像可能であっても良い。
【００１６】
また、前記撮像部は、撮像中に画素値を逐次読み出し可能な第４の素子の画素で構成される撮像素子を備え、前記第１のフレームレートでの撮像中に、前記撮像素子から画素値を逐次読み出すことで前記第２のフレームレートの動画像を撮像しても良い。
【００１７】
本発明の撮像方法は、被写体から、第１のフレームレートの動画像及び第１のフレームレートより高い第２のフレームレートの動画像を撮像し、前記第２のフレームレートの動画像において、各画像内の所定領域の動きを求め、前記動きに基づいて、前記第１のフレームレートの動画像の揺れを算出し、前記揺れに基づいて、前記第１のフレームレートの動画像を補正する。
【００１８】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施形態について説明する。
【００１９】
（概要）本発明による撮像装置は、高いフレームレートで撮像された画像を利用して動画像の各画像間の動きを求め、この動きを元に通常のフレームレートで撮像される画像の揺れを補正して出力するものである。
【００２０】
このような揺れ補正機能を持つ撮像装置は、車両等にカメラを取り付けた場合や、人間がカメラを持ち歩いて撮影した場合等でも、揺れの少ない安定した画像を取得することが可能となる。
【００２１】
（第１の実施形態）図１は本発明第１の実施形態の撮像装置の構成を説明する図である。
【００２２】
本装置は以下の構成を備える。
・高いフレームレートと通常のフレームレートとで画像を撮像する撮像素子を備え、動画像を撮像する撮像部１００。
・本装置の揺れを求める際の基準として用いる画像中の領域を設定する局所領域設定部１０１。
・高いフレームレートで撮像した画像を用いて、画像間の動きを求める動き検出部１０２。
・ある一定時間内における動きを用いて、当該時間内における画像全体の揺れ量を求める揺れ算出部１０３。
・算出された揺れ量に基づいて、通常のフレームレートで撮像された画像を補正する、揺れ補正部１０４。
・揺れを補正した画像を出力する画像出力部１０５。
【００２３】
本実施形態では、高いフレームレートでの撮像においては、１秒間に１０００枚の画像を取得する。尚、１秒間に６０枚以上のフレームレートでも良く、望ましくは１秒間に５００枚以上とする。
【００２４】
また、通常のフレームレートでの撮像においては、１秒間に３０枚〜６０枚の画像を取得する。これは、例えばＮＴＳＣ入力のカメラと同程度のフレームレートである。
【００２５】
（撮像部１００）撮像部１００は、高いフレームレートで画像を撮像するとともに、一般的なカメラと同様に、ＮＴＳＣ信号と同程度のフレームレートで撮像した画像を出力することが求められる。
【００２６】
一般に、高いフレームレートで撮像した画像は暗くなるとともに、ノイズに対する信号の割合（ＳＮ比）が低くなる傾向があるので、人間が見る画像には適さない。通常のフレームレートで撮像すれば、画像は明るくなるとともに、ＳＮ比も高くなるので、人間が見る画像としては適するが、動きを求めるのには適さない。
【００２７】
そこで、本実施形態の撮像部１００では、撮像途中でも、その時点における画像を随時取得できる撮像素子を用いる。このような撮像素子には「高速非破壊ＣＭＯＳイメージセンサ」と呼ばれるものがある。
【００２８】
高速非破壊ＣＭＯＳイメージセンサは、光を受けると電荷を蓄積する素子の一種である。通常のイメージセンサと異なり、画素値の読み出しを行っても蓄積された電荷が破壊されないという特性がある。
【００２９】
高速非破壊ＣＭＯＳイメージセンサについては、例えば、下記文献でも紹介されている。
（文献１）第１９回日本ロボット学会学術講演会予稿集１Ｆ１８川人祥二等高速非破壊ＣＭＯＳイメージセンサと動きベクトル検出への応用
（文献２）信学技報ＩＣＤ９９−１５５ｐｐ．６１−６６Ｄ．Ｈａｋｄｏｋｏ等双方向多重電荷転送に基づく高速補間撮像ＣＭＯＳイメージセンサと動きベクトル検出への応用
撮像部１００は、高いフレームレートで取得した画像を動き検出部１０２に出力するとともに、通常のフレームレートで取得した画像を揺れ補正部１０４へ出力する。
【００３０】
（局所領域設定部１０１）局所領域設定部１０１では、画像中に局所領域を設定する。
【００３１】
局所領域とは、本装置の揺れを検出する際に基準として用いる画像中の領域である。局所領域は、画像中で動きを安定に求められる場所に設定すると良い。
【００３２】
一般に、動きは画像間の対応付けや画像のフィルタリングによって求めるため、画像中のエッジ部分（明度の変化）がある領域では安定に求めることができる。局所領域設定部１０１は、画像中でエッジ部分を含む領域に局所領域を設定する。
【００３３】
局所領域の設定は次のように行う。
（Ａ）画像に対して縦方向に１次微分フィルタをかけた縦微分画像を生成する。
（Ｂ）画像に対して横方向に１次微分フィルタをかけた横微分画像を生成する。
（Ｃ）縦微分画像及び横微分画像を８画素×８画素の領域に分割する。
（Ｄ）縦微分画像において、各領域の微分値の和を求める。
（Ｅ）横微分画像において、各領域の微分値の和を求める。
（Ｆ）縦横両方の微分画像において、微分値の和が閾値以上となる領域を局所領域とする。
【００３４】
局所領域設定部１０１では、高いフレームレートで取得した全ての画像に対して上記（Ａ）〜（Ｆ）の処理を行う。
【００３５】
尚、１次微分フィルタに限らず、２次微分フィルタ等、一般的なエッジ部分を強調するフィルタを用いても良い。また、縦横に分けて微分する代わりに１つのフィルタ（例えば斜めの微分フィルタ）でエッジを検出しても良い。
【００３６】
（動き検出部１０２）動き検出部１０２では、各局所領域の動きを求める。
【００３７】
まず、高いフレームレートで取得したある時刻の画像Ｂと、その１つ前のフレームにあたる画像Ａとの間で、各局所領域の移動先を求める。計算手法は既知の方法を用いることができる。
【００３８】
具体的には、画像Ｂにおいて、画像Ａの局所領域Ｒ_Ａの明度パターンと相関が高い領域を探索する。そして相関の高い領域を局所領域Ｒ_Ａの移動先とみなす。
【００３９】
画像Ａにおける局所領域Ｒ_Ａと、画像Ａより１フレーム後の画像Ｂにおける局所領域Ｒ_Ｂの候補となる、候補領域Ｒ_Ｂ’との相関値Ｓは次式で表される。この相関値Ｓが最大になる候補領域Ｂ_Ｒ’を、画像Ｂにおける局所領域Ｒ_Ｂとする。
【００４０】
【数１】

【００４１】
数１において、ｆ_Ａ（ｘ、ｙ）は画像Ａの明度分布であり、ｆ_Ｂ（ｘ、ｙ）は画像Ｂの明度分布であり、Ｗ_Ａ（ｘ、ｙ）は局所領域Ｒ_Ａの明度分布であり、Ｗ_Ｂ（ｘ＋ｕ、ｙ＋ｖ）は候補領域Ｒ_Ｂ’の明度分布である。
【００４２】
また、μ_Ａ（ｘ、ｙ）は局所領域Ｒ_Ａ内の明度値の平均値であり、μ_Ｂ（ｘ＋ｕ、ｙ＋ｖ）は候補領域Ｒ_Ｂ’の明度値の平均値であり、σ_Ａ（ｘ、ｙ）は局所領域Ｒ_Ａ内の明度値の標準偏差であり、σ_Ｂ（ｘ＋ｕ、ｙ＋ｖ）は候補領域Ｒ_Ｂ’内の明度値の標準偏差である。
【００４３】
動き検出部１０２では、以上の処理を高いフレームレートで取得した画像について順次行って各局所領域を追跡する。そして、得られる相関値Ｓと移動先の座標とを保持しておく。
【００４４】
尚、相関値Ｓの最大値がある一定値以下の場合には当該局所領域の追跡に失敗したとみなし、以後のフレームではその局所領域は追跡しない。
【００４５】
そして、現在の画像における各局所領域の位置と、各局所領域の一定数フレーム前の画像における位置とを、各局所領域の動きとして揺れ算出部１０３に出力する。ただし、一定数フレーム前におけるデータがない局所領域については動きは出力しない。
【００４６】
ここで「一定数フレーム前」は、通常のフレームレートと高いフレームレートとの比率に応じて決めればよい。例えば、通常のフレームレートが３０枚／秒で、高いフレームレートが１０００枚／秒ならば、高いフレームレートで３３枚撮像すると通常フレームレートのフレーム間を埋めることができる。この場合は「一定数フレーム前」とは「３３フレーム前」とするのが良い。
【００４７】
また、追跡を行う局所領域の数には上限を設けておき、現在追跡中の局所領域がある一定数（例えば１０箇所）を超える場合には、局所領域設定部１０１で新たに設定された局所領域については追跡対象には含めないようにする。こうすることで、追跡処理の負荷を抑制することができる。
【００４８】
（揺れ算出部１０３）揺れ算出部１０３は、動き検出部１０２で求められた各追跡領域の動きを用いて、手振れなどの影響による画像の揺れを計算する。
【００４９】
各局所領域の移動先位置の座標を（ｘ、ｙ）とし、各局所領域の移動元位置（一定数フレーム前の画像における位置）の座標を（ｘ’、ｙ’）として、次式を用いて画像の揺れに対応する画像変換を求める。
【００５０】
【数２】

【００５１】
６変数の方程式なので、少なくとも３箇所の局所領域について移動先と移動元の座標を代入して連立方程式を解く。動きが求まっている局所領域が４箇所以上ある場合は最小二乗法により求める。
【００５２】
揺れ算出部１０３では、上式で求めた揺れの逆変換を求めて揺れ補正部１０４に出力する。
【００５３】
尚、揺れ算出部１０３で求められた動きが、ある一定数（例えば６個）以下の場合は、シーンの変化が起こったために局所領域の追跡に失敗している可能性が高い。そこで、揺れ補正部１０４に追跡失敗を通知し、補正を行わないようにする。
【００５４】
（揺れ補正部１０４）揺れ補正部１０４では、揺れ算出部１０３で算出した画像の揺れの逆変換を用いて、撮像部１００から出力された通常のフレームレートで取得した画像を補正する。
【００５５】
そして、補正された通常のフレームレートの画像から一定の範囲を切り出す。切り出す範囲は画像の中央部分とすれば良い。
【００５６】
（画像出力部１０５）画像出力部１０５は、切り出した画像を外部に出力する。
【００５７】
（本実施形態の効果）以上に説明したように、本実施形態の撮像装置では、高いフレームレートで取得した画像を用いて画像中の局所領域を追跡し、それにより動きを求めて揺れを求めている。
【００５８】
高いフレームレートの画像を用いているため、各局所領域のフレーム間の動きは小さくなるので、追跡誤りが少なく済み、精度良く追跡することが可能である。よって、求められる動き、及び、揺れも精度が良い。
【００５９】
よって、本装置ならば、装置の揺れによる影響を抑制するための画像補正による画質の劣化を抑制した画像を取得することができる。
【００６０】
（変形例）ところで、動き検出部１０２における局所領域の移動先の計算については、ＳＡＤ（ＳｕｍＯｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）或いはＳＳＤ（ＳｕｍＯｆＳｑｕａｒｅＤｉｆｆｅｒｅｎｃｅ）を用いて画像間で局所領域と相関の高い領域を探索して、領域間の位置の違いから動きを検出しても良い。
【００６１】
数１と同様に、ある画像Ａにおける局所領域Ｒ_Ａと、画像Ｂにおける局所領域Ｒ_Ｂの候補領域Ｒ_Ｂ’とのＳＡＤ或いはＳＳＤを用いた場合の相関値Ｅ_ＳＡＤ及びＥ_ＳＳＤは次式で表される（数式中の変数は数１と同様）。尚、ＳＡＤ或いはＳＳＤを用いた場合、相関が高くなるほど相関値Ｅ_ＳＡＤ或いはＥ_ＳＳＤが小さくなるので、相関値Ｅ_ＳＡＤ及びＥ_ＳＳＤが最小となる候補領域Ｒ_Ｂ’を、画像Ｂにおける局所領域Ｒ_Ｂとする。
【００６２】
【数３】

【００６３】
あるいは、明度勾配を用いた拘束式を利用する手法を用いても良い。
【００６４】
画像上の（ｘ、ｙ）にある画素Ｇの、時刻ｔにおける明度値をｆ（ｘ、ｙ、ｔ）とする。この画素Ｇが時刻ｔ＋ｄｔに（ｘ＋ｄｘ、ｙ＋ｄｙ）に移り、明度値が変化しないとすると、
ｆ（ｘ、ｙ、ｔ）＝ｆ（ｘ＋ｄｘ、ｙ＋ｄｙ、ｔ＋ｄｔ）（１）
という関係が成り立つ。
【００６５】
（１）式をテイラー展開し、ｄｘ、ｄｙ、ｄｔの二次以上の項は微小であるとして切り捨てる。さらに両辺をｄｔで除算し、ｄｔ→０の極限を求めると、

となる。
【００６６】
（２）式において、ｕは画素Ｇのｘ方向の速度成分であり、ｖは画素Ｇのｙ方向の速度成分であり、ｆの添え字は偏微分を表す。（２）式が明度勾配の拘束式である。
【００６７】
異なるフィルタをかけて生成した複数の画像それぞれに対して（２）式を適用し、その結果に基づいてｕ、ｖを求める。例えば４種類のフィルタを用いて生成した４枚の画像に対して（２）式を適用し、最小二乗法を用いてｕ及びｖを求めれば良い。
【００６８】
また、この他の手法としては、１次微分値、２次微分値及びエッジの方向を用いて相関を求めることも可能である。特にエッジの方向を利用すると照明変動に強い動き検出が可能となる。これは、エッジの方向が明度値そのものではなく、明度の変化の定性的な性質を表現しているからである。
【００６９】
エッジの方向を用いて相関を求める場合、画像Ｂの候補領域Ｒ_Ｂ’に関して縦の微分値の和と横の微分値の和とを求める。そして、画像Ａの局所領域Ｒ_Ａのエッジの方向と画像Ｂの候補領域Ｒ_Ｂ’のエッジの方向とを比較する。
【００７０】
具体的には、微分値から求めたエッジの角度を用いる。局所領域Ｒ_Ａのエッジの角度をｄ_Ａ、候補領域Ｒ_Ｂ’の角度をｄ_Ｂ’とした時に次式の相関値Ｅが最小となる候補領域Ｒ_Ｂ’を求める。
Ｅ＝ｍｉｎ（｜ｄ_Ａ−ｄ_Ｂ’｜，｜１８０−（ｄ_Ａ−ｄ_Ｂ’）｜）
または、
Ｅ＝ｍｉｎ（（ｄ_Ａ−ｄ_Ｂ’）^２，（１８０−（ｄ_Ａ−ｄ_Ｂ’）^２）
（第２の実施形態）以下、第２の実施形態について説明する。
【００７１】
第１の実施形態では撮像素子として非破壊ＣＭＯＳイメージセンサを用いて撮像途中の画像を取得したが、本実施形態ではこのような非破壊な撮像素子を用いない実施形態について説明する。
【００７２】
本実施形態では、高フレームレートで撮像する画素用の撮像素子と通常のフレームレートで撮像する画素用の撮像素子とを組み合わせて用いる。
【００７３】
図２（Ａ）は本実施形態で用いる撮像素子の構成を説明する図である。通常のフレームレートで撮像する画素には通常撮像素子２０１を用い、高フレームレートで撮像する画素には高速撮像素子２０２を用いる。そして、二種類の撮像素子は１画素毎に交互に配置し、通常撮像素子２０１の上下左右に高速撮像素子２０２が配置され、高速撮像素子２０２の上下左右に通常撮像素子２０１が配置されるようにする。
【００７４】
高フレームレートの画像は高速撮像素子２０２を用いた画素から得られる画素値を用いて生成し、通常のフレームレートの画像は通常撮像素子２０１を用いた画素から得られる画素値を用いて生成する。そして、高フレームレートの画像を用いて第１の実施形態と同様に撮像装置の揺れを検出し、通常のフレームレートの画像を補正して揺れの影響を抑制する。
【００７５】
撮像素子を構成する各画素をこのような配置にすることで、非破壊なイメージセンサを用いなくても、高フレームレートで取得した画像と通常のフレームレートで取得した画像との両方を取得することができる。
【００７６】
尚、図２（Ｂ）のように、通常撮像素子２０１を撮像素子の中央部に配置し、撮像素子の周辺部に高速撮像素子２０２を配置しても良い。
【００７７】
また、図２（Ｃ）のように、撮像装置への入射光を光学素子（図２ではプリズム２０３）を用いて全画素が通常撮像素子２０１からなる撮像素子と、全画素が高速撮像素子２０２からなる撮像素子とに分けても良い。尚、光学素子としてはハーフミラーを用いても良い。
【００７８】
尚、本実施形態では通常撮像素子と高速撮像素子とは別の種類の（異なる構造を持つ）素子である必要はない。全ての画素を高速撮像素子で構成しておき、高フレームレートの画像を取得するために用いる画素と、通常のフレームレートで画像を取得するための画素とで、画素値を読み出す時間間隔を変えるようにしても良い。
【００７９】
図２では、撮像素子を構成する各画素の形状が正方形若しくは直方形の例を示しているが、各画素の形状は六角形であっても良い。図３（Ａ）〜（Ｃ）は画素の形状が六角形の場合で、高速撮像素子と通常撮像素子とを混在させた場合（図２における格子状に配置した例に対応）の配置例である。
【００８０】
これらの例では、撮像素子を構成する各画素間の画素値を計算により求める際、画素の形状が四角形の場合よりも精度良く求めることができる。従って、画像を用いて求める動きの精度も向上させることができる。
【００８１】
（第３の実施形態）以下、第３の実施形態について説明する。
【００８２】
本実施形態では、撮像素子の全ての画素が高速撮像素子のみで構成される場合で、全画素を用いて高フレームレートの画像を取得しつつ、通常のフレームレートの画像を取得する場合について説明する。図２（Ｄ）は本実施形態で用いる撮像素子の構成を説明する図である。この撮像素子は全ての画素が高速撮像素子２０２で構成されている。
【００８３】
本実施形態では撮像素子全体を用いて高フレームレートの画像を取得する。そして、高フレームレートの画像を用いて通常フレームレートに相当する画像を生成する。
【００８４】
一般に、高フレームレートで撮像した画像は暗くなるため、各画素の感度を向上させるように画像処理を行う必要がある。しかし、一般に高フレームレートで撮像した画像を足し合わせるとノイズが強調されることが多い。
【００８５】
そこで、本実施形態ではノイズの影響を抑制しつつ画像を足し合わせるために以下の手法により処理を行う。まず、各画素の画素値を、当該画素の周囲にある複数の画素の画素値にガウス分布に従った重みをかけたものを足し合わせて求める。
【００８６】
このようにすることでＳＮ比を良好に保ちつつ、通常フレームレートで撮像したのと同程度の明るい鮮明な画像を得ることができる。
【００８７】
例えば、ある画素（ｘ、ｙ）の画素値Ｓを、周囲の５画素×５画素の領域の各画素の画素値Ｉにガウス分布に従った重みｗをかけて足し合わせて求める場合は次式のようになる。
【００８８】
【数４】

【００８９】
上式の一般形、すなわち（２ｎ＋１）画素×（２ｎ＋１）画素の領域について足し合わせる場合は次式のようになる。尚、σはガウス関数の標準偏差、Ｍは利得（通常Ｍ≧１）である。
【００９０】
【数５】

【００９１】
数４はσ＝１、Ｍ＝４９の場合で、計算の利便性を考慮して整数値に丸めたものである。
【００９２】
このような処理により各画素の感度を向上させることができる。これにより、非破壊なイメージセンサを用いず通常のイメージセンサを用いた場合でも、高フレームレートの画像と通常のフレームレートの画像との両方を同じ解像度で取得できる。
【００９３】
図３（Ｄ）は、撮像素子を構成する各画素の形状が六角形の場合の例である。この場合、各画素間の画素値を計算により求める場合、画素の形状が四角形の場合よりも精度良く求めることができる。従って、動き検出の精度も向上させることができる。
【００９４】
【発明の効果】
以上、本発明によれば、撮像装置の揺れを抑制するための画像補正による画質劣化を抑制することができる。
【図面の簡単な説明】
【図１】第１の実施形態の撮像装置の構成を説明する図。
【図２】（Ａ）第２の実施形態の撮像装置における撮像素子の構成の一例を説明する図。（Ｂ）第２の実施形態の撮像装置における撮像素子の構成の一例を説明する図。（Ｃ）第２の実施形態の撮像装置において撮像素子を２つ用意した場合の構成例。（Ｄ）第３の実施形態の撮像装置における撮像素子の構成の一例を説明する図。
【図３】（Ａ）撮像素子の構成の変形例。（Ｂ）撮像素子の構成の変形例。（Ｃ）撮像素子の構成の変形例。（Ｄ）撮像素子の構成の変形例。
【符号の説明】
１００撮像部
１０１局所領域設定部
１０２動き検出部
１０３揺れ算出部
１０４揺れ補正部
１０５画像出力部

Claims

第１のフレームレートの動画像及び第１のフレームレートより高い第２のフレームレートの動画像を撮像する撮像部と、
前記第２のフレームレートの動画像において、各画像内の局所領域の動きを求める動き検出部と、
前記動きに基づいて、前記第１のフレームレートの動画像の揺れ量を算出する揺れ算出部と、
前記揺れ量に基づいて、前記第１のフレームレートの動画像を補正する揺れ補正部と、
を備える撮像装置。
前記撮像部は、
入射光を２系統に分岐させる光学素子と、
一方の分岐光を前記第１のフレームレートで撮像する第１の撮像素子と、
他方の分岐光を前記第２のフレームレートで撮像する第２の撮像素子と、
を備えることを特徴とする請求項１記載の撮像装置。
前記撮像部は、
前記第１のフレームレートで撮像可能な第１の素子が形成された領域と、前記第２のフレームレートで撮像可能な第２の素子が形成された領域とを含んだ撮像素子を備えることを特徴とする請求項１記載の撮像装置。
前記撮像素子は、
前記第１の素子の画素と前記第２の素子の画素とが交互に配列されていることを特徴とする請求項３記載の撮像装置。
前記撮像素子は、
前記第１の素子の画素が中心部に配置され、前記第２の素子の画素が周辺部に配置されていることを特徴とする請求項３記載の撮像装置。
前記第１の素子は、
前記第１のフレームレート及び前記第２のフレームレートのいずれでも撮像可能であることを特徴とする請求項３記載の撮像装置。
前記撮像部は、
撮像中に画素値を逐次読み出し可能な第４の素子の画素で構成される撮像素子を備え、
前記第１のフレームレートでの撮像中に、前記撮像素子から画素値を逐次読み出すことで前記第２のフレームレートの動画像を撮像することを特徴とする請求項１記載の撮像装置。
被写体から、第１のフレームレートの動画像及び第１のフレームレートより高い第２のフレームレートの動画像を撮像し、
前記第２のフレームレートの動画像において、各画像内の所定領域の動きを求め、
前記動きに基づいて、前記第１のフレームレートの動画像の揺れを算出し、
前記揺れに基づいて、前記第１のフレームレートの動画像を補正する撮像方法。