JP2011030065A

JP2011030065A - 撮像装置

Info

Publication number: JP2011030065A
Application number: JP2009175315A
Authority: JP
Inventors: Yasuhiro Iijima; 靖博飯島; Haruo Hatanaka; 晴雄畑中; Shinpei Fukumoto; 晋平福本; Haruhiko Murata; 治彦村田
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2009-07-28
Filing date: 2009-07-28
Publication date: 2011-02-10

Abstract

【課題】撮像により得られた画像に対して精度良く歪み補正を行う撮像装置を提供する。
【解決手段】ｎ番目の画像の歪みを補正する場合、ｎ−１番目の画像とｎ番目の画像とから求めた動きベクトルＭ_n-0.5と、ｎ番目の画像とｎ＋１番目の画像とから求めた動きベクトルＭ_n+0.5と、を用いて、ｎ番目の画像の露光期間の動きを示す動き情報Ｉ_nを算出する。これにより、ｎ番目の露光期間に生じた動きによる歪みを、精度良く補正することが可能となる。特に、動画撮像中の静止画撮像により得られる静止画の歪みや、連続的に撮像されて得られる静止画の歪みを補正することが可能となる。
【選択図】図７

Description

本発明は、撮像により得られた画像の歪みを低減する撮像装置に関する。

近年、撮像装置や被写体（人などの撮像対象）の動きなどに起因するぶれを抑制した画像を作成する撮像装置が広く用いられている。このような撮像装置には、入力される画像からぶれを検出するとともにぶれを抑制した画像を作成して出力する画像処理装置を搭載するものがある。このように、画像処理によってぶれを抑制する構成とすると、撮像装置の動きを検出するセンサや撮像装置の動きを抑制させる装置などが不要となるため、撮像装置の小型化や軽量化を図ることが可能となる。

また、上記のぶれの１つとして、フォーカルプレーン歪み（以下、単に「歪み」と表現する場合もある）と呼ばれるものがある。フォーカルプレーン歪みとは、例えば画素列毎に露光及び電荷の読み出しが制御されるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどで生じ得る歪みである。特に、画素列毎に露光期間が異なるために生じる歪みである。

フォーカルプレーン歪みの具体例について図２７〜図２９に示す。図２７〜図２９は、フォーカルプレーン歪みについて説明する模式図である。図２７は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図であり、図２８は各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図であり、図２９は歪みを含んだ画像を示した模式図である。なお、被写体Ｔ１は静止しているものとする。また、図２７中に示す代表的な画素列Ｌ１〜Ｌ３は、画素列Ｌ１、画素列Ｌ２、画素列Ｌ３の順に露光が開始されるものとする。即ち、画素列と垂直な方向（以下、垂直方向とする）において、上方の画素列ほど露光期間が早く、下方ほど露光期間が遅いものとなる。さらに、撮像領域Ｃは、図２７に示す動き方向（画素列Ｌ１〜Ｌ３と平行な方向（以下、水平方向とする）であり、図中の右方向）に沿って一定の速さで動くものとする。このとき撮像装置は、水平方向において左から右へと平行移動したり、パン方向において左向きから右向きへと回転したりすることとなる。

上記のように撮像領域Ｃが動く場合、図２８（ａ）〜（ｃ）に示すように、露光期間が早い画素列Ｌ１の露光から、露光期間が遅い画素列Ｌ３の露光へと撮像動作が進行するにしたがって、撮像領域Ｃに対する被写体Ｔ１の位置が、動き方向と逆方向（図中の左方向）に移動する。そのため、図２９に示すように、得られる画像Ｐ１は下方の画素列が上方の画素列よりも動き方向と逆方向に対してずれたものとなる。即ち、画像Ｐ１は、動き方向と平行な方向である水平方向に対して歪んだものとなる。

このフォーカルプレーン歪みは、垂直方向に撮像領域Ｃが動く場合にも発生する。例えば、図３０〜図３２に、撮像領域Ｃが上方に動く場合について示す。図３０は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図であり、図３１は各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図であり、図３２は歪みを含んだ画像を示した模式図である。なお、図２７〜図２９に示す場合と同様の条件であるものとし、被写体Ｔ２と撮像領域Ｃの動き方向とが異なるものとする。また、撮像領域Ｃは、図３０に示す動き方向（垂直方向であり、図中の上方向）に沿って一定の速さで動くものとする。このとき撮像装置は、垂直方向において下から上へと平行移動したり、チルト方向において下向きから上向きへと回転したりすることとなる。

上記のように撮像領域Ｃが動く場合、図３１（ａ）〜（ｃ）に示すように、露光期間が早い画素列Ｌ１の露光から、露光期間が遅い画素列Ｌ３の露光へと撮像動作が進行するにしたがって、撮像領域Ｃに対する被写体Ｔ２の位置が、動き方向と逆方向（図中の下方向）に移動する。そのため、図３２に示すように、得られる画像Ｐ２は垂直方向に伸張されたようになる。即ち、画像Ｐ２は、動き方向と平行な方向である垂直方向に対して歪んだものとなる。

一方、図３３〜図３５に、撮像領域Ｃが下方に動く場合について示す。図３３は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図であり、図３４は各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図であり、図３５は歪みを含んだ画像を示した模式図である。なお、図３０〜図３２に示す場合と同様の条件であるものとし、撮像領域Ｃの動き方向のみが異なるものとする。撮像領域Ｃは、図３３に示す動き方向（垂直方向であり、図中の下方向）に沿って一定の速さで動くものとする。このとき撮像装置は、垂直方向において上から下へと平行移動したり、チルト方向において上向きから下向きへと回転したりすることとなる。

上記のように撮像装置が動く場合、図３４（ａ）〜（ｃ）に示すように、露光期間が早い画素列Ｌ１の露光から、露光期間が遅い画素列Ｌ３の露光へと撮像動作が進行するにしたがって、撮像領域Ｃに対する被写体Ｔ２の位置が、動き方向と逆方向（図中の上方向）に移動する。そのため、図３５に示すように、得られる画像Ｐ３は垂直方向に圧縮されたようになる。即ち、画像Ｐ３は、動き方向と平行な方向である垂直方向に対して歪んだものとなる。

また、動き方向が斜め方向（水平方向と垂直方向との間の方向）であれば、水平方向及び垂直方向の両方の動きに起因する歪みが発生する。上記の例では、撮像装置が動くとともに被写体Ｔ１及びＴ２が静止する場合について述べたが、被写体が動く場合についてもフォーカルプレーン歪みは同様に発生し得る。

このようなフォーカルプレーン歪みを低減する方法として、例えば特許文献１〜３には、撮像時の動きを検出するとともに、当該動きによるフォーカルプレーン歪みを画像処理によって低減する方法が提案されている。特に、引用文献２及び３には、連続して入力される２つの画像間の動きベクトルに基づいて動きを検出し、フォーカルプレーン歪みを低減する方法が提案されている。具体的には、前画像と後画像とを用いて求められる動きベクトルに基づいて後画像の歪みを求め、この歪みを打ち消すような画像処理を後画像に施すことにより、後画像のフォーカルプレーン歪みを低減する。

特開２００１−３５８９９９号公報特開２００７−２０８５８０号公報特開２００６−１８６４８１号公報

しかしながら、特許文献２及び３で提案される方法では、前画像が歪みのない画像（露光期間中の動きがない画像）ではない場合、誤った画像処理を後画像に施してしまう可能性がある。具体的に例えば、前画像が歪みのある画像であり後画像が歪みのない画像である場合などである。このような場合、前画像及び後画像間の動きベクトルから、後画像の露光期間中に動きが生じていると誤認識して、後画像に誤って補正を施す可能性がある。また同様に、後画像の露光期間中に実際に生じた動きよりも大きな動きが生じていると誤認識して、後画像に過剰に補正を施す可能性もある。したがって、精度良く歪み補正を行うことが困難となる。

また、歪み補正の処理対象となる画像の状態によっては、上記の誤補正や過補正が生じやすくなったり、歪み補正による効果が得られにくくなったりする場合がある。このような状況下で歪み補正を行うこととすると、得られる画像がかえって歪んだものとなったり、電力消費や演算コストが無駄になったりすることがあるため、問題となる。

そこで、本発明は、撮像により得られた画像に対して精度良く歪み補正を行う撮像装置を提供することを目的とする。

上記目的を達成するために、本発明における撮像装置は、連続的な撮像によって動画を構成する画像であるフレームを順次作成する動画撮像中に、少なくとも１つの前記フレームの代わりに撮像を行い静止画を作成する静止画撮像を行う撮像部と、前記撮像部で作成された画像に基づいて、前記撮像部で作成された画像である入力画像の歪みを補正して出力画像を生成する画像処理部と、を備え、前記画像処理部が、前記撮像部で作成された２つの画像を比較して、当該２つの画像間の動きを示す動きベクトルを算出する動きベクトル算出部と、前記動きベクトル算出部で算出される前記動きベクトルに基づいて、前記入力画像の露光期間の動きを示す動き情報を算出する動き情報算出部と、前記動き情報算出部から出力される前記動き情報に基づいて前記入力画像の歪みを補正し、出力画像を生成する補正処理部と、を備え、前記入力画像が、前記静止画であることを特徴とする。

また、上記構成の撮像装置において、前記静止画の露光期間が所定の長さより長い場合、前記静止画の動き情報を算出するために、少なくとも前記静止画の前後に撮像された前記フレームを用いることとしても構わない。

このように構成すると、静止画の露光期間が長くなることによって、動き情報の算出精度が低下することを抑制することが可能となる。

また、本発明の撮像装置は、連続的な撮像によって複数の静止画を作成する静止画連続撮像を行う撮像部と、前記撮像部で作成された画像に基づいて、前記撮像部で作成された画像である入力画像の歪みを補正して出力画像を生成する画像処理部と、を備え、前記画像処理部が、前記撮像部で作成された２つの画像を比較して、当該２つの画像間の動きを示す動きベクトルを算出する動きベクトル算出部と、前記動きベクトル算出部で算出される前記動きベクトルに基づいて、前記入力画像の露光期間の動きを示す動き情報を算出する動き情報算出部と、前記動き情報算出部から出力される前記動き情報に基づいて前記入力画像の歪みを補正し、出力画像を生成する補正処理部と、を備え、前記入力画像が、複数の前記静止画の少なくとも１つであることを特徴とする。

なお、全ての静止画の歪みを補正することとしても構わないし、一部の静止画の歪みを補正しないこととしても構わない。また、全ての静止画の歪みを補正する場合、静止画を用いて算出された動きベクトルのみを用いて、全ての静止画の動き情報を算出することとしても構わない。

また、上記構成の撮像装置において、複数の前記静止画が撮像される前に撮像された少なくとも１つの事前画像を記憶する記憶部をさらに備え、前記画像処理部に、前記記憶部に記憶された少なくとも１つの前記事前画像がさらに入力され、前記動き情報算出部が前記動き情報を算出する際に、前記動きベクトル算出部で前記事前画像を用いて算出された前記動きベクトルを用いることとしても構わない。

このように構成すると、連続的に撮像された複数の静止画のうち、先（特に最先）に撮像された静止画の動き情報をも算出することが可能となる。なお同様に、複数の静止画の撮像の後に撮像された事後画像を画像処理部にさらに入力し、静止画の動き情報を算出する際に、当該事後画像を用いて動きベクトルを算出することとしても構わない。また、事前画像や事後画像を、スルー画像としても構わない。

また、上記構成の撮像装置において、前記撮像部で作成される画像が、上方の画素列ほど露光期間が早く、下方の画素列ほど露光期間が遅くなるものであり、前記補正処理部が、前記動き情報に基づいて前記入力画像の画素列毎に歪みを補正することとしても構わない。

また、上記構成の撮像装置において、前記補正処理部が、前記動き情報に基づいて前記入力画像の画素列毎の読み出し位置を補正し、前記出力画像として出力することとしても構わない。

例えば、上下方向と略垂直となる方向（画素列と略平行となる方向）の動きを補正する場合は、下方の画素列の読み出し後の位置が、上方の画素列の読み出し後の位置よりも動き情報の方向とは逆方向に位置するように補正する。また、上方向と略等しい方向の動きを補正する場合は、各画素列の読み出し後の位置が、中央の画素列に近づくように補正する。このとき、画素列の間引きや加算読み出しを行うこととしても構わない。また、下方向と略等しい方向の動きを補正する場合は、各画素列の読み出し後の位置が、中央の画素列から離れるように補正する。このとき、読み出される画素列間を補間しても構わない。

また、上記構成の撮像装置において、前記動きベクトル算出部が、前記入力画像より露光期間が早い画像を少なくとも１つ用いて算出する動きベクトルと、前記入力画像より露光期間が遅い画像を少なくとも１つ用いて算出する動きベクトルと、をそれぞれ少なくとも１つ算出し、前記動き情報算出部が、前記動きベクトル算出部によって算出される少なくとも２つの前記動きベクトルを用いて前記動き情報を算出することとしても構わない。

このように構成すると、入力画像の動き情報を算出する際に、入力画像の前後の画像を反映させることが可能となる。したがって、入力画像の動き情報を精度よく求めることが可能となる。

また、上記構成の撮像装置において、前記動きベクトル算出部が、前記入力画像と前記入力画像よりも露光期間が早い画像から選択される２つの画像とから算出される動きベクトルを、少なくとも２つ算出し、前記動き情報算出部が、前記動きベクトル算出部によって算出される少なくとも２つの前記動きベクトルを用いて前記動き情報を算出することとしても構わない。

このように構成すると、入力画像の動き情報を算出する際に、入力画像より露光期間が後となる画像が不要となる。したがって、入力画像よりも後の画像が入力された後に出力画像の生成が開始されることを抑制することが可能となる。したがって、出力画像の生成を迅速に行うことが可能となる。

また、上記構成の撮像装置において、前記撮像部により作成される画像が、上下方向に対して２以上の中領域に分割されるとともに上方の中領域ほど露光期間が早く、下方の中領域ほど露光期間が遅くなるものであり、前記動きベクトル算出部が、入力される２つの画像を中領域毎に比較し、比較する当該中領域間の動きを示す中領域動きベクトルを算出するとともに、当該２つの画像から算出される前記中領域動きベクトルに基づいて、前記動きベクトルを算出することとしても構わない。

また、上記構成の撮像装置において、前記撮像部により作成される画像が、上下方向に対して２以上の中領域に分割されるとともに上方の中領域ほど露光期間が早く、下方の中領域ほど露光期間が遅くなるものであり、前記動きベクトル算出部が、入力される２つの画像を中領域毎に比較し、比較する当該中領域間の動きを示す中領域動きベクトルを算出するとともに、当該２つの画像から算出される前記中領域動きベクトルの少なくとも１つを、前記動きベクトルとすることとしても構わない。

また、上記構成の撮像装置において、前記動きベクトル算出部が、前記中領域動きベクトルを算出する際に不適となる結果が得られる場合は、当該中領域動きベクトルを除外することとしても構わない。

ここで、不適となる結果とは、例えば、２つの画像の中領域を比較しても中領域動きベクトルが求められない場合や、中領域動きベクトルの信頼性が低い場合などである。特に、動きベクトルや動き情報を算出する際に精度を悪化させる可能性がある算出結果が、不適となる結果になるものとする。

このように構成すると、不適となる結果を除外して動きベクトルや動き情報を求めることが可能となる。したがって、入力画像の動き情報を精度よく求めることが可能となる。

また、上記構成の撮像装置において、前記補正処理部が、前記入力画像内の一部を切り出すことで前記出力画像を生成するものであり、前記動き情報に基づいて前記入力画像内の切り出し位置を歪ませることで、前記入力画像の歪みを補正することとしても構わない。

このように構成すると、入力画像の歪みを補正することによって出力画像が欠けることを、抑制することが可能となる。具体的には、歪ませた切り出し位置が入力画像内となる限り、出力画像の欠けを防止することが可能となる。なお、前記動き情報によって示される歪みの方向に沿って前記入力画像中の読み出す位置を歪ませることとしても構わない。

また、上記構成の撮像装置において、前記補正処理部が、前記動き情報に基づいて前記入力画像の歪みの大きさである補正量を算出するものであり、前記画像処理部が、前記撮像部で作成された画像に基づいて前記補正量を調整する補正量調整部を、さらに備え、前記補正処理部が、前記補正量調整部によって調整された後の前記補正量だけ前記入力画像を歪ませることで、前記入力画像の歪みを補正するものであり、前記補正量調整部が、調整後の前記補正量の大きさを調整前の前記補正量の大きさ以下にすることとしても構わない。

このように構成すると、補正処理部が入力画像に対して誤補正や過補正となる歪み補正を施すことを抑制することが可能となる。なお、以下の実施形態では、補正量調整部の一例として補正量調整値算出部を挙げて説明している。

また、上記構成の撮像装置において、前記補正量調整部が、前記撮像部のズーム倍率及び前記動き情報の信頼度の少なくとも一方に基づいて、前記補正量を調整することとしても構わない。

このように構成すると、誤補正や過補正が入力画像に施されることを効果的に抑制することが可能となる。

ズーム倍率が小さいと、入力画像の歪みは小さく目立ちにくいものとなりやすい。そのため、ズーム倍率が小さい場合に大きな補正量が算出された場合、誤って算出された可能性が高い。そのため、ズーム倍率が小さいほど補正量を抑制する構成とすると、誤補正や過補正が入力画像に施されることを効果的に抑制することが可能となる。さらにこの場合、入力画像に歪み補正を行って得られる効果は小さいものとなる。そのため、補正量を抑制したとしても好適な出力画像を得ることができる。

また、動き情報の信頼度が小さいと、算出される補正量は誤ったものである可能性が高くなる。そのため、動き情報の信頼度が小さいほど補正量を抑制する構成とすると、誤補正や過補正が入力画像に施されることを効果的に抑制することが可能となる。

本発明の構成とすると、２つの画像間の動きを示す動きベクトルから、入力画像の露光期間の動きを示す動き情報を算出し、この動き情報に基づいて入力画像の歪みを補正することとなる。そのため、入力画像の露光期間の動きが誤認されることが抑制され、入力画像を精度よく補正することが可能となる。特に、動画撮像中の静止画撮像により得られる静止画の歪みや、連続的に撮像されて得られる静止画の歪みを補正することが可能となる。

は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本構成について示すブロック図である。は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本動作について示すフローチャートである。は、補正処理の一例について示した模式図である。は、補正処理の一例について示した模式図である。は、補正処理の一例について示した模式図である。は、第１実施例の歪み補正部の動作例について示すグラフである。は、第１実施例の歪み補正部から出力される出力画像と従来の歪み補正部から出力される出力画像とを示した模式図である。は、第２実施例の歪み補正部の動作例について示すグラフである。は、第３実施例の歪み補正部の動作例について示すグラフである。は、第４実施例の歪み補正部の動作例について示すグラフである。は、第５実施例の歪み補正部の動作例について示すグラフである。は、動画撮像中の静止画撮像の露光タイミングの一例について示した図である。は、動画撮像中の静止画撮像の露光タイミングの一例について示した図である。は、静止画連続撮像の露光タイミングの一例について示した図である。は、補正の程度を調整して歪み補正を行う歪み補正部の構成について示すブロック図である。は、補正の程度を調整して歪み補正を行う歪み補正部の基本動作について示すフローチャートである。は、補正量と当該補正量をそのまま用いて歪み補正を行う歪み補正処理との具体例を示した図である。は、補正量と当該補正量をそのまま用いて歪み補正を行う歪み補正処理との具体例を示した図である。は、補正量と当該補正量をそのまま用いて歪み補正を行う歪み補正処理との具体例を示した図である。は、補正量と当該補正量をそのまま用いて歪み補正を行う歪み補正処理との具体例を示した図である。は、補正量と当該補正量をそのまま用いて歪み補正を行う歪み補正処理との具体例を示した図である。は、ズーム倍率に応じた補正量調整値の設定方法を示すグラフである。は、動きベクトルの算出方法及びその算出精度の算出方法の一例を示す図である。は、検出領域動きベクトルのばらつきが大きくなる場合の一例を示した図である。は、信頼度に応じた補正量調整値の設定方法を示すグラフである。は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図である。は、各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図である。は、歪みを含んだ画像を示した模式図である。は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図である。は、各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図である。は、歪みを含んだ画像を示した模式図である。は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図である。は、各画素列の露光時における被写体と撮像領域との位置関係を示した模式図である。は、歪みを含んだ画像を示した模式図である。

以下、本発明における撮像装置の実施形態について、図面を参照して説明する。最初に、撮像装置の基本構成及び基本動作について説明する。

＜撮像装置＞
（基本構成）
まず、撮像装置の基本構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。

図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ３と、被写体の光学像をイメージセンサ３に結像させるとともに光量などの調整を行うレンズ部４と、を備えた撮像部２を備える。

さらに、撮像装置１は、イメージセンサ３から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）５と、ＡＦＥ５から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部６と、入力される音声を電気信号に変換する集音部７と、集音部７から出力されるアナログの音声信号をデジタル信号に変換するとともに音声信号にノイズ除去などの各種音声処理を施す音声処理部８と、画像処理部６から出力される画像信号と音声処理部８から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像出力回路部１３と、伸長処理部１２で復号されて得られる音声信号をスピーカなどの再生装置（不図示）で再生するためにアナログ信号に変換する音声出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス２０と、を備える。

また、画像処理部６は、入力される画像信号に含まれる歪みを補正して出力する歪み補正部６１を備える。なお、歪み補正部６１の構成の詳細については後述する。

なお、動画と静止画の画像信号を作成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ作成可能であっても構わない。この場合、集音部７や音声処理部８、音声出力回路部１４などを備えない構成としても構わない。

また、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

（基本動作）
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部４より入射される光をイメージセンサ３において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ３は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ５に画像信号を出力する。

そして、ＡＦＥ５によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部４において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

また、画像処理部６は、歪み補正部６１において画像の歪みを補正する。なお、歪み補正部６１の動作の詳細については後述する。

動画の画像信号を作成する場合、集音部７において集音を行う。集音部７で集音されて電気信号に変換される音声信号は、音声処理部８に入力される。音声処理部８は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの各種音声処理を施す。そして、画像処理部６から出力される画像信号と、音声処理部８から出力される音声信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

一方、静止画の画像信号を作成する場合、画像処理部６から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号を画像出力回路部１３、音声信号を音声出力回路部１４にそれぞれ出力する。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

一方、外部メモリ１０に記録された静止画の圧縮符号化信号は、伸長処理部１２に入力されて画像信号が生成される。そして、この画像信号は画像出力回路部１３に出力され、画像出力回路部１３において表示装置で再生可能な形式に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。

＜歪み補正部＞
次に、図１に示した画像処理部６に備えられる歪み補正部６１について詳細に説明する。なお、以下においては説明の具体化のため、歪み補正部６１によって処理される各画像の画像信号を、それぞれ画像として表現する。また、歪み補正が行われる対象となる画像を「入力画像」、歪み補正が行われた後の画像を「出力画像」とする。

また、以下において、露光及び電荷の読み出し制御の単位である画素列と平行な方向を、画像の水平方向とする。また、画素列に対して垂直となる方向を、画像の垂直方向とする。また、画素列毎に露光の開始時間が異なる（露光期間が異なる）ことを特に問題とし、画素列中の画素毎の露光期間の差異はわずかなものであるため考慮しないこととする。また、１つの画像の撮像を行う際に、垂直方向に沿って整列する各画素列のうち、上方の画素列ほど露光の開始が早く（露光期間が早く）、下方の画素列ほど露光の開始が遅い（露光期間が遅い）こととする。

また、本実施形態の撮像装置１に備えられる画像処理部６は、動画の画像信号も静止画の画像信号も処理可能である。そのため、上記の画像は、動画の画像信号と静止画の画像信号との両方を示すものとする。なお、１つの静止画の画像信号を出力する場合であったとしても、複数の画像の画像信号が入力されることとする。

（基本構成）
最初に、歪み補正部６１の基本構成について図２を用いて説明する。図２は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本構成について示すブロック図である。図２に示すように、歪み補正部６１は、入力される２つの画像（第１画像及び第１画像より露光期間が後となる第２画像）から動きベクトルを算出する動きベクトル算出部６２と、動きベクトル算出部６２によって算出された動きベクトルを用いて動き情報を算出する動き情報算出部６３と、動き情報算出部６３によって算出された動き情報に基づいて入力画像の歪みを補正する補正処理部６４と、を備える。

動きベクトルは、第１画像と第２画像とを比較することで求められる。また、求められる動きベクトルは、第１画像及び第２画像間の動き（撮像装置の動きと被写体の動きとを含む、以下単純に「動き」と表現する）を示すものとなる。具体的に例えば、第１画像の露光期間の開始から第２画像の露光期間の終了までの間における動きの方向と大きさとを表すものとなる。

動き情報は、入力画像の露光期間における動きを示したものであり、動きベクトルを用いて算出される。動き情報も、動きベクトルと同様に動きの方向と大きさとを表すものとなる。そのため、動き情報を動きベクトルの一種として解釈することも可能である。

歪み補正部６１の基本動作について図３を用いて説明する。図３は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本動作について示すフローチャートである。また図３は、１つの入力画像の歪みを補正する処理を表したフローチャートである。そのため、動画の画像信号を作成する場合であれば、図３に示す動作が順次行われるものとする。

図３に示すように、最初に動きベクトル算出部６２が、入力される第１画像と第２画像とに基づいて両画像間の動きベクトルを算出する（ＳＴＥＰ１）。これにより、第１画像及び第２画像間の動きベクトルが求められる。

次に、動き情報算出部６２が、ＳＴＥＰ１で算出された動きベクトルを用いて入力画像の動き情報を算出する（ＳＴＥＰ２）。このとき、動き情報算出部６２は、少なくとも２つの動きベクトルを参照して動き情報を算出する。そのため、動き情報算出部６２は、過去に入力された動きベクトルを一時的に記憶したり、参照したりすることが可能な構成であるものとする。

そして、補正処理部６４が、ＳＴＥＰ２によって求められた動き情報に基づく補正を入力画像に施して、出力画像の生成を行う（ＳＴＥＰ３）。特に、動き情報が示す動きを打ち消すような補正を入力画像に施すことにより、補正処理が行われる。動きを打ち消すような補正とは、例えば、動き情報が示す動きと逆向きの動きが発生する場合に画像に生じる歪みを、入力画像に与える補正である。

具体的に例えば、フレームメモリやラインメモリなどに保持される入力画像の画像信号の読み出しを、画素列毎に制御するなどの方法を用いることで、補正を行うことができる。この補正方法の具体例について図４〜図６を用いて説明する。図４〜図６のそれぞれは、補正処理の一例について示した模式図である。図４（ａ）、図５（ａ）及び図６（ａ）は、入力画像と動き情報の一例を示したものであり、図４（ｂ）、図５（ｂ）及び図６（ｂ）は、出力画像の一例を示したものである。

図４は、水平方向と略平行な方向に動きが検出された場合について示している。特に、左方向の動き情報が算出された場合を示している。なお、入力画像Ｐｉｎ１は、図２９の画像Ｐ１に相当するものである。また、図４（ｂ）の出力画像Ｐｏｕｔ１は、読み出された画像信号が存在する範囲を実線で囲って示したものである。

上記のような動き情報が算出される場合、補正処理部６４は、図４（ｂ）の出力画像Ｐｏｕｔ１に示すように、上方の画素列ほど読み出し後の位置が左方となり、下方の画素列ほど読み出し後の位置が右方となるような制御を行う。即ち、下方の画素列ほど、上方の画素列よりも、動き情報が示す動きの方向と反対となる方向にずれた位置になるように、読み出し後の位置を制御する。

一方、図４（ａ）と反対に、右方向の動き情報が算出された場合は、上方の画素列ほど読み出し後の位置が右方となり、下方の画素列ほど読み出し後の位置が左方となるように制御する。

図５は、垂直方向と略平行な方向に動きが検出された場合について示している。特に、下方向の動き情報が算出された場合を示している。なお、入力画像Ｐｉｎ２は、図３２の画像Ｐ２に相当するものである。また、図５（ｂ）の出力画像Ｐｏｕｔ２は、読み出された画像信号が存在する部分を実線で囲って示したものである。

上述のように、上方向の動きが生じると、入力画像Ｐｉｎ２は垂直方向に対して伸張されたものとなる。そのため、補正処理部６４は、垂直方向に対して圧縮する補正を入力画像Ｐｉｎ２に施し、出力画像Ｐｏｕｔ２を得る。

例えば、入力画像Ｐｉｎ２のそれぞれの画素列の画像信号の位置が、出力画像Ｐｏｕｔ２の中央の画素列に寄る位置となるように読み出しを行う。このとき、所定の画素列の画像信号を読み出さない間引き読み出しを行ったり、所定の近接する画素列の画像信号を加算して１つの画素列の画像信号として読み出す加算読み出しを行ったりしても構わない。そして、上記のような方法により、図５（ｂ）に示すような入力画像Ｐｉｎ２を垂直方向に対して圧縮した出力画像Ｐｏｕｔ２を得る。

一方、図６は、上方向の動き情報が算出された場合について示している。なお、入力画像Ｐｉｎ３は、図３５の画像Ｐ３に相当するものである。また、図６（ｂ）の出力画像Ｐｏｕｔ３は、読み出された画像信号が存在する部分を実線で囲って示したものである。

上述のように、下方向の動きが生じると、入力画像Ｐｉｎ３は垂直方向に対して圧縮されたものとなる。そのため、補正処理部６４は、垂直方向に対して伸張する補正を入力画像Ｐｉｎ３に施し、出力画像Ｐｏｕｔ３を得る。

例えば、入力画像Ｐｉｎ３のそれぞれの画素列の画像信号が、出力画像Ｐｏｕｔ３の中央の画素列から離れるように読み出しを行う。このとき、所定の近接する画素列の画像信号を用いて当該画素列間の画像信号を補間し、補間により得られた画像信号を当該画素列間の画像信号として読み出す補間読み出しを行っても構わない。そして、上記のような方法により、図６（ｂ）に示すような入力画像Ｐｉｎ３を垂直方向に対して伸張した出力画像Ｐｏｕｔ３を得る。

以上のような構成とすると、２つの画像間の動きを示す動きベクトルから、入力画像の露光期間の動きを示す動き情報を算出し、この動き情報に基づいて入力画像の歪みを補正することとなる。そのため、入力画像の露光期間の動きを精度よく補正することが可能となる。

特に例えば、入力画像の直前に撮像された前画像に歪みがあり、入力画像に歪みがない場合において、前画像と入力画像とから得られる動きベクトルは動きがあることを示すものとなるが、入力画像の動き情報は動きがないことを示すものとなる。そのため、入力画像の露光期間に発生した動きを誤認することを抑制することが可能となり、入力画像に誤った補正が施されることを抑制することが可能となる。

なお、図４（ｂ）、図５（ｂ）及び図６（ｂ）の出力画像Ｐｏｕｔ１〜Ｐｏｕｔ３をさらに補正した画像を出力画像としても構わない。具体的には、出力画像Ｐｏｕｔ１〜Ｐｏｕｔ３に所定の矩形領域を設定するとともに、その矩形領域内の画像信号を用いて出力画像を生成しても構わない。さらに、矩形領域内を縮小（例えば画素加算や間引き）しても構わないし、拡大（例えば画素間の補間）しても構わない。また、矩形領域を動き情報に基づいて設定しても構わないし、被写体Ｔ１及びＴ２が存在する位置に基づいて設定しても構わない。

また、図４〜図６では、説明の便宜上水平方向と垂直方向とで歪みの補正方法を分けて説明したが、これらは同時に実施することも可能である。特に、斜め方向の動きが検出される場合は、入力画像の水平方向と垂直方向とに歪みが発生しているため、両方の方向に対して補正を行うこととすると好ましい。このとき、水平方向に対する補正と、垂直方向に対する補正とを順に行っても構わないし、同時に行うこととしても構わない。

また、図２において、第１画像及び第２画像と入力画像とを別の画像のように説明したが、第１画像と入力画像が同じものであったり、第２画像と入力画像とが同じものであったりしても構わない。

また、以下において説明する歪み補正部６１の各実施例の構成は、同様のものとなる。特に、歪み補正部６１の基本構成として説明した図２に示す構成と同様のものとなる。そのため、以下の歪み補正部６１の各実施例の説明において、各実施例の構成は図２に示したものと同様のものであるとして、構成の詳細な説明については省略する。

（第１実施例）
次に、歪み補正部６１の第１実施例について図面を参照して説明する。図７は、第１実施例の歪み補正部の動作例について示すグラフである。具体的には、ｎ−２番目、ｎ−１番目、ｎ番目、ｎ＋１番目及びｎ＋２番目の画像が、順次作成されて歪み補正部６１に入力される場合について示している。また、各画像の露光期間は、ｎ−２番目、ｎ−１番目、ｎ番目、ｎ＋１番目、ｎ＋２番目の順に遅くなるものとする（ただし、ｎは３以上の自然数）。また、以下において前の画像、後の画像と表現する場合は、上記の順における前後を示すものとする。なお、以下では、画像の水平方向の動きが発生する場合を例に挙げて説明する。

図７は、上記の各画像から求められる動きベクトルと動き情報の大きさと、動きベクトル及び動き情報が示す動きが発生する時間と、を示したグラフである。なお、縦軸が動きベクトル及び動き情報の水平方向の大きさを示し、横軸が時間を示すものとする。また、動きベクトルの大きさが正であれば、右方向の動きが発生したことを示すものとする。一方、動きベクトルの大きさが負であれば、左方向の動きが発生したことを示すものとする。また、それぞれの画像全体の露光期間の平均時間を、その画像の画像平均露光時間（図７中の画像内の白塗りの丸）として露光期間を代表させて示し、各画像の画素列毎の露光期間の差異については図示を省略する。

本実施例の歪み補正部６１における動きベクトル算出部６２は、２つの画像から画像間の動きベクトル（図７中の白塗りの四角）を算出する。この動きベクトルは、２つの画像の全体を比較した結果から算出されるものとなる。そのため、例えば２つの画像の露光期間の平均時間（即ち、２つの画像の画像平均露光時間の平均時間）の動きを示すものと考えることができる。

動きベクトル算出部６２は、例えばブロックマッチング法、代表点マッチング法、勾配法などの種々の方法を用いて動きベクトルを求めることが可能であり、上記以外の方法を用いることとしても構わない。なお、画像を水平方向にｈ分割、垂直方向にｉ分割してｈ×ｉの小領域にするとともに、小領域毎に例えば上記の方法を適用して小領域動きベクトルを算出し、これらを平均化するなどして動きベクトルを求めても構わない（ただし、ｈ及びｉは自然数）。

動き情報算出部６３は、動きベクトル算出部６２によって上記のように算出される動きベクトルを用いて、入力画像の動き情報（図７中の黒塗りの四角）を算出する。具体的に例えば、ｎ−１番目の画像とｎ番目の画像とから求められる動きベクトルＭ_n-0.5と、ｎ番目の画像とｎ＋１番目の画像とから求められる動きベクトルＭ_n+0.5と、を平均化することによって、ｎ番目の画像の動き情報Ｉ_nを算出する。このように算出される動き情報Ｉ_nは、例えば、ｎ番目の画像の画像平均露光時間の動きを示すものと考えることができる。

そして、補正処理部６４により、動き情報Ｉ_nを用いた入力画像の補正を行うことで、歪みが低減された出力画像を得ることができる。

本実施例の歪み補正部６１による効果を、従来の歪み補正部と対比することにより説明する。図８は、第１実施例の歪み補正部から出力される出力画像と従来の歪み補正部から出力される出力画像とを示した模式図である。図８（ａ）は本実施例の歪み補正部から出力される出力画像を示したものであり、図８（ｂ）は従来の歪み補正部から出力される出力画像を示したものである。また、それぞれの図には、歪み補正に用いた動き情報または動きベクトルを示している。

図８（ａ）に示すように、本実施例の歪み補正部６１は、それぞれの入力画像の露光期間における動きを示す動き情報Ｉ_n-1、Ｉ_n及びＩ_n+1を用いて歪みの補正を行う。そのため、入力画像を精度よく補正することが可能となる。一方、図８（ｂ）に示すように、従来の歪み補正部は、２つの画像の画像間の動きを示す動きベクトルＭ_n-1.5、Ｍ_n-0.5及びＭ_n+0.5を用いて、ｎ−１番目、ｎ番目、ｎ＋１番目の画像の補正をそれぞれ行う。そのため、実際の入力画像の露光期間における動きと異なる動きが生じていると誤り、不適切な補正をする可能性がある。したがって、本実施例のように精度よく補正を行うことができない。

また、本実施例の動き補正部６１は、入力画像より前の画像を用いて求められる動きベクトルと、入力画像より後の画像を用いて求められる動きベクトルと、を利用して入力画像の動き情報を求める。そのため、入力画像の動き情報の算出の際に、入力画像の前後の画像を反映させることが可能となる。したがって、入力画像の動き情報をさらに精度よく求めることが可能となる。

なお、上記の例では、入力画像と１つ前の画像とから得られる動きベクトルと、入力画像と１つ後の画像とから得られる動きベクトルと、を用いて入力画像の動き情報を求めることとしたが、他の動きベクトルを用いて動き情報を求めることとしても構わない。例えば、入力画像の２つ前の画像と１つ前の画像から求められる動きベクトルを用いても構わないし、入力画像の１つ後の画像と２つ後の画像から求められる動きベクトルを用いても構わない。また、連続しない画像（例えば、ｎ−２番目とｎ番目の画像）を用いて求めた動きベクトルを用いて、動き情報を算出しても構わない。

ただし、上記例のように、連続した画像である入力画像及び１つ前の画像から得られる動きベクトルと、同じく連続した画像である入力画像及び１つ後の画像から得られる動きベクトルと、を用いて入力画像の動き情報を求めることとすると、例えば２つの動きベクトルを平均化するだけで、容易かつ精度良く入力画像の動き情報を求めることができる。また、入力画像の１つ後の画像が歪み補正部６１に入力されることにより、動き情報を算出することが可能となるため、出力画像の生成に著しい遅延が生じることを抑制することが可能となる。

また、入力画像以前の画像に対して求めた動き情報を、入力画像の動き情報を算出する際に利用しても構わない。即ち、過去に算出した動き情報を、動きベクトルと同様に扱っても構わない。

また、上記の例では、動き情報を算出する際に２つの動きベクトルを用いることとしたが、３つ以上としても構わない。例えば、ｋ個の動きベクトルから補間直線やｍ次の補間曲線（以下、動き線ＭＬとする）を求め、この動き線ＭＬを用いて入力画像の動き情報を求めても構わない（ただし、ｋ及びｍはそれぞれ２以上の整数）。この場合、横軸の値が入力画像の画像平均露光時間となるときの動き線ＭＬの縦軸の値が、動きの大きさとなるように動き情報を設定しても構わない。さらに、過去に算出した動き情報を利用して動き線ＭＬを求めても構わない。

また、動き線ＭＬを動き情報の代わりに用いて上述したような歪み補正を行っても構わない。この場合、動き線ＭＬから入力画像の露光期間中における動きの変化まで算出して、歪み補正を行うこととしても構わない。

また、垂直方向や斜め方向に動きが発生する場合についても同様に、本実施例を適用することができる。例えば垂直方向に動きが発生する場合であれば、図７の縦軸が、垂直方向の動きベクトル及び動き情報の大きさを示すものに変わるだけである。また、斜め方向に動きが発生する場合、水平方向の動き情報と垂直方向の動き情報とを別々に算出して、それぞれの動き情報を用いて入力画像を補正することとしても構わない。

（第２実施例）
次に、歪み補正部６１の第２実施例について図面を参照して説明する。図９は、第２実施例の歪み補正部の動作例について示すグラフであり、第１実施例について示した図７に相当するものである。なお、同様の部分には同一の符号を付してその詳細な説明については省略する。また、本実施例においても、歪み補正の対象となる入力画像がｎ番目の画像であり、水平方向の動きが発生する場合を例に挙げて説明する。

本実施例の歪み補正部６１における動きベクトル算出部６２は、第１実施例と同様の方法を用いて、２つの画像間の動きベクトルを求める。また、動き情報算出部６３は、動きベクトル算出部６２から出力される動きベクトルを用いて、入力画像の動き情報を求める。

具体的に、動き情報算出部６３は、ｎ番目の画像の動き情報Ｉ_nを求めるために、ｎ−２番目の画像とｎ−１番目の画像とから得られる動きベクトルＭ_n-1.5と、ｎ−１番目の画像とｎ番目の画像とから得られる動きベクトルＭ_n-0.5と、を用いる。特に、動きベクトルＭ_n-1.5及びＭ_n-0.5を用いて動き情報Ｉ_nを推測することにより、動き情報Ｉ_nを求める。

例えば、動きベクトルＭ_n-1.5及びＭ_n-0.5を用いて動き線ＭＬを求めるとともに、横軸の値がｎ番目の画像の画像平均露光時間となるときの動き線ＭＬの縦軸の値が、動きの大きさとなるように動き情報Ｉ_nを設定する。

そして、補正処理部６４が、得られた動き情報Ｉ_nを用いて入力画像の補正を行うことで、歪みが低減された出力画像が得られる。

歪みを低減する効果については第１実施例と同様である。即ち、図８に示したように、入力画像の露光期間における動きを示す動き情報を用いて歪みの補正を行うため、入力画像を精度よく補正することが可能となる。

さらに、本実施例では、入力画像以前の画像を用いて算出した動きベクトルを用いて入力画像の動き情報を算出することとしている。そのため、入力画像の動き情報を算出する際に、入力画像より後の画像が不要となる。したがって、第１実施例に示したような、入力画像よりも後の画像が歪み補正部６１に入力された後に、出力画像の生成が開始されることを抑制することが可能となる。即ち、出力画像の生成を迅速に行うことが可能となる。

なお、上記の例では、入力画像の２つ前の画像と１つ前の画像とから得られる動きベクトルと、入力画像の１つ前の画像と入力画像とから得られる動きベクトルと、を用いて入力画像の動き情報を求めることとしたが、他の動きベクトルを用いて動き情報を求めることとしても構わない。例えば、入力画像の３つ前の画像と２つ前の画像から求められる動きベクトルを用いても構わない。また、連続しない画像を用いて求めた動きベクトルを用いて、動き情報を算出しても構わない。

ただし、上記例のように、連続した画像である入力画像の２つ前の画像及び１つ前の画像から得られる動きベクトルと、同じく連続した画像である入力画像及び１つ前の画像から得られる動きベクトルと、を用いて入力画像の動き情報を求めることとすると、入力画像と直前の２つの画像とを用いて動き情報を求めることとなる。そのため、計算量を低減するとともに精度良く動き情報を求めることができる。

また、入力画像よりも前の画像に対して求められた動き情報を、入力画像の動き情報を算出する際に利用しても構わない。即ち、過去に算出した動き情報を、動きベクトルと同様に扱っても構わない。

また、上記の例では、動き情報を算出する際に２つの動きベクトルを用いることとしたが、３つ以上としても構わない。例えば、ｋ個の動きベクトルから動き線ＭＬを求め、この動き線ＭＬを用いて入力画像の動き情報を求めても構わない。

また、垂直方向や斜め方向に動きが発生する場合についても同様に、本実施例を適用することができる。例えば垂直方向に動きが発生する場合であれば、図９の縦軸が、垂直方向の動きベクトル及び動き情報の大きさを示すものに変わるだけである。また、斜め方向に動きが発生する場合、水平方向の動き情報と垂直方向の動き情報とを別々に算出して、それぞれの動き情報を用いて入力画像を補正することとしても構わない。

（第３実施例）
次に、歪み補正部６１の第３実施例について図面を参照して説明する。図１０は、第３実施例の歪み補正部の動作例について示すグラフであり、第１実施例について示した図７や第２実施例について示した図９に相当するものである。ただし、図１０は図７及び図９と異なり、被写体の表示を省略するとともに各画素列の露光期間の差異を図中で表現している。また、図１０と図７及び図９とで同様となる部分には同一の符号を付してその詳細な説明については省略する。また、本実施例においても、歪み補正の対象となる入力画像がｎ番目の画像であり、水平方向の動きが発生する場合を例に挙げて説明する。

本実施例の歪み補正部６１における動きベクトル算出部６２は、まず、画像を垂直方向に対してｊ個に等分割した領域である中領域毎に２つの画像を比較して、中領域動きベクトルを求める（ただし、ｊは２以上の整数）。なお、図１０では一例として、画像を垂直方向に対して３つに等分割した場合（ｊ＝３の場合）について示している。なお、それぞれの画像の中領域について、露光期間が早い順にα、β、γとする。

また、中領域の露光期間の平均時間となる中領域平均露光時間を、図１０のそれぞれの中領域内に白塗りの三角形で示す。中領域動きベクトルは、２つの中領域の全体を比較した結果から算出されるものとなる。そのため、例えば２つの中領域の露光期間の平均時間（即ち、それぞれの中領域平均露光時間を平均した時間）の動きを示すものと考えることができる。

また、中領域動きベクトルの算出には、第１及び第２実施例で示した動きベクトルを算出する方法と同様の方法を適用することができる。例えば、ブロックマッチング法、代表点マッチング法、勾配法などの種々の方法を用いて、中領域動きベクトルを求めることが可能である。また、各中領域を水平方向にｈ分割、垂直方向にｉ分割してｈ×ｉの小領域とし、小領域毎に求められる動きベクトルを平均化するなどして中領域動きベクトルを算出しても構わない。

動きベクトル算出部６２は、上記のように求めた中領域動きベクトルを用いて、２つの画像間の動きベクトルを算出する。例えば、２つの画像の各中領域から求められた中領域動きベクトルを平均化することによって、２つの画像間の動きベクトルを算出する。そして、動き情報算出部６３が、少なくとも入力画像より前の画像を用いて得られる動きベクトルと、少なくとも入力画像より後の画像を用いて得られる動きベクトルと、を用いて入力画像の動き情報を算出する。

ところで、動きベクトル算出部６２が、ある中領域の中領域動きベクトルを算出する際に、中領域動きベクトルが求められずに欠落したり、信頼性が低いなどの要因によって求められた中領域動きベクトルが不適なものになったりする場合が生じ得る。

中領域動きベクトルが欠落する場合とは、例えば、２つの画像の中領域を比較した場合に、相当する（マッチングする）部分が検出できない場合などである。また、中領域ベクトルが不適なものとなる場合とは、例えば、中領域を複数の小領域に分割してそれぞれの小領域から小領域動きベクトルを得て、小領域動きベクトルから中領域動きベクトルを求める場合に、小領域動きベクトルの向きや大きさの差異が著しく大きい場合などである。

以上のような、動きベクトルを算出する際に精度を悪化させる可能性がある中領域動きベクトルの算出結果を、以下において不適結果とする。そして、本実施例では、このような不適結果を動きベクトルの算出時に除外する。

具体的に、ｎ−１番目の画像とｎ番目の画像とから求められる動きベクトルＭＡ_n-0.5と、ｎ番目の画像とｎ＋１番目の画像とから求められる動きベクトルＭＡ_n+0.5とを用いて、ｎ番目の画像の動き情報Ｉ_nを算出する場合を例に挙げて以下説明する。なお、動きベクトルＭＡ_n-0.5は、ｎ−１番目の画像の中領域α_n-1及びｎ番目の画像の中領域α_nから得られた中領域動きベクトルと、ｎ−１番目の画像の中領域β_n-1及びｎ番目の画像の中領域β_nから得られた中領域動きベクトルと、ｎ−１番目の画像の中領域γ_n-1及びｎ番目の画像の中領域γ_nから得られた中領域動きベクトルと、を用いて得られる動きベクトルとする。また、動きベクトルＭＡ_n+0.5は、ｎ番目の画像の中領域α_n及びｎ＋１番目の画像の中領域α_n+1から得られた中領域動きベクトルのみから求められる動きベクトルとし、ｎ番目の画像の中領域β_n及びｎ＋１番目の画像の中領域β_n+1と、ｎ番目の画像の中領域γ_n及びｎ＋１番目の画像の中領域γ_n+1と、からはそれぞれ不適結果が出力されたものとする。

動きベクトルＭＡ_n-0.5及びＭＡ_n+0.5は、例えば、不適結果を除外して得られたそれぞれの中領域動きベクトルを平均化することによって得られる。この場合、動きベクトルＭＡ_n-0.5は、中領域α_n-1及びα_nと、中領域β_n-1及びβ_nと、中領域γ_n-1及びγ_nとからそれぞれ得られた中領域動きベクトルの大きさを平均化した大きさを有するものとなる。また、動きベクトルＭＡ_n-0.5は、例えば、中領域α_n-1及びα_nのそれぞれの露光期間と、中領域β_n-1及びβ_nのそれぞれの露光期間と、中領域γ_n-1及びγ_nのそれぞれの露光期間と、を平均した時間（それぞれの中領域平均露光時間を平均した時間、即ち、ｎ−１番目の画像の画像平均露光時間とｎ番目の画像の画像平均露光時間との平均時間）の動きを示すものと考えることができる。

一方、動きベクトルＭＡ_n+0.5は、中領域β_n及びβ_n+1から得られる結果と中領域γ_n及びγ_n+1から得られる結果とが、不適結果となり除外されるため、中領域α_n及びα_n+1から得られる中領域動きベクトルのみを用いて算出される。動きベクトルが中領域動きベクトルを平均化して得られるものである場合、動きベクトルＭＡ_n+0.5と、中領域α_n及びα_n+1から得られる中領域動きベクトルとは同様のものとなる。具体的には、動きベクトルＭＡ_n+0.5が示す動きの大きさが、中領域α_n及びα_n+1から得られる中領域動きベクトルが示す動きの大きさと略等しいものとなる。また、動きベクトルＭＡ_n+0.5は、例えば、中領域α_n及びα_n+1のそれぞれの露光期間を平均した時間（即ち、それぞれの中領域平均露光時間の平均時間）の動きを示すものと考えることができる。

以上のようにして求められる動きベクトルＭＡ_n-0.5及びＭＡ_n+0.5を用いて、動き情報算出部６３が、ｎ番目の画像の動き情報Ｉ_nを求める。例えば、動きベクトルＭＡ_n-0.5と動きベクトルＭＡ_n+0.5とを平均化するなどして動き情報Ｉ_nを求める。ただし、動きベクトルＭＡ_n-0.5及びＭＡ_n+0.5の重み係数（例えば加算割合）を調整して平均化することにより、動き情報Ｉ_nを求める。

例えば、求める動き情報Ｉ_nと動きベクトルＭＡ_n-0.5及びＭＡ_n+0.5とのそれぞれの時間差の逆比を重み係数に反映させる。上記の例の場合であれば、動き情報Ｉ_nが示す動きの時間（ｎ番目の画像の画像平均露光時間）と動きベクトルＭＡ_n-0.5が示す動きの時間（ｎ−１番目の画像の画像平均露光時間とｎ番目の画像の画像平均露光時間との平均時間）との時間差の方が、動き情報Ｉ_nが示す動きの時間（ｎ番目の画像の画像平均露光時間）と動きベクトルＭＡ_n+0.5が示す動きの時間（中領域α_n-1及びα_nのそれぞれの中領域平均露光時間の平均時間）との時間差よりも大きくなる。そのため、動きベクトルＭＡ_n-0.5の重み係数を、動きベクトルＭＡ_n+0.5の重み係数よりも小さいものとして平均化することにより、動き情報Ｉ_nを求める。

以上のようにして、ｎ番目の画像の画像平均露光時間における動きを示す動き情報Ｉ_nが得られる。そして、補正処理部６４により、動き情報Ｉ_nを用いた入力画像の補正を行うことで、歪みが低減された出力画像を得ることができる。

歪みを低減する効果については第１及び第２実施例と同様である。即ち、図８に示したように、入力画像の画像平均露光時間における動きを示す動き情報を用いて歪みの補正を行うため、入力画像を精度よく補正することが可能となる。

また、本実施例は第１実施例と同様に、入力画像より前の画像を用いて求められる動きベクトルと、入力画像より後の画像を用いて求められる動きベクトルと、を利用して入力画像の露光期間に生じた動きを求める。そのため、入力画像の動き情報の算出の際に、入力画像の前後の画像を反映させることが可能となる。したがって、入力画像の動き情報をさらに精度よく求めることが可能となる。

さらに、本実施例では、不適結果を除いた中領域動きベクトルを用いて２つの画像間の動きベクトルを算出する。また、このとき用いた中領域動きベクトルに応じて、得られる動きベクトルがどの時間における動きを示したものとなるかを設定する。そのため、不適結果を排除するとともに、動きベクトルが示す動きが生じた時間を厳密に設定することが可能となる。したがって、入力画像の動き情報をさらに精度よく求めることが可能となる。

なお、上記の例では、入力画像と１つ前の画像とから得られる動きベクトルと、入力画像と１つ後の画像とから得られる動きベクトルと、を用いて入力画像の動き情報を求めることとしたが、他の動きベクトルを用いて動き情報を求めることとしても構わない。例えば、入力画像の２つ前の画像と１つ前の画像から求められる動きベクトルを用いても構わないし、入力画像の１つ後の画像と２つ後の画像から求められる動きベクトルを用いても構わない。また、連続しない画像を用いて求めた動きベクトルを用いて、動き情報を算出しても構わない。

ただし、上記例のように、連続した画像である入力画像及び１つ前の画像から得られる動きベクトルと、同じく連続した画像である入力画像及び１つ後の画像から得られる動きベクトルと、を用いて入力画像の動き情報を求めることとすると、例えば２つの動きベクトルの重み係数を調整して平均化するだけで、容易かつ精度良く動き情報を求めることができる。また、入力画像の１つ後の画像が入力された時点で動き情報を算出することが可能となるため、出力画像の生成に著しい遅延が生じることを抑制することが可能となる。

また、上記の例では、動き情報を算出する際に２つの動きベクトルを用いることとしたが、３つ以上としても構わない。例えば、ｋ個の動きベクトルから動き線を求め、この動き線ＭＬを用いて入力画像の動き情報を求めても構わない。この場合、横軸の値が入力画像の画像平均露光時間となるときの動き線ＭＬの縦軸の値が、動きの大きさとなるように動き情報を設定しても構わない。さらに、過去に算出した動き情報を利用して動き線ＭＬを求めても構わない。

また、動き線ＭＬを動き情報の代わりに用い、上述したような歪み補正を行うこととしても構わない。この場合、動き線ＭＬから入力画像の露光期間における動きの変化まで算出して歪み補正を行うこととしても構わない。

また、垂直方向や斜め方向に動きが発生する場合についても同様に、本実施例を適用することができる。例えば垂直方向に動きが発生する場合であれば、図１０の縦軸が、垂直方向の動きベクトル及び動き情報の大きさを示すものに変わるだけである。また、斜め方向に動きが発生する場合、水平方向の動き情報と垂直方向の動き情報とを別々に算出して、それぞれの動き情報を用いて入力画像を補正することとしても構わない。

また、中領域を、画像を垂直方向に対してｊ個に等分割したそれぞれの領域としたが、等分割せずに中領域の大きさを異ならせても構わない。さらにこの場合、大きい中領域から得られる中領域動きベクトルの重みを重くして、他の中領域動きベクトルと平均化することにより、動きベクトルを算出しても構わない。

（第４実施例）
次に、歪み補正部６１の第４実施例について図面を参照して説明する。図１１は、第４実施例の歪み補正部の動作例について示すグラフであり、第３実施例について示した図１０に相当するものである。なお、図１１と図１０とで同様となる部分には同一の符号を付してその詳細な説明については省略する。また、本実施例においても、歪み補正の対象となる入力画像がｎ番目の画像であり、水平方向の動きが発生する場合を例に挙げて説明する。

図１１は、第３実施例の一例について示した図１０と同様に、各画像が３つの中領域α〜γに等分割されるとともに中領域α〜γ毎に中領域動きベクトルが算出される場合について示したものである。また、本実施例の歪み補正部６１は、動きベクトル算出部６２が、第３実施例と同様の方法を用いて２つの画像の画像間の動きベクトルを求めるものとする。即ち、中領域動きベクトルを用いて動きベクトルを求める。また、不適結果を排除して、得られた中領域動きベクトルに応じて動きベクトルを算出する方法についても、第３実施例と同様のものとする。

本実施例について、具体的に、ｎ−２番目の画像とｎ−１番目の画像とから求められる動きベクトルＭＡ_n-1.5と、ｎ−１番目の画像とｎ番目の画像とから求められる動きベクトルＭＡ_n-0.5とを用いて、ｎ番目の画像の動き情報Ｉ_nを算出する場合を例に挙げて以下説明する。なお、動きベクトルＭＡ_n-1.5は、ｎ−２番目の画像の中領域α_n-2及びｎ番目の画像の中領域α_n-1から得られた中領域動きベクトルと、ｎ−２番目の画像の中領域β_n-2及びｎ−１番目の画像の中領域β_n-1から得られた中領域動きベクトルと、ｎ−２番目の画像の中領域γ_n-2及びｎ−１番目の画像の中領域γ_n-1から得られた中領域動きベクトルと、を用いて得られる動きベクトルとする。また、動きベクトルＭＡ_n-0.5は、ｎ−１番目の画像の中領域α_n-1及びｎ番目の画像の中領域α_nから得られた中領域動きベクトルのみから求められる動きベクトルとし、ｎ−１番目の画像の中領域β_n-1及びｎ番目の画像の中領域β_nと、ｎ−１番目の画像の中領域γ_n-1及びｎ番目の画像の中領域γ_nと、からはそれぞれ不適結果が出力されたものとする。

上記のように、第３実施例と同様の方法により動きベクトルＭＡ_n-1.5及びＭＡ_n-0.5が求められる。例えば、不適結果を除外して得られたそれぞれの中領域動きベクトルを平均化することによって得られる。

この場合、動きベクトルＭＡ_n-1.5は、中領域α_n-2及びα_n-1と、中領域β_n-2及びβ_n-1と、中領域γ_n-2及びγ_n-1とからそれぞれ得られた中領域動きベクトルの大きさを平均化した大きさを有するものとなる。さらに、動きベクトルＭＡ_n-1.5は、例えば、中領域α_n-2及びα_n-1のそれぞれの露光期間と、中領域β_n-2及びβ_n-1のそれぞれの露光期間と、中領域γ_n-2及びγ_n-1のそれぞれの露光期間と、を平均した時間（それぞれの中領域平均露光時間を平均した時間、即ち、ｎ−２番目の画像の画像平均露光時間とｎ−１番目の画像の画像平均露光時間との平均時間）の動きを示すものと考えることができる。

一方、動きベクトルＭＡ_n-0.5は、中領域β_n-1及びβ_nから得られる結果と中領域γ_n-1及びγ_nから得られる結果とが不適結果となり除外されるため、中領域α_n-1及びα_nから得られる中領域動きベクトルのみを用いて算出される。動きベクトルが中領域動きベクトルを平均化して得られるものである場合、動きベクトルＭＡ_n-0.5と、中領域α_n-1及びα_nから得られる中領域動きベクトルとは同様のものとなる。具体的には、動きベクトルＭＡ_n-0.5が示す動きの大きさが、中領域α_n-1及びα_nから得られる中領域動きベクトルが示す動きの大きさと略等しいものとなる。また、動きベクトルＭＡ_n-0.5は、中領域α_n-1及びα_nのそれぞれの露光期間を平均した時間（即ち、それぞれの中領域平均露光時間の平均時間）の動きを示すものと考えることができる。

動き情報算出部６３は、動きベクトルＭＡ_n-1.5及びＭＡ_n-0.5を用いて動き情報Ｉ_nを推測することにより、動き情報Ｉ_nを求める。例えば、動きベクトルＭＡ_n-1.5及びＭＡ_n-0.5より動き線ＭＬを推測するとともに、横軸の値がｎ番目の画像の画像平均露光時間となるときの動き線ＭＬの値が、動きの大きさとなるように動き情報Ｉ_nを設定する。

歪みを低減する効果については第１〜第３実施例と同様である。即ち、図８に示したように、入力画像の画像平均露光時間における動きを示す動き情報を用いて歪みの補正を行うため、入力画像を精度よく補正することが可能となる。

また、本実施例は第２実施例と同様に、入力画像以前の画像を用いて算出した動きベクトルを用いて入力画像の動き情報を算出することとしている。そのため、入力画像の動き情報を算出する際に、入力画像より後の画像が不要となる。したがって、第１及び第３実施例に示したように、入力画像よりも後の画像が歪み補正部６１に入力された後に出力画像の生成が開始されることを抑制することが可能となる。即ち、出力画像の生成を迅速に行うことが可能となる。

さらに、第３実施例と同様に、不適結果を排除した中領域動きベクトルを用いて２つの画像間の動きベクトルを算出するとともに、得られた中領域動きベクトルに応じて動きベクトルが示す動きが生じた時間を設定する。そのため、不適結果を排除するとともに、動きベクトルが示す動きが生じる時間を厳密に設定することが可能となる。したがって、入力画像の動き情報をさらに精度よく求めることが可能となる。

また、動き線ＭＬを動き情報の代わりに用い、上述したような歪み補正を行うこととしても構わない。この場合、動き線ＭＬから入力画像の露光期間中における動きの変化まで算出して歪み補正を行うこととしても構わない。

また、垂直方向や斜め方向に動きが発生する場合についても同様に、本実施例を適用することができる。例えば垂直方向に動きが発生する場合であれば、図１１の縦軸が、垂直方向の動きベクトル及び動き情報の大きさを示すものに変わるだけである。また、斜め方向に動きが発生する場合、水平方向の動き情報と垂直方向の動き情報とを別々に算出して、それぞれの動き情報を用いて入力画像を補正することとしても構わない。

（第５実施例）
次に、歪み補正部６１の第５実施例について図面を参照して説明する。図１２は、第５実施例の歪み補正部の動作例について示すグラフであり、第３実施例について示した図１０や第４実施例について示した図１１に相当するものである。なお、図１２と図１０及び図１１とで同様となる部分には同一の符号を付してその詳細な説明については省略する。また、本実施例においても、歪み補正の対象となる入力画像がｎ番目の画像であり、水平方向の動きが発生する場合を例に挙げて説明する。

図１２は、第３実施例の一例について示した図１０や第４実施例の一例について示した図１１と同様に、各画像が３つの中領域α〜γに等分割されるとともに中領域α〜γ毎に中領域動きベクトル（図１２中の白塗りの星）が算出される場合について示したものである。また、本実施例の歪み補正部６１は、動きベクトル算出部６２が、第３及び第４実施例と同様の方法を用いて２つの画像の中領域動きベクトルを求める。しかしながら、動きベクトル算出部６２が、この中領域動きベクトルを動き情報算出部６３に出力するとともに、動き情報算出部６３が、中領域動きベクトルを直接的に用いて動き情報を算出する点について、第３及び第４実施例とは異なる。

本実施例について、具体的に、ｎ−１番目の画像の中領域α_n-1及びｎ番目の画像の中領域α_nから得られた中領域動きベクトルＭＢα_n-0.5と、ｎ−１番目の画像の中領域β_n-1及びｎ番目の画像の中領域β_nから得られた中領域動きベクトルＭＢβ_n-0.5と、ｎ−１番目の画像の中領域γ_n-1及びｎ番目の画像の中領域γ_nから得られた中領域動きベクトルＭＢγ_n-0.5と、を用いて、ｎ番目の画像の動き情報Ｉ_nを算出する場合を例に挙げて以下説明する。なお、本例では、上記のそれぞれの中領域動きベクトルの算出時に、不適結果が出力されなかったものとする。

上述のように、中領域動きベクトルＭＢα_n-0.5は、例えば中領域α_n-1及びα_nのそれぞれの中領域平均露光時間の平均時間の動きを示すものと考えることができる。同様に、中領域動きベクトルＭＢβ_n-0.5は、例えば中領域β_n-1及びβ_nのそれぞれの中領域平均露光時間の平均時間の動きを示すものと考えることができ、中領域動きベクトルＭＢγ_n-0.5は、例えば中領域γ_n-1及びγ_nのそれぞれの中領域平均露光時間の平均時間の動きを示すものと考えることができる。

動き情報算出部６３は、中領域動きベクトルＭＢα_n-0.5、ＭＢβ_n-0.5及びＭＢγ_n-0.5を用いて動き情報Ｉ_nを推測することにより、動き情報Ｉ_nを求める。例えば、中領域動きベクトルＭＢα_n-0.5、ＭＢβ_n-0.5及びＭＢγ_n-0.5より動き線ＭＬを推測するとともに、横軸の値がｎ番目の画像の画像平均露光時間となるときの動き線ＭＬの縦軸の値が、動きの大きさとなるように動き情報Ｉ_nを設定する。

歪みを低減する効果については第１〜第４実施例と同様である。即ち、図８に示したように、入力画像の画像平均露光時間における動きを示す動き情報を用いて歪みの補正を行うため、入力画像を精度よく補正することが可能となる。

また、入力画像以前の画像を用いて算出した中領域動きベクトルを用いて入力画像の動き情報を算出することとしている。そのため第２及び第４実施例と同様に、入力画像の動き情報を算出する際に、入力画像より後の画像が不要となる。したがって、第１及び第３実施例に示したように、入力画像よりも後の画像が歪み補正部６１に入力された後に出力画像の生成が開始されることを抑制することが可能となる。即ち、出力画像の生成を迅速に行うことが可能となる。

さらに本実施例は、２つの画像間の動きについて動きベクトルよりも時間的に細かく表す中領域動きベクトルを用いて、動き情報を算出する。そのため、入力画像の動き情報をさらに精度よく求めることが可能となる。

なお、上記の例では、入力画像の１つ前の画像及び入力画像のそれぞれの中領域から得られる３つの中領域動きベクトルを用いて、入力画像の動き情報を求めることとしたが、これらの中から選択した少なくとも２つの中領域動きベクトルを用いて動き情報を求めても構わない。また、第３及び第４実施例と同様に、不適結果を除外しても構わない。

また、他の組み合わせとなる２つの画像のそれぞれの中領域から得られる中領域動きベクトルを用いて動き情報を求めることとしても構わない。例えば、入力画像の２つ前の画像と１つ前の画像のそれぞれの中領域から求められる中領域動きベクトルを用いても構わない。また、連続しない画像の中領域から求められる中領域動きベクトルを用いて、動き情報を算出しても構わない。

ただし、上記例のように、入力画像の１つ前の画像及び入力画像のそれぞれの中領域から得られる中領域動きベクトルを用いて入力画像の動き情報を求めることとすると、入力画像と直前の１つの画像とを用いて動き情報を求めることとなる。そのため、計算量を低減するとともに精度良く動き情報を求めることができる。

また、入力画像よりも前の画像に対して求められた動き情報を、入力画像の動き情報を算出する際に利用しても構わない。また、ｋ個の中領域動きベクトルから動き線ＭＬを求め、この動き線ＭＬを用いて入力画像の動き情報を求めても構わない。

また、中領域を、画像を垂直方向に対してｊ個に等分割したそれぞれの領域としたが、等分割せずに中領域の大きさを異ならせても構わない。

また、第３実施例と本実施例とを組み合わせても構わない。例えば、第３実施例において、得られた中領域動きベクトルを用いて２つの画像間の動きベクトルを求めずに、本実施例のように中領域動きベクトルを直接的に用いて入力画像の動き情報を算出することとしても構わない。

＜動画撮像中の静止画撮像への適用＞
上述の歪み補正部６１の各実施例の説明では、歪み補正部６１が、動画の撮像時または静止画の撮像時に歪み補正を行うものとしたが、動画撮像中の静止画撮像により得られる静止画の画像に対しても適用することが可能である。動画撮像中の静止画撮像とは、動画の撮像中に静止画の撮像を割り込んで行うものであり、動画及び静止画の両方を同時に得るものである。以下、この動画撮像中の静止画撮像により得られる静止画に対して歪み補正部６１が歪み補正を施す場合について、図面を参照して説明する。

最初に、動画撮像中の静止画撮像の例について図１３及び図１４を参照して説明する。図１３及び図１４のそれぞれは、動画撮像中の静止画撮像の露光タイミングの一例について示した図である。また図１３及び図１４では、動画を構成するそれぞれの画像（以下、静止画の画像と区別するためフレームと呼ぶ）が、所定のフレームレート（例えば３０ｆｐｓ（Frame Per Second））が実現されるようにＦ秒（例えば３０ｆｐｓであれば１／３０秒）の周期で連続的に撮像されて得られる場合について示している。また、図１３及び図１４では、それぞれのフレームの露光期間を、周期Ｆ秒と略等しくする場合について示している。

このとき、静止画の撮像を行う指示が入力されれば（例えば操作部１７の一部であるシャッタボタンが押下されれば）、フレームの撮像に代えて、任意の露光期間ｔ（図１３に示す例ではｔ＝１／６０秒、図１４に示す例ではｔ＝１／２４秒）で静止画Ｓ１，Ｓ２の撮像を行う。なお、静止画Ｓ１，Ｓ２の撮像を開始するタイミングは、フレームの撮像を開始するタイミングと同じものとなり、終了するタイミングは、露光期間ｔによって異なるものとなる。また、静止画Ｓ１，Ｓ２の露光期間ｔが長くなるほど、代わりに撮像されないフレームが多くなる。

図１３及び図１４中、周期及びそれぞれのフレームの露光期間を破線で示し、図示するそれぞれの周期を順にｆ−３、ｆ−２、ｆ−１、ｆ、ｆ＋１、ｆ＋２、ｆ＋３とする。また、周期ｆ−３〜ｆ＋３に撮像されて得られるフレームをそれぞれｎ−３〜ｎ＋３とし、静止画撮像が行われなければ周期ｆ−３〜ｆ＋３においてフレームｎ−３〜ｎ＋３がそれぞれ撮像により生成されることとなる。

図１３は、周期（Ｆ＝１／３０秒）ｆの開始時から、ある露光期間ｔ（ｔ＝１／６０秒）で静止画Ｓ１の撮像を行う場合について示している。本例の場合、静止画Ｓ１の露光期間の終了時は周期ｆ内となる。そのため、周期ｆではフレームの撮像が行われないこととなる。

このとき、静止画Ｓ１の撮像のために撮像されなかったフレーム（フレームｎ）を補填するために、代替フレーム（代替フレームｎ）を生成する。本例の代替フレームｎとして、例えば静止画Ｓ１を用いても構わないし、前後のフレーム（例えばフレームｎ−１，ｎ＋１）を補間することにより生成しても構わない。また、前後のフレーム（例えばフレームｎ−１，ｎ＋１）のいずれかのコピーを用いても構わない。

図１４は、周期（Ｆ＝１／３０秒）ｆの開始時から、ある露光期間ｔ（ｔ＝１／２４秒）で静止画Ｓ２の撮像を行う場合について示している。本例の場合、露光期間ｔの終了時は周期ｆ＋１内となる。そのため、周期ｆ，ｆ＋１ではフレームの撮像が行われないこととなる。

このとき、図１３と同様に代替フレームｎ，ｎ＋１を生成しても構わない。代替フレームｎ，ｎ＋１として、静止画Ｓ２を用いても構わないし、前後のフレーム（例えばフレームｎ−１，ｎ＋２）を補間することにより生成しても構わない。また、前後のフレーム（例えばフレームｎ−１，ｎ＋２）のいずれかのコピーを用いても構わない。さらに、代替フレームｎ，ｎ＋１を補間やコピーなどで生成する場合、静止画Ｓ２を用いて生成した代替フレームｎまたは代替フレームｎ＋１を用いても構わない。

以上のようにして、動画撮像中の静止画撮像を行い、撮像により生成した静止画Ｓ１，Ｓ２に対して、上述した第１〜第５実施例の歪み補正部６１が歪み補正を施す。具体的に本例では、動きベクトル算出部６２が第１画像及び第２画像に相当するフレーム（代替フレームを含み得る）を用いて動きベクトルを算出し、動き情報算出部６３が入力画像に相当する静止画Ｓ１，Ｓ２の動き情報を算出し、補正処理部６４が静止画Ｓ１，Ｓ２の歪み補正を行うことで出力画像を生成する（図２参照）。

ところで、通常のフレーム（代替フレームを除く）のみから算出される動きベクトルは、上述した算出方法を用いて同様に算出することが可能である。例えば、図１３においてフレームｎ−２とフレームｎ−１とから上述の算出方法と同様にして算出される動きベクトルは、動きベクトルＭ_n-1.5となり、二つのフレームｎ−２，ｎ−１間（画像間）の動きを示すものとなる。

一方、静止画Ｓ１，Ｓ２をそのまま用いた代替フレームを用いた場合であっても、動きベクトルを算出することは可能である。ただし、代替フレームに用いられる静止画Ｓ１，Ｓ２の露光期間ｔに応じて、算出される動きベクトルが示す動きの時間が変化したものとなる。

上述のように、動きベクトルは、２つのフレームの露光期間の平均時間（２つのフレームの画像平均露光時間の平均時間）の動きを示すものである。そのため、例えば図１３において代替フレームｎが静止画Ｓ１であり、フレームｎ−１と代替フレームｎとから動きベクトルを算出する場合、当該動きベクトルは、フレームｎ−１の露光期間の平均時間と、静止画Ｓ１の露光期間ｔの平均時間と、の平均時間の動きを示すものとなる。即ち、算出される動きベクトルを上述と同様の方法で表現すると、Ｍ_n-0.75+t/4Fとなる。また、代替フレームが前後のフレームをコピーして生成されたものであったり、補間によって算出されたものであったりしても、同様にそれぞれの露光期間（画像平均露光時間）を考慮して算出することができる。なお、コピーや補間によって算出される代替フレームを動きベクトルの算出に用いないこととしても構わない。

また、上述した歪み補正部６１の第１〜第５実施例と同様に、本例でも動きベクトルを用いて動き情報を算出することができる。例えば、図１３に示す例に対して、第１実施例の歪み補正部６１の処理を適用する場合、フレームｎ−１及び代替フレームｎ（静止画Ｓ１）から算出される動きベクトルＭ_n-0.75+t/4Fと、代替フレームｎ（静止画Ｓ１）及びフレームｎ＋１から算出される動きベクトルＭ_n+0.25+t/4Fと、を用いて、静止画Ｓ１の動き情報Ｉ_n-0.5+t/2Fを算出しても構わない。

同様に、図１３に示す例に対して、第２実施例の歪み補正部６１の処理を適用する場合、フレームｎ−３及びフレームｎ−２から算出される動きベクトルＭ_n-2.5と、フレームｎ−２及びフレームｎ−１から算出される動きベクトルＭ_n-1.5と、フレームｎ−１及び代替フレームｎ（静止画Ｓ１）から算出される動きベクトルＭ_n-0.75+t/4Fと、を用いて、静止画Ｓ１の動き情報Ｉ_n-0.5+t/2Fを算出しても構わない。

また、例えば図１４に示す例に対して、第１実施例の歪み補正部６１の処理を適用する場合、フレームｎ−１及び代替フレームｎ＋１（静止画Ｓ２）から算出される動きベクトルＭ_n-0.75+t/4Fと、代替フレームｎ＋１（静止画Ｓ２）及びフレームｎ＋２から算出される動きベクトルＭ_n+0.75+t/4Fと、を用いて、静止画Ｓ２の動き情報Ｉ_n-0.5+t/2Fを算出しても構わない。

同様に、図１４に示す例に対して、第２実施例の歪み補正部６１の処理を適用する場合、フレームｎ−２及びフレームｎ−１から算出される動きベクトルＭ_n-1.5と、フレームｎ−１及び代替フレームｎ＋１（静止画Ｓ２）から算出される動きベクトルＭ_n-0.75+t/4Fと、を用いて、静止画Ｓ２の動き情報Ｉ_n-0.5+t/2Fを算出しても構わない。

以上のように構成すると、動画撮像中の静止画撮像によって得られる静止画Ｓ１，Ｓ２に対しても、画像平均露光時間における動きを示す動き情報を算出することが可能となり、当該動き情報を用いて歪みの補正を行うことが可能となる。したがって、静止画Ｓ１，Ｓ２の歪みを精度よく補正することが可能となる。

なお、上述の静止画Ｓ１，Ｓ２の動き情報Ｉ_n-0.5+t/2Fの算出方法は一例に過ぎず、上記以外の動きベクトルの組み合わせから当該動き情報Ｉ_n-0.5+t/2Fを算出しても構わない。

また、複数の動きベクトルから動き線ＭＬ（図７、図９〜図１２参照）を算出し、静止画Ｓ１，Ｓ２の画像平均露光時間ｎ−０．５＋ｔ／２Ｆとなるときの動き線ＭＬの値を算出することで、動き情報Ｉ_n-0.5+t/2Fを算出しても構わない。例えば、通常のフレームを用いた動きベクトルから動き線ＭＬを算出し、可変の時間である静止画Ｓ１，Ｓ２の画像平均露光時間ｎ−０．５＋ｔ／２Ｆにおける動き情報Ｉ_n-0.5+t/2Fを算出することとすると、容易に動き情報を算出することが可能となる。

また、静止画Ｓ２のように露光期間が長くなる静止画の歪み補正を行う場合に、歪み補正部６１の第１実施例（図７）に示したような静止画の露光期間の前後の時間の動きを示す動きベクトルを用いて、当該静止画の動き情報を算出することとしても構わない。このように動き情報を算出することとすると、露光期間が長くなることによる画像平均露光時間の動き情報の算出精度の低下を抑制し、精度よく歪み補正を行うことが可能となるため、好ましい。

また、静止画Ｓ１，Ｓ２の露光期間に応じて、適用する歪みの補正方法を切り替えても構わない。特に、静止画の露光期間が所定の長さ以上となる場合に、静止画の露光期間の前後の時間の動きを示す動きベクトルを用いて動き情報を算出するように算出方法を切り替える構成とすると、好ましい。

＜静止画連続撮像への適用＞
上述の各実施例の歪み補正部６１は、静止画連続撮像により得られる複数の静止画のそれぞれに対しても、歪み補正を施すことが可能である。最初に、静止画連続撮像について図面を参照して説明する。図１５は、静止画連続撮像の露光タイミングの一例について示した図である。なお、上述の動画撮像中の静止画撮像において説明したように、露光開始のタイミングは所定の周期となるが、静止画の露光期間ｔは任意とすることができるものとする。図１５に示す例は、等しい露光期間ｔ（例えばｔ＝１／６０秒）かつ等しい周期Ｆ（例えばＦ＝１／３０秒）で、連続的に複数の静止画Ｓ（ｍ）〜Ｓ（ｍ＋４）を撮像して得る場合について示したものである。

本例では、動きベクトル算出部６２が第１画像及び第２画像に相当する静止画（原則的に静止画であるが、場合によっては他の画像も含み得る。詳細については後述）を用いて動きベクトルを算出し、動き情報算出部６３が入力画像に相当する静止画の動き情報を算出し、補正処理部６３が入力画像に相当する静止画の歪み補正を行いそれぞれの出力画像を生成する（図２参照）。なお、すべての静止画の露光期間ｔ及び周期Ｆが等しいものであれば、二つの静止画を比較して算出される動きベクトルＭ_m+0.5〜Ｍ_m+3.5と動き情報Ｉ_m〜Ｉ_m+3との相対的な関係が、図７、図９〜図１２に示す歪み補正部６１の第１〜第５実施例と同様のものとなる。そのため、上述の歪み補正部６１の第１〜第５実施例と同様の方法を直接的に適用することができる。また、静止画の露光期間ｔなどを異ならせる場合は、動画撮像中の静止画撮像の説明でも述べたように、それぞれの露光期間（画像平均露光時間）を考慮して動きベクトルや動き情報を算出すればよい。

このように構成すると、静止画連続撮像によって得られる静止画のそれぞれに対しても、画像平均露光時間における動きを示す動き情報を算出することが可能となり、当該動き情報を用いてそれぞれの静止画の歪みの補正を行うことが可能となる。したがって、連続的に撮像して得られる複数の静止画の歪みを精度よく補正することが可能となる。

ところで、歪み補正部６１の第１実施例の処理を図１５に示す静止画Ｓ（ｍ）〜Ｓ（ｍ＋４）の全てに施そうとする場合、最初に撮像される静止画Ｓ（ｍ）や最後に撮像される静止画Ｓ（ｍ＋４）は、それぞれ前後の一方の静止画が存在せず前後の一方の動きベクトルを算出することができないため、動き情報を算出することができず歪み補正を施すことができない。一方、歪み補正部６１の第２実施例の処理を全ての静止画Ｓ（ｍ）〜Ｓ（ｍ＋４）に施そうとする場合、静止画Ｓ（ｍ）及び静止画Ｓ（ｍ＋１）は、その前の少なくとも二つの動きベクトルを算出することができないため、動き情報を算出することができず歪み補正を施すことができない。第３及び第４実施例を施そうとする場合も同様である。また、最小で２枚の画像から動き情報を算出して歪み補正を施すことができる歪み補正部６１の第５実施例であっても、当該２枚の画像中の先の画像（特に、静止画Ｓ（ｍ））については動き情報を算出することができず、歪み補正を施すことができない。

この問題については、例えば以下に示す構成とすることで、歪み補正部６１の第１〜第５実施例のいずれの処理を施す場合であっても静止画Ｓ（ｍ）〜Ｓ（ｍ＋４）の全てに歪み補正を施すことが可能となる。なお、以下において説明する各構成は静止画Ｓ（ｍ）〜Ｓ（ｍ＋４）を対象としたものであるが、静止画連続撮像にのみ適用され得るものではなく、上述の第１〜第５実施例の歪み補正部６１に対しても適用可能である。

（メモリ記憶）
本例の構成では、最初に撮像される静止画Ｓ（ｍ）の前に撮像された画像をメモリ１６に一時的に記憶する構成とすることで、上記の動きベクトル及び動き情報の算出を可能とする。メモリ１６に一時的に記憶する画像として、例えばスルー画像（撮像されている画像の画角をユーザが確認するためにモニタ等に表示する記録対象としない画像）を用いても構わない。

このように構成すると、最初に撮像される静止画Ｓ（ｍ）の歪み処理が可能になる。また、静止画連続撮像前のプレビュー時に通常撮像され得るスルー画像を動きベクトル及び動き情報の算出に利用する場合、当該スルー画像を記憶するだけで済むため、容易に歪み補正を実行することが可能となる。

なお、撮像して得られる画像を、動きベクトル及び動き情報を算出するために必要となる枚数（例えば、３枚）だけメモリ１６に保持する構成とし、新たな画像を撮像して得るごとに古い画像を更新する（即ち、サイクリックに記憶する）こととしても構わない。このように構成すると、回路規模の増大化を防ぐことができるため、好ましい

また、適用する歪み補正の方法によっては、最後に撮像される静止画Ｓ（ｍ＋４）の後に撮像された画像が必要となる場合があるが、この場合も同様であり、静止画Ｓ（ｍ＋４）の撮像後に撮像されるスルー画像などの画像をメモリ１６に一時的に記憶し、これを用いて動きベクトル及び動き情報を検出することとしても構わない。

（静止画数の削減）
本例の構成では、歪み補正処理を行うために必要となる動き情報を算出することができない静止画を、記録対象としない。そのため、例えば図１５に示す例において、静止画連続撮像で得られる最初の静止画を静止画Ｓ（ｍ）とせず、これより前の図示しない静止画Ｓ（ｍ−１）とする。また例えば、静止画撮像で得られる最後の静止画を静止画Ｓ（ｍ＋４）とせず、これより後の図示しない静止画Ｓ（ｍ＋５）とする。

このように構成すると、等しい条件で撮像された画像を比較して動きベクトル及び動き情報を算出することが可能となる。そのため、動きベクトル及び動き情報の算出精度の向上や算出方法の容易化を図ることが可能となる。

（他の動きベクトルを用いて動き情報を推定）
本例の構成では、動き情報の算出ができない静止画Ｓ（ｍ）について、他の動きベクトルを用いて動き情報を推定する。即ち、上述の歪み補正部６１の第２実施例（図９参照）と同様の方法であるが、未来方向だけでなく過去方向の動き情報の推定をも行い得る点で異なる。

このように構成すると、動きベクトルや動き情報を算出するために必要となる画像の数を抑制することができる。なお、算出された動きベクトルに基づいて動き線ＭＬを算出し、これに適宜静止画の画像平均露光時間を代入することで、それぞれの動き情報を算出しても構わない。

＜補正の程度の調整＞
これまでは、歪み補正部６１が、単純に動き情報に基づいて入力画像の歪みを補正するものであるとして説明してきた。これに対して以下では、補正の程度を調整可能とする歪み補正部について説明する。なお、以下では説明をより明確にするために、歪み補正部による歪み補正の大きさ（補正により入力画像を歪ませる大きさ）を示すものとして「補正量」を定義する。

まず、本例の歪み補正部の構成について、図面を参照して説明する。図１６は、補正の程度を調整して歪み補正を行う歪み補正部の構成について示すブロック図であり、歪み補正部６１の基本構成について示した図２に相当するものである。なお、図１６において図２と同様となる部分については同じ符号及び名称を付し、その詳細な説明については省略する。

図１６に示すように、本例の歪み補正部６１ａは、動きベクトル算出部６２と、動き情報算出部６３と、画像情報に基づいて補正量調整値を算出して補正量調整値情報を出力する補正量調整値算出部６５と、動き情報に基づいて算出した補正量を補正量調整値に基づいて調整して調整後の補正量だけ入力画像の歪みを補正して出力画像を生成する補正処理部６４ａと、を備える。

画像情報とは、第１画像及び第２画像や入力画像など（以下、単に「画像」とも呼ぶ）の種々の状態を示す情報である。例えば、画像が撮像された際の撮像部２の状態（例えば、光学ズーム倍率）を示す情報を含むこととしても構わないし、画像自体の状態（例えば、画像のコントラスト値や画像中の移動物体の有無など）を示す情報を含むこととしても構わない。画像情報は、例えば、撮像部２を制御するＣＰＵ１５から出力されたり、画像を解析する画像処理部６の一部から出力されたりして、補正量調整値算出部６５に入力される。

また、図２に示す歪み補正部６１の構成を動画撮像中の静止画撮像に適用する場合や静止画連続撮像に適用する場合について、図２に示す第１画像及び第２画像や入力画像と撮像されて得られる各種画像との対応関係を示してそれぞれ説明したが、図１６に示す歪み補正部６１ａをそれぞれに適用する場合においても同様の対応関係とする。即ち、図１６に示す歪み補正部６１ａも、図２に示す歪み補正部６１と同様に動画撮像中の静止画撮像や静止画連続撮像に適用することが可能である。

次に、歪み補正部６１ａの動作について、図面を参照して説明する。図１７は、補正の程度を調整して歪み補正を行う歪み補正部の基本動作について示すフローチャートであり、歪み補正部６１の基本動作について示した図３に相当するものである。なお、図３と同様に図１７も１つの入力画像の歪みを補正して１つの出力画像が生成されるまでの動作を表したものである。そのため、例えば出力画像が動画となる場合や複数の静止画となる場合であれば、図１７に示す動作が繰り返し行われることとなる。

図１７に示すように、最初に図２と同様に動きベクトルを算出し（ＳＴＥＰ１）、算出された当該動きベクトルに基づいて動き情報を算出する（ＳＴＥＰ２）。ただし、本例の歪み補正部６１ａでは、画像情報に基づいて補正量調整値を算出し（ＳＴＥＰ３１）、当該補正量調整値に基づいて調整した補正量を用いて入力画像の歪みを補正して出力画像を生成する（ＳＴＥＰ３２）。

このように構成すると、補正処理部６４ａが、動き情報に基づいて算出した補正量を補正量調整値で調整し、当該調整後の補正量を用いて入力画像の歪みを補正することとなる。さらに、補正量調整値算出部６５は、画像情報に応じて補正量調整値を算出する。そのため、画像情報に基づいて誤補正や過補正が頻発しやすい状態や補正の効果が得がたい状態であることが予想される場合に、補正量調整値を制御して補正量を抑制することが可能となる。したがって、かえって歪んだ出力画像が生成されたり、電力消費や演算コストが無駄になったりすることを抑制することが可能となる。

補正量及び補正処理方法の詳細、補正量調整値の算出方法及び補正量の抑制方法の詳細について、以下に具体例を挙げて説明する。

（補正量及び補正処理方法）
最初に、補正量及び補正処理方法の具体例について、図面を参照して説明する。図１８〜図２２のそれぞれは、補正量と当該補正量をそのまま用いて歪み補正を行う歪み補正処理方法との具体例を示した図であり、補正処理方法の一例について示した図４〜図６とは異なる例を示したものである。なお、図１８〜図２２のそれぞれは、動き情報に基づいて算出された補正量が正しいものである場合を示したものであり、補正量の調整は行われていないものであることに留意されたい。

図１８〜図２２中に示す被写体Ｔ１は、上述したものと同様の垂直方向に伸びた物体であり、かつ静止しているものである。図１８は、入力画像１００の露光期間中に撮像装置１が静止していたために、動き情報が０（静止）となる場合を示したものである。図１９は、入力画像１０１の露光期間中に撮像装置１が右方に動いたために、動き情報が左方となる場合を示したものである。図２０は、入力画像１０２の露光期間中に撮像装置１が左方に動いたために、動き情報が右方となる場合を示したものである。図２１は、入力画像１０３の露光期間中に撮像装置１が上方に動いたために、動き情報が下方となる場合を示したものである。図３１は、入力画像１０４の露光期間中に撮像装置１が下方に動いたために、動き情報が上方となる場合を示したものである。なお、説明の簡略化のために、図１９〜図３１のそれぞれに示す入力画像１０１〜１０４は、その撮像の際（入力画像の露光期間中）に撮像装置１に一様な動きが生じていたものとする。

図１８〜図３１の入力画像１００〜１０４は、イメージセンサ３から得られる画像の画角と略等しいものである。出力画像２００〜２０４は、入力画像１００〜１０４の一部の領域（例えば、入力画像１００〜１０４の中央の領域）を示す画像である。

また上述の通り、動き情報は、入力画像１００〜１０４の画像平均露光時間における歪み（入力画像１００〜１０４の垂直方向の中央における画素列の歪みとも解釈し得る）を示すものとなる。一方、補正量は、入力画像１００〜１０４の画素列ごとの歪みの大きさを示すものであり、画素列ごとに算出される。

補正量は、動き情報の大きさに基づいて算出されるものであり、水平方向の成分Ｄｈと、垂直方向の成分Ｄｖとを有する。また、補正量Ｄｈ，Ｄｖは絶対値（０以上の値）で表される。例えば図１８に示す場合では、算出される動き情報が０となるため、補正量も０となる。一方、図１８〜図３１に示すそれぞれの場合では、算出される動き情報が０ではないため、当該動き情報に応じた大きさとなる補正量がそれぞれ算出される。

また、入力画像１００〜１０４中で、露光タイミングが最も早い上端の画素列ｔを基準とし、当該画素列ｔにおける補正量Ｄｈ（ｔ），Ｄｖ（ｔ）をそれぞれ０とする。また、図１９〜図３１のように、露光期間中に撮像装置１に一様な動きが生じた場合の入力画像１０１〜１０４における補正量は、下方の画素列のものほど比例して大きいものとなる。具体的に例えば、露光期間中に撮像装置１に水平方向の動きが生じた場合の図１９及び図２０の入力画像１０１，１０２では、露光タイミングが最も遅い下端の画素列ｂにおける補正量の水平成分Ｄｈ（ｂ）が最大となる。一方、露光期間中に撮像装置１に垂直方向の動きが生じた場合の図２１及び図３１の入力画像１０３，１０４では、下端の画素列ｂにおける補正量の垂直成分Ｄｖ（ｂ）が最大となる。

図１８に示す入力画像１００のように、動き情報及び補正量が０であれば、入力画像１００の一部（好ましくは中央部）の領域である出力画像領域１１０内の画像をそのまま読み出す（切り出す）だけで、出力画像２００を得ることができる。出力画像領域１１０は、左上の画素位置が［０，０］、左下の画素位置が［０，ｎ］、右上の画素位置が［ｍ，０］、右下の画素位置が［ｍ，ｎ］となる（ｍ，ｎは自然数）。また、出力画像２００〜２０４の画素位置も同様に表現する。即ち、出力画像領域１１０及び出力画像２００〜２０４は、水平方向にｍ＋１個、垂直方向にｎ＋１個の画素を備えたものとなる。

一方、図１９〜図３１に示すように入力画像１０１〜１０４に歪みが生じている場合、出力画像領域１１０の画像をそのまま読み出した場合、当該読み出して得られる画像は歪んだものとなる。そこで、算出した補正量に応じて画素列毎に出力画像領域１１０を歪ませた歪み出力画像領域１１１〜１１４内の画素を読み出す（即ち、入力画像１０１〜１０４中の歪み画像領域１１１〜１１４内の画像を、補正量を打ち消すように逆に歪ませる）ことで、歪みを補正した出力画像２０１〜２０４を得る。

図１９〜図３１の入力画像１０１〜１０４のそれぞれに設定される歪み出力画像領域１１１〜１１４について具体的に説明する。なお、以下の説明において、出力画像領域１１０内の任意の画素列ｊに属する画素に対して算出される補正量の水平成分をＤｈ（ｊ）、垂直成分をＤｖ（ｊ）で表す（ｊは０≦ｊ≦ｎを満たす整数）。

図１９に示すように、左方向の動き情報が算出される場合、歪み出力画像領域１１１を、出力画像領域１１０のそれぞれの画素列ｊに属する画素位置を、補正量の水平成分Ｄｈ（ｊ）だけ左方に移動させた領域とする。即ち、画素位置［−Ｄｈ（ｊ），ｊ］〜［ｍ−Ｄｈ（ｊ），ｊ］（０≦ｊ≦ｎ）の領域とする。そして、画素位置［−Ｄｈ（ｊ），ｊ］〜［ｍ−Ｄｈ（ｊ），ｊ］の画素を、出力画像２０１の画素列ｊの画素として読み出す。

また、図２０に示すように、右方向の動き情報が算出される場合、歪み出力画像領域１１２を、出力画像領域１１０のそれぞれの画素列ｊに属する画素位置を、補正量の水平成分Ｄｈ（ｊ）だけ右方に移動させた領域とする。即ち、画素位置［Ｄｈ（ｊ），ｊ］〜［ｍ＋Ｄｈ（ｊ），ｊ］（０≦ｊ≦ｎ）の領域とする。そして、画素位置［Ｄｈ（ｊ），ｊ］〜［ｍ＋Ｄｈ（ｊ），ｊ］の画素を、出力画像２０２の画素列ｊの画素として読み出す。

また、図２１に示すように、下方向の動き情報が算出される場合、歪み出力画像領域１１３を、出力画像領域１１０のそれぞれの画素列ｊに属する画素位置を、補正量の垂直成分Ｄｖ（ｊ）だけ下方に移動させた領域とする。即ち、画素位置［０，ｊ＋Ｄｖ（ｊ）］〜［ｍ，ｊ＋Ｄｖ（ｊ）］（０≦ｊ≦ｎ）の領域とする。そして、画素位置［０，ｊ＋Ｄｖ（ｊ）］〜［ｍ，ｊ＋Ｄｖ（ｊ）］の画素を、出力画像２０３の画素列ｊの画素として読み出す。

また、図２１に示すように、上方向の動き情報が算出される場合、歪み出力画像領域１１４を、出力画像領域１１０のそれぞれの画素列ｊに属する画素位置を、補正量の垂直成分Ｄｖ（ｊ）だけ上方に移動させた領域とする。即ち、画素位置［０，ｊ−Ｄｖ（ｊ）］〜［ｍ，ｊ−Ｄｖ（ｊ）］（０≦ｊ≦ｎ）の領域とする。そして、画素位置［０，ｊ−Ｄｖ（ｊ）］〜［ｍ，ｊ−Ｄｖ（ｊ）］の画素を、出力画像２０４の画素列ｊの画素として読み出す。

なお、入力画像１００〜１０４の全体を歪ませて出力画像を生成しても構わない。しかし、図１８〜図２２に示すように、入力画像１０１〜１０４の一部の領域（出力画像領域１０１または歪み出力画像領域１１１〜１１４）を読み出し（切り出し）て、出力画像２０１〜２０４を生成する構成とすると、歪み補正により出力画像２０１〜２０４が欠けることを抑制することができるため、好ましい。

また、図１８〜図２２では、出力画像領域１１０または歪み出力画像領域１１１〜１１４内の画素を読み出して出力画像２００〜２０１を形成する例について示しているが、出力画像領域１１０または歪み出力画像領域１１１〜１１４の周囲の画素も含めて読み出し、出力画像２００〜２０４の生成に利用しても構わない。

また、出力画像２００〜２０４を生成するために読み出した画素に各種画像処理を施して、出力画像２００〜２０４の画素数を、出力画像領域１１０または歪み出力画像領域１１１〜１１４内の画素数と異ならせても構わない。例えば、補間処理などを行って出力画像２００〜２０４の画素数を増大させても構わないし、間引処理や画素加算などを行って出力画像２００〜２０４の画素数を減少させても構わない。

また、算出される補正量の大きさを画素単位としても（即ち、Ｄｈ（ｊ）及びＤｖ（ｊ）の大きさを整数としても）構わない。このように構成すると、読み出すべき画素が必ず存在することとなる。一方、算出される補正量の大きさを任意としても（即ち、Ｄｈ（ｊ）及びＤｖ（ｊ）の大きさが整数以外の値を取り得るものとしても）構わない。この場合、読み出すべき画素の位置が小数値になるときは、当該位置に最も近い位置の画素を読み出したり、当該位置の周囲の画素を用いて当該位置の画素を算出したりしても構わない。

また、図１９〜図２２では、説明を簡単にするために、算出される動き情報の方向が水平方向及び垂直方向のいずれかである場合について示したが、斜め方向の動き情報が算出される場合も当然に発生し得る。この場合、水平方向及び垂直方向の両方向に対応する補正量の各成分Ｄｈ（ｊ），Ｄｖ（ｊ）をそれぞれ算出し、それぞれの方向に対して歪み補正が行うこととしても構わない。

また、図１９〜図２２では、入力画像１０１〜１０４の上端の画素列ｔを基準として、補正量Ｄｈ（ｔ），Ｄｖ（ｔ）を０としたが、例えば出力画像領域１１０の上端の画素列０を基準として、この画素列０の補正量Ｄｈ（０），Ｄｖ（０）を０としても構わない。

（補正量調整値の算出方法及び補正量の大きさの抑制方法）
上述のように本例の歪み補正部６１ａは、補正量調整値算出部６５が画像情報に基づいて補正量調整値を算出する。そして、補正処理部６４ａが、補正量調整値に基づいて補正量の調整を行うことで補正の程度を調整する。

特に本例では、下記式（１）に示すように、補正量調整値（水平成分をＫｈ，垂直成分をＫｖとする）を補正量Ｄｈ，Ｄｖに乗算して、調整後の補正量（水平成分をＳｈ、垂直成分をＳｖとする）を算出する。補正量調整値Ｋｈ，Ｋｖは０以上１以下の値をとるものとし、補正量調整値Ｋｈ，Ｋｖの値を小さいものとすることで、調整後の補正量Ｓｈ，Ｓｖを抑制する。なお、補正量調整値Ｋｈ，Ｋｖを入力画像毎に算出しても構わないし、垂直方向の所定の領域毎に算出しても構わない。

また、種々の画像情報に基づく補正量調整値Ｋｈ，Ｋｖの算出方法の具体例を、入力画像の状態毎に説明する。

［ズーム倍率］
最初に、入力画像を撮像した際のズーム倍率に基づいて、補正量調整値Ｋｈ，Ｋｖを設定する場合について説明する。本例の場合、補正量調整値算出部６５に入力される画像情報が、画像を撮像した撮像部２のレンズ部４のズーム倍率（光学）を示す情報となる。

本例では、補正量調整値算出部６５が、画像情報によって示されるズーム倍率が小さいほど、補正量調整値Ｋｈ，Ｋｖを小さくする、または０にする。

レンズ部４のズーム倍率が大きい（即ち、望遠撮像する）場合、撮像装置１の動きや被写体の動きに起因する歪みが大きくなりやすい。一方、レンズ部４のズーム倍率が小さい（即ち、広角撮像する）場合、これらの歪みが小さくなり目立ちにくくなりやすい。そのため、ズーム倍率を小さくしている場合に補正量Ｄｈ，Ｄｖが大きくなれば、当該補正量Ｄｈ，Ｄｖは誤って算出された可能性が高く、入力画像に誤補正や過補正となる歪み補正が施される場合が生じ得る。

また、ズーム倍率が小さければ歪みが小さく目立ちにくくなりやすいため、歪み補正を行ったとしても得られる効果は小さいものとなる。換言すると、補正量Ｄｈ，Ｄｖを抑制して歪み補正を行ったとしても（または、歪み補正を行わなかったとしても）、好適な出力画像を得ることが可能である。

したがって、ズーム倍率が小さい場合には、補正量調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、入力画像に誤補正や過補正となる歪み補正が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。

なお、補正量調整値算出部６５が、図２３及び下記式（２）に示すように補正量調整値Ｋｈ，Ｋｖを算出することとしても構わない。図２３は、ズーム倍率に応じた補正量調整値の設定方法を示すグラフである。図２３及び下記式（２）に示すように、ズーム倍率ｚが０以上であり閾値ｔｈｚ１より小さい場合は、補正量調整値Ｋｈ，Ｋｖを０にする。また、ズーム倍率ｚが閾値ｔｈｚ２以上である場合は、補正量調整値Ｋｈ，Ｋｖを１とする。また、ズーム倍率ｚが閾値ｔｈｚ１以上であり閾値ｔｈｚ２より小さい場合は、ズーム倍率ｚに応じて補正量調整値Ｋｈ，Ｋｖを漸増（例えば線形に増加）させた値とする。

［動き情報の信頼度］
次に、動き情報の信頼度に基づいて補正量調整値Ｋｈ，Ｋｖを設定する場合について説明する。本例の場合、補正量調整値算出部６５に入力される画像情報が、例えば画像処理部６の一部が画像を解析して算出する動き情報の信頼度となる。

上述のように、動き情報は動きベクトルを算出することによって算出される。そのため、動き情報の信頼度を、動きベクトルの算出精度と解釈することも可能である。そのため、例えば動きベクトルの算出精度に強く影響する画像のコントラスト値が大きい（例えば、画像内の輝度差が大きい、画像の明暗が明瞭となる）ほど、動き情報の信頼度が大きくなるように設定しても構わない。また例えば、動きベクトルの算出精度が良好であるほど、信頼度が大きくなるように設定しても構わない。なお、信頼度の算出方法の詳細については、具体例を挙げて後述する。

本例では、補正量調整値算出部６５が、画像情報によって示される信頼度が小さいほど、補正量調整値Ｋｈ，Ｋｖを小さくする、または０にする。

動き情報の信頼度が小さいことを示すものである場合、算出される補正量Ｄｈ，Ｄｖが誤ったものとなる可能性が高くなる。そのため、状況によっては補正量Ｄｈ，Ｄｖが異常に大きい値となって算出され、入力画像に誤補正や過補正となる歪み補正が施される場合が生じ得る。

したがって、本例では動き情報の信頼度が小さい場合に、補正量調整値Ｋｈ，Ｋｖを小さくする、または０にする。これにより、入力画像に誤補正や過補正となる歪み補正が施されることを抑制したり、処理速度の迅速化や低消費電力化を図ったりすることが可能となる。

なお、信頼度を算出するために、複数の画像を比較して算出される動きベクトルの算出精度を用いても構わない。この場合の信頼度の算出方法について、図面を参照して説明する。図２４は、動きベクトルの算出方法及びその算出精度の算出方法の一例を示す図である。

図２４に示す動きベクトルの算出方法は、画像内の例えば６つの検出領域ＭＡ毎に検出領域動きベクトルＭＶを求め、これらを総合的に評価して（例えば平均化して）動きベクトルを算出する方法である。このとき、それぞれの検出領域動きベクトルＭＶのばらつきを算出することによって、算出精度（即ち、信頼度）を算出することができる。

上記のばらつきσは、例えば下記式（３）に示すようにして算出することができる。下記式（３）では、６つのそれぞれの動き検出領域ＭＡから算出される検出領域動きベクトルをＭＶ_iで示し、これらの動きベクトルＭＶ_iを平均化した動きベクトルをＭＶ_mで示している。なお、ばらつきσが大きいほど信頼度を小さくし、ばらつきσが小さいほど信頼度を大きくする。

ばらつきσが大きくなる要因として、例えば画像中に移動物体が含まれる場合が挙げられる。この場合について、図２５を参照して説明する。図２５は、検出領域動きベクトルのばらつきが大きくなる場合の一例を示した図である。図２５は、右下の検出領域ＭＡにおいて、移動物体ＭＯが右方から左方に向かって移動する場合について示したものである。このような場合、移動物体の影響を受けて、特定の（右下の）検出領域ＭＡから算出される動きベクトルが、他の検出領域ＭＡから算出される動きベクトルと比較して異常なものとなる。そのため、上記のばらつきσが大きくなり、信頼度が小さいものとなる。

また、歪み補正部６１ａの動きベクトル算出部６２が、動きベクトルの算出と同時に動きベクトルの算出精度を求める構成としても構わない。また、画像処理部６の一部であり、歪み補正部６１ａに対して独立して動作を行う部分が、別途動きベクトルを算出するしｔ算出精度を求める構成としても構わない。

ところで、信頼度の算出方法は、上述したような動きベクトルを利用する方法に限られない。例えば、画像のコントラスト値を用いて信頼度を算出することも可能である。コントラスト値は、その値が小さいほど画像全体が一様で画像特徴が少ないものとなり、画像を比較して動きを検出することが困難になる。そのため、本例ではコントラス値が小さいほど信頼度を小さくする。

上記の算出方法で算出した信頼度に対応するように、補正量調整値Ｋｈ，Ｋｖを設定する。このとき、補正量調整値算出部６５が、図２６及び下記式（４）に示すように補正量調整値Ｋｈ，Ｋｖを算出することとしても構わない。図２６は、信頼度に応じた補正量調整値の設定方法を示すグラフである。図２６及び下記式（４）に示すように、信頼度ｅが０以上であり閾値ｔｈｅ１より小さい場合は、補正量調整値Ｋｈ，Ｋｖを０にする。また、信頼度ｅが閾値ｔｈｅ２以上である場合は、補正量調整値Ｋｈ，Ｋｖを１とする。また、信頼度ｅが閾値ｔｈｅ１以上であり閾値ｔｈｅ２より小さい場合は、信頼度ｅに応じて補正量調整値Ｋｈ，Ｋｖを漸増（例えば線形に増加）させた値とする。

上述した補正量調整値Ｋｈ，Ｋｖの算出方法は、組み合わせて実行することが可能である。この場合、それぞれの算出方法で算出される補正量調整値を重み付け加算することによって、補正量調整値Ｋｈ，Ｋｖを算出することとしても構わない。また、上記の補正量調整値Ｋｈ，Ｋｖの算出方法は一例に過ぎず、他の方法によって補正量調整値Ｋｈ，Ｋｖを算出しても構わない。

＜変形例＞
本発明の実施形態における撮像装置１について、画像処理部６や歪み補正部６１，６１ａなどのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１や図２及び図１６の歪み補正部６１，６１ａは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や歪み補正部６１，６１ａを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

本発明は、撮像により得られた画像の歪みを低減する撮像装置に関するものである。

６画像処理部
６１，６１ａ歪み補正部
６２動きベクトル算出部
６３動き情報算出部
６４，６４ａ補正処理部
６５補正量調整値算出部

Claims

連続的な撮像によって動画を構成する画像であるフレームを順次作成する動画撮像中に、少なくとも１つの前記フレームの代わりに撮像を行い静止画を作成する静止画撮像を行う撮像部と、
前記撮像部で作成された画像に基づいて、前記撮像部で作成された画像である入力画像の歪みを補正して出力画像を生成する画像処理部と、を備え、
前記画像処理部が、
前記撮像部で作成された２つの画像を比較して、当該２つの画像間の動きを示す動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部で算出される前記動きベクトルに基づいて、前記入力画像の露光期間の動きを示す動き情報を算出する動き情報算出部と、
前記動き情報算出部から出力される前記動き情報に基づいて前記入力画像の歪みを補正し、出力画像を生成する補正処理部と、を備え、
前記入力画像が、前記静止画であることを特徴とする撮像装置。
連続的な撮像によって複数の静止画を作成する静止画連続撮像を行う撮像部と、
前記撮像部で作成された画像に基づいて、前記撮像部で作成された画像である入力画像の歪みを補正して出力画像を生成する画像処理部と、を備え、
前記画像処理部が、
前記撮像部で作成された２つの画像を比較して、当該２つの画像間の動きを示す動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部で算出される前記動きベクトルに基づいて、前記入力画像の露光期間の動きを示す動き情報を算出する動き情報算出部と、
前記動き情報算出部から出力される前記動き情報に基づいて前記入力画像の歪みを補正し、出力画像を生成する補正処理部と、を備え、
前記入力画像が、複数の前記静止画の少なくとも１つであることを特徴とする撮像装置。
複数の前記静止画が撮像される前に撮像された少なくとも１つの事前画像を記憶する記憶部をさらに備え、
前記画像処理部に、前記記憶部に記憶された少なくとも１つの前記事前画像がさらに入力され、
前記動き情報算出部が前記動き情報を算出する際に、前記動きベクトル算出部で前記事前画像を用いて算出された前記動きベクトルを用いることを特徴とする請求項２に記載の撮像装置。
前記補正処理部が、前記入力画像内の一部を切り出すことで前記出力画像を生成するものであり、前記動き情報に基づいて前記入力画像内の切り出し位置を歪ませることで、前記入力画像の歪みを補正することを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
前記補正処理部が、前記動き情報に基づいて前記入力画像の歪みの大きさである補正量を算出するものであり、
前記画像処理部が、前記撮像部で作成された画像に基づいて前記補正量を調整する補正量調整部を、さらに備え、
前記補正処理部が、前記補正量調整部によって調整された後の前記補正量だけ前記入力画像を歪ませることで、前記入力画像の歪みを補正するものであり、
前記補正量調整部が、調整後の前記補正量の大きさを調整前の前記補正量の大きさ以下にすることを特徴とする請求項１〜請求項４のいずれかに記載の撮像装置。
前記補正量調整部が、前記撮像部のズーム倍率及び前記動き情報の信頼度の少なくとも一方に基づいて、前記補正量を調整することを特徴とする請求項５に記載の撮像装置。