JP2010028607A

JP2010028607A - 画像処理装置、撮像装置及び画像処理方法

Info

Publication number: JP2010028607A
Application number: JP2008189413A
Authority: JP
Inventors: Sukeki Akakabe; 祐基明壁; Yukio Mori; 幸夫森
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2008-07-23
Filing date: 2008-07-23
Publication date: 2010-02-04

Abstract

【課題】精度良く歪み補正を行うことを可能とする画像処理装置や、その画像処理方法を提供することを目的とする。また、この画像処理装置を備えた撮像装置を提供することを目的とする。
【解決手段】ｎ番目の画像の歪みを補正する場合、ｎ−１番目の画像とｎ番目の画像とから求めた動きベクトルＭ_n-0.5と、ｎ番目の画像とｎ＋１番目の画像とから求めた動きベクトルＭ_n+0.5と、を用いて、ｎ番目の画像の露光期間の動きを示す動き情報Ｉ_nを算出する。これにより、ｎ番目の露光期間に生じた動きによる歪みを、精度良く補正することが可能となる。
【選択図】図７

Description

本発明は、入力される画像を処理する画像処理装置や、この画像処理装置を搭載した撮像装置に関する。また、入力される画像を処理する画像処理方法に関する。

近年、撮像装置や被写体（人などの撮像対象）の動きなどに起因するぶれを抑制した画像を作成する撮像装置が広く用いられている。このような撮像装置には、入力される画像からぶれを検出するとともにぶれを抑制した画像を作成して出力する画像処理装置を搭載するものがある。このように、画像処理によってぶれを抑制する構成とすると、撮像装置の動きを検出するセンサや撮像装置の動きを抑制させる装置などが不要となるため、撮像装置の小型化や軽量化を図ることが可能となる。

また、上記のぶれの１つとして、フォーカルプレーン歪み（以下、単に「歪み」と表現する場合もある）と呼ばれるものがある。フォーカルプレーン歪みとは、例えば画素列毎に露光及び電荷の読み出しが制御されるＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどで生じ得る歪みである。特に、画素列毎に露光期間が異なるために生じる歪みである。

フォーカルプレーン歪みの具体例について図１３〜図１５に示す。図１３〜図１５は、フォーカルプレーン歪みについて説明する模式図である。図１３は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図であり、図１４は各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図であり、図１５は歪みを含んだ画像を示した模式図である。なお、被写体Ｔ１は静止しているものとする。また、図１３中に示す代表的な画素列Ｌ１〜Ｌ３は、画素列Ｌ１、画素列Ｌ２、画素列Ｌ３の順に露光が開始されるものとする。即ち、画素列と垂直な方向（以下、垂直方向とする）において、上方の画素列ほど露光期間が早く、下方ほど露光期間が遅いものとなる。さらに、撮像領域Ｃは、図１３に示す動き方向（画素列Ｌ１〜Ｌ３と平行な方向（以下、水平方向とする）であり、図中の右方向）に沿って一定の速さで動くものとする。このとき撮像装置は、水平方向において左から右へと平行移動したり、パン方向において左向きから右向きへと回転したりすることとなる。

上記のように撮像領域Ｃが動く場合、図１４（ａ）〜（ｃ）に示すように、露光期間が早い画素列Ｌ１の露光から、露光期間が遅い画素列Ｌ３の露光へと撮像動作が進行するにしたがって、撮像領域Ｃに対する被写体Ｔ１の位置が、動き方向と逆方向（図中の左方向）に移動する。そのため、図１５に示すように、得られる画像Ｐ１は下方の画素列が上方の画素列よりも動き方向と逆方向に対してずれたものとなる。即ち、画像Ｐ１は、動き方向と平行な方向である水平方向に対して歪んだものとなる。

このフォーカルプレーン歪みは、垂直方向に撮像領域Ｃが動く場合にも発生する。例えば、図１６〜図１８に、撮像領域Ｃが上方に動く場合について示す。図１６は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図であり、図１７は各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図であり、図１８は歪みを含んだ画像を示した模式図である。なお、図１３〜図１５に示す場合と同様の条件であるものとし、被写体Ｔ２と撮像領域Ｃの動き方向とが異なるものとする。また、撮像領域Ｃは、図１６に示す動き方向（垂直方向であり、図中の上方向）に沿って一定の速さで動くものとする。このとき撮像装置は、垂直方向において下から上へと平行移動したり、チルト方向において下向きから上向きへと回転したりすることとなる。

上記のように撮像領域Ｃが動く場合、図１７（ａ）〜（ｃ）に示すように、露光期間が早い画素列Ｌ１の露光から、露光期間が遅い画素列Ｌ３の露光へと撮像動作が進行するにしたがって、撮像領域Ｃに対する被写体Ｔ２の位置が、動き方向と逆方向（図中の下方向）に移動する。そのため、図１８に示すように、得られる画像Ｐ２は垂直方向に伸張されたようになる。即ち、画像Ｐ２は、動き方向と平行な方向である垂直方向に対して歪んだものとなる。

一方、図１９〜図２１に、撮像領域Ｃが下方に動く場合について示す。図１９は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図であり、図２０は各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図であり、図２１は歪みを含んだ画像を示した模式図である。なお、図１６〜図１８に示す場合と同様の条件であるものとし、撮像領域Ｃの動き方向のみが異なるものとする。撮像領域Ｃは、図１９に示す動き方向（垂直方向であり、図中の下方向）に沿って一定の速さで動くものとする。このとき撮像装置は、垂直方向において上から下へと平行移動したり、チルト方向において上向きから下向きへと回転したりすることとなる。

上記のように撮像装置が動く場合、図２０（ａ）〜（ｃ）に示すように、露光期間が早い画素列Ｌ１の露光から、露光期間が遅い画素列Ｌ３の露光へと撮像動作が進行するにしたがって、撮像領域Ｃに対する被写体Ｔ２の位置が、動き方向と逆方向（図中の上方向）に移動する。そのため、図２１に示すように、得られる画像Ｐ３は垂直方向に圧縮されたようになる。即ち、画像Ｐ３は、動き方向と平行な方向である垂直方向に対して歪んだものとなる。

また、動き方向が斜め方向（水平方向と垂直方向との間の方向）であれば、水平方向及び垂直方向の両方の動きに起因する歪みが発生する。また、上記の例では、撮像装置が動くとともに被写体Ｔ１及びＴ２が静止する場合について述べたが、被写体が動く場合についてもフォーカルプレーン歪みは同様に発生し得る。

このようなフォーカルプレーン歪みを画像処理によって低減する方法として、例えば特許文献１には、連続して入力される２つの画像間の動きベクトルに基づいて、フォーカルプレーン歪みを低減する方法が提案されている。具体的には、前画像と後画像とから求められる動きベクトルを用いて後画像の歪みを求め、この歪みを打ち消すような画像処理を後画像に施すことにより、後画像のフォーカルプレーン歪みを低減する。
特開２００７−２０８５８０号公報

しかしながら、上記の方法では、前画像が歪みのない画像（露光中の動きがない画像）ではない場合、誤った画像処理を後画像に施してしまう可能性がある。具体的に例えば、前画像が歪みのある画像であり後画像が歪みのない画像である場合などである。この場合、得られる前画像及び後画像間の動きベクトルから、後画像の露光中に動きが生じていると誤認識し、後画像に誤った補正を施す可能性がある。したがって、精度良く歪み補正を行うことが困難となる。

そこで、本発明は、精度良く歪み補正を行うことを可能とする画像処理装置や、その画像処理方法を提供することを目的とする。また、この画像処理装置を備えた撮像装置を提供することを目的とする。

上記目的を達成するために、本発明における画像処理装置は、撮像の際の露光期間が異なる複数の画像が入力されるとともに、入力される画像の１つである入力画像の歪みを補正して出力する画像処理装置において、入力される２つの画像を比較して、当該２つの画像間の動きを示す動きベクトルを算出する動きベクトル算出部と、前記動きベクトル算出部から出力される前記動きベクトルに基づいて、前記入力画像の露光期間の動きを示す動き情報を算出する動き情報算出部と、前記入力画像が入力されるとともに、前記動き情報算出部から出力される前記動き情報に基づいて前記入力画像の歪みを補正し、出力画像として出力する補正処理部と、を備えることを特徴とする。

また、上記構成の画像処理装置において、前記画像が、上方の画素列ほど露光期間が早く、下方の画素列ほど露光期間が遅くなるように撮像されるものであり、前記補正処理部が、前記動き情報に基づいて前記入力画像の画素列毎に歪みを補正することとしても構わない。

また、上記構成の画像処理装置において、前記補正処理部が、前記動き情報に基づいて前記入力画像の画素列毎の読み出し位置を補正し、前記出力画像として出力することとしても構わない。

例えば、上下方向と略垂直となる方向（画素列と略平行となる方向）の動きを補正する場合は、下方の画素列の読み出し開始位置が、上方の画素列の読み出し開始位置よりも動きの方向と逆となる方向に位置するように補正する。また、上方向と略等しい方向の動きを補正する場合は、各画素列の読み出し位置が、中央の画素列に近づくように補正する。このとき、画素列の間引きや加算読み出しを行うこととしても構わない。また、下方向と略等しい方向の動きを補正する場合は、各画素列の読み出し位置が、中央の画素列から離れるように補正する。このとき、読み出される画素列間を補間しても構わない。

また、上記構成の画像処理装置において、前記動きベクトル算出部が、前記入力画像より露光期間が早い画像を少なくとも１つ用いて算出する動きベクトルと、前記入力画像より露光期間が遅い画像を少なくとも１つ用いて算出する動きベクトルと、をそれぞれ少なくとも１つ算出し、前記動き情報算出部が、前記動きベクトル算出部によって算出される少なくとも２つの前記動きベクトルを用いて前記動き情報を算出することとしても構わない。

このように構成すると、入力画像の動き情報を算出する際に、入力画像の前後の画像を反映させることが可能となる。したがって、入力画像の動き情報を精度よく求めることが可能となる。

また、上記構成の画像処理装置において、前記動きベクトル算出部が、前記入力画像と前記入力画像よりも露光期間が早い画像から選択される２つの画像とから算出される動きベクトルを、少なくとも２つ算出し、前記動き情報算出部が、前記動きベクトル算出部によって算出される少なくとも２つの前記動きベクトルを用いて前記動き情報を算出することとしても構わない。

このように構成すると、入力画像の動き情報を算出する際に、入力画像より露光期間が後となる画像が不要となる。したがって、入力画像よりも後の画像が入力された後に出力画像の生成が開始されることを抑制することが可能となる。したがって、出力画像の生成を迅速に行うことが可能となる。

また、上記構成の画像処理装置において、前記画像が、上下方向に対して２以上の中領域に分割されるとともに、前記画像が、上方の中領域ほど露光期間が早く、下方の中領域ほど露光期間が遅くなるように撮像されるものであり、前記動きベクトル算出部が、入力される２つの画像を中領域毎に比較し、比較する当該中領域間の動きを示す中領域動きベクトルを算出するとともに、当該２つの画像から算出される前記中領域動きベクトルに基づいて、前記動きベクトルを算出することとしても構わない。

また、上記構成の画像処理装置において、前記画像が、上下方向に対して２以上の中領域に分割されるとともに、前記画像が、上方の中領域ほど露光期間が早く、下方の中領域ほど露光期間が遅くなるように撮像されるものであり、前記動きベクトル算出部が、入力される２つの画像を中領域毎に比較し、比較する当該中領域間の動きを示す中領域動きベクトルを算出するとともに、当該２つの画像から算出される前記中領域動きベクトルの少なくとも１つを、前記動きベクトルとすることとしても構わない。

また、上記構成の画像処理装置において、前記動きベクトル算出部が、前記中領域動きベクトルを算出する際に不適となる結果が得られる場合は、当該中領域動きベクトルを除外することとしても構わない。

ここで、不適となる結果とは、例えば、２つの画像の中領域を比較しても中領域動きベクトルが求められない場合や、中領域動きベクトルの信頼性が低い場合などである。特に、動きベクトルや動き情報を算出する際に精度を悪化させる可能性がある算出結果が、不適となる結果になるものとする。

このように構成すると、不適となる結果を除外して動きベクトルや動き情報を求めることが可能となる。したがって、入力画像の動き情報を精度よく求めることが可能となる。

また、本発明の撮像装置は、撮像を行い画像を作成する撮像部と、上記のいずれかの画像処理装置と、を備え、前記撮像部が、露光期間が異なる複数の画像を作成するとともに前記画像処理装置に入力し、前記画像処理装置が、入力される画像の１つである入力画像の歪みを補正し、出力画像として出力することを特徴とする。

また、本発明の画像処理方法は、撮像の際の露光期間が異なる複数の画像に基づいて、画像の１つである入力画像に含まれる歪みを補正して出力する画像処理方法において、２つの画像を比較して、当該２つの画像間の動きを示す動きベクトルを算出する第１ステップと、当該第１ステップにおいて算出された前記動きベクトルに基づいて、前記入力画像の露光期間の動きを示す動き情報を算出する第２ステップと、当該第２ステップにおいて算出された前記動き情報に基づいて、前記入力画像の歪みを補正し、出力画像として出力する第３ステップと、を備えることを特徴とする。

本発明の構成とすると、２つの画像間の動きを示す動きベクトルから、入力画像の露光期間の動きを示す動き情報を算出し、この動き情報に基づいて入力画像の歪みを補正することとなる。そのため、入力画像の露光期間の動きが誤認されることが抑制され、入力画像を精度よく補正することが可能となる。

以下、本発明における画像処理装置や、画像処理方法、撮像装置の実施形態について、図面を参照して説明する。最初に、撮像装置の基本構成及び基本動作について説明する。

＜撮像装置＞
（基本構成）
まず、撮像装置の基本構成について、図１に基づいて説明する。図１は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。

図１に示すように、撮像装置１は、入射される光を電気信号に変換するＣＭＯＳセンサなどの固体撮像素子から成るイメージセンサ３と、被写体の光学像をイメージセンサ３に結像させるとともに光量などの調整を行うレンズ部４と、を備えた撮像部２を備える。

さらに、撮像装置１は、イメージセンサ３から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）５と、ＡＦＥ５から出力されるデジタルの画像信号に対して階調補正処理などの各種画像処理を施す画像処理部６と、入力される音声を電気信号に変換する集音部７と、集音部７から出力されるアナログの音声信号をデジタル信号に変換するとともに音声信号にノイズ除去などの各種音声処理を施す音声処理部８と、画像処理部６から出力される画像信号と音声処理部８から出力される音声信号のそれぞれに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号にＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したりする圧縮処理部９と、圧縮処理部９で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、圧縮符号化信号を外部メモリ１０に記録したり読み出したりするドライバ部１１と、ドライバ部１１において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１２と、を備える。

また、撮像装置１は、伸長処理部１２で復号されて得られる画像信号をディスプレイなどの表示装置（不図示）で表示するためにアナログ信号に変換する画像出力回路部１３と、伸長処理部１２で復号されて得られる音声信号をスピーカなどの再生装置（不図示）で再生するためにアナログ信号に変換する音声出力回路部１４と、を備える。

また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１５と、各処理を行うための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１６と、撮像を開始するボタンや撮像条件などを調整するボタン等ユーザからの指示が入力される操作部１７と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１８と、ＣＰＵ１５と各ブロックとの間でデータのやりとりを行うためのバス回線１９と、メモリ１６と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、を備える。

また、画像処理部６は、入力される画像信号に含まれる歪みを補正して出力する歪み補正部６１を備える。なお、歪み補正部６１の構成の詳細については後述する。

なお、動画と静止画の画像信号を作成可能な撮像装置１を一例として示したが、撮像装置１が、静止画の画像信号のみ作成可能であっても構わない。この場合、集音部７や音声処理部８、音声出力回路部１４などを備えない構成としても構わない。

また、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。

（基本動作）
次に、撮像装置１の基本動作について図１を用いて説明する。まず、撮像装置１は、レンズ部４より入射される光をイメージセンサ３において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ３は、ＴＧ部１８から入力されるタイミング制御信号に同期して、所定のタイミングでＡＦＥ５に画像信号を出力する。

そして、ＡＦＥ５によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、入力されるＲ（赤）Ｇ（緑）Ｂ（青）の成分を備える画像信号を、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）の成分を備える画像信号に変換するとともに、階調補正や輪郭強調等の各種画像処理を施す。また、メモリ１６はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。

また、このとき画像処理部６に入力される画像信号に基づき、レンズ部４において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出の調整は、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたり、ユーザの指示に基づいて手動で行われたりする。

また、画像処理部６は、歪み補正部６１において画像の歪みを補正する。なお、歪み補正部６１の動作の詳細については後述する。

動画の画像信号を作成する場合、集音部７において集音を行う。集音部７で集音されて電気信号に変換される音声信号は、音声処理部８に入力される。音声処理部８は、入力される音声信号をデジタル信号に変換するとともにノイズ除去や音声信号の強度制御などの各種音声処理を施す。そして、画像処理部６から出力される画像信号と、音声処理部８から出力される音声信号と、がともに圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とが時間的に関連付けられ、再生時に画像と音とがずれないように構成される。そして、圧縮処理部９から出力される圧縮符号化信号は、ドライバ部１１を介して外部メモリ１０に記録される。

一方、静止画の画像信号を作成する場合、画像処理部６から出力される画像信号が圧縮処理部９に入力され、圧縮処理部９において所定の圧縮方式で圧縮される。そして、圧縮処理部９から出力される圧縮符号化信号が、ドライバ部１１を介して外部メモリ１０に記録される。

外部メモリ１０に記録された動画の圧縮符号化信号は、ユーザの指示に基づいて伸長処理部１２に読み出される。伸長処理部１２は、圧縮符号化信号を伸長及び復号し、画像信号及び音声信号を生成する。そして、画像信号を画像出力回路部１３、音声信号を音声出力回路部１４にそれぞれ出力する。そして、画像出力回路部１３や音声出力回路部１４において、表示装置やスピーカにおいて再生可能な形式に変換されて出力される。

一方、外部メモリ１０に記録された静止画の圧縮符号化信号は、伸長処理部１２に入力されて画像信号が生成される。そして、この画像信号は画像出力回路部１３に出力され、画像出力回路部１３において表示装置で再生可能な形式に変換されて出力される。

なお、表示装置やスピーカは、撮像装置１と一体となっているものであっても構わないし、別体となっており撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものであっても構わない。

また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、所謂プレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１３に出力することとしても構わない。また、画像信号を記録する際に、圧縮処理部９で圧縮して外部メモリ１０に記録する動作と並行して、画像出力回路部１３を介して表示装置などに画像信号を出力することとしても構わない。

＜歪み補正部＞
次に、図１に示した画像処理部６（画像処理装置）に備えられる歪み補正部６１について詳細に説明する。なお、以下においては説明の具体化のため、歪み補正部６１によって処理される各画像の画像信号を、それぞれ画像として表現する。また、歪み補正が行われる対象となる画像を「入力画像」、歪み補正が行われた後の画像を「出力画像」とする。

また、以下において、露光及び電荷の読み出し制御の単位である画素列と平行な方向を、画像の水平方向とする。また、画素列に対して垂直となる方向を、画像の垂直方向とする。また、画素列毎に露光の開始時間が異なる（露光期間が異なる）ことを特に問題とし、画素列中の画素毎の露光期間の差異はわずかなものであるため考慮しないこととする。また、１つの画像の撮像を行う際に、垂直方向に沿って整列する各画素列のうち、上方の画素列ほど露光の開始が早く（露光期間が早く）、下方の画素列ほど露光の開始が遅い（露光期間が遅い）こととする。

また、本実施形態の撮像装置１に備えられる画像処理部６は、動画の画像信号も静止画の画像信号も処理可能である。そのため、上記の画像は、動画の画像信号と静止画の画像信号との両方を示すものとする。なお、１つの静止画の画像信号を出力する場合であったとしても、複数の画像の画像信号が入力されることとする。

（基本構成）
最初に、歪み補正部６１の基本構成について図２を用いて説明する。図２は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本構成について示すブロック図である。図２に示すように、歪み補正部６１は、入力される２つの画像（第１画像及び第１画像より露光期間が後となる第２画像）から動きベクトルを算出する動きベクトル算出部６２と、動きベクトル算出部６２によって算出された動きベクトルを用いて動き情報を算出する動き情報算出部６３と、動き情報算出部６３によって算出された動き情報に基づいて入力画像の歪みを補正する補正処理部６４と、を備える。

動きベクトルは、第１画像と第２画像とを比較することで求められる。また、求められる動きベクトルは、第１画像及び第２画像間の動き（撮像装置の動きと被写体の動きとを含む、以下単純に「動き」と表現する）を示すものとなる。具体的に例えば、第１画像の露光期間の開始から第２画像の露光期間の終了までの間における動きの方向と大きさとを表すものとなる。

動き情報は、入力画像の露光期間における動きを示したものであり、動きベクトルを用いて算出される。動き情報も、動きベクトルと同様に動きの方向と大きさとを表すものとなる。そのため、動き情報を動きベクトルの一種として解釈することも可能である。

歪み補正部６１の基本動作について図３を用いて説明する。図３は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本動作について示すフローチャートである。また図３は、１つの入力画像の歪みを補正する処理を表したフローチャートである。そのため、動画の画像信号を作成する場合であれば、図３に示す動作が順次行われるものとする。

図３に示すように、最初に動きベクトル算出部６２が、入力される第１画像と第２画像とに基づいて両画像間の動きベクトルを算出する（ＳＴＥＰ１）。これにより、第１画像及び第２画像間の動きベクトルが求められる。

次に、動き情報算出部６２が、ＳＴＥＰ１で算出された動きベクトルを用いて入力画像の動き情報を算出する（ＳＴＥＰ２）。このとき、動き情報算出部６２は、少なくとも２つの動きベクトルを参照して動き情報を算出する。そのため、動き情報算出部６２は、過去に入力された動きベクトルを一時的に記憶したり、参照したりすることが可能な構成であるものとする。

そして、補正処理部６４が、ＳＴＥＰ２によって求められた動き情報に基づく補正を入力画像に施して、出力画像の生成を行う（ＳＴＥＰ３）。特に、動き情報が示す動きを打ち消すような補正を入力画像に施すことにより、補正処理が行われる。動きを打ち消すような補正とは、例えば、動き情報が示す動きと逆向きの動きが発生する場合に画像に生じる歪みを、入力画像に与える補正である。

具体的に例えば、フレームメモリやラインメモリなどに保持される入力画像の画像信号の読み出しを、画素列毎に制御するなどの方法を用いることで、補正を行うことができる。この補正方法の具体例について図４〜図６を用いて説明する。図４〜図６のそれぞれは、補正処理の一例について示した模式図である。図４（ａ）、図５（ａ）及び図６（ａ）は、入力画像と動き情報の一例を示したものであり、図４（ｂ）、図５（ｂ）及び図６（ｂ）は、出力画像の一例を示したものである。

図４は、水平方向と略平行な方向に動きが検出された場合について示している。特に、左方向の動きが検出された場合を示している。なお、入力画像Ｐｉｎ１は、図１５の画像Ｐ１に相当するものである。また、図４（ｂ）の出力画像Ｐｏｕｔ１は、読み出された画像信号が存在する範囲を実線で囲って示したものである。

上記のような動き情報が出力される場合、補正処理部６４は、図４（ｂ）の出力画像Ｐｏｕｔ１に示すように、上方の画素列ほど読み出し位置が左方となり、下方の画素列ほど読み出し位置が右方となるような制御を行う。即ち、下方の画素列ほど、上方の画素列よりも、動き情報が示す動きの方向と反対となる方向にずれた位置になるように、読み出し位置を制御する。

一方、図４（ａ）と反対に、右方向の動きが検出された場合は、上方の画素列ほど読み出し位置が右方となり、下方の画素列ほど読み出し位置が左方となるように制御する。

図５は、垂直方向と略平行な方向に動きが検出された場合について示している。特に、上方向の動きが検出された場合を示している。なお、入力画像Ｐｉｎ２は、図１８の画像Ｐ２に相当するものである。また、図５（ｂ）の出力画像Ｐｏｕｔ２は、読み出された画像信号が存在する部分を実線で囲って示したものである。

上述のように、上方向の動きが生じると、入力画像Ｐｉｎ２は垂直方向に対して伸張されたものとなる。そのため、補正処理部６４は、垂直方向に対して圧縮する補正を入力画像Ｐｉｎ２に施し、出力画像Ｐｏｕｔ２を得る。

例えば、入力画像Ｐｉｎ２のそれぞれの画素列の画像信号の位置が、出力画像Ｐｏｕｔ２の中央の画素列に寄る位置となるように読み出しを行う。このとき、所定の画素列の画像信号を読み出さない間引き読み出しを行ったり、所定の近接する画素列の画像信号を加算して１つの画素列の画像信号として読み出す加算読み出しを行ったりしても構わない。そして、上記のような方法により、図５（ｂ）に示すような入力画像Ｐｉｎ２を垂直方向に対して圧縮した出力画像Ｐｏｕｔ２を得る。

一方、図６は、下方向の動きが検出された場合について示している。なお、入力画像Ｐｉｎ３は、図２１の画像Ｐ３に相当するものである。また、図６（ｂ）の出力画像Ｐｏｕｔ３は、読み出された画像信号が存在する部分を実線で囲って示したものである。

上述のように、下方向の動きが生じると、入力画像Ｐｉｎ３は垂直方向に対して圧縮されたものとなる。そのため、補正処理部６４は、垂直方向に対して伸張する補正を入力画像Ｐｉｎ３に施し、出力画像Ｐｏｕｔ３を得る。

例えば、入力画像Ｐｉｎ３のそれぞれの画素列の画像信号が、出力画像Ｐｏｕｔ３の中央の画素列から離れるように読み出しを行う。このとき、所定の近接する画素列の画像信号を用いて当該画素列間の画像信号を補間し、補間により得られた画像信号を当該画素列間の画像信号として読み出す補間読み出しを行っても構わない。そして、上記のような方法により、図６（ｂ）に示すような入力画像Ｐｉｎ３を垂直方向に対して伸張した出力画像Ｐｏｕｔ３を得る。

以上のような構成とすると、２つの画像間の動きを示す動きベクトルから、入力画像の露光期間の動きを示す動き情報を算出し、この動き情報に基づいて入力画像の歪みを補正することとなる。そのため、入力画像の露光期間の動きを精度よく補正することが可能となる。

特に例えば、入力画像の直前に撮像された前画像に歪みがあり、入力画像に歪みがない場合において、前画像と入力画像とから得られる動きベクトルは動きがあることを示すものとなるが、入力画像の動き情報は動きがないことを示すものとなる。そのため、入力画像の露光期間に発生した動きを誤認することを抑制することが可能となり、入力画像に誤った補正が施されることを抑制することが可能となる。

なお、図４（ｂ）、図５（ｂ）及び図６（ｂ）の出力画像Ｐｏｕｔ１〜Ｐｏｕｔ３をさらに補正した画像を出力画像としても構わない。具体的には、出力画像Ｐｏｕｔ１〜Ｐｏｕｔ３に所定の矩形領域を設定するとともに、その矩形領域内の画像信号を用いて出力画像を生成しても構わない。さらに、矩形領域内を縮小（例えば画素加算や間引き）しても構わないし、拡大（例えば画素間の補間）しても構わない。また、矩形領域を動き情報に基づいて設定しても構わないし、被写体Ｔ１及びＴ２が存在する位置に基づいて設定しても構わない。

また、図４〜図６では、説明の便宜上水平方向と垂直方向とで歪みの補正方法を分けて説明したが、これらは同時に実施することも可能である。特に、斜め方向の動きが検出される場合は、入力画像の水平方向と垂直方向とに歪みが発生しているため、両方の方向に対して補正を行うこととすると好ましい。このとき、水平方向に対する補正と、垂直方向に対する補正とを順に行っても構わないし、同時に行うこととしても構わない。

また、図２において、第１画像及び第２画像と入力画像とを別の画像のように説明したが、第１画像と入力画像が同じものであったり、第２画像と入力画像とが同じものであったりしても構わない。

また、以下において説明する歪み補正部６１の各実施例の構成は、同様のものとなる。特に、歪み補正部６１の基本構成として説明した図２に示す構成と同様のものとなる。そのため、以下の歪み補正部６１の各実施例の説明において、各実施例の構成は図２に示したものと同様のものであるとして、構成の詳細な説明については省略する。

（第１実施例）
次に、歪み補正部６１の第１実施例について図面を参照して説明する。図７は、第１実施例の歪み補正部の動作例について示すグラフである。具体的には、ｎ−２番目、ｎ−１番目、ｎ番目、ｎ＋１番目及びｎ＋２番目の画像が、順次作成されて歪み補正部６１に入力される場合について示している。また、各画像の露光期間は、ｎ−２番目、ｎ−１番目、ｎ番目、ｎ＋１番目、ｎ＋２番目の順に遅くなるものとする（ただし、ｎは３以上の自然数）。また、以下において前の画像、後の画像と表現する場合は、上記の順における前後を示すものとする。なお、以下では、画像の水平方向の動きが発生する場合を例に挙げて説明する。

図７は、上記の各画像から求められる動きベクトルと動き情報の大きさと、動きベクトル及び動き情報が示す動きが発生する時間と、を示したグラフである。なお、縦軸が動きベクトル及び動き情報の水平方向の大きさを示し、横軸が時間を示すものとする。また、動きベクトルの大きさが正であれば、右方向の動きが発生したことを示すものとする。一方、動きベクトルの大きさが負であれば、左方向の動きが発生したことを示すものとする。また、それぞれの画像全体の露光期間の平均時間を、その画像の画像平均露光時間（図７中の画像内の白塗りの丸）として露光期間を代表させて示し、各画像の画素列毎の露光期間の差異については図示を省略する。

本実施例の歪み補正部６１における動きベクトル算出部６２は、２つの画像から画像間の動きベクトル（図７中の白塗りの四角）を算出する。この動きベクトルは、２つの画像の全体を比較した結果から算出されるものとなる。そのため、例えば２つの画像の露光期間の平均時間（即ち、２つの画像の画像平均露光時間の平均時間）の動きを示すものと考えることができる。

動きベクトル算出部６２は、例えばブロックマッチング法、代表点マッチング法、勾配法などの種々の方法を用いて動きベクトルを求めることが可能であり、上記以外の方法を用いることとしても構わない。なお、画像を水平方向にｈ分割、垂直方向にｉ分割してｈ×ｉの小領域にするとともに、小領域毎に例えば上記の方法を適用して小領域動きベクトルを算出し、これらを平均化するなどして動きベクトルを求めても構わない（ただし、ｈ及びｉは自然数）。

動き情報算出部６３は、動きベクトル算出部６２によって上記のように算出される動きベクトルを用いて、入力画像の動き情報（図７中の黒塗りの四角）を算出する。具体的に例えば、ｎ−１番目の画像とｎ番目の画像とから求められる動きベクトルＭ_n-0.5と、ｎ番目の画像とｎ＋１番目の画像とから求められる動きベクトルＭ_n+0.5と、を平均化することによって、ｎ番目の画像の動き情報Ｉ_nを算出する。このように算出される動き情報Ｉ_nは、例えば、ｎ番目の画像の画像平均露光時間の動きを示すものと考えることができる。

そして、補正処理部６４により、動き情報Ｉ_nを用いた入力画像の補正を行うことで、歪みが低減された出力画像を得ることができる。

本実施例の歪み補正部６１による効果を、従来の歪み補正部と対比することにより説明する。図８は、第１実施例の歪み補正部から出力される出力画像と従来の歪み補正部から出力される出力画像とを示した模式図である。図８（ａ）は本実施例の歪み補正部から出力される出力画像を示したものであり、図８（ｂ）は従来の歪み補正部から出力される出力画像を示したものである。また、それぞれの図には、歪み補正に用いた動き情報または動きベクトルを示している。

図８（ａ）に示すように、本実施例の歪み補正部６１は、それぞれの入力画像の露光期間における動きを示す動き情報Ｉ_n-1、Ｉ_n及びＩ_n+1を用いて歪みの補正を行う。そのため、入力画像を精度よく補正することが可能となる。一方、図８（ｂ）に示すように、従来の歪み補正部は、２つの画像の画像間の動きを示す動きベクトルＭ_n-1.5、Ｍ_n-0.5及びＭ_n+0.5を用いて、ｎ−１番目、ｎ番目、ｎ＋１番目の画像の補正をそれぞれ行う。そのため、実際の入力画像の露光期間における動きと異なる動きが生じていると誤り、不適切な補正をする可能性がある。したがって、本実施例のように精度よく補正を行うことができない。

また、本実施例の動き補正部６１は、入力画像より前の画像を用いて求められる動きベクトルと、入力画像より後の画像を用いて求められる動きベクトルと、を利用して入力画像の動き情報を求める。そのため、入力画像の動き情報の算出の際に、入力画像の前後の画像を反映させることが可能となる。したがって、入力画像の動き情報をさらに精度よく求めることが可能となる。

なお、上記の例では、入力画像と１つ前の画像とから得られる動きベクトルと、入力画像と１つ後の画像とから得られる動きベクトルと、を用いて入力画像の動き情報を求めることとしたが、他の動きベクトルを用いて動き情報を求めることとしても構わない。例えば、入力画像の２つ前の画像と１つ前の画像から求められる動きベクトルを用いても構わないし、入力画像の１つ後の画像と２つ後の画像から求められる動きベクトルを用いても構わない。また、連続しない画像（例えば、ｎ−２番目とｎ番目の画像）を用いて求めた動きベクトルを用いて、動き情報を算出しても構わない。

ただし、上記例のように、連続した画像である入力画像及び１つ前の画像から得られる動きベクトルと、同じく連続した画像である入力画像及び１つ後の画像から得られる動きベクトルと、を用いて入力画像の動き情報を求めることとすると、例えば２つの動きベクトルを平均化するだけで、容易かつ精度良く入力画像の動き情報を求めることができる。また、入力画像の１つ後の画像が歪み補正部６１に入力されることにより、動き情報を算出することが可能となるため、出力画像の生成に著しい遅延が生じることを抑制することが可能となる。

また、入力画像以前の画像に対して求めた動き情報を、入力画像の動き情報を算出する際に利用しても構わない。即ち、過去に算出した動き情報を、動きベクトルと同様に扱っても構わない。

また、上記の例では、動き情報を算出する際に２つの動きベクトルを用いることとしたが、３つ以上としても構わない。例えば、ｋ個の動きベクトルから補間直線やｍ次の補間曲線（以下、動き線ＭＬとする）を求め、この動き線ＭＬを用いて入力画像の動き情報を求めても構わない（ただし、ｋ及びｍはそれぞれ２以上の整数）。この場合、横軸の値が入力画像の画像平均露光時間となるときの動き線ＭＬの縦軸の値が、動きの大きさとなるように動き情報を設定しても構わない。さらに、過去に算出した動き情報を利用して動き線ＭＬを求めても構わない。

また、動き線ＭＬを動き情報の代わりに用いて上述したような歪み補正を行っても構わない。この場合、動き線ＭＬから入力画像の露光期間中における動きの変化まで算出して、歪み補正を行うこととしても構わない。

また、垂直方向や斜め方向に動きが発生する場合についても同様に、本実施例を適用することができる。例えば垂直方向に動きが発生する場合であれば、図７の縦軸が、垂直方向の動きベクトル及び動き情報の大きさを示すものに変わるだけである。また、斜め方向に動きが発生する場合、水平方向の動き情報と垂直方向の動き情報とを別々に算出して、それぞれの動き情報を用いて入力画像を補正することとしても構わない。

（第２実施例）
次に、歪み補正部６１の第２実施例について図面を参照して説明する。図９は、第２実施例の歪み補正部の動作例について示すグラフであり、第１実施例について示した図７に相当するものである。なお、同様の部分には同一の符号を付してその詳細な説明については省略する。また、本実施例においても、歪み補正の対象となる入力画像がｎ番目の画像であり、水平方向の動きが発生する場合を例に挙げて説明する。

本実施例の歪み補正部６１における動きベクトル算出部６２は、第１実施例と同様の方法を用いて、２つの画像間の動きベクトルを求める。また、動き情報算出部６３は、動きベクトル算出部６２から出力される動きベクトルを用いて、入力画像の動き情報を求める。

具体的に、動き情報算出部６３は、ｎ番目の画像の動き情報Ｉ_nを求めるために、ｎ−２番目の画像とｎ−１番目の画像とから得られる動きベクトルＭ_n-1.5と、ｎ−１番目の画像とｎ番目の画像とから得られる動きベクトルＭ_n-0.5と、を用いる。特に、動きベクトルＭ_n-1.5及びＭ_n-0.5を用いて動き情報Ｉ_nを推測することにより、動き情報Ｉ_nを求める。

例えば、動きベクトルＭ_n-1.5及びＭ_n-0.5を用いて動き線ＭＬを求めるとともに、横軸の値がｎ番目の画像の画像平均露光時間となるときの動き線ＭＬの縦軸の値が、動きの大きさとなるように動き情報Ｉ_nを設定する。

そして、補正処理部６４が、得られた動き情報Ｉ_nを用いて入力画像の補正を行うことで、歪みが低減された出力画像が得られる。

歪みを低減する効果については第１実施例と同様である。即ち、図８に示したように、入力画像の露光期間における動きを示す動き情報を用いて歪みの補正を行うため、入力画像を精度よく補正することが可能となる。

さらに、本実施例では、入力画像以前の画像を用いて算出した動きベクトルを用いて入力画像の動き情報を算出することとしている。そのため、入力画像の動き情報を算出する際に、入力画像より後の画像が不要となる。したがって、第１実施例に示したような、入力画像よりも後の画像が歪み補正部６１に入力された後に、出力画像の生成が開始されることを抑制することが可能となる。即ち、出力画像の生成を迅速に行うことが可能となる。

なお、上記の例では、入力画像の２つ前の画像と１つ前の画像とから得られる動きベクトルと、入力画像の１つ前の画像と入力画像とから得られる動きベクトルと、を用いて入力画像の動き情報を求めることとしたが、他の動きベクトルを用いて動き情報を求めることとしても構わない。例えば、入力画像の３つ前の画像と２つ前の画像から求められる動きベクトルを用いても構わない。また、連続しない画像を用いて求めた動きベクトルを用いて、動き情報を算出しても構わない。

ただし、上記例のように、連続した画像である入力画像の２つ前の画像及び１つ前の画像から得られる動きベクトルと、同じく連続した画像である入力画像及び１つ前の画像から得られる動きベクトルと、を用いて入力画像の動き情報を求めることとすると、入力画像と直前の２つの画像とを用いて動き情報を求めることとなる。そのため、計算量を低減するとともに精度良く動き情報を求めることができる。

また、入力画像よりも前の画像に対して求められた動き情報を、入力画像の動き情報を算出する際に利用しても構わない。即ち、過去に算出した動き情報を、動きベクトルと同様に扱っても構わない。

また、上記の例では、動き情報を算出する際に２つの動きベクトルを用いることとしたが、３つ以上としても構わない。例えば、ｋ個の動きベクトルから動き線ＭＬを求め、この動き線ＭＬを用いて入力画像の動き情報を求めても構わない。

また、垂直方向や斜め方向に動きが発生する場合についても同様に、本実施例を適用することができる。例えば垂直方向に動きが発生する場合であれば、図９の縦軸が、垂直方向の動きベクトル及び動き情報の大きさを示すものに変わるだけである。また、斜め方向に動きが発生する場合、水平方向の動き情報と垂直方向の動き情報とを別々に算出して、それぞれの動き情報を用いて入力画像を補正することとしても構わない。

（第３実施例）
次に、歪み補正部６１の第３実施例について図面を参照して説明する。図１０は、第３実施例の歪み補正部の動作例について示すグラフであり、第１実施例について示した図７や第２実施例について示した図９に相当するものである。ただし、図１０は図７及び図９と異なり、被写体の表示を省略するとともに各画素列の露光期間の差異を図中で表現している。また、図１０と図７及び図９とで同様となる部分には同一の符号を付してその詳細な説明については省略する。また、本実施例においても、歪み補正の対象となる入力画像がｎ番目の画像であり、水平方向の動きが発生する場合を例に挙げて説明する。

本実施例の歪み補正部６１における動きベクトル算出部６２は、まず、画像を垂直方向に対してｊ個に等分割した領域である中領域毎に２つの画像を比較して、中領域動きベクトルを求める（ただし、ｊは２以上の整数）。なお、図１０では一例として、画像を垂直方向に対して３つに等分割した場合（ｊ＝３の場合）について示している。なお、それぞれの画像の中領域について、露光期間が早い順にα、β、γとする。

また、中領域の露光期間の平均時間となる中領域平均露光時間を、図１０のそれぞれの中領域内に白塗りの三角形で示す。中領域動きベクトルは、２つの中領域の全体を比較した結果から算出されるものとなる。そのため、例えば２つの中領域の露光期間の平均時間（即ち、それぞれの中領域平均露光時間を平均した時間）の動きを示すものと考えることができる。

また、中領域動きベクトルの算出には、第１及び第２実施例で示した動きベクトルを算出する方法と同様の方法を適用することができる。例えば、ブロックマッチング法、代表点マッチング法、勾配法などの種々の方法を用いて、中領域動きベクトルを求めることが可能である。また、各中領域を水平方向にｈ分割、垂直方向にｉ分割してｈ×ｉの小領域とし、小領域毎に求められる動きベクトルを平均化するなどして中領域動きベクトルを算出しても構わない。

動きベクトル算出部６２は、上記のように求めた中領域動きベクトルを用いて、２つの画像間の動きベクトルを算出する。例えば、２つの画像の各中領域から求められた中領域動きベクトルを平均化することによって、２つの画像間の動きベクトルを算出する。そして、動き情報算出部６３が、少なくとも入力画像より前の画像を用いて得られる動きベクトルと、少なくとも入力画像より後の画像を用いて得られる動きベクトルと、を用いて入力画像の動き情報を算出する。

ところで、動きベクトル算出部６２が、ある中領域の中領域動きベクトルを算出する際に、中領域動きベクトルが求められずに欠落したり、信頼性が低いなどの要因によって求められた中領域動きベクトルが不適なものになったりする場合が生じ得る。

中領域動きベクトルが欠落する場合とは、例えば、２つの画像の中領域を比較した場合に、相当する（マッチングする）部分が検出できない場合などである。また、中領域ベクトルが不適なものとなる場合とは、例えば、中領域を複数の小領域に分割してそれぞれの小領域から小領域動きベクトルを得て、小領域動きベクトルから中領域動きベクトルを求める場合に、小領域動きベクトルの向きや大きさの差異が著しく大きい場合などである。

以上のような、動きベクトルを算出する際に精度を悪化させる可能性がある中領域動きベクトルの算出結果を、以下において不適結果とする。そして、本実施例では、このような不適結果を動きベクトルの算出時に除外する。

具体的に、ｎ−１番目の画像とｎ番目の画像とから求められる動きベクトルＭＡ_n-0.5と、ｎ番目の画像とｎ＋１番目の画像とから求められる動きベクトルＭＡ_n+0.5とを用いて、ｎ番目の画像の動き情報Ｉ_nを算出する場合を例に挙げて以下説明する。なお、動きベクトルＭＡ_n-0.5は、ｎ−１番目の画像の中領域α_n-1及びｎ番目の画像の中領域α_nから得られた中領域動きベクトルと、ｎ−１番目の画像の中領域β_n-1及びｎ番目の画像の中領域β_nから得られた中領域動きベクトルと、ｎ−１番目の画像の中領域γ_n-1及びｎ番目の画像の中領域γ_nから得られた中領域動きベクトルと、を用いて得られる動きベクトルとする。また、動きベクトルＭＡ_n+0.5は、ｎ番目の画像の中領域α_n及びｎ＋１番目の画像の中領域α_n+1から得られた中領域動きベクトルのみから求められる動きベクトルとし、ｎ番目の画像の中領域β_n及びｎ＋１番目の画像の中領域β_n+1と、ｎ番目の画像の中領域γ_n及びｎ＋１番目の画像の中領域γ_n+1と、からはそれぞれ不適結果が出力されたものとする。

動きベクトルＭＡ_n-0.5及びＭＡ_n+0.5は、例えば、不適結果を除外して得られたそれぞれの中領域動きベクトルを平均化することによって得られる。この場合、動きベクトルＭＡ_n-0.5は、中領域α_n-1及びα_nと、中領域β_n-1及びβ_nと、中領域γ_n-1及びγ_nとからそれぞれ得られた中領域動きベクトルの大きさを平均化した大きさを有するものとなる。また、動きベクトルＭＡ_n-0.5は、例えば、中領域α_n-1及びα_nのそれぞれの露光期間と、中領域β_n-1及びβ_nのそれぞれの露光期間と、中領域γ_n-1及びγ_nのそれぞれの露光期間と、を平均した時間（それぞれの中領域平均露光時間を平均した時間、即ち、ｎ−１番目の画像の画像平均露光時間とｎ番目の画像の画像平均露光時間との平均時間）の動きを示すものと考えることができる。

一方、動きベクトルＭＡ_n+0.5は、中領域β_n及びβ_n+1から得られる結果と中領域γ_n及びγ_n+1から得られる結果とが、不適結果となり除外されるため、中領域α_n及びα_n+1から得られる中領域動きベクトルのみを用いて算出される。動きベクトルが中領域動きベクトルを平均化して得られるものである場合、動きベクトルＭＡ_n+0.5と、中領域α_n及びα_n+1から得られる中領域動きベクトルとは同様のものとなる。具体的には、動きベクトルＭＡ_n+0.5が示す動きの大きさが、中領域α_n及びα_n+1から得られる中領域動きベクトルが示す動きの大きさと略等しいものとなる。また、動きベクトルＭＡ_n+0.5は、例えば、中領域α_n及びα_n+1のそれぞれの露光期間を平均した時間（即ち、それぞれの中領域平均露光時間の平均時間）の動きを示すものと考えることができる。

以上のようにして求められる動きベクトルＭＡ_n-0.5及びＭＡ_n+0.5を用いて、動き情報算出部６３が、ｎ番目の画像の動き情報Ｉ_nを求める。例えば、動きベクトルＭＡ_n-0.5と動きベクトルＭＡ_n+0.5とを平均化するなどして動き情報Ｉ_nを求める。ただし、動きベクトルＭＡ_n-0.5及びＭＡ_n+0.5の重み係数（例えば加算割合）を調整して平均化することにより、動き情報Ｉ_nを求める。

例えば、求める動き情報Ｉ_nと動きベクトルＭＡ_n-0.5及びＭＡ_n+0.5とのそれぞれの時間差の逆比を重み係数に反映させる。上記の例の場合であれば、動き情報Ｉ_nが示す動きの時間（ｎ番目の画像の画像平均露光時間）と動きベクトルＭＡ_n-0.5が示す動きの時間（ｎ−１番目の画像の画像平均露光時間とｎ番目の画像の画像平均露光時間との平均時間）との時間差の方が、動き情報Ｉ_nが示す動きの時間（ｎ番目の画像の画像平均露光時間）と動きベクトルＭＡ_n+0.5が示す動きの時間（中領域α_n-1及びα_nのそれぞれの中領域平均露光時間の平均時間）との時間差よりも大きくなる。そのため、動きベクトルＭＡ_n-0.5の重み係数を、動きベクトルＭＡ_n+0.5の重み係数よりも小さいものとして平均化することにより、動き情報Ｉ_nを求める。

以上のようにして、ｎ番目の画像の画像平均露光時間における動きを示す動き情報Ｉ_nが得られる。そして、補正処理部６４により、動き情報Ｉ_nを用いた入力画像の補正を行うことで、歪みが低減された出力画像を得ることができる。

歪みを低減する効果については第１及び第２実施例と同様である。即ち、図８に示したように、入力画像の画像平均露光時間における動きを示す動き情報を用いて歪みの補正を行うため、入力画像を精度よく補正することが可能となる。

また、本実施例は第１実施例と同様に、入力画像より前の画像を用いて求められる動きベクトルと、入力画像より後の画像を用いて求められる動きベクトルと、を利用して入力画像の露光期間に生じた動きを求める。そのため、入力画像の動き情報の算出の際に、入力画像の前後の画像を反映させることが可能となる。したがって、入力画像の動き情報をさらに精度よく求めることが可能となる。

さらに、本実施例では、不適結果を除いた中領域動きベクトルを用いて２つの画像間の動きベクトルを算出する。また、このとき用いた中領域動きベクトルに応じて、得られる動きベクトルがどの時間における動きを示したものとなるかを設定する。そのため、不適結果を排除するとともに、動きベクトルが示す動きが生じた時間を厳密に設定することが可能となる。したがって、入力画像の動き情報をさらに精度よく求めることが可能となる。

なお、上記の例では、入力画像と１つ前の画像とから得られる動きベクトルと、入力画像と１つ後の画像とから得られる動きベクトルと、を用いて入力画像の動き情報を求めることとしたが、他の動きベクトルを用いて動き情報を求めることとしても構わない。例えば、入力画像の２つ前の画像と１つ前の画像から求められる動きベクトルを用いても構わないし、入力画像の１つ後の画像と２つ後の画像から求められる動きベクトルを用いても構わない。また、連続しない画像を用いて求めた動きベクトルを用いて、動き情報を算出しても構わない。

ただし、上記例のように、連続した画像である入力画像及び１つ前の画像から得られる動きベクトルと、同じく連続した画像である入力画像及び１つ後の画像から得られる動きベクトルと、を用いて入力画像の動き情報を求めることとすると、例えば２つの動きベクトルの重み係数を調整して平均化するだけで、容易かつ精度良く動き情報を求めることができる。また、入力画像の１つ後の画像が入力された時点で動き情報を算出することが可能となるため、出力画像の生成に著しい遅延が生じることを抑制することが可能となる。

また、上記の例では、動き情報を算出する際に２つの動きベクトルを用いることとしたが、３つ以上としても構わない。例えば、ｋ個の動きベクトルから動き線を求め、この動き線ＭＬを用いて入力画像の動き情報を求めても構わない。この場合、横軸の値が入力画像の画像平均露光時間となるときの動き線ＭＬの縦軸の値が、動きの大きさとなるように動き情報を設定しても構わない。さらに、過去に算出した動き情報を利用して動き線ＭＬを求めても構わない。

また、動き線ＭＬを動き情報の代わりに用い、上述したような歪み補正を行うこととしても構わない。この場合、動き線ＭＬから入力画像の露光期間における動きの変化まで算出して歪み補正を行うこととしても構わない。

また、垂直方向や斜め方向に動きが発生する場合についても同様に、本実施例を適用することができる。例えば垂直方向に動きが発生する場合であれば、図１０の縦軸が、垂直方向の動きベクトル及び動き情報の大きさを示すものに変わるだけである。また、斜め方向に動きが発生する場合、水平方向の動き情報と垂直方向の動き情報とを別々に算出して、それぞれの動き情報を用いて入力画像を補正することとしても構わない。

また、中領域を、画像を垂直方向に対してｊ個に等分割したそれぞれの領域としたが、等分割せずに中領域の大きさを異ならせても構わない。さらにこの場合、大きい中領域から得られる中領域動きベクトルの重みを重くして、他の中領域動きベクトルと平均化することにより、動きベクトルを算出しても構わない。

（第４実施例）
次に、歪み補正部６１の第４実施例について図面を参照して説明する。図１１は、第４実施例の歪み補正部の動作例について示すグラフであり、第３実施例について示した図１０に相当するものである。なお、図１１と図１０とで同様となる部分には同一の符号を付してその詳細な説明については省略する。また、本実施例においても、歪み補正の対象となる入力画像がｎ番目の画像であり、水平方向の動きが発生する場合を例に挙げて説明する。

図１１は、第３実施例の一例について示した図１０と同様に、各画像が３つの中領域α〜γに等分割されるとともに中領域α〜γ毎に中領域動きベクトルが算出される場合について示したものである。また、本実施例の歪み補正部６１は、動きベクトル算出部６２が、第３実施例と同様の方法を用いて２つの画像の画像間の動きベクトルを求めるものとする。即ち、中領域動きベクトルを用いて動きベクトルを求める。また、不適結果を排除して、得られた中領域動きベクトルに応じて動きベクトルを算出する方法についても、第３実施例と同様のものとする。

本実施例について、具体的に、ｎ−２番目の画像とｎ−１番目の画像とから求められる動きベクトルＭＡ_n-1.5と、ｎ−１番目の画像とｎ番目の画像とから求められる動きベクトルＭＡ_n-0.5とを用いて、ｎ番目の画像の動き情報Ｉ_nを算出する場合を例に挙げて以下説明する。なお、動きベクトルＭＡ_n-1.5は、ｎ−２番目の画像の中領域α_n-2及びｎ番目の画像の中領域α_n-1から得られた中領域動きベクトルと、ｎ−２番目の画像の中領域β_n-2及びｎ−１番目の画像の中領域β_n-1から得られた中領域動きベクトルと、ｎ−２番目の画像の中領域γ_n-2及びｎ−１番目の画像の中領域γ_n-1から得られた中領域動きベクトルと、を用いて得られる動きベクトルとする。また、動きベクトルＭＡ_n-0.5は、ｎ−１番目の画像の中領域α_n-1及びｎ番目の画像の中領域α_nから得られた中領域動きベクトルのみから求められる動きベクトルとし、ｎ−１番目の画像の中領域β_n-1及びｎ番目の画像の中領域β_nと、ｎ−１番目の画像の中領域γ_n-1及びｎ番目の画像の中領域γ_nと、からはそれぞれ不適結果が出力されたものとする。

上記のように、第３実施例と同様の方法により動きベクトルＭＡ_n-1.5及びＭＡ_n-0.5が求められる。例えば、不適結果を除外して得られたそれぞれの中領域動きベクトルを平均化することによって得られる。

この場合、動きベクトルＭＡ_n-1.5は、中領域α_n-2及びα_n-1と、中領域β_n-2及びβ_n-1と、中領域γ_n-2及びγ_n-1とからそれぞれ得られた中領域動きベクトルの大きさを平均化した大きさを有するものとなる。さらに、動きベクトルＭＡ_n-1.5は、例えば、中領域α_n-2及びα_n-1のそれぞれの露光期間と、中領域β_n-2及びβ_n-1のそれぞれの露光期間と、中領域γ_n-2及びγ_n-1のそれぞれの露光期間と、を平均した時間（それぞれの中領域平均露光時間を平均した時間、即ち、ｎ−２番目の画像の画像平均露光時間とｎ−１番目の画像の画像平均露光時間との平均時間）の動きを示すものと考えることができる。

一方、動きベクトルＭＡ_n-0.5は、中領域β_n-1及びβ_nから得られる結果と中領域γ_n-1及びγ_nから得られる結果とが不適結果となり除外されるため、中領域α_n-1及びα_nから得られる中領域動きベクトルのみを用いて算出される。動きベクトルが中領域動きベクトルを平均化して得られるものである場合、動きベクトルＭＡ_n-0.5と、中領域α_n-1及びα_nから得られる中領域動きベクトルとは同様のものとなる。具体的には、動きベクトルＭＡ_n-0.5が示す動きの大きさが、中領域α_n-1及びα_nから得られる中領域動きベクトルが示す動きの大きさと略等しいものとなる。また、動きベクトルＭＡ_n-0.5は、中領域α_n-1及びα_nのそれぞれの露光期間を平均した時間（即ち、それぞれの中領域平均露光時間の平均時間）の動きを示すものと考えることができる。

動き情報算出部６３は、動きベクトルＭＡ_n-1.5及びＭＡ_n-0.5を用いて動き情報Ｉ_nを推測することにより、動き情報Ｉ_nを求める。例えば、動きベクトルＭＡ_n-1.5及びＭＡ_n-0.5より動き線ＭＬを推測するとともに、横軸の値がｎ番目の画像の画像平均露光時間となるときの動き線ＭＬの値が、動きの大きさとなるように動き情報Ｉ_nを設定する。

歪みを低減する効果については第１〜第３実施例と同様である。即ち、図８に示したように、入力画像の画像平均露光時間における動きを示す動き情報を用いて歪みの補正を行うため、入力画像を精度よく補正することが可能となる。

また、本実施例は第２実施例と同様に、入力画像以前の画像を用いて算出した動きベクトルを用いて入力画像の動き情報を算出することとしている。そのため、入力画像の動き情報を算出する際に、入力画像より後の画像が不要となる。したがって、第１及び第３実施例に示したように、入力画像よりも後の画像が歪み補正部６１に入力された後に出力画像の生成が開始されることを抑制することが可能となる。即ち、出力画像の生成を迅速に行うことが可能となる。

さらに、第３実施例と同様に、不適結果を排除した中領域動きベクトルを用いて２つの画像間の動きベクトルを算出するとともに、得られた中領域動きベクトルに応じて動きベクトルが示す動きが生じた時間を設定する。そのため、不適結果を排除するとともに、動きベクトルが示す動きが生じる時間を厳密に設定することが可能となる。したがって、入力画像の動き情報をさらに精度よく求めることが可能となる。

また、動き線ＭＬを動き情報の代わりに用い、上述したような歪み補正を行うこととしても構わない。この場合、動き線ＭＬから入力画像の露光期間中における動きの変化まで算出して歪み補正を行うこととしても構わない。

また、垂直方向や斜め方向に動きが発生する場合についても同様に、本実施例を適用することができる。例えば垂直方向に動きが発生する場合であれば、図１１の縦軸が、垂直方向の動きベクトル及び動き情報の大きさを示すものに変わるだけである。また、斜め方向に動きが発生する場合、水平方向の動き情報と垂直方向の動き情報とを別々に算出して、それぞれの動き情報を用いて入力画像を補正することとしても構わない。

（第５実施例）
次に、歪み補正部６１の第５実施例について図面を参照して説明する。図１２は、第５実施例の歪み補正部の動作例について示すグラフであり、第３実施例について示した図１０や第４実施例について示した図１１に相当するものである。なお、図１２と図１０及び図１１とで同様となる部分には同一の符号を付してその詳細な説明については省略する。また、本実施例においても、歪み補正の対象となる入力画像がｎ番目の画像であり、水平方向の動きが発生する場合を例に挙げて説明する。

図１２は、第３実施例の一例について示した図１０や第４実施例の一例について示した図１１と同様に、各画像が３つの中領域α〜γに等分割されるとともに中領域α〜γ毎に中領域動きベクトル（図１２中の白塗りの星）が算出される場合について示したものである。また、本実施例の歪み補正部６１は、動きベクトル算出部６２が、第３及び第４実施例と同様の方法を用いて２つの画像の中領域動きベクトルを求める。しかしながら、動きベクトル算出部６２が、この中領域動きベクトルを動き情報算出部６３に出力するとともに、動き情報算出部６３が、中領域動きベクトルを直接的に用いて動き情報を算出する点について、第３及び第４実施例とは異なる。

本実施例について、具体的に、ｎ−１番目の画像の中領域α_n-1及びｎ番目の画像の中領域α_nから得られた中領域動きベクトルＭＢα_n-0.5と、ｎ−１番目の画像の中領域β_n-1及びｎ番目の画像の中領域β_nから得られた中領域動きベクトルＭＢβ_n-0.5と、ｎ−１番目の画像の中領域γ_n-1及びｎ番目の画像の中領域γ_nから得られた中領域動きベクトルＭＢγ_n-0.5と、を用いて、ｎ番目の画像の動き情報Ｉ_nを算出する場合を例に挙げて以下説明する。なお、本例では、上記のそれぞれの中領域動きベクトルの算出時に、不適結果が出力されなかったものとする。

上述のように、中領域動きベクトルＭＢα_n-0.5は、例えば中領域α_n-1及びα_nのそれぞれの中領域平均露光時間の平均時間の動きを示すものと考えることができる。同様に、中領域動きベクトルＭＢβ_n-0.5は、例えば中領域β_n-1及びβ_nのそれぞれの中領域平均露光時間の平均時間の動きを示すものと考えることができ、中領域動きベクトルＭＢγ_n-0.5は、例えば中領域γ_n-1及びγ_nのそれぞれの中領域平均露光時間の平均時間の動きを示すものと考えることができる。

動き情報算出部６３は、中領域動きベクトルＭＢα_n-0.5、ＭＢβ_n-0.5及びＭＢγ_n-0.5を用いて動き情報Ｉ_nを推測することにより、動き情報Ｉ_nを求める。例えば、中領域動きベクトルＭＢα_n-0.5、ＭＢβ_n-0.5及びＭＢγ_n-0.5より動き線ＭＬを推測するとともに、横軸の値がｎ番目の画像の画像平均露光時間となるときの動き線ＭＬの縦軸の値が、動きの大きさとなるように動き情報Ｉ_nを設定する。

歪みを低減する効果については第１〜第４実施例と同様である。即ち、図８に示したように、入力画像の画像平均露光時間における動きを示す動き情報を用いて歪みの補正を行うため、入力画像を精度よく補正することが可能となる。

また、入力画像以前の画像を用いて算出した中領域動きベクトルを用いて入力画像の動き情報を算出することとしている。そのため第２及び第４実施例と同様に、入力画像の動き情報を算出する際に、入力画像より後の画像が不要となる。したがって、第１及び第３実施例に示したように、入力画像よりも後の画像が歪み補正部６１に入力された後に出力画像の生成が開始されることを抑制することが可能となる。即ち、出力画像の生成を迅速に行うことが可能となる。

さらに本実施例は、２つの画像間の動きについて動きベクトルよりも時間的に細かく表す中領域動きベクトルを用いて、動き情報を算出する。そのため、入力画像の動き情報をさらに精度よく求めることが可能となる。

なお、上記の例では、入力画像の１つ前の画像及び入力画像のそれぞれの中領域から得られる３つの中領域動きベクトルを用いて、入力画像の動き情報を求めることとしたが、これらの中から選択した少なくとも２つの中領域動きベクトルを用いて動き情報を求めても構わない。また、第３及び第４実施例と同様に、不適結果を除外しても構わない。

また、他の組み合わせとなる２つの画像のそれぞれの中領域から得られる中領域動きベクトルを用いて動き情報を求めることとしても構わない。例えば、入力画像の２つ前の画像と１つ前の画像のそれぞれの中領域から求められる中領域動きベクトルを用いても構わない。また、連続しない画像の中領域から求められる中領域動きベクトルを用いて、動き情報を算出しても構わない。

ただし、上記例のように、入力画像の１つ前の画像及び入力画像のそれぞれの中領域から得られる中領域動きベクトルを用いて入力画像の動き情報を求めることとすると、入力画像と直前の１つの画像とを用いて動き情報を求めることとなる。そのため、計算量を低減するとともに精度良く動き情報を求めることができる。

また、入力画像よりも前の画像に対して求められた動き情報を、入力画像の動き情報を算出する際に利用しても構わない。また、ｋ個の中領域動きベクトルから動き線ＭＬを求め、この動き線ＭＬを用いて入力画像の動き情報を求めても構わない。

また、中領域を、画像を垂直方向に対してｊ個に等分割したそれぞれの領域としたが、等分割せずに中領域の大きさを異ならせても構わない。

また、第３実施例と本実施例とを組み合わせても構わない。例えば、第３実施例において、得られた中領域動きベクトルを用いて２つの画像間の動きベクトルを求めずに、本実施例のように中領域動きベクトルを直接的に用いて入力画像の動き情報を算出することとしても構わない。

＜変形例＞
また、本発明の実施形態における撮像装置１について、画像処理部６や歪み補正部６１などのそれぞれの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。

また、上述した場合に限らず、図１の撮像装置１や図２の歪み補正部６１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や歪み補正部６１を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。

以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。

は、本発明の実施形態における撮像装置の基本構成について示すブロック図である。は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本構成について示すブロック図である。は、本発明の実施形態における撮像装置に備えられる歪み補正部の基本動作について示すフローチャートである。は、補正処理の一例について示した模式図である。は、補正処理の一例について示した模式図である。は、補正処理の一例について示した模式図である。は、第１実施例の歪み補正部の動作例について示すグラフである。は、第１実施例の歪み補正部から出力される出力画像と従来の歪み補正部から出力される出力画像とを示した模式図である。は、第２実施例の歪み補正部の動作例について示すグラフである。は、第３実施例の歪み補正部の動作例について示すグラフである。は、第４実施例の歪み補正部の動作例について示すグラフである。は、第５実施例の歪み補正部の動作例について示すグラフである。は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図である。は、各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図である。は、歪みを含んだ画像を示した模式図である。は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図である。は、各画素列の露光期間における被写体と撮像領域との位置関係を示した模式図である。は、歪みを含んだ画像を示した模式図である。は、撮像直前の被写体と撮像領域及びその動き方向とを示した模式図である。は、各画素列の露光時における被写体と撮像領域との位置関係を示した模式図である。は、歪みを含んだ画像を示した模式図である。

符号の説明

１撮像装置
２撮像部
３イメージセンサ
４レンズ部
５ＡＦＥ
６画像処理部
６１歪み補正部
６２動きベクトル算出部
６３動き情報算出部
６４補正処理部
７集音部
８音声処理部
９圧縮処理部
１０外部メモリ
１１ドライバ部
１２伸長処理部
１３画像出力回路部
１４音声出力回路部
１５ＣＰＵ
１６メモリ
１７操作部
１８ＴＧ部
１９バス
２０バス
Ｐ１〜Ｐ３画像
Ｃ撮像領域
Ｐｉｎ１〜Ｐｉｎ３入力画像
Ｐｏｕｔ１〜Ｐｏｕｔ３出力画像
Ｔ１、Ｔ２被写体

Claims

撮像の際の露光期間が異なる複数の画像が入力されるとともに、入力される画像の１つである入力画像の歪みを補正して出力する画像処理装置において、
入力される２つの画像を比較して、当該２つの画像間の動きを示す動きベクトルを算出する動きベクトル算出部と、
前記動きベクトル算出部から出力される前記動きベクトルに基づいて、前記入力画像の露光期間の動きを示す動き情報を算出する動き情報算出部と、
前記入力画像が入力されるとともに、前記動き情報算出部から出力される前記動き情報に基づいて前記入力画像の歪みを補正し、出力画像として出力する補正処理部と、
を備えることを特徴とする画像処理装置。
前記画像が、上方の画素列ほど露光期間が早く、下方の画素列ほど露光期間が遅くなるように撮像されるものであり、
前記補正処理部が、前記動き情報に基づいて前記入力画像の画素列毎に歪みを補正することを特徴とする請求項１に記載の画像処理装置。
前記動きベクトル算出部が、前記入力画像より露光期間が早い画像を少なくとも１つ用いて算出する動きベクトルと、前記入力画像より露光期間が遅い画像を少なくとも１つ用いて算出する動きベクトルと、をそれぞれ少なくとも１つ算出し、
前記動き情報算出部が、前記動きベクトル算出部によって算出される少なくとも２つの前記動きベクトルを用いて前記動き情報を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
前記動きベクトル算出部が、前記入力画像と前記入力画像よりも露光期間が早い画像から選択される２つの画像とから算出される動きベクトルを、少なくとも２つ算出し、
前記動き情報算出部が、前記動きベクトル算出部によって算出される少なくとも２つの前記動きベクトルを用いて前記動き情報を算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
前記画像が、上下方向に対して２以上の中領域に分割されるとともに、前記画像が、上方の中領域ほど露光期間が早く、下方の中領域ほど露光期間が遅くなるように撮像されるものであり、
前記動きベクトル算出部が、入力される２つの画像を中領域毎に比較し、比較する当該中領域間の動きを示す中領域動きベクトルを算出するとともに、当該２つの画像から算出される前記中領域動きベクトルに基づいて、前記動きベクトルを算出することを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
前記画像が、上下方向に対して２以上の中領域に分割されるとともに、前記画像が、上方の中領域ほど露光期間が早く、下方の中領域ほど露光期間が遅くなるように撮像されるものであり、
前記動きベクトル算出部が、入力される２つの画像を中領域毎に比較し、比較する当該中領域間の動きを示す中領域動きベクトルを算出するとともに、当該２つの画像から算出される前記中領域動きベクトルの少なくとも１つを、前記動きベクトルとすることを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
前記動きベクトル算出部が、前記中領域動きベクトルを算出する際に不適となる結果が得られる場合は、当該中領域動きベクトルを除外することを特徴とする請求項５または請求項６に記載の画像処理装置。
撮像を行い画像を作成する撮像部と、
請求項１〜請求項７のいずれかに記載の画像処理装置と、を備え、
前記撮像部が、露光期間が異なる複数の画像を作成するとともに前記画像処理装置に入力し、
前記画像処理装置が、入力される画像の１つである入力画像の歪みを補正し、出力画像として出力することを特徴とする撮像装置。
撮像の際の露光期間が異なる複数の画像に基づいて、画像の１つである入力画像に含まれる歪みを補正して出力する画像処理方法において、
２つの画像を比較して、当該２つの画像間の動きを示す動きベクトルを算出する第１ステップと、
当該第１ステップにおいて算出された前記動きベクトルに基づいて、前記入力画像の露光期間の動きを示す動き情報を算出する第２ステップと、
当該第２ステップにおいて算出された前記動き情報に基づいて、前記入力画像の歪みを補正し、出力画像として出力する第３ステップと、
を備えることを特徴とする画像処理方法。