JP2006020108A - 画像処理装置および方法、記録媒体並びにプログラム - Google Patents

Abstract

【課題】 迅速かつ正確に時間解像度創造処理ができるようにする。
【解決手段】 第１の処理部１１は、入力された画像データから動きベクトルを検出し、その動きベクトルを用いて時間解像度創造処理を行い、生成した画素データを合成部１４に出力する。第２の処理部１２は、入力された画像データを各画素毎の背景画像の割合を表す混合比を利用して時間解像度創造処理を行い、生成された画素データを合成部１４に出力する。拡散情報検出部１３は、第１の処理部１１より動きベクトルの供給を受け、連続する２フレームの対応する位置の画素の動きベクトルの差の絶対値を閾値と比較する。絶対値が閾値より大きい場合には、合成部１４は、その画素位置に関し、第２の処理部１２により生成された画素データを選択し、出力する。本発明は、例えば、ハードディスクレコーダに適用することができる。
【選択図】 図１

Description

本発明は、画像処理装置および方法、記録媒体並びにプログラムに関し、特に、より迅速かつ正確に、時間解像度創造処理を行うことができるようにした、画像処理装置および方法、記録媒体並びにプログラムに関する。

複数のフレームの画像信号から、補間フレームを作成することで、時間解像度創造処理を行うことができる。例えば、特許文献１の従来の技術にも開示されているように、補間フレームは、動きベクトルに基づいて生成されることが多い。
特開平７−３０８５９号公報

しかしながら、動きベクトルに誤差が発生した場合、その誤差のある動きベクトルに基づいて補間フレームが生成されてしまうため、生成された画像の動きがなめらかでなくなったり、不自然となる。

本発明は、このような状況に鑑みてなされてものであり、動きがなめらかで、自然な補間フレームを生成することができるようにするとともに、迅速に、補間フレームを生成することができるように、即ち、迅速かつ正確に、時間解像度創造処理を行うことができるようにするものである。

本発明の画像処理装置は、入力された画像データに対して第１の情報に基づいて第１の処理を施す第１の処理手段と、記第１の情報に基づいて第１の処理の適正を判定する判定手段と、入力された画像データに対して第２の情報に基づいて第２の処理を施す第２の処理手段と、第１の処理が適正と判定された場合、第１の処理の結果を選択し、第１の処理が不適正と判定された場合、第２の処理の結果を選択することで、第１の処理の結果と第２の処理の結果を合成する合成手段とを備えることを特徴とする。

前記第２の処理は第１の処理より演算量が多く、かつ、高品位の画像が得られる処理であるようにすることができる。

前記第１の処理手段は、第１の処理として、動きベクトルを第１の情報として時間解像度創造処理を行い、第２の処理手段は、第２の処理として、背景の成分の割合を表す混合比を第２の情報として時間解像度創造処理を行うようにすることができる。

前記判定手段は、隣接するフレームの対応する画素の動きベクトルの差分絶対値を閾値と比較し、動きベクトルの差分絶対値が閾値より小さい場合に第１の処理を適正と判定し、大きい場合に不適正と判定するようにすることができる。

前記第２の処理手段は、判定手段により不適正と判定された画素について第２の処理を行うようにすることができる。

本発明の画像処理方法は、入力された画像データに対して第１の情報に基づいて第１の処理を施す第１の処理ステップと、第１の情報に基づいて第１の処理の適正を判定する判定ステップと、入力された画像データに対して第２の情報に基づいて第２の処理を施す第２の処理ステップと、第１の処理が適正と判定された場合、第１の処理の結果を選択し、第１の処理が不適正と判定された場合、第２の処理の結果を選択することで、第１の処理の結果と第２の処理の結果を合成する合成ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、入力された画像データに対して第１の情報に基づいて第１の処理を施す第１の処理ステップと、第１の情報に基づいて第１の処理の適正を判定する判定ステップと、入力された画像データに対して第２の情報に基づいて第２の処理を施す第２の処理ステップと、第１の処理が適正と判定された場合、第１の処理の結果を選択し、第１の処理が不適正と判定された場合、第２の処理の結果を選択することで、第１の処理の結果と第２の処理の結果を合成する合成ステップとを含むことを特徴とする。

本発明のプログラムは、入力された画像データに対して第１の情報に基づいて第１の処理を施す第１の処理ステップと、第１の情報に基づいて第１の処理の適正を判定する判定ステップと、入力された画像データに対して第２の情報に基づいて第２の処理を施す第２の処理ステップと、第１の処理が適正と判定された場合、第１の処理の結果を選択し、第１の処理が不適正と判定された場合、第２の処理の結果を選択することで、第１の処理の結果と第２の処理の結果を合成する合成ステップとをコンピュータに実行させることを特徴とする。

本発明においては、第１の処理の適正が判定され、適正と判定された場合、第１の処理の結果が選択され、不適正と判定された場合、第２の処理の結果が選択される。

本発明によれば、時間解像度創造処理を行うことができる。特に、本発明によれば、迅速かつ正確に、時間解像度創造処理を行うことが可能になる。

以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。

［請求項１］
入力された画像データに対して第１の情報（例えば、動きベクトル）に基づいて第１の処理を施す第１の処理手段（例えば、図２のステップＳ１の動きベクトルを用いた時間解像度創造処理を実行する図１の第１の処理部１１）と、
前記第１の情報に基づいて前記第１の処理の適正を判定する判定手段（例えば、図２のステップＳ２の適正判定処理を実行する図１の拡散情報検出部１３）と、
入力された画像データに対して第２の情報（例えば、混合比α）に基づいて第２の処理を施す第２の処理手段（例えば、図２のステップＳ４の混合比αを用いた時間解像度創造処理を実行する図１の第２の処理部１２）と、
前記第１の処理が適正と判定された場合（例えば、図６のステップＳ７４で、画素位置が指定されていないと判定された場合）、前記第１の処理の結果を選択し（例えば、図６のステップＳ７６の処理）、前記第１の処理が不適正と判定された場合（例えば、図６のステップＳ７４で、画素位置が指定されていると判定された場合）、前記第２の処理の結果を選択する（例えば、図６のステップＳ７５の処理）ことで、前記第１の処理の結果と前記第２の処理の結果を合成する合成手段（例えば、図１の合成部１４）と
を備えることを特徴とする画像処理装置（例えば、図１の画像処理装置１）。

［請求項２］
前記第２の処理（例えば、図１６の第２の処理部１２の処理）は前記第１の処理（例えば、図１１の第１の処理部１１の処理）より演算量が多く、かつ、高品位の画像が得られる処理である
ことを特徴とする請求項１に記載の画像処理装置。

［請求項３］
前記第１の処理手段は、前記第１の処理として、動きベクトルを前記第１の情報として時間解像度創造処理（例えば、図１３乃至図１５の処理）を行い、
前記第２の処理手段は、前記第２の処理として、背景の成分の割合を表す混合比を前記第２の情報として時間解像度創造処理（例えば、図３８の処理）を行う
ことを特徴とする請求項２に記載の画像処理装置。

［請求項４］
前記判定手段は、隣接するフレームの対応する画素の前記動きベクトルの差分絶対値を閾値と比較し（例えば、図４のステップＳ３３，Ｓ３４、図６のステップＳ７４の処理）、前記動きベクトルの差分絶対値が前記閾値より小さい場合（例えば、図６のステップＳ７４で画素位置が指定されていないと判定された場合）に前記第１の処理を適正と判定し（例えば、図６のステップＳ７６の処理を実行し）、大きい場合（例えば、図６のステップＳ７４で画素位置が指定されていると判定された場合）に不適正と判定する（例えば、図６のステップＳ７５の処理を実行する）
ことを特徴とする請求項３に記載の画像処理装置。

［請求項５］
前記第２の処理手段は、前記判定手段により不適正と判定された画素について前記第２の処理を行う（例えば、図２のステップＳ３で画素位置が指定されたと判定された場合に、ステップＳ４の処理を実行する）
ことを特徴とする請求項４に記載の画像処理装置。

［請求項６］
入力された画像データに対して第１の情報（例えば、動きベクトル）に基づいて第１の処理を施す第１の処理ステップ（例えば、図２のステップＳ１）と、
前記第１の情報に基づいて前記第１の処理の適正を判定する判定ステップ（例えば、図２のステップＳ２）と、
入力された画像データに対して第２の情報（例えば、混合比α）に基づいて第２の処理を施す第２の処理ステップ（例えば、図２のステップＳ４）と、
前記第１の処理が適正と判定された場合（例えば、図６のステップＳ７４で、画素位置が指定されていないと判定された場合）、前記第１の処理の結果を選択し（例えば、図６のステップＳ７６の処理）、前記第１の処理が不適正と判定された場合（例えば、図６のステップＳ７４で、画素位置が指定されていると判定された場合）、前記第２の処理の結果を選択する（例えば、図６のステップＳ７５の処理）ことで、前記第１の処理の結果と前記第２の処理の結果を合成する合成ステップ（例えば、図６のステップＳ７６，Ｓ７５）と
を含むことを特徴とする画像処理方法。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明を適用した画像処理装置の機能的構成例を表している。この画像処理装置１は、第１の処理部１１、第２の処理部１２、拡散情報検出部１３、および合成部１４により構成されている。第１の処理部１１と第２の処理部１２は、いずれも時間解像度創造処理を実行し、時間方向にｎ倍（この実施の形態の場合、２倍）密度の画像データを生成する。

第１の処理部１１は、例えば、図示せぬCCD（Charge-Coupled Device）、CMOS（Complementary Metal-Oxide Semiconductor）等の撮像装置（センサ）により撮像され、入力された画像データから画素単位の動きベクトルを検出し、その動きベクトルに基づいて、時間解像度創造処理を実行する。第２の処理部１２は、各画素における背景画像の混合比αを演算し、その混合比αに基づいて、時間解像度創造処理を実行する。第１の処理部１１による時間解像度創造処理は、第２の処理部１２による場合に較べて演算量が少なく、迅速な処理が可能である。しかしながら、第１の処理部１１は、画像中に複数の移動するオブジェクトが存在する場合、その移動する複数のオブジェクトが重なる領域において、正確に動きベクトルを検出することが困難になるため、結果的に、正確な時間解像度創造処理を実行することが困難になる場合がある。これに対して、より高品位の画像を得ることができる第２の処理部１２による処理は、演算量が多く処理に時間がかかるが、混合比αは正確に演算することができるため、時間解像度創造処理を正確に行うことができる。

拡散情報検出部１３は、第１の処理部１１により検出された動きベクトルの拡散を検出する。動きベクトルの拡散とは、動きベクトルの方向と量が比較的大きく変化する場合をいう。拡散情報検出部１３は、拡散する動きベクトルを検出した場合、それに対応する画素位置を合成部１４と第２の処理部１２に出力する。合成部１４は、拡散情報検出部１３より供給された画素位置に基づいて、第１の処理部１１の時間解像度創造処理により生成された画素データと、第２の処理部１２の時間解像度創造処理により生成された画素データのいずれかを選択することで画像を合成し、図示せぬ後段の装置に出力する。

次に、図２のフローチャートを参照して、図１の画像処理装置１の時間解像度創造処理について説明する。ステップＳ１において、第１の処理部１１は、第１の方法で時間解像度創造処理を行う。その詳細は、図１１乃至図１５を参照して後述するが、これにより、動きベクトルを用いて時間解像度創造処理が行われる。例えば、時間方向に２倍密度の創造処理を行う場合には、１秒間にＮ枚のフレームの画像データから２Ｎ枚のフレームの画像データが生成される。第１の処理部１１は、時間解像度創造処理に用いた動きベクトルを拡散情報検出部１３に出力する。

拡散情報検出部１３は、ステップＳ２において、適正判定処理を行う。その詳細は、図３と図４を参照して後述するが、この処理により第１の処理部１１による時間解像度創造処理が適正（破綻するおそれがない）かどうかが判定される。拡散情報検出部１３は、第１の処理部１１による時間解像度創造処理が適正ではない（破綻するおそれがある）と判定した場合、その画素位置を第２の処理部１２と合成部１４に出力する。

そこでステップＳ３において、第２の処理部１２は、画素位置が指定されたか否かを判定する。拡散情報検出部１３により画素位置が指定されたと判定された場合（適正な時間解像度創造処理が行われないおそれがある場合）、ステップＳ４において、第２の処理部１２は、第２の方法で時間解像度創造処理を行う。この処理の詳細は、図１６乃至図３８を参照して後述するが、各画素における背景の成分の割合を表す混合比を用いて時間解像度創造処理が行われる。ステップＳ３において、画素位置が指定されていないと判定された場合（拡散情報検出部１３により、第１の処理部１１による時間解像度創造処理が適正であると判定された場合）、ステップＳ４の処理はスキップされる。

このように、第２の処理部１２は、画素位置が指定されたと判定された場合、その画素位置の画素データ関して時間解像度創造処理を行うが、画素位置が指定されない場合には、その画素に関する時間解像度創造処理を行わない。その結果、無駄な処理が行われることが防止される。

ステップＳ５において、合成部１４は合成処理を行う。この合成処理の詳細は、図５乃至図１０を参照して後述するが、これにより、第１の処理部１１の時間解像度創造処理により生成された画素データと、第２の処理部１２の時間解像度創造処理により生成された画素データのいずれか一方が選択されることで、画像が合成される。ステップＳ１において行われる動きベクトルを利用した時間解像度創造処理は、ステップＳ４で行われる混合比を用いた時間解像度創造処理に較べて演算量が少なく、迅速に行うことが可能である。これに対して、ステップＳ４で行われる混合比を用いた時間解像度創造処理は、ステップＳ１の動きベクトルを用いた時間解像度創造処理に較べて演算量が多く、処理に時間がかかるが、不適正な時間解像度創造処理が行われるおそれが少なく、より高品位の画像データを生成することが可能である。

従って、本発明によれば、原則として動きベクトルを用いた時間解像度創造処理を行うことで、迅速な処理を可能とし、そして動きベクトルを用いた時間解像度創造処理によっては、適正な時間解像度創造処理が行われないおそれがある場合には（後述する混合領域で動きベクトルが正確に検出できないおそれがある場合には）、そのおそれがない混合比を用いた時間解像度創造処理を行うようにしたので、より迅速かつ正確に時間解像度創造処理を行うことが可能となる。

ステップＳ６において、合成部１４は、ユーザより終了が指示されたか否かを判定し、指示されていない場合には、処理はステップＳ１に戻り、それ以降の処理が繰り返し実行される。終了が指示されたと判定された場合、処理は終了される。

図３は、拡散情報検出部１３の機能的構成例を表している。この拡散情報検出部１３は、動きベクトル保存部３１、演算部３２、判定部３３、および指定部３４により構成されている。

動きベクトル保存部３１は、第１の処理部１１より供給された隣接する数フレーム分の各画素位置の動きベクトルを保存する。演算部３２は、隣接するフレームの対応する画素における動きベクトルの差分の絶対値を演算する。例えば、座標（ｘ，ｙ）のｉフレームの動きベクトルを（mv_i,x，mv_i,y）とするとき、次の式（１）と式（２）の左辺の項の演算が行われる。すなわち、動きベクトルのｘ座標成分同士の差分絶対値、並びにｙ座標成分同士の差分絶対値が演算される。

判定部３３は、演算部３２により演算された結果を予め設定されている閾値と比較する。具体的には、上記式（１）と式（２）で表されるように、演算部３２より供給された左辺の項の値を、予め記憶している右辺の項のそれぞれｘ座標とｙ座標の閾値th_x，th_yと比較する。指定部３４は、判定部３３により、式（１）と式（２）で表される差分絶対値の値が閾値より大きいと判定された場合、その画素の座標（ｘ，ｙ）を画素位置として第２の処理部１２と合成部１４に出力する。

次に、図４のフローチャートを参照して、図２のステップＳ２における適正判定処理について説明する。

ステップＳ３１において、動きベクトル保存部３１は、第１の処理部１１より供給される数フレーム分の各画素位置の動きベクトルを保存する。ステップＳ３２において、演算部３２は、隣接するフレームの対応する画素の動きベクトルの差分絶対値を演算する。具体的には、式（１）と式（２）の左辺の項が演算される。即ち、ｉフレームの座標（ｘ，ｙ）の動きベクトルのｘ座標成分mv_i,xから、ｉ＋１フレームの対応する座標（ｘ，ｙ）の動きベクトルのｘ座標成分mv_i+1,xを減算し、その絶対値が演算されるとともに、ｉフレームの座標（ｘ，ｙ）の動きベクトルのｙ座標成分mv_i,yから、ｉ＋１フレームの座標（ｘ，ｙ）の動きベクトルのｙ座標成分mv_i+1,yが減算され、その絶対値が演算される。

ステップＳ３３において、判定部３３は、差分絶対値が閾値より大きいかを判定する。即ち、ステップＳ３２で演算された差分絶対値を、それぞれｘ座標とｙ座標の閾値th_x，th_yと比較することで、式（１）と式（２）の真否が判定される。差分絶対値が閾値より大きいと判定された場合、ステップＳ３４において、指定部３４は、画素位置を指定する。具体的には、ステップＳ３３において、差分絶対値が閾値より大きいと判定された画素位置の座標（ｘ、ｙ）が、第２の処理部１２と合成部１４に出力される。

ステップＳ３３において、差分絶対値が閾値と等しいか、それより小さいと判定された場合、ステップＳ３４の画素位置を指定する処理はスキップされる（実行されない）。

図５は、合成部１４の機能的構成例を表している。この実施の形態においては、合成部１４は、第１の保存部５１、画素位置保存部５２、第２の保存部５３、並びに選択部５４により構成されている。

第１の保存部５１は、第１の処理部１１の時間解像度創造処理により生成された画素データを保存する。第２の保存部５３は、第２の処理部１２の時間解像度創造処理により生成された画素データを保存する。画素位置保存部５２は、拡散情報検出部１３より出力された画素位置を保存する。選択部５４は、画素位置保存部５２により画素位置が指定（保存）されている場合、その画素位置の画素データとして、第２の保存部５３に保存されている画素データを選択し、画素位置保存部５２に画素位置が指定されていない場合、その画素位置の画素データとして、第１の保存部５１により保存されている画素データを選択することで、２つの異なる方法により生成された画素データを合成する。

次に、図６のフローチャートを参照して、合成部１４により行われる図２のステップＳ５の合成処理について説明する。

ステップＳ７１において、第１の保存部５１は、第１の方法のデータを保存する。即ち、第１の処理部１１より供給された、動きベクトルを利用した時間解像度創造処理により生成された画素データが保存される。ステップＳ７２において、第２の保存部５３は、第２の方法のデータを保存する。即ち、第２の処理部１２により出力された、混合比を利用した時間解像度創造処理により生成された画素データが保存される。ステップＳ７３において、画素位置保存部５２は、画素位置のデータを保存する。即ち、拡散情報検出部１３より出力された画素位置が保存される。

ステップＳ７４において、合成部１４は、画素位置が指定されたかを判定する。画素位置が指定されている場合、ステップＳ７５において、合成部１４は、第２の処理部１２の時間解像度創造処理により生成された画素データを選択する。ステップＳ７４において、画素位置が指定されていないと判定された場合、合成部１４は、ステップＳ７６において、第１の処理部１１の時間解像度創造処理により生成された画素データを選択する。

即ち、選択部５４は、画素位置保存部５２により画素位置が指定（保存）されている場合には、その画素位置の画素データとして、第２の保存部５３に保存されている、混合比を用いた時間解像度創造処理により生成された画素データを選択し、画素位置保存部５２により画素位置が指定されていない場合には、その画素位置の画素データとして、第１の保存部５１に保存されている、動きベクトルを用いた時間解像度創造処理により生成された画素データを選択する。換言すれば、選択部５４は、画素位置保存部５２より画素位置が指定されていない場合には、第１の保存部５１に保存されている画素データを読み出すように予め定められている。

なお、このことは、拡散情報検出部１３により、各画素毎に第１の処理部１１の出力と第２の処理部１２の出力のいずれを選択するかを指定することと等価である。

また、ステップＳ７４において、画素位置が指定されたか否かを判定することは、図４のステップＳ３３，Ｓ３４の処理で、差分絶対値が閾値より大きいと判定された場合に画素位置が指定されるところから、差分絶対値が閾値より大きい場合に、第２の処理部１２の時間解像度創造処理により生成された画素データを選択するとともに、差分絶対値が閾値と等しいか、それより小さい場合に、第１の処理部１１の時間解像度創造処理により生成された画素データを選択することと等価である。差分絶対値が閾値より大きいということは、動きベクトルを用いた時間解像度創造処理が必ずしも適正に行われない場合がある（不確かである）ことを意味する。そこで、この場合には、第１の処理部１１の時間解像度創造処理により生成された画素データを選択するのではなく、第２の処理部１２の時間解像度創造処理により生成された画素データを選択するようにするのである。このことをさらに説明すると、次のようになる。

即ち、図７に示されるように、ｎフレーム、ｎ＋１フレーム、ｎ＋２フレームと連続する３フレームにかけて、画面中で図中左側から右方向に１つの移動するオブジェクト７１が存在するとする。図７において、ｎフレーム、ｎ＋１フレーム、またはｎ＋２フレームにおいて、オブジェクト７１は、それぞれオブジェクト７１ａ、オブジェクト７１ｂ、またはオブジェクト７１ｃとして表されている。この場合、オブジェクト７１の移動速度がほぼ一定であれば、ｎフレームとｎ＋１フレームの画素データの差分を求める（比較する）ことで演算した動きベクトルMV₁，MV₂と、ｎ＋１フレームとｎ＋２フレームの画素データの差分を演算する（比較する）ことで求められた動きベクトルMV₁₁，MV₁₂は、それぞれ、その向きと大きさが近似した値となる。

これに対して、図８は、２つの移動オブジェクトが存在する場合を表している。オブジェクト８１は、ｎフレーム、ｎ＋１フレーム、およびｎ＋２フレームに、それぞれオブジェクト８１ａ、オブジェクト８１ｂ、オブジェクト８１ｃと示されるように、画面内で、図中、左から右方向に移動している。これに対して、オブジェクト８２は、ｎフレームにおいてオブジェクト８２ａ、ｎ＋１フレームにおいてオブジェクト８２ｂ、ｎ＋２フレームにおいてオブジェクト８２ｃとして示されているように、画面内で、図中、右から左方向に移動している。そして、ｎフレームにおいては、オブジェクト８１とオブジェクト８２は離間しているが、ｎ＋１フレームとｎ＋２フレームにおいては、２つのオブジェクト８１とオブジェクト８２は、画像として重なっている。

このような場合、時間的に前のｎフレームとそれより時間的に後のｎ＋１フレームの画素データを比較することで得られる動きベクトルMV₂₁乃至MV₂₄と、時間的に前のｎ＋１フレームとそれより時間的に後のｎ＋２フレームの画素データを演算して得られる動きベクトルMV₃₁乃至MV₃₃は、その向きと大きさが必ずしも近似した結果とはならない。

即ち、２つの動くオブジェクトが重なる領域に注目した場合、そこの領域の画素の動きベクトルは、あるフレームを境にして、方向が大きく変化する。例えば、図９に示されるように、ｎフレームとｎ＋１フレームにおける動きベクトルMV_n，MV_n+1は、図中右上方向を向いているが、ｎ＋２フレームとｎ＋３フレームの動きベクトルMV_n+2，MV_n+3は、左下方向を向いているといった状態が発生する。その結果、そのｘ座標成分とｙ座標成分を図示すると、図１０Ａと図１０Ｂに示されるようになる。すなわち、ｎフレームの動きベクトルMV_nとｎ＋１フレームの動きベクトルMV_n+1のｘ座標成分の差分（mv_n,x−mv_n+1,x）並びにｙ座標成分の差分（mv_n,y−mv_n+1,y）の絶対値は、比較的小さい。これに対して、ｎ＋１フレームの動きベクトルMV_n+1とｎ＋２フレームの動きベクトルMV_n+2の差は比較的大きい。即ち、（mv_n+1,x−mv_n+2,x）の絶対値、あるいは、（mv_n+1,y−mv_n+2,y）の絶対値は比較的大きい。従って、閾値th_x、th_yを適当に定めることで、このような動きベクトルの拡散（動きベクトルの向きがあるフレームを境に大きく変化すること）を検出することができる。

このように動きベクトルが拡散する場合、その動きベクトルを正確に検出することは困難になる。その結果、検出されたその動きベクトルに基づく時間解像度創造処理は、誤った処理（不正確な処理）となるおそれがある。そこで、このような場合には、動きベクトルに基づく時間解像度創造処理に代えて、混合比を用いた時間解像度創造処理を行うようにするのである。

次に、第１の処理部１１について説明する。

図１１は、第１の処理部１１の構成を示している。この第１の処理部１１は、動きベクトル検出部１１１と画像補間部１１２とにより構成されている。

動きベクトル検出部１１１は、入力されたディジタルの画像信号DS_aを１あるいは複数フレーム期間だけ遅延させて、画像信号DS_aが第ｎフレームであるとき、第ｍフレームを示す画像信号DS_bを生成する（ｍ≠ｎ）。動きベクトル検出部１１１は、この画像信号DS_aと画像信号DS_bを用いて、第ｍフレームと第ｎフレームの間に位置する仮想フレーム上の画素の動きベクトルMV_cを求めて、画像信号DS_a，DS_bと共に画像補間部１１２に供給する。画像補間部１１２は、画像信号DS_a，DS_bと動きベクトルMV_cを用いて仮想フレームの画像信号DS_cを生成して出力する。

図１２は、動きベクトル検出部１１１の構成を示している。なお、図１２に示す動きベクトル検出部１１１は、反復勾配法における勾配法の反復回数を２回として動きベクトルMV_cを求めるものである。

画像信号DS_aは、遅延部２１１、動きベクトル設定部２１２および動きベクトル算出部２１３，２１５に供給される。

遅延部２１１は、画像信号DS_aを１あるいは複数フレーム期間だけ遅延させて、画像信号DS_aが例えば第ｎフレームであるとき第ｍフレームを示す画像信号DS_bを生成し、動きベクトル設定部２１２と動きベクトル算出部２１３，２１５に供給する。

動きベクトル設定部２１２は、仮想フレーム上の画素の動きベクトルを検出する際に、演算の基準となる動きベクトルMV₀を設定して、動きベクトル算出部２１３とベクトル加算部２１４に供給する。例えば、動きベクトルを検出する仮想フレーム上の画素に隣接した画素に対して検出されている動きベクトルが動きベクトルMV₀として設定される。あるいは、動きベクトルを検出する仮想フレーム上の画素と画素位置の等しい前フレームの画素に対して検出されている動きベクトルが動きベクトルMV₀として設定される。このように、隣接する画素に対して検出されている動きベクトルや前フレームの画素に対して検出されている動きベクトルを用いることで、動きベクトルMV₀の設定を容易に行うことができる。また、動きベクトルMV₀は、検出する動きベクトルMV_cとの誤差が少ない場合が多くなり、勾配法を所定回数反覆するときの動きベクトルMV_cの検出精度を高めることができる。また、画像信号DS_a，DS_bを用いておおまかな動きベクトルを検出し、検出した動きベクトルを動きベクトルMV₀に設定するものとしても良い。

動きベクトル算出部２１３は、始点設定係数供給部２１３ａ、終点設定係数供給部２１３ｂ、乗算器２１３ｃ，２１３ｄおよび勾配法演算処理部２１３ｅを有している。始点設定係数供給部２１３ａは、動きベクトルMV₀の基準を仮想フレームとしたとき、時間的に前の第ｍフレーム上における動きベクトルMV₀の始点を判別するための係数ＫＳを生成して乗算器２１３ｃに供給する。乗算器２１３ｃは、動きベクトルMV₀に係数ＫＳを乗算して動きベクトルｈs₁として勾配法演算処理部２１３ｅに供給する。終点設定係数供給部２１３ｂは、動きベクトルMV₀の基準を仮想フレームとしたとき、時間的に後の第ｎフレーム上における動きベクトルMV₀の終点を判別するための係数ＫＥを生成して乗算器２１３ｄに供給する。乗算器２１３ｄは、動きベクトルMV₀と係数ＫＥを乗算して動きベクトルｈe₁として勾配法演算処理部２１３ｅに供給する。

第ｍフレームと第ｎフレームとの間に位置する仮想フレームが、図１３Ａに示されるように「α：（１−α）」の時間間隔比（時間位相）を有しているとき、動きベクトルMV₀の基準を例えば第ｍフレームとすると、動きベクトルMV₀の始点と終点が図１３Ｂに示されるように設定されて、仮想フレームの画素ＰＩを動きベクトルMV₀が通過しない場合が生ずる。そこで、仮想フレームの画素ＰＩを動きベクトルMV₀が通過するようにするため、始点設定係数供給部２１３ａから供給する係数ＫＳを時間位相に応じた値「−α」、終点設定係数供給部２１３ｂから供給する係数ＫＥを時間位相に応じた値「１−α」として、動きベクトルｈs₁，ｈe₁を勾配法演算処理部２１３ｅに供給して、図１３Ｃに示すように、動きベクトルMV₀の基準を仮想フレームに設定した場合における第ｍフレーム上の始点と第ｎフレーム上の終点を、動きベクトルｈs₁，ｈe₁によって判別可能とする。

勾配法演算処理部２１３ｅは、動きベクトルｈs₁，ｈe₁によって判別した第ｍフレーム上の始点と第ｎフレーム上の終点を基準として第ｍフレームと第ｎフレームに画素ブロックを設定し、第ｍフレームと第ｎフレームの画素ブロックを用いて勾配法の演算処理を行い、動きベクトルｖ_a1を算出する。この算出した動きベクトルｖ_a1は、ベクトル加算部２１４に供給される。

ベクトル加算部２１４は、動きベクトルMV₀に動きベクトルｖ_a1を加算して動きベクトルMV_a1を生成し、この動きベクトルMV_a1を動きベクトル算出部２１５とベクトル加算部２１６に供給する。

動きベクトル算出部２１５は、動きベクトル算出部２１３の始点設定係数供給部２１３ａ、終点設定係数供給部２１３ｂ、乗算器２１３ｃ，２１３ｄ、勾配法演算処理部２１３ｅと同様に、始点設定係数供給部２１５ａ、終点設定係数供給部２１５ｂ、乗算器２１５ｃ，２１５ｄ、勾配法演算処理部２１５ｅにより構成されており、動きベクトル算出部２１３が動きベクトルMV₀に基づいて動きベクトルｖ_a1を生成したのと同様に、動きベクトルMV_a1に基づいて動きベクトルｖ_a2を算出してベクトル加算部２１６に供給する。

即ち、乗算器２１５ｃは、動きベクトルMV_a1に、始点設定係数供給部２１５ａより供給される係数ＫＳを乗算することで、動きベクトルｈs₂を生成する。乗算器２１５ｄは、動きベクトルMV_a1に、終点設定係数供給部２１５ｂから供給される係数ＫＥを乗算することで、動きベクトルｈe₂を生成する。勾配法演算処理部２１５ｅは、動きベクトルｈs₂，ｈe₂によって判別した第ｍフレームの始点と第ｎフレーム上の終点を基準として、第ｍフレームと第ｎフレームに画素ブロックを設定し、第ｍフレームと第ｎフレームの画素ブロックを用いて勾配法の演算処理を行い、動きベクトルｖ_a2を算出する。この算出した動きベクトルｖ_a2は、ベクトル加算部２１６に供給される。

ベクトル加算部２１６は、動きベクトルMV_a1に動きベクトルｖ_a2を加算して動きベクトルMV_cとして画像補間部１３に供給する。

このように勾配法の反復回数を勾配法演算処理部２１３ｅと勾配法演算処理部２１５ｅの２回とすると、図１４に示すように、仮想フレームを基準として算出した動きベクトルｖ_a1，ｖ_a2が動きベクトルMV₀に加算されて、仮想フレーム上の画素ＰＩの動きベクトルMV_cを精度良く検出できる。

画像補間部１１２は、図１５に示されるように、仮想フレーム上の画素ＰＩを通過する動きベクトルMV_cの第ｍフレーム上の始点ＰＳと第ｎフレーム上の終点ＰＥを決定して、始点ＰＳの画素信号Ｄpsを第ｍフレーム上の周辺画素の画素信号を用いて求める。例えば、隣接する画素の画素信号を用いて補間を行うことで画素信号Ｄpsが算出される。同様に、終点ＰＥの画素信号Ｄpeが第ｎフレーム上の周辺画素の画素信号を用いて求められる。例えば、隣接する画素の画素信号を用いて補間を行うことで画素信号Ｄpeが算出される。さらに、算出した画素信号Ｄpsと画素信号Ｄpeを用いて仮想フレームの時間位相に応じた補間処理を行うことで、画素ＰＩの画素信号Ｄpiが算出される。例えば式(３)に示す演算処理を行うことで、仮想フレームの時間位相に応じた画素信号Ｄpiを算出する。
Ｄpi＝（１−α）Ｄps＋αＤpe ・・・(３)

このようにして生成された各画素の画素信号Ｄpiを用いて、仮想フレームの画像信号DS_cが生成されて出力される。

このように、動きベクトル算出部２１３，２１５は、仮想フレームの時間位相αに応じて動きベクトルMV₀，MV_a1の始点と終点を移動させることにより、仮想フレームを基準とした勾配法の演算処理を行うことから、仮想フレーム上の画素の動きベクトルを精度良く検出することができ、仮想フレームに対して動きベクトルを割り付ける処理が不要となる。また、動きベクトルを割り付ける処理が不要となることから構成を簡単とすることができ、機器の小型化等に効果がある。さらに、反復勾配法を用いて動きベクトルの算出が行われることから、仮想フレーム上の画素の動きベクトルを更に精度良く検出できる。

なお、図１２は勾配法の反復回数を２回とした場合の構成を示したが、動きベクトル算出部とベクトル加算部の対を勾配法の反復回数分だけ多段接続することで、反復勾配法における勾配法演算処理の反復回数を変更できる。

以上のようにして、第１の処理部１１により動きベクトルに基づいた時間解像度創造処理が行われる。

次に、第２の処理部１２について説明する。

図１６は、第２の処理部１２の構成を示すブロック図である。

なお、第２の処理部１２は、時間解像度創造処理を行うのであるが、原理的に動きボケも除去する機能を有する。

ここで、動きボケとは、撮像の対象となる、現実世界におけるオブジェクトの動きと、CCD，CMOS等のセンサの撮像の特性とにより生じる、動いているオブジェクトに対応する画像に含まれている歪みをいう。

以下の説明では、撮像の対象となる、現実世界におけるオブジェクトに対応する画像を、画像オブジェクトと称する。

第２の処理部１２に供給された入力画像は、フレームメモリ３０１、相関演算部３０３、および片側画素値生成部３０５に入力される。

フレームメモリ３０１は、入力された画像をフレーム単位で記憶し、記憶している画像をフレームメモリ３０２、相関演算部３０３、相関演算部３０４、および片側画素値生成部３０５に供給する。第２の処理部１２に入力画像のn+1フレームが入力されているとき、フレームメモリ３０１は、nフレームの画像をフレームメモリ３０２、相関演算部３０３、相関演算部３０４、および片側画素値生成部３０５に供給する。

n+1フレームは、nフレームの次のフレームであり、nフレームは、n-1フレームの次のフレームである。

フレームメモリ３０２は、フレームメモリ３０１から供給された画像をフレーム単位で記憶し、記憶している画像を相関演算部３０４、および片側画素値生成部３０５に供給する。第２の処理部１２に入力画像のn+1フレームが入力されているとき、フレームメモリ３０２は、n-1フレームの画像を相関演算部３０４、および片側画素値生成部３０５に供給する。

相関演算部３０３は、フレームメモリ３０１から供給されたnフレームの注目している画素、およびn+1フレームの対応する画素の相関値を算出して、片側画素値生成部３０５に供給する。相関演算部３０３が算出する相関値は、例えば、nフレームの注目している画素の画素値とn+1フレームの対応する画素の画素値との差分値を基に算出される。画素の画素値がより近い値であるとき、それらの画素の相関はより強いと言える。すなわち、画素値の差分値のより小さい値は、より強い相関を示す。

相関演算部３０４は、フレームメモリ３０１から供給されたnフレームの注目している画素、およびフレームメモリ３０２から供給された、n-1フレームの対応する画素の相関値を算出して、片側画素値生成部３０５に供給する。相関演算部３０４が算出する相関値は、例えば、nフレームの注目している画素の画素値とn-1フレームの対応する画素の画素値との差分値を基に算出される。

片側画素値生成部３０５は、相関演算部３０３から供給された相関値、相関演算部３０４から供給された相関値、およびn-1フレーム乃至n+1フレームの画素値を基に、nフレームに対応する、時間方向に２倍の密度の画像の一方と他方のフレームのうちの一方のフレームの画素値を生成して（時間解像度創造処理を実行して）、生成した画素値を片側画素値生成部３０６に供給する。

以下、時間方向に２倍の密度の画像を、単に、倍密画像とも称する。

また、片側画素値生成部３０５は、nフレームの画像をそのまま、片側画素値生成部３０６に供給する。

片側画素値生成部３０６は、片側画素値生成部３０５から供給された、時間方向に２倍の密度の画像の画素値およびnフレームの画像を基に、nフレームに対応する、時間方向に２倍の密度の画像の他方のフレームの画素値を生成して、生成した画素値を時間方向に２倍の密度の画像として合成部１４に出力する。

次に、図１７乃至図３３を参照して、画像処理装置１に供給される入力画像について説明する。

図１７は、センサによる撮像を説明する図である。センサ３２１は、例えば、固体撮像素子であるCCD（Charge-Coupled Device）エリアセンサなどで構成される。現実世界における、前景に対応するオブジェクト３２２は、現実世界における、背景に対応するオブジェクト３２３と、センサ３２１との間を、例えば、図中の左側から右側に水平に移動する。

センサ３２１は、前景に対応するオブジェクト３２２を、背景に対応するオブジェクト３２３と共に撮像する。センサ３２１は、撮像した画像を１フレーム単位で出力する。例えば、センサ３２１は、１秒間に３０フレームから成る画像を出力する。センサ３２１の露光時間は、１／３０秒とすることができる。露光時間は、センサ３２１が入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。

図１８は、画素の配置を説明する図である。図１８において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ３２１上に配置されている。センサ３２１が画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。

図１９に示すように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。

検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサから出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。

図２０は、このような積分効果を有するセンサに入力される光に対応する画素データを説明する図である。図２０のf(t)は、入力される光および微少な時間に対応する、時間的に理想的な画素値を示す。

図２０において、センサのシャッタ時間は、時刻t1から時刻t3までの期間であり、2tsで示す。

１つの画素データの画素値が、理想的な画素値f(t)の一様な積分で表されるとすれば、時刻t1から時刻t2までの期間に対応する画素データの画素値Y1は、式（４）で表され、時刻t2から時刻t3までの期間に対応する画素データの画素値Y2は、式（５）で表され、センサ３２１から出力される画素値Y3は、式（６）で表される。

式（６）を変形することにより、式（７）および式（８）を導くことができる。

Y1=2・Y3-Y2 （７）
Y2=2・Y3-Y1 （８）

従って、センサ３２１から出力される画素値Y3、および時刻t2から時刻t3までの期間に対応する画素データの画素値Y2が既知であれば、式（７）により、時刻t1から時刻t2までの期間に対応する画素データの画素値Y1を算出することができる。また、センサ３２１から出力される画素値Y3、および時刻t1から時刻t2までの期間に対応する画素データの画素値Y1が既知であれば、式（８）により、時刻t2から時刻t3までの期間に対応する画素データの画素値Y2を算出することができる。

このように、画素に対応する画素値と、その画素の２つの期間に対応する画素データのいずれか一方の画素値とを知ることができれば、画素の２つの期間に対応する他の画素データの画素値を算出することができる。

図２１は、動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。図２１Ａは、動きを伴う前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を示している。図２１Ａに示す例において、前景に対応するオブジェクトは、画面に対して水平に左から右に動いている。

図２１Ｂは、図２１Ａに示す画像の１つのラインに対応する画素値を時間方向に展開したモデル図である。図２１Ｂの横方向は、図２１Ａの空間方向Ｘに対応している。

背景領域３３２の画素は、背景のオブジェクトに対応する画像の成分（以下、背景の成分とも称する）のみからその画素値が構成されている。前景領域３３１の画素は、前景のオブジェクトに対応する画像の成分（以下、前景の成分とも称する）のみからその画素値が構成されている。

前景と背景が混合している混合領域の画素は、背景の成分、および前景の成分から、その画素値が構成されている。混合領域は、背景の成分、および前景の成分から、その画素値が構成されているので、歪み領域ともいえる。混合領域は、更に、カバードバックグラウンド３３４領域およびアンカバードバックグラウンド領域３３３に分類される。

カバードバックグラウンド領域３３４は、前景領域３３１に対して、前景のオブジェクトの進行方向の前端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域をいう。

これに対して、アンカバードバックグラウンド領域３３３は、前景領域３３１に対して、前景のオブジェクトの進行方向の後端部に対応する位置の混合領域であり、時間の経過に対応して背景成分が現れる領域をいう。

このように、前景領域３３１、背景領域３３２、またはカバードバックグラウンド領域３３４若しくはアンカバードバックグラウンド領域３３３を含む画像が、フレームメモリ３０１、相関演算部３０３、および片側画素値生成部３０５に入力画像として入力される。

図２２は、以上のような、背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。図２１に示す画像に対応する場合、背景領域は、静止部分であり、前景領域は、動き部分であり、混合領域のカバードバックグラウンド領域は、背景から前景に変化する部分であり、混合領域のアンカバードバックグラウンド領域は、前景から背景に変化する部分である。

図２３は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。

図２３に示すF01乃至F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図２３に示すB01乃至B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。

図２３における縦方向は、図中の上から下に向かって時間が経過する。図２３中の矩形の上辺の位置は、センサが入力された光の電荷への変換を開始する時刻に対応し、図２３中の矩形の下辺の位置は、センサが入力された光の電荷への変換を終了する時刻に対応する。すなわち、図２３中の矩形の上辺から下辺までの距離は、シャッタ時間2tsに対応する。

以下において、シャッタ時間2tsとフレーム間隔とが同一である場合を例に説明する。

図２３における横方向は、図２１で説明した空間方向Xに対応する。より具体的には、図２３に示す例において、図２３中の”F01”と記載された矩形の左辺から”B04”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。

前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される光は変化しない。

ここで、シャッタ時間2tsに対応する期間を２つ以上の同じ長さの期間に分割する。例えば、仮想分割数を４とすると、図２３に示すモデル図は、図２４に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャッタ時間2ts内での動き量vなどに対応して設定される。

動き量vは、動いているオブジェクトに対応する画像の位置の変化を画素間隔を単位として表す値である。例えば、前景に対応するオブジェクトの画像が、あるフレームを基準として次のフレームにおいて４画素分離れた位置に表示されるように移動しているとき、前景に対応するオブジェクトの画像の動き量vは、４とされる。

例えば、４である動き量vに対応して、仮想分割数は、４とされ、シャッタ時間2tsに対応する期間は４つに分割される。

図中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。

以下、動き量vに対応して分割されたシャッタ時間2tsをシャッタ時間2ts/vとも称する。

前景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、前景の成分F01/vは、画素値F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分F02/vは、画素値F02を仮想分割数で除した値に等しく、前景の成分F03/vは、画素値F03を仮想分割数で除した値に等しく、前景の成分F04/vは、画素値F04を仮想分割数で除した値に等しい。

背景に対応するオブジェクトが静止しているとき、センサに入力される光は変化しないので、背景の成分B01/vは、画素値B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分B02/vは、画素値B02を仮想分割数で除した値に等しく、B03/vは、画素値B03を仮想分割数で除した値に等しく、B04/vは、画素値B04を仮想分割数で除した値に等しい。

すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて２番目の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて３番目の、シャッタ時間2ts/vに対応する前景の成分F01/vと、シャッタが開いて４番目の、シャッタ時間2ts/vに対応する前景の成分F01/vとは、同じ値となる。F02/v乃至F04/vも、F01/vと同様の関係を有する。

背景に対応するオブジェクトが静止している場合、シャッタ時間2tsに対応する期間において、センサに入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて２番目の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて３番目の、シャッタ時間2ts/vに対応する背景の成分B01/vと、シャッタが開いて４番目の、シャッタ時間2ts/vに対応する背景の成分B01/vとは、同じ値となる。B02/v乃至B04/vも、同様の関係を有する。

次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。

図２５は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図２５において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図２５において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。

図２５において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図２５において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図２５において、最も右側の画素は、背景領域に属する。

前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間2tsに対応する期間のある時点で、背景の成分から、前景の成分に替わる。

例えば、図２５中に太線枠を付した画素値Mは、式（９）で表される。

M=B02/v+B02/v+F07/v+F06/v （９）

ここで、混合比は、後述する式（１１）に示されるように、画素値における、背景の成分の割合を示す値である。

以下、混合比は、混合比αと称する。

例えば、図２５において、左から５番目の画素は、１つのシャッタ時間2ts/vに対応する背景の成分（B01/V）を含み、３つのシャッタ時間2ts/vに対応する前景の成分（F07/V,F06/V,F05/V）を含むので、左から５番目の画素の混合比αは、1/4である。左から６番目の画素は、２つのシャッタ時間2ts/vに対応する背景の成分（B02/V,B02/V）を含み、２つのシャッタ時間2ts/vに対応する前景の成分（F07/V,F06/V）を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、３つのシャッタ時間2ts/vに対応する背景の成分（B03/V,B03/V,B03/V）を含み、１つのシャッタ時間2ts/vに対応する前景の成分（F07/V）を含むので、左から７番目の画素の混合比αは、3/4である。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図２５中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F07/vは、図２５中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F07/vは、図２５中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図２５中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図２５中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F06/vは、図２５中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F06/vは、図２５中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図２５中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図２５中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F05/vは、図２５中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vのに対応する前景の成分に等しい。同様に、前景の成分F05/vは、図２５中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図２５中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図２５中の最も左側の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分F04/vは、図２５中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F04/vは、図２５中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図２５中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。

動いているオブジェクトに対応する前景の領域は、このように動きボケを含むので、歪み領域とも言える。

図２６は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図２６において、前景の動き量vは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図２６において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。

図２６において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図２６において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図２６において、最も右側の画素は、前景領域に属する。

背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間2tsに対応する期間のある時点で、前景の成分から、背景の成分に替わる。

例えば、図２６中に太線枠を付した画素値Mは、式（１０）で表される。

M=F02/v+F01/v+B26/v+B26/v （１０）

例えば、左から５番目の画素は、３つのシャッタ時間2ts/vに対応する背景の成分（B25/V,B25/V,B25/V）を含み、１つのシャッタ時間2ts/vに対応する前景の成分（F01/V）を含むので、左から５番目の画素の混合比αは、3/4である。左から６番目の画素は、２つのシャッタ時間2ts/vに対応する背景の成分（B26/V,B26/V）を含み、２つのシャッタ時間2ts/vに対応する前景の成分（F02/V,F01/V）を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、１つのシャッタ時間2ts/vに対応する背景の成分（B27/V）を含み、３つのシャッタ時間2ts/vに対応する前景の成分（F03/V,F02/V,F01/V）を含むので、左から７番目の画素の混合比αは、1/4である。

式（９）および式（１０）をより一般化すると、画素値Mは、式（１１）で表される。

ここで、αは、混合比である。Ｂは、背景の画素値であり、Fi/vは、前景の成分である。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図２６中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F01/vは、図２６中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、F01/vは、図２６中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分と、図２６中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vに対応する前景の成分とに、それぞれ等しい。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図２６中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F02/vは、図２６中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。同様に、前景の成分F02/vは、図２６中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vに対応する前景の成分に等しい。

前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量vが４であるので、例えば、図２６中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分F03/vは、図２６中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vに対応する前景の成分に等しい。

図２４乃至図２６の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量vに対応する。動き量vは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量vは、４とされる。動き量vに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量vは、６とされ、仮想分割数は、６とされる。

図２７および図２８に、以上で説明した、前景領域、背景領域、カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域と、分割されたシャッタ時間2tsに対応する前景の成分および背景の成分との関係を示す。

図２７は、静止している背景の前を移動しているオブジェクトに対応する前景を含む画像から、前景領域、背景領域、および混合領域の画素を抽出した例を示す。図２７に示す例において、前景に対応するオブジェクトは、画面に対して水平に移動している。

n+1フレームは、nフレームの次のフレームであり、n+2フレームは、n+1フレームの次のフレームである。

nフレーム乃至n+2フレームのいずれかから抽出した、前景領域、背景領域、および混合領域の画素を抽出して、動き量vを４として、抽出された画素の画素値を時間方向に展開したモデルを図２８に示す。

前景領域の画素値は、前景に対応するオブジェクトが移動するので、シャッタ時間2ts/vの期間に対応する、４つの異なる前景の成分から構成される。例えば、図２８に示す前景領域の画素のうち最も左側に位置する画素は、F04/v,F03/v,F02/v、およびF01/vから構成される。すなわち、前景領域の画素は、動きボケを含んでいる。

背景に対応するオブジェクトが静止しているので、シャッタ時間2tsに対応する期間において、センサに入力される背景に対応する光は変化しない。この場合、背景領域の画素値は、動きボケを含まない。

カバードバックグラウンド領域若しくはアンカバードバックグラウンド領域から成る混合領域に属する画素の画素値は、前景の成分と、背景の成分とから構成される。

次に、オブジェクトに対応する画像が動いているとき、複数のフレームにおける、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデルについて説明する。例えば、オブジェクトに対応する画像が画面に対して水平に動いているとき、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。

図２９は、静止している背景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。nフレームは、n-1フレームの次のフレームであり、n+1フレームは、nフレームの次のフレームである。

図２９に示すB01乃至B12の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。背景に対応するオブジェクトが静止しているので、n-1フレーム乃至フレームn+1において、対応する画素の画素値は、変化しない。例えば、n-1フレームにおけるB05の画素値を有する画素の位置に対応する、nフレームにおける画素、およびn+1フレームにおける画素は、それぞれ、B05の画素値を有する。

図３０は、静止している背景に対応するオブジェクトと共に図中の右側に移動する前景に対応するオブジェクトを撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図３０に示すモデルは、カバードバックグラウンド領域を含む。

図３０において、前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、前景の動き量vは、４であり、仮想分割数は、４である。

例えば、図３０中のn-1フレームの最も左側の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図３０中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図３０中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図３０中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。

図３０中のn-1フレームの最も左側の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分は、F11/vとなり、図３０中の左から２番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図３０中の左から３番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F11/vとなる。

図３０中のn-1フレームの最も左側の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分は、F10/vとなり、図３０中の左から２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図３０中のn-1フレームの最も左側の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。

背景に対応するオブジェクトが静止しているので、図３０中のn-1フレームの左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B01/vとなる。図３０中のn-1フレームの左から３番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B02/vとなる。図３０中のn-1フレームの左から４番目の画素の、シャッタが開いて最初乃至３番目のシャッタ時間2ts/vの背景の成分は、B03/vとなる。

図３０中のn-1フレームにおいて、最も左側の画素は、前景領域に属し、左側から２番目乃至４番目の画素は、カバードバックグラウンド領域である混合領域に属する。

図３０中のn-1フレームの左から５番目の画素乃至１２番目の画素は、背景領域に属し、その画素値は、それぞれ、B04乃至B11となる。

図３０中のnフレームの左から１番目の画素乃至５番目の画素は、前景領域に属する。nフレームの前景領域における、シャッタ時間2ts/vの前景の成分は、F05/v乃至F12/vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図３０中のnフレームの左から５番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図３０中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図３０中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図３０中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。

図３０中のnフレームの左から５番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分は、F11/vとなり、図３０中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図３０中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F11/vとなる。

図３０中のnフレームの左から５番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分は、F10/vとなり、図３０中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図３０中のnフレームの左から５番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。

背景に対応するオブジェクトが静止しているので、図３０中のnフレームの左から６番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B05/vとなる。図３０中のnフレームの左から７番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B06/vとなる。図３０中のnフレームの左から８番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間2ts/vの背景の成分は、B07/vとなる。

図３０中のnフレームにおいて、左側から６番目乃至８番目の画素は、カバードバックグラウンド領域である混合領域に属する。

図３０中のnフレームの左から９番目の画素乃至１２番目の画素は、背景領域に属し、画素値は、それぞれ、B08乃至B11となる。

図３０中のn+1フレームの左から１番目の画素乃至９番目の画素は、前景領域に属する。n+1フレームの前景領域における、シャッタ時間2ts/vの前景の成分は、F01/v乃至F12/vのいずれかである。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図３０中のn+1フレームの左から９番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F12/vとなり、図３０中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F12/vとなる。図３０中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図３０中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F12/vとなる。

図３０中のn+1フレームの左から９番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの期間の前景の成分は、F11/vとなり、図３０中の左から１０番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分も、F11/vとなる。図３０中の左から１１番目の画素の、シャッタが開いて４番目の、シャッタ時間2ts/vの前景の成分は、F11/vとなる。

図３０中のn+1フレームの左から９番目の画素の、シャッタが開いて３番目の、シャッタ時間2ts/vの前景の成分は、F10/vとなり、図３０中の左から１０番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分も、F10/vとなる。図３０中のn+1フレームの左から９番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F09/vとなる。

背景に対応するオブジェクトが静止しているので、図３０中のn+1フレームの左から１０番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの背景の成分は、B09/vとなる。図３０中のn+1フレームの左から１１番目の画素の、シャッタが開いて最初および２番目のシャッタ時間2ts/vの背景の成分は、B10/vとなる。図３０中のn+1フレームの左から１２番目の画素の、シャッタが開いて最初乃至３番目の、シャッタ時間2ts/vの背景の成分は、B11/vとなる。

図３０中のn+1フレームにおいて、左側から１０番目乃至１２番目の画素は、カバードバックグラウンド領域である混合領域に対応する。

図３１は、図３０に示す画素値から前景の成分を抽出した画像のモデル図である。

図３２は、静止している背景と共に図中の右側に移動するオブジェクトに対応する前景を撮像した画像の３つのフレームの、隣接して１列に並んでいる画素であって、フレーム上で同一の位置の画素の画素値を時間方向に展開したモデル図である。図３２において、アンカバードバックグラウンド領域が含まれている。

図３２において、前景に対応するオブジェクトは、剛体であり、かつ等速で移動していると仮定できる。前景に対応するオブジェクトが、次のフレームにおいて４画素分右側に表示されるように移動しているので、動き量vは、４である。

例えば、図３２中のn-1フレームの最も左側の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分は、F13/vとなり、図３２中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図３２中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図３２中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。

図３２中のn-1フレームの左から２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図３２中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図３２中の左から３番目の画素の、シャッタが開いて最初の、シャッタ時間2ts/vの前景の成分は、F15/vとなる。

背景に対応するオブジェクトが静止しているので、図３２中のn-1フレームの最も左側の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間2ts/vの背景の成分は、B25/vとなる。図３２中のn-1フレームの左から２番目の画素の、シャッタが開いて３番目および４番目の、シャッタ時間2ts/vの背景の成分は、B26/vとなる。図３２中のn-1フレームの左から３番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B27/vとなる。

図３２中のn-1フレームにおいて、最も左側の画素乃至３番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図３２中のn-1フレームの左から４番目の画素乃至１２番目の画素は、前景領域に属する。フレームの前景の成分は、F13/v乃至F24/vのいずれかである。

図３２中のnフレームの最も左側の画素乃至左から４番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B28となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図３２中のnフレームの左から５番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F13/vとなり、図３２中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図３２中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図３２中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。

図３２中のnフレームの左から６番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図３２中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図３２中の左から８番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F15/vとなる。

背景に対応するオブジェクトが静止しているので、図３２中のnフレームの左から５番目の画素の、シャッタが開いて２番目乃至４番目のシャッタ時間2ts/vの背景の成分は、B29/vとなる。図３２中のnフレームの左から６番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間2ts/vの背景の成分は、B30/vとなる。図３２中のnフレームの左から７番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B31/vとなる。

図３２中のnフレームにおいて、左から５番目の画素乃至７番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図３２中のnフレームの左から８番目の画素乃至１２番目の画素は、前景領域に属する。nフレームの前景領域における、シャッタ時間2ts/vの期間に対応する値は、F13/v乃至F20/vのいずれかである。

図３２中のn+1フレームの最も左側の画素乃至左から８番目の画素は、背景領域に属し、画素値は、それぞれ、B25乃至B32となる。

前景に対応するオブジェクトが、剛体であり、等速で移動すると仮定でき、前景の画像が次のフレームにおいて４画素右側に表示されるように移動するので、図３２中のn+1フレームの左から９番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F13/vとなり、図３２中の左から１０番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F13/vとなる。図３２中の左から１１番目の画素の、シャッタが開いて３番目のシャッタ時間2ts/vの前景の成分、および図３２中の左から１２番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの前景の成分は、F13/vとなる。

図３２中のn+1フレームの左から１０番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F14/vとなり、図３２中の左から１１番目の画素の、シャッタが開いて２番目のシャッタ時間2ts/vの前景の成分も、F14/vとなる。図３２中の左から１２番目の画素の、シャッタが開いて最初のシャッタ時間2ts/vの前景の成分は、F15/vとなる。

背景に対応するオブジェクトが静止しているので、図３２中のn+1フレームの左から９番目の画素の、シャッタが開いて２番目乃至４番目の、シャッタ時間2ts/vの背景の成分は、B33/vとなる。図３２中のn+1フレームの左から１０番目の画素の、シャッタが開いて３番目および４番目のシャッタ時間2ts/vの背景の成分は、B34/vとなる。図３２中のn+1フレームの左から１１番目の画素の、シャッタが開いて４番目のシャッタ時間2ts/vの背景の成分は、B35/vとなる。

図３２中のn+1フレームにおいて、左から９番目の画素乃至１１番目の画素は、アンカバードバックグラウンド領域である混合領域に属する。

図３２中のn+1フレームの左から１２番目の画素は、前景領域に属する。n+1フレームの前景領域における、シャッタ時間2ts/vの前景の成分は、F13/v乃至F16/vのいずれかである。

図３３は、図３２に示す画素値から前景の成分を抽出した画像のモデル図である。

次に、混合領域に属する画素を対象とした、倍密画像を生成する処理について説明する。

図３４のnフレームにおいて、画素ａ乃至画素cは、混合領域に属する。

nフレームの画素aの画素値Maは、式（１２）に示される。

Ma=B07/4+B07/4+B07/4+F12/4 （１２）

画素aに対応する倍密画像の画素値Ma1（時間的に前のフレームの画素値）および画素値Ma2（時間的に後のフレームの画素値）は、それぞれ式（１３）および式（１４）で表される。式（１３）および式（１４）において、前景の成分または背景の成分に、ゲイン調整のための係数2が乗じられている。

Ma1=2×(B07/4+B07/4)
=B07/2+B07/2
=B07 （１３）
Ma2=2×(B07/4+F12/4)
=B07/2+F12/2 （１４）

式（１３）より、画素aに対応する、背景側（時間的に前のフレーム）の倍密画像の画素値Ma1に、n-1フレームの対応する画素の画素値B07を設定すればよいことがわかる。

画素aに対応する、前景側（時間的に後のフレーム）の倍密画像の画素値Ma2は、式（７）または式（８）を変形した式（１５）から算出できる。

Ma2=2×Ma-Ma1 （１５）

図３５に、混合領域に属する画素であって、背景の成分をより多く含む画素の画素値、対応する前または後のフレームの画素の画素値、倍密画像の画素値、および時間的に理想的な画素値との関係を示す。

nフレームの混合領域に属する画素が背景の成分をより多く含むとき、図３５に示すように、背景側の倍密画像の画素値に、n-1フレームの対応する背景領域に属する画素の画素値が設定される。図３５において、背景側の倍密画像は、n-1フレーム側（時間的に前のフレーム側）に位置する。

nフレームの混合領域に属する画素が背景の成分をより多く含むとき、対応する前景側の倍密画像の画素値は、式（７）または式（８）を基に、nフレームの混合領域に属する画素の画素値、および設定された背景側の倍密画像の画素値から算出される。図３５において、前景側の倍密画像は、n+1フレーム側（時間的に後のフレーム側）に位置する。

同様に、nフレームの画素bに対応する、背景側の倍密画像の画素値Mb1に、式（１６）に示すように、n-1フレームの対応する画素の画素値B06が設定される。nフレームの画素bに対応する、前景側の倍密画像の画素値Mb2は、式（１７）から算出される。

Mb1=2×(B06/4+B06/4)
=B06/2+B06/2
=B06 （１６）
Mb2=2×Mb-Mb1 （１７）

画素cの画素値Mcは、式（１８）に示される。

Mc=B05/4+F12/4+F11/4+F10/4 （１８）

nフレームの画素cに対応する倍密画像の画素値Mc1および画素値Mc2は、それぞれ式（１９）および式（２０）で表される。式（１９）および式（２０）において、前景の成分または背景の成分に、ゲイン調整のための係数2が乗じられている。

Mc1=2×(B05/4+F12/4)
=B05/2+F12/2 （１９）
Mc2=2×(F11/4+F10/4)
=F11/2+F10/2 （２０）

ここで、前景の成分の空間相関を利用して、式（２１）が成立するとする。

F=F11=F10=F09=F08=F07=F06 （２１）

式（２１）より、F09/4+F08/4+F07/4+F06/4＝Fであるから、画素cに対応するn+1フレームの画素値は、画素値Fに等しい。

従って、式（２２）が成立する。

Mc2=F11/2+F10/2
=F （２２）

画素cに対応する、背景側の倍密画像の画素値Mc1は、式（７）または式（８）を変形した式（２３）から算出できる。

Mc1=2×Mc-Mc2 （２３）

図３６に、混合領域に属する画素であって、前景の成分をより多く含む画素の画素値、対応する前または後のフレームの画素の画素値、倍密画像の画素値、および時間的に理想的な画素値との関係を示す。

nフレームの混合領域に属する画素が前景の成分をより多く含むとき、図３６に示すように、前景側の倍密画像の画素値に、n+1フレームの対応する前景領域に属する画素の画素値が設定される。図３６において、前景側の倍密画像は、n+1フレーム側に位置する。

nフレームの混合領域に属する画素が前景の成分をより多く含むとき、対応する背景側の倍密画像の画素値は、式（７）または式（８）を基に、nフレームの混合領域に属する画素の画素値、および設定された前景側の倍密画像の画素値から算出される。図３６において、背景側の倍密画像は、n-1フレーム側に位置する。

このように、例えば、動き量vが４であるとき、混合領域に属する画素であって、背景の成分を２つまたは３つ含むものに対応する倍密画像の画素値を生成する場合、背景側の倍密画像の画素値に、前または後のフレームの背景の画素値を設定し、前景側の倍密画像の画素値を、式（７）または式（８）を基に算出する。

動き量vが４であるとき、混合領域に属する画素であって、背景の成分を１つ含むものに対応する倍密画像の画素値を生成する場合、前景側の倍密画像の画素値に、前または後のフレームの前景の画素値を設定し、背景側の倍密画像の画素値を、式（７）または式（８）を基に算出する。

より一般的に説明すれば、混合領域に属する画素が、対応する前景領域に属する画素との相関に比較して、対応する背景領域に属する画素との相関が強いとき、背景側の倍密画像の画素値に、対応する背景領域に属する画素の画素値を設定し、前景側の倍密画像の画素値を、式（７）または式（８）を基に算出する。混合領域に属する画素が、対応する背景領域に属する画素との相関に比較して、対応する前景領域に属する画素との相関が強いとき、前景側の倍密画像の画素値に、対応する前景領域に属する画素の画素値を設定し、背景側の倍密画像の画素値を、式（７）または式（８）を基に算出する。

このように、片側画素値生成部３０５は、混合領域に属する画素について、倍密画像を生成するとき、図３７に示すように、注目する画素が背景の成分をより多く含む場合、すなわち、注目する画素が背景の画素とより相関が強い場合、背景側の倍密画像の画素値に、対応する背景の画素値を設定して（例えば、式（１３）に示されるように、Ma1にB０７を設定して）、式（７）または式（８）を基に、前景側の倍密画像の画素値を生成する（例えば、式（１５）に示されるように、Ma2をMa,Ma1から生成する）。

画像処理装置は、混合領域に属する画素について、倍密画像を生成するとき、図３７に示すように、注目する画素が前景の成分をより多く含む場合、すなわち、注目する画素が前景の画素とより相関が強い場合、前景側の倍密画像の画素値に、対応する前景の画素値を設定して（例えば、式（２２）に示されるように、Mc2にFを設定して）、式（７）または式（８）を基に、背景側の倍密画像の画素値を生成する（例えば、式（２３）に示されるように、Mc1をMc,Mc2から生成する）。

図３８のフローチャートを参照して、第２の処理部１２による、時間方向に２倍の密度の画像を生成する時間解像度創造の処理の例を説明する。

ステップＳ９１において、フレームメモリ３０１およびフレームメモリ３０２は、シャッタ時間が2tsの画像を取得する。取得された画像は、フレーム単位で遅延されて、フレーム毎に相関演算部３０３または相関演算部３０４に供給される。

ステップＳ９２において、相関演算部３０３は、注目しているフレームの画素と次のフレームの対応する画素間で、画素値の差分の絶対値を算出して、算出した画素値の差分の絶対値を片側画素値生成部３０５に供給する。相関演算部３０４は、注目しているフレームの画素と前のフレームの対応する画素間で、画素値の差分の絶対値を算出して、算出した画素値の差分の絶対値を片側画素値生成部３０５に供給する。

ステップＳ９３において、片側画素値生成部３０５は、相関演算部３０３から供給された画素値の差分の絶対値、および相関演算部３０４から供給された画素値の差分の絶対値を基に、差分の絶対値の小さい画素値を倍密画像の片側の画素値に設定する（式（７）または式（８）の右辺のY2またはY1として設定する）。片側画素値生成部３０５は、差分の絶対値の小さい画素値を設定した倍密画像を片側画素値生成部３０６に供給する。

ステップＳ９４において、片側画素値生成部３０６は、注目しているフレームの画素、および片側画素値生成部３０５から供給された差分の絶対値の小さい画素値が設定された倍密画像から、CCDの特性を基にした演算により、倍密画像の（シャッタ時間がtsの）画素値を生成する（式（７）または式（８）の右辺のY3にnフレームの画素を代入して、左辺のY1またはY2を演算する）。

ステップＳ９５において、片側画素値生成部３０６は、生成した画素値からなるシャッタ時間がtsの倍密画像を合成部１４に出力して、処理は終了する。

このように、シャッタ時間が2tsの画像から、シャッタ時間がtsの倍密画像を生成して、出力することができる。

なお、以上においては、時間方向に２倍の密度の画像を生成するとして説明したが、上述した処理を繰り返すことにより、時間方向に４倍、８倍、または１６倍等の密度の画像を生成することができる。

また、前景となるオブジェクトの動きの方向は左から右として説明したが、その方向に限定されないことは勿論である。

以上のようにして、第２の処理部１２により時間解像度創造処理が行われる。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。この場合、例えば、画像処理装置は、図３９に示されるようなパーソナルコンピュータにより構成される。

図３９において、CPU（Central Processing Unit）４２１は、ROM（Read Only Memory）４２２に記憶されているプログラム、または記憶部４２８からRAM（Random Access Memory）４２３にロードされたプログラムに従って各種の処理を実行する。RAM４２３にはまた、CPU４２１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU４２１、ROM４２２、およびRAM４２３は、バス４２４を介して相互に接続されている。このバス４２４にはまた、入出力インタフェース４２５も接続されている。

入出力インタフェース４２５には、キーボード、マウスなどよりなる入力部４２６、CRT(Cathode Ray Tube)、LCD(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部４２７、ハードディスクなどより構成される記憶部４２８、モデムなどより構成される通信部４２９が接続されている。通信部４２９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース４２５にはまた、必要に応じてドライブ４３０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４３１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４２８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図３９に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４２２や、記憶部４２８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明は、ハードディスクレコーダ、ビデオテープレコーダなどに適用することが可能である。

本発明を適用した画像処理装置の機能的構成例を示すブロック図である。 図１の画像処理装置の時間解像度創造処理を説明するフローチャートである。 図１の拡散情報検出部の機能的構成例を示すブロック図である。 図２のステップＳ２における適正判定処理の詳細を説明するフローチャートである。 図１の合成部の機能的構成例を示すブロック図である。 図２のステップＳ５の合成処理の詳細を説明するフローチャートである。 １つのオブジェクトが移動する場合における動きベクトルを説明する図である。 ２つの移動するオブジェクトが重なる場合における動きベクトルを説明する図である。 移動する２つのオブジェクトが重なる領域の動きベクトルを説明する図である。 移動する２つのオブジェクトが重なる領域の動きベクトルを説明する図である。 図１の第１の処理部の機能的構成を示すブロック図である。 図１１の動きベクトル検出部の機能的構成例を示すブロック図である。 動きベクトルの始点と終点を説明する図である。 動きベクトル検出部の動作を説明する図である。 画像補間の動作を説明する図である。 図１の第２の処理部の機能的構成例を示すブロック図である。 センサによる撮像を説明する図である。 画素の配置を説明する図である。 検出素子の動作を説明する図である。 積分効果を有するセンサに入力される光に対応する画素データを説明する図である。 動いている前景に対応するオブジェクトと、静止している背景に対応するオブジェクトとを撮像して得られる画像を説明する図である。 背景領域、前景領域、混合領域、カバードバックグラウンド領域、およびアンカバードバックグラウンド領域を説明する図である。 静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開した図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割した図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割した図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割した図である。 前景領域、背景領域、および混合領域の画素を抽出した例を示す図である。 画素と画素値を時間方向に展開したモデルとの対応を示す図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割した図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割した図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割した図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割した図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割した図である。 混合領域に属する画素に対する処理を説明する図である。 混合領域に属する画素と時間的に理想的な画素値との関係を示す図である。 混合領域に属する画素と時間的に理想的な画素値との関係を示す図である。 混合領域における相関を説明する図である。 図１６の第２の処理部の時間解像度創造処理を説明するフローチャートである。 パーソナルコンピュータの構成を説明するブロック図である。

符号の説明

１ 画像処理装置， １１ 第１の処理部， １２ 第２の処理部， １３ 拡散情報検出部， １４ 合成部， ３１ 動きベクトル保存部， ３２ 演算部， ３３ 判定部， ３４ 指定部， ５１ 第１の保存部， ５２ 画像位置保存部， ５３ 第２の保存部， ５４ 選択部

Claims (8)

1. 入力された画像データに対して第１の情報に基づいて第１の処理を施す第１の処理手段と、
   前記第１の情報に基づいて前記第１の処理の適正を判定する判定手段と、
   入力された画像データに対して第２の情報に基づいて第２の処理を施す第２の処理手段と、
   前記第１の処理が適正と判定された場合、前記第１の処理の結果を選択し、前記第１の処理が不適正と判定された場合、前記第２の処理の結果を選択することで、前記第１の処理の結果と前記第２の処理の結果を合成する合成手段と
   を備えることを特徴とする画像処理装置。
2. 前記第２の処理は前記第１の処理より演算量が多く、かつ、高品位の画像が得られる処理である
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の処理手段は、前記第１の処理として、動きベクトルを前記第１の情報として時間解像度創造処理を行い、
   前記第２の処理手段は、前記第２の処理として、背景の成分の割合を表す混合比を前記第２の情報として時間解像度創造処理を行う
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、隣接するフレームの対応する画素の前記動きベクトルの差分絶対値を閾値と比較し、前記動きベクトルの差分絶対値が前記閾値より小さい場合に前記第１の処理を適正と判定し、大きい場合に不適正と判定する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の処理手段は、前記判定手段により不適正と判定された画素について前記第２の処理を行う
   ことを特徴とする請求項４に記載の画像処理装置。
6. 入力された画像データに対して第１の情報に基づいて第１の処理を施す第１の処理ステップと、
   前記第１の情報に基づいて前記第１の処理の適正を判定する判定ステップと、
   入力された画像データに対して第２の情報に基づいて第２の処理を施す第２の処理ステップと、
   前記第１の処理が適正と判定された場合、前記第１の処理の結果を選択し、前記第１の処理が不適正と判定された場合、前記第２の処理の結果を選択することで、前記第１の処理の結果と前記第２の処理の結果を合成する合成ステップと
   を含むことを特徴とする画像処理方法。
7. 入力された画像データに対して第１の情報に基づいて第１の処理を施す第１の処理ステップと、
   前記第１の情報に基づいて前記第１の処理の適正を判定する判定ステップと、
   入力された画像データに対して第２の情報に基づいて第２の処理を施す第２の処理ステップと、
   前記第１の処理が適正と判定された場合、前記第１の処理の結果を選択し、前記第１の処理が不適正と判定された場合、前記第２の処理の結果を選択することで、前記第１の処理の結果と前記第２の処理の結果を合成する合成ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
8. 入力された画像データに対して第１の情報に基づいて第１の処理を施す第１の処理ステップと、
   前記第１の情報に基づいて前記第１の処理の適正を判定する判定ステップと、
   入力された画像データに対して第２の情報に基づいて第２の処理を施す第２の処理ステップと、
   前記第１の処理が適正と判定された場合、前記第１の処理の結果を選択し、前記第１の処理が不適正と判定された場合、前記第２の処理の結果を選択することで、前記第１の処理の結果と前記第２の処理の結果を合成する合成ステップと
   をコンピュータに実行させることを特徴とするプログラム。

Images