JP2005202706A - 動体を含まない画像の合成処理 - Google Patents
動体を含まない画像の合成処理 Download PDFInfo
- Publication number
- JP2005202706A JP2005202706A JP2004008592A JP2004008592A JP2005202706A JP 2005202706 A JP2005202706 A JP 2005202706A JP 2004008592 A JP2004008592 A JP 2004008592A JP 2004008592 A JP2004008592 A JP 2004008592A JP 2005202706 A JP2005202706 A JP 2005202706A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- moving object
- area
- frame image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】 画像内の動体を検出して確実に動体を含まない画像を生成することを可能とする。
【解決手段】 画像生成装置は、基準画像データを設定する基準画像設定部と、基準画像データと1つの画像データとを用いて、基準画像内の動体を検出し、基準画像内の動体を内包する動体領域を設定する動体検出部とを備えている。また、画像生成装置は、複数の画像データの表す画像の中から、基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、検出された画像を置換領域画像として設定する置換領域画像検出部と、基準画像データの内、基準画像内の動体領域を除く画像領域の画像を表す画像データと、置換領域画像を表す画像データとを用いて、動体を含まない画像を表す画像データを合成する画像合成部とを備えている。
【選択図】 図3
【解決手段】 画像生成装置は、基準画像データを設定する基準画像設定部と、基準画像データと1つの画像データとを用いて、基準画像内の動体を検出し、基準画像内の動体を内包する動体領域を設定する動体検出部とを備えている。また、画像生成装置は、複数の画像データの表す画像の中から、基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、検出された画像を置換領域画像として設定する置換領域画像検出部と、基準画像データの内、基準画像内の動体領域を除く画像領域の画像を表す画像データと、置換領域画像を表す画像データとを用いて、動体を含まない画像を表す画像データを合成する画像合成部とを備えている。
【選択図】 図3
Description
本発明は、複数の画像データから、動体を含まない画像を表す画像データを合成する技術に関する。
カメラなどの画像生成装置で風景や静物を撮影するとき、近くに通行している人や自動車など(動体)が存在していると、それが邪魔になって、ユーザーの希望する画像が得られない場合がある。また、そのような場合に、ビデオカメラなどの動画像生成装置を用いて所定時間撮影を行ったとしても、動体を含まない画像が得られない場合がある。
このような場合に、動体を含まない画像を生成する技術として、動画像を構成する複数のフレーム画像について各対応画素毎に画素データのヒストグラムを取り、各画素毎に最も出現頻度の高い画素データを選択することにより、動体を含まない画像を生成する技術がある。
しかし、上記のような技術では、フレーム画像内の動体を検出している訳ではないので、種々の画像に対して確実に動体を消去して動体を含まない画像を生成することが困難であるという問題があった。
本発明は、上述した従来の課題を解決するためになされたものであり、画像内の動体を検出して確実に動体を含まない画像を生成することを可能とする技術を提供することを目的とする。
上記課題を解決するために、本発明の画像生成装置は、複数の画像データから1つの画像データを合成する画像生成装置であって、
前記複数の画像データの中の1つの画像データを基準画像データとして設定する基準画像設定部と、
前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも1つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する動体検出部と、
前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する置換領域画像検出部と、
前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する画像合成部とを備える。
前記複数の画像データの中の1つの画像データを基準画像データとして設定する基準画像設定部と、
前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも1つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する動体検出部と、
前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する置換領域画像検出部と、
前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する画像合成部とを備える。
この画像生成装置は、基準画像内の動体を検出して動体領域を設定し、基準画像データ以外の画像データから、動体を含まない画像である置換領域画像を検出して、動体を含まない画像を合成する。このように、この画像生成装置によれば、画像内の動体を検出して確実に動体を含まない画像を生成することができる。
上記画像生成装置において、前記動体検出部は、動体検出に用いる画像データの表す画像相互の画像全体としてのずれ量を推定し、前記推定したずれ量を用いて、前記画像データの内の少なくとも1つの画像データを補正するずれ補正部を備えるとしてもよい。
このようにすれば、基準画像内の動体の検出を正確かつ迅速に行うことができると共に、生成する動体を含まない画像をより自然な画像とすることができる。
また、上記画像生成装置において、前記動体検出部は、前記動体領域の設定を、前記基準画像を分割して得られる基準ブロック単位で行い、
前記置換領域画像検出部は、前記置換領域画像の検出を前記基準ブロック単位で行うとしてもよい。
前記置換領域画像検出部は、前記置換領域画像の検出を前記基準ブロック単位で行うとしてもよい。
このようにすれば、基準画像内の動体領域の設定や置換領域画像の検出を正確かつ迅速に行うことができると共に、画像生成処理の高速化を図ることができる。
また、上記画像生成装置において、前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データであるとしてもよい。
このようにすれば、動画像中の任意のフレーム画像を基準として、動体を含まない画像を生成することができる。
また、上記画像生成装置において、前記動体検出部による動体の検出は、前記基準画像データと、前記基準画像データと時系列的に連続しているフレーム画像データとを用いて行うとしてもよい。
このようにすれば、両フレーム画像データ間における、画像全体としてのずれの影響が比較的少ない上、非動体の画像を表す画像領域の画素値の変化も比較的少ないため、迅速かつ確実に動体の検出を行うことができることができる。
また、上記画像生成装置において、前記置換領域画像検出部による置換領域画像の探索は、前記基準画像データと生成時刻がより近いフレーム画像データの表す画像内を優先的に探索するとしてもよい。
このようにすれば、基準画像データと生成時刻がより近いフレーム画像データの表す画像から置換領域画像が検出されやすく、そのような置換領域画像を用いて画像を合成すれば、より自然な画像を生成することができる。
また、上記画像生成装置において、前記置換領域画像検出部による置換領域画像の探索は、前記基準画像データの生成時刻から所定時間離れた時刻に生成されたフレーム画像データの表す画像内を優先的に探索するとしてもよい。
このようにすれば、基準画像内に動きの遅い動体を表す画像領域があるときも、置換領域画像の検出を迅速に行うことができる。
また、上記画像生成装置において、前記画像合成部における画像データの合成は、前記置換領域画像を表す画像データを含む前記複数の画像データの中の少なくとも1つの画像データの内、前記基準画像内の動体領域に対応する画像領域以外の画像領域における動体を含まない画像を表す画像データを用いて行うとしてもよい。
このようにすれば、置換換領域画像を表す画像データを含む画像データの内、基準画像内の動体領域に対応する画像領域の画像を表す画像データだけでなく、それ以外の画像領域の画像を表す画像データを用いて、画像合成を行うことができ、より自然な画像を容易に生成することができる。
さらに、前記合成される画像データは、前記複数の画像データよりも解像度の高い画像データであるとしてもよい。
このようにすれば、動体を含まない画像を解像度の高い画像として生成することができると共に、より自然な画像を生成することができる。
なお、本発明は、種々の態様で実現することが可能であり、例えば、画像生成方法および装置、画像データ処理方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。
次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
A.第1実施例:
A−1.画像生成システムの構成:
A−2.画像生成処理の概要:
A−3.基準フレーム画像内の動体検出:
A−4.ずれ補正:
A−5.置換領域画像の検出:
A−6.画像合成:
B.変形例:
A.第1実施例:
A−1.画像生成システムの構成:
A−2.画像生成処理の概要:
A−3.基準フレーム画像内の動体検出:
A−4.ずれ補正:
A−5.置換領域画像の検出:
A−6.画像合成:
B.変形例:
A.第1実施例:
A−1.画像生成システムの構成:
図1は、本発明の第1実施例としての画像生成システムの構成を概略的に示した説明図である。この画像生成システム100は、コンピュータ10と、コンピュータ10に情報を入力する装置としてのキーボード120およびマウス130と、情報を出力する装置としてのディスプレイ150およびプリンタ20と、コンピュータ10に動画像データを入力するデジタルビデオカメラ30およびCD−R/RWドライブ140とを備えている。なお、動画像データを入力する装置としては、DVDドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。
A−1.画像生成システムの構成:
図1は、本発明の第1実施例としての画像生成システムの構成を概略的に示した説明図である。この画像生成システム100は、コンピュータ10と、コンピュータ10に情報を入力する装置としてのキーボード120およびマウス130と、情報を出力する装置としてのディスプレイ150およびプリンタ20と、コンピュータ10に動画像データを入力するデジタルビデオカメラ30およびCD−R/RWドライブ140とを備えている。なお、動画像データを入力する装置としては、DVDドライブ等の種々の情報記憶媒体からデータを読み出すことが可能な駆動装置を備えることも可能である。
コンピュータ10は、所定のオペレーティングシステムの下で、画像データを生成するためのアプリケーションプログラムを実行することにより、画像内に動体を含まない画像を表す画像データの生成を行う。このアプリケーションプログラムは、画像生成制御部11と、フレーム画像取得部12と、基準画像設定部13と、ずれ補正部14と、動体検出部15と、置換領域画像検出部16と、画像合成部17との機能を有している。
画像生成制御部11は、画像生成処理の全体を制御する。例えば、キーボード120やマウス130からユーザによって画像データの生成の指示が入力されると、画像生成制御部11は各部の動作を制御して、画像内に動体を含まない画像を表す画像データを生成する。さらに、画像生成制御部11は、生成された画像データを、図示しないプリンタドライバを介してプリンタ20に印刷させることもできる。
なお、本明細書において、例えば、風景や静物以外の通行人や通行車両などのように、画像内における動きのあるものを「動体」と呼ぶ。また、本明細書において、画像内に動体を含まない画像を「非動体画像」と呼び、非動体画像を表す画像データを「非動体画像データ」と呼ぶ。
A−2.画像生成処理の概要:
図2は、画像生成システム100を用いて非動体画像データを生成する処理の流れを示すフローチャートである。また、図3は、画像生成システム100を用いて非動体画像データを生成する処理の内容を概念的に示した説明図である。以下、図2および図3を用いて、画像生成システム100による非動体画像データの生成処理の概要を説明する。
図2は、画像生成システム100を用いて非動体画像データを生成する処理の流れを示すフローチャートである。また、図3は、画像生成システム100を用いて非動体画像データを生成する処理の内容を概念的に示した説明図である。以下、図2および図3を用いて、画像生成システム100による非動体画像データの生成処理の概要を説明する。
ステップS100(図2)では、フレーム画像取得部12が、デジタルビデオカメラ30から、動画像を構成する複数のフレーム画像データを取得する。動画像は、時系列的に連続した複数のフレーム画像データで構成されており、個々のフレーム画像は、通常は、ノンインターレース方式の静止画像として構成されている。なお、本明細書においては、フレーム画像データが表す画像を「フレーム画像」と呼ぶ。
図3の上段には、取得されたフレーム画像データの表すフレーム画像を、左側から右側へと時系列順に並べて示している。
ステップS200(図2)では、基準画像設定部13が、基準フレーム画像データの設定を行う。基準フレーム画像データは、ステップS100で取得した複数のフレーム画像データの中の1つのフレーム画像データである。基準画像設定部13は、例えば、動画像再生中にユーザーによってキーボード120やマウス130から指示が入力されると、指示が入力されたときのフレーム画像データを基準フレーム画像データとして設定する。
図3の上段には、設定された基準フレーム画像データの表す基準フレーム画像F(0)を示している。なお、本明細書において、基準フレーム画像データの表す基準フレーム画像F(0)を基準として、時系列的にXフレーム前のフレーム画像をF(−X)と表し、時系列的にXフレーム後のフレーム画像をF(X)と表す。例えば、基準フレーム画像F(0)より1フレーム前のフレーム画像はF(−1)と表され、基準フレーム画像F(0)より1フレーム後のフレーム画像はF(1)と表される。
ステップS300(図2)では、動体検出部15が、基準フレーム画像F(0)内の動体を検出し、基準フレーム画像F(0)内の動体を内包する基準動体領域sMAを設定する。図3の中段には、基準フレーム画像F(0)内に基準動体領域sMAが設定された様子を示しており、基準動体領域sMAを太線で囲って示している。本実施例では、動体である自動車を内包する領域が基準動体領域sMAとして設定されている。動体検出部15による動体の検出および基準動体領域sMAの設定については、後に詳述する。
ステップS400(図2)では、置換領域画像検出部16が、ステップS100で取得された複数のフレーム画像データの表す画像を探索し、置換領域画像の検出を行う。ここで、本明細書において、「置換領域画像」とは、基準フレーム画像F(0)内の基準動体領域sMAに対応する画像領域の少なくとも一部の領域の画像であって、動体を含まない画像をいう。すなわち、置換領域画像は、基準動体領域sMAの画像を、動体を含まない画像に置き換えるために用いることができる画像である。なお、置換領域画像を表す画像データを「置換領域画像データ」と呼ぶ。
置換領域画像の検出は、基準動体領域sMAに対応する画像領域内のすべての領域について検出されるまで行われる。すなわち、基準動体領域sMAの画像全体を、動体を含まない画像に置き換えるために必要な1つまたは複数の置換領域画像が検出されるまで行われる。
図3の中段には、例えばフレーム画像F(m)を探索して検出された置換領域画像SAPを太線で囲って示している。図に示すように、対象画像領域SAP内には動体が含まれていない。置換領域画像検出部16による置換領域画像の検出については、後に詳述する。
ステップS500(図2)では、画像合成部17が、基準フレーム画像データの内、基準動体領域sMAを除く画像領域を表す画像データと、置換領域画像を表す画像データとを合成して、画像内に動体を含まない画像(非動体画像)を表す非動体画像データを生成する。図3の下段には、画像合成部17によって生成された非動体画像データの表す非動体画像NMPを示している。画像合成部17による画像合成については、後に詳述する。
なお図3では、説明をわかりやすくするために、検出された1つの置換領域画像SAPが、基準動体領域sMA全体に対応するものとなっている例を用いているが、基準動体領域sMAの一部の領域に対応する複数の置換領域画像が検出される場合もある。このときは、複数の置換領域画像を表す複数の画像データを用いて、非動体画像データの生成を行うこととなる。
以上のようにして、画像生成システム100は、複数のフレーム画像データを用いて、画像内に動体を含まない画像(非動体画像)を表す非動体画像データを生成する。以下、基準フレーム画像内の動体検出(ステップS300)、置換領域画像の検出(ステップS400)および画像合成(ステップS500)の詳細について、順次説明する。
A−3.基準フレーム画像内の動体検出:
図4は、基準フレーム画像内の動体検出(図2のステップS300)の処理の一例を概念的に示した説明図である。本実施例では、基準フレーム画像F(0)と、基準フレーム画像F(0)の1フレーム後のフレーム画像F(1)とを用いて、基準フレーム画像F(0)内の動体検出を行っている。これは、時系列的に連続したフレーム画像を用いて動体検出を行えば、画像全体としてのずれの影響が少ない上、非動体の画像を表す領域の画素値の変化も少ないため、迅速かつ確実に動体の検出を行うことができるからである。
図4は、基準フレーム画像内の動体検出(図2のステップS300)の処理の一例を概念的に示した説明図である。本実施例では、基準フレーム画像F(0)と、基準フレーム画像F(0)の1フレーム後のフレーム画像F(1)とを用いて、基準フレーム画像F(0)内の動体検出を行っている。これは、時系列的に連続したフレーム画像を用いて動体検出を行えば、画像全体としてのずれの影響が少ない上、非動体の画像を表す領域の画素値の変化も少ないため、迅速かつ確実に動体の検出を行うことができるからである。
また、本実施例では、基準フレーム画像F(0)を8列×6行の計48個の基準ブロックに分割し、基準ブロック単位で動体検出を行っている。図4(a)の左側には、動体検出に用いられる基準フレーム画像F(0)とフレーム画像F(1)とを示しており、基準フレーム画像F(0)が基準ブロックに分割された様子を示している。
動体検出の始めに、ずれ補正部14が、フレーム画像F(1)の、基準フレーム画像F(0)に対する画像全体としてのずれを推定し、推定したずれ量を用いてフレーム画像F(1)のずれ補正を行う。動画像を構成する複数のフレーム画像は、相互に画像全体としてずれが生じている場合がある。そこで、ずれ補正部14によるずれ補正により画像全体としてのずれを補正してから動体検出を行うことによって、動体の検出を正確かつ迅速に行うことができる。ずれ補正部14によるずれ補正については、後に詳述する。
図4(a)の右側には、基準フレーム画像F(0)とずれ補正部14により補正されたフレーム画像F(1)とを重ね合わせた状態を示している。フレーム画像F(1)に対してずれ補正を行ったために、両画像のそれぞれの縁は重なっていない。また、両画像内の非動体(家や木など)は、ほとんど重なって表示されているが、動体(自動車)は、基準フレーム画像F(0)生成時からフレーム画像F(1)生成時の間に移動しているので、2重に表示されている。
次に、動体検出部15は、基準フレーム画像F(0)と補正されたフレーム画像F(1)とを重ね合わせた状態で、基準フレーム画像F(0)の基準ブロックを分割する分割線を用いてフレーム画像F(1)をブロックに分割する。こうすることによって、両画像相互のずれが補正された状態で、基準フレーム画像F(0)のブロック分割に合わせたフレーム画像F(1)のブロック分割を行うことができる。なお、本明細書において、あるフレーム画像を、基準フレーム画像F(0)のブロック分割に合わせたブロックに分割することを基準ブロック分割と呼ぶ。
次に、動体検出部15は、基準フレーム画像F(0)内の各ブロックについて、ブロック内の画像に動体が含まれるか否かを判定し、各ブロックを、動体が含まれる動体ブロックと、動体が含まれない非動体ブロックとに判別する。基準フレーム画像F(0)内の各ブロックの判別は、基準フレーム画像F(0)内の各ブロックの画像と、フレーム画像F(1)内の対応するブロックの画像とを用いて行う。
例えば、図4(a)においてハッチングを付して示したブロックBiについて判別を行うときは、基準フレーム画像F(0)内のブロックBiの画像Bi(0)と、フレーム画像F(1)内のブロックBiの画像Bi(1)とを用いて行う。図4(b)には、画像Bi(0)および画像Bi(1)を拡大して示している。説明の便宜上、画像Bi(0)および画像Bi(1)には、ブロックの中心位置を示す十字の印を追加的に示している。なお、本明細書においては、フレーム画像F(x)内のブロックBiの画像をBi(x)と表す。
基準フレーム画像F(0)内のブロックBiについての判別は、例えば、画像Bi(0)に対する画像Bi(1)の移動量を求め、求めた移動量の大きさによって行う。すなわち、例えば、画像Bi(0)および画像Bi(1)を完全に重ね合わせた状態から、画像Bi(1)の位置を様々に移動させて、画像Bi(0)と画像Bi(1)との重なった画素の画素値の差分を各画素について求め、各画素についての画素値の差分の二乗和の値が最小となるような画像Bi(1)の位置を求める。画像Bi(1)の元の位置からその位置までの移動距離を、画像Bi(0)に対する画像Bi(1)の移動量とする。求めた移動量が所定の閾値より小さいときは、そのブロックを非動体ブロックと判別し、求めた移動量が所定の閾値以上のときは、そのブロックを動体ブロックと判別する。
図4(c)には、画像Bi(0)に対する画像Bi(1)の移動量を求めた結果の状態を示している。図4(c)の例では、画像Bi(0)と画像Bi(1)とがほぼ完全に重なっており、移動量は所定の閾値より小さいので、基準フレーム画像F(0)内のブロックBiは非動体ブロックであると判別される。
なお、ブロック内に動体が含まれない非動体ブロックは、理想的には移動量がゼロになるが、実際には、移動量が完全にゼロになることは困難な場合がある。従って、所定の閾値を定め、所定の閾値より小さいときは、そのブロックが非動体であると判別している。
図5は、基準フレーム画像内の他のブロックにおける動体検出の処理の例を概念的に示した説明図である。図5では、図4における説明で用いたブロックBiとは別のブロックであるブロックBjについて動体ブロックか非動体ブロックかの判別を行っている例を示している。図5(a)の右側には、図4(a)と同様に、基準フレーム画像F(0)とずれ補正部14により補正されたフレーム画像F(1)とを重ね合わせた状態を示している。そして、図5(b)には、基準フレーム画像F(0)およびフレーム画像F(1)内における、判別を行うブロックBjの画像である画像Bj(0)および画像Bj(1)を拡大して示している。また、図4(c)には、画像Bj(0)に対する画像Bj(1)の移動量を求めた結果の状態を示しており、移動量を画像Bj(0)および画像Bj(1)の中心位置を結ぶ矢印の長さで示している。
図5の例では、画像Bj(0)内に含まれている自動車の画像が動体を表す画像であるため、画像Bj(1)内における自動車の画像の位置は、画像Bj(0)内における位置から移動している。従って、画像Bj(0)に対する画像Bj(1)の移動量を求めると、図5(c)に示すように、移動量が大きくなる。この移動量は、所定の閾値以上であり、基準フレーム画像F(0)内のブロックBjは動体ブロックであると判別される。
動体検出部15は、基準フレーム画像F(0)内の各ブロックについて、上記のような処理により動体ブロックか非動体ブロックかの判別を行う。そして、基準フレーム画像F(0)内のブロックの内、動体ブロックと判別されたブロックの領域を基準動体領域sMAとして設定する。図6は、動体検出部15による動体検出結果を概念的に示した説明図である。本実施例では、基準フレーム画像F(0)内のブロックBjおよびブロックBkが動体ブロックと判別され、ブロックBjとブロックBkとを合わせた領域が基準動体領域sMAとして設定される。
A−4.ずれ補正:
ここで、上述したずれ補正部14によるずれ補正について、以下説明する。図7は、フレーム画像F(1)の基準フレーム画像F(0)に対するずれについて示す説明図である。
ここで、上述したずれ補正部14によるずれ補正について、以下説明する。図7は、フレーム画像F(1)の基準フレーム画像F(0)に対するずれについて示す説明図である。
画像の位置ずれは、並進(横方向または縦方向)のずれと、回転のずれとの組み合わせで表される。図7では、基準フレーム画像F(0)の縁と、フレーム画像F(1)の縁とを重ねた状態を示している。また、基準フレーム画像F(0)の中心位置に十字印X0を追記し、この十字印X0が、フレーム画像F(1)と同様にずれたとして、フレーム画像F(1)上に、ずれた結果の十字印X1を示している。また、基準フレーム画像F(0)および十字印X0を太い実線で示すとともに、フレーム画像F(1)および十字印X1を細い破線で示している。
本実施例では、横方向の並進ずれ量を「um」、縦方向の並進ずれ量を「vm」、回転ずれ量を「δm」とそれぞれ表す。例えば、図7に示すように、フレーム画像F(1)は、基準フレーム画像F(0)に対して、並進ずれ、および回転ずれが生じており、そのずれ量はそれぞれ、um、vm、δmと表される。
図8は、フレーム画像F(1)の基準フレーム画像F(0)に対するずれの補正について示す説明図である。図8では、上記ずれ量を補正し、フレーム画像F(1)と基準フレーム画像F(0)とを重ね合わせた状態を示している。このような補正を行うために用いられる横方向の並進補正量を「u」と、縦方向の並進補正量を「v」と、回転補正量を「δ」とそれぞれ表す。ここで、補正とは、フレーム画像F(1)の各画素の位置を、横方向にuの移動、縦方向にvの移動、およびδの回転を施した位置に移動させることを意味する。従って、フレーム画像F(1)についての補正量u、v、δは、u=−um、v=−vm、δ=−δmの関係で表される。
ずれ補正部14は、フレーム画像F(1)と基準フレーム画像F(0)とに基づき、フレーム画像F(1)の補正量u、v、δを、例えばパターンマッチ法や勾配法および最小自乗法による所定の算出式を用いて算出する。ずれ補正部14は、このようにして算出された補正量u、v、δを用いて、フレーム画像F(1)のずれ補正を行う。
ずれ補正部14によるずれ補正を行った結果、図8に示すように、画像内の非動体はほぼ重なった状態となる。
A−5.置換領域画像の検出:
次に、置換領域画像検出部16による置換領域画像の検出(図2のステップS400)について説明する。置換領域画像の検出は、ステップS100(図2)で取得された複数のフレーム画像データの表す画像を探索し、置換領域画像の検出を行う処理である。ここで、前述したように、置換領域画像とは、基準フレーム画像F(0)内の基準動体領域sMAに対応する画像領域の少なくとも一部の領域の画像であって、動体を含まない画像をいう。従って、本実施例では、各フレーム画像を探索して、基準動体領域sMAに対応する画像領域であるブロックBjおよびブロックBk(図6)の画像であって、動体を含まない画像を、検出する処理を行うこととなる。
次に、置換領域画像検出部16による置換領域画像の検出(図2のステップS400)について説明する。置換領域画像の検出は、ステップS100(図2)で取得された複数のフレーム画像データの表す画像を探索し、置換領域画像の検出を行う処理である。ここで、前述したように、置換領域画像とは、基準フレーム画像F(0)内の基準動体領域sMAに対応する画像領域の少なくとも一部の領域の画像であって、動体を含まない画像をいう。従って、本実施例では、各フレーム画像を探索して、基準動体領域sMAに対応する画像領域であるブロックBjおよびブロックBk(図6)の画像であって、動体を含まない画像を、検出する処理を行うこととなる。
本実施例では、基準フレーム画像F(0)を表す基準フレーム画像データと生成時刻がより近いフレーム画像データの表すフレーム画像から順に探索を行っている。すなわち、まず、基準フレーム画像F(0)の前後それぞれ1フレームのフレーム画像であるフレーム画像F(1)およびフレーム画像F(―1)を探索する。探索の結果、ブロックBjおよびブロックBkの少なくとも一方について、置換領域画像が検出されなかったときは、さらに前後それぞれ1フレームのフレーム画像であるフレーム画像F(2)およびフレーム画像(−2)を探索する。このようにして、ブロックBjおよびブロックBkの両方について置換領域画像が検出されるまで、フレーム画像の探索を繰り返す。このようにすれば、基準フレーム画像F(0)を表す基準フレーム画像データと生成時刻がより近いフレーム画像データの表すフレーム画像から置換領域画像が検出されやすく、そのような置換領域画像を用いて非動体画像を合成すれば、より自然な画像を生成することが容易になるため好ましい。
図9は、置換領域画像の検出の処理の一例を概念的に示した説明図である。図9の左側には、時系列順に上から下へと並んだフレーム画像を示している。ここで、基準フレーム画像F(0)およびその1フレーム後のフレーム画像F(1)は、前述の基準フレーム画像F(0)内の動体検出処理において、基準ブロックに分割されており、図9には、基準ブロックに分割されている様子を示している。
上述したとおり、置換領域画像検出部16は、まず、フレーム画像F(1)およびフレーム画像F(―1)について、置換領域画像の探索を行う。置換領域画像の探索は、あるフレーム画像内の、基準動体領域sMAに対応するブロック(本実施例では、ブロックBjおよびブロックBk)が、動体ブロックか非動体ブロックかを判別し、非動体ブロックであると判別されたブロックの画像を置換領域画像として設定することにより行われる。また、本実施例では、あるフレーム画像についての置換領域画像の探索は、当該フレーム画像と、その1フレーム後のフレーム画像とを用いて行っている。すなわち、例えば、フレーム画像F(1)についての置換領域画像の探索は、フレーム画像F(1)とフレーム画像F(2)とを用いて行う。以下、フレーム画像F(1)を例にとって、置換領域画像の探索について説明する。
置換領域画像の探索の始めに、ずれ補正部14が、フレーム画像F(2)の、フレーム画像F(1)に対する画像全体としてのずれを推定し、推定したずれ量を用いてフレーム画像F(2)のずれ補正を行う。このずれ補正の処理は、前述の基準フレーム画像内の動体検出処理における、ずれ補正を行う処理の内容と同じである。
図9の右側下には、フレーム画像F(1)と、ずれ補正部14により補正されたフレーム画像F(2)とを重ね合わせた状態を示している。
置換領域画像検出部16は、フレーム画像F(1)のブロックを分割する分割線を用いてフレーム画像F(2)をブロックに分割する。ここで、フレーム画像F(1)は、前述の基準フレーム画像内の動体検出処理において、基準フレーム画像F(0)のブロック分割に合わせたブロック分割(基準ブロック分割)がなされている。従って、フレーム画像F(2)にも、基準ブロック分割がなされることとなる。
次に、置換領域画像検出部16は、フレーム画像F(1)内の、ブロックBjおよびブロックBkについて、動体ブロックか非動体ブロックかの判別を行い、非動体ブロックと判別されたブロックの画像を、置換領域画像として設定する。この判別の処理の内容は、前述の基準フレーム画像内の動体検出処理における動体ブロックか非動体ブロックかを判別する処理の内容と同じである。すなわち、例えば、ブロックBjについて判別を行うときには、フレーム画像F(1)内のブロックBjの画像Bj(1)に対する、フレーム画像F(2)内のブロックBjの画像Bj(2)の移動量を求める。この移動量の値が所定の閾値より小さいときは、非動体ブロックと判別し、移動量の値が所定の閾値以上のときは、動体ブロックと判別する。
本実施例では、フレーム画像F(1)内のブロックBjおよびブロックBkは、動体である自動車の画像を含んでいるため、ブロックBjおよびブロックBkについて求めた移動量は、共に、所定の閾値以上となり、動体ブロックと判別される。従って、フレーム画像F(1)からは、置換領域画像は検出されない。
同様に、置換領域画像検出部16は、フレーム画像F(−1)についての置換領域画像の探索を、フレーム画像F(−1)と基準フレーム画像F(0)とを用いて行う。本実施例では、フレーム画像F(−1)についても、ブロックBjおよびブロックBk共に、動体ブロックと判別され、置換領域画像は検出されない。
フレーム画像F(1)およびフレーム画像F(−1)についての置換領域画像の探索が終了したら、置換領域画像検出部16が、基準動体領域sMAに対応するすべてのブロックついて、置換領域画像の設定が完了しているか否かを判定する。すべてのブロックについて、置換領域画像の設定が完了していると判定したときは、置換領域画像探索の処理を終了する。一方、本実施例のように、置換領域画像の設定が完了していないブロックがあると判定したときは、さらに1フレーム前および後のフレーム画像データについて、置換領域画像の探索を行う。
図10は、さらなる置換領域画像の検出の処理の一例を概念的に示した説明図である。図10に示すとおり、置換領域画像検出部16は、フレーム画像F(2)およびフレーム画像(−2)について置換領域画像の探索を行う。フレーム画像F(2)およびフレーム画像(−2)についての置換領域画像の探索は、上述のフレーム画像F(1)およびフレーム画像(−1)についての置換領域画像の探索と同様に行う。
本実施例では、フレーム画像F(2)について置換領域画像の探索を行った結果、フレーム画像F(2)内のブロックBjが非動体ブロックと判別され、ブロックBjの画像が置換領域画像として設定される。また、フレーム画像F(−2)について置換領域画像の探索を行った結果、フレーム画像F(−2)内のブロックBkが非動体ブロックと判別され、ブロックBkの画像が置換領域画像として設定される。
フレーム画像F(2)およびフレーム画像F(−2)についての置換領域画像の探索が終了したら、置換領域画像検出部16は、再度、基準動体領域sMAに対応するすべてのブロックについて、置換領域画像の設定が完了しているか否かを判定する。本実施例では、ブロックBjおよびブロックBkについての置換領域画像の設定は、共に完了しているため、置換領域画像探索の処理を終了する。なお、再度、完了していないと判定したときには、さらに1フレーム前および後のフレーム画像データについて、置換領域画像の探索を行う。このように、基準動体領域sMAに対応するすべてのブロックについて、置換領域画像の設定が完了していると判定されるまで、置換領域画像探索の処理を繰り返す。
以上のようにして、基準フレーム画像F(0)内の基準動体領域sMAに対応するブロックのすべてについて、置換領域画像が設定される。
A−6.画像合成:
図11は、画像合成(図2のステップS500)の処理の一例を概念的に示した説明図である。画像合成の処理は、基準フレーム画像データの内、基準画像F(0)内の基準動体領域sMAを除く領域を表す画像データと、置換領域画像を表す画像データとを合成して、画像内に動体を含まない画像(非動体画像)を表す非動体画像データを生成する処理である。
図11は、画像合成(図2のステップS500)の処理の一例を概念的に示した説明図である。画像合成の処理は、基準フレーム画像データの内、基準画像F(0)内の基準動体領域sMAを除く領域を表す画像データと、置換領域画像を表す画像データとを合成して、画像内に動体を含まない画像(非動体画像)を表す非動体画像データを生成する処理である。
図11(a)の左側には、基準フレーム画像F(0)と、置換領域画像を含むフレーム画像F(2)およびF(−2)とを示している。それぞれのフレーム画像の右側には、それぞれのフレーム画像の内、画像合成に使用する画像を示している。すなわち、基準フレーム画像F(0)内の基準動体領域sMA(ブロックBjおよびブロックBk)を除く領域の画像と、フレーム画像F(2)内の置換領域画像(ブロックBjの画像Bj(2))と、フレーム画像F(−2)内の置換領域画像(ブロックBkの画像Bk(−2))との3つの画像を示している。
画像合成部17は、上記3つの画像を表す画像データを取得し、それらを合成して、動体を含まない画像(非動体画像)を表す非動体画像データを生成する。図11(b)には、生成された非動体画像データが表す非動体画像NMPを示している。非動体画像NMPは、動体(本実施例では自動車)を含まない画像となっている。
以上のようにして、画像生成システム100は、動画像を構成する複数のフレーム画像データから、画像内に動体を含まない画像(非動体画像)を表す非動体画像データを生成することができる。
B.変形例:
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
B1.変形例1:
上記実施例では、基準フレーム画像内の動体の検出および置換領域画像の検出を、基準フレーム画像F(0)を分割した基準ブロック単位で行っているが、ブロック単位以外で行うことも可能である。図12は、基準フレーム画像内の動体の検出および置換領域画像の検出をブロック単位以外で行っている例について、概略的に示す説明図である。
上記実施例では、基準フレーム画像内の動体の検出および置換領域画像の検出を、基準フレーム画像F(0)を分割した基準ブロック単位で行っているが、ブロック単位以外で行うことも可能である。図12は、基準フレーム画像内の動体の検出および置換領域画像の検出をブロック単位以外で行っている例について、概略的に示す説明図である。
図12の例における、基準フレーム画像内の動体の検出は、基準フレーム画像F(0)とずれ補正されたフレーム画像F(1)とを重ね合わせて、重なった各画素について画素値の差分の絶対値を取り、差分の絶対値が所定の閾値よりも大きい画素の表す画像を動体として検出することにより行う。そして、差分の絶対値が所定の閾値よりも大きい画素を内包する矩形の領域を基準動体領域sMAとして設定する。ここで、動体の検出を確実に行うために、基準動体領域sMAは、所定の大きさ(面積)以上とするとしてもよい。
また、図12の例における、置換領域画像の検出は、上記実施例と同様に、例えば、フレーム画像内の基準動体領域sMAに対応する画像領域の移動量を用いて動体を含まない画像を検出すればよい。また、基準動体領域sMAに対応する画像領域をブロックに分割して検出を行ってもよい。
以上のように、ブロック単位以外でも、基準フレーム画像内の動体の検出および置換領域画像の検出を行うことができる。
B2.変形例2:
上記実施例では、基準フレーム画像以外のフレーム画像については、置換領域画像以外の画像は非動体画像の合成に使用していないが、置換領域画像以外の画像を非動体画像の合成に使用するようにしてもよい。例えば、置換領域画像の検出を行う際に、フレーム画像内の基準動体領域sMAに対応するブロック以外のブロックについても動体ブロックか否かの判別を行い、置換領域画像を含むフレーム画像内のすべての非動体ブロックの画像を画像合成に使用してもよい。
上記実施例では、基準フレーム画像以外のフレーム画像については、置換領域画像以外の画像は非動体画像の合成に使用していないが、置換領域画像以外の画像を非動体画像の合成に使用するようにしてもよい。例えば、置換領域画像の検出を行う際に、フレーム画像内の基準動体領域sMAに対応するブロック以外のブロックについても動体ブロックか否かの判別を行い、置換領域画像を含むフレーム画像内のすべての非動体ブロックの画像を画像合成に使用してもよい。
図13は、置換領域画像を含むフレーム画像内のすべての非動体ブロックの画像を使用して画像合成を行う処理を概念的に示した説明図である。図13(a)左側には、基準フレーム画像F(0)と、置換領域画像を含む2つのフレーム画像F(2)およびF(−2)とを示している。上記実施例では、フレーム画像F(2)およびF(−2)については、基準動体領域sMAに対応するブロック(すなわちブロックBjおよびブロックBk)についてのみ、動体ブロックか否かの判別を行っているが、本変形例では、基準動体領域sMAに対応するブロック以外のブロックについても動体ブロックか否かの判別を行う。その結果、フレーム画像F(2)およびF(−2)についても、それぞれ動体領域MAが設定される。そして、図13(a)の右側に示す3つの画像、すなわち、基準フレーム画像の基準動体領域sMA以外の画像と、フレーム画像F(2)およびF(−2)の動体領域MA以外の画像とを合成して、図13(b)に示す非動体画像NMPを生成する。ここで、画像を合成する際に、使用する3つの画像において、同じ位置の画素の画素値が存在する場合には、例えば、画素値の平均をとるようにしてもよい。このようにして非動体画像NMPを生成すれば、より自然な非動体画像NMPを生成することができる。
さらに、上記3つの画像を用いて、非動体画像NMPを、フレーム画像より解像度の高い画像として生成することも可能である。
B3.変形例3:
上記実施例では、基準動体領域sMAに対応する各ブロックについて、1つの置換領域画像を検出し、それを用いて画像の合成を行っているが、各ブロックについて複数の置換領域画像を検出し、検出された複数の置換領域画像を用いて画像の合成を行うようにしてもよい。すなわち、基準動体領域sMAに対応する各ブロックについて、所定数の置換領域画像が検出されるまでフレーム画像の探索を繰り返すようにしてもよい。このようにすれば、例えば、基準動体領域sMA内の画像を、複数の置換領域画像の画素値の平均を用いて動体を含まない画像に置き換えることができ、合成された非動体画像NMPをより自然な画像とすることが容易になる。また、複数の置換領域画像を用いて解像度の高い画像を生成し、生成した画像を用いて、非動体画像NMPを生成してもよい。
上記実施例では、基準動体領域sMAに対応する各ブロックについて、1つの置換領域画像を検出し、それを用いて画像の合成を行っているが、各ブロックについて複数の置換領域画像を検出し、検出された複数の置換領域画像を用いて画像の合成を行うようにしてもよい。すなわち、基準動体領域sMAに対応する各ブロックについて、所定数の置換領域画像が検出されるまでフレーム画像の探索を繰り返すようにしてもよい。このようにすれば、例えば、基準動体領域sMA内の画像を、複数の置換領域画像の画素値の平均を用いて動体を含まない画像に置き換えることができ、合成された非動体画像NMPをより自然な画像とすることが容易になる。また、複数の置換領域画像を用いて解像度の高い画像を生成し、生成した画像を用いて、非動体画像NMPを生成してもよい。
B4.変形例4:
上記実施例では、あるフレーム画像内のあるブロックが動体ブロックか非動体ブロックかの判別を、他のフレーム画像の対応するブロックとの移動量の大きさを用いて行っているが、他の方法で判別を行ってもよい。例えば、フレーム画像内のあるブロックと他のフレーム画像の対応するブロックとを縁をそろえて重ね合わせ、重なった各画素毎の画素値の差分の絶対値の合計を求め、その値が所定の閾値より小さいときは非動体ブロックと判別するとすることも可能である。
上記実施例では、あるフレーム画像内のあるブロックが動体ブロックか非動体ブロックかの判別を、他のフレーム画像の対応するブロックとの移動量の大きさを用いて行っているが、他の方法で判別を行ってもよい。例えば、フレーム画像内のあるブロックと他のフレーム画像の対応するブロックとを縁をそろえて重ね合わせ、重なった各画素毎の画素値の差分の絶対値の合計を求め、その値が所定の閾値より小さいときは非動体ブロックと判別するとすることも可能である。
B5.変形例5:
上記実施例では、基準フレーム画像F(0)内の動体の検出の処理を、基準フレーム画像F(0)と、1フレーム後のフレーム画像F(1)とを用いて行っているが、フレーム画像F(1)の代わりに、例えば1フレーム前のフレーム画像F(−1)や、2フレーム後のフレーム画像F(2)などの他のフレーム画像を用いて行うことも可能である。
上記実施例では、基準フレーム画像F(0)内の動体の検出の処理を、基準フレーム画像F(0)と、1フレーム後のフレーム画像F(1)とを用いて行っているが、フレーム画像F(1)の代わりに、例えば1フレーム前のフレーム画像F(−1)や、2フレーム後のフレーム画像F(2)などの他のフレーム画像を用いて行うことも可能である。
B6.変形例6:
上記実施例では、置換領域画像の検出を行う際に、基準フレーム画像に近いフレーム画像から順に前後1フレームづつ探索範囲を広げて置換領域画像の探索を行っているが、他の順番で置換領域画像の探索を行うことも可能である。例えば、まず基準フレーム画像から前後5フレーム離れたフレーム画像(フレーム画像F(5)およびF(−5))を探索し、その後さらに前後5フレーム離れたフレーム画像を探索するといったような探索順序を採用することも可能である。このように、所定フレーム画像数とばして探索を行うと、例えば、基準フレーム画像内に動きの遅い動体を表す領域があるときも、置換領域画像の検出を迅速に行うことができる。
上記実施例では、置換領域画像の検出を行う際に、基準フレーム画像に近いフレーム画像から順に前後1フレームづつ探索範囲を広げて置換領域画像の探索を行っているが、他の順番で置換領域画像の探索を行うことも可能である。例えば、まず基準フレーム画像から前後5フレーム離れたフレーム画像(フレーム画像F(5)およびF(−5))を探索し、その後さらに前後5フレーム離れたフレーム画像を探索するといったような探索順序を採用することも可能である。このように、所定フレーム画像数とばして探索を行うと、例えば、基準フレーム画像内に動きの遅い動体を表す領域があるときも、置換領域画像の検出を迅速に行うことができる。
B7.変形例7:
上記実施例では、基準フレーム画像F(0)を、8列×6行の計48個の均等なブロックに分割しているが、分割するブロックの個数、大きさ、形状は任意であり、また、均等でないブロックに分割することも可能である。
上記実施例では、基準フレーム画像F(0)を、8列×6行の計48個の均等なブロックに分割しているが、分割するブロックの個数、大きさ、形状は任意であり、また、均等でないブロックに分割することも可能である。
B8.変形例8:
上記実施例では、動画像を構成する複数のフレーム画像データを用いて、非動体画像データを生成する例を用いて説明したが、フレーム画像データ以外の他の画像データを用いて非動体画像データを生成することも可能である。例えば、複数の静止画像データを用いて非動体画像データを生成することもできる。
上記実施例では、動画像を構成する複数のフレーム画像データを用いて、非動体画像データを生成する例を用いて説明したが、フレーム画像データ以外の他の画像データを用いて非動体画像データを生成することも可能である。例えば、複数の静止画像データを用いて非動体画像データを生成することもできる。
B9.変形例9:
上記実施例では、置換領域画像の検出の処理において、基準動体領域sMAに対応するブロックすべてについて置換領域画像が検出されるまでフレーム画像の探索範囲を広げて探索しているが、探索範囲の上限を設け、探索範囲の上限まで探索しても置換領域画像が検出されないブロックが存在する場合は、処理を終了するようにしてもよい。
上記実施例では、置換領域画像の検出の処理において、基準動体領域sMAに対応するブロックすべてについて置換領域画像が検出されるまでフレーム画像の探索範囲を広げて探索しているが、探索範囲の上限を設け、探索範囲の上限まで探索しても置換領域画像が検出されないブロックが存在する場合は、処理を終了するようにしてもよい。
B10.変形例10:
上記実施例において、画像全体およびブロックごとのずれ補正量を推定する際に、並進ずれ(横方向u、縦方向v)および回転ずれ(δ)の3つのパラメータを用いてずれ補正量を推定しているが、本発明は、これに限られるものではない。例えば、パラメータの数を変えてずれ補正量を推定してもよいし、他の種類のパラメータを用いてずれ補正量を推定するようにしてもよい。
上記実施例において、画像全体およびブロックごとのずれ補正量を推定する際に、並進ずれ(横方向u、縦方向v)および回転ずれ(δ)の3つのパラメータを用いてずれ補正量を推定しているが、本発明は、これに限られるものではない。例えば、パラメータの数を変えてずれ補正量を推定してもよいし、他の種類のパラメータを用いてずれ補正量を推定するようにしてもよい。
B11.変形例11:
上記実施例では、基準フレーム画像F(0)内の動体検出および置換領域画像の検出において、あるフレーム画像内のブロックに対する他のフレーム画像内の対応するブロックの移動量を中心位置の移動量として求めているが、これに限られるものではなく、例えば左上点や左下点の移動量を求めてもよい。一般には、各フレーム画像内の任意の所定の座標に関する移動量を求めるようにしてもよい。
上記実施例では、基準フレーム画像F(0)内の動体検出および置換領域画像の検出において、あるフレーム画像内のブロックに対する他のフレーム画像内の対応するブロックの移動量を中心位置の移動量として求めているが、これに限られるものではなく、例えば左上点や左下点の移動量を求めてもよい。一般には、各フレーム画像内の任意の所定の座標に関する移動量を求めるようにしてもよい。
B12.変形例12:
上記実施例では、ノンインターレース方式のフレーム画像データから非動体画像を生成していたが、インターレース方式のフレーム画像データ(フィールド画像データ)から非動体画像を生成してもよい。
上記実施例では、ノンインターレース方式のフレーム画像データから非動体画像を生成していたが、インターレース方式のフレーム画像データ(フィールド画像データ)から非動体画像を生成してもよい。
10...コンピュータ
11...画像生成制御部
12...フレーム画像取得部
13...基準画像設定部
14...ずれ補正部
15...動体検出部
16...置換領域画像検出部
17...画像合成部
20...プリンタ
30...デジタルビデオカメラ
100...画像生成システム
120...キーボード
130...マウス
140...CD−R/RWドライブ
150...ディスプレイ
11...画像生成制御部
12...フレーム画像取得部
13...基準画像設定部
14...ずれ補正部
15...動体検出部
16...置換領域画像検出部
17...画像合成部
20...プリンタ
30...デジタルビデオカメラ
100...画像生成システム
120...キーボード
130...マウス
140...CD−R/RWドライブ
150...ディスプレイ
Claims (12)
- 複数の画像データから1つの画像データを合成する画像生成装置であって、
前記複数の画像データの中の1つの画像データを基準画像データとして設定する基準画像設定部と、
前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも1つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する動体検出部と、
前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する置換領域画像検出部と、
前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する画像合成部と、を備える、画像生成装置。 - 請求項1記載の画像生成装置であって、
前記動体検出部は、動体検出に用いる画像データの表す画像相互の画像全体としてのずれ量を推定し、前記推定したずれ量を用いて、前記画像データの内の少なくとも1つの画像データを補正するずれ補正部を備える、画像生成装置。 - 請求項1記載の画像生成装置であって、
前記動体検出部は、前記動体領域の設定を、前記基準画像を分割して得られる基準ブロック単位で行い、
前記置換領域画像検出部は、前記置換領域画像の検出を前記基準ブロック単位で行う、画像生成装置。 - 請求項1記載の画像生成装置であって、
前記複数の画像データは、動画像を構成する時系列的に連続したフレーム画像データである、画像生成装置。 - 請求項4記載の画像生成装置であって、
前記動体検出部による動体の検出は、前記基準画像データと、前記基準画像データと時系列的に連続しているフレーム画像データとを用いて行う、画像生成装置。 - 請求項4記載の画像生成装置であって、
前記置換領域画像検出部による置換領域画像の探索は、前記基準画像データと生成時刻がより近いフレーム画像データの表す画像内を優先的に探索する、画像生成装置。 - 請求項4記載の画像生成装置であって、
前記置換領域画像検出部による置換領域画像の探索は、前記基準画像データの生成時刻から所定時間離れた時刻に生成されたフレーム画像データの表す画像内を優先的に探索する、画像生成装置。 - 請求項1記載の画像生成装置であって、
前記画像合成部における画像データの合成は、前記置換領域画像を表す画像データを含む前記複数の画像データの中の少なくとも1つの画像データの内、前記基準画像内の動体領域に対応する画像領域以外の画像領域における動体を含まない画像を表す画像データを用いて行う、画像生成装置。 - 請求項8記載の画像生成装置であって、
前記合成される画像データは、前記複数の画像データよりも解像度の高い画像データである、画像生成装置。 - 複数の画像データから1つの画像データを合成する画像生成方法であって、
(a)前記複数の画像データの中の1つの画像データを基準画像データとして設定する工程と、
(b)前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも1つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する工程と、
(c)前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応する画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する工程と、
(d)前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する工程と、を備える、画像生成方法。 - 複数の画像データから1つの画像データを合成するための画像生成プログラムであって、
前記複数の画像データの中の1つの画像データを基準画像データとして設定する基準画像設定機能と、
前記基準画像データと、前記複数の画像データの中の前記基準画像データ以外の少なくとも1つの画像データとを用いて、前記基準画像データの表す基準画像内の動体を検出し、前記基準画像内の前記動体を内包する動体領域を設定する動体検出機能と、
前記複数の画像データの表す画像の中から、前記基準画像内の動体領域に対応した画像領域に動体を含まない画像を探索し、前記探索によって検出された画像を置換領域画像として設定する置換領域画像機能と、
前記基準画像データの内、前記基準画像内の動体領域を除く画像領域の画像を表す画像データと、前記置換領域画像を表す画像データとを少なくとも用いて、動体を含まない画像を表す画像データを合成する画像合成機能と、をコンピュータ上で実現することを特徴とする、画像生成プログラム。 - 請求項11記載の画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004008592A JP2005202706A (ja) | 2004-01-16 | 2004-01-16 | 動体を含まない画像の合成処理 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004008592A JP2005202706A (ja) | 2004-01-16 | 2004-01-16 | 動体を含まない画像の合成処理 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005202706A true JP2005202706A (ja) | 2005-07-28 |
Family
ID=34821866
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004008592A Pending JP2005202706A (ja) | 2004-01-16 | 2004-01-16 | 動体を含まない画像の合成処理 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005202706A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010147881A (ja) * | 2008-12-19 | 2010-07-01 | Panasonic Electric Works Co Ltd | 監視カメラ装置 |
JP2012098084A (ja) * | 2010-10-29 | 2012-05-24 | Keyence Corp | 画像計測装置、画像計測方法及びコンピュータプログラム |
JP2012119817A (ja) * | 2010-11-30 | 2012-06-21 | Nikon Corp | 電子カメラ及び補正処理プログラム |
US8542948B2 (en) | 2008-10-07 | 2013-09-24 | Canon Kabushiki Kaisha | Image processing apparatus and method |
JP2014036392A (ja) * | 2012-08-10 | 2014-02-24 | Canon Inc | 動体除去画像生成装置 |
JPWO2021117233A1 (ja) * | 2019-12-13 | 2021-06-17 |
-
2004
- 2004-01-16 JP JP2004008592A patent/JP2005202706A/ja active Pending
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8542948B2 (en) | 2008-10-07 | 2013-09-24 | Canon Kabushiki Kaisha | Image processing apparatus and method |
JP2010147881A (ja) * | 2008-12-19 | 2010-07-01 | Panasonic Electric Works Co Ltd | 監視カメラ装置 |
JP2012098084A (ja) * | 2010-10-29 | 2012-05-24 | Keyence Corp | 画像計測装置、画像計測方法及びコンピュータプログラム |
JP2012119817A (ja) * | 2010-11-30 | 2012-06-21 | Nikon Corp | 電子カメラ及び補正処理プログラム |
JP2014036392A (ja) * | 2012-08-10 | 2014-02-24 | Canon Inc | 動体除去画像生成装置 |
JPWO2021117233A1 (ja) * | 2019-12-13 | 2021-06-17 | ||
WO2021117233A1 (ja) * | 2019-12-13 | 2021-06-17 | 三菱電機株式会社 | 動画分離装置、プログラム及び動画分離方法 |
JP7003342B2 (ja) | 2019-12-13 | 2022-02-10 | 三菱電機株式会社 | 動画分離装置、プログラム及び動画分離方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4461937B2 (ja) | 低解像度の複数の画像に基づく高解像度の画像の生成 | |
US10931875B2 (en) | Image processing device, image processing method and storage medium | |
JP2005123824A (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
US20070071282A1 (en) | Digital watermark embedding apparatus and method, and digital watermark detection apparatus and method | |
JPWO2004093011A1 (ja) | 複数のフレーム画像からの静止画像の生成 | |
US20050200706A1 (en) | Generation of static image data from multiple image data | |
JP2007058614A (ja) | スライドショー生成装置およびスライドショー用データ生成装置ならびにそれらの制御方法ならびにそれらを制御するプログラム | |
JP2005202706A (ja) | 動体を含まない画像の合成処理 | |
JP6223899B2 (ja) | 動きベクトル検出装置、距離検出装置および動きベクトル検出方法 | |
JP5743501B2 (ja) | 物体追尾装置、物体追尾方法、及び物体追尾プログラム | |
JP4360177B2 (ja) | 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体 | |
US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
JP2005246662A (ja) | 画像の出力に用いる出力装置に適した画像データの生成 | |
JP3945524B2 (ja) | キー信号生成装置及び方法、画像合成装置、並びに記録媒体 | |
JP2005157847A (ja) | 画像処理装置および処理方法 | |
JP2007028251A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
KR20050039644A (ko) | 데이터 처리 장치 및 데이터 처리 방법, 프로그램, 및기록 매체 | |
WO2010046990A1 (ja) | 内挿フレーム生成装置、フレームレート変換装置、表示装置、内挿フレーム生成方法、そのプログラム、および、そのプログラムを記録した記録媒体 | |
CN110692235B (zh) | 图像处理装置、图像处理程序及图像处理方法 | |
JP2004147281A (ja) | 特殊効果映像生成装置、特殊効果映像生成方法及び特殊効果映像生成プログラム | |
JP2005348221A (ja) | 画像生成装置、静止画像生成装置、画像ずれ量検出装置、画像整列装置、画像生成方法、画像生成プログラムおよび画像生成プログラムを記録した記録媒体 | |
JP4419500B2 (ja) | 静止画像生成装置、静止画像生成方法、静止画像生成プログラム、および静止画像生成プログラムを記録した記録媒体 | |
JP2018160235A (ja) | 情報処理装置及びその制御方法及びプログラム | |
JP2006121329A (ja) | 画像合成装置、画像合成方法、画像合成プログラムおよび記録媒体 | |
JP2006020137A (ja) | 画像処理装置及び推奨度表示方法 |