JP2007109235A

JP2007109235A - 画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレート

Info

Publication number: JP2007109235A
Application number: JP2006277824A
Authority: JP
Inventors: Troy Chinen; チネントロイ; Sergey Ioffe; イオフェセルゲイ; Thomas Leung; レオントーマス; Yang Song; ソンヤン
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-10-13
Filing date: 2006-10-11
Publication date: 2007-04-26
Also published as: US7702131B2; US20070086675A1

Abstract

【課題】画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレートを提供すること。
【解決手段】画像シーケンスは、動いている前景物体を描写する。基本画像が選択され、各画像を共通の座標系に合わせて整列させるために、シーケンス内のその他の画像が基本画像と相互に位置合わせされる。整列された画像のシーケンスから背景画像と２値前景マスクが生成される。選定された整列画像の１つに前景マスクを適用することによって、移動物体表現が抽出される。背景画像をブレさせた後、ブレた背景画像上に抽出された表現を重ね合わせて、新しい画像を生成することができる。
【選択図】図１

Description

本発明は、ディジタル・ビデオ画像の処理を対象とし、より詳細には、前景物体を抽出し、または分離するようにディジタル画像シーケンスを処理することを対象とする。分離の後、本発明は、背景に視覚効果を施すこともできる。

今や、ほとんどのディジタル・カメラが、高速で連続して数枚の画像を取り込む機能を備えている。よって、そのようなカメラを使用すれば、特定の場面（例えば道路の一部分など）を通過している移動物体（例えば、自動車）の画像シーケンスを獲得することができる。

既存のディジタル画像処理システムは、画像シーケンスを処理して、動きを意味する視覚効果を作り出そうとする。例えば、時系列のディジタル写真画像を取り込んだ後で、動いているように見せるために移動物体または画像全体（移動物体と背景）にブレが施された新しいフォトリアリスティック画像を生成しようとするシステムがある。

他に、コンピュータ・グラフィックス（ＣＧ）を使って新しい場面の視覚表現を生成しようとするシステムもある。また、そのようなＣＧシステムは、いくつかの種類の動きを示すために、生成された場面に様々な視覚効果を実施することもできる。しかしながら、ＣＧ関連のシステムは、一般に、写実的でない場面を作成する。言い換えると、そのようなシステムは、写真画像を、その場面の出力画像を生成するための主要なデータ・ソースとして使用していない。

そのため、前述の既存のイメージング・システムのいずれも、写真品質画像のシーケンスから移動前景物体を識別し、分離するという問題に対処していない。また、これらのシステムのいずれも、移動物体のディジタル写真画像の系列が与えられた場合に、その物体の鮮明な表現を含むと同時に、背景をブレさせることにより動いているように見える新しい画像を作成するという問題に対処していない。さらに、既存のシステムは、一般に、入力画像シーケンスがすでに相互に位置合わせされているものと想定しているが、これは、手持ち式ディジタル・カメラを使って獲得された画像ではあり得ない。

本発明のより詳細な理解は、以下の説明を添付の図面と併せて読めば明らかになるであろう。

以下の説明では、本発明の例示的実施形態を開示する。

例示的実施形態によれば、本発明は、背景場面に対して移動する前景物体を示す画像シーケンス（例えば、比較的高速で連続して撮られたディジタル写真画像など）を受け取る方法および装置を対象とするものである。この一例が、自動車（またはジョギングする人、自転車、物体など）がそこを通過しているある一定の長さの道路の画像シーケンスまたは時系列である。そのような例において、自動車（またはジョギングする人、自転車、物体など）は、移動前景物体を表し、その画像シーケンス内の相対的に静止した特徴（例えば、道路、木、道路標識、空など）は、その画像シーケンスの背景を表す。本発明の１つの例示的実施形態は、画像シーケンス内の背景から移動物体を識別し、分離することを対象とするものである。

図５に、自動車が通過している道路の画像シーケンスの一例を示す。

しかしながら、本発明は、静止した背景を描写する画像シーケンスから移動前景物体を識別することだけに限定されるものではない。例えば、当分野の技術者によれば、背景に対する物体の相対的な位置を（カメラのアングルおよび位置を変更するなどによって）変更するようなやり方で静止前景物体の画像シーケンスが取り込まれ得ることが考えられるであろう。そのようなシーケンスにおいては、本発明を使って、背景から静止前景物体を識別し、分離することができる。

よって、以下においては、「移動前景物体」などの用語を使用するが、そのような用語は、画像シーケンスが取り込まれる際に物体が動いていることを必要とするものとのみ解釈されるべきではない。そうではなく、そのような用語は、その画像シーケンスの間にその背景に対する相対的位置が変化する画像シーケンス内の任意の前景物体を含むものである。

さらに、画像シーケンスの「背景」は、実際には、移動前景物体よりも実際には近くに見える様々な物体が、相対的に静止しており、背景のその他の部分に対するそれらの位置を変更しない場合、そのような物体の描写も含み得る。

本発明の例示的実施形態によれば、画像シーケンスから移動前景物体を識別し、分離した後で、その前景物体の表現が、その前景物体を含まない別個の背景画像と共に生成され得る。さらに、背景画像は、動いているように見せるのに役立つ視覚効果を施すように処理することができる。特定の例示的実施形態によれば、背景画像は、動いているように見せるためにブレさせることができる。その後、移動前景物体表現を処理された（例えばブレた）背景画像に重ね合わせることによって、移動前景物体が、鮮明に、はっきりと描写され、しかも動いているように見えるやり方で示されている新しい画像を作成することができる。

図１は、本発明の例示的実施形態による、画像シーケンスを処理する方法を示す流れ図である。図１に示すように、最初のステップは、画像シーケンスを獲得するステップである（Ｓ１０）。例示的実施形態によれば、この画像シーケンスは、ディジタル・カメラで取り込まれた画像など、ディジタル写真画像または写真品質画像から成る。しかしながら、取り込まれた画像シーケンスは、以下で、図４に関連してより詳細に説明するように、他の手段によって生成することもできる。ステップＳ２０で、画像シーケンスから移動前景物体表現が抽出される。抽出された表現自体は、他のイメージング用途で使用することのできる移動前景物体の独立の画像を構成し得る。図１で示す例示的実施形態において、ステップＳ３０は、画像シーケンスから獲得された背景画像にブレの視覚効果を施すものである。特に、この背景画像は、移動前景物体が背景から「消去」された状態、あるいは少なくとも十分に除去された状態で獲得され得る。例示的実施形態では、ブラー・フィルタを用いて背景画像を畳み込むプロセスによってそのような背景画像をブレさせることができる。その後、抽出された移動前景物体表現をブレた背景画像に挿入して出力用画像を合成することができる（Ｓ４０）。

図４は、本発明の例示的実施形態による、画像シーケンスに画像処理を行う装置１００を示すブロック図である。特に、図４の装置１００は、図１に示す方法を実行するように構成され得る。

例示的実施形態において、装置１００は、汎用コンピュータを備えることができる。図４に示すように、装置１００は、メモリ装置２０との間でデータ信号を転送することのできるプロセッサ１０（例えばマイクロプロセッサなど）を備え得る。また、プロセッサ１０は、プロセッサ１０が、装置１００内の他の装置との間でデータを転送することができるようにするデータバス３０に接続されてもよい。図４において、これら他の装置には、入力／出力（入出力）インターフェース４０、通信インターフェース７０、および記憶装置（ハード・ドライブなど）８０が含まれる。入出力インターフェース４０は、１つまたは複数の入力装置５０からデータ信号を受け取り、１つまたは複数の種類の出力装置６０にデータ信号を送るポートを含んでいてもよい。

前述のように、プロセッサ１０は、汎用コンピュータに実装されたマイクロプロセッサとすることができる。しかしながら、プロセッサ１０がディジタル信号プロセッサ（ＤＳＰ）などの専用処理装置である代替実施形態があってもよい。例示的実施形態において、プロセッサ１０は、コンピュータ・プログラム・コードとして実施された一連の命令に従って受け取った画像シーケンスに対して画像処理を行う様々なステップおよびプロセス（例えば図１に示す方法など）を実行するように構成される。そのような実施形態では、例えば、コンピュータ・プログラム・コードは、コンピュータ・ハード・ドライブや外部ＺＩＰドライブなどの記憶装置８０に格納され得る。実行時には、コンピュータ・プログラム・コード内の命令の少なくとも一部が、データバス３０を介して記憶装置８０からプロセッサ１０に転送され得る。そのような命令は、一時的にランダム・アクセス・メモリ（ＲＡＭ）などのメモリ２０に格納され、コンピュータ・プログラム・コードの実行時に、プロセッサ１０によってアクセスされ、解釈され得る。

そのようなコンピュータ・プログラム・コードが、様々な種類の入力装置５０（例えばフロッピー・ディスク・ドライブに挿入されたフロッピー・ディスクなど）によって、あるいは通信インターフェース７０によって装置１００に接続された通信ネットワークを介して装置１００にロードされ得ることは、当分野の技術者には明らかであろう。しかしながら、このコンピュータ・プログラム・コードが、読取り専用メモリ（ＲＯＭ）などといった特定の種類のメモリ２０に永続的に格納されたコンピュータ・プログラム命令のセットなど、他の手段によって装置１００で実施されてもよいことも、当分野の技術者は理解するであろう。

さらに、以下で説明する画像シーケンスを処理するステップの１つまたは複数は、コンピュータ・プログラム・コードの実行以外の手段によって実行されてもよい。例えば、一部のステップまたはプロセスは、当分野の技術者には容易に明らかになるように、装置１００の様々な構成部品に配線によって組み込まれてもよい。

前述のように、装置１００は、処理すべきディジタル写真品質画像シーケンスを受け取るように構成される。そのような画像シーケンスは、様々な種類の入力装置５０から受け取られ得る。例えば、高速で、連続して画像の系列を取り込むことのできるディジタル・カメラを、ユニバーサル・シリアル・バス（ＵＳＢ）インターフェースを介して入出力インターフェース４０に接続することができる。他方、入力装置５０は、画像シーケンスを伝えるアナログのビデオまたはテレビ信号をディジタル化する装置とすることができる。そのため、入出力インターフェース４０は、入力装置５０からデータバス３０にディジタル画像シーケンスを表すデータ信号を送ることができる。画像シーケンスは、記憶装置８０に格納され、画像処理が行われるときにプロセッサ１０に転送されてもよい。

別の例示的実施形態によれば、ディジタル画像信号シーケンスは、ネットワークを介して装置１００によって受け取られ得る。そのため、画像シーケンスは、そのようなネットワークから通信インターフェース７０によって受け取られ得る。例えば、画像シーケンスは、インターネット、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）に接続されたサーバから受け取られてもよい。通信インターフェース７０は、画像シーケンスを受け取るために無線および／または有線ネットワーク接続をサポートすることができる。画像シーケンスを受け取った後、通信インターフェース７０は、記憶装置および／またはプロセッサ１０に転送されるように、画像シーケンスを表すデータ信号をデータバス３０に送ることができる。

次に、図１の流れ図に示す様々なステップおよびプロセスに関して、以下で、より詳細な考察を行う。図１に示すように、画像シーケンスが入力され、または別様に獲得された（Ｓ１０）後で、ステップＳ２０により、画像シーケンスから移動前景物体が識別され、その物体の表現が抽出される。このステップＳ２０を、一般に、「運動の分離」という。

図２は、例示的実施形態による、図１のステップＳ２０で記述する運動の分離を実行する方法を示す流れ図である。最初に、ステップＳ２１０により、各画像を共通の座標系に合わせて整列させるために、シーケンス内の各画像を相互に位置合わせしなければならない。このステップＳ２１０では、場面の各点が各画像内の同じ画素位置にあるように整列された画像の系列を生成する。その後、Ｓ２２０により、整列された画像の系列から背景画像を獲得するステップが行われる。さらに、Ｓ２３０は、整列された画像の系列のうちの１つを選定し、選定された画像と背景画像の両方を使って前景マスクを生成するプロセスを指す。この前景マスクを選定された整列画像に適用して、移動前景物体表現を抽出するプロセスを完了することができる（Ｓ２４０に示す）。

以下で、図２Ａ〜２Ｃと関連して、ステップＳ２１０〜Ｓ２３０のより詳細な説明を行う。

図２Ａは、図２のステップＳ２１０で指定するように、整列画像の系列を生成するために画像シーケンスを相互に位置合わせする方法を示す流れ図である。そのような相互位置合わせが必要となるのは、例えば、手持ち式カメラが使用される場合など、多くの場合、撮影場面間のずれが避けられないためである。よって、静止したままであるべき様々な背景点のシーケンス内にずれが生じることがある。画像シーケンスの相互位置合わせは、背景特徴（すなわち、移動前景物体の部分ではない画像特徴）が共通の座標系の同じ点（すなわち、同じ画素位置）にあるようにすることにより、この問題の解決に役立つ。例示的実施形態によれば、共通の座標系は、画像シーケンスから基本画像を選定することによって決定され得る。その後、シーケンス内の残りの画像のそれぞれをその基本画像と対にして相互に位置合わせし、または整列させることによって、基本画像の座標系に合わせて整列された画像系列が獲得され得る。

例えば、画像シーケンスがｎ個の画像（Ｉ_１．．．Ｉ_ｎ）を含むものと仮定する。図２Ａに示すように、これらの画像のうちの特定の１つが、基本画像Ｉ_Ｂ（１≦Ｂ≦ｎ）として選定され、これに対して各非基本画像をＩ_ｘ（ｘ∈１，．．．，ｎ；ｘ？Ｂ）とする。基本画像Ｉ_Ｂを、できるだけ、相対的に多数の様々な非基本画像Ｉ_ｘに対するタイポイントを含むように選定すれば有利となるはずである。「タイポイント」とは、同じ画像特徴または場面の点に対応する、２つのそれぞれの画像における点の対をいう。以下で、ステップＳ２１４０に関連して、タイポイントの識別のより詳細な説明を行う。

図２ＡのＳ２１２０によれば、画像シーケンスＩ_１．．．Ｉ_ｎの各画像におけるキーポイントを識別することが必要になる。「キーポイント」とは、際立った画像特徴をいう。例示的実施形態によれば、キーポイントは、画像シーケンスＩ_１．．．Ｉ_ｎ内の背景に生じ得る変動と関係なく容易に識別可能な特徴である必要がある。例えば、これらには、画像の縮尺が変動し、背景に対して回転したとしても識別され得るはずのキーポイントが含まれ得る。

例えば、その内容全体が参照により本明細書に組み込まれる、ＤａｖｉｄＬｏｗｅによる、「ＯｂｊｅｃｔＲｅｃｏｇｎｉｔｉｏｎｆｒｏｍＬｏｃａｌＳｃａｌｅ−ＩｎｖａｒｉａｎｔＦｅａｔｕｒｅｓ」、Ｐｒｏｃ．ｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ（コンピュータ・ビジョンに関する国際会議会報）（１９９９年９月）という標題の論文に記載されているプロセスがあり、このプロセスを画像セットに適用して、画像の拡縮および回転に対して不変であるキーポイントを識別することができる。このプロセスは、ＳＩＦＴ（拡大縮小不変特徴変換）と呼ばれ、画像シーケンス内の不変のキーポイントを識別する非常に有効な方法である。しかしながら、受け取られた画像シーケンス内で比較的不変のままである、興味深い、または際立った画像特徴（すなわちキーポイント）を識別する多くの方法があることが、当分野の技術者には容易に明らかになるであろう。本発明の例示的実施形態では、これらの方法の任意の１つを使って、図２ＡのステップＳ２１２０により、キーポイントを識別することができる。

関連技術において、キーポイントは、より一般的には、「関心点」または「局所記述子」と呼ばれる。局所記述子を生成するのに使用され得る画像変換は広範囲にわたり、これには、（それだけに限らないが）ＳＩＦＴ、ＰＣＡ−ＳＩＦＴ、形状コンテキスト、モーメント不変量、相互相関、可操舵フィルタ、微分不変量、および複合フィルタが含まれる。研究は、ＳＩＦＴおよびその変形が他の種類の記述子より性能が優れていることを示している。その内容全体が参照により本明細書に組み込まれる、ｈｔｔｐ：／／ｌｅａｒ．ｉｎｒｉａｌｐｅｓ．ｆｒ／ｐｕｂｓ／２００５／ＭＳ０５／ｍｉｋｏｌａｊｃｚｙｋ＿ｐａｍｉ２００４．ｐｄｆに記載されている、Ｋ．ＭｉｋｏｌａｊｃｚｙｋおよびＣ．Ｓｃｈｍｉｄによる、「ＡＰｅｒｆｏｒｍａｎｃｅＥｖａｌｕａｔｉｏｎｏｆＬｏｃａｌＤｅｓｃｒｉｐｔｏｒｓ」（２００５年９月１日にアクセスした）を参照されたい。ＳＩＦＴを使用すれば有利になり得るが、本発明はそれによって限定されるものではない。本発明では、前述の画像変換のいずれか、ならびに当分野の技術者によって企図されるはずの、キーポイントを生成する他の方法を用いて、シーケンスの各画像におけるキーポイントまたは局所記述子を識別することができる。

シーケンス内の各画像ごとにキーポイントが識別された（Ｓ２１２０）後で、非基本画像Ｉ_ｘのそれぞれを、選定された基本画像Ｉ_Ｂと対にして整列させるための一連のステップ（Ｓ２１３０〜Ｓ２１８０）が実行される。図２Ａに示すように、次の非基本画像Ｉ_ｘが相互位置合わせのために選択された（Ｓ２１３０）後、選択された非基本画像Ｉ_ｘ内と基本画像Ｉ_Ｂ内で、それぞれのキーポイントを組み合わせることによってタイポイントが検出される。言い換えると、選択された非基本画像Ｉ_ｘと基本画像Ｉ_Ｂそれぞれにおける画素位置の対が、それらが同じキーポイントを含む場合に、タイポイントとして検出される。このステップをＳ２１４０に示す。選択された非基本画像Ｉ_ｘ内と基本画像Ｉ_Ｂ内の対応するタイポイントを検出するためにキーポイントを組み合わせる様々な方法があることを当分野の技術者は理解するであろう。

しかしながら、Ｓ２１２０〜Ｓ２１４０に従って実行される処理がいくつかの誤ったタイポイントを検出し得ることに留意すべきである。したがって、Ｓ２１５０に示すように、誤って検出されたタイポイントを拒絶するプロセスを実行することが必要になり得る。例示的実施形態において、誤り拒絶プロセスは、検出されたタイポイントにモデル・パラメータ推定プロセスを適用することによって行うことができる。例えば、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）と呼ばれるプロセスを、誤ったタイポイントを拒絶するモデル・パラメータ推定プロセスとして使用することができる。ＲＡＮＳＡＣについては、参照によりその全体が本明細書に組み込まれる、Ｍ．Ａ．Ｆｉｓｃｈｌｅｒらによる論文、「ＲａｎｄｏｍＳａｍｐｌｅＣｏｎｓｅｎｓｕｓ：ＡＰａｒａｄｉｇｍｆｏｒＭｏｄｅｌＦｉｔｔｉｎｇｗｉｔｈＡｐｐｌｉｃａｔｉｏｎｓｔｏｉｍａｇｅＡｎａｌｙｓｉｓａｎｄＡｕｔｏｍａｔｅｄＣａｒｔｏｇｒａｐｈｙ」、ＣｏｍｍｕｎｉｃａｔｉｏｎｓｏｆｔｈｅＡＣＭ（１９８１年６月）に記載されている。

しかしながら、本発明では、誤ったタイポイントを検出し、拒絶するために、他のモデル適合またはパラメータ推定方法も使用され得ることが、当分野の技術者には容易に明らかになるであろう。そのような方法には、それだけに限らないが、最小二乗法、反復最小二乗法、最小二乗中央値、およびＭ推定が含まれ得る。

図２Ａに戻って、Ｓ２１６０は、拒絶されなかったタイポイントが平面射影行列の計算、すなわち、選択された非基本画像Ｉ_ｘ内の座標を、基本画像Ｉ_Ｂの座標系にマップする数学的変換に使用されることを示す。この数学的変換Ｔｘは、選択された非基本画像Ｉ_ｘ内の画素位置を、基本画像Ｉ_Ｂの参照フレーム内の同等の画素位置にマップする。

ブロックＳ２１７０に示すように、計算された変換Ｔ_ｘは、その後、その画像を、基本画像Ｉ_Ｂの座標系に再サンプルするために、非基本画像Ｉ_ｘ内の画素に適用され得る。この再サンプリングは、基本画像Ｉ_Ｂと整列された新しい画像Ａ_ｘを生み出す。よって、非基本画像Ｉ_ｘ上で基本画像Ｉ_Ｂに対する相互位置合わせが行われている。Ｓ２１８０に示すように、すべての非基本画像が相互に位置合わせされるまで、次の非基本画像Ｉ_ｘ＋１が基本画像Ｉ_Ｂとの相互位置合わせのために選択される。その後、処理は図２のステップＳ２２０に進んで、整列された画像から背景を獲得する。

図６に、図５の画像シーケンスを整列させた結果の例を示す。具体的には、図６には、相互に重ね合わされた位置合わせ画像のセットが示されている。

図２Ｂは、ステップＳ２２０による、背景画像を獲得する方法を示す流れ図である。Ｓ２２１０に示すように、相互位置合わせ（図２ＡのＳ２１０）の結果として生成される整列画像シーケンスの特定の１つが選定される。例示的実施形態によれば、選定された整列画像として基本画像Ｉ_Ｂを使用することができる。代替として、基本画像Ｉ_Ｂの座標系に再サンプルされた、非基本画像Ｉ_ｘの１つを選定することもできる。特に、この選定された画像は、背景画像を生成するための参照フレームを提供することになる。言い換えると、背景画像は、選定画像内の画素位置に対応する画素値を有するように生成される。

例示的実施形態では、選定画像を、移動前景物体を「最善の」位置に描写する、整列画像Ａ_１．．．Ａ_ｎの特定の１つとして選定することができる。例えば、選定された整列画像（以後「Ａ_Ｃ」とする）は、画像の中心に最も近い移動前景物体を含む画像としてもよい。よって、時系列シーケンスの中央に近い画像が選定され得る。しかしながら、移動前景物体表現が、最終出力画像の境界の１つにより近いことが意図されている場合、選定画像Ａ_Ｃは、時系列の最初または最後のどちらかに近い整列画像Ａ_１．．．Ａ_ｎとして選定され得る。

アプリケーションの特定の必要に従って整列画像シーケンスＡ_１．．．Ａ_ｎから正しい整列画像Ａ_Ｃをどのようにして選定するかは、当分野の技術者には容易に明らかになるであろう。本発明の例示的実施形態によれば、選定画像Ａ_Ｃ内の移動前景物体の位置が、最終画像（例えば、ブレた背景を有する画像など）内の移動前景物体表現の位置を決定し得ることを指摘すれば十分である。

図２Ｂに示す例示的実施形態によれば、背景画像は、選定画像Ａ_Ｃ内の各画素位置に対応する整列画像セットＡ_１．．．Ａ_ｎからの中央画素輝度値を獲得することによって生成することができる。この戦略は、画像シーケンス内の各画素位置に対応する画素値の中央値が、移動前景物体の一部ではなく、背景の一部を描写することになるように、移動前景物体が画像シーケンスを十分高速で移動すると想定している。

図２ＢのブロックＳ２２２０〜Ｓ２２６０に、整列画像シーケンスＡ_１．．．Ａ_ｎから中央値を獲得するための方法を示す。具体的には、各整列画像Ａ_ｘが選択され（ステップＳ２２２０）、選定画像Ａ_Ｃ内の各画素位置に対応する画素値が獲得される（Ｓ２２３０）。Ｓ２２４０により、最後の整列画像Ａ_ｎから画素値が獲得された後、各画素位置Ｌごとの画素値の系列ＰＶ_１．．．ＰＶ_ｎがもたらされる。Ｓ２２５０に示すように、画素値系列ＰＶ_１．．．ＰＶ_ｎから中央画素値を求めることができる。次いで、Ｓ２２６０に示すように、この求められた中央値を、背景画像内の対応する画素位置Ｌの画素輝度値として使用することができる。すべての画素位置の中央値が獲得された後、背景画像が生成される。その後、図２のステップＳ２３０により、前景マスクが生成され得る。

図７に、図５の画像シーケンスが整列された（図６参照）後で、それらから生成された背景画像の例を示す。

図２Ｂは、単に、背景画像を生成する１つの例示的実施形態を示すにすぎないことに留意すべきである。整列画像シーケンスＡ_１．．．Ａ_ｎから背景画像を生成する他の方法も使用できることが、当分野の技術者には容易に明らかになるであろう。例えば、相互位置合わせプロセス（図２および２ＡのＳ２１０）の間に、背景に加えて移動前景物体についてもタイポイントを検出することができる。その後、これらの検出されたタイポイントを使って、移動前景物体の暫定的な推定値を作成し、移動前景物体の前景色ヒストグラムを生成することができる。そのため、整列画像シーケンスＡ_１．．．Ａ_ｎ内の対応する画素輝度値と前景色ヒストグラムに基づいて、選定画像Ａ_Ｃ内の各画素位置Ｌが背景に対応するか、それとも移動前景物体に対応するか判定するための確率的方法を実行することができる。

本発明は、背景画像を生成し、または推定するどんな特定の方法にも限定されないことに留意すべきである。そうではなく、本発明の例示的実施形態では、当分野の技術者には容易に企図されるように、受け取られた画像シーケンスから背景画像を推定し、または生成する任意の方法が企図されている。

図２に戻って、Ｓ２２０により背景画像が獲得された後、次のステップは、Ｓ２３０に示すように、選定画像Ａ_Ｃから前景マスクを生成することである。

図２Ｃは、選定された整列画像Ａ_Ｃから前景マスクを生成する方法を示す流れ図である。例示的実施形態によれば、前景マスクは、選定画像Ａ_Ｃと生成された背景画像の間の画素値の差として生成され得る。具体的には、Ｓ２３１０に示すように、選定画像Ａ_Ｃ内の画素値が、背景画像内の対応する（すなわち、同じ画素位置にある）画素値から差し引かれて、１組の値の差が獲得される。ステップＳ２３２０で、そのようにして獲得された各値の差ごとに絶対値が求められる。よって、それらの絶対値が、それらに対応する画素位置Ｌの画素輝度値ＰＶとして設定された前景画像が生成される。次いで、Ｓ２３３０により、前景画像がグレースケールに変換され得る。

その後、グレースケール前景画像が、図２ＣのブロックＳ２２４０〜Ｓ２３６０に示すプロセスに従って２値化され得る。具体的には、２値化プロセスは、前景画像内の画素のそれぞれを「閾値処理」することによって行われる。具体的には、各画素位置Ｌが選択され（Ｓ２２４０）、対応する画素輝度値ＰＶ_Ｌが、所定の閾値と比較される。ステップＳ２３５０に示すように、輝度値ＰＶ_Ｌが閾値以上である場合、それは値１で置き換えられる。他方、輝度値ＰＶ_Ｌが閾値より小さい場合、それは値０で置き換えられる。例示的実施形態によれば、この閾値は、参照によりその全体が本明細書に組み込まれる、Ｎ．Ｏｔｓｕによる論文、「ＡＴｈｒｅｓｈｏｌｄＳｅｌｅｃｔｉｏｎＭｅｔｈｏｄｆｒｏｍＧｒａｙ−ＬｅｖｅｌＨｉｓｔｏｇｒａｍｓ」、ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＳｙｓｔｅｍｓ，Ｍａｎ，ａｎｄＣｙｂｅｒｎｅｔｉｃｓ（システム、人、およびサイバネティクスに関するＩＥＥＥ会議録）、第９巻、第１号、６２〜６６頁（１９７９）で論じられているように、黒い画素と白い画素のクラス内分散を最小限に抑えるように選定され得る。しかしながら、当分野の技術者には企図されるように画素を閾値処理する他の多くの方法も使用され得る。例えば、そのような方法の概要がｈｔｔｐ：／／ｔｉｎｙｕｒｉ．ｃｏｍ／７１９ｖｍに記載されている（２００５年９月１日にアクセスした）。

画素位置Ｌのそれぞれが閾値処理された（Ｓ２３６０で決定された）後、結果として生じた２値化前景画像（以後、「２値化前景マスク」と呼ぶ）は、前景画素には１の値を、背景画素には０の値を持つことになる。

しかしながら、この２値化前景マスクは、２つの理由で若干の雑音信号を含むことがある。具体的には、背景画像内のいくつかの特徴（木の葉、草、低木など）が、画像シーケンスが取り込まれている間に変化することがある。また、２値化前景マスク内の前景物体の描写は、背景画像が前景物体とほぼ同じ色であることによりいくつかの「穴」を含むことがある。

したがって、ステップＳ２３７０により、２値化前景マスクを修復するプロセスが行われ得る。例示的実施形態によれば、そのような修復は、２値化前景マスク内の２値信号（０／１画素値）に対して形態学的フィルタリングを適用することによって行われ得る。そのような形態学的フィルタリングは、画像シーケンス内の背景バリアの変化によって生成される過剰な雑音を除去するのに十分であると考えられる。また、移動前景物体には一般的な形状が想定され得るため、形態学的フィルタリングは、前景マスク内の前景物体を表す２値画素の穴を埋めるのに十分であると考えられる。

次に、形態学的フィルタリング（ＭＦ）のより詳細な説明を行う。ＭＦは、穴を埋め、雑音を除去するために２値画像に適用される非線形フィルタリング技法である。ＭＦは、２つのパラメータ、すなわち、構造化要素（線形フィルタリングにおけるカーネルに類似する）と、操作の種類（「開く」および「閉じる」が本発明での関連する種類である）の選択を必要とする。

本発明の例示的実施形態によれば、ステップＳ２３７０により２値画素を修復するために、図８に示すように、いくつかのＭＦ操作を２値化前景マスクに適用することができる。その構造化要素に適した直径のディスク構造化要素を使って、分離された点における雑音を低減するために「開く」操作を適用することができる（Ｓ２３７１０）。さらに、前景物体のサイズ（直径）を推定することができる（Ｓ２３７２０）。Ｓ２３７３０で示すように、水平および垂直エッジの「へこみ」または「穴」を埋めるために、Ｓ２３７２０の推定サイズに基づくサイズの長方形構造化要素を使って、前景マスクに対して閉じる操作を行うことができる。上述の閉じる操作によってもたらされる「ギザギザ」効果を低減するために、Ｓ２３７４０では、やはりＳ２３７２０の推定サイズに基づくサイズのディスク構造化要素を使って前景マスクに対して別の閉じる操作を行い得ることが示されている。

Ｓ２３７１０、Ｓ２３７３０、およびＳ２３７４０に示す操作は、前景物体の個々のクラスに合わせたＭＦシーケンスを表すことに留意すべきである。したがって、本発明は、ＭＦ操作の数または種類の点でも、様々な種類の前景物体に対応するために使用される構造化要素の種類の点でも限定されるべきではない。構造化要素の選定、ならびに、形態学的フィルタリング操作に関連付けられた他のパラメータの実装は、当分野の技術者には容易に確認され得るであろう。

図２Ｃに示すように、ブロックＳ２３８０は、２値化前景マスク内の画素が修復された後で、図２のステップＳ２４０により、生成された前景マスクが選定画像Ａ_Ｃに適用可能な状態になることが示されている。

具体的には、前景マスクは、前景マスクの２値画素値（０／１）を、選定画像Ａ_Ｃの対応する画素輝度値ＰＶ_Ｌに掛けることによって適用される。この乗算の結果として、背景に対応する選定画像Ａ_Ｃ内のあらゆる画素が「消去され」（すなわち、０で乗算され）、前景物体に対応する画素値のみが変更されずに残る（すなわち、１で乗算される）ことになる。よって、ステップＳ２４０の結果として、運動の分離が行われ、移動前景物体表現が獲得される。

図１に戻って、Ｓ２０によりこの移動物体表現が抽出された後、次のステップは、背景画像に視覚処理（ブレなど）を施すこと（Ｓ３０）である。例示的実施形態によれば、背景画像は、ブラー・フィルタＨを用いた畳み込みによってブレさせることができる。必要な効果を達成するために、どのようにしてブラー・フィルタＨの具体的なパラメータを決定するかは、当分野の技術者には容易に明らかになるであろう。

例えば、水平のブレは、Ｎを１の個数とする、Ｈ＝１／Ｎ・（１，１，１，．．．，１）などの、１行×Ｎ列の行列からなるカーネルを用いて背景画像を畳み込むことによって達成され得る。より強いブレ効果を生み出すには、より長いフィルタ（すなわち、より大きいＮの値）が選定され得る。基本的に、そのような畳み込みは、背景内の画素を水平にシフトさせ、元の背景画像に加えさせる効果を有する。

別の例示的実施形態によれば、ブレさせるプロセスは、（図２ＡのＳ２１４０に関連して前述したように）相互位置合わせプロセス時に検出されたタイポイントから移動前景物体の実際の方向を推定することによって改善することができる。言い換えると、背景について誤って検出された（図２ＡのＳ２１５０により拒絶された）タイポイントの一部は、実際には、物体の運動の方向を推論するのに使用することのできる前景物体上の一致に対応し得る。当分野の技術者には容易に企図されるように、本発明の精神および範囲を逸脱することなく、ブレさせるプロセスへの他の改善を実施することもできる。

図１のステップＳ４０では、背景画像をブレさせた（または他の視覚効果が施された）後で、ブレた背景に抽出された移動前景物体表現を挿入して出力画像を生成することができることが示されている。図３は、本発明の例示的実施形態による、ステップＳ４０を実行する方法を示す流れ図である。

図３のＳ４１０に示すように、２値化前景マスクを反転し、それによって、前景物体に対応する画素すべてに０の値を持たせ、背景領域に関連する画素すべてに１の値を持たせることができる。反転された前景マスク内の２値画素を、（Ｓ４２０に示す）移動前景物体の領域を消去するために、ブレた背景画像内の対応する画素と掛け合わせることができる。よって、抽出された移動前景物体表現を、ステップＳ４３０およびＳ４４０で示すように、ブレた背景画像内のこの消去された領域に重ね合わせて出力画像を生成するプロセスを完了することができる。この一例を図９に示す。図９では、図５の画像シーケンス内の自動車の抽出された表現がブレた背景上に重ね合わされている。

図４を参照すると、本発明の装置１００は、ビデオ画面やプリンタなど、いくつかの異なる出力装置６０のいずれかを使って結果画像を出力することができる。さらに、装置１００は、通信インターフェース７０に接続されたネットワークを介して他の種類の装置に出力画像を送信するように構成することもできる。また、装置１００は、この出力画像を、将来の使用のために記憶装置８０に格納することもできる。

以上では、各図との関連で例示的実施形態を説明しているが、これらの図は、説明のために提供しているにすぎず、本発明を限定するために使用すべきではない。例えば、本発明は、各図中のどんな流れ図によって示されるステップの順序にも限定されず、各図中のどんな特定の構成にも、配置にも限定されないものである。本発明は、本発明の精神および範囲を逸脱するものでない、前述の例示的実施形態に加えることのできるありとあらゆる変形を包含することに留意すべきである。そのような変形には、当分野の技術者によって企図されるように、いくつかの前述の方法ステップの省略および／またはそのようなステップの等価のステップでの置換が含まれ得る。

本発明の例示的実施形態による、画像シーケンスを処理し、ブレた背景上に抽出移動物体がレンダリングされた新しい画像を生成する方法を示す流れ図である。本発明の例示的実施形態による、画像シーケンスから移動物体表現を抽出する方法を詳細に示す流れ図である。本発明の例示的実施形態による、整列画像のセットを獲得するために画像シーケンスを相互に位置合わせする方法を示す流れ図である。本発明の例示的実施形態による、画像シーケンスを相互に位置合わせすることによって獲得された整列画像シーケンスから背景画像を獲得する方法を示す流れ図である。本発明の例示的実施形態による、画像シーケンスの相互位置合わせから獲得された整列画像シーケンスから前景マスクを生成する方法を示す流れ図である。本発明の例示的実施形態による、抽出された前景物体をブレた背景画像表現に挿入する方法を示す流れ図である。本発明の例示的実施形態による、画像処理を実行する装置を示す図である。本発明の例示的実施形態による、処理すべき画像シーケンスの例を示す図である。本発明の例示的実施形態による、図５の画像を相互位置合わせした結果の例を示す図である。本発明の例示的実施形態による、図５および６の画像シーケンスから生成された背景画像の例を示す図である。本発明の例示的実施形態による、前景マスク内の２値化画素を修復する形態学的フィルタリング操作を示す図である。本発明の例示的実施形態による、ブレた背景上に重ね合わされた図５の画像シーケンスから抽出された自動車の表現を示す図である。

符号の説明

１０プロセッサ
２０メモリ
４０入出力インターフェース
５０入力装置
６０出力装置
７０通信インターフェース
８０記憶装置

Claims

画像の系列から移動物体表現を抽出する方法であって、
前記系列内の前記画像のそれぞれを共通の座標系に合わせて整列させるステップと、
前記整列された画像から背景画像を獲得するステップと、
前記背景画像に基づいて前記整列された画像のうちの特定の画像から前記移動物体表現を抽出するステップと
を含む方法。
前記系列内の前記画像間でタイポイントを検出するステップ
をさらに含み、前記系列内の前記画像は、前記検出されたタイポイントが前記共通の座標系に符合するように整列される請求項１に記載の方法。
前記系列内の前記画像のそれぞれにおいてキーポイントを識別するステップ
をさらに含み、前記検出されたタイポイントのそれぞれは、前記画像間の一致するキーポイントに対応する請求項２に記載の方法。
誤ったタイポイントを拒絶するために前記検出されたタイポイントにモデル・パラメータ推定プロセスを適用するステップ
をさらに含む請求項２に記載の方法。
前記利用されるモデル・パラメータ推定プロセスは、ランダム・サンプル・コンセンサス（ＲＡＮＳＡＣ）を利用する請求項４に記載の方法。
基本画像を含む前記系列内の前記画像は、
前記系列内の前記非基本画像のそれぞれにおける座標を前記基本画像の座標系にマップする変換を計算すること、および
前記計算された変換を使って前記非基本画像のそれぞれを前記基本画像の座標系に再サンプルすることにより、前記系列内の前記画像を整列させること
によって整列される請求項１に記載の方法。
背景画像を獲得する前記ステップは、前記特定の画像内の複数の画素位置のそれぞれについて、前記整列された画像内の対応する画素から中央値を求めるステップを含む請求項１に記載の方法。
背景画像を獲得する前記ステップは、
前記移動物体表現に対応する前記画像内の前記検出されたタイポイントに基づいて前景色ヒストグラムを生成するステップと、
前記整列された画像内の対応する画素値と前記前景色ヒストグラムとに基づいて、前記特定の画像内の複数の画素位置のそれぞれの背景確率を計算するステップと
を含む請求項７に記載の方法。
前記移動物体表現を抽出する前記ステップは、
前記特定の画像内の複数の画素位置のそれぞれについて、前記背景画像内の対応する値から前記特定の画像内の画素値を差し引いて前景画像を獲得するステップと、
前記前景画像をグレースケールに変換するステップと、
２値化前景マスクを生成するステップと、
前記特定の画像内の画素値に前記２値化前景マスク内の対応する値を掛けるステップと
を含む請求項１に記載の方法。
２値化前景マスクを生成する前記ステップは、
前記変換された前景画像内の画素に閾値を適用するステップと、
前記閾値を適用することによって生成された信号に形態学的フィルタリングを適用するステップと
を含む請求項９に記載の方法。
前記抽出された移動物体表現をブレた背景画像に挿入するステップ
をさらに含む請求項９に記載の方法。
前記ブレた画像は、ブラー・フィルタを用いて前記背景画像を畳み込んでブレた背景画像を獲得することによって獲得される請求項１１に記載の方法。
前記抽出された移動物体表現を挿入する前記ステップは、
前記前景マスクを反転させるステップと、
前記ブレた背景画像内の画素値に前記反転された前景マスク内の対応する値を掛けることによって前記ブレた背景画像内の領域を消去するステップと、
前記消去された領域上に前記抽出された移動物体表現を重ね合わせるステップと
を含む請求項１１に記載の方法。
コンピュータ可読媒体上に物理的に実施されたコンピュータ・プログラム・コードを含むコンピュータ・プログラム製品であって、前記コンピュータ・プログラム・コードは、実行されると、１つまたは複数のコンピュータに、
画像の系列を受け取らせ、
前記系列内の前記画像のそれぞれを共通の座標系に合わせて整列させ、
前記整列された画像から背景画像を獲得させ、
前記背景画像に基づいて前記整列された画像のうちの特定の画像から移動物体表現を抽出させる
コンピュータ・プログラム製品。
前記コンピュータ・プログラム・コードは、さらに、前記１つまたは複数のコンピュータに、
前記系列内の前記画像間でタイポイントを検出させ、
前記系列内の前記画像は、前記検出されたタイポイントが前記共通の座標系に符合するように整列される請求項１４に記載のコンピュータ・プログラム製品。
前記コンピュータ・プログラム・コードは、さらに、前記１つまたは複数のコンピュータに、
前記系列内の前記画像のそれぞれにおいてキーポイントを識別させ、
前記検出されたタイポイントのそれぞれは、前記系列内の前記画像間の一致するキーポイントに対応する請求項１５に記載のコンピュータ・プログラム製品。
前記コンピュータ・プログラム・コードは、さらに、前記１つまたは複数のコンピュータに、
誤ったタイポイントを拒絶するために前記識別されたタイポイントにモデル・パラメータ推定プロセスを適用させる
請求項１４に記載のコンピュータ・プログラム製品。
基本画像を含む前記画像を整列させるために、前記コンピュータ・プログラム・コードは、前記１つまたは複数のコンピュータに、
前記系列内の前記非基本画像のそれぞれにおける座標を前記基本画像の座標系にマップする変換を計算させ、
前記計算された変換を使って前記非基本画像のそれぞれを前記基本画像の座標系に再サンプルすることによって、前記系列内の前記画像を整列させる
請求項１４に記載のコンピュータ・プログラム製品。
前記背景画像を獲得するために、前記コンピュータ・プログラム・コードは、前記１つまたは複数のコンピュータに、
前記特定の画像内の複数の画素位置のそれぞれについて、前記整列された画像内の対応する画素から中央値を求めさせる
請求項１８に記載のコンピュータ・プログラム製品。
前記移動物体表現を抽出するために、前記コンピュータ・プログラム・コードは、前記１つまたは複数のコンピュータに、
前記特定の画像内の複数の画素位置のそれぞれについて、前記背景画像内の対応する値から前記特定の画像内の画素値を差し引いて前景画像を獲得させ、
前記前景画像をグレースケールに変換させ、
２値化前景マスクを生成させ、
前記特定の画像内の画素値に前記２値化前景マスク内の対応する値を掛けさせる
請求項１４に記載のコンピュータ・プログラム製品。
２値化前景マスクを生成するために、前記コンピュータ・プログラム・コードは、前記１つまたは複数のコンピュータに、
前記変換された前景画像内の画素に閾値を適用させ、
前記閾値を適用することによって生成された信号に形態学的フィルタリングを適用させる
請求項２０に記載のコンピュータ・プログラム製品。
前記コンピュータ・プログラム・コードは、さらに、前記１つまたは複数のコンピュータに、
ブラー・フィルタを用いて前記背景画像を畳み込んでブレた背景画像を獲得することによって獲得されるブレた背景画像に前記抽出された移動物体表現を挿入させる
請求項２０に記載のコンピュータ・プログラム製品。