JP2007109235A - 画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレート - Google Patents

画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレート Download PDF

Info

Publication number
JP2007109235A
JP2007109235A JP2006277824A JP2006277824A JP2007109235A JP 2007109235 A JP2007109235 A JP 2007109235A JP 2006277824 A JP2006277824 A JP 2006277824A JP 2006277824 A JP2006277824 A JP 2006277824A JP 2007109235 A JP2007109235 A JP 2007109235A
Authority
JP
Japan
Prior art keywords
image
images
sequence
computer program
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006277824A
Other languages
English (en)
Inventor
Troy Chinen
チネン トロイ
Sergey Ioffe
イオフェ セルゲイ
Thomas Leung
レオン トーマス
Yang Song
ソン ヤン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2007109235A publication Critical patent/JP2007109235A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)

Abstract

【課題】画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレートを提供すること。
【解決手段】画像シーケンスは、動いている前景物体を描写する。基本画像が選択され、各画像を共通の座標系に合わせて整列させるために、シーケンス内のその他の画像が基本画像と相互に位置合わせされる。整列された画像のシーケンスから背景画像と2値前景マスクが生成される。選定された整列画像の1つに前景マスクを適用することによって、移動物体表現が抽出される。背景画像をブレさせた後、ブレた背景画像上に抽出された表現を重ね合わせて、新しい画像を生成することができる。
【選択図】図1

Description

本発明は、ディジタル・ビデオ画像の処理を対象とし、より詳細には、前景物体を抽出し、または分離するようにディジタル画像シーケンスを処理することを対象とする。分離の後、本発明は、背景に視覚効果を施すこともできる。
今や、ほとんどのディジタル・カメラが、高速で連続して数枚の画像を取り込む機能を備えている。よって、そのようなカメラを使用すれば、特定の場面(例えば道路の一部分など)を通過している移動物体(例えば、自動車)の画像シーケンスを獲得することができる。
既存のディジタル画像処理システムは、画像シーケンスを処理して、動きを意味する視覚効果を作り出そうとする。例えば、時系列のディジタル写真画像を取り込んだ後で、動いているように見せるために移動物体または画像全体(移動物体と背景)にブレが施された新しいフォトリアリスティック画像を生成しようとするシステムがある。
他に、コンピュータ・グラフィックス(CG)を使って新しい場面の視覚表現を生成しようとするシステムもある。また、そのようなCGシステムは、いくつかの種類の動きを示すために、生成された場面に様々な視覚効果を実施することもできる。しかしながら、CG関連のシステムは、一般に、写実的でない場面を作成する。言い換えると、そのようなシステムは、写真画像を、その場面の出力画像を生成するための主要なデータ・ソースとして使用していない。
そのため、前述の既存のイメージング・システムのいずれも、写真品質画像のシーケンスから移動前景物体を識別し、分離するという問題に対処していない。また、これらのシステムのいずれも、移動物体のディジタル写真画像の系列が与えられた場合に、その物体の鮮明な表現を含むと同時に、背景をブレさせることにより動いているように見える新しい画像を作成するという問題に対処していない。さらに、既存のシステムは、一般に、入力画像シーケンスがすでに相互に位置合わせされているものと想定しているが、これは、手持ち式ディジタル・カメラを使って獲得された画像ではあり得ない。
本発明のより詳細な理解は、以下の説明を添付の図面と併せて読めば明らかになるであろう。
以下の説明では、本発明の例示的実施形態を開示する。
例示的実施形態によれば、本発明は、背景場面に対して移動する前景物体を示す画像シーケンス(例えば、比較的高速で連続して撮られたディジタル写真画像など)を受け取る方法および装置を対象とするものである。この一例が、自動車(またはジョギングする人、自転車、物体など)がそこを通過しているある一定の長さの道路の画像シーケンスまたは時系列である。そのような例において、自動車(またはジョギングする人、自転車、物体など)は、移動前景物体を表し、その画像シーケンス内の相対的に静止した特徴(例えば、道路、木、道路標識、空など)は、その画像シーケンスの背景を表す。本発明の1つの例示的実施形態は、画像シーケンス内の背景から移動物体を識別し、分離することを対象とするものである。
図5に、自動車が通過している道路の画像シーケンスの一例を示す。
しかしながら、本発明は、静止した背景を描写する画像シーケンスから移動前景物体を識別することだけに限定されるものではない。例えば、当分野の技術者によれば、背景に対する物体の相対的な位置を(カメラのアングルおよび位置を変更するなどによって)変更するようなやり方で静止前景物体の画像シーケンスが取り込まれ得ることが考えられるであろう。そのようなシーケンスにおいては、本発明を使って、背景から静止前景物体を識別し、分離することができる。
よって、以下においては、「移動前景物体」などの用語を使用するが、そのような用語は、画像シーケンスが取り込まれる際に物体が動いていることを必要とするものとのみ解釈されるべきではない。そうではなく、そのような用語は、その画像シーケンスの間にその背景に対する相対的位置が変化する画像シーケンス内の任意の前景物体を含むものである。
さらに、画像シーケンスの「背景」は、実際には、移動前景物体よりも実際には近くに見える様々な物体が、相対的に静止しており、背景のその他の部分に対するそれらの位置を変更しない場合、そのような物体の描写も含み得る。
本発明の例示的実施形態によれば、画像シーケンスから移動前景物体を識別し、分離した後で、その前景物体の表現が、その前景物体を含まない別個の背景画像と共に生成され得る。さらに、背景画像は、動いているように見せるのに役立つ視覚効果を施すように処理することができる。特定の例示的実施形態によれば、背景画像は、動いているように見せるためにブレさせることができる。その後、移動前景物体表現を処理された(例えばブレた)背景画像に重ね合わせることによって、移動前景物体が、鮮明に、はっきりと描写され、しかも動いているように見えるやり方で示されている新しい画像を作成することができる。
図1は、本発明の例示的実施形態による、画像シーケンスを処理する方法を示す流れ図である。図1に示すように、最初のステップは、画像シーケンスを獲得するステップである(S10)。例示的実施形態によれば、この画像シーケンスは、ディジタル・カメラで取り込まれた画像など、ディジタル写真画像または写真品質画像から成る。しかしながら、取り込まれた画像シーケンスは、以下で、図4に関連してより詳細に説明するように、他の手段によって生成することもできる。ステップS20で、画像シーケンスから移動前景物体表現が抽出される。抽出された表現自体は、他のイメージング用途で使用することのできる移動前景物体の独立の画像を構成し得る。図1で示す例示的実施形態において、ステップS30は、画像シーケンスから獲得された背景画像にブレの視覚効果を施すものである。特に、この背景画像は、移動前景物体が背景から「消去」された状態、あるいは少なくとも十分に除去された状態で獲得され得る。例示的実施形態では、ブラー・フィルタを用いて背景画像を畳み込むプロセスによってそのような背景画像をブレさせることができる。その後、抽出された移動前景物体表現をブレた背景画像に挿入して出力用画像を合成することができる(S40)。
図4は、本発明の例示的実施形態による、画像シーケンスに画像処理を行う装置100を示すブロック図である。特に、図4の装置100は、図1に示す方法を実行するように構成され得る。
例示的実施形態において、装置100は、汎用コンピュータを備えることができる。図4に示すように、装置100は、メモリ装置20との間でデータ信号を転送することのできるプロセッサ10(例えばマイクロプロセッサなど)を備え得る。また、プロセッサ10は、プロセッサ10が、装置100内の他の装置との間でデータを転送することができるようにするデータバス30に接続されてもよい。図4において、これら他の装置には、入力/出力(入出力)インターフェース40、通信インターフェース70、および記憶装置(ハード・ドライブなど)80が含まれる。入出力インターフェース40は、1つまたは複数の入力装置50からデータ信号を受け取り、1つまたは複数の種類の出力装置60にデータ信号を送るポートを含んでいてもよい。
前述のように、プロセッサ10は、汎用コンピュータに実装されたマイクロプロセッサとすることができる。しかしながら、プロセッサ10がディジタル信号プロセッサ(DSP)などの専用処理装置である代替実施形態があってもよい。例示的実施形態において、プロセッサ10は、コンピュータ・プログラム・コードとして実施された一連の命令に従って受け取った画像シーケンスに対して画像処理を行う様々なステップおよびプロセス(例えば図1に示す方法など)を実行するように構成される。そのような実施形態では、例えば、コンピュータ・プログラム・コードは、コンピュータ・ハード・ドライブや外部ZIPドライブなどの記憶装置80に格納され得る。実行時には、コンピュータ・プログラム・コード内の命令の少なくとも一部が、データバス30を介して記憶装置80からプロセッサ10に転送され得る。そのような命令は、一時的にランダム・アクセス・メモリ(RAM)などのメモリ20に格納され、コンピュータ・プログラム・コードの実行時に、プロセッサ10によってアクセスされ、解釈され得る。
そのようなコンピュータ・プログラム・コードが、様々な種類の入力装置50(例えばフロッピー・ディスク・ドライブに挿入されたフロッピー・ディスクなど)によって、あるいは通信インターフェース70によって装置100に接続された通信ネットワークを介して装置100にロードされ得ることは、当分野の技術者には明らかであろう。しかしながら、このコンピュータ・プログラム・コードが、読取り専用メモリ(ROM)などといった特定の種類のメモリ20に永続的に格納されたコンピュータ・プログラム命令のセットなど、他の手段によって装置100で実施されてもよいことも、当分野の技術者は理解するであろう。
さらに、以下で説明する画像シーケンスを処理するステップの1つまたは複数は、コンピュータ・プログラム・コードの実行以外の手段によって実行されてもよい。例えば、一部のステップまたはプロセスは、当分野の技術者には容易に明らかになるように、装置100の様々な構成部品に配線によって組み込まれてもよい。
前述のように、装置100は、処理すべきディジタル写真品質画像シーケンスを受け取るように構成される。そのような画像シーケンスは、様々な種類の入力装置50から受け取られ得る。例えば、高速で、連続して画像の系列を取り込むことのできるディジタル・カメラを、ユニバーサル・シリアル・バス(USB)インターフェースを介して入出力インターフェース40に接続することができる。他方、入力装置50は、画像シーケンスを伝えるアナログのビデオまたはテレビ信号をディジタル化する装置とすることができる。そのため、入出力インターフェース40は、入力装置50からデータバス30にディジタル画像シーケンスを表すデータ信号を送ることができる。画像シーケンスは、記憶装置80に格納され、画像処理が行われるときにプロセッサ10に転送されてもよい。
別の例示的実施形態によれば、ディジタル画像信号シーケンスは、ネットワークを介して装置100によって受け取られ得る。そのため、画像シーケンスは、そのようなネットワークから通信インターフェース70によって受け取られ得る。例えば、画像シーケンスは、インターネット、ローカル・エリア・ネットワーク(LAN)または広域ネットワーク(WAN)に接続されたサーバから受け取られてもよい。通信インターフェース70は、画像シーケンスを受け取るために無線および/または有線ネットワーク接続をサポートすることができる。画像シーケンスを受け取った後、通信インターフェース70は、記憶装置および/またはプロセッサ10に転送されるように、画像シーケンスを表すデータ信号をデータバス30に送ることができる。
次に、図1の流れ図に示す様々なステップおよびプロセスに関して、以下で、より詳細な考察を行う。図1に示すように、画像シーケンスが入力され、または別様に獲得された(S10)後で、ステップS20により、画像シーケンスから移動前景物体が識別され、その物体の表現が抽出される。このステップS20を、一般に、「運動の分離」という。
図2は、例示的実施形態による、図1のステップS20で記述する運動の分離を実行する方法を示す流れ図である。最初に、ステップS210により、各画像を共通の座標系に合わせて整列させるために、シーケンス内の各画像を相互に位置合わせしなければならない。このステップS210では、場面の各点が各画像内の同じ画素位置にあるように整列された画像の系列を生成する。その後、S220により、整列された画像の系列から背景画像を獲得するステップが行われる。さらに、S230は、整列された画像の系列のうちの1つを選定し、選定された画像と背景画像の両方を使って前景マスクを生成するプロセスを指す。この前景マスクを選定された整列画像に適用して、移動前景物体表現を抽出するプロセスを完了することができる(S240に示す)。
以下で、図2A〜2Cと関連して、ステップS210〜S230のより詳細な説明を行う。
図2Aは、図2のステップS210で指定するように、整列画像の系列を生成するために画像シーケンスを相互に位置合わせする方法を示す流れ図である。そのような相互位置合わせが必要となるのは、例えば、手持ち式カメラが使用される場合など、多くの場合、撮影場面間のずれが避けられないためである。よって、静止したままであるべき様々な背景点のシーケンス内にずれが生じることがある。画像シーケンスの相互位置合わせは、背景特徴(すなわち、移動前景物体の部分ではない画像特徴)が共通の座標系の同じ点(すなわち、同じ画素位置)にあるようにすることにより、この問題の解決に役立つ。例示的実施形態によれば、共通の座標系は、画像シーケンスから基本画像を選定することによって決定され得る。その後、シーケンス内の残りの画像のそれぞれをその基本画像と対にして相互に位置合わせし、または整列させることによって、基本画像の座標系に合わせて整列された画像系列が獲得され得る。
例えば、画像シーケンスがn個の画像(I...I)を含むものと仮定する。図2Aに示すように、これらの画像のうちの特定の1つが、基本画像I(1≦B≦n)として選定され、これに対して各非基本画像をI(x∈1,...,n;x?B)とする。基本画像Iを、できるだけ、相対的に多数の様々な非基本画像Iに対するタイポイントを含むように選定すれば有利となるはずである。「タイポイント」とは、同じ画像特徴または場面の点に対応する、2つのそれぞれの画像における点の対をいう。以下で、ステップS2140に関連して、タイポイントの識別のより詳細な説明を行う。
図2AのS2120によれば、画像シーケンスI...Iの各画像におけるキーポイントを識別することが必要になる。「キーポイント」とは、際立った画像特徴をいう。例示的実施形態によれば、キーポイントは、画像シーケンスI...I内の背景に生じ得る変動と関係なく容易に識別可能な特徴である必要がある。例えば、これらには、画像の縮尺が変動し、背景に対して回転したとしても識別され得るはずのキーポイントが含まれ得る。
例えば、その内容全体が参照により本明細書に組み込まれる、David Loweによる、「Object Recognition from Local Scale−Invariant Features」、Proc.of International Conference on Computer Vision(コンピュータ・ビジョンに関する国際会議会報)(1999年9月)という標題の論文に記載されているプロセスがあり、このプロセスを画像セットに適用して、画像の拡縮および回転に対して不変であるキーポイントを識別することができる。このプロセスは、SIFT(拡大縮小不変特徴変換)と呼ばれ、画像シーケンス内の不変のキーポイントを識別する非常に有効な方法である。しかしながら、受け取られた画像シーケンス内で比較的不変のままである、興味深い、または際立った画像特徴(すなわちキーポイント)を識別する多くの方法があることが、当分野の技術者には容易に明らかになるであろう。本発明の例示的実施形態では、これらの方法の任意の1つを使って、図2AのステップS2120により、キーポイントを識別することができる。
関連技術において、キーポイントは、より一般的には、「関心点」または「局所記述子」と呼ばれる。局所記述子を生成するのに使用され得る画像変換は広範囲にわたり、これには、(それだけに限らないが)SIFT、PCA−SIFT、形状コンテキスト、モーメント不変量、相互相関、可操舵フィルタ、微分不変量、および複合フィルタが含まれる。研究は、SIFTおよびその変形が他の種類の記述子より性能が優れていることを示している。その内容全体が参照により本明細書に組み込まれる、http://lear.inrialpes.fr/pubs/2005/MS05/mikolajczyk_pami2004.pdfに記載されている、K.MikolajczykおよびC.Schmidによる、「A Performance Evaluation of Local Descriptors」(2005年9月1日にアクセスした)を参照されたい。SIFTを使用すれば有利になり得るが、本発明はそれによって限定されるものではない。本発明では、前述の画像変換のいずれか、ならびに当分野の技術者によって企図されるはずの、キーポイントを生成する他の方法を用いて、シーケンスの各画像におけるキーポイントまたは局所記述子を識別することができる。
シーケンス内の各画像ごとにキーポイントが識別された(S2120)後で、非基本画像Iのそれぞれを、選定された基本画像Iと対にして整列させるための一連のステップ(S2130〜S2180)が実行される。図2Aに示すように、次の非基本画像Iが相互位置合わせのために選択された(S2130)後、選択された非基本画像I内と基本画像I内で、それぞれのキーポイントを組み合わせることによってタイポイントが検出される。言い換えると、選択された非基本画像Iと基本画像Iそれぞれにおける画素位置の対が、それらが同じキーポイントを含む場合に、タイポイントとして検出される。このステップをS2140に示す。選択された非基本画像I内と基本画像I内の対応するタイポイントを検出するためにキーポイントを組み合わせる様々な方法があることを当分野の技術者は理解するであろう。
しかしながら、S2120〜S2140に従って実行される処理がいくつかの誤ったタイポイントを検出し得ることに留意すべきである。したがって、S2150に示すように、誤って検出されたタイポイントを拒絶するプロセスを実行することが必要になり得る。例示的実施形態において、誤り拒絶プロセスは、検出されたタイポイントにモデル・パラメータ推定プロセスを適用することによって行うことができる。例えば、ランダム・サンプル・コンセンサス(RANSAC)と呼ばれるプロセスを、誤ったタイポイントを拒絶するモデル・パラメータ推定プロセスとして使用することができる。RANSACについては、参照によりその全体が本明細書に組み込まれる、M.A.Fischlerらによる論文、「Random Sample Consensus:A Paradigm for Model Fitting with Applications to image Analysis and Automated Cartography」、Communications of the ACM(1981年6月)に記載されている。
しかしながら、本発明では、誤ったタイポイントを検出し、拒絶するために、他のモデル適合またはパラメータ推定方法も使用され得ることが、当分野の技術者には容易に明らかになるであろう。そのような方法には、それだけに限らないが、最小二乗法、反復最小二乗法、最小二乗中央値、およびM推定が含まれ得る。
図2Aに戻って、S2160は、拒絶されなかったタイポイントが平面射影行列の計算、すなわち、選択された非基本画像I内の座標を、基本画像Iの座標系にマップする数学的変換に使用されることを示す。この数学的変換Txは、選択された非基本画像I内の画素位置を、基本画像Iの参照フレーム内の同等の画素位置にマップする。
ブロックS2170に示すように、計算された変換Tは、その後、その画像を、基本画像Iの座標系に再サンプルするために、非基本画像I内の画素に適用され得る。この再サンプリングは、基本画像Iと整列された新しい画像Aを生み出す。よって、非基本画像I上で基本画像Iに対する相互位置合わせが行われている。S2180に示すように、すべての非基本画像が相互に位置合わせされるまで、次の非基本画像Ix+1が基本画像Iとの相互位置合わせのために選択される。その後、処理は図2のステップS220に進んで、整列された画像から背景を獲得する。
図6に、図5の画像シーケンスを整列させた結果の例を示す。具体的には、図6には、相互に重ね合わされた位置合わせ画像のセットが示されている。
図2Bは、ステップS220による、背景画像を獲得する方法を示す流れ図である。S2210に示すように、相互位置合わせ(図2AのS210)の結果として生成される整列画像シーケンスの特定の1つが選定される。例示的実施形態によれば、選定された整列画像として基本画像Iを使用することができる。代替として、基本画像Iの座標系に再サンプルされた、非基本画像Iの1つを選定することもできる。特に、この選定された画像は、背景画像を生成するための参照フレームを提供することになる。言い換えると、背景画像は、選定画像内の画素位置に対応する画素値を有するように生成される。
例示的実施形態では、選定画像を、移動前景物体を「最善の」位置に描写する、整列画像A...Aの特定の1つとして選定することができる。例えば、選定された整列画像(以後「A」とする)は、画像の中心に最も近い移動前景物体を含む画像としてもよい。よって、時系列シーケンスの中央に近い画像が選定され得る。しかしながら、移動前景物体表現が、最終出力画像の境界の1つにより近いことが意図されている場合、選定画像Aは、時系列の最初または最後のどちらかに近い整列画像A...Aとして選定され得る。
アプリケーションの特定の必要に従って整列画像シーケンスA...Aから正しい整列画像Aをどのようにして選定するかは、当分野の技術者には容易に明らかになるであろう。本発明の例示的実施形態によれば、選定画像A内の移動前景物体の位置が、最終画像(例えば、ブレた背景を有する画像など)内の移動前景物体表現の位置を決定し得ることを指摘すれば十分である。
図2Bに示す例示的実施形態によれば、背景画像は、選定画像A内の各画素位置に対応する整列画像セットA...Aからの中央画素輝度値を獲得することによって生成することができる。この戦略は、画像シーケンス内の各画素位置に対応する画素値の中央値が、移動前景物体の一部ではなく、背景の一部を描写することになるように、移動前景物体が画像シーケンスを十分高速で移動すると想定している。
図2BのブロックS2220〜S2260に、整列画像シーケンスA...Aから中央値を獲得するための方法を示す。具体的には、各整列画像Aが選択され(ステップS2220)、選定画像A内の各画素位置に対応する画素値が獲得される(S2230)。S2240により、最後の整列画像Aから画素値が獲得された後、各画素位置Lごとの画素値の系列PV...PVがもたらされる。S2250に示すように、画素値系列PV...PVから中央画素値を求めることができる。次いで、S2260に示すように、この求められた中央値を、背景画像内の対応する画素位置Lの画素輝度値として使用することができる。すべての画素位置の中央値が獲得された後、背景画像が生成される。その後、図2のステップS230により、前景マスクが生成され得る。
図7に、図5の画像シーケンスが整列された(図6参照)後で、それらから生成された背景画像の例を示す。
図2Bは、単に、背景画像を生成する1つの例示的実施形態を示すにすぎないことに留意すべきである。整列画像シーケンスA...Aから背景画像を生成する他の方法も使用できることが、当分野の技術者には容易に明らかになるであろう。例えば、相互位置合わせプロセス(図2および2AのS210)の間に、背景に加えて移動前景物体についてもタイポイントを検出することができる。その後、これらの検出されたタイポイントを使って、移動前景物体の暫定的な推定値を作成し、移動前景物体の前景色ヒストグラムを生成することができる。そのため、整列画像シーケンスA...A内の対応する画素輝度値と前景色ヒストグラムに基づいて、選定画像A内の各画素位置Lが背景に対応するか、それとも移動前景物体に対応するか判定するための確率的方法を実行することができる。
本発明は、背景画像を生成し、または推定するどんな特定の方法にも限定されないことに留意すべきである。そうではなく、本発明の例示的実施形態では、当分野の技術者には容易に企図されるように、受け取られた画像シーケンスから背景画像を推定し、または生成する任意の方法が企図されている。
図2に戻って、S220により背景画像が獲得された後、次のステップは、S230に示すように、選定画像Aから前景マスクを生成することである。
図2Cは、選定された整列画像Aから前景マスクを生成する方法を示す流れ図である。例示的実施形態によれば、前景マスクは、選定画像Aと生成された背景画像の間の画素値の差として生成され得る。具体的には、S2310に示すように、選定画像A内の画素値が、背景画像内の対応する(すなわち、同じ画素位置にある)画素値から差し引かれて、1組の値の差が獲得される。ステップS2320で、そのようにして獲得された各値の差ごとに絶対値が求められる。よって、それらの絶対値が、それらに対応する画素位置Lの画素輝度値PVとして設定された前景画像が生成される。次いで、S2330により、前景画像がグレースケールに変換され得る。
その後、グレースケール前景画像が、図2CのブロックS2240〜S2360に示すプロセスに従って2値化され得る。具体的には、2値化プロセスは、前景画像内の画素のそれぞれを「閾値処理」することによって行われる。具体的には、各画素位置Lが選択され(S2240)、対応する画素輝度値PVが、所定の閾値と比較される。ステップS2350に示すように、輝度値PVが閾値以上である場合、それは値1で置き換えられる。他方、輝度値PVが閾値より小さい場合、それは値0で置き換えられる。例示的実施形態によれば、この閾値は、参照によりその全体が本明細書に組み込まれる、N.Otsuによる論文、「A Threshold Selection Method from Gray−Level Histograms」、IEEE Transactions on Systems,Man,and Cybernetics(システム、人、およびサイバネティクスに関するIEEE会議録)、第9巻、第1号、62〜66頁(1979)で論じられているように、黒い画素と白い画素のクラス内分散を最小限に抑えるように選定され得る。しかしながら、当分野の技術者には企図されるように画素を閾値処理する他の多くの方法も使用され得る。例えば、そのような方法の概要がhttp://tinyuri.com/719vmに記載されている(2005年9月1日にアクセスした)。
画素位置Lのそれぞれが閾値処理された(S2360で決定された)後、結果として生じた2値化前景画像(以後、「2値化前景マスク」と呼ぶ)は、前景画素には1の値を、背景画素には0の値を持つことになる。
しかしながら、この2値化前景マスクは、2つの理由で若干の雑音信号を含むことがある。具体的には、背景画像内のいくつかの特徴(木の葉、草、低木など)が、画像シーケンスが取り込まれている間に変化することがある。また、2値化前景マスク内の前景物体の描写は、背景画像が前景物体とほぼ同じ色であることによりいくつかの「穴」を含むことがある。
したがって、ステップS2370により、2値化前景マスクを修復するプロセスが行われ得る。例示的実施形態によれば、そのような修復は、2値化前景マスク内の2値信号(0/1画素値)に対して形態学的フィルタリングを適用することによって行われ得る。そのような形態学的フィルタリングは、画像シーケンス内の背景バリアの変化によって生成される過剰な雑音を除去するのに十分であると考えられる。また、移動前景物体には一般的な形状が想定され得るため、形態学的フィルタリングは、前景マスク内の前景物体を表す2値画素の穴を埋めるのに十分であると考えられる。
次に、形態学的フィルタリング(MF)のより詳細な説明を行う。MFは、穴を埋め、雑音を除去するために2値画像に適用される非線形フィルタリング技法である。MFは、2つのパラメータ、すなわち、構造化要素(線形フィルタリングにおけるカーネルに類似する)と、操作の種類(「開く」および「閉じる」が本発明での関連する種類である)の選択を必要とする。
本発明の例示的実施形態によれば、ステップS2370により2値画素を修復するために、図8に示すように、いくつかのMF操作を2値化前景マスクに適用することができる。その構造化要素に適した直径のディスク構造化要素を使って、分離された点における雑音を低減するために「開く」操作を適用することができる(S23710)。さらに、前景物体のサイズ(直径)を推定することができる(S23720)。S23730で示すように、水平および垂直エッジの「へこみ」または「穴」を埋めるために、S23720の推定サイズに基づくサイズの長方形構造化要素を使って、前景マスクに対して閉じる操作を行うことができる。上述の閉じる操作によってもたらされる「ギザギザ」効果を低減するために、S23740では、やはりS23720の推定サイズに基づくサイズのディスク構造化要素を使って前景マスクに対して別の閉じる操作を行い得ることが示されている。
S23710、S23730、およびS23740に示す操作は、前景物体の個々のクラスに合わせたMFシーケンスを表すことに留意すべきである。したがって、本発明は、MF操作の数または種類の点でも、様々な種類の前景物体に対応するために使用される構造化要素の種類の点でも限定されるべきではない。構造化要素の選定、ならびに、形態学的フィルタリング操作に関連付けられた他のパラメータの実装は、当分野の技術者には容易に確認され得るであろう。
図2Cに示すように、ブロックS2380は、2値化前景マスク内の画素が修復された後で、図2のステップS240により、生成された前景マスクが選定画像Aに適用可能な状態になることが示されている。
具体的には、前景マスクは、前景マスクの2値画素値(0/1)を、選定画像Aの対応する画素輝度値PVに掛けることによって適用される。この乗算の結果として、背景に対応する選定画像A内のあらゆる画素が「消去され」(すなわち、0で乗算され)、前景物体に対応する画素値のみが変更されずに残る(すなわち、1で乗算される)ことになる。よって、ステップS240の結果として、運動の分離が行われ、移動前景物体表現が獲得される。
図1に戻って、S20によりこの移動物体表現が抽出された後、次のステップは、背景画像に視覚処理(ブレなど)を施すこと(S30)である。例示的実施形態によれば、背景画像は、ブラー・フィルタHを用いた畳み込みによってブレさせることができる。必要な効果を達成するために、どのようにしてブラー・フィルタHの具体的なパラメータを決定するかは、当分野の技術者には容易に明らかになるであろう。
例えば、水平のブレは、Nを1の個数とする、H=1/N・(1,1,1,...,1)などの、1行×N列の行列からなるカーネルを用いて背景画像を畳み込むことによって達成され得る。より強いブレ効果を生み出すには、より長いフィルタ(すなわち、より大きいNの値)が選定され得る。基本的に、そのような畳み込みは、背景内の画素を水平にシフトさせ、元の背景画像に加えさせる効果を有する。
別の例示的実施形態によれば、ブレさせるプロセスは、(図2AのS2140に関連して前述したように)相互位置合わせプロセス時に検出されたタイポイントから移動前景物体の実際の方向を推定することによって改善することができる。言い換えると、背景について誤って検出された(図2AのS2150により拒絶された)タイポイントの一部は、実際には、物体の運動の方向を推論するのに使用することのできる前景物体上の一致に対応し得る。当分野の技術者には容易に企図されるように、本発明の精神および範囲を逸脱することなく、ブレさせるプロセスへの他の改善を実施することもできる。
図1のステップS40では、背景画像をブレさせた(または他の視覚効果が施された)後で、ブレた背景に抽出された移動前景物体表現を挿入して出力画像を生成することができることが示されている。図3は、本発明の例示的実施形態による、ステップS40を実行する方法を示す流れ図である。
図3のS410に示すように、2値化前景マスクを反転し、それによって、前景物体に対応する画素すべてに0の値を持たせ、背景領域に関連する画素すべてに1の値を持たせることができる。反転された前景マスク内の2値画素を、(S420に示す)移動前景物体の領域を消去するために、ブレた背景画像内の対応する画素と掛け合わせることができる。よって、抽出された移動前景物体表現を、ステップS430およびS440で示すように、ブレた背景画像内のこの消去された領域に重ね合わせて出力画像を生成するプロセスを完了することができる。この一例を図9に示す。図9では、図5の画像シーケンス内の自動車の抽出された表現がブレた背景上に重ね合わされている。
図4を参照すると、本発明の装置100は、ビデオ画面やプリンタなど、いくつかの異なる出力装置60のいずれかを使って結果画像を出力することができる。さらに、装置100は、通信インターフェース70に接続されたネットワークを介して他の種類の装置に出力画像を送信するように構成することもできる。また、装置100は、この出力画像を、将来の使用のために記憶装置80に格納することもできる。
以上では、各図との関連で例示的実施形態を説明しているが、これらの図は、説明のために提供しているにすぎず、本発明を限定するために使用すべきではない。例えば、本発明は、各図中のどんな流れ図によって示されるステップの順序にも限定されず、各図中のどんな特定の構成にも、配置にも限定されないものである。本発明は、本発明の精神および範囲を逸脱するものでない、前述の例示的実施形態に加えることのできるありとあらゆる変形を包含することに留意すべきである。そのような変形には、当分野の技術者によって企図されるように、いくつかの前述の方法ステップの省略および/またはそのようなステップの等価のステップでの置換が含まれ得る。
本発明の例示的実施形態による、画像シーケンスを処理し、ブレた背景上に抽出移動物体がレンダリングされた新しい画像を生成する方法を示す流れ図である。 本発明の例示的実施形態による、画像シーケンスから移動物体表現を抽出する方法を詳細に示す流れ図である。 本発明の例示的実施形態による、整列画像のセットを獲得するために画像シーケンスを相互に位置合わせする方法を示す流れ図である。 本発明の例示的実施形態による、画像シーケンスを相互に位置合わせすることによって獲得された整列画像シーケンスから背景画像を獲得する方法を示す流れ図である。 本発明の例示的実施形態による、画像シーケンスの相互位置合わせから獲得された整列画像シーケンスから前景マスクを生成する方法を示す流れ図である。 本発明の例示的実施形態による、抽出された前景物体をブレた背景画像表現に挿入する方法を示す流れ図である。 本発明の例示的実施形態による、画像処理を実行する装置を示す図である。 本発明の例示的実施形態による、処理すべき画像シーケンスの例を示す図である。 本発明の例示的実施形態による、図5の画像を相互位置合わせした結果の例を示す図である。 本発明の例示的実施形態による、図5および6の画像シーケンスから生成された背景画像の例を示す図である。 本発明の例示的実施形態による、前景マスク内の2値化画素を修復する形態学的フィルタリング操作を示す図である。 本発明の例示的実施形態による、ブレた背景上に重ね合わされた図5の画像シーケンスから抽出された自動車の表現を示す図である。
符号の説明
10 プロセッサ
20 メモリ
40 入出力インターフェース
50 入力装置
60 出力装置
70 通信インターフェース
80 記憶装置

Claims (22)

  1. 画像の系列から移動物体表現を抽出する方法であって、
    前記系列内の前記画像のそれぞれを共通の座標系に合わせて整列させるステップと、
    前記整列された画像から背景画像を獲得するステップと、
    前記背景画像に基づいて前記整列された画像のうちの特定の画像から前記移動物体表現を抽出するステップと
    を含む方法。
  2. 前記系列内の前記画像間でタイポイントを検出するステップ
    をさらに含み、前記系列内の前記画像は、前記検出されたタイポイントが前記共通の座標系に符合するように整列される請求項1に記載の方法。
  3. 前記系列内の前記画像のそれぞれにおいてキーポイントを識別するステップ
    をさらに含み、前記検出されたタイポイントのそれぞれは、前記画像間の一致するキーポイントに対応する請求項2に記載の方法。
  4. 誤ったタイポイントを拒絶するために前記検出されたタイポイントにモデル・パラメータ推定プロセスを適用するステップ
    をさらに含む請求項2に記載の方法。
  5. 前記利用されるモデル・パラメータ推定プロセスは、ランダム・サンプル・コンセンサス(RANSAC)を利用する請求項4に記載の方法。
  6. 基本画像を含む前記系列内の前記画像は、
    前記系列内の前記非基本画像のそれぞれにおける座標を前記基本画像の座標系にマップする変換を計算すること、および
    前記計算された変換を使って前記非基本画像のそれぞれを前記基本画像の座標系に再サンプルすることにより、前記系列内の前記画像を整列させること
    によって整列される請求項1に記載の方法。
  7. 背景画像を獲得する前記ステップは、前記特定の画像内の複数の画素位置のそれぞれについて、前記整列された画像内の対応する画素から中央値を求めるステップを含む請求項1に記載の方法。
  8. 背景画像を獲得する前記ステップは、
    前記移動物体表現に対応する前記画像内の前記検出されたタイポイントに基づいて前景色ヒストグラムを生成するステップと、
    前記整列された画像内の対応する画素値と前記前景色ヒストグラムとに基づいて、前記特定の画像内の複数の画素位置のそれぞれの背景確率を計算するステップと
    を含む請求項7に記載の方法。
  9. 前記移動物体表現を抽出する前記ステップは、
    前記特定の画像内の複数の画素位置のそれぞれについて、前記背景画像内の対応する値から前記特定の画像内の画素値を差し引いて前景画像を獲得するステップと、
    前記前景画像をグレースケールに変換するステップと、
    2値化前景マスクを生成するステップと、
    前記特定の画像内の画素値に前記2値化前景マスク内の対応する値を掛けるステップと
    を含む請求項1に記載の方法。
  10. 2値化前景マスクを生成する前記ステップは、
    前記変換された前景画像内の画素に閾値を適用するステップと、
    前記閾値を適用することによって生成された信号に形態学的フィルタリングを適用するステップと
    を含む請求項9に記載の方法。
  11. 前記抽出された移動物体表現をブレた背景画像に挿入するステップ
    をさらに含む請求項9に記載の方法。
  12. 前記ブレた画像は、ブラー・フィルタを用いて前記背景画像を畳み込んでブレた背景画像を獲得することによって獲得される請求項11に記載の方法。
  13. 前記抽出された移動物体表現を挿入する前記ステップは、
    前記前景マスクを反転させるステップと、
    前記ブレた背景画像内の画素値に前記反転された前景マスク内の対応する値を掛けることによって前記ブレた背景画像内の領域を消去するステップと、
    前記消去された領域上に前記抽出された移動物体表現を重ね合わせるステップと
    を含む請求項11に記載の方法。
  14. コンピュータ可読媒体上に物理的に実施されたコンピュータ・プログラム・コードを含むコンピュータ・プログラム製品であって、前記コンピュータ・プログラム・コードは、実行されると、1つまたは複数のコンピュータに、
    画像の系列を受け取らせ、
    前記系列内の前記画像のそれぞれを共通の座標系に合わせて整列させ、
    前記整列された画像から背景画像を獲得させ、
    前記背景画像に基づいて前記整列された画像のうちの特定の画像から移動物体表現を抽出させる
    コンピュータ・プログラム製品。
  15. 前記コンピュータ・プログラム・コードは、さらに、前記1つまたは複数のコンピュータに、
    前記系列内の前記画像間でタイポイントを検出させ、
    前記系列内の前記画像は、前記検出されたタイポイントが前記共通の座標系に符合するように整列される請求項14に記載のコンピュータ・プログラム製品。
  16. 前記コンピュータ・プログラム・コードは、さらに、前記1つまたは複数のコンピュータに、
    前記系列内の前記画像のそれぞれにおいてキーポイントを識別させ、
    前記検出されたタイポイントのそれぞれは、前記系列内の前記画像間の一致するキーポイントに対応する請求項15に記載のコンピュータ・プログラム製品。
  17. 前記コンピュータ・プログラム・コードは、さらに、前記1つまたは複数のコンピュータに、
    誤ったタイポイントを拒絶するために前記識別されたタイポイントにモデル・パラメータ推定プロセスを適用させる
    請求項14に記載のコンピュータ・プログラム製品。
  18. 基本画像を含む前記画像を整列させるために、前記コンピュータ・プログラム・コードは、前記1つまたは複数のコンピュータに、
    前記系列内の前記非基本画像のそれぞれにおける座標を前記基本画像の座標系にマップする変換を計算させ、
    前記計算された変換を使って前記非基本画像のそれぞれを前記基本画像の座標系に再サンプルすることによって、前記系列内の前記画像を整列させる
    請求項14に記載のコンピュータ・プログラム製品。
  19. 前記背景画像を獲得するために、前記コンピュータ・プログラム・コードは、前記1つまたは複数のコンピュータに、
    前記特定の画像内の複数の画素位置のそれぞれについて、前記整列された画像内の対応する画素から中央値を求めさせる
    請求項18に記載のコンピュータ・プログラム製品。
  20. 前記移動物体表現を抽出するために、前記コンピュータ・プログラム・コードは、前記1つまたは複数のコンピュータに、
    前記特定の画像内の複数の画素位置のそれぞれについて、前記背景画像内の対応する値から前記特定の画像内の画素値を差し引いて前景画像を獲得させ、
    前記前景画像をグレースケールに変換させ、
    2値化前景マスクを生成させ、
    前記特定の画像内の画素値に前記2値化前景マスク内の対応する値を掛けさせる
    請求項14に記載のコンピュータ・プログラム製品。
  21. 2値化前景マスクを生成するために、前記コンピュータ・プログラム・コードは、前記1つまたは複数のコンピュータに、
    前記変換された前景画像内の画素に閾値を適用させ、
    前記閾値を適用することによって生成された信号に形態学的フィルタリングを適用させる
    請求項20に記載のコンピュータ・プログラム製品。
  22. 前記コンピュータ・プログラム・コードは、さらに、前記1つまたは複数のコンピュータに、
    ブラー・フィルタを用いて前記背景画像を畳み込んでブレた背景画像を獲得することによって獲得されるブレた背景画像に前記抽出された移動物体表現を挿入させる
    請求項20に記載のコンピュータ・プログラム製品。
JP2006277824A 2005-10-13 2006-10-11 画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレート Pending JP2007109235A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/248,175 US7702131B2 (en) 2005-10-13 2005-10-13 Segmenting images and simulating motion blur using an image sequence

Publications (1)

Publication Number Publication Date
JP2007109235A true JP2007109235A (ja) 2007-04-26

Family

ID=37948212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006277824A Pending JP2007109235A (ja) 2005-10-13 2006-10-11 画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレート

Country Status (2)

Country Link
US (1) US7702131B2 (ja)
JP (1) JP2007109235A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009019848A1 (ja) * 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム
WO2009066783A1 (en) * 2007-11-22 2009-05-28 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image display system, and computer program
JP2009239903A (ja) * 2008-03-05 2009-10-15 Semiconductor Energy Lab Co Ltd 画像処理方法、画像処理システム、およびコンピュータプログラム
JP2014530391A (ja) * 2011-09-12 2014-11-17 インテル・コーポレーション ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ

Families Citing this family (82)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8199222B2 (en) * 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8989516B2 (en) 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US8417055B2 (en) * 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
WO2005093654A2 (en) 2004-03-25 2005-10-06 Fatih Ozluturk Method and apparatus to correct digital image blur due to motion of subject or imaging device
JP3993863B2 (ja) * 2004-04-29 2007-10-17 株式会社コナミデジタルエンタテインメント 画像生成装置、速度表現方法、および、プログラム
US7639888B2 (en) 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US20080018792A1 (en) * 2006-07-19 2008-01-24 Kiran Bhat Systems and Methods for Interactive Surround Visual Field
US8411914B1 (en) * 2006-11-28 2013-04-02 The Charles Stark Draper Laboratory, Inc. Systems and methods for spatio-temporal analysis
US20080180520A1 (en) * 2007-01-26 2008-07-31 Chao-Hung Chang System and method for variable-resolution image saving
US7773118B2 (en) 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
WO2008136933A1 (en) * 2007-05-07 2008-11-13 Thomson Licensing Method and apparatus for processing video sequences
JP5022105B2 (ja) * 2007-05-29 2012-09-12 富士フイルム株式会社 カメラの表示制御装置及び方法
US20080309770A1 (en) * 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
US7907778B2 (en) * 2007-08-13 2011-03-15 Seiko Epson Corporation Segmentation-based image labeling
JP4404116B2 (ja) * 2007-08-14 2010-01-27 セイコーエプソン株式会社 画像処理回路、表示装置及び印刷装置
WO2009076182A1 (en) * 2007-12-13 2009-06-18 Clemson University Vision based real time traffic monitoring
US8325268B2 (en) * 2007-12-28 2012-12-04 Sanyo Electric Co., Ltd. Image processing apparatus and photographing apparatus
US8098904B2 (en) * 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
JP2011530222A (ja) 2008-08-01 2011-12-15 ゾラン コーポレイション 雑音除去のための統合時間フィルタを備えたビデオエンコーダ
JPWO2010035752A1 (ja) * 2008-09-24 2012-02-23 株式会社ニコン 画像生成装置、撮像装置、画像再生装置、画像再生プログラム
US8238694B2 (en) * 2008-10-03 2012-08-07 Microsoft Corporation Alignment of sharp and blurred images based on blur kernel sparseness
JP2010135642A (ja) * 2008-12-05 2010-06-17 Tokyo Electron Ltd 基板検査方法及び記憶媒体
RU2421814C2 (ru) * 2009-02-20 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ формирования составного изображения
EP2454876B1 (en) 2009-10-21 2013-12-04 Ron Banner Real-time video deblurring
JP2011130169A (ja) * 2009-12-17 2011-06-30 Sanyo Electric Co Ltd 画像処理装置及び撮影装置
CN102103457B (zh) * 2009-12-18 2013-11-20 深圳富泰宏精密工业有限公司 简报操作系统及方法
AU2009251048B2 (en) * 2009-12-18 2013-12-19 Canon Kabushiki Kaisha Background image and mask estimation for accurate shift-estimation for video object detection in presence of misalignment
US8180146B2 (en) * 2009-12-22 2012-05-15 The Chinese University Of Hong Kong Method and apparatus for recognizing and localizing landmarks from an image onto a map
KR101620933B1 (ko) * 2010-12-31 2016-05-13 노키아 테크놀로지스 오와이 제스쳐 인식 메커니즘을 제공하는 방법 및 장치
US9090214B2 (en) 2011-01-05 2015-07-28 Orbotix, Inc. Magnetically coupled accessory for a self-propelled device
US9150263B2 (en) 2011-01-05 2015-10-06 Sphero, Inc. Self-propelled device implementing three-dimensional control
US9429940B2 (en) 2011-01-05 2016-08-30 Sphero, Inc. Self propelled device with magnetic coupling
US9218316B2 (en) 2011-01-05 2015-12-22 Sphero, Inc. Remotely controlling a self-propelled device in a virtualized environment
US10281915B2 (en) 2011-01-05 2019-05-07 Sphero, Inc. Multi-purposed self-propelled device
US8565520B2 (en) 2011-06-10 2013-10-22 Microsoft Corporation Determining foreground regions and background regions in an image
CN103858002B (zh) * 2011-07-28 2016-10-26 保罗·谢勒学院 基于主成分分析的图像融合方法
JP5771096B2 (ja) * 2011-08-31 2015-08-26 株式会社半導体エネルギー研究所 画像処理方法
US8760513B2 (en) 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
KR101657526B1 (ko) * 2012-01-11 2016-09-19 한화테크윈 주식회사 특징점 검사영역 설정기와 설정 방법 및 이를 구비하는 영상 안정화 장치
JP5678911B2 (ja) * 2012-03-12 2015-03-04 カシオ計算機株式会社 画像合成装置、その画像合成方法、及びプログラム
KR101739025B1 (ko) * 2012-03-13 2017-05-24 한화테크윈 주식회사 영상 처리 방법
CN103365063B (zh) * 2012-03-31 2018-05-22 北京三星通信技术研究有限公司 三维图像拍摄方法和设备
US9827487B2 (en) 2012-05-14 2017-11-28 Sphero, Inc. Interactive augmented reality using a self-propelled device
EP2850512A4 (en) * 2012-05-14 2016-11-16 Sphero Inc OPERATION OF A CALCULATION DEVICE BY DETECTING ROUNDED OBJECTS IN A PICTURE
US9292758B2 (en) 2012-05-14 2016-03-22 Sphero, Inc. Augmentation of elements in data content
US9373187B2 (en) 2012-05-25 2016-06-21 Nokia Corporation Method and apparatus for producing a cinemagraph
US10056791B2 (en) 2012-07-13 2018-08-21 Sphero, Inc. Self-optimizing power transfer
KR101470693B1 (ko) * 2012-07-31 2014-12-08 엘지디스플레이 주식회사 영상 데이터 처리 방법과 이를 이용한 입체 영상 표시장치
EP2706531A1 (en) * 2012-09-11 2014-03-12 Nokia Corporation An image enhancement apparatus
US9082198B2 (en) 2012-10-19 2015-07-14 Qualcomm Technologies, Inc. Method for creating automatic cinemagraphs on an imagine device
US9014543B1 (en) * 2012-10-23 2015-04-21 Google Inc. Methods and systems configured for processing video frames into animation
CN104036483B (zh) * 2013-03-06 2021-01-15 北京三星通信技术研究有限公司 图像处理系统和图像处理方法
US9311550B2 (en) * 2013-03-06 2016-04-12 Samsung Electronics Co., Ltd. Device and method for image processing
KR102039688B1 (ko) 2013-03-14 2019-11-01 삼성전자주식회사 사용자 기기 및 그 동작 방법
US9928628B2 (en) 2013-05-13 2018-03-27 Nokia Technologies Oy Method, apparatus and computer program product to represent motion in composite images
US9432575B2 (en) * 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
US9253415B2 (en) * 2013-11-27 2016-02-02 Adobe Systems Incorporated Simulating tracking shots from image sequences
US9571720B2 (en) * 2013-12-10 2017-02-14 Olympus Corporation Image processing device, display device, imaging apparatus, image processing method, and program
US9829882B2 (en) 2013-12-20 2017-11-28 Sphero, Inc. Self-propelled device with center of mass drive system
KR102356448B1 (ko) * 2014-05-05 2022-01-27 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치
US9836831B1 (en) 2014-07-30 2017-12-05 Google Inc. Simulating long-exposure images
US20160232672A1 (en) * 2015-02-06 2016-08-11 Qualcomm Incorporated Detecting motion regions in a scene using ambient-flash-ambient images
US10846895B2 (en) * 2015-11-23 2020-11-24 Anantha Pradeep Image processing mechanism
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
EP3827412A4 (en) * 2018-08-01 2021-08-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE PROCESSING DEVICE AND METHOD
US10609293B2 (en) * 2018-08-20 2020-03-31 Capital One Services, Llc Real-time glare detection inside a dynamic region of an image
US10701279B2 (en) 2018-10-02 2020-06-30 Adobe Inc. Utilizing alignment models and motion vector path blending to generate a long exposure digital image from a sequence of short exposure digital images
WO2020107187A1 (en) * 2018-11-26 2020-06-04 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Systems and methods for taking telephoto-like images
US10885697B1 (en) * 2018-12-12 2021-01-05 Facebook, Inc. Systems and methods for generating augmented-reality makeup effects
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy
JP7259660B2 (ja) * 2019-09-10 2023-04-18 株式会社デンソー イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
CN110611768B (zh) * 2019-09-27 2021-06-29 北京小米移动软件有限公司 多重曝光摄影方法及装置
CN111145192B (zh) * 2019-12-30 2023-07-28 维沃移动通信有限公司 图像处理方法及电子设备
CN113807185B (zh) * 2021-08-18 2024-02-27 苏州涟漪信息科技有限公司 一种数据处理方法和装置
US11922542B2 (en) * 2022-01-18 2024-03-05 Microsoft Technology Licensing, Llc Masking and compositing visual effects in user interfaces

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5125041A (en) * 1985-08-05 1992-06-23 Canon Kabushiki Kaisha Still image processing method for blurring an image background and producing a visual flowing effect
US5014126A (en) * 1989-10-23 1991-05-07 Vision Iii Imaging, Inc. Method and apparatus for recording images with a single image receiver for autostereoscopic display
US5150426A (en) * 1990-11-20 1992-09-22 Hughes Aircraft Company Moving target detection method using two-frame subtraction and a two quadrant multiplier
GB2255466B (en) * 1991-04-30 1995-01-25 Sony Broadcast & Communication Digital video effects system for producing moving effects
GB2262853B (en) * 1991-12-20 1995-07-19 Sony Broadcast & Communication Digital video signal processing
US5613048A (en) * 1993-08-03 1997-03-18 Apple Computer, Inc. Three-dimensional image synthesis using view interpolation
JPH08147493A (ja) * 1994-11-15 1996-06-07 Matsushita Electric Ind Co Ltd アニメーション画像生成方法
US5758046A (en) * 1995-12-01 1998-05-26 Lucas Digital, Ltd. Method and apparatus for creating lifelike digital representations of hair and other fine-grained images
US5809219A (en) * 1996-04-15 1998-09-15 Silicon Graphics, Inc. Analytic motion blur coverage in the generation of computer graphics imagery
US6529193B1 (en) * 1996-06-25 2003-03-04 Mental Images Gmbh & Co. Kg System and method for generating pixel values for pixels in an image using strictly deterministic methodologies for generating sample points
US5831627A (en) * 1996-06-27 1998-11-03 R/Greenberg Associates System and method for providing improved graphics generation performance using memory lookup
US6559849B1 (en) * 1999-07-30 2003-05-06 Lucas Digital Ltd. Animation of linear items
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US6426755B1 (en) * 2000-05-16 2002-07-30 Sun Microsystems, Inc. Graphics system using sample tags for blur
JP4071422B2 (ja) * 2000-06-28 2008-04-02 株式会社東芝 モーションブラー画像描画方法及び描画装置
US7453459B2 (en) * 2001-02-26 2008-11-18 Adobe Systems Incorporated Composite rendering 3-D graphical objects
JP4608791B2 (ja) * 2001-03-15 2011-01-12 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US7424175B2 (en) * 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
MXPA03010039A (es) * 2001-05-04 2004-12-06 Legend Films Llc Sistema y metodo para mejorar la secuencia de imagen.
KR100508569B1 (ko) * 2001-06-19 2005-08-18 김회율 이미지 시퀀스 검색을 위한 모양 변화 기술자 추출 방법
JP4596220B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596224B2 (ja) * 2001-06-27 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US20030001862A1 (en) * 2001-06-29 2003-01-02 Chu Michael H. Method for the minimization of artifacts in full frame animations transferred to NTSC interlaced video
AU2002331768A1 (en) * 2001-08-31 2003-03-18 Timothy N. Huber Methods and apparatus for co-registered motion picture image recording
GB2382940A (en) * 2001-11-27 2003-06-11 Nokia Corp Encoding objects and background blocks
US7362332B2 (en) * 2002-06-20 2008-04-22 Nvidia Corporation System and method of simulating motion blur efficiently
US7324116B2 (en) * 2002-06-20 2008-01-29 Microsoft Corporation Systems and methods for providing controllable texture sampling
US6987883B2 (en) * 2002-12-31 2006-01-17 Objectvideo, Inc. Video scene background maintenance using statistical pixel modeling
GB2400287A (en) * 2003-04-02 2004-10-06 Autodesk Canada Inc Three-Dimensional Image Compositing
US7242460B2 (en) * 2003-04-18 2007-07-10 Sarnoff Corporation Method and apparatus for automatic registration and visualization of occluded targets using ladar data
EP1757087A4 (en) * 2004-04-16 2009-08-19 James A Aman AUTOMATIC VIDEO RECORDING OF EVENTS, PURSUIT AND CONTENT PRODUCTION SYSTEM

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009019848A1 (ja) * 2007-08-03 2009-02-12 Panasonic Corporation 撮影装置、撮影方法、およびプログラム
US7916177B2 (en) 2007-08-03 2011-03-29 Panasonic Corporation Image-capturing apparatus, image-capturing method and program for detecting and correcting image blur
CN101601279B (zh) * 2007-08-03 2011-11-16 松下电器产业株式会社 摄像装置以及摄像方法
WO2009066783A1 (en) * 2007-11-22 2009-05-28 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image display system, and computer program
JP2009147922A (ja) * 2007-11-22 2009-07-02 Semiconductor Energy Lab Co Ltd 画像処理方法、画像表示システム、およびコンピュータプログラム
US9123132B2 (en) 2007-11-22 2015-09-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image display system, and computer program
KR101552475B1 (ko) * 2007-11-22 2015-09-11 가부시키가이샤 한도오따이 에네루기 켄큐쇼 화상 처리 방법, 화상 표시 시스템, 및 컴퓨터 프로그램
JP2009239903A (ja) * 2008-03-05 2009-10-15 Semiconductor Energy Lab Co Ltd 画像処理方法、画像処理システム、およびコンピュータプログラム
JP2013152734A (ja) * 2008-03-05 2013-08-08 Semiconductor Energy Lab Co Ltd 表示装置
US8687918B2 (en) 2008-03-05 2014-04-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image processing system, and computer program
JP2014530391A (ja) * 2011-09-12 2014-11-17 インテル・コーポレーション ローカライズされ、セグメンテーションされた画像のネットワークキャプチャ及び3dディスプレイ
US10192313B2 (en) 2011-09-12 2019-01-29 Intel Corporation Networked capture and 3D display of localized, segmented images

Also Published As

Publication number Publication date
US20070086675A1 (en) 2007-04-19
US7702131B2 (en) 2010-04-20

Similar Documents

Publication Publication Date Title
JP2007109235A (ja) 画像シーケンスを使った画像の分離およびモーション・ブラーのシミュレート
Choi et al. Thermal image enhancement using convolutional neural network
US10366504B2 (en) Image processing apparatus and image processing method for performing three-dimensional reconstruction of plurality of images
CN110070580B (zh) 基于局部关键帧匹配的slam快速重定位方法及图像处理装置
JP6726052B2 (ja) 画像処理方法およびプログラム
CN108108748A (zh) 一种信息处理方法及电子设备
CN114119751A (zh) 用于大规模确定rgbd相机姿势的方法和系统
US8953900B2 (en) Increased quality of image objects based on depth in scene
CN108038826B (zh) 透视变形的搁架图像的校正方法和装置
JP7159384B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN103902953B (zh) 一种屏幕检测系统及方法
Shah et al. Removal of specular reflections from image sequences using feature correspondences
JP4427052B2 (ja) 画像処理装置および領域追跡プログラム
CN111928857B (zh) 一种动态环境中实现slam定位的方法及相关装置
CN111928842A (zh) 一种基于单目视觉实现slam定位的方法及相关装置
Recky et al. Façade segmentation in a multi-view scenario
Vishwakarma et al. Image mosaicking using improved auto-sorting algorithm and local difference-based harris features
CN117710868B (zh) 一种对实时视频目标的优化提取系统及方法
CN113469216B (zh) 零售终端海报识别与完整性判断方法、系统及存储介质
CN112802112B (zh) 视觉定位方法、装置、服务器及存储介质
Mirkamali et al. Object removal by depth-wise image inpainting
JP4378261B2 (ja) 画像処理方法、画像処理装置
JP6943340B2 (ja) 物体検出装置、物体検出システム、物体検出方法、およびプログラム
WO2012127639A1 (ja) 画像処理装置及び画像処理方法
CN115294358A (zh) 特征点提取方法、装置、计算机设备及可读存储介质