JP2018117346A

JP2018117346A - 効率的なパッチベースのビデオノイズ除去方法

Info

Publication number: JP2018117346A
Application number: JP2018001654A
Authority: JP
Inventors: ドンシャオガン; Xiaogang Dong
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2017-01-20
Filing date: 2018-01-10
Publication date: 2018-07-26
Anticipated expiration: 2038-01-10
Also published as: EP3352133A1; CN108337402A; JP6521278B2; KR20180086127A; CN108337402B; US10140689B2; US20180211365A1; KR102007601B1; EP3352133B1

Abstract

【課題】計算能力とメモリ使用量の両方の点で効率のよいビデオノイズ除去方法を提供する。
【解決手段】現在のフレームからノイズが多いと判断されたフレーム１００（例えば、閾値を上回るノイズレベルを有すると判断されたフレーム）を選択し、ノイズの多い現在のフレームからノイズの多い現在のパッチ１０２を選択する。次に、ノイズの多い現在のフレームと以前にノイズ除去したフレーム１０６とに基づいて、動きを推定して動き推定情報を生成する。動き推定情報と以前にノイズ除去したフレームとを利用して、動き推定補償した以前のパッチ１０８を生成する。これらの２つのパッチ１０２および１０８とをパッチノイズ除去工程に通してノイズ除去済みパッチ１１２を生成し、回転バッファ及び集約技術を用いて、ノイズ除去された現在のビデオフレームを生成する。
【選択図】図１

Description

本発明は、ビデオ処理に関する。具体的には、本発明はビデオノイズ除去に関する。

ビデオ録画は、カメラ、スマートフォン、タブレット及び他の多くの装置の標準機能である。通常、コンパクトカメラ、並びに電話機及びタブレットなどのモバイル装置は、小型のイメージセンサ及び理想的とは言えない光学系を備える。これらの装置にとって、ビデオノイズ除去は特に重要である。一般に、高性能カメラ及びカムコーダは、大型のイメージセンサ及び優れた光学系を備える。これらの装置を用いて取り込まれたビデオは、通常の照明条件下ではまともな品質を有する。しかしながら、低光条件下で録画されたビデオは、たとえ高性能カメラ及びビデオカメラであっても大幅な改善が必要である。また、近年では、多くの録画装置の解像度が増してきている（例えば、ＳＤからＨＤへ、ＨＤから４Ｋへ、将来的には恐らく４Ｋから８Ｋへ）。ビデオ解像度が増加すると、イメージセンサ上の全ての画素位置において信号対雑音比が低下する。ビデオ解像度の増加と共に、ビデオノイズ除去はさらにいっそう困難になる。

米国特許出願第１４／６６９，４３３号明細書

ビデオノイズ除去に対処する方法としては、２０１５年３月２６日に出願された米国特許出願第１４／６６９，４３３号に記載されるような「低光条件下でのビデオ品質を改善する方法（Ａｍｅｔｈｏｄｔｏｉｍｐｒｏｖｅｖｉｄｅｏｑｕａｌｉｔｙｕｎｄｅｒｌｏｗｌｉｇｈｔｃｏｎｄｉｔｉｏｎｓ）」を含む多くの方法が提案されている。ビデオフレーム全体を利用してビデオノイズ除去を行うと、単一フレームのノイズ除去結果と差分フレームのノイズ除去結果の両方が計算されて記憶されるので、膨大な計算能力及び記憶スペースが必要になる。従って、計算能力とメモリ使用量の両方の点で効率のよいビデオノイズ除去方法が求められている。

本明細書では、効率的なパッチベースのビデオノイズ除去方法について説明する。現在のフレームからノイズの多いパッチを選択し、以前のノイズ除去済みフレームにおける動き補償パッチを発見する。これらの２つのパッチをパッチノイズ除去工程に通してノイズ除去済みパッチを生成する。回転バッファ及び集約技術を用いて、ノイズ除去された現在のビデオフレームを生成する。

１つの態様では、装置の非一時的メモリにプログラムされる方法が、ノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成するステップと、この動き推定情報を用いて、動き推定補償した以前のパッチを生成するステップと、ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成するステップと、ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成するステップとを含む。方法は、ノイズの多い現在のフレームをビデオから選択し、ノイズの多い現在のフレームからノイズの多い現在のパッチを選択するステップをさらに含む。ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、逐次的に行われる。ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、ノイズの多い現在のフレーム及びノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく。集約は、回転バッファ集約を利用することを含む。ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成するステップは、ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、差分パッチの絶対値和が閾値を上回る場合には、ノイズの多い現在のパッチをノイズ除去してノイズ除去済みパッチを生成し、差分パッチの絶対値和が閾値を上回らない場合には、差分パッチをノイズ除去し、ノイズ除去した差分パッチと以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、一時的ノイズ除去済みパッチとノイズの多い現在のパッチとを混合してノイズ除去済みパッチを生成するステップを含む。

別の態様では、装置が、アプリケーションを記憶する非一時的メモリと、メモリに結合されてアプリケーションを処理するように構成された処理要素とを備え、アプリケーションは、ノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成し、この動き推定情報を用いて、動き推定補償した以前のパッチを生成し、ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成し、ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成する。装置は、ノイズの多い現在のフレームをビデオから選択し、ノイズの多い現在のフレームからノイズの多い現在のパッチを選択することをさらに含む。ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、逐次的に行われる。ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、ノイズの多い現在のフレーム及びノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく。集約は、回転バッファ集約を利用することを含む。ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成することは、ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、差分パッチの絶対値和が閾値を上回る場合には、ノイズの多い現在のパッチをノイズ除去してノイズ除去済みパッチを生成し、差分パッチの絶対値和が閾値を上回らない場合には、差分パッチをノイズ除去し、ノイズ除去した差分パッチと以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、一時的ノイズ除去済みパッチとノイズの多い現在のパッチとを混合してノイズ除去済みパッチを生成することを含む。

別の態様では、システムが、ビデオを取得するためのカメラと、コンピュータ装置と、メモリに結合されてアプリケーションを処理するように構成された処理要素とを備え、コンピュータ装置が、ビデオのノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成し、この動き推定情報を用いて、動き推定補償した以前のパッチを生成し、ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成し、ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成するように構成される。システムは、ノイズの多い現在のフレームをビデオから選択し、ノイズの多い現在のフレームからノイズの多い現在のパッチを選択することをさらに含む。ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、逐次的に行われる。ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、ノイズの多い現在のフレーム及びノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく。集約は、回転バッファ集約を利用することを含む。ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成することは、ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、差分パッチの絶対値和が閾値を上回る場合には、ノイズの多い現在のパッチをノイズ除去してノイズ除去済みパッチを生成し、差分パッチの絶対値和が閾値を上回らない場合には、差分パッチをノイズ除去し、ノイズ除去した差分パッチと以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、一時的ノイズ除去済みパッチとノイズの多い現在のパッチとを混合してノイズ除去済みパッチを生成することを含む。

いくつかの実施形態によるパッチベースのビデオノイズ除去方法のフローチャートである。いくつかの実施形態によるパッチベースの処理方法のフローチャートである。いくつかの実施形態による画像を示す図である。いくつかの実施形態による、パッチベースのビデオノイズ除去方法を実行するように構成された例示的なコンピュータ装置のブロック図である。

本明細書では、効率的なパッチベースのビデオノイズ除去方法について説明する。現在のフレームからノイズの多いパッチを選択し、以前のノイズ除去済みフレームにおける動き補償パッチを発見する。これらの２つのパッチをパッチノイズ除去工程に通してノイズ除去済みパッチを生成する。回転バッファ及び集約技術を用いて、ノイズ除去された現在のビデオフレームを生成する。この効率的なパッチベースの方法は、計算コスト及びメモリ使用量を大幅に削減する。

図１は、いくつかの実施形態によるパッチベースのビデオノイズ除去方法のフローチャートである。ステップ１００において、ノイズの多い現在のフレームを選択する。例えば、フレームは、通常ビデオから逐次的に選択される。別のフレーム選択順も可能である。いくつかの実施形態では、ノイズが多いと判断されたフレーム（例えば、閾値を上回るノイズレベルを有すると判断されたフレーム）のみが選択される。ステップ１０２において、ノイズの多い現在のフレームからノイズの多い現在のパッチを選択する。例えば、パッチは、ノイズの多いフレームから逐次的に又は別の順序で選択される。いくつかの実施形態では、ノイズが多いと判断されたパッチ（例えば、閾値を上回るノイズレベルを有すると判断されたパッチ）のみが選択される。ステップ１０４において、ノイズの多い現在のフレーム１００と以前にノイズ除去したフレーム１０６とに基づいて、動きを推定して動き推定情報を生成する。オプティカルフロー、ブロックマッチング及び／又は位相相関などのあらゆる動き推定の実装を使用することができる。ステップ１０８において、動き推定情報と以前にノイズ除去したフレームとを利用して、動き推定補償した以前のパッチを生成する。ステップ１１０において、ノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理して、ノイズ除去済みパッチ１１２を生成する。この処理は、パッチ間の差分の特定、パッチの組み合わせ及び／又は他のいずれかの処理などのあらゆる画像／ビデオ処理の実装とすることができる。いくつかの実施形態では、処理が、図２に示す処理を含む。ステップ１１４において、回転バッファ集約を用いてノイズ除去済みパッチを集約してノイズ除去済みフレーム１１６を生成する。この集約は、パッチを逐次的にまとめることなどのパッチの組み合わせによるフレームの生成、及び／又は他のいずれかの集約を含むことができる。いくつかの実施形態では、さらなるステップ又はこれよりも少ないステップが実行される。いくつかの実施形態では、ステップの順序が変更される。

図２は、いくつかの実施形態によるパッチベースの処理方法のフローチャートである。ノイズの多い現在のパッチ１０２と以前のノイズ除去済みパッチ１０８とを用いて、差分パッチ２００を生成する。例えば、画像／ビデオ処理動作を用いて、ノイズの多い現在のパッチ１０２と以前のノイズ除去済みパッチ１０８との間の差分を求める。ステップ２０２において、差分パッチ２００の絶対値和（ＳＡＶ）が閾値を上回るかどうかを判定する。差分パッチ２００のＳＡＶが閾値を上回る場合には、ノイズの多い現在のパッチ１０２を、以前のノイズ除去済みパッチ１０８と「相違」すると見なす。通常、このような２つのパッチ間の相違は、動き推定ステップ１０４の性能が不十分であることに起因する。この相違により、以前のノイズ除去済みパッチ１０８に含まれる情報を使用してノイズの多い現在のパッチ１０２のノイズ除去を行うことは信頼性が低い。従って、ノイズ除去ステップ２０４では、ノイズの多い現在のパッチ１０２自体のみを使用してノイズ除去済みパッチ１１２を生成する。ステップ２０４では、いずれかの適切なノイズ除去スキームを実行することができる。差分パッチ２００のＳＡＶが閾値を上回らない場合には、ノイズの多い現在のパッチ１０２を、以前のノイズ除去済みパッチ１０８に類似すると見なす。この場合、両パッチからの情報を使用してノイズ除去済みパッチを生成することが有用である。通常、これらの間の差分パッチ２００は、これらの２つのパッチの類似性によってわずかであり、例えば、差分パッチ２００内の画素のほとんどがゼロ又はほぼゼロである。次に、ステップ２０８において差分パッチのノイズ除去を行う。ノイズの多い現在のパッチ１０２と以前のノイズ除去済みパッチ１０８との間の類似性のチェックには、差分パッチ２００のＳＡＶ以外の方法を使用することもできる。類似性チェックの結果に応じて、ノイズの多い現在のパッチ１０２のノイズ除去ステップ２０４、又はノイズの多い差分パッチ２００のノイズ除去ステップ２０８のいずれかを実行する。これらの２つの計算集約的なノイズ除去ステップ２０４及び２０８は同時に実行されないので、計算コストが大幅に削減される。ステップ２０４及び２０８において使用するノイズ除去スキームは、同じものであっても、又は異なるものであってもよい。ステップ２０４及び２０８において同じスキームを使用すると、説明する方法のハードウェア実装に大きな利点がもたらされる。ステップ２０４及び２０８は、所望のノイズ除去方法を実行する単一のハードウェアセットを共有することができる。ノイズ除去した差分パッチと以前のノイズ除去済みパッチ１０８とを用いて、一時的ノイズ除去済みパッチ２０６を決定する。一時的ノイズ除去済みパッチ２０６は、ノイズ除去した差分パッチと以前のノイズ除去済みパッチ１０８との単純な総和とすることができる。加重和などの他の可能な組み合わせ法を使用することもできる。一時的ノイズ除去済みパッチ２０６をノイズ除去済みパッチの最終出力として使用する場合、リンギング及びゴースト発生などの何らかの一時的アーチファクトが観察されることもある。このアーチファクトは、ノイズの多い現在のパッチ１０２と以前のノイズ除去済みパッチ１０８との間の類似性チェックにおける避け難いエラーによるものである。一時的アーチファクトを抑制するために、ステップ２０１において、一時的ノイズ除去済みパッチ２０６とノイズの多い現在のパッチ１０２とを混合してノイズ除去済みパッチ１１２を生成する。この混合は、一時的ノイズ除去済みパッチ２０６とノイズの多い現在のパッチ１０２との線形結合として行うことができる。ここでは、他の混合技術を使用することもできる。一時的ノイズ除去済みパッチ２０６に偏った混合では、時折リンギング及びゴースト発生などの何らかの一時的アーチファクトを伴う平滑度の高いビデオを得ることができる。一方で、ノイズの多い現在のパッチ１０２に偏った混合では、ノイズが多く一時的アーチファクトの少ないビデオを得ることができる。このようなトレードオフを設定するのに適した混合を選択すべきである。いくつかの実施形態では、これよりも少ない又はさらなるステップが実行される。いくつかの実施形態では、ステップの順序が変更される。

図３に、いくつかの実施形態による画像を示す。先行技術の方法を用いてノイズの多い画像３００をノイズ除去すると、先行技術の結果３０２が得られる。また、本明細書で説明するパッチベースのビデオノイズ除去方法を用いてノイズの多い画像３００をノイズ除去しても、パッチベースのノイズ除去された結果３０４が得られる。本明細書で説明するように、パッチベースのビデオノイズ除去方法は、計算コスト及びメモリ使用量の面で先行技術よりもはるかに効率的である。

図４は、いくつかの実施形態による、パッチベースのビデオノイズ除去方法を実行するように構成された例示的なコンピュータ装置のブロック図である。コンピュータ装置４００は、画像及びビデオなどの情報の取得、記憶、計算、処理、通信及び／又は表示を行うために使用することができる。一般に、コンピュータ装置４００を実装するのに適したハードウェア構造は、ネットワークインターフェイス４０２、メモリ４０４、プロセッサ４０６、（単複の）Ｉ／Ｏ装置４０８、バス４１０及び記憶装置４１２を含む。プロセッサの選択は、十分な速度の好適なプロセッサを選択する限り重要ではない。メモリ４０４は、当業で周知のいずれかの従来のコンピュータメモリとすることができる。記憶装置４１２は、ハードドライブ、ＣＤＲＯＭ、ＣＤＲＷ、ＤＶＤ、ＤＶＤＲＷ、Ｂｌｕ−ｒａｙドライブ、フラッシュメモリカード、又はその他のいずれかの記憶装置を含むことができる。コンピュータ装置４００は、１又は２以上のネットワークインターフェイス４０２を含むことができる。ネットワークインターフェイスの例としては、イーサネット又は他のタイプのＬＡＮに接続されたネットワークカードが挙げられる。（単複の）Ｉ／Ｏ装置４０８は、キーボード、マウス、モニタ、画面、プリンタ、モデム、タッチ画面、ボタンインターフェイス及びその他の装置のうちの１つ又は２つ以上を含むことができる。パッチベースのビデオノイズ除去方法を実行するために使用される（単複の）パッチベースのビデオノイズ除去方法アプリケーション４３０は、記憶装置４１２及びメモリ４０４に記憶されて、アプリケーションが通常処理されるように処理される可能性が高い。コンピュータ装置４００には、図４に示すものよりも多くの又は少ないコンポーネントを含めることができる。いくつかの実施形態では、パッチベースのビデオノイズ除去方法ハードウェア４２０が含まれる。図４のコンピュータ装置４００は、パッチベースのビデオノイズ除去方法のためのアプリケーション４３０及びハードウェア４２０を含むが、パッチベースのビデオノイズ除去方法は、ハードウェア、ソフトウェア、又はこれらのあらゆる組み合わせでコンピュータ装置上に実装することもできる。例えば、いくつかの実施形態では、パッチベースのビデオノイズ除去方法アプリケーション４３０がメモリにプログラムされ、プロセッサを用いて実行される。別の例として、いくつかの実施形態では、パッチベースのビデオノイズ除去方法ハードウェア４２０が、パッチベースのビデオノイズ除去方法を実装するように特別に設計されたゲートを含むプログラムされたハードウェアロジックである。

いくつかの実施形態では、（単複の）パッチベースのビデオノイズ除去方法アプリケーション４３０が、複数のアプリケーション及び／又はモジュールを含む。いくつかの実施形態では、モジュールが、１又は２以上のサブモジュールをさらに含む。いくつかの実施形態では、これよりも少ない又はさらなるモジュールを含めることもできる。

好適なコンピュータ装置の例としては、パーソナルコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、サーバ、メインフレームコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、セルラ／携帯電話機、スマート家電、ゲーム機、デジタルカメラ、デジタルカムコーダ、カメラ付き電話機、スマートフォン、ポータブル音楽プレーヤ、タブレットコンピュータ、モバイル装置、ビデオプレーヤ、ビデオディスクライタ／プレーヤ（ＤＶＤライタ／プレーヤ、高精細ディスクライタ／プレーヤ、超高精細ディスクライタ／プレーヤなど）、テレビ、家庭用エンターテイメントシステム、拡張現実装置、仮想現実装置、スマートジュエリ（例えば、スマートウォッチ）、又はその他のあらゆる好適なコンピュータ装置が挙げられる。

本明細書で説明したパッチベースのビデオノイズ除去方法を利用するには、ビデオを取得する。次に、パッチベースのビデオノイズ除去方法を用いてビデオを処理して、ノイズ除去されたビデオを生成する。この処理は、人間の関与を伴わずに自動的に行うことができる。

このパッチベースのビデオノイズ除去方法は、動作時に計算コスト及びメモリ使用量を大幅に削減し、テレビ、録画ビデオ（例えば、ＤＶＤ又はＢｌｕ−Ｒａｙ）、及び／又はゲームなどのあらゆるビデオアプリケーションにおいて有用である。

効率的なパッチベースのビデオノイズ除去方法のいくつかの実施形態
１．装置の非一時的メモリにプログラムされる方法であって、
ノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成するステップと、
動き推定情報を用いて、動き推定補償した以前のパッチを生成するステップと、
ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成するステップと、
ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成するステップと、
を含む方法。

２．ノイズの多い現在のフレームをビデオから選択し、ノイズの多い現在のフレームからノイズの多い現在のパッチを選択するステップをさらに含む、条項１に記載の方法。

３．ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、逐次的に行われる、条項２に記載の方法。

４．ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、ノイズの多い現在のフレーム及びノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく、条項２に記載の方法。

５．集約は、回転バッファ集約を利用することを含む、条項１に記載の方法。

６．ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成するステップは、
ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、
差分パッチの絶対値和が閾値を上回る場合には、ノイズの多い現在のパッチをノイズ除去してノイズ除去済みパッチを生成し、
差分パッチの絶対値和が閾値を上回らない場合には、差分パッチをノイズ除去し、ノイズ除去した差分パッチと以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、一時的ノイズ除去済みパッチとノイズの多い現在のパッチとを混合してノイズ除去済みパッチを生成する、
ステップを含む、条項１に記載の方法。

７．装置であって、
アプリケーションを記憶する非一時的メモリと、
メモリに結合されて、アプリケーションを処理するように構成された処理要素と、
を備え、アプリケーションは、
ノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成し、
動き推定情報を用いて、動き推定補償した以前のパッチを生成し、
ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成し、
ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成する、
装置。

８．ノイズの多い現在のフレームをビデオから選択し、ノイズの多い現在のフレームからノイズの多い現在のパッチを選択することをさらに含む、条項７に記載の装置。

９．ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、逐次的に行われる、条項８に記載の装置。

１０．ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、ノイズの多い現在のフレーム及びノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく、条項８に記載の装置。

集約は、回転バッファ集約を利用することを含む、条項７に記載の装置。

ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成することは、
ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、
差分パッチの絶対値和が閾値を上回る場合には、ノイズの多い現在のパッチをノイズ除去してノイズ除去済みパッチを生成し、
差分パッチの絶対値和が閾値を上回らない場合には、差分パッチをノイズ除去し、ノイズ除去した差分パッチと以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、一時的ノイズ除去済みパッチとノイズの多い現在のパッチとを混合してノイズ除去済みパッチを生成する、
ことを含む、条項７に記載の装置。

システムであって、
ビデオを取得するためのカメラと、
コンピュータ装置と、
メモリに結合されて、アプリケーションを処理するように構成された処理要素と、
を備え、コンピュータ装置は、
ビデオのノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成し、
動き推定情報を用いて、動き推定補償した以前のパッチを生成し、
ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成し、
ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成する、
ように構成される、
システム。

１４．ノイズの多い現在のフレームをビデオから選択し、ノイズの多い現在のフレームからノイズの多い現在のパッチを選択することをさらに含む、条項１３に記載のシステム。

１５．ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、逐次的に行われる、条項１４に記載のシステム。

１６．ノイズの多い現在のフレームの選択、及びノイズの多い現在のパッチの選択は、ノイズの多い現在のフレーム及びノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく、条項１４に記載のシステム。

１７．集約は、回転バッファ集約を利用することを含む、条項１３に記載のシステム。

１８．ノイズの多い現在のフレームからのノイズの多い現在のパッチと動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成することは、
ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、
差分パッチの絶対値和が閾値を上回る場合には、ノイズの多い現在のパッチをノイズ除去してノイズ除去済みパッチを生成し、
差分パッチの絶対値和が閾値を上回らない場合には、差分パッチをノイズ除去し、ノイズ除去した差分パッチと以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、一時的ノイズ除去済みパッチとノイズの多い現在のパッチとを混合してノイズ除去済みパッチを生成する、
ことを含む、条項１３に記載のシステム。

本発明の構成及び動作の原理を容易に理解できるように、詳細を含む特定の実施形態に関して本発明を説明した。本明細書におけるこのような特定の実施形態及びこれらの実施形態の詳細についての言及は、本明細書に添付する特許請求の範囲を限定することを意図したものではない。当業者には、特許請求の範囲によって定められる本発明の趣旨及び範囲から逸脱することなく、例示のために選択した実施形態において他の様々な修正を行えることが容易に明らかになるであろう。

Claims

装置の非一時的メモリにプログラムされる方法であって、
ノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成するステップと、
前記動き推定情報を用いて、動き推定補償した以前のパッチを生成するステップと、
前記ノイズの多い現在のフレームからのノイズの多い現在のパッチと前記動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成するステップと、
前記ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成するステップと、
を含むことを特徴とする方法。
前記ノイズの多い現在のフレームをビデオから選択し、前記ノイズの多い現在のフレームから前記ノイズの多い現在のパッチを選択するステップをさらに含む、
請求項１に記載の方法。
前記ノイズの多い現在のフレームの選択、及び前記ノイズの多い現在のパッチの選択は、逐次的に行われる、
請求項２に記載の方法。
前記ノイズの多い現在のフレームの選択、及び前記ノイズの多い現在のパッチの選択は、前記ノイズの多い現在のフレーム及び前記ノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく、
請求項２に記載の方法。
集約は、回転バッファ集約を利用することを含む、
請求項１に記載の方法。
前記ノイズの多い現在のフレームからの前記ノイズの多い現在のパッチと前記動き推定補償した以前のパッチとを処理して前記ノイズ除去済みパッチを生成するステップは、
前記ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、
前記差分パッチの絶対値和が閾値を上回る場合には、前記ノイズの多い現在のパッチをノイズ除去して前記ノイズ除去済みパッチを生成し、
前記差分パッチの前記絶対値和が前記閾値を上回らない場合には、前記差分パッチをノイズ除去し、前記ノイズ除去した差分パッチと前記以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、該一時的ノイズ除去済みパッチと前記ノイズの多い現在のパッチとを混合して前記ノイズ除去済みパッチを生成する、
ステップを含む、請求項１に記載の方法。
装置であって、
アプリケーションを記憶する非一時的メモリと、
前記メモリに結合されて、前記アプリケーションを処理するように構成された処理要素と、
を備え、前記アプリケーションは、
ノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成し、
前記動き推定情報を用いて、動き推定補償した以前のパッチを生成し、
前記ノイズの多い現在のフレームからのノイズの多い現在のパッチと前記動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成し、
前記ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成する、
ことを特徴とする装置。
前記ノイズの多い現在のフレームをビデオから選択し、前記ノイズの多い現在のフレームから前記ノイズの多い現在のパッチを選択することをさらに含む、
請求項７に記載の装置。
前記ノイズの多い現在のフレームの選択、及び前記ノイズの多い現在のパッチの選択は、逐次的に行われる、
請求項８に記載の装置。
前記ノイズの多い現在のフレームの選択、及び前記ノイズの多い現在のパッチの選択は、前記ノイズの多い現在のフレーム及び前記ノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく、
請求項８に記載の装置。
集約は、回転バッファ集約を利用することを含む、
請求項７に記載の装置。
前記ノイズの多い現在のフレームからの前記ノイズの多い現在のパッチと前記動き推定補償した以前のパッチとを処理して前記ノイズ除去済みパッチを生成することは、
前記ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、
前記差分パッチの絶対値和が閾値を上回る場合には、前記ノイズの多い現在のパッチをノイズ除去して前記ノイズ除去済みパッチを生成し、
前記差分パッチの前記絶対値和が前記閾値を上回らない場合には、前記差分パッチをノイズ除去し、前記ノイズ除去した差分パッチと前記以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、該一時的ノイズ除去済みパッチと前記ノイズの多い現在のパッチとを混合して前記ノイズ除去済みパッチを生成する、
ことを含む、請求項７に記載の装置。
システムであって、
ビデオを取得するためのカメラと、
コンピュータ装置と、
前記メモリに結合されて、前記アプリケーションを処理するように構成された処理要素と、
を備え、前記コンピュータ装置は、
前記ビデオのノイズの多い現在のフレームと以前にノイズ除去したフレームとに基づいて、動きを推定して動き推定情報を生成し、
前記動き推定情報を用いて、動き推定補償した以前のパッチを生成し、
前記ノイズの多い現在のフレームからのノイズの多い現在のパッチと前記動き推定補償した以前のパッチとを処理してノイズ除去済みパッチを生成し、
前記ノイズ除去済みパッチとさらなるノイズ除去済みパッチとを集約してノイズ除去済みフレームを生成する、
ように構成される、
ことを特徴とするシステム。
前記ノイズの多い現在のフレームを前記ビデオから選択し、前記ノイズの多い現在のフレームから前記ノイズの多い現在のパッチを選択することをさらに含む、
請求項１３に記載のシステム。
前記ノイズの多い現在のフレームの選択、及び前記ノイズの多い現在のパッチの選択は、逐次的に行われる、
請求項１４に記載のシステム。
前記ノイズの多い現在のフレームの選択、及び前記ノイズの多い現在のパッチの選択は、前記ノイズの多い現在のフレーム及び前記ノイズの多い現在のパッチの各々のノイズを１又は２以上の閾値と比較することに基づく、
請求項１４に記載のシステム。
集約は、回転バッファ集約を利用することを含む、
請求項１３に記載のシステム。
前記ノイズの多い現在のフレームからの前記ノイズの多い現在のパッチと前記動き推定補償した以前のパッチとを処理して前記ノイズ除去済みパッチを生成することは、
前記ノイズの多い現在のパッチ及び以前のノイズ除去済みパッチから差分パッチを生成し、
前記差分パッチの絶対値和が閾値を上回る場合には、前記ノイズの多い現在のパッチをノイズ除去して前記ノイズ除去済みパッチを生成し、
前記差分パッチの前記絶対値和が前記閾値を上回らない場合には、前記差分パッチをノイズ除去し、前記ノイズ除去した差分パッチと前記以前のノイズ除去済みパッチとを用いて一時的ノイズ除去済みパッチを決定し、該一時的ノイズ除去済みパッチと前記ノイズの多い現在のパッチとを混合して前記ノイズ除去済みパッチを生成する、
ことを含む、請求項１３に記載のシステム。