JP2021180475A - カメラノイズリダクション - Google Patents

Abstract

【課題】ウェアラブルカメラに対するノイズリダクションを行う方法を提供する。【解決手段】方法は、時間的に連続する画像１０１〜１０４のシーケンスの中から第１の基準画像１１３を選択し、第１の複数の画像１２１、１２２を、時間的に連続する画像の中から選択して第１の基準画像の時間的ノイズフィルタリングに使用し、第１の複数の画像を選択した後、第１の複数の変換された画像１３１、１３２を、第１の基準画像と同じ視点を有するように第１の複数の画像の夫々を変換して形成する。方法はまた、第１の複数の変換された画像を使用して、第１の基準画像のＴＮＦを行う。方法はまた、ＴＮＦを再度促進するために、第２の複数の画像１５２、１５３を、時間的に連続する画像の中から選択して第２の基準画像１４４の時間的ノイズフィルタリングに使用し、第２の基準画像のＴＮＦを行うべきと判定すると、第２の複数の変換された画像１６２、１６３を形成する。【選択図】図１

Description

本開示は、カメラと、特に、カメラにより撮像された画像におけるノイズリダクションのための方法と、に関する。

ウェアラブルカメラは、ますます一般的になってきており、芸術又はレクリエーションの用途から、セキュリティ及びドキュメンテーションに関する用途まで広がる、多種多様のアプリケーションにて使用されている。ウェアラブルカメラでの一般的な問題は、他のカメラと同様に、イメージセンサでの、光学系などにおける、又は、回路における、カメラ内のどこかで生成される、画像ノイズのそれである。ノイズは通常、画像における輝度及び色のランダムな変分として見られる。ノイズは特に、低照度環境において撮像された画像内に、つまり、イメージセンサにて記録された光子が少ない場合に広がる。低照度環境は一般的に、信号対ノイズ比（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ又はＳＮＲ）が低い画像に相当する。画像ノイズの影響を軽減する１つの技術は、時間的ノイズフィルタリング（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ又はＴＮＦ）と呼ばれる。ＴＮＦは、異なる時点にて撮像された複数の画像にわたる平均化に依存する。しかし、そのような平均化は、さもなければ静止シーン内を動いている物体に対して、さらには、カメラが動いているなど、シーン全体がダイナミックなものである場合に、モーションに誘発されたぼやけを引き起こす場合があり、そのシーン全体が、ある程度のぼやけを特徴として示す場合がある。着用者により着用されているウェアラブルカメラは、着用者のモーションにより、着用者が歩いている場合など、そのモーションが、意識的なモーション、又は、着用者が息をしていることなどによる、潜在意識的なモーションに基づくものであるかに関わらず、いくらかのモーションに常にさらされることが予期される。モーションの原因に応じて、動き補正を順応させる種々の技術が知られている。しかし、動き補正技術は、過大な演算リソースを要求する場合がある。したがって、より多くの電力を消費する場合がある。これは、バッテリなどのパワーストレージが限られるといった形態による、ウェアラブルカメラにとっての大きな課題となる場合がある。モーションに誘発されたぼやけのタイプすべてに適切に対処するために、機械的なモーションの安定化もまた、一方で考えられる。そのようなシステムは、ウェアラブルカメラをより複雑に、より大型にする場合がある。したがって、この技術分野における改善の必要がある。

本発明の目的は、上記の課題の少なくともいくらかを軽減し、ウェアラブルカメラに対する、改善されたノイズリダクションを提供することである。

本発明の第１の態様によると、ウェアラブルカメラにより撮像された画像におけるノイズリダクションの方法が提供される。本方法は、
Ａ．時間的に連続する画像のシーケンスを提供することと、
Ｂ．時間的に連続する画像の中から、第１の基準画像を選択することと、
Ｃ．時間的に連続する画像の中から、第１の基準画像の時間的ノイズフィルタリングに使用される、第１の複数の画像を選択することと、
Ｄ．第１の基準画像と同じ視点を有するよう、第１の複数の画像のそれぞれを変換することにより、第１の複数の変換された画像を形成することと、
Ｅ．第１の複数の変換された画像を使用して、第１の基準画像に時間的ノイズフィルタリング（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ又はＴＮＦ）を行うことと、
Ｆ．時間的に連続する画像の中から、第２の、異なる、基準画像を選択することと、
Ｇ．時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することであって、第２の複数の画像の画像の少なくとも１つはまた、第１の複数の画像にも含まれ、第２の複数の画像は、第１の基準画像を含む、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することと、
Ｈ．第２の基準画像のＴＮＦが行われるべきであるか否かを判定することと、
を含み、
ＴＮＦが行われるべきであることが判定されると、
Ｉ．第２の複数の変換された画像を形成することであって、
Ｉ１．第１の複数の画像に含まれない、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、その画像を変換することと、
Ｉ２．第１の複数の画像にも含まれる、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、第１の複数の変換された画像の中の、対応する、変換された画像を変換することと、
により、第２の複数の変換された画像を形成することと、
Ｊ．第２の複数の変換された画像を使用して、第２の基準画像に時間的ノイズフィルタリングを行うことと、
をさらに含む。

用語「ウェアラブルカメラ（ｗｅａｒａｂｌｅ ｃａｍｅｒａ）」は、使用時に、着用者により着用されるよう構成されているカメラとして理解されてよい。身体装着型カメラ、アイウェア装着型カメラ、及びヘルメット装着型カメラは、ウェアラブルカメラという用語の非限定例と見なされるべきである。着用者は、例えば、人又は動物であってよい。

用語「時間的に連続する画像（ｔｅｍｐｏｒａｌｌｙ ｓｕｃｃｅｓｓｉｖｅ ｉｍａｇｅｓ）」は、異なる時点にて、連続して撮像された画像又は画像フレームとして理解されてよい。換言すると、例えば、第１の画像は、第２の画像に対する撮像の時間と比較して、時間的に前に撮像され、第２の画像は続いて、第３の画像に対する撮像の時間と比較して、時間的に前に撮像される。画像又は画像フレームはともに、ビデオストリームの、時間的に連続する画像又は画像フレームのシーケンスを形成してよい。

用語「同じ視点を有するよう、画像を変換する（ｔｒａｎｓｆｏｒｍｉｎｇ … ｉｍａｇｅｓ ｔｏ ｈａｖｅ ａ ｓａｍｅ ｐｅｒｓｐｅｃｔｉｖｅ）」は、あたかも、別の画像を撮像したときと同じように配置され、向けられたカメラを用いて撮像されたように、画像を変換する、又は、画像のプロジェクションを作成する、ということを指す場合がある。この言い回しは、実質的に同じ視点を指すものとして理解されるべきである。視点変換を達成する種々の方法は、ホモグラフィ及び画像プロジェクションを使用することを含んでよい。例えば、加速度計及びジャイロスコープなどのセンサからの読み出し値が、視点変換を行うために採用されてよい。視点変換は、２つの異なる画像における、対応する、候補となるポイントのペアのそれぞれに基づいてホモグラフィを計算することを含んでよい。

なお、ステップＡからＪは、それらが本開示に提示されている順序にて、時間的に行われる必要がなくともよい。ステップＩ１及びＩ２は、双方とも、ステップＩの一部のそれぞれとして理解されるべきである。

上記の方法は、ウェアラブルカメラにより撮像された画像のＴＮＦを最適化する方法を提供する。特に、本方法は、使用される演算量及びエネルギを減らし得る。これは、プロセスフローを作成することにより達成される。ここでは、第２の変換ステップは、第２の複数の変換された画像を形成する際に、少なくとも２つの画像に対して、同じ視点変換を再使用できる、という利点があり得る。これは、第１の複数の変換された画像の少なくとも１つと、第１の基準画像と、が、第２の複数の画像内にあるため、これらの画像を、第２の基準画像と同じ視点変換に変換する際に、同じ視点変換の使用が可能となるケースとして理解されるべきである。これは、第２の複数の変換された画像を生成する際に、計算される／判定される必要のある新たな視点変換を少なくし得る、ということを意味する。さらに、視点変換を行うための命令の再使用は、画像を変換することに必要な、ストレージ又はキャッシュストレージの量を減らし得る。

本発明は、例えば、時間的に連続する画像を非常に多く含むビデオストリームに対して、提供される方法を繰り返して反復することが、視点変換の複数回の再使用を好適に可能にする、というように理解されるべきである。

画像の連続するストリーム、つまり、ビデオに本方法を行う際のケースとなるような、プロセスのスケールが大きくなればなるほど、連続する反復を通して、削減の努力から得られるものは、より顕著となる。

第１の態様のいくつかの実施形態によると、本方法は、時間的に連続する画像の１つを、ウェアラブルカメラのメモリから、第１又は第２の基準画像と同じ視点を有するよう、時間的に連続する画像のその１つを変換した後に、削除することをさらに含んでよい。

そのような実施形態の好適な効果は、コンピュータメモリ要件を緩和することのそれであってよい。これは、本方法にしたがって可能となる。ここでは、元の視点の画像は、それらが一度変換され、別の画像視点が特徴付けられると、不要となり得る。なぜなら、変換された画像は、時間的に連続する画像の中の他の画像にＴＮＦを行うために必要な場合に、実際に使用されているからである（例えば、ステップＩ２を参照されたい）。

第１の態様のいくつかの実施形態によると、第１の複数の画像のそれぞれの画像は、第１の基準画像に対して時間的に先行し得、第２の複数の画像のそれぞれの画像は、第２の基準画像に対して時間的に先行し得る。

そのような実施形態により、待ち時間が削減され得る。これは、時間的に先行する画像情報のみが、基準画像のＴＮＦに対して使用され、画像を提供することと、同画像にＴＮＦを行うことと、の間の遅延が減ることを意味するようなケースである。待ち時間を減らすことは、本方法が、ライブビデオストリームに適用される際に、特に好適であり得る。

第１の態様のいくつかの実施形態によると、第１の複数の画像は、４つから８つの画像を含んでよく、第２の複数の画像は、４つから８つの画像を含んでよい。

ＴＮＦに使用される画像の数が増えると、一般的に、ノイズリダクション方法の結果が改善され得る。画像の数が増えると、再使用される視点変換の回数をさらに増やすことができる。しかし、より多くの画像が使用されると、一般的に、ＴＮＦの演算がさらに複雑になる。本実施形態に係る画像の範囲は、ＴＮＦの品質と演算の複雑さとの間をよく考慮したものを表す。

第１の態様のいくつかの実施形態によると、第１の複数の変換された画像を形成することと、第２の複数の変換された画像を形成することと、は、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータを比較することに基づいて、関連付けられた基準画像と同じ視点を有するように画像を変換することを含んでよい。

用語「モーションデータ」は、カメラの、それがモニタするシーンに対する物理的なムーブメントに関するいずれのデータ又は情報を指す場合がある。

そのような実施形態は、種々のタイプのモーションデータが存在し得、モーションデータを判定するための幅広い手段が適用可能であり得るため、本方法を行うことに対するフレキシビリティを提供する。

第１の態様のいくつかの実施形態によると、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータは、モーションセンサ、加速度計、及びジャイロスコープの少なくとも１つにより判定されてよい、又は、モーションデータは、画像の画像分析に基づいて判定される。

カメラ上に載置されると、又は、カメラに関連して、加速度計は、カメラのムーブメントの方向、速度、及び加速度に関する、正確なモーションデータを提供し得る。カメラ上に載置されると、又は、カメラに関連して、ジャイロスコープは、カメラの向きに関する、正確なモーションデータを提供し得る。モーションセンサは、同様のモーションデータ、及び／又は、さらになるモーションデータを提供し得る。画像分析は、例えば、連続的に撮像された画像を比較することによる、カメラにより撮像された画像の分析に基づくモーションデータを提供し得る。モーションデータを判定する上記の方法は、互いに組み合されてよい、又は、互いに組み合わせて行われてよい。

第１の態様のいくつかの実施形態によると、ステップＨは、第１の複数の画像の少なくとも２つの画像間の視点差を判定することをさらに含んでよく、第２の基準画像のＴＮＦは、視点差が、所定の視点差閾値以下であることが判定されると行われ、第２の基準画像のＴＮＦは、視点差が、所定の視点差閾値より大きいことが判定されると行われない。

モーションが、特定のコンプライアンス制限内にある場合にのみ、ＴＮＦを行うことが、好ましくあり得る。ＴＮＦは、時間的に連続する画像を平均化することに依存する。多すぎるモーションを含む連続する画像にＴＮＦを行うことは、画像の細部に歪を残すこととなる場合がある。そのような場合では、２回目のＴＮＦを行う労力をまったく費やさないことが好適であり得る。さらに、これはまた、モーションが大きすぎる限りは、ノイズリダクションステップの残りを本質的に行わないことにより、要求される演算量を削減することにおいて好適な効果をも提供し得る。

第１の態様のいくつかの実施形態によると、視点差は、
それぞれの画像に時間的に関連付けられたモーションデータであって、モーションセンサ、加速度計、又はジャイロスコープにより判定されるモーションデータと、
第１の複数の画像の後続の画像間にて、どれだけのピクセルが変わったか、に関する画像データと、
の少なくとも１つに基づくものであってよい。

モーションセンサ、加速度計、又はジャイロスコープなどの、カメラとは別のセンサを使用することにより、判定が、より安定したものとされ、カメラの作動に依存しないものとされてよい。カメラの画像データを使用することにより、システムは、複雑でないものとされ、他のセンサに依存しないものとされ得る。後続の画像の間にて、どれだけのピクセルが変わったかを判定することは、ＴＮＦが行われるべきであるか否かの判定の、容易な適用可能性及び順応可能性を提供し得る。

第１の態様のいくつかの実施形態によると、本方法は、ステップＡの前に、時間的に連続する画像のシーケンスに対する撮像条件を判定することをさらに含んでよく、撮像条件が所定の撮像条件要件を満たすことが判定されると、ステップＡからＪのみが行われる。

撮像条件が、特定のコンプライアンス制限内にある場合にのみ、ＴＮＦを行うことが、好ましくあり得る。予期される画像の細部の歪により、特定の画像撮像条件は、ＴＮＦに対して適さないと理解され得る。本方法のステップを行う前に、撮像条件が有益であるか、又は、少なくとも許容可能であるか否かをチェックすることがしたがって、好適となり得る。上記の実施形態と同様に、これはまた、撮像条件が、所定の撮像条件要件を満たさない限りは、本方法のステップの残りを本質的に行わないことにより、要求される演算量を削減することにおいて好適な効果をも提供し得る。

第１の態様のいくつかの実施形態によると、撮像条件は、
モーションセンサ、加速度計、ジャイロスコープ、又は測位デバイスにより判定される、モーションのレベルと、
光センサにより、又は、画像分析により判定される光レベルと、
の少なくとも１つにより判定される。

モーションのレベルが高すぎる場合には、本方法のステップＡからＪを行わないことが、好ましくあり得る。これは、モーションが大きすぎ、画像の細部を歪めることが予期される場合には、上記にて説明した実施形態と同様に、２回目のＴＮＦが行われないものとして理解されてよい。高すぎるモーションのレベルは、良好な視点変換の実現可能性を下げる、つまり、変換された画像を歪ませる場合がある。高すぎるモーションのレベルは、また、時間的に連続する画像間の共通ピクセル数が減ることにより、良好なＴＮＦの実現可能性を下げる場合がある。

モーションのレベルが高すぎないか判定するために、例えば、グローバルナビゲーションサテライトシステム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ又はＧＮＳＳ）、及び、トラッカ／レシーバなどの測位デバイスが使用されてよい。そのようなデバイスは、着用者が動く速度を判定するために、カメラに関連して、好適に使用され得る。この速度は、着用者が、例えば、走っている、又は、歩いているか判定するために使用され得る。ステップＡからＪは、例えば、着用者が歩いている場合に行われてよいが、着用者が走っている場合には行われないほうがよい。なぜなら、後者のアクティビティは、予期されるモーションレベルが高いためである。

本方法の、光レベルに基づいて、ステップＡからＪを行わないこともまた、好ましくあり得る。ＴＮＦは、低照度画像に適用されると、画像の細部の歪を大きくする場合がある。光レベルが満足できるものでない場合には、本方法のステップＡからＪを共に回避するために、その理由が有益であってよい。一方、光レベルが高すぎる場合には、ＴＮＦは要求されない、又は、不要であってよい。ＴＮＦはしたがって、好適に回避される。

光レベルが所定の閾値を超えると、モーションレベルが記録される必要がない、ということがさらに導かれてよい。したがって、モーション、モーションデータ、及び／又はモーションレベルを記録するセンサ及び手段は、例えば、ウェアラブルカメラのバッテリのエネルギを節約するために、電源の供給が断たれてよい。

光レベル及びモーションのレベルは、撮像条件を判定するために、例えば、性能指数として組み合されてよい、又は、組み合わせて評価されてよい。

第１の態様のいくつかの実施形態によると、撮像条件は、光センサにより、又は、画像分析により判定される光レベルにより判定され、所定の撮像条件要件は、所定のレベルより低い光レベルである。

ＴＮＦは、一般的に、低照度条件において、より必要とされ得る。これは、カメラ又はイメージセンサが、低照度条件において、より低い信号対ノイズ比をしばしば示すためであり得る。そのため、本方法のステップＡからＪを行うための上限閾値は、好ましいものであり得る。

第１の態様のいくつかの実施形態によると、本方法は、第１の基準画像を、ウェアラブルカメラのメモリ上に、第１の基準画像にＴＮＦを行った後に保存することと、第２の基準画像を、ウェアラブルカメラのメモリ上に、第２の基準画像にＴＮＦを行った後に保存することと、をさらに含んでよい。

基準画像は、それらにＴＮＦが行われると、したがって、ウェアラブルカメラのメモリ上に保存されてよい、最終的なビデオストリームを形成し得る。

第１の態様のいくつかの実施形態によると、本方法は、第１の基準画像を、ウェアラブルカメラからリモートデバイスに、第１の基準画像にＴＮＦを行った後に送信することと、第２の基準画像を、ウェアラブルカメラからリモートデバイスに、第２の基準画像にＴＮＦを行った後に送信することと、をさらに含んでよい。

基準画像は、それらにＴＮＦが行われると、したがって、表示又は保存のためにリモートデバイスに送信される、最終的なビデオストリームを形成し得る。好適には、基準画像は、したがって、ウェアラブルカメラのメモリ上に、期間を延長して保存される必要がなくともよい。

本発明の第２の態様によると、撮像ユニットと、演算ユニットと、を含むウェアラブルカメラが提供される。ウェアラブルカメラは、
Ａ．撮像ユニットにより、時間的に連続する画像のシーケンスを撮像することと、
Ｂ．演算ユニットにより、時間的に連続する画像の中から、第１の基準画像を選択することと、
Ｃ．演算ユニットにより、時間的に連続する画像の中から、第１の基準画像の時間的ノイズフィルタリングに使用される、第１の複数の画像を選択することと、
Ｄ．演算ユニットにより、第１の基準画像と同じ視点を有するよう、第１の複数の画像のそれぞれを変換することにより、第１の複数の変換された画像を形成することと、
Ｅ．演算ユニットにより、第１の複数の変換された画像を使用して、第１の基準画像に時間的ノイズフィルタリング（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ又はＴＮＦ）を行うことと、
Ｆ．演算ユニットにより、時間的に連続する画像の中から、第２の、異なる、基準画像を選択することと、
Ｇ．演算ユニットにより、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することであって、第２の複数の画像の画像の少なくとも１つはまた、第１の複数の画像にも含まれ、第２の複数の画像は、第１の基準画像を含む、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することと、
Ｈ．演算ユニットにより、第２の基準画像のＴＮＦが行われるべきであるか否かを判定することと、に構成されており、
ＴＮＦが行われるべきであることが判定されると、
Ｉ．演算ユニットにより、第２の複数の変換された画像を形成することであって、
Ｉ１．第１の複数の画像に含まれない、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、その画像を変換することと、
Ｉ２．第１の複数の画像にも含まれる、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、第１の複数の変換された画像の中の、対応する、変換された画像を変換することと、
により、第２の複数の変換された画像を形成することと、
Ｊ．演算ユニットにより、第２の複数の変換された画像を使用して、第２の基準画像に時間的ノイズフィルタリングを行うことと、
にさらに構成されている。

第２の態様に説明されるウェアラブルカメラは、それらの対応する特徴により、第１の態様に説明される本方法のそれらと同様の利点を提供する。ウェアラブルカメラは、第１の態様の本方法を実施することに構成されているデバイスと見なされてよい。

本発明の第３の態様によると、処理能力を有するデバイスにより実行されると、第１の態様の本方法を実施する命令が保存されている、非一時的コンピュータ可読記憶媒体が提供される。

第３の態様に説明される非一時的コンピュータ可読記憶媒体は、第１の態様に説明される本方法のそれらと同様の利点を提供する。

本発明の適用性のさらなる範囲が、以下の詳細説明より明らかとなるであろう。しかし、本発明の好適な実施形態を示す一方で、詳細説明及び具体例は、説明のみの目的に提供されていることが理解されるべきである。なぜなら、本発明の範囲内での種々の変更及び改修が、本詳細説明から当業者に明らかとなるからである。

なお、本明細書及び添付の特許請求の範囲に使用されるように、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」は、他の例が文脈により明確に決定づけられない限り、要素が１つ又はそれ以上あることを意味するよう意図していることに注意されたい。したがって、例えば、「１つのユニット（ａ ｕｎｉｔ）」又は「当該ユニット（ｔｈｅ ｕｎｉｔ）」という引用は、いくつかのデバイスなどを含む場合がある。さらに、「含む（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「含む（ｃｏｎｔａｉｎｉｎｇ）」などという語は、他の要素又はステップを排除しない。

以下、添付の図面を参照して、本発明の上記態様及び他の態様をより詳細に説明する。これらの図面は、限定するものと見なされるべきではない。これらはその代わりに、説明及び理解を目的とするものと見なされるべきである。

これらの図面に示すように、各層及び各領域のサイズは、図示の目的のために誇張されている場合があり、したがって、一般的構造を示すために提供されている。類似の参照記号は、これらの図面を通して、同様の要素を示す。

図１は、ウェアラブルカメラにより、又は、パン／チルトカメラにより撮像された時間的に連続する画像にノイズリダクションを行う方法を例示的に示し、ここでは、時間的にノイズフィルタされる基準画像は、ノイズフィルタリングが基づいている複数の画像に時間的に後続する。 図２は、ウェアラブルカメラにより、又は、パン／チルトカメラにより撮像された時間的に連続する画像にノイズリダクションを行う方法を例示的に示し、ここでは、時間的にノイズフィルタされる基準画像は、ノイズフィルタリングが基づいている複数の画像に時間的に後続しない。 図３は、ウェアラブルカメラにより、又は、パン／チルトカメラにより撮像された画像にノイズリダクションを行う方法のフローチャートを示す。 図４は、リモートデバイスと任意に通信するウェアラブルカメラを模式的に示す。 図５は、リモートデバイスと任意に通信するパン／チルトカメラを模式的に示す。

本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の現在の好適な実施形態を示す。本発明はしかし、多くの異なる形態にて体現されてよく、以下に示す実施形態に限定されるものとして理解すべきでない。むしろこれらの実施形態は、完璧性及び完全性のために、そして、本発明の範囲を当業者に十分に伝えるために提供される。

図１及び図２は、身体装着型カメラ（ｂｏｄｙ ｗｏｒｎ ｃａｍｅｒａ又はＢＷＣ）などのウェアラブルカメラにより撮像された画像におけるノイズリダクションの方法を示す。図３は、ウェアラブルカメラにより撮像された画像におけるノイズリダクションの同方法に対するフローチャートを示す。本方法は、ステップＡからＪを含む。本方法は、図４に例示するように、ウェアラブルカメラ２００において実施されてよい。

図１、図２、及び図３の本方法を、図４のウェアラブルカメラ２００と合わせて、以下に説明する。図１にて始まる、１１３などの参照番号は、図１及び図２に示す画像を指す。図２にて始まる、２０２などの参照番号は、図４に示す特徴を指す。

図１及び図２に示すブロックは、画像又は画像フレームを表す。図１及び図２は、元の画像、つまり、時間的に連続する画像１０１、１０２、１０３、１０４、が提供される、又は、撮像される際に関する水平時間成分を含む。図内の異なる水平位置にて配置されたブロックは、画像が、異なる時点にて撮像された、又は、提供されたことを示す。時間ｔは、図の左から右に進むよう示されている、つまり、ブロック１０１、これは、時間的に連続する画像の１つである、が、残りの時間的に連続する画像１０２、１０３、１０４の前に提供される、又は、撮像される。時間的に連続する画像１０１、１０２、１０３、１０４は、イメージセンサデバイスからの、生のフォーマット画像として提供されてよい、つまり、これらが提供される前には、先行する、画像の画像処理は無い。代替的に、本方法は、本方法に対する入力として提供される前に、時間的に連続する画像１０１、１０２、１０３、１０４の画像処理により先行されてよい。先行する画像処理の非限定例としては、不良ピクセルの除去、及び、カラムの固定パターンノイズフィルタリングなどの、画像データの調整又は修正が含まれる。換言すると、時間的に連続する画像１０１、１０２、１０３、１０４は、生の画像データとして、又は、処理された画像データとして提供されてよい。しかし、本発明に係る本方法は、画像のビデオエンコーディングプロセスの前に行われる、つまり、時間的に連続する画像１０１、１０２、１０３、１０４は、エンコードされていない／ビデオエンコードされない、ということに留意されたい。

図１及び図２は、垂直／カラム成分をさらに含む。同じカラムにおいて、他の下に配置された画像は、それらは、その同じカラムにおいて、上の画像の選択された、処理された、変換された、又は、フィルタされたバージョンであることを示す。それらの下の画像は、処理／変換などのいずれの時間的な順序に対応する必要はなく、任意の時点にて処理／変換などされてよい。それらの画像はむしろ、それらの上の、時間的に連続する画像１０１、１０２、１０３、１０４に主に基づくものとして理解されるべきである。

図１及び図２では、時間的に連続する画像１０１、１０２、１０３、１０４は、最上行に提供されている。これは、図３における本方法のステップＡに対応するものとして理解されるべきである。

本発明の第２の態様、つまり、ウェアラブルカメラ２００を提供する態様、におけるステップＡは、ウェアラブルカメラ２００が、撮像ユニット２０２により、時間的に連続する画像のシーケンス１０１、１０２、１０３、１０４を撮像することに構成されている、ということを規定する一方で、第１の態様、つまり、（図３に示す）本方法を提供する態様、におけるステップＡは、時間的に連続する画像１０１、１０２、１０３、１０４のシーケンスを提供することを規定する、ということが留意されるべきである。これらの態様の双方は、互いに相互に関係するものと、依然として見なされてよい。第２の態様のウェアラブルカメラ２００は、それ自身の撮像ユニット２０２を使用して、時間的に連続する画像のシーケンス１０１、１０２、１０３、１０４を撮像する一方で、第１の態様の本方法は、カメラ自体に、時間的に連続する画像１０１、１０２、１０３、１０４を撮像することを要求しない。本方法は、画像を撮像するウェアラブルカメラ２００からリモートに行われてよく、したがって、提供される、時間的に連続する画像１０１、１０２、１０３、１０４のみを必要とする。

本方法は、ウェアラブルカメラ２００により、又は、この内部にて行われてよい。ステップＡは、ウェアラブルカメラ２００の撮像ユニット２０２により行われてよい。ステップＢからＪは、ウェアラブルカメラ２００の演算ユニット２０４により行われてよい。

第１の基準画像１１３は、時間的に連続する画像１０１、１０２、１０３、１０４の中から選択される。これは、ステップＢに対応するものとして理解されるべきである。第１の基準画像１１３は、ＴＮＦを使用してフィルタされるべき画像として理解されるべきである。図１では、画像１０３が、時間的に連続する画像１０１、１０２、１０３、１０４から、第１の基準画像１１３として選択される。図２では、画像１０１が、時間的に連続する画像１０１、１０２、１０３、１０４から、第１の基準画像１１３として選択される。

ＴＮＦを促進するために、第１の複数の画像１２１、１２２が、時間的に連続する画像１０１、１０２、１０３、１０４の中から選択され、第１の基準画像１１３の時間的ノイズフィルタリングに使用される。これは、ステップＣに対応するものとして理解されるべきである。図１では、第１の複数の画像１２１、１２２は、選択された、第１の基準画像１１３に時間的に先行して示され、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０１及び１０２に対応する。図２では、第１の複数の画像１２１、１２２は、選択された、第１の基準画像１１３に時間的に続いて示され、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０２及び１０３に対応する。存在する他の実施形態では、第１の複数の画像１２１、１２２は、第１の基準画像１１３に先行する画像と、これに続く画像と、の双方から選択される。第１の複数の画像１２１、１２２が、４つから８つの画像を含み得る、ということは、有益であり得る。この一般概念の理解を促進するために、図１及び図２は、２つの画像を含む、第１の複数の画像１２１、１２２を示す。ＴＮＦをよく知る当業者は、以下に開示される概念を、いずれの（合理的な）数の画像に適用する知識を有する。

第１の複数の画像１２１、１２２が選択された後に、第１の複数の変換された画像１３１、１３２が、第１の基準画像１１３と同じ視点を有するよう、第１の複数の画像１２１、１２２のそれぞれを変換することにより形成される。これは、ステップＤに対応するものとして理解されるべきである。

変換ステップＤは、ホモグラフィを使用して行われてよい。変換ステップＤは、２つの異なる画像における、対応する、候補となるポイントのペアのそれぞれに基づいてホモグラフィを計算することを含んでよい。ホモグラフィについて、異なる時点にて撮像された画像は、ホモグラフィマトリックスを生成することを目的として、ステレオカメラアレンジメントにおける異なるカメラから撮像された画像と見なされてよい。

変換ステップＤは、時間的に連続する画像１０１、１０２、１０３、１０４のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータを比較することに基づくものであってよい。時間的に連続する画像１０１、１０２、１０３、１０４のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータは、モーションセンサ２１０、加速度計２１１、及び／又はジャイロスコープ２１２により判定されてよい。モーションデータは、代替的に、又は、追加的に、時間的に連続する画像１０１、１０２、１０３、１０４の画像分析に基づいて判定されてよい。

モーションデータは、ウェアラブルカメラ２００の、又は、ウェアラブルカメラ２００の着用者のモーションに関連してよい。モーションデータは、モーションの加速度、速度、及び／又は方向を含んでよい。モーションデータは、ウェアラブルカメラ２００の、又は、ウェアラブルカメラ２００の着用者の向き及び／又は位置を含んでよい。モーションデータは、ウェアラブルカメラ２００の回転モーションに関するデータを含んでよい。モーションデータは、ウェアラブルカメラ２００のタンブル／オービット、パン／ヨー、チルト／ピッチ、及び／又はロールに関するデータを含んでよい。モーションデータは、ウェアラブルカメラ２００の並進モーションに関するデータを含んでよい。モーションデータは、カメラの軌道、台車、台／ブーム／ジブ、及び／又はトラック／クラブに関するデータを含んでよい。

図１及び図２では、ＰＴとラベル付けされたブロックは、視点変換（ｐｅｒｓｐｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ）が行われていることを示す。これは、ＰＴブロックを指し示す破線矢印により示された、異なる垂直カラムからの画像と同じ視点を有するよう変換されたベース画像を有することにより機能する。ベース画像は、ＰＴブロックにより変換されたものとして、中実矢印により示されている。時には、第２の複数の画像１５２、１５３のそれぞれの画像が変換されて、第２の複数の変換された画像１６２、１６３を形成する場合には、複数の画像を変換するために、同じＰＴブロックが使用されてよい（以下をさらに参照されたい）。この場合、画像１５２は、変換された画像１６２に対するベース画像として理解されてよい。この同じロジックを、画像１５３と、その変換された同等の画像１６３と、に適用してよい。

第１の複数の変換された画像１３１、１３２が形成された後には、第１の複数の変換された画像１３１、１３２を使用して、第１の基準画像１１３のＴＮＦが行われてよい。これは、図３におけるステップＥに対応するものとして理解されるべきである。

図１及び図２では、ＴＮＦとラベル付けされたブロックは、時間的ノイズフィルタリングステップが行われていることを示す。これらの場合、ノイズフィルタリングが行われるベース画像は、点鎖線矢印により示される。ＴＮＦブロックを指し示す破線矢印は、時間的ノイズフィルタリングプロセスにおいて使用されている異なる垂直カラムからの画像を示す。ＴＮＦプロセスは、例えば、異なる時点にて撮像された画像からの画像コンテンツを平均化することを含んでよい。一般的に、これらの図は、時間的ノイズフィルタリングを行う前と同じ視点を有するよう画像を変換することを例示的に示す。

これらの図では、参照番号は、ＴＮＦステップを行う前後で同じであり得る。これは、ノイズフィルタリングステップの前の／上の、生の／フィルタされていない、第１及び第２の基準画像１１３、１４４により動機付けされてよく、ノイズフィルタリングステップの後の／下の画像と本質的に同じであってよいが、ノイズが少ないことが理想的である。本方法の後のステップ、つまり、ステップＦからのステップについて、生の／フィルタされていない、又は、時間的にノイズフィルタされた基準画像１１３、１４４の双方が使用されてよい。

第１の基準画像１１３にＴＮＦを行った後に、第２の、異なる、基準画像１４４が、時間的に連続する画像の中から選択されてよい。これは、図３におけるステップＦに対応するものとして理解されるべきである。第２の基準画像１４４は、第１の基準画像１１３とは異なる。第２の基準画像１４４は、第１の基準画像１１３のように、ＴＮＦを使用してフィルタされるべき画像として理解されるべきである。

図１の実施形態では、画像１０４が、時間的に連続する画像１０１、１０２、１０３、１０４から、第２の基準画像１４４として選択される。図２の実施形態では、画像１０２が、時間的に連続する画像１０１、１０２、１０３、１０４から、第２の基準画像１４４として選択される。

ＴＮＦを再度促進するために、第２の複数の画像１５２、１５３が、時間的に連続する画像１０１、１０２、１０３、１０４の中から選択され、第２の基準画像１４４の時間的ノイズフィルタリングに使用される。今度はしかし、第２の複数の画像１５２、１５３の画像１５２の少なくとも１つはまた、第１の複数の画像１２１、１２２にも含まれる。第２の複数の画像１５２、１５３はまた、第１の基準画像１１３をも含む。これは、図３におけるステップＧに対応するものとして理解されるべきである。図１の実施形態では、第２の複数の画像１５２、１５３は、選択された、第２の基準画像１４４に時間的に先行して示され、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０２及び１０３に対応する。図２の実施形態では、第２の複数の画像１５２、１５３の画像のそれぞれは、第２の基準画像１４４に時間的に先行する画像と、時間的に続く画像と、の双方にて示され、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０１及び１０３に対応する。存在する他の実施形態では、第２の複数の画像１５２、１５３の画像は双方とも、第２の基準画像１４４に続く。第２の複数の画像１５２、１５３は、４つから８つの画像を含んでよい。図１及び図２は、２つの画像を含む第２の複数の画像１５２、１５３の実施形態を示す。

開示されるように、第２の複数の画像１５２、１５３の画像１５２の少なくとも１つはまた、第１の複数の画像１２１、１２２にも含まれる。これは、時間的に連続する画像１０１、１０２、１０３、１０４の同じ、選択された画像に基づく、対応する画像のいずれを指すものとして理解されてよい。図１の場合では、これは、画像１０１及び１０２に基づくいずれの画像として理解されるべきである。例えば、第１の複数の変換された画像１３１、１３２における１つ又はそれ以上の画像はまた、変換された画像１３２が、第２の複数の画像において、画像１５２として選択される、図１に示すように、第２の複数の画像１５２、１５３に対して選択されてもよい。

本方法は、第２の基準画像のＴＮＦが行われるべきであるか否かを判定することを含む。これは、図３におけるステップＨに対応するものとして理解されるべきである。ステップＨは、第２の複数の画像１５２、１５３を選択することの後に行われてよい。

ステップＨは、第１の複数の画像１２１、１２２の少なくとも２つの画像間の視点差を判定することを含んでよい。視点差は、代替的に、時間的に連続する画像１０１、１０２、１０３、１０４のいずれに基づいて判定されてよい。第２の基準画像１４４のＴＮＦは、視点差が、所定の視点差閾値以下であることが判定されると行われてよい。第２の基準画像１４４のＴＮＦは、視点差が、所定の視点差閾値より大きいことが判定されると行われるべきではない。ステップＨは、そのような場合では、ステップＦ及びＧの前に行われてよい。第２の基準画像１４４のＴＮＦが行われないことが判定された場合、ステップＦ及びＧは、本方法から完全に省略されてよい。

ステップＨは、第２の複数の画像１２１、１２２の少なくとも２つの画像間の視点差を判定することを含んでよい。第２の基準画像１４４のＴＮＦは、視点差が、所定の視点差閾値以下であることが判定されると行われてよい。第２の基準画像１４４のＴＮＦは、視点差が、所定の視点差閾値より大きいことが判定されると行われるべきではない。

視点差は、それぞれの画像に時間的に関連付けられたモーションデータに基づくものであってよい。モーションデータは、モーションセンサ２１０、加速度計２１１、及び／又はジャイロスコープ２１２により判定されてよい。視点差は、第１の複数の画像１２１、１２２の、第２の複数の画像１５２、１５３の、又は、時間的に連続する画像１０１、１０２、１０３、１０４の間にて直接、又は、さもなければ、後続の画像の間にて、どれだけのピクセルが変わったか、に関する画像データに基づくものであってよい。

所定の視点差閾値は、モーションデータ、又は、画像データが、走っている、歩いている、又は息をしているなどの、アクションを行っている、カメラ２００の着用者の結果となるものと予期されるか否かの違いに関連してよい。１つの実施形態では、ＴＮＦは、歩いている、及び／又は、息をしているなどの、特定のタイプの低アクティビティアクションを判定すると行われ、走っているなどの、特定のタイプの高アクティビティアクションを判定すると行われない。

モーションデータは、ＴＮＦが行われるべきであるか否かを判定することに対して、定期的に、判定され、評価されてよい。モーションデータは、ウェアラブルカメラ２００が、時間的に連続する画像１０１、１０２、１０３、１０４を取得する、毎秒フレーム数（ｆｒａｍｅｓ−ｐｅｒ−ｓｅｃｏｎｄ又はＦＰＳ）についての値にマッチするレートにて判定されてよい。ＦＰＳについての値は、好適には、１から６０の範囲、より好適には、２０から４０の範囲、にあってよい。

ステップＨ中に、第２の基準画像１４４のＴＮＦが行われるべきでないことを判定すると、本方法は、ステップＨ後に終わってよい。これは、ステップＩからＪが行われないことを意味する。本方法は、そのような場合では、ステップＡにて再開してよい。

ステップＨ中に、第２の基準画像１４４のＴＮＦが行われるべきであることを判定すると、本方法は、図３に示すように、ステップＩからＪに進む。

第２の複数の変換された画像１６２、１６３を形成することにより、本方法は進む。これは、ステップＩに対応するものとして理解されるべきである。ステップＩは、第２の複数の画像１５２、１５３に対して選択された画像が、本方法において以前にどのように使用されたか、に依存する、２つの部分的ステップを含む。

第１の複数の画像１２１、１２２に含まれない第２の複数の画像１５２、１５３のそれぞれの画像１５３は、第２の基準画像１４４と同じ視点を有するよう変換されており、したがって、変換された画像１６３を形成する。これは、部分的ステップＩ１に対応するものとして理解されるべきである。

第１の複数の画像１２１、１２２にも含まれる第２の複数の画像１５２、１５３のそれぞれの画像１５２について、対応する、変換された（図３のステップＤにおいて変換された）画像１３２は、第２の基準画像１４４と同じ視点を有するよう変換されており、したがって、変換された画像１６２を形成する。これは、部分的ステップＩ２に対応するものとして理解されるべきである。変換された画像１３２は、画像１２２及び１５２に時間的に対応するものとして理解されるべきである。

図１では、この対応は、それらがすべて、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０２からどのように生じたか、に関する。図２では、画像１２２、１３２、及び１５２はすべて、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０３から生じている。第２の複数の変換された画像１６２、１６３を形成することの詳細は、例えば、ホモグラフィ計算及びモーションデータを使用することに関して上記にて説明した、第１の複数の変換された画像１３１、１３２（ステップＤ）を形成することのそれらと同様であってよい。

本方法によると、同じ視点変換が、第２の複数の変換された画像１６２、１６３を形成する際に、第２の複数の画像１５２、１５３の少なくとも２つの画像に対して好適に使用され得る。

図１と図２との間の違いをまとめると、これらの実施形態は、図１及び図２の、第１及び第２の複数の画像１２１、１２２、１５２、１５３、及びそれらに対応する基準画像１１３、１４４の時系列又は順序に関して、若干異なる。

図１は、第１の基準画像１１３に時間的に先行する、第１の複数の画像１２１、１２２のそれぞれの画像と、第２の基準画像１４４に時間的に先行する、第２の複数の画像１５２、１５３のそれぞれの画像と、を示す。

図２は、第１の基準画像１１３が、第１の複数の画像１２１、１２２に対して時間的に先行する、代替的な実施形態を示す。第２の基準画像１４４は、同様に、第２の複数の画像１５２、１５３に対して時間的に先行してよい。しかし、これは、図２には示していない。

図２は、第２の基準画像１４４が、第２の複数の画像フレーム１５２、１５３のそれぞれの画像の間に時間的に挟まれてよいことを示す。同様に、第１の基準画像１１３が、第１の複数の画像フレーム１２１、１２２の画像のそれぞれの間に時間的に挟まれてよい。

第２の複数の変換された画像１６２、１６３が形成された後には、ＴＮＦが、第２の基準画像１４４に、第２の複数の変換された画像１６２、１６３を使用して、行われる。ＴＮＦを第２の基準画像１４４に行うことに関する詳細は、上記にて説明した、ＴＮＦ（ステップＥ）を第１の基準画像１１３に行うことに関するそれらと同様であってよい。

本方法は、時間的にノイズフィルタされたビデオストリームを形成するために使用されてよい。そのような場合では、ビデオストリームを形成するものは、基準画像１１３、１４４である。基準画像１１３、１４４のすべては、ビデオストリームにおける異なる時点に関連付けられてよい。

本方法は、図４に例示するように、ウェアラブルカメラ２００において実施されてよい。しかし、上述するように、本方法はまた、ウェアラブルカメラ２００の外部のデバイスにおいても行われてよい。

本方法は、ステップＡの前に、時間的に連続する画像１０１、１０２、１０３、１０４のシーケンスに対する撮像条件を判定することを含んでよい。ステップＡからＪは、撮像条件が所定の撮像条件要件を満たすことが判定された場合にのみ行われてよい。本方法のステップＡからＪは、したがって、それらの要件が満たされるまで、遅延されると見なされてよい。

撮像条件は、モーションのレベルにより判定されてよい。モーションのレベルは、モーションセンサ２１０、加速度計２１１、ジャイロスコープ２１２、及び／又は測位デバイス２１３により判定されてよい。撮像条件は、光レベルにより判定されてよい。光レベルは、光センサ２２０により、又は、画像分析により判定される。

所定の撮像条件要件は、所定のレベルより低い光レベルの要件であってよい。そのような所定のレベルは、５０から２００ルクスの範囲にあってよい。所定のレベルは、より好適には、１００ルクスなどの、７５から１２５ルクスの範囲にあってよい。より高い光レベルの値は、低ノイズに関連付けられ得、したがって、それらのより高い光レベルの値に対するＴＮＦの必要性を緩和する。

所定の撮像条件要件は、所定のレベルより高い光レベルの要件であってよい。所定の撮像条件要件は、最も低い許容可能な光レベルと、最も高い許容可能な光レベルと、の双方をさらに含んでよい。所定の撮像条件要件は、中間光レベル除外範囲を含んでよく、この範囲外の光レベルが、許容可能となる。

本方法は、第１の基準画像１１３を、ウェアラブルカメラ２００のメモリ２０６上に、第１の基準画像１１３にＴＮＦを行った後に保存することをさらに含んでよい。本方法は、第２の基準画像１４４を、ウェアラブルカメラ２００のメモリ２０６上に、第２の基準画像１４４にＴＮＦを行った後に保存することを含んでよい。

本方法は、時間的に連続する画像１０１、１０２、１０３、１０４の１つを、ウェアラブルカメラ２００ののメモリ２０６から、第１又は第２の基準画像１１３、１４４と同じ視点を有するよう、時間的に連続する画像１０１、１０２、１０３、１０４のその１つを変換した後に、削除することをさらに含んでよい。

本方法は、第１の基準画像１１３を、ウェアラブルカメラ２００からリモートデバイス２３０に、第１の基準画像１１３にＴＮＦを行った後に送信することをさらに含んでよい。本方法は、第２の基準画像１４４を、ウェアラブルカメラ２００からリモートデバイス２３０に、第２の基準画像１４４にＴＮＦを行った後に送信することを含んでよい。

本方法は、コンピュータ、デコーダ、又は、処理能力を有する別のデバイスにより実施されてよい。非一時的コンピュータ可読記憶媒体には、処理能力を有するデバイスにより実行されると、そこに保存されている本方法を実施する命令が提供されてよい。

図４は、撮像ユニット２０２と、演算ユニット２０４と、を含むウェアラブルカメラ２００を示す。ウェアラブルカメラ２００は、上記の方法及び方法ステップを行うことに構成されていてよい。

撮像ユニット２０２は、画像を撮像可能ないずれのデバイスとして理解されてよい。撮像ユニット２０２は、電荷結合素子（ｃｈａｒｇｅｄ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ又はＣＣＤ）イメージセンサ、又は、相補型金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ又はＣＭＯＳ）ベースのアクティブピクセルイメージセンサを含んでよい。

演算ユニット２０４は、本方法に係る処理及び計算を行うことができるいずれのデバイスを含んでよい。演算ユニットは、それ自体が、本方法の異なるアクション又はステップを行うための複数のサブユニットを含んでよい。

ウェアラブルカメラ２００は、ウェアラブルカメラの着用者により着用されてよい。ウェアラブルカメラ２００の着用者は、人であってよい。ウェアラブルカメラ２００の着用者は、法執行を職業とする者であってよい。ウェアラブルカメラ２００の着用者のさらなる例としては、道路建設現場などの、危険な環境において活動する警備員及び作業員が含まれる。ウェアラブルカメラ２００の着用者は、エステティック、ドキュメンタリ、アスレチック、又はレクリエーションの目的に記録する、プロ又はアマチュアの写真家／ビデオカメラのオペレータであってよい。例えば、警察官による、いくつかの使用については、カメラバッテリの寿命が長いことと、細部を撮像する品質が高いことと、が、より望ましくあってよい。例えば、レクリエーション／エステティックを目的とする、他の使用については、カラーでの撮像と、視覚的に容易な認識と、が、より望ましくあってよい。

着用者は、代替的に、例えば、犬、猫、又は馬などの動物であってよい。着用者は、例えば、法執行に従事する動物などの、介助動物であってよい。法執行に従事する動物としては、例えば、不法物質を検知するよう訓練された警察犬、又は、群衆を制御する任務に配備された警察馬、が含まれてよい。着用者は、猟犬であってよい。着用者は、モニタリング又は科学的な目的に、ウェアラブルカメラ２００が提供された野生動物であってよい。着用者は、ペット動物であってよい。着用者には、着用者が逃走する、着用者を見失う、又は、着用者が負傷することを防ぐために、ウェアラブルカメラ２００が提供されてよい。

ウェアラブルカメラ２００は、着用者のストラップ又はハーネスに載置されてよい。ウェアラブルカメラ２００は、代替的に、衣服の一部、又は、例えば、ヘルメット又はベストなどの保護具に固定的に載置されてよい。

ウェアラブルカメラ２００は、図４に示すように、ウェアラブルカメラ２００のいずれのタイプのモーションを判定するよう構成されているモーションセンサ２１０を含んでよい。ウェアラブルカメラ２００は、図４に示すように、ウェアラブルカメラ２００のムーブメントの加速度、速度、及び／又は方向を判定するよう構成されている加速度計２１１を含んでよい。ウェアラブルカメラ２００は、図４に示すように、ウェアラブルカメラ２００の向きを判定するよう構成されているジャイロスコープ２１２を含んでよい。ウェアラブルカメラ２００は、図４に示すように、ウェアラブルカメラ２００のムーブメントの位置、速度、及び／又は方向を判定するよう構成されている測位デバイス２１３を含んでよい。測位デバイス２１３は、グローバルナビゲーションサテライトシステム（ｇｌｏｂａｌ ｎａｖｉｇａｔｉｏｎ ｓａｔｅｌｌｉｔｅ ｓｙｓｔｅｍ又はＧＮＳＳ）センサ又はレシーバを含んでよい。測位デバイス２１３は、慣性ナビゲーションシステムを含んでよい。ウェアラブルカメラ２００は、カメラの向きを判定するよう構成されているコンパスを含んでよい。ウェアラブルカメラ２００は、図４に示すように、ウェアラブルカメラ２００の光条件又は光レベルを判定するよう構成されている光センサ２２０（フォトデテクタ）を含んでよい。ウェアラブルカメラ２００は、図４に示すように、リモートデバイス２３０との通信に構成されてよい。通信は、無線又は有線であってよい。

本開示は、さらに、パン／チルトカメラと、特に、パン／チルトカメラにより撮像された画像におけるノイズリダクションのための方法と、に関する。

ウェアラブルカメラについて開示されるものと同様の課題が、パン／チルトカメラについても生じる場合がある。

本開示の目的は、上記の課題の少なくともいくらかを軽減し、パン／チルトカメラに対する、改善されたノイズリダクションを提供することである。

本開示の第４の態様によると、パン／チルトカメラにより撮像された画像におけるノイズリダクションの方法が提供される。本方法は、
Ａ．時間的に連続する画像のシーケンスを提供することと、
Ｂ．時間的に連続する画像の中から、第１の基準画像を選択することと、
Ｃ．時間的に連続する画像の中から、第１の基準画像の時間的ノイズフィルタリングに使用される、第１の複数の画像を選択することと、
Ｄ．第１の基準画像と同じ視点を有するよう、第１の複数の画像のそれぞれを変換することにより、第１の複数の変換された画像を形成することと、
Ｅ．第１の複数の変換された画像を使用して、第１の基準画像に時間的ノイズフィルタリング（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ又はＴＮＦ）を行うことと、
Ｆ．時間的に連続する画像の中から、第２の、異なる、基準画像を選択することと、
Ｇ．時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することであって、第２の複数の画像の画像の少なくとも１つはまた、第１の複数の画像にも含まれ、第２の複数の画像は、第１の基準画像を含む、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することと、
Ｈ．第２の基準画像のＴＮＦが行われるべきであるか否かを判定することと、
を含み、
ＴＮＦが行われるべきであることが判定されると、
Ｉ．第２の複数の変換された画像を形成することであって、
Ｉ１．第１の複数の画像に含まれない、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、その画像を変換することと、
Ｉ２．第１の複数の画像にも含まれる、第２の複数のそれぞれの画像の画像について、第２の基準画像と同じ視点を有するよう、第１の複数の変換された画像の中の、対応する、変換された画像を変換することと、
により、第２の複数の変換された画像を形成することと、
Ｊ．第２の複数の変換された画像を使用して、第２の基準画像に時間的ノイズフィルタリングを行うことと、
をさらに含む。

用語「パン／チルトカメラ」は、使用時に、固定的に載置され、パン及びチルトが可能であり、したがって、異なる視野を撮像するよう構成されているカメラとして理解されてよい。固定的に載置され、手動又は自動で制御され、異なる視野を撮像するためにパンされ得る及び／又はチルトされ得る、モニタリング又は監視に使用されるパン／チルトカメラは、パン／チルトカメラという用語の非限定例と見なされるべきである。パン／チルトカメラはまた、ズーム機能をも含み、したがって、パン−チルト−ズーム（ｐａｎ−ｔｉｌｔ−ｚｏｏｍ ｃａｍｅｒａ又はＰＴＺ）カメラとも呼ばれ得る。

用語「時間的に連続する画像（ｔｅｍｐｏｒａｌｌｙ ｓｕｃｃｅｓｓｉｖｅ ｉｍａｇｅｓ）」は、異なる時点にて、連続して撮像された画像又は画像フレームとして理解されてよい。換言すると、例えば、第１の画像は、第２の画像に対する撮像の時間と比較して、時間的に前に撮像され、第２の画像は続いて、第３の画像に対する撮像の時間と比較して、時間的に前に撮像される。画像又は画像フレームはともに、ビデオストリームの、時間的に連続する画像又は画像フレームのシーケンスを形成してよい。

用語「同じ視点を有するよう、画像を変換する（ｔｒａｎｓｆｏｒｍｉｎｇ … ｉｍａｇｅｓ ｔｏ ｈａｖｅ ａ ｓａｍｅ ｐｅｒｓｐｅｃｔｉｖｅ）」は、あたかも、別の画像を撮像したときと同じように配置され、向けられたカメラを用いて撮像されたように、画像を変換する、又は、画像のプロジェクションを作成する、ということを指す場合がある。この言い回しは、実質的に同じ視点を指すものとして理解されるべきである。視点変換を達成する種々の方法は、ホモグラフィ及び画像プロジェクションを使用することを含んでよい。例えば、加速度計及びジャイロスコープなどのセンサからの読み出し値が、視点変換を行うために採用されてよい。視点変換は、２つの異なる画像における、対応する、候補となるポイントのペアのそれぞれに基づいてホモグラフィを計算することを含んでよい。

なお、ステップＡからＪは、それらが本開示に提示されている順序にて、時間的に行われる必要がなくともよい。ステップＩ１及びＩ２は、双方とも、ステップＩの一部のそれぞれとして理解されるべきである。

上記の方法は、パン／チルトカメラにより撮像された画像のＴＮＦを最適化する方法を提供する。特に、本方法は、使用される演算量及びエネルギを減らし得る。これは、プロセスフローを作成することにより達成される。ここでは、第２の変換ステップは、第２の複数の変換された画像を形成する際に、少なくとも２つの画像に対して、同じ視点変換を再使用できる、という利点があり得る。これは、第１の複数の変換された画像の少なくとも１つと、第１の基準画像と、が、第２の複数の画像内にあるため、これらの画像を、第２の基準画像と同じ視点変換に変換する際に、同じ視点変換の使用が可能となるケースとして理解されるべきである。これは、第２の複数の変換された画像を生成する際に、計算される／判定される必要のある新たな視点変換を少なくし得る、ということを意味する。さらに、視点変換を行うための命令の再使用は、画像を変換することに必要な、ストレージ又はキャッシュストレージの量を減らし得る。

本開示は、例えば、時間的に連続する画像を非常に多く含むビデオストリームに対して、提供される方法を繰り返して反復することが、視点変換の複数回の再使用を好適に可能にする、というように理解されるべきである。

画像の連続するストリーム、つまり、ビデオに本方法を行う際のケースとなるような、プロセスのスケールが大きくなればなるほど、連続する反復を通して、削減の努力から得られるものは、より顕著となる。

第４の態様のいくつかの実施形態によると、本方法は、時間的に連続する画像の１つを、パン／チルトカメラのメモリから、第１又は第２の基準画像と同じ視点を有するよう、時間的に連続する画像のその１つを変換した後に、削除することをさらに含んでよい。

そのような実施形態の好適な効果は、コンピュータメモリ要件を緩和することのそれであってよい。これは、本方法にしたがって可能となる。ここでは、元の視点の画像は、それらが一度変換され、別の画像視点が特徴付けられると、不要となり得る。なぜなら、変換された画像は、時間的に連続する画像の中の他の画像にＴＮＦを行うために必要な場合に、実際に使用されているからである（例えば、ステップＩ２を参照されたい）。

第４の態様のいくつかの実施形態によると、第１の複数の画像のそれぞれの画像は、第１の基準画像に対して時間的に先行し得、第２の複数の画像のそれぞれの画像は、第２の基準画像に対して時間的に先行し得る。

そのような実施形態により、待ち時間が削減され得る。これは、時間的に先行する画像情報のみが、基準画像のＴＮＦに対して使用され、画像を提供することと、同画像にＴＮＦを行うことと、の間の遅延が減ることを意味するようなケースである。待ち時間を減らすことは、本方法が、ライブビデオストリームに適用される際に、特に好適であり得る。

第４の態様のいくつかの実施形態によると、第１の複数の画像は、４つから８つの画像を含んでよく、第２の複数の画像は、４つから８つの画像を含んでよい。

ＴＮＦに使用される画像の数が増えると、一般的に、ノイズリダクション方法の結果が改善され得る。画像の数が増えると、再使用される視点変換の回数をさらに増やすことができる。しかし、より多くの画像が使用されると、一般的に、ＴＮＦの演算がさらに複雑になる。本実施形態に係る画像の範囲は、ＴＮＦの品質と演算の複雑さとの間をよく考慮したものを表す。

第４の態様のいくつかの実施形態によると、第１の複数の変換された画像を形成することと、第２の複数の変換された画像を形成することと、は、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータを比較することに基づいて、関連付けられた基準画像と同じ視点を有するように画像を変換することを含んでよい。

用語「モーションデータ」は、カメラの、それがモニタするシーンに対する物理的なムーブメントに関するいずれのデータ又は情報を指す場合がある。

そのような実施形態は、種々のタイプのモーションデータが存在し得、モーションデータを判定するための幅広い手段が適用可能であり得るため、本方法を行うことに対するフレキシビリティを提供する。

第４の態様のいくつかの実施形態によると、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータは、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータであってよい。画像に関連付けられた、パンすることと、チルトすることと、の値は、絶対値、つまり、パン／チルトカメラに関して固定された座標系に関する値、又は、相対値、つまり、異なる画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、に関する値、であってよい。

第４の態様のいくつかの実施形態によると、ステップＨは、第１の複数の画像の少なくとも２つの画像間の視点差を判定することをさらに含んでよく、第２の基準画像のＴＮＦは、視点差が、所定の視点差閾値以下であることが判定されると行われ、第２の基準画像のＴＮＦは、視点差が、所定の視点差閾値より大きいことが判定されると行われない。

モーションが、特定のコンプライアンス制限内にある場合にのみ、ＴＮＦを行うことが、好ましくあり得る。ＴＮＦは、時間的に連続する画像を平均化することに依存する。多すぎるモーションを含む連続する画像にＴＮＦを行うことは、画像の細部に歪を残すこととなる場合がある。そのような場合では、２回目のＴＮＦを行う労力をまったく費やさないことが好適であり得る。さらに、これはまた、モーションが大きすぎる限りは、ノイズリダクションステップの残りを本質的に行わないことにより、要求される演算量を削減することにおいて好適な効果をも提供し得る。

第４の態様のいくつかの実施形態によると、視点差は、それぞれの画像に時間的に関連付けられたパン／チルトデータに基づき、パン／チルトデータは、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含む。

画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値は、パン／チルトカメラに関して固定された座標系に関してよい、又は、それは、異なる画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、に関してよい。

パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータを使用することにより、視点差の判定が、非常に正確なものとされ得る。

第４の態様のいくつかの実施形態によると、本方法は、ステップＡの前に、時間的に連続する画像のシーケンスに対する撮像条件を判定することをさらに含んでよく、撮像条件が所定の撮像条件要件を満たすことが判定されると、ステップＡからＪのみが行われる。

撮像条件が、特定のコンプライアンス制限内にある場合にのみ、ＴＮＦを行うことが、好ましくあり得る。予期される画像の細部の歪により、特定の画像撮像条件は、ＴＮＦに対して適さないと理解され得る。本方法のステップを行う前に、撮像条件が有益であるか、又は、少なくとも許容可能であるか否かをチェックすることがしたがって、好適となり得る。上記の実施形態と同様に、これはまた、撮像条件が、所定の撮像条件要件を満たさない限りは、本方法のステップの残りを本質的に行わないことにより、要求される演算量を削減することにおいて好適な効果をも提供し得る。

第４の態様のいくつかの実施形態によると、撮像条件は、
異なる時点に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータにより判定される、モーションのレベルと、
光センサにより、又は、画像分析により判定される光レベルと、
の少なくとも１つにより判定される。

モーションのレベルが高すぎる場合には、本方法のステップＡからＪを行わないことが、好ましくあり得る。これは、モーションが大きすぎ、画像の細部を歪めることが予期される場合には、上記にて説明した実施形態と同様に、２回目のＴＮＦが行われないものとして理解されてよい。高すぎるモーションのレベルは、良好な視点変換の実現可能性を下げる、つまり、変換された画像を歪ませる場合がある。高すぎるモーションのレベルは、また、時間的に連続する画像間の共通ピクセル数が減ることにより、良好なＴＮＦの実現可能性を下げる場合がある。

本方法の、光レベルに基づいて、ステップＡからＪを行わないこともまた、好ましくあり得る。ＴＮＦは、低照度画像に適用されると、画像の細部の歪を大きくする場合がある。光レベルが満足できるものでない場合には、本方法のステップＡからＪを共に回避するために、その理由が有益であってよい。一方、光レベルが高すぎる場合には、ＴＮＦは要求されない、又は、不要であってよい。ＴＮＦはしたがって、好適に回避される。

光レベルが所定の閾値を超えると、モーションレベルが記録される必要がない、ということがさらに導かれてよい。したがって、モーション、モーションデータ、及び／又はモーションレベルを記録するセンサ及び手段は、エネルギの消費を削減するために、電源の供給が断たれてよい。

光レベル及びモーションのレベルは、撮像条件を判定するために、例えば、性能指数として組み合されてよい、又は、組み合わせて評価されてよい。

第４の態様のいくつかの実施形態によると、撮像条件は、光センサにより、又は、画像分析により判定される光レベルにより判定され、所定の撮像条件要件は、所定のレベルより低い光レベルである。

ＴＮＦは、一般的に、低照度条件において、より必要とされ得る。これは、カメラ又はイメージセンサが、低照度条件において、より低い信号対ノイズ比をしばしば示すためであり得る。そのため、本方法のステップＡからＪを行うための上限閾値は、好ましいものであり得る。

第４の態様のいくつかの実施形態によると、本方法は、第１の基準画像を、パン／チルトカメラのメモリ上に、第１の基準画像にＴＮＦを行った後に保存することと、第２の基準画像を、パン／チルトカメラのメモリ上に、第２の基準画像にＴＮＦを行った後に保存することと、をさらに含んでよい。

基準画像は、それらにＴＮＦが行われると、したがって、パン／チルトカメラのメモリ上に保存されてよい、最終的なビデオストリームを形成し得る。

第４の態様のいくつかの実施形態によると、本方法は、第１の基準画像を、パン／チルトカメラからリモートデバイスに、第１の基準画像にＴＮＦを行った後に送信することと、第２の基準画像を、パン／チルトカメラからリモートデバイスに、第２の基準画像にＴＮＦを行った後に送信することと、をさらに含んでよい。

基準画像は、それらにＴＮＦが行われると、したがって、表示又は保存のためにリモートデバイスに送信される、最終的なビデオストリームを形成し得る。好適には、基準画像は、したがって、パン／チルトカメラのメモリ上に、期間を延長して保存される必要がなくともよい。

本開示の第５の態様によると、撮像ユニットと、演算ユニットと、を含む、パン−チルト−ズーム、パン／チルト、カメラが提供される。パン／チルトカメラは、
ａ．撮像ユニットにより、時間的に連続する画像のシーケンスを撮像することと、
ｂ．演算ユニットにより、時間的に連続する画像の中から、第１の基準画像を選択することと、
ｃ．演算ユニットにより、時間的に連続する画像の中から、第１の基準画像の時間的ノイズフィルタリングに使用される、第１の複数の画像を選択することと、
ｄ．演算ユニットにより、第１の基準画像と同じ視点を有するよう、第１の複数の画像のそれぞれを変換することにより、第１の複数の変換された画像を形成することと、
ｅ．演算ユニットにより、第１の複数の変換された画像を使用して、第１の基準画像に時間的ノイズフィルタリング（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ又はＴＮＦ）を行うことと、
ｆ．演算ユニットにより、時間的に連続する画像の中から、第２の、異なる、基準画像を選択することと、
ｇ．演算ユニットにより、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することであって、第２の複数の画像の画像の少なくとも１つはまた、第１の複数の画像にも含まれ、第２の複数の画像は、第１の基準画像を含む、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することと、
ｈ．演算ユニットにより、第２の基準画像のＴＮＦが行われるべきであるか否かを判定することと、に構成されており、
ＴＮＦが行われるべきであることが判定されると、
ｉ．演算ユニットにより、第２の複数の変換された画像を形成することであって、
ｉ１．第１の複数の画像に含まれない、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、その画像を変換することと、
ｉ２．第１の複数の画像にも含まれる、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、第１の複数の変換された画像の中の、対応する、変換された画像を変換することと、
により、第２の複数の変換された画像を形成することと、
ｊ．演算ユニットにより、第２の複数の変換された画像を使用して、第２の基準画像に時間的ノイズフィルタリングを行うことと、
にさらに構成されている。

第５の態様に説明されるパン／チルトカメラは、それらの対応する特徴により、第４の態様に説明される本方法のそれらと同様の利点を提供する。パン／チルトカメラは、第４の態様の本方法を実施することに構成されているデバイスと見なされてよい。

本開示の第６の態様によると、処理能力を有するデバイスにより実行されると、第４の態様の本方法を実施する命令が保存されている、非一時的コンピュータ可読記憶媒体が提供される。

第６の態様に説明される非一時的コンピュータ可読記憶媒体は、第４の態様に説明される本方法のそれらと同様の利点を提供する。

本開示の第４、第５、及び第６の態様を、図１、図２、図３、及び図５を参照して、以下に、より完全に説明する。これらは、本開示の第４、第５、及び第６の態様に関して、現在好適な実施形態である。これらの態様はしかし、多くの異なる形態にて体現されてよく、以下に示す実施形態に限定されるものとして理解すべきでない。むしろこれらの実施形態は、完璧性及び完全性のために、そして、これらの態様の範囲を当業者に十分に伝えるために提供される。

図１及び図２は、パン／チルトカメラにより撮像された画像におけるノイズリダクションの方法を示す。図３は、パン／チルトカメラにより撮像された画像におけるノイズリダクションの同方法に対するフローチャートを示す。本方法は、ステップＡからＪを含む。本方法は、図５に例示するように、パン／チルトカメラ３００において実施されてよい。

図１、図２、及び図３の本方法を、図５のパン／チルトカメラ３００と合わせて、以下に説明する。図１にて始まる、１１３などの参照番号は、図１及び図２に示す画像を指す。図３にて始まる、３０２などの参照番号は、図５に示す特徴を指す。

図１及び図２に示すブロックは、画像又は画像フレームを表す。図１及び図２は、元の画像、つまり、時間的に連続する画像１０１、１０２、１０３、１０４、が提供される、又は、撮像される際に関する水平時間成分を含む。図内の異なる水平位置にて配置されたブロックは、画像が、異なる時点にて撮像された、又は、提供されたことを示す。時間ｔは、図の左から右に進むよう示されている、つまり、ブロック１０１、これは、時間的に連続する画像の１つである、が、残りの時間的に連続する画像１０２、１０３、１０４の前に提供される、又は、撮像される。時間的に連続する画像１０１、１０２、１０３、１０４は、イメージセンサデバイスからの、生のフォーマット画像として提供されてよい、つまり、これらが提供される前には、先行する、画像の画像処理は無い。代替的に、本方法は、本方法に対する入力として提供される前に、時間的に連続する画像１０１、１０２、１０３、１０４の画像処理により先行されてよい。先行する画像処理の非限定例としては、不良ピクセルの除去、及び、カラムの固定パターンノイズフィルタリングなどの、画像データの調整又は修正が含まれる。換言すると、時間的に連続する画像１０１、１０２、１０３、１０４は、生の画像データとして、又は、処理された画像データとして提供されてよい。しかし、本開示に係る本方法は、画像のビデオエンコーディングプロセスの前に行われる、つまり、時間的に連続する画像１０１、１０２、１０３、１０４は、エンコードされていない／ビデオエンコードされない、ということに留意されたい。

図１及び図２は、垂直／カラム成分をさらに含む。同じカラムにおいて、他の下に配置された画像は、それらは、その同じカラムにおいて、上の画像の選択された、処理された、変換された、又は、フィルタされたバージョンであることを示す。それらの下の画像は、処理／変換などのいずれの時間的な順序に対応する必要はなく、任意の時点にて処理／変換などされてよい。それらの画像はむしろ、それらの上の、時間的に連続する画像１０１、１０２、１０３、１０４に主に基づくものとして理解されるべきである。

図１及び図２では、時間的に連続する画像１０１、１０２、１０３、１０４は、最上行に提供されている。これは、図３における本方法のステップＡに対応するものとして理解されるべきである。

本開示の第５の態様、つまり、パン／チルトカメラ３００を提供する態様に関するステップＡは、パン／チルトカメラ３００が、撮像ユニット３０２により、時間的に連続する画像１０１、１０２、１０３、１０４を撮像することに構成されている、ということを規定する一方で、第４の態様、つまり、（図３に示す）方法を提供する態様におけるステップＡは、時間的に連続する画像１０１、１０２、１０３、１０４のシーケンスを提供することを規定する、ということが留意されるべきである。これらの態様の双方は、互いに相互に関係するものと、依然として見なされてよい。第５の態様のパン／チルトカメラ３００は、それ自身の撮像ユニット３０２を使用して、時間的に連続する画像のシーケンス１０１、１０２、１０３、１０４を撮像する一方で、第４の態様の本方法は、カメラ自体に、時間的に連続する画像１０１、１０２、１０３、１０４を撮像することを要求しない。本方法は、画像を撮像するパン／チルトカメラ３００からリモートに行われてよく、したがって、提供される、時間的に連続する画像１０１、１０２、１０３、１０４のみを必要とする。

本方法は、パン／チルトカメラ３００により、又は、この内部にて行われてよい。ステップＡは、パン／チルトカメラ３００の撮像ユニット３０２により行われてよい。ステップＢからＪは、パン／チルトカメラ３００の演算ユニット３０４により行われてよい。

第１の基準画像１１３は、時間的に連続する画像１０１、１０２、１０３、１０４の中から選択される。これは、ステップＢに対応するものとして理解されるべきである。第１の基準画像１１３は、ＴＮＦを使用してフィルタされるべき画像として理解されるべきである。図１では、画像１０３が、時間的に連続する画像１０１、１０２、１０３、１０４から、第１の基準画像１１３として選択される。図２では、画像１０１が、時間的に連続する画像１０１、１０２、１０３、１０４から、第１の基準画像１１３として選択される。

ＴＮＦを促進するために、第１の複数の画像１２１、１２２が、時間的に連続する画像１０１、１０２、１０３、１０４の中から選択され、第１の基準画像１１３の時間的ノイズフィルタリングに使用される。これは、ステップＣに対応するものとして理解されるべきである。図１では、第１の複数の画像１２１、１２２は、選択された、第１の基準画像１１３に時間的に先行して示され、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０１及び１０２に対応する。図２では、第１の複数の画像１２１、１２２は、選択された、第１の基準画像１１３に時間的に続いて示され、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０２及び１０３に対応する。存在する他の実施形態では、第１の複数の画像１２１、１２２は、第１の基準画像１１３に先行する画像と、これに続く画像と、の双方から選択される。第１の複数の画像１２１、１２２が、４つから８つの画像を含み得る、ということは、有益であり得る。この一般概念の理解を促進するために、図１及び図２は、２つの画像を含む、第１の複数の画像１２１、１２２を示す。ＴＮＦをよく知る当業者は、以下に開示される概念を、いずれの（合理的な）数の画像に適用する知識を有する。

第１の複数の画像１２１、１２２が選択された後に、第１の複数の変換された画像１３１、１３２が、第１の基準画像１１３と同じ視点を有するよう、第１の複数の画像１２１、１２２のそれぞれを変換することにより形成される。これは、ステップＤに対応するものとして理解されるべきである。

変換ステップＤは、ホモグラフィを使用して行われてよい。変換ステップＤは、２つの異なる画像における、対応する、候補となるポイントのペアのそれぞれに基づいてホモグラフィを計算することを含んでよい。ホモグラフィについて、異なる時点にて撮像された画像は、ホモグラフィマトリックスを生成することを目的として、ステレオカメラアレンジメントにおける異なるカメラから撮像された画像と見なされてよい。

変換ステップＤは、時間的に連続する画像１０１、１０２、１０３、１０４のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータを比較することに基づくものであってよい。時間的に連続する画像１０１、１０２、１０３、１０４のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータは、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられた、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値を含むパン／チルトデータであってよい。

第１の基準画像１１３を撮像する時に、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値を、第１の複数の画像１２１、１２２のそれぞれの画像を撮像する時に、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値と比較することを用いて、変換は、第１の複数の画像１２１、１２２のそれぞれを、第１の基準画像１１３と同じ視点を有し、したがって、第１の複数の変換された画像１３１、１３２を形成するよう、変換することのために判定されてよい。

パン／チルトデータは、パン／チルトカメラを制御し、所望するようにパンし、チルトする、演算ユニット３０４におけるパン／チルト制御機能などの、パン／チルトコントローラから取得されてよい。画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータは、その画像を撮像する時に、パン／チルトカメラ３００を、所望するようにパンすることと、チルトすることと、にしたがって、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値に関連してよい。パン／チルトデータは、さらに、パン／チルトセンサからのフィードバックに示されるように、画像を撮像する時に、パン／チルトセンサにより特定されるように、所望するようにパンすることと、チルトすることと、からの偏差を用いて修正されてよい。

画像に関連付けられた、パンすることと、チルトすることと、の値は、絶対値、つまり、パン／チルトカメラに関して固定された座標系に関する値、又は、相対値、つまり、異なる画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、に関する値、であってよい。

図１及び図２では、ＰＴとラベル付けされたブロックは、視点変換（ｐｅｒｓｐｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ）が行われていることを示す。これは、ＰＴブロックを指し示す破線矢印により示された、異なる垂直カラムからの画像と同じ視点を有するよう変換されたベース画像を有することにより機能する。ベース画像は、ＰＴブロックにより変換されたものとして、中実矢印により示されている。時には、第２の複数の画像１５２、１５３のそれぞれの画像が変換されて、第２の複数の変換された画像１６２、１６３を形成する場合には、複数の画像を変換するために、同じＰＴブロックが使用されてよい（以下をさらに参照されたい）。この場合、画像１５２は、変換された画像１６２に対するベース画像として理解されてよい。この同じロジックを、画像１５３と、その変換された同等の画像１６３と、に適用してよい。

第１の複数の変換された画像１３１、１３２が形成された後には、第１の複数の変換された画像１３１、１３２を使用して、第１の基準画像１１３のＴＮＦが行われてよい。これは、図３におけるステップＥに対応するものとして理解されるべきである。

図１及び図２では、ＴＮＦとラベル付けされたブロックは、時間的ノイズフィルタリングステップが行われていることを示す。これらの場合、ノイズフィルタリングが行われるベース画像は、点鎖線矢印により示される。ＴＮＦブロックを指し示す破線矢印は、時間的ノイズフィルタリングプロセスにおいて使用されている異なる垂直カラムからの画像を示す。ＴＮＦプロセスは、例えば、異なる時点にて撮像された画像からの画像コンテンツを平均化することを含んでよい。一般的に、これらの図は、時間的ノイズフィルタリングを行う前と同じ視点を有するよう画像を変換することを例示的に示す。

これらの図では、参照番号は、ＴＮＦステップを行う前後で同じであり得る。これは、ノイズフィルタリングステップの前の／上の、生の／フィルタされていない、第１及び第２の基準画像１１３、１４４により動機付けされてよく、ノイズフィルタリングステップの後の／下の画像と本質的に同じであってよいが、ノイズが少ないことが理想的である。本方法の後のステップ、つまり、ステップＦからのステップについて、生の／フィルタされていない、又は、時間的にノイズフィルタされた基準画像１１３、１４４の双方が使用されてよい。

第１の基準画像１１３にＴＮＦを行った後に、第２の、異なる、基準画像１４４が、時間的に連続する画像の中から選択されてよい。これは、図３におけるステップＦに対応するものとして理解されるべきである。第２の基準画像１４４は、第１の基準画像１１３とは異なる。第２の基準画像１４４は、第１の基準画像１１３のように、ＴＮＦを使用してフィルタされるべき画像として理解されるべきである。

図１の実施形態では、画像１０４が、時間的に連続する画像１０１、１０２、１０３、１０４から、第２の基準画像１４４として選択される。図２の実施形態では、画像１０２が、時間的に連続する画像１０１、１０２、１０３、１０４から、第２の基準画像１４４として選択される。

ＴＮＦを再度促進するために、第２の複数の画像１５２、１５３が、時間的に連続する画像１０１、１０２、１０３、１０４の中から選択され、第２の基準画像１４４の時間的ノイズフィルタリングに使用される。今度はしかし、第２の複数の画像１５２、１５３の画像１５２の少なくとも１つはまた、第１の複数の画像１２１、１２２にも含まれる。第２の複数の画像１５２、１５３はまた、第１の基準画像１１３をも含む。これは、図３におけるステップＧに対応するものとして理解されるべきである。図１の実施形態では、第２の複数の画像１５２、１５３は、選択された、第２の基準画像１４４に時間的に先行して示され、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０２及び１０３に対応する。図２の実施形態では、第２の複数の画像１５２、１５３の画像のそれぞれは、第２の基準画像１４４に時間的に先行する画像と、時間的に続く画像と、の双方にて示され、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０１及び１０３に対応する。存在する他の実施形態では、第２の複数の画像１５２、１５３の画像は双方とも、第２の基準画像１４４に続く。第２の複数の画像１５２、１５３は、４つから８つの画像を含んでよい。図１及び図２は、２つの画像を含む第２の複数の画像１５２、１５３の実施形態を示す。

開示されるように、第２の複数の画像１５２、１５３の画像１５２の少なくとも１つはまた、第１の複数の画像１２１、１２２にも含まれる。これは、時間的に連続する画像１０１、１０２、１０３、１０４の同じ、選択された画像に基づく、対応する画像のいずれを指すものとして理解されてよい。図１の場合では、これは、画像１０１及び１０２に基づくいずれの画像として理解されるべきである。例えば、第１の複数の変換された画像１３１、１３２における１つ又はそれ以上の画像はまた、変換された画像１３２が、第２の複数の画像において、画像１５２として選択される、図１に示すように、第２の複数の画像１５２、１５３に対して選択されてもよい。

本方法は、第２の基準画像のＴＮＦが行われるべきであるか否かを判定することを含む。これは、図３におけるステップＨに対応するものとして理解されるべきである。ステップＨは、第２の複数の画像１５２、１５３を選択することの後に行われてよい。

ステップＨは、第１の複数の画像１２１、１２２の少なくとも２つの画像間の視点差を判定することを含んでよい。視点差は、代替的に、時間的に連続する画像１０１、１０２、１０３、１０４のいずれに基づいて判定されてよい。第２の基準画像１４４のＴＮＦは、視点差が、所定の視点差閾値以下であることが判定されると行われてよい。第２の基準画像１４４のＴＮＦは、視点差が、所定の視点差閾値より大きいことが判定されると行われるべきではない。ステップＨは、そのような場合では、ステップＦ及びＧの前に行われてよい。第２の基準画像１４４のＴＮＦが行われないことが判定された場合、ステップＦ及びＧは、本方法から完全に省略されてよい。

ステップＨは、第２の複数の画像１２１、１２２の少なくとも２つの画像間の視点差を判定することを含んでよい。第２の基準画像１４４のＴＮＦは、視点差が、所定の視点差閾値以下であることが判定されると行われてよい。第２の基準画像１４４のＴＮＦは、視点差が、所定の視点差閾値より大きいことが判定されると行われるべきではない。

視点差は、それぞれの画像に時間的に関連付けられたモーションデータに基づくものであってよい。モーションデータは、第２の複数の画像１２１、１２２の少なくとも２つの画像のそれぞれの画像に関連付けられた、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値を含むパン／チルトデータであってよい。

パン／チルトデータは、パン／チルトカメラを制御し、所望するようにパンし、チルトする、演算ユニット３０４におけるパン／チルト制御機能などの、パン／チルトコントローラから取得されてよい。画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータは、その画像を撮像する時に、パン／チルトカメラ３００を、所望するようにパンすることと、チルトすることと、にしたがって、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値に関連してよい。パン／チルトデータは、さらに、パン／チルトセンサからのフィードバックに示されるように、画像を撮像する時に、パン／チルトセンサにより特定されるように、所望するようにパンすることと、チルトすることと、からの偏差を用いて修正されてよい。

画像に関連付けられた、パンすることと、チルトすることと、の値は、絶対値、つまり、パン／チルトカメラに関して固定された座標系に関する値、又は、相対値、つまり、異なる画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、に関する値、であってよい。

モーションデータは、ＴＮＦが行われるべきであるか否かを判定することに対して、定期的に、判定され、評価されてよい。モーションデータは、パン／チルトカメラ３００が、時間的に連続する画像１０１、１０２、１０３、１０４を取得する、毎秒フレーム数（ｆｒａｍｅｓ−ｐｅｒ−ｓｅｃｏｎｄ又はＦＰＳ）についての値にマッチするレートにて判定されてよい。ＦＰＳについての値は、好適には、１から６０の範囲、より好適には、２０から４０の範囲、にあってよい。

ステップＨ中に、第２の基準画像１４４のＴＮＦが行われるべきでないことを判定すると、本方法は、ステップＨ後に終わってよい。これは、ステップＩからＪが行われないことを意味する。本方法は、そのような場合では、ステップＡにて再開してよい。

ステップＨ中に、第２の基準画像１４４のＴＮＦが行われるべきであることを判定すると、本方法は、図３に示すように、ステップＩからＪに進む。

第２の複数の変換された画像１６２、１６３を形成することにより、本方法は進む。これは、ステップＩに対応するものとして理解されるべきである。ステップＩは、第２の複数の画像１５２、１５３に対して選択された画像が、本方法において以前にどのように使用されたか、に依存する、２つの部分的ステップを含む。

第１の複数の画像１２１、１２２に含まれない第２の複数の画像１５２、１５３のそれぞれの画像１５３は、第２の基準画像１４４と同じ視点を有するよう変換されており、したがって、変換された画像１６３を形成する。これは、部分的ステップＩ１に対応するものとして理解されるべきである。

第１の複数の画像１２１、１２２にも含まれる第２の複数の画像１５２、１５３のそれぞれの画像１５２について、対応する、変換された（図３のステップＤにおいて変換された）画像１３２は、第２の基準画像１４４と同じ視点を有するよう変換されており、したがって、変換された画像１６２を形成する。これは、部分的ステップＩ２に対応するものとして理解されるべきである。変換された画像１３２は、画像１２２及び１５２に時間的に対応するものとして理解されるべきである。

図１では、この対応は、それらがすべて、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０２からどのように生じたか、に関する。図２では、画像１２２、１３２、及び１５２はすべて、時間的に連続する画像１０１、１０２、１０３、１０４の画像１０３から生じている。第２の複数の変換された画像１６２、１６３を形成することの詳細は、例えば、ホモグラフィ計算及びモーションデータを使用することに関して上記にて説明した、第１の複数の変換された画像１３１、１３２（ステップＤ）を形成することのそれらと同様であってよい。

本方法によると、同じ視点変換が、第２の複数の変換された画像１６２、１６３を形成する際に、第２の複数の画像１５２、１５３の少なくとも２つの画像に対して好適に使用され得る。

図１と図２との間の違いをまとめると、これらの実施形態は、図１及び図２の、第１及び第２の複数の画像１２１、１２２、１５２、１５３、及びそれらに対応する基準画像１１３、１４４の時系列又は順序に関して、若干異なる。

図１は、第１の基準画像１１３に時間的に先行する、第１の複数の画像１２１、１２２のそれぞれの画像と、第２の基準画像１４４に時間的に先行する、第２の複数の画像１５２、１５３のそれぞれの画像と、を示す。

図２は、第１の基準画像１１３が、第１の複数の画像１２１、１２２に対して時間的に先行する、代替的な実施形態を示す。第２の基準画像１４４は、同様に、第２の複数の画像１５２、１５３に対して時間的に先行してよい。しかし、これは、図２には示していない。

図２は、第２の基準画像１４４が、第２の複数の画像フレーム１５２、１５３のそれぞれの画像の間に時間的に挟まれてよいことを示す。同様に、第１の基準画像１１３が、第１の複数の画像フレーム１２１、１２２の画像のそれぞれの間に時間的に挟まれてよい。

第２の複数の変換された画像１６２、１６３が形成された後には、ＴＮＦが、第２の基準画像１４４に、第２の複数の変換された画像１６２、１６３を使用して、行われる。ＴＮＦを第２の基準画像１４４に行うことに関する詳細は、上記にて説明した、ＴＮＦ（ステップＥ）を第１の基準画像１１３に行うことに関するそれらと同様であってよい。

本方法は、時間的にノイズフィルタされたビデオストリームを形成するために使用されてよい。そのような場合では、ビデオストリームを形成するものは、基準画像１１３、１４４である。基準画像１１３、１４４のすべては、ビデオストリームにおける異なる時点に関連付けられてよい。

本方法は、図５に例示するように、パン／チルトカメラ３００において実施されてよい。しかし、上述するように、本方法はまた、パン／チルトカメラ３００の外部のデバイスにおいても行われてよい。

本方法は、ステップＡの前に、時間的に連続する画像１０１、１０２、１０３、１０４のシーケンスに対する撮像条件を判定することを含んでよい。ステップＡからＪは、撮像条件が所定の撮像条件要件を満たすことが判定された場合にのみ行われてよい。本方法のステップＡからＪは、したがって、それらの要件が満たされるまで、遅延されると見なされてよい。

撮像条件は、モーションのレベルにより判定されてよい。モーションのレベルは、画像が撮像された時点、又は、任意の時点などの、異なる時点に関連付けられた、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値を含むパン／チルトデータから判定されてよい。撮像条件は、光レベルにより判定されてよい。光レベルは、光センサ２２０により、又は、画像分析により判定される。

パン／チルトデータは、パン／チルトカメラを制御し、所望するようにパンし、チルトする、演算ユニット３０４におけるパン／チルト制御機能などの、パン／チルトコントローラから取得されてよい。ある時点に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータは、その時点での、パン／チルトカメラ３００を、所望するようにパンすることと、チルトすることと、にしたがって、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値に関連してよい。パン／チルトデータは、さらに、パン／チルトセンサからのフィードバックに示されるように、その時点にて、パン／チルトセンサにより特定されるように、所望するようにパンすることと、チルトすることと、からの偏差を用いて修正されてよい。

ある時点に関連付けられた、パンすることと、チルトすることと、の値は、絶対値、つまり、パン／チルトカメラに関して固定された座標系に関する値、又は、相対値、つまり、異なる時点に関連付けられた、パン／チルトカメラをパンすることと、チルトすることと、に関する値、であってよい。

所定の撮像条件要件は、所定のレベルより低い光レベルの要件であってよい。そのような所定のレベルは、５０から２００ルクスの範囲にあってよい。所定のレベルは、より好適には、１００ルクスなどの、７５から１２５ルクスの範囲にあってよい。より高い光レベルの値は、低ノイズに関連付けられ得、したがって、それらのより高い光レベルの値に対するＴＮＦの必要性を緩和する。

所定の撮像条件要件は、所定のレベルより高い光レベルの要件であってよい。所定の撮像条件要件は、最も低い許容可能な光レベルと、最も高い許容可能な光レベルと、の双方をさらに含んでよい。所定の撮像条件要件は、中間光レベル除外範囲を含んでよく、この範囲外の光レベルが、許容可能となる。

本方法は、第１の基準画像１１３を、パン／チルトカメラ３００のメモリ３０６上に、第１の基準画像１１３にＴＮＦを行った後に保存することをさらに含んでよい。本方法は、第２の基準画像１４４を、パン／チルトカメラ３００のメモリ３０６上に、第２の基準画像１４４にＴＮＦを行った後に保存することを含んでよい。

本方法は、時間的に連続する画像１０１、１０２、１０３、１０４の１つを、パン／チルトカメラ３００のメモリ３０６から、第１又は第２の基準画像１１３、１４４と同じ視点を有するよう、時間的に連続する画像１０１、１０２、１０３、１０４のその１つを変換した後に、削除することをさらに含んでよい。

本方法は、第１の基準画像１１３を、パン／チルトカメラ３００からリモートデバイス２３０に、第１の基準画像１１３にＴＮＦを行った後に送信することをさらに含んでよい。本方法は、第２の基準画像１４４を、パン／チルトカメラ３００からリモートデバイス２３０に、第２の基準画像１４４にＴＮＦを行った後に送信することを含んでよい。

本方法は、コンピュータ、デコーダ、又は、処理能力を有する別のデバイスにより実施されてよい。非一時的コンピュータ可読記憶媒体には、処理能力を有するデバイスにより実行されると、そこに保存されている本方法を実施する命令が提供されてよい。

図５は、撮像ユニット２０２と、演算ユニット２０４と、を含むパン／チルトカメラ３００を示す。パン／チルトカメラ３００は、図５のパン／チルトカメラ３００と合わせて説明されるように、図１、図２、及び図３の上記方法を行うことに構成されてよい。

撮像ユニット３０２は、画像を撮像可能ないずれのデバイスとして理解されてよい。撮像ユニット３０２は、電荷結合素子（ｃｈａｒｇｅｄ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ又はＣＣＤ）イメージセンサ、又は、相補型金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ−ｓｅｍｉｃｏｎｄｕｃｔｏｒ又はＣＭＯＳ）ベースのアクティブピクセルイメージセンサを含んでよい。

演算ユニット３０４は、本方法に係る処理及び計算を行うことができるいずれのデバイスを含んでよい。演算ユニットは、それ自体が、本方法の異なるアクション又はステップを行うための複数のサブユニットを含んでよい。

パン／チルトカメラ３００は、使用時に、固定的に載置され、パン及びチルトが可能であり、したがって、異なる視野を撮像するよう構成されているカメラである。固定的に載置され、手動又は自動で制御され、異なる視野を撮像するためにパンされ得る及び／又はチルトされ得る、モニタリング又は監視に使用されるパン／チルトカメラは、パン／チルトカメラという用語の非限定例と見なされるべきである。パン／チルト機能に加えて、パン／チルトカメラはまた、ズーム機能をも含み、したがって、パン−チルト−ズームカメラ（ｐａｎ−ｔｉｌｔ−ｚｏｏｍカメラ又はＰＴＺカメラ）とも呼ばれ得る。

パン／チルトカメラ３００は、図５に示すように、パン／チルトカメラ３００をパン及びチルトし、所望するようにパンし、チルトするよう構成されているパン／チルトモータ３１０を含んでよい。パンすることと、チルトすることと、は、演算ユニット３０４におけるパン／チルト制御機能などの、パン／チルトコントローラにより制御されてよい。パン／チルトモータは、パン／チルトカメラの、所望するようにパンすることと、チルトすることと、を達成するためのフィードバック制御のために、演算ユニット３０４におけるパン／チルト機能にフィードバックを提供するためのパン／チルトセンサ（図示せず）を含んでよい。画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータは、その画像を撮像する時に、所望するようにパンすることと、チルトすることと、にしたがって、パン／チルトカメラ３００の、パンすることと、チルトすることと、の値に関連してよい。パン／チルトデータは、さらに、パン／チルトセンサからのフィードバックに示されるように、画像を撮像する時に、パン／チルトセンサにより特定されるように、所望するようにパンすることと、チルトすることと、からの偏差を用いて修正されてよい。パン／チルトカメラ３００は、図５に示すように、パン／チルトカメラ３００の光条件又は光レベルを判定するよう構成されている光センサ３２０（フォトデテクタ）を含んでよい。パン／チルトカメラ３００は、図５に示すように、リモートデバイス３３０との通信に構成されてよい。通信は、無線又は有線であってよい。
実施形態リスト：

１．パン／チルトカメラにより撮像された画像におけるノイズリダクションの方法であって、
ａ．時間的に連続する画像のシーケンスを提供することと、
ｂ．時間的に連続する画像の中から、第１の基準画像を選択することと、
ｃ．時間的に連続する画像の中から、第１の基準画像の時間的ノイズフィルタリングに使用される、第１の複数の画像を選択することと、
ｄ．第１の基準画像と同じ視点を有するよう、第１の複数の画像のそれぞれを変換することにより、第１の複数の変換された画像を形成することと、
ｅ．第１の複数の変換された画像を使用して、第１の基準画像に時間的ノイズフィルタリング（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ又はＴＮＦ）を行うことと、
ｆ．時間的に連続する画像の中から、第２の、異なる、基準画像を選択することと、
ｇ．時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することであって、第２の複数の画像の画像の少なくとも１つはまた、第１の複数の画像にも含まれ、第２の複数の画像は、第１の基準画像を含む、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することと、
ｈ．第２の基準画像のＴＮＦが行われるべきであるか否かを判定すること、
を含み、
ＴＮＦが行われるべきであることが判定されると、
ｉ．第２の複数の変換された画像を形成することであって、
ｉ１．第１の複数の画像に含まれない、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、画像を変換することであって、視点変換は、第２の基準画像と同じ視点を有するよう、第１の基準画像を変換するよう、判定され、使用される、第２の基準画像と同じ視点を有するよう、その画像を変換することと、
ｉ２．第１の複数の画像にも含まれる、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、第１の複数の変換された画像の中の、対応する、変換された画像を、第１の基準画像を変換するために使用された視点変換を使用して変換することと、
により、第２の複数の変換された画像を形成することと、
ｊ．第２の複数の変換された画像を使用して、第２の基準画像に時間的ノイズフィルタリングを行うことと、
をさらに含む、方法。

２．時間的に連続する画像の１つを、パン／チルトカメラのメモリから、第１又は第２の基準画像と同じ視点を有するよう、時間的に連続する画像のその１つを変換した後に、削除することをさらに含む、実施形態１に記載の方法。

３．第１の複数の画像のそれぞれの画像が、第１の基準画像に対して時間的に先行し、
第２の複数の画像のそれぞれの画像が、第２の基準画像に対して時間的に先行する、
実施形態１及び実施形態２のいずれか１つに記載の方法。

４．第１の複数の画像は、４つから８つの画像を含み、
第２の複数の画像は、４つから８つの画像を含む、
実施形態１から実施形態３のいずれか１つに記載の方法。

５．第１の複数の変換された画像を形成することと、第２の複数の変換された画像を形成することと、は、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータを比較することに基づいて、関連付けられた基準画像と同じ視点を有するように画像を変換することを含む、実施形態１から実施形態４のいずれか１つに記載の方法。

６．時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータは、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータである、実施形態５に記載の方法。

７．ステップｈは、第１の複数の画像の少なくとも２つの画像間の視点差を判定することをさらに含み、
第２の基準画像のＴＮＦは、視点差が、所定の視点差閾値以下であることが判定されると行われ、
第２の基準画像のＴＮＦは、視点差が、所定の視点差閾値より大きいことが判定されると行われない、
実施形態１から実施形態６のいずれか１つに記載の方法。

８．視点差は、それぞれの画像に時間的に関連付けられたパン／チルトデータに基づき、
パン／チルトデータは、時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含む、実施形態７に記載の方法。

９．ステップＡの前に、時間的に連続する画像のシーケンスに対する撮像条件を判定することをさらに含み、
撮像条件が所定の撮像条件要件を満たすことが判定されると、ステップＡからＪのみが行われる、実施形態１から実施形態８のいずれか１つに記載の方法。

１０．撮像条件は、
それぞれの画像に時間的に関連付けられたパン／チルトデータであって、異なる時点に関連付けられた、パン／チルトカメラの、パンすることと、チルトすることと、の値を含むパン／チルトデータから判定されるモーションのレベルと、
光センサにより、又は、画像分析により判定される光レベルと、
の少なくとも１つにより判定される、、実施形態９に記載の方法。

１１．撮像条件は、光センサにより、又は、画像分析により判定される光レベルにより判定され、
所定の撮像条件要件は、所定のレベルより低い光レベルである、
実施形態１０に記載の方法。

１２．第１の基準画像を、パン／チルトカメラのメモリ上に、第１の基準画像にＴＮＦを行った後に保存することと、
第２の基準画像を、パン／チルトカメラのメモリ上に、第２の基準画像にＴＮＦを行った後に保存することと、
をさらに含む、実施形態１から実施形態１１のいずれか１つに記載の方法。

１３．第１の基準画像を、パン／チルトカメラからリモートデバイスに、第１の基準画像にＴＮＦを行った後に送信することと、
第２の基準画像を、パン／チルトカメラからリモートデバイスに、第２の基準画像にＴＮＦを行った後に送信することと、
をさらに含む、実施形態１から実施形態１２のいずれか１つに記載の方法。

１４．撮像ユニットと、演算ユニットと、を含むパン／チルトカメラであって、
ａ．撮像ユニットにより、時間的に連続する画像のシーケンスを撮像することと、
ｂ．演算ユニットにより、時間的に連続する画像の中から、第１の基準画像を選択することと、
ｃ．演算ユニットにより、時間的に連続する画像の中から、第１の基準画像の時間的ノイズフィルタリングに使用される、第１の複数の画像を選択することと、
ｄ．演算ユニットにより、第１の基準画像と同じ視点を有するよう、第１の複数の画像のそれぞれを変換することにより、第１の複数の変換された画像を形成することと、
ｅ．演算ユニットにより、第１の複数の変換された画像を使用して、第１の基準画像に時間的ノイズフィルタリング（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ又はＴＮＦ）を行うことと、
ｒ．演算ユニットにより、時間的に連続する画像の中から、第２の、異なる、基準画像を選択することと、
ｇ．演算ユニットにより、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することであって、第２の複数の画像の画像の少なくとも１つはまた、第１の複数の画像にも含まれ、第２の複数の画像は、第１の基準画像を含む、時間的に連続する画像の中から、第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することと、
ｈ．演算ユニットにより、第２の基準画像のＴＮＦが行われるべきであるか否かを判定することと、に構成されており、
ＴＮＦが行われるべきであることが判定されると、
ｉ．演算ユニットにより、第２の複数の変換された画像を形成することであって、
ｉ１．第１の複数の画像に含まれない、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、画像を変換することであって、視点変換は、第２の基準画像と同じ視点を有するよう、第１の基準画像を変換するよう、判定され、使用される、第２の基準画像と同じ視点を有するよう、その画像を変換することと、
ｉ２．第１の複数の画像にも含まれる、第２の複数の画像のそれぞれの画像について、第２の基準画像と同じ視点を有するよう、第１の複数の変換された画像の中の、対応する、変換された画像を、第１の基準画像を変換するために使用された視点変換を使用して変換することと、
により、第２の複数の変換された画像を形成することと、
ｊ．演算ユニットにより、第２の複数の変換された画像を使用して、第２の基準画像に時間的ノイズフィルタリングを行うことと、
により、第２の複数の変換された画像を形成することと、
に構成されている、パン／チルトカメラ。

１５．処理能力を有するデバイスにより実行されると、実施形態１から実施形態１３のいずれか１つに係る方法を実施する命令が保存されている、非一時的コンピュータ可読記憶媒体。

さらに、開示する実施形態に対するバリエーションが、特許権を主張する本発明の実施において、本図面、本開示、及び添付の本特許請求の範囲の検討により、当業者により理解され、達成され得る。

Claims (15)

1. ウェアラブルカメラにより撮像された画像におけるノイズリダクションの方法であって、
   Ａ．時間的に連続する画像のシーケンスを提供することと、
   Ｂ．前記時間的に連続する画像の中から、第１の基準画像を選択することと、
   Ｃ．前記時間的に連続する画像の中から、前記第１の基準画像の時間的ノイズフィルタリングに使用される、第１の複数の画像を選択することと、
   Ｄ．前記第１の基準画像と同じ視点を有するよう、前記第１の複数の画像のそれぞれを変換することにより、第１の複数の変換された画像を形成することと、
   Ｅ．前記第１の複数の変換された画像を使用して、前記第１の基準画像に時間的ノイズフィルタリング（ＴＮＦ）を行うことと、
   Ｆ．前記時間的に連続する画像の中から、第２の、異なる、基準画像を選択することと、
   Ｇ．前記時間的に連続する画像の中から、前記第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することであって、前記第２の複数の画像の前記画像の少なくとも１つはまた、前記第１の複数の画像にも含まれ、前記第２の複数の画像は、前記第１の基準画像を含む、前記時間的に連続する画像の中から、前記第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することと、
   Ｈ．前記第２の基準画像のＴＮＦが行われるべきであるか否かを判定することと、
   を含み、
   ＴＮＦが行われるべきであることが判定されると、
   Ｉ．第２の複数の変換された画像を形成することであって、
   Ｉ１．前記第１の複数の画像に含まれない、前記第２の複数の画像のそれぞれの前記画像について、前記第２の基準画像と同じ視点を有するよう、前記画像を変換することであって、視点変換は、前記第２の基準画像と同じ視点を有するよう、前記第１の基準画像を変換するよう、判定され、使用される、前記第２の基準画像と同じ視点を有するよう、前記画像を変換することと、
   Ｉ２．前記第１の複数の画像にも含まれる、前記第２の複数の画像のそれぞれの前記画像について、前記第２の基準画像と同じ視点を有するよう、前記第１の複数の変換された画像の中の、対応する前記変換された画像を、前記第１の基準画像を変換するために使用された前記視点変換を使用して変換することと、
   により、第２の複数の変換された画像を形成することと、
   Ｊ．前記第２の複数の変換された画像を使用して、前記第２の基準画像に時間的ノイズフィルタリングを行うことと、
   をさらに含む、方法。
2. 前記時間的に連続する画像の１つを、前記ウェアラブルカメラのメモリから、前記第１又は第２の基準画像と同じ視点を有するよう、前記時間的に連続する画像の前記１つを変換した後に、削除することをさらに含む、請求項１に記載の方法。
3. 前記第１の複数の画像のそれぞれの画像が、前記第１の基準画像に対して時間的に先行し、
   前記第２の複数の画像のそれぞれの画像が、前記第２の基準画像に対して時間的に先行する、
   請求項１から請求項２のいずれか一項に記載の方法。
4. 前記第１の複数の画像は、４つから８つの画像を含み、
   前記第２の複数の画像は、４つから８つの画像を含む、
   請求項１から請求項３のいずれか一項に記載の方法。
5. 前記第１の複数の変換された画像を形成することと、前記第２の複数の変換された画像を形成することと、は、前記時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられたモーションデータを比較することに基づいて、関連付けられた前記基準画像と同じ視点を有するように画像を変換することを含む、請求項１から請求項４のいずれか一項に記載の方法。
6. 前記時間的に連続する画像のシーケンスにおけるそれぞれの画像に関連付けられた前記モーションデータは、モーションセンサ、加速度計、及びジャイロスコープの少なくとも１つにより判定される、又は、前記モーションデータは、前記画像の画像分析に基づいて判定される、請求項５に記載の方法。
7. ステップＨは、前記第１の複数の画像の少なくとも２つの画像間の視点差を判定することをさらに含み、
   前記第２の基準画像のＴＮＦは、前記視点差が、所定の視点差閾値以下であることが判定されると行われ、
   前記第２の基準画像のＴＮＦは、前記視点差が、所定の視点差閾値より大きいことが判定されると行われない、
   請求項１から請求項６のいずれか一項に記載の方法。
8. 前記視点差は、
   それぞれの画像に時間的に関連付けられたモーションデータであって、モーションセンサ、加速度計、又はジャイロスコープにより判定されるモーションデータと、
   前記第１の複数の画像の後続の画像間にて、どれだけのピクセルが変わったか、に関する画像データと、
   の少なくとも１つに基づく、請求項７に記載の方法。
9. ステップＡの前に、前記時間的に連続する画像のシーケンスに対する撮像条件を判定することをさらに含み、
   撮像条件が所定の撮像条件要件を満たすことが判定されると、前記ステップＡからＪのみが行われる、
   請求項１から請求項８のいずれか一項に記載の方法。
10. 前記撮像条件は、
    モーションセンサ、加速度計、ジャイロスコープ、又は測位デバイスにより判定される、モーションのレベルと、
    光センサにより、又は、画像分析により判定される光レベルと、
    の少なくとも１つにより判定される、請求項９に記載の方法。
11. 前記撮像条件は、光センサにより、又は、画像分析により判定される光レベルにより判定され、
    前記所定の撮像条件要件は、所定のレベルより低い光レベルである、
    請求項９に記載の方法。
12. 前記第１の基準画像を、前記ウェアラブルカメラのメモリ上に、前記第１の基準画像にＴＮＦを行った後に保存することと、
    前記第２の基準画像を、前記ウェアラブルカメラの前記メモリ上に、前記第２の基準画像にＴＮＦを行った後に保存することと、
    をさらに含む、請求項１から請求項１１のいずれか一項に記載の方法。
13. 前記第１の基準画像を、前記ウェアラブルカメラからリモートデバイスに、前記第１の基準画像にＴＮＦを行った後に送信することと、
    前記第２の基準画像を、前記ウェアラブルカメラから前記リモートデバイスに、前記第２の基準画像にＴＮＦを行った後に送信することと、
    をさらに含む、請求項１から請求項１２のいずれか一項に記載の方法。
14. 撮像ユニットと、演算ユニットと、を含むウェアラブルカメラであって、
    Ａ．前記撮像ユニットにより、時間的に連続する画像のシーケンスを撮像することと、
    Ｂ．前記演算ユニットにより、前記時間的に連続する画像の中から、第１の基準画像を選択することと、
    Ｃ．前記演算ユニットにより、前記時間的に連続する画像の中から、前記第１の基準画像の時間的ノイズフィルタリングに使用される、第１の複数の画像を選択することと、
    Ｄ．前記演算ユニットにより、前記第１の基準画像と同じ視点を有するよう、前記第１の複数の画像のそれぞれを変換することにより、第１の複数の変換された画像を形成することと、
    Ｅ．前記演算ユニットにより、前記第１の複数の変換された画像を使用して、前記第１の基準画像に時間的ノイズフィルタリング（ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ又はＴＮＦ）を行うことと、
    Ｆ．前記演算ユニットにより、前記時間的に連続する画像の中から、第２の、異なる、基準画像を選択することと、
    Ｇ．前記演算ユニットにより、前記時間的に連続する画像の中から、前記第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することであって、前記第２の複数の画像の前記画像の少なくとも１つはまた、前記第１の複数の画像にも含まれ、前記第２の複数の画像は、前記第１の基準画像を含む、前記時間的に連続する画像の中から、前記第２の基準画像の時間的ノイズフィルタリングに使用される、第２の複数の画像を選択することと、
    Ｈ．前記演算ユニットにより、前記第２の基準画像のＴＮＦが行われるべきであるか否かを判定することと、に構成されており、
    ＴＮＦが行われるべきであることが判定されると、
    Ｉ．前記演算ユニットにより、第２の複数の変換された画像を形成することであって、
    Ｉ１．前記第１の複数の画像に含まれない、前記第２の複数の画像のそれぞれの前記画像について、前記第２の基準画像と同じ視点を有するよう、前記画像を変換することであって、視点変換は、前記第２の基準画像と同じ視点を有するよう、前記第１の基準画像を変換するよう、判定され、使用される、前記第２の基準画像と同じ視点を有するよう、前記画像を変換することと、
    Ｉ２．前記第１の複数の画像にも含まれる、前記第２の複数の画像のそれぞれの前記画像について、前記第２の基準画像と同じ視点を有するよう、前記第１の複数の変換された画像の中の、対応する前記変換された画像を、前記第１の基準画像を変換するために使用された前記視点変換を使用して変換することと、
    により、第２の複数の変換された画像を形成することと、
    Ｊ．前記演算ユニットにより、前記第２の複数の変換された画像を使用して、前記第２の基準画像に時間的ノイズフィルタリングを行うことと、
    にさらに構成されている、ウェアラブルカメラ。
15. 処理能力を有するデバイスにより実行されると、請求項１から請求項１３のいずれか一項に記載の方法を実施する命令が保存されている、非一時的コンピュータ可読記憶媒体。

Images