JP2021082316A - ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分 - Google Patents

Abstract

【課題】不正確な背景の検出および減算に関連する問題を克服すること。【解決手段】ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分のための装置および方法は、以前の画像フレームに対して現在の画像フレーム内の複数の画素について、オプティカルフローマップを用いて複数の第１の運動ベクトル値を計算するように構成されている１つまたは複数のプロセッサを含む。現在の画像フレーム内の複数の画素について複数の第２の運動ベクトル値が、装置に設けたセンサーから受信した入力に基づいて計算される。複数の第１の運動ベクトル値について信頼スコアが、定めた一組のパラメータに基づいて決定される。現在の画像フレームから１つまたは複数の背景領域が、決定された信頼スコアと、複数の第１の運動ベクトル値と複数の第２の運動ベクトル値との間の相似パラメータとに基づいて、抽出される。【選択図】図３

Description

〔関連発明への相互参照／参照による援用〕
[0001] なし

[0002] 本開示の様々な実施形態は、背景および前景をセグメント化する技術に関する。より具体的には、本開示の様々な実施形態は、ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分に関する。

[0003] コンピュータビジョンの分野における最近の進歩により、ビデオコンテンツの背景および前景を検出するためにさまざまな技術が開発された。ビデオコンテンツにおける背景および前景の検出およびセグメント化のためのそのような技術は、例えば、ビデオ監視用途または自動焦点用途などのさまざまな用途において有用なことがある。

[0004] 一連の画像における背景の検出および減算（または除去）がオプティカルフロー手順に基づいて行い得る。オプティカルフロー手順は、通常、背景領域が取り込まれた画像フレームの最大部分をカバーするという仮定に基づいており、したがって、画像フレームにおける最大領域は、オプティカルフロー手順によって背景領域として識別される。所定のシナリオでは、画像／ビデオ取込み中にオブジェクトが画像取込み機器の近くに存在することがある。このようなシナリオでは、取り込まれた画像フレームの大部分を前景領域がカバーし、背景領域が比較的小さくなる。このようなシナリオでは、背景の減算時に関心があるオブジェクトが、オプティカルフロー手順ベースの手法によって削除されることがある。したがって、不正確な背景の検出および減算に関連する問題を克服するために、背景差分のための改善されたシステムおよび方法が必要になることがある。

[0005] 当業者には、説明したシステムと、本願の残りの部分において図面を参照して記述する本開示のいくつかの態様とを比較することにより、従来の慣習的なアプローチのさらなる制限および欠点が明らかになる。

[0006] ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分が提供され、それは、少なくとも１つの図に実質的に示され、および／またはそれに関連して説明され、請求項においてより完全に記述される。

[0007] 本開示のこれらおよび他の特徴および利点は、全体を通して同様の参照番号が同様の部分を指す添付の図面とともに本開示の以下の詳細な説明を検討することによって理解できる。

本開示の実施形態による、ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分の、例示的なネットワーク環境を示すブロック図である。 本開示の実施形態による例示的な画像処理装置を示すブロック図である。 本開示の実施形態による、ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分の例示的なシナリオを示す図である。 本開示の実施形態による、ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分の例示的な動作を図４Ａと一緒に示すフローチャートである。 本開示の実施形態による、ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分の例示的な動作を図４Ａと一緒に示すフローチャートである。

〔詳細な説明〕
[0012] 以下に説明する実装は、ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分のための開示された装置および方法に見出すことができる。本開示の例示的な態様は装置を含み、装置は、一連の画像フレームを取り込むように構成された１つまたは複数のプロセッサをさらに含むことができる。一連の画像フレームは、少なくとも現在の画像フレームおよび以前の画像フレームを含むことができる。１つまたは複数のプロセッサは、以前の画像フレームに対して現在の画像フレーム内の複数の画素について、オプティカルフローマップを用いて複数の第１の運動ベクトル値を計算するように構成できる。オプティカルフローマップは、現在の画像フレームおよび以前の画像フレーム内の複数の画素の画素値の差に基づいて生成することができる。現在の画像フレームは、１つまたは複数の前景領域および１つまたは複数の背景領域を含むことができる。現在の画像フレームにある複数の画素について、複数の第２の運動ベクトル値も、装置に設けたセンサーから受信した入力に基づいて計算ができる。受信した入力は、現在の画像フレーム内の複数の画素の各々の角速度情報に対応することができる。複数の第１の運動ベクトル値について定めた一組のパラメータに基づいて信頼スコアが決定できる。現在の画像フレームからの１つまたは複数の背景領域は、決定された信頼スコアと、複数の第１の運動ベクトル値と複数の第２の運動ベクトル値との間の相似パラメータとに基づいて抽出することができる。

[0013] 複数の第１の運動ベクトル値の各々は、以前の画像フレームから現在の画像フレームへの複数の画素の各々の相対運動に対応することができる。複数の第２の運動ベクトル値は、装置内に設けたジャイロセンサー（または他の運動センサー）について計算した複数の運動ベクトル値に対応することができる。複数の第２の運動ベクトル値の計算は、装置の１つまたは複数のデバイスパラメータにさらに基づくことができる。１つまたは複数のデバイスパラメータは、装置のレンズの焦点距離、水平画素の数、および装置に設けた撮像素子構成部品の幅を含むことができる。

[0014] 実施形態によれば、装置内の１つまたは複数のプロセッサは、１つまたは複数の背景領域を抽出するために、複数の画素の複数の第２の運動ベクトル値を複数の第１の運動ベクトル値と比較するようにさらに構成することができる。現在の画像フレーム内の複数の画素の各々に関する相似パラメータは、複数の第２の運動ベクトル値と複数の第１の運動ベクトル値との間の比較に基づいて決定することができる。信頼スコアと、複数の画素の各々に関連する相似パラメータとに基づいて、信頼マップが生成できる。１つまたは複数の背景領域は、複数の画素の各々に関連する決定された相似パラメータと特定された閾値との比較に基づいて抽出することができる。

[0015] 本開示の例示的な態様によれば、画像処理システムは、撮像装置内に１つまたは複数のプロセッサを含み、プロセッサは、以前の画像フレームに対する現在の画像フレーム内の複数の画素について、オプティカルフローマップを用いて複数の第１の運動ベクトル値を計算するように構成できる。オプティカルフローマップは、現在の画像フレームおよび以前の画像フレーム内の複数の画素の画素値の差に基づいて生成することができる。現在の画像フレームは、１つまたは複数の前景領域および１つまたは複数の背景領域を備えることができる。現在の画像フレーム内の複数の画素について、複数の第２の運動ベクトル値が、装置に設けたセンサーから受信した入力に基づいて計算できる。受信した入力は、現在の画像フレーム内の複数の画素の各々の角速度情報に対応することができる。複数の第１の運動ベクトル値に関する信頼スコアが、定めた一組のパラメータに基づいて決定できる。現在の画像フレームからの１つまたは複数の背景領域は、決定された信頼スコアと、複数の第１の運動ベクトル値と複数の第２の運動ベクトル値との間の相似パラメータとに基づいて抽出することができる。撮像装置内の１つまたは複数のプロセッサは、抽出された１つまたは複数の背景領域に基づいて、現在の画像フレーム内の１つまたは複数の関心があるオブジェクトを検出するようにさらに構成できる。検出された１つまたは複数の関心オブジェクトは、現在の画像フレーム内で運動している１つまたは複数のオブジェクトに対応することができる。撮像装置内の１つまたは複数のプロセッサは、検出された１つまたは複数の関心オブジェクトに自動焦点調整することができる。検出された１つまたは複数の関心オブジェクトの１つまたは複数の視覚パラメータは、撮像装置によって修正することができる。

[0016] 図１は、本開示の実施形態による、ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分を示すブロック図である。図１を参照すると、ネットワーク環境１００が示される。ネットワーク環境１００は、画像処理装置１０２、サーバー１０４、通信ネットワーク１０６、ユーザー１０８などの１人または複数人のユーザー、一連の画像フレーム１１０、およびオブジェクト１１２などの１つまたは複数のオブジェクトを含むことができる。図１を参照すると、画像処理装置１０２は、通信ネットワーク１０６を介してサーバー１０４に通信可能に結合することができる。ユーザー１０８は、画像処理装置１０２に関連付けることができる。

[0017] 画像処理装置１０２は、背景差分のために１つまたは複数のデジタル画像および／またはビデオを処理するように構成できる適切なロジック、回路、インターフェースおよび／またはコードを備えることができる。画像処理装置１０２は、オブジェクト１１２を含む一連の画像フレーム１１０を取り込むように構成できる。画像処理装置１０２は、取り込まれた一連の画像フレーム１１０を処理して背景減算するようにさらに構成できる。画像処理装置１０２の例には、限定されないが、撮像装置（デジタルカメラ、カムコーダなど）、運動取込みシステム、カメラ付き携帯電話、プロジェクタ、コンピュータワークステーション、大型汎用コンピュータ、手持ち式コンピュータ、携帯電話（cellular phone）／携帯電話（mobile phone）、スマート電気器具、ビデオプレーヤー、ＤＶＤライター／プレーヤー、テレビ、および／またはその他のコンピュータ装置が含まれる。

[0018] サーバー１０４は、画像処理装置１０２と通信するように構成できる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。サーバー１０４は、複数のデジタル画像および／またはビデオを保存するように構成できる、１つまたは複数の保存システムをさらに含むことができる。サーバー１０４の例には、限定されないが、ウェブサーバー、データベースサーバー、ファイルサーバー、アプリケーションサーバー、クラウドサーバーまたはそれらの組合せが含まれる。

[0019] 通信ネットワーク１０６は、画像処理装置１０２がサーバー１０４と通信するのを仲介し得る媒体を含むことができる。通信ネットワーク１０６の例には、限定されないが、インターネット、クラウドネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、電話回線（ＰＯＴＳ）、および／またはメトロポリタンエリアネットワーク（ＭＡＮ）が含まれる。ネットワーク環境１００内の様々な機器は、様々な有線および無線通信プロトコルに従って、通信ネットワーク１０６に接続するように構成できる。そのような有線および無線通信プロトコルの例には、限定されないが、伝送制御プロトコルおよびインターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザーデータグラムプロトコル（ＵＤＰ）、ハイパーテキスト転送プロトコル（ＨＴＴＰ）、ファイル転送プロトコル（ＦＴＰ）、ＺｉｇＢｅｅ、ＥＤＧＥ、ＩＥＥＥ ８０２．１ １、光忠実度（Ｌｉ−Ｆｉ）、８０２．１６、ＩＥＥＥ ８０２．１１ ｓ、ＩＥＥＥ ８０２．１１ｇ、マルチホップ通信、ワイヤレスアクセスポイント（ＡＰ）、機器間通信、セルラー通信プロトコル、またはＢｌｕｅｔｏｏｔｈ（ＢＴ）通信プロトコル、あるいはそれらの組合せの少なくとも１つが含まれる。

[0020] 一連の画像フレーム１１０は、撮像装置のビューファインダから見てしかも画像処理装置１０２を用いてユーザー１０８によって取り込まれたシーンのビデオを指すことができる。一連の画像フレーム１１０は、オブジェクト１１２などの１つまたは複数のオブジェクトを含むことができる。実施形態によれば、オブジェクト１１２は、一連の画像フレーム１１０内の前景領域を構成できる関心オブジェクトにすることができる。一連の画像フレーム１１０は、１つまたは複数の背景領域をさらに含むことができる。例えば、一連の画像フレーム１１０内の前景領域から離れた任意の領域は、背景領域に対応することができる。

[0021] オブジェクト１１２は、運動しているオブジェクト、ある期間にわたって形状を変化させる変形オブジェクト、または取り込まれた一連の画像フレーム１１０において異なる時点で同じ位置にあるが向きが異なるようにされたオブジェクトにすることができる。オブジェクト１１２の例には、限定されないが、人間のオブジェクト、動物、あるいは車両アイテムまたはスポーツアイテムなどの非人間オブジェクトまたは無生物のオブジェクトが含まれる。

[0022] 動作時、画像処理装置１０２は、シーンのビデオを取り込むために使用できる撮像機器に対応することができる。ビデオは、少なくとも現在の画像フレームおよび以前の画像フレームを含む一連の画像フレーム（一連の画像フレーム１１０など）を含むことができる。取り込まれた一連の画像フレーム１１０は、１つまたは複数の関心オブジェクト（オブジェクト１１２など）をさらに含むことができる。１つまたは複数の関心オブジェクトは、１つまたは複数の前景領域を構成することができ、１つまたは複数の関心オブジェクトから離れた任意の領域は、一連の画像フレーム１１０内の１つまたは複数の背景領域を構成することができる。

[0023] 画像処理装置１０２は、以前の画像フレームに対して、現在の画像フレーム内の複数の画素について複数の第１の運動ベクトル値を計算するように構成できる。画像処理装置１０２は、オプティカルフローマップを用いて複数の第１の運動ベクトル値を計算するように構成できる。オプティカルフローマップは、現在の画像フレームおよび以前の画像フレーム内の複数の画素の画素値の差に基づいて生成することができる。複数の第１の運動ベクトル値は、以前の画像フレームから現在の画像フレームへの複数の画素の各々の相対運動に対応することができる。

[0024] 画像処理装置１０２は、現在の画像フレーム内の複数の画素について複数の第２の運動ベクトル値を計算するようにさらに構成できる。複数の第２の運動ベクトル値は、画像処理装置１０２に設けたセンサーから受信した入力に基づいて計算することができる。例えば、センサーから受信した入力は、現在の画像フレーム内にある複数の画素の各々の角速度情報に対応することができる。画像処理装置１０２に含まれるセンサーは、ジャイロセンサーなどの運動センサーに対応することができる。複数の第２の運動ベクトル値は、画像処理装置１０２に設けたセンサー（例えば、ジャイロセンサー）について計算した複数の運動ベクトル値に対応することができる。複数の第１の運動ベクトル値および複数の第２の運動ベクトル値の計算は、図２において詳細に説明する。

[0025] 画像処理装置１０２は、計算した複数の第１の運動ベクトル値について定めた一組のパラメータに基づいて、信頼スコアを決定するようにさらに構成できる。例えば、定めた一組のパラメータは、限定されないが、画像フレームの全面積および／または画像フレームのコントラストレベルに関連して、画像フレーム内の前景オブジェクト（複数可）によって覆われた領域を含むことができる。画像処理装置１０２は、現在の画像フレーム内の複数の画素について計算した複数の第１の運動ベクトル値を、複数の第２の運動ベクトル値と比較するようにさらに構成できる。現在の画像フレーム内の複数の画素の各々について、複数の第２の運動ベクトル値と複数の第１の運動ベクトル値との比較に基づいて、相似パラメータが決定できる。画素に関連する相似パラメータは、対応する第１の運動ベクトル値と対応する第２の運動ベクトル値との間の相似を示すことができる。画像処理装置１０２は、現在の画像フレーム内の複数の画素の各々に関する相似パラメータを特定の閾値と比較して、現在の画像フレームから１つまたは複数の背景領域を抽出するようにさらに構成できる。例えば、画像処理装置１０２は、相似パラメータが特定閾値を超える現在の画像フレームから１つまたは複数の画素を抽出することができる。抽出された１つまたは複数の画素は、抽出された１つまたは複数の背景領域を構成することができる。１つまたは複数の背景領域の抽出は、例えば、図３、図４Ａおよび図４Ｂで詳細に説明する。

[0026] 実施形態によれば、画像処理装置１０２は、複数の画素の各々について決定された信頼スコアおよび決定された相似パラメータに基づいて、信頼マップを生成するようにさらに構成できる。生成された信頼マップは、１つまたは複数の背景領域の各々を検出しおよび抽出する信頼レベルを示すことができる。信頼レベルは、信頼スコアによって数値的に表わすことができる。信頼マップは、信頼スコアに従って抽出された１つまたは複数の背景領域をグラフで表わすことができる。実施形態によれば、決定された信頼スコアが予め定めたまたは定めた下限信頼閾値以下のとき、画像処理装置１０２は、複数の第１の運動ベクトル値を計算するために、複数の第１の運動ベクトル値の決定された信頼スコアに基づいて、空間情報を使用するように構成できる。予め定めたまたは定めた下限信頼閾値には、ユーザー１０８が予め定義しまたは特定した閾値設定値を参照することができる。

[0027] 実施形態によれば、複数の第１の運動ベクトル値について決定した信頼スコアが予め定めたまたは定めた上限信頼閾値を超えるとき、画像処理装置１０２は、複数の第１の運動ベクトル値に基づいて、１つまたは複数の背景領域を抽出するように構成できる。さらに別の実施形態によれば、画像処理装置１０２は、第１の運動ベクトル値に関する決定された信頼スコアが、予め定めまたは定めた下限信頼閾値および予め定めたまたは定めた上限信頼閾値の特定範囲内にあるとき、複数の第１の運動ベクトル値および複数の第２の運動ベクトル値に基づいて、１つまたは複数の背景領域を抽出するように構成できる。

[0028] 実施形態によれば、画像処理装置１０２は、抽出された１つまたは複数の背景領域を利用して、現在の画像フレーム内の１つまたは複数の関心オブジェクトを検出するように構成できる。画像処理装置１０２は、生成された信頼マップをさらに利用して、１つまたは複数の関心オブジェクトを検出することができる。１つまたは複数の背景領域が正確に抽出されると、画像処理装置１０２は、検出された１つまたは複数の関心オブジェクトに、１つまたは複数の画像処理操作を実行すること（例えば、１つまたは複数の関心オブジェクトに自動焦点調整し、または１つまたは複数の関心オブジェクトの視覚パラメータを変更するなど）ができる。

[0029] 図２は、本開示の実施形態による、例示的な画像処理装置を示すブロック図である。図２は図１の要素と併せて説明する。図２を参照すると、画像処理装置１０２で実施されるブロック図２００が示される。ブロック図２００は、処理回路２００Ａおよび光学回路２００Ｂを含むことができる。処理回路２００Ａは、画像プロセッサ２０２などの１つまたは複数のプロセッサ、メモリー２０４、オプティカルフロー発生器２０６、運動センサー２０８、背景抽出器２１０、入出力（Ｉ／Ｏ）機器２１２およびトランシーバ２１４などを含むことができる。Ｉ／Ｏ機器２１２は、ディスプレイ２１２Ａをさらに含むことができる。光学回路２００Ｂは、定常ショットのために撮像装置制御装置２１８によって制御される、定めた寸法の撮像装置２１６を含むことができる。光学回路２００Ｂは、レンズ制御装置２２２およびレンズ駆動装置２２４によって制御される複数のレンズ２２０をさらに含むことができる。複数のレンズ２２０は、絞り２２０Ａをさらに含むことができる。さらに、光学回路２００Ｂ内にシャッタ２２６が示される。シャッタ２２６により、光が所定時間通過して、撮像装置２１６を光に曝し、一連の画像フレーム１１０を取り込むことができる。

[0030] ブロック図２００は、画像処理装置１０２などの例示的な画像処理装置に実装されるように示すが、本開示の様々な実施形態はそのように限定されない。したがって、実施形態によれば、ブロック図２００は、本開示の様々な実施形態の範囲から逸脱することなく、サーバー１０４などの例示的なサーバーに実装することができる。

[0031] 図２を参照して、画像プロセッサ２０２に、メモリー２０４、オプティカルフロー発生器２０６、運動センサー２０８、背景抽出器２１０、入出力（Ｉ／Ｏ）機器２１２およびトランシーバ２１４が通信可能に接続できる。背景抽出器２１０は、オプティカルフロー発生器２０６からの一連の画像フレーム１１０のオプティカルフローマップおよび運動センサー２０８からの入力を受信するように構成できる。複数のレンズ２２０は、レンズ制御装置２２２およびレンズ駆動装置２２４に接続することができる。複数のレンズ２２０は、画像プロセッサ２０２に関連するレンズ制御装置２２２によって制御することができる。

[0032] 画像プロセッサ２０２は、メモリー２０４に保存された一組の命令を実行するように構成できる適切なロジック、回路、インターフェースおよび／またはコードを備えることができる。画像プロセッサ２０２は、背景抽出器２１０に命令して、画像処理装置１０２によって取り込まれた一連の画像フレーム１１０から１つまたは複数の背景領域を抽出するように構成できる。画像プロセッサ２０２は、当技術分野で公知であるいくつかのプロセッサ技術に基づいて実装される、特殊な画像処理用途プロセッサにすることができる。画像プロセッサ２０２の例には、限定されないが、Ｘ８６ベースのプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、特定用途向け集積回路（ＡＳＩＣ）プロセッサ、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサおよび／または他のハードウェアプロセッサが含まれる。

[0033] メモリー２０４は、画像プロセッサ２０２、オプティカルフロー発生器２０６および背景抽出器２１０によって実行可能な一組の命令を保存するように構成できる適切なロジック、回路、および／またはインターフェースを備えることができる。メモリー２０４は、画像処理装置１０２によって取り込まれた一連の画像フレーム１１０（現在の画像フレームおよび以前の画像フレームなど）を保存するように構成できる。メモリー２０４は、画像処理装置１０２のオペレーティングシステムおよび関連するアプリケーションを保存するようにさらに構成できる。メモリー２０４の例には、限定されないが、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリー（ＲＯＭ）、ハードディスクドライブ（ＨＤＤ）および／またはフラッシュドライブが含まれ得る。

[0034] オプティカルフロー発生器２０６は、画像処理装置１０２によって取り込まれたビデオコンテンツの一連の画像フレーム１１０をメモリー２０４から受信するように構成できる適切なロジック、回路、および／またはインターフェースを備えることができる。オプティカルフロー発生器２０６は、一連の画像フレーム１１０内の現在の画像フレームと、一連の画像フレーム１１０内の現在の画像フレームの前にある画像フレームとに基づいてオプティカルフローマップを生成するようにさらに構成できる。現在の画像フレームの前に位置する画像フレームは、以前の画像フレームと呼ぶことができる。フロー発生器２０６の例には、Ｘ８６ベースのプロセッサ、ＲＩＳＣプロセッサ、ＡＳＩＣプロセッサ、ＣＩＳＣプロセッサおよび／または他のハードウェアプロセッサが含まれる。オプティカルフロー発生器２０６は、画像処理装置１０２内の別個のプロセッサまたは回路（図示する）として実装することができる。実施形態によれば、オプティカルフロー発生器２０６および画像プロセッサ２０２は、オプティカルフロー発生器２０６および画像プロセッサ２０２の機能を実行する、統合プロセッサまたは一群のプロセッサとして実装することができる。

[0035] 運動センサー２０８は、画像処理装置１０２などの装置における運動（直線または角度）を検出するように構成できる適切なロジック、回路、インターフェース、および／またはコードを備えることができる。例えば、運動センサー２０８は、一連の画像フレーム１１０のうちある画像フレーム内の複数の画素の角速度情報を検出するように構成できる。運動センサー２０８の例には、限定されないが、ジャイロセンサー、加速度計などが含まれ得る。

[0036] 背景抽出器２１０は、画像フレーム（一連の画像フレーム１１０のうち現在の画像フレームなど）から１つまたは複数の背景領域を抽出するように構成できる適切なロジック、回路および／またはインターフェースを備えることができる。背景抽出器２１０は、以前の画像フレームに対して、現在の画像フレーム内の複数の画素について複数の第１の運動ベクトル値を計算するために、様々なアルゴリズムおよび数学関数を実装するように構成できる。複数の第１の運動ベクトル値は、オプティカルフロー発生器２０６によって生成されたオプティカルフローマップを用いて計算することができる。複数の第１の運動ベクトル値は、以前の画像フレームから現在の画像フレームへの複数の画素の各々の相対運動に対応することができる。背景抽出器２１０は、運動センサー２０８から受信した入力（角速度情報など）に基づいて、現在の画像フレーム内の複数の画素について複数の第２の運動ベクトル値を計算するために、様々なアルゴリズムおよび数学関数を実装するようにさらに構成できる。現在の画像フレームにおける１つまたは複数の背景領域の抽出は、計算した複数の第１の運動ベクトル値および計算した複数の第２の運動ベクトル値に基づくことができる。背景抽出器２１０は、画像処理装置１０２に別個のプロセッサまたは回路（図示した）として実装することができる。実施形態によれば、背景抽出器２１０および画像プロセッサ２０２は、背景抽出器２１０および画像プロセッサ２０２の機能を実行する統合プロセッサまたは一群のプロセッサとして実装することができる。

[0037] Ｉ／Ｏ機器２１２は、ユーザー１０８などのユーザーから入力を受信するように構成できる適切なロジック、回路、インターフェースおよび／またはコードを備えることができる。Ｉ／Ｏ機器２１２は、ユーザー１０８に出力を与えるようにさらに構成できる。Ｉ／Ｏ機器２１２は、画像プロセッサ２０２と通信するように構成できる様々な入力機器および出力機器を備えることができる。入力機器の例には、限定されないが、タッチスクリーン、キーボード、マウス、ジョイスティック、マイクおよび／または画像取込み機器が含まれる。出力機器の例には、限定されないが、ディスプレイ２１２Ａおよび／またはスピーカーが含まれる。

[0038] ディスプレイ２１２Ａは、抽出された１つまたは複数の背景領域をユーザー１０８に表示するように構成できる適切なロジック、回路、インターフェースおよび／またはコードを備えることができる。ディスプレイ２１２Ａは、限定されないが、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、プラズマディスプレイおよび／または有機ＬＥＤ（ＯＬＥＤ）ディスプレイ技術、ならびに／あるいは他のディスプレイのうちの少なくとも１つなどの、いくつかの公知の技術で実現することができる。実施形態によれば、ディスプレイ２１２Ａは、スマートガラス機器のディスプレイスクリーン、投影ベースのディスプレイ、エレクトロクロミックディスプレイおよび／または透明ディスプレイなどの様々な出力機器を指すことができる。

[0039] トランシーバ２１４は、通信ネットワーク１０６を介して、サーバー１０４に一連の画像フレーム１１０を送信するように構成できる適切なロジック、回路、インターフェースおよび／またはコードを備えることができる。トランシーバ２１４は、通信ネットワーク１０６との有線または無線通信をサポートするための公知技術を実装することができる。トランシーバ２１４は、限定されないが、アンテナ、周波数変調（ＦＭ）トランシーバ、無線周波数（ＲＦ）トランシーバ、１つまたは複数の増幅器、チューナ、１つまたは複数の発振器、デジタル信号プロセッサ、コーダー・デコーダー（ＣＯＤＥＣ）チップセット、加入者識別モジュール（ＳＩＭ）カードおよび／またはローカルバッファを含むことができる。トランシーバ２１４は、無線通信を介して、インターネット、イントラネットなどのネットワークと通信し、ならびに／あるいは携帯電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワークおよび／またはメトロポリタンエリアネットワーク（ＭＡＮ）と通信することができる。無線通信は、複数の通信標準、プロトコル及び技術の何れかが使用でき、例えばロングタームエボリューション（ＬＴＥ）、グローバルシステムフォーモバイルコミュニケーション（ＧＳＭ）、高まったデータＧＳＭ環境（ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、コード分割多重アクセス（ＣＤＭＡ）、時分割多重アクセス（ＴＤＭＡ）、ブルートゥース(登録商標)、ワイヤレスフィディリティ（Ｗｉ−Ｆｉ）（ｅ．１２０ｇ、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂ、ＩＥＥＥ８０２．１１ｇ及び／又はＩＥＥＥ８０２．１１ｎ）、語りインターネットプロトコル（ＶｏＩＰ）、Ｗｉ−ＭＡＸ、電子メール、インスタントメッセージ及び／又はショートメッセージサービス（ＳＭＳ）が含まれる。

[0040] 撮像装置２１６は、画像（一連の画像フレーム１１０の複数の画像フレームなど）を、アナログ光信号から一連のデジタル画素に歪みなしに変換するように構成できる適切な回路および／またはインターフェースを備えることができる。撮像装置２１６の例には、限定されないが、電荷結合素子（ＣＣＤ）撮像装置および相補型金属酸化膜半導体（ＣＭＯＳ）撮像装置が含まれる。

[0041] 撮像装置制御装置２１８は、画像プロセッサ２０２から受信した命令に基づいて、撮像装置２１６の向きまたは方向を制御するように構成できる適切なロジック、回路、および／またはインターフェースを備えることができる。撮像装置制御装置２１８は、当業者に周知のいくつかの技術を用いることによって実装できる。

[0042] 複数のレンズ２２０は、オブジェクト（オブジェクト１１２など）の画像（一連の画像フレーム１１０など）を取り込むカメラ本体および機構とともに使用される、光学レンズまたはレンズ組立品に対応することができる。画像は、画像を化学的または電子的に保存できる、写真フィルムまたは他のメディアの何れかによって取り込むことができる。

[0043] レンズ制御装置２２２は、複数のレンズ２２０のズーム、焦点、絞り２２０Ａまたは口径などの様々な特性を制御するように構成できる適切なロジック、回路、および／またはインターフェースを備えることができる。レンズ制御装置２２２は、内部的に画像処理装置１０２の撮像ユニットの一部にすることができ、または画像プロセッサ２０２とともに独立型ユニットにすることができる。レンズ制御装置２２２は、当業者に周知のいくつかの技術を用いることによって実装できる。

[0044] レンズ駆動装置２２４は、レンズ制御装置２２２から受信した命令に基づいて、ズームおよび焦点および絞り制御を実行するように構成できる適切なロジック、回路、および／またはインターフェースを備えることができる。レンズ駆動装置２２４は、当業者に周知のいくつかの技術を使用することによって実装できる。

[0045] 動作時、画像処理装置１０２などの例示的な装置は、一連の画像フレーム１１０を複数のレンズ２２０を介して取り込むことができる。複数のレンズ２２０は、画像プロセッサ２０２とともに、レンズ制御装置２２２およびレンズ駆動装置２２４によって制御することができる。複数のレンズ２２０は、ユーザーから受信した入力信号に基づいて制御することができる。入力信号は、画像処理装置１０２において利用可能なディスプレイ２１２Ａに表示されるグラフィカルボタン、ジェスチャ、および／またはハードウェアボタンのボタン押下イベントの選択を介して、ユーザーが与えることができる。代わりに、画像処理装置１０２は、メモリー２０４に予め保存された別の一連の画像フレームを検索することができる。一連の画像フレーム１１０は、ビデオクリップなどのビデオに対応することができ、少なくとも現在の画像フレームおよび以前の画像フレームを含むことができる。

[0046] 背景抽出器２１０は、現在の画像フレーム内の複数の画素について、オプティカルフロー発生器２０６によって生成されたオプティカルフローマップを用いて、複数の第１の運動ベクトル値を計算するように構成できる。オプティカルフローマップは、現在の画像フレーム内の複数の画素と以前の画像フレーム内の複数の画素との画素値の差に基づいて生成することができる。複数の第１の運動ベクトル値は、以前の画像フレームから現在の画像フレームへの複数の画素の各々の相対運動に対応することができる。以前の画像フレームから現在の画像フレームへの複数の画素の各々の相対運動のそのような計算は、当技術分野で公知の様々な数学関数に基づいて決定することができる。そのような数学関数の例には、限定されないが、絶対差の和（ＳＡＤ）関数、二乗差の和（ＳＳＤ）関数、絶対差の加重和（ＷＳＡＤ）関数、および／または二乗和の加重和（ＷＳＳＤ）関数が含まる。それにもかかわらず、本開示の範囲から逸脱することなく、複数の画素の各々の相対運動を計算するために、当技術分野で公知の他の数学関数も実装することができる。複数の画素の各々のそのような計算した相対運動は、次の数式（１）

で表すことができる。

[0047] 実施形態によれば、背景抽出器２１０は、計算した複数の第１の運動ベクトル値について定めた一組のパラメータに基づいて信頼スコアを決定することができる。例えば、定めた一組のパラメータは、限定されないが、画像フレームの全面積に関して１つまたは複数の前景オブジェクトによってカバーされる領域、および／または画像フレームの前景および背景領域のコントラストレベルを含むことができる。複数の第１の運動ベクトル値の各々の決定された信頼スコアは、対応する第１の運動ベクトル値の精度パラメータを示すことができる。例えば、ある画素の第１のベクトル値に関連する高い信頼スコアは、別の画素の第１の運動ベクトル値に関連する低い信頼スコアと比べて、精度を高くすることができる。例えば、画像フレーム内のコントラスト比が低い第１組の画素について計算した第１の運動ベクトル値は、画像フレーム内のコントラスト比が高い第２組の画素について計算した第１の運動ベクトル値と比べて、低い信頼スコアを示す。

[0048] 背景抽出器２１０は、現在の画像フレーム内の複数の画素について複数の第２の運動ベクトル値を計算するように構成できる。背景抽出器２１０は、運動センサー２０８によって提供される入力（角速度情報など）に基づいて、複数の第２の運動ベクトル値を計算することができる。複数の第２の運動ベクトル値の計算は、画像処理装置１０２などの例示的な装置の１つまたは複数のデバイスパラメータにさらに基づくことができる。１つまたは複数のデバイスパラメータの例には、限定されないが、複数のレンズ２２０の有効焦点距離、多数の水平画素の数、および撮像装置２１６の幅が含まれる。計算した複数の第２の運動ベクトル値は、

として表すことができる。複数の第２の運動ベクトル値は、運動センサー２０８に基づいて、以前の画像フレーム内の複数の画素に対する現在の画像フレーム内の複数の画素の運動を示すことができる。複数の画素のこのような運動は、例えば、次の数式（２）

によって表すことができ、式中

であり、式中、
θは、時間Δｔ（秒）中に運動センサー２０８から受信した角速度情報

（度／秒）に基づいて計算した移動角度を表し、
ｆ（ｍｍ）は、複数のレンズ２２０のうちあるレンズの焦点距離を表す。
画素あたりの撮像装置サイズ（ｍ）＝Ｘ／Ｈ^*１０^-3
であり、式中、
Ｘは撮像装置２１６の幅を表し、
Ｈは撮像装置２１６の水平画素の総数を表す。

[0049] 実施形態によれば、背景抽出器２１０は、複数の画素のうち計算した複数の第１の運動ベクトル値を複数の第２の運動ベクトル値と比較するように構成できる。背景抽出器２１０は、現在の画像フレーム内の複数の画素の各々について、複数の第２の運動ベクトル値と複数の第１の運動ベクトル値との比較に基づいて、相似パラメータをさらに決定することができる。言い換えると、画素に関連して決定された相似パラメータは、対応する第１の運動ベクトル値と対応する第２の運動ベクトル値との間の相似を示すことができる。背景抽出器２１０は、現在の画像フレーム内の複数の画素の各々に関連する相似パラメータを、特定された閾値と比較するようにさらに構成できる。閾値は、ユーザー０８によって予め特定することができる。１つまたは複数の背景領域は、現在の画像フレーム内の複数の画素の各々について、相似パラメータと特定された閾値との間の比較に基づいて、現在の画像フレームから抽出することができる。例えば、相似パラメータが特定された閾値を超える１つまたは複数の画素は、１つまたは複数の背景領域を構成すると考えられるので、背景抽出器２１０によって抽出することができる。

[0050] 実施形態によれば、背景抽出器２１０は、複数の画素の各々について、決定された信頼スコアおよび決定された相似パラメータに基づいて、信頼マップを生成するようにさらに構成できる。信頼マップは、抽出された１つまたは複数の背景領域を、信頼スコアに従ってグラフで表すことができる。言い換えると、生成された信頼マップは、背景抽出器２１０が１つまたは複数の背景領域の各々を検出しおよび抽出した信頼レベルを示すことができる。信頼マップにおける高い信頼レベルに関連付けた背景領域は、信頼マップにおける信頼が低い信頼レベルに関連付けた別の背景領域と比較して、抽出された領域が現在の画像フレームにおいて実際の背景領域を表す可能性が高いことを示し得る。生成された信頼マップでは、低い信頼スコアに関連付けたある画素は低い信頼レベルにさらに関連付け、高い信頼スコアに関連付けた別の画素はさらに高い信頼レベルに関連付ける。従って、信頼スコアが低い画素を含む背景領域は、信頼マップにおいて低い信頼レベルに関連付けることができる。

[0051] 実施形態によれば、背景抽出器２１０は、抽出された１つまたは複数の背景領域および生成された信頼マップを、画像プロセッサ２０２に提供するようにさらに構成できる。画像プロセッサ２０２は、抽出された１つまたは複数の背景領域および生成された信頼マップに基づいて、現在の画像フレーム内の関心オブジェクト（オブジェクト１１２など）を検出するように構成できる。画像プロセッサ２０２は、関心オブジェクト上で１つまたは複数の画像処理操作をさらに実行することができる。１つまたは複数の画像処理操作は、限定されないが、関心オブジェクトへの自動焦点調整、関心オブジェクトの視覚パラメータ（色、色相、彩度、コントラストおよび／または明るさなど）の強化が含まれる。図３に、１つまたは複数の背景領域の抽出の例を示す。

[0052] 図３は、本開示の実施形態による、ビデオコンテンツにおけるオプティカルフローおよびセンサベースの背景差分の例示的なシナリオを示す。図３は、図１および図２の要素と併せて説明する。図３を参照すると、生放送のサッカーの試合のシーンに対応する、以前の画像フレーム３０２および現在の画像フレーム３０４を含む例示的なシナリオ３００が示される。シーンには、４人のサッカー選手、観客およびサッカー場が含まれる。画像処理装置１０２などの撮像装置は、最大ズームに設定されている。したがって、シーン内のサッカー選手は、観客およびサッカー場と比べて画像処理装置１０２により近くに見え、以前の画像フレーム３０２および現在の画像フレーム３０４の大部分を占める。取り込まれたシーンは、ビデオコンテンツに対応することができる。観客およびサッカー場は、１つまたは複数の背景領域に対応することができ、４人のサッカー選手は、関心オブジェクト（すなわち、１つまたは複数の前景領域）に対応することができる。例示的なシナリオ３００は、オプティカルフローマップ３０６と、センサー入力３０８と、背景抽出器２１０によって生成された背景差分の異なる出力（出力３１２など）とをさらに含む。さらに、オプティカルフロー発生器２０６、運動センサー２０８および背景抽出器２１０（図２）が示される。

[0053] 簡潔にするために、オプティカルフローマップ３０６内の複数の領域は、異なるパターンで示される。しかしながら、当業者であれば、本開示の範囲は、実際のオプティカルフローマップに似るようにするため、オプティカルフローマップ３０６の例示的な表現に限定されないことを理解する。例えば、実際のオプティカルフロー内の複数の領域は、通常、異なる色合いまたは同じ色の強度変化によって表される。

[0054] 例示的なシナリオ３００を参照して、以前の画像フレーム３０２および現在の画像フレーム３０４は、一連の画像フレーム１１０に対応することができる。以前の画像フレーム３０２は、時刻ｔ-１にて取り込むことができ、現在の画像フレーム３０４は、次の時刻ｔにて取り込むことができる。オプティカルフロー発生器２０６は、当技術分野で公知の１つまたは複数の技法に基づいて、オプティカルフローマップ３０６を生成することができる。オプティカルフローマップ３０６は、複数の領域３０６ａ、・・・、３０６ｊを備えることができる。複数の領域３０６ａ、・・・３０６ｊ内の領域３０６ａ、３０６ｂおよび３０６ｇは、シーン内の４人のサッカー選手に対応する。領域３０６ｈおよび３０６ｉは、シーン内の観客に対応する。さらに、領域３０６ｃ、３０６ｄ、３０６ｅおよび３０６ｉは、シーン内のサッカー場に対応する。

[0055] オプティカルフロー発生器２０６は、生成されたオプティカルフローマップ３０６を背景抽出器２１０に与えることができる。背景抽出器２１０は、現在の画像フレーム３０４内の複数の画素について複数の第１の運動ベクトル値を計算し、計算は、図２で説明したように、数式（１）を用いることによってオプティカルフローマップ３０６に基づいて行うことができる。背景抽出器２１０は、運動センサー２０８からセンサー入力３０８（角速度情報など）をさらに受信することができる。次いで、背景抽出器２１０は、センサー入力３０８に基づいて、現在の画像フレーム３０４内の複数の画素について複数の第２の運動ベクトル値を計算することができる。背景抽出器２１０は、画像処理装置１０２の１つまたは複数のデバイスパラメータ（複数のレンズ２２０の焦点距離、水平画素の数、および撮像装置２１６の幅など）をさらに用いて、複数の第２の運動ベクトル値を計算することができる。背景抽出器２１０は、図２に記載するように数式（２）に基づいて複数の第２の運動ベクトル値を計算し、計算は、以前の画像フレーム３０２および現在の画像フレーム３０４に対応するセンサー入力３０８に適用することができる。

[0056] 背景抽出器２１０は、現在の画像フレーム３０４から、複数の第１の運動ベクトル値に基づいて１つまたは複数の背景領域を抽出することができる。背景抽出器２１０は、背景抽出器２１０の出力３１２に示すように、現在の画像フレーム３０４から、複数の第１の運動ベクトル値および複数の第２の運動ベクトル値に基づいて１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉを抽出する。出力３１２に含まれる抽出された１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉは、現在の画像フレーム３０４における実際の１つまたは複数の背景領域を正確に表すことができる。背景抽出器２１０はさらに、複数の画素のうち、計算した複数の第１の運動ベクトル値を複数の第２の運動ベクトル値と比べて、現在の画像フレーム３０４内の複数の画素の各々に関する相似パラメータを決定することができる。次いで、背景抽出器２１０は、複数の画素の各々に関する相似パラメータを特定された閾値と比較して、現在の画像フレーム３０４内の１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉを抽出することができる。

[0057] 実施形態によれば、背景抽出器２１０は、計算した複数の第１の運動ベクトル値に関する信頼スコアを、定めた一組のパラメータに基づいて決定することができる。定めた一組のパラメータには、限定されないが、画像フレームの全面積に関して画像フレーム内の前景オブジェクトによってカバーされる領域および／または画像フレームのコントラストレベルが含まれる。

[0058] 実施形態によれば、背景抽出器２１０は、現在の画像フレーム３０４内の複数の画素の各々について、決定された信頼スコアおよび決定された相似パラメータに基づいて信頼マップを生成することができる。信頼マップは、１つまたは複数の背景領域（抽出された１つまたは複数の背景領域３１４Ｂ）を信頼スコアに従って表すことができる。例えば、生成された信頼マップにおいて背景領域３１４Ｃおよび３１４Ｄは、背景領域３１４Ｂおよび３１４Ｄ、・・・、３１４Ｉと比べて信頼レベルが低い。したがって、現在の画像フレーム３０４の実際の（または真の）背景領域を表すための背景領域３１４Ｃおよび３１４Ｄの可能性は、現在の画像フレーム３０４の実際の（または真の）背景領域を表すための背景領域３１４Ｂおよび３１４Ｄ、・・・、３１４Ｉの可能性と比べて低い。

[0059] 実施形態によれば、画像プロセッサ２０２は、出力３１２および生成された信頼マップに基づいて、現在の画像フレーム３０４の１つまたは複数の前景領域を検出することができる。画像プロセッサ２０２は、現在の画像フレーム３０４の１つまたは複数の前景領域として、抽出された１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉから離れた任意の領域を検出することができる。実施形態によれば、画像プロセッサ２０２は、背景領域３１４Ｃおよび３１４Ｄを検出された１つまたは複数の前景領域に含めることができ、その理由は、生成された信頼マップ内の信頼レベルが背景領域３１４Ｂおよび３１４Ｄ、・・・、３１４１と比べて低いためである。次いで、画像プロセッサ２０２は、１つまたは複数の前景領域に１つまたは複数の画像処理操作を実行することができる。

[0060] 実施形態によれば、画像処理装置１０２は、撮像装置（例えば、デジタルカメラまたはカムコーダー）に対応することができる。撮像装置は、抽出された１つまたは複数の背景領域（１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉなど）を用いて、現在の画像フレーム３０４内の１つまたは複数の関心オブジェクトを検出することができる。撮像装置は、現在の画像フレーム３０４内で運動している１つまたは複数のオブジェクトを検出するためにさらに使用できる。運動している１つまたは複数のオブジェクトは、１つまたは複数の関心オブジェクトに対応することができる。さらに、撮像装置を用いて、検出された１つまたは複数の関心オブジェクトに自動焦点調整することができる。１つまたは複数の関心オブジェクトの１つまたは複数の視覚パラメータ（例えば、明るさ、コントラスト、色相、彩度または色）は、１つまたは複数の背景領域の抽出に基づいて、撮像装置によって修正することができる。画像処理装置１０２は、例えば、ビデオ監視装置として使用することができる。

[0061] 画像フレーム（現在の画像フレーム３０４など）から１つまたは複数の背景領域（１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉなど）を、複数の第１の運動ベクトル値および複数の第２の運動ベクトル値に基づいて抽出することにより、画像処理装置１０２などの装置に１つまたは複数の前景領域を１つまたは複数の背景領域から正確にセグメント化する能力が与えられる。さらに、画像フレーム内の１つまたは複数の前景領域で覆われている領域が、画像フレーム内の１つまたは複数の背景領域で覆われている領域よりも比較的大きいシナリオでは、画像処理装置１０２は、１つまたは複数の背景領域（１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉなど）を、従来の画像処理装置と比べてより高い精度で抽出する。別言すると、開示された装置および方法は、１つまたは複数の背景領域によって覆われた領域が１つまたは複数の前景領域によって覆われた領域よりも比較的小さいシナリオにおいて、画像フレームから１つまたは複数の背景領域を抽出する。

[0062] 図４Ａおよび４Ｂは、本開示の実施形態による、ビデオコンテンツにおけるオプティカルフローおよびセンサベースの背景差分に関する例示的な動作を示すフローチャートを一緒に示す。図４Ａおよび４Ｂを参照すると、フローチャート４００が示される。フローチャート４００は、図１、図２、図３と併せて説明する。ビデオコンテンツにおけるオプティカルフローおよびセンサベースの背景差分について画像処理装置１０２で実施する動作は、ステップ４０２で始まり、ステップ４０４に進む。

[0063] ステップ４０４において、一連の画像フレームを含むビデオコンテンツが取り込まれ得る。画像処理装置１０２の画像プロセッサ２０２は、レンズ制御装置２２２および撮像装置制御装置２１８に、複数のレンズ２２０および撮像装置２１６を制御するように指示して、ビデオコンテンツの一連の画像フレームを取り込むことができる。実施形態によれば、画像処理装置１０２は、メモリー２０４および／またはサーバー１０４からビデオコンテンツの一連の画像フレームを取り出すことができる。一連の画像フレームは、少なくとも現在の画像フレームおよび以前の画像フレームを含むことができる。一例が図３に図示されおよび説明され、画像処理装置１０２は、以前の画像フレーム３０２および現在の画像フレーム３０４を含む一連の画像フレーム１１０を取り込む。

[0064] ステップ４０６において、ビデオコンテンツの現在の画像フレームのオプティカルフローマップが生成できる。オプティカルフロー発生器２０６は、現在の画像フレームおよび以前の画像フレームに基づいて、オプティカルフローマップを生成するように構成できる。一例が図３に図示及び説明され、オプティカルフロー発生器２０６は、現在の画像フレーム３０４および以前の画像フレーム３０２に基づいてオプティカルフローマップ３０６を生成する。

[0065] ステップ４０８において、以前の画像フレームに対して、現在の画像フレーム内の複数の画素について複数の第１の運動ベクトル値が計算できる。背景抽出器２１０は、オプティカルフローマップを用いることによって、現在の画像フレーム内の複数の画素について複数の第１の運動ベクトル値を計算するように構成できる。一例が図２および図３に図示および説明され、背景抽出器２１０は、オプティカルフローマップ３０６を用いることによって、現在の画像フレーム３０４内の複数の画素について複数の第１の運動ベクトル値を計算する。背景抽出器２１０は、複数の第１の運動ベクトル値を計算するために、様々なアルゴリズムおよび数学関数（例えば、図２に説明するような数式（１））を実装することができる。

[0066] ステップ４１０において、運動センサーからのセンサー入力が受信できる。背景抽出器２１０は、運動センサー２０８からセンサー入力を受信するように構成できる。一例が図２および図３に図示および説明され、背景抽出器２１０は、運動センサー２０８からセンサー入力３０８（角速度情報など）を受信する。

[0067] ステップ４１２において、現在の画像フレーム内の複数の画素について複数の第２の運動ベクトル値が計算できる。背景抽出器２１０は、現在の画像フレーム内の複数の画素について、受信したセンサー入力に基づいて複数の第２の運動ベクトル値を計算するように構成できる。一例が図２および図３に図示および説明され、背景抽出器２１０は、現在の画像フレーム３０４内の複数の画素について、受信したセンサー入力３０８に基づいて複数の第２の運動ベクトル値を計算する。背景抽出器２１０は、複数の第２の運動ベクトル値の計算のための様々なアルゴリズムおよび数学関数（例えば、図２に説明するような数式（２））を実装することができる。

[0068] ステップ４１４において、複数の第１の運動ベクトル値について信頼スコアが決定できる。背景抽出器２１０は、複数の第１の運動ベクトル値について定めた一組のパラメータに基づいて信頼スコアを決定するように構成できる。一例が、図２および図３に図示および説明され、背景抽出器２１０は、定めた一組のパラメータに基づいて、複数の第１の運動ベクトル値の信頼スコアを決定する。

[0069] ステップ４１６において、複数の第２の運動ベクトル値は、複数の第１の運動ベクトル値と比較することができる。背景抽出器２１０は、複数の第２の運動ベクトル値を複数の第１の運動ベクトル値と比較するように構成できる。一例が図２および図３に図示および説明され、背景抽出器２１０は、複数の第２の運動ベクトル値を複数の第１の運動ベクトル値と比較する。

[0070] ステップ４１８において、現在の画像フレーム内の複数の画素の各々に関する相似パラメータが決定できる。背景抽出器２１０は、現在の画像フレーム内の複数の画素の各々について、複数の第２の運動ベクトル値と複数の第１の運動ベクトル値との比較に基づいて相似パラメータを決定するように構成できる。一例が図２および図３に図示および説明され、背景抽出器２１０は、現在の画像フレーム３０４内の複数の画素の各々に関連して相似パラメータを決定する。

[0071] ステップ４２０において、複数の画素のうちある画素に関連する相似パラメータは、特定された閾値と比較することができる。背景抽出器２１０は、複数の画素のうちある画素に関連する相似パラメータを特定された閾値と比較するように構成できる。閾値は、画像処理装置１０２に関連付けたユーザー１０８によって予め特定することができる。一例が図２および図３に図示および説明され、背景抽出器２１０は、現在の画像フレーム３０４内の複数の画素の各々に関連する相似パラメータを特定された閾値と比較する。

[0072] ステップ４２２において、相似パラメータが特定された閾値を超える画素は、１つまたは複数の背景領域に含むことができる。背景抽出器２１０は、抽出すべき１つまたは複数の背景領域において、相似パラメータが特定された閾値を超える画素を含むように構成できる。背景抽出器２１０は、対応する相似パラメータが特定された閾値を超える、１つまたは複数の背景領域内の全ての画素を含むことができる。

[0073] ステップ４２４において、現在の画像フレームから１つまたは複数の背景領域が抽出できる。背景抽出器２１０は、現在の画像フレームから、対応する相似パラメータが特定された閾値を超える全ての画素を含む１つまたは複数の背景領域を抽出するように構成できる。背景抽出器２１０は、信頼レベルを示す信頼マップをさらに生成し、信頼レベルによって複数の画素のうちある画素が１つまたは複数の背景領域に含まれるように抽出される。現在の画像フレーム内の複数の画素について、複数の第１の運動ベクトル値に関連する相似パラメータおよび信頼スコアに基づいて、信頼マップが生成できる。背景抽出器２１０は、現在の画像フレーム３０４をさらに処理する（例えば、１つまたは複数の前景領域を検出しまたは関心オブジェクトに自動焦点調整する）ために、画像プロセッサ２０２に、抽出された１つまたは複数の背景領域を与えることができる。一例が図２および図３に図示および説明され、背景抽出器２１０は、現在の画像フレーム３０４から１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉを抽出する。制御は終了４２６に進むことができる。

[0074] 本開示の実施形態によれば、画像処理のための装置が開示される。画像処理装置１０２（図１）などの装置は、１つまたは複数のプロセッサ（画像プロセッサ２０２、オプティカルフロー発生器２０６、背景抽出器２１０（図２）など）を備えることができる。背景抽出器２１０は、以前の画像フレーム（以前の画像フレーム３０２（図３）など）に対して、現在の画像フレーム（現在の画像フレーム３０４（図３）など）内の複数の画素について、オプティカルフローマップ（オプティカルフローマップ３０６（図３）など）を用いて複数の第１の運動ベクトル値を計算するように構成できる。背景抽出器２１０は、現在の画像フレーム３０４内の複数の画素について、画像処理装置１０２に設けたセンサー（運動センサー２０８（図２）など）から受信する入力（センサー入力３０８（図３）など）に基づいて、複数の第２の運動ベクトル値を計算するように構成できる。背景抽出器２１０は、定めた一組のパラメータに基づいて、複数の第１の運動ベクトル値の信頼スコアを決定するようにさらに構成できる。背景抽出器２１０は、現在の画像フレーム３０４から、決定された信頼スコアと、複数の第１の運動ベクトル値と複数の第２の運動ベクトル値との間の相似パラメータとに基づいて、１つまたは複数の背景領域（１つまたは複数の背景領域３１４Ｂ、・・・、３１４Ｉなど）（図３））を抽出するようにさらに構成できる。

[0075] 本開示の様々な実施形態は、ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分のための装置および方法を含む多くの利点を包含する。オプティカルフローおよびセンサー入力ベースの背景差分により、関心オブジェクトが画像取込み機器の近くにある場合における誤った背景抽出が克服される。例えば、シーンの画像フレームを最大ズームで取り込む場合、関心オブジェクトは画像取込み機器に非常に近く、取り込まれた画像フレームの大部分を占めるように見える。例えば、図３に示すように、画像処理装置は最大ズームで動作することができるので、４人のサッカー選手が現在の画像フレーム３０４および以前の画像フレーム３０２の大部分を占める。このシナリオでは、背景領域は関心オブジェクトに比べて占める割合が少なくなる。このようなシナリオにおける従来の装置および方法による背景抽出は、通常、従来の装置が画像フレーム内の最大部分を背景領域として抽出するため、不正確になる可能性がある。背景抽出器２１０により画像処理装置１０２は、画像内の背景領域のカバレージに関係なく、１つまたは複数の背景領域を正確に抽出することができる。

[0076] 背景抽出器２１０は、抽出された背景領域が画像フレームにおける実際の背景領域を表す可能性を示す信頼マップをさらに生成する。したがって、画像プロセッサ２０２は、信頼マップおよび抽出された１つまたは複数の背景領域を利用して信頼性が高い背景領域を識別することができ、この背景領域は、画像フレームをさらに処理するために利用され得る。

[0077] 本開示の様々な実施形態は、非一時的なコンピュータ可読媒体および／または記憶媒体、ならびに／あるいは非一時的機械可読媒体および／またはそれに記憶される記憶媒体を提供し、機械コードおよび／またはコンピュータプログラムに画像処理を行うために機械および／またはコンピュータによって実行可能な少なくとも１つのコードセクションを与える。少なくとも１つのコードセクションにより、機械および／またはコンピュータが動作を実行し、動作は、以前の画像フレームに対して、現在の画像フレーム内の複数の画素について複数の第１の運動ベクトル値の計算を、オプティカルフローを用いて実行することを含む。現在の画像フレーム内の複数の画素について、装置に設けたセンサーから受信した入力に基づいて、複数の第２の運動ベクトル値が計算できる。複数の第１の運動ベクトル値の信頼スコアが、定めた一組のパラメータに基づいて決定できる。１つまたは複数の背景領域が、現在の画像フレームから、決定された信頼スコアと、複数の第１の運動ベクトル値と複数の第２の運動ベクトル値との間の相似パラメータとに基づいて抽出できる。

[0078] 本開示は、ハードウェア、又はハードウェアとソフトウェアとの組み合わせで実現することができる。本開示は、少なくとも１つのコンピュータシステムにおいて集中型で、または異なる要素が複数の相互接続されたコンピュータシステムにわたって広がっている分散方式で実現することができる。本明細書に記載した方法を実行するように適合されたコンピュータシステム又は他の装置が適切なことがある。ハードウェアとソフトウェアとの組み合わせは、コンピュータプログラムを持つ汎用コンピュータシステムとすることができ、コンピュータプログラムは、ロードされ実行されたときコンピュータシステムを、それが本明細書に記載した方法を実施するように制御する。本開示は、他の機能も実行する集積回路の一部を備えるハードウェアで実現することができる。

[0079] 本開示はまた、コンピュータプログラムに埋め込むことができ、コンピュータプログラムは、本明細書に記載した方法を実施できる全ての特徴を備え、コンピュータプログラムは、コンピュータシステムにロードされたとき、これらの方法を実施できる。本開示は所定の実施形態を参照して説明されたが、当業者であれば、本開示の範囲から逸脱することなく様々な変更がなされ、均等物が置換されることを理解する。さらに、特定の状況又は材料を本開示の教示に適合させるために、多くの修正が本発明の範囲から逸脱することなくなされる。従って、本開示は、開示された特定の実施形態に限定されず、むしろ本開示は、添付の特許請求の範囲内に属する全ての実施形態を含むことを意図している。

２０２ 画像プロセッサ
２０６ オプティカルフロー発生器
２０８ 運動センサー
２１０ 背景抽出器
３０８ センサー入力

Claims (20)

1. 画像処理のための装置であって、
   １つまたは複数のプロセッサを備え、前記プロセッサは、
   以前の画像フレームに対して現在の画像フレーム内の複数の画素について、オプティカルフローマップを用いて複数の第１の運動ベクトル値を計算し、
   前記現在の画像フレーム内の前記複数の画素について、前記装置に設けたセンサーから受信した入力に基づいて複数の第２の運動ベクトル値を計算し、
   前記複数の第１の運動ベクトル値について、定めた一組のパラメータに基づいて信頼スコアを決定し、および
   前記決定された信頼スコアと、前記複数の第１の運動ベクトル値と前記複数の第２の運動ベクトル値との間の相似パラメータとに基づいて、前記現在の画像フレームから１つまたは複数の背景領域を抽出する、ように構成されている画像処理のための装置。
2. 前記１つまたは複数のプロセッサは、一連の画像フレームを取り込むようにさらに構成され、前記一連の画像フレームは、少なくとも前記現在の画像フレームおよび前記以前の画像フレームを含む、請求項１に記載の装置。
3. 前記１つまたは複数のプロセッサは、前記現在の画像フレームおよび前記以前の画像フレーム内の前記複数の画素の画素値の差に基づいて、前記オプティカルフローマップを生成するようにさらに構成されている、請求項１に記載の装置。
4. 前記受信した入力は、前記現在の画像フレームにある前記複数の画素の各々の角速度情報に対応する、請求項１に記載の装置。
5. 前記複数の第１の運動ベクトル値の各々は、前記以前の画像フレームから前記現在の画像フレームへの前記複数の画素の各々の相対移動に対応する、請求項１に記載の装置。
6. 前記複数の第２の運動ベクトル値は、前記装置内に設けたジャイロセンサーについて計算した複数の運動ベクトル値に対応する、請求項１に記載の装置。
7. 前記複数の第２の運動ベクトル値の前記計算は、前記装置の１つまたは複数のデバイスパラメータにさらに基づき、前記１つまたは複数のデバイスパラメータは、前記装置のレンズの焦点距離、水平画素の数および前記装置に設けた撮像装置構成部品の幅を含む、請求項１に記載の装置。
8. 前記１つまたは複数のプロセッサは、前記１つまたは複数の背景領域を抽出するために、前記複数の画素の前記複数の第２運動ベクトル値を前記複数の第１運動ベクトル値と比較するようにさらに構成されている、請求項１に記載の装置。
9. 前記１つまたは複数のプロセッサは、前記現在の画像フレーム内の前記複数の画素の各々について、前記複数の第２の運動ベクトル値と前記複数の第１の運動ベクトル値との前記比較に基づいて、前記相似パラメータを決定するようにさらに構成されている、請求項８に記載の装置。
10. 前記１つまたは複数のプロセッサは、前記信頼スコアと前記複数の画素の各々に関連する前記相似パラメータとに基づいて信頼マップを生成するようにさらに構成されている、請求項９に記載の装置。
11. 前記１つまたは複数の背景領域は、前記複数の画素の各々に関連する前記決定された相似パラメータと特定された閾値との比較に基づいて抽出される、請求項１０に記載の装置。
12. 前記現在の画像フレームは、１つまたは複数の前景領域および前記１つまたは複数の背景領域を含む、請求項１に記載の装置。
13. 画像処理システムであって、
    撮像装置内に１つまたは複数のプロセッサを備え、前記プロセッサは、
    以前の画像フレームに対して現在の画像フレーム内の複数の画素について、オプティカルフローマップを用いて複数の第１の運動ベクトル値を計算し、
    前記現在の画像フレーム内の前記複数の画素について、前記装置に設けたセンサーから受信した入力に基づいて複数の第２の運動ベクトル値を計算し、
    前記複数の第１の運動ベクトル値について、定めた一組のパラメータに基づいて信頼スコアを決定し、
    前記決定された信頼スコアと、前記複数の第１の運動ベクトル値と前記複数の第２の運動ベクトル値との間の相似パラメータとに基づいて、前記現在の画像フレームから１つまたは複数の背景領域を抽出し、および
    前記抽出された１つまたは複数の背景領域に基づいて、前記現在の画像フレーム内の１つまたは複数の関心オブジェクトを検出する、画像処理システム。
14. 前記検出された１つまたは複数の関心オブジェクトは、前記現在の画像フレーム内で運動している１つまたは複数のオブジェクトに対応する、請求項１３に記載の画像処理システム。
15. 前記撮像装置内の前記１つまたは複数のプロセッサは、前記検出された１つまたは複数の関心オブジェクトに自動焦点調整するようにさらに構成されている、請求項１３に記載の画像処理システム。
16. 前記撮像装置内の前記１つまたは複数のプロセッサは、前記検出された１つまたは複数の関心オブジェクトの１つまたは複数の視覚パラメータを修正するようにさらに構成されている、請求項１３に記載の画像処理システム。
17. 画像処理のための方法であって、方法は、
    一連の画像フレームを扱うように構成された装置において、
    以前の画像フレームに対して現在の画像フレーム内の複数の画素について、オプティカルフローマップを用いて複数の第１の運動ベクトル値を計算するステップと、
    前記現在の画像フレーム内の前記複数の画素について、センサーから受信した入力に基づいて複数の第２の運動ベクトル値を計算するステップと、
    前記複数の第１の運動ベクトル値について、定めた一組のパラメータに基づいて信頼スコアを決定するステップと、および
    前記決定された信頼スコアと、前記複数の第１の運動ベクトル値と前記複数の第２の運動ベクトル値との間の相似パラメータとに基づいて、前記現在の画像フレーム内の１つまたは複数の背景領域を抽出するステップと、を備える画像処理のための方法。
18. 前記現在の画像フレームおよび前記以前の画像フレーム内の前記複数の画素の画素値の差に基づいて前記オプティカルフローマップを生成するステップをさらに備える、請求項１７に記載の方法。
19. 前記１つまたは複数の背景領域を抽出するために、前記複数の画素の前記複数の第２の運動ベクトル値を前記複数の第１の運動ベクトル値と比較するステップをさらに備える、請求項１７に記載の方法。
20. 前記現在の画像フレーム内の前記複数の画素の各々について、前記複数の第２の運動ベクトル値と前記複数の第１の運動ベクトル値との前記比較に基づいて、前記相似パラメータを決定するステップをさらに備える、請求項１９に記載の方法。

Images