JP2014514883A - 引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法 - Google Patents

Abstract

受信器による適合されたビデオストリームの受信の際に遂行されることになる引き続くアプリケーションを容易にするために入力ビデオストリームＶを適合させるための方法は、品質要件パラメータＱＲ、帯域幅制限パラメータＢＷ、および空間パラメータｘ、ｙから制御パラメータＡＶＰを決定するステップと、前記制御パラメータＡＶＰによって前記入力ビデオストリームＶの時空間適合を遂行して、そのことにより、前記受信器へのプロビジョニングのための前記適合されたビデオストリームＡＶを生成するステップとを含む。

Description

本発明は、受信器による適合されたビデオストリームの受信の際に引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法に関する。

移動電話などの移動端末に関しては、リアルタイムでのビデオ送信の品質は、ネットワークの利用可能な帯域幅により制限される。例えば専門家からの緊急の診断が要求される一方で、単純な移動電話のみが事故の場所でビデオを作製するために利用可能である場合の、例えば物体認識または遠隔医療のアプリケーションなどの、リアルタイムでのビデオフレームの分析に依拠するアプリケーションに関しては、移動電話により送信および／または受信されるビデオフレームが、これらのビデオ画像の固有の低品質のために低質の認識結果を招くことになる。顔認識アプリケーションでは実際に、十分な分解能を伴う顔領域の非常に鮮明な画像を必要とする。同様に専門医は、緊急の治療のために自分の所見および対応する診断を形成するために、例えば創傷の鮮明な画像を必要とする場合がある。

自動化された画像認識アプリケーションの場合、そのようなアプリケーションは、受信端での移動電話では常に利用可能であるとは限らない多くの処理能力もまたさらに必要とする。さらに莫大なデータベースメモリが、例えば前もって認識された物体の特徴部を記憶するために必要とされる場合がある。この量のメモリもまた、通常の移動電話では利用可能でない。

すべてのこれらの難点の結果として現在では、移動電話端末により受信または生成されるビデオ画像に関して、自動的に、または人間によってのいずれでも、リアルタイムの物体認識／判断などのアプリケーションを遂行することは可能でない。

したがって上述の問題に対する解決策を提供することが、本発明の実施形態の目的である。

本発明の実施形態によればこの目的は、受信器による適合されたビデオストリームの受信の際に遂行されることになる引き続くアプリケーションを容易にするために入力ビデオストリームを適合させるための方法であって、品質要件パラメータ、帯域幅制限パラメータ、および空間パラメータから制御パラメータを決定するステップと、前記制御パラメータによって前記入力ビデオストリームの時空間適合を遂行して、そのことにより、前記受信器へのプロビジョニングのための前記適合されたビデオストリームを生成するステップとを含む方法のプロビジョニングにより実現される。

通信ネットワークを介した送信後に、修正または適合されたビデオに関する物体認識などのある種のアプリケーションを実行するために必要とされる最低限のレベルを決定するパラメータである品質要件パラメータ、通信ネットワークを介した送信の間の修正されたビデオの固有の送信制限を表す帯域幅制限パラメータの、認識のこの特定のアプリケーションを受ける必要があるビデオシーケンスのピクチャ内の関心領域を指示する空間パラメータとの組み合わせが、入力ビデオストリームを適合させるために使用されることになる１組の最適化された制御パラメータをもたらすことになる。この適合は、異なる複数の画像のいくつかの領域が適合されることになる一方で他のものは適合されないことになることを意味する空間適合、または、いくつかのフレームもしくはそれらの一部分が例えばビデオから除外され得る一方で他のものは除外され得ないことを意味する時間適合、または、両方の組み合わせである場合がある。

第１の実施形態では前記時空間適合は、前記アプリケーションに関して関連性のない複数の画像の区域の分解能を、前記アプリケーションに関連性のある画像のこれらの区域に対して減少することにより遂行される。

このことは、例えば医者が、移動ネットワークを介して送信されるビデオから患者の外傷を分析しなければならない場合に役立つ場合がある。高品質ビデオが生成され、そのビデオが引き続いて、例えば、この遠距離の専門家の受信器に帯域幅が制限されたネットワークを介して送信されるために、例えば患者の外傷に関係付けられる区域内で高分解能を維持するだけであり、画像の他の部分は適合の処理の間にぼかされた状態となり、そのことにより、この帯域幅が低減されたネットワークを介した適合されたビデオによる送信を可能にするなどのように構成される場合、受信されるビデオ画像は、この適合されたビデオに関する物体認識および／または物体判断などのこの遠距離のサービスを可能にするのにそれでも十分となる。

別の実施形態では前記時空間適合は、前記アプリケーションに関して関連性のない画像の部分のフレームレートを、前記アプリケーションに関して関連性のある画像のこれらの部分に対して減少することにより遂行される。

このことは、例えば動いている物体がビデオストリームから認識されることになる場合に関心を引き起こし得るものである。単に、動いている物体が位置するこれらのフレームを重点的に取り扱い、したがってこれらのフレームを保留し、一方で他のフレームのいくつかまたは一部分を外し、そのことにより、これらの一部分でのフレームレートを減少することにより、ビデオは、認識されることになる物体に関連性のある領域内の高品質を保つように構成され得る。同時に関心領域ではないこれらの領域に対する品質は、適合されたビデオを移送する必要がある通信ネットワークの帯域幅の制約に準拠しながら低下されることになる。

本発明は、入力ビデオストリームを適合させるためのビデオ適合デバイスであって、前記入力ビデオストリームの時空間適合を遂行するときに使用されて、そのことにより、適合されたビデオストリームを生成するための制御パラメータを決定するように構成され、前記ビデオ適合デバイスに提供される品質要件パラメータ、帯域幅制限パラメータ、および空間パラメータから前記制御パラメータを計算するようにさらに構成されるビデオ適合デバイスの実施形態にさらに関する。

第１の実施形態ではこのビデオ適合デバイスは、前記空間パラメータにより規定される領域の外側の前記ビデオストリームの複数の画像の区域の分解能を減少することにより、前記時空間適合を遂行するようにさらに構成される。

別の実施形態ではビデオ適合デバイスは、前記空間パラメータにより規定される領域の外側の前記ビデオストリームの画像の部分のフレームレートを減少することにより、前記時空間適合を遂行するようにさらに構成される。

別の実施形態ではビデオ適合デバイスは、前記入力ビデオストリームに関して物体検出演算を遂行して、そのことにより、検出された物体特徴部を生成するようにさらに構成される。

現実の物体認識と比較されるとはるかに少ない資源を必要とするそのような粗い物体検出は、例えば、さらに認識されることになる物体に関係付けられる空間パラメータを識別するために役立つ場合がある。この物体検出は、将来の物体認識を容易にするために、または、識別される物体に関するいくつかの情報を受信器に前もって提供するためになどで、適合されたビデオストリームとともにさらに送信され得るさらなるメタデータを決定するときにもまた使用され得る。

本発明は、そのようなビデオ適合デバイスと、適合されたビデオストリームを符号化し、そのことにより、符号化され適合されたビデオストリームを提供するための符号化器と、通信ネットワークを経由して受信器デバイスに向けて前記符号化され適合されたビデオストリームをさらに送信するための手段とを備える端末の実施形態にさらに関する。

そのような端末は、移動端末または固定端末であり得る。ＧＳＭ（登録商標）ネットワークなどの従来の移動通信ネットワークの帯域幅における現在の制約に関して、移動端末は、そのようなビデオ適合デバイスの存在から多くの利益を得ることが可能である。これに対して多くのユーザにより共有されるローカルネットワークなどの低減された帯域幅を伴う固定ネットワークでも、固定端末内のそのようなビデオ適合デバイスの存在によって、以前はこれらの環境のもとでは可能でなかった物体認識などのアプリケーションが可能になり得る。

別の実施形態では端末は、前記ビデオ適合デバイスに結合され、前記端末のカプセル化デバイスへのプロビジョニングのために前記検出された物体特徴部からメタデータを生成するように構成されるビデオ記述器手段をさらに備え、前記カプセル化デバイスは、前記受信器デバイスへのプロビジョニングのために、前記符号化され適合されたビデオストリームおよび前記メタデータから、拡張され符号化され適合されたビデオパケットを生成するように構成される。

本発明は、前の請求項のいずれかに記載の端末に通信可能に結合される受信器デバイスであって、前記符号化され適合されたビデオストリームを復号化して、そのことにより、前記適合されたビデオストリームを提供するための復号器を備える受信器デバイスの実施形態にさらに関する。

ある実施形態では受信器デバイスは、前記適合されたビデオストリームに関して物体認識を遂行するように構成されるビデオ物体認識モジュールをさらに備え得る。

さらに別の実施形態では受信器デバイスは、通信ネットワークのアプリケーションサーバの一部分であり、そのアプリケーションサーバ自体は、前記ビデオ物体認識モジュールに対する要件パラメータを記憶するための、および、前記品質要件パラメータとして前記要件パラメータを前記端末の前記ビデオ適合デバイスに提供するための手段を備え得る。

本発明は、上記で説明されたような端末に通信可能に結合される、通信ネットワークのアプリケーションサーバであって、前記アプリケーションサーバのアプリケーションサービスモジュールへのプロビジョニングのために前記符号化され適合されたビデオストリームを復号化するための復号器であり、前記アプリケーションサービスモジュールが前記適合されたビデオストリームに関してアプリケーションを遂行するように構成される復号器と、前記アプリケーションサービスモジュールに対する要件パラメータを記憶するための、および、前記品質要件パラメータとして前記要件パラメータを前記端末の前記ビデオ適合デバイスに提供するための手段とを備えるアプリケーションサーバの実施形態にさらに関する。

ある実施形態ではアプリケーションサービスモジュールは、前記適合されたビデオストリームに関して物体認識を遂行するように構成されるビデオ物体認識モジュールを備える。

特許請求の範囲において使用される用語「結合される」は、直接接続のみに限定的であると解釈されるべきではないことが注目されるべきである。したがって語句「デバイスＢに結合されるデバイスＡ」の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されるデバイスまたはシステムに限定されるべきではない。その語句は、他のデバイスまたは手段を含む経路であり得る、Ａの出力とＢの入力との間の経路が存在することを意味する。

特許請求の範囲において使用される用語「備える」は、その後にリストアップされる手段に限定的であると解釈されるべきではないことが注目されるべきである。したがって語句「手段ＡおよびＢを備えるデバイス」の範囲は、構成要素ＡおよびＢのみからなるデバイスに限定されるべきではない。その語句は、本発明に関しては、デバイスの他にはない関連性のある構成要素がＡおよびＢであることを意味する。

付随する図面に関連して行われる実施形態の以下の説明を参照することにより、本発明の上記および他の目的および特徴がより明らかとなり、本発明自体が最良に理解されることになる。

方法の異なる複数の実施形態のステップを遂行するように構成されるアプリケーションサーバの実施形態に協働的に結合される第１の端末ＭＴ１／ＭＴ１’の高レベルの実施形態を概略的に示す図である。 方法の異なる複数の実施形態のステップを遂行するように構成されるアプリケーションサーバの実施形態に協働的に結合される第１の端末ＭＴ１／ＭＴ１’の高レベルの実施形態を概略的に示す図である。 方法の異なる複数の実施形態のステップを遂行するように構成されるアプリケーションサーバの実施形態に協働的に結合される第１の端末ＭＴ１／ＭＴ１’の高レベルの実施形態を概略的に示す図である。 方法の異なる複数の実施形態のステップを遂行するように構成されるアプリケーションサーバの実施形態に協働的に結合される第１の端末ＭＴ１／ＭＴ１’の高レベルの実施形態を概略的に示す図である。 方法の高レベルの実施形態を示す図である。 方法の高レベルの実施形態を示す図である。 方法の高レベルの実施形態を示す図である。 適合されたビデオパラメータを計算するための図２ａ−ｃのステップ５００のより詳述された実装形態を示す図である。 ビデオの時空間適合および符号化を遂行するための図２ａ−ｃの組み合わされたステップ６００および７００のより詳述された実装形態を示す図である。 方法の他の実施形態を遂行するための第１の端末ＭＴ１の他の高レベルの実施形態を概略的に示す図である。 方法の他の実施形態を遂行するための第１の端末ＭＴ１の他の高レベルの実施形態を概略的に示す図である。

説明および図面は、本発明の原理を単に例示するものである。したがって、たとえ本明細書で明示的に説明されなくとも、または示されなくとも、本発明の原理を実施し、本発明の趣旨および範囲の範囲内に含まれる様々な配置構成を当業者が考案可能になることが十分認識されよう。さらに、本明細書に列挙されるすべての例は、（１人または複数の）発明者により当技術分野の振興のために与えられる本発明の原理および概念を理解する際に読者の一助となるように、単に教育的な目的のものであることが明確に主として意図されるものであり、そのような具体的に列挙される実施例および条件への限定を伴わないと解釈されるべきである。さらに本発明の原理、態様、および実施形態、ならびにそれらの具体例を列挙する本明細書でのすべての記載は、それらの均等物を包含することが意図される。

本明細書での任意のブロック図が、本発明の原理を実施する例示の回路網の概念図を表すことは、当業者により十分認識されるはずである。同様に、コンピュータ可読媒体の形で実質的に表され得るものであり、その結果コンピュータまたはプロセッサにより、そのようなコンピュータまたはプロセッサが明示的に示されようとそうでなかろうと実行され得る様々な処理を、任意のフローチャート、フロー図、状態遷移図、擬似コード等々が表すことが十分認識されよう。

図１ａは、好ましくは、正しそうであるとは限らないが、移動電話、ラップトップ、ＰＤＡ、ゲーミングデバイス、タブレットＰＣ等のような移動端末であり得る第１の端末ＭＴ１の第１の実施形態の概略図を示す。図１ａに図示される実施形態ではこの第１の端末は、例えばこの移動端末により生成または受信されるビデオ画像に関する自動物体認識などのサービスまたはアプリケーションを可能にする目的で、ネットワーク内のアプリケーションサーバＡＳと協働的に動作するように構成される。これに対して図５ａ−ｂに図示される実施形態では第１の端末ＭＴ１は、ネットワーク内のアプリケーションサーバと協働的に動作せず、方法の他の実施形態を遂行するためのスタンドアローンデバイスとして使用され得る。このことは例えば、ビデオが第１の端末で記録され、そのビデオが引き続いて適合され、符号化され、例えば医師の別の端末に向けて送信され、その人が、受信および復号化された適合されたビデオに関して自分自身で物体認識を行うことが可能である遠隔医療アプリケーションのために使用され得る。

すべての実施形態では端末ＭＴ１は、入力ビデオストリームのビデオ画像パラメータを適合させるための、および、これらのパラメータによって入力ビデオビットストリームＶ自体の適合を遂行するためのビデオ適合デバイスＶＡＤを備える。図１ａ−ｄでは破線により表示されるＶＡＤは、例えば移動端末ＭＴ１のカメラＣＡＭにより生成される符号化されていない入力ビデオビットストリームＶを受信するように、および、次の段落でさらに解説されるように、適合されたビデオビットストリームＡＶを提供するように構成される。

物体認識のアプリケーションを可能にするための以下の実施形態が説明されることになる。これに対して、他の実施形態が他のアプリケーションを遂行するために想像され得ることは明らかである。当業者は、そのような他のアプリケーションに対する本文献で提示される教示に基づいて、そのような他のアプリケーションに対する実施形態を想像するようになされる。

大部分の実施形態ではＶＡＤは、例えばソフトまたはハードのユーザ入力によってユーザにより生成される場合があり、そうでなければ、例えば物体認識または遠隔医療のサービスにユーザが申し込む場合にアプリケーションにより生成される場合もある、トリガ信号ＵＴによってユーザにより活動化され得る。図１ａの実施形態ではＶＡＤは、入来するビデオフレーム内の特定の物体または事象を前もって検出するように構成されるビデオ物体検出器ＶＯＤモジュールをさらに備える。したがってＶＯＤは、太い白色の矢印により図示されるこのビデオ入力ビットストリームＶを受信するように構成される。本文献において前に述べられたようにこの入力ビデオストリーム自体は、端末自体のカメラＣＡＭにより生成され得るが、これに対して他の実施形態ではこのビデオ入力ビットストリームは、例えばＭＭＳまたは他の送信による別のユーザから受信される復号化されたビットストリームであり得る。ＶＯＤは、所望される物体または事象を検出するために、この入力ビデオビットストリームの１つまたは複数のフレームを分析するようにさらに構成される。物体検出演算は、物体認識と比較されるとより少ない処理資源を必要とするので、そのようなＶＯＤモジュールは、例えば中央プロセッサの一部分として移動電話の内部に容易に組み込まれることが可能である。ＶＯＤは例えば、連続的なフレームでの場面の変更を分析すること等により、顔、建物、物体、…、あるいは事象を検出することが可能である。

ビデオ物体検出器ＶＯＤの出力は、例えば「顔」、「車」、「フットボールの試合」などの一連の大まかに認識された物体または事象である。この出力は、「ＤＯ」として図１に図示されている。この出力データＤＯは、物体および／またはフレーム内のその位置を記述するメタデータを一般的に含む。

そのようなビデオ物体検出モジュールを備えない、ビデオ適合デバイスの他の実施形態が存在するということは一言されるべきである。このことは、例えば図５ｂを説明するときに示されることになる。

情報ＤＯは、動的ビデオコントローラＤＶＣと表示される、ビデオ適合デバイスの別のモジュールに提供される。図１ａ−ｄに図示される実施形態ではこの動的ビデオコントローラは、この場合では物体認識である要求されるサービスに関する情報を索出するように構成される。この目的で動的ビデオコントローラは、図１ａ−ｄの例ではアプリケーションサーバＡＳ上にある物体認識モジュールＶＯＲであるアプリケーションにより必要とされるような、ビデオ品質の最低限のレベルを反映するパラメータを索出するように構成される。この索出は、信号「品質要求」により図１ａに示されるように、ＤＶＣからアプリケーションサーバＡＳへの要求により行われ得る。図１ａではこの信号は、動的ビデオコントローラＤＶＣの内部の品質マネージャモジュールＱＭにより生成および送信されるが、そのような特定の範囲設定は、他の実装形態では必要とされない場合がある。この要求はその後、アプリケーションサーバＡＳから戻るメッセージにより応答されることになり、そのメッセージは、この個別のアプリケーションを実行するためにサーバＡＳの内部のアプリケーションモジュールＶＯＲにより必要とされる品質要件に関する情報を含むことになる。図１ａでは要求が、アプリケーションサーバＡＳ内のアプリケーションモジュールＶＯＲの内部のリポジトリモジュールＲに送出され、そのリポジトリモジュールにより返答されるが、そのような専用のリポジトリモジュールを用いない他の実施形態が存在する。

品質要件パラメータは、ＱＲと表示され、物体認識アプリケーションに対しては、一般には最低限の画素密度に対応する最低限の分解能、動いている物体の場合での必要とされるフレームの数、２次元での画素の数で表現される認識されることになる物体の最低限の必要とされるサイズ、与えられた窓での輝度の微分の大きさとして表現される鮮明度、最低限の数の色レベルとして表現される色スケール、画像内のテクスチャを特徴付けるために使用されるランダム性の統計的尺度として規定されるエントロピー等に対する値を含み得る。

これらの品質要件パラメータＱＲは、いくつかの実施形態では、アプリケーションサーバからのメッセージからＱＭにより抽出され、これらのパラメータを受信するための空間区域範囲設定モジュールＳＡＤに転送される。後者のモジュールは、アプリケーションサーバに向けての、および／または、例えば図５ａ−ｂの実施形態を説明するときに示されることになるような遠隔医療のようなアプリケーションのための別の移動端末に向けてのビデオの送信のために、これらの品質要件パラメータＱＲがネットワークでの利用可能な帯域幅に準拠するかどうかをチェックするようにさらに構成される。

図５ａ−ｂに図示されるような実施形態に関しては、ＱＲパラメータは、あらかじめ設定され、ＱＭモジュール自体の内部に記憶され得るということは一言されるべきである。その場合ＱＲパラメータは、もはやアプリケーションサーバに要求される必要はなく、ＱＭはメモリの機能性を有する。

したがってＳＡＤモジュールは、ＱＭから品質パラメータＱＲを受信し、第１の端末ＭＴ１の内部の帯域幅マネージャＢＷＭから帯域幅情報ＢＷをさらに受信する。そのような帯域幅マネージャは、本発明に関連性のない第１の端末内の他の機能ブロックにより共有され得る別個のモジュールであり得る。このことは例えば、通信チャネルでの利用可能な帯域幅の最新のステータスを受信するためにＭＴ１と基地局との間で頻繁に通信がある移動ネットワークでの事例であり得る。あるいはそのような帯域幅マネージャＢＷＭは、動的ビデオコントローラの内部に、またはＶＡＤ自体の中に組み込まれる場合もある。

図１ａの実施形態では帯域幅マネージャＢＷＭは、例えばアプリケーションサーバに配備されるプローブトラフィック受信器Ｐと通信可能である別個のモジュールとして図示されている。この通信は、リアルタイムで利用可能な帯域幅の略語であるＢＡＲＴなどのアクティブ測定を含み得る。

図５ａ−ｂの実施形態では移動端末は、適合されたビデオをアプリケーションサーバにではなく、代わりに、通信ネットワークの別の、場合によってはあらかじめ決定された移動端末または他の端末に送信することになる。この場合には帯域幅マネージャＢＷＭは、ＭＴ１と他の端末との間の帯域幅を測定するように構成される。図１ａの実施形態に関してと同様の技法が、例えば両方の端末間の基地局または他のネットワーク要素内のプローブトラフィック受信器Ｐによって使用される場合がある。

帯域幅要件ＢＷが、高品質ビデオがアプリケーションサーバに向けて、または別の移動端末に向けてネットワークを介して送信されることが可能であるというようなものである場合、動的ビデオコントローラＤＶＣは、ＶＡＤの別のモジュールＳＴＡに制御信号を提供することになる。ＳＴＡは時空間ビデオ品質適合器であり、ＤＶＣはこの場合にＳＴＡに、入力ビデオビットストリームＶは、さらに修正される必要はなく、ＭＴ１のビデオ符号化器Ｅにただ転送されるだけでよいということを通知することになる。図面に描き過ぎないように、この制御信号は図１ａ−ｄおよび図５ａ−ｂには示されない。

他方でネットワークの帯域幅要件ＢＷが、高品質ビデオの、そのビデオに関する物体認識を可能にするための送信が、手動または自動のいずれでも可能ではないというようなものであるならば、動的ビデオコントローラＤＶＣは、ビデオビットストリームを適合させるように時空間ビデオ品質適合器ＳＴＡに命令しなければならない。この適合は、帯域幅要件に準拠する一方で、検出される物体に関して、またはＶＯＤが存在しない場合では、画像自体の上で手動で指示される物体に関して遂行されることになる、自動または手動の物体認識サービスなどのサービスをそれでも可能にするようなものでなければならない。そのような適合を可能にするためにＤＶＣは、認識されることになる個別の物体が位置するビデオビットストリームのフレーム内の区域に関するさらなる情報を受信する。その上この情報は、図１ａの実施形態で図示されるように、グラフィカルユーザインターフェースＧＵＩを介してユーザ自身により提供される場合がある。その場合ユーザは、例えば、さらに認識される必要がある物体の周囲の、ビデオビットストリームのフレーム上の指示される矩形すなわち区域の形式にしたがってユーザ情報ＵＩを提供する。グラフィカルユーザインターフェースＧＵＩは、この情報を、動的ビデオコントローラにより理解可能な適切なフォーマットに変換することになる。この情報は、図１ａおよび図５ａ−ｂにｘ、ｙと表示される。

あるいは完全に自動化された実装形態は、図１ｂに図示される実施形態に示されるように、ビデオ物体検出器に結合されるビデオ物体追跡モジュールＶＯＴに依拠する場合もある。そのようなビデオ物体追跡モジュールＶＯＴは、追跡されることになる物体に関するＤＯ情報をＶＯＤから受信し、その情報から、連続的なフレームで詳細にさらに認識される必要があるこの物体を識別および追跡することが可能である。したがってビデオ入力ビットストリームＶは、ＶＯＴにさらに提供されなければならない。図１ｂでは、ＶＯＤが次のフレームをＶＯＴにさらに提供する実施形態が示されているが、他の実施形態ではビデオ入力ビットストリームは、カメラまたはビデオ入力デバイス自体からＶＯＴに直接提供される場合もある。すべてのこれらの実施形態では、ビデオの引き続く画像において認識されることになる物体の場所に関する、ｘ、ｙと表示される空間情報がＤＶＣに提供される。大部分の実施形態ではこの空間情報はＳＡＤに提供され、ＳＡＤは、その空間情報から、帯域幅制限ＢＷおよび品質要件ＱＲから、すべてのこれらの要件に準拠するようにビデオのフレームをどのように適合させるかを時空間ビデオ品質適合器に命令するためのパラメータを計算するように構成される。ＳＴＡによるこの適合は、認識されることになる物体に関係付けられないフレームのすべての区域において、認識されることになる物体が位置するフレームのこれらの領域内で高品質画像部分を維持するだけであるように、分解能および色レベルを低減することを含み得る。

物体が動いているか否かに応じて、さらに時間分解能が低減される場合があり、このことは例えば、認識されることになる物体を包含しないフレームのために、送信されることになる１秒あたりのフレームがより少なくなることにつながる。これらの制御パラメータは、図１ａ−ｄおよび図５ａ−ｂにＶＡＰと表示される。

図３は、これらのＡＶＰパラメータがどのように計算され得るかの可能な実装形態を示す。この実施形態では入力として、帯域幅ＢＷ、高分解能区域のサイズｘ、ｙ、および、この実施形態では正しい認識を可能にするために必要とされる最低限のフレームサイズである１つのＱＲパラメータを使用する。入力ビデオＶからさらに、１秒あたりのフレームの初期数が計算される。次いで、帯域幅制限および最低限の必要とされるフレームサイズを考慮に入れて、１秒あたりのフレームの初期数に基づく大域的な適合されたビデオのフレームレートの推定値である、ＡＶＰパラメータに対する第１の値が計算される。物体認識を可能にするための高分解能を維持する必要がある区域のサイズｘ、ｙに基づいて、および、適合されたビデオの大域的なフレームレートのこの第１の推定値に基づいて、高品質区域のフレームレートがさらに計算される。この計算は、低品質区域に対する利用可能なフレームレートを決定するために使用される。この低分解能のフレームレートが、低分解能の区域に対する最低限のフレームレートを規定するしきい値１より依然として高い場合、このことは、ＡＶＰパラメータに対する初期の推定された値が正しく、したがってこれらのＡＶＰパラメータが、ＨＱにより略される高品質の区域に対するフレームレート、ＬＱにより略される低品質の区域に対するフレームレート、および、これらの区域に対する色空間の初期値の形式にしたがって出力されることになるということを意味する。これらの初期値は、入力ビデオ自体の元の値である場合があり、または他の実施形態では何らかの最低限のデフォルト値である場合がある。

このより低い分解能の区域に対する利用可能な帯域幅が、第１のしきい値により指示されるような利用可能である帯域幅より低い場合、高分解能区域に対するフレームレートは適合されなければならず、あるいは、低品質区域に対する色空間が適合される場合がある。図３では、両方の選択肢が並列に置かれている。次に高品質区域に対する計算されたフレームレートが低すぎて、しきい値２より低い場合、および、低品質区域の色空間が同様に低すぎる場合、高品質区域の色空間が適合される。その後すべての適合された値が、大域的な適合されたフレームレート、ならびに高品質および低品質の部分のフレームレートの計算のための次の反復のステップにおいて再び使用されることになり、ついには低品質部分に対する決定されたフレームレートが受け入れ可能なものになる。この段階で、このように提供されるパラメータがＡＶＰとして出力される。

これが単にＡＶＰパラメータの計算に関する例示的な実施形態であったということ、および多くの他の可能性が存在するということは当業者には明白である。いくつかの実施形態ではさらに、高分解能区域に対する適合された値が、ＱＲ要件および利用可能な帯域幅等を考慮して計算されることになる。

サーバ側の画像処理アルゴリズムにより要求されるビデオ品質情報および空間区域範囲設定に基づいて、動的ビデオコントローラＤＶＣは、異なる複数の領域、色空間符号化、部分画像分解能等に対するフレームレートに対して適合された値をこのように算出することが可能である。これらの適合されたビデオパラメータは、ＡＶＰと表示され、動的ビデオコントローラＤＶＣにより時空間ビデオ品質適合器ＳＴＡに提供される。

この時空間ビデオ品質適合器ＳＴＡは、動的ビデオコントローラによりリアルタイムで提供されるこれらの指定された決定されたパラメータを入力として入手し、それに応じて入力ビデオビットストリームを適合させる。

ビデオＶ自体の適合は、適合されることになる異なる複数の区域を識別するマスクを各々のフレームに関して算出することにより遂行され得るものであり、したがってこれらの区域は、場合によってはｘおよびｙの初期値により指示されたようなものとは異なり、品質が低下させられ得る区域は、品質がその元の値を維持することが可能である区域とは別個に適合される。その後両方の部分は、新しいフレームの統合または構築のいずれかを行うために使用される。このことは、高品質区域が低品質区域と比較されるとより高いフレームレートを有する場合の事例である。この適合されたビデオは、ＡＶと表示され、次に、適合されたビデオ入力ビットストリームを圧縮およびカプセル化する符号化器、例えば従来のＨ．２６４ＭＰＥＧ符号化器に提供される。符号化器の出力は、図１ａでＥＡＶと表示される符号化され適合されたビデオである。

代替実施形態では符号化およびビデオ適合は、図４に示されるような統合されたステップで行われ得る。この実施形態では、ＳＴＡおよび符号化器ＥＮＣの動作は単一のデバイスに統合される。この統合された実装形態は、得られたＡＶＰパラメータを入力として使用しており、符号化器マネージャは、低品質区域適合器／符号化器に、ＡＶＰＬＱと表示される低品質区域に対するＡＶＰパラメータを発送し、一方でＡＶＰＨＱと表示される高品質区域に対するＡＶＰパラメータが、高品質区域適合器／符号化器に発送される。

適合ステップの間、ビデオ記述器ＶＤと表示される追加的なモジュールが、符号化されたビデオの対応するメタデータをさらに生成し得る。これらのメタデータは、各々のフレームの開始バイト、フレームの長さ、高品質を伴う部分画像の局在場所などの情報を含む。ＶＤモジュールは、各々のフレーム内の検出される物体の位置を全体的に記述するＤＯメタデータを受信する。ＭＤメタデータは、この情報を、分解能、色の数等のような符号化パラメータによってさらに完全なものにする。このことは、物体認識アルゴリズムのいくつかは色に基づくので、引き続く物体認識手順の間に役立つ場合がある。加えて、物体認識を遂行すべきフレームの内部の実際の領域がどれであるかを物体認識モジュールに指示することがさらに役立つ場合がある。これらの実際の座標は、ＤＯメタデータに存在するような、より早期に決定された粗い指示とは異なる場合がある。そのような追加的なＶＤモジュールは、図１ｃ−ｄの実施形態に示されている。

図１ｃ−ｄでＭＤと表示されるこれらのメタデータが生成される場合、それらは、図１ｃ−ｄのＥＮＣと表示される追加的なカプセル化ステップの間に、符号化され適合されたビデオに付加され得る。そのようなビデオカプセル化器は、符号化され適合されたビデオビットストリームおよびメタデータビットストリームをコンテナに入れ、図１ｃ−ｄに示されるようにアプリケーションサーバＡＳにデータを送出する。

このアプリケーションサーバは、ＥＡＶまたはＥＥＡＶを復号化するための復号器ＤＥＣ、および、復号化された適合されたビデオストリームＡＶの特定の一部分に関して複雑な物体または事象を認識することを担当するビデオ物体認識器ＶＯＲなどのアプリケーションモジュールを備える受信器デバイスＲＤを備え得る。

立ち上げ時にそのようなビデオ物体認識器ＶＯＲは、その能力を説明し、物体または事象を認識可能であるために必要なその画像品質要件をリポジトリＲに登録することが可能である。これらのパラメータは例えば、物体の最低限のサイズ、物体と画像のへりとの間の最低限の距離、色彩要件、露出の特性、鮮明度等を指定する。

メタデータが最終的なカプセル化ステップの間に付加された、符号化され適合されたビデオファイルＥＥＡＶの受信の際に、ＶＯＲは、メタデータにより指定されるようなフレームのこれらの一部分に認識処理を制約するように、メタデータＭＤを前もって使用することが可能である。あるいはビデオ物体認識器は、メタデータが、符号化され適合されたビデオストリームＥＡＶにおいて提供されなかった場合、検出処理自体を含む認識全体を遂行する可能性がある。したがって図１ａ−ｂに示されるようなこの解決策は、実施形態が図１ｃ−ｄに示される、前に説明された解決策ほど最適ではないことになる。

認識処理の間、サブフレームから抽出される特徴部は、物体を識別するためにデータベースのデータと比較され得る。物体が認識されるならば、物体記述が生成され、本文献で説明されない異なる他のアプリケーションにより使用され得る。この記述は、適合されたビデオビットストリームにさらに付加され得るものであり、そのビットストリームは、再度符号化され、別の端末ＭＴＲに関する別のユーザに転送され得る。このように修正され符号化されたビデオビットストリームは、図１ａ−ｂではＥＡＶＭと、および図１ｃ−ｄではＥＥＡＶＭと表示される。

図５ａ−ｂは、受信器デバイスがアプリケーションサーバの一部分ではなく、別の端末ＭＴ２の一部分である、または別の端末ＭＴ２からなる方法の実施形態を示す。さらにこれらの実施形態では受信器デバイスＭＴ２は、受信され符号化され適合されたビデオストリームＥＡＶまたは受信され符号化され拡張され適合されたビデオストリーム（図５ａ−ｂには示されない）を復号化するための復号器ＤＥＣを備える。遠隔医療アプリケーションの例に関しては、復号化されたビデオがディスプレイに送出され、そのディスプレイ上で医師または専門家が、適合されたビデオを確認し、自分自身で判断を行うことが可能である。移動端末であり得る、むしろ必然的に移動端末でなければならないこの第２の端末ＭＴ２が自動物体検出モジュールを備える場合、やはりこのモジュールは、図１ａ−ｄに関してアプリケーションサーバで行われたのと同様の形で自動物体検出を遂行することが可能である。

図２ａ−ｂは、図１ａ−ｄでの実施形態で遂行される異なる複数のステップを含む方法の実施形態を説明し、一方で図２ｃは、図５ａ−ｂの実施形態に対する事例であるような、後での人による判断のためにビデオが適合されるだけである場合でのステップを説明する。ステップ１０００は、ステップ２００および６５０および７５０と同様に随意である。

すべてのこれらの実施形態に対して、円滑な動作、ビデオ物体検出器、動的ビデオコントローラ、および時空間ビデオ品質適合器の間の良好な同期が必要とされることは明白である。当業者はこれを得るための技法に関して知識があり、図面に描き過ぎないように、そのような同期を実現するための制御モジュールは図面には示されない。

第１の移動端末からアプリケーションサーバへの、および別の移動端末への符号化され適合されたビデオビットストリームの送信のために使用されるネットワークが、任意のタイプの電気通信ネットワークまたはデータネットワークであり得ることもまた明らかである。そのようなネットワークまたはネットワークの一部分は、任意の１つまたは複数の異なる、有線／ＲＦケーブル、ＲＦワイヤレスなどの送信媒体、および／または、ＳＯＮＥＴ、ＤＯＣＳＩＳ、ＩＥＥＥ規格８０２．３、８０２．１１、８０２．１５、８０２．１６、ＡＴＭ、Ｘ．２５、フレームリレー、３ＧＰＰ、３ＧＰＰ２、ＷＡＰ、ＳＩＰ、ＵＤＰ、ＲＴＰ、Ｈ．３２３、ＬＴＥ等のような通信プロトコルもしくはネットワーキングプロトコルを利用することが可能である。

本発明の原理が特定の装置に関して上記で説明されたが、この説明は、実施例にすぎず、添付される特許請求の範囲で定義されるような本発明の範囲に関する限定としてではなく行われることが明確に理解されるべきである。

Claims (12)

1. 受信器による適合されたビデオストリームの受信の際に遂行されることになる引き続くアプリケーションを容易にするために入力ビデオストリーム（Ｖ）を適合させるための方法であって、品質要件パラメータ（ＱＲ）、帯域幅制限パラメータ（ＢＷ）、および空間パラメータ（ｘ、ｙ）から制御パラメータ（ＡＶＰ）を決定するステップと、前記制御パラメータ（ＡＶＰ）によって前記入力ビデオストリーム（Ｖ）の時空間適合を遂行して、そのことにより、前記受信器へのプロビジョニングのための前記適合されたビデオストリーム（ＡＶ）を生成するステップとを含む、方法。
2. 前記時空間適合が、前記アプリケーションに関して関連性のない前記入力ビデオストリームの複数の画像の区域の分解能を、前記アプリケーションに関連性のある前記入力ビデオストリームの前記画像のこれらの区域に対して減少することにより遂行される、請求項１に記載の方法。
3. 前記時空間適合が、前記アプリケーションに関して関連性のない前記入力ビデオストリームの画像の部分のフレームレートを、前記アプリケーションに関して関連性のある前記入力ビデオストリームの画像のこれらの部分に対して減少することにより遂行される、請求項１または２に記載の方法。
4. 前記アプリケーションが物体認識のステップを含む、請求項１から３のいずれか一項に記載の方法。
5. 入力ビデオストリーム（Ｖ）を適合させるためのビデオ適合デバイス（ＶＡＤ）であって、前記入力ビデオストリーム（Ｖ）の時空間適合を遂行するときに使用されて、そのことにより、適合されたビデオストリーム（ＡＶ）を生成するための制御パラメータ（ＡＶＰ）を決定するように構成され、前記ビデオ適合デバイス（ＶＡＤ）に提供される品質要件パラメータ（ＱＲ）、帯域幅制限パラメータ（ＢＷ）、および空間パラメータ（ｘ、ｙ）から前記制御パラメータ（ＡＶＰ）を計算するようにさらに構成される、ビデオ適合デバイス（ＶＡＤ）。
6. 前記空間パラメータ（ｘ、ｙ）により規定される領域の外側の前記入力ビデオストリームの複数の画像の区域の分解能を減少することにより、前記時空間適合を遂行するようにさらに構成される、請求項５に記載のビデオ適合デバイス（ＶＡＤ）。
7. 前記空間パラメータにより規定される領域の外側の前記入力ビデオストリームの画像の部分のフレームレートを減少することにより、前記時空間適合を遂行するようにさらに構成される、請求項５または６に記載のビデオ適合デバイス（ＶＡＤ）。
8. 前記入力ビデオストリームに関して物体検出演算を遂行して、そのことにより、検出された物体特徴部（ＤＯ）を生成するようにさらに構成される、請求項５から７のいずれか一項に記載のビデオ適合デバイス（ＶＡＤ）。
9. 請求項５から８のいずれかに記載のビデオ適合デバイス（ＶＡＤ）と、適合されたビデオストリーム（ＡＶ）を符号化し、そのことにより、符号化され適合されたビデオストリーム（ＥＡＶ）を提供するための符号化器（Ｅ）と、通信ネットワークを経由して受信器デバイス（ＡＳ；ＭＴ２）に向けて前記符号化され適合されたビデオストリーム（ＥＡＶ）をさらに送信するための手段とを備える、端末（ＭＴ１；ＭＴ１’）。
10. 前記ビデオ適合デバイス（ＶＡＤ）に結合され、前記端末（ＭＴ１）のカプセル化デバイス（ＥＮＤ）へのプロビジョニングのために前記検出された物体特徴部（ＤＯ）からメタデータ（ＭＤ）を生成するように構成されるビデオ記述器手段（ＶＤ）をさらに備え、前記カプセル化デバイス（ＥＮＤ）が、前記受信器デバイス（ＡＳ）へのプロビジョニングのために、前記符号化され適合されたビデオストリーム（ＥＡＶ）および前記メタデータ（ＭＤ）から、拡張され符号化され適合されたビデオパケット（ＥＥＡＶ）を生成するように構成される、請求項８および９に記載の端末（ＭＴ１’）。
11. 請求項９または１０に記載の端末（ＭＴ１；ＭＴ１’）に通信可能に結合される、通信ネットワークのアプリケーションサーバ（ＡＳ）であって、前記アプリケーションサーバのアプリケーションサービス（ＶＯＲ）モジュールへのプロビジョニングのために前記符号化され適合されたビデオストリーム（ＥＡＶ）を復号化するための復号器（ＤＥＣ）であり、前記アプリケーションサービスモジュール（ＶＯＲ）が前記適合されたビデオストリームに関してアプリケーションを遂行するように構成される復号器（ＤＥＣ）を備え、前記アプリケーションサービスモジュールに対する要件パラメータを記憶するための、および、前記品質要件パラメータ（ＱＲ）として前記要件パラメータを前記端末（ＭＴ１；ＭＴ１’）の前記ビデオ適合デバイス（ＶＡＤ）に提供するための手段（Ｒ）を備える、アプリケーションサーバ（ＡＳ）。
12. 前記アプリケーションサービスモジュールが、前記適合されたビデオストリーム（ＡＶ）に関して物体認識を遂行するように構成されるビデオ物体認識モジュール（ＶＯＲ）を備える、請求項１１に記載のアプリケーションサーバ（ＡＳ）。

Images