JP2008546224A5 - - Google Patents

Claims (69)

1. 複数参加者を含むテレビ会議中に画像を符号化する方法であって、
   少なくとも２つの参加装置からの少なくとも２つのサブ画像を備える合成画像を生成し、
   各サブ画像を別個に制約符号化することを含み、前記制約符号化は、各サブ画像の符号化を他のサブ画像の符号化とは無関係にする制約のセットに基づいて前記サブ画像を符号化することを含むことを特徴とする方法。
2. 前記符号化は、ブロック間符号化動作に対して動き推定処理を実行することを含み、
   前記制約のセットは、前記動き推定処理中に使用される探索ウィンドウの場所に対する制約を含むことを特徴とする請求項１に記載の方法。
3. 前記動き推定処理の実行は、
   目標サブ画像内で探索を実行し、
   前記場所に対する制約は、前記探索ウィンドウを前記目標サブ画像内に位置付けることを要求することを特徴とする請求項２に記載の方法。
4. 部分的に前記目標サブ画像の外側に位置する探索ウィンドウを識別し、
   全体が前記目標サブ画像内に位置するように前記識別された探索ウィンドウをトリミングすることを更に含むことを特徴とする請求項３に記載の方法。
5. 少なくとも部分的に前記目標サブ画像の外側に位置する探索ウィンドウを識別し、
   全体が前記目標サブ画像内に位置するように前記識別された探索ウィンドウを移動することを更に含むことを特徴とする請求項３に記載の方法。
6. 前記符号化は、サブ画素位置に位置合わせされるブロックを検査することを含み、
   前記制約のセットは、サブ画素位置に位置合わせされるブロックが検査され得る領域に対する制約を含むことを特徴とする請求項１に記載の方法。
7. 前記検査は、画素のセットに対応する画像値のセットに対して補間動作を実行することを含むことを特徴とする請求項６に記載の方法。
8. サブ画像間の境界領域のセットを確立することを更に含み、前記境界領域の大きさは、前記補間動作に使用される前記画素のセットの画素数により判定される請求項７に記載の方法。
9. 特定の境界領域内にある複数のサブ画素位置に位置合わせされるブロックの検査を行なわないことを更に含むことを特徴とする請求項８に記載の方法。
10. 前記境界領域内で検査されない前記ブロックは、複数の１／２画素位置に位置合わせされる複数のブロックである請求項９に記載の方法。
11. 前記境界領域内にあり且つ当該境界領域内の２つの整数画素位置の間に位置付けられる複数の１／２画素位置に位置合わせされる複数のブロックを検査することを更に含むことを特徴とする請求項１０に記載の方法。
12. 前記境界領域内で検査されない前記ブロックは、１／４画素位置に位置合わせされる複数のブロックであることを特徴とする請求項９に記載の方法。
13. 前記境界領域内にあり且つ当該境界領域の２つの整数位置内の整数画素位置及び１／２画素位置を利用して補間される複数の１／４画素位置に位置合わせされる複数のブロックを検査することを更に含むことを特徴とする請求項１２に記載の方法。
14. 前記制約符号化は、
    特定のサブ画像の画素セットに対してイントラ予測を実行し、
    前記特定のサブ画像の外側に位置する画素のセットを前記イントラ予測から除外することを含むことを特徴とする請求項１に記載の方法。
15. 特定のサブ画像の前記符号化中にループフィルタ動作を実行し、
    前記特定のサブ画像にない画素を前記ループフィルタ動作から除外することを更に含むことを特徴とする請求項１に記載の方法。
16. 少なくとも２人の参加者間のテレビ会議において映像コンテンツを配信する方法であって、
    ブロック内符号化データを介して第１の参加装置の画像データのリフレッシュを要求する条件を検出し、
    前記第１の参加装置の第１の画像の一部分をブロック内符号化し、
    前記第１の画像の前記ブロック内符号化された部分を第２の参加装置に送信し、
    前記第１の参加装置の第２の画像の第１の部分をブロック内符号化し、
    前記第２の画像の前記ブロック内符号化された部分を前記第２の参加装置に送信することを含み、
    前記第１及び第２の画像の前記ブロック内符号化された部分は、前記第１の参加装置の画像データを少なくとも部分的にリフレッシュすることを特徴とする方法。
17. 前記第２の画像の第２の部分をブロック間符号化し、前記第２の部分の前記ブロック間符号化を前記第２の参加装置に送信することを更に含み、前記第２の部分はブロック内符号化された前記第１の画像の前記部分に対応することを特徴とする請求項１６に記載の方法。
18. 少なくとも２人の参加者間のテレビ会議において映像コンテンツを配信する方法であって、
    第１の参加装置において長期参照フレームを格納し、
    第２の参加装置により送信された映像データを前記第１の参加装置がドロップしたことを、第２の参加装置に通知し、
    前記第２の参加装置からブロック間符号化データを受信することを含み、前記ブロック間符号化データは前記長期参照フレームを参照して規定されることを特徴とする方法。
19. 複数の参加者を有するテレビ会議において、特定の参加者のコンピュータが中央配信装置となり、前記中央配信装置により映像コンテンツを配信する方法であって、
    前記特定の参加者の前記コンピュータにおいて、
    各参加装置から参加者ビデオ画像を受信し、
    前記受信した参加者画像から合成画像を生成し、
    前記合成画像を他の参加装置に送信することを含むことを特徴とする方法。
20. 前記中央配信装置はデータ記憶装置を備え、前記方法は、受信した参加者画像の各々を前記データ記憶装置に配置することを更に備え、受信した参加者画像の各々は他の参加者画像のいずれともインターリーブされないことを特徴とする請求項１９に記載の方法。
21. 特定の参加装置の各々に対して別個の合成画像を作成し、
    前記特定の参加装置へ別個の合成画像を送信する前に、前記特定の参加装置に対する別個の合成画像から、前記特定の参加装置の受信した参加者画像を除去することとを更に含む請求項１９に記載の方法。
22. 各特定の参加装置の別個の合成画像において除去された前記特定の参加装置からの画像の代わりにインディケータを配置することを更に含む請求項２１に記載の方法。
23. 特定の合成画像を前記特定の参加装置へ供給することを更に有し、参加者画像は、（ａ）前記特定の参加装置において撮影され、（ｂ）前記特定の合成画像とともに前記特定の参加者装置の画面に描画される、請求項２１に記載の方法。
24. 特定の合成画像は複数の画素セットを含み、各画素セットは前記画素セットと関連する特定の参加者画像を識別する識別子を有し、前記画素セットの識別子は、前記送信された合成画像内に含まれる前記参加者画像を識別するために利用される請求項１９に記載の方法。
25. 前記合成画像を生成する前に、受信した特定の参加者画像をサイズ変更することを更に含む請求項１９に記載の方法。
26. 前記合成画像を生成する前に前記受信したビデオ画像を保存し、
    特定の参加装置の特定の受信したビデオ画像を、保存されている前記特定の参加装置からの先のビデオ画像と比較し、
    前記受信したビデオ画像と前記保存された先に受信したビデオ画像とが同一でない場合に、前記合成画像を生成する際に前記受信したビデオ画像を利用することを更に含むことを特徴とする請求項１９に記載の方法。
27. 多人数参加型テレビ会議のための中央配信装置であって、ここで、前記中央配信装置は特定の参加者のコンピュータの一部であり、
    ａ）前記テレビ会議の参加装置のセットから受信されるビデオ画像を復号化する復号器のセットと、
    ｂ）前記復号化したビデオ画像から合成ビデオ画像を生成する合成エンジンと、
    ｃ）前記合成ビデオ画像を符号化する少なくとも１つの符号器とを具備することを特徴とする中央配信装置。
28. 前記合成エンジンが復号化ビデオ画像のセットに基づいて合成ビデオ画像を生成する前に、前記復号化ビデオ画像のセットを格納する中間バッファのセットを更に具備することを特徴とする請求項２７に記載の中央配信装置。
29. 前記合成エンジンが合成ビデオ画像を生成するレートを調整するフレームレートコントローラを更に具備することを特徴とする請求項２７に記載の中央配信装置。
30. 特定の参加装置に送出される合成ビデオ画像から前記特定の参加装置の画像を除去する冗長性除去器を更に具備することを特徴とする請求項２７に記載の中央配信装置。
31. 多人数参加型テレビ会議において映像コンテンツを受信及び送信するアーキテクチャであって、
    ａ）非焦点位置モジュールのセットと、
    ｂ）前記非焦点位置モジュールのセットからビデオ画像を受信し且つ前記非焦点位置モジュールのセットに合成ビデオ画像を送信する焦点位置モジュールのセットを有し、各合成ビデオ画像は、(i)少なくとも１つの非焦点位置モジュールから受信された、及び(ii)前記焦点位置モジュールでローカルに受信された複数のビデオ画像の合成であることを特徴とするアーキテクチャ。
32. 前記焦点位置モジュールは、更に、特定の参加装置に送出される合成ビデオ画像から前記特定の参加装置の画像を削除することを特徴とする請求項３１に記載のアーキテクチャ。
33. テレビ会議において映像コンテンツを配信するコンピュータプログラムを格納するコンピュータ可読媒体であって、前記会議は複数の参加者を有し、１つの特定の参加者のコンピュータがビデオコンテンツの中央配信装置であり、前記コンピュータプログラムは前記コンピュータ上で実行されるものであって、
    各参加装置から参加者ビデオ画像を受信し、
    前記受信した参加者画像から合成画像を生成し、
    前記合成画像を前記参加装置に送信する命令のセットを含むことを特徴とするコンピュータ可読媒体。
34. 前記中央配信装置はデータ記憶装置を含み、前記コンピュータプログラムは、前記受信した参加者画像の各々を前記データ記憶装置に配置するための命令のセットを更に含み、前記受信した参加者画像の各々は他の受信した参加者画像とインターリーブしないことを特徴とする請求項３３に記載のコンピュータ可読媒体。
35. 前記コンピュータプログラムは、
    特定の参加装置の各々に対して別個の合成画像を作成し、
    特定の参加装置の別個の合成画像を前記特定の参加装置に送信する前に、前記特定の参加装置から受信した参加者画像を、前記特定の参加装置のための特定の合成画像から除去する、命令のセットを更に含むことを特徴とする請求項３３に記載のコンピュータ可読媒体。
36. 前記コンピュータプログラムは、前記合成画像を生成する前に特定の受信した参加者画像をサイズ変更する命令のセットを更に含むことを特徴とする請求項３３に記載のコンピュータ可読媒体。
37. 前記補間動作は水平方向及び垂直方向の画素のセットに対して実行されることを特徴とする請求項７に記載の方法。
38. 垂直方向の画素の特定のセットは、特定のサブ画像内の画素のみを含むことを特徴とする請求項３７に記載の方法。
39. 水平方向の画素の特定のセットは、２つ以上のサブ画像にわたる垂直方向の補正動作によってのみ生成されるサブ画素の値を含まないことを特徴とする請求項３７に記載の方法。
40. 前記補間動作は、水平方向の画素のセットに対して実行され、水平方向の特定の画素のセットは、１つの特定のサブ画像の境界領域を含むことを特徴とする請求項８に記載の方法。
41. 前記ビデオ会議はピアツーピア会議であることを特徴とする請求項１６に記載の方法。
42. 前記第１及び第２の画像は、Ｉフレームの第１及び第２の部分であることを特徴とする請求項１６に記載の方法。
43. 前記条件は、前記第１の参加装置から前記第２の参加装置への伝送エラーであることを特徴とする請求項１６に記載の方法。
44. 前記第１及び第２の画像の前記ブロック内符号化部分は、前記第１の参加者の画像データの全体をリフレッシュすることを特徴とする請求項１６に記載の方法。
45. 前記第１の参加者の少なくとも第３の画像の部分をブロック内符号化し、
    前記第３の画像のブロック内符号化された前記部分を前記第２の参加者へ送信することを更に含み、
    前記第１、第２および第３の画像の前記ブロック内符号化された部分は、前記第１の参加装置の画像データを少なくとも部分的にリフレッシュすることを特徴とする請求項１６に記載の方法。
46. 前記第１、第２および第３の画像の前記ブロック内符号化された部分は、前記第１の参加装置の画像データの全体をリフレッシュすることを特徴とする請求項４５に記載の方法。
47. 前記ビデオ会議はピアツーピア会議であることを特徴とする請求項１８に記載の方法。
48. 前記長期参照フレームは前記第２の参加装置にも格納されることを特徴とする請求項１８に記載の方法。
49. 前記長期参照フレームはＩフレーム及びＰフレームの１つであることを特徴とする請求項１８に記載の方法。
50. 前記中央配信装置のビデオ画像を前記生成された合成画像に含ませることを更に備える請求項１９に記載の方法。
51. 前記受信したビデオ画像と前記保存されたビデオ画像が同一である場合、前記特定の参加者のビデオ画像を含ませることなく前記合成画像を生成する請求項２６に記載の方法。
52. 復号されたビデオ画像を受信し、前記復号されたビデオ画像から前記合成エンジンが符号化された合成画像を生成する前に前記復号されたビデオ画像のサイズを変更するサイズ変更部を更に備える請求項２７に記載の装置。
53. 複数の参加者を有するビデオ会議のための参加者モジュールを提供する方法であって、
    デコーダであって、
    少なくとも２つの異なる参加者の別個のサブ画像を含む符号化された合成画像を受信し、ここで、１つのサブ画像の画像情報は他のサブ画像の画像情報に依存せず、
    別個のサブ画像の各々を分離した画像として抽出するために、前記符号化された合成画像を復号する、デコーダを提供し、
    前記抽出されたサブ画像を表示するローカル画像コントローラを提供することを特徴とする方法。
54. 特定のサブ画像を表示する前に、当該特定のサブ画像に対する変換を実行するパースペクティブ調整器を提供することを更に備え、前記変換は少なくとも歪曲及びリサイズの少なくとも１つを含むことを特徴とする請求項５３に記載の方法。
55. 前記参加者モジュールは、ビデオコンテンツの中央配信装置ではないことを特徴とする請求項５３に記載の方法。
56. 前記ローカル画像コントローラは、特定の参加者のサブ画像が有効でない場合に、当該特定の参加者の代替物を表示することを特徴とする請求項５３に記載の方法。
57. 複数の参加装置を有するビデオ会議のための参加者モジュールを提供する方法であって、１つの参加装置はビデオコンテンツの中央配信装置であり、
    複数のローカルビデオ画像を受信するローカルキャプチャ構成を提供し、
    第１のローカルビデオ画像と後続の第２のローカルビデオ画像とを比較する差分比較モジュールを提供し、ここで、前記第１のビデオ画像は前記中央配信装置へ送信されており、
    前記差分比較モジュールが前記第１と前記第２のビデオ画像が異なると判断した場合に、前記第２のビデオ画像を前記中央配信装置へ送信するエンコーダモジュールを提供することを含むことを特徴とする方法。
58. 前記エンコーダモジュールは、前記差分比較モジュールが、前記第１と第２のビデオ画像は所定の閾値以上に類似していると判断した場合、前記第２のビデオ画像を送信しないことを特徴とする請求項５７に記載の方法。
59. 複数の参加者を有するビデオ会議において２重の送信を排除する方法であって、
    前記複数の参加者からの符号化された複数のビデオ画像を受信し復号するデコーダのセットを提供し、
    前記受信された符号化されたビデオ画像の特定のビデオ画像が、以前に特定の参加者へ送信されたビデオ画像よりも新しいかどうかを判断するために、前記受信された符号化されたビデオ画像を評価するフレームレート制御モジュールを提供し、
    前記特定の画像が前記以前に送信された画像よりも新しい場合に、前記特定の画像を符号化して前記特定の参加者へ送信するエンコーダを提供することを含むことを特徴とする方法。
60. 前記特定の画像と前記以前に送信された画像の各々はタイムスタンプが関連付けられ、どちらの画像が新しいかを判断するために、前記特定の画像のタイムスタンプと前記以前に送信された画像のタイムスタンプとが比較されることを特徴とする請求項５９に記載の方法。
61. 複数の参加者を有するビデオ会議のためのビデオコンテンツの中央配信装置からビデオを配信する方法であって、
    前記ビデオ会議の参加者のセットからビデオ画像を受信し復号するデコーダのセットを提供し、ここでビデオコンテンツの前記中央配信装置は前記ビデオ会議の参加者であり、
    前記復号されたビデオ画像から複数の異なる合成ビデオ画像を生成する合成エンジンを提供し、
    前記合成されたビデオ画像を符号化するエンコーダを提供することを含むことを特徴とする方法。
62. 複数の参加装置とビデオコンテンツの中央配信装置とを有するビデオ会議においてビデオコンテンツを配信する方法であって、
    前記複数の参加装置のサブセットから複数のインターエンコードされたビデオ画像を受信し、
    特定の参加装置から期待しているインターエンコードされたビデオ画像が受信されていない状態を検出し、
    前記特定の参加装置からのイントラエンコードされたビデオ画像を要求し、
    要求したイントラエンコードされたビデオ画像を受信し、
    前記特定の参加装置のイントラエンコードされた受信された画像を備える合成ビデオ画像を、前記複数の参加者の前記サブセットへ送信することを含むことを特徴とする方法。
63. 前記期待されたインターエンコードされたビデオ画像はＰフレームであり、前記要求されたイントラエンコードされたビデオ画像はＩフレームであることを特徴とする請求項６２に記載の方法。
64. 前記送信された合成ビデオ画像は、前記複数の参加装置の前記サブセットにおける少なくとも１つの参加装置からの前記インターエンコードされたビデオ画像を備えることを特徴とする請求項６２に記載の方法。
65. 前記特定の参加者の前記コンピュータにおいて、前記特定の参加者のローカルなビデオ画像を受信することを更に含み、前記合成画像は前記ローカルなビデオ画像を備える、ことを特徴とする請求項１９に記載の方法。
66. 前記焦点位置モジュールは前記ビデオ会議の特定の参加者のコンピュータの一部であることを特徴とする請求項３１に記載のアーキテクチャ。
67. 前記コンピュータプログラムは、更に、前記特定の参加者の前記コンピュータにおいて、前記特定の参加者のローカルなビデオ画像を受信するための命令のセットを更に備え、前記合成画像は前記ローカルなビデオ画像を備える、ことを特徴とする請求項３３に記載の方法。
68. 少なくとも１つのプロセッサによって実行可能なコンピュータプログラムを格納した記憶媒体であって、請求項１乃至１８、２２乃至２４、２６乃至３２及び３７乃至６６のいずれか１項に記載の方法を少なくとも１つのプロセッサに実行させるコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体。
69. 請求項１乃至６７のいずれか１項に記載の方法を実行する手段を備えたコンピュータシステム。