JP2005130251A - 映像配信システム - Google Patents

Abstract

【課題】
共通の映像を複数視聴者に配信する際に、伝送データ量を抑えつつ、各視聴者の注視領域を鮮明に配信し得る映像配信システムを実現する。
【解決手段】
視聴者の注視領域を映像表示装置の注視領域検出手段で検出し、当該検出した注視領域に対応する映像領域の符号化品質を向上させる。さらに、複数の映像表示装置それぞれで検出した複数の注視領域に対応する分割映像データの符号化品質をそれぞれ向上させるとともに、配信の際には、各映像表示装置個別の注視領域に対応する分割映像データのみを向上させた符号化品質のまま配信し、他の映像表示装置の注視領域に対応する上記分割映像データは標準的な符号化品質で配信するようにしたことにより、システム全体の伝送データ量を抑えつつ、視聴者の注視領域の画像を鮮明に配信し得る映像配信システムを実現できる。
【選択図】 図７

Description

本発明は映像配信システムに関し、映像を符号化して複数の視聴者に配信する場合に適用して好適なものである。

従来、ネットワークや放送等を介して、離れた地点の映像を複数の利用者で共用して視聴するシステムが一般化している。ＩＳＤＮ（Integrated Services Digital Network）やインターネット等を用いた多地点テレビ会議システム、スポーツ競技の多人数での視聴、監視カメラシステム等はその一例である。

一方、大量の計算処理を必要とする分野において、複数の計算機を高速ネットワークで接続して分散処理を行う、いわゆるクラスタ処理が一般化しつつある。このクラスタ処理によって、高価な高性能計算機と同等の処理を、より安価な構成で実行することができる。一般に高画質データの圧縮処理にあたっては、大量の計算が必要であり、これを安価に実現する手段としてクラスタ処理を適用することが考えられる（例えば、特許文献１参照）。
特開２０００−３００４７公報

ここで、同一の映像を複数の視聴者が同時視聴する場合、映像における各視聴者の関心領域（興味を持つ部分）がそれぞれ異なる場合がある。例えば、スポーツ中継において各視聴者がそれぞれ特定の選手をより鮮明に視聴したい場合や、テレビ会議システムにおいて特定の会議参加者の挙動をより鮮明に視聴したい場合、あるいは監視カメラシステムの監視画像内において特定の領域をピックアップして鮮明に監視したい場合等が挙げられる。

画像を鮮明に視聴させるためには、一般的には伝送する画像のデータ量を増やす必要があるが、ネットワーク等の帯域が限られたシステム系内では伝送データ量を不用意に増加させることは望ましくないという問題がある。

また、不特定多数の複数視聴者を前提にする場合、動画像の圧縮方法によっては画像品位と計算処理負荷とがトレードオフの関係にある場合もあり、このときシステム負荷は動的に変化することが予想されるが、このようなシステム負荷の変動を予期してシステムのスペックを過大に構築することは、コストや計算機資源の有効活用の観点からみて無駄が多いという問題がある。

このような用途に、上述したクラスタ処理を適用することが考えられるが、しかしながらクラスタ処理では、各計算機毎にその計算処理が管理され、また複数の計算処理が並列実行されている場合がほとんどである。このためクラスタ処理を用いて動画像処理をリアルタイムに実行する場合、所定の機体時間内に処理が終了する保証が無いという問題がある。

本発明は以上の点を考慮してなされたもので、共通の映像を複数視聴者に配信する際に、伝送データ量を抑えつつ、各視聴者の注視領域を鮮明に配信し得る映像配信システム及び映像配信方法を提案しようとするものである。

かかる課題を解決するため本発明においては、映像を配信する映像配信装置と、配信された映像を表示する映像表示装置とからなる映像配信システムにおいて、入力された映像データを複数の映像領域に対応して分割し、複数の分割映像データを生成する映像分割手段と、複数の分割映像データをそれぞれ符号化して複数の分割符号化データを生成する符号化手段と、符号化手段を制御する符号化制御手段と、複数の分割符号化データを合成して符号化映像データを生成する合成手段と、符号化映像データを映像表示装置に配信する配信手段とを映像配信装置に設けるとともに、配信された符号化映像データを受信する受信手段と、符号化映像データを復号して映像を表示する復号表示手段と、復号表示手段が表示する映像に対する視聴者の注視領域を検出する注視領域検出手段とを映像表示装置に設け、符号化制御手段は、注視領域検出手段が検出した注視領域に対応する映像領域の割映像データに対する符号化品質を向上させるようにした。

注視領域検出手段が検出した注視領域の符号化品質を選択的に向上させることにより、
システム全体の伝送データ量を抑えつつ、視聴者の注視領域の画像を鮮明に配信することができる。

また、複数の映像表示装置を映像配信システムに設け、符号化制御手段は、複数の映像表示装置それぞれで検出した複数の注視領域に対応する分割映像データに対して符号化品質をそれぞれ向上させるとともに、配信手段は、複数の映像表示装置それぞれに対し、当該映像表示装置個別の注視領域に対応する分割映像データのみを、向上させた符号化品質のまま配信し、他の映像表示装置の注視領域に対応する上記分割映像データは標準的な符号化品質で配信するようにした。

これにより、その視聴者の注視領域のみを向上した画質で配信することができ、システム全体の伝送データ量をさらに抑えつつ、各ユーザの関心領域の画像を鮮明に配信することができる。

上述のように本発明によれば、視聴者の注視領域を注視領域検出手段で検出し、当該検出した注視領域に対応する映像領域の符号化品質を向上させるようにしたことにより、システム全体の伝送データ量を抑えつつ、視聴者の注視領域の画像を鮮明に配信し得る映像像配信システムを実現できる。

また、複数の映像表示装置を映像配信システムに設け、複数の映像表示装置それぞれで検出した複数の注視領域に対応する分割映像データの符号化品質をそれぞれ向上させるとともに、配信の際には、各映像表示装置個別の注視領域に対応する分割映像データのみを向上させた符号化品質のまま配信し、他の映像表示装置の注視領域に対応する上記分割映像データは標準的な符号化品質で配信するようにしたことにより、システム全体の伝送データ量をさらに抑えつつ、視聴者の注視領域の画像を鮮明に配信し得る映像配信システムを実現できる。

以下図面について、本発明の一実施の形態を詳述する。

（１）動画像クラスタ処理システムの全体構成
図１は、本発明による動画像クラスタ処理システム１を示し、サーバＰＣ（Personal Computer）２と、４台のエンコーダＰＣ３Ａ〜３Ｄと、５台のユーザＰＣ４Ａ〜４Ｅとがネットワーク５を介して接続されている。

この、映像配信システムとしての動画像クラスタ処理システム１は、映像配信装置としてのサーバＰＣ２に供給されるアナログ映像信号Ｓ１を、情報処理装置及び符号化手段としてのエンコーダＰＣ３Ａ〜３Ｄを用いたクラスタ処理によってＪＰＥＧ（Joint Photographic cording experts Group）２０００方式でリアルタイム圧縮符号化処理し、映像表示装置としてのユーザＰＣ４Ａ〜４Ｅに配信するようになされている。

サーバＰＣ２においては、当該サーバＰＣ２を統括制御するＣＰＵ１１に対し、メモリ１２、表示部１３、ハードディスクドライブ１４、ネットワークインターフェース１５及びビデオキャプチャ回路１６が、バス１７を介して接続されている。

ハードディスクドライブ１４には、例えばＷｉｎｄｏｗｓ（登録商標）等のオペレーティングシステムや、動画像クラスタ処理プログラム等の各種アプリケーションプログラムが格納されている。ＣＰＵ１１は、サーバＰＣ２の起動に応じてハードディスクドライブ１４からオペレーティングシステムを読み出し、メモリ１２に展開して実行する。

そしてＣＰＵ１１は、オペレーティングシステムの実行環境下において動画像クラスタ処理プログラムを実行し、エンコーダＰＣ３Ａ〜３Ｄに対して動画像の圧縮符号化処理を分散処理させる。

すなわちサーバＰＣ２のビデオキャプチャ回路１６は、外部から供給されるアナログ映像信号Ｓ１をディジタル変換してディジタル映像信号Ｄ１を生成し、これをＣＰＵ１１に供給する。ＣＰＵ１１は動画像クラスタ処理プログラムに従い、ディジタル映像信号Ｄ１の圧縮符号化をエンコーダＰＣ３Ａ〜３Ｄに分散処理させる。

ここでＪＰＥＧ２０００方式は、ディジタル映像信号の圧縮符号化を、ピクチャとしてのフレーム（又はフィールド）毎に完結して行うとともに、各フレームを複数の画像領域に分割して、各画像領域個別に圧縮符号化し得るようになされている。

すなわち図２に示すように、映像分割手段としてのＣＰＵ１１は、例えば７２０×４８０画素でなるディジタル映像信号Ｓ１の各フレームを４分割し、３６０×２４０画素でなる４個のブロックを生成する。さらにＣＰＵ１１は各ブロックを４分割し、１８０×１２０画素でなる１６個のエリアを生成する。ブロック１はエリア１〜４、ブロック２はエリア５〜８、ブロック３はエリア９〜１２、ブロック４はエリア１３〜１６でそれぞれ構成される。

このときＣＰＵ１１は、初期状態として、エリア１〜エリア４をエンコーダＰＣ３Ａに割り当てるとともに、エリア５〜エリア８をエンコーダＰＣ３Ｂに、エリア９〜エリア１２をエンコーダＰＣ３Ｃに、エリア１３〜エリア１６をエンコーダＰＣ３Ｄにそれぞれ割り当てる（この割り当てをアサインと呼ぶ）。そしてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３ＤにＰＣ３Ａに割り当てたエリアの映像データを、それぞれ分割ディジタル映像データＤ２Ａ〜Ｄ２ＤとしてエンコーダＰＣ３Ａ〜３ＤにＰＣ３Ａに順次供給する。

なお、各エンコーダＰＣ３Ａ〜３Ｄに対するエリアのアサインは、後述する関心領域適応符号化処理手順に基づき、各エンコーダＰＣ３の処理負荷に応じて符号化制御手段としてのＣＰＵ１１によって適宜変更される。

エンコーダＰＣ３（３Ａ〜３Ｄ）においては、当該エンコーダＰＣ３を統括制御するＣＰＵ２１に対し、メモリ２２、表示部２３、ハードディスクドライブ２４及びネットワークインターフェース２５がバス２７を介して接続されている。

ハードディスクドライブ２４には、オペレーティングシステムやクラスタアプリケーションプログラム等の各種アプリケーションプログラムが格納されている。ＣＰＵ２１は、エンコーダＰＣ３の起動に応じてハードディスクドライブ２４からオペレーティングシステムを読み出し、メモリ２２に展開して実行する。

そしてＣＰＵ２１は、オペレーティングシステムの実行環境下において動画像符号化プログラムを実行することにより、サーバＰＣ２から供給される分割ディジタル映像データＤ２（Ｄ２Ａ〜Ｄ２Ｄ）をＪＰＥＧ２０００方式で圧縮符号化して分割符号化データＤ３（Ｄ３Ａ〜Ｄ３Ｄ）を生成し、これをサーバＰＣ２に返送する。

合成手段としてのサーバＰＣ２のＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄから返送される分割符号化データＤ３Ａ〜Ｄ３Ｄをフレーム単位で順次合成して、圧縮符号化されたフレームデータの連続でなる符号化映像データを生成する。そして配信手段としてのＣＰＵ１１は、この合成した符号化映像データを、各ユーザＰＣ４Ａ〜４Ｅに対しそれぞれ符号化映像データＤ４Ａ〜Ｄ４Ｅとして配信する。

ユーザＰＣ４（４Ａ〜４Ｅ）においては、当該ユーザＰＣ４を統括制御するＣＰＵ３１に対し、メモリ３２、表示部３３、ハードディスクドライブ３４、ネットワークインターフェース３５及び視線検出部３６が、バス３７を介して接続されている。

ハードディスクドライブ３４には、オペレーティングシステムや動画像表示プログラム等の各種アプリケーションプログラムが格納されている。ＣＰＵ３１は、ユーザＰＣ４の起動に応じてハードディスクドライブ３４からオペレーティングシステムを読み出し、メモリ３２に展開して実行する。

そして受信手段及び復号表示手段としてのＣＰＵ３１は、オペレーティングシステムの実行環境下において動画像表示プログラムを実行することにより、サーバＰＣ２から供給される符号化映像データＤ４（Ｄ４Ａ〜Ｄ４Ｅ）を復号して表示部３３に表示する。

かくして動画像クラスタ処理システム１は、サーバＰＣ２に入力されたアナログ映像信号Ｓ１をエンコーダＰＣ３Ａ〜３Ｄによるクラスタ処理でリアルタイム圧縮符号化処理し、ユーザＰＣ４Ａ〜４Ｅに配信して表示するようになされている。

（２）本発明による関心領域適応符号化
かかる構成に加えてこの動画像クラスタ処理システム１においては、各ユーザＰＣ４Ａ〜４Ｅが、配信映像におけるユーザ（すなわち配信映像の視聴者）が注視している領域（関心領域）をそれぞれ検出し、当該関心領域の符号化品質を選択的に高めて符号化することにより、システム全体の伝送データ量を抑えつつ、各ユーザに対してその関心領域の画像を鮮明に伝送するようになされている。

上述したようにユーザＰＣ４（４Ａ〜４Ｅ）には、そのユーザの視線方向を検出するための視線検出部３６が設けられている。図３に示すように、視線検出部３６は２台のカメラ３６Ａ及び３６Ｂで構成される。カメラ３６Ａ及び３６Ｂは、表示部３３に表示された配信映像を視聴するユーザの顔面をそれぞれ右側及び左側から撮影し得るように、表示部３３との位置関係が選定されている。

カメラ３６Ａ及び３６Ｂは、それぞれ撮影したユーザの右側顔面映像Ｄ６Ｒ及び左側顔面映像Ｄ６Ｌ及をＣＰＵ３１に供給する。注視領域検出手段としてのＣＰＵ３１は所定の視線検出プログラムに従い、予め記憶されている目のテンプレート画像と、右側顔面映像Ｄ６Ｒ及び左側顔面映像Ｄ６Ｌとを照合するテンプレートマッチング処理を行うことにより、当該右側顔面映像Ｄ６Ｒ及び左側顔面映像Ｄ６Ｌにおけるユーザの目の位置を検出する。

さらにＣＰＵ３１は、検出した右側顔面映像Ｄ６Ｒ及び左側顔面映像Ｄ６Ｌにおけるユーザの目の位置に基づいて、当該ユーザの顔面の指向方向（上下角及び左右角）を算出する。そして注視領域検出手段及び注視領域情報送信手段としてのＣＰＵ３１は、算出したユーザの顔面の指向方向と表示部３３の設置位置との関係に基づいて、当該ユーザの顔面が、表示部３３に表示された配信映像のどのエリアに指向しているか（すなわちユーザが
どのエリアを注視しているか）を検出し、当該検出した指向エリアのエリア番号（図２）を、注視領域情報としての関心領域情報Ｄ５（Ｄ５Ａ〜Ｄ５Ｅ）としてサーバＰＣ２に送信する。

ユーザＰＣ４のＣＰＵ１１は、上述したユーザの関心領域抽出処理を、所定間隔毎（例えば３秒毎）に実行する。

ここでＪＰＥＧ２０００方式では、ディジタル映像信号の圧縮符号化処理において画質的な階層符号化（ＳＮＲスケーラビリティ）を行い得るようになされている。そして、この階層符号化によって、符号化データの部分的な抽出による復号が可能である。

図４はＳＮＲスケーラビリティの例を示し、符号化レベルとして、画質がもっとも高いレベル１から画質がもっとも低いレベル４が設定されている。映像をレベル１で符号化した場合、符号化データにはレベル１からレベル４までのデータが含まれる。これらの符号化データをすべて用いて復号を行うと、画質のもっとも高いレベル１の復号映像を得ることができる。同様に、レベル２からレベル４までの符号化データを用いて復号を行うとレベル２の復号映像を、レベル３及びレベル４の符号化データを用いて復号を行うとレベル３の復号映像を、そしてレベル４の符号化データのみを用いて復号を行うと画質のもっとも低いレベル４の復号映像を得ることができる。

また、映像をレベル２で符号化した場合、符号化データにはレベル２からレベル４までの符号化データが含まれ、レベル３で符号化した場合はレベル３及びレベル４の符号化データが、そしてレベル４で符号化した場合はレベル４の符号化データのみが含まれる。

ここで、符号化レベルが高いほど（すなわち符号化ビットレートが高いほど）符号化品質が高く、復号後の画像の画質が向上するが、これに伴い符号化処理の処理時間が長くなる（言い換えれば処理負荷が高くなる）という関係がある。

すなわち図５に示すように、画質がもっとも高いレベル１の符号化ビットレートは２．０[bpp] (Bit Per Pixel) であり、当該レベル１における標準的な符号化処理時間を示す標準符号化時間は、１ブロック当たり４８[msec]である。同様に、レベル２の符号化ビットレートは１．０[bpp] であり、この場合の標準符号化時間は２０[msec]である。また、レベル３の符号化ビットレートは０．５[bpp] であり、この場合の標準符号化時間は２８[msec]である。さらに、画像がもっとも低いレベル４の符号化ビットレートは０．２５[bpp]であり、この場合の標準符号化時間は２０[msec]である。なお、エリア当たりの標準符号化時間は、ブロック当たりの標準符号化時間の約１／４になる。

ＣＰＵ１１は、クラスタ符号化の開始時において、各タイル１〜タイル１６それぞれの符号化レベルを、後述するクラスタ符号化準備処理手順で選択されたレベルに設定する。そしてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄに対し、それぞれに割り当てられたエリア１〜エリア１６を、設定した符号化レベルで符号化するように指示する。

そして注視領域情報受信手段及び符号化制御手段としてのＣＰＵ１１は、各ユーザＰＣ４（４Ａ〜４Ｅ）から関心領域情報Ｄ５（Ｄ５Ａ〜Ｄ５Ｅ）を受信すると、後述する関心領域適応符号化処理手順に基づいて、各エンコーダＰＣ３Ａ〜３Ｄに対し、受信した関心領域情報Ｄ５Ａ〜Ｄ５Ｅで示される関心領域のエリアの符号化レベルを上げる（すなわち符号化品質を上げる）ように指示する。

このときＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄから返送される処理負荷情報に基づいて各エンコーダＰＣ３Ａ〜３Ｄに対するエリアのアサインを適宜変更して、エンコーダＰＣ３Ａ〜３Ｄの処理負荷を平均化し、これによりシステム全体の符号化処理遅延を防止するようになされている。

さらにＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄから返送された分割符号化データＤ３Ａ〜Ｄ３Ｄを合成して各ユーザＰＣ４Ａ〜４Ｅに配信する際、各ユーザＰＣ４Ａ〜４Ｅそれぞれの関心領域情報Ｄ５Ａ〜Ｄ５Ｅに基づいて、各ユーザＰＣ４Ａ〜４Ｅそれぞれに配信する符号化データＤ４Ａ〜Ｄ４Ｄのエリア毎のレベルを個別に調整する。

すなわち、各ユーザＰＣ４Ａ〜４Ｅそれぞれの関心領域のエリアについてはすべてのレベルの符号化データを伝送するのに対し、他のユーザＰＣ４の関心領域及び関心領域以外のエリアについては、初期値のレベル３までのデータのみを伝送する。このため、各ユーザＰＣ４Ａ〜４Ｅそれぞれに対してその関心領域の映像だけを高画質で配信することができ、これによりシステム全体の伝送データ量を抑えつつ、各ユーザに対してその関心領域の画像を鮮明に伝送することができる。

（３）各ＰＣの処理手順
次に、上述した本発明による関心領域適応符号化を行うための、サーバＰＣ２、エンコーダＰＣ３及びユーザＰＣ４それぞれの処理手順を、フローチャートを用いて詳細に説明する。

まず、サーバＰＣ２の処理手順について説明する。サーバＰＣ２のＣＰＵ１１は、実際のクラスタ符号化処理に先立って、各エンコーダＰＣ３Ａ〜３Ｄの符号化処理能力を判定する。すなわちサーバＰＣ２のＣＰＵ１１は、図６に示すクラスタ符号化準備処理手順ルーチンＲＴ１の開始ステップから入って次のステップＳＰ１に移る。ステップＳＰ１においてＣＰＵ１１は、ハードディスクドライブ１４から、予め設定されている複数の符号化レベルを読み出し、次のステップＳＰ２に移る。

ステップＳＰ２においてＣＰＵ１１は、複数の符号化レベルのうちの最高の符号化レベルを選択し、次のステップＳＰ３に移る。

ステップＳＰ３においてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄに対し、ハードディスクドライブ１４から読み出した所定のテスト画像に対する符号化を、選択した符号化レベルで複数回実行させるテスト符号化命令を送出し、次のステップＳＰ４に移る。

ステップＳＰ４においてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄそれぞれのテスト符号化処理時間を測定し、これをエンコーダＰＣ３Ａ〜３Ｄそれぞれの符号化処理能力値として記憶し、次のステップＳＰ５に移る。

ステップＳＰ５においてＣＰＵ１１は、符号化処理能力値に基づいて、各エンコーダＰＣ３Ａ〜３Ｄそれぞれに実際の符号化処理を実行させた場合における、１フレームの符号化処理に要する処理予測時間を算出し、次のステップＳＰ６に移る。

ステップＳＰ６においてＣＰＵ１１は、算出した処理予測時間が１フレーム期間（すなわち３３[msec]）以内であるかを判定する。ステップＳＰ６において処理予測時間が１フレーム期間以内である場合、ＣＰＵ１１はステップＳＰ１０に移り、デフォルトの符号化レベルを変更することなくクラスタ符号化準備処理手順を終了する。

これに対してステップＳＰ６において、処理予測時間が１フレーム期間を超過した場合、このことは現在の符号化レベルの設定では１フレームの符号化が１フレーム期間内に終了しないと予想されることを表しており、このときＣＰＵ１１はステップＳＰ７に移る。

ステップＳＰ７においてＣＰＵ１１は、１フレーム期間に対する処理予測時間の超過割合を算出し、当該超過割合に応じたより低い符号化レベルを選択し、次のステップＳＰ８に移る。

ステップＳＰ８においてＣＰＵ１１は、選択された符号化レベルが存在するか否かを判断する。ステップＳＰ８において、選択された符号化レベルが存在する場合、ＣＰＵ１１はステップＳＰ３に戻り、新たに選択された符号化レベルで再度ステップＳＰ３〜ＳＰ１０を実行する。

これに対してステップＳＰ８において、選択された符号化レベルが存在しない場合、このことはこれ以上符号化レベルを下げることができないことを表しており、このときＣＰＵ１１はステップＳＰ９に移り、各符号化レベルそれぞれに設定されている符号化ビットレートを所定値だけ下げて更新することにより、各符号化レベルそれぞれにおける処理負荷を低減する。

そしてＣＰＵ１１はステップＳＰ２に戻り、更新された符号化レベルに基づいて再度ステップＳＰ２〜ＳＰ１０を実行する。

このようにサーバＰＣのＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄそれぞれの処理能力に応じた符号化レベルを設定した後、配信映像のクラスタ符号化処理を開始する。

すなわちサーバＰＣ２のＣＰＵ１１は、図７に示すクラスタ符号化処理手順ルーチンＲＴ２の開始ステップから入って次のステップＳＰ１５に移る。ステップＳＰ１５においてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄに対し、初期値としての符号化レベルを設定する。このときＣＰＵ１１は、関心領域に対する符号化レベルの向上余地を残しておくため、最高レベル以下でなおかつ１フレーム期間内に処理が終了するもっとも高い符号化レベルを初期値とする。

次のステップＳＰ１６においてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄに対し、初期状態のエリアのアサインを行う。すなわち、エリア１〜エリア４をエンコーダＰＣ３Ａにアサインするともに、エリア５〜エリア８をエンコーダＰＣ３Ｂに、エリア９〜エリア１２をエンコーダＰＣ３Ｃに、エリア１３〜エリア１６をエンコーダＰＣ３Ｄにそれぞれアサインする。

次のステップＳＰ１７においてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄに対してアサインに応じた分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄの供給を開始するとともに、各エンコーダＰＣ３Ａ〜３Ｄに対して設定した符号化レベルでの符号化処理の開始を指示し、次のステップＳＰ１８に移る。

この状態において各エンコーダＰＣ３Ａ〜３Ｄは、それぞれ分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを符号化し、分割符号化データＤ３Ａ〜Ｄ３ＤをサーバＰＣ２に返送するとともに、それぞれの処理負荷情報をサーバＰＣ２に通知する。

ステップＳＰ１８においてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄから返送された分割符号化データＤ３Ａ〜Ｄ３Ｄを合成して、各ユーザＰＣ４Ａ〜４Ｅに対して符号化映像データＤ４Ａ〜Ｄ４Ｅとして配信する。

この状態において各ユーザＰＣ４Ａ〜４Ｅは、それぞれ符号化映像データＤ４Ａ〜Ｄ４Ｅを復号して表示部３３（図１）に表示するとともに、表示した映像に対するユーザの関心領域を検出した場合、関心領域情報Ｄ５Ａ〜Ｄ５ＥとしてサーバＰＣ１１に通知する。

次のステップＳＰ１９においてＣＰＵ１１は、各ユーザＰＣ４Ａ〜４Ｅから関心領域情報Ｄ５Ａ〜Ｄ５Ｅが通知されているか否かを判断する。ステップＳＰ１９において、関心領域情報Ｄ５Ａ〜Ｄ５Ｅが通知されていない場合、ＣＰＵ１１はステップＳＰ２５に移り、各エンコーダＰＣ３Ａ〜３Ｄから通知された処理負荷情報に基づいて、符号化処理が１フレーム期間内に終了するように各エンコーダＰＣ３Ａ〜３Ｄに対するエリアのアサインを行った後、ステップＳＰ２６に移る。

これに対して、ステップＳＰ１９において関心領域情報Ｄ５Ａ〜Ｄ５Ｅが通知されている場合、ＣＰＵ１１はステップＳＰ２０に移る。

ステップＳＰ２０においてＣＰＵ１１は、関心領域情報Ｄ５Ａ〜Ｄ５Ｅで示された関心領域についての符号化レベルを最高レベルに上げ、次のステップＳＰ２１に移る。

ステップＳＰ２１においてＣＰＵ１１は、ステップＳＰ２０で変更された符号化レベルと、各エンコーダＰＣ３Ａ〜３Ｄから通知された処理負荷情報とに基づいて、符号化処理が１フレーム期間内に終了するように各エンコーダＰＣ３Ａ〜３Ｄに対するエリアのアサインを開始し、次のステップＳＰ２２に移る。

ステップＳＰ２２においてＣＰＵ１１は、ステップＳＰ２１で行ったアサイン処理において、処理時間が１フレーム期間内を超過する、アサインが不可能なエリアが存在するか否かを判定する。ステップＳＰ２２においてアサイン不可能なエリアが存在しない場合、ＣＰＵ１１はステップＳＰ２６に移る。

これに対して、ステップＳＰ２２においてアサイン不可能なエリアが存在した場合、ＣＰＵ１１はステップＳＰ２３に移り、関心領域の符号化レベルを一つ下げた後、次のステップＳＰ２４に移る。

ステップＳＰ２４においてＣＰＵ１１は、関心領域の符号化レベルが他の領域の符号化レベルより上か否かを比較する。ステップＳＰ２４において、関心領域の符号化レベルが他の領域の符号化レベルより上ではないと判断した場合、ＣＰＵ１１はステップＳＰ２１に戻り、関心領域の符号化レベルが他の領域よりも上になるように再度アサインを行う。

これに対して、ステップＳＰ２４において、関心領域の符号化レベルが他の領域の符号化レベルよりも上であると判断した場合、ＣＰＵ１１はステップＳＰ２６に移る。

このようにしてＣＰＵ１１は、各ユーザＰＣ４Ａ〜４Ｅから通知された関心領域情報Ｄ５Ａ〜Ｄ５Ｅに基づいて、関心領域の符号化レベルを他の領域よりも高く設定するとともに、変更された符号化レベルと処理負荷情報とに応じて各エンコーダＰＣ３Ａ〜３Ｄに対するエリアのアサインを変更する。

ステップＳＰ２６においてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄに対して新たなアサインに応じた分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄの供給を開始するとともに、変更した符号化レベルで次のフレームの符号化処理の開始を指示し、ステップＳＰ２７に移る。

ステップＳＰ２７においてＣＰＵ１１は、各エンコーダＰＣ３Ａ〜３Ｄから返送された分割符号化データＤ３Ａ〜Ｄ３Ｄを合成し、各ユーザＰＣ４Ａ〜４Ｅに対して符号化映像データＤ４Ａ〜Ｄ４Ｅとして配信し、ステップＳＰ１９に戻る。

このときＣＰＵ１１は関心領域情報Ｄ５Ａ〜Ｄ５Ｅに基づいて、各ユーザＰＣ４Ａ〜４Ｅ個別の関心領域については、すべてのレベルの符号化データを伝送するのに対し、他のユーザＰＣ４の関心領域及び関心領域以外のエリアについては、初期値のレベル３までの符号化データのみを伝送する。

このようにしてＣＰＵ１１は、各ユーザＰＣ４Ａ〜４Ｅに対して、その関心領域の映像だけを高画質で配信する。

次に、エンコーダＰＣ３（３Ａ〜３Ｄ）における符号化処理手順について説明する。エンコーダＰＣ３のＣＰＵ２１は、図８に示す符号化処理手順ルーチンＲＴ３の開始ステップから入ってステップＳＰ３１に移る。ステップＳＰ３１においてＣＰＵ２１は、サーバＰＣ２からから供給される分割ディジタル映像データＤ２（Ｄ２Ａ〜Ｄ２Ｄ）の供給を待ち受け、当該分割ディジタル映像データＤ２を受け取ると、次のステップＳＰ３２に移る。

ステップＳＰ３２においてＣＰＵ２１は、受け取った分割ディジタル映像データＤ２の各エリアをそれぞれ指定された符号化レベルで符号化して分割符号化データＤ３（Ｄ３Ａ〜Ｄ３Ｄ）を生成し、次のステップＳＰ３３に移る。

ステップＳＰ３３においてＣＰＵ１１は、分割符号化データＤ３をサーバＰＣ２に返送するとともに、このときの処理負荷情報をサーバＰＣ２に通知し、ステップＳＰ３１に戻る。

このようにしてエンコーダＰＣ３のＣＰＵ２１は、サーバＰＣ２から供給される分割ディジタル映像データＤ２を逐次符号化して分割符号化データＤ３を返送するとともに、符号化処理の処理負荷情報をサーバＰＣ２に通知していく。

次に、ユーザＰＣ４（４Ａ〜４Ｅ）における表示処理手順について説明する。ユーザＰＣ４のＣＰＵ３１は、図９に示す表示処理手順ルーチンＲＴ４の開始ステップから入ってステップＳＰ４１に移る。ステップＳＰ４１においてＣＰＵ３１は、サーバＰＣ２からから供給される符号化映像データＤ４（Ｄ４Ａ〜Ｄ４Ｅ）の供給を待ち受け、当該符号化映像データＤ４を受信すると、次のステップＳＰ４２に移る。

ステップＳＰ４２においてＣＰＵ３１は、受け取った符号化映像データＤ４を復号して表示部３３に表示し、次のステップＳＰ４３に移る。

ステップＳＰ４３においてＣＰＵ３１は、ユーザの関心領域抽出タイミングが到来したか否かを判定する。ステップＳＰ４３において、関心領域抽出タイミングが到来していないと判定した場合、ＣＰＵ３１はステップＳＰ４１に戻り、再度符号化映像データＤ４の受信、復号及び表示を行う。

これに対して、ステップＳＰ４３において関心領域抽出タイミングが到来したと判定した場合、ＣＰＵ３１はステップＳＰ４４に移る。

ステップＳＰ４４においてＣＰＵ３１は、視線検出部３６を介してユーザの画像を取り込み、当該取り込んだユーザの画像から表示画像における関心領域を抽出し、関心領域情報Ｄ５（Ｄ５Ａ〜Ｄ５Ｅ）としてサーバＰＣ２に送信した後、ステップＳＰ４１に戻る。

このようにしてユーザＰＣ４のＣＰＵ３１は、サーバＰＣ２から配信される符号化映像データＤ４を逐次復号して表示するとともに、所定タイミング毎にユーザの関心領域を抽出してサーバＰＣ２に通知していく。

（４）関心領域の推移に応じた符号化レベルの変化例
次に、上述した関心領域適応符号化による、関心領域の推移に応じた符号化レベルの変化の例を図１０を用いて説明する。図１０において、各ユーザＰＣ４Ａ〜４Ｅは３秒毎に関心領域を抽出し、抽出した関心領域に応じて、各エンコーダＰＣ３Ａ〜３Ｄに対するアサインが変化している。

すなわち処理開始直後の期間Ｔ１においては、初期状態として、エリア１〜エリア４がエンコーダＰＣ３Ａに、エリア５〜エリア８がエンコーダＰＣ３Ｂに、エリア９〜エリア１２がエンコーダＰＣ３Ｃに、エリア１３〜エリア１６がエンコーダＰＣ３Ｄにそれぞれアサインされている。このとき、エリア１〜１６の符号化レベルはいずれも初期値のレベル３であり、各エンコーダＰＣ３の処理負荷レベルはいずれも「１」である。

そして、この期間Ｔ１において表示した映像に対し、ユーザＰＣ４Ａはエリア１２を、ユーザＰＣ４Ｂはエリア４を、ユーザＰＣ４Ｃはエリア２を、ユーザＰＣ４Ｄはエリア５を、ユーザＰＣ４Ｅはエリア１３をそれぞれ関心領域として抽出した。サーバＰＣ２はこの関心領域の抽出結果を反映して、次の期間Ｔ２における符号化レベル及びアサインの変更を行う。

すなわちこの期間Ｔ２において、サーバＰＣ２は関心領域であるエリア２、４、５、１２及び１３を符号化レベル２に設定した。

この期間Ｔ２における、各ユーザＰＣ４Ａ〜４Ｅの表示映像の符号化レベルを、図１１及び図１２に示す。各ユーザＰＣ４Ａ〜４Ｅにおいては、個別の関心領域のみが符号化レベルが高くなっており、関心領域以外の領域は符号化レベル３になっている。

また、期間Ｔ４において、エリア３及びエリア４に対して符号化レベル１が設定されている。初期状態においてはユーザＰＣ４Ａに対してエリア３及びエリア４の双方がアサインされており、このままでは当該ユーザＰＣ４Ａの処理負荷が過大になる。

このためサーバＰＣ２は期間Ｔ４において、ユーザＰＣ４Ｂに対してエリア４をアサインするとともに、この代わりにユーザＰＣ４Ａに対してエリア５をアサインすることにより、符号化負荷を分散している。

（５）動作及び効果
以上の構成において、動画像クラスタ処理システム１のサーバＰＣ２は、ディジタル映像信号Ｄ１の１フレーム分の画像データを１６枚のエリアに分割して４台のエンコーダＰＣ３Ａ〜３Ｄに適宜割り当て分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄを生成し、それぞれ対応するエンコーダＰＣ３Ａ〜３Ｄに供給する。

エンコーダＰＣ３Ａ〜３Ｄは、分割ディジタル映像データＤ２Ａ〜Ｄ２Ｄをそれぞれ符号化して分割符号化データＤ３Ａ〜Ｄ３Ｄを生成し、このときの処理負荷情報とともにサーバＰＣ２に送信する。サーバＰＣ２は分割符号化データＤ３Ａ〜Ｄ３Ｄを合成して１フレーム分のデータでなる符号化映像データＤ４Ａ〜Ｄ４Ｅを生成し、対応するユーザＰＣ４Ａ〜４Ｅに配信する。

各ユーザＰＣ４Ａ〜４Ｅはそれぞれ符号化映像データＤ４Ａ〜Ｄ４Ｅを復号して表示する。このとき各ユーザＰＣ４Ａ〜４Ｅは、表示した配信映像においてユーザが注視している関心領域を検出し、これを関心領域情報Ｄ５Ａ〜Ｄ５Ｅとしてサーバ２に通知する。

サーバ２は、関心領域情報Ｄ５Ａ〜Ｄ５Ｅに基づいて関心領域の符号化レベルを上げるとともに、処理負荷情報を参考にして、各エンコーダＰＣ３Ａ〜３Ｄの符号化処理が１フレーム期間内に終了するように、各エンコーダＰＣ３Ａ〜３Ｄに対するエリアのアサインを適宜変更する。

さらにサーバ２は、符号化映像データＤ４Ａ〜Ｄ４ＥをユーザＰＣ４Ａ〜４Ｅに配信する際、関心領域情報Ｄ５Ａ〜Ｄ５Ｅに基づいて、各ユーザＰＣ４Ａ〜４Ｅ個別の関心領域についてはすべてのレベルの符号化データを伝送するのに対し、他のユーザＰＣ４の関心領域及び関心領域以外のエリアについては、初期値のレベル３までの符号化データのみを伝送する。

以上の構成によれば、各ユーザＰＣ４Ａ〜４Ｅにおいて配信映像におけるユーザが注視している関心領域を検出し、当該関心領域の符号化品質を上げて符号化することにより、各ユーザが注視している領域の画質をのみを選択的に向上させ、これによりシステム全体の伝送データ量を抑えつつ、各ユーザの関心領域の画像を鮮明に伝送することができる。

また、符号化映像データＤ４Ａ〜Ｄ４ＥをユーザＰＣ４Ａ〜４Ｅに配信する際、各ユーザＰＣ４Ａ〜４Ｅ個別の関心領域についてのみ、すべてのレベルの符号化データを伝送することにより、他ユーザの関心領域については標準的な画質で伝送して、システム全体の伝送データ量をさらに抑えつつ、各ユーザの関心領域の画像を鮮明に伝送することができる。

また、関心領域情報Ｄ５Ａ〜Ｄ５Ｅ及び処理負荷情報に基づいて、各エンコーダＰＣ３Ａ〜３Ｄに対するエリアのアサインを適宜変更することにより、各エンコーダＰＣ３Ａ〜３Ｄの処理能力を有効に活用して、動画像クラスタ処理のリアルタイム性を確保しつつ、可能な限り高い画質で動画像の圧縮符号化を行うことができる。

（６）他の実施の形態
なお上述の実施の形態においては、動画像クラスタ処理システム１がＪＰＥＧ２０００方式による動画像圧縮伸張処理を実行する場合について述べたが、本発明はこれに限らず、例えばＭＰＥＧ（Moving Picture Experts Group）２方式等、様々な符号化方式を本発明に適用することができる。

また上述の実施の形態においては、サーバＰＣ２、エンコーダＰＣ３及びユーザＰＣ４それぞれのＣＰＵ１１、２１及び３１が、それぞれのハードディスクドライブ１４、２４及び３４に格納されている動画像クラスタ処理プログラム、動画像符号化処理プログラム及び動画像表示プログラムを実行するようにしたが、本発明はこれに限らず、これらのプログラムが格納されているプログラム格納媒体をインストールすることにより、上述した処理を実行するようにしてもよい。

この場合、サーバＰＣ２、エンコーダＰＣ３及びユーザＰＣ４にプログラムをインストールするためのプログラム格納媒体としては、例えばＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やＤＶＤ（Digital Versatile Disk）等のパッケージメディアのみならず、プログラムが一時的又は永続的に格納される半導体メモリや磁気ディスク等で実現してもよい。また、これらプログラム格納媒体にプログラムを格納する手段としては、ローカルエリアネットワークやインターネット、ディジタル衛星放送等の有線及び無線通信媒体を用いても良い。

また上述の実施の形態においては、ユーザの関心領域を抽出する方法として、当該ユーザの顔面を２台のカメラで撮影し、右側顔面映像及び左側顔面映像に対してテンプレートマッチング処理を行うことによりユーザの顔面の指向方向を検出し、当該検出した指向方向に基づいて、配信映像上の関心領域を抽出するようにしたが、本発明はこれに限らず、例えばユーザが装着したヘッドセットによって頭部の指向方向を検出し、当該検出した指向方向に基づいて関心領域を抽出する等、種々の方法で関心領域を抽出してもよい。

複数台のパーソナルコンピュータ、ワークステーション、パソコン等を用いて動画像処理を行う場合に適用できる。

動画像クラスタ処理システムの全体構成を示すブロック図である。 フレームの分割状態を示す略線図である。 視線検出部の構成を示すブロック図である。 ＳＮＲスケーラビリティの説明に供する略線図である。 エンコードレベルと標準符号化処理時間の関係を示す表である。 サーバＰＣのクラスタ符号化準備処理手順を示すフローチャートである。 サーバＰＣのクラスタ符号化処理手順を示すフローチャートである。 エンコーダＰＣの符号化処理手順を示すフローチャートである。 ユーザＰＣの表示処理手順を示すフローチャートである。 関心領域とエンコード符号化レベルの説明に供する略線図である。 各ユーザＰＣに対する符号化レベルを示す略線図である。 各ユーザＰＣに対する符号化レベルを示す略線図である。

符号の説明

１……動画像クラスタ処理システム、２……サーバＰＣ、３Ａ〜３Ｄ……エンコーダＰＣ、４Ａ〜４Ｅ……ユーザＰＣ、５……ネットワーク、１１、２１、３１……ＣＰＵ、１２、２２、３２……メモリ、１３、２３、３３……表示部、１４、２４、３４……ハードディスクドライブ、１５、２５、３５……ネットワークインターフェース、１６……ビデオキャプチャ回路、１７、２７、３７……バス、３６……視線検出部。

Claims (11)

1. 映像を配信する映像配信装置と、上記配信された映像を表示する映像表示装置とからなる映像配信システムにおいて、
   上記映像配信装置は、
   入力された映像データを複数の映像領域に対応して分割し、複数の分割映像データを生成する映像分割手段と、
   上記複数の分割映像データをそれぞれ符号化して複数の分割符号化データを生成する符号化手段と、
   上記符号化手段を制御する符号化制御手段と、
   複数の上記分割符号化データを合成して符号化映像データを生成する合成手段と、
   上記符号化映像データを上記映像表示装置に配信する配信手段とを具え、
   上記映像表示装置は、
   上記配信された符号化映像データを受信する受信手段と、
   上記符号化映像データを復号して映像を表示する復号表示手段と、
   上記復号表示手段が表示する上記映像に対する視聴者の注視領域を検出する注視領域検出手段とを具え、
   上記符号化制御手段は、上記注視領域検出手段が検出した上記注視領域に対応する上記映像領域の上記分割映像データに対する符号化品質を向上させる
   ことを特徴とする映像配信システム。
2. 入力された映像データを複数の映像領域に対応して分割し、複数の分割映像データを生成する映像分割手段と、
   上記複数の分割映像データをそれぞれ符号化して複数の分割符号化データを生成する符号化手段と、
   複数の上記分割符号化データを合成して符号化映像データを生成する合成手段と、
   上記符号化映像データを映像表示装置に配信する配信手段と、
   上記映像表示装置から送信される、上記配信した符号化映像データを復号して表示した映像に対する視聴者の注視領域を示す注視領域情報を受信する注視領域情報受信手段と、
   受信した上記注視領域情報が示す上記注視領域に対応する上記映像領域の上記分割映像
   データの符号化品質を向上させるように、上記符号化手段を制御する符号化制御手段と
   を具えることを特徴とする映像配信装置。
3. 上記符号化制御手段は、複数の上記映像表示装置それぞれで検出した複数の上記注視領域に対応する上記映像領域の上記分割映像データに対する符号化品質を向上させる
   ことを特徴とする請求項２に記載の映像配信装置。
4. 上記配信手段は、複数の上記映像表示装置それぞれに対し、当該映像表示装置個別の上記注視領域に対応する上記分割映像データのみを上記向上させた符号化品質のまま配信し、他の上記映像表示装置の上記注視領域に対応する上記分割映像データは標準的な符号化品質で配信する
   ことを特徴とする請求項３に記載の映像配信装置。
5. 上記符号化手段は、複数の情報処理装置で構成される
   ことを特徴とする請求項２に記載の映像配信装置。
6. 上記符号化制御手段は、上記複数の情報処理装置それぞれから通知される符号化処理の処理負荷情報と、上記注視領域検出手段が検出した上記注視領域の情報とに応じて、上記複数の情報処理装置それぞれに対する上記分割映像データの符号化処理を割り当てる
   ことを特徴とする請求項５に記載の映像配信装置。
7. 入力された映像データを複数の映像領域に対応して分割し、複数の分割映像データを生成する映像分割ステップと、
   上記複数の分割映像データをそれぞれ符号化して複数の分割符号化データを生成する符号化ステップと、
   複数の上記分割符号化データを合成して符号化映像データを生成する合成ステップと、
   上記符号化映像データを映像表示装置に配信する配信ステップと、
   上記映像表示装置から送信される、上記配信した符号化映像データを復号して表示した映像に対する視聴者の注視領域を示す注視領域情報を受信する注視領域情報受信ステップと、
   受信した上記注視領域情報が示す上記注視領域に対応する上記映像領域の上記分割映像
   データの符号化品質を向上させるように、上記符号化手段を制御する符号化制御ステップと
   を具えることを特徴とする映像配信方法。
8. 入力された映像データを複数の映像領域に対応して分割し、複数の分割映像データを生成する映像分割ステップと、
   上記複数の分割映像データをそれぞれ符号化して複数の分割符号化データを生成する符号化ステップと、
   複数の上記分割符号化データを合成して符号化映像データを生成する合成ステップと、
   上記符号化映像データを映像表示装置に配信する配信ステップと、
   上記映像表示装置から送信される、上記配信した符号化映像データを復号して表示した映像に対する視聴者の注視領域を示す注視領域情報を受信する注視領域情報受信ステップと、
   受信した上記注視領域情報が示す上記注視領域に対応する上記映像領域の上記分割映像
   データの符号化品質を向上させるように、上記符号化手段を制御する符号化制御ステップと
   を映像配信装置に実行させる映像配信プログラム。
9. 映像配信装置から配信された符号化映像データを受信する受信手段と、
   上記符号化映像データを復号して映像を表示する復号表示手段と、
   上記復号表示手段が表示する上記映像に対する視聴者の注視領域を検出する注視領域検出手段と、
   上記検出した注視領域を示す注視領域情報を上記映像配信装置に送信する注視領域情報送信手段と
   を具えることを特徴とする映像表示装置。
10. 映像配信装置から配信された符号化映像データを受信する受信ステップと、
    上記符号化映像データを復号して映像を表示する復号表示ステップと、
    表示した上記映像に対する視聴者の注視領域を検出する注視領域検出ステップと、
    上記検出した注視領域を示す注視領域情報を上記映像配信装置に送信する注視領域情報送信ステップと
    を具えることを特徴とする映像表示方法。
11. 映像配信装置から配信された符号化映像データを受信する受信ステップと、
    上記符号化映像データを復号して映像を表示する復号表示ステップと、
    表示した上記映像に対する視聴者の注視領域を検出する注視領域検出ステップと、
    上記検出した注視領域を示す注視領域情報を上記映像配信装置に送信する注視領域情報送信ステップと
    を映像表示装置に実行させる映像表示プログラム。

Images