JP2006067483A

JP2006067483A - 映像通信方法及び映像通信装置

Info

Publication number: JP2006067483A
Application number: JP2004250579A
Authority: JP
Inventors: Atsushi Shimizu; 敦志清水
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2004-08-30
Filing date: 2004-08-30
Publication date: 2006-03-09

Abstract

【課題】映像ストリームのビットレート等に関して映像受信装置側の要求に沿うかたちでのより汎用性の高い映像ストリームの送受信を可能とする映像通信方法、及び映像通信装置を提供する。
【解決手段】映像受信装置１０１において、ウィンドウ再生情報保持部１０２には、ディスプレイ１１０に表示されるウィンドウに関する属性情報が記憶保持されている。この属性情報のうち、任意の属性の情報に関しては複数の情報が付与されている。この属性情報は、再生制御部１０３への再生指令の入力に基づいて該再生制御部１０３を介して属性情報記述作成部１０４に取り込まれる。属性情報記述作成部１０４は、映像受信装置１０１の処理負荷を取得し、任意の属性の情報に関しては該取得した処理負荷に応じて増減しつつ属性情報を記述作成する。こうして記述作成された属性情報が映像送信装置１１に送信され、トランスコーディング処理の条件の判断に供されることとなる。
【選択図】図１

Description

本発明は、例えばＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）やインターネットなどのネットワークを介して映像送信装置と映像受信装置との間で映像ストリームの送受信を行う映像通信方法、及び映像通信装置に関する。

この種の通信装置では通常、映像ストリームの例えば解像度やビットレート、フォーマット等のデータ形式を変換（トランスコーディング処理）するトランスコーディング技術が用いられる。このトランスコーディング技術とは、映像送信装置に記憶されている映像ストリームのデータ形式と、映像受信装置がこの映像送信装置に対して映像ストリームの送信を要求する際の映像ストリームのデータ形式とが互いに異なる場合にこれらデータ形式の整合を図るための技術である。このような技術を用いることにより、映像送信装置と映像受信装置との間で様々なデータ形式の映像ストリームを送受信し、ひいては同映像ストリームを映像受信装置にて再生することができるようになる。

そして従来、こうしたトランスコーディング技術を用いて映像ストリームを送受信する映像通信装置としては、例えば特許文献１に記載の映像通信装置が提案されている。以下、この特許文献１に記載されている映像通信装置の概要を簡単に説明する。

すなわち、この映像通信装置は、映像送信装置と、該映像送信装置から送信される映像ストリームをネットワークを介して受信しつつリアルタイムで再生する映像受信装置とを備えている。

このうち、映像送信装置は、映像ストリームを圧縮データとして記憶する映像記憶部と、この映像記憶部から取り出される映像ストリームのデータ形式の変換処理（トランスコーディング処理）を行う複数のトランスコーダと、いずれのトランスコーダを用いて上記変換処理を行うかを制御する制御部とを備えている。ここで、上記複数のトランスコーダは、上記映像ストリームを各々異なるビットレートに変換する構成、また制御部は、ネットワークの帯域情報を取り込み、この取り込んだネットワークの帯域情報に基づいて上記複数のトランスコーダの一つを選択する構成となっている。

このような構成により、たとえネットワークの輻輳等に起因してその通信帯域が制限されるような場合であっても、上記制御部が映像ストリームを低いビットレートに変換するトランスコーダを選択するようにすることで、上記映像送信装置と映像受信装置との間で映像ストリームを円滑に送受信することができるようになる。一方、取り込まれるネットワークの帯域が十分広く確保される場合には、上記制御部は、映像ストリームを高いビットレートに維持、変換するトランスコーダを選択するようにする。これにより、映像送信装置と映像受信装置との間で、画質やフレームレートなどの劣化の少ない高品質の映像ストリームを送受信することができるようになる。
ＷＯ０１−０７８３９９号公報

このように、上記従来の映像通信装置によれば、取り込まれるネットワークの帯域情報に応じて、トランスコーディング処理に用いられるトランスコーダが動的に切り替えられる。このため、映像受信装置においても、ネットワークの帯域の状態にかかわらず、映像
ストリームを受信しつつこれをリアルタイムで再生することができるようにはなる。しかし、上記従来の映像通信装置では、送受信される映像ストリームのビットレートが主にネットワークの帯域情報に応じて決定されるため、映像ストリームのビットレート等に関して、必ずしも映像受信装置側の要求に沿うかたちで映像ストリームが送受信されるとは限らない。

本発明は、こうした実情に鑑みてなされたものであり、その目的は、映像ストリームのビットレート等に関して映像受信装置側の要求に沿うかたちでのより汎用性の高い映像ストリームの送受信を可能とする映像通信方法、及び映像通信装置を提供することにある。

こうした目的を達成するため、請求項１に記載の映像通信方法では、映像ストリームが圧縮データとして記憶された映像記憶部から読み出される映像ストリームのデータ形式を変換処理するトランスコーダを備える映像送信装置と、該映像送信装置にネットワークを介して接続された映像受信装置の間で、映像受信装置からの映像ストリームの送信要求に基づき、前記トランスコーダを通じて変換処理される映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信方法にあって、前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを用意し、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダの処理形態を切替制御することとした。

ちなみに、映像ストリームのビットレートは同映像ストリームに単位時間当たりどれだけの情報量が含まれているかを表わす指標値であり、映像ストリームに含まれる情報量が多いほどこの指標値は高くなる。このため、映像ストリームを高いビットレートに維持、変換する場合には、該変換処理の対象となる映像ストリームに含まれる情報量も多くなり、通常は、同映像ストリームを低いビットレートに変換する場合よりも大きな処理負荷が必要とされる。

この点、上記方法によれば、トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダが用意されるため、こうしたトランスコーダの処理形態の切り替えを通じて上記映像記憶部から取り出される映像ストリームが各々異なる複数のビットレートに変換処理されるようになる。すなわち、トランスコーダの処理負荷の小さい処理形態にて上記変換処理が行われる場合、映像ストリームは低いビットレートに変換処理されるようになり、またトランスコーダの処理負荷の大きい処理形態にて上記変換処理が行われる場合、映像ストリームは高いビットレートに変換処理されることとなる。

ところで、映像ストリームのビットレートと該映像ストリームの処理に必要とされる処理負荷とのこのような関係については、映像受信装置においても概ね同様であり、例えば再生処理等の対象となる映像ストリームのビットレートが高いほど、やはり同処理に大きな処理負荷が必要とされる。こうしたことから、映像受信装置に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分ないときには、ビットレートの低い映像ストリームの送信が上記映像受信装置側から要求されることが多い。このような場合には、映像ストリームの品質を維持することよりも、同映像受信装置の再生処理等に必要とされる処理負荷の軽減を通じて同映像ストリームの再生処理を円滑に実行することが望まれるためである。ただしその一方、映像受信装置に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分あるときには、画質やフレームレートなどの劣化の少ない高品質の映像ストリームの送信が上記映像受信装置側から要求されることが多い。このように、映像ストリームのビットレート等に関して映像受信装置側から要求される条件は該映像受信装置の処理負荷によって大きく異なっている。

この点、上記方法によれば、映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて上記トランスコーダの処理形態の切替制御が行われるため、こうした切替制御を通じて映像ストリームのビットレート等に関して映像受信装置側の上述の要求に沿う映像ストリームを送受信することができるようになる。しかも、トランスコーダが、映像受信装置側の上述の要求を超えるより高いビットレートに映像ストリームを変換処理することも回避されるようになり、上記変換処理を行う上で映像送信装置の処理能力を効率よく利用することができるようになる。

また、このような場合には特に、請求項２に記載の発明によるように、前記受信負荷情報が前記映像受信装置のその都度の処理負荷を示す情報として送信されるものであるとき、前記トランスコーダの処理形態の切替制御としてこれを、前記受信負荷情報と映像送信装置自体のその都度の処理負荷とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様で実行するようにすることが実用上より望ましい。

すなわち近年、例えばホーム使用のハードディスクレコーダ等に送信機能を付加してこれを映像送信装置（ホームサーバ）として用い、この映像送信装置と該映像送信装置にＬＡＮ等のネットワークを介して接続された映像受信装置との間で、映像ストリームを送受信することが実施されつつある。ただし、このようなホーム使用の装置を用いて映像ストリームを送受信する場合、上記映像送信装置の処理能力（負荷的な余裕）が制限されることとなり、映像送信装置の処理能力上、上記映像ストリームの送受信が困難となることが多い。例えば、映像送信装置に対して、複数の映像受信装置からそれぞれ映像ストリームの送信要求があるような場合や、一つの映像受信装置から複数の映像ストリームの送信要求があるような場合などにこうした事態が起こりやすい。

この点、上記方法では、映像受信装置のその都度の処理負荷と、映像送信装置のその都度の処理負荷とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様でその処理形態を切替制御するようにしている。したがって、映像受信装置側の上述の要求に沿う範囲内であれば、映像送信装置側の都合上、映像ストリームを低いビットレートに変換処理することも許されるようになり、映像送信装置の処理能力が低い場合であっても複数の映像ストリームを送受信することができるようになる。

ただし、このような方法では、映像受信装置自体の処理能力（負荷的な余裕）がたとえ高くても、映像送信装置の処理能力（負荷的な余裕）が低ければ、映像ストリームのビットレート等に関して上記映像受信装置の処理能力により見合うかたちでの変換処理が期待できない。そこで、請求項３に記載の発明では、請求項２に記載の映像通信方法にあって、前記映像受信装置に前記リアルタイム送信される映像ストリームの解像度変換処理を行う機能を持たせ、前記トランスコーダには、前記処理負荷の異なる複数の処理形態として、前記映像ストリームの解像度変換処理を含む第１の処理構造と、同映像ストリームの解像度変換処理を含まない第２の処理構造とを持たせるようにしている。

このような方法では、映像送信装置にて通常行われる例えば解像度やビットレート、フォーマット等のデータ形式の変換処理のうち、解像度変換処理についてはこれを上記映像受信装置の処理能力（負荷的な余裕）を利用して該映像受信装置側にて行うことが可能となる。そして、映像受信装置にて上記解像度変換処理を行う場合には、映像送信装置として上記映像ストリームの解像度の変換処理を行う必要がなくなり、同映像送信装置の処理負荷の軽減が図られるようになる。このため、映像送信装置の処理能力が低い場合であっても、こうして映像送信装置の処理負荷の軽減が図られることで、同処理負荷が軽減される分だけ映像ストリームのビットレート等に関して上記映像受信装置の処理能力により見
合うかたちでの変換処理を行うこともできるようになる。

しかも、上記方法では、映像送信装置は、解像度変換処理を行う構造自体が割愛された第２の処理構造を上記複数の処理形態の１つとして有している。このため、映像送信装置がこの第２の処理構造を採用して上記映像ストリームの変換処理を行うようにする場合には、映像送信装置の処理負荷が大きく軽減されるようになり、ひいては映像ストリームのビットレート等に関して上記映像受信装置の処理能力にさらにより見合うかたちでの変換処理を行うこともできるようになる。またこの場合には、トランスコーダを通じた映像ストリームの変換処理が高速に実行されることにもなる。一方、映像送信装置の処理能力が高い場合には、映像ストリームの解像度変換処理を含む第１の処理構造を用いて従来通り上記映像ストリームの変換処理を行うようにするだけで、上記映像受信装置側の上述の要求に応えることができる。

そして具体的には、請求項４に記載の発明によるように、前記映像ストリームが、データを空間周波数領域に変換する変換符号化処理と、前記変換符号化処理による変換係数の値を量子化係数で表す量子化処理と、シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理との少なくとも３種の圧縮処理を通じて圧縮された状態で前記映像記憶部に記憶されているとき、前記トランスコーダの前記第１の処理構造には、前記符号割当処理による圧縮データを解凍する逆符号割当処理と、前記量子化による圧縮データを解凍する逆量子化処理と、前記変換符号化処理による圧縮データを解凍する逆変換符号化処理との少なくとも３種の解凍処理、及び前記少なくとも３種の圧縮処理を行う処理構造を含み、同トランスコーダの前記第２の処理構造には、前記３種の解凍処理のうちの前記逆符号割当処理と前記逆量子化処理との２種の解凍処理、及び前記３種の圧縮処理のうちの前記符号割当処理と前記量子化処理との２種の圧縮処理を行う処理構造と、前記映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う処理構造との少なくとも一方を含むようにすることが、上記第１および第２の処理構造をそれぞれ実現する上で実用上より望ましい。

また、請求項３または請求項４に記載の発明において、請求項５に記載の発明によるように、前記映像受信装置が、前記映像ストリームを再生するウィンドウの属性を示す属性情報を任意の属性に関して複数有し、該複数の情報が用意された任意の属性の属性情報のうちの少なくとも１つの属性についての情報を該映像受信装置自身の処理負荷に応じて増減して送信するとともに、この映像受信装置自身の処理負荷に応じて増減される属性情報の送信数を前記映像受信装置の処理負荷を示す受信負荷情報として用いるものであれば、映像送信装置および映像受信装置にて取り扱われる情報の種類が少なくなり、こうした情報に基づいて行われる各処理もより簡易なものとなる。

また、請求項５に記載の発明において、請求項６に記載の発明によるように、前記映像受信装置自身の処理負荷に応じて増減される属性情報に前記ウィンドウの解像度情報を含み、前記映像受信装置が、該映像受信装置に前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕があるとき、該解像度情報として複数の情報を送信し、同映像受信装置に前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、該解像度情報として単一の情報を送信するようにすれば、映像送信装置は、上記解像度変換処理を行う機能およびその処理能力が上記映像受信装置にあるか否かを容易に判断することができるようになる。

一方、請求項７に記載の映像通信装置では、映像ストリームが圧縮データとして記憶された映像記憶部から読み出される映像ストリームのデータ形式を変換処理するトランスコーダを備える映像送信装置と、該映像送信装置にネットワークを介して接続された映像受信装置との間で、映像受信装置からの映像ストリームの送信要求に基づき、前記トランス
コーダを通じて変換処理される映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信装置として、前記映像送信装置が、前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを備えるとともに、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断する条件判断部と、該条件判断部による判断に基づいて前記トランスコーダの処理形態を切替制御する切替制御部とを備えることとした。

ここで上述の通り、映像ストリームを高いビットレートに維持、変換する場合には、該変換処理の対象となる映像ストリームに含まれる情報量も多くなり、通常は、同映像ストリームを低いビットレートに変換する場合よりも大きな処理負荷が必要とされる。この点、上記構成によれば、トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダが用意されるため、こうしたトランスコーダの処理形態の切り替えを通じて上記映像記憶部から取り出される映像ストリームが各々異なる複数のビットレートに変換処理されるようになる。すなわち、トランスコーダの処理負荷の小さい処理形態にて上記変換処理が行われる場合、映像ストリームは低いビットレートに変換処理されるようになり、またトランスコーダの処理負荷の大きい処理形態にて上記変換処理が行われる場合、映像ストリームは高いビットレートに変換処理されることとなる。

また、これも上述の通り、映像受信装置に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分ないときには、ビットレートの低い映像ストリームの送信が上記映像受信装置側から要求されることが多い。一方、映像受信装置に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分あるときには、画質やフレームレートなどの劣化の少ない高品質の映像ストリームの送信が上記映像受信装置側から要求されることが多い。このように、映像ストリームのビットレート等に関して映像受信装置側から要求される条件は該映像受信装置の処理負荷によって大きく異なっている。

この点、上記構成によれば、映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて上記トランスコーダの処理形態の切替制御が行われるため、こうした切替制御を通じて映像ストリームのビットレート等に関して映像受信装置側の上述の要求に沿う映像ストリームを送受信することができるようになる。しかも、トランスコーダが、映像受信装置側の上述の要求を超えるより高いビットレートに映像ストリームを変換処理することも回避されるようになり、上記変換処理を行う上で映像送信装置の処理能力を効率よく利用することができるようになる。

また、この場合には特に、請求項８に記載の発明によるように、前記条件判断部が、前記映像送信装置の処理負荷を示す情報である送信負荷情報をその都度取得し、この取得される送信負荷情報と前記送信される受信負荷情報とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様で前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断するようにすることが実用上より望ましい。

すなわち近年、例えばホーム使用のハードディスクレコーダ等に送信機能を付加してこれを映像送信装置（ホームサーバ）として用い、この映像送信装置と該映像送信装置にＬＡＮ等のネットワークを介して接続された映像受信装置との間で、映像ストリームを送受信することが実施されつつある。ただし、このようなホーム使用の装置を用いて映像ストリームを送受信する場合、上記映像送信装置の処理能力（負荷的な余裕）が制限されることとなり、映像送信装置の処理能力上、上記映像ストリームの送受信が困難となることが多い。

この点、上記構成では、映像受信装置の処理負荷と、映像送信装置の処理負荷とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないようにトランスコーダの処理負荷を順次軽減する態様で該トランスコーダが変換処理すべきデータ形式に関する処理条件を判断するようにしている。したがって、映像受信装置側の上述の要求に沿う範囲内であれば、映像送信装置側の都合上、映像ストリームを低いビットレートに変換処理することも許されるようになり、映像送信装置の処理能力が低い場合であっても複数の映像ストリームを送受信することができるようになる。

ただし、このような構成では、映像受信装置自体の処理能力（負荷的な余裕）がたとえ高くても、映像送信装置の処理能力（負荷的な余裕）が低ければ、映像ストリームのビットレート等に関して上記映像受信装置の処理能力により見合うかたちでの変換処理が期待できない。そこで、請求項９に記載の映像通信装置では、前記映像受信装置が、前記リアルタイム送信される映像ストリームの解像度を変換処理する解像度変換手段を備え、前記トランスコーダが、前記処理負荷の異なる複数の処理形態として、前記映像ストリームの解像度変換処理を含む第１の処理構造と、同映像ストリームの解像度変換処理を含まない第２の処理構造とを有して構成されるものとした。

このような構成では、映像送信装置にて通常行われる例えば解像度やビットレート、フォーマット等のデータ形式の変換処理のうち、解像度変換処理についてはこれを上記映像受信装置の処理能力（負荷的な余裕）を利用して該映像受信装置側にて行うことが可能となる。そして、映像受信装置にて上記解像度変換処理を行う場合には、映像送信装置として上記映像ストリームの解像度の変換処理を行う必要がなくなり、同映像送信装置の処理負荷の軽減が図られるようになる。このため、映像送信装置の処理能力が低い場合であっても、こうして映像送信装置の処理負荷の軽減が図られることで、同処理負荷が軽減される分だけ、映像ストリームのビットレート等に関して上記映像受信装置の処理能力により見合うかたちでの変換処理を行うこともできるようになる。

しかも、上記構成では、映像送信装置は、解像度変換処理を行う構造自体が割愛された第２の処理構造を上記複数の処理形態の１つとして有している。このため、映像送信装置がこの第２の処理構造を採用して上記映像ストリームの変換処理を行うようにする場合には、映像送信装置の処理負荷が大きく軽減されるようになり、ひいては映像ストリームのビットレート等に関して上記映像受信装置の処理能力にさらにより見合うかたちでの変換処理を行うこともできるようになる。またこの場合には、トランスコーダを通じた映像ストリームの変換処理が高速に実行されることにもなる。一方、映像送信装置の処理能力が高い場合には、映像ストリームの解像度変換処理を含む第１の処理構造を用いて従来通り上記映像ストリームの変換処理を行うようにするだけで、上記映像受信装置側の上述の要求に応えることができる。

そして具体的には、請求項１０に記載の発明によるように、前記映像ストリームが、データを空間周波数領域に変換する変換符号化処理と、前記変換符号化処理による変換係数の値を量子化係数で表す量子化処理と、シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理との少なくとも３種の圧縮処理を通じて圧縮された状態で前記映像記憶部に記憶されているとき、前記トランスコーダの前記第１の処理構造には、前記符号割当処理による圧縮データを解凍する逆符号割当処理と、前記量子化による圧縮データを解凍する逆量子化処理と、前記変換符号化処理による圧縮データを解凍する逆変換符号化処理との少なくとも３種の解凍処理、及び前記少なくとも３種の圧縮処理を行う処理構造を含み、同トランスコーダの前記第２の処理構造には、前記３種の解凍処理のうちの前記逆符号割当処理と前記逆量子化処理との２種の解凍処理、及び前記３種の圧縮処理のうちの前記符号割当処理と前記量子化処理との２種の圧縮処理を行う処理構造と、前記映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う
処理構造との少なくとも一方を含むようにすることが、上記第１および第２の処理構造をそれぞれ実現する上で実用上より望ましい。

なお、上記トランスコーダの単数、複数に関してはいずれであってもよい。例えば請求項１１に記載の発明によるように、
・前記トランスコーダが、前記処理構造の異なる複数のトランスコーダ部からなり、前記切替制御部が、前記切替制御としてこれら複数のトランスコーダ部のいずれかを選択的に能動とするもの。
であってもよいし、あるいは、請求項１２に記載の発明によるように、
・前記トランスコーダが、前記複数の処理構造が内部的に切替可能な単一のトランスコーダからなり、前記切替制御部が、前記切替制御としてこのトランスコーダの内部構造を選択的に切り替えるもの。
であってもよい。ただし、トランスコーダとして冗長な構成となることを避ける意味ではこれを１つのトランスコーダから構成するようにするほうが実用上はより望ましい。

また、請求項９〜１２のいずれか一項に記載の発明において、請求項１３に記載の発明によるように、前記映像受信装置が、前記映像ストリームを再生するウィンドウの属性を示す属性情報が任意の属性に関して複数記憶されたウィンドウ再生情報保持部と、該複数記憶されている任意の属性の属性情報のうちの少なくとも１つの属性についての情報を該映像受信装置自身の処理負荷に応じて増減しつつ属性情報を記述作成する属性情報記述作成部とを備え、この記述作成された属性情報を前記映像送信装置に送信するものであり、前記条件判断部が、この映像受信装置自身の処理負荷に応じて増減される属性情報の記述数を前記映像受信装置の処理負荷を示す受信負荷情報として用いるようにすれば、映像送信装置および映像受信装置にて取り扱われる情報の種類が少なくなり、こうした情報に基づいて行われる各処理もより簡易なものとなる。

また、請求項１３に記載の映像通信装置において、請求項１４に記載の発明によるように、前記映像受信装置自身の処理負荷に応じて増減される属性情報に前記ウィンドウの解像度情報を含み、前記属性情報記述作成部が、前記映像受信装置に前記解像度変換手段を通じた前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕があるとき、前記解像度情報として複数の情報を記述し、同映像受信装置に前記解像度変換手段を通じた前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、前記解像度情報として単一の情報のみを記述するようにすれば、映像送信装置は、上記解像度変換処理を行う機能およびその処理能力が上記映像受信装置にあるか否かを容易に判断することができるようになる。

また、請求項９〜１４のいずれか一項に記載の発明において、請求項１５に記載の発明によるように、前記解像度変換手段が、前記映像ストリーム中の周波数項のうち所定の周波数以下の低周波数項の抽出を通じて同映像ストリームを部分的にデコードする部分デコーダを含んで構成されるものであれば、映像受信装置の負荷的な余裕（処理能力）の低下の抑制を図りつつ、該映像受信装置にて上記映像ストリームの解像度変換処理を行うことができるようになる。

すなわち、このような部分デコーダを用いて上記映像ストリームをデコードするようにすれば、該デコード処理と併せて映像ストリームの解像度変換処理を行うこともできるようになる。そして、この部分デコーダを用いた解像度変換処理では、該処理に通常必要とされる逆変換符号化処理が割愛されるため、映像受信装置の処理負荷の増加を抑制しつつ解像度変換処理を行うことができるようになる。しかもこの場合、映像ストリームの解像度を高速に変換することもできるようになる。

本発明によれば、映像ストリームのビットレート等に関して映像受信装置側の要求に沿うかたちでのより汎用性の高い映像ストリームの送受信を可能とする映像通信方法、及び映像通信装置を提供することができる。

以下、この発明にかかる映像通信方法及び映像通信装置の一実施の形態について、図１〜図１１を参照して詳細に説明する。

はじめに、この実施の形態の映像通信装置の概要について、図１を参照して説明する。なお、図１は、この実施の形態にかかる映像通信装置の全体構成をブロック図として示したものである。

同図１に示すように、この映像通信装置も、ネットワークを介して映像送信装置１１と映像受信装置１０１との間で映像ストリームの送受信を行う映像通信装置を想定している。すなわち、この映像通信装置において、映像送信装置１１は、上記映像受信装置１０１からの送信要求に基づき同映像受信装置１０１に対して１ないし複数の映像ストリームを送信する。また、映像受信装置１０１は、上記映像送信装置１１から送信される映像ストリームを受信しつつリアルタイムで再生するようになっている。

ただし、この実施の形態の映像通信装置では、上記映像送信装置１１としてホーム使用のハードディスクレコーダに送信機能が付加された装置を想定している。また、上記映像受信装置１０１としてこのような映像送信装置１１に対して専用の映像受信・再生装置を想定している。また、上記ネットワークとしてローカルエリアネットワーク（以下、ネットワーク）ＬＡＮを想定している。

以下、このような映像送信装置１１および映像受信装置１０１の概要について説明する。

まず、映像送信装置１１において、映像記憶部１２は映像ストリームを圧縮データとして記憶している部分である。なお、この映像ストリームの圧縮に際しては、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）技術が採用されており、具体的には、
（イ）データを空間周波数領域に変換する変換符号化処理としてのＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）処理（ＤＣＴ）。
（ロ）ＤＣＴ処理（ＤＣＴ）による変換係数の値を量子化係数で表す量子化処理（Ｑ）。（ハ）シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理（ＶＬＥ）。
の３つの圧縮技術が採用されている。

また、分配器１３は、上記映像記憶部１２から映像ストリームを取り込んでこれを後述の第１〜第３のトランスコーダ部１４ａ〜１４ｃのいずれか１つに分配して出力する部分である。

また、トランスコーダ１４は、トランスコーディング技術を用いて映像ストリームのデータ形式を変換する先の第１〜第３のトランスコーダ部１４ａ〜１４ｃを備え、これら第１〜第３のトランスコーダ部１４ａ〜１４ｃのいずれか１つに分配される映像ストリームのデータ形式を変換する部分である。

なおここで、図２は、上記第１のトランスコーダ部１４ａの処理構造を、また図３は、上記第２のトランスコーダ部１４ｂの処理構造を、また図４は、上記第３のトランスコーダ部１４ｃの処理構造をそれぞれブロック図として示している。これら図２〜図４から明らかなように、上記第１〜第３のトランスコーダ部１４ａ〜１４ｃでは、映像ストリーム
のデータ形式の変換処理を行うための処理構造として互いに処理負荷の異なる処理構造が採用されている。以下、図２〜図４を参照して上記第１〜第３のトランスコーダ部１４ａ〜１４ｃの別にそれらの処理構造、並びに動作について詳細に説明する。

まず、図２に示すように、第１のトランスコーダ部１４ａにおいて、フレームスキップ部１４ａ１は、映像ストリームのフレームレートを調整する部分である。また、ＤＣＴ係数カットブロック１４ａ２は、後述のＶＬＤブロック１４ａ３による制御信号に基づいて映像ストリームのＤＣＴ係数をカットし、ひいては同映像ストリームを低ビットレート化して送出する部分である。また、ＶＬＤブロック１４ａ３は、上記符号割当処理（ＶＬＥ）による圧縮データを解凍する逆符号割当処理（ＶＬＤ）を行うとともに、上記ＤＣＴ係数カットブロック１４ａ２による上記カット処理を有効または無効とする制御信号を出力する部分である。

第１のトランスコーダ部１４ａのこのような処理構造では、第１のトランスコーダ部１４ａに取り込まれた映像ストリームは、まず、上記フレームスキップ部１４ａ１にて所定のフレームレートに調整される。そしてその後は、後述するが、上記ＤＣＴ係数カットブロック１４ａ２およびＶＬＤブロック１４ａ３にて映像ストリームの低周波項の抽出を通じた同映像ストリームの低ビットレート化のみが行われる。したがって、当該第１のトランスコーダ部１４ａでは、映像ストリームの変換処理に伴う処理負荷が低く、しかも同映像ストリームの変換処理を高速に行うことが可能である。

ここで、ＤＣＴ係数カットブロック１４ａ２およびＶＬＤブロック１４ａ３を用いて映像ストリームを低ビットレート化する方法について説明する。

すなわち、上記ＤＣＴ係数カットブロック１４ａ２に取り込まれる映像ストリームは、ＤＣＴ処理（ＤＣＴ）および量子化処理（Ｑ）を通じて圧縮された圧縮データとなっており、ＤＣＴ係数として直流成分を含む低周波項から高周波項に分布したデータとなっている。ただし、このような映像ストリームではその画素値などの情報の多くが低周波項に集中することが一般に知られており、同映像ストリームの低周波項のみを抽出するようにすれば、該映像ストリームの低ビットレート化が図られるようになる。そこで、上記ＶＬＤブロック１４ａ３は、上記ＤＣＴ係数カットブロック１４ａ２による上記映像ストリームのＤＣＴ係数のカットについて、映像ストリームの高周波項のみ有効として上記制御信号を出力するようにしている。これにより、上記ＤＣＴ係数カットブロック１４ａ２では、こうした制御信号を受けて映像ストリームの高周波項のみがカットされるようになり、換言すれば映像ストリームの低周波項が抽出されるようになり、ひいては同映像ストリームの低ビットレート化が図られるようになる。

ここで、上記ＶＬＤブロック１４ａ３の処理態様についてさらに詳述すると、同ＶＬＤブロック１４ａ３は、まず、上記ＤＣＴ係数カットブロック１４ａ２に取り込まれている映像ストリームと同じ映像ストリームを取り込む。次いで、同ＶＬＤブロック１４ａ３は、該取り込んだ映像ストリームに対して符号割当処理（ＶＬＥ）による圧縮データの解凍処理を実行し、これによって明らかとなる映像ストリームのＤＣＴ係数の空間周波数を認識する。そして、該認識した空間周波数のレベルが上記ＤＣＴ係数カットブロック１４ａ２によるカット処理の対象であるか否かを判断し、該判断に基づいて上記ＤＣＴ係数のカットを有効または無効とする制御信号を出力する。具体的には、映像ストリームのＤＣＴ係数が予め定められている空間周波数の基準レベルを超えて高周波項であり、上記ＤＣＴ係数カットブロック１４ａ２によるカット処理の対象であると判断される場合には、該カット処理を有効とする制御信号が出力される。一方、映像ストリームのＤＣＴ係数が予め定められる空間周波数の基準レベル以下の低周波項であり、上記ＤＣＴ係数カットブロック１４ａ２によるカット処理の対象でないと判断される場合には、該カット処理を無効とする制御信号が出力される。なお、このＶＬＤブロック１４ａ３では、上記ＤＣＴ係数カ
ットブロック１４ａ２によるカット処理の有効、無効の判断基準となる上記空間周波数の基準レベルを調整するようにすることで、映像ストリームを低ビットレート化する割合を調整することも可能である。

一方、図３に示すように、第２のトランスコーダ部１４ｂにおいて、フレームスキップ部１４ｂ１は、映像ストリームのフレームレートを調整する部分である。また、ＶＬＤブロック１４ｂ２は、逆符号割当処理（ＶＬＤ）を行う部分である。また、ＩＱブロック１４ｂ３は、量子化処理（Ｑ）による圧縮データを解凍する逆量子化処理（ＩＱ）を行う部分である。また、Ｑブロック１４ｂ４は、上記量子化処理（Ｑ）を行う部分であり、またＶＬＥブロック１４ｂ５は上記符号割当処理（ＶＬＥ）を行う部分である。なお、図３から明らかなように、これら各処理ブロック１４ｂ２〜１４ｂ５は入力側から順に直列に配設されている。

第２のトランスコーダ部１４ｂのこのような処理構造では、第２のトランスコーダ部１４ｂに取り込まれた映像ストリームは、まず、上記フレームスキップ部１４ｂ１にて所定のフレームレートに調整される。そして、このフレームスキップ部１４ｂ１にてフレームレートが調整された映像ストリームは、ＶＬＤブロック１４ｂ２、さらにはＩＱブロック１４ｂ３に順次に取り込まれ、これら各処理ブロック１４ｂ２、１４ｂ３にて符号割当処理（ＶＬＥ）、さらには量子化処理（Ｑ）による各圧縮データが順次に解凍される。そしてこの後、映像ストリームは、この第２のトランスコーダ部１４ｂにおいて、上記Ｑブロック１４ｂ４に取り込まれ、該Ｑブロック１４ｂ４にて同映像ストリームが低ビットレート化されるかたちでの量子化処理（Ｑ）が行われる。そして次に、同映像ストリームは、上記ＶＬＥブロック１４ｂ５に取り込まれ、該ＶＬＥブロック１４ｂ５にて符号化されて後にこの第２のトランスコーダ部１４ｂから送出されるようになる。

このように、第２のトランスコーダ部１４ｂでは、その処理構造として、映像ストリームが低ビットレート化されるかたちでの量子化処理（Ｑ）を行うための最低限の機能ブロックのみを有する処理構造が採用されている。したがって、映像ストリームの低ビットレート化を図るに際し、映像ストリームの高周波項に含まれる情報を全てカットすることとなる上記第１のトランスコーダ部１４ａよりも、この第２のトランスコーダ部１４ｂを用いるようにするほうが、映像ストリームの低ビットレート化に伴うその画質等の劣化が抑制されるようになる。ただし、映像ストリームの変換処理に必要とされる処理負荷という意味では、この第２のトランスコーダ部１４ｂよりも、映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う上記第１のトランスコーダ部１４ａを用いるようにするほうがより小さな処理負荷とすることが可能である。

また一方、図４に示すように、第３のトランスコーダ部１４ｃにおいて、フレームスキップ部１４ｃ１は、映像ストリームのフレームレートを調整する部分である。また、当該第３のトランスコーダ部１４ｃは、このフレームスキップ部１４ｃ１を除いて大きくは、圧縮データである映像ストリームのデコードを行う部分ＤＰと、該部分ＤＰにてデコードされた映像ストリームの解像度変換処理を行う部分ＫＰと、該部分ＫＰにて解像度が変換された映像ストリームのエンコードを行う部分ＥＰとから構成されている。

このうち、デコードを行う部分ＤＰでは、映像ストリームの入力側から、逆符号割当処理（ＶＬＤ）を行うＶＬＤブロック１４ｃ２と、逆量子化処理（ＩＱ）を行うＩＱブロック１４ｃ３と、上記ＤＣＴ処理（ＤＣＴ）による圧縮データを解凍する逆ＤＣＴ処理（ＩＤＣＴ）を行うＩＤＣＴブロック１４ｃ４とが直列に配設されている。また、このデコードを行う部分ＤＰには、上記各処理ブロック１４ｃ２〜１４ｃ４を通じてデコードされた映像ストリームを取り込んでこれを格納する第１のバッファ１４ｃ５がさらに形成されている。この第１のバッファ１４ｃ５の出力側には、上記ＩＤＣＴブロック１４ｃ４から出
力される映像ストリームが例えば単体で画像を復元することのできるＩピクチャーの参照の下に予測した画像を形成するＰピクチャー等である場合に、同映像ストリームに対して上記格納された映像ストリームを加算するための経路が配されている。また、同デコードを行う部分ＤＰにおいて、上記ＶＬＤブロック１４ｃ２は、先に取り込まれる上記Ｉピクチャー等の映像ストリームとその後に取り込まれる上記Ｐピクチャー等の映像ストリームとの空間的なずれを示す動きベクトルを生成してこれを上記第１のバッファ１４ｃ５に出力する経路を有している。

一方、上記解像度変換処理を行う部分ＫＰは、解像度変換部１４ｃ６と上記デコードを行う部分ＤＰのＶＬＤブロック１４ｃ２にて生成される上記動きベクトルを取り込み、上記解像度変換部１４ｃ６にて映像ストリームの解像度が変換される分だけ上記取り込まれた動きベクトルの示す空間的なずれ量についての調整を行う縮小・拡大処理部１４ｃ１３とから構成されている。なお、この縮小・拡大処理部１４ｃ１３にてこうして調整された動きベクトルは次に説明するエンコードを行う部分ＥＰの第２のバッファ１４ｃ１２に出力される。

また一方、上記エンコードを行う部分ＥＰでは、上記解像度変換部１４ｃ６側から、ＤＣＴ処理（ＤＣＴ）を行うＤＣＴブロック１４ｃ７と、量子化処理（Ｑ）を行うＱブロック１４ｃ８と、符号割当処理（ＶＬＥ）を行うＶＬＥブロック１４ｃ９とが直列に配設されている。また、このエンコードを行う部分ＥＰには、逆量子化処理（ＩＱ）を行うＩＱブロック１４ｃ１０と、逆ＤＣＴ処理（ＩＤＣＴ）を行うＩＤＣＴブロック１４ｃ１１と、映像ストリームを格納する第２のバッファ１４ｃ１２とが直列に配設されるフィードバック経路がさらに形成されている。上記第２のバッファ１４ｃ１２の出力側には、上記ＩＤＣＴブロック１４ｃ１１から出力される映像ストリームが例えば上記Ｐピクチャーである場合などに、同映像ストリームに対して当該第２のバッファ１４ｃ１２に格納されている映像ストリームを加算するための経路が配されている。また、この第２のバッファ１４ｃ１２の出力側にはさらに、解像度変換部１４ｃ６から出力される映像ストリームに対して当該第２のバッファ１４ｃ１２に格納されている映像ストリームを減算するための経路も配されている。

第３のトランスコーダ部１４ｃのこのような処理構造では、第３のトランスコーダ部１４ｃに取り込まれる映像ストリームは、まず、上記フレームスキップ部１４ｃ１にて所定のフレームレートに調整され、次いでデコードを行う部分ＤＰに取り込まれる。そして、同映像ストリームは、このデコードを行う部分ＤＰにおいて、上記ＶＬＤブロック１４ｃ２、ＩＱブロック１４ｃ３、さらにはＩＤＣＴブロック１４ｃ４に順次に取り込まれ、これら各処理ブロック１４ｃ２〜１４ｃ４にて符号割当処理（ＶＬＥ）、量子化処理（Ｑ）、さらにはＤＣＴ処理（ＤＣＴ）による各圧縮データが順次に解凍される。そして、こうした処理を通じてデコードされた映像ストリームがこのデコードする部分ＤＰから取り出され、次いで上記解像度変換処理を行う部分ＫＰに出力されるようになる。なおこのとき、同映像ストリームは上記第１のバッファ１４ｃ５にも格納される。

ただしここで、当該第３のトランスコーダ部１４ｃに取り込まれる映像ストリームが上記Ｐピクチャーである場合などには、上記ＶＬＤブロック１４ｃ２にて上記動きベクトルが生成される。この動きベクトルは上記第１のバッファ１４ｃ５に出力され、該第１のバッファ１４ｃ５に格納されている映像ストリームに対してこの動きベクトルに基づく補正が施される。そして、この補正された映像ストリームが上記ＩＤＣＴブロック１４ｃ４から出力される映像ストリームに加算される。この加算を通じて上記ＩＤＣＴブロック１４ｃ４から出力される映像ストリームが復号化（動き補償）されるようになり、該復号化された映像ストリームがこのデコードする部分ＤＰから取り出され、次いで上記解像度変換処理を行う部分ＫＰに取り込まれるようになる。

解像度変換処理を行う部分ＫＰに取り込まれた映像ストリームは、上記解像度変換部１４ｃ６にてその解像度が所望に変換される。そしてその後、同映像ストリームは、エンコードを行う部分ＥＰに出力されるようになる。ただし、映像送信装置１１の上記映像記憶部１２に記憶されている映像ストリームの解像度と、上記映像受信装置１０１から要求される映像ストリームの解像度が同一である場合には、この解像度変換部１４ｃ６において解像度の維持された映像ストリームが出力される。

エンコードを行う部分ＥＰでは、映像ストリームは、ＤＣＴブロック１４ｃ７、Ｑブロック１４ｃ８、さらにはＶＬＥブロック１４ｃ９に順次に取り込まれ、これら各ブロック１４ｃ７〜１４ｃ９にて行われるＤＣＴ処理（ＤＣＴ）、量子化処理（Ｑ）、さらには符号割当処理（ＶＬＥ）によって順次に圧縮される。そして、こうした処理を通じてエンコードされた映像ストリームがこのエンコードする部分ＥＰから、すなわち当該第３のトランスコーダ部１４ｃから取り出されるようになる。

なおこのとき、上記Ｑブロック１４ｃ８から出力される映像ストリームは、上記ＩＱブロック１４ｃ１０、ＩＤＣＴブロック１４ｃ１１、第２のバッファ１４ｃ１２がこの順に直列に配設される上記フィードバック経路にも取り込まれる。同フィードバック経路に取り込まれた映像ストリームは、このうちＩＱブロック１４ｃ１０、ＩＤＣＴブロック１４ｃ１１にて、上記量子化処理（Ｑ）、ＤＣＴ処理（ＤＣＴ）による各圧縮データが順次に解凍される。そして、こうしてデコードされた映像ストリームが上記第２のバッファ１４ｃ１２に格納されることとなる。

ただしここで、当該第３のトランスコーダ部１４ｃに取り込まれる映像ストリームが上記Ｐピクチャーである場合などには、上述の通り、上記デコードを行う部分ＤＰのＶＬＤブロック１４ｃ２にて上記動きベクトルが生成されている。この動きベクトルは上記縮小・拡大処理部１４ｃ１３に出力され、上記解像度変換部１４ｃ６にて解像度が変換された分だけ上記動きベクトルの縮小・拡大処理が行われる。そして、こうした処理を通じて上記ＶＬＤブロック１４ｃ２にて生成された動きベクトルは上記第２のバッファ１４ｃ１２に取り込まれ、該第２のバッファ１４ｃ１２にて格納されている映像ストリームに対し、この動きベクトルに基づく補正が施される。そして、上記解像度変換部１４ｃ６から取り出される映像ストリームに対しては上記動きベクトルに基づく補正が施された映像ストリームが減算され、ＩＤＣＴブロック１４ｃ１１から取り出される映像ストリームに対しては同補正された映像ストリームが加算される。このうち、上記減算によっては上記ＤＣＴブロック１４ｃ７に取り込まれる映像ストリームの時間的冗長度が削減されるようになる。また、上記加算によっては上記ＩＤＣＴブロック１４ｃ１１から出力される映像ストリームが復号化（動き補償）されるようになり、該復号化された映像ストリームが上記第２のバッファ１４ｃ１２に格納されるようになる。

このように、第３のトランスコーダ部１４ｃでは、その処理構造として、大きくは、映像ストリームのデコード処理、解像度変換処理、エンコード処理を行う処理構造が採用されている。すなわち、上記第１及び第２のトランスコーダ部１４ａ、１４ｂの処理構造（図２及び図３）が映像ストリームの解像度変換処理を含まない第２の処理構造であるのに対し、この第３のトランスコーダ部１４ｃの処理構造は、映像ストリームの解像度変換処理を含む第１の処理構造となっている。したがって、映像ストリームのデータ形式の変換処理として、映像ストリームの解像度変換処理を行うとする場合には、この第３のトランスコーダを用いることで、映像ストリームの解像度変換処理を行うことができるようになる。また、映像ストリームの画質等の品質という意味でも、映像ストリームの高周波項に含まれる情報を全てカットすることとなる上記第１のトランスコーダ部１４ａや上記第２のトランスコーダ部１４ｂよりも、この第３のトランスコーダ部１４ｃを用いるようにす
るほうが、その劣化をより抑制することができるようになる。ただし、映像ストリームの変換処理に必要とされる処理負荷という意味では、この第３のトランスコーダ部１４ｃよりも、映像ストリームの解像度変換処理やＤＣＴ処理、ＩＤＣＴ処理等を行わない上記第１および第２のトランスコーダ部１４ａ、１４ｂを用いるようにするほうがより小さな処理負荷とすることが可能である。

ちなみに、上記トランスコーダ１４に取り込まれ、上記第１〜第３のトランスコーダ部１４ａ〜１４ｃのいずれかにてトランスコーディング処理された映像ストリームは、映像送信装置１１からネットワークＬＡＮを介して上記映像受信装置１０１に送信されることとなる。

また、映像送信装置１１において、制御部１５は、上記分配器１３による映像ストリームの分配処理を制御する部分である。なお、この分配処理の制御は、次に説明する条件判断部１６によって判断される映像ストリームのトランスコーディング処理の条件に基づいて行われる。すなわち、この実施の形態においては、制御部１５及び分配器１３が切替制御部を構成している。

また、条件判断部１６は、上記トランスコーダ１４が変換処理すべきデータ形式に関する処理条件、すなわちトランスコーディング処理の条件を判断する部分である。具体的には、該条件判断部１６は、映像受信装置１０１から送信される該映像受信装置１０１の処理負荷を示す受信負荷情報、及び映像送信装置１１の処理負荷を示す送信負荷情報等を取り込み、これら情報等に基づいて上記トランスコーディング処理の条件を判断する。なお、この判断の際には、後述のトランスコーダ性能テーブル１７に記憶されているテーブルが参照される。

一方、映像受信装置１０１において、ウィンドウ再生情報保持部１０２は、ディスプレイ１１０を通じて表示可能な全てのウィンドウについてそれら各ウィンドウの属性を示す属性情報が一括して記憶されている部分である。

また、再生制御部１０３は、ユーザによる映像ストリームの再生指令の入力に基づき、該再生指令において指定された１ないし複数のウィンドウをディスプレイ１１０に表示するための制御を行う部分である。具体的には、該再生制御部１０３は、上記ウィンドウ再生情報保持部１０２からウィンドウの属性を示す属性情報を取得し、この取得した属性情報を通じて指定されたウィンドウをディスプレイ１１０に表示すべく後述のフレーム出力部１０９に制御信号を出力する。また、同再生制御部１０３は、上記ウィンドウ再生情報保持部１０２から取得した属性情報を後述の属性情報記述作成部１０４に出力する。

また、同映像受信装置１０１において、受信側分配制御部１０５は、上記映像送信装置１１からネットワークＬＡＮを介して送信される映像ストリームを受信するとともに、同映像ストリームを後述のフルデコーダ１０６または部分デコーダ１０８に分配する部分である。具体的には、同受信側分配制御部１０５は、上記映像送信装置１１から受信した映像ストリームの解像度と、上記ディスプレイ１１０に再生される映像ストリームの解像度とを比較する。該比較の結果、映像ストリームの解像度を変換する必要がない、あるいは同解像度を拡大する必要があると判断される場合、該受信側分配制御部１０５は上記フルデコーダ１０６に映像ストリームを分配する。一方、映像ストリームの解像度を縮小する必要があると判断した場合、該受信側分配制御部１０５は上記部分デコーダ１０８に映像ストリームを分配する。

また、同受信側分配制御部１０５は、上記フルデコーダ１０６と後述の解像度変換部１０７の間に設けられるスイッチＳＷの切替制御を併せて行うものである。ちなみに、この
スイッチＳＷは、端子Ｔ１を共通接点とする端子Ｔ１〜Ｔ３の３接点を有し、端子Ｔ１と端子Ｔ２との接続によって上記フルデコーダ１０６とフレーム出力部１０９とを電気的に接続する構造となっている。一方、端子Ｔ１と端子Ｔ３との接続によって上記フルデコーダ１０６と解像度変換部１０７とを電気的に接続する構造となっている。こうしたスイッチＳＷに対し、上記受信側分配制御部１０５は、上記切替制御として、映像ストリームの解像度を変換する必要がないと判断した場合に端子Ｔ１と端子Ｔ２とを接続させ、また映像ストリームの解像度を拡大する必要があると判断した場合に端子Ｔ１と端子Ｔ３とを接続させる。

また、フルデコーダ１０６は、上記受信側分配制御部１０５から分配される映像ストリームをデコードする部分である。

また、解像度変換部１０７は、上記フルデコーダ１０６を通じてデコードされた映像ストリームの解像度を変換する部分である。ただし上述の通り、この実施の形態において、該解像度変換部１０７は特に、映像ストリームの解像度を拡大する処理を行う。

また、部分デコーダ１０８は、上記受信側分配制御部１０５から分配される映像ストリーム中の周波数の最も低い第１周波数項の抽出を通じて映像ストリームを部分的にデコードすることで同映像ストリームの解像度を併せて縮小変換する部分である。なお、同部分デコーダ１０８の構成、並びに動作については、特開２００３−２１９４２０号公報に記載の通り周知であり、ここでの具体的な説明を割愛する。ちなみに、この実施の形態の映像受信装置１０１では、この部分デコーダ１０８と上記解像度変換部１０７とによって解像度変換手段が構成されている。

また、フレーム出力部１０９は、上記再生制御部１０３から取り込まれる制御信号に基づいて上記ディスプレイ１１０に所望のウィンドウを表示するとともに、フルデコーダ１０６、又は解像度変換部１０７、又は部分デコーダ１０８から出力される映像ストリームを取り込んでこれを上記ディスプレイ１１０に表示されているウィンドウ中に再生する部分である。

また、同映像受信装置１０１において、属性情報記述作成部１０４は、上記再生制御部１０３から取り込まれる属性情報を所定のプロトコルに従ったデータ列として記述作成し、ネットワークＬＡＮを介して上記映像送信装置１１に送信する部分である。なお、この実施の形態の属性情報記述作成部１０４は、当該映像受信装置１０１の処理負荷を示す情報である受信負荷情報を取得し、該受信負荷情報についてもこれを上記属性情報とともにネットワークＬＡＮを介して上記映像送信装置１１に送信する。

次に、このような映像通信装置にあって、映像受信装置１０１の再生制御部１０３にユーザから映像ストリームの再生指令が入力されたとしたときの映像送信装置１１および映像受信装置１０１の作用について図１を基本的に参照して説明する。ただしここでは、図５に例示するように、ウィンドウとして特定の３つのウィンドウ（マルチウィンドウ）Ｗ１〜Ｗ３をディスプレイ１１０に表示するとともにこれらウィンドウＷ１〜Ｗ３の別に各異なる３つの映像ストリームを同時再生する旨の再生指令が上記再生制御部１０３に入力されたとしている。

このような場合、再生制御部１０３は、図５に示すように、上記ウィンドウ再生情報保持部１０２から上記再生指令にて指定された特定の３つのウィンドウＷ１〜Ｗ３に関する属性情報を取得し、この取得した属性情報に基づく制御信号を上記フレーム出力部１０９に出力する。これにより、上記３つのウィンドウＷ１〜Ｗ３が図５に例示される態様でディスプレイ１１０に表示されるようになる。

また、同図５に示されるように、再生制御部１０３は、上記属性情報としてウィンドウを特定するためのウィンドウＩＤ、及びウィンドウの優先度を示すプライオリティ、及びウィンドウに表示される映像ストリームの解像度、画質、フレームレートの属性に関する情報を上記３つのウィンドウＷ１〜Ｗ３ごとに取得する。これら属性情報は、上記属性情報記述作成部１０４に取り込まれ、該属性情報記述作成部１０４において例えば図６に例示するように所定のプロトコルに従ったデータ列として記述作成される。

ただしこの実施の形態では、図５及び図６に示されるように、ウィンドウ再生情報保持部１０２は、ウィンドウＷ１〜Ｗ３の属性のうち、解像度、画質、フレームレートの属性については複数の情報を付与してこれらを保持している。また、属性情報記述作成部１０４は、映像受信装置１０１の処理負荷を取得し、上記再生制御部１０３を通じて取り込まれる上記属性情報のうち、解像度、画質、フレームレートの属性の情報についてはこれらを上記取得した映像受信装置１０１の処理負荷に基づいて増減しつつ上記データ列として属性情報を記述作成する。そして、同属性情報記述作成部１０４は、こうして記述作成される属性情報の記述数を映像受信装置１０１の処理負荷を示す受信負荷情報として上記映像送信装置１１に送信するようにしている。例えば、いま、上記映像受信装置１０１には高ビットレートの映像ストリームを送受信することのできる負荷的な余裕があると仮定する。このような場合には、属性情報記述作成部１０４は、例えばウィンドウＷ１に再生される映像ストリームの画質として「３０ｄＢ、２７ｄＢ」、フレームレートとして「３０ｆｐｓ、１５ｆｐｓ」など、それらの属性に高ビットレートとなる情報「３０ｄＢ」、及び「３０ｆｐｓ」を含むかたちで上記データ列を記述作成する。これにより、高ビットレートの映像ストリームを送受信することのできる負荷的な余裕が当該映像受信装置１０１にあることが上記映像送信装置１１に対して示されるようになり、すなわち属性情報の記述数を通じて同映像受信装置１０１の処理負荷が示されるようになる。

また、この実施の形態の映像受信装置１０１は、上述の通り、上記映像送信装置１１から送信される映像ストリームの解像度を変換する機能を有するため、この解像度の属性についてもこれを映像受信装置１０１の処理負荷に応じて複数記述可能である。こうして解像度に関して複数の情報を有する上記データ列を記述作成するようにすることで、映像ストリームの解像度を変換する機能、及びその処理能力（負荷的な余裕）が当該映像受信装置１０１にあることが上記映像送信装置１１に対して示されるようになる。

ちなみに、ウィンドウＷ１中に再生される映像ストリームの解像度は「３６０×２４０」、ウィンドウＷ２、Ｗ３中に再生される映像ストリームの解像度は「１８０×１２０」となっている。このため、例えば上記ウィンドウＷ１中に再生する映像ストリームとして、上記映像送信装置１１から「１８０×１２０」や「７２０×４８０」の解像度の映像ストリームが送信される場合には、当該映像受信装置１０１において同映像ストリームの解像度を変換処理することとなる。

そして、このように記述作成された属性情報は、上記ネットワークＬＡＮを介して映像送信装置１１に送信され、ひいては該映像送信装置１１の上記条件判断部１６に取り込まれ、次に上述のトランスコーディング処理の条件の判断に供されることとなる。

すなわち、映像送信装置１１において、上記条件判断部１６は、上記映像受信装置１０１から属性情報を受信すると、上記トランスコーダ性能テーブル１７に記憶されているテーブルを参照する。なお、この参照に際し、該条件判断部１６は、上記受信した属性情報から最もビットレートが高くなる属性の情報の組み合わせを選択し、この選択した情報を採用して上記トランスコーダ１４にてトランスコーディング処理を行った場合に同トランスコーダ１４から出力される映像ストリームのビットレート（最大出力ビットレート）を算出する。ちなみに図５の例において、例えばウィンドウＷ１であれば、解像度として「
７２０×４８０」、画質として「３０ｄＢ」、フレームレートとして「３０ｆｐｓ」が各々選択され、これら選択された属性情報から上記最大出力ビットレートが算出されることとなる。そして、この算出される最大出力ビットレートによって映像受信装置１０１が要求している映像ストリームのビットレートの上限値が示されるようになる。

また同じく、上記テーブルの参照に際し、同条件判断部１６は、映像送信装置１１自体の処理負荷を示す送信負荷情報、及び上記映像記憶部１２に記憶されている映像ストリームの解像度（入力解像度）、及びビットレート（入力ビットレート）、さらにはネットワークＬＡＮの帯域情報を取得する。そして、これらの条件の下にトランスコーディング処理の条件を判断する。

ここで、上記トランスコーダ性能テーブル１７に記憶されているテーブルについて具体的に説明する。図７及び図８に例示するように、このトランスコーダ性能テーブル１７には、上記第１のトランスコーダ部１４ａに対応する第１のテーブル１７ａ、及び上記第３のトランスコーダ部１４ｃに対応する第２のテーブル１７ｂが記憶されている。実際には、第２のトランスコーダ部１４ｂに対応するテーブルも記憶されているが、ここでは便宜上、図示を割愛する。そして、図７に例示するように、上記第１のテーブル１７ａには、例えば、オプションＯＰａ１として、
（二）入力解像度「７２０×４８０」。
（ホ）入力ビットレート「１０Ｍｂｐｓ」。
の映像ストリームが上記第１のトランスコーダ部１４ａにて、
（へ）ビットレート（出力ビットレート）「８Ｍｂｐｓ」。
の映像ストリームに変換処理される場合、画質「３６ｄＢ」の映像ストリームがこの第１のトランスコーダ部１４ａから出力されること、及びトランスコーダ部１４ａが８％の処理負荷を必要とすること等が示されている。また、この第１のテーブル１７ａの代わりに、入力解像度、及び入力ビットレート、及び出力ビットレートから特定される画質、及びトランスコーダ１４の処理負荷については、

Ｑｕ１＝Ｃ１×Ｒｘ＋Ｃ２×Ｂｉ＋Ｃ３×Ｂｏ・・・（１）
Ｌｏ＝Ｃ４×Ｒｘ＋Ｃ５×Ｂｉ＋Ｃ６×Ｂｏ・・・（２）
ただし、
Ｑｕ１：トランスコーダ１４から出力される映像ストリームの画質
Ｌｏ：トランスコーダ１４の処理負荷
Ｒｘ：水平方向の入力解像度の規格化値（「０」〜「１」の範囲になるように規格化）
Ｂｉ：入力ビットレートの規格化値
Ｂｏ：出力ビットレートの規格化値
Ｃ１〜Ｃ６：各パラメータＲｘ、Ｂｉ、Ｂｏを重み付けする重み係数

といった近似的な関係式に基づいて特定することもできる。

またこれと同様に、図８に例示される第２のテーブル１７ｂには、例えば、オプションＯＰｂ１として、
（ト）入力解像度「７２０×４８０」。
（チ）入力ビットレート「１０Ｍｂｐｓ」。
の映像ストリームが上記第３のトランスコーダ部１４ｃにて、
（リ）解像度（出力解像度）「７２０×４８０」
（ヌ）出力ビットレート「８Ｍｂｐｓ」。
の映像ストリームに変換処理される場合、画質「４２ｄＢ」の映像ストリームがこの第３のトランスコーダ部１４ｃから出力されること、及びトランスコーダ部１４ｃが３５％の
処理負荷を必要とすること等が示されている。また、この第２のテーブル１７ｂの代わりに、入力解像度、及び出力解像度、及び入力ビットレート、及び出力ビットレートから特定される画質、及びトランスコーダ１４の処理負荷については、

Ｑｕ２＝Ｃ７×Ｒ＋Ｃ８×Ｂｉ＋Ｃ９×Ｂｏ・・・（３）
Ｌｏ＝Ｃ１０×Ｒ＋Ｃ１１×Ｂｉ＋Ｃ１２×Ｂｏ・・・（４）
ただし、
Ｑｕ２：トランスコーダ１４から出力される映像ストリームの画質
Ｌｏ：トランスコーダ１４の処理負荷
Ｒ：水平方向の入力解像度と出力解像度との比の規格化値
Ｃ７〜Ｃ１２：各パラメータＲ、Ｂｉ、Ｂｏを重み付けする重み係数

といった関係式に基づいて特定することもできる。

そして、上記条件判断部１６は、このような第１及び第２のテーブル１７ａ、１７ｂ等を参照し、これら各テーブル１７ａ、１７ｂ等のうち、
（ヲ）入力解像度、及び入力ビットレートが、上記映像記憶部１２に記憶されている映像ストリームの解像度、及びビットレートと各々同一であること。
（ワ）出力ビットレートが、映像受信装置１０１から送信される属性情報に基づき上記条件判断部１６にて算出された最大出力ビットレートよりも小さいこと。
（カ）出力ビットレートが、条件判断部１６にて取得されたネットワークＬＡＮの帯域情報に対して許容されるレベルであること。
（ヨ）画質が、映像受信装置１０１から送信される属性情報において指定されている画質のレベルを満たすこと。
（タ）トランスコーダ１４の処理負荷が、条件判断部１６にて取得された送信負荷情報に対して許容されるレベルであること。
といった各条件を満たすオプションＯＰを選択する。ただし、第２のテーブル１７ｂのように出力解像度の欄が設けられているテーブルを参照する場合には、
（レ）出力解像度が、映像受信装置１０１から送信される属性情報において指定されている解像度と同一であること。
の条件をさらに満たすオプションＯＰを選択する。

なお、これら（ヲ）〜（レ）の条件のうち、前記（ワ）及び（ヨ）及び（レ）の条件が、映像受信装置１０１側からビットレートや解像度等に関して要求される条件となっている。また、前記（タ）の条件が、映像送信装置１１自体の処理負荷がその限界値を超えることのないようにトランスコーダ１４の処理負荷を軽減させるための条件となっている。このため、こうしたトランスコーディング処理の条件にしたがって、上記第１〜第３のトランスコーダ部１４ａ〜１４ｃを切替制御するようにすることで、映像ストリームのビットレート等に関して映像受信装置１０１側の要求に沿う映像ストリームを送受信することができるようになる。また、映像送信装置１１としても、その処理負荷が該映像送信装置１１の処理負荷の限界値を超えることのないように、上記映像受信装置１０１との間で映像ストリームを送受信することができるようになる。

そして、こうしてトランスコーダ１４が変換処理すべきデータ形式に関する処理条件が判断されると、該条件判断部１６は、上記選択したオプションＯＰにおいて指定されている画質、及びトランスコーダ１４の処理負荷の条件を上記制御部１５に通知する。また、同条件判断部１６は、同選択したオプションＯＰにおいて指定されている入力解像度と出力解像度との比較から上記トランスコーダ１４にて映像ストリームの解像度を変換する必要があるか否かを判断し、同変換の必要の有無の条件についてもこれを同じく上記制御部１５に通知する。

そして、同制御部１５は、上記条件判断部１６から通知された各条件に基づき上記トランスコーダ部１４ａ〜１４ｃのいずれによって映像ストリームのトランスコーディング処理を行うべきかを決定する。より具体的には、映像ストリームのトランスコーディング処理の条件として、解像度の変換処理を行う必要があると判断された場合、該制御部１５は、上記第３のトランスコーダ部１４ｃにて上記トランスコーディング処理を行うことを決定する。一方、解像度の変換処理を行う必要がないと判断された場合、該制御部１５は、条件判断部１６による上記映像ストリームの画質とトランスコーダ１４の処理負荷との条件を併せ満たしつつ上記トランスコーディング処理を行うことのできるトランスコーダ部を選択し、この選択したトランスコーダ部にて同処理を行うことを決定する。そしてこうした決定に基づき、同制御部１５が上記分配器１３による映像ストリームの分配処理を制御することで、上記映像記憶部１２に記憶されている映像ストリームは、上記分配器１３を通じて上記制御部１５にて決定されたトランスコーダ部に分配されるようになる。そして、同トランスコーダ部に分配された映像ストリームは、このトランスコーダ部において、上記条件判断部１６にて判断された映像ストリームのトランスコーディング条件の下、上記トランスコーディング処理が行われるようになる。

一方、映像受信装置１０１において、上記映像送信装置１１から送信される映像ストリームは、上記受信側分配制御部１０５にて受信され、次いで該受信側分配制御部１０５を通じてフルデコーダ１０６または部分デコーダ１０８に分配される。

このうち、上記フルデコーダ１０６には、上述の通り、映像ストリームの解像度を変換する必要がない、あるいは同解像度を拡大する必要がある映像ストリームが分配される。同映像ストリームは、このフルデコーダ１０６においてデコードされ、次いで上記受信側分配制御部１０５による上記スイッチＳＷの切替制御によって接続される端子Ｔ１、Ｔ２を介してフレーム出力部１０９に取り込まれる。ただし、上記解像度を拡大する必要がある映像ストリームは、上記受信側分配制御部１０５による上記スイッチＳＷの切替制御によって接続される端子Ｔ１、Ｔ３を介して上記解像度変換部１０７に取り込まれ、該解像度変換部１０７にて所望の解像度に変換された後、上記フレーム出力部１０９に出力される。

一方、上記部分デコーダ１０８には、上述の通り、映像ストリームの解像度を縮小する必要がある映像ストリームが分配される。そしてこれも上述の通り、この部分デコーダ１０８では、同映像ストリームはデコードされるとともにその解像度が縮小変換されて上記フレーム出力部１０９に取り込まれる。

そして、こうしてフレーム出力部１０９に取り込まれた映像ストリームは、次いで上記ディスプレイ１１０に出力され、これによって同ディスプレイ１１０に表示されているウィンドウＷ１〜Ｗ３中に映像ストリームが再生されるようになる。

図９及び図１０は、上記映像送信装置１１及び映像受信装置１０１にて、主に上記再生制御部１０３への再生指令の入力に基づいて実行される各処理の手順についてその一例をフローチャートとして示したものであり、次に、これら各処理の手順について図１１を併せ参照して説明する。なお、図１１（ａ）、（ｂ）は、映像送信装置１１及び映像受信装置１０１の処理負荷をそれぞれタイムチャートとして示したものである。ちなみに、同図１１（ａ）、（ｂ）の時刻Ａにおいて、先の図５に例示したウィンドウＷ１〜Ｗ３の別に各異なる３つの映像ストリームを同時再生する旨の再生指令が上記再生制御部１０３に入力されるとしている。

まず、上記属性情報記述作成部１０４においては、上記映像送信装置１１に対して属性
情報を送信するための属性情報送信処理が実行される。

すなわち、この属性情報送信処理では、図９に示すように、ステップＳ１の処理として、上記再生制御部１０３からの属性情報の入力の有無が所定期間ごとに繰り返し確認される。そして、図１１の時刻Ａにおいて上記再生制御部１０３に上記再生指令が入力され、該再生制御部１０３から属性情報が取り込まれると、次にステップＳ２の処理が実行される。

このステップＳ２の処理においては、映像受信装置１０１の処理負荷が取得され、この取得された処理負荷に基づいて例えば図６に例示するデータ列として上記属性情報が記述作成される。なおここで、図１１（ｂ）に示すように、時刻Ａにおいて、映像受信装置１０１には高ビットレートの映像ストリームを送受信するための負荷的な余裕が十分ある。したがって、上記データ列として記述作成される属性情報には、例えばウィンドウＷ１に再生される映像ストリームの画質として「３０ｄＢ」、フレームレートとして「３０ｆｐｓ」などの属性情報も含まれることとなる。そして次に、ステップＳ３の処理として、この属性情報が上記映像送信装置１１に対して送信されることで、映像受信装置１０１の処理負荷が低い状態にあることが上記映像送信装置１１に示されるようになる。

なお、この属性情報送信処理では、このステップＳ３の処理が実行された後は、上記ステップＳ１の処理が再度実行される。すなわち、上記ディスプレイ１１０にウィンドウＷ１〜Ｗ３が表示されている間は、これらウィンドウＷ１〜Ｗ３に関する属性情報が上記再生制御部１０３からその都度取り込まれる。したがって、この属性情報送信処理のステップＳ１〜Ｓ３の一連の処理も、上記再生制御部１０３からその都度取り込まれる属性情報に基づいて所定期間ごとに繰り返し実行され、映像受信装置１０１のその都度の処理負荷に応じた属性情報が上記映像送信装置１１にその都度送信される。すなわち、この属性情報送信処理では、映像受信装置１０１のその都度の処理負荷を示す受信負荷情報が上記映像送信装置１１に送信されている。

トランスコーディング処理条件判断処理は、上記属性情報記述作成部１０４からその都度更新して送信される属性情報が上記条件判断部１６にて受信される度に該条件判断部１６によってその都度実行される。以下、このトランスコーディング処理条件判断処理について説明する。なお、このトランスコーディング処理条件判断処理を含め、以下に説明するトランスコーダ切替処理や映像ストリームの受信、分配処理等については、ここでは説明の便宜上、ウィンドウＷ１〜Ｗ３のうち、ウィンドウＷ１中に再生される映像ストリームに関して行われる処理に限定して説明する。ただし実際には、上記ウィンドウＷ２、Ｗ３中に再生される映像ストリームに関する処理も上記ウィンドウＷ１中に再生される映像ストリームに関する処理とほぼ同時に時分割にて実行されている。

同図９に示すように、このトランスコーディング処理条件判断処理では、ステップＳ１０の処理として、上記属性情報記述作成部１０４から送信される属性情報が受信される。そして、ステップＳ１１の処理として、映像記憶部１２に記憶されている映像ストリームのビットレート、及び解像度が取得される。なお、この実施例では、映像記憶部１２に記憶されている映像ストリームのビットレートは「１０Ｍｂｐｓ」、同映像ストリームの解像度は「７２０×４８０」であるとする。そして次に、ステップＳ１２の処理として、受信した属性情報に基づいて上記最大出力ビットレートが算出される。そして、ステップＳ１３の処理として、ネットワークＬＡＮの帯域が取得され、次いでステップＳ１４の処理として、映像送信装置１１の処理負荷を示す送信負荷情報が取得される。

上記ステップＳ１１〜Ｓ１４にてこうして各種のパラメータが取得されると、次にステップＳ１５の処理として、図７、図８に示されるように、上記トランスコーダ性能テーブル１７に記憶されている第１及び第２のテーブル１７ａ、１７ｂ等が参照される。そして
、これらテーブル１７ａ、１７ｂ等のオプションＯＰのうち、上記受信した属性情報等に基づいて定められる条件、具体的には前記（ヲ）〜（ヨ）、及び（レ）の条件を満たすオプションＯＰが選択、抽出される。

ちなみに、前記（ワ）の条件が満たされることで、映像受信装置１０１側のビットレートに関する要求を超えるより高いビットレートの映像ストリームが送受信されることが回避されるようになる。また、前記（ヨ）の条件が満たされることで、映像受信装置１０１の処理能力に応じた画質（ビットレート）の映像ストリームが送受信されるようになる。また、前記（レ）の条件が満たされることで、映像ストリームの解像度に関して映像受信装置１０１側の要求に沿うかたちでの映像ストリームの送受信が可能となる。したがって、上記ステップＳ１５の処理にて抽出されたオプションＯＰのいずれが上記トランスコーディング処理の条件として採用されたとしても、映像ストリームのビットレート等に関して映像受信装置１０１側の要求に沿うかたちでの映像ストリームの送受信ができるようになる。ちなみに、上記抽出されたオプションＯＰでは前記（カ）の条件も満たされているため、ネットワークＬＡＮがたとえ輻輳等に起因してその通信帯域が制限されるような場合であっても、上記映像送信装置１１と映像受信装置１０１との間で映像ストリームを円滑に送受信することができるようになる。

そして次に、ステップＳ１６の処理として、上記ステップＳ１５の処理にて抽出されたオプションＯＰのうち、最も画質の高いオプションが選択される。ただし、この選択では、出力解像度が上記映像受信装置１０１にて再生される際の映像ストリームの解像度「３６０×２４０」と同じであるオプションＯＰｂ６が優先される。そして、この選択されたオプションＯＰｂ６において指定されているトランスコーディング処理の条件をもって該処理を行うことが可能であるか否かが判断される。この判断は、上記オプションＯＰｂ６において指定されているトランスコーダ部の処理負荷「３９％」が前記（タ）の条件を満たすか否かによって行われる。なおここで、図１１（ａ）に示すように、時刻Ａにおいて、映像送信装置１１には、トランスコーダ部による処理に処理負荷「３９％」を配分するだけの処理能力（負荷的な余裕）がある。このため、このステップＳ１６の処理では、上記選択されたオプションＯＰｂ６において指定されているトランスコーディング処理の条件にて該処理を行うことができると判断され、次いでステップＳ１９の処理として、同オプションＯＰｂ６において指定されているトランスコーディング処理の条件が上記制御部１５に通知される。なおここでは、上記トランスコーディング処理の条件として、上記選択されたオプションＯＰｂ６において指定されている画質「４２ｄＢ」、及びトランスコーダ部の処理負荷「３９％」と、解像度変換処理が必要であることとが通知される。

そして、こうして上記制御部１５に上記トランスコーディング処理の条件が通知されると、図１１に示されるように、制御部１５及び分配器１３による上記３つのトランスコーダ部１４ａ〜１４ｃ（トランスコーダ１４）の切替制御と、該トランスコーダ１４によるトランスコーディング処理、映像ストリームの送信処理が実行される。なお、こうした各処理も、上記制御部１５に上記トランスコーディング処理の条件がその都度通知される度に実行される。

このような各種の処理のうち、トランスコーダ１４の切替制御では、まず、ステップＳ２０の処理として、上記制御部１５にて、上記条件判断部１６から上記トランスコーディング処理の条件が通知されたことが認識される。そして、ステップＳ２１の処理として、上記条件判断部１６から通知された条件に基づいて上記トランスコーディング処理を行うトランスコーダ部が選択、決定される。ここでは、上記条件判断部１６から通知された、画質「４２ｄＢ」、及びトランスコーダ部の処理負荷「３９％」、及び解像度変換処理が必要であること、といった条件に基づいて上記第３のトランスコーダ部１４ｃを用いて上記トランスコーディング処理を行うことが決定される。

そして次に、ステップＳ２２の処理として、上記制御部１５によって上記分配器１３による映像ストリームの分配処理が制御され、これによって上記映像記憶部１２に記憶されている映像ストリームが上記分配器１３を通じて上記第３のトランスコーダ部１４ｃに分配され、すなわち該第３のトランスコーダ部１４ｃが能動とされる。そして次に、ステップＳ２３の処理として、上記第３のトランスコーダ部１４ｃによって上記映像ストリームのトランスコーディング処理が行われる。そして次に、ステップＳ２４の処理として、所望のビットレート等に変換処理された映像ストリームがネットワークＬＡＮを介して上記映像受信装置１０１に送信され、この映像ストリームの送信に基づき、次に説明する映像ストリームの受信、分配処理が実行されることとなる。

映像ストリームの受信、分配処理は、上記受信側分配制御部１０５により実行される。なお、この映像ストリームの受信、分配処理も、上記映像送信装置１１からその都度映像ストリームが送信される度に実行される。

同処理に際し、まず、ステップＳ３０の処理として、上記映像送信装置１１から送信される映像ストリームが受信される。

そして次に、ステップＳ３１の処理として、上記受信した映像ストリームの解像度と、上記ウィンドウＷ１中に再生される映像ストリームの解像度とが比較される。なお、この例では、上記第３のトランスコーダ部１４ｃにて映像ストリームの解像度を変換処理することとしたため、上記受信した映像ストリームと上記ウィンドウＷ１中に再生される映像ストリームとの解像度は同一である。したがって、このステップＳ３１の処理においては、上記受信した映像ストリームの解像度は上記ウィンドウＷ１中に再生される映像ストリームの解像度以下と判断される。そして次に、ステップＳ３２の処理として、上記受信した映像ストリームと上記ウィンドウＷ１中に再生される映像ストリームとの解像度が同一か否かが判断される。このステップＳ３２の処理においては、それら解像度が同一であると判断される。そして次に、ステップＳ３３の処理として、上記スイッチＳＷの端子Ｔ１およびＴ２を電気的に接続するための切替制御が行われる。そして次に、ステップＳ３５の処理として、上記受信した映像ストリームが上記フルデコーダ１０６に分配、出力される。そして、こうして分配、出力された映像ストリームが上記フルデコーダ１０６にてデコードされた後、上記フレーム出力部１０９を通じて上記ディスプレイ１１０に表示されているウィンドウＷ１中に再生されることとなる。

ところで、この実施の形態の映像送信装置１１は、ホーム使用のハードディスクレコーダに送信機能を付加した程度の装置であり、このような装置ではその処理能力上、映像ストリームの送受信が困難となりやすいことは前述した通りである。

例えば、図１１（ａ）に示すように、時刻Ａの後の時刻Ｂにおいて、時刻Ａにて入力された再生指令とは別の再生指令が入力されるとしたとき、該別の再生指令に基づく処理として先の再生指令に基づく処理と同様の処理を行うとすることも考えられる。ただし、このような処理を行うとすると、映像送信装置１１の処理負荷が点線にて示すように該映像送信装置１１の処理能力の限界値「１００％」を超えることにもなりかねない。一方、このような場合であっても、映像受信装置１０１の処理負荷は、図１１（ｂ）に示すように、時刻Ｂにおいて点線にて示すように未だ十分な負荷的な余裕がある。

そこでこのような場合、この実施の形態の映像通信装置では、映像送信装置１１にて通常行われる解像度やビットレート等のデータ形式の変換処理のうち、解像度の変換処理についてはこれを上記映像受信装置１０１の処理能力（負荷的な余裕）を利用して該映像受信装置１０１側にて行うようにする。また、映像送信装置１１は、例えば映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う上記
第１のトランスコーダ部１４ａや、上記第２のトランスコーダ部１４ｂを用いて上記トランスコーディング処理を行うようにする。これにより、図１１（ａ）に実線にて示すように、時刻Ｂにおいて上記別の再生指令に基づく処理を行うにあたって、上記映像送信装置１１の処理負荷を大きく軽減することができるようになる。また、こうして映像送信装置１１の処理負荷の軽減が図られることで、同処理負荷が軽減される分だけ映像ストリームの画質等に関して上記映像受信装置１０１の処理能力により見合うかたちでの変換処理を行うこともできるようになる。またこの場合には、トランスコーダ１４を通じた映像ストリームの変換処理が高速に実行されることにもなる。なお、上記第３のトランスコーダ部１４ｃよりも上記第１のトランスコーダ部１４ａ等を用いてトランスコーディング処理を行うほうが該処理に伴う処理負荷も小さくなることは、上記第１のテーブル１７ａ（図７参照）と上記第２のテーブル１７ｂ（図８参照）との処理負荷の欄を比較して明らかである。

次に、時刻Ｂにおいて、再生制御部１０３に上記別の再生指令が入力された場合に実行される各処理の手順について図９及び図１０を参照して説明する。なお、この時刻Ｂにおいても、上記別の再生指令として、先の図５に例示したウィンドウＷ１〜Ｗ３の別に各異なる３つの映像ストリームを同時再生する旨の再生指令が上記再生制御部１０３に入力されるとしている。

まず、上記属性情報送信処理のステップＳ１〜Ｓ３の処理は、時刻Ａにて入力された再生指令に基づく上述の処理に準じたものとなっている。

すなわち、上記ステップＳ１の処理では、上記再生制御部１０３からの属性情報の入力の有無が所定期間ごとに繰り返し確認される。そして、時刻Ｂにおいて上記再生制御部１０３に上記別の再生指令が入力され、同再生制御部１０３からの属性情報の入力が確認されると、次のステップＳ２の処理が実行される。このステップＳ２の処理では、映像受信装置１０１の処理負荷が取得され、この取得された処理負荷に基づいて図６に例示するデータ列として上記属性情報が記述作成される。なお上述の通り、時刻Ｂにおいても、映像受信装置１０１には高ビットレートの映像ストリームを送受信するための負荷的な余裕が十分ある。そして、次のステップＳ３の処理では、こうして記述作成された属性情報の上記映像送信装置１１への送信が実行され、該送信が実行された後は、上記ステップＳ１の処理が再度実行される。

一方、上記トランスコーディング処理条件判断処理では、ステップＳ１０〜Ｓ１５までの処理に関しては、時刻Ａにて入力された再生指令に基づく上述の処理に準じたものとなっている。なおここでも、このトランスコーディング処理条件判断処理を含め、以下に説明するトランスコーダ切替処理や映像ストリームの受信、分配処理等については、説明の便宜上、ウィンドウＷ１〜Ｗ３のうち、ウィンドウＷ１中に再生される映像ストリームに関して行われる処理に限定して説明する。

すなわち、上記ステップＳ１０の処理では、上記属性情報記述作成部１０４から送信される属性情報が受信される。また、上記ステップＳ１１の処理では、映像記憶部１２に記憶されている映像ストリームのビットレート、及び解像度が取得される。また、上記ステップＳ１２の処理では、上記受信した属性情報に基づいて上記最大出力ビットレートが算出される。また、上記ステップＳ１３の処理では、ネットワークＬＡＮの帯域が取得され、ステップＳ１４の処理では、映像送信装置１１の処理負荷を示す送信負荷情報が取得される。そして、上記ステップＳ１５の処理では、上記トランスコーダ性能テーブル１７に記憶されている第１及び第２のテーブル１７ａ、１７ｂ等が参照される。そして、これらテーブル１７ａ、１７ｂ等のオプションＯＰのうち、上記受信した属性情報等に基づいて定められる条件、具体的には前記（ヲ）〜（ヨ）、及び（レ）の条件を満たすオプションＯＰが選択、抽出される。

そして次に、上記ステップＳ１６の処理では、上記ステップＳ１５の処理にて抽出されたオプションＯＰのうち、最も画質の高いオプションが選択され、この選択されたオプションＯＰｂ６において指定されているトランスコーディング処理の条件をもって該処理を行うことが可能であるか否かが判断される。上述の通り、この判断は、上記オプションＯＰｂ６において指定されているトランスコーダ部の処理負荷「３９％」が前記（タ）の条件を満たすか否かによって行われる。ただし、時刻Ｂにおいて、映像送信装置１１には、トランスコーダ部による処理に処理負荷「３９％」を配分するだけの処理能力（負荷的な余裕）がない。このため、このステップＳ１６の処理では、上記選択されたオプションＯＰｂ６において指定されているトランスコーディング処理の条件にて該処理を行うことはできないと判断され、次にステップＳ１７の処理が行われる。

このステップＳ１７の処理では、既に選択されたオプションＯＰｂ６に対して他のオプションＯＰが上記抽出されたオプションＯＰに含まれているか否かが判断される。この例では、他のオプションがあると判断され、上記ステップＳ１６が再度行われる。ただし、再度行われるこのステップＳ１６の処理では、既に選択されたオプションＯＰｂ６は選択されない。すなわち、このステップＳ１６の処理では、上記ステップＳ１５の処理にて抽出されたオプションＯＰのうち、２番目に画質の高いオプションが選択され、この選択されたオプションＯＰにおいて指定されているトランスコーディング処理の条件をもって該処理を行うことが可能であるか否かが判断される。

そして、このステップＳ１６において、上記トランスコーディング処理を行うことができると判断されるまで、上記ステップＳ１６及びＳ１７の処理が繰り返し行われる。そして、こうした繰り返しの処理を通じて上記ステップＳ１６では、映像送信装置１１自体の処理負荷が該映像送信装置１１の処理能力の限界値「１００％」を超えることのないようにトランスコーダ１４の処理負荷を順次軽減する態様で上記トランスコーディング処理の条件が選択されることとなる。

そして、こうした繰り返しの処理が行われた結果、上記ステップＳ１６の処理において、選択されたオプションＯＰ、例えばオプションＯＰａ１（図７参照）において指定されているトランスコーディング処理の条件をもって同処理を行うことが可能であると判断されると、次いで上記ステップＳ１９の処理が行われる。このステップＳ１９では、オプションＯＰａ１において指定されているトランスコーディング処理の条件が上記制御部１５に通知される。なおここでは、上記トランスコーディング処理の条件として、上記選択されたオプションＯＰａ１において指定されている画質「３６ｄＢ」、及びトランスコーダ部の処理負荷「８％」と、解像度変換処理が必要でないこととが通知される。

ちなみに、映像送信装置１１の処理能力が極めて低く、上記繰り返しの処理の結果、上記ステップＳ１７の処理において、他のオプションＯＰがないと仮に判断されたとすると、次にステップＳ１８の処理が行われる。このステップＳ１８の処理では、映像ストリームの送信モードが静止画モードに設定され、上記トランスコーダ１４において映像ストリームのフレームレートの調整のみを通じて映像ストリームの低ビットレート化が図られる。そして、次のステップＳ１９の処理において、こうしたトランスコーディング処理の条件が上記制御部１５に通知されることとなる。

また一方、トランスコーダ１４の切替制御、該トランスコーダ１４によるトランスコーディング処理、映像ストリームの送信処理のステップＳ２０〜Ｓ２４の処理は、時刻Ａにて入力された再生指令に基づく上述の処理に準じたものとなっている。

すなわち、上記ステップＳ２０の処理では、上記制御部１５にて、上記条件判断部１６
から上記トランスコーディング処理の条件が通知されたことが認識される。また、上記ステップＳ２１の処理では、上記条件判断部１６から通知された条件に基づいて上記トランスコーディング処理を行うトランスコーダ部が選択、決定される。ただしここでは、上記条件判断部１６から通知された、画質「３６ｄＢ」、及びトランスコーダ部の処理負荷「８％」、及び解像度変換処理が必要でないこと、といった条件に基づいて上記第１のトランスコーダ部１４ａを用いて上記トランスコーディング処理を行うことが決定される。

そして、上記ステップＳ２２の処理では、上記制御部１５によって上記分配器１３による映像ストリームの分配処理が制御され、これによって上記映像記憶部１２に記憶されている映像ストリームが上記分配器１３を通じて上記第１のトランスコーダ部１４ａに分配され、すなわち該第１のトランスコーダ部１４ａが能動とされる。そして、上記ステップＳ２３の処理では、上記第１のトランスコーダ部１４ａによって上記映像ストリームのトランスコーディング処理が行われる。そして、上記ステップＳ２４の処理では、所望のビットレート等に変換処理された映像ストリームがネットワークＬＡＮを介して上記映像受信装置１０１に送信される。

また一方、映像ストリームの受信、分配処理のステップＳ３０の処理では、上記映像送信装置１１から送信される映像ストリームが受信される。そして、上記ステップＳ３１の処理では、上記受信した映像ストリームの解像度と、上記ウィンドウＷ１中に再生される映像ストリームの解像度とが比較される。なお、この例では、上記第１のトランスコーダ部１４ａにて映像ストリームを変換処理することとしたため、上記受信した映像ストリームの解像度「７２０×４８０」よりも上記ウィンドウＷ１中に再生される映像ストリームの解像度「３６０×２４０」のほうが小さい。したがって、このステップＳ３１の処理においては、上記受信した映像ストリームのほうが上記ウィンドウＷ１中に再生される映像ストリームよりもその解像度が大きいと判断され、次にステップＳ３６の処理が行われる。このステップＳ３６の処理では、上記受信した映像ストリームが上記部分デコーダ１０８に分配、出力される。そして、こうして分配、出力された映像ストリームは、上記部分デコーダ１０８にてデコードされるとともにその解像度が所望に縮小変換される。なお、この部分デコーダ１８を用いた解像度変換処理では、該処理に通常必要とされる逆変換符号化処理（ＩＤＣＴ）が割愛されるため、映像受信装置１０１の処理負荷の増加を抑制しつつ上記解像度の変換処理を行うことが可能である。しかもこの場合、映像ストリームの解像度は高速に変換される。そしてこの後、上記フレーム出力部１０９を通じて上記ディスプレイ１１０に表示されているウィンドウＷ１中に再生されることとなる。

ちなみに、上記ステップＳ３１の処理において、上記受信した映像ストリームのほうが上記ウィンドウＷ１中に再生される映像ストリームよりもその解像度が大きいと仮に判断されたとする。この場合には、次のステップＳ３２の処理において、これら２つの解像度は同一でないと判断され、次にステップＳ３４の処理が行われる。このステップＳ３４の処理では、上記スイッチＳＷの端子Ｔ１およびＴ３を電気的に接続するための切替制御が行われる。そして次に、ステップＳ３５の処理として、上記受信した映像ストリームが上記フルデコーダ１０６に分配、出力される。そして、こうして分配、出力された映像ストリームは、上記フルデコーダ１０６にてデコードされた後、上記解像度変換部１０７にて所望の解像度に拡大変換される。そしてこの後、同映像ストリームは、上記フレーム出力部１０９を通じて上記ディスプレイ１１０に表示されているウィンドウＷ１中に再生されることとなる。

他方、このような映像通信装置にあって、例えば図１１（ｂ）の時刻Ｃに示すように、映像受信装置１０１に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分ない場合も想定される。このような場合、映像受信装置１０１が高ビットレートの映像ストリームを送受信しようとすれば、映像受信装置１０１の処理負荷が点線にて示すように
該映像受信装置１０１の処理能力の限界値「１００％」を超えることにもなりかねない。

そこでこのような場合、この実施の形態の映像通信装置では、上記属性情報記述作成部１０４が、上記再生制御部１０３から取り込まれる属性情報のうち、高ビットレートとなる属性情報を削除して上記データ列を記述作成するようにする。例えばウィンドウＷ１（図５参照）に再生される映像ストリームであれば、その画質として「２７ｄＢ」のみ、フレームレートとして「１５ｆｐｓ」のみなど、高ビットレートとなる属性情報「３０ｄＢ」、及び「３０ｆｐｓ」を削除して上記データ列を記述作成する。そして、こうして記述作成された属性情報を上記映像送信装置１１に送信するようにする。これにより、高ビットレートの映像ストリームの送受信を行う負荷的な余裕が当該映像受信装置１０１にないことが上記映像送信装置１１に対して示されるようになり、すなわち属性情報の記述数を通じて同映像受信装置１０１のこうした処理負荷が示されるようになる。

そして、上記映像送信装置１１がこうした属性情報の記述数に基づいて映像ストリームを低ビットレートに変換処理してこれを送信するようにすれば、図１１（ｂ）に実線にて示すように、時刻Ｃにおいて上記映像ストリームを送受信するにあたって、上記映像受信装置１０１の処理負荷を軽減することができるようになる。これにより、映像受信装置１０１は、低ビットレートの映像ストリームを受信しつつこれをリアルタイム再生することができるようになる。

次に、時刻Ｃにおいて再生指令が入力された場合に実行される上記属性情報送信処理の手順について図９を参照して説明する。なおここでも、先の図５に例示したウィンドウＷ１〜Ｗ３の別に各異なる３つの映像ストリームを同時再生する旨の再生指令が上記再生制御部１０３に入力されるとしている。

まず、上記ステップＳ１の処理では、上記再生制御部１０３からの属性情報の入力の有無が所定期間ごとに繰り返し確認される。そして、時刻Ｃにおいて上記再生制御部１０３に再生指令が入力され、同再生制御部１０３からの属性情報の入力が確認されると、次のステップＳ２の処理が実行される。このステップＳ２の処理では、映像受信装置１０１の処理負荷が取得され、この取得された処理負荷に基づいて上記属性情報がデータ列として記述作成される。

ただし、この時刻Ｃにおいては、映像受信装置１０１に高ビットレートの映像ストリームを送受信するだけの負荷的な余裕がない。したがって、このステップＳ２の処理では、例えばウィンドウＷ１に再生される映像ストリームの画質として「２７ｄＢ」、フレームレートとして「１５ｆｐｓ」など、それらの属性に高ビットレートとなる属性情報「３０ｄＢ」、及び「３０ｆｐｓ」が削除されて上記データ列が記述作成される。また、この時刻Ｃにおいては、映像受信装置１０１に映像ストリームの解像度変換処理を行うだけの負荷的な余裕もないため、解像度情報としても、同映像ストリームがウィンドウＷ１中に再生される際の解像度「３６０×２４０」の単一の情報のみが記述作成される。そして、次のステップＳ３の処理では、こうして記述作成された属性情報の上記映像送信装置１１への送信が実行され、該送信が実行された後は、上記ステップＳ１の処理が再度実行される。

そして、このように記述数の限定された属性情報が上記映像送信装置１１の条件判断部１６に送信される場合、該条件判断部１６による上記トランスコーディング処理条件判断処理は、以下の手順にて実行されることとなる。

すなわち、上記ステップＳ１０の処理では、上記属性情報記述作成部１０４から送信される属性情報が受信される。また、上記ステップＳ１１の処理では、映像記憶部１２に記
憶されている映像ストリームのビットレート、及び解像度が取得される。また、上記ステップＳ１２の処理では、上記受信した属性情報に基づいて上記最大出力ビットレートが算出される。ただしこの時刻Ｃにおいては、上述の通り、映像受信装置１０１において低ビットレートの映像ストリームの送信が望まれており、上記属性情報記述作成部１０４ではこのような要求に基づいて記述数の限定された属性情報が作成されている。このため、このステップＳ１２にて算出される最大ビットレートは、先の時刻Ａや時刻Ｂにおいて算出される最大ビットレートよりも小さいものとなっている。

そして、上記ステップＳ１３の処理では、ネットワークＬＡＮの帯域が取得され、ステップＳ１４の処理では、映像送信装置１１の処理負荷を示す送信負荷情報が取得される。そして、上記ステップＳ１５の処理では、上記トランスコーダ性能テーブル１７に記憶されている第１及び第２のテーブル１７ａ、１７ｂ等が参照され、これらテーブル１７ａ、１７ｂ等のオプションＯＰのうち前記（ヲ）〜（ヨ）、及び（レ）の条件を満たすオプションＯＰが選択、抽出される。すなわち、このステップＳ１５の処理では、上記最大出力ビットレートに関する前記（ワ）の条件を通じて出力ビットレートの低いオプションＯＰのみが抽出される。また、解像度に関する前記（レ）の条件を通じて出力解像度が「３６０×２４０」となっているオプションＯＰのみが抽出される。ただし、画質に関する前記（ヨ）の条件によっては、映像受信装置１０１側から要求される画質のレベルが維持されているオプションＯＰのみが抽出される。

そして、こうして抽出されたオプションＯＰに基づいて上記ステップＳ１６〜Ｓ１９の処理が行われることで、上記ステップＳ１９の処理において、映像ストリームが低ビットレートに変換処理されるとともに、上記映像受信装置１０１にて解像度変換処理を行う必要のなくなるトランスコーディング処理の条件が通知されるようになる。そして、こうした条件の通知に基づいて上記トランスコーダ切替制御、トランスコーディング処理、映像ストリームの送信処理が行われ、さらには映像ストリーム受信、分配処理等の処理が行われることで、映像受信装置１０１は、低ビットレートの映像ストリームを受信しつつこれをリアルタイム再生するようになる。

以上説明したように、この実施の形態にかかる映像通信方法及び映像通信装置によれば、以下に記載するような多くの優れた効果が得られるようになる。

（１）トランスコーダ１４として互いに処理負荷の異なる複数の処理構造の第１〜第３のトランスコーダ部１４ａ〜１４ｃを備え、映像受信装置１０１から送信される該映像受信装置１０１の処理負荷を示す情報である受信負荷情報としての属性情報の記述数に基づいてこれら第１〜第３のトランスコーダ部１４ａ〜１４ｃを切替制御することとした。このため、こうした切替制御を通じて映像ストリームのビットレート等に関して映像受信装置１０１側の上述の要求に沿う映像ストリームを送受信することができるようになる。しかも、トランスコーダ１４が、映像受信装置１０１側の上述の要求を超えるより高いビットレートに映像ストリームを変換処理することも回避されるようになり、上記変換処理を行う上で映像送信装置１１の処理能力を効率よく利用することができるようになる。

（２）条件判断部１６が、映像送信装置１１の処理負荷と映像受信装置１０１の処理負荷とに基づき、映像送信装置１１自体の処理負荷が該映像送信装置１１の処理能力の限界値「１００％」を超えることのないようにトランスコーダの処理負荷を順次軽減する態様で上記トランスコーディング処理の条件を判断することとした。具体的には、テーブル１７ａ、１７ｂ等のオプションＯＰのうち、前記（ヲ）〜（ヨ）、及び（レ）の条件を満たすオプションＯＰを選択、抽出する。そして、これら抽出されたオプションＯＰの中からトランスコーダの処理負荷を順次軽減する態様で前記（タ）の条件をさらに満たすオプションＯＰを選択することとした。このため、映像受信装置１０１側の要求に沿う範囲内にて映像送信装置１１側の処理負荷の都合上、映像ストリームを低いビットレートに変換処
理することもできるようになり、映像送信装置１１の処理能力が低い場合であっても映像ストリームを送受信することができるようになる。

（３）映像受信装置１０１を、リアルタイム送信される映像ストリームの解像度を変換処理する解像度変換手段（１０７、１０８）を備えるものとした。また、上記トランスコーダ１４を、映像ストリームの解像度変換処理を含む第１の処理構造（１４ｃ）と、同映像ストリームの解像度変換処理を含まない第２の処理構造（１４ａ、１４ｂ）とを有するものとした。このため、映像受信装置１０１自体の処理能力が高く、映像送信装置１１の処理能力が低い場合（時刻Ｃ）であっても、映像ストリームのビットレート等に関して上記映像受信装置１０１の処理能力により見合うかたちでの変換処理を実現することができるようになる。また、映像送信装置１１が上記第２の処理構造を採用して映像ストリームの変換処理を行うようにすることで、該変換処理を高速に行うこともできるようになる。

（４）ウィンドウ再生情報保持部１０２は、ウィンドウＷ１〜Ｗ３の属性のうち、解像度、画質、フレームレートの属性には複数の情報を付与してこれらウィンドウＷ１〜Ｗ３の属性を示す属性情報を保持することとした。また、属性情報記述作成部１０４は、取得される映像受信装置１０１の処理負荷に基づいて上記解像度、画質、フレームレートの属性についての情報を増減しつつ上記データ列として属性情報を記述作成することとした。そして、同属性情報記述作成部１０４は、こうして記述作成される属性情報の記述数を映像受信装置の処理負荷を示す受信負荷情報として上記映像送信装置１１に送信することとした。このため、映像送信装置１１および映像受信装置１０１にて取り扱われる情報の種類が少なくなり、こうした情報に基づいて行われる各処理も簡易なものとなる。

（５）属性情報記述作成部１０４は、映像受信装置１０１に映像ストリームの解像度変換処理を行うだけの負荷的な余裕があるとき、解像度情報として複数の情報を記述する一方、同映像受信装置１０１に映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、解像度情報として単一の情報のみを記述作成することとした。このため、映像送信装置１１は、上記解像度変換処理を行う機能およびその処理能力が上記映像受信装置１０１にあるか否かを容易に判断することができるようになる。

（６）映像受信装置１０１が、映像ストリームの解像度を変換する解像度変換手段として、映像ストリーム中の周波数の最も低い第１周波数項の抽出を通じて同映像ストリームを部分的にデコードする部分デコーダ１０８を備えることとした。このため、映像受信装置１０１の処理能力の低下の抑制を図りつつ、該映像受信装置１０１にて上記映像ストリームの解像度変換処理を高速に行うことができるようになる。

なお、上記実施の形態は、以下のように変更して実施することもできる。

・映像受信装置１０１の部分デコーダ１０８を割愛してもよい。ただしこの場合には、映像ストリームの解像度の縮小処理を、上記解像度変換部１０７にて行うこととする。

・属性情報記述作成部１０４は、少なくとも１つの属性についての情報を映像受信装置１０１自身の処理負荷に応じて増減しつつ属性情報を記述作成するようにすれば、該記述作成された属性情報を上記映像受信装置１０１の処理負荷を示す受信負荷情報として用いることができる。この意味では、ウィンドウ再生情報保持部１０２に保持されているウィンドウごとの属性情報も、該属性情報の少なくとも１つの属性が複数の情報を有するものであればよい。

・映像受信装置１０１は、該映像受信装置１０１に映像ストリームの解像度を変換するだけの処理負荷があるか否かの情報について、これを解像度情報の記述数として属性情報に含ませることなく、該属性情報と別途に上記映像送信装置１１に送信するようにしても
よい。

・映像受信装置１０１の処理負荷を示す受信負荷情報これ自体を上記属性情報と別途に上記映像送信装置１１に送信するようにしてもよい。

・上記トランスコーダ１４の単数、複数に関してはいずれであってもよい。ただし、トランスコーダ１４として冗長な構成となることを避ける意味では、上記実施の形態のトランスコーダ１４と異なりこれを１つのトランスコーダ１４から構成するようにするほうが実用上はより望ましい。具体的には、具体的には、トランスコーダ１４として、複数の処理構造が内部的に切替可能な単一のトランスコーダを採用し、その内部構造を選択的に切り替えるようにする。例えば、図１２〜図１４に示すように、トランスコーダ１４の処理構造として、上記第３のトランスコーダ部１４ｃの処理構造に、上記フレームスキップ部１４ｃ１の出力をＶＬＤブロック１４ｃ２に対して並列に取り込むＤＣＴ係数カットブロック１４ｃ２０が付加された処理構造を採用する。そして、こうしたトランスコーダ１４の処理構造において、各処理ブロックごとにそれらの機能の有効、又は無効を切り替えるスイッチ手段を設けておく。なお、上記ＤＣＴ係数カットブロック１４ｃ２０の構成、並びに動作については、上記第１のトランスコーダ部１４ａのＤＣＴ係数カットブロック１４ａ２と同様である。

このようなトランスコーダ１４の処理構造では、上記スイッチ手段による切り替えを通じて上記第１〜第３のトランスコーダ部１４ａ〜１４ｃの各処理構造を実現することができるようになる。例えば、図１２に示すように、上記スイッチ手段による切り替えを通じて、フレームスキップ部１４ｃ１、ＶＬＤブロック１４ｃ２、ＤＣＴ係数カットブロック１４ｃ２０の機能のみを有効とするようにすれば、当該トランスコーダ１４に上記第１のトランスコーダ部１４ａと同じ処理構造が現われるようになる。なおこの場合、ＶＬＤブロック１４ｃ２は、逆符号割当処理（ＶＬＤ）を行うとともに、上記ＤＣＴ係数カットブロック１４ｃ２０による上記カット処理を有効または無効とする制御信号を出力する。また例えば、図１３に示すように、上記スイッチ手段による切り替えを通じて処理ブロック１４ｃ１〜１４ｃ３、１４ｃ８、及び１４ｃ９の機能のみを有効とするようにすれば、当該トランスコーダ１４に上記第２のトランスコーダ部１４ｂと同じ処理構造が現われるようになる。また例えば、図１４に示すように、上記スイッチ手段による切替制御を通じてＤＣＴ係数カットブロック１４ｃ２０の機能のみを無効とするようにすれば、当該トランスコーダ１４に上記第３のトランスコーダ部１４ｃと同じ処理構造が現われるようになる。

・映像記憶部１２に記憶されている映像ストリームに用いられる圧縮技術やその圧縮の態様は限定されない。ただし、映像ストリームの圧縮技術が変更される場合には、該変更に合わせて上記トランスコーダ１４の処理構造も変更されることとなる。

・トランスコーダ１４として、処理構造自体は同一であるものの、処理負荷の異なる複数の処理形態を有し、これら処理形態の切替を通じてビットレートの異なる映像ストリームを出力するものを採用してもよい。

・処理負荷の異なる複数の処理形態を有するトランスコーダ１４を備え、上記映像受信装置１０１から送信される該映像受信装置１０１の処理負荷を示す情報である受信負荷情報に基づいてトランスコーダ１４の処理形態を切替制御するようにすれば、少なくとも前記（１）の効果を得ることはできる。

・条件判断部１６は、ネットワークＬＡＮの帯域を取得せず、代わりに該ネットワークＬＡＮの輻輳との関係から予めビットレートの上限を記憶するものであってもよい。また、ネットワークＬＡＮの帯域についての情報を加味することなく上記トランスコーディン
グ処理の条件を判断するようにしてもよい。

・ネットワークはインターネットであってもよいし、無線、有線のいずれであってもよい。

・映像送信装置１１と映像受信装置１０１との間で送受信される映像ストリームの数は１つであっても複数であってもよい。ちなみに、複数の映像ストリームが送受信される場合としては、上記実施の形態にて用いられたマルチウィンドウの他、例えば１つのウィンドウ中に別の小さなウィンドウが表示され、これらウィンドウの別に異なる映像ストリームが再生される場合などがある。また、例えば映像受信装置側に複数のディスプレイが設けられ、これら各ディスプレイの別に異なる映像ストリームが再生される場合なども想定される。

・部分デコーダ１０８は、上記第１周波数項より高次の周波数項を抽出するものであってもよく、要は上記受信側分配制御部１０５から分配される映像ストリーム中の周波数項のうち所定の周波数以下の低周波数項の抽出を通じて同映像ストリームを部分的にデコードするものであればよい。

この発明にかかる映像通信装置の一実施の形態についてその全体構成を示すブロック図。第１のトランスコーダ部の処理構造を示すブロック図。第２のトランスコーダ部の処理構造を示すブロック図。第３のトランスコーダ部の処理構造を示すブロック図。ウィンドウ再生情報保持部に保持されているウィンドウとそのウィンドウの属性を示す図。データ列として記述作成される属性情報を示す図。トランスコーダ性能テーブルに記憶されている第１のテーブルを示す表。トランスコーダ性能テーブルに記憶されている第２のテーブルを示す表。属性情報送信処理及びトランスコーディング処理条件判断処理の各手順を示すフローチャート。トランスコーダ切替制御、トランスコーディング処理、映像ストリーム送信処理、及び映像ストリーム受信、分配処理の各手順を示すフローチャート。（ａ）及び（ｂ）は、映像送信装置１１及び映像受信装置１０１の処理負荷をそれぞれ示すタイムチャート。トランスコーダの処理構造の別例を示すブロック図。トランスコーダの処理構造の別例を示すブロック図。トランスコーダの処理構造の別例を示すブロック図。

符号の説明

１１…映像送信装置、１２…映像記憶部、１３…分配器、１４…トランスコーダ、１４ａ…第１のトランスコーダ部、１４ｂ…第２のトランスコーダ部、１４ｃ…第３のトランスコーダ部、１４ａ１、１４ｂ１、１４ｃ１…フレームスキップ部、１４ａ２、１４ｃ２０…ＤＣＴ係数カットブロック、１４ａ３、１４ｂ２、１４ｃ２…ＶＬＤブロック、１４ｂ３、１４ｃ３、１４ｃ１０…ＩＱブロック、１４ｂ４、１４ｃ８…Ｑブロック、１４ｂ５、１４ｃ９…ＶＬＥブロック、１４ｃ４、１４ｃ１１…ＩＤＣＴブロック、１４ｃ５…第１のバッファ、１４ｃ６…解像度変換部、１４ｃ７…ＤＣＴブロック、１４ｃ１２…第２のバッファ、１４ｃ１３…縮小・拡大処理部、１５…制御部、１６…条件判断部、１７…トランスコーダ性能テーブル、１７ａ…第１のテーブル、１７ｂ…第２のテーブル、１０１…映像受信装置、１０２…ウィンドウ再生情報保持部、１０３…再生制御部、１０４…属性情報記述作成部、１０５…受信側分配制御部、１０６…フルデコーダ、１０７…解
像度変換部、１０８…部分デコーダ、１０９…フレーム出力部、１１０…ディスプレイ、ＤＰ…デコードを行う部分、ＫＰ…解像度変換処理を行う部分、ＥＰ…エンコードを行う部分、Ｗ１〜Ｗ３…ウィンドウ、ＬＡＮ…ローカルエリアネットワーク、ＳＷ…スイッチ、Ｔ１〜Ｔ３…端子。

Claims

映像ストリームが圧縮データとして記憶された映像記憶部から読み出される映像ストリームのデータ形式を変換処理するトランスコーダを備える映像送信装置と、該映像送信装置にネットワークを介して接続された映像受信装置の間で、映像受信装置からの映像ストリームの送信要求に基づき、前記トランスコーダを通じて変換処理される映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信方法において、
前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを用意し、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダの処理形態を切替制御する
ことを特徴とする映像通信方法。
前記受信負荷情報は前記映像受信装置のその都度の処理負荷を示す情報として送信されるものであり、前記トランスコーダの処理形態の切替制御は、前記受信負荷情報と映像送信装置自体のその都度の処理負荷とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様で実行される
請求項１に記載の映像通信方法。
前記映像受信装置に前記リアルタイム送信される映像ストリームの解像度変換処理を行う機能を持たせ、前記トランスコーダには、前記処理負荷の異なる複数の処理形態として、前記映像ストリームの解像度変換処理を含む第１の処理構造と、同映像ストリームの解像度変換処理を含まない第２の処理構造とを持たせる
請求項１または２に記載の映像通信方法。
前記映像ストリームは、データを空間周波数領域に変換する変換符号化処理と、前記変換符号化処理による変換係数の値を量子化係数で表す量子化処理と、シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理との少なくとも３種の圧縮処理を通じて圧縮された状態で前記映像記憶部に記憶されており、前記トランスコーダの前記第１の処理構造には、前記符号割当処理による圧縮データを解凍する逆符号割当処理と、前記量子化による圧縮データを解凍する逆量子化処理と、前記変換符号化処理による圧縮データを解凍する逆変換符号化処理との少なくとも３種の解凍処理、及び前記少なくとも３種の圧縮処理を行う処理構造が含まれ、同トランスコーダの前記第２の処理構造には、前記３種の解凍処理のうちの前記逆符号割当処理と前記逆量子化処理との２種の解凍処理、及び前記３種の圧縮処理のうちの前記符号割当処理と前記量子化処理との２種の圧縮処理を行う処理構造と、前記映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う処理構造との少なくとも一方が含まれる
請求項３に記載の映像通信方法。
前記映像受信装置は、前記映像ストリームを再生するウィンドウの属性を示す属性情報を任意の属性に関して複数有し、該複数の情報が用意された任意の属性の属性情報のうちの少なくとも１つの属性についての情報を該映像受信装置自身の処理負荷に応じて増減して送信するとともに、この映像受信装置自身の処理負荷に応じて増減される属性情報の送信数を前記映像受信装置の処理負荷を示す受信負荷情報として用いる
請求項３または４に記載の映像通信方法。
前記映像受信装置自身の処理負荷に応じて増減される属性情報には前記ウィンドウの解像度情報が含まれ、前記映像受信装置は、該映像受信装置に前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕があるとき、該解像度情報として複数の情報を送信し、同映像受信装置に前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、該解像度情報として単一の情報を送信する
請求項５に記載の映像通信方法。
映像ストリームが圧縮データとして記憶された映像記憶部から読み出される映像ストリームのデータ形式を変換処理するトランスコーダを備える映像送信装置と、該映像送信装置にネットワークを介して接続された映像受信装置との間で、映像受信装置からの映像ストリームの送信要求に基づき、前記トランスコーダを通じて変換処理され
る映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信装置において、
前記映像送信装置は、前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを備えるとともに、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断する条件判断部と、該条件判断部による判断に基づいて前記トランスコーダの処理形態を切替制御する切替制御部とを備える
ことを特徴とする映像通信装置。
前記条件判断部は、前記映像送信装置の処理負荷を示す情報である送信負荷情報をその都度取得し、この取得される送信負荷情報と前記送信される受信負荷情報とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様で前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断する
請求項７に記載の映像通信装置。
前記映像受信装置は、前記リアルタイム送信される映像ストリームの解像度を変換処理する解像度変換手段を備え、前記トランスコーダは、前記処理負荷の異なる複数の処理形態として、前記映像ストリームの解像度変換処理を含む第１の処理構造と、同映像ストリームの解像度変換処理を含まない第２の処理構造とを有して構成される
請求項７または８に記載の映像通信装置。
前記映像ストリームは、データを空間周波数領域に変換する変換符号化処理と、前記変換符号化処理による変換係数の値を量子化係数で表す量子化処理と、シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理との少なくとも３種の圧縮処理を通じて圧縮された状態で前記映像記憶部に記憶されており、前記トランスコーダの前記第１の処理構造には、前記符号割当処理による圧縮データを解凍する逆符号割当処理と、前記量子化による圧縮データを解凍する逆量子化処理と、前記変換符号化処理による圧縮データを解凍する逆変換符号化処理との少なくとも３種の解凍処理、及び前記少なくとも３種の圧縮処理を行う処理構造が含まれ、同トランスコーダの前記第２の処理構造には、前記３種の解凍処理のうちの前記逆符号割当処理と前記逆量子化処理との２種の解凍処理、及び前記３種の圧縮処理のうちの前記符号割当処理と前記量子化処理との２種の圧縮処理を行う処理構造と、前記映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う処理構造との少なくとも一方が含まれる
請求項９に記載の映像通信装置。
前記トランスコーダは、前記処理構造の異なる複数のトランスコーダ部からなり、前記切替制御部は、前記切替制御としてこれら複数のトランスコーダ部のいずれかを選択的に能動とするものである
請求項９または１０に記載の映像通信装置。
前記トランスコーダは、前記複数の処理構造が内部的に切替可能な単一のトランスコーダからなり、前記切替制御部は、前記切替制御としてこのトランスコーダの内部構造を選択的に切り替えるものである
請求項９または１０に記載の映像通信装置。
前記映像受信装置は、前記映像ストリームを再生するウィンドウの属性を示す属性情報が任意の属性に関して複数記憶されたウィンドウ再生情報保持部と、該複数記憶されている任意の属性の属性情報のうちの少なくとも１つの属性についての情報を該映像受信装置自身の処理負荷に応じて増減しつつ属性情報を記述作成する属性情報記述作成部とを備え、この記述作成された属性情報を前記映像送信装置に送信するものであり、前記条件判断部は、この映像受信装置自身の処理負荷に応じて増減される属性情報の記述数を前記映像受信装置の処理負荷を示す受信負荷情報として用いる
請求項９〜１２のいずれか一項に記載の映像通信装置。
前記映像受信装置自身の処理負荷に応じて増減される属性情報には前記ウィンドウの解像度情報が含まれ、前記属性情報記述作成部は、前記映像受信装置に前記解像度変換手段を通じた前記映像ストリームの解像度変換処理を行うだけの負荷的な余
裕があるとき、前記解像度情報として複数の情報を記述し、同映像受信装置に前記解像度変換手段を通じた前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、前記解像度情報として単一の情報のみを記述する
請求項１３に記載の映像通信装置。
前記解像度変換手段は、前記映像ストリーム中の周波数項のうち所定の周波数以下の低周波数項の抽出を通じて同映像ストリームを部分的にデコードする部分デコーダを含んで構成されてなる
請求項９〜１４のいずれか一項に記載の映像通信装置。