JP2006067483A - 映像通信方法及び映像通信装置 - Google Patents
映像通信方法及び映像通信装置 Download PDFInfo
- Publication number
- JP2006067483A JP2006067483A JP2004250579A JP2004250579A JP2006067483A JP 2006067483 A JP2006067483 A JP 2006067483A JP 2004250579 A JP2004250579 A JP 2004250579A JP 2004250579 A JP2004250579 A JP 2004250579A JP 2006067483 A JP2006067483 A JP 2006067483A
- Authority
- JP
- Japan
- Prior art keywords
- video
- processing
- video stream
- transcoder
- load
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
【課題】映像ストリームのビットレート等に関して映像受信装置側の要求に沿うかたちでのより汎用性の高い映像ストリームの送受信を可能とする映像通信方法、及び映像通信装置を提供する。
【解決手段】映像受信装置101において、ウィンドウ再生情報保持部102には、ディスプレイ110に表示されるウィンドウに関する属性情報が記憶保持されている。この属性情報のうち、任意の属性の情報に関しては複数の情報が付与されている。この属性情報は、再生制御部103への再生指令の入力に基づいて該再生制御部103を介して属性情報記述作成部104に取り込まれる。属性情報記述作成部104は、映像受信装置101の処理負荷を取得し、任意の属性の情報に関しては該取得した処理負荷に応じて増減しつつ属性情報を記述作成する。こうして記述作成された属性情報が映像送信装置11に送信され、トランスコーディング処理の条件の判断に供されることとなる。
【選択図】 図1
【解決手段】映像受信装置101において、ウィンドウ再生情報保持部102には、ディスプレイ110に表示されるウィンドウに関する属性情報が記憶保持されている。この属性情報のうち、任意の属性の情報に関しては複数の情報が付与されている。この属性情報は、再生制御部103への再生指令の入力に基づいて該再生制御部103を介して属性情報記述作成部104に取り込まれる。属性情報記述作成部104は、映像受信装置101の処理負荷を取得し、任意の属性の情報に関しては該取得した処理負荷に応じて増減しつつ属性情報を記述作成する。こうして記述作成された属性情報が映像送信装置11に送信され、トランスコーディング処理の条件の判断に供されることとなる。
【選択図】 図1
Description
本発明は、例えばLAN(Local Area Network)やインターネットなどのネットワークを介して映像送信装置と映像受信装置との間で映像ストリームの送受信を行う映像通信方法、及び映像通信装置に関する。
この種の通信装置では通常、映像ストリームの例えば解像度やビットレート、フォーマット等のデータ形式を変換(トランスコーディング処理)するトランスコーディング技術が用いられる。このトランスコーディング技術とは、映像送信装置に記憶されている映像ストリームのデータ形式と、映像受信装置がこの映像送信装置に対して映像ストリームの送信を要求する際の映像ストリームのデータ形式とが互いに異なる場合にこれらデータ形式の整合を図るための技術である。このような技術を用いることにより、映像送信装置と映像受信装置との間で様々なデータ形式の映像ストリームを送受信し、ひいては同映像ストリームを映像受信装置にて再生することができるようになる。
そして従来、こうしたトランスコーディング技術を用いて映像ストリームを送受信する映像通信装置としては、例えば特許文献1に記載の映像通信装置が提案されている。以下、この特許文献1に記載されている映像通信装置の概要を簡単に説明する。
すなわち、この映像通信装置は、映像送信装置と、該映像送信装置から送信される映像ストリームをネットワークを介して受信しつつリアルタイムで再生する映像受信装置とを備えている。
このうち、映像送信装置は、映像ストリームを圧縮データとして記憶する映像記憶部と、この映像記憶部から取り出される映像ストリームのデータ形式の変換処理(トランスコーディング処理)を行う複数のトランスコーダと、いずれのトランスコーダを用いて上記変換処理を行うかを制御する制御部とを備えている。ここで、上記複数のトランスコーダは、上記映像ストリームを各々異なるビットレートに変換する構成、また制御部は、ネットワークの帯域情報を取り込み、この取り込んだネットワークの帯域情報に基づいて上記複数のトランスコーダの一つを選択する構成となっている。
このような構成により、たとえネットワークの輻輳等に起因してその通信帯域が制限されるような場合であっても、上記制御部が映像ストリームを低いビットレートに変換するトランスコーダを選択するようにすることで、上記映像送信装置と映像受信装置との間で映像ストリームを円滑に送受信することができるようになる。一方、取り込まれるネットワークの帯域が十分広く確保される場合には、上記制御部は、映像ストリームを高いビットレートに維持、変換するトランスコーダを選択するようにする。これにより、映像送信装置と映像受信装置との間で、画質やフレームレートなどの劣化の少ない高品質の映像ストリームを送受信することができるようになる。
WO01−078399号公報
このように、上記従来の映像通信装置によれば、取り込まれるネットワークの帯域情報に応じて、トランスコーディング処理に用いられるトランスコーダが動的に切り替えられる。このため、映像受信装置においても、ネットワークの帯域の状態にかかわらず、映像
ストリームを受信しつつこれをリアルタイムで再生することができるようにはなる。しかし、上記従来の映像通信装置では、送受信される映像ストリームのビットレートが主にネットワークの帯域情報に応じて決定されるため、映像ストリームのビットレート等に関して、必ずしも映像受信装置側の要求に沿うかたちで映像ストリームが送受信されるとは限らない。
ストリームを受信しつつこれをリアルタイムで再生することができるようにはなる。しかし、上記従来の映像通信装置では、送受信される映像ストリームのビットレートが主にネットワークの帯域情報に応じて決定されるため、映像ストリームのビットレート等に関して、必ずしも映像受信装置側の要求に沿うかたちで映像ストリームが送受信されるとは限らない。
本発明は、こうした実情に鑑みてなされたものであり、その目的は、映像ストリームのビットレート等に関して映像受信装置側の要求に沿うかたちでのより汎用性の高い映像ストリームの送受信を可能とする映像通信方法、及び映像通信装置を提供することにある。
こうした目的を達成するため、請求項1に記載の映像通信方法では、映像ストリームが圧縮データとして記憶された映像記憶部から読み出される映像ストリームのデータ形式を変換処理するトランスコーダを備える映像送信装置と、該映像送信装置にネットワークを介して接続された映像受信装置の間で、映像受信装置からの映像ストリームの送信要求に基づき、前記トランスコーダを通じて変換処理される映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信方法にあって、前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを用意し、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダの処理形態を切替制御することとした。
ちなみに、映像ストリームのビットレートは同映像ストリームに単位時間当たりどれだけの情報量が含まれているかを表わす指標値であり、映像ストリームに含まれる情報量が多いほどこの指標値は高くなる。このため、映像ストリームを高いビットレートに維持、変換する場合には、該変換処理の対象となる映像ストリームに含まれる情報量も多くなり、通常は、同映像ストリームを低いビットレートに変換する場合よりも大きな処理負荷が必要とされる。
この点、上記方法によれば、トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダが用意されるため、こうしたトランスコーダの処理形態の切り替えを通じて上記映像記憶部から取り出される映像ストリームが各々異なる複数のビットレートに変換処理されるようになる。すなわち、トランスコーダの処理負荷の小さい処理形態にて上記変換処理が行われる場合、映像ストリームは低いビットレートに変換処理されるようになり、またトランスコーダの処理負荷の大きい処理形態にて上記変換処理が行われる場合、映像ストリームは高いビットレートに変換処理されることとなる。
ところで、映像ストリームのビットレートと該映像ストリームの処理に必要とされる処理負荷とのこのような関係については、映像受信装置においても概ね同様であり、例えば再生処理等の対象となる映像ストリームのビットレートが高いほど、やはり同処理に大きな処理負荷が必要とされる。こうしたことから、映像受信装置に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分ないときには、ビットレートの低い映像ストリームの送信が上記映像受信装置側から要求されることが多い。このような場合には、映像ストリームの品質を維持することよりも、同映像受信装置の再生処理等に必要とされる処理負荷の軽減を通じて同映像ストリームの再生処理を円滑に実行することが望まれるためである。ただしその一方、映像受信装置に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分あるときには、画質やフレームレートなどの劣化の少ない高品質の映像ストリームの送信が上記映像受信装置側から要求されることが多い。このように、映像ストリームのビットレート等に関して映像受信装置側から要求される条件は該映像受信装置の処理負荷によって大きく異なっている。
この点、上記方法によれば、映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて上記トランスコーダの処理形態の切替制御が行われるため、こうした切替制御を通じて映像ストリームのビットレート等に関して映像受信装置側の上述の要求に沿う映像ストリームを送受信することができるようになる。しかも、トランスコーダが、映像受信装置側の上述の要求を超えるより高いビットレートに映像ストリームを変換処理することも回避されるようになり、上記変換処理を行う上で映像送信装置の処理能力を効率よく利用することができるようになる。
また、このような場合には特に、請求項2に記載の発明によるように、前記受信負荷情報が前記映像受信装置のその都度の処理負荷を示す情報として送信されるものであるとき、前記トランスコーダの処理形態の切替制御としてこれを、前記受信負荷情報と映像送信装置自体のその都度の処理負荷とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様で実行するようにすることが実用上より望ましい。
すなわち近年、例えばホーム使用のハードディスクレコーダ等に送信機能を付加してこれを映像送信装置(ホームサーバ)として用い、この映像送信装置と該映像送信装置にLAN等のネットワークを介して接続された映像受信装置との間で、映像ストリームを送受信することが実施されつつある。ただし、このようなホーム使用の装置を用いて映像ストリームを送受信する場合、上記映像送信装置の処理能力(負荷的な余裕)が制限されることとなり、映像送信装置の処理能力上、上記映像ストリームの送受信が困難となることが多い。例えば、映像送信装置に対して、複数の映像受信装置からそれぞれ映像ストリームの送信要求があるような場合や、一つの映像受信装置から複数の映像ストリームの送信要求があるような場合などにこうした事態が起こりやすい。
この点、上記方法では、映像受信装置のその都度の処理負荷と、映像送信装置のその都度の処理負荷とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様でその処理形態を切替制御するようにしている。したがって、映像受信装置側の上述の要求に沿う範囲内であれば、映像送信装置側の都合上、映像ストリームを低いビットレートに変換処理することも許されるようになり、映像送信装置の処理能力が低い場合であっても複数の映像ストリームを送受信することができるようになる。
ただし、このような方法では、映像受信装置自体の処理能力(負荷的な余裕)がたとえ高くても、映像送信装置の処理能力(負荷的な余裕)が低ければ、映像ストリームのビットレート等に関して上記映像受信装置の処理能力により見合うかたちでの変換処理が期待できない。そこで、請求項3に記載の発明では、請求項2に記載の映像通信方法にあって、前記映像受信装置に前記リアルタイム送信される映像ストリームの解像度変換処理を行う機能を持たせ、前記トランスコーダには、前記処理負荷の異なる複数の処理形態として、前記映像ストリームの解像度変換処理を含む第1の処理構造と、同映像ストリームの解像度変換処理を含まない第2の処理構造とを持たせるようにしている。
このような方法では、映像送信装置にて通常行われる例えば解像度やビットレート、フォーマット等のデータ形式の変換処理のうち、解像度変換処理についてはこれを上記映像受信装置の処理能力(負荷的な余裕)を利用して該映像受信装置側にて行うことが可能となる。そして、映像受信装置にて上記解像度変換処理を行う場合には、映像送信装置として上記映像ストリームの解像度の変換処理を行う必要がなくなり、同映像送信装置の処理負荷の軽減が図られるようになる。このため、映像送信装置の処理能力が低い場合であっても、こうして映像送信装置の処理負荷の軽減が図られることで、同処理負荷が軽減される分だけ映像ストリームのビットレート等に関して上記映像受信装置の処理能力により見
合うかたちでの変換処理を行うこともできるようになる。
合うかたちでの変換処理を行うこともできるようになる。
しかも、上記方法では、映像送信装置は、解像度変換処理を行う構造自体が割愛された第2の処理構造を上記複数の処理形態の1つとして有している。このため、映像送信装置がこの第2の処理構造を採用して上記映像ストリームの変換処理を行うようにする場合には、映像送信装置の処理負荷が大きく軽減されるようになり、ひいては映像ストリームのビットレート等に関して上記映像受信装置の処理能力にさらにより見合うかたちでの変換処理を行うこともできるようになる。またこの場合には、トランスコーダを通じた映像ストリームの変換処理が高速に実行されることにもなる。一方、映像送信装置の処理能力が高い場合には、映像ストリームの解像度変換処理を含む第1の処理構造を用いて従来通り上記映像ストリームの変換処理を行うようにするだけで、上記映像受信装置側の上述の要求に応えることができる。
そして具体的には、請求項4に記載の発明によるように、前記映像ストリームが、データを空間周波数領域に変換する変換符号化処理と、前記変換符号化処理による変換係数の値を量子化係数で表す量子化処理と、シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理との少なくとも3種の圧縮処理を通じて圧縮された状態で前記映像記憶部に記憶されているとき、前記トランスコーダの前記第1の処理構造には、前記符号割当処理による圧縮データを解凍する逆符号割当処理と、前記量子化による圧縮データを解凍する逆量子化処理と、前記変換符号化処理による圧縮データを解凍する逆変換符号化処理との少なくとも3種の解凍処理、及び前記少なくとも3種の圧縮処理を行う処理構造を含み、同トランスコーダの前記第2の処理構造には、前記3種の解凍処理のうちの前記逆符号割当処理と前記逆量子化処理との2種の解凍処理、及び前記3種の圧縮処理のうちの前記符号割当処理と前記量子化処理との2種の圧縮処理を行う処理構造と、前記映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う処理構造との少なくとも一方を含むようにすることが、上記第1および第2の処理構造をそれぞれ実現する上で実用上より望ましい。
また、請求項3または請求項4に記載の発明において、請求項5に記載の発明によるように、前記映像受信装置が、前記映像ストリームを再生するウィンドウの属性を示す属性情報を任意の属性に関して複数有し、該複数の情報が用意された任意の属性の属性情報のうちの少なくとも1つの属性についての情報を該映像受信装置自身の処理負荷に応じて増減して送信するとともに、この映像受信装置自身の処理負荷に応じて増減される属性情報の送信数を前記映像受信装置の処理負荷を示す受信負荷情報として用いるものであれば、映像送信装置および映像受信装置にて取り扱われる情報の種類が少なくなり、こうした情報に基づいて行われる各処理もより簡易なものとなる。
また、請求項5に記載の発明において、請求項6に記載の発明によるように、前記映像受信装置自身の処理負荷に応じて増減される属性情報に前記ウィンドウの解像度情報を含み、前記映像受信装置が、該映像受信装置に前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕があるとき、該解像度情報として複数の情報を送信し、同映像受信装置に前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、該解像度情報として単一の情報を送信するようにすれば、映像送信装置は、上記解像度変換処理を行う機能およびその処理能力が上記映像受信装置にあるか否かを容易に判断することができるようになる。
一方、請求項7に記載の映像通信装置では、映像ストリームが圧縮データとして記憶された映像記憶部から読み出される映像ストリームのデータ形式を変換処理するトランスコーダを備える映像送信装置と、該映像送信装置にネットワークを介して接続された映像受信装置との間で、映像受信装置からの映像ストリームの送信要求に基づき、前記トランス
コーダを通じて変換処理される映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信装置として、前記映像送信装置が、前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを備えるとともに、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断する条件判断部と、該条件判断部による判断に基づいて前記トランスコーダの処理形態を切替制御する切替制御部とを備えることとした。
コーダを通じて変換処理される映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信装置として、前記映像送信装置が、前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを備えるとともに、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断する条件判断部と、該条件判断部による判断に基づいて前記トランスコーダの処理形態を切替制御する切替制御部とを備えることとした。
ここで上述の通り、映像ストリームを高いビットレートに維持、変換する場合には、該変換処理の対象となる映像ストリームに含まれる情報量も多くなり、通常は、同映像ストリームを低いビットレートに変換する場合よりも大きな処理負荷が必要とされる。この点、上記構成によれば、トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダが用意されるため、こうしたトランスコーダの処理形態の切り替えを通じて上記映像記憶部から取り出される映像ストリームが各々異なる複数のビットレートに変換処理されるようになる。すなわち、トランスコーダの処理負荷の小さい処理形態にて上記変換処理が行われる場合、映像ストリームは低いビットレートに変換処理されるようになり、またトランスコーダの処理負荷の大きい処理形態にて上記変換処理が行われる場合、映像ストリームは高いビットレートに変換処理されることとなる。
また、これも上述の通り、映像受信装置に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分ないときには、ビットレートの低い映像ストリームの送信が上記映像受信装置側から要求されることが多い。一方、映像受信装置に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分あるときには、画質やフレームレートなどの劣化の少ない高品質の映像ストリームの送信が上記映像受信装置側から要求されることが多い。このように、映像ストリームのビットレート等に関して映像受信装置側から要求される条件は該映像受信装置の処理負荷によって大きく異なっている。
この点、上記構成によれば、映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて上記トランスコーダの処理形態の切替制御が行われるため、こうした切替制御を通じて映像ストリームのビットレート等に関して映像受信装置側の上述の要求に沿う映像ストリームを送受信することができるようになる。しかも、トランスコーダが、映像受信装置側の上述の要求を超えるより高いビットレートに映像ストリームを変換処理することも回避されるようになり、上記変換処理を行う上で映像送信装置の処理能力を効率よく利用することができるようになる。
また、この場合には特に、請求項8に記載の発明によるように、前記条件判断部が、前記映像送信装置の処理負荷を示す情報である送信負荷情報をその都度取得し、この取得される送信負荷情報と前記送信される受信負荷情報とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様で前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断するようにすることが実用上より望ましい。
すなわち近年、例えばホーム使用のハードディスクレコーダ等に送信機能を付加してこれを映像送信装置(ホームサーバ)として用い、この映像送信装置と該映像送信装置にLAN等のネットワークを介して接続された映像受信装置との間で、映像ストリームを送受信することが実施されつつある。ただし、このようなホーム使用の装置を用いて映像ストリームを送受信する場合、上記映像送信装置の処理能力(負荷的な余裕)が制限されることとなり、映像送信装置の処理能力上、上記映像ストリームの送受信が困難となることが多い。
この点、上記構成では、映像受信装置の処理負荷と、映像送信装置の処理負荷とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないようにトランスコーダの処理負荷を順次軽減する態様で該トランスコーダが変換処理すべきデータ形式に関する処理条件を判断するようにしている。したがって、映像受信装置側の上述の要求に沿う範囲内であれば、映像送信装置側の都合上、映像ストリームを低いビットレートに変換処理することも許されるようになり、映像送信装置の処理能力が低い場合であっても複数の映像ストリームを送受信することができるようになる。
ただし、このような構成では、映像受信装置自体の処理能力(負荷的な余裕)がたとえ高くても、映像送信装置の処理能力(負荷的な余裕)が低ければ、映像ストリームのビットレート等に関して上記映像受信装置の処理能力により見合うかたちでの変換処理が期待できない。そこで、請求項9に記載の映像通信装置では、前記映像受信装置が、前記リアルタイム送信される映像ストリームの解像度を変換処理する解像度変換手段を備え、前記トランスコーダが、前記処理負荷の異なる複数の処理形態として、前記映像ストリームの解像度変換処理を含む第1の処理構造と、同映像ストリームの解像度変換処理を含まない第2の処理構造とを有して構成されるものとした。
このような構成では、映像送信装置にて通常行われる例えば解像度やビットレート、フォーマット等のデータ形式の変換処理のうち、解像度変換処理についてはこれを上記映像受信装置の処理能力(負荷的な余裕)を利用して該映像受信装置側にて行うことが可能となる。そして、映像受信装置にて上記解像度変換処理を行う場合には、映像送信装置として上記映像ストリームの解像度の変換処理を行う必要がなくなり、同映像送信装置の処理負荷の軽減が図られるようになる。このため、映像送信装置の処理能力が低い場合であっても、こうして映像送信装置の処理負荷の軽減が図られることで、同処理負荷が軽減される分だけ、映像ストリームのビットレート等に関して上記映像受信装置の処理能力により見合うかたちでの変換処理を行うこともできるようになる。
しかも、上記構成では、映像送信装置は、解像度変換処理を行う構造自体が割愛された第2の処理構造を上記複数の処理形態の1つとして有している。このため、映像送信装置がこの第2の処理構造を採用して上記映像ストリームの変換処理を行うようにする場合には、映像送信装置の処理負荷が大きく軽減されるようになり、ひいては映像ストリームのビットレート等に関して上記映像受信装置の処理能力にさらにより見合うかたちでの変換処理を行うこともできるようになる。またこの場合には、トランスコーダを通じた映像ストリームの変換処理が高速に実行されることにもなる。一方、映像送信装置の処理能力が高い場合には、映像ストリームの解像度変換処理を含む第1の処理構造を用いて従来通り上記映像ストリームの変換処理を行うようにするだけで、上記映像受信装置側の上述の要求に応えることができる。
そして具体的には、請求項10に記載の発明によるように、前記映像ストリームが、データを空間周波数領域に変換する変換符号化処理と、前記変換符号化処理による変換係数の値を量子化係数で表す量子化処理と、シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理との少なくとも3種の圧縮処理を通じて圧縮された状態で前記映像記憶部に記憶されているとき、前記トランスコーダの前記第1の処理構造には、前記符号割当処理による圧縮データを解凍する逆符号割当処理と、前記量子化による圧縮データを解凍する逆量子化処理と、前記変換符号化処理による圧縮データを解凍する逆変換符号化処理との少なくとも3種の解凍処理、及び前記少なくとも3種の圧縮処理を行う処理構造を含み、同トランスコーダの前記第2の処理構造には、前記3種の解凍処理のうちの前記逆符号割当処理と前記逆量子化処理との2種の解凍処理、及び前記3種の圧縮処理のうちの前記符号割当処理と前記量子化処理との2種の圧縮処理を行う処理構造と、前記映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う
処理構造との少なくとも一方を含むようにすることが、上記第1および第2の処理構造をそれぞれ実現する上で実用上より望ましい。
処理構造との少なくとも一方を含むようにすることが、上記第1および第2の処理構造をそれぞれ実現する上で実用上より望ましい。
なお、上記トランスコーダの単数、複数に関してはいずれであってもよい。例えば請求項11に記載の発明によるように、
・前記トランスコーダが、前記処理構造の異なる複数のトランスコーダ部からなり、前記切替制御部が、前記切替制御としてこれら複数のトランスコーダ部のいずれかを選択的に能動とするもの。
であってもよいし、あるいは、請求項12に記載の発明によるように、
・前記トランスコーダが、前記複数の処理構造が内部的に切替可能な単一のトランスコーダからなり、前記切替制御部が、前記切替制御としてこのトランスコーダの内部構造を選択的に切り替えるもの。
であってもよい。ただし、トランスコーダとして冗長な構成となることを避ける意味ではこれを1つのトランスコーダから構成するようにするほうが実用上はより望ましい。
・前記トランスコーダが、前記処理構造の異なる複数のトランスコーダ部からなり、前記切替制御部が、前記切替制御としてこれら複数のトランスコーダ部のいずれかを選択的に能動とするもの。
であってもよいし、あるいは、請求項12に記載の発明によるように、
・前記トランスコーダが、前記複数の処理構造が内部的に切替可能な単一のトランスコーダからなり、前記切替制御部が、前記切替制御としてこのトランスコーダの内部構造を選択的に切り替えるもの。
であってもよい。ただし、トランスコーダとして冗長な構成となることを避ける意味ではこれを1つのトランスコーダから構成するようにするほうが実用上はより望ましい。
また、請求項9〜12のいずれか一項に記載の発明において、請求項13に記載の発明によるように、前記映像受信装置が、前記映像ストリームを再生するウィンドウの属性を示す属性情報が任意の属性に関して複数記憶されたウィンドウ再生情報保持部と、該複数記憶されている任意の属性の属性情報のうちの少なくとも1つの属性についての情報を該映像受信装置自身の処理負荷に応じて増減しつつ属性情報を記述作成する属性情報記述作成部とを備え、この記述作成された属性情報を前記映像送信装置に送信するものであり、前記条件判断部が、この映像受信装置自身の処理負荷に応じて増減される属性情報の記述数を前記映像受信装置の処理負荷を示す受信負荷情報として用いるようにすれば、映像送信装置および映像受信装置にて取り扱われる情報の種類が少なくなり、こうした情報に基づいて行われる各処理もより簡易なものとなる。
また、請求項13に記載の映像通信装置において、請求項14に記載の発明によるように、前記映像受信装置自身の処理負荷に応じて増減される属性情報に前記ウィンドウの解像度情報を含み、前記属性情報記述作成部が、前記映像受信装置に前記解像度変換手段を通じた前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕があるとき、前記解像度情報として複数の情報を記述し、同映像受信装置に前記解像度変換手段を通じた前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、前記解像度情報として単一の情報のみを記述するようにすれば、映像送信装置は、上記解像度変換処理を行う機能およびその処理能力が上記映像受信装置にあるか否かを容易に判断することができるようになる。
また、請求項9〜14のいずれか一項に記載の発明において、請求項15に記載の発明によるように、前記解像度変換手段が、前記映像ストリーム中の周波数項のうち所定の周波数以下の低周波数項の抽出を通じて同映像ストリームを部分的にデコードする部分デコーダを含んで構成されるものであれば、映像受信装置の負荷的な余裕(処理能力)の低下の抑制を図りつつ、該映像受信装置にて上記映像ストリームの解像度変換処理を行うことができるようになる。
すなわち、このような部分デコーダを用いて上記映像ストリームをデコードするようにすれば、該デコード処理と併せて映像ストリームの解像度変換処理を行うこともできるようになる。そして、この部分デコーダを用いた解像度変換処理では、該処理に通常必要とされる逆変換符号化処理が割愛されるため、映像受信装置の処理負荷の増加を抑制しつつ解像度変換処理を行うことができるようになる。しかもこの場合、映像ストリームの解像度を高速に変換することもできるようになる。
本発明によれば、映像ストリームのビットレート等に関して映像受信装置側の要求に沿うかたちでのより汎用性の高い映像ストリームの送受信を可能とする映像通信方法、及び映像通信装置を提供することができる。
以下、この発明にかかる映像通信方法及び映像通信装置の一実施の形態について、図1〜図11を参照して詳細に説明する。
はじめに、この実施の形態の映像通信装置の概要について、図1を参照して説明する。なお、図1は、この実施の形態にかかる映像通信装置の全体構成をブロック図として示したものである。
同図1に示すように、この映像通信装置も、ネットワークを介して映像送信装置11と映像受信装置101との間で映像ストリームの送受信を行う映像通信装置を想定している。すなわち、この映像通信装置において、映像送信装置11は、上記映像受信装置101からの送信要求に基づき同映像受信装置101に対して1ないし複数の映像ストリームを送信する。また、映像受信装置101は、上記映像送信装置11から送信される映像ストリームを受信しつつリアルタイムで再生するようになっている。
ただし、この実施の形態の映像通信装置では、上記映像送信装置11としてホーム使用のハードディスクレコーダに送信機能が付加された装置を想定している。また、上記映像受信装置101としてこのような映像送信装置11に対して専用の映像受信・再生装置を想定している。また、上記ネットワークとしてローカルエリアネットワーク(以下、ネットワーク)LANを想定している。
以下、このような映像送信装置11および映像受信装置101の概要について説明する。
まず、映像送信装置11において、映像記憶部12は映像ストリームを圧縮データとして記憶している部分である。なお、この映像ストリームの圧縮に際しては、MPEG(Moving Picture Experts Group)技術が採用されており、具体的には、
(イ)データを空間周波数領域に変換する変換符号化処理としてのDCT(Discrete Cosine Transform)処理(DCT)。
(ロ)DCT処理(DCT)による変換係数の値を量子化係数で表す量子化処理(Q)。(ハ)シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理(VLE)。
の3つの圧縮技術が採用されている。
(イ)データを空間周波数領域に変換する変換符号化処理としてのDCT(Discrete Cosine Transform)処理(DCT)。
(ロ)DCT処理(DCT)による変換係数の値を量子化係数で表す量子化処理(Q)。(ハ)シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理(VLE)。
の3つの圧縮技術が採用されている。
また、分配器13は、上記映像記憶部12から映像ストリームを取り込んでこれを後述の第1〜第3のトランスコーダ部14a〜14cのいずれか1つに分配して出力する部分である。
また、トランスコーダ14は、トランスコーディング技術を用いて映像ストリームのデータ形式を変換する先の第1〜第3のトランスコーダ部14a〜14cを備え、これら第1〜第3のトランスコーダ部14a〜14cのいずれか1つに分配される映像ストリームのデータ形式を変換する部分である。
なおここで、図2は、上記第1のトランスコーダ部14aの処理構造を、また図3は、上記第2のトランスコーダ部14bの処理構造を、また図4は、上記第3のトランスコーダ部14cの処理構造をそれぞれブロック図として示している。これら図2〜図4から明らかなように、上記第1〜第3のトランスコーダ部14a〜14cでは、映像ストリーム
のデータ形式の変換処理を行うための処理構造として互いに処理負荷の異なる処理構造が採用されている。以下、図2〜図4を参照して上記第1〜第3のトランスコーダ部14a〜14cの別にそれらの処理構造、並びに動作について詳細に説明する。
のデータ形式の変換処理を行うための処理構造として互いに処理負荷の異なる処理構造が採用されている。以下、図2〜図4を参照して上記第1〜第3のトランスコーダ部14a〜14cの別にそれらの処理構造、並びに動作について詳細に説明する。
まず、図2に示すように、第1のトランスコーダ部14aにおいて、フレームスキップ部14a1は、映像ストリームのフレームレートを調整する部分である。また、DCT係数カットブロック14a2は、後述のVLDブロック14a3による制御信号に基づいて映像ストリームのDCT係数をカットし、ひいては同映像ストリームを低ビットレート化して送出する部分である。また、VLDブロック14a3は、上記符号割当処理(VLE)による圧縮データを解凍する逆符号割当処理(VLD)を行うとともに、上記DCT係数カットブロック14a2による上記カット処理を有効または無効とする制御信号を出力する部分である。
第1のトランスコーダ部14aのこのような処理構造では、第1のトランスコーダ部14aに取り込まれた映像ストリームは、まず、上記フレームスキップ部14a1にて所定のフレームレートに調整される。そしてその後は、後述するが、上記DCT係数カットブロック14a2およびVLDブロック14a3にて映像ストリームの低周波項の抽出を通じた同映像ストリームの低ビットレート化のみが行われる。したがって、当該第1のトランスコーダ部14aでは、映像ストリームの変換処理に伴う処理負荷が低く、しかも同映像ストリームの変換処理を高速に行うことが可能である。
ここで、DCT係数カットブロック14a2およびVLDブロック14a3を用いて映像ストリームを低ビットレート化する方法について説明する。
すなわち、上記DCT係数カットブロック14a2に取り込まれる映像ストリームは、DCT処理(DCT)および量子化処理(Q)を通じて圧縮された圧縮データとなっており、DCT係数として直流成分を含む低周波項から高周波項に分布したデータとなっている。ただし、このような映像ストリームではその画素値などの情報の多くが低周波項に集中することが一般に知られており、同映像ストリームの低周波項のみを抽出するようにすれば、該映像ストリームの低ビットレート化が図られるようになる。そこで、上記VLDブロック14a3は、上記DCT係数カットブロック14a2による上記映像ストリームのDCT係数のカットについて、映像ストリームの高周波項のみ有効として上記制御信号を出力するようにしている。これにより、上記DCT係数カットブロック14a2では、こうした制御信号を受けて映像ストリームの高周波項のみがカットされるようになり、換言すれば映像ストリームの低周波項が抽出されるようになり、ひいては同映像ストリームの低ビットレート化が図られるようになる。
ここで、上記VLDブロック14a3の処理態様についてさらに詳述すると、同VLDブロック14a3は、まず、上記DCT係数カットブロック14a2に取り込まれている映像ストリームと同じ映像ストリームを取り込む。次いで、同VLDブロック14a3は、該取り込んだ映像ストリームに対して符号割当処理(VLE)による圧縮データの解凍処理を実行し、これによって明らかとなる映像ストリームのDCT係数の空間周波数を認識する。そして、該認識した空間周波数のレベルが上記DCT係数カットブロック14a2によるカット処理の対象であるか否かを判断し、該判断に基づいて上記DCT係数のカットを有効または無効とする制御信号を出力する。具体的には、映像ストリームのDCT係数が予め定められている空間周波数の基準レベルを超えて高周波項であり、上記DCT係数カットブロック14a2によるカット処理の対象であると判断される場合には、該カット処理を有効とする制御信号が出力される。一方、映像ストリームのDCT係数が予め定められる空間周波数の基準レベル以下の低周波項であり、上記DCT係数カットブロック14a2によるカット処理の対象でないと判断される場合には、該カット処理を無効とする制御信号が出力される。なお、このVLDブロック14a3では、上記DCT係数カ
ットブロック14a2によるカット処理の有効、無効の判断基準となる上記空間周波数の基準レベルを調整するようにすることで、映像ストリームを低ビットレート化する割合を調整することも可能である。
ットブロック14a2によるカット処理の有効、無効の判断基準となる上記空間周波数の基準レベルを調整するようにすることで、映像ストリームを低ビットレート化する割合を調整することも可能である。
一方、図3に示すように、第2のトランスコーダ部14bにおいて、フレームスキップ部14b1は、映像ストリームのフレームレートを調整する部分である。また、VLDブロック14b2は、逆符号割当処理(VLD)を行う部分である。また、IQブロック14b3は、量子化処理(Q)による圧縮データを解凍する逆量子化処理(IQ)を行う部分である。また、Qブロック14b4は、上記量子化処理(Q)を行う部分であり、またVLEブロック14b5は上記符号割当処理(VLE)を行う部分である。なお、図3から明らかなように、これら各処理ブロック14b2〜14b5は入力側から順に直列に配設されている。
第2のトランスコーダ部14bのこのような処理構造では、第2のトランスコーダ部14bに取り込まれた映像ストリームは、まず、上記フレームスキップ部14b1にて所定のフレームレートに調整される。そして、このフレームスキップ部14b1にてフレームレートが調整された映像ストリームは、VLDブロック14b2、さらにはIQブロック14b3に順次に取り込まれ、これら各処理ブロック14b2、14b3にて符号割当処理(VLE)、さらには量子化処理(Q)による各圧縮データが順次に解凍される。そしてこの後、映像ストリームは、この第2のトランスコーダ部14bにおいて、上記Qブロック14b4に取り込まれ、該Qブロック14b4にて同映像ストリームが低ビットレート化されるかたちでの量子化処理(Q)が行われる。そして次に、同映像ストリームは、上記VLEブロック14b5に取り込まれ、該VLEブロック14b5にて符号化されて後にこの第2のトランスコーダ部14bから送出されるようになる。
このように、第2のトランスコーダ部14bでは、その処理構造として、映像ストリームが低ビットレート化されるかたちでの量子化処理(Q)を行うための最低限の機能ブロックのみを有する処理構造が採用されている。したがって、映像ストリームの低ビットレート化を図るに際し、映像ストリームの高周波項に含まれる情報を全てカットすることとなる上記第1のトランスコーダ部14aよりも、この第2のトランスコーダ部14bを用いるようにするほうが、映像ストリームの低ビットレート化に伴うその画質等の劣化が抑制されるようになる。ただし、映像ストリームの変換処理に必要とされる処理負荷という意味では、この第2のトランスコーダ部14bよりも、映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う上記第1のトランスコーダ部14aを用いるようにするほうがより小さな処理負荷とすることが可能である。
また一方、図4に示すように、第3のトランスコーダ部14cにおいて、フレームスキップ部14c1は、映像ストリームのフレームレートを調整する部分である。また、当該第3のトランスコーダ部14cは、このフレームスキップ部14c1を除いて大きくは、圧縮データである映像ストリームのデコードを行う部分DPと、該部分DPにてデコードされた映像ストリームの解像度変換処理を行う部分KPと、該部分KPにて解像度が変換された映像ストリームのエンコードを行う部分EPとから構成されている。
このうち、デコードを行う部分DPでは、映像ストリームの入力側から、逆符号割当処理(VLD)を行うVLDブロック14c2と、逆量子化処理(IQ)を行うIQブロック14c3と、上記DCT処理(DCT)による圧縮データを解凍する逆DCT処理(IDCT)を行うIDCTブロック14c4とが直列に配設されている。また、このデコードを行う部分DPには、上記各処理ブロック14c2〜14c4を通じてデコードされた映像ストリームを取り込んでこれを格納する第1のバッファ14c5がさらに形成されている。この第1のバッファ14c5の出力側には、上記IDCTブロック14c4から出
力される映像ストリームが例えば単体で画像を復元することのできるIピクチャーの参照の下に予測した画像を形成するPピクチャー等である場合に、同映像ストリームに対して上記格納された映像ストリームを加算するための経路が配されている。また、同デコードを行う部分DPにおいて、上記VLDブロック14c2は、先に取り込まれる上記Iピクチャー等の映像ストリームとその後に取り込まれる上記Pピクチャー等の映像ストリームとの空間的なずれを示す動きベクトルを生成してこれを上記第1のバッファ14c5に出力する経路を有している。
力される映像ストリームが例えば単体で画像を復元することのできるIピクチャーの参照の下に予測した画像を形成するPピクチャー等である場合に、同映像ストリームに対して上記格納された映像ストリームを加算するための経路が配されている。また、同デコードを行う部分DPにおいて、上記VLDブロック14c2は、先に取り込まれる上記Iピクチャー等の映像ストリームとその後に取り込まれる上記Pピクチャー等の映像ストリームとの空間的なずれを示す動きベクトルを生成してこれを上記第1のバッファ14c5に出力する経路を有している。
一方、上記解像度変換処理を行う部分KPは、解像度変換部14c6と上記デコードを行う部分DPのVLDブロック14c2にて生成される上記動きベクトルを取り込み、上記解像度変換部14c6にて映像ストリームの解像度が変換される分だけ上記取り込まれた動きベクトルの示す空間的なずれ量についての調整を行う縮小・拡大処理部14c13とから構成されている。なお、この縮小・拡大処理部14c13にてこうして調整された動きベクトルは次に説明するエンコードを行う部分EPの第2のバッファ14c12に出力される。
また一方、上記エンコードを行う部分EPでは、上記解像度変換部14c6側から、DCT処理(DCT)を行うDCTブロック14c7と、量子化処理(Q)を行うQブロック14c8と、符号割当処理(VLE)を行うVLEブロック14c9とが直列に配設されている。また、このエンコードを行う部分EPには、逆量子化処理(IQ)を行うIQブロック14c10と、逆DCT処理(IDCT)を行うIDCTブロック14c11と、映像ストリームを格納する第2のバッファ14c12とが直列に配設されるフィードバック経路がさらに形成されている。上記第2のバッファ14c12の出力側には、上記IDCTブロック14c11から出力される映像ストリームが例えば上記Pピクチャーである場合などに、同映像ストリームに対して当該第2のバッファ14c12に格納されている映像ストリームを加算するための経路が配されている。また、この第2のバッファ14c12の出力側にはさらに、解像度変換部14c6から出力される映像ストリームに対して当該第2のバッファ14c12に格納されている映像ストリームを減算するための経路も配されている。
第3のトランスコーダ部14cのこのような処理構造では、第3のトランスコーダ部14cに取り込まれる映像ストリームは、まず、上記フレームスキップ部14c1にて所定のフレームレートに調整され、次いでデコードを行う部分DPに取り込まれる。そして、同映像ストリームは、このデコードを行う部分DPにおいて、上記VLDブロック14c2、IQブロック14c3、さらにはIDCTブロック14c4に順次に取り込まれ、これら各処理ブロック14c2〜14c4にて符号割当処理(VLE)、量子化処理(Q)、さらにはDCT処理(DCT)による各圧縮データが順次に解凍される。そして、こうした処理を通じてデコードされた映像ストリームがこのデコードする部分DPから取り出され、次いで上記解像度変換処理を行う部分KPに出力されるようになる。なおこのとき、同映像ストリームは上記第1のバッファ14c5にも格納される。
ただしここで、当該第3のトランスコーダ部14cに取り込まれる映像ストリームが上記Pピクチャーである場合などには、上記VLDブロック14c2にて上記動きベクトルが生成される。この動きベクトルは上記第1のバッファ14c5に出力され、該第1のバッファ14c5に格納されている映像ストリームに対してこの動きベクトルに基づく補正が施される。そして、この補正された映像ストリームが上記IDCTブロック14c4から出力される映像ストリームに加算される。この加算を通じて上記IDCTブロック14c4から出力される映像ストリームが復号化(動き補償)されるようになり、該復号化された映像ストリームがこのデコードする部分DPから取り出され、次いで上記解像度変換処理を行う部分KPに取り込まれるようになる。
解像度変換処理を行う部分KPに取り込まれた映像ストリームは、上記解像度変換部14c6にてその解像度が所望に変換される。そしてその後、同映像ストリームは、エンコードを行う部分EPに出力されるようになる。ただし、映像送信装置11の上記映像記憶部12に記憶されている映像ストリームの解像度と、上記映像受信装置101から要求される映像ストリームの解像度が同一である場合には、この解像度変換部14c6において解像度の維持された映像ストリームが出力される。
エンコードを行う部分EPでは、映像ストリームは、DCTブロック14c7、Qブロック14c8、さらにはVLEブロック14c9に順次に取り込まれ、これら各ブロック14c7〜14c9にて行われるDCT処理(DCT)、量子化処理(Q)、さらには符号割当処理(VLE)によって順次に圧縮される。そして、こうした処理を通じてエンコードされた映像ストリームがこのエンコードする部分EPから、すなわち当該第3のトランスコーダ部14cから取り出されるようになる。
なおこのとき、上記Qブロック14c8から出力される映像ストリームは、上記IQブロック14c10、IDCTブロック14c11、第2のバッファ14c12がこの順に直列に配設される上記フィードバック経路にも取り込まれる。同フィードバック経路に取り込まれた映像ストリームは、このうちIQブロック14c10、IDCTブロック14c11にて、上記量子化処理(Q)、DCT処理(DCT)による各圧縮データが順次に解凍される。そして、こうしてデコードされた映像ストリームが上記第2のバッファ14c12に格納されることとなる。
ただしここで、当該第3のトランスコーダ部14cに取り込まれる映像ストリームが上記Pピクチャーである場合などには、上述の通り、上記デコードを行う部分DPのVLDブロック14c2にて上記動きベクトルが生成されている。この動きベクトルは上記縮小・拡大処理部14c13に出力され、上記解像度変換部14c6にて解像度が変換された分だけ上記動きベクトルの縮小・拡大処理が行われる。そして、こうした処理を通じて上記VLDブロック14c2にて生成された動きベクトルは上記第2のバッファ14c12に取り込まれ、該第2のバッファ14c12にて格納されている映像ストリームに対し、この動きベクトルに基づく補正が施される。そして、上記解像度変換部14c6から取り出される映像ストリームに対しては上記動きベクトルに基づく補正が施された映像ストリームが減算され、IDCTブロック14c11から取り出される映像ストリームに対しては同補正された映像ストリームが加算される。このうち、上記減算によっては上記DCTブロック14c7に取り込まれる映像ストリームの時間的冗長度が削減されるようになる。また、上記加算によっては上記IDCTブロック14c11から出力される映像ストリームが復号化(動き補償)されるようになり、該復号化された映像ストリームが上記第2のバッファ14c12に格納されるようになる。
このように、第3のトランスコーダ部14cでは、その処理構造として、大きくは、映像ストリームのデコード処理、解像度変換処理、エンコード処理を行う処理構造が採用されている。すなわち、上記第1及び第2のトランスコーダ部14a、14bの処理構造(図2及び図3)が映像ストリームの解像度変換処理を含まない第2の処理構造であるのに対し、この第3のトランスコーダ部14cの処理構造は、映像ストリームの解像度変換処理を含む第1の処理構造となっている。したがって、映像ストリームのデータ形式の変換処理として、映像ストリームの解像度変換処理を行うとする場合には、この第3のトランスコーダを用いることで、映像ストリームの解像度変換処理を行うことができるようになる。また、映像ストリームの画質等の品質という意味でも、映像ストリームの高周波項に含まれる情報を全てカットすることとなる上記第1のトランスコーダ部14aや上記第2のトランスコーダ部14bよりも、この第3のトランスコーダ部14cを用いるようにす
るほうが、その劣化をより抑制することができるようになる。ただし、映像ストリームの変換処理に必要とされる処理負荷という意味では、この第3のトランスコーダ部14cよりも、映像ストリームの解像度変換処理やDCT処理、IDCT処理等を行わない上記第1および第2のトランスコーダ部14a、14bを用いるようにするほうがより小さな処理負荷とすることが可能である。
るほうが、その劣化をより抑制することができるようになる。ただし、映像ストリームの変換処理に必要とされる処理負荷という意味では、この第3のトランスコーダ部14cよりも、映像ストリームの解像度変換処理やDCT処理、IDCT処理等を行わない上記第1および第2のトランスコーダ部14a、14bを用いるようにするほうがより小さな処理負荷とすることが可能である。
ちなみに、上記トランスコーダ14に取り込まれ、上記第1〜第3のトランスコーダ部14a〜14cのいずれかにてトランスコーディング処理された映像ストリームは、映像送信装置11からネットワークLANを介して上記映像受信装置101に送信されることとなる。
また、映像送信装置11において、制御部15は、上記分配器13による映像ストリームの分配処理を制御する部分である。なお、この分配処理の制御は、次に説明する条件判断部16によって判断される映像ストリームのトランスコーディング処理の条件に基づいて行われる。すなわち、この実施の形態においては、制御部15及び分配器13が切替制御部を構成している。
また、条件判断部16は、上記トランスコーダ14が変換処理すべきデータ形式に関する処理条件、すなわちトランスコーディング処理の条件を判断する部分である。具体的には、該条件判断部16は、映像受信装置101から送信される該映像受信装置101の処理負荷を示す受信負荷情報、及び映像送信装置11の処理負荷を示す送信負荷情報等を取り込み、これら情報等に基づいて上記トランスコーディング処理の条件を判断する。なお、この判断の際には、後述のトランスコーダ性能テーブル17に記憶されているテーブルが参照される。
一方、映像受信装置101において、ウィンドウ再生情報保持部102は、ディスプレイ110を通じて表示可能な全てのウィンドウについてそれら各ウィンドウの属性を示す属性情報が一括して記憶されている部分である。
また、再生制御部103は、ユーザによる映像ストリームの再生指令の入力に基づき、該再生指令において指定された1ないし複数のウィンドウをディスプレイ110に表示するための制御を行う部分である。具体的には、該再生制御部103は、上記ウィンドウ再生情報保持部102からウィンドウの属性を示す属性情報を取得し、この取得した属性情報を通じて指定されたウィンドウをディスプレイ110に表示すべく後述のフレーム出力部109に制御信号を出力する。また、同再生制御部103は、上記ウィンドウ再生情報保持部102から取得した属性情報を後述の属性情報記述作成部104に出力する。
また、同映像受信装置101において、受信側分配制御部105は、上記映像送信装置11からネットワークLANを介して送信される映像ストリームを受信するとともに、同映像ストリームを後述のフルデコーダ106または部分デコーダ108に分配する部分である。具体的には、同受信側分配制御部105は、上記映像送信装置11から受信した映像ストリームの解像度と、上記ディスプレイ110に再生される映像ストリームの解像度とを比較する。該比較の結果、映像ストリームの解像度を変換する必要がない、あるいは同解像度を拡大する必要があると判断される場合、該受信側分配制御部105は上記フルデコーダ106に映像ストリームを分配する。一方、映像ストリームの解像度を縮小する必要があると判断した場合、該受信側分配制御部105は上記部分デコーダ108に映像ストリームを分配する。
また、同受信側分配制御部105は、上記フルデコーダ106と後述の解像度変換部107の間に設けられるスイッチSWの切替制御を併せて行うものである。ちなみに、この
スイッチSWは、端子T1を共通接点とする端子T1〜T3の3接点を有し、端子T1と端子T2との接続によって上記フルデコーダ106とフレーム出力部109とを電気的に接続する構造となっている。一方、端子T1と端子T3との接続によって上記フルデコーダ106と解像度変換部107とを電気的に接続する構造となっている。こうしたスイッチSWに対し、上記受信側分配制御部105は、上記切替制御として、映像ストリームの解像度を変換する必要がないと判断した場合に端子T1と端子T2とを接続させ、また映像ストリームの解像度を拡大する必要があると判断した場合に端子T1と端子T3とを接続させる。
スイッチSWは、端子T1を共通接点とする端子T1〜T3の3接点を有し、端子T1と端子T2との接続によって上記フルデコーダ106とフレーム出力部109とを電気的に接続する構造となっている。一方、端子T1と端子T3との接続によって上記フルデコーダ106と解像度変換部107とを電気的に接続する構造となっている。こうしたスイッチSWに対し、上記受信側分配制御部105は、上記切替制御として、映像ストリームの解像度を変換する必要がないと判断した場合に端子T1と端子T2とを接続させ、また映像ストリームの解像度を拡大する必要があると判断した場合に端子T1と端子T3とを接続させる。
また、フルデコーダ106は、上記受信側分配制御部105から分配される映像ストリームをデコードする部分である。
また、解像度変換部107は、上記フルデコーダ106を通じてデコードされた映像ストリームの解像度を変換する部分である。ただし上述の通り、この実施の形態において、該解像度変換部107は特に、映像ストリームの解像度を拡大する処理を行う。
また、部分デコーダ108は、上記受信側分配制御部105から分配される映像ストリーム中の周波数の最も低い第1周波数項の抽出を通じて映像ストリームを部分的にデコードすることで同映像ストリームの解像度を併せて縮小変換する部分である。なお、同部分デコーダ108の構成、並びに動作については、特開2003−219420号公報に記載の通り周知であり、ここでの具体的な説明を割愛する。ちなみに、この実施の形態の映像受信装置101では、この部分デコーダ108と上記解像度変換部107とによって解像度変換手段が構成されている。
また、フレーム出力部109は、上記再生制御部103から取り込まれる制御信号に基づいて上記ディスプレイ110に所望のウィンドウを表示するとともに、フルデコーダ106、又は解像度変換部107、又は部分デコーダ108から出力される映像ストリームを取り込んでこれを上記ディスプレイ110に表示されているウィンドウ中に再生する部分である。
また、同映像受信装置101において、属性情報記述作成部104は、上記再生制御部103から取り込まれる属性情報を所定のプロトコルに従ったデータ列として記述作成し、ネットワークLANを介して上記映像送信装置11に送信する部分である。なお、この実施の形態の属性情報記述作成部104は、当該映像受信装置101の処理負荷を示す情報である受信負荷情報を取得し、該受信負荷情報についてもこれを上記属性情報とともにネットワークLANを介して上記映像送信装置11に送信する。
次に、このような映像通信装置にあって、映像受信装置101の再生制御部103にユーザから映像ストリームの再生指令が入力されたとしたときの映像送信装置11および映像受信装置101の作用について図1を基本的に参照して説明する。ただしここでは、図5に例示するように、ウィンドウとして特定の3つのウィンドウ(マルチウィンドウ)W1〜W3をディスプレイ110に表示するとともにこれらウィンドウW1〜W3の別に各異なる3つの映像ストリームを同時再生する旨の再生指令が上記再生制御部103に入力されたとしている。
このような場合、再生制御部103は、図5に示すように、上記ウィンドウ再生情報保持部102から上記再生指令にて指定された特定の3つのウィンドウW1〜W3に関する属性情報を取得し、この取得した属性情報に基づく制御信号を上記フレーム出力部109に出力する。これにより、上記3つのウィンドウW1〜W3が図5に例示される態様でディスプレイ110に表示されるようになる。
また、同図5に示されるように、再生制御部103は、上記属性情報としてウィンドウを特定するためのウィンドウID、及びウィンドウの優先度を示すプライオリティ、及びウィンドウに表示される映像ストリームの解像度、画質、フレームレートの属性に関する情報を上記3つのウィンドウW1〜W3ごとに取得する。これら属性情報は、上記属性情報記述作成部104に取り込まれ、該属性情報記述作成部104において例えば図6に例示するように所定のプロトコルに従ったデータ列として記述作成される。
ただしこの実施の形態では、図5及び図6に示されるように、ウィンドウ再生情報保持部102は、ウィンドウW1〜W3の属性のうち、解像度、画質、フレームレートの属性については複数の情報を付与してこれらを保持している。また、属性情報記述作成部104は、映像受信装置101の処理負荷を取得し、上記再生制御部103を通じて取り込まれる上記属性情報のうち、解像度、画質、フレームレートの属性の情報についてはこれらを上記取得した映像受信装置101の処理負荷に基づいて増減しつつ上記データ列として属性情報を記述作成する。そして、同属性情報記述作成部104は、こうして記述作成される属性情報の記述数を映像受信装置101の処理負荷を示す受信負荷情報として上記映像送信装置11に送信するようにしている。例えば、いま、上記映像受信装置101には高ビットレートの映像ストリームを送受信することのできる負荷的な余裕があると仮定する。このような場合には、属性情報記述作成部104は、例えばウィンドウW1に再生される映像ストリームの画質として「30dB、27dB」、フレームレートとして「30fps、15fps」など、それらの属性に高ビットレートとなる情報「30dB」、及び「30fps」を含むかたちで上記データ列を記述作成する。これにより、高ビットレートの映像ストリームを送受信することのできる負荷的な余裕が当該映像受信装置101にあることが上記映像送信装置11に対して示されるようになり、すなわち属性情報の記述数を通じて同映像受信装置101の処理負荷が示されるようになる。
また、この実施の形態の映像受信装置101は、上述の通り、上記映像送信装置11から送信される映像ストリームの解像度を変換する機能を有するため、この解像度の属性についてもこれを映像受信装置101の処理負荷に応じて複数記述可能である。こうして解像度に関して複数の情報を有する上記データ列を記述作成するようにすることで、映像ストリームの解像度を変換する機能、及びその処理能力(負荷的な余裕)が当該映像受信装置101にあることが上記映像送信装置11に対して示されるようになる。
ちなみに、ウィンドウW1中に再生される映像ストリームの解像度は「360×240」、ウィンドウW2、W3中に再生される映像ストリームの解像度は「180×120」となっている。このため、例えば上記ウィンドウW1中に再生する映像ストリームとして、上記映像送信装置11から「180×120」や「720×480」の解像度の映像ストリームが送信される場合には、当該映像受信装置101において同映像ストリームの解像度を変換処理することとなる。
そして、このように記述作成された属性情報は、上記ネットワークLANを介して映像送信装置11に送信され、ひいては該映像送信装置11の上記条件判断部16に取り込まれ、次に上述のトランスコーディング処理の条件の判断に供されることとなる。
すなわち、映像送信装置11において、上記条件判断部16は、上記映像受信装置101から属性情報を受信すると、上記トランスコーダ性能テーブル17に記憶されているテーブルを参照する。なお、この参照に際し、該条件判断部16は、上記受信した属性情報から最もビットレートが高くなる属性の情報の組み合わせを選択し、この選択した情報を採用して上記トランスコーダ14にてトランスコーディング処理を行った場合に同トランスコーダ14から出力される映像ストリームのビットレート(最大出力ビットレート)を算出する。ちなみに図5の例において、例えばウィンドウW1であれば、解像度として「
720×480」、画質として「30dB」、フレームレートとして「30fps」が各々選択され、これら選択された属性情報から上記最大出力ビットレートが算出されることとなる。そして、この算出される最大出力ビットレートによって映像受信装置101が要求している映像ストリームのビットレートの上限値が示されるようになる。
720×480」、画質として「30dB」、フレームレートとして「30fps」が各々選択され、これら選択された属性情報から上記最大出力ビットレートが算出されることとなる。そして、この算出される最大出力ビットレートによって映像受信装置101が要求している映像ストリームのビットレートの上限値が示されるようになる。
また同じく、上記テーブルの参照に際し、同条件判断部16は、映像送信装置11自体の処理負荷を示す送信負荷情報、及び上記映像記憶部12に記憶されている映像ストリームの解像度(入力解像度)、及びビットレート(入力ビットレート)、さらにはネットワークLANの帯域情報を取得する。そして、これらの条件の下にトランスコーディング処理の条件を判断する。
ここで、上記トランスコーダ性能テーブル17に記憶されているテーブルについて具体的に説明する。図7及び図8に例示するように、このトランスコーダ性能テーブル17には、上記第1のトランスコーダ部14aに対応する第1のテーブル17a、及び上記第3のトランスコーダ部14cに対応する第2のテーブル17bが記憶されている。実際には、第2のトランスコーダ部14bに対応するテーブルも記憶されているが、ここでは便宜上、図示を割愛する。そして、図7に例示するように、上記第1のテーブル17aには、例えば、オプションOPa1として、
(二)入力解像度「720×480」。
(ホ)入力ビットレート「10Mbps」。
の映像ストリームが上記第1のトランスコーダ部14aにて、
(へ)ビットレート(出力ビットレート)「8Mbps」。
の映像ストリームに変換処理される場合、画質「36dB」の映像ストリームがこの第1のトランスコーダ部14aから出力されること、及びトランスコーダ部14aが8%の処理負荷を必要とすること等が示されている。また、この第1のテーブル17aの代わりに、入力解像度、及び入力ビットレート、及び出力ビットレートから特定される画質、及びトランスコーダ14の処理負荷については、
Qu1=C1×Rx+C2×Bi+C3×Bo ・・・(1)
Lo=C4×Rx+C5×Bi+C6×Bo ・・・(2)
ただし、
Qu1:トランスコーダ14から出力される映像ストリームの画質
Lo:トランスコーダ14の処理負荷
Rx:水平方向の入力解像度の規格化値(「0」〜「1」の範囲になるように規格化)
Bi:入力ビットレートの規格化値
Bo:出力ビットレートの規格化値
C1〜C6:各パラメータRx、Bi、Boを重み付けする重み係数
といった近似的な関係式に基づいて特定することもできる。
(二)入力解像度「720×480」。
(ホ)入力ビットレート「10Mbps」。
の映像ストリームが上記第1のトランスコーダ部14aにて、
(へ)ビットレート(出力ビットレート)「8Mbps」。
の映像ストリームに変換処理される場合、画質「36dB」の映像ストリームがこの第1のトランスコーダ部14aから出力されること、及びトランスコーダ部14aが8%の処理負荷を必要とすること等が示されている。また、この第1のテーブル17aの代わりに、入力解像度、及び入力ビットレート、及び出力ビットレートから特定される画質、及びトランスコーダ14の処理負荷については、
Qu1=C1×Rx+C2×Bi+C3×Bo ・・・(1)
Lo=C4×Rx+C5×Bi+C6×Bo ・・・(2)
ただし、
Qu1:トランスコーダ14から出力される映像ストリームの画質
Lo:トランスコーダ14の処理負荷
Rx:水平方向の入力解像度の規格化値(「0」〜「1」の範囲になるように規格化)
Bi:入力ビットレートの規格化値
Bo:出力ビットレートの規格化値
C1〜C6:各パラメータRx、Bi、Boを重み付けする重み係数
といった近似的な関係式に基づいて特定することもできる。
またこれと同様に、図8に例示される第2のテーブル17bには、例えば、オプションOPb1として、
(ト)入力解像度「720×480」。
(チ)入力ビットレート「10Mbps」。
の映像ストリームが上記第3のトランスコーダ部14cにて、
(リ)解像度(出力解像度)「720×480」
(ヌ)出力ビットレート「8Mbps」。
の映像ストリームに変換処理される場合、画質「42dB」の映像ストリームがこの第3のトランスコーダ部14cから出力されること、及びトランスコーダ部14cが35%の
処理負荷を必要とすること等が示されている。また、この第2のテーブル17bの代わりに、入力解像度、及び出力解像度、及び入力ビットレート、及び出力ビットレートから特定される画質、及びトランスコーダ14の処理負荷については、
Qu2=C7×R+C8×Bi+C9×Bo ・・・(3)
Lo=C10×R+C11×Bi+C12×Bo ・・・(4)
ただし、
Qu2:トランスコーダ14から出力される映像ストリームの画質
Lo:トランスコーダ14の処理負荷
R:水平方向の入力解像度と出力解像度との比の規格化値
C7〜C12:各パラメータR、Bi、Boを重み付けする重み係数
といった関係式に基づいて特定することもできる。
(ト)入力解像度「720×480」。
(チ)入力ビットレート「10Mbps」。
の映像ストリームが上記第3のトランスコーダ部14cにて、
(リ)解像度(出力解像度)「720×480」
(ヌ)出力ビットレート「8Mbps」。
の映像ストリームに変換処理される場合、画質「42dB」の映像ストリームがこの第3のトランスコーダ部14cから出力されること、及びトランスコーダ部14cが35%の
処理負荷を必要とすること等が示されている。また、この第2のテーブル17bの代わりに、入力解像度、及び出力解像度、及び入力ビットレート、及び出力ビットレートから特定される画質、及びトランスコーダ14の処理負荷については、
Qu2=C7×R+C8×Bi+C9×Bo ・・・(3)
Lo=C10×R+C11×Bi+C12×Bo ・・・(4)
ただし、
Qu2:トランスコーダ14から出力される映像ストリームの画質
Lo:トランスコーダ14の処理負荷
R:水平方向の入力解像度と出力解像度との比の規格化値
C7〜C12:各パラメータR、Bi、Boを重み付けする重み係数
といった関係式に基づいて特定することもできる。
そして、上記条件判断部16は、このような第1及び第2のテーブル17a、17b等を参照し、これら各テーブル17a、17b等のうち、
(ヲ)入力解像度、及び入力ビットレートが、上記映像記憶部12に記憶されている映像ストリームの解像度、及びビットレートと各々同一であること。
(ワ)出力ビットレートが、映像受信装置101から送信される属性情報に基づき上記条件判断部16にて算出された最大出力ビットレートよりも小さいこと。
(カ)出力ビットレートが、条件判断部16にて取得されたネットワークLANの帯域情報に対して許容されるレベルであること。
(ヨ)画質が、映像受信装置101から送信される属性情報において指定されている画質のレベルを満たすこと。
(タ)トランスコーダ14の処理負荷が、条件判断部16にて取得された送信負荷情報に対して許容されるレベルであること。
といった各条件を満たすオプションOPを選択する。ただし、第2のテーブル17bのように出力解像度の欄が設けられているテーブルを参照する場合には、
(レ)出力解像度が、映像受信装置101から送信される属性情報において指定されている解像度と同一であること。
の条件をさらに満たすオプションOPを選択する。
(ヲ)入力解像度、及び入力ビットレートが、上記映像記憶部12に記憶されている映像ストリームの解像度、及びビットレートと各々同一であること。
(ワ)出力ビットレートが、映像受信装置101から送信される属性情報に基づき上記条件判断部16にて算出された最大出力ビットレートよりも小さいこと。
(カ)出力ビットレートが、条件判断部16にて取得されたネットワークLANの帯域情報に対して許容されるレベルであること。
(ヨ)画質が、映像受信装置101から送信される属性情報において指定されている画質のレベルを満たすこと。
(タ)トランスコーダ14の処理負荷が、条件判断部16にて取得された送信負荷情報に対して許容されるレベルであること。
といった各条件を満たすオプションOPを選択する。ただし、第2のテーブル17bのように出力解像度の欄が設けられているテーブルを参照する場合には、
(レ)出力解像度が、映像受信装置101から送信される属性情報において指定されている解像度と同一であること。
の条件をさらに満たすオプションOPを選択する。
なお、これら(ヲ)〜(レ)の条件のうち、前記(ワ)及び(ヨ)及び(レ)の条件が、映像受信装置101側からビットレートや解像度等に関して要求される条件となっている。また、前記(タ)の条件が、映像送信装置11自体の処理負荷がその限界値を超えることのないようにトランスコーダ14の処理負荷を軽減させるための条件となっている。このため、こうしたトランスコーディング処理の条件にしたがって、上記第1〜第3のトランスコーダ部14a〜14cを切替制御するようにすることで、映像ストリームのビットレート等に関して映像受信装置101側の要求に沿う映像ストリームを送受信することができるようになる。また、映像送信装置11としても、その処理負荷が該映像送信装置11の処理負荷の限界値を超えることのないように、上記映像受信装置101との間で映像ストリームを送受信することができるようになる。
そして、こうしてトランスコーダ14が変換処理すべきデータ形式に関する処理条件が判断されると、該条件判断部16は、上記選択したオプションOPにおいて指定されている画質、及びトランスコーダ14の処理負荷の条件を上記制御部15に通知する。また、同条件判断部16は、同選択したオプションOPにおいて指定されている入力解像度と出力解像度との比較から上記トランスコーダ14にて映像ストリームの解像度を変換する必要があるか否かを判断し、同変換の必要の有無の条件についてもこれを同じく上記制御部15に通知する。
そして、同制御部15は、上記条件判断部16から通知された各条件に基づき上記トランスコーダ部14a〜14cのいずれによって映像ストリームのトランスコーディング処理を行うべきかを決定する。より具体的には、映像ストリームのトランスコーディング処理の条件として、解像度の変換処理を行う必要があると判断された場合、該制御部15は、上記第3のトランスコーダ部14cにて上記トランスコーディング処理を行うことを決定する。一方、解像度の変換処理を行う必要がないと判断された場合、該制御部15は、条件判断部16による上記映像ストリームの画質とトランスコーダ14の処理負荷との条件を併せ満たしつつ上記トランスコーディング処理を行うことのできるトランスコーダ部を選択し、この選択したトランスコーダ部にて同処理を行うことを決定する。そしてこうした決定に基づき、同制御部15が上記分配器13による映像ストリームの分配処理を制御することで、上記映像記憶部12に記憶されている映像ストリームは、上記分配器13を通じて上記制御部15にて決定されたトランスコーダ部に分配されるようになる。そして、同トランスコーダ部に分配された映像ストリームは、このトランスコーダ部において、上記条件判断部16にて判断された映像ストリームのトランスコーディング条件の下、上記トランスコーディング処理が行われるようになる。
一方、映像受信装置101において、上記映像送信装置11から送信される映像ストリームは、上記受信側分配制御部105にて受信され、次いで該受信側分配制御部105を通じてフルデコーダ106または部分デコーダ108に分配される。
このうち、上記フルデコーダ106には、上述の通り、映像ストリームの解像度を変換する必要がない、あるいは同解像度を拡大する必要がある映像ストリームが分配される。同映像ストリームは、このフルデコーダ106においてデコードされ、次いで上記受信側分配制御部105による上記スイッチSWの切替制御によって接続される端子T1、T2を介してフレーム出力部109に取り込まれる。ただし、上記解像度を拡大する必要がある映像ストリームは、上記受信側分配制御部105による上記スイッチSWの切替制御によって接続される端子T1、T3を介して上記解像度変換部107に取り込まれ、該解像度変換部107にて所望の解像度に変換された後、上記フレーム出力部109に出力される。
一方、上記部分デコーダ108には、上述の通り、映像ストリームの解像度を縮小する必要がある映像ストリームが分配される。そしてこれも上述の通り、この部分デコーダ108では、同映像ストリームはデコードされるとともにその解像度が縮小変換されて上記フレーム出力部109に取り込まれる。
そして、こうしてフレーム出力部109に取り込まれた映像ストリームは、次いで上記ディスプレイ110に出力され、これによって同ディスプレイ110に表示されているウィンドウW1〜W3中に映像ストリームが再生されるようになる。
図9及び図10は、上記映像送信装置11及び映像受信装置101にて、主に上記再生制御部103への再生指令の入力に基づいて実行される各処理の手順についてその一例をフローチャートとして示したものであり、次に、これら各処理の手順について図11を併せ参照して説明する。なお、図11(a)、(b)は、映像送信装置11及び映像受信装置101の処理負荷をそれぞれタイムチャートとして示したものである。ちなみに、同図11(a)、(b)の時刻Aにおいて、先の図5に例示したウィンドウW1〜W3の別に各異なる3つの映像ストリームを同時再生する旨の再生指令が上記再生制御部103に入力されるとしている。
まず、上記属性情報記述作成部104においては、上記映像送信装置11に対して属性
情報を送信するための属性情報送信処理が実行される。
情報を送信するための属性情報送信処理が実行される。
すなわち、この属性情報送信処理では、図9に示すように、ステップS1の処理として、上記再生制御部103からの属性情報の入力の有無が所定期間ごとに繰り返し確認される。そして、図11の時刻Aにおいて上記再生制御部103に上記再生指令が入力され、該再生制御部103から属性情報が取り込まれると、次にステップS2の処理が実行される。
このステップS2の処理においては、映像受信装置101の処理負荷が取得され、この取得された処理負荷に基づいて例えば図6に例示するデータ列として上記属性情報が記述作成される。なおここで、図11(b)に示すように、時刻Aにおいて、映像受信装置101には高ビットレートの映像ストリームを送受信するための負荷的な余裕が十分ある。したがって、上記データ列として記述作成される属性情報には、例えばウィンドウW1に再生される映像ストリームの画質として「30dB」、フレームレートとして「30fps」などの属性情報も含まれることとなる。そして次に、ステップS3の処理として、この属性情報が上記映像送信装置11に対して送信されることで、映像受信装置101の処理負荷が低い状態にあることが上記映像送信装置11に示されるようになる。
なお、この属性情報送信処理では、このステップS3の処理が実行された後は、上記ステップS1の処理が再度実行される。すなわち、上記ディスプレイ110にウィンドウW1〜W3が表示されている間は、これらウィンドウW1〜W3に関する属性情報が上記再生制御部103からその都度取り込まれる。したがって、この属性情報送信処理のステップS1〜S3の一連の処理も、上記再生制御部103からその都度取り込まれる属性情報に基づいて所定期間ごとに繰り返し実行され、映像受信装置101のその都度の処理負荷に応じた属性情報が上記映像送信装置11にその都度送信される。すなわち、この属性情報送信処理では、映像受信装置101のその都度の処理負荷を示す受信負荷情報が上記映像送信装置11に送信されている。
トランスコーディング処理条件判断処理は、上記属性情報記述作成部104からその都度更新して送信される属性情報が上記条件判断部16にて受信される度に該条件判断部16によってその都度実行される。以下、このトランスコーディング処理条件判断処理について説明する。なお、このトランスコーディング処理条件判断処理を含め、以下に説明するトランスコーダ切替処理や映像ストリームの受信、分配処理等については、ここでは説明の便宜上、ウィンドウW1〜W3のうち、ウィンドウW1中に再生される映像ストリームに関して行われる処理に限定して説明する。ただし実際には、上記ウィンドウW2、W3中に再生される映像ストリームに関する処理も上記ウィンドウW1中に再生される映像ストリームに関する処理とほぼ同時に時分割にて実行されている。
同図9に示すように、このトランスコーディング処理条件判断処理では、ステップS10の処理として、上記属性情報記述作成部104から送信される属性情報が受信される。そして、ステップS11の処理として、映像記憶部12に記憶されている映像ストリームのビットレート、及び解像度が取得される。なお、この実施例では、映像記憶部12に記憶されている映像ストリームのビットレートは「10Mbps」、同映像ストリームの解像度は「720×480」であるとする。そして次に、ステップS12の処理として、受信した属性情報に基づいて上記最大出力ビットレートが算出される。そして、ステップS13の処理として、ネットワークLANの帯域が取得され、次いでステップS14の処理として、映像送信装置11の処理負荷を示す送信負荷情報が取得される。
上記ステップS11〜S14にてこうして各種のパラメータが取得されると、次にステップS15の処理として、図7、図8に示されるように、上記トランスコーダ性能テーブル17に記憶されている第1及び第2のテーブル17a、17b等が参照される。そして
、これらテーブル17a、17b等のオプションOPのうち、上記受信した属性情報等に基づいて定められる条件、具体的には前記(ヲ)〜(ヨ)、及び(レ)の条件を満たすオプションOPが選択、抽出される。
、これらテーブル17a、17b等のオプションOPのうち、上記受信した属性情報等に基づいて定められる条件、具体的には前記(ヲ)〜(ヨ)、及び(レ)の条件を満たすオプションOPが選択、抽出される。
ちなみに、前記(ワ)の条件が満たされることで、映像受信装置101側のビットレートに関する要求を超えるより高いビットレートの映像ストリームが送受信されることが回避されるようになる。また、前記(ヨ)の条件が満たされることで、映像受信装置101の処理能力に応じた画質(ビットレート)の映像ストリームが送受信されるようになる。また、前記(レ)の条件が満たされることで、映像ストリームの解像度に関して映像受信装置101側の要求に沿うかたちでの映像ストリームの送受信が可能となる。したがって、上記ステップS15の処理にて抽出されたオプションOPのいずれが上記トランスコーディング処理の条件として採用されたとしても、映像ストリームのビットレート等に関して映像受信装置101側の要求に沿うかたちでの映像ストリームの送受信ができるようになる。ちなみに、上記抽出されたオプションOPでは前記(カ)の条件も満たされているため、ネットワークLANがたとえ輻輳等に起因してその通信帯域が制限されるような場合であっても、上記映像送信装置11と映像受信装置101との間で映像ストリームを円滑に送受信することができるようになる。
そして次に、ステップS16の処理として、上記ステップS15の処理にて抽出されたオプションOPのうち、最も画質の高いオプションが選択される。ただし、この選択では、出力解像度が上記映像受信装置101にて再生される際の映像ストリームの解像度「360×240」と同じであるオプションOPb6が優先される。そして、この選択されたオプションOPb6において指定されているトランスコーディング処理の条件をもって該処理を行うことが可能であるか否かが判断される。この判断は、上記オプションOPb6において指定されているトランスコーダ部の処理負荷「39%」が前記(タ)の条件を満たすか否かによって行われる。なおここで、図11(a)に示すように、時刻Aにおいて、映像送信装置11には、トランスコーダ部による処理に処理負荷「39%」を配分するだけの処理能力(負荷的な余裕)がある。このため、このステップS16の処理では、上記選択されたオプションOPb6において指定されているトランスコーディング処理の条件にて該処理を行うことができると判断され、次いでステップS19の処理として、同オプションOPb6において指定されているトランスコーディング処理の条件が上記制御部15に通知される。なおここでは、上記トランスコーディング処理の条件として、上記選択されたオプションOPb6において指定されている画質「42dB」、及びトランスコーダ部の処理負荷「39%」と、解像度変換処理が必要であることとが通知される。
そして、こうして上記制御部15に上記トランスコーディング処理の条件が通知されると、図11に示されるように、制御部15及び分配器13による上記3つのトランスコーダ部14a〜14c(トランスコーダ14)の切替制御と、該トランスコーダ14によるトランスコーディング処理、映像ストリームの送信処理が実行される。なお、こうした各処理も、上記制御部15に上記トランスコーディング処理の条件がその都度通知される度に実行される。
このような各種の処理のうち、トランスコーダ14の切替制御では、まず、ステップS20の処理として、上記制御部15にて、上記条件判断部16から上記トランスコーディング処理の条件が通知されたことが認識される。そして、ステップS21の処理として、上記条件判断部16から通知された条件に基づいて上記トランスコーディング処理を行うトランスコーダ部が選択、決定される。ここでは、上記条件判断部16から通知された、画質「42dB」、及びトランスコーダ部の処理負荷「39%」、及び解像度変換処理が必要であること、といった条件に基づいて上記第3のトランスコーダ部14cを用いて上記トランスコーディング処理を行うことが決定される。
そして次に、ステップS22の処理として、上記制御部15によって上記分配器13による映像ストリームの分配処理が制御され、これによって上記映像記憶部12に記憶されている映像ストリームが上記分配器13を通じて上記第3のトランスコーダ部14cに分配され、すなわち該第3のトランスコーダ部14cが能動とされる。そして次に、ステップS23の処理として、上記第3のトランスコーダ部14cによって上記映像ストリームのトランスコーディング処理が行われる。そして次に、ステップS24の処理として、所望のビットレート等に変換処理された映像ストリームがネットワークLANを介して上記映像受信装置101に送信され、この映像ストリームの送信に基づき、次に説明する映像ストリームの受信、分配処理が実行されることとなる。
映像ストリームの受信、分配処理は、上記受信側分配制御部105により実行される。なお、この映像ストリームの受信、分配処理も、上記映像送信装置11からその都度映像ストリームが送信される度に実行される。
同処理に際し、まず、ステップS30の処理として、上記映像送信装置11から送信される映像ストリームが受信される。
そして次に、ステップS31の処理として、上記受信した映像ストリームの解像度と、上記ウィンドウW1中に再生される映像ストリームの解像度とが比較される。なお、この例では、上記第3のトランスコーダ部14cにて映像ストリームの解像度を変換処理することとしたため、上記受信した映像ストリームと上記ウィンドウW1中に再生される映像ストリームとの解像度は同一である。したがって、このステップS31の処理においては、上記受信した映像ストリームの解像度は上記ウィンドウW1中に再生される映像ストリームの解像度以下と判断される。そして次に、ステップS32の処理として、上記受信した映像ストリームと上記ウィンドウW1中に再生される映像ストリームとの解像度が同一か否かが判断される。このステップS32の処理においては、それら解像度が同一であると判断される。そして次に、ステップS33の処理として、上記スイッチSWの端子T1およびT2を電気的に接続するための切替制御が行われる。そして次に、ステップS35の処理として、上記受信した映像ストリームが上記フルデコーダ106に分配、出力される。そして、こうして分配、出力された映像ストリームが上記フルデコーダ106にてデコードされた後、上記フレーム出力部109を通じて上記ディスプレイ110に表示されているウィンドウW1中に再生されることとなる。
ところで、この実施の形態の映像送信装置11は、ホーム使用のハードディスクレコーダに送信機能を付加した程度の装置であり、このような装置ではその処理能力上、映像ストリームの送受信が困難となりやすいことは前述した通りである。
例えば、図11(a)に示すように、時刻Aの後の時刻Bにおいて、時刻Aにて入力された再生指令とは別の再生指令が入力されるとしたとき、該別の再生指令に基づく処理として先の再生指令に基づく処理と同様の処理を行うとすることも考えられる。ただし、このような処理を行うとすると、映像送信装置11の処理負荷が点線にて示すように該映像送信装置11の処理能力の限界値「100%」を超えることにもなりかねない。一方、このような場合であっても、映像受信装置101の処理負荷は、図11(b)に示すように、時刻Bにおいて点線にて示すように未だ十分な負荷的な余裕がある。
そこでこのような場合、この実施の形態の映像通信装置では、映像送信装置11にて通常行われる解像度やビットレート等のデータ形式の変換処理のうち、解像度の変換処理についてはこれを上記映像受信装置101の処理能力(負荷的な余裕)を利用して該映像受信装置101側にて行うようにする。また、映像送信装置11は、例えば映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う上記
第1のトランスコーダ部14aや、上記第2のトランスコーダ部14bを用いて上記トランスコーディング処理を行うようにする。これにより、図11(a)に実線にて示すように、時刻Bにおいて上記別の再生指令に基づく処理を行うにあたって、上記映像送信装置11の処理負荷を大きく軽減することができるようになる。また、こうして映像送信装置11の処理負荷の軽減が図られることで、同処理負荷が軽減される分だけ映像ストリームの画質等に関して上記映像受信装置101の処理能力により見合うかたちでの変換処理を行うこともできるようになる。またこの場合には、トランスコーダ14を通じた映像ストリームの変換処理が高速に実行されることにもなる。なお、上記第3のトランスコーダ部14cよりも上記第1のトランスコーダ部14a等を用いてトランスコーディング処理を行うほうが該処理に伴う処理負荷も小さくなることは、上記第1のテーブル17a(図7参照)と上記第2のテーブル17b(図8参照)との処理負荷の欄を比較して明らかである。
第1のトランスコーダ部14aや、上記第2のトランスコーダ部14bを用いて上記トランスコーディング処理を行うようにする。これにより、図11(a)に実線にて示すように、時刻Bにおいて上記別の再生指令に基づく処理を行うにあたって、上記映像送信装置11の処理負荷を大きく軽減することができるようになる。また、こうして映像送信装置11の処理負荷の軽減が図られることで、同処理負荷が軽減される分だけ映像ストリームの画質等に関して上記映像受信装置101の処理能力により見合うかたちでの変換処理を行うこともできるようになる。またこの場合には、トランスコーダ14を通じた映像ストリームの変換処理が高速に実行されることにもなる。なお、上記第3のトランスコーダ部14cよりも上記第1のトランスコーダ部14a等を用いてトランスコーディング処理を行うほうが該処理に伴う処理負荷も小さくなることは、上記第1のテーブル17a(図7参照)と上記第2のテーブル17b(図8参照)との処理負荷の欄を比較して明らかである。
次に、時刻Bにおいて、再生制御部103に上記別の再生指令が入力された場合に実行される各処理の手順について図9及び図10を参照して説明する。なお、この時刻Bにおいても、上記別の再生指令として、先の図5に例示したウィンドウW1〜W3の別に各異なる3つの映像ストリームを同時再生する旨の再生指令が上記再生制御部103に入力されるとしている。
まず、上記属性情報送信処理のステップS1〜S3の処理は、時刻Aにて入力された再生指令に基づく上述の処理に準じたものとなっている。
すなわち、上記ステップS1の処理では、上記再生制御部103からの属性情報の入力の有無が所定期間ごとに繰り返し確認される。そして、時刻Bにおいて上記再生制御部103に上記別の再生指令が入力され、同再生制御部103からの属性情報の入力が確認されると、次のステップS2の処理が実行される。このステップS2の処理では、映像受信装置101の処理負荷が取得され、この取得された処理負荷に基づいて図6に例示するデータ列として上記属性情報が記述作成される。なお上述の通り、時刻Bにおいても、映像受信装置101には高ビットレートの映像ストリームを送受信するための負荷的な余裕が十分ある。そして、次のステップS3の処理では、こうして記述作成された属性情報の上記映像送信装置11への送信が実行され、該送信が実行された後は、上記ステップS1の処理が再度実行される。
一方、上記トランスコーディング処理条件判断処理では、ステップS10〜S15までの処理に関しては、時刻Aにて入力された再生指令に基づく上述の処理に準じたものとなっている。なおここでも、このトランスコーディング処理条件判断処理を含め、以下に説明するトランスコーダ切替処理や映像ストリームの受信、分配処理等については、説明の便宜上、ウィンドウW1〜W3のうち、ウィンドウW1中に再生される映像ストリームに関して行われる処理に限定して説明する。
すなわち、上記ステップS10の処理では、上記属性情報記述作成部104から送信される属性情報が受信される。また、上記ステップS11の処理では、映像記憶部12に記憶されている映像ストリームのビットレート、及び解像度が取得される。また、上記ステップS12の処理では、上記受信した属性情報に基づいて上記最大出力ビットレートが算出される。また、上記ステップS13の処理では、ネットワークLANの帯域が取得され、ステップS14の処理では、映像送信装置11の処理負荷を示す送信負荷情報が取得される。そして、上記ステップS15の処理では、上記トランスコーダ性能テーブル17に記憶されている第1及び第2のテーブル17a、17b等が参照される。そして、これらテーブル17a、17b等のオプションOPのうち、上記受信した属性情報等に基づいて定められる条件、具体的には前記(ヲ)〜(ヨ)、及び(レ)の条件を満たすオプションOPが選択、抽出される。
そして次に、上記ステップS16の処理では、上記ステップS15の処理にて抽出されたオプションOPのうち、最も画質の高いオプションが選択され、この選択されたオプションOPb6において指定されているトランスコーディング処理の条件をもって該処理を行うことが可能であるか否かが判断される。上述の通り、この判断は、上記オプションOPb6において指定されているトランスコーダ部の処理負荷「39%」が前記(タ)の条件を満たすか否かによって行われる。ただし、時刻Bにおいて、映像送信装置11には、トランスコーダ部による処理に処理負荷「39%」を配分するだけの処理能力(負荷的な余裕)がない。このため、このステップS16の処理では、上記選択されたオプションOPb6において指定されているトランスコーディング処理の条件にて該処理を行うことはできないと判断され、次にステップS17の処理が行われる。
このステップS17の処理では、既に選択されたオプションOPb6に対して他のオプションOPが上記抽出されたオプションOPに含まれているか否かが判断される。この例では、他のオプションがあると判断され、上記ステップS16が再度行われる。ただし、再度行われるこのステップS16の処理では、既に選択されたオプションOPb6は選択されない。すなわち、このステップS16の処理では、上記ステップS15の処理にて抽出されたオプションOPのうち、2番目に画質の高いオプションが選択され、この選択されたオプションOPにおいて指定されているトランスコーディング処理の条件をもって該処理を行うことが可能であるか否かが判断される。
そして、このステップS16において、上記トランスコーディング処理を行うことができると判断されるまで、上記ステップS16及びS17の処理が繰り返し行われる。そして、こうした繰り返しの処理を通じて上記ステップS16では、映像送信装置11自体の処理負荷が該映像送信装置11の処理能力の限界値「100%」を超えることのないようにトランスコーダ14の処理負荷を順次軽減する態様で上記トランスコーディング処理の条件が選択されることとなる。
そして、こうした繰り返しの処理が行われた結果、上記ステップS16の処理において、選択されたオプションOP、例えばオプションOPa1(図7参照)において指定されているトランスコーディング処理の条件をもって同処理を行うことが可能であると判断されると、次いで上記ステップS19の処理が行われる。このステップS19では、オプションOPa1において指定されているトランスコーディング処理の条件が上記制御部15に通知される。なおここでは、上記トランスコーディング処理の条件として、上記選択されたオプションOPa1において指定されている画質「36dB」、及びトランスコーダ部の処理負荷「8%」と、解像度変換処理が必要でないこととが通知される。
ちなみに、映像送信装置11の処理能力が極めて低く、上記繰り返しの処理の結果、上記ステップS17の処理において、他のオプションOPがないと仮に判断されたとすると、次にステップS18の処理が行われる。このステップS18の処理では、映像ストリームの送信モードが静止画モードに設定され、上記トランスコーダ14において映像ストリームのフレームレートの調整のみを通じて映像ストリームの低ビットレート化が図られる。そして、次のステップS19の処理において、こうしたトランスコーディング処理の条件が上記制御部15に通知されることとなる。
また一方、トランスコーダ14の切替制御、該トランスコーダ14によるトランスコーディング処理、映像ストリームの送信処理のステップS20〜S24の処理は、時刻Aにて入力された再生指令に基づく上述の処理に準じたものとなっている。
すなわち、上記ステップS20の処理では、上記制御部15にて、上記条件判断部16
から上記トランスコーディング処理の条件が通知されたことが認識される。また、上記ステップS21の処理では、上記条件判断部16から通知された条件に基づいて上記トランスコーディング処理を行うトランスコーダ部が選択、決定される。ただしここでは、上記条件判断部16から通知された、画質「36dB」、及びトランスコーダ部の処理負荷「8%」、及び解像度変換処理が必要でないこと、といった条件に基づいて上記第1のトランスコーダ部14aを用いて上記トランスコーディング処理を行うことが決定される。
から上記トランスコーディング処理の条件が通知されたことが認識される。また、上記ステップS21の処理では、上記条件判断部16から通知された条件に基づいて上記トランスコーディング処理を行うトランスコーダ部が選択、決定される。ただしここでは、上記条件判断部16から通知された、画質「36dB」、及びトランスコーダ部の処理負荷「8%」、及び解像度変換処理が必要でないこと、といった条件に基づいて上記第1のトランスコーダ部14aを用いて上記トランスコーディング処理を行うことが決定される。
そして、上記ステップS22の処理では、上記制御部15によって上記分配器13による映像ストリームの分配処理が制御され、これによって上記映像記憶部12に記憶されている映像ストリームが上記分配器13を通じて上記第1のトランスコーダ部14aに分配され、すなわち該第1のトランスコーダ部14aが能動とされる。そして、上記ステップS23の処理では、上記第1のトランスコーダ部14aによって上記映像ストリームのトランスコーディング処理が行われる。そして、上記ステップS24の処理では、所望のビットレート等に変換処理された映像ストリームがネットワークLANを介して上記映像受信装置101に送信される。
また一方、映像ストリームの受信、分配処理のステップS30の処理では、上記映像送信装置11から送信される映像ストリームが受信される。そして、上記ステップS31の処理では、上記受信した映像ストリームの解像度と、上記ウィンドウW1中に再生される映像ストリームの解像度とが比較される。なお、この例では、上記第1のトランスコーダ部14aにて映像ストリームを変換処理することとしたため、上記受信した映像ストリームの解像度「720×480」よりも上記ウィンドウW1中に再生される映像ストリームの解像度「360×240」のほうが小さい。したがって、このステップS31の処理においては、上記受信した映像ストリームのほうが上記ウィンドウW1中に再生される映像ストリームよりもその解像度が大きいと判断され、次にステップS36の処理が行われる。このステップS36の処理では、上記受信した映像ストリームが上記部分デコーダ108に分配、出力される。そして、こうして分配、出力された映像ストリームは、上記部分デコーダ108にてデコードされるとともにその解像度が所望に縮小変換される。なお、この部分デコーダ18を用いた解像度変換処理では、該処理に通常必要とされる逆変換符号化処理(IDCT)が割愛されるため、映像受信装置101の処理負荷の増加を抑制しつつ上記解像度の変換処理を行うことが可能である。しかもこの場合、映像ストリームの解像度は高速に変換される。そしてこの後、上記フレーム出力部109を通じて上記ディスプレイ110に表示されているウィンドウW1中に再生されることとなる。
ちなみに、上記ステップS31の処理において、上記受信した映像ストリームのほうが上記ウィンドウW1中に再生される映像ストリームよりもその解像度が大きいと仮に判断されたとする。この場合には、次のステップS32の処理において、これら2つの解像度は同一でないと判断され、次にステップS34の処理が行われる。このステップS34の処理では、上記スイッチSWの端子T1およびT3を電気的に接続するための切替制御が行われる。そして次に、ステップS35の処理として、上記受信した映像ストリームが上記フルデコーダ106に分配、出力される。そして、こうして分配、出力された映像ストリームは、上記フルデコーダ106にてデコードされた後、上記解像度変換部107にて所望の解像度に拡大変換される。そしてこの後、同映像ストリームは、上記フレーム出力部109を通じて上記ディスプレイ110に表示されているウィンドウW1中に再生されることとなる。
他方、このような映像通信装置にあって、例えば図11(b)の時刻Cに示すように、映像受信装置101に上記映像ストリームの再生処理等を行うための負荷的な余裕が十分ない場合も想定される。このような場合、映像受信装置101が高ビットレートの映像ストリームを送受信しようとすれば、映像受信装置101の処理負荷が点線にて示すように
該映像受信装置101の処理能力の限界値「100%」を超えることにもなりかねない。
該映像受信装置101の処理能力の限界値「100%」を超えることにもなりかねない。
そこでこのような場合、この実施の形態の映像通信装置では、上記属性情報記述作成部104が、上記再生制御部103から取り込まれる属性情報のうち、高ビットレートとなる属性情報を削除して上記データ列を記述作成するようにする。例えばウィンドウW1(図5参照)に再生される映像ストリームであれば、その画質として「27dB」のみ、フレームレートとして「15fps」のみなど、高ビットレートとなる属性情報「30dB」、及び「30fps」を削除して上記データ列を記述作成する。そして、こうして記述作成された属性情報を上記映像送信装置11に送信するようにする。これにより、高ビットレートの映像ストリームの送受信を行う負荷的な余裕が当該映像受信装置101にないことが上記映像送信装置11に対して示されるようになり、すなわち属性情報の記述数を通じて同映像受信装置101のこうした処理負荷が示されるようになる。
そして、上記映像送信装置11がこうした属性情報の記述数に基づいて映像ストリームを低ビットレートに変換処理してこれを送信するようにすれば、図11(b)に実線にて示すように、時刻Cにおいて上記映像ストリームを送受信するにあたって、上記映像受信装置101の処理負荷を軽減することができるようになる。これにより、映像受信装置101は、低ビットレートの映像ストリームを受信しつつこれをリアルタイム再生することができるようになる。
次に、時刻Cにおいて再生指令が入力された場合に実行される上記属性情報送信処理の手順について図9を参照して説明する。なおここでも、先の図5に例示したウィンドウW1〜W3の別に各異なる3つの映像ストリームを同時再生する旨の再生指令が上記再生制御部103に入力されるとしている。
まず、上記ステップS1の処理では、上記再生制御部103からの属性情報の入力の有無が所定期間ごとに繰り返し確認される。そして、時刻Cにおいて上記再生制御部103に再生指令が入力され、同再生制御部103からの属性情報の入力が確認されると、次のステップS2の処理が実行される。このステップS2の処理では、映像受信装置101の処理負荷が取得され、この取得された処理負荷に基づいて上記属性情報がデータ列として記述作成される。
ただし、この時刻Cにおいては、映像受信装置101に高ビットレートの映像ストリームを送受信するだけの負荷的な余裕がない。したがって、このステップS2の処理では、例えばウィンドウW1に再生される映像ストリームの画質として「27dB」、フレームレートとして「15fps」など、それらの属性に高ビットレートとなる属性情報「30dB」、及び「30fps」が削除されて上記データ列が記述作成される。また、この時刻Cにおいては、映像受信装置101に映像ストリームの解像度変換処理を行うだけの負荷的な余裕もないため、解像度情報としても、同映像ストリームがウィンドウW1中に再生される際の解像度「360×240」の単一の情報のみが記述作成される。そして、次のステップS3の処理では、こうして記述作成された属性情報の上記映像送信装置11への送信が実行され、該送信が実行された後は、上記ステップS1の処理が再度実行される。
そして、このように記述数の限定された属性情報が上記映像送信装置11の条件判断部16に送信される場合、該条件判断部16による上記トランスコーディング処理条件判断処理は、以下の手順にて実行されることとなる。
すなわち、上記ステップS10の処理では、上記属性情報記述作成部104から送信される属性情報が受信される。また、上記ステップS11の処理では、映像記憶部12に記
憶されている映像ストリームのビットレート、及び解像度が取得される。また、上記ステップS12の処理では、上記受信した属性情報に基づいて上記最大出力ビットレートが算出される。ただしこの時刻Cにおいては、上述の通り、映像受信装置101において低ビットレートの映像ストリームの送信が望まれており、上記属性情報記述作成部104ではこのような要求に基づいて記述数の限定された属性情報が作成されている。このため、このステップS12にて算出される最大ビットレートは、先の時刻Aや時刻Bにおいて算出される最大ビットレートよりも小さいものとなっている。
憶されている映像ストリームのビットレート、及び解像度が取得される。また、上記ステップS12の処理では、上記受信した属性情報に基づいて上記最大出力ビットレートが算出される。ただしこの時刻Cにおいては、上述の通り、映像受信装置101において低ビットレートの映像ストリームの送信が望まれており、上記属性情報記述作成部104ではこのような要求に基づいて記述数の限定された属性情報が作成されている。このため、このステップS12にて算出される最大ビットレートは、先の時刻Aや時刻Bにおいて算出される最大ビットレートよりも小さいものとなっている。
そして、上記ステップS13の処理では、ネットワークLANの帯域が取得され、ステップS14の処理では、映像送信装置11の処理負荷を示す送信負荷情報が取得される。そして、上記ステップS15の処理では、上記トランスコーダ性能テーブル17に記憶されている第1及び第2のテーブル17a、17b等が参照され、これらテーブル17a、17b等のオプションOPのうち前記(ヲ)〜(ヨ)、及び(レ)の条件を満たすオプションOPが選択、抽出される。すなわち、このステップS15の処理では、上記最大出力ビットレートに関する前記(ワ)の条件を通じて出力ビットレートの低いオプションOPのみが抽出される。また、解像度に関する前記(レ)の条件を通じて出力解像度が「360×240」となっているオプションOPのみが抽出される。ただし、画質に関する前記(ヨ)の条件によっては、映像受信装置101側から要求される画質のレベルが維持されているオプションOPのみが抽出される。
そして、こうして抽出されたオプションOPに基づいて上記ステップS16〜S19の処理が行われることで、上記ステップS19の処理において、映像ストリームが低ビットレートに変換処理されるとともに、上記映像受信装置101にて解像度変換処理を行う必要のなくなるトランスコーディング処理の条件が通知されるようになる。そして、こうした条件の通知に基づいて上記トランスコーダ切替制御、トランスコーディング処理、映像ストリームの送信処理が行われ、さらには映像ストリーム受信、分配処理等の処理が行われることで、映像受信装置101は、低ビットレートの映像ストリームを受信しつつこれをリアルタイム再生するようになる。
以上説明したように、この実施の形態にかかる映像通信方法及び映像通信装置によれば、以下に記載するような多くの優れた効果が得られるようになる。
(1)トランスコーダ14として互いに処理負荷の異なる複数の処理構造の第1〜第3のトランスコーダ部14a〜14cを備え、映像受信装置101から送信される該映像受信装置101の処理負荷を示す情報である受信負荷情報としての属性情報の記述数に基づいてこれら第1〜第3のトランスコーダ部14a〜14cを切替制御することとした。このため、こうした切替制御を通じて映像ストリームのビットレート等に関して映像受信装置101側の上述の要求に沿う映像ストリームを送受信することができるようになる。しかも、トランスコーダ14が、映像受信装置101側の上述の要求を超えるより高いビットレートに映像ストリームを変換処理することも回避されるようになり、上記変換処理を行う上で映像送信装置11の処理能力を効率よく利用することができるようになる。
(2)条件判断部16が、映像送信装置11の処理負荷と映像受信装置101の処理負荷とに基づき、映像送信装置11自体の処理負荷が該映像送信装置11の処理能力の限界値「100%」を超えることのないようにトランスコーダの処理負荷を順次軽減する態様で上記トランスコーディング処理の条件を判断することとした。具体的には、テーブル17a、17b等のオプションOPのうち、前記(ヲ)〜(ヨ)、及び(レ)の条件を満たすオプションOPを選択、抽出する。そして、これら抽出されたオプションOPの中からトランスコーダの処理負荷を順次軽減する態様で前記(タ)の条件をさらに満たすオプションOPを選択することとした。このため、映像受信装置101側の要求に沿う範囲内にて映像送信装置11側の処理負荷の都合上、映像ストリームを低いビットレートに変換処
理することもできるようになり、映像送信装置11の処理能力が低い場合であっても映像ストリームを送受信することができるようになる。
理することもできるようになり、映像送信装置11の処理能力が低い場合であっても映像ストリームを送受信することができるようになる。
(3)映像受信装置101を、リアルタイム送信される映像ストリームの解像度を変換処理する解像度変換手段(107、108)を備えるものとした。また、上記トランスコーダ14を、映像ストリームの解像度変換処理を含む第1の処理構造(14c)と、同映像ストリームの解像度変換処理を含まない第2の処理構造(14a、14b)とを有するものとした。このため、映像受信装置101自体の処理能力が高く、映像送信装置11の処理能力が低い場合(時刻C)であっても、映像ストリームのビットレート等に関して上記映像受信装置101の処理能力により見合うかたちでの変換処理を実現することができるようになる。また、映像送信装置11が上記第2の処理構造を採用して映像ストリームの変換処理を行うようにすることで、該変換処理を高速に行うこともできるようになる。
(4)ウィンドウ再生情報保持部102は、ウィンドウW1〜W3の属性のうち、解像度、画質、フレームレートの属性には複数の情報を付与してこれらウィンドウW1〜W3の属性を示す属性情報を保持することとした。また、属性情報記述作成部104は、取得される映像受信装置101の処理負荷に基づいて上記解像度、画質、フレームレートの属性についての情報を増減しつつ上記データ列として属性情報を記述作成することとした。そして、同属性情報記述作成部104は、こうして記述作成される属性情報の記述数を映像受信装置の処理負荷を示す受信負荷情報として上記映像送信装置11に送信することとした。このため、映像送信装置11および映像受信装置101にて取り扱われる情報の種類が少なくなり、こうした情報に基づいて行われる各処理も簡易なものとなる。
(5)属性情報記述作成部104は、映像受信装置101に映像ストリームの解像度変換処理を行うだけの負荷的な余裕があるとき、解像度情報として複数の情報を記述する一方、同映像受信装置101に映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、解像度情報として単一の情報のみを記述作成することとした。このため、映像送信装置11は、上記解像度変換処理を行う機能およびその処理能力が上記映像受信装置101にあるか否かを容易に判断することができるようになる。
(6)映像受信装置101が、映像ストリームの解像度を変換する解像度変換手段として、映像ストリーム中の周波数の最も低い第1周波数項の抽出を通じて同映像ストリームを部分的にデコードする部分デコーダ108を備えることとした。このため、映像受信装置101の処理能力の低下の抑制を図りつつ、該映像受信装置101にて上記映像ストリームの解像度変換処理を高速に行うことができるようになる。
なお、上記実施の形態は、以下のように変更して実施することもできる。
・映像受信装置101の部分デコーダ108を割愛してもよい。ただしこの場合には、映像ストリームの解像度の縮小処理を、上記解像度変換部107にて行うこととする。
・属性情報記述作成部104は、少なくとも1つの属性についての情報を映像受信装置101自身の処理負荷に応じて増減しつつ属性情報を記述作成するようにすれば、該記述作成された属性情報を上記映像受信装置101の処理負荷を示す受信負荷情報として用いることができる。この意味では、ウィンドウ再生情報保持部102に保持されているウィンドウごとの属性情報も、該属性情報の少なくとも1つの属性が複数の情報を有するものであればよい。
・映像受信装置101は、該映像受信装置101に映像ストリームの解像度を変換するだけの処理負荷があるか否かの情報について、これを解像度情報の記述数として属性情報に含ませることなく、該属性情報と別途に上記映像送信装置11に送信するようにしても
よい。
よい。
・映像受信装置101の処理負荷を示す受信負荷情報これ自体を上記属性情報と別途に上記映像送信装置11に送信するようにしてもよい。
・上記トランスコーダ14の単数、複数に関してはいずれであってもよい。ただし、トランスコーダ14として冗長な構成となることを避ける意味では、上記実施の形態のトランスコーダ14と異なりこれを1つのトランスコーダ14から構成するようにするほうが実用上はより望ましい。具体的には、具体的には、トランスコーダ14として、複数の処理構造が内部的に切替可能な単一のトランスコーダを採用し、その内部構造を選択的に切り替えるようにする。例えば、図12〜図14に示すように、トランスコーダ14の処理構造として、上記第3のトランスコーダ部14cの処理構造に、上記フレームスキップ部14c1の出力をVLDブロック14c2に対して並列に取り込むDCT係数カットブロック14c20が付加された処理構造を採用する。そして、こうしたトランスコーダ14の処理構造において、各処理ブロックごとにそれらの機能の有効、又は無効を切り替えるスイッチ手段を設けておく。なお、上記DCT係数カットブロック14c20の構成、並びに動作については、上記第1のトランスコーダ部14aのDCT係数カットブロック14a2と同様である。
このようなトランスコーダ14の処理構造では、上記スイッチ手段による切り替えを通じて上記第1〜第3のトランスコーダ部14a〜14cの各処理構造を実現することができるようになる。例えば、図12に示すように、上記スイッチ手段による切り替えを通じて、フレームスキップ部14c1、VLDブロック14c2、DCT係数カットブロック14c20の機能のみを有効とするようにすれば、当該トランスコーダ14に上記第1のトランスコーダ部14aと同じ処理構造が現われるようになる。なおこの場合、VLDブロック14c2は、逆符号割当処理(VLD)を行うとともに、上記DCT係数カットブロック14c20による上記カット処理を有効または無効とする制御信号を出力する。また例えば、図13に示すように、上記スイッチ手段による切り替えを通じて処理ブロック14c1〜14c3、14c8、及び14c9の機能のみを有効とするようにすれば、当該トランスコーダ14に上記第2のトランスコーダ部14bと同じ処理構造が現われるようになる。また例えば、図14に示すように、上記スイッチ手段による切替制御を通じてDCT係数カットブロック14c20の機能のみを無効とするようにすれば、当該トランスコーダ14に上記第3のトランスコーダ部14cと同じ処理構造が現われるようになる。
・映像記憶部12に記憶されている映像ストリームに用いられる圧縮技術やその圧縮の態様は限定されない。ただし、映像ストリームの圧縮技術が変更される場合には、該変更に合わせて上記トランスコーダ14の処理構造も変更されることとなる。
・トランスコーダ14として、処理構造自体は同一であるものの、処理負荷の異なる複数の処理形態を有し、これら処理形態の切替を通じてビットレートの異なる映像ストリームを出力するものを採用してもよい。
・処理負荷の異なる複数の処理形態を有するトランスコーダ14を備え、上記映像受信装置101から送信される該映像受信装置101の処理負荷を示す情報である受信負荷情報に基づいてトランスコーダ14の処理形態を切替制御するようにすれば、少なくとも前記(1)の効果を得ることはできる。
・条件判断部16は、ネットワークLANの帯域を取得せず、代わりに該ネットワークLANの輻輳との関係から予めビットレートの上限を記憶するものであってもよい。また、ネットワークLANの帯域についての情報を加味することなく上記トランスコーディン
グ処理の条件を判断するようにしてもよい。
グ処理の条件を判断するようにしてもよい。
・ネットワークはインターネットであってもよいし、無線、有線のいずれであってもよい。
・映像送信装置11と映像受信装置101との間で送受信される映像ストリームの数は1つであっても複数であってもよい。ちなみに、複数の映像ストリームが送受信される場合としては、上記実施の形態にて用いられたマルチウィンドウの他、例えば1つのウィンドウ中に別の小さなウィンドウが表示され、これらウィンドウの別に異なる映像ストリームが再生される場合などがある。また、例えば映像受信装置側に複数のディスプレイが設けられ、これら各ディスプレイの別に異なる映像ストリームが再生される場合なども想定される。
・部分デコーダ108は、上記第1周波数項より高次の周波数項を抽出するものであってもよく、要は上記受信側分配制御部105から分配される映像ストリーム中の周波数項のうち所定の周波数以下の低周波数項の抽出を通じて同映像ストリームを部分的にデコードするものであればよい。
11…映像送信装置、12…映像記憶部、13…分配器、14…トランスコーダ、14a…第1のトランスコーダ部、14b…第2のトランスコーダ部、14c…第3のトランスコーダ部、14a1、14b1、14c1…フレームスキップ部、14a2、14c20…DCT係数カットブロック、14a3、14b2、14c2…VLDブロック、14b3、14c3、14c10…IQブロック、14b4、14c8…Qブロック、14b5、14c9…VLEブロック、14c4、14c11…IDCTブロック、14c5…第1のバッファ、14c6…解像度変換部、14c7…DCTブロック、14c12…第2のバッファ、14c13…縮小・拡大処理部、15…制御部、16…条件判断部、17…トランスコーダ性能テーブル、17a…第1のテーブル、17b…第2のテーブル、101…映像受信装置、102…ウィンドウ再生情報保持部、103…再生制御部、104…属性情報記述作成部、105…受信側分配制御部、106…フルデコーダ、107…解
像度変換部、108…部分デコーダ、109…フレーム出力部、110…ディスプレイ、DP…デコードを行う部分、KP…解像度変換処理を行う部分、EP…エンコードを行う部分、W1〜W3…ウィンドウ、LAN…ローカルエリアネットワーク、SW…スイッチ、T1〜T3…端子。
像度変換部、108…部分デコーダ、109…フレーム出力部、110…ディスプレイ、DP…デコードを行う部分、KP…解像度変換処理を行う部分、EP…エンコードを行う部分、W1〜W3…ウィンドウ、LAN…ローカルエリアネットワーク、SW…スイッチ、T1〜T3…端子。
Claims (15)
- 映像ストリームが圧縮データとして記憶された映像記憶部から読み出される映像ストリームのデータ形式を変換処理するトランスコーダを備える映像送信装置と、該映像送信装置にネットワークを介して接続された映像受信装置の間で、映像受信装置からの映像ストリームの送信要求に基づき、前記トランスコーダを通じて変換処理される映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信方法において、
前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを用意し、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダの処理形態を切替制御する
ことを特徴とする映像通信方法。 - 前記受信負荷情報は前記映像受信装置のその都度の処理負荷を示す情報として送信されるものであり、前記トランスコーダの処理形態の切替制御は、前記受信負荷情報と映像送信装置自体のその都度の処理負荷とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様で実行される
請求項1に記載の映像通信方法。 - 前記映像受信装置に前記リアルタイム送信される映像ストリームの解像度変換処理を行う機能を持たせ、前記トランスコーダには、前記処理負荷の異なる複数の処理形態として、前記映像ストリームの解像度変換処理を含む第1の処理構造と、同映像ストリームの解像度変換処理を含まない第2の処理構造とを持たせる
請求項1または2に記載の映像通信方法。 - 前記映像ストリームは、データを空間周波数領域に変換する変換符号化処理と、前記変換符号化処理による変換係数の値を量子化係数で表す量子化処理と、シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理との少なくとも3種の圧縮処理を通じて圧縮された状態で前記映像記憶部に記憶されており、前記トランスコーダの前記第1の処理構造には、前記符号割当処理による圧縮データを解凍する逆符号割当処理と、前記量子化による圧縮データを解凍する逆量子化処理と、前記変換符号化処理による圧縮データを解凍する逆変換符号化処理との少なくとも3種の解凍処理、及び前記少なくとも3種の圧縮処理を行う処理構造が含まれ、同トランスコーダの前記第2の処理構造には、前記3種の解凍処理のうちの前記逆符号割当処理と前記逆量子化処理との2種の解凍処理、及び前記3種の圧縮処理のうちの前記符号割当処理と前記量子化処理との2種の圧縮処理を行う処理構造と、前記映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う処理構造との少なくとも一方が含まれる
請求項3に記載の映像通信方法。 - 前記映像受信装置は、前記映像ストリームを再生するウィンドウの属性を示す属性情報を任意の属性に関して複数有し、該複数の情報が用意された任意の属性の属性情報のうちの少なくとも1つの属性についての情報を該映像受信装置自身の処理負荷に応じて増減して送信するとともに、この映像受信装置自身の処理負荷に応じて増減される属性情報の送信数を前記映像受信装置の処理負荷を示す受信負荷情報として用いる
請求項3または4に記載の映像通信方法。 - 前記映像受信装置自身の処理負荷に応じて増減される属性情報には前記ウィンドウの解像度情報が含まれ、前記映像受信装置は、該映像受信装置に前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕があるとき、該解像度情報として複数の情報を送信し、同映像受信装置に前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、該解像度情報として単一の情報を送信する
請求項5に記載の映像通信方法。 - 映像ストリームが圧縮データとして記憶された映像記憶部から読み出される映像ストリームのデータ形式を変換処理するトランスコーダを備える映像送信装置と、該映像送信装置にネットワークを介して接続された映像受信装置との間で、映像受信装置からの映像ストリームの送信要求に基づき、前記トランスコーダを通じて変換処理され
る映像ストリームの同映像受信装置へのリアルタイム送信を行う映像通信装置において、
前記映像送信装置は、前記トランスコーダとして処理負荷の異なる複数の処理形態を有するトランスコーダを備えるとともに、前記映像受信装置から送信される該映像受信装置の処理負荷を示す情報である受信負荷情報に基づいて前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断する条件判断部と、該条件判断部による判断に基づいて前記トランスコーダの処理形態を切替制御する切替制御部とを備える
ことを特徴とする映像通信装置。 - 前記条件判断部は、前記映像送信装置の処理負荷を示す情報である送信負荷情報をその都度取得し、この取得される送信負荷情報と前記送信される受信負荷情報とに基づき、映像送信装置自体のその都度の処理負荷が一定の負荷を超えることのないように前記トランスコーダの処理負荷を順次軽減する態様で前記トランスコーダが変換処理すべきデータ形式に関する処理条件を判断する
請求項7に記載の映像通信装置。 - 前記映像受信装置は、前記リアルタイム送信される映像ストリームの解像度を変換処理する解像度変換手段を備え、前記トランスコーダは、前記処理負荷の異なる複数の処理形態として、前記映像ストリームの解像度変換処理を含む第1の処理構造と、同映像ストリームの解像度変換処理を含まない第2の処理構造とを有して構成される
請求項7または8に記載の映像通信装置。 - 前記映像ストリームは、データを空間周波数領域に変換する変換符号化処理と、前記変換符号化処理による変換係数の値を量子化係数で表す量子化処理と、シンボルの出現確率に応じて可変長符号を割り当てる符号割当処理との少なくとも3種の圧縮処理を通じて圧縮された状態で前記映像記憶部に記憶されており、前記トランスコーダの前記第1の処理構造には、前記符号割当処理による圧縮データを解凍する逆符号割当処理と、前記量子化による圧縮データを解凍する逆量子化処理と、前記変換符号化処理による圧縮データを解凍する逆変換符号化処理との少なくとも3種の解凍処理、及び前記少なくとも3種の圧縮処理を行う処理構造が含まれ、同トランスコーダの前記第2の処理構造には、前記3種の解凍処理のうちの前記逆符号割当処理と前記逆量子化処理との2種の解凍処理、及び前記3種の圧縮処理のうちの前記符号割当処理と前記量子化処理との2種の圧縮処理を行う処理構造と、前記映像ストリームの低周波項の抽出を通じて同映像ストリームの低ビットレート化のみを基本的に行う処理構造との少なくとも一方が含まれる
請求項9に記載の映像通信装置。 - 前記トランスコーダは、前記処理構造の異なる複数のトランスコーダ部からなり、前記切替制御部は、前記切替制御としてこれら複数のトランスコーダ部のいずれかを選択的に能動とするものである
請求項9または10に記載の映像通信装置。 - 前記トランスコーダは、前記複数の処理構造が内部的に切替可能な単一のトランスコーダからなり、前記切替制御部は、前記切替制御としてこのトランスコーダの内部構造を選択的に切り替えるものである
請求項9または10に記載の映像通信装置。 - 前記映像受信装置は、前記映像ストリームを再生するウィンドウの属性を示す属性情報が任意の属性に関して複数記憶されたウィンドウ再生情報保持部と、該複数記憶されている任意の属性の属性情報のうちの少なくとも1つの属性についての情報を該映像受信装置自身の処理負荷に応じて増減しつつ属性情報を記述作成する属性情報記述作成部とを備え、この記述作成された属性情報を前記映像送信装置に送信するものであり、前記条件判断部は、この映像受信装置自身の処理負荷に応じて増減される属性情報の記述数を前記映像受信装置の処理負荷を示す受信負荷情報として用いる
請求項9〜12のいずれか一項に記載の映像通信装置。 - 前記映像受信装置自身の処理負荷に応じて増減される属性情報には前記ウィンドウの解像度情報が含まれ、前記属性情報記述作成部は、前記映像受信装置に前記解像度変換手段を通じた前記映像ストリームの解像度変換処理を行うだけの負荷的な余
裕があるとき、前記解像度情報として複数の情報を記述し、同映像受信装置に前記解像度変換手段を通じた前記映像ストリームの解像度変換処理を行うだけの負荷的な余裕がないとき、前記解像度情報として単一の情報のみを記述する
請求項13に記載の映像通信装置。 - 前記解像度変換手段は、前記映像ストリーム中の周波数項のうち所定の周波数以下の低周波数項の抽出を通じて同映像ストリームを部分的にデコードする部分デコーダを含んで構成されてなる
請求項9〜14のいずれか一項に記載の映像通信装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004250579A JP2006067483A (ja) | 2004-08-30 | 2004-08-30 | 映像通信方法及び映像通信装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004250579A JP2006067483A (ja) | 2004-08-30 | 2004-08-30 | 映像通信方法及び映像通信装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006067483A true JP2006067483A (ja) | 2006-03-09 |
Family
ID=36113518
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004250579A Pending JP2006067483A (ja) | 2004-08-30 | 2004-08-30 | 映像通信方法及び映像通信装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006067483A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009055315A (ja) * | 2007-08-27 | 2009-03-12 | Nec Personal Products Co Ltd | トランスコーダ、トランスコーディング方法及びトランスコーディング用プログラム |
JP2014515895A (ja) * | 2011-03-29 | 2014-07-03 | リリカル ラブス エルエルシー | ビデオエンコードシステムおよび方法 |
CN104717517A (zh) * | 2015-03-31 | 2015-06-17 | 北京奇艺世纪科技有限公司 | 一种视频转码任务调度方法及装置 |
CN115426503A (zh) * | 2022-08-30 | 2022-12-02 | 百果园技术(新加坡)有限公司 | 一种转码服务切换方法、装置、设备及存储介质 |
-
2004
- 2004-08-30 JP JP2004250579A patent/JP2006067483A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009055315A (ja) * | 2007-08-27 | 2009-03-12 | Nec Personal Products Co Ltd | トランスコーダ、トランスコーディング方法及びトランスコーディング用プログラム |
JP2014515895A (ja) * | 2011-03-29 | 2014-07-03 | リリカル ラブス エルエルシー | ビデオエンコードシステムおよび方法 |
CN104717517A (zh) * | 2015-03-31 | 2015-06-17 | 北京奇艺世纪科技有限公司 | 一种视频转码任务调度方法及装置 |
CN104717517B (zh) * | 2015-03-31 | 2018-04-13 | 北京爱奇艺科技有限公司 | 一种视频转码任务调度方法及装置 |
CN115426503A (zh) * | 2022-08-30 | 2022-12-02 | 百果园技术(新加坡)有限公司 | 一种转码服务切换方法、装置、设备及存储介质 |
CN115426503B (zh) * | 2022-08-30 | 2024-05-17 | 百果园技术(新加坡)有限公司 | 一种转码服务切换方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4510465B2 (ja) | イメージ/ビデオ符号器及び/又は復号器における変換係数の符号化 | |
US7072393B2 (en) | Multiple parallel encoders and statistical analysis thereof for encoding a video sequence | |
JP4833296B2 (ja) | 多階層を基盤としたスケーラブルビデオコーディング方法および装置 | |
US7953283B2 (en) | Portable terminal | |
JP4234607B2 (ja) | 画像/ビデオエンコーダおよび/またはデコーダにおける符号化変換係数 | |
US6507672B1 (en) | Video encoder for digital video displays | |
US20020136298A1 (en) | System and method for adaptive streaming of predictive coded video data | |
EP1713280A2 (en) | Scalable video coding | |
KR20050084400A (ko) | 디지털 다중매체 정보의 적응적 인코딩 | |
KR20030015950A (ko) | 영상 압축 비트 스트림의 트랜스코딩 방법 | |
JP2005260935A (ja) | 圧縮ビデオ・ビットストリームにおいて平均イメージ・リフレッシュ・レートを増加させる方法及び装置 | |
JPH11225168A (ja) | 画像・音声送信装置、画像・音声受信装置、データ処理装置、及びデータ処理方法、並びに、波形データの送信方法、装置、及び波形データの受信方法、装置、並びに、動画像の送信方法、装置、及び動画像の受信方法、装置 | |
KR20180077209A (ko) | 비디오 인코딩 방법, 비디오 인코딩 디바이스, 비디오 디코딩 방법, 비디오 디코딩 디바이스, 프로그램, 및 비디오 시스템 | |
JP2006507745A (ja) | 可変長コード化されたデータ・ストリーム用のトランスコーダ | |
AU2006252282A1 (en) | Selection of encoded data, setting of encoded data, creation of recoded data, and recoding method and device | |
JP5979406B2 (ja) | 画像処理装置、画像処理方法、および画像処理システム | |
JP2007507927A (ja) | アドバンスドデータパーティショニングと効率的な空間−時間−snrスケーラビリティビデオコーディング及びストリーミングのためのファイン・グラニュラリティ・スケーラビリティとを結合したシステム及び方法 | |
WO2013145021A1 (ja) | 画像復号方法及び画像復号装置 | |
JP3519673B2 (ja) | 動画データ作成装置及び動画符号化装置 | |
JPH07312756A (ja) | 圧縮動画像符号信号の情報量変換回路、装置、及び方法 | |
JPH10336670A (ja) | 画像伝送装置および画像伝送方法、提供媒体 | |
US6526100B1 (en) | Method for transmitting video images, a data transmission system and a multimedia terminal | |
WO2002005558A1 (fr) | Terminal de communication multimedia | |
JP2006067483A (ja) | 映像通信方法及び映像通信装置 | |
JPH09298749A (ja) | 動画配信方法及びその実施装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051227 |