JP2007221826A

JP2007221826A - 受信端末および受信方法

Info

Publication number: JP2007221826A
Application number: JP2007106948A
Authority: JP
Inventors: Takao Yamaguchi; 孝雄山口; Minoru Eito; 稔栄藤; Hiroshi Arakawa; 博荒川
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-03-17
Filing date: 2007-04-16
Publication date: 2007-08-30

Abstract

【課題】伝送フォーマット情報の動的な変更は行えなかった。
【解決手段】記憶装置や通信路から、データとその伝送フォーマット情報とを含む情報を受信する受信管理部１１と、受信情報を解析し、分離する分離部１２と、記憶装置や通信路へ情報を送信する伝送部１３と、画像を伸長する画像伸長部１４と、画像伸長管理部１５は、少なくとも１つ以上の画像の伸長を行う前記画像伸長部１４の処理状態を管理し、伸長された情報をもとに画像合成を行う画像合成部１６と、合成結果を出力する出力部１７と、これら各手段を制御、管理する端末制御部１８から構成される画像合成装置により、同時に複数の画像の合成が行われ、又、伝送フォーマット情報の動的な変化に対応することが出来る。
【選択図】図１

Description

本発明は、通信及び放送の分野における受信端末および受信方法に関する。

従来より、自分が居る空間の風景の画像中から、例えば人物画像を抽出し、その画像と相手側から送られてきた人物画像と予め記憶されている相手側と共通的に表示する仮想的な空間の画像と重畳して表示することにより、相手が自分の前にいるという実在感を充足し、臨場感のある映像通信を目指したものがある（例えば、特許文献１）。

特に、従来の技術では画像合成を行うための高速化、メモリを低減する方法に関する発明が行われている（例えば、特許文献２）。
特公平４−２４９１４号公報特公平５−４６５９２号公報

この様な従来の技術では、２次元の静止画や３次元のＣＧデータを合成する画像合成を利用した通信システムが提案されていたが、複数の動画や音声を同時に合成して表示させるシステムの実現方法について、下記の観点からの具体的な議論が行われていなかった。

即ち、（Ａ１）一つあるいは二つ以上の現実の伝送路上においてソフト的に構築される複数の論理的な伝送路を用いて、データと制御情報（データとは別のパケットで伝送される、端末側の処理を制御するための情報）とが独立して伝送される環境下での画像や音声の伝送（通信と放送）及び、その制御方法、（Ａ２）送信すべき画像や音声のデータに付加するヘッダ情報（本発明のデータ管理情報に対応）の動的な変更方法、（Ａ３）送信のために付加するヘッダ情報（本発明の伝送管理情報に対応）の動的な変更方法、（Ａ４）複数の論理的な伝送路を動的に多重化、分離して情報の伝送を行う方法、（Ａ５）プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法、及び（Ａ６）ザッピングを考慮した画像や音声の伝送方法等の観点からの具体的な議論が行われていなかったという課題があった。

一方、従来より、ネットワークへの伝送量を動的に調整する方法としては、エンコードの方式を変更する方式や、映像のフレームタイプに応じて、フレーム単位でデータを廃棄する方式が提案されている（秦泉寺（じんぜんじ）浩史、田尻哲男、分散適応型ＶＯＤシステムの一検討、Ｄ−８１、電子情報通信学会システムソサイエティ（１９９５））。

エンコーダ側で処理量を調整する方式としては、処理時間拘束のもとで画質の高い映像を提供できる動的演算量スケーラブルアルゴリズムが提案されている（大迫史典，矢島由幸，小寺博，渡辺裕，島村和典：動的演算量スケーラブルアルゴリズムによるソフトウェア画像符号化，電子情報通信学会論文誌Ｄ−２，Ｖｏｌ．８０−Ｄ−２，Ｎｏ．２，ｐｐ．４４４−４５８（１９９７）．）。

また、動画と音声の同期再生を実現した例としては、ＭＰＥＧ１／ＭＰＥＧ２のシステムがある。

この様な従来の技術における、（Ｂ１）従来方式の映像のフレームタイプに応じて映像を廃棄する方式では、扱える情報の粒度が、単一のストリーム内であるため、複数のビデオ・ストリームや複数のオーディオ・ストリームの取り扱いや、編集者の意図を反映させて、重要なシーンカットを重点的にオーディオとともに同期再生をさせることは困難であるという課題があった。（Ｂ２）また、ＭＰＥＧ１／ＭＰＥＧ２では、ハードウェアでの実現が前提であるため、デコーダは与えられたビットストリームをすべてデコードできることが前提となる。したがって、デコーダの処理能力を超えた場合の対応方法が不定となる課題が有る。

又一方、従来、動画像の伝送においては、Ｈ．２６１（ＩＴＵ−ＴＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．２６１−Ｖｉｄｅｏｃｏｄｅｃｆｏｒａｕｄｉｏｖｉｓｕａｌｓｅｒｖｉｃｅｓａｔｐｘ６４）などの方式を用いたものがあり、これまで、ハードウェアにより実装されていた。このため、ハードウェア設計時に、必要な性能の上限を考慮しているため指定時間以内に復号化処理を完了できないという場合は、生じなかった。

なお、ここで、指定時間とは、一枚の画像を符号化したビットストリームの伝送に要する時間である。この時間内に復号化できないと、超過した時間が遅延となり、これが蓄積して大きくなると、送信側から受信側までの遅延が大きくなりテレビ電話としての使用に適しなくなる。このような状況は避けねばならない。

また、通信相手が規格外のビットストリームを生成しているために復号化処理を指定時間内に完了できない場合には、動画像の伝送ができないという課題があった。

上記の課題は、動画像だけではなく、音声データにおいても発生する課題である。

ところが近年、インターネットやＩＳＤＮの普及という形でパーソナルコンピュータ（ＰＣ）でのネットワーク環境が整備された結果、伝送速度が速くなり、ＰＣとネットワークを利用した動画像の伝送が可能になってきた。ユーザからの動画像伝送に対する要求も、とみに高まってきている。また、ＣＰＵ性能の向上により、ソフトウェアによる動画像の復号化が充分可能となってきている。

しかしながら、パーソナルコンピュータにおいては同じソフトウェアを、ＣＰＵ、バス幅、アクセラレータの有無など、装置構成の異なるコンピュータで実行可能であるため、必要な性能の上限を予め考慮することが困難であり、指定時間内に画像を復号化できない場合が生じる。

また、受信装置の処理能力を越える長さの動画像の符号化データが伝送された場合には指定時間内の符号化が不可能となる。

課題（Ｃ１）：指定時間内に画像を復号化し、遅延を小さく抑える。

また、この課題Ｃ１の解決手段として、例えば、波形データとして動画像を入力する場合であれば、伝送されたビットストリームのうち一部を使用しないため、伝送路の実質使用効率が悪い、という問題が残る場合もある。また、符号化方式によっては、前回の復号画像をもとに今回の復号画像を生成するものがあるが（Ｐピクチャなど）、前回の復号画像を完全に復元しない場合があるため、画質劣化が、時間とともに波及的に大きくなるという問題もある。

課題（Ｃ２）：伝送路の実質使用効率が悪い。また、画質劣化が波及する。

また、ソフトウェアによる実装では、一回の符号化処理に要する時間で画像のフレームレートが決まるため、ユーザの指定したフレームレートが計算機の処理限界を越えた場合には、指定に応えることができなかった。

課題（Ｃ３）：ユーザの指示したフレームレートが、計算機の処理限界を越えると指定に応えられない。

本発明は、上記第１の従来技術の課題（Ａ６）に鑑み、ザッピングを考慮した画像や音声の伝送方法を利用した受信端末および受信方法を提供することを目的とする。

請求項１記載の発明は、番組に関連する副番組を受信する副番組受信部と、第１の番組から第２の番組に切り替えるとき、前記副番組受信部が受信した前記第２の番組に関連する副番組を選択して提示する視聴部とを備える受信端末である。

請求項７記載の本発明は、番組に関する副番組を受信するステップと、第１の番組から第２の番組に切り替えるとき、前記受信した前記第２の番組に関連する副番組を選択して提示するステップとを備える受信方法である。

本発明によれば、視聴者が視聴番組を切り替えた際にセットアップに時間かかる場合、試聴番組に関係のある副番組を提示することで、セットアップ時に発生する画面の停止を防止できるので、ザッピングを考慮した画像や音声の伝送方法を利用した受信端末および受信方法を提供することができる。

以下、本発明の実施の形態について図面を参照しながら説明する。

尚、ここで述べる実施の形態は、主に、上述した課題（Ａ１）〜（Ａ６）の何れかを解決するものである。

本発明で使用する「画像」としては、静止画と動画の両方を含む。また、対象とする画像は、コンピュータ・グラフィックス（ＣＧ）のような２次元画像とワイヤーフレーム・モデルから構成されるような３次元の画像データであってもよい。

図１は、本発明の実施の形態における画像音声送受信装置の概略構成図である。

同図において、情報を受信する受信管理部１１と情報を送信する伝送部１３は、同軸ケーブル、ＣＡＴＶ、ＬＡＮ、モデム等の情報を伝送する手段である。通信環境としては、インターネットのように、多重化手段を意識せずに複数の論理的な伝送路が利用できる通信環境であってもよいし、アナログ電話や衛星放送のように多重化手段を意識しなければならない通信環境であってもよい。

また、端末の接続形態としては、ＴＶ電話やＴＶ会議システムのように端末間で双方向により映像や音声を送受信する形態や、衛星放送やＣＡＴＶ、インターネット上での放送型の映像や音声放送の形態が挙げられる。本発明では、このような端末の接続形態について考慮している。

図１に示す分離部１２は受信情報を解析し、データと制御情報を分離する手段である。具体的には、送信のためにデータに付加された送信用のヘッダ情報とデータとを分解したり、データ自身に付加されたデータ制御用のヘッダとデータの中身を分解するための手段である。画像伸張部１４は受信した画像を伸張する手段である。たとえば、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ１／２、ＪＰＥＧといった標準化された動画や静止画の圧縮画像であってもよいし、そうでなくてもよい。

図１に示す画像伸張管理部１５は画像の伸張状態を監視する手段である。たとえば、画像の伸張状態を監視することで、受信バッファがオーバーフローを起こしそうになった場合に、画像の伸張を行わずに、受信バッファを空読みし、画像の伸張ができる状態になった時点から、画像の伸張を再開させることができる。

又、同図において、画像合成部１６は、伸張された画像を合成する手段である。合成方法に関しては、ＪＡＶＡ、ＶＲＭＬ、ＭＨＥＧといったスクリプト言語で、画像と画像の構造情報（表示位置と表示時間（表示期間を含めてもよい））、画像同士のグルーピングの方法、画像の表示のレイヤ（深さ）、そして、オブジェクトＩＤ（後述するＳＳＲＣ）と、これらの属性の関係を記述することによって画像の合成方法が定義できる。合成方法を記述したスクリプトはネットワークやローカルの記憶装置から入出力する。

又、出力部１７は、画像の合成結果を出力するディスプレイやプリンターなどである。端末制御部１８はこれら各部を制御する手段である。なお、画像の代わりに音声を伸張する構成であっても（画像伸張部を音声伸張部に、画像伸張管理部を音声伸張管理部に、画像合成部を音声合成部に変更することで対応できる）、画像と音声の両方を伸張し、時間的に同期を保ちながら合成、表示する構成であってもよい。

さらに、画像を圧縮する画像圧縮部、画像圧縮部を管理する画像圧縮管理部、音声を圧縮する音声圧縮部、音声圧縮部を管理する音声圧縮管理部を備えることにより、画像や音声の伝送も可能になる。

図２は受信管理部１１と分離部１２とを示す図である。

図１に示した受信管理部１１にデータを受信するデータ受信部１０１とデータを制御するための制御情報を受信する制御情報受信部１０２と、分離部１２に伝送内容を解釈するための伝送構造（詳細は後述する）について記憶する伝送フォーマット記憶部１０３と、伝送フォーマット記憶部１０３に記憶された伝送構造に基づき伝送内容を解釈する伝送情報解釈部１０４で各部を構成することで、データと制御情報を独立して受信することが可能になるので、例えば、受信しながらの受信画像や音声の削除や移動が容易になる。

前述したが、受信管理部１１が対象とする通信環境としては、インターネットのように、多重化手段を意識せずに複数の論理的な伝送路が利用できる通信環境（インターネット・プロファイル）であってもよいし、アナログ電話や衛星放送のように多重化手段を意識しなければならない通信環境（Ｒａｗプロファイル）であってもよい。しかし、利用者から見れば、論理的な伝送路（ロジカルチャンネル）が複数個用意されている通信環境を前提としている（たとえば、ＴＣＰ／ＩＰが使える通信環境では「通信ポート」と呼ばれる表現が一般に使われる）。

また、図２に示すように、受信管理部１１が受信する情報としては１種類以上のデータ用の伝送路と、伝送するデータを制御するための制御用の論理的な伝送路を１種類以上を想定している。データ伝送用の伝送路を複数用意し、データ制御用の伝送路を１本だけ用意してもよい。また、Ｈ．３２３でも利用されているＲＴＰ／ＲＴＣＰのように、データ伝送毎にデータ制御用の伝送路を用意してもよい。さらに、ＵＤＰを使った放送を考慮した場合、単一の通信ポート（マルチキャストアドレス）を使った通信形態であってもよい。

図３は、複数の論理的な伝送路を用いて画像や音声の伝送、制御する方法について説明する図である。伝送するデータ自身をＥＳ（エレメンタリー・ストリーム）と呼び、ＥＳとしては、画像であれば１フレーム分の画像情報や１フレームよりも小さいＧＯＢ単位やマクロブロック単位の画像情報であってもよい。

音声であれば、利用者が決めた固定長の長さであってよい。また、伝送するデータに付加するデータ制御用のヘッダ情報をＡＬ（アダプテーション・レイヤ情報）と呼ぶ。ＡＬ情報としては、データの処理可能な開始位置であるかどうかを示す情報、データの再生時刻を示す情報、データの処理の優先度を示す情報などがあげられる。本発明のデータ管理情報は、ＡＬ情報に対応する。なお、本発明で用いられるＥＳとＡＬはＭＰＥＧ１／２で定義されている内容と必ずしも合致しなくてもよい。

データの処理可能な開始位置であるかどうかを示す情報は、具体的には２種類の情報があげられる。１つはランダムアクセスのためのフラグであり、例えば、画像ならイントラフレーム（Ｉピクチャ）といったように前後のデータに関係なく単独に読みとって再生できることを示すための情報である。２つ目としては、単に単独で読みとりが可能であることを示すためのフラグとして、アクセスフラグが定義できる。たとえば、画像ならばＧＯＢ単位やマクロブロック単位の画像の先頭であることを示す情報である。従って、アクセスフラグがなければデータの途中である。必ずしもデータの処理可能な開始位置であるかどうかを示す情報としてランダムアクセスのフラグと、アクセスフラグの両方が必要ではない。

ＴＶ会議システムのようなリアルタイム通信では両方のフラグを付加しなくても問題が起こらない場合もあるし、編集を簡単に行えるようにするためにはランダムアクセスフラグは必要である。フラグが必要であるか、必要な場合でもどのフラグが必要かを通信路を介してデータ転送前に決定しておいてもよい。

データの再生時刻を示す情報は、画像と音声の再生される時の時間同期の情報を示し、ＭＥＰＧ１／２ではＰＴＳ（プレゼンテーション・タイムスタンプ）と呼ばれる。ＴＶ会議システムのようなリアルタイム通信では通常、時間同期に関しては考慮されていないため、必ずしも再生時刻を意味する情報は必要ない。必要な情報としては、エンコードされたフレームの時間間隔になるかもしれない。

時間間隔を受信側で調整させることによって、フレーム間隔の大きな変動は防げるが、再生間隔を調整させることで遅延になる可能性もある。従って、エンコードのフレーム間隔を示す時間情報も必要ないと判断できる場合もある。

データの再生時刻を示す情報は、ＰＴＳを意味するのか、フレーム間隔を意味するのか、データの再生時刻をデータ自身には付加しないということを通信路を介してデータ転送前に決定して受信端末に通知して、決定されたデータ管理情報とともにデータを伝送してもよい。

データの処理の優先度を示す情報は、受信端末の負荷やネットワークの負荷によって処理もしくは伝送できない場合に、データの処理を中止させたり、伝送を取りやめることによって受信端末の負荷やネットワークの負荷を低減させることができる。

受信端末では画像伸張管理部１５で、ネットワークでは、中継の端末やルータなどで処理することができる。優先度の表現方法としては数値による表現やフラグであってもよい。なお、データの処理の優先度を示す情報のオフセット値を制御情報、もしくはデータとともにデータ管理情報（ＡＬの情報）として伝送することで、受信端末の負荷やネットワークの負荷の急激な変動に対して、あらかじめ画像や音声に割り当てている優先度にオフセット値を加えることで、システムの動作状況に応じた動的な優先度の設定が可能になる。

さらに、スクランブルの有無、コピーライトの有無、オリジナルかコピーかを識別するための情報をデータとは別に、データの識別子（ＳＳＲＣ）とともに制御情報として送信することで、中継ノードでのスクランブルの解除などが容易になる。

なお、データの処理の優先度を示す情報は、複数のビデオやオーディオのフレームの集合から構成されるストリーム単位で付加してもよいし、ビデオやオーディオのフレーム単位に付加してもよい。

Ｈ．２６３やＧ．７２３などの符号化方法で、符号化された情報の過負荷時の処理の優先度を予め決められた基準で決定し、符号化された情報と決定された優先度を対応づける優先度付加手段を送信端末装置に備える（図５４参照）。

図５４は、映像と音声に優先度を付加する優先度付加手段５２０１について説明する図である。

即ち、同図に示す様に、符号化された映像と音声の各データ（それぞれ映像符号化手段５２０２と音声符号化手段５２０３が処理する）に対して、予め決められた規則に基づき優先度を付加する。優先度を付加する規則は、優先度付加規則５２０４に規則が格納されている。規則とは、Ｉフレーム（フレーム内符号化された映像フレーム）は、Ｐフレーム（フレーム間符号化された映像フレーム）よりも高い優先度付加するという規則や、映像は音声よりも低い優先度を付加するという規則である。また、この規則は利用者の指示により動的に変更しても良い。

優先度を付加する対象となるものは、たとえば、画像であればシーンチェンジ、編集者や利用者が指示した画像フレームやストリーム、音声であれば、有音区間と無音区間である。

過負荷時の処理の優先度を定義する、画像や音声フレーム単位の優先度の付加方法は、通信ヘッダへ付加する方法と符号化時にビデオやオーディオの符号化されたビットストリームのヘッダに埋め込む方法が考えられる。前者は、復号せずに優先度に関する情報を得ることが可能であり、後者はシステムに依存せずにビットストリーム単体で独立に扱うことが可能である。

通信ヘッダに優先度情報を付加する場合、１つの画像フレーム（たとえば、フレーム内符号化されたＩフレーム、フレーム間符号化されたＰ、Ｂフレーム）が複数個の送信パケットに分割される場合、画像であれば単独の情報としてアクセス可能な画像フレームの先頭部分を伝送する通信ヘッダのみに優先度を付加する（同一の画像フレーム内で優先度が等しい場合、次のアクセス可能な画像フレームの先頭が現れるまで、優先度は変わらないものとすればよい）。

なお、用途に合わせて、優先度が表現できる値の範囲（たとえば、時間情報を１６ビットで表現するとか、３２ビットで表現するとか）を可変にして、制御情報でコンフィグレーションできるようにしてもよい。

また、復号化装置では、受信された種々の符号化された情報の過負荷時の優先度に従って、処理の方法を決定する優先度決定手段を受信端末装置に備える（図５５参照）。

図５５は、映像と音声に付加された優先度を解釈し、復号処理の可否を決定する優先度決定手段５３０１について説明する図である。

即ち、同図に示す様に、優先度は映像、音声のストリーム毎に付加される優先度、映像もしくは音声のフレーム毎に付加される優先度である。これらの優先度はそれぞれ独立に用いてもよいし、フレーム優先度とストリーム優先度とを対応付けて用いてもよい。優先度決定手段５３０１は、これら優先度に応じて復号すべきストリームやフレームを決定する。

端末での過負荷時の処理の優先度を決定する２種類の優先度を用いて、デコード処理を行なう。すなわち、映像、音声といったビットストリーム間の相対的優先度を定義するストリーム優先度（ＳｔｒｅａｍＰｒｉｏｒｉｔｙ；時系列間優先度）と、同一ストリーム内の映像フレームといった復号処理単位間の相対的優先度を定義するフレーム優先度（ＦｒａｍｅＰｒｉｏｒｉｔｙ；時系列内優先度）を定義する（図３０）。

前者のストリーム優先度により複数のビデオやオーディオの取り扱いが可能になる。後者のフレーム優先度により映像のシーンチェンジや編集者の意図に応じて、同一のフレーム内符号化された映像フレーム（Ｉフレーム）でも異なる優先度の付加が可能になる。

なお、ストリーム優先度を、画像や音声の符号化もしくは復号化処理のオペレーティング・システム（ＯＳ）での割り当て時間もしく処理の優先度に対応付けて管理することで、ＯＳレベルでの処理時間の管理が可能となる。たとえば、マイクロソフト社のＷｉｎｄｏｗｓ９５／ＮＴでは５段階のＯＳレベルでの優先度の定義ができる。符号化、復号化の手段をソフトウェアでスレッドの単位で実現した場合、処理対象となるストリームのストリーム優先度から、各スレッドに割り当てるＯＳレベルでの優先度を決定することができる。

ここで述べた、フレーム優先度とストリーム優先度は、伝送媒体やデータ記録媒体へ適用が可能である。例えば、伝送するパケットの優先度をアクセスユニット優先度（ＡｃｃｅｓｓＵｎｉｔＰｒｉｏｒｉｔｙ）と定義すると、ＡｃｃｅｓｓＵｎｉｔＰｒｉｏｒｉｔｙ＝ＳｔｒｅａｍＰｒｉｏｒｉｔｙ−ＦｒａｍｅＰｒｉｏｒｉｔｙといった、フレーム優先度と、ストリーム優先度の関係式から、パケットの伝送に関する優先度、若しくは、端末による過負荷時の処理の優先度を決定することが出来る。

又、データ記録媒体としてフロッピーディスク、光ディスクなどを用いて行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。さらに、データの中継を行うルータやゲートウェイといった画像や音声の中継装置を対象としてもよい。

具体的な優先度に関する利用方法としては、受信端末が過負荷である場合に、処理すべき符号化された情報の優先度の閾値を決定する優先度決定手段を画像伸長管理部１５や音声伸長管理部に具備し、表示されるべき時刻（ＰＴＳ）と現在までの処理開始からの経過時間もしくは、復号されるべき時刻（ＤＴＳ）と現在までの処理開始からの経過時間を比較し、比較結果により処理すべき符号化された情報の優先度の閾値を変化させる（閾値を変化させるための情報としては、Ｉフレームの挿入間隔、優先度の粒度を参考にしてもよい）。

図２５（ａ）に示す例では、エンコード時には、取り込まれたＱＣＩＦ、ＣＩＦのサイズの画像をエンコーダ（Ｈ．２６３）により、エンコードを行い、エンコードされた情報とともに、復号する時刻（ＤＴＳ）、画像を表示する時刻を示すタイムスタンプ（ＰＴＳ）、過負荷時の処理の順序を示す優先度情報（ＣＧＤ、ＣｏｍｐｕｔａｔｉｏｎａｌＧｒａｃｅｆｕｌＤｅｇｒａｄａｔｉｏｎ）、フレームタイプ、シーケンス番号（ＳＮ）を出力する。

また、図２５（ｂ）に示す例では、音声もマイクを通して録音され、エンコーダ（Ｇ．７２１）により、エンコードを行い、エンコードされた情報とともに、復号する時刻（ＤＴＳ）、音声を再生する時刻を示すタイムスタンプ（ＰＴＳ）、優先度情報（ＣＧＤ）、シーケンス番号（ＳＮ）を出力する。

デコード時には、図２６に示す様に、画像と音声は、それぞれ別々のバッファに渡され、画像と音声はそれぞれのＤＴＳ（復号時刻）と現在の処理開始からの経過時間とを比較して、ＤＴＳの方が遅れていなければ、画像と音声はそれぞれのデコーダ（Ｈ．２６３、Ｇ．７２１）に渡される。

図２７の例では、エンコーダでの過負荷時の優先度の付加方法について記している。画像のＩフレーム（フレーム内符号化された画像フレーム）は、優先度が「０」と「１」で高い優先度を割り当てている（数字が大きいほど優先度が低い）。Ｐフレームは優先度が「２」でＩフレームよりも低い優先度を割り当てている。Ｉフレームは、２段階の優先度を割り当てているため、デコードする端末の負荷が高い場合、優先度が「０」のＩフレームのみを再生するといったことができる。なお、優先度の付加方法に応じて、Ｉフレームの挿入間隔を調整する必要がある。

図２８の例は、過負荷時の受信端末での優先度の決定方法について記した図である。廃棄するフレームの優先度をＣｕｔＯｆｆＰｒｉｏｒｉｔｙよりも大きいと設定する。つまり、すべての画像フレームを処理の対象とする。画像フレームに付加される優先度の最大値は端末接続時に送信側から受信側へ通知することにより、あらかじめ知ることができる（ステップ１０１）。

ＤＴＳと現在の処理開始からの経過時間を比較して、経過時間の方が大きい場合（復号処理が間に合っていない場合）、処理対象とすべき画像、音声の優先度の閾値ＣｕｔＯｆｆＰｒｉｏｒｉｔｙを引き下げ、処理を間引く（ステップ１０２）、逆に処理開始からの経過時間の方が小さい場合（復号処理が間に合っている場合）は、処理できる対象の画像や音声を増やすために、優先度の閾値ＣｕｔＯｆｆＰｒｉｏｒｉｔｙを引き上げる（ステップ１０３）。

１つ前の画像フレームがＰフレームでスキップされているならば処理は行わない。そうでなければ、画像フレーム（もしくは音声のフレーム）の優先度に優先度のオフセット値を付加し、優先度の閾値と比較し、閾値をこえていなければ、デコーダに復号すべきデータを渡す（ステップ１０４）。

なお、優先度のオフセットは、マシンの性能をあらかじめ調べ、受信端末へオフセットを通知しておくという使い方（利用者が受信端末で指示してもよい）、複数のビデオとサウンドストリームのストリーム単位の優先度を変更するという使い方（例えば、一番後ろの背景はオフセット値をあげて処理を間引くようにする）ができる。

マルチストリームを対象とする場合、ストリーム毎の優先度を付加し、画像や音声のデコードのスキップ判定をしてもよい。加えて、リアルタイム通信においてもＨ．２６３のＴＲ（テンポラリーリファレンス）をＤＴＳと同様にして取り扱い利用することで、端末でのデコード処理が進んでいるか、遅れているかを判定でき、上記で述べた同様のスキップ処理を実現することができる。

図２９は、図２８のアルゴリズムを実装して、優先度の時間変化を調べたものである。

同図では、映像フレームに付加される優先度の変化を示している。この優先度は端末が過負荷である際の復号の可否を決定するための優先度であり、各フレーム毎に付加される。優先度は値が小さいほど優先度が高い。同図の例では０が最も優先度が高い。優先度の閾値が３であるとき、３よりも大きな値の優先度のフレームは復号されずに廃棄され、３以下の値の優先度が付加されているフレームは復号される。優先度による選択的なフレームの廃棄を行うことで、端末の負荷を押さえることが可能である。この優先度の閾値は、現在の処理時刻と各フレームに付加される復号処理時間（ＤＴＳ）との関係から動的に決定してもよい。本手法は映像フレームだけでなく、音声に対しても同様な要領で適用が可能である。

インターネットのような伝送路を考えた場合、伝送途中で紛失した符号化された情報の再送が必要な場合、再送すべき符号化された情報の優先度の閾値を決定する再送要求優先度決定部を受信管理部１１に備え、優先度決定部が管理する優先度や、再送回数、情報の損失率、フレーム内符号化されたフレームの挿入間隔、優先度の粒度（たとえば、５段階の優先度など）の情報をもとに、再送要求すべき符号化された情報に付加された優先度の閾値を決定することで、受信端末で必要とする画像や音声のみを再送要求することができる。再送回数や情報の損失率が大きければ、再送すべき対象とする情報の優先度を引き上げて、再送や損失率を低下させる必要がある。また、優先度決定部で使用されている優先度を知ることで、処理対象外の情報の伝送をなくすことができる。

送信側端末に関しては、送信端末の情報の目標転送レートよりも実際の転送レートが超える場合や、送信バッファへの符号化された情報の書き込みが、現在までの転送処理開始からの経過時間と符号化された情報に付加されている復号もしくは表示される時刻とを比較して、送信バッファへの情報の書き込みが遅れている場合、符号化された情報に付加され、受信端末の優先度決定部で利用される端末が過負荷時の優先度を用いて、情報の送信を間引くことで、目標レートにあった画像や音声の伝送が可能となる。また、受信側端末で行っているような過負荷時の処理のスキップ機能を送信側端末でも導入することで送信側端末の過負荷による破綻を押さえることができる。

上記で説明したＡＬの情報を必要に応じて、必要な情報だけを伝送できるようにすることによって、アナログ電話回線のような狭帯域の通信路には伝送情報量を調節できるので有効である。実現方法としては、送信側端末でデータ自身に付加するデータ管理情報を予めデータ送信前に決定し、受信端末に使用するデータ管理情報を制御情報（たとえば、ランダムアクセスフラグだけを使用するとか）として通知するとともに、受信側端末では得られた制御情報をもとに、前記伝送フォーマット記憶部１０３で記憶する伝送構造に関する情報（どのＡＬの情報を使用するか表している）を書き換えることにより、送信側で使用するＡＬの情報（データ管理情報）の組み替えが可能になる（図１９〜図２０参照）。

図４は、送信すべき画像や音声のデータに付加するヘッダ情報の動的な変更方法について説明する図である。図の例では、伝送すべきデータ（ＥＳ）をデータ片に分解し、得られたデータ片に、データの順序関係を示すための識別情報（シーケンス番号）と、データ片の処理可能な開始位置であるかどうかを示す情報（マーカビット）と、データ片の転送に関する時間情報（タイムスタンプ）とを、本発明の伝送管理情報に対応するものとして、通信ヘッダの形でデータ片に付加している。

具体的な例としては、ＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ、ＲＦＣ１８８９）では上記のシーケンス番号、マーカビット、タイムスタンプ、オブジェクトＩＤ（ＳＳＲＣと呼ばれている）、バージョン番号などの情報を通信ヘッダとして使用している。ヘッダ情報の項目の拡張は可能であるが、上記の項目は固定の項目として必ず付加される。しかし、複数の異なる符号化の画像や音声を複数、同時に伝送する通信環境で、ＴＶ電話のようにリアルタイム通信とビデオ・オン・デマンドのように蓄積メディアの伝送が混在する場合、通信ヘッダの持つ意味合いが異なり、識別する手段が必要である。

例えば、タイムスタンプの情報は、ＭＰＥＧ１／２の場合は前述したように再生時刻であるＰＴＳを示すが、Ｈ．２６１やＨ．２６３ではエンコードされた時間間隔を表す。しかし、Ｈ．２６３を音声と同期をとって処理を行いたい場合、タイムスタンプがＰＴＳの情報であることを示す必要がある。なぜならば、Ｈ．２６３の場合、タイムスタンプの情報は、エンコードされたフレーム間の時間間隔を示すのであって、１枚目のフレームのタイムスタンプはランダムであるとＲＴＰで定義されているからである。

そこで、（ａ）タイムスタンプがＰＴＳであるかないかを示すフラグを通信ヘッダ情報（通信ヘッダの拡張が必要になる）もしくは、（ｂ）Ｈ．２６３やＨ．２６１のペイロードのヘッダ情報（つまり、ＡＬの情報）として付加する必要がある（この場合、ペイロード情報の拡張が必要になる）。

ＲＴＰのヘッダ情報として、データ片の処理可能な開始位置であるかどうかを示す情報であるマーカビットが付加されているが、ＡＬの情報としても前述したように、データに対してアクセスできる開始時点であることを示すアクセスフラグ、ランダムにデータに対してアクセスすることができることを示すランダムアクセスフラグを持たせたい場合がある。重複して、通信ヘッダに持たせるのは効率が悪くなるため、ＡＬのフラグを通信ヘッダで用意しているフラグで代用させる方法も考えられる。

（ｃ）ＡＬにフラグを付加せずに通信ヘッダに付加しているヘッダでＡＬのフラグを代用させることを示すフラグを通信ヘッダに新たに設けるか、通信ヘッダのマーカビットはＡＬのものと同じであると定義することで、問題は解決される（ＡＬに持たせるよりも解釈が早くできことが期待できる）。つまり、マーカビットがＡＬのフラグと同じ意味を持つかどうかを示すフラグである。この場合、通信ヘッダの改良もしくは、拡張領域に記述することが考えられる。

逆に、（ｄ）通信ヘッダのマーカビットの意味をＡＬに少なくともランダムアクセスフラグもしくは、アクセスフラグのいずれかが存在することを意味するように解釈するようにしてもよい。この場合、従来とは解釈の意味が変わったことを知るには通信ヘッダのバージョン番号で対応できる。これ以外に、単純な方法としては、通信ヘッダもしくはＡＬのヘッダにのみアクセスフラグやランダムアクセスフラグを設ければ処理は簡単である（前者の場合、フラグを両方とも設ける場合も考えられるが、通信ヘッダの新たな拡張が必要になる）。

データ処理の優先度を示す情報をＡＬの情報として付加することは述べたが、通信ヘッダにデータの処理の優先度を付加することによって、データ処理の優先度の処理の判定がネットワーク上においてもデータの中身を解釈せずに行うことが可能となる。なお、ＩＰｖ６の場合、ＲＴＰのレベルより下位のレイヤで付加することが可能である。

ＲＴＰの通信ヘッダにデータの処理の有効期間を示すためのタイマーもしくはカウンタを付加することで、伝送されてくるパケットのある状態変化がどのように変化しているかを判断することができる。たとえば、必要となるデコーダソフトウェアが、アクセス速度の遅い記憶装置に記憶されている場合、デコーダが必要になるという情報と、タイマーやカウンタにより、いつの時点で必要になるかを判断することが可能になる。この場合、用途によってはＡＬの情報にタイマーやカウンタ、データの処理の優先度の情報は不要である。

図５（ａ）〜図５（ｂ）、と図６（ａ）〜図６（ｄ）は、ＡＬ情報の付加方法について説明する図である。

図５（ａ）に示した様に、ＡＬを伝送すべきデータの先頭にのみ付加するか、あるいは、図５（ｂ）に示した様に、伝送すべきデータ（ＥＳ）を１つ以上のデータ片に分解した後のデータ片のそれぞれに付加するかを通知する制御情報を、受信端末へ送付することにより伝送情報の取り扱い粒度を選択できるようにすることが可能になる。ＡＬを細分化されたデータに対してつけることで、アクセス遅延が問題になるような場合には有効である。

前述したように、受信側でのデータ管理情報の組み替えや、データ管理情報のデータへの配置方法の変更が行われることを予め受信側端末に通知するために、フラグ、カウンタ、タイマーのような表現方法を用いて、ＡＬの情報として用意したり、通信ヘッダとして用意して受信端末に通知することで、受信端末対応がスムーズにできる。

これまでの例ではＲＴＰのヘッダ（又は、通信ヘッダ）とＡＬの情報の重複を回避する方法や、ＲＴＰの通信ヘッダやＡＬの情報を拡張する方法について述べた。しかし、本発明は、必ずしもＲＴＰである必要はない。たとえば、ＵＤＰやＴＣＰを使って独自の通信ヘッダやＡＬ情報を新たに定義してもよい。インターネットプロファイルではＲＴＰを使うことはあるが、ＲａｗプロファイルではＲＴＰのような多機能なヘッダは定義されていない。ＡＬ情報と通信ヘッダに関する考え方としては、次の４通りの考え方ができる（図６（ａ）〜図６（ｄ）参照）。

（１）ＲＴＰとＡＬで、既に割り当てられているヘッダ情報が重複しないように、ＲＴＰのヘッダ情報もしくはＡＬの情報を修正、拡張する（とくにタイムスタンプの情報が重複、タイマーやカウンタ、データの処理の優先度情報が拡張情報となる）。あるいは、ＲＴＰのヘッダも拡張せず、ＡＬの情報もＲＴＰのものと重複していても考慮しない方法でもよい。これらに関してはこれまでに示した内容に相当する。ＲＴＰは既に一部、Ｈ．３２３で実用化されているので、互換性を保ったＲＴＰの拡張は有効である（図６（ａ）参照）。

（２）ＲＴＰにこだわらずに、通信ヘッダを簡略にして（たとえば、シーケンス番号だけにするとか）、残りをＡＬ情報に多機能な制御情報として持たせる。また、ＡＬ情報で使用する項目を通信前に可変に設定できるようにすることで、柔軟な伝送フォーマットが規定できる（図６（ｂ）参照）。

（３）ＲＴＰにこだわらずに、ＡＬの情報を簡略にして（極端な例では、ＡＬには情報を付加しない）、通信ヘッダにすべての制御情報を持たせる。通信ヘッダとして頻繁によく参照されうるシーケンス番号、タイムスタンプ、マーカビット、ペイロード・タイプ、オブジェクトＩＤに関しては固定のヘッダ情報としておき、データ処理の優先度情報、タイマー情報に関しては拡張情報として、拡張情報が存在するどうかを示す識別子を設けておいて、拡張情報が定義されていれば参照するようにしてもよい（図６（ｃ）参照）。

（４）ＲＴＰにこだわらず、通信ヘッダ、ＡＬの情報を簡略にして、これら通信ヘッダやＡＬ情報とは、別のパケットとして、フォーマットを定義して、伝送する。例えば、ＡＬの情報はマーカビット、タイムスタンプ、オブジェクトＩＤだけ定義し、通信ヘッダもシーケンス番号だけを定義し、これらの情報とは別の伝送パケット（第２のパケット）として、ペイロード情報、データ処理の優先度情報、タイマー情報などを定義し、伝送する方法も考えられる（図６（ｄ）参照）。

上記に示したように、用途や、既に画像や音声に付加されているヘッダ情報を考慮すれば、用途にあわせて、通信ヘッダ、ＡＬの情報、データとは別に伝送するパケット（第２のパケット）を自由に定義できる（カスタイマイズできる）ようにするのが望ましい。

図７は、複数の論理的な伝送路を動的に多重化、分離して情報の伝送を行う方法について説明する図である。論理的な伝送路の数を節約するために、利用者の指示もしくは論理的な伝送路の数に応じて、複数のデータもしくは制御情報を伝送するための論理的な伝送路の情報の多重化を開始したり、終了させることが可能な情報多重部を伝送部１３に、多重化された情報を分離する情報分離部を受信管理部１１に設けることにより実現できる。

なお、図７では情報多重部を“ＧｒｏｕｐＭＵＸ”とよんでおり、具体的にはＨ．２２３のような多重化方式を用いればよい。このＧｒｏｕｐＭＵＸは送受信端末で設けてもよいし、中継のルータや端末に設けることによって、狭帯域通信路への対応や、ＧｒｏｕｐＭＵＸをＨ．２２３で実現すればＨ．３２４と相互接続できる。

情報多重部に関する制御情報（多重化制御情報）を素早く取り出すために、情報多重部の制御情報を情報多重部でデータと多重化して送信するのではなく、多重化せずに別の論理的な伝送路で伝送することで、多重化による遅延を低減することができる。これに伴って、情報多重部に関する制御情報をデータと多重化して伝送するのか、データと多重化して送信するのではなく、多重化せずに別の論理的な伝送路で伝送するのかを通知して伝送することで、従来の多重化と整合性を保たせたり、多重化による遅延を低減させるかを利用者で選択することが可能になる。ここで、情報多重部に関する多重化制御情報とは、例えば、情報多重部が、各データに対して、どの様な多重化を行っているのかという、多重化の内容を示す情報である。

前述したように、同様に、少なくとも多重化の開始と終了を通知する情報、多重化すべき論理的な伝送路の組合せを通知するための情報、多重化に関する制御情報（多重化制御情報）の伝送方法の通知を、フラグ、カウンタ、タイマーのような表現方法で、制御情報として伝送、もしくはデータ管理情報としてデータとともに、受信側端末に伝送することで、受信側でのセットアップの時間を短縮できる。また、前述したようにフラグ、カウンタ、タイマーを表現する項目はＲＴＰの送信ヘッダに設けてもよい。

複数個の情報多重部や情報分離部が存在する場合、情報多重部や情報分離部を識別するための識別子とともに制御情報（多重化制御情報）を伝送すれば、どの情報多重部に関する制御情報（多重化制御情報）かを識別することができる。制御情報（多重化制御情報）としては、多重化のパターンなどがあげられる。また、情報多重部や情報分離部の識別子は、乱数を用いて、端末間で決定することで情報多重部の識別子を生成することができる。たとえば、送受信端末間で決められた範囲での乱数を発生させ、大きい方の値を情報多重部の識別子（識別番号）とすればよい。

情報多重部で多重化されたデータは、従来、ＲＴＰで定義されているメディアタイプとは異なるため、ＲＴＰのペイロード・タイプに、情報多重部で多重化された情報であることを示す情報（新たなメディアタイプ、Ｈ．２２３を定義）を定義すればよい。

多重化されたデータに対するアクセス速度を向上させる方法として、情報多重部で伝送もしくは記録する情報を制御情報、データ情報の順に配置することで多重化された情報の解析を早くできることが期待できる。また、制御情報に付加するデータ管理情報で記述する項目は固定にし、データとは異なる識別子（ユニークなパターン）を付加して多重化することでヘッダ情報の解析を早くできる。

図８は放送番組の伝送手順について説明するための図である。論理的な伝送路の識別子と放送番組の識別子の対応関係を放送番組の情報として制御情報を伝送するか、放送番組の識別子をデータ管理情報（ＡＬ情報）としてデータに付加して伝送することで複数の伝送路で伝送されるデータがどの番組のために放送されているのかを識別することが可能となる。また、データの識別子（ＲＴＰではＳＳＲＣ）と論理的な伝送路の識別子（たとえば、ＬＡＮのポート番号）との関係を制御情報として受信側端末に伝送して、受信側端末では受信可能であることを確認後（Ａｃｋ／Ｒｅｊｅｃｔ）、対応するデータを伝送することにより、制御情報とデータを独立した伝送路で伝送しても、データ間の対応関係がとれる。

放送番組やデータに対して伝送の順序関係を示す識別子と、放送番組やデータが情報として利用できる有効期限を示すためのカウンタもしくはタイマーの情報とを組み合わせて、放送番組やデータに付加して伝送することで、戻りチャンネルなしで放送が実現できる（有効期限が過ぎそうになったら、不足の情報があっても放送番組の情報やデータの再生を開始する）。単一の通信ポートのアドレス（マルチキャストアドレス）を使って、制御情報とデータに分離せずに放送する方法も考えられる。

なお、バックチャンネルを持たない通信の場合、データの構造情報を受信端末が知ることができるように、制御情報はデータよりも十分、前もって伝送しておく必要がある。また、制御情報は一般には、パケットロスのない信頼性の高い伝送チャンネルで伝送すべきであるが、信頼性の低い伝送チャネルを用いる場合は周期的に同じ伝送シーケンス番号を持った制御情報を繰り返し伝送する必要がある。これはセットアップ時間に関する制御情報を送る場合に限った話ではない。

また、データ管理情報として付加可能な項目（たとえば、アクセスフラグ、ランダムアクセスフラグ、データの再生時刻（ＰＴＳ）、データ処理の優先度情報など）を選択して、制御情報としてデータの識別子（ＳＳＲＣ）とともにデータとは別の論理的な伝送路で伝送するか、データとともにデータ管理情報（ＡＬの情報）として伝送するかを、データ送信前に送信側で決定して、受信側に制御情報として通知して伝送することで柔軟なデータの管理と伝送が可能となる。

これにより、ＡＬには情報を付加せずにデータ情報の伝送を行うことができるので、ＲＴＰを用いて画像や音声のデータを伝送する際に、従来から定義されているペイロードの定義を拡張する必要がなくなる。

図９（ａ）〜図９（ｂ）は、プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法を示す図である。特に、衛星放送や携帯端末のように戻りチャンネルがなく一方向で、端末の資源が限られている場合で、プログラムやデータが受信側端末に存在して利用する場合、必要となるプログラム（例えば、Ｈ．２６３、ＭＰＥＧ１／２、音声のデコーダのソフトウェアなど）やデータ（たとえば、画像データや音声のデータ）が、読み込みに時間がかかる記憶装置（たとえば、ＤＶＤ、ハードディスク、ネットワーク上のファイルサーバなど）に存在する場合に、予め必要となるプログラムやデータを識別する識別子と、伝送されるストリームの識別子（たとえば、ＳＳＲＣや、ＬｏｇｉｃａｌＣｈａｎｎｅｌＮｕｍｂｅｒ）、受信端末で必要となる時点を推定するためのフラグ、カウンタ（カウントアップ、ダウン）、タイマーのような表現方法で、制御情報として受信、もしくはデータ管理情報としてデータとともに受信することで、必要となるプログラムやデータのセットアップ時間の短縮が可能となる（図２２）。

一方、プログラムやデータが送信される場合、プログラムやデータの受信端末での記憶先（たとえば、ハードディスク、メモリー）、起動や読み込みにかかる時間、端末の種類や記憶先と起動や読みとりにかかる時間の対応関係（例えば、ＣＰＵパワー、記憶デバイスと平均的な応答時間の関係）、利用順序を示す情報とともにプログラムやデータを送信側から伝送することで、受信側端末で必要となるプログラムやデータを実際に必要となる場合、プログラムやデータの記憶先や読み出す時間に関してスケジューリングが可能となる。

図１０（ａ）〜図１０（ｂ）は、ザッピング（ＴＶのチャンネル切り替え）に対する対応方法について説明する図である。

従来からある映像を受信するだけの衛星放送とは異なり、プログラムを受信端末で実行しなければならないとき、プログラムの読み込みや立ち上がるまでのセットアップの時間が大きな問題となる。これは、携帯端末のように利用資源が限られる場合でも同じことがいえる。

解決策の１つとして、（ａ）利用者が視聴するための主視聴部と、利用者が視聴している以外の番組で、必要となるプログラムやデータが、読み込みに時間がかかる記憶装置に存在する場合に、利用者が視聴している番組以外の番組を受信端末が周期的に視聴する副視聴部を備え、予め必要となるプログラムやデータを識別する識別子と、受信端末で必要となる時点を推定するためのフラグ、カウンタ、タイマーといった情報と、番組との対応関係を、制御情報（データとは別のパケットで伝送される、端末処理を制御するための情報）として受信、もしくはデータ管理情報（ＡＬの情報）としてデータとともに受信して、プログラムやデータの読み込みを準備しておくことで、受信側端末でのセットアップ時間が短縮できることが期待できる。

解決策の２つ目としては、複数個のチャンネルで放送される画像の見出し画像だけを放送する放送チャンネルを設け、視聴者が視聴番組を切り替えることで、必要となるプログラムやデータが、読み込みに時間がかかる記憶装置に存在した場合、一旦、視聴したい番組の見出し画像を選択して視聴者に提示するか、読み込み中であることを提示するとともに、記憶装置から必要となるプログラムやデータを読み込み、読み込み終了後、視聴者が視聴したい番組を再開することで、セットアップ時に発生する画面の停止が防止できる。ここでいう見出し画像は、周期的に複数個のチャンネルで放送される番組をサンプリングした放送画像を指す。

また、タイマーは時間表現で、たとえば、送信側から送られてくるデータストリームをデコードするのに必要なプログラムは現在からいつの時点で必要となるかを示す。カウンタは送受信端末間で決めた基本時間単位で、何回目かを示す情報であればよい。フラグは、セットアップに必要な時間前に送出するデータもしくは、制御情報（データとは別のパケットで伝送される、端末処理を制御する情報）とともに伝送して通知する。タイマー、カウンタともデータの中に埋め込んで伝送してよいし、制御情報として伝送してもよい。

さらに、セットアップ時間の決定方法としては、例えば、クロックベースで動作しているＩＳＤＮのような伝送路を用いた場合、送信側端末から受信端末でプログラムやデータが必要となる時点を通知するために、伝送管理情報として伝送の順序関係を識別するための送信シリアル番号を用いて、データ管理情報としてデータとともに、もしくは、制御情報として受信端末に通知することで、セットアップが行われる時刻の予測が可能になる。また、インターネットのようにジッタや遅延により、伝送時間が変動する場合は、ＲＴＣＰ（インターネットのメディア伝送プロトコル）で既に実現されているような手段で、ジッタや遅延時間から、伝送の伝播遅延を加味してセットアップ時間に付加しておけばよい。

図１１から図２４は、実際に端末間で送受信されるプロトコルの具体例を示す図である。

伝送フォーマットや伝送手続きはＡＳＮ．１で記述した。又、本伝送フォーマットは、ＩＴＵのＨ．２４５をベースに拡張を行った。図１１にもあるように、画像や音声のオブジェクトは階層構造をなしていてもよく、ここの例では、各オブジェクトＩＤは放送番組の識別子（ＰｒｏｇｒａｍＩＤ）とオブジェクトＩＤ（ＳＳＲＣ）の属性をもち、画像間の構造情報、合成方法はＪａｖａ，ＶＲＭＬといったスクリプト言語で記述する。

図１１は、オブジェクト間の関係についての例を示す図である。

同図において、オブジェクトは、映像、音声、ＣＧ、テキストなどのメディアである。同図の例では、オブジェクトは階層構造を成している。各オブジェクトは、プログラム番号（ＴＶのチャンネルに相当、“ＰｒｏｇｒａｍＩＤ”）とオブジェクトを識別するオブジェクト識別子“ＯｂｊｅｃｔＩＤ”を持つ。ＲＴＰ（インターネットで用いられるメディア伝送のプロトコル、ＲｅａｌｔｉｍｅＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）で各オブジェクトを伝送する場合は、オブジェクト識別子はＳＳＲＣ（同期ソース識別子）に対応させることで容易にオブジェクトの識別が可能である。なお、オブジェクト間の構造記述はＪＡＶＡ、ＶＲＭＬといった記述言語で記述することが可能である。

これらのオブジェクトの伝送方法は２通り考えられる。１つは放送型であり、送信側端末から一方的に伝送する形態である。もう１つは送受信端末間（端末Ａ、端末Ｂ）でオブジェクトの伝送を行う形態（通信型）も考えられる。

例えば、伝送方法としてはインターネットの場合はＲＴＰを用いることができる。制御情報は、ＴＶ電話の規格ではＬＣＮＯと呼ばれる伝送チャンネルを用いて伝送する。同図の例では伝送に複数の伝送チャンネルを用いているが、これらのチャンネルは同一の番組チャンネル（ＰｒｏｇｒａｍＩＤ）が割り当てられている。

図１２は、本発明で述べた機能を実現するためのプロトコルの実現方法について説明する図である。ここではＴＶ電話の規格（Ｈ．３２４，Ｈ．３２３）で用いられる伝送プロトコル（Ｈ．２４５）を用いて説明する。Ｈ．２４５の拡張を行うことで本発明で述べた機能を実現する。

同図の例で示した記述方法は、ＡＳＮ．１と呼ばれるプロトコル記述方式である。“ＴｅｒｍｉｎａｌＣａｐａｂｉｌｉｔｙＳｅｔ”は端末の性能を表現する。同図の例では、“ｍｐｅｇ４Ｃａｐａｂｉｌｉｔｙ”と記した機能を従来からあるＨ．２４５に対して拡張している。

図１３では、“ｍｐｅｇ４Ｃａｐａｂｉｌｉｔｙ”は端末で同時に処理できる最大の映像の数（“ＭａｘＮｕｍｂｅｒＯｆＶｉｄｅｏ”）、最大の音声の数（“ＭａｘＮｕｍｂｅｒＯｆＳｏｕｎｄｓ”）、端末で実現できる最大の多重化機能の数（“ＭａｘＮｕｍｂｅｒＯｆＭｕｘ”）を記している。

同図では、これらをまとめて、処理できる最大のオブジェクト数（“ＮｕｍｂｅｒＯｆＰｒｏｃｅｓｓＯｂｊｅｃｔ”）として表現している。また、通信ヘッダ（同図ではＡＬと表現）の変更が可能であるかを記すフラグが記されている。この値が真であるとき通信ヘッダの変更が可能である。“ＭＰＥＧ４Ｃａｐａｂｉｌｉｔｙ”を用いて端末間で処理できるオブジェクト数をお互いに通知する場合に、通知された側が受け入れ（処理）可能であれば“ＭＥＰＧ４ＣａｐａｂｉｌｉｔｙＡｃｋ”を、そうでなければ“ＭＥＰＧ４ＣａｐａｂｉｌｉｔｙＲｅｊｅｃｔ”を、“ＭＥＰＧ４Ｃａｐａｂｉｌｉｔｙ”を送信してきた端末に返す。

図１４では、１つの伝送チャンネル（この例ではＬＡＮの伝送チャンネル）を複数の論理的なチャンネルで共有して使用するために複数の論理的なチャンネルを１つの伝送チャンネルに多重化する前述のＧｒｏｕｐＭＵＸを使用するためのプロトコルの記述方法について示している。同図の例では、ＬＡＮ（ローカルエリアネトワーク）の伝送チャンネル（“ＬＡＮＰｏｒｔＮｕｍｂｅｒ”）に多重化手段（ＧｒｏｕｐＭＵＸ）を対応づけている。“ＧｒｏｕｐＭｕｘＩＤ”は、多重化手段を識別するための識別子である。“ＣｒｅａｔｅＧｒｏｕｐＭｕｘ”を用いて端末間で多重化手段を使用する場合にお互いに通知する場合に、通知された側が受け入れ（使用）可能であれば“ＣｒｅａｔｅＧｒｏｕｐＭｕｘＡｃｋ”を、そうでなければ“ＣｒｅａｔｅＧｒｏｕｐＭｕｘＲｅｊｅｃｔ”を、“ＣｒｅａｔｅＧｒｏｕｐＭｕｘ”を送信してきた端末に返す。多重化手段の逆の動作を行う手段である分離手段は、同様な方法で実現出来る。

図１５では、既に生成した多重化手段を消去する場合について記述している。

図１６では、ＬＡＮの伝送チャンネルと複数の論理的なチャンネルの関係について記述している。

ＬＡＮの伝送チャンネルは“ＬＡＮＰｏｒｔＮｕｍｂｅｒ”で、複数の論理的なチャンネルは“ＬｏｇｉｃａｌＰｏｒｔＮｕｍｂｅｒ”で記述する。

同図の例では、１つのＬＡＮの伝送チャンネルに対して最大１５個の論理的なチャンネルを対応づけることが可能である。

尚、同図において、使用できるＭＵＸの数が、１個だけの場合は、ＧｒｏｕｐＭｕｘＩＤは、不要である。又、Ｍｕｘを複数使用する場合は、Ｈ．２２３の各コマンドに対してＧｒｏｕｐＭｕｘＩＤが必要である。又、多重化と分離手段との間で用いられるポートの対応関係を通知するためのフラグを設けても良い。又、制御情報も多重化するか、別の論理的な伝送路を介して伝送するかを選択出来るようにするためのコマンドを設けても良い。

図１４〜図１６の説明では伝送チャンネルはＬＡＮであるが、Ｈ．２２３、ＭＰＥＧ２のようにインターネットプロトコルを使わない方式でもよい。

図１７では、“ＯｐｅｎＬｏｇｉｃａｌＣｈａｎｎｅｌ”は伝送チャンネルの属性を定義するためのプロトコル記述を示している。同図の例では、Ｈ．２４５のプロトコルに対して、“ＭＰＥＧ４ＬｏｇｉｃａｌＣｈａｎｎｅｌＰａｒａｍｅｔｅｒｓ”を拡張定義している。

図１８では、ＬＡＮの伝送チャンネルに対して、プログラム番号（ＴＶのチャンネルに相当）と、プログラムの名前とを対応づけている（“ＭＰＥＧ４ＬｏｇｉｃａｌＣａｎｎｅｌＰａｒａｍｅｔｅｒｓ”）ことを示している。

又、同図において、“ＢｒｏａｄｃａｓｔＣｈａｎｎｅｌＰｒｏｇｒａｍ”は、ＬＡＮの伝送チャンネルとプログラム番号との対応付けを放送型で送信する場合の記述方法である。同図の例では、最大１０２３個の伝送チャンネルとプログラム番号の対応関係を送付することが可能である。放送の場合は送信側から受信側へ一方的に送信するだけであるため、これらの情報を伝送中の損失を考慮して周期的に伝送する必要がある。

図１９では、プログラムとして伝送されるオブジェクト（例えば、映像、音声など）の属性について記述している（“ＭＰＥＧ４ＯｂｊｅｃｔＣｌａｓｓｄｅｆｉｎｉｔｉｏｎ”）。プログラムの識別子（“ＰｒｏｇｒａｍＩＤ”）に対してオブジェクトの情報（“ＯｂｊｅｃｔＳｔｒｕｃｔｕｒｅＥｌｅｍｅｎｔ”）を対応付けている。最大で１０２３個のオブジェクトを対応付けることが可能である。オブジェクトの情報としては、ＬＡＮの伝送チャンネル（“ＬＡＮＰｏｒｔＮｕｍｂｅｒ”）、スクランブルが使用されているか否かのフラグ（“ＳｃｒａｍｂｌｅＦｌａｇ”）、端末が過負荷である場合の処理の優先度を変更するためのオフセット値を定義するフィールド（“ＣＧＤＯｆｆｓｅｔ”）、そして、伝送するメディア（映像、音声など）のタイプを識別するための識別子（ＭｅｄｉａＴｙｐｅ）を記述する。

図２０の例では、ＥＳ（ここでは１フレーム分の映像に相当するデータ列と定義する）の復号処理を管理するためにＡＬ（ここでは１フレーム分の映像を復号するために必要な付加情報と定義する）が付加されている。ＡＬの情報としては、（１）ＲａｎｄｏｍＡｃｃｅｓｓＦｌａｇ（単独で再生可能であるかどうかを示すフラグ、フレーム内符号化された映像フレームであれば真である）、（２）ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ（フレームの表示時刻）、（３）ＣＧＤＰｒｉｏｒｉｔｙ（端末が過負荷時に処理の優先度を決定するための優先度の値）が定義されている。これらの１フレーム分のデータ列を、ＲＴＰ（インターネットで連続メディアを伝送するためのプロトコル，ＲｅａｌｔｉｍｅＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）を用いて伝送する場合の例を示している。“ＡＬＲｅｃｏｎｆｉｇｕｒａｔｉｏｎ”は、上記のＡＬで表現できる最大値を変更するための伝送表現である。

同図の例では、“ＲａｎｄｏｍＡｃｃｅｓｓＦｌａｇＭａｘＢｉｔ”として、最大で２ビットの表現が可能である。例えば０ならば、ＲａｎｄｏｍＡｃｃｅｓｓＦｌａｇは使用しない。２ならば最大値は３である。

尚、実数部と仮数部による表現を行っても良い（例えば、３＾６）。又、非設定時は、デフォルトで決められた状態で動作することにしても良い。

図２１では、“ＳｅｔｕｐＲｅｑｕｅｓｔ”は、セットアップ時間を送信するための伝送表現を示している。プログラムを送信する前に“ＳｅｔｕｐＲｅｑｕｅｓｔ”は送信され、伝送される伝送チャンネル番号（“ＬｏｇｉｃａｌＣｈａｎｎｅｌＮｕｍｂｅｒ”）と、実行するプログラムＩＤ（“ｅｘｃｕｔｅＰｒｏｇｒａｍＮｕｍｂｅｒ”）、使用するデータＩＤ（“ｄａｔａＮｕｍｂｅｒ”）、実行するコマンドのＩＤ（“ｅｘｅｃｕｔｅＣｏｍｍａｎｄＮｕｍｂｅｒ”）を対応付けて受信端末へ送付する。また、別の表現方法として、伝送チャンネル番号と対応付けて、実行の許可のフラグ（“ｆｌａｇ”）、あと何回ＳｅｔｕｐＲｅｑｕｅｓｔを受信したら実行するかを記したカウンタ（“ｃｏｕｎｔｅｒ”）、あとどれくらいの時間で実行するかを示すタイマー値（“ｔｉｍｅｒ”）であってもよい。

尚、要求予定のリクエストの例としては、ＡＬ情報の書き換え、ＧｒｏｕｐＭｕｘの立ち上がり時間の確保などがあげられる。

図２２は、図２０で説明したＡＬの使用の有無を送信端末から受信端末へ通知するための伝送表現について説明する図である（“ＣｏｎｔｒｏｌＡＬｄｅｆｉｎｉｔｉｏｎ”）。

同図において、“ＲａｎｄｏｍＡｃｃｅｓｓＦｌａｇＵｓｅ”が真ならばＲａｎｄｏｍＡｃｃｅｓｓＦｌａｇは使用する。そうでなければ使用しない。このＡＬの変更通知は制御情報としてデータとは別の伝送チャンネルで伝送してもよいし、データとともに同一の伝送チャンネルで伝送してもよい。

尚、実行するプログラムとしては、デコーダプログラムなどがあげられる。又、セットアップのリクエストは、放送であっても通信であっても利用出来る。又、制御情報としての項目を、ＡＬの情報としてどの項目を使用するかを上記のリクエストで受信端末に指示する。又、同様に通信ヘッダにどの項目を、ＡＬの情報としてどの項目を、制御情報としてこの項目を使用するかを受信端末に指示出来る。

図２３では、情報枠組み識別子（“ｈｅａｄｅｒＩＤ”）を用いて、伝送するヘッダ情報（データ管理情報、伝送管理情報、制御情報）の構造を送受信端末間で用途に応じて変更するための伝送表現の例を示している。

同図において、“ｃｌａｓｓＥＳｈｅａｄｅｒ”は、データと同じ伝送チャンネルで伝送されるデータ管理情報や、伝送管理情報の伝送される情報の構造を、情報枠組み識別子により送受信端末間で区別している。

例えば“ｈｅａｄｅｒＩＤ”の値が０ならば、ｂｕｆｆｅｒＳｉｚｅＥＳの項目だけ用い、“ｈｅａｄｅｒＩＤ”の値が１ならば“ｒｅｓｅｒｖｅｄ”の項目を加えて用いる。

又、デフォルト識別子（“ｕｓｅＨｅａｄｅｒＥｘｔｅｎｓｉｏｎ”）を用いることでデフォルトの形式の情報の枠組みを用いるか、用いないかを判定する。“ｕｓｅＨｅａｄｅｒＥｘｔｅｎｓｉｏｎ”が真であれば、ｉｆ文の内部の項目が用いられる。これらの構造情報に関しては予め送受信端末間で取り決められているものとする。なお、情報枠組み識別子とデフォルト識別子は、何れか一方を使用する構成であってもよい。

図２４では、“ＡＬｃｏｎｆｉｇｕｒａｔｉｏｎ”は、データとは異なる伝送チャンネルで伝送される制御情報の構造を送受信端末間で用途に応じて変更する場合の例を示している。情報枠組み識別子とデフォルト識別子の使用方法は図２３の場合と同じである。

本発明では、複数の動画や音声を同時に合成して表示させるシステムの実現方法について、下記の観点から具体的に述べた。

（１）複数の論理的な伝送路を用いて画像や音声の伝送（通信と放送）及び、それらを制御する方法。特に、制御情報とデータをそれぞれ、伝送する論理的な伝送路を独立させて伝送する方法について述べた。

（２）送信すべき画像や音声のデータに付加するヘッダ情報（ＡＬの情報）の動的な変更方法。

（３）送信のために付加する通信用のヘッダ情報の動的な変更方法。

具体的には、（２）と（３）に関しては、ＡＬの情報と通信用ヘッダで重複している情報について統合して管理する方法や、ＡＬの情報を制御情報として伝送する方法について述べた。

（４）複数の論理的な伝送路を、動的に多重化、分離して情報の伝送を行う方法。

伝送路のチャンネル数を節約する方法、効率的な多重化を実現する方法について述べた。

（５）プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法。様々な機能、用途で見かけ上のセットアップ時間の短縮方法について述べた。

（６）ザッピングに対する画像や音声の伝送方法。

尚、本発明は、２次元の画像合成だけに限定されない。２次元の画像と３次元の画像を組み合わせた表現形式でもよいし、広視野画像（パノラマ画像）のように複数の画像を隣接するように画像合成するような画像合成方法も含めてもよい。

また、本発明で対象としている通信形態は、有線の双方向ＣＡＴＶやＢ−ＩＳＤＮだけではない。例えば、センター側端末から家庭側端末への映像や音声の伝送は電波（例えば、ＶＨＦ帯、ＵＨＦ帯）、衛星放送で、家庭側端末からセンター側端末への情報発信はアナログの電話回線やＮ−ＩＳＤＮであってもよい（映像、音声、データも必ずしも多重化されている必要はない）。

また、ＩｒＤＡ、ＰＨＳ（パーソナル・ハンディー・ホン）や無線ＬＡＮのような無線を利用した通信形態であってもよい。さらに、対象とする端末は、携帯情報端末のように携帯型の端末であっても、セットトップＢＯＸ、パーソナルコンピュータのように卓上型の端末であってもよい。なお、応用分野としては、ＴＶ電話、多地点の監視システム、マルチメディアのデータベース検索システム、ゲームなどが挙げられ、本発明は受信端末だけではなく、受信端末に接続されるサーバや中継の機器なども含まれる。

さらに、これまでの例ではＲＴＰの（通信）ヘッダとＡＬの情報の重複を回避する方法や、ＲＴＰの通信ヘッダやＡＬの情報を拡張する方法について述べた。しかし、本発明は、必ずしもＲＴＰである必要はない。たとえば、ＵＤＰやＴＣＰを使って独自の通信ヘッダやＡＬ情報を新たに定義してもよい。インターネットプロファイルではＲＴＰを使うことはあるが、ＲａｗプロファイルではＲＴＰのような多機能なヘッダは定義されていない。ＡＬ情報と通信ヘッダに関する考え方としては、前述したように４通りの考え方ができる。

このように、送信端末と受信端末で使用するデータ管理情報、伝送管理情報、制御情報の各情報の枠組み（例えば、１番最初は、ランダムアクセスのフラグで１ビットのフラグ情報として割り当て、２番目はシーケンス番号で１６ビット割り当てるといった、付加する情報の順序とビット数をともなった情報の枠組み）を動的に決定することで、状況に応じた情報の枠組みの変更が可能になり、用途や伝送路に応じた変更ができる。

尚、各情報の枠組みとしては、図６（ａ）〜図６（ｄ）において既に示したものあってもよいし、ＲＴＰならば、データ管理情報（ＡＬ）はメディア毎のヘッダ情報（例えば、Ｈ．２６３ならＨ．２６３固有のビデオのヘッダ情報や、ペイロードのヘッダ情報）、伝送管理情報はＲＴＰのヘッダ情報で、制御情報はＲＴＣＰのようなＲＴＰを制御するような情報であってもよい。

また、送受信端末間で予め設定されている公知の情報の枠組みで、情報を送受信して処理するか、否かを示すためのデフォルト識別子をデータ管理情報、伝送管理情報、制御情報（データとは別のパケットで伝送される、端末処理を制御する情報）に、それぞれ設けることで、情報の枠組みの変更が行われているかどうかを知ることができ、変更が行なわれている時だけ、デフォルト識別子をセットし、前述の図１９〜図２０に示したような方法で変更内容（たとえば、タイムスタンプ情報を３２ビットから１６ビットに変更する）を通知することで、情報の枠組み情報を変更しない場合でも不要にコンフィグレーション情報を送信しなくても済む。

たとえば、データ管理情報の情報の枠組みを変更したいときには、次の２つの方法が考えられる。まず、データ自身にデータ管理情報の情報の枠組みの変更方法を記述する場合、データ管理情報の情報の枠組みに関して記述されたデータ内に存在する情報のデフォルト識別子（固定の領域、位置に書き込む必要がある）をセットし、そのあとに情報の枠組みの変更内容に関して記述する。

もう１つの方法として制御情報（情報枠組み制御情報）にデータの情報の枠組みの変更方法を記述して、データ管理情報における情報の枠組みを変更する場合、制御情報に設けられたデフォルト識別子をセットし、変更するデータ管理情報の情報の枠組みの内容を記述し、ＡＣＫ／Ｒｅｊｅｃｔで受信端末にデータ管理情報の情報の枠組みが変更されたことを通知、確認してから、情報の枠組みが変更されたデータを伝送する。伝送管理情報、制御情報自身の情報の枠組みを変更する場合も、同様に上記の２つの方法で実現できる（図２３〜図２４）。

より具体的な例としては、例えば、ＭＰＥＧ２のヘッダ情報は固定であるが、ＭＰＥＧ２−ＴＳ（トランスポート・ストリーム）のビデオ・ストリーム、オーディオ・ストリームを関係づけるプログラム・マップテーブル（ＰＳＩで定義される）にデフォルト識別子を設け、ビデオ・ストリーム、オーディオ・ストリームの情報の枠組みの変更方法を記述したコンフィグレーション・ストリームを定義しておくことで、デフォルト識別子がセットされていれば、まず、コンフィグレーション・ストリームを解釈してから、コンフィグレーション・ストリームの内容に応じて、ビデオとオーディオのストリームのヘッダを解釈することができる。コンフィグレーション・ストリームは図２３〜図２４で示した内容でよい。

尚、本発明の、伝送方法に関する及び／又は伝送するデータの構造に関する内容（伝送フォーマット情報）は、上記実施の形態では、例えば、情報の枠組みに対応している。

又、上記実施の形態では、変更しようとする、伝送方法に関する及び／又は伝送するデータの構造に関する内容を伝送する場合を中心に述べたが、これに限らず例えば、その内容の識別子のみを伝送する構成でも勿論良い。この場合、送信装置としては、例えば、図５２に示す様に、（１）伝送方法に関する及び／又は伝送するデータの構造に関する内容、又はその内容を示す識別子を、伝送フォーマット情報として、前記伝送するデータの伝送路と同一の伝送路、又は、前記伝送路とは別の伝送路を用いて伝送する伝送手段５００１と、（２）前記伝送方法に関する及び／又は伝送するデータの構造に関する内容と、その識別子とを複数種類格納する格納手段５００２とを備え、前記識別子が、データ管理情報、伝送管理情報又は、端末側の処理を制御するための情報の内、少なくとも一つの情報の中に含まれている画像・音声送信装置であってもよい。又、受信装置としては、例えば、図５３に示す様に、上記画像・音声送信装置から送信されてくる前記伝送フォーマット情報を受信する受信手段５１０１と、前記受信した伝送フォーマット情報を解釈する伝送情報解釈手段５１０２とを備えた画像・音声受信装置であってもよい。更に、この画像・音声受信装置は、前記伝送方法に関する及び／又は伝送するデータの構造に関する内容と、その識別子とを複数種類格納する格納手段５１０３を備え、前記伝送フォーマット情報として前記識別子を受信した場合には、前記識別子の内容を解釈する際に、前記格納手段に格納されている内容を利用する構成であっても良い。

さらに、具体的には、予め情報の枠組みを複数、送受信端末で取り決めて用意しておき、それら複数種類の情報の枠組みの識別と、複数種のデータ管理情報、伝送管理情報、制御情報（情報枠組み制御情報）を識別するための情報枠組み識別子をデータとともに、もしくは、制御情報として伝送することで、複数種のデータ管理情報、伝送管理情報、制御情報の各情報を識別することが可能となり、伝送すべきメディアの形式や伝送路の太さに応じて各情報の情報の枠組みを自由に選択することができる。尚、本発明の識別子は、上記情報の枠組み識別子に対応する。

これら情報の枠組み識別子、デフォルト識別子は、伝送される情報の予め決められた固定長の領域もしくは、位置に付加することで、受信側端末で、情報の枠組みが変更されていても読み取り、解釈することができる。

又、上述した実施の形態で述べた構成以外に、複数個のチャンネルで放送される画像の見出し画像だけを放送する放送チャンネルを設け、視聴者が視聴番組を切り替えることで、必要となるプログラムやデータのセットアップに時間がかかる場合、一旦、視聴したい番組の見出し画像を選択して視聴者に提示する構成としても良い。

以上のように本発明によれば、送信端末と受信端末で使用するデータ管理情報、伝送管理情報、制御情報の各情報の枠組みを動的に決定することで、状況に応じた情報の枠組みの変更が可能になり、用途や伝送路に応じた変更ができる。

また、送受信端末間で予め設定されている公知の情報の枠組みで、情報を送受信して処理するか、否かを示すためのデフォルト識別子をデータ管理情報、伝送管理情報、制御情報に、それぞれ設けることで、情報の枠組みの変更が行われているかどうかを知ることができ、変更が行なわれている時だけ、デフォルト識別子をセットし、変更内容を通知することで、情報の枠組み情報を変更しない場合でも不要にコンフィグレーション情報を送信しなくても済む。

さらに、予め情報の枠組みを複数、送受信端末で取り決めて用意しておき、複数種のデータ管理情報、伝送管理情報、制御情報を識別するための情報枠組み識別子をデータとともに、もしくは、制御情報として伝送することで、複数種のデータ管理情報、伝送管理情報、制御情報の各情報を識別することが可能となり、伝送すべきメディアの形式や伝送路の太さに応じて各情報の情報の枠組みを自由に選択することができる。

これら情報枠組み識別子、デフォルト識別子は、伝送される情報の予め決められた固定長の領域もしくは、位置に付加することで、受信側端末で、情報の枠組みが変更されていても読み取り、解釈することができる。

以下、本発明の実施の形態について図面を参照して説明する。

尚、ここでは、主に上述した課題（Ｂ１）〜（Ｂ２）の何れか一つを解決するものである。

本発明で使用する「画像」の意味は静止画と動画の両方を含む。また、対象とする画像は、コンピュータ・グラフィックス（ＣＧ）のような２次元画像とワイヤーフレーム・モデルから構成されるような３次元の画像データであってもよい。

図３１は、本発明の実施の形態における画像符号化、画像復号化装置の概略構成図である。

符号化された種々の情報を送信もしくは記録する送信管理部４０１１は、同軸ケーブル、ＣＡＴＶ、ＬＡＮ、モデム等の情報を伝送する手段である。画像符号化装置４１０１は、Ｈ．２６３、ＭＰＥＧ１／２、ＪＰＥＧ、あるいは、ハフマン符号化といった画像情報の符号化を行う画像符号部４０１２と、上記送信管理部４０１１とを具備する構成である。又、画像復号化装置４１０２は、符号化された種々の情報を受信する受信管理部４０１３と、その受信された種々の画像情報の復号を行う画像復号部４０１４と、復号された１つ以上の画像を合成する画像合成部４０１５と、画像を出力するディスプレイやプリンターなどから構成される出力部４０１６とを備えた構成である。

図３２は、本発明の実施の形態における音声符号化、音声復号化装置の概略構成図である。

音声符号化装置４２０１は、符号化された種々の情報を送信もしくは記録する送信管理部４０２１と、Ｇ．７２１、ＭＰＥＧ１オーディオといった音声情報の符号化を行う音声符号部４０２２とを具備する構成である。又、音声復号化装置４２０２は、符号化された種々の情報を受信する受信管理部４０２３と、前記種々の音声情報の復号を行う音声復号部４０２４と、復号された１つ以上の音声を合成する音声合成部４０２５と、音声を出力する出力部４０２６とを備えた構成である。

音声や動画像の時系列データは、具体的には上記の各装置で、符号化、又は復号化される。

図３１、図３２とも、通信環境としてはインターネットのように多重化の手段を意識せずに複数の論理的な伝送路が利用できる通信環境であってもよし、アナログ電話や衛星放送のように多重化手段を意識しなければならない通信環境であってもよい。また、端末の接続形態としては、ＴＶ電話やＴＶ会議システムのように端末間で双方向により映像や音声を送受信する形態や、衛星放送やＣＡＴＶ、インターネット上での放送型の映像や音声放送の形態が挙げられる。

同様に、画像や音声の合成方法に関しては、ＪＡＶＡ、ＶＲＭＬ、ＭＨＥＧといったスクリプト言語で、画像・音声と画像・音声の構造情報（表示位置や表示時間）、画像・音声同士のグルーピングの方法、画像の表示のレイヤ（深さ）、そして、オブジェクトＩＤ（画像、音声といった個々のオブジェクトを識別するためのＩＤ）と、これらの属性の関係を記述することによって画像や音声の合成方法が定義できる。合成方法を記述したスクリプトはネットワークやローカルの記憶装置から得られる。

尚、画像符号化装置、画像復号化装置、音声符号化装置、音声復号化装置を、それぞれ任意の個数で、任意の組み合わせで送受信の端末を構成してもよい。

図３３（ａ）は、過負荷時の処理の優先度を管理する優先度付加部、優先度決定部について説明する図である。Ｈ．２６３やＧ．７２３などの符号化方法で、符号化された情報の過負荷時の処理の優先度を予め決められた基準で決定し、符号化された情報と決定された優先度を対応づける優先度付加部４０３１を画像符号化装置４１０１や音声符号化装置４２０１に備える。

優先度の付加の基準は、たとえば、画像であればシーンチェンジ、編集者や利用者が指示した画像フレームやストリーム、音声であれば、有音区間と無音区間である。

過負荷時の処理の優先度を定義する優先度の付加方法は、通信ヘッダへ付加する方法と符号化時にビデオやオーディオの符号化されるビットストリームのヘッダに埋め込む方法が考えられる。前者は、復号せずに優先度に関する情報が得ることが可能であり、後者はシステムに依存せずにビットストリーム単体で独立に扱うことが可能である。

図３３（ｂ）に示したように、通信ヘッダに優先度情報を付加する場合、１つの画像フレーム（例たとえば、フレーム内符号化されたＩフレーム、フレーム間符号化されたＰ、Ｂフレーム）が複数個の送信パケットに分割される場合、画像であれば単独の情報としてアクセス可能な画像フレームの先頭部分を伝送する通信ヘッダのみに優先度を付加する（同一の画像フレーム内で優先度が等しい場合、次のアクセス可能な画像フレームの先頭が現れるまで、優先度は変わらないものとすればよい）。

また、復号化装置では、受信された種々の符号化された情報の過負荷時の優先度に従って、処理の方法を決定する優先度決定部４０３２を画像復号化装置４１０２や音声復号化装置４２０２に備える。

図３４〜図３６は、優先度を付加する粒度について説明する図である。端末での過負荷時の処理の優先度を決定する２種類の優先度を用いて、デコード処理を行なう。

すなわち、映像、音声といったビットストリーム単位での過負荷時の処理の優先度を定義するストリーム優先度（ＳｔｒｅａｍＰｒｉｏｒｉｔｙ；時系列データ間優先度）と、同一ストリーム内の映像フレームといったフレーム単位での過負荷時の処理の優先度を定義するフレーム優先度（ＦｒａｍｅＰｒｉｏｒｉｔｙ；時系列データ内優先度）を定義する（図３４参照）。

ストリーム優先度が表現する値の意味としては、相対的な値として扱う場合と、絶対的な値として扱う場合が考えられる（図３５、図３６参照）。

ストリーム優先度とフレーム優先度の取り扱いが行なわれるのはネットワーク上であれば、ルータやゲートウェイといった中継端末、端末であれば、送信端末と受信端末があげられる。

絶対的な値と、相対的な値の表現方法は２通り考えられる。１つは、図３５で示した方法であり、もう１つは図３６で示した方法である。

図３５では、絶対的な値の優先度とは、編集者や機械的に付加された画像ストリームや音声ストリームが過負荷時に処理される（又は、処理されるべき）順序をあらわす値である（実際のネットワークや端末の負荷変動を考慮した値ではない）。相対的な値の優先度は、端末やネットワークの負荷に応じて、絶対的な優先度の値を変更するための値である。

優先度を相対的な値と、絶対的な値に分離して管理することで、ネットワークの負荷の変動などに応じて、送信側や中継装置で相対的な値だけを変更することで、元来、画像や音声ストリームに付加されていた絶対的な優先度を残したままで、ハードディスクやＶＴＲへの記録が可能となる。このように絶対的な優先度の値が記録されていれば、ネットワークの負荷変動などの影響を受けていない形での映像や音声の再生が可能となる。なお、相対的な優先度や絶対的な優先度はデータとは独立に制御チャンネルを通して伝送してもよい。

同様に、図３５では、ストリーム優先度よりも粒度を細かくして、過負荷時のフレームの処理の優先度を定義するフレーム優先度を、相対的な優先度の値として扱ったり、絶対的な優先度の値として扱うことも可能である。たとえば、絶対的なフレーム優先度を符号化された画像の情報内に記述し、ネットワークや端末の負荷で変動を反映させるために、先の映像フレームに付加した絶対的な優先度に対する相対的なフレーム優先度を符号化された情報を伝送するための通信パケットの通信ヘッダに記述することで、フレームレベルでも、オリジナルの優先度を残しながらも、ネットワークや端末の負荷に応じた優先度の付加が可能である。

なお、相対的な優先度は、通信ヘッダではなくデータとは独立して制御チャネルでフレームとの対応関係を記述して伝送してもよい。これにより、元来、画像や音声ストリームに付加されていた絶対的な優先度を残したままで、ハードディスクやＶＴＲへの記録が可能となる。

一方、図３５において、受信端末で記録を行なわずに、ネットワークを介して伝送しながら受信端末で再生を行なう場合、受信端末で絶対的な値と相対的な値を分離して管理する必要がないため、送信側で予め、フレーム、ストリームの両方のレベルの場合においても、絶対値な優先度の値と相対的な優先度の値を送信前に計算して絶対値のみを送ってもよい。

図３６において、絶対的な値の優先度とは、ＳｔｒｅａｍＰｒｉｏｒｉｔｙと、ＦｒａｍｅＰｒｉｏｒｉｔｙの関係から求められるフレーム間で一意に決定される値である。相対的な値の優先度は、編集者や機械的に付加された画像ストリームや音声ストリームが過負荷時に処理される（又は、処理されるべき）順序をあらわす値である。図３６の例では、映像、音声の各ストリームのフレーム優先度（ｒｅｌａｔｉｖｅ；相対値）とストリーム毎にストリーム優先度が付加されている。

絶対的なフレーム優先度（ａｂｓｏｌｕｔｅ；絶対値）は相対的なフレーム優先度と、ストリーム優先度の和から求められる（即ち、絶対的なフレーム優先度＝相対的なフレーム優先度＋ストリーム優先度）。なお、この算出方法は減算したり、定数を掛け合わせるような方法でもよい。

絶対的なフレーム優先度は主としてネットワークで用いる。これはルータやゲートウェイといった中継装置で、ＳｔｒｅａｍＰｒｉｏｒｉｔｙとＦｒａｍｅＰｒｉｏｒｉｔｙとを加味してフレーム毎の優先度を決定する必要が絶対値による表現では不要になるからである。この絶対的なフレーム優先度を用いることで中継装置でのフレームの廃棄などの処理が容易になる。

一方、相対的なフレーム優先度は主として記録、編集を行なう蓄積系への応用が期待できる。編集作業では、複数の映像、音声ストリームを同時に扱うことがある。そのような場合に、端末やネットワークの負荷により再生できる映像ストリームやフレームの数には限界が生じる可能性がある。

そのような場合に、ＳｔｒｅａｍＰｒｉｏｒｉｔｙと、ＦｒａｍｅＰｒｉｏｒｉｔｙとを分離して管理しておくだけで、例えば、編集者が、優先的に表示させたい、あるいは、ユーザが、見たいストリームのＳｔｒｅａｍＰｒｉｏｒｉｔｙを変更するだけで、絶対値の表現を行なっている時とは違い、ＦｒａｍｅＰｒｉｏｒｉｔｙをすべて計算し直す必要がない。このように用途に応じて、絶対的な表現、相対的な表現を使い分ける必要がある。

また、ストリーム優先度の値を相対的な値として用いるか、絶対的な値として用いるかを記述することで、伝送時にも、蓄積する場合にも有効な優先度の表現が可能となる。

図３５の例では、ストリーム優先度に付随して、ストリーム優先度が表現する値が絶対値であるか、相対値であるかを表現するフラグや識別子を設けて区別する。フレーム優先度の場合は、通信ヘッダに相対的な値が記述され、符号化されたフレーム内に絶対的な値が記述されるため、フラグや識別子は不要である。

図３６の例では、フレーム優先度が絶対値であるか相対値であるかを識別するためのフラグもしくは識別子を設けている。絶対値であれば、ストリーム優先度と相対的なフレーム優先度から算出されている優先度であるから、算出の処理を中継装置や端末で行なわない。また、受信端末では、算出式が端末間で既知である場合、絶対的なフレーム優先度とストリーム優先度から相対的なフレーム優先度を逆算することが可能である。例えば、伝送するパケットの絶対的な優先度（ＡｃｃｅｓｓＵｎｉｔＰｒｉｏｒｉｔｙ）を、ＡｃｃｅｓｓＵｎｉｔＰｒｉｏｒｉｔｙ＝ストリーム優先度−フレーム優先度、という関係式から求めても良い。ここで、フレーム優先度は、ストリーム優先度を減算することから、劣後優先度と表現しても良い。

さらに、１つ以上のストリーム優先度をＴＣＰ／ＩＰの論理チャンネル（ＬＡＮのポート番号）を流れるデータの処理の優先度に対応付けて、データの処理を管理してもよい。

加えて、画像や音声は、文字もしくは制御情報よりも低いストリーム優先度やフレーム優先度を割り当てることで再送処理の必要が低減できることが期待できる。これは画像や音声は一部分が失われても、問題が発生しない場合も多いからである。

図３７は、多重解像度の画像データへ優先度の割り当て方法について説明する図である。

１つのストリームが２つ以上の複数のサブストリームから構成される場合、サブストリームにストリーム優先度の付加を行い、蓄積時もしくは伝送時に論理和もしくは論理積の記述を行うことでサブストリームの処理方法の定義を行うことが可能である。

ウェーブレットの場合、１つの映像フレームを複数の異なる解像度の映像フレームに分解することが可能である。また、ＤＣＴベースの符号化方式でも高周波の成分と低周波の成分に分割して符号化することで異なる解像度の映像フレームへの分解は可能である。

分解された一連の映像フレームから構成される複数個の映像ストリームに付加されるストリーム優先度のほかに、映像のストリーム間の関係を記述するためにＡＮＤ（論理積）とＯＲ（論理和）で関係を定義する。具体的な使用方法は、ストリームＡのストリーム優先度が５であり、ストリームＢのストリーム優先度が１０である場合（数字の少ない方が優先度が高い）、優先度によりストリームデータの廃棄ならば、ストリームＢの方は廃棄されるが、ストリーム間の関係記述を行なうことで、ＡＮＤの場合にはストリームＢの優先度が閾値の優先度よりも低くても、廃棄せずに伝送、処理するように定義しておく。

これにより、関連のあるストリームは廃棄されずに処理できるようになる。ＯＲの場合には逆に、廃棄可能であると定義する。これまでと同様に、廃棄処理は送受信端末でも行なっても、中継端末で行なってもよい。

なお、関係記述のための演算子として、おなじビデオクリップを２４Ｋｂｐｓと４８Ｋｂｐｓの別のストリームに符号化した場合、どちらかを再生すれば良いという場合がある（関係記述として排他的論理和ＥＸ−ＯＲ）。

前者の優先度を１０、後者を５としてある場合、ユーザは優先度に基づいて後者を再生してもよいし、優先度に従わずユーザは後者を選んでもよい。

図３８は通信ペイロードの構成方法について説明する図である。

複数のサブストリームから構成される場合、サブストリームに付加したストリーム優先度に応じて、たとえば優先度の高い順に、送信パケットを構成することで送信パケットレベルでの廃棄が容易になる。また、粒度を細かくして、フレーム優先度の高いオブジェクト同士の情報をひとつにまとめて通信パケットを構成しても通信パケットレベルでの廃棄が容易になる。

なお、画像のスライス構造を通信パケットに対応付けることでパケット落ちしたときの復帰が容易である。つまり、動画像のスライス構造をパケットの構造に対応付けることで、再同期のためのリシンクマーカーが不要になる。スライス構造と通信パケットの構造が一致していなければ、パケット落ちなどで情報が損失した場合、再同期ができるようにリシンクマーカー（復帰する位置を知らせるための印）を付加する必要がある。

これにあわせて、優先度の高い通信パケットには高いエラープロテクションをかけることが考えられる。なお、画像のスライス構造とはＧＯＢやＭＢといったまとまった画像情報の単位をさす。

図３９はデータを通信ペイロードへ対応づける方法について説明する図である。ストリームやオブジェクトの通信パケットへの対応付けの方法を制御情報もしくはデータとともに伝送することで、通信状況や用途に応じて任意のデータフォーマットが生成できる。たとえば、ＲＴＰ（ＲｅａｌｔｉｍｅＴｒａｎｓｆｅｒＰｒｏｔｏｃｏｌ）では、扱う符号化毎にＲＴＰのペイロードが定義されている。現行のＲＴＰの形式は固定である。Ｈ．２６３の場合、同図に示したように、ＭｏｄｅＡからＭｏｄｅＣの３つのデータ形式が定義されている。Ｈ．２６３では、多重解像度の映像フォーマットを対象とした通信ペイロードは定義されていない。

同図の例では、ＬａｙｅｒＮｏ．と前述の関係記述（ＡＮＤ、ＯＲ）を、ＭｏｄｅＡのデータフォーマットに追加して定義している。

図４０は、フレーム優先度、ストリーム優先度と通信パケット優先度との対応について説明する図である。

又、同図は、伝送路で通信パケットに付加される優先度を通信パケット優先度とし、ストリーム優先度やフレーム優先度を、通信パケット優先度に対応させる例である。

通常、ＩＰを利用した通信では、画像や音声データに付加されたフレーム優先度やストリーム優先度を下位のＩＰパケットの優先度にパケットに対応付けてデータを伝送する必要がある。画像や音声データは分割され、ＩＰのパケットに分割されて伝送されるため優先度の対応付けが必要である。図の例では、ストリーム優先度は０から３までの値をとり、フレーム優先度は０から５までの値をとるため、上位のデータでは０から１５までの優先度を取りうる。

ＩＰｖ６では優先度（４ビット）のうち０から７までは輻輳制御されたトラフィックのために予約されている、優先度のうち８から１５までは実時間通信トラフィックまたは輻輳制御されていないトラフィックのために予約されている。優先度１５は最も優先度が高く、優先度８が最も優先度が低い。これはＩＰのパケットのレベルでの優先度になる。

ＩＰを使ったデータの伝送では上位の０から１５までの優先度を下位のＩＰの優先度である８から１５までの優先度に対応付ける必要がある。対応付けは上位の優先度の一部をクリッピングする方式でもよいし、評価関数をもうけて対応付けてもよい。上位のデータと下位のＩＰの優先度の対応付けは、中継ノード（ルータやゲートウェイなど）、送受信端末で管理を行う。

なお、伝送手段はＩＰだけに限定されるわけではなく、ＡＴＭやＭＰＥＧ２のＴＳ（トランスポート・ストリーム）のように廃棄可能かそうでないかのフラグをもった伝送パケットを対象としてもよい。

これまでに述べた、フレーム優先度とストリーム優先度は、伝送媒体やデータ記録媒体へ適用が可能である。データ記録媒体としてフロッピーディスク、光ディスクなどを用いて行うことができる。

また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。さらに、データの中継を行うルータやゲートウェイといった画像音声中継装置を対象としてもよい。

加えて、ＳｔｒｅａｍＰｒｉｏｒｉｔｙ（時系列データ間優先度）や、ＦｒａｍｅＰｒｉｏｒｉｔｙ（時系列データ内優先度）の情報に基づいて再送すべき時系列データを決定することで、優先的な再送処理が可能となる。たとえば、優先度情報に基づいて受信端末でデコードを行なっている場合、処理の対象外であるストリームやフレームの再送を防止することができる。

また、現在の処理対象となっている優先度とは別に、再送回数と送信成功回数の関係から再送すべき優先度のストリームやフレームを決定してもよい。

一方、送信側の端末においても、ＳｔｒｅａｍＰｒｉｏｒｉｔｙ（時系列データ間優先度）やＦｒａｍｅＰｒｉｏｒｉｔｙ（時系列データ内優先度）の情報に基づいて送信すべき時系列データを決定することで、優先的な送信処理が可能となる。たとえば、平均転送レートや、再送回数に基づいて送信すべきストリームやフレームの優先度を決定することで、ネットワークが過負荷である際にも適応的な映像や音声の伝送が可能になる。

なお、上記実施の形態は、２次元の画像合成だけに限定したものではない。２次元の画像と３次元の画像を組み合わせた表現形式でもよいし、広視野画像（パノラマ画像）のように複数の画像を隣接するように画像合成するような画像合成方法も含めてもよい。また、本発明で対象としている通信形態は、有線の双方向ＣＡＴＶやＢ−ＩＳＤＮだけではない。たとえば、センター側端末から家庭側端末への映像や音声の伝送は電波（例えば、ＶＨＦ帯、ＵＨＦ帯）、衛星放送で、家庭側端末からセンター側端末への情報発信はアナログの電話回線やＮ−ＩＳＤＮであってもよい（映像、音声、データも必ずしも多重化されている必要はない）。また、ＩｒＤＡ、ＰＨＳ（パーソナル・ハンディー・ホン）や無線ＬＡＮのような無線を利用した通信形態であってもよい。

さらに、対象とする端末は、携帯情報端末のように携帯型の端末であっても、セットトップＢＯＸ、パーソナルコンピュータのように卓上型の端末であっても良い。

以上のように本発明によれば、複数のビデオ・ストリームや複数のオーディオ・ストリームの取り扱いや、編集者の意図を反映させて、重要なシーンカットを重点的にオーディオとともに同期再生をさせることが容易となる。

以下に本発明の実施の形態について図面を参照しながら説明する。

尚、ここで述べる実施の形態は、主に、上述した課題（Ｃ１）〜（Ｃ３）の何れかを解決するものである。

図４１は第１の実施の形態である送信装置の構成を示すものである。２１０１は画像入力端子であって、一枚の画像サイズは例えば縦１４４画素、横１７６画素である。２１０２は動画像符号化装置であって、４つの構成要素１０２１，１０２２，１０２３，１０２４から成る（ＲｅｃｏｍｍｅｎｄａｔｉｏｎＨ．２６１参照）。

１０２１は入力された画像をマクロブロック（縦１６画素、横１６画素の正方形領域）に分割し、このブロックの符号化を、イントラ／インタどちらで符号化するかを決定する切替器、１０２２は前回の符号化結果から計算できるローカルデコード画像をもとに動き補償画像を作成し、これと入力画像との差分を計算し、結果をマクロブロック単位に出力する動き補償手段であって、動き補償には、処理時間の長いハーフペル動き補償と処理時間の短いフルペル動き補償がある。１０２３はそれぞれのマクロブロックに対してＤＣＴ変換を施す直交変換手段、１０２４はこのＤＣＴ変換結果及び他の符号化情報に対してエントロピー符号化を施すための可変長符号化手段である。

２１０３は計数手段であって、動画像符号化装置２１０２の４つの構成要素の実行回数を計数し、入力画像ごとに、結果を変換手段に出力する。この時、動き補償手段１０２２からは、ハーフペルとフルペルの２通りについてそれぞれの実行回数を計数する。

２１０４は変換手段であって、図４２に示すようなデータ列を出力する。２１０５は送信手段であって、動画像符号化装置２１０２からの可変長符号と、変換手段２１０４からのデータ列を多重化して、一本のデータ列とし、データ出力端子２１０９に出力するものである。

以上の構成により、受信装置に、必須処理（切替器１０２１，直交変換手段１０２３，可変長符号化手段１０２４）と非必須処理（動き補償手段１０２２）の各実行回数を伝達することができる。

次に、図４８は、第２の実施の形態である送信方法のフローチャートである。

本実施の形態における動作が第１の実施の形態と似ているので、対応する要素を付記しておく。８０１にて、画像を入力し（画像入力端子２１０１）、８０２にて画像をマクロブロックに分割する。以降、８０７の条件分岐により、すべてのマクロブロックに対する処理を完了するまで、８０３から８０６までの処理を繰りかえす。なお、８０３から８０６までの処理の回数を、特定の変数に記録できるように、それぞれの処理を実行した場合には、対応する変数を１だけインクリメントする。

まず、８０３にて、処理対象のマクロブロックをイントラ／インタどちらで符号化するかを判定する（切替器１０２１）。インタの場合は、８０４にて動き補償を行う（動き補償手段１０２２）。その後、８０５，８０６にて、ＤＣＴ変換、可変長符号化を、行う（直交変換手段１０２３，可変長符号化手段１０２４）。すべてのマクロブロックに対する処理を完了したら（８０７にてＹｅｓの時）、８０８にて、それぞれの処理に対応する実行回数を示す変数を読み、図２に示すようなデータ列を生成し、このデータ列と符号とを多重化し、出力する。以上の８０１から８０８までの処理を、入力画像が続くかぎり、繰り返し実行する。

以上の構成により、各処理の実行回数を送信することができる。

次に、図４３は第３の実施の形態である受信装置の構成を示すものである。

同図において、３０７は第１の実施の形態の送信装置の出力を入力するための入力端子、３０１は第１の実施の形態の送信装置の出力をもとに可変長符号とデータ列を逆多重化により取り出し出力する受信手段であって、この時、一枚分のデータを受信するのに要した時間を計測しておき、これも出力するものとする。

３０３は可変長符号を入力とする動画像の復号化装置であって、５つの構成要素から成る。３０３１は可変長符号からＤＣＴ係数及び他の符号化情報を取り出すための可変長復号化手段、３０３２はＤＣＴ係数に対して逆ＤＣＴ変換処理を施す逆直交変換手段、３０３３は切替器であって、マクロブロックごとに、イントラ／インタどちらで符号化されているかの符号化情報に基づき、出力を上下に振りわける動作をする。３０３４は動き補償手段であって、前回の復号画像と動きの符号化情報とを用い、動き補償画像を作成し、この画像に逆直交変換手段３０３２の出力を加算して出力する。３０３５は実行時間計測手段であって、復号化装置３０３に可変長符号が入力されてから画像の復号化及び出力を完了するまでの実行時間を計測し、これを出力する。３０２は、受信手段３０１からのデータ列から各要素（可変長復号化手段３０３１，逆直交変換手段３０３２，切替器３０３３，動き補償手段３０３４）の実行回数と、実行時間計測手段３０３５から実行時間とを受け取り、各要素の実行時間を推定する推定手段である。

推定方法は、例えば、線型回帰を用いれば、推定実行時間を目的変数ｙ、各要素の実行回数を説明変数ｘ＿ｉとすれば良い。この場合、回帰パラメタａ＿ｉは、各要素の実行時間とみなせるであろう。また、線型回帰の場合、過去のデータを充分多く蓄積しておく必要があり、メモリを沢山消費することになるが、これを嫌う場合には、カルマンフィルタによる内部状態変数の推定を利用しても良い。この場合、観測値が実行時間、各要素の実行時間を内部状態変数とし、観測行列Ｃが各要素の実行回数でステップごとに変化する場合、と考えれば良い。３０４は、フルペル動き補償の実行回数を減らし、相当数だけハーフペル動き補償の実行回数を増やすように、各要素の実行回数を変更する回数削減手段である。この相当数の計算方法は、以下の通りである。

まず、推定手段３０２から各要素の実行回数と推定実行時間とを受けとり、実行時間を予想する。この時間が、受信手段３０１からのデータを受信するのに要した時間を越える場合に、越えなくなるまで、フルペル動き補償の実行回数を増やし、ハーフペル動き補償の実行回数を減らす。３０６は復号化画像の出力端子である。

なお、動き補償手段３０３４は、符号化情報からハーフペル動き補償を行うよう指示されている場合であるが、ハーフペル動き補償の所定実行回数を越えてしまった場合には、ハーフペルの動きを丸めて、フルペルの動きとして、フルペル動き補償を実行する。

以上にて説明した第１の実施の形態、第３の実施の形態によれば、推定された各要素の実行時間から復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要した時間（指定時間）を越えるようであれば、実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、実行時間が指定時間を越えないようにでき、課題（Ｃ１）を解決することができる。

なお、受信装置でのＩＤＣＴ計算において、高周波成分を使用しないようにすることで、ＩＤＣＴ計算の処理時間を減らすことができる。つまり、ＩＤＣＴ計算のうち、低周波成分の計算を必須処理、高周波成分の計算を非必須処理とみなして、ＩＤＣＴ計算の高周波成分の計算回数を削減するようにしても良い。

次に、図４９は、第４の実施の形態である受信方法のフローチャートである。

本実施の形態における動作が第３の実施の形態と似ているので、対応する要素を付記しておく。ステップ９０１にて各要素の実行時間を表現する変数ａ＿ｉを初期化する（推定手段３０２）。９０２にて多重化データの入力と、これに要する時間の計測を行う（受信手段３０１）。９０３にてこの多重化データを、可変長符号とデータ列とに分離し、出力する（受信手段３０１）。９０４にてデータ列（図２）から各実行回数を取り出し、これらをｘ＿ｉに設定する。９０５にて、各要素の実行時間ａ＿ｉと各実行回数ｘ＿ｉとから、実際の実行回数を算出する（回数削減手段３０４）。９０６にて、復号化処理の実行時間の計測を開始し、９０７にて後述する復号化処理ルーチンを起動し、その後、９０８にて復号化処理の実行時間の計測を終了する（動画像の復号化装置３０３，実行時間計測手段３０３５）。９０８では、９０８での復号化処理の実行時間と９０５での各要素の実際の実行回数とから各要素の実行時間を推定し、ａ＿ｉを更新する（推定手段３０２）。以上の処理を入力される多重化データごとに実行する。

また、復号化処理ルーチン９０７では、９１０にて可変長復号化を行い（可変長復号化手段３０３１）、９１１にて逆直交変換を行い（逆直交変換手段３０３２）、９１２にて、９１０での処理で取り出されたイントラ／インタの情報で分岐する（切替器３０３３）。インタの場合は、９１３にて動き補償を施す（動き補償手段３０３４）。この９１３にて、ハーフペル動き補償の実行回数を計数しておき、これが９０５で求めた実際の実行回数を越えた場合には、ハーフペル動き補償をフルペル動き補償で置き替えて実行する。以上の処理を、すべてのマクロブロックについて完了後（ステップ９１４）、このルーチンを終了する。

以上にて説明した第２の実施の形態、第４の実施の形態によれば、推定された各要素の実行時間から復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要した時間（指定時間）を越えるようであれば、実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、実行時間が指定時間を越えないようにでき、課題（Ｃ１）を解決することができる。

次に、図４４は第５の実施の形態である受信装置の構成を示すものである。

本実施の形態のほとんどの構成要素は、第２の実施の形態で説明したのと同じであり、２つの構成要素の追加と、１つの構成要素の修正のみであるのでその点を説明する。

４０２は第２の実施の形態で説明した推定手段３０２に推定の結果得た各要素の実行時間を、回数制限手段３０４への出力とは別に、出力するよう修正したものである。４０８は送信手段であって、各要素の実行時間から図４５に示すようなデータ列を生成し、これを出力するものである。実行時間は、マイクロセコンドを単位として、１６ｂｉｔで表現すれば最大で、約６５ミリセコンドを表現できるので、充分であろう。４０９はこのデータ列を送信手段に送るための出力端子である。

また、この第５の実施の形態に対応する受信方法は、図４５に示すようなデータ列を生成するステップを図４８の８０８の直後に追加したもので良い。

次に、図４６は第６の実施の形態である送信装置の構成を示すものである。

本実施の形態のほとんどの構成要素は、第１の実施の形態で説明したのと同じであり、２つの構成要素の追加のみであるのでその点を説明する。６０６は第３の実施の形態の受信装置の出力するデータ列を受信するための入力端子、６０７はこのデータ列を受信し、各要素の実行時間を出力する受信手段である。６０８は、各要素の実行回数を求める決定手段であって、その手順は以下の通りである。まず、画像中のすべてのマクロブロックについて、切替器１０２１での処理を行い、この時点での切替器１０２１の実行回数を求める。また、このあとの、動き補償手段１０２２、直交変換手段１０２３，可変長符号化手段１０２４での実行回数は、この時点までの処理結果によって、一意に決定できる。そこで、これら実行回数と、受信手段６０７からの実行時間を用いて、受信装置側での復号化に要する実行時間を予測する。この予測復号化時間は、各要素の実行時間と実行回数の積の、要素ごとの総和として、求まる。そして、予測復号化時間が、レートコントローラなどが指定した今回の画像で発生すべき符号量（例えば１６ｋｂｉｔｓ）の伝送に要する時間（例えば、伝送速度が６４ｋｂｉｔ／ｓｅｃなら２５０ｍｓｅｃ）以上であれば、復号化時間が伝送に要する時間を越えないように、フルペル動き補償の実行回数を増やし、ハーフペル動き補償の実行回数を減らす（フルペル動き補償のほうが、実行時間が短いので、これの回数を減らすことで実行時間を小さくすることができる。）。

なお、動画像の符号化装置２１０２は、決定手段６０８の指定した実行回数に基づき、各処理を行う。例えば、動き補償手１０２２は、指定されたハーフペルの動き補償実行回数分だけ、ハーフペル動き補償を実行完了すれば、その後は、フルペルの動き補償だけを実行するようになる。

また、ハーフペルの動き補償が、画像中に一様にちらばるように、選択方法を工夫しても良い。たとえば、まず、ハーフペルの動き補償を必要とするマクロブロックをすべて求め、この数（例えば１２）をハーフペルの動き補償実行回数（例えば４）で割った商（３）を求め、ハーフペルの動き補償を必要とするマクロブロックの始めからの順序が、この商で割りきれるもの（０，３，６，９）だけにハーフペルの動き補償を施す、という方法でも良い。

以上にて説明した第５の実施の形態、第６の実施の形態によれば、推定された各要素の実行時間を送信側に伝送し、送信側にて復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要するであろう時間（指定時間）を越えないように実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、送られた符号化情報のうち、ハーフペル動き補償の情報が捨てられることなく、実行時間が指定時間を越えないようにでき、課題（Ｃ２）を解決することができる。

なお、非必須処理において、インターマクロブロック符号化を普通の動き補償、８ｘ８動き補償、オーバラップ動き補償の３つに分割しても良い。

次に、図５０は、第７の実施の形態である送信方法のフローチャートである。

本実施の形態における動作が第６の実施の形態と似ているので、対応する要素を付記しておく。１００１にて、各処理の実行時間の初期値を設定する。８０１にて画像を入力し（入力端子２１０１）、にて画像をマクロブロックに分割する。１００２にて、すべてのマクロブロックについて、イントラ／インタどちらで符号化するかを判定する（切替器１０２１）。この結果、１００５から８０６までの各処理の実行回数がわかるので、１００３では、この実行回数と、各処理の実行時間とから、実際の実行回数を算出する（決定手段６０８）。

以降、８０７の条件分岐により、すべてのマクロブロックに対する処理を完了するまで、１００５から８０６までの処理を繰りかえす。

なお、１００５から８０６までの処理の回数を、特定の変数に記録できるように、それぞれの処理を実行した場合には、対応する変数を１だけインクリメントする。まず、１００５にて、１００２での判定結果に基き、分岐する（切替器１０２１）。インタの場合は、８０４にて動き補償を行う（動き補償手段１０２２）。ここで、ハーフペル動き補償の回数を計数しておき、これが１００３で求めた実際の実行回数を越えた場合には、ハーフペル動き補償を実行せずかわりにフルペル動き補償を実行する。その後、８０５，８０６にて、ＤＣＴ変換、可変長符号化を、行う（直交変換手段１０２３，可変長符号化手段１０２４）。すべてのマクロブロックに対する処理を完了したら（８０７にてＹｅｓの時）、８０８にて、それぞれの処理に対応する実行回数を示す変数を読み、図２に示すようなデータ列を生成し、このデータ列と符号とを多重化し、出力する。１００４では、データ列を受信し、これから各処理の実行時間を取り出し、設定する。

以上の８０１から１００４までの処理を、入力画像が続くかぎり、繰り返し実行する。

以上にて説明した、第５の実施の形態の説明部分の最後の「また」で始まるパラグラフと、第７の実施の形態とによれば、推定された各要素の実行時間を送信側に伝送し、送信側にて復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要するであろう時間（指定時間）を越えないように実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、送られた符号化情報のうち、ハーフペル動き補償の情報が捨てられることなく、実行時間が指定時間を越えないようにでき、課題（Ｃ２）を解決することができる。

次に、図４７は第８の実施の形態である送信装置の構成を示すものである。

本実施の形態のほとんどの構成要素は、第１の実施の形態で説明したのと同じであり、４つの構成要素の追加のみであるのでその点を説明する。

７０１０は実行時間計測手段であって、符号化装置２１０２に画像が入力されてから画像の符号化及び符号の出力を完了するまでの実行時間を計測し、これを出力する。７０６は、計数手段２１０３からのデータ列からの各要素（切替器１０２１、動き補償手段１０２２、直交変換手段１０２３，可変長復号化手段１０２４）の実行回数と、実行時間計測手段７０１０からの実行時間とを受け取り、各要素の実行時間を推定する推定手段である。推定方法は、第２の実施の形態の推定手段３０２で説明したものと同じで良い。７０７はユーザからのフレームレート値を入力するための入力端子、７０８は、各要素の実行回数を求める決定手段であって、その手順は以下の通りである。

まず、画像中のすべてのマクロブロックについて、切替器１０２１での処理を行い、この時点での切替器１０２１の実行回数を求める。また、このあとの、動き補償手段１０２２、直交変換手段１０２３，可変長符号化手段１０２４での実行回数は、この時点までの処理結果によって、一意に決定できる。つぎに、この実行回数と推定手段７０６からの各要素の推定実行時間との積の、要素ごとの総和を求め予測符号化時間を算出する。そして、予測符号化時間が、７０７からのフレームレートの逆数から求まる一枚の画像の符号化に使用可能な時間以上であれば、フルペル動き補償の実行回数を増やし、ハーフペル動き補償の実行回数を減らす。

この増減処理と予測符号化時間の算出とを、予測符号化時間が使用可能な時間以下になるまで、繰り返すことで、それぞれの実行回数を決定する。

以上示した第８の実施の形態によれば、各処理の実行時間を推定し、この推定実行時間に基き、符号化に要する実行時間を予め予測し、この予測符号化時間が、フレームレートから決まる画像の符号化に使用可能な時間以下になるように、実行回数を決定することにより、課題（Ｃ３）を解決することができる。

なお、動き補償手段１０２２では、動きベクトルを検出するために、左右上下１５画素の範囲のベクトルのうち、もっともＳＡＤ（画素ごとに差の絶対値の和）を小さくするものを検出するフルサーチ動きベクトル検出方法存在するが、これ以外に、３ｓｔｅｐ動きベクトル検出方法というものもある（Ｈ．２６１のａｎｎｅｘ．に記述がある）。これは、上記の探索範囲にて均等な配置関係の９点を選び、これのＳＡＤ最小の点を選ぶ。次に、この点の近傍のせばめた範囲にて、再度、９点を選び、ＳＡＤ最小の点を選ぶ。このような処理をもう一度実行するのが、３ｓｔｅｐ動きベクトル検出方法である。

これら２つの方法を、非必須処理方法とみなし、実行時間をそれぞれ推定し、推定実行時間にもとづき、符号化に要する実行時間を予測し、この予測実行時間がユーザ指定時間以下になるように、適宜、フルサーチ動きベクトル検出方法の実行回数を減らし、かわりに３ｓｔｅｐ動きベクトル検出方法の実行回数を増やすようにしても良い。

さらに、３ｓｔｅｐ動きベクトル検出方法以外に、もっと処理を簡略化した固定探索回数による動きベクトル検出方法や、（０，０）動きベクトルのみを結果として返す動きベクトル検出方法を併用しても良い。

次に、図５１は、第９の実施の形態である送信方法のフローチャートである。

本実施の形態における動作が第８の実施の形態と似ているので、対応する要素を付記しておく。各フローでの詳しい動作は、対応する要素の説明を参照のこと。また、第２の実施の形態とほぼ同じであるので、異なる点のみを説明する。

１１０１にて各処理の実行時間の初期値を変数ａ＿ｉに設定する。また、１１０２にてフレームレートを入力する（入力端子７０７）。ｌ１０３は、１１０２でのフレームレート、各処理の実行時間ａ＿ｉ、１００２でのイントラ／インタ判定結果から求まる各処理の実行回数、とから実際の実行回数を決定する（決定手段７０８）。１１０５，１１０６は、符号化処理の実行時間を計測するためのものである。１１０４は、１１０６での実行時間と各処理の実際の実行回数とから各処理の実行時間を推定し、変数ａ＿ｉを更新する（推定手段７０６）。

以上示した第９の実施の形態によれば、各処理の実行時間を推定し、この推定実行時間に基き、符号化に要する実行時間を予め予測し、この予測符号化時間が、フレームレートから決まる画像の符号化に使用可能な時間以下になるように、実行回数を決定することにより、課題（Ｃ３）を解決することができる。

なお、第２の実施の形態において、８０８でのデータ列生成時に、図２に示すスタートコードの直後に、２バイトの領域を追加し、ここに、符号の長さの二進表現を追加しても良い。

さらに、第４の実施の形態において、９０２での多重化データの入力時にこの２バイトの領域から符号の長さを抽出し、この符号長さと、符号の伝送速度とから求まる符号の伝送時間を、９０５での実行回数計算に用いるようにしても良い（符号の伝送時間を越えないように、ハーフペル動き補償の実行回数を減らす）。

なお、第１の実施の形態において、２１０４でのデータ列生成時に、図２に示すスタートコードの直後に、２バイトの領域を追加し、ここに、符号の長さの二進表現を追加しても良い。

さらに、第３の実施の形態において、３０１での多重化データの入力時にこの２バイトの領域から符号の長さを抽出し、この符号長さと、符号の伝送速度とから求まる符号の伝送時間を、３０４での実行回数計算に用いるようにしても良い（符号の伝送時間を越えないように、ハーフペル動き補償の実行回数を減らす）。

また、第４の実施の形態において、９０９直後に、ハーフペル動き補償の実際の実行回数を記録し、これの最大値を算出する。そして、この最大値が充分小さな値（例えば、２とか３）以下の場合には、ハーフペル動き補償を使用しないことを示すデータ列（特定のビットパターンから成るデータ列）を生成し、これを送信しても良い。さらに、第２の実施の形態において、８０８直後にて、このデータ列の受信有無を確認し、ハーフペル動き補償を使用しないことを示すデータ列を受信した場合には、８０８にて動き補償の処理を常にフルペル動き補償とするようにしても良い。

さらに、動き補償以外にも、この考えを適用できる。たとえば、ＤＣＴ計算で、高周波成分を使用しないようにすることで、ＤＣＴ計算の処理時間を減らすことができる。つまり、受信方法にて、ＩＤＣＴ計算の実行時間の全体の実行時間に占める割合が一定値を越える場合には、その旨を示すデータ列を送信側に伝送する。送信側では、このデータ列を受信した場合には、ＤＣＴ計算において低周波成分のみを計算し、高周波成分はすべて０にしても良い。

さらに、ここでは、画像を用いて実施の形態を説明したが、画像以外の音声などに、上記の各方法を適用しても良い。

また、第３の実施の形態において、３０３４にて、ハーフペル動き補償の実際の実行回数を記録し、これの最大値を算出する。そして、この最大値が充分小さな値（例えば、２とか３）以下の場合には、ハーフペル動き補償を使用しないことを示すデータ列（特定のビットパターンから成るデータ列）を生成し、これを送信しても良い。さらに、第１の実施の形態において、ハーフペル動き補償を使用しないことを示すデータ列を受信した場合には、１０２２での動き補償の処理を常にフルペル動き補償とするようにしても良い。

さらに、動き補償以外にも、この考えを適用できる。たとえば、ＤＣＴ計算で、高周波成分を使用しないようにすることで、ＤＣＴ計算の処理時間を減らすことができる。つまり、受信方法にて、ＩＤＣＴ計算の実行時間の全体の実行時間に占める割合が一定値を越える場合には、その旨を示すデータ列を送信側に伝送する。

送信側では、このデータ列を受信した場合には、ＤＣＴ計算において低周波成分のみを計算し、高周波成分はすべて０にしても良い。

さらに、ここでは、画像を用いて実施の形態を説明したが、画像以外の音声などに、上記の方法を適用しても良い。

以上説明したところから明らかなように、例えば第１の実施の形態、第３の実施の形態によれば、推定された各要素の実行時間から復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要した時間（指定時間）を越えるようであれば、実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、実行時間が指定時間を越えないようにでき、課題（Ｃ１）を解決することができる。

また、例えば第５の実施の形態、第７の実施の形態によれば、推定された各要素の実行時間を送信側に伝送し、送信側にて復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要するであろう時間（指定時間）を越えないように実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、送られた符号化情報のうち、ハーフペル動き補償の情報が捨てられることなく、実行時間が指定時間を越えないようにでき、課題（Ｃ２）を解決することができる。

また、例えば第９の実施の形態によれば、各処理の実行時間を推定し、この推定実行時間に基き、符号化に要する実行時間を予め予測し、この予測符号化時間が、フレームレートから決まる画像の符号化に使用可能な時間以下になるように、実行回数を決定することにより、課題（Ｃ３）を解決することができる。

このように、本発明により、計算負荷が増大してもゆるやかに品質を落とす機能（ＣＧＤ：ＣｏｍｐｕｔａｔｉｏｎａｌＧｒａｃｅｆｕｌＤｅｇｒａｄａｔｉｏｎ）を実現出来、実施に伴う利益は非常に大である。

又、以上述べてきた実施の形態の何れか一つに記載の各ステップ（又は、各手段）の全部又は一部のステップ（又は、各手段の動作）をコンピュータに実行させるためのプログラムを記録した磁気記録媒体や、光記録媒体などの記録媒体を作成し、その記録媒体を用いてコンピュータにより上記と同様の動作を行っても良い。

本発明の実施例における画像音声送受信装置の概略構成図受信管理部と分離部とを示す図複数の論理的な伝送路を用いて画像や音声の伝送、制御する方法を示す図送信すべき画像や音声のデータに付加するヘッダ情報の動的な変更方法を示す図（ａ）〜（ｂ）：ＡＬ情報の付加方法を示す図（ａ）〜（ｄ）：ＡＬ情報の付加方法の例を示す図複数の論理的な伝送路を動的に多重化、分離して情報の伝送を行う方法を示す図放送番組の伝送手順を示す図（ａ）：プログラム、データが受信端末にある場合における、プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法を示す図、（ｂ）：プログラム、データが送信される場合における、プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法を示す図（ａ）〜（ｂ）：ザッピングに対する対応方法を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図実際に端末間で送受信されるプロトコルの具体例を示す図（ａ）〜（ｂ）：本発明のＣＧＤのデモシステム構成図本発明のＣＧＤのデモシステム構成図エンコーダでの過負荷時の優先度の付加方法を示す図過負荷時の受信端末での優先度の決定方法について記した図優先度の時間変化を示す図ストリーム優先度とオブジェクト優先度を示す図本発明の実施例における画像符号化、画像復号化装置の概略構成図本発明の実施例における音声符号化、音声復号化装置の概略構成図（ａ）〜（ｂ）：過負荷時の処理の優先度を管理する優先度付加部、優先度決定部を示す図優先度を付加する粒度を示す図優先度を付加する粒度を示す図優先度を付加する粒度を示す図多重解像度の画像データへ優先度の割り当て方法を示す図通信ペイロードの構成方法を示す図データを通信ペイロードへ対応づける方法を示す図オブジェクト優先度、ストリーム優先度と通信パケット優先度との対応を示す図本発明の第１の実施の形態における送信装置の構成図第１の実施の形態の説明図本発明の第３の実施の形態における受信装置の構成図本発明の第５の実施の形態における受信装置の構成図第５の実施の形態の説明図本発明の第６の実施の形態における送信装置の構成図本発明の第８の実施の形態における送信装置の構成図本発明の第２の実施の形態における送信方法のフローチャート本発明の第４の実施の形態における受信方法のフローチャート本発明の第７の実施の形態における送信方法のフローチャート本発明の第９の実施の形態における送信方法のフローチャート本発明の画像・音声送信装置の一例を示す構成図本発明の画像・音声受信装置の一例を示す構成図本発明の画像・音声送信装置の映像と音声に優先度を付加する優先度付加手段について説明する図本発明の画像・音声受信装置の映像と音声に付加された優先度を解釈し、復号処理の可否を決定する優先度決定手段について説明する図

符号の説明

１１受信管理部
１２分離部
１３伝送部
１４画像伸長部
１５画像伸長管理部
１６画像合成部
１７出力部
１８端末制御部
３０１受信手段
３０２推定手段
３０３動画像の復号化装置
３０４回数削減手段
３０６出力端子
３０７入力端子
３０３１可変長復号化手段
３０３２逆直交変換手段
３０３３切替器
３０３４動き補償手段
３０３５実行時間計測手段
４０１１送信管理部
４０１２画像符号部
４０１３受信管理部
４０１４画像復号部
４０１５画像合成部
４０１６出力部
４１０１画像符号化装置
４１０２画像復号化装置

Claims

番組に関連する副番組を受信する副番組受信部と、
第１の番組から第２の番組に切り替えるとき、前記副番組受信部が受信した前記第２の番組に関連する副番組を選択して提示する視聴部とを備える受信端末。
前記視聴部は、前記第２の番組の関連する副番組を提示した後に、前記第２の番組を提示する請求項１記載の受信端末。
前記番組と前記副番組とは、異なるチャンネルで受信する請求項１記載の受信端末。
前記副番組は、番組をサンプリングしたものである請求項１記載の受信端末。
前記副番組は、番組を周期的にサンプリングしたものである請求項４記載の受信端末。
前記副番組は、複数の番組をサンプリングしたものである請求項４記載の受信端末。
番組に関する副番組を受信するステップと、
第１の番組から第２の番組に切り替えるとき、前記受信した前記第２の番組に関連する副番組を選択して提示するステップとを備える受信方法。