JP2004048657A - 画像・音声受信装置 - Google Patents

Abstract

【課題】伝送フォーマット情報の動的な変更は行えなかった。
【解決手段】記憶装置や通信路から、データとその伝送フォーマット情報とを含む情報を受信する受信管理部１１と、受信情報を解析し、分離する分離部１２と、記憶装置や通信路へ情報を送信する伝送部１３と、画像を伸長する画像伸長部１４と、画像伸長管理部１５は、少なくとも１つ以上の画像の伸長を行う前記画像伸長部１４の処理状態を管理し、伸長された情報をもとに画像合成を行う画像合成部１６と、合成結果を出力する出力部１７と、これら各手段を制御、管理する端末制御部１８から構成される画像合成装置により、同時に複数の画像の合成が行われ、又、伝送フォーマット情報の動的な変化に対応することが出来る。
【選択図】　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像・音声の受信装置に関する。
【０００２】
【従来の技術】
従来より、自分が居る空間の風景の画像中から、例えば人物画像を抽出し、その画像と相手側から送られてきた人物画像と予め記憶されている相手側と共通的に表示する仮想的な空間の画像と重畳して表示することにより、相手が自分の前にいるという実在感を充足し、臨場感のある映像通信を目指したものがある（特公平４−２４９１４号公報）。
【０００３】
特に、従来の技術では画像合成を行うための高速化、メモリーを低減する方法に関する発明が行われている（例えば、特公平５−４６５９２号公報：画像合成装置）。
【０００４】
【発明が解決しようとする課題】
この様な従来の技術では、２次元の静止画や３次元のＣＧデータを合成する画像合成を利用した通信システムが提案されていたが、複数の動画や音声を同時に合成して表示させるシステムの実現方法について、下記の観点からの具体的な議論が行われていなかった。
【０００５】
即ち、（Ａ１）一つあるいは二つ以上の現実の伝送路上においてソフト的に構築される複数の論理的な伝送路を用いて、データと制御情報（データとは別のパケットで伝送される、端末側の処理を制御するための情報）とが独立して伝送される環境下での画像や音声の伝送（通信と放送）及び、その制御方法、（Ａ２）送信すべき画像や音声のデータに付加するヘッダ情報（本発明のデータ管理情報に対応）の動的な変更方法、（Ａ３）送信のために付加するヘッダ情報（本発明の伝送管理情報に対応）の動的な変更方法、（Ａ４）複数の論理的な伝送路を動的に多重化、分離して情報の伝送を行う方法、（Ａ５）プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法、及び（Ａ６）ザッピングを考慮した画像や音声の伝送方法等の観点からの具体的な議論が行われていなかったという課題があった。
【０００６】
一方、従来より、ネットワークへの伝送量を動的に調整する方法としては、エンコードの方式を変更する方式や、映像のフレームタイプに応じて、フレーム単位でデータを廃棄する方式が提案されている（秦泉寺（じんぜんじ）浩史、田尻哲男、分散適応型ＶＯＤシステムの一検討、Ｄ−８１、電子情報通信学会システムソサイエティ（１９９５））。
【０００７】
エンコーダ側で処理量を調整する方式としては、処理時間拘束のもとで画質の高い映像を提供できる動的演算量スケーラブルアルゴリズムが提案されている（大迫　史典，矢島　由幸，小寺　博，渡辺　裕，島村　和典：動的演算量スケーラブ　ルアルゴリズムによるソフトウェア画像符号化，電子情報通信学会論文誌　Ｄ−　２，　Ｖｏｌ．８０−Ｄ−２，　Ｎｏ．２，　ｐｐ．４４４−４５８（１９９７）．）。
【０００８】
また、動画と音声の同期再生を実現した例としては、ＭＰＥＧ１／ＭＰＥＧ２のシステムがある。
【０００９】
この様な従来の技術における、（Ｂ１）従来方式の映像のフレームタイプに応じて映像を廃棄する方式では、扱える情報の粒度が、単一のストリーム内であるため、複数のビデオストリームや複数のオーディオストリームの取り扱いや、編集者の意図を反映させて、重要なシーンカットを重点的にオーディオとともに同期再生をさせることは困難であるという課題があった。（Ｂ２）また、ＭＰＥＧ１／ＭＰＥＧ２では、ハードウェアでの実現が前提であるため、デコーダは与えられたビットストリームをすべてデコードできることが前提となる。したがって、デコーダの処理能力を超えた場合の対応方法が不定となる課題が有る。
【００１０】
又一方、従来、動画像の伝送においては、Ｈ．２６１（ＩＴＵ−Ｔ　Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　Ｈ．２６１−Ｖｉｄｅｏ　ｃｏｄｅｃ　ｆｏｒ　ａｕｄｉｏｖｉｓｕａｌ　ｓｅｒｖｉｃｅｓ　ａｔ　ｐｘ６４）などの方式を用いたものがあり、これまで、ハードウェアにより実装されていた。このため、ハードウェア設計時に、必要な性能の上限を考慮しているため指定時間以内に復号化処理を完了できないという場合は、生じなかった。
【００１１】
なお、ここで、指定時間とは、一枚の画像を符号化したビットストリームの伝送に要する時間である。この時間内に復号化できないと、超過した時間が遅延となり、これが蓄積して大きくなると、送信側から受信側までの遅延が大きくなりテレビ電話としての使用に適しなくなる。このような状況は避けねばならない。
【００１２】
また、通信相手が規格外のビットストリームを生成しているために復号化処理を指定時間内に完了できない場合には、動画像の伝送ができないという課題があった。
【００１３】
上記の課題は、動画像だけではなく、音声データにおいても発生する課題である。
【００１４】
ところが近年、インタネットやＩＳＤＮの普及という形でパーソナルコンピュータ（ＰＣ）でのネットワーク環境が整備された結果、伝送速度が速くなり、ＰＣとネットワークを利用した動画像の伝送が可能になってきた。ユーザからの動画像伝送に対する要求も、とみに高まってきている。また、ＣＰＵ性能の向上により、ソフトウェアによる動画像の復号化が充分可能となってきている。
【００１５】
しかしながら、パーソナルコンピュータにおいては同じソフトウェアを、ＣＰＵ、バス幅、アクセラレータの有無など、装置構成の異なるコンピュータで実行可能であるため、必要な性能の上限を予め考慮することが困難であり、指定時間内に画像を復号化できない場合が生じる。
【００１６】
また、受信装置の処理能力を越える長さの動画像の符号化データが伝送された場合には指定時間内の符号化が不可能となる。
【００１７】
課題（Ｃ１）：指定時間内に画像を復号化し、遅延を小さく抑える。
【００１８】
また、この課題Ｃ１の解決手段として、例えば、波形データとして動画像を入力する場合であれば、伝送されたビットストリームのうち一部を使用しないため、伝送路の実質使用効率が悪い、という問題が残る場合もある。また、符号化方式によっては、前回の復号画像をもとに今回の復号画像を生成するものがあるが（Ｐピクチャなど）、前回の復号画像を完全に復元しない場合があるため、画質劣化が、時間とともに波及的に大きくなるという問題もある。
【００１９】
課題（Ｃ２）：伝送路の実質使用効率が悪い。また、画質劣化が波及する。
【００２０】
また、ソフトウェアによる実装では、一回の符号化処理に要する時間で画像のフレームレートが決まるため、ユーザの指定したフレームレートが計算機の処理限界を越えた場合には、指定に応えることができなかった。
【００２１】
課題（Ｃ３）：ユーザの指示したフレームレートが、計算機の処理限界を越えると指定に応えられない。
【００２２】
本発明は、上記第１の従来技術の課題（Ａ６）を考慮し、この課題を解決する画像・音声受信装置を提供することを目的とする。
【００２３】
【課題を解決するための手段】
請求項１記載の本発明は、画像データ及び／又は音声データからなる番組を視聴するための主視聴手段と、前記主視聴手段により視聴されている前記番組以外の番組の状況を周期的に検出する副視聴手段とを備え、前記副視聴手段において、少なくとも制御情報を受信することで、チャンネル切り替え時の受信端末でのプログラムの読み込みや立ち上がりの準備を行う画像・音声受信装置である。
【００２４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら説明する。
【００２５】
尚、ここで述べる実施の形態は、主に、上述した課題（Ａ１）〜（Ａ６）の何れかを解決するものである。
【００２６】
本発明で使用する「画像」としては、静止画と動画の両方を含む。また、対象とする画像は、コンピュータ・グラフィックス（ＣＧ）のような２次元画像とワイヤーフレーム・モデルから構成されるような３次元の画像データであってもよい。
【００２７】
図１は、本発明の実施の形態における画像音声送受信装置の概略構成図である。
【００２８】
同図において、情報を受信する受信管理部１１と情報を送信する伝送部１３は、同軸ケーブル、ＣＡＴＶ、ＬＡＮ、モデム等の情報を伝送する手段である。通信環境としては、インターネットのように、多重化手段を意識せずに複数の論理的な伝送路が利用できる通信環境であってもよいし、アナログ電話や衛星放送のように多重化手段を意識しなければならない通信環境であってもよい。
【００２９】
また、端末の接続形態としては、ＴＶ電話やＴＶ会議システムのように端末間で双方向で映像や音声を送受信する形態や、衛星放送やＣＡＴＶ、インターネット上での放送型の映像や音声放送の形態が挙げられる。本発明では、このような端末の接続形態について考慮している。
【００３０】
図１に示す分離部１２は受信情報を解析し、データと制御情報を分離する手段である。具体的には、送信のためにデータに付加された送信用のヘッダ情報とデータとを分解したり、データ自身に付加されたデータ制御用のヘッダとデータの中身を分解するための手段である。画像伸張部１４は受信した画像を伸張する手段である。たとえば、Ｈ．２６１、Ｈ．２６３、ＭＰＥＧ１／２、ＪＰＥＧといった標準化された動画や静止画の圧縮画像であってもよいし、そうでなくてもよい。
【００３１】
図１に示す画像伸張管理部１５は画像の伸張状態を監視する手段である。たとえば、画像の伸張状態を監視することで、受信バッファがオーバーフローを起こしそうになった場合に、画像の伸張を行わずに、受信バッファを空読みし、画像の伸張ができる状態になった時点から、画像の伸張を再開させることができる。
【００３２】
又、同図において、画像合成部１６は、伸張された画像を合成する手段である。合成方法に関しては、ＪＡＶＡ、ＶＲＭＬ、ＭＨＥＧといったスクリプト言語で、画像と画像の構造情報（表示位置と表示時間（表示期間を含めてもよい））、画像同士のグルーピングの方法、画像の表示のレイヤ（深さ）、そして、オブジェクトＩＤ（後述するＳＳＲＣ）と、これらの属性の関係を記述することによって画像の合成方法が定義できる。合成方法を記述したスクリプトはネットワークやローカルの記憶装置から入出力する。
【００３３】
又、出力部１７は、画像の合成結果を出力するディスプレイやプリンターなどである。端末制御部１８はこれら各部を制御する手段である。なお、画像の代わりに音声を伸張する構成であっても（画像伸張部を音声伸張部に、画像伸張管理部を音声伸張管理部に、画像合成部を音声合成部に変更することで対応できる）、画像と音声の両方を伸張し、時間的に同期を保ちながら合成、表示する構成であってもよい。
【００３４】
さらに、画像を圧縮する画像圧縮部、画像圧縮部を管理する画像圧縮管理部、音声を圧縮する音声圧縮部、音声圧縮部を管理する音声圧縮管理部を備えることにより、画像や音声の伝送も可能になる。
【００３５】
図２は受信管理部１１と分離部１２とを示す図である。
【００３６】
図１に示した受信管理部１１にデータを受信するデータ受信部１０１とデータを制御するための制御情報を受信する制御情報受信部１０２と、分離部１２に伝送内容を解釈するための伝送構造（詳細は後述する）について記憶する伝送フォーマット記憶部１０３と、伝送フォーマット記憶部１０３に記憶された伝送構造に基づき伝送内容を解釈する伝送情報解釈部１０４で各部を構成することで、データと制御情報を独立して受信することが可能になるので、例えば、受信しながらの受信画像や音声の削除や移動が容易になる。
【００３７】
前述したが、受信管理部１１が対象とする通信環境としては、インターネットのように、多重化手段を意識せずに複数の論理的な伝送路が利用できる通信環境（インターネット・プロファイル）であってもよいし、アナログ電話や衛星放送のように多重化手段を意識しなければならない通信環境（Ｒａｗプロファイル）であってもよい。しかし、利用者から見れば、論理的な伝送路（ロジカルチャンネル）が複数個用意されている通信環境を前提としている（たとえば、ＴＣＰ／ＩＰが使える通信環境では「通信ポート」と呼ばれる表現が一般に使われる）。
【００３８】
また、図２に示すように、受信管理部１１が受信する情報としては１種類以上のデータ用の伝送路と、伝送するデータを制御するための制御用の論理的な伝送路を１種類以上を想定している。データ伝送用の伝送路を複数用意し、データ制御用の伝送路を１本だけ用意してもよい。また、Ｈ．３２３でも利用されているＲＴＰ／ＲＴＣＰのように、データ伝送毎にデータ制御用の伝送路を用意してもよい。さらに、ＵＤＰを使った放送を考慮した場合、単一の通信ポート（マルチキャストアドレス）を使った通信形態であってもよい。
【００３９】
図３は、複数の論理的な伝送路を用いて画像や音声の伝送、制御する方法について説明する図である。伝送するデータ自身をＥＳ（エレメンタリー・ストリーム）と呼び、ＥＳとしては、画像であれば１フレーム分の画像情報や１フレームよりも小さいＧＯＢ単位やマクロブロック単位の画像情報であってもよい。
【００４０】
音声であれば、利用者が決めた固定長の長さであってよい。また、伝送するデータに付加するデータ制御用のヘッダ情報をＡＬ（アダプテーション・レイヤ情報）と呼ぶ。ＡＬ情報としては、データの処理可能な開始位置であるかどうかを示す情報、データの再生時刻を示す情報、データの処理の優先度を示す情報などがあげられる。本発明のデータ管理情報は、ＡＬ情報に対応する。なお、本発明で用いられるＥＳとＡＬはＭＰＥＧ１／２で定義されている内容と必ずしも合致しなくてもよい。
【００４１】
データの処理可能な開始位置であるかどうかを示す情報は、具体的には２種類の情報があげられる。１つはランダムアクセスのためのフラグであり、例えば、画像ならイントラフレーム（Ｉピクチャ）といったように前後のデータに関係なく単独に読みとって再生できることを示すための情報である。２つ目としては、単に単独で読みとりが可能であることを示すためのフラグとして、アクセスフラグが定義できる。たとえば、画像ならばＧＯＢ単位やマクロブロック単位の画像の先頭であることを示す情報である。従って、アクセスフラグがなければデータの途中である。必ずしもデータの処理可能な開始位置であるかどうかを示す情報としてランダムアクセスのフラグと、アクセスフラグの両方が必要ではない。
【００４２】
ＴＶ会議システムのようなリアルタイム通信では両方のフラグを付加しなくても問題が起こらない場合もあるし、編集を簡単に行えるようにするためにはランダムアクセスフラグは必要である。フラグが必要であるか、必要な場合でもどのフラグが必要かを通信路を介してデータ転送前に決定しておいてもよい。
【００４３】
データの再生時刻を示す情報は、画像と音声の再生される時の時間同期の情報を示し、ＭＥＰＧ１／２ではＰＴＳ（プレゼンテーション・タイムスタンプ）と呼ばれる。ＴＶ会議システムのようなリアルタイム通信では通常、時間同期に関しては考慮されていないため、必ずしも再生時刻を意味する情報は必要ない。必要な情報としては、エンコードされたフレームの時間間隔になるかもしれない。
【００４４】
時間間隔を受信側で調整させることによって、フレーム間隔の大きな変動は防げるが、再生間隔を調整させることで遅延になる可能性もある。従って、エンコードのフレーム間隔を示す時間情報も必要ないと判断できる場合もある。
【００４５】
データの再生時刻を示す情報は、ＰＴＳを意味するのか、フレーム間隔を意味するのか、データの再生時刻をデータ自身には付加しないということを通信路を介してデータ転送前に決定して受信端末に通知して、決定されたデータ管理情報とともにデータを伝送してもよい。
【００４６】
データの処理の優先度を示す情報は、受信端末の負荷やネットワークの負荷によって処理もしくは伝送できない場合に、データの処理を中止させたり、伝送を取りやめることによって受信端末の負荷やネットワークの負荷を低減させることができる。
【００４７】
受信端末では画像伸張管理部１５で、ネットワークでは、中継の端末やルータなどで処理することができる。優先度の表現方法としては数値による表現やフラグであってもよい。なお、データの処理の優先度を示す情報のオフセット値を制御情報、もしくはデータとともにデータ管理情報（ＡＬの情報）として伝送することで、受信端末の負荷やネットワークの負荷の急激な変動に対して、あらかじめ画像や音声に割り当てている優先度にオフセット値を加えることで、システムの動作状況に応じた動的な優先度の設定が可能になる。
【００４８】
さらに、スクランブルの有無、コピーライトの有無、オリジナルかコピーかを識別するための情報をデータとは別に、データの識別子（ＳＳＲＣ）とともに制御情報として送信することで、中継ノードでのスクランブルの解除などが容易になる。
【００４９】
なお、データの処理の優先度を示す情報は、複数のビデオやオーディオのフレームの集合から構成されるストリーム単位で付加してもよいし、ビデオやオーディオのフレーム単位に付加してもよい。
【００５０】
Ｈ．２６３やＧ．７２３などの符号化方法で、符号化された情報の過負荷時の処理の優先度を予め決められた基準で決定し、符号化された情報と決定された優先度を対応づける優先度付加手段を送信端末装置に備える（図５４参照）。
【００５１】
図５４は、映像と音声に優先度を付加する優先度付加手段５２０１について説明する図である。
【００５２】
即ち、同図に示す様に、符号化された映像と音声の各データ（それぞれ映像符号化手段５２０２と音声符号化手段５２０３が処理する）に対して、予め決められた規則に基づき優先度を付加する。優先度を付加する規則は、優先度付加規則５２０４に規則が格納されている。規則とは、Ｉフレーム（フレーム内符号化された映像フレーム）は、Ｐフレーム（フレーム間符号化された映像フレーム）よりも高い優先度付加するという規則や、映像は音声よりも低い優先度を付加するという規則である。また、この規則は利用者の指示により動的に変更しても良い。
【００５３】
優先度を付加する対象となるものは、たとえば、画像であればシーンチェンジ、編集者や利用者が指示した画像フレームやストリーム、音声であれば、有音区間と無音区間である。
【００５４】
過負荷時の処理の優先度を定義する、画像や音声フレーム単位の優先度の付加方法は、通信ヘッダへ付加する方法と符号化時にビデオやオーディオの符号化されたビットストリームのヘッダに埋め込む方法が考えられる。前者は、復号せずに優先度に関する情報を得ることが可能であり、後者はシステムに依存せずにビットストリーム単体で独立に扱うことが可能である。
【００５５】
通信ヘッダに優先度情報を付加する場合、１つの画像フレーム（たとえば、フレーム内符号化されたＩフレーム、フレーム間符号化されたＰ、Ｂフレーム）が複数個の送信パケットに分割される場合、画像であれば単独の情報としてアクセス可能な画像フレームの先頭部分を伝送する通信ヘッダのみに優先度を付加する（同一の画像フレーム内で優先度が等しい場合、次のアクセス可能な画像フレームの先頭が現れるまで、優先度は変わらないものとすればよい）。
【００５６】
なお、用途に合わせて、優先度が表現できる値の範囲（たとえば、時間情報を１６ビットで表現するとか、３２ビットで表現するとか）を可変にして、制御情報でコンフィグレーションできるようにしてもよい。
【００５７】
また、復号化装置では、受信された種々の符号化された情報の過負荷時の優先度に従って、処理の方法を決定する優先度決定手段を受信端末装置に備える（図５５参照）。
【００５８】
図５５は、映像と音声に付加された優先度を解釈し、復号処理の可否を決定する優先度決定手段５３０１について説明する図である。
【００５９】
即ち、同図に示す様に、優先度は映像、音声のストリーム毎に付加される優先度、映像もしくは音声のフレーム毎に付加される優先度である。これらの優先度はそれぞれ独立に用いてもよいし、フレーム優先度とストリーム優先度とを対応付けて用いてもよい。優先度決定手段５３０１は、これら優先度に応じて復号すべきストリームやフレームを決定する。
【００６０】
端末での過負荷時の処理の優先度を決定する２種類の優先度を用いて、デコード処理を行なう。すなわち、映像、音声といったビットストリーム間の相対的優先度を定義するストリーム優先度（Ｓｔｒｅａｍ　Ｐｒｉｏｒｉｔｙ；時系列間優先度）と、同一ストリーム内の映像フレームといった復号処理単位間の相対的優先度を定義するフレーム優先度（Ｆｒａｍｅ　Ｐｒｉｏｒｉｔｙ；時系列内優先度）を定義する（図３０）。
【００６１】
前者のストリーム優先度により複数のビデオやオーディオの取り扱いが可能になる。後者のフレーム優先度により映像のシーンチェンジや編集者の意図に応じて、同一のフレーム内符号化された映像フレーム（Ｉフレーム）でも異なる優先度の付加が可能になる。
【００６２】
なお、ストリーム優先度を、画像や音声の符号化もしくは復号化処理のオペレーティング・システム（ＯＳ）での割り当て時間もしく処理の優先度に対応付けて管理することで、ＯＳレベルでの処理時間の管理が可能となる。たとえば、マイクロソフト社のＷｉｎｄｏｗｓ９５／ＮＴでは５段階のＯＳレベルでの優先度の定義ができる。符号化、復号化の手段をソフトウェアでスレッドの単位で実現した場合、処理対象となるストリームのストリーム優先度から、各スレッドに割り当てるＯＳレベルでの優先度を決定することができる。
【００６３】
ここで述べた、フレーム優先度とストリーム優先度は、伝送媒体やデータ記録媒体へ適用が可能である。例えば、伝送するパケットの優先度をアクセスユニット優先度（Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｐｒｉｏｒｉｔｙ）と定義すると、Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｐｒｉｏｒｉｔｙ＝Ｓｔｒｅａｍ　Ｐｒｉｏｒｉｔｙ−Ｆｒａｍｅ　Ｐｒｉｏｒｉｔｙといった、フレーム優先度と、ストリーム優先度の関係式から、パケットの伝送に関する優先度、若しくは、端末による過負荷時の処理の優先度を決定することが出来る。
【００６４】
又、データ記録媒体としてフロッピーディスク、光ディスクなどを用いて行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。さらに、データの中継を行うルータやゲートウェイといった画像や音声の中継装置を対象としてもよい。
【００６５】
具体的な優先度に関する利用方法としては、受信端末が過負荷である場合に、処理すべき符号化された情報の優先度の閾値を決定する優先度決定手段を画像伸長管理部１５や音声伸長管理部に具備し、表示されるべき時刻（ＰＴＳ）と現在までの処理開始からの経過時間もしくは、復号されるべき時刻（ＤＴＳ）と現在までの処理開始からの経過時間を比較し、比較結果により処理すべき符号化された情報の優先度の閾値を変化させる（閾値を変化させるための情報としては、Ｉフレームの挿入間隔、優先度の粒度を参考にしてもよい）。
【００６６】
図２５（ａ）に示す例では、エンコード時には、取り込まれたＱＣＩＦ、ＣＩＦのサイズの画像をエンコーダ（Ｈ．２６３）により、エンコードを行い、エンコードされた情報とともに、復号する時刻（ＤＴＳ）、画像を表示する時刻を示すタイムスタンプ（ＰＴＳ）、過負荷時の処理の順序を示す優先度情報（ＣＧＤ、Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｇｒａｃｅｆｕｌ　Ｄｅｇｒａｄａｔｉｏｎ）、フレームタイプ、シーケンス番号（ＳＮ）を出力する。
【００６７】
また、図２５（ｂ）に示す例では、音声もマイクを通して録音され、エンコーダ（Ｇ．７２１）により、エンコードを行い、エンコードされた情報とともに、復号する時刻（ＤＴＳ）、音声を再生する時刻を示すタイムスタンプ（ＰＴＳ）、優先度情報（ＣＧＤ）、シーケンス番号（ＳＮ）を出力する。
【００６８】
デコード時には、図２６に示す様に、画像と音声は、それぞれ別々のバッファに渡され、画像と音声はそれぞれのＤＴＳ（復号時刻）と現在の処理開始からの経過時間とを比較して、ＤＴＳの方が遅れていなければ、画像と音声はそれぞれのデコーダ（Ｈ．２６３、Ｇ．７２１）に渡される。
【００６９】
図２７の例では、エンコーダでの過負荷時の優先度の付加方法について記している。画像はＩフレーム（フレーム内符号化された画像フレーム）は優先度が「０」と「１」で高い優先度を割り当てている（数字が大きいほど優先度が低い）。Ｐフレームは優先度が「２」でＩフレームよりも低い優先度を割り当てている。Ｉフレームは、２段階の優先度を割り当てているため、デコードする端末の負荷が高い場合、優先度が「０」のＩフレームのみを再生するといったことができる。なお、優先度の付加方法に応じて、Ｉフレームの挿入間隔を調整する必要がある。
【００７０】
図２８の例は、過負荷時の受信端末での優先度の決定方法について記した図である。廃棄するフレームの優先度をＣｕｔＯｆｆＰｒｉｏｒｉｔｙよりも大きいと設定する。つまり、すべての画像フレームを処理の対象とする。画像フレームに付加される優先度の最大値は端末接続時に送信側から受信側へ通知することにより、あらかじめ知ることができる（ステップ１０１）。
【００７１】
ＤＴＳと現在の処理開始からの経過時間を比較して、経過時間の方が大きい場合（復号処理が間に合っていない場合）、処理対象とすべき画像、音声の優先度の閾値ＣｕｔＯｆｆＰｒｉｏｒｉｔｙを引き下げ、処理を間引く（ステップ１０２）、逆に処理開始からの経過時間の方が小さい場合（復号処理が間に合っている場合）は、処理できる対象の画像や音声を増やすために、優先度の閾値ＣｕｔＯｆｆＰｒｉｏｒｉｔｙを引き上げる（ステップ１０３）。
【００７２】
１つ前の画像フレームがＰフレームでスキップされているならば処理は行わない。そうでなければ、画像フレーム（もしくは音声のフレーム）の優先度に優先度のオフセット値を付加し、優先度の閾値と比較し、閾値をこえていなければ、デコーダに復号すべきデータを渡す（ステップ１０４）。
【００７３】
なお、優先度のオフセットは、マシンの性能をあらかじめ調べ、受信端末へオフセットを通知しておくという使い方（利用者が受信端末で指示してもよい）、複数のビデオとサウンドストリームのストリーム単位の優先度を変更するという使い方（例えば、一番後ろの背景はオフセット値をあげて処理を間引くようにする）ができる。
【００７４】
マルチストリームを対象とする場合、ストリーム毎の優先度を付加し、画像や音声のデコードのスキップ判定をしてもよい。加えて、リアルタイム通信においてもＨ．２６３のＴＲ（テンポラリーリファレンス）をＤＴＳと同様にして取り扱い利用することで、端末でのデコード処理が進んでいるか、遅れているかを判定でき、上記で述べた同様のスキップ処理を実現することができる。
【００７５】
図２９は、図２８のアルゴリズムを実装して、優先度の時間変化を調べたものである。
【００７６】
同図では、映像フレームに付加される優先度の変化を示している。この優先度は端末が過負荷である際の復号の可否を決定するための優先度であり、各フレーム毎に付加される。優先度は値が小さいほど優先度が高い。同図の例では０が最も優先度が高い。優先度の閾値が３であるとき、３よりも大きな値の優先度のフレームは復号されずに廃棄され、３以下の値の優先度が付加されているフレームは復号される。優先度による選択的なフレームの廃棄を行うことで、端末の負荷を押さえることが可能である。この優先度の閾値は、現在の処理時刻と各フレームに付加される復号処理時間（ＤＴＳ）との関係から動的に決定してもよい。本手法は映像フレームだけでなく、音声に対しても同様な要領で適用が可能である。
【００７７】
インターネットのような伝送路を考えた場合、伝送途中で紛失した符号化された情報の再送が必要な場合、再送すべき符号化された情報の優先度の閾値を決定する再送要求優先度決定部を受信管理部１１に備え、優先度決定部が管理する優先度や、再送回数、情報の損失率、フレーム内符号化されたフレームの挿入間隔、優先度の粒度（たとえば、５段階の優先度など）の情報をもとに、再送要求すべき符号化された情報に付加された優先度の閾値を決定することで、受信端末で必要とする画像や音声のみを再送要求することができる。再送回数や情報の損失率が大きければ、再送すべき対象とする情報の優先度を引き上げて、再送や損失率を低下させる必要がある。また、優先度決定部で使用されている優先度を知ることで、処理対象外の情報の伝送をなくすことができる。
【００７８】
送信側端末に関しては、送信端末の情報の目標転送レートよりも実際の転送レートが超える場合や、送信バッファへの符号化された情報の書き込みが、現在までの転送処理開始からの経過時間と符号化された情報に付加されている復号もしくは表示される時刻とを比較して、送信バッファへの情報の書き込みが遅れている場合、符号化された情報に付加され、受信端末の優先度決定部で利用される端末が過負荷時の優先度を用いて、情報の送信を間引くことで、目標レートにあった画像や音声の伝送が可能となる。また、受信側端末で行っているような過負荷時の処理のスキップ機能を送信側端末でも導入することで送信側端末の過負荷による破綻を押さえることができる。
【００７９】
上記で説明したＡＬの情報を必要に応じて、必要な情報だけを伝送できるようにすることによって、アナログ電話回線のような狭帯域の通信路には伝送情報量を調節できるので有効である。実現方法としては、送信側端末でデータ自身に付加するデータ管理情報を予めデータ送信前に決定し、受信端末に使用するデータ管理情報を制御情報（たとえば、ランダムアクセスフラグだけを使用するとか）として通知するとともに、受信側端末では得られた制御情報をもとに、前記伝送フォーマット記憶部１０３で記憶する伝送構造に関する情報（どのＡＬの情報を使用するか表している）を書き換えることにより、送信側で使用するＡＬの情報（データ管理情報）の組み替えが可能になる（図１９〜図２０参照）。
【００８０】
図４は、送信すべき画像や音声のデータに付加するヘッダ情報の動的な変更方法について説明する図である。図の例では、伝送すべきデータ（ＥＳ）をデータ片に分解し、得られたデータ片に、データの順序関係を示すための識別情報（シーケンス番号）と、データ片の処理可能な開始位置であるかどうかを示す情報（マーカービット）と、データ片の転送に関する時間情報（タイムスタンプ）とを、本発明の伝送管理情報に対応するものとして、通信ヘッダの形でデータ片に付加している。
【００８１】
具体的な例としては、ＲＴＰ（Ｒｅａｌｔｉｍｅ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ、ＲＦＣ１８８９）では上記のシーケンス番号、マーカービット、タイムスタンプ、オブジェクトＩＤ（ＳＳＲＣと呼ばれている）、バージョン番号などの情報を通信ヘッダとして使用している。ヘッダ情報の項目の拡張は可能であるが、上記の項目は固定の項目として必ず付加される。しかし、複数の異なる符号化の画像や音声を複数、同時に伝送する通信環境で、ＴＶ電話のようにリアルタイム通信とビデオ・オン・デマンドのように蓄積メディアの伝送が混在する場合、通信ヘッダの持つ意味合いが異なり、識別する手段が必要である。
【００８２】
例えば、タイムスタンプの情報は、ＭＰＥＧ１／２の場合は前述したように再生時刻であるＰＴＳを示すが、Ｈ．２６１やＨ．２６３ではエンコードされた時間間隔を表す。しかし、Ｈ．２６３を音声と同期をとって処理を行いたい場合、タイムスタンプがＰＴＳの情報であることを示す必要がある。なぜならば、Ｈ．２６３の場合、タイムスタンプの情報は、エンコードされたフレーム間の時間間隔を示すのであって、１枚目のフレームのタイムスタンプはランダムであるとＲＴＰで定義されているからである。
【００８３】
そこで、（ａ）タイムスタンプがＰＴＳであるかないかを示すフラグを通信ヘッダ情報（通信ヘッダの拡張が必要になる）もしくは、（ｂ）Ｈ．２６３やＨ．２６１のペイロードのヘッダ情報（つまり、ＡＬの情報）として付加する必要がある（この場合、ペイロード情報の拡張が必要になる）。
【００８４】
ＲＴＰのヘッダ情報として、データ片の処理可能な開始位置であるかどうかを示す情報であるマーカビットが付加されているが、ＡＬの情報としても前述したように、データに対してアクセスできる開始時点であることを示すアクセスフラグ、ランダムにデータに対してアクセスすることができることを示すランダムアクセスフラグを持たせたい場合がある。重複して、通信ヘッダに持たせるのは効率が悪くなるため、ＡＬのフラグを通信ヘッダで用意しているフラグで代用させる方法も考えられる。
【００８５】
（ｃ）ＡＬにフラグを付加せずに通信ヘッダに付加しているヘッダでＡＬのフラグを代用させることを示すフラグを通信ヘッダに新たに設けるか、通信ヘッダのマーカービットはＡＬのものと同じであると定義することで、問題は解決される（ＡＬに持たせるよりも解釈が早くできことが期待できる）。つまり、マーカービットがＡＬのフラグと同じ意味を持つかどうかを示すフラグである。この場合、通信ヘッダの改良もしくは、拡張領域に記述することが考えられる。
【００８６】
逆に、（ｄ）通信ヘッダのマーカビットの意味をＡＬに少なくともランダムアクセスフラグもしくは、アクセスフラグのいずれかが存在することを意味するように解釈するようにしてもよい。この場合、従来とは解釈の意味が変わったことを知るには通信ヘッダのバージョン番号で対応できる。これ以外に、単純な方法としては、通信ヘッダもしくはＡＬのヘッダにのみアクセスフラグやランダムアクセスフラグを設ければ処理は簡単である（前者の場合、フラグを両方とも設ける場合も考えられるが、通信ヘッダの新たな拡張が必要になる）。
【００８７】
データ処理の優先度を示す情報をＡＬの情報として付加することは述べたが、通信ヘッダにデータの処理の優先度を付加することによって、データ処理の優先度の処理の判定がネットワーク上においてもデータの中身を解釈せずに行うことが可能となる。なお、ＩＰｖ６の場合、ＲＴＰのレベルより下位のレイヤーで付加することが可能である。
【００８８】
ＲＴＰの通信ヘッダにデータの処理の有効期間を示すためのタイマーもしくはカウンタを付加することで、伝送されてくるパケットのある状態変化がどのように変化しているかを判断することができる。たとえば、必要となるデコーダソフトウェアが、アクセス速度の遅い記憶装置に記憶されている場合、デコーダが必要になるという情報と、タイマーやカウンターにより、いつの時点で必要になるかを判断することが可能になる。この場合、用途によってはＡＬの情報にタイマーやカウンター、データの処理の優先度の情報は不要である。
【００８９】
図５（ａ）〜図５（ｂ）、と図６（ａ）〜図６（ｄ）は、ＡＬ情報の付加方法について説明する図である。
【００９０】
図５（ａ）に示した様に、ＡＬを伝送すべきデータの先頭にのみ付加するか、あるいは、図５（ｂ）に示した様に、伝送すべきデータ（ＥＳ）を１つ以上のデータ片に分解した後のデータ片のそれぞれに付加するかを通知する制御情報を、受信端末へ送付することにより伝送情報の取り扱い粒度を選択できるようにすることが可能になる。ＡＬを細分化されたデータに対してつけることで、アクセス遅延が問題になるような場合には有効である。
【００９１】
前述したように、受信側でのデータ管理情報の組み替えや、データ管理情報のデータへの配置方法の変更が行われることを予め受信側端末に通知するために、フラグ、カウンター、タイマーのような表現方法を用いて、ＡＬの情報として用意したり、通信ヘッダとして用意して受信端末に通知することで、受信端末対応がスムーズにできる。
【００９２】
これまでの例ではＲＴＰのヘッダ（又は、通信ヘッダ）とＡＬの情報の重複を回避する方法や、ＲＴＰの通信ヘッダやＡＬの情報を拡張する方法について述べた。しかし、本発明は、必ずしもＲＴＰである必要はない。たとえば、ＵＤＰやＴＣＰを使って独自の通信ヘッダやＡＬ情報を新たに定義してもよい。インターネットプロファイルではＲＴＰを使うことはあるが、ＲａｗプロファイルではＲＴＰのような多機能なヘッダは定義されていない。ＡＬ情報と通信ヘッダに関する考え方としては、次の４通りの考え方ができる（図６（ａ）〜図６（ｄ）参照）。
【００９３】
（１）ＲＴＰとＡＬで、既に割り当てられているヘッダ情報が重複しないように、ＲＴＰのヘッダ情報もしくはＡＬの情報を修正、拡張する（とくにタイムスタンプの情報が重複、タイマーやカウンター、データの処理の優先度情報が拡張情報となる）。あるいは、ＲＴＰのヘッダも拡張せず、ＡＬの情報もＲＴＰのものと重複していても考慮しない方法でもよい。これらに関してはこれまでに示した内容に相当する。ＲＴＰは既に一部、Ｈ．３２３で実用化されているので、互換性を保ったＲＴＰの拡張は有効である（図６（ａ）参照）。
【００９４】
（２）ＲＴＰにこだわらずに、通信ヘッダを簡略にして（たとえば、シーケンス番号だけにするとか）、残りをＡＬ情報に多機能な制御情報として持たせる。また、ＡＬ情報で使用する項目を通信前に可変に設定できるようにすることで、柔軟な伝送フォーマットが規定できる（図６（ｂ）参照）。
【００９５】
（３）ＲＴＰにこだわらずに、ＡＬの情報を簡略にして（極端な例では、ＡＬには情報を付加しない）、通信ヘッダにすべての制御情報を持たせる。通信ヘッダとして頻繁によく参照されうるシーケンス番号、タイムスタンプ、マーカービット、ペイロードタイプ、オブジェクトＩＤに関しては固定のヘッダ情報としておき、データ処理の優先度情報、タイマー情報に関しては拡張情報として、拡張情報が存在するどうかを示す識別子を設けておいて、拡張情報が定義されていれば参照するようにしてもよい（図６（ｃ）参照）。
【００９６】
（４）ＲＴＰにこだわらず、通信ヘッダ、ＡＬの情報を簡略にして、これら通信ヘッダやＡＬ情報とは、別のパケットとして、フォーマットを定義して、伝送する。例えば、ＡＬの情報はマーカービット、タイムスタンプ、オブジェクトＩＤだけ定義し、通信ヘッダもシーケンス番号だけを定義し、これらの情報とは別の伝送パケット（第２のパケット）として、ペイロード情報、データ処理の優先度情報、タイマー情報などを定義し、伝送する方法も考えられる（図６（ｄ）参照）。
【００９７】
上記に示したように、用途や、既に画像や音声に付加されているヘッダ情報を考慮すれば、用途にあわせて、通信ヘッダ、ＡＬの情報、データとは別に伝送するパケット（第２のパケット）を自由に定義できる（カスタイマイズできる）ようにするのが望ましい。
【００９８】
図７は、複数の論理的な伝送路を動的に多重化、分離して情報の伝送を行う方法について説明する図である。論理的な伝送路の数を節約するために、利用者の指示もしくは論理的な伝送路の数に応じて、複数のデータもしくは制御情報を伝送するための論理的な伝送路の情報の多重化を開始したり、終了させることが可能な情報多重部を伝送部１３に、多重化された情報を分離する情報分離部を受信管理部１１に設けることにより実現できる。
【００９９】
なお、図７では情報多重部を“Ｇｒｏｕｐ　ＭＵＸ”とよんでおり、具体的にはＨ．２２３のような多重化方式を用いればよい。このＧｒｏｕｐ　ＭＵＸは送受信端末で設けてもよいし、中継のルータや端末に設けることによって、狭帯域通信路への対応や、Ｇｒｏｕｐ　ＭＵＸをＨ．２２３で実現すればＨ．３２４と相互接続できる。
【０１００】
情報多重部に関する制御情報（多重化制御情報）を素早く取り出すために、情報多重部の制御情報を情報多重部でデータと多重化して送信するのではなく、多重化せずに別の論理的な伝送路で伝送することで、多重化による遅延を低減することができる。これに伴って、情報多重部に関する制御情報をデータと多重化して伝送するのか、データと多重化して送信するのではなく、多重化せずに別の論理的な伝送路で伝送するのかを通知して伝送することで、従来の多重化と整合性を保たせたり、多重化による遅延を低減させるかを利用者で選択することが可能になる。ここで、情報多重部に関する多重化制御情報とは、例えば、情報多重部が、各データに対して、どの様な多重化を行っているのかという、多重化の内容を示す情報である。
【０１０１】
前述したように、同様に、少なくとも多重化の開始と終了を通知する情報、多重化すべき論理的な伝送路の組合せを通知するための情報、多重化に関する制御情報（多重化制御情報）の伝送方法の通知を、フラグ、カウンタ、タイマーのような表現方法で、制御情報として伝送、もしくはデータ管理情報としてデータとともに、受信側端末に伝送することで、受信側でのセットアップの時間を短縮できる。また、前述したようにフラグ、カウンタ、タイマーを表現する項目はＲＴＰの送信ヘッダに設けてもよい。
【０１０２】
複数個の情報多重部や情報分離部が存在する場合、情報多重部や情報分離部を識別するための識別子とともに制御情報（多重化制御情報）を伝送すれば、どの情報多重部に関する制御情報（多重化制御情報）かを識別することができる。制御情報（多重化制御情報）としては、多重化のパターンなどがあげられる。また、情報多重部や情報分離部の識別子を乱数を用いて、端末間で決定することで情報多重部の識別子を生成することができる。たとえば、送受信端末間で決められた範囲での乱数を発生させ、大きい方の値を情報多重部の識別子（識別番号）とすればよい。
【０１０３】
情報多重部で多重化されたデータは、従来、ＲＴＰで定義されているメディアタイプとは異なるため、ＲＴＰのペイロード・タイプに、情報多重部で多重化された情報であることを示す情報（新たなメディアタイプ、Ｈ．２２３を定義）を定義すればよい。
【０１０４】
多重化されたデータに対するアクセス速度を向上させる方法として、情報多重部で伝送もしくは記録する情報を制御情報、データ情報の順に配置することで多重化された情報の解析を早くできることが期待できる。また、制御情報に付加するデータ管理情報で記述する項目は固定にし、データとは異なる識別子（ユニークなパターン）を付加して多重化することでヘッダ情報の解析を早くできる。
【０１０５】
図８は放送番組の伝送手順について説明するための図である。論理的な伝送路の識別子と放送番組の識別子の対応関係を放送番組の情報として制御情報を伝送するか、放送番組の識別子をデータ管理情報（ＡＬ情報）としてデータに付加して伝送することで複数の伝送路で伝送されるデータがどの番組のために放送されているのかを識別することが可能となる。また、データの識別子（ＲＴＰではＳＳＲＣ）と論理的な伝送路の識別子（たとえば、ＬＡＮのポート番号）との関係を制御情報として受信側端末に伝送して、受信側端末では受信可能であることを確認後（Ａｃｋ／Ｒｅｊｅｃｔ）、対応するデータを伝送することにより、制御情報とデータを独立した伝送路で伝送しても、データ間の対応関係がとれる。
【０１０６】
放送番組やデータに対して伝送の順序関係を示す識別子と、放送番組やデータが情報として利用できる有効期限を示すためのカウンタもしくはタイマーの情報とを組み合わせて、放送番組やデータに付加して伝送することで、戻りチャンネルなしで放送が実現できる（有効期限が過ぎそうになったら、不足の情報があっても放送番組の情報やデータの再生を開始する）。単一の通信ポートのアドレス（マルチキャストアドレス）を使って、制御情報とデータに分離せずに放送する方法も考えられる。
【０１０７】
なお、バックチャンネルを持たない通信の場合、データの構造情報を受信端末が知ることができるように、制御情報はデータよりも十分、前もって伝送しておく必要がある。また、制御情報は一般には、パケットロスのない信頼性の高い伝送チャンネルで伝送すべきであるが、信頼性の低い伝送チャネルを用いる場合は周期的に同じ伝送シーケンス番号を持った制御情報を繰り返し伝送する必要がある。これはセットアップ時間に関する制御情報を送る場合に限った話ではない。
【０１０８】
また、データ管理情報として付加可能な項目（たとえば、アクセスフラグ、ランダムアクセスフラグ、データの再生時刻（ＰＴＳ）、データ処理の優先度情報など）を選択して、制御情報としてデータの識別子（ＳＳＲＣ）とともにデータとは別の論理的な伝送路で伝送するか、データとともにデータ管理情報（ＡＬの情報）として伝送するかを、データ送信前に送信側で決定して、受信側に制御情報として通知して伝送することで柔軟なデータの管理と伝送が可能となる。
【０１０９】
これにより、ＡＬには情報を付加せずにデータ情報の伝送を行うことができるので、ＲＴＰを用いて画像や音声のデータを伝送する際に、従来から定義されているペイロードの定義を拡張する必要がなくなる。
【０１１０】
図９（ａ）〜図９（ｂ）は、プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法を示す図である。特に、衛星放送や携帯端末のように戻りチャンネルがなく一方向で、端末の資源が限られている場合で、プログラムやデータが受信側端末に存在して利用する場合、必要となるプログラム（例えば、Ｈ．２６３、ＭＰＥＧ１／２、音声のデコーダのソフトウェアなど）やデータ（たとえば、画像データや音声のデータ）が、読み込みに時間がかかる記憶装置（たとえば、ＤＶＤ、ハードディスク、ネットワーク上のファイルサーバなど）に存在する場合に、予め必要となるプログラムやデータを識別する識別子と、伝送されるストリームの識別子（たとえば、ＳＳＲＣや、Ｌｏｇｉｃａｌ　Ｃｈａｎｎｅｌ　Ｎｕｍｂｅｒ）、受信端末で必要となる時点を推定するためのフラグ、カウンタ（カウントアップ、ダウン）、タイマーのような表現方法で、制御情報として受信、もしくはデータ管理情報としてデータとともに受信することで、必要となるプログラムやデータのセットアップ時間の短縮が可能となる（図２２）。
【０１１１】
一方、プログラムやデータが送信される場合、プログラムやデータの受信端末での記憶先（たとえば、ハードディスク、メモリー）、起動や読み込みにかかる時間、端末の種類や記憶先と起動や読みとりにかかる時間の対応関係（例えば、ＣＰＵパワー、記憶デバイスと平均的な応答時間の関係）、利用順序を示す情報とともにプログラムやデータを送信側から伝送することで、受信側端末で必要となるプログラムやデータを実際に必要となる場合、プログラムやデータの記憶先や読み出す時間に関してスケジューリングが可能となる。
【０１１２】
図１０（ａ）〜図１０（ｂ）は、ザッピング（ＴＶのチャンネル切り替え）に対する対応方法について説明する図である。
【０１１３】
従来からある映像を受信するだけの衛星放送とは異なり、プログラムを受信端末で実行しなければならないとき、プログラムの読み込みや立ち上がるまでのセットアップの時間が大きな問題となる。これは、携帯端末のように利用資源が限られる場合でも同じことがいえる。
【０１１４】
解決策の１つとして、（ａ）利用者が視聴するための主視聴部と、利用者が視聴している以外の番組で、必要となるプログラムやデータが、読み込みに時間がかかる記憶装置に存在する場合に、利用者が視聴している番組以外の番組を受信端末が周期的に視聴する副視聴部を備え、予め必要となるプログラムやデータを識別する識別子と、受信端末で必要となる時点を推定するためのフラグ、カウンタ、タイマーといった情報と、番組との対応関係を、制御情報（データとは別のパケットで伝送される、端末処理を制御するための情報）として受信、もしくはデータ管理情報（ＡＬの情報）としてデータとともに受信して、プログラムやデータの読み込みを準備しておくことで、受信側端末でのセットアップ時間が短縮できることが期待できる。
【０１１５】
解決策の２つ目としては、複数個のチャンネルで放送される画像の見出し画像だけを放送する放送チャンネルを設け、視聴者が視聴番組を切り替えることで、必要となるプログラムやデータが、読み込みに時間がかかる記憶装置に存在した場合、一旦、視聴したい番組の見出し画像を選択して視聴者に提示するか、読み込み中であることを提示するとともに、記憶装置から必要となるプログラムやデータを読み込み、読み込み終了後、視聴者が視聴したい番組を再開することで、セットアップ時に発生する画面の停止が防止できる。ここでいう見出し画像は、周期的に複数個のチャンネルで放送される番組をサンプリングした放送画像を指す。
【０１１６】
また、タイマーは時間表現で、たとえば、送信側から送られてくるデータストリームをデコードするのに必要なプログラムは現在からいつの時点で必要となるかを示す。カウンタは送受信端末間で決めた基本時間単位で、何回目かを示す情報であればよい。フラグは、セットアップに必要な時間前に送出するデータもしくは、制御情報（データとは別のパケットで伝送される、端末処理を制御する情報）とともに伝送して通知する。タイマー、カウンターともデータの中に埋め込んで伝送してよいし、制御情報として伝送してもよい。
【０１１７】
さらに、セットアップ時間の決定方法としては、例えば、クロックベースで動作しているＩＳＤＮのような伝送路を用いた場合、送信側端末から受信端末でプログラムやデータが必要となる時点を通知するために、伝送管理情報として伝送の順序関係を識別するための送信シリアル番号を用いて、データ管理情報としてデータとともに、もしくは、制御情報として受信端末に通知することで、セットアップが行われる時刻の予測が可能になる。また、インターネットのようにジッタや遅延により、伝送時間が変動する場合は、ＲＴＣＰ（インターネットのメディア伝送プロトコル）で既に実現されているような手段で、ジッタや遅延時間から、伝送の伝播遅延を加味してセットアップ時間に付加しておけばよい。
【０１１８】
図１１から図２４は、実際に端末間で送受信されるプロトコルの具体例を示す図である。
【０１１９】
伝送フォーマットや伝送手続きはＡＳＮ．１で記述した。又、本伝送フォーマットは、ＩＴＵのＨ．２４５をベースに拡張を行った。図１１にもあるように、画像や音声のオブジェクトは階層構造をなしていてもよく、ここの例では、各オブジェクトＩＤは放送番組の識別子（ＰｒｏｇｒａｍＩＤ）とオブジェクトＩＤ（ＳＳＲＣ）の属性をもち、画像間の構造情報、合成方法はＪａｖａ，ＶＲＭＬといったスクリプト言語で記述する。
【０１２０】
図１１は、オブジェクト間の関係についての例を示す図である。
【０１２１】
同図において、オブジェクトは、映像、音声、ＣＧ、テキストなどのメディアである。同図の例では、オブジェクトは階層構造を成している。各オブジェクトは、プログラム番号（ＴＶのチャンネルに相当、“Ｐｒｏｇｒａｍ　ＩＤ”）とオブジェクトを識別するオブジェクト識別子“Ｏｂｊｅｃｔ　ＩＤ”を持つ。ＲＴＰ（インターネットで用いられるメディア伝送のプロトコル、Ｒｅａｌｔｉｍｅ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）で各オブジェクトを伝送する場合は、オブジェクト識別子はＳＳＲＣ（同期ソース識別子）に対応させることで容易にオブジェクトの識別が可能である。なお、オブジェクト間の構造記述はＪＡＶＡ、ＶＲＭＬといった記述言語で記述することが可能である。
【０１２２】
これらのオブジェクトの伝送方法は２通り考えられる。１つは放送型であり、送信側端末から一方的に伝送する形態である。もう１つは送受信端末間（端末Ａ、端末Ｂ）でオブジェクトの伝送を行う形態（通信型）も考えられる。
【０１２３】
例えば、伝送方法としてはインターネットの場合はＲＴＰを用いることができる。制御情報は、ＴＶ電話の規格ではＬＣＮＯと呼ばれる伝送チャンネルを用いて伝送する。同図の例では伝送に複数の伝送チャンネルを用いているが、これらのチャンネルは同一の番組チャンネル（Ｐｒｏｇｒａｍ　ＩＤ）が割り当てられている。
【０１２４】
図１２は、本発明で述べた機能を実現するためのプロトコルの実現方法について説明する図である。ここではＴＶ電話の規格（Ｈ．３２４，Ｈ．３２３）で用いられる伝送プロトコル（Ｈ．２４５）を用いて説明する。Ｈ．２４５の拡張を行うことで本発明で述べた機能を実現する。
【０１２５】
同図の例で示した記述方法は、ＡＳＮ．１と呼ばれるプロトコル記述方式である。“Ｔｅｒｍｉｎａｌ　Ｃａｐａｂｉｌｉｔｙ　Ｓｅｔ”は端末の性能を表現する。同図の例では、“ｍｐｅｇ４　Ｃａｐａｂｉｌｉｔｙ”と記した機能を従来からあるＨ．２４５に対して拡張している。
【０１２６】
図１３では、“ｍｐｅｇ４　Ｃａｐａｂｉｌｉｔｙ”は端末で同時に処理できる最大の映像の数（“Ｍａｘ　Ｎｕｍｂｅｒ　Ｏｆ　Ｖｉｄｅｏ”）、最大の音声の数（“Ｍａｘ　Ｎｕｍｂｅｒ　Ｏｆ　Ｓｏｕｎｄｓ”）、端末で実現できる最大の多重化機能の数（“Ｍａｘ　Ｎｕｍｂｅｒ　Ｏｆ　Ｍｕｘ”）を記している。
【０１２７】
同図では、これらをまとめて、処理できる最大のオブジェクト数（“Ｎｕｍｂｅｒ　Ｏｆ　Ｐｒｏｃｅｓｓ　Ｏｂｊｅｃｔ”）として表現している。また、通信ヘッダ（同図ではＡＬと表現）の変更が可能であるかを記すフラグが記されている。この値が真であるとき通信ヘッダの変更が可能である。“ＭＰＥＧ４　Ｃａｐａｂｉｌｉｔｙ”を用いて端末間で処理できるオブジェクト数をお互いに通知する場合に、通知された側が受け入れ（処理）可能であれば“ＭＥＰＧ４　Ｃａｐａｂｉｌｉｔｙ　Ａｃｋ”を、そうでなければ“ＭＥＰＧ４　Ｃａｐａｂｉｌｉｔｙ　Ｒｅｊｅｃｔ”を、“ＭＥＰＧ４　Ｃａｐａｂｉｌｉｔｙ”を送信してきた端末に返す。
【０１２８】
図１４では、１つの伝送チャンネル（この例ではＬＡＮの伝送チャンネル）を複数の論理的なチャンネルで共有して使用するために複数の論理的なチャンネルを１つの伝送チャンネルに多重化する前述のＧｒｏｕｐ　ＭＵＸを使用するためのプロトコルの記述方法について示している。同図の例では、ＬＡＮ（ローカルエリアネトワーク）の伝送チャンネル（“ＬＡＮ　Ｐｏｒｔ　Ｎｕｍｂｅｒ”）に多重化手段（Ｇｒｏｕｐ　ＭＵＸ）を対応づけている。“Ｇｒｏｕｐ　ＭｕｘＩＤ”は、多重化手段を識別するための識別子である。“Ｃｒｅａｔｅ　Ｇｒｏｕｐ　Ｍｕｘ”を用いて端末間で多重化手段を使用する場合にお互いに通知する場合に、通知された側が受け入れ（使用）可能であれば“Ｃｒｅａｔｅ　Ｇｒｏｕｐ　Ｍｕｘ　Ａｃｋ”を、そうでなければ“Ｃｒｅａｔｅ　Ｇｒｏｕｐ　Ｍｕｘ　Ｒｅｊｅｃｔ”を、“Ｃｒｅａｔｅ　Ｇｒｏｕｐ　Ｍｕｘ”を送信してきた端末に返す。多重化手段の逆の動作を行う手段である分離手段は、同様な方法で実現出来る。
【０１２９】
図１５では、既に生成した多重化手段を消去する場合について記述している。
【０１３０】
図１６では、ＬＡＮの伝送チャンネルと複数の論理的なチャンネルの関係について記述している。
【０１３１】
ＬＡＮの伝送チャンネルは“ＬＡＮ　Ｐｏｒｔ　Ｎｕｍｂｅｒ”で、複数の論理的なチャンネルは“Ｌｏｇｉｃａｌ　Ｐｏｒｔ　Ｎｕｍｂｅｒ”で記述する。
【０１３２】
同図の例では、１つのＬＡＮの伝送チャンネルに対して最大１５個の論理的なチャンネルを対応づけることが可能である。
【０１３３】
尚、同図において、使用できるＭＵＸの数が、１個だけの場合は、ＧｒｏｕｐＭｕｘ　ＩＤは、不要である。又、Ｍｕｘを複数使用する場合は、Ｈ．２２３の各コマンドに対してＧｒｏｕｐ　Ｍｕｘ　ＩＤが必要である。又、多重化と分離手段との間で用いられるポートの対応関係を通知するためのフラグを設けても良い。又、制御情報も多重化するか、別の論理的な伝送路を介して伝送するかを選択出来るようにするためのコマンドを設けても良い。
【０１３４】
図１４〜図１６の説明では伝送チャンネルはＬＡＮであるが、Ｈ．２２３、ＭＰＥＧ２のようにインターネットプロトコルを使わない方式でもよい。
【０１３５】
図１７では、“Ｏｐｅｎ　Ｌｏｇｉｃａｌ　Ｃｈａｎｎｅｌ”は伝送チャンネルの属性を定義するためのプロトコル記述を示している。同図の例では、Ｈ．２４５のプロトコルに対して、“ＭＰＥＧ４　Ｌｏｇｉｃａｌ　Ｃｈａｎｎｅｌ　Ｐａｒａｍｅｔｅｒｓ”を拡張定義している。
【０１３６】
図１８では、ＬＡＮの伝送チャンネルに対して、プログラム番号（ＴＶのチャンネルに相当）と、プログラムの名前とを対応づけている（“ＭＰＥＧ４　Ｌｏｇｉｃａｌ　Ｃａｎｎｅｌ　Ｐａｒａｍｅｔｅｒｓ”）ことを示している。
【０１３７】
又、同図において、“Ｂｒｏａｄｃａｓｔ　Ｃｈａｎｎｅｌ　Ｐｒｏｇｒａｍ”は、ＬＡＮの伝送チャンネルとプログラム番号との対応付けを放送型で送信する場合の記述方法である。同図の例では、最大１０２３個の伝送チャンネルとプログラム番号の対応関係を送付することが可能である。放送の場合は送信側から受信側へ一方的に送信するだけであるため、これらの情報を伝送中の損失を考慮して周期的に伝送する必要がある。
【０１３８】
図１９では、プログラムとして伝送されるオブジェクト（例えば、映像、音声など）の属性について記述している（“ＭＰＥＧ４　Ｏｂｊｅｃｔ　Ｃｌａｓｓｄｅｆｉｎｉｔｉｏｎ”）。プログラムの識別子（“Ｐｒｏｇｒａｍ　ＩＤ”）に対してオブジェクトの情報（“Ｏｂｊｅｃｔ　Ｓｔｒｕｃｔｕｒｅ　Ｅｌｅｍｅｎｔ”）を対応付けている。最大で１０２３個のオブジェクトを対応付けることが可能である。オブジェクトの情報としては、ＬＡＮの伝送チャンネル（“ＬＡＮ　Ｐｏｒｔ　Ｎｕｍｂｅｒ”）、スクランブルが使用されているか否かのフラグ（“Ｓｃｒａｍｂｌｅ　Ｆｌａｇ”）、端末が過負荷である場合の処理の優先度を変更するためのオフセット値を定義するフィールド（“ＣＧＤ　Ｏｆｆｓｅｔ”）、そして、伝送するメディア（映像、音声など）のタイプを識別するための識別子（Ｍｅｄｉａ　Ｔｙｐｅ）を記述する。
【０１３９】
図２０の例では、ＥＳ（ここでは１フレーム分の映像に相当するデータ列と定義する）の復号処理を管理するためにＡＬ（ここでは１フレーム分の映像を復号するために必要な付加情報と定義する）が付加されている。ＡＬの情報としては、（１）Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｆｌａｇ（単独で再生可能であるかどうかを示すフラグ、フレーム内符号化された映像フレームであれば真である）、（２）Ｐｒｅｓｅｎｔａｔｉｏｎ　Ｔｉｍｅ　Ｓｔａｍｐ（フレームの表示時刻）、（３）ＣＧＤ　Ｐｒｉｏｒｉｔｙ（端末が過負荷時に処理の優先度を決定するための優先度の値）が定義されている。これらの１フレーム分のデータ列を、ＲＴＰ（インターネットで連続メディアを伝送するためのプロトコル，Ｒｅａｌｔｉｍｅ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）を用いて伝送する場合の例を示している。“ＡＬ　Ｒｅｃｏｎｆｉｇｕｒａｔｉｏｎ”は、上記のＡＬで表現できる最大値を変更するための伝送表現である。
【０１４０】
同図の例では、“Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｆｌａｇ　Ｍａｘ　Ｂｉｔ”として、最大で２ビットの表現が可能である。例えば０ならば、Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｆｌａｇは使用しない。２ならば最大値は３である。
【０１４１】
尚、実数部と仮数部による表現を行っても良い（例えば、３＾６）。又、非設定時は、デフォルトで決められた状態で動作することにしても良い。
【０１４２】
図２１では、“Ｓｅｔｕｐ　Ｒｅｑｕｅｓｔ”は、セットアップ時間を送信するための伝送表現を示している。プログラムを送信する前に“Ｓｅｔｕｐ　Ｒｅｑｕｅｓｔ”は送信され、伝送される伝送チャンネル番号（“Ｌｏｇｉｃａｌ　Ｃｈａｎｎｅｌ　Ｎｕｍｂｅｒ”）と、実行するプログラムＩＤ（“ｅｘｃｕｔｅ　Ｐｒｏｇｒａｍ　Ｎｕｍｂｅｒ”）、使用するデータＩＤ（“ｄａｔａ　Ｎｕｍｂｅｒ”）、実行するコマンドのＩＤ（“ｅｘｅｃｕｔｅ　ＣｏｍｍａｎｄＮｕｍｂｅｒ”）を対応付けて受信端末へ送付する。また、別の表現方法として、伝送チャンネル番号と対応付けて、実行の許可のフラグ（“ｆｌａｇ”）、あと何回Ｓｅｔｕｐ　Ｒｅｑｕｅｓｔを受信したら実行するかを記したカウンタ（“ｃｏｕｎｔｅｒ”）、あとどれくらいの時間で実行するかを示すタイマー値（“ｔｉｍｅｒ”）であってもよい。
【０１４３】
尚、要求予定のリクエストの例としては、ＡＬ情報の書き換え、Ｇｒｏｕｐ　Ｍｕｘの立ち上がり時間の確保などがあげられる。
【０１４４】
図２２は、図２０で説明したＡＬの使用の有無を送信端末から受信端末へ通知するための伝送表現について説明する図である（“Ｃｏｎｔｒｏｌ　ＡＬ　ｄｅｆｉｎｉｔｉｏｎ”）。
【０１４５】
同図において、“Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｆｌａｇ　Ｕｓｅ”が真ならばＲａｎｄｏｍ　Ａｃｃｅｓｓ　Ｆｌａｇは使用する。そうでなければ使用しない。このＡＬの変更通知は制御情報としてデータとは別の伝送チャンネルで伝送してもよいし、データとともに同一の伝送チャンネルで伝送してもよい。
【０１４６】
尚、実行するプログラムとしては、デコーダプログラムなどがあげられる。又、セットアップのリクエストは、放送であっても通信であっても利用出来る。又、制御情報としての項目を、ＡＬの情報としてどの項目を使用するかを上記のリクエストで受信端末に指示する。又、同様に通信ヘッダにどの項目を、ＡＬの情報としてどの項目を、制御情報としてごの項目を使用するかを受信端末に指示出来る。
【０１４７】
図２３では、情報枠組み識別子（“ｈｅａｄｅｒ　ＩＤ”）を用いて、伝送するヘッダ情報（データ管理情報、伝送管理情報、制御情報）の構造を送受信端末間で用途に応じて変更するための伝送表現の例を示している。
【０１４８】
同図において、“ｃｌａｓｓ　ＥＳ　ｈｅａｄｅｒ”は、データと同じ伝送チャンネルで伝送されるデータ管理情報や、伝送管理情報の伝送される情報の構造を、情報枠組み識別子により送受信端末間で区別している。
【０１４９】
例えば“ｈｅａｄｅｒ　ＩＤ”の値が０ならば、ｂｕｆｆｅｒ　Ｓｉｚｅ　ＥＳの項目だけ用い、“ｈｅａｄｅｒ　ＩＤ”の値が１ならば“ｒｅｓｅｒｖｅｄ”の項目を加えて用いる。
【０１５０】
又、デフォルト識別子（“ｕｓｅ　Ｈｅａｄｅｒ　Ｅｘｔｅｎｓｉｏｎ”）を用いることでデフォルトの形式の情報の枠組みを用いるか、用いないかを判定する。“ｕｓｅ　Ｈｅａｄｅｒ　Ｅｘｔｅｎｓｉｏｎ”が真であれば、ｉｆ文の内部の項目が用いられる。これらの構造情報に関しては予め送受信端末間で取り決められているものとする。なお、情報枠組み識別子とデフォルト識別子は、何れか一方を使用する構成であってもよい。
【０１５１】
図２４では、“ＡＬ　ｃｏｎｆｉｇｕｒａｔｉｏｎ”は、データとは異なる伝送チャンネルで伝送される制御情報の構造を送受信端末間で用途に応じて変更する場合の例を示している。情報枠組み識別子とデフォルト識別子の使用方法は図２３の場合と同じである。
【０１５２】
本発明では、複数の動画や音声を同時に合成して表示させるシステムの実現方法について、下記の観点から具体的に述べた。
【０１５３】
（１）複数の論理的な伝送路を用いて画像や音声の伝送（通信と放送）及び、それらを制御する方法。特に、制御情報とデータをそれぞれ、伝送する論理的な伝送路を独立させて伝送する方法について述べた。
【０１５４】
（２）送信すべき画像や音声のデータに付加するヘッダ情報（ＡＬの情報）の動的な変更方法。
【０１５５】
（３）送信のために付加する通信用のヘッダ情報の動的な変更方法。
【０１５６】
具体的には、（２）と（３）に関しては、ＡＬの情報と通信用ヘッダで重複している情報について統合して管理する方法や、ＡＬの情報を制御情報として伝送する方法について述べた。
【０１５７】
（４）複数の論理的な伝送路を、動的に多重化、分離して情報の伝送を行う方法。
【０１５８】
伝送路のチャンネル数を節約する方法、効率的な多重化を実現する方法について述べた。
【０１５９】
（５）プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法。様々な機能、用途で見かけ上のセットアップ時間の短縮方法について述べた。
【０１６０】
（６）ザッピングに対する画像や音声の伝送方法。
【０１６１】
尚、本発明は、２次元の画像合成だけに限定されない。２次元の画像と３次元の画像を組み合わせた表現形式でもよいし、広視野画像（パノラマ画像）のように複数の画像を隣接するように画像合成するような画像合成方法も含めてもよい。
【０１６２】
また、本発明で対象としている通信形態は、有線の双方向ＣＡＴＶやＢ−ＩＳＤＮだけではない。例えば、センター側端末から家庭側端末への映像や音声の伝送は電波（例えば、ＶＨＦ帯、ＵＨＦ帯）、衛星放送で、家庭側端末からセンター側端末への情報発信はアナログの電話回線やＮ−ＩＳＤＮであってもよい（映像、音声、データも必ずしも多重化されている必要はない）。
【０１６３】
また、ＩｒＤＡ、ＰＨＳ（パーソナル・ハンディー・ホン）や無線ＬＡＮのような無線を利用した通信形態であってもよい。さらに、対象とする端末は、携帯情報端末のように携帯型の端末であっても、セットトップＢＯＸ、パーソナルコンピュータのように卓上型の端末であってもよい。なお、応用分野としては、ＴＶ電話、多地点の監視システム、マルチメディアのデータベース検索システム、ゲームなどが挙げられ、本発明は受信端末だけではなく、受信端末に接続されるサーバや中継の機器なども含まれる。
【０１６４】
さらに、これまでの例ではＲＴＰの（通信）ヘッダとＡＬの情報の重複を回避する方法や、ＲＴＰの通信ヘッダやＡＬの情報を拡張する方法について述べた。しかし、本発明は、必ずしもＲＴＰである必要はない。たとえば、ＵＤＰやＴＣＰを使って独自の通信ヘッダやＡＬ情報を新たに定義してもよい。インターネットプロファイルではＲＴＰを使うことはあるが、ＲａｗプロファイルではＲＴＰのような多機能なヘッダは定義されていない。ＡＬ情報と通信ヘッダに関する考え方としては、前述したように４通りの考え方ができる。
【０１６５】
このように、送信端末と受信端末で使用するデータ管理情報、伝送管理情報、制御情報の各情報の枠組み（例えば、１番最初は、ランダムアクセスのフラグで１ビットのフラグ情報として割り当て、２番めはシーケンス番号で１６ビット割り当てるといった、付加する情報の順序とビット数をともなった情報の枠組み）を動的に決定することで、状況に応じた情報の枠組みの変更が可能になり、用途や伝送路に応じた変更ができる。
【０１６６】
尚、各情報の枠組みとしては、図６（ａ）〜図６（ｄ）において既に示したものあってもよいし、ＲＴＰならば、データ管理情報（ＡＬ）はメディア毎のヘッダ情報（例えば、Ｈ．２６３ならＨ．２６３固有のビデオのヘッダ情報や、ペイロードのヘッダ情報）、伝送管理情報はＲＴＰのヘッダ情報で、制御情報はＲＴＣＰのようなＲＴＰを制御するような情報であってもよい。
【０１６７】
また、送受信端末間で予め設定されている公知の情報の枠組みで、情報の送受信して処理するか、否かを示すためのデフォルト識別子をデータ管理情報、伝送管理情報、制御情報（データとは別のパケットで伝送される、端末処理を制御する情報）に、それぞれ設けることで、情報の枠組みの変更が行われているかどうかを知ることができ、変更が行なわれている時だけ、デフォルト識別子をセットし、前述の図１９〜図２０に示したような方法で変更内容（たとえば、タイムスタンプ情報を３２ビットから１６ビットに変更する）を通知することで、情報の枠組み情報を変更しない場合でも不要にコンフィグレーション情報を送信しなくても済む。
【０１６８】
たとえば、データ管理情報の情報の枠組みを変更したいときには、次の２つの方法が考えられる。まず、データ自身にデータ管理情報の情報の枠組みの変更方法を記述する場合、データ管理情報の情報の枠組みに関して記述されたデータ内に存在する情報のデフォルト識別子（固定の領域、位置に書き込む必要がある）をセットし、そのあとに情報の枠組みの変更内容に関して記述する。
【０１６９】
もう１つの方法として制御情報（情報枠組み制御情報）にデータの情報の枠組みの変更方法を記述して、データ管理情報における情報の枠組みを変更する場合、制御情報に設けられたデフォルト識別子をセットし、変更するデータ管理情報の情報の枠組みの内容を記述し、ＡＣＫ／Ｒｅｊｅｃｔで受信端末にデータ管理情報の情報の枠組みが変更されたことを通知、確認してから、情報の枠組みが変更されたデータを伝送する。伝送管理情報、制御情報自身の情報の枠組みを変更する場合も、同様に上記の２つの方法で実現できる（図２３〜図２４）。
【０１７０】
より具体的な例としては、例えば、ＭＰＥＧ２のヘッダ情報は固定であるが、ＭＰＥＧ２−ＴＳ（トランスポート・ストリーム）のビデオ・ストリーム、オーディオ・ストリームを関係づけるプログラム・マップテーブル（ＰＳＩで定義される）にデフォルト識別子を設け、ビデオ・ストリーム、オーディオ・ストリームの情報の枠組みの変更方法を記述したコンフィグレーション・ストリームを定義しておくことで、デフォルト識別子がセットされていれば、まず、コンフィグレーション・ストリームを解釈してから、コンフィグレーション・ストリームの内容に応じて、ビデオとオーディオのストリームのヘッダーを解釈することができる。コンフィグレーションストリームは図２３〜図２４で示した内容でよい。
【０１７１】
尚、本発明の、伝送方法に関する及び／又は伝送するデータの構造に関する内容（伝送フォーマット情報）は、上記実施の形態では、例えば、情報の枠組みに対応している。
【０１７２】
又、上記実施の形態では、変更しようとする、伝送方法に関する及び／又は伝送するデータの構造に関する内容を伝送する場合を中心に述べたが、これに限らず例えば、その内容の識別子のみを伝送する構成でも勿論良い。この場合、送信装置としては、例えば、図５２に示す様に、（１）伝送方法に関する及び／又は伝送するデータの構造に関する内容、又はその内容を示す識別子を、伝送フォーマット情報として、前記伝送するデータの伝送路と同一の伝送路、又は、前記伝送路とは別の伝送路を用いて伝送する伝送手段５００１と、（２）前記伝送方法に関する及び／又は伝送するデータの構造に関する内容と、その識別子とを複数種類格納する格納手段５００２とを備え、前記識別子が、データ管理情報、伝送管理情報又は、端末側の処理を制御するための情報の内、少なくとも一つの情報の中に含まれている画像・音声送信装置であってもよい。又、受信装置としては、例えば、図５３に示す様に、上記画像・音声送信装置から送信されてくる前記伝送フォーマット情報を受信する受信手段５１０１と、前記受信した伝送フォーマット情報を解釈する伝送情報解釈手段５１０２とを備えた画像・音声受信装置であってもよい。更に、この画像・音声受信装置は、前記伝送方法に関する及び／又は伝送するデータの構造に関する内容と、その識別子とを複数種類格納する格納手段５１０３を備え、前記伝送フォーマット情報として前記識別子を受信した場合には、前記識別子の内容を解釈する際に、前記格納手段に格納されている内容を利用する構成であっても良い。
【０１７３】
さらに、具体的には、予め情報の枠組みを複数、送受信端末で取り決めて用意しておき、それら複数種類の情報の枠組みの識別と、複数種のデータ管理情報、伝送管理情報、制御情報（情報枠組み制御情報）を識別するための情報枠組み識別子をデータとともに、もしくは、制御情報として伝送することで、複数種のデータ管理情報、伝送管理情報、制御情報の各情報を識別することが可能となり、伝送すべきメディアの形式や伝送路の太さに応じて各情報の情報の枠組みを自由に選択することができる。尚、本発明の識別子は、上記情報の枠組み識別子に対応する。
【０１７４】
これら情報の枠組み識別子、デフォルト識別子は、伝送される情報の予め決められた固定長の領域もしくは、位置に付加することで、受信側端末で、情報の枠組みが変更されていても読み取り、解釈することができる。
【０１７５】
又、上述した実施の形態で述べた構成以外に、複数個のチャンネルで放送される画像の見出し画像だけを放送する放送チャンネルを設け、視聴者が視聴番組を切り替えることで、必要となるプログラムやデータのセットアップに時間がかかる場合、一旦、視聴したい番組の見出し画像を選択して視聴者に提示する構成としても良い。
【０１７６】
以上のように本発明によれば、送信端末と受信端末で使用するデータ管理情報、伝送管理情報、制御情報の各情報の枠組みを動的に決定することで、状況に応じた情報の枠組みの変更が可能になり、用途や伝送路に応じた変更ができる。
【０１７７】
また、送受信端末間で予め設定されている公知の情報の枠組みで、情報の送受信して処理するか、否かを示すためのデフォルト識別子をデータ管理情報、伝送管理情報、制御情報に、それぞれ設けることで、情報の枠組みの変更が行われているかどうかを知ることができ、変更が行なわれている時だけ、デフォルト識別子をセットし、変更内容を通知することで、情報の枠組み情報を変更しない場合でも不要にコンフィグレーション情報を送信しなくても済む。
【０１７８】
さらに、予め情報の枠組みを複数、送受信端末で取り決めて用意しておき、複数種のデータ管理情報、伝送管理情報、制御情報を識別するための情報枠組み識別子をデータとともに、もしくは、制御情報として伝送することで、複数種のデータ管理情報、伝送管理情報、制御情報の各情報を識別することが可能となり、伝送すべきメディアの形式や伝送路の太さに応じて各情報の情報の枠組みを自由に選択することができる。
【０１７９】
これら情報枠組み識別子、デフォルト識別子は、伝送される情報の予め決められた固定長の領域もしくは、位置に付加することで、受信側端末で、情報の枠組みが変更されていても読み取り、解釈することができる。
【０１８０】
以下、本発明の実施の形態について図面を参照して説明する。
【０１８１】
尚、ここでは、主に上述した課題（Ｂ１）〜（Ｂ２）の何れか一つを解決するものである。
【０１８２】
本発明で使用する「画像」の意味は静止画と動画の両方を含む。また、対象とする画像は、コンピュータ・グラフィックス（ＣＧ）のような２次元画像とワイヤーフレーム・モデルから構成されるような３次元の画像データであってもよい。
【０１８３】
図３１は、本発明の実施の形態における画像符号化、画像復号化装置の概略構成図である。
【０１８４】
符号化された種々の情報を送信もしくは記録する送信管理部４０１１は、同軸ケーブル、ＣＡＴＶ、ＬＡＮ、モデム等の情報を伝送する手段である。画像符号化装置４１０１は、Ｈ．２６３、ＭＰＥＧ１／２、ＪＰＥＧ、あるいは、ハフマン符号化といった画像情報の符号化を行う画像符号部４０１２と、上記送信管理部４０１１とを具備する構成である。又、画像復号化装置４１０２は、符号化された種々の情報を受信する受信管理部４０１３と、その受信された種々の画像情報の復号を行う画像復号部４０１４と、復号された１つ以上の画像を合成する画像合成部４０１５と、画像を出力するディスプレイやプリンターなどから構成される出力部４０１６とを備えた構成である。
【０１８５】
図３２は、本発明の実施の形態における音声符号化、音声復号化装置の概略構成図である。
【０１８６】
音声符号化装置４２０１は、符号化された種々の情報を送信もしくは記録する送信管理部４０２１と、Ｇ．７２１、ＭＰＥＧ１オーディオといった音声情報の符号化を行う音声符号部４０２２とを具備する構成である。又、音声復号化装置４２０２は、符号化された種々の情報を受信する受信管理部４０２３と、前記種々の音声情報の復号を行う音声復号部４０２４と、復号された１つ以上の音声を合成する音声合成部４０２５と、音声を出力する出力部４０２６とを備えた構成である。
【０１８７】
音声や動画像の時系列データは、具体的には上記の各装置で、符号化、又は復号化される。
【０１８８】
図３１、図３２とも、通信環境としてはインターネットのように多重化の手段を意識せずに複数の論理的な伝送路が利用できる通信環境であってもよし、アナログ電話や衛星放送のように多重化手段を意識しなければならない通信環境であってもよい。また、端末の接続形態としては、ＴＶ電話やＴＶ会議システムのように端末間で双方向で映像や音声を送受信する形態や、衛星放送やＣＡＴＶ、インターネット上での放送型の映像や音声放送の形態が挙げられる。
【０１８９】
同様に、画像や音声の合成方法に関しては、ＪＡＶＡ、ＶＲＭＬ、ＭＨＥＧといったスクリプト言語で、画像・音声と画像・音声の構造情報（表示位置や表示時間）、画像・音声同士のグルーピングの方法、画像の表示のレイヤ（深さ）、そして、オブジェクトＩＤ（画像、音声といった個々のオブジェクトを識別するためのＩＤ）と、これらの属性の関係を記述することによって画像や音声の合成方法が定義できる。合成方法を記述したスクリプトはネットワークやローカルの記憶装置から得られる。
【０１９０】
尚、画像符号化装置、画像復号化装置、音声符号化装置、音声復号化装置を、それぞれ任意の個数で、任意の組み合わせで送受信の端末を構成してもよい。
【０１９１】
図３３（ａ）は、過負荷時の処理の優先度を管理する優先度付加部、優先度決定部について説明する図である。Ｈ．２６３やＧ．７２３などの符号化方法で、符号化された情報の過負荷時の処理の優先度を予め決められた基準で決定し、符号化された情報と決定された優先度を対応づける優先度付加部４０３１を画像符号化装置４１０１や音声符号化装置４２０１に備える。
【０１９２】
優先度の付加の基準は、たとえば、画像であればシーンチェンジ、編集者や利用者が指示した画像フレームやストリーム、音声であれば、有音区間と無音区間である。
【０１９３】
過負荷時の処理の優先度を定義する優先度の付加方法は、通信ヘッダへ付加する方法と符号化時にビデオやオーディオの符号化されるビットストリームのヘッダに埋め込む方法が考えられる。前者は、復号せずに優先度に関する情報が得ることが可能であり、後者はシステムに依存せずにビットストリーム単体で独立に扱うことが可能である。
【０１９４】
図３３（ｂ）に示したように、通信ヘッダに優先度情報を付加する場合、１つの画像フレーム（例たとえば、フレーム内符号化されたＩフレーム、フレーム間符号化されたＰ、Ｂフレーム）が複数個の送信パケットに分割される場合、画像であれば単独の情報としてアクセス可能な画像フレームの先頭部分を伝送する通信ヘッダのみに優先度を付加する（同一の画像フレーム内で優先度が等しい場合、次のアクセス可能な画像フレームの先頭が現れるまで、優先度は変わらないものとすればよい）。
【０１９５】
また、復号化装置では、受信された種々の符号化された情報の過負荷時の優先度に従って、処理の方法を決定する優先度決定部４０３２を画像復号化装置４１０２や音声復号化装置４２０２に備える。
【０１９６】
図３４〜図３６は、優先度を付加する粒度について説明する図である。端末での過負荷時の処理の優先度を決定する２種類の優先度を用いて、デコード処理を行なう。
【０１９７】
すなわち、映像、音声といったビットストリーム単位での過負荷時の処理の優先度を定義するストリーム優先度（Ｓｔｒｅａｍ　Ｐｒｉｏｒｉｔｙ；時系列データ間優先度）と、同一ストリーム内の映像フレームといったフレーム単位での過負荷時の処理の優先度を定義するフレーム優先度（Ｆｒａｍｅ　Ｐｒｉｏｒｉｔｙ；時系列データ内優先度）を定義する（図３４参照）。
【０１９８】
前者のストリーム優先度により複数のビデオやオーディオの取り扱いが可能になる。後者のフレーム優先度により映像のシーンチェンジや編集者の意図に応じて、同一のフレーム内符号化された映像フレーム（Ｉフレーム）でも異なる優先度の付加が可能になる。
【０１９９】
ストリーム優先度が表現する値の意味としては、相対的な値として扱う場合と、絶対的な値として扱う場合が考えられる（図３５、図３６参照）。
【０２００】
ストリーム優先度とフレーム優先度の取り扱いが行なわれるのはネットワーク上であれば、ルータやゲートウェイといった中継端末、端末であれば、送信端末と受信端末があげられる。
【０２０１】
絶対的な値と、相対的な値の表現方法は２通り考えられる。１つは、図３５で示した方法であり、もう１つは図３６で示した方法である。
【０２０２】
図３５では、絶対的な値の優先度とは、編集者や機械的に付加された画像ストリームや音声ストリームが過負荷時に処理される（又は、処理されるべき）順序をあらわす値である（実際のネットワークや端末の負荷変動を考慮した値ではない）。相対的な値の優先度は、端末やネットワークの負荷に応じて、絶対的な優先度の値を変更するための値である。
【０２０３】
優先度を相対的な値と、絶対的な値に分離して管理することで、ネットワークの負荷の変動などに応じて、送信側や中継装置で相対的な値だけを変更することで、元来、画像や音声ストリームに付加されていた絶対的な優先度を残したままで、ハードディスクやＶＴＲへの記録が可能となる。このように絶対的な優先度の値が記録されていれば、ネットワークの負荷変動などの影響を受けていない形での映像や音声の再生が可能となる。なお、相対的な優先度や絶対的な優先度はデータとは独立に制御チャンネルを通して伝送してもよい。
【０２０４】
同様に、図３５では、ストリーム優先度よりも粒度を細かくして、過負荷時のフレームの処理の優先度を定義するフレーム優先度を、相対的な優先度の値として扱ったり、絶対的な優先度の値として扱うことも可能である。たとえば、絶対的なフレーム優先度を符号化された画像の情報内に記述し、ネットワークや端末の負荷で変動を反映させるために、先の映像フレームに付加した絶対的な優先度に対する相対的なフレーム優先度を符号化された情報を伝送するための通信パケットの通信ヘッダに記述することで、フレームレベルでも、オリジナルの優先度を残しながらも、ネットワークや端末の負荷に応じた優先度の付加が可能である。
【０２０５】
なお、相対的な優先度は、通信ヘッダではなくデータとは独立して制御チャネルでフレームとの対応関係を記述して伝送してもよい。これにより、元来、画像や音声ストリームに付加されていた絶対的な優先度を残したままで、ハードディスクやＶＴＲへの記録が可能となる。
【０２０６】
一方、図３５において、受信端末で記録を行なわずに、ネットワークを介して伝送しながら受信端末で再生を行なう場合、受信端末で絶対的な値と相対的な値を分離して管理する必要がないため、送信側で予め、フレーム、ストリームの両方のレベルの場合においても、絶対値な優先度の値と相対的な優先度の値を送信前に計算して絶対値のみを送ってもよい。
【０２０７】
図３６において、絶対的な値の優先度とは、Ｓｔｒｅａｍ　Ｐｒｉｏｒｉｔｙと、Ｆｒａｍｅ　Ｐｒｉｏｒｉｔｙの関係から求められるフレーム間で一意に決定される値である。相対的な値の優先度は、編集者や機械的に付加された画像ストリームや音声ストリームが過負荷時に処理される（又は、処理されるべき）順序をあらわす値である。図３６の例では、映像、音声の各ストリームのフレーム優先度（ｒｅｌａｔｉｖｅ；相対値）とストリーム毎にストリーム優先度が付加されている。
【０２０８】
絶対的なフレーム優先度（ａｂｓｏｌｕｔｅ；絶対値）は相対的なフレーム優先度と、ストリーム優先度の和から求められる（即ち、絶対的なフレーム優先度＝相対的なフレーム優先度＋ストリーム優先度）。なお、この算出方法は減算したり、定数を掛け合わせるような方法でもよい。
【０２０９】
絶対的なフレーム優先度は主としてネットワークで用いる。これはルータやゲイトウエイといった中継装置で、Ｓｔｒｅａｍ　ＰｒｉｏｒｉｔｙとＦｒａｍｅＰｒｉｏｒｉｔｙとを加味してフレーム毎の優先度を決定する必要が絶対値による表現では不要になるからである。この絶対的なフレーム優先度を用いることで中継装置でのフレームの廃棄などの処理が容易になる。
【０２１０】
一方、相対的なフレーム優先度は主として記録、編集を行なう蓄積系への応用が期待できる。編集作業では、複数の映像、音声ストリームを同時に扱うことがある。そのような場合に、端末やネットワークの負荷により再生できる映像ストリームやフレームの数には限界が生じる可能性がある。
【０２１１】
そのような場合に、Ｓｔｒｅａｍ　Ｐｒｉｏｒｉｔｙと、Ｆｒａｍｅ　Ｐｒｉｏｒｉｔｙとを分離して管理しておくだけで、例えば、編集者が、優先的に表示させたい、あるいは、ユーザが、見たいストリームのＳｔｒｅａｍ　Ｐｒｉｏｒｉｔｙを変更するだけで、絶対値の表現を行なっている時とは違い、ＦｒａｍｅＰｒｉｏｒｉｔｙをすべて計算し直す必要がない。このように用途に応じて、絶対的な表現、相対的な表現を使い分ける必要がある。
【０２１２】
また、ストリーム優先度の値を相対的な値として用いるか、絶対的な値として用いるかを記述することで、伝送時にも、蓄積する場合にも有効な優先度の表現が可能となる。
【０２１３】
図３５の例では、ストリーム優先度に付随して、ストリーム優先度が表現する値が絶対値であるか、相対値であるかを表現するフラグや識別子を設けて区別する。フレーム優先度の場合は、通信ヘッダに相対的な値が記述され、符号化されたフレーム内に絶対的な値が記述されるため、フラグや識別子は不要である。
【０２１４】
図３６の例では、フレーム優先度が絶対値であるか相対値であるかを識別するためのフラグもしくは識別子を設けている。絶対値であれば、ストリーム優先度と相対的なフレーム優先度から算出されている優先度であるから、算出の処理を中継装置や端末で行なわない。また、受信端末では、算出式が端末間で既知である場合、絶対的なフレーム優先度とストリーム優先度から相対的なフレーム優先度を逆算することが可能である。例えば、伝送するパケットの絶対的な優先度（Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｐｒｉｏｒｉｔｙ）を、Ａｃｃｅｓｓ　Ｕｎｉｔ　Ｐｒｉｏｒｉｔｙ＝ストリーム優先度−フレーム優先度、という関係式から求めても良い。ここで、フレーム優先度は、ストリーム優先度を減算することから、劣後優先度と表現しても良い。
【０２１５】
さらに、１つ以上のストリーム優先度をＴＣＰ／ＩＰの論理チャンネル（ＬＡＮのポート番号）を流れるデータの処理の優先度に対応付けて、データの処理を管理してもよい。
【０２１６】
加えて、画像や音声は、文字もしくは制御情報よりも低いストリーム優先度やフレーム優先度を割り当てることで再送処理の必要が低減できることが期待できる。これは画像や音声は一部分が失われても、問題が発生しない場合も多いからである。
【０２１７】
図３７は、多重解像度の画像データへ優先度の割り当て方法について説明する図である。
【０２１８】
１つのストリームが２つ以上の複数のサブストリームから構成される場合、サブストリームにストリーム優先度の付加を行い、蓄積時もしくは伝送時に論理和もしくは論理積の記述を行うことでサブストリームの処理方法の定義を行うことが可能である。
【０２１９】
ウェーブレットの場合、１つの映像フレームを複数の異なる解像度の映像フレームに分解することが可能である。また、ＤＣＴベースの符号化方式でも高周波の成分と低周波の成分に分割して符号化することで異なる解像度の映像フレームへの分解は可能である。
【０２２０】
分解された一連の映像フレームから構成される複数個の映像ストリームに付加されるストリーム優先度のほかに、映像のストリーム間の関係を記述するためにＡＮＤ（論理積）とＯＲ（論理和）で関係を定義する。具体的な使用方法は、ストリームＡのストリーム優先度が５であり、ストリームＢのストリーム優先度が１０である場合（数字の少ない方が優先度が高い）、優先度によりストリームデータの廃棄ならば、ストリームＢの方は廃棄されるが、ストリーム間の関係記述を行なうことで、ＡＮＤの場合にはストリームＢの優先度が閾値の優先度よりも低くても、廃棄せずに伝送、処理するように定義しておく。
【０２２１】
これにより、関連のあるストリームは廃棄されずに処理できるようになる。ＯＲの場合には逆に、廃棄可能であると定義する。これまでと同様に、廃棄処理は送受信端末でも行なっても、中継端末で行なってもよい。
【０２２２】
なお、関係記述のための演算子として、おなじビデオクリップを２４Ｋｂｐｓと４８Ｋｂｐｓの別のストリームに符号化した場合、どちらかを再生すれば良いという場合がある（関係記述として排他的論理和ＥＸ−ＯＲ）。
【０２２３】
前者の優先度を１０、後者を５としてある場合、ユーザは優先度に基づいて後者を再生してもよいし、優先度に従わずユーザは後者を選んでもよい。
【０２２４】
図３８は通信ペイロードの構成方法について説明する図である。
【０２２５】
複数のサブストリームから構成される場合、サブストリームに付加したストリーム優先度に応じて、たとえば優先度の高い順に、送信パケットを構成することで送信パケットレベルでの廃棄が容易になる。また、粒度を細かくして、フレーム優先度の高いオブジェクト同士の情報をひとつにまとめて通信パケットを構成しても通信パケットレベルでの廃棄が容易になる。
【０２２６】
なお、画像のスライス構造を通信パケットに対応付けることでパケット落ちしたときの復帰が容易である。つまり、動画像のスライス構造をパケットの構造に対応付けることで、再同期のためのリシンクマーカーが不要になる。スライス構造と通信パケットの構造が一致していなければ、パケット落ちなどで情報が損失した場合、再同期ができるようにリシンクマーカー（復帰する位置を知らせるための印）を付加する必要がある。
【０２２７】
これにあわせて、優先度の高い通信パケットには高いエラープロテクションをかけることが考えられる。なお、画像のスライス構造とはＧＯＢやＭＢといったまとまった画像情報の単位をさす。
【０２２８】
図３９はデータを通信ペイロードへ対応づける方法について説明する図である。ストリームやオブジェクトの通信パケットへの対応付けの方法を制御情報もしくはデータとともに伝送することで、通信状況や用途に応じて任意のデータフォーマットが生成できる。たとえば、ＲＴＰ（Ｒｅａｌ　ｔｉｍｅ　Ｔｒａｎｓｆｅｒ　Ｐｒｏｔｏｃｏｌ）では、扱う符号化毎にＲＴＰのペイロードが定義されている。現行のＲＴＰの形式は固定である。Ｈ．２６３の場合、同図に示したように、Ｍｏｄｅ　ＡからＭｏｄｅ　Ｃの３つのデータ形式が定義されている。Ｈ．２６３では、多重解像度の映像フォーマットを対象とした通信ペイロードは定義されていない。
【０２２９】
同図の例では、Ｌａｙｅｒ　Ｎｏ．と前述の関係記述（　ＡＮＤ、ＯＲ　）を、Ｍｏｄｅ　Ａのデータフォーマットに追加して定義している。
【０２３０】
図４０は、フレーム優先度、ストリーム優先度と通信パケット優先度との対応について説明する図である。
【０２３１】
又、同図は、伝送路で通信パケットに付加される優先度を通信パケット優先度とし、ストリーム優先度やフレーム優先度を、通信パケット優先度に対応させる例である。
【０２３２】
通常、ＩＰを利用した通信では、画像や音声データに付加されたフレーム優先度やストリーム優先度を下位のＩＰパケットの優先度にパケットに対応付けてデータを伝送する必要がある。画像や音声データは分割され、ＩＰのパケットに分割されて伝送されるため優先度の対応付けが必要がある。図の例では、ストリーム優先度は０から３までの値をとり、フレーム優先度は０から５までの値をとるため、上位のデータでは０から１５までの優先度を取りうる。
【０２３３】
ＩＰｖ６では優先度（４ビット）のうち０から７までは輻輳制御されたトラフィックのために予約されている、優先度のうち８から１５までは実時間通信トラフィックまたは輻輳制御されていないトラフィックのために予約されている。優先度１５は最も優先度が高く、優先度８が最も優先度が低い。これはＩＰのパケットのレベルでの優先度になる。
【０２３４】
ＩＰを使ったデータの伝送では上位の０から１５までの優先度を下位のＩＰの優先度である８から１５までの優先度に対応付ける必要がある。対応付けは上位の優先度の一部をクリッピングする方式でもよいし、評価関数をもうけて対応付けてもよい。上位のデータと下位のＩＰの優先度の対応付けは、中継ノード（ルータやゲートウェイなど）、送受信端末で管理を行う。
【０２３５】
なお、伝送手段はＩＰだけに限定されるわけではなく、ＡＴＭやＭＰＥＧ２のＴＳ（トランスポート・ストリーム）のように廃棄可能かそうでないかのフラグをもった伝送パケットを対象としてもよい。
【０２３６】
これまでに述べた、フレーム優先度とストリーム優先度は、伝送媒体やデータ記録媒体へ適用が可能である。データ記録媒体としてフロッピーディスク、光ディスクなどを用いて行うことができる。
【０２３７】
また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。さらに、データの中継を行うルータやゲートウェイといった画像音声中継装置を対象としてもよい。
【０２３８】
加えて、Ｓｔｒｅａｍ　Ｐｒｉｏｒｉｔｙ（時系列データ間優先度）や、Ｆｒａｍｅ　Ｐｒｉｏｒｉｔｙ（時系列データ内優先度）の情報に基づいて再送すべき時系列データを決定することで、優先的な再送処理が可能となる。たとえば、優先度情報に基づいて受信端末でデコードを行なっている場合、処理の対象外であるストリームやフレームの再送を防止することができる。
【０２３９】
また、現在の処理対象となっている優先度とは別に、再送回数と送信成功回数の関係から再送すべき優先度のストリームやフレームを決定してもよい。
【０２４０】
一方、送信側の端末においても、Ｓｔｒｅａｍ　Ｐｒｉｏｒｉｔｙ（時系列データ間優先度）やＦｒａｍｅ　Ｐｒｉｏｒｉｔｙ（時系列データ内優先度）の情報に基づいて送信すべき時系列データを決定することで、優先的な送信処理が可能となる。たとえば、平均転送レートや、再送回数に基づいて送信すべきストリームやフレームの優先度を決定することで、ネットワークが過負荷である際にも適応的な映像や音声の伝送が可能になる。
【０２４１】
なお、上記実施の形態は、２次元の画像合成だけに限定したものではない。２次元の画像と３次元の画像を組み合わせた表現形式でもよいし、広視野画像（パノラマ画像）のように複数の画像を隣接するように画像合成するような画像合成方法も含めてもよい。また、本発明で対象としている通信形態は、有線の双方向ＣＡＴＶやＢ−ＩＳＤＮだけではない。たとえば、センター側端末から家庭側端末への映像や音声の伝送は電波（例えば、ＶＨＦ帯、ＵＨＦ帯）、衛星放送で、家庭側端末からセンター側端末への情報発信はアナログの電話回線やＮ−ＩＳＤＮであってもよい（映像、音声、データも必ずしも多重化されている必要はない）。また、ＩｒＤＡ、ＰＨＳ（パーソナル・ハンディー・ホン）や無線ＬＡＮのような無線を利用した通信形態であってもよい。
【０２４２】
さらに、対象とする端末は、携帯情報端末のように携帯型の端末であっても、セットトップＢＯＸ、パーソナルコンピュータのように卓上型の端末であっても良い。
【０２４３】
以上のように本発明によれば、複数のビデオストリームや複数のオーディオストリームの取り扱いや、編集者の意図を反映させて、重要なシーンカットを重点的にオーディオとともに同期再生をさせることが容易となる。
【０２４４】
以下に本発明の実施の形態を図面を参照しながら説明する。
【０２４５】
尚、ここで述べる実施の形態は、主に、上述した課題（Ｃ１）〜（Ｃ３）の何れかを解決するものである。
【０２４６】
図４１は第１の実施の形態である送信装置の構成を示すものである。２１０１は画像入力端子であって、一枚の画像サイズは例えば縦１４４画素、横１７６画素である。２１０２は動画像符号化装置であって、４つの構成要素１０２１，１０２２，１０２３，１０２４から成る（Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　Ｈ．２６１参照）。
【０２４７】
１０２１は入力された画像をマクロブロック（縦１６画素、横１６画素の正方形領域）に分割し、このブロックの符号化を、イントラ／インタどちらで符号化するかを決定する切替器、１０２２は前回の符号化結果から計算できるローカルデコード画像をもとに動き補償画像を作成し、これと入力画像との差分を計算し、結果をマクロブロック単位に出力する動き補償手段であって、動き補償には、処理時間の長いハーフペル動き補償と処理時間の短いフルペル動き補償がある。１０２３はそれぞれのマクロブロックに対してＤＣＴ変換を施す直交変換手段、１０２４はこのＤＣＴ変換結果及び他の符号化情報に対してエントロピー符号化を施すための可変長符号化手段である。
【０２４８】
２１０３は計数手段であって、動画像符号化装置２１０２の４つの構成要素の実行回数を計数し、入力画像ごとに、結果を変換手段に出力する。この時、動き補償手段１０２２からは、ハーフペルとフルペルの２通りについてそれぞれの実行回数を計数する。
【０２４９】
２１０４は変換手段であって、図４２に示すようなデータ列を出力する。２１０５は送信手段であって、動画像符号化装置２１０２からの可変長符号と、変換手段２１０４からのデータ列を多重化して、一本のデータ列とし、データ出力端子２１０９に出力するものである。
【０２５０】
以上の構成により、受信装置に、必須処理（切替器１０２１，直交変換手段１０２３，可変長符号化手段１０２４）と非必須処理（動き補償手段１０２２）の各実行回数を伝達することができる。
【０２５１】
次に、図４８は、第２の実施の形態である送信方法のフローチャートである。
【０２５２】
本実施の形態における動作が第１の実施の形態と似ているので、対応する要素を付記しておく。８０１にて、画像を入力し（画像入力端子２１０１）、８０２にて画像をマクロブロックに分割する。以降、８０７の条件分岐により、すべてのマクロブロックに対する処理を完了するまで、８０３から８０６までの処理を繰りかえす。なお、８０３から８０６までの処理の回数を、特定の変数に記録できるように、それぞれの処理を実行した場合には、対応する変数を１だけインクリメントする。
【０２５３】
まず、８０３にて、処理対象のマクロブロックをイントラ／インタどちらで符号化するかを判定する（切替器１０２１）。インタの場合は、８０４にて動き補償を行う（動き補償手段１０２２）。その後、８０５，８０６にて、ＤＣＴ変換、可変長符号化を、行う（直交変換手段１０２３，可変長符号化手段１０２４）。すべてのマクロブロックに対する処理を完了したら（８０７にてＹｅｓの時）、８０８にて、それぞれの処理に対応する実行回数を示す変数を読み、図２に示すようなデータ列を生成し、このデータ列と符号とを多重化し、出力する。以上の８０１から８０８までの処理を、入力画像が続くかぎり、繰り返し実行する。
【０２５４】
以上の構成により、各処理の実行回数を送信することができる。
【０２５５】
次に、図４３は第３の実施の形態である受信装置の構成を示すものである。
【０２５６】
同図において、３０７は第１の実施の形態の送信装置の出力を入力するための入力端子、３０１は第１の実施の形態の送信装置の出力をもとに可変長符号とデータ列を逆多重化により取り出し出力する受信手段であって、この時、一枚分のデータを受信するのに要した時間を計測しておき、これも出力するものとする。
【０２５７】
３０３は可変長符号を入力とする動画像の復号化装置であって、５つの構成要素から成る。３０３１は可変長符号からＤＣＴ係数及び他の符号化情報を取り出すための可変長復号化手段、３０３２はＤＣＴ係数に対して逆ＤＣＴ変換処理を施す逆直交変換手段、３０３３は切替器であって、マクロブロックごとに、イントラ／インタどちらで符号化されているかの符号化情報に基づき、出力を上下に振りわける動作をする。３０３４は動き補償手段であって、前回の復号画像と動きの符号化情報とを用い、動き補償画像を作成し、この画像に逆直交変換手段３０３２の出力を加算して出力する。３０３５は実行時間計測手段であって、復号化装置３０３に可変長符号が入力されてから画像の復号化及び出力を完了するまでの実行時間を計測し、これを出力する。３０２は、受信手段３０１からのデータ列から各要素（可変長復号化手段３０３１，逆直交変換手段３０３２，切替器３０３３，動き補償手段３０３４）の実行回数と、実行時間計測手段３０３５から実行時間とを受け取り、各要素の実行時間を推定する推定手段である。
【０２５８】
推定方法は、例えば、線型回帰を用いれば、推定実行時間を目的変数ｙ、各要素の実行回数を説明変数ｘ＿ｉとすれば良い。この場合、回帰パラメタａ＿ｉは、各要素の実行時間とみなせるであろう。また、線型回帰の場合、過去のデータを充分多く蓄積しておく必要があり、メモリを沢山消費することになるが、これを嫌う場合には、カルマンフィルタによる内部状態変数の推定を利用しても良い。この場合、観測値が実行時間、各要素の実行時間を内部状態変数とし、観測行列Ｃが各要素の実行回数でステップごとに変化する場合、と考えれば良い。３０４は、フルペル動き補償の実行回数を減らし、相当数だけハーフペル動き補償の実行回数を増やすように、各要素の実行回数を変更する回数削減手段である。この相当数の計算方法は、以下の通りである。
【０２５９】
まず、推定手段３０２から各要素の実行回数と推定実行時間とを受けとり、実行時間を予想する。この時間が、受信手段３０１からのデータを受信するのに要した時間を越える場合に、越えなくなるまで、フルペル動き補償の実行回数を増やし、ハーフペル動き補償の実行回数を減らす。３０６は復号化画像の出力端子である。
【０２６０】
なお、動き補償手段３０３４は、符号化情報からハーフペル動き補償を行うよう指示されている場合であるが、ハーフペル動き補償の所定実行回数を越えてしまった場合には、ハーフペルの動きを丸めて、フルペルの動きとして、フルペル動き補償を実行する。
【０２６１】
以上にて説明した第１の実施の形態、第３の実施の形態によれば、推定された各要素の実行時間から復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要した時間（指定時間）を越えるようであれば、実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、実行時間が指定時間を越えないようにでき、課題（Ｃ１）を解決することができる。
【０２６２】
なお、受信装置でのＩＤＣＴ計算において、高周波成分を使用しないようにすることで、ＩＤＣＴ計算の処理時間を減らすことができる。つまり、ＩＤＣＴ計算のうち、低周波成分の計算を必須処理、高周波成分の計算を非必須処理とみなして、ＩＤＣＴ計算の高周波成分の計算回数を削減するようにしても良い。
【０２６３】
次に、図４９は、第４の実施の形態である受信方法のフローチャートである。
【０２６４】
本実施の形態における動作が第３の実施の形態と似ているので、対応する要素を付記しておく。ステップ９０１にて各要素の実行時間を表現する変数ａ＿ｉを初期化する（推定手段３０２）。９０２にて多重化データの入力と、これに要する時間の計測を行う（受信手段３０１）。９０３にてこの多重化データを、可変長符号とデータ列とに分離し、出力する（受信手段３０１）。９０４にてデータ列（図２）から各実行回数を取り出し、これらをｘ＿ｉに設定する。９０５にて、各要素の実行時間ａ＿ｉと各実行回数ｘ＿ｉとから、実際の実行回数を算出する（回数削減手段３０４）。９０６にて、復号化処理の実行時間の計測を開始し、９０７にて後述する復号化処理ルーチンを起動し、その後、９０８にて復号化処理の実行時間の計測を終了する（動画像の復号化装置３０３，実行時間計測手段３０３５）。９０８では、９０８での復号化処理の実行時間と９０５での各要素の実際の実行回数とから各要素の実行時間を推定し、ａ＿ｉを更新する（推定手段３０２）。以上の処理を入力される多重化データごとに実行する。
【０２６５】
また、復号化処理ルーチン９０７では、９１０にて可変長復号化を行い（可変長復号化手段３０３１）、９１１にて逆直交変換を行い（逆直交変換手段３０３２）、９１２にて、９１０での処理で取り出されたイントラ／インタの情報で分岐する（切替器３０３３）。インタの場合は、９１３にて動き補償を施す（動き補償手段３０３４）。この９１３にて、ハーフペル動き補償の実行回数を計数しておき、これが９０５で求めた実際の実行回数を越えた場合には、ハーフペル動き補償をフルペル動き補償で置き替えて実行する。以上の処理を、すべてのマクロブロックについて完了後（ステップ９１４）、このルーチンを終了する。
【０２６６】
以上にて説明した第２の実施の形態、第４の実施の形態によれば、推定された各要素の実行時間から復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要した時間（指定時間）を越えるようであれば、実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、実行時間が指定時間を越えないようにでき、課題（Ｃ１）を解決することができる。
【０２６７】
次に、図４４は第５の実施の形態である受信装置の構成を示すものである。
【０２６８】
本実施の形態のほとんどの構成要素は、第２の実施の形態で説明したのと同じであり、２つの構成要素の追加と、１つの構成要素の修正のみであるのでその点を説明する。
【０２６９】
４０２は第２の実施の形態で説明した推定手段３０２に推定の結果得た各要素の実行時間を、回数制限手段３０４への出力とは別に、出力するよう修正したものである。４０８は送信手段であって、各要素の実行時間から図４５に示すようなデータ列を生成し、これを出力するものである。実行時間は、マイクロセコンドを単位として、１６ｂｉｔで表現すれば最大で、約６５ミリセコンドを表現できるので、充分であろう。４０９はこのデータ列を送信手段に送るための出力端子である。
【０２７０】
また、この第５の実施の形態に対応する受信方法は、図４５に示すようなデータ列を生成するステップを図４８の８０８の直後に追加したもので良い。
【０２７１】
次に、図４６は第６の実施の形態である送信装置の構成を示すものである。
【０２７２】
本実施の形態のほとんどの構成要素は、第１の実施の形態で説明したのと同じであり、２つの構成要素の追加のみであるのでその点を説明する。６０６は第３の実施の形態の受信装置の出力するデータ列を受信するための入力端子、６０７はこのデータ列を受信し、各要素の実行時間を出力する受信手段である。６０８は、各要素の実行回数を求める決定手段であって、その手順は以下の通りである。まず、画像中のすべてのマクロブロックについて、切替器１０２１での処理を行い、この時点での切替器１０２１の実行回数を求める。また、このあとの、動き補償手段１０２２、直交変換手段１０２３，可変長符号化手段１０２４での実行回数は、この時点までの処理結果によって、一意に決定できる。そこで、これら実行回数と、受信手段６０７からの実行時間を用いて、受信装置側での復号化に要する実行時間を予測する。この予測復号化時間は、各要素の実行時間と実行回数の積の、要素ごとの総和として、求まる。そして、予測復号化時間が、レートコントローラなどが指定した今回の画像で発生すべき符号量（例えば１６ｋｂｉｔｓ）の伝送に要する時間（例えば、伝送速度が６４ｋｂｉｔ／ｓｅｃなら２５０ｍｓｅｃ）以上であれば、復号化時間が伝送に要する時間を越えないように、フルペル動き補償の実行回数を増やし、ハーフペル動き補償の実行回数を減らす（フルペル動き補償のほうが、実行時間が短いので、これの回数を減らすことで実行時間を小さくすることができる。）。
【０２７３】
なお、動画像の符号化装置２１０２は、決定手段６０８の指定した実行回数に基づき、各処理を行う。例えば、動き補償手１０２２は、指定されたハーフペルの動き補償実行回数分だけ、ハーフペル動き補償を実行完了すれば、その後は、フルペルの動き補償だけを実行するようになる。
【０２７４】
また、ハーフペルの動き補償が、画像中に一様にちらばるように、選択方法を工夫しても良い。たとえば、まず、ハーフペルの動き補償を必要とするマクロブロックをすべて求め、この数（例えば１２）をハーフペルの動き補償実行回数（例えば４）で割った商（３）を求め、ハーフペルの動き補償を必要とするマクロブロックの始めからの順序が、この商で割りきれるもの（０，３，６，９）だけにハーフペルの動き補償を施す、という方法でも良い。
【０２７５】
以上にて説明した第５の実施の形態、第６の実施の形態によれば、推定された各要素の実行時間を送信側に伝送し、送信側にて復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要するであろう時間（指定時間）を越えないように実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、送られた符号化情報のうち、ハーフペル動き補償の情報が捨てられることなく、実行時間が指定時間を越えないようにでき、課題（Ｃ２）を解決することができる。
【０２７６】
なお、非必須処理において、インターマクロブロック符号化を普通の動き補償、８ｘ８動き補償、オーバラップ動き補償の３つに分割しても良い。
【０２７７】
次に、図５０は、第７の実施の形態である送信方法のフローチャートである。
【０２７８】
本実施の形態における動作が第６の実施の形態と似ているので、対応する要素を付記しておく。１００１にて、各処理の実行時間の初期値を設定する。８０１にて画像を入力し（入力端子２１０１）、にて画像をマクロブロックに分割する。１００２にて、すべてのマクロブロックについて、イントラ／インタどちらで符号化するかを判定する（切替器１０２１）。この結果、１００５から８０６までの各処理の実行回数がわかるので、１００３では、この実行回数と、各処理の実行時間とから、実際の実行回数を算出する（決定手段６０８）。
【０２７９】
以降、８０７の条件分岐により、すべてのマクロブロックに対する処理を完了するまで、１００５から８０６までの処理を繰りかえす。
【０２８０】
なお、１００５から８０６までの処理の回数を、特定の変数に記録できるように、それぞれの処理を実行した場合には、対応する変数を１だけインクリメントする。まず、１００５にて、１００２での判定結果に基き、分岐する（切替器１０２１）。インタの場合は、８０４にて動き補償を行う（動き補償手段１０２２）。ここで、ハーフペル動き補償の回数を計数しておき、これが１００３で求めた実際の実行回数を越えた場合には、ハーフペル動き補償を実行せずかわりにフルペル動き補償を実行する。その後、８０５，８０６にて、ＤＣＴ変換、可変長符号化を、行う（直交変換手段１０２３，可変長符号化手段１０２４）。すべてのマクロブロックに対する処理を完了したら（８０７にてＹｅｓの時）、８０８にて、それぞれの処理に対応する実行回数を示す変数を読み、図２に示すようなデータ列を生成し、このデータ列と符号とを多重化し、出力する。１００４では、データ列を受信し、これから各処理の実行時間を取り出し、設定する。
【０２８１】
以上の８０１から１００４までの処理を、入力画像が続くかぎり、繰り返し実行する。
【０２８２】
以上にて説明した、第５の実施の形態の説明部分の最後の「また」で始まるパラグラフと、第７の実施の形態とによれば、推定された各要素の実行時間を送信側に伝送し、送信側にて復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要するであろう時間（指定時間）を越えないように実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、送られた符号化情報のうち、ハーフペル動き補償の情報が捨てられることなく、実行時間が指定時間を越えないようにでき、課題（Ｃ２）を解決することができる。
【０２８３】
次に、図４７は第８の実施の形態である送信装置の構成を示すものである。
【０２８４】
本実施の形態のほとんどの構成要素は、第１の実施の形態で説明したのと同じであり、４つの構成要素の追加のみであるのでその点を説明する。
【０２８５】
７０１０は実行時間計測手段であって、符号化装置２１０２に画像が入力されてから画像の符号化及び符号の出力を完了するまでの実行時間を計測し、これを出力する。７０６は、計数手段２１０３からのデータ列からの各要素（切替器１０２１、動き補償手段１０２２、直交変換手段１０２３，可変長復号化手段１０２４）の実行回数と、実行時間計測手段７０１０からの実行時間とを受け取り、各要素の実行時間を推定する推定手段である。推定方法は、第２の実施の形態の推定手段３０２で説明したものと同じで良い。７０７はユーザからのフレームレート値を入力するための入力端子、７０８は、各要素の実行回数を求める決定手段であって、その手順は以下の通りである。
【０２８６】
まず、画像中のすべてのマクロブロックについて、切替器１０２１での処理を行い、この時点での切替器１０２１の実行回数を求める。また、このあとの、動き補償手段１０２２、直交変換手段１０２３，可変長符号化手段１０２４での実行回数は、この時点までの処理結果によって、一意に決定できる。つぎに、この実行回数と推定手段７０６からの各要素の推定実行時間との積の、要素ごとの総和を求め予測符号化時間を算出する。そして、予測符号化時間が、７０７からのフレームレートの逆数から求まる一枚の画像の符号化に使用可能な時間以上であれば、フルペル動き補償の実行回数を増やし、ハーフペル動き補償の実行回数を減らす。
【０２８７】
この増減処理と予測符号化時間の算出とを、予測符号化時間が使用可能な時間以下になるまで、繰り返すことで、それぞれの実行回数を決定する。
【０２８８】
なお、動画像の符号化装置２１０２は、決定手段６０８の指定した実行回数に基づき、各処理を行う。例えば、動き補償手１０２２は、指定されたハーフペルの動き補償実行回数分だけ、ハーフペル動き補償を実行完了すれば、その後は、フルペルの動き補償だけを実行するようになる。
【０２８９】
また、ハーフペルの動き補償が、画像中に一様にちらばるように、選択方法を工夫しても良い。たとえば、まず、ハーフペルの動き補償を必要とするマクロブロックをすべて求め、この数（例えば１２）をハーフペルの動き補償実行回数（例えば４）で割った商（３）を求め、ハーフペルの動き補償を必要とするマクロブロックの始めからの順序が、この商で割りきれるもの（０，３，６，９）だけにハーフペルの動き補償を施す、という方法でも良い。
【０２９０】
以上示した第８の実施の形態によれば、各処理の実行時間を推定し、この推定実行時間に基き、符号化に要する実行時間を予め予測し、この予測符号化時間が、フレームレートから決まる画像の符号化に使用可能な時間以下になるように、実行回数を決定することにより、課題（Ｃ３）を解決することができる。
【０２９１】
なお、動き補償手段１０２２では、動きベクトルを検出するために、左右上下１５画素の範囲のベクトルのうち、もっともＳＡＤ（画素ごとに差の絶対値の和）を小さくするものを検出するフルサーチ動きベクトル検出方法存在するが、これ以外に、３ｓｔｅｐ動きベクトル検出方法というものもある（Ｈ．２６１のａｎｎｅｘ．に記述がある）。これは、上記の探索範囲にて均等な配置関係の９点を選び、これのＳＡＤ最小の点を選ぶ。次に、この点の近傍のせばめた範囲にて、再度、９点を選び、ＳＡＤ最小の点を選ぶ。このような処理をもう一度実行するのが、３ｓｔｅｐ動きベクトル検出方法である。
【０２９２】
これら２つの方法を、非必須処理方法とみなし、実行時間をそれぞれ推定し、推定実行時間にもとづき、符号化に要する実行時間を予測し、この予測実行時間がユーザ指定時間以下になるように、適宜、フルサーチ動きベクトル検出方法の実行回数を減らし、かわりに３ｓｔｅｐ動きベクトル検出方法の実行回数を増やすようにしても良い。
【０２９３】
さらに、３ｓｔｅｐ動きベクトル検出方法以外に、もっと処理を簡略化した固定探索回数による動きベクトル検出方法や、（０，０）動きベクトルのみを結果として返す動きベクトル検出方法を併用しても良い。
【０２９４】
次に、図５１は、第９の実施の形態である送信方法のフローチャートである。
【０２９５】
本実施の形態における動作が第８の実施の形態と似ているので、対応する要素を付記しておく。各フローでの詳しい動作は、対応する要素の説明を参照のこと。また、第２の実施の形態とほぼ同じであるので、異なる点のみを説明する。
【０２９６】
１１０１にて各処理の実行時間の初期値を変数ａ＿ｉに設定する。また、１１０２にてフレームレートを入力する（入力端子７０７）。ｌ１０３は、１１０２でのフレームレート、各処理の実行時間ａ＿ｉ、１００２でのイントラ／インタ判定結果から求まる各処理の実行回数、とから実際の実行回数を決定する（決定手段７０８）。１１０５，１１０６は、符号化処理の実行時間を計測するためのものである。１１０４は、１１０６での実行時間と各処理の実際の実行回数とから各処理の実行時間を推定し、変数ａ＿ｉを更新する（推定手段７０６）。
【０２９７】
以上示した第９の実施の形態によれば、各処理の実行時間を推定し、この推定実行時間に基き、符号化に要する実行時間を予め予測し、この予測符号化時間が、フレームレートから決まる画像の符号化に使用可能な時間以下になるように、実行回数を決定することにより、課題（Ｃ３）を解決することができる。
【０２９８】
なお、第２の実施の形態において、８０８でのデータ列生成時に、図２に示すスタートコードの直後に、２バイトの領域を追加し、ここに、符号の長さの二進表現を追加しても良い。
【０２９９】
さらに、第４の実施の形態において、９０２での多重化データの入力時にこの２バイトの領域から符号の長さを抽出し、この符号長さと、符号の伝送速度とから求まる符号の伝送時間を、９０５での実行回数計算に用いるようにしても良い（符号の伝送時間を越えないように、ハーフペル動き補償の実行回数を減らす）。
【０３００】
なお、第１の実施の形態において、２１０４でのデータ列生成時に、図２に示すスタートコードの直後に、２バイトの領域を追加し、ここに、符号の長さの二進表現を追加しても良い。
【０３０１】
さらに、第３の実施の形態において、３０１での多重化データの入力時にこの２バイトの領域から符号の長さを抽出し、この符号長さと、符号の伝送速度とから求まる符号の伝送時間を、３０４での実行回数計算に用いるようにしても良い（符号の伝送時間を越えないように、ハーフペル動き補償の実行回数を減らす）。
【０３０２】
また、第４の実施の形態において、９０９直後に、ハーフペル動き補償の実際の実行回数を記録し、これの最大値を算出する。そして、この最大値が充分小さな値（例えば、２とか３）以下の場合には、ハーフペル動き補償を使用しないことを示すデータ列（特定のビットパターンから成るデータ列）を生成し、これを送信しても良い。さらに、第２の実施の形態において、８０８直後にて、このデータ列の受信有無を確認し、ハーフペル動き補償を使用しないことを示すデータ列を受信した場合には、８０８にて動き補償の処理を常にフルペル動き補償とするようにしても良い。
【０３０３】
さらに、動き補償以外にも、この考えを適用できる。たとえば、ＤＣＴ計算で、高周波成分を使用しないようにすることで、ＤＣＴ計算の処理時間を減らすことができる。つまり、受信方法にて、ＩＤＣＴ計算の実行時間の全体の実行時間に占める割合が一定値を越える場合には、その旨を示すデータ列を送信側に伝送する。送信側では、このデータ列を受信した場合には、ＤＣＴ計算において低周波成分のみを計算し、高周波成分はすべて０にしても良い。
【０３０４】
さらに、ここでは、画像を用いて実施の形態を説明したが、画像以外の音声などに、上記の各方法を適用しても良い。
【０３０５】
また、第３の実施の形態において、３０３４にて、ハーフペル動き補償の実際の実行回数を記録し、これの最大値を算出する。そして、この最大値が充分小さな値（例えば、２とか３）以下の場合には、ハーフペル動き補償を使用しないことを示すデータ列（特定のビットパターンから成るデータ列）を生成し、これを送信しても良い。さらに、第１の実施の形態において、ハーフペル動き補償を使用しないことを示すデータ列を受信した場合には、１０２２での動き補償の処理を常にフルペル動き補償とするようにしても良い。
【０３０６】
さらに、動き補償以外にも、この考えを適用できる。たとえば、ＤＣＴ計算で、高周波成分を使用しないようにすることで、ＤＣＴ計算の処理時間を減らすことができる。つまり、受信方法にて、ＩＤＣＴ計算の実行時間の全体の実行時間に占める割合が一定値を越える場合には、その旨を示すデータ列を送信側に伝送する。
【０３０７】
送信側では、このデータ列を受信した場合には、ＤＣＴ計算において低周波成分のみを計算し、高周波成分はすべて０にしても良い。
【０３０８】
さらに、ここでは、画像を用いて実施の形態を説明したが、画像以外の音声などに、上記の方法を適用しても良い。
【０３０９】
以上説明したところから明らかなように、例えば第１の実施の形態、第３の実施の形態によれば、推定された各要素の実行時間から復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要した時間（指定時間）を越えるようであれば、実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、実行時間が指定時間を越えないようにでき、課題（Ｃ１）を解決することができる。
【０３１０】
また、例えば第５の実施の形態、第７の実施の形態によれば、推定された各要素の実行時間を送信側に伝送し、送信側にて復号化処理の実行時間を予測し、これが一枚分のデータを受信するのに要するであろう時間（指定時間）を越えないように実行時間の長いハーフペルの動き補償を、フルペルの動き補償で置き替える。これによって、送られた符号化情報のうち、ハーフペル動き補償の情報が捨てられることなく、実行時間が指定時間を越えないようにでき、課題（Ｃ２）を解決することができる。
【０３１１】
また、例えば第９の実施の形態によれば、各処理の実行時間を推定し、この推定実行時間に基き、符号化に要する実行時間を予め予測し、この予測符号化時間が、フレームレートから決まる画像の符号化に使用可能な時間以下になるように、実行回数を決定することにより、課題（Ｃ３）を解決することができる。
【０３１２】
このように、本発明により、計算負荷が増大してもゆるやかに品質を落とす機能（ＣＧＤ：Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｇｒａｃｅｆｕｌ　Ｄｅｇｒａｄａｔｉｏｎ）を実現出来、実施に伴う利益は非常に大である。
【０３１３】
又、以上述べてきた実施の形態の何れか一つに記載の各ステップ（又は、各手段）の全部又は一部のステップ（又は、各手段の動作）をコンピュータに実行させるためのプログラムを記録した磁気記録媒体や、光記録媒体などの記録媒体を作成し、その記録媒体を用いてコンピュータにより上記と同様の動作を行っても良い。
【０３１４】
【発明の効果】
以上説明したように、本発明の画像・音声受信装置によれば、主視聴番組以外の番組の状況を周期的に検出する副視聴手段において少なくとも制御情報を受信することで、チャンネル切り替え時の受信端末でのプログラムの読み込みや立ち上がりの準備を行うこととしたので、受信端末でのセットアップ時間を短縮できる。
【図面の簡単な説明】
【図１】本発明の実施例における画像音声送受信装置の概略構成図
【図２】受信管理部と分離部とを示す図
【図３】複数の論理的な伝送路を用いて画像や音声の伝送、制御する方法を示す図
【図４】送信すべき画像や音声のデータに付加するヘッダ情報の動的な変更方法を示す図
【図５】（ａ）〜（ｂ）：ＡＬ情報の付加方法を示す図
【図６】（ａ）〜（ｄ）：ＡＬ情報の付加方法の例を示す図
【図７】複数の論理的な伝送路を動的に多重化、分離して情報の伝送を行う方法を示す図
【図８】放送番組の伝送手順を示す図
【図９】（ａ）：プログラム、データが受信端末にある場合における、プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法を示す図
（ｂ）：プログラム、データが送信される場合における、プログラムやデータの読み込み、立ち上げ時間を考慮した画像や音声の伝送方法を示す図
【図１０】（ａ）〜（ｂ）：ザッピングに対する対応方法を示す図
【図１１】実際に端末間で送受信されるプロトコルの具体例を示す図
【図１２】実際に端末間で送受信されるプロトコルの具体例を示す図
【図１３】実際に端末間で送受信されるプロトコルの具体例を示す図
【図１４】実際に端末間で送受信されるプロトコルの具体例を示す図
【図１５】実際に端末間で送受信されるプロトコルの具体例を示す図
【図１６】実際に端末間で送受信されるプロトコルの具体例を示す図
【図１７】実際に端末間で送受信されるプロトコルの具体例を示す図
【図１８】実際に端末間で送受信されるプロトコルの具体例を示す図
【図１９】実際に端末間で送受信されるプロトコルの具体例を示す図
【図２０】実際に端末間で送受信されるプロトコルの具体例を示す図
【図２１】実際に端末間で送受信されるプロトコルの具体例を示す図
【図２２】実際に端末間で送受信されるプロトコルの具体例を示す図
【図２３】実際に端末間で送受信されるプロトコルの具体例を示す図
【図２４】実際に端末間で送受信されるプロトコルの具体例を示す図
【図２５】（ａ）〜（ｂ）：本発明のＣＧＤのデモシステム構成図
【図２６】本発明のＣＧＤのデモシステム構成図
【図２７】エンコーダでの過負荷時の優先度の付加方法を示す図
【図２８】過負荷時の受信端末での優先度の決定方法について記した図
【図２９】優先度の時間変化を示す図
【図３０】ストリーム優先度とオブジェクト優先度を示す図
【図３１】本発明の実施例における画像符号化、画像復号化装置の概略構成図
【図３２】本発明の実施例における音声符号化、音声復号化装置の概略構成図
【図３３】（ａ）〜（ｂ）：過負荷時の処理の優先度を管理する優先度付加部、優先度決定部を示す図
【図３４】優先度を付加する粒度を示す図
【図３５】優先度を付加する粒度を示す図
【図３６】優先度を付加する粒度を示す図
【図３７】多重解像度の画像データへ優先度の割り当て方法を示す図
【図３８】通信ペイロードの構成方法を示す図
【図３９】データを通信ペイロードへ対応づける方法を示す図
【図４０】オブジェクト優先度、ストリーム優先度と通信パケット優先度との対応を示す図
【図４１】本発明の第１の実施の形態における送信装置の構成図
【図４２】第１の実施の形態の説明図
【図４３】本発明の第３の実施の形態における受信装置の構成図
【図４４】本発明の第５の実施の形態における受信装置の構成図
【図４５】第５の実施の形態の説明図
【図４６】本発明の第６の実施の形態における送信装置の構成図
【図４７】本発明の第８の実施の形態における送信装置の構成図
【図４８】本発明の第２の実施の形態における送信方法のフローチャート
【図４９】本発明の第４の実施の形態における受信方法のフローチャート
【図５０】本発明の第７の実施の形態における送信方法のフローチャート
【図５１】本発明の第９の実施の形態における送信方法のフローチャート
【図５２】本発明の画像・音声送信装置の一例を示す構成図
【図５３】本発明の画像・音声受信装置の一例を示す構成図
【図５４】本発明の画像・音声送信装置の映像と音声に優先度を付加する優先度付加手段について説明する図
【図５５】本発明の画像・音声受信装置の映像と音声に付加された優先度を解釈し、復号処理の可否を決定する優先度決定手段について説明する図
【符号の説明】
１１　　　受信管理部
１２　　　分離部
１３　　　伝送部
１４　　　画像伸長部
１５　　　画像伸長管理部
１６　　　画像合成部
１７　　　出力部
１８　　　端末制御部
３０１　　受信手段
３０２　　推定手段
３０３　　動画像の復号化装置
３０４　　回数削減手段
３０６　　出力端子
３０７　　入力端子
３０３１　可変長復号化手段
３０３２　逆直交変換手段
３０３３　切替器
３０３４　動き補償手段
３０３５　実行時間計測手段
４０１１　送信管理部
４０１２　画像符号部
４０１３　受信管理部
４０１４　画像復号部
４０１５　画像合成部
４０１６　出力部
４１０１　画像符号化装置
４１０２　画像復号化装置

Claims (1)

1. 画像データ及び／又は音声データからなる番組を視聴するための主視聴手段と、
   前記主視聴手段により視聴されている前記番組以外の番組の状況を周期的に検出する副視聴手段とを備え、
   前記副視聴手段において、少なくとも制御情報を受信することで、チャンネル切り替え時の受信端末でのプログラムの読み込みや立ち上がりの準備を行うことを特徴とする画像・音声受信装置。

Images