JP2007274443A - 画像伝送方法、送信装置、受信装置及び画像伝送システム - Google Patents

Abstract

【課題】
リアルタイム再生を実現しつつ、事後の再生の際に高画質で観察できるようにする。
【解決手段】
撮像装置１０は、撮影中に回線状態に応じてＭＰＥＧフレーム（Ｉ，Ｐ，Ｂ等）単位で間引いて送出する。撮影停止後に残りのＭＰＥＧフレームデータを送信する。受信装置５０は、撮影中は間引かれたＭＰＥＧフレームで動画を再生する。撮影中に受信したＭＰＥＧフレームと撮影停止後に受信したＭＰＥＧフレームをマージしてＭＰＥＧデータとする。
【選択図】
図１

Description

本発明は、画像伝送方法、送信装置、受信装置及び画像伝送システムに関する。

近年、画像をはじめとする各種情報のデジタル符号化技術の進展により、デジタル符号化技術を利用したアプリケーションの開発が盛んになっている。また、広帯域ネットワーク技術の進展により、圧縮符号化した画像などを、通信網を利用して伝送するシステムも開発されている。

また、インターネットやイントラネットの普及により、データをパケット化して送受信するアプリケーションやシステムが増加してきている。パケット化は、通信路の帯域を効率よく複数のユーザで共有する非常に有効な手段となっているものの、その時々の共有状況に応じて伝送レートが変動するので、動画像データのリアルタイム伝送に向かない面もある。

特許文献１には、送信装置が、受信装置から得た補足情報としてのジッタやパケット損失率などの通知をもとに、伝送路の伝送状態に合わせた伝送ビットレートになるように、画像符号化部での符号化を適応させ、最大限に効率よくデーをタ伝送できるようにしたシステムが、記載されている。
特開２００２−２０４２７８号公報

しかし、特許文献１に記載の技術では、伝送状態に応じて画像符号化のビットレートを変更するので、伝送状態の悪い状況では、低画質の画像データしか伝送できなかった。すなわち、受信装置は、高画質の画像データを取得できない。

そこで、本発明は、上記の問題点に鑑み、リアルタイム性を享受しつつ、高画質の画像データを伝送可能な画像伝送方法、送信装置、受信装置及び画像伝送システムを提示することを目的とする。

上記の目的の達成するために、本発明に係る画像伝送方法は、動画像を送信装置から受信装置に伝送路を介して伝送する動画伝送方法であって、当該伝送路の伝送レートを計測する伝送レート計測ステップと、当該伝送レートに従い、当該伝送レート内でリアルタイム伝送可能な範囲で当該動画像の一部の画像情報を当該受信装置に送信するリアルタイム送信ステップと、当該動画像のリアルタイム送信の完了に応じて、当該動画像の未送信の画像情報を当該受信装置に送信する追加送信ステップとを具備することを特徴とする。

本発明に係る送信装置は、伝送路の伝送レートを計測する伝送レート計測手段と、当該動画像を記録する記録装置と、当該伝送レートに従い、当該伝送レート内でリアルタイム伝送可能な範囲で当該動画像の一部の画像情報を送信するリアルタイム送信手段と、当該動画像のリアルタイム送信の完了に応じて、当該記録装置から当該動画像の未送信の画像情報を読み出し、送信する追加送信手段とを具備することを特徴とする。

本発明に係る受信装置は、送信装置からリアルタイム伝送された画像情報を再生する再生手段と、当該送信装置からの当該画像情報を記録媒体に記録する記録手段と、当該送信装置から追加送信された画像情報を当該記録媒体に追加記録する追加記録手段とを具備することを特徴とする。

本発明に係る受信装置は、送信装置からリアルタイム伝送された画像情報を再生する再生手段と、当該画像情報を記録媒体に記録する記録手段と、リアルタイム伝送の完了後に当該送信装置から追加送信された画像情報を当該記録媒体に追加記録する追加記録手段とを具備することを特徴とする。

本発明に係る受信装置は、送信装置からリアルタイム伝送された画像情報を再生する再生手段と、リアルタイム伝送の完了後に当該送信装置から追加送信された追加画像情報を記録媒体に記録する記録手段とを具備することを特徴とする。

本発明に係る画像伝送システムは、上記構成の送信装置と上記構成の受信装置とからなることを特徴とする。

本発明によれば、伝送状態の悪い状況であっても、動画像を送信しリアルタイムに受信機側で映像が表示可能とせしめると共に、高画質（高ビットレート）の動画像を記録できる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の一実施例における画像送信装置としての撮像装置の概略構成ブロック図を示し、図２は、対応する画像受信装置の概略構成ブロック図を示す。実線は画像データの流れを示し、破線は制御信号を示す。撮像装置１０と画像受信装置５０が一体となって、記録伝送システムを構成する。

図１に示す撮像装置１０は、デジタルカメラ、デジタルスチルカメラ、デジタルムービー、カムコーダ又は民放用のビデオカメラ等である。撮像装置１０は、撮像部１２、ＭＰＥＧエンコーダ１４、記録部１６、データ読込部１８、ＩＤ付加部２０，２４、データ選択部２２、セレクタ２６、データ送信部２８、伝送レート計測部３０、システム制御装置３２、記録ボタン３４、停止ボタン３６及びダミーデータ生成部３８を具備する。

撮像部１２は、撮像用レンズ、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子、オートフォーカス機構、ズーム機構、γ（ガンマ）補正、ゲイン補正、ホワイトバランス調整及びＡ／Ｄ変換等からなり、撮像用レンズの焦点と被写体の光量等を調整して、撮像用レンズによる光学像からデジタル画像データを生成する。

ＭＰＥＧエンコーダ１４は、ＭＰＥＧ２、ＭＰＥＧ４、ＭＰＥＧ７、Ｍｏｔｉｏｎ ＪＰＥＧ又はＪＰＥＧ２０００の既存の画像圧縮方式に従い、撮像部１２からの画像データを圧縮符号化し、圧縮画像データを生成する。ここでは、ＭＰＥＧ２を使用するとする。

記録部１６はフラッシュＲＯＭ及びＲＡＭ等を具備し、ＭＰＥＧエンコーダ１４からの圧縮画像データを記録媒体に記録する。データ読込部１８は、記録部１６に記録される圧縮画像データを読み込む。ＩＤ付加部２０，２４は、圧縮画像データと関連する送信コード（フレーム番号、ＧＯＰ内の送信フレームコード及びｍｏｄｅフラグ）を作成する。特に、ＩＤ付加部２０は、送信コードのｍｏｄｅフラグを立てる、即ち１をセットし、ＩＤ付加部２４は、送信コードのｍｏｄｅフラグをクリア、即ち０を代入する。送信コードの詳細は、後述する。

データ選択部２２は、後述する伝送レート計測部３０により計測される伝送路の伝送レートに基づき、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）単位でフレームを間引く。ダミーデータ生成部２５は、画像受信装置５０に送信すべきダミーデータを生成する。セレクタ２６は、システム制御装置３２からの制御信号に従い、ＩＤ付加部２０及びＩＤ付加部２４からの圧縮画像データ並びにダミーデータ生成部２５からのダミーデータを選択して、データ送信部２８に供給する。

データ送信部２８は、セレクタ２６からの圧縮画像データ（ダミーデータを含む）及び送信コードを、インターネット等の図示しない伝送路を介して画像受信装置５０に送信する。具体的には、図３に示すように、データ送信部２８は、セレクタ２６からの画像データ及び送信コードを、複数のパケットに加工して、画像受信装置５０に送信する。画像受信装置５０は、各パケットを受信すると、承認信号ＡＣＫ（ACKnowledgement）を撮像装置１０に送信する。データ送信部２８は、受信したＡＣＫ信号をシステム制御装置３２に転送する。伝送レート計測部３０は、パケットの送信とＡＣＫ信号の受信から、伝送路上の伝送ビットと伝送状態等を計測する。

システム制御装置３２は、撮像装置１０の全体を制御する。記録ボタン３４は、記録部１６への記録の開始をシステム制御装置３２に指示し、停止ボタン３６は、記録部１６への記録の停止をシステム制御装置３２に指示する。

図２に示す画像受信装置５０の構成と基本動作を説明する。画像受信装置５０は、ホームサーバ、ＰＣ（パーソナルコンピュータ）、携帯電話、ＰＤＡ（Personal Digital Assistance）、ＨＤＤ（ハードディスク）内蔵の共有プリンタ、ＨＤＤ内蔵のゲーム機、ＨＤＤ内蔵のＴＶ（Tele Vision）又はＨＤＤ内蔵のプロジェクタ等の電子機器装置である。画像受信装置５０は、データ受信部５２、画像データ取得部５４、動画再生部５６、ＴＶモニタ５８、送信コード取得部６０、記録制御装置６２及びＨＤＤ６４を具備する。

データ受信部５２は、撮像装置１０からの圧縮画像データ及び送信コードを受信する。画像データ取得部５４は、データ受信部５２から圧縮画像データを取得する。動画再生部５６は、画像データ取得部５４で取得された圧縮画像データを伸長し、再生画像データをＴＶモニタ５８に印加する。これにより、受信画像が、ＴＶモニタ５８の画面上に再生表示される。

送信コード取得部６０は、データ受信部５２から送信コードを取得する。記録制御装置６２は、送信コード取得部６０からの送信コードに基づき、画亜像データ取得部５４からの圧縮画像データをＨＤＤ６４に記録する。ＨＤＤ６４は、記録媒体の一例であり、他に、光ディスク等であってもよい。

ここで、本実施例の特徴的な動作を説明する前に、図４乃至図７を用いて、ＩＤ付加部２０，２４で付与する送信コードの生成過程を説明する。図４は、ＭＰＥＧエンコーダ１４から生成される圧縮画像データ（１ＧＯＰ単位）の模式図であり、図５は、伝送ビットレート、画像データ及び送信コードの関係を示す模式図である。図６は、送信コードの情報内容を示す図であり、図７（ａ）はＩＤ付加部２０で実際に付与される送信コード例であり、図７（ｂ）はＩＤ付加部２４で実際に付与される送信コード例を示す。

本実施例では、伝送状態の悪化時には、フレームを間引きして伝送することで、リアルタイム又は準リアルタイムな再生環境を維持する。そして、伝送状態が良好な状態又はリアルタイム伝送の終了後には、伝送しなかった間引きフレームを伝送する。これにより、最終的に、画像受信装置５０は、完全で良好な画質の画像データを保存できる。リアルタイム又は準リアルタイムの再生環境を維持し、且つ、画像受信装置５０での間引きフレームの補充又は挿入を容易にするために、本実施例では、ＧＯＰ単位でフレームの間引きを制御する。

図４に示すように、１ＧＯＰは、Ｉ（Ｉｎｔｒａ）フレーム１枚、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）フレーム１枚、Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ Ｐｒｅｄｉｃｔｉｖｅ）フレーム４枚の合計６枚のフレームで構成されている。

Ｉフレームはフレーム内の画素データのみを使用して、他のフレームとは独立して圧縮符号化（フレーム内符号化）されるフレームである。Ｐフレームは、時間的に前に存在するフレームとの相関性を利用するフレーム間予測によって圧縮符号化されるフレームであ。Ｂフレームは、時間的に前と後のフレームとの相関性を利用するフレーム間予測によって圧縮符号化されるフレームである。

図５（ａ）は、伝送路の伝送レートの変化を示す。縦軸は伝送レートを示し、横軸は経過時間を示す。これらの伝送レートを、伝送レート計測部３０が計測している。図示例では、伝送レートが状態Ａ，Ｂ，Ｃと遷移している。状態Ａは、伝送レートが良好な状態であるが、状態Ｂに悪化した後、状態Ｃにまで回復する。勿論、伝送レート計測部３０が伝送レートを計測し、システム制御装置３２が、計測された伝送レートに従い、伝送状態の良否を判定するようにしてもよい。

図５（ｂ）はフレーム番号を示し、図５（ｃ）は、ＭＰＥＧエンコーダ１４から出力される圧縮画像データ、いわゆるＭＰＥＧ画像を示す。図５（ｄ）は、伝送路に出力される送信画像を示し、図５（ｅ）は、送信画像に付加される送信コードを示す。

状態Ａは伝送レートが良好なときであり、状態Ｂは伝送ビットレートが悪化したときである。状態Ｃは伝送ビットレートが少し良好なときである。ここでは、伝送状態Ａでは、圧縮画像データの符号化レートが伝送レートより小さく、伝送状態Ｂ，Ｃでは、圧縮画像データの符号化レートが伝送レートより大きいとする。

本実施例では、伝送状態の変化に対して、伝送するデータをＧＯＰ単位で切り替え、且つ、伝送レートに応じて、適宜にフレームを間引いて伝送する。即ち、システム制御装置３２は、ＧＯＰ単位でデータ選択部２２を制御し、データ選択部２２に伝送状態に応じた間引きを実行させる。

例えば、伝送レート計測部３０（又はシステム制御装置３２）が状態Ａを検出すると、伝送レートが良好と判断され、データ選択部２２は、状態Ａの検出以後、図５（ｄ）に示すように、ＭＰＥＧ画像（図５（ｃ））からフレーム画像（０Ｉ〜５Ｂ）を選択する。伝送レート計測部３０が状態Ｂを検出すると、伝送レートが悪いと判断され、データ選択部２２は、図５（ｄ）に示すように、状態Ｂの検出後に開始するＧＯＰの内のフレーム画像（６Ｉ）だけを選択する。伝送レート計測部３０が状態Ｃを検出すると、伝送レートが少し良好になった判断され、データ選択部２２は、図５（ｄ）に示すように、状態Ｃの検出後に開始するＧＯＰの内のフレーム画像（１２Ｉ、１５Ｐ）を選択する。

このように、本実施例では、伝送レートに基づき、ＭＰＥＧ画像を間引くか否かを判断し、ＧＯＰ単位で特定のフレームを間引く。フレームの間引きにより実効符号化レートを調節する。そして、送信画像の内容を送信コードに記録する。送信コードは、図６に示すように、フレーム番号、ＧＯＰ内の送信フレームコード及びｍｏｄｅフラグから構成されている。

フレーム番号は、動画の連続したフレームに順番に付与される番号であり、画像データのフレーム単位での絶対番地（アドレス）を示す。ＧＯＰ内の送信フレームコードは、ＧＯＰ単位で送信フレームを特定するコードである。例えば、１ＧＯＰ内の全フレームを送信する場合は３Ｆが付与され、Ｉフレームだけを送信する場合は、２０が付与され、Ｉフレーム及びＰフレームを送信する場合は、２４が付与される。

送信モードフラグｍｏｄｅは、リアルタイム送信か、間引きしたフレームの追加送信かを示す。送信モードフフラグｍｏｄｅは、リアルタイム送信の場合、０であり、追加送信の場合、１である。図７に示すように、ＩＤ付加部２４は、送信フレームに送信モードフフラグｍｏｄｅに０をセットし（図７（ａ））、ＩＤ付加部２０は、送信フレームに送信モードフフラグｍｏｄｅに１をセットする（図７（ｂ））。

次に、図５に示す伝送状態の遷移例に対する撮像装置１０の動作を説明する。図８は、撮像装置１０の送信動作のフローチャートである。

撮像モードで、記録ボタン３４が押されたか否かを判別する（Ｓ１０）。記録ボタン３４が押されると（Ｓ１０）、システム制御装置３２からダミーデータ生成部４０に制御信号が送られ、ダミーデータ生成部４０がダミーデータを出力する。そのダミーデータは、セレクタ２６を介してデータ送信部２８から受信装置５０に送信され（Ｓ１１）、伝送レート計測部３０による伝送レートの検出に利用される（Ｓ１２）。例えば、伝送レート計測部３０は、受信装置５０からのダミーデータ受信の通知によりダミーデータの伝送に要した時間を計測して、伝送レートを計測する。

ＭＰＥＧエンコーダ１４は、撮像素子１２により撮像された画像を圧縮符号化し、圧縮画像データを出力する（Ｓ１３）。ＭＰＥＧエンコーダ１４により生成される１ＧＯＰ分の圧縮画像データは、記録部１６に記録され（Ｓ１４）、同時にデータ選択部２２にも転送される。

システム制御装置３２は、ＭＰＥＧエンコーダ１４から出力される圧縮画像データの符号化レートと伝送レートとを比較する（Ｓ１５）。伝送状態Ａでは、符号化レート＜伝送レートであるので（Ｓ１５）、全フレームの圧縮画像データが伝送可能である。即ち、ＩＤ付加部２４は、圧縮画像データに送信コード（フレーム番号：０〜５、ＧＯＰ内の送信フレームコード：３Ｆ、ｍｏｄｅ：０）を付与する。フレーム（０Ｉ〜５Ｂ）の圧縮画像データ及び送信コードが、セレクタ２６及びデータ送信部２８を介して受信装置５０に送信される（Ｓ１６）。

一方、記録部１６に記録した圧縮画像データは、データ読込部１８により読み出され、ＩＤ付加部２０に供給される。ＩＤ付加部２０は、データ読込部１８からの圧縮画像データに送信済みを示す送信コード（フレーム番号：０〜５、ＧＯＰ内の送信フレームコード：３Ｆ、ｍｏｄｅ：１）を付与する。この送信コードは、データ読み込み部１８により、記録装置１６に記録される対応する圧縮画像データに付加される。これにより、送信済みの圧縮画像データも、記録部１６に保存でき、再送信に備えることができる。勿論、記録部１６に記録される送信済みの圧縮画像データは、適宜の段階で削除するようにしてもよい。

その後、停止ボタン３６が押されたか否かを判別する（Ｓ１７）。停止ボタン３６が押されないと（Ｓ１７）、ステップＳ１２に戻り、直前に伝送したデータにより、伝送レートが計測される。このとき、図５に示すように、伝送状態が伝送状態Ａから伝送状態Ｂに遷移していたとする。先に説明したように、ＭＰＥＧエンコーダ１４は、撮像素子１２により撮像された画像を圧縮符号化し、圧縮画像データを出力する（Ｓ１３）。ＭＰＥＧエンコーダ１４により生成される１ＧＯＰ分の圧縮画像データは、記録部１６に記録され（Ｓ１４）、同時にデータ選択部２２にも転送される。

伝送状態Ｂでは、符号化レートが伝送レートより大きいので（Ｓ１５）、システム制御装置３２は、不足するレート（＝符号化レート−伝送レート）を算出し（Ｓ１９）、送信対象のＧＯＰ（ここでは、フレーム６〜１１）の中で、送信すべきフレーム画像を決定する（Ｓ２０）。伝送状態Ｂでは、Ｉフレーム（６Ｉ）のみが送信可能であり、フレーム６以外を間引く。即ち、実効符号化レートを大幅に下げる。ＩＤ付加部２４は、Ｉフレーム（６Ｉ）の圧縮画像データに送信コード（フレーム番号：６、ＧＯＰ内の送信フレームコード：２０、ｍｏｄｅ：０）を付与する。Ｉフレーム（６Ｉ）の圧縮画像データとその送信コードが、セレクタ２６及びデータ送信部２８を介して受信装置５０に送信される（Ｓ２１）。

ステップＳ１９〜Ｓ２０の間に、ＩＤ付加部２０は、フレーム（６〜１１）に対する送信コード（フレーム番号：６〜１１、ＧＯＰ内の送信フレームコード：２０、ｍｏｄｅ：１）を生成し、この送信コードは、データ読み込み部１８により、記録部１６に記録される対応するフレーム（６〜１１）の圧縮画像データに付加される。

停止ボタン３６が押されたか否かを判別する（Ｓ１７）。停止ボタン３６が押されないと（Ｓ１７）、ステップＳ１２に戻り、再度、伝送レートが計測される。このとき、図５に示すように、伝送状態が伝送状態Ｂから伝送状態Ｃに遷移していたとする。先に説明したように、ＭＰＥＧエンコーダ１４は、撮像素子１２により撮像された画像を圧縮符号化し、圧縮画像データを出力する（Ｓ１３）。ＭＰＥＧエンコーダ１４により生成される１ＧＯＰ分の圧縮画像データは、記録部１６に記録され（Ｓ１４）、同時にデータ選択部２２にも転送される。

伝送状態Ｃでも、伝送レートが符号化レートより小さい（Ｓ１５）。システム制御装置３２は、不足するレート（＝符号化レート−伝送レート）を算出し（Ｓ１９）、送信対象のＧＯＰ（ここでは、フレーム１２〜１７）の中で、送信すべきフレーム画像を決定する（Ｓ２０）。伝送状態Ｃでは、Ｉフレーム（１２Ｉ）とＰフレーム（１５Ｐ）が送信可能である。即ち、実効符号化レートは、伝送状態Ｂのそれよりは高い。ＩＤ付加部２４は、フレーム（１２Ｉ，１５Ｐ）の圧縮画像データに送信コード（フレーム番号：１２，１５、ＧＯＰ内の送信フレームコード：２４、ｍｏｄｅ：０）を付与する。フレーム（１２，１５）の圧縮画像データとその送信コードが、セレクタ２６及びデータ送信部２８を介して受信装置５０に送信される（Ｓ２１）。

ステップＳ１９〜Ｓ２０の間に、ＩＤ付加部２０は、フレーム（１２〜１７）に対する送信コード（フレーム番号：１２〜１７、ＧＯＰ内の送信フレームコード：２４、ｍｏｄｅ：１）を生成し、この送信コードは、データ読み込み部１８により、記録部１６に記録される対応するフレーム（１２〜１７）の圧縮画像データに付加される。

停止ボタン３６が押されたか否かを判別する（Ｓ１７）。停止ボタン３６が押されないと（Ｓ１７）、ステップＳ１２に戻り、以上の動作を繰り返す。

停止ボタン３６が押されると（Ｓ１７）、システム制御装置３２は、記録部１６に、未送信の圧縮画像データ、即ち、送信コードのＧＯＰ内の送信フレームコードが２０又は２４である圧縮画像データが記録されているか否かを問い合わせる。図５に示す例では、フレーム画像（７Ｂ〜１１Ｂ，１３Ｂ，１４Ｂ，１６Ｂ，１７Ｂ）が未送信である。システム制御装置３２は、データ読込部１８にこれら未送信フレームの圧縮画像データと送信コードを読み出させ、ＩＤ付加部２０，セレクタ２６及びデータ送信部２８を介して受信装置５０に送信する（Ｓ１８）。

このようにして、本実施例では、伝送状態に基づき、フレーム画像を間引いて送信するので、伝送レートが悪化しても、受信装置側では、間引いた状態ではあるものの、撮像素子１２による撮像画像を確認できる。勿論、伝送状態が改善すれば、撮像画像をフルの動画として伝送できる。停止ボタンによるリアルタイム伝送の停止後では、間引いたフレームの圧縮画像データを送信するので、受信装置５０で事後的に画像を確認したい場合には、完全な動画として再生表示できる。

なお、本実施例では、伝送状態の計測とフレーム間引きの単位を１ＧＯＰとしたが、複数のＧＯＰを単位としてもよい。記録部１６には、送信済みのフレーム画像を保存するとしたが、受信装置５０の受信確認により消去しても良い。

受信装置５０の動作を説明する。図９は、受信装置５０の動作フローチャートを示す。図１０（ａ）は、受信装置５０の受信時の各フレームの送信コード例を示し、図１０（ｂ）は、受信装置５０のＨＤＤ６４に記録された後の送信コード例を示す。

データ受信部５２が圧縮画像データ及び送信コードを受信する（Ｓ３０）。受信された圧縮画像データは画像データ取得部５４に転送され、送信コードは送信コード取得部６０に転送される（Ｓ３１）。

送信コード取得部６０が、送信モードフラグｍｏｄｅが０か１かを判別する（Ｓ３２）。フラグｍｏｄｅが０の場合（Ｓ３２）、記録制御装置６２が、受信された圧縮画像データと送信コードをＨＤＤ６４に記録し（Ｓ３３）、同時に、動画再生部５６が、圧縮画像データを伸長し、所定形式の画像信号をＴＶモニタ５８に印加する（Ｓ３４）。

送信モードフラグｍｏｄｅが０でない場合には（Ｓ３２）、記録制御装置６２は、ＧＯＰ内の送信フレームコードに従い、圧縮画像データをＨＤＤ６２の記録済みの圧縮画像データに追加記録する（Ｓ３５）。即ち、ここで受信した圧縮画像データは、間引かれたフレームの圧縮画像データであるので、記録制御装置６２は、ステップＳ３３で記録したフレームの間に、間引かれたフレームの圧縮画像データをマージする。マージの後、図１０（ｂ）に示すように、ＨＤＤ６４に記録される送信コードのＧＯＰ内の送信フレームコードを３Ｆに変更する（Ｓ３６）。

このように、本実施例では、間引かれて伝送される画像をそのまま表示して、リアルタイム性を維持できる。また、後で伝送される不足フレームを既存の記録にマージすることで、高解像度の動画像データを蓄積でき、事後の再生では、高解像度の動画を表示できる。

上記実施例では、伝送レートに余裕があっても、リアルタイムの画像情報のみを伝送したが、伝送レートの余裕分を利用して、間引きフレームの圧縮画像データを伝送しても良い。

図１１は、送信装置１０のそのように変更した動作のフローチャートである。ステップＳ２１０〜Ｓ２１６，Ｓ２２２〜Ｓ２２４は、それぞれ、図８のステップＳ１０〜Ｓ１６，Ｓ１９〜Ｓ２１と同じ処理を実行する。

ステップＳ２１６の後に、記録部１６に記録されている圧縮画像データの内で、送信コードのＧＯＰ内の送信フレームコードが２０又は２４である圧縮画像データが記録されているか否かを判別する（Ｓ２１７）。即ち、未送信フレームがあるかどうかを調べる。未送信フレームがあると（Ｓ２１７）、伝送レートの余剰分を算出し（Ｓ２１８）、この余剰レートを使って、未送信フレームの圧縮画像データを受信装置５０に送信する（Ｓ２１９）。

このように、本実施例では、伝送状態が良好で、リアルタイム伝送に対して余剰な伝送レートがある場合に、リアルタイム再生のためのフレーム画像と、過去に間引いた未送信のフレーム画像を混在して送信する。受信装置５０は、送信コードに基づき、リアルタイム伝送されるフレーム画像と過去の間引かれたフレーム画像とを識別できるので、適切に処理し得る。余剰な伝送レートを活用することで、最終的に全フレームを伝送し終えるのにかかる時間を短縮できる。

図１２は、本発明の第３実施例である送信装置の概略構成ブロック図を示す。実施例１では、悪い伝送状態Ｂ，Ｃでは、フレーム画像を間引き、Ｂフレームを送信しなかった。これに対し、図１２に示す実施例３では、伝送レートが悪化しても、とりあえず送信できるようにする。図１に示す実施例と同じ構成要素には、同じ符号を付してある。実施例１に対する変更部分を重点的に説明する。

ＭＰＥＧエンコーダ３０２は、高解像度のＭＰＥＧエンコーダであり、精細符号化データ又は高画質圧縮画像データを出力する。ＭＰＥＧエンコーダ３０４は、ＭＰＥＧエンコーダ３０２よりも低解像度のＭＰＥＧエンコーダであり、粗符号化データ又は低画質圧縮画像データを出力する。ＩＤ付加部３０６，３０８，３１０は、圧縮画像データと関連する送信コード（フレーム番号、ＧＯＰ内の送信フレームコード及びフラグｍｏｄｅ）を作成し、関連する圧縮画像データに付加する。

セレクタ３１４は、ＩＤ付加部３０８，３１０から出力される圧縮画像データ及び送信コードを選択し、セレクタ３１２に供給する。セレクタ３１２は、ＩＤ付加部３０６からのデータ、ダミーデータ生成部２５からのデータ及びセレクタ３１４からのデータを選択して、データ送信部２８に供給する。

図１３及び図１４を参照して、セレクタ３１４から出力される送信コードを説明する。図１３は、セレクタ３１４から出力される送信コードの構造と値例を示す。図１４（ａ）はリアルタイム伝送される送信コードを示し、図１４（ｂ）は追加送信される高画質圧縮画像データにＩＤ付加部３０６で付加される送信コードの一例を示す。

図１３で、フレーム番号は、動画の連続したフレームに順番に付与される番号であり、画像データのフレーム単位での絶対番号（アドレス）を示す。ＧＯＰ内の送信フレームコードは、ＧＯＰ単位で送信フレームを特定するコードである。例えば、１ＧＯＰ内の全フレームを高解像度で送信する場合は３Ｆが付与され、１ＧＯＰ内の全フレームを低解像度で送信する場合はＦが付与され、低解像度でＩフレームだけを送信する場合は２０が付与され、低解像度でＩフレーム及びＰフレームを送信する場合は２４が付与される。

送信モードフラグｍｏｄｅは、高解像度リアルタイム伝送の場合に０、追加送信の場合に１、低解像度リアルタイム送信の場合に２にセットされる。例えば、図１４（ａ）に示すように、ＩＤ付加部３０８，３１０は、リアルタイム送信される圧縮画像データに付加する送信コードを生成するので、その送信モードフラグは０又は２である。図１４（ｂ）に示すように、ＩＤ付加部３０６は、追加送信する圧縮画像データに付加する送信コードを生成するので、その送信モードフラグｍｏｄｅは１である。

セレクタ３１２は、システム制御装置３１６からの制御信号に従い、ＩＤ付加部３０８又は３１０からの送信コード付き圧縮画像データを選択する。セレクタ３１２は、システム制御装置３１６からの制御信号に従い、ＩＤ付加部３０６、ダミーデータ生成部２５又はセレクタ３１４からの送信コード付きの圧縮画像データ又はダミーデータを選択する。システム制御装置３１６は他に、撮像装置３００の全体を制御する。

図１５乃至図１８を参照して、撮像装置３００の全体動作を説明する。図１５及び図１６は撮像装置３００の動作フローチャートであり、図１７，図１８は伝送レート、画像ビットレート及び送信コードの変遷例を示す模式図であり、図１７に示す状態に、図１８に示す状態が続くとしている。即ち、伝送状態は、伝送状態Ｄ，Ｅ，Ｆ，Ｇ，Ｈと遷移する。

伝送状態Ｄは、高画質圧縮画像データを伝送できる程に良好な状態であり、その伝送レートは、高画質圧縮画像データの符号化レートより大きく、余裕で高画質圧縮画像データを伝送できる。

伝送状態Ｅは、伝送状態Ｄから少し悪化した状態であり、その伝送レートは、高画質圧縮画像データの符号化レートよりは小さいが、低画質圧縮画像データの符号化レートよりは大きい。即ち、低画質圧縮画像データであれば、リアルタイムに全フレームを伝送できる。

伝送状態Ｆは伝送状態Ｄから更に悪化した状態であり、低画質圧縮画像データのＩフレームとＰフレームのみをリアルタイム伝送できる状態である。

伝送状態Ｇは、最悪な状態であり、低画質圧縮画像データのＩフレームのみをリアルタイム伝送できる状態である。

伝送状態Ｈは、最良の状態であり、その伝送レートは、高画質圧縮画像データの符号化レートより大きく、余裕で高画質圧縮画像データを伝送できる。

図１７及び図１８に示す伝送状態の遷移例に従い、撮像装置３００の動作を説明する。

撮像モードで、記録ボタン３４を押されたか否かを判別する（Ｓ３１０）。記録ボタン３４が押されると（Ｓ３１０）、システム制御装置３１６からダミーデータ生成部２５に制御信号が送られ、ダミーデータ生成部２５がダミーデータを出力する。このダミーデータは、セレクタ３１２及びデータ送信部２８を介して受信装置５０に送信され（Ｓ３１１）、伝送レート計測部３０による伝送レートの検出に利用される（Ｓ３１２）。

ＭＰＥＧエンコーダ３０２は、撮像素子１２により撮像された画像を精細符号化して高画質圧縮画像データを出力し、ＭＰＥＧエンコーダ３０４は、撮像素子１２により撮像された画像を粗符号化して低画質圧縮画像データを出力する（ＳＳ３１３）。記録部１６は、ＭＰＥＧエンコーダ３０２による高画質圧縮画像データを記録媒体に記録する（Ｓ３１４）。

システム制御装置３１６は、ＭＰＥＧエンコーダ３０２から出力される高画質圧縮画像データの符号化レート（精細符号化レート）と伝送レートとを比較する（Ｓ３１５）。伝送状態Ｄでは、精細符号化レート＜伝送レートであるので（Ｓ３１５）、全フレームの高画質圧縮画像データが伝送可能である。このとき、ＩＤ付加部３０８が、ＭＰＥＧエンコーダ３０２からの高画質圧縮画像データに送信コード（フレーム番号：０〜５、ＧＯＰ内の送信フレームコード：３Ｆ、ｍｏｄｅ：０）を付加する。ＩＤ付加部３０８から出力されるフレーム（０Ｉ〜５Ｂ）の高画質圧縮画像データとその送信コードは、セレクタ３１４及びデータ送信部２８を介して受信装置５０に送信される（Ｓ３１６）。

フレーム（０Ｉ〜５Ｂ）の高画質圧縮画像データの送信（Ｓ３１６）の後、記録部１６に未送信の高画質画像データが残っているか否か、即ち、送信コードのＧＯＰ内の送信フレームコードが２０又は２４である高画質圧縮画像データが残っているか否かを判別する（Ｓ３１７）。未送信の高画質圧縮画像データがあるとき（Ｓ３１７）、伝送レートの余剰分（＝伝送レート−精細符号化レート）を算出し（Ｓ３１９）、余剰レートを使って、未送信フレームの高画質圧縮画像データを受信装置５０に送信する（Ｓ３１９）。即ち、データ読込部１６が、記録部１６から該当する高画質圧縮画像データを読み出し、ＩＤ付加部３０６が追加送信を示す送信コード（ＧＯＰ内の送信フレームコード：３Ｆ、ｍｏｄｅ：１）を付加する。ＩＤ付加部３０６から出力される高画質圧縮画像データとその送信コードは、セレクタ３１２及びデータ送信部２８を介して受信装置５０に送信される。

停止ボタン３６が押されたか否かを判別する（Ｓ３２０）。停止ボタン３６が押されないと（Ｓ３２０）、ステップＳ３１２に戻り、直前に伝送したデータにより伝送レートが計測される。ここで、図１７に示すように、伝送状態が、伝送状態Ｄから伝送状態Ｅに悪化したとする。

伝送状態Ｅでは、先に説明したように、高画質圧縮画像データの全フレームを伝送できない。即ち、ステップＳ３１５でステップＳ３３０に遷移し、粗符号化レートと伝送レートを比較する（Ｓ３３０）。伝送状態Ｅでは、伝送レートは粗符号化レートよりも大きいので（Ｓ３３０）、低画質圧縮画像データを全フレーム伝送できる。このとき、ＩＤ付加部３１０は、ＭＰＥＧエンコーダ３０４からの低画質圧縮画像データに送信コード（フレーム番号：６〜１１、ＧＯＰ内の送信フレームコード：Ｆ、ｍｏｄｅ：２）を付加する。フレーム（６Ｉ〜１１Ｂ）の低画質圧縮画像データとその送信コードが、セレクタ３１４及びデータ送信部２８を介して受信装置５０に送信される（Ｓ３３１）。

このとき、記録部１６は、ＭＰＥエンコーダ３０２からの高画質圧縮画像データを記録する。この高画質圧縮画像データに対し、ＩＤ付加部３０６が送信コード（フレーム番号：６〜１１、ＧＯＰ内の送信フレームコード：Ｆ、ｍｏｄｅ：１）を生成し、この送信コードは、データ読込部１８により記録部１６のフレーム（６Ｉ〜１１Ｂ）の高画質圧縮画像データに付加される。

停止ボタン３６が押されたか否かを判別する（Ｓ３２０）。停止ボタン３６が押されないと（Ｓ３２０）、ステップＳ３１２に戻り、再度、伝送レートが計測される。ここで、図１８に示すように、伝送状態が、伝送状態Ｅから伝送状態Ｆに悪化したとする。伝送状態Ｆでは、伝送レートは精細符号化レートよりも小さく（Ｓ３１５）、粗符号化レートより小さい（Ｓ３３０）。

システム制御装置３１６は、不足するレート（＝伝送レート−符号化レート）を算出し（Ｓ３３２）、送信対象のＧＯＰ（ここでは、フレーム１２〜１７）の中で、送信すべきフレーム画像を決定する（Ｓ３３３）。伝送状態Ｆでは、Ｉフレーム（１２Ｉ）とＰフレーム（１５Ｐ）がリアルタイム送信可能である。ＩＤ付加部３１０は、フレーム（１２Ｉ，１５Ｐ）の低画質圧縮画像データに送信コード（フレーム番号：１２，１５、ＧＯＰ内の送信フレームコード：２４、ｍｏｄｅ：２）を付与する。フレーム（１２，１５）の低画質圧縮画像データとその送信コードが、セレクタ３１４，３１２及びデータ送信部２８を介して受信装置５０に送信される（Ｓ３３４）。

このとき、記録部１６は、ＭＰＥエンコーダ３０２からのフレーム（１２〜１７）の高画質圧縮画像データを記録する。この高画質圧縮画像データに対し、ＩＤ付加部３０６が送信コード（フレーム番号：１２〜１７、ＧＯＰ内の送信フレームコード：２４、ｍｏｄｅ：１）を生成し、この送信コードは、データ読込部１８により記録部１６のフレーム（１２Ｉ〜１７Ｂ）の高画質圧縮画像データに付加される。

停止ボタン３６が押されたか否かを判別する（Ｓ３２０）。停止ボタン３６が押されないと（Ｓ３２０）、ステップＳ３１２に戻り、再度、伝送レートが計測される。ここで、図１８に示すように、伝送状態が、伝送状態Ｆから伝送状態Ｇに悪化したとする。伝送状態Ｇでは、伝送レートは精細符号化レートよりも小さく（Ｓ３１５）、粗符号化レートより小さい（Ｓ３３０）。

システム制御装置３１６は、不足するレート（＝伝送レート−符号化レート）を算出し（Ｓ３３２）、送信対象のＧＯＰ（ここでは、フレーム１８〜２３）の中で、送信すべきフレーム画像を決定する（Ｓ３３３）。伝送状態Ｇでは、Ｉフレーム（１８Ｉ）のみがリアルタイム送信可能である。ＩＤ付加部３１０は、フレーム（１８Ｉ）の低画質圧縮画像データに送信コード（フレーム番号：１８、ＧＯＰ内の送信フレームコード：２０、ｍｏｄｅ：２）を付与する。フレーム（１８）の低画質圧縮画像データとその送信コードが、セレクタ３１４，３１２及びデータ送信部２８を介して受信装置５０に送信される（Ｓ３３４）。

このとき、記録部１６は、ＭＰＥエンコーダ３０２からのフレーム（１８〜２３）の高画質圧縮画像データを記録する。この高画質圧縮画像データに対し、ＩＤ付加部３０６が送信コード（フレーム番号：１８〜２３、ＧＯＰ内の送信フレームコード：２０、ｍｏｄｅ：１）を生成し、この送信コードは、データ読込部１８により記録部１６のフレーム（１８Ｉ〜２３Ｂ）の高画質圧縮画像データに付加される。

停止ボタン３６が押されたか否かを判別する（Ｓ３２０）。停止ボタン３６が押されないと（Ｓ３２０）、ステップＳ３１２に戻り、以上の動作を繰り返す。

停止ボタン３６が押されると（Ｓ３２０）、システム制御装置３１６は、記録部１６に、未送信の高画質圧縮画像データがあるかどうか、即ち、送信コードのＧＯＰ内の送信フレームコードがＦ、２０又は２４である高画質圧縮画像データが記録されているか否かを問い合わせる。以上の説明では、フレーム（７〜１１，１３，１４，１６，１７，１９〜２３）が記録部１６に未送信として記録されている。システム制御装置３１６は、データ読込部１８にこれら未送信フレームの高画質圧縮画像データと送信コードを読み出させ、ＩＤ付加部３０６，セレクタ３１２及びデータ送信部２８を介して受信装置５０に送信する（Ｓ３２１）。

この実施例では、高画質圧縮画像データの伝送では、フレームの間引きを行わなかったが、低画質圧縮画像データの伝送と同様に、伝送レートに応じてフレームの間引きを行っても良い。

このように、本実施例では、伝送レートに応じて、高画質圧縮画像データと低画質圧縮画像データを選択し、低画質圧縮画像データの実効符号化レートを調節するので、可能な限り好ましい画質でリアルタイムに画像を伝送できる。また、伝送レートの空きを使って、また、リアルタイム伝送後に高画質圧縮画像データを伝送するので、事後的な観賞では、高画質で画像を再生表示できる。

なお、本実施例では、伝送状態の計測とフレーム間引きの単位を１ＧＯＰとしたが、複数のＧＯＰを単位としてもよい。

図１９は、撮像装置３００に対する受信装置５０の動作フローチャートを示す。図２２は、ＨＤＤ６４に記録されるデータ及び送信コードの更新を示す模式図である。これらの図を参照して、撮像装置３００に対する受信装置５０の動作を説明する。

データ受信部５２が圧縮画像データ及び送信コードを受信する（Ｓ３５０）。受信された圧縮画像データが画像データ取得部５４に転送され、送信コードが送信コード取得部６０に転送される（Ｓ３５１）。

送信コード取得部６０が、送信モードフラグｍｏｄｅが０，１及び２の何れであるかを判別する（Ｓ３５２）。送信モードフラグｍｏｄｅが０の場合（Ｓ３５２）、高画質の圧縮画像データを受信していることを意味するので、記録制御装置６２が、受信された圧縮画像データと送信コードをＨＤＤ６４に記録し（Ｓ３５３）、同時に、動画再生部５６が、圧縮画像データを伸長し、所定形式の画像信号をＴＶモニタ５８に印加する（Ｓ３５４）。

送信モードフラグｍｏｄｅが２の場合（Ｓ３５２）、低画質の圧縮画像データを受信していることを意味するので、動画再生部５６が、圧縮画像データを伸長し、所定形式の画像信号をＴＶモニタ５８に印加する（Ｓ３５５）。

送信モードフラグｍｏｄｅが１の場合（Ｓ３５２）、追加送信された高画質圧縮画像データを受信していることを意味するので、記録制御装置６２が、受信された圧縮画像データをＨＤＤ６４に追加記録し（Ｓ３５６）、送信コードを更新する（Ｓ３５７）。即ち、ここで受信した圧縮画像データは、既存の記録にマージされるべき高画質圧縮画像データであるので、記録制御装置６２は、ステップＳ３５３で記録されたフレームの間に、受信した高画質圧縮画像データをマージする（Ｓ３５６）。マージの後、図２０（ｂ）に示すように、ＨＤＤ６４に記録される送信コードのＧＯＰ内の送信フレームコードを３Ｆに変更する（Ｓ３５７）。

このように、本実施例では、伝送される画像をそのまま表示して、リアルタイム性を維持できる。また、間引かれたフレーム及び低画質のフレームに対して、後で伝送される高画質の画像データを補充記録するので、高画質の動画像データを蓄積でき、事後の再生では、高解像度の動画を表示できる。

実効符号化レートを下げる方法として、フレームの間引き以外に、圧縮率を変更する方法も採用可能である。

画質の異なる２つのＭＰＥＧエンコーダ３０８，３０４を設ける実施例を説明したが、３つ以上、設けてもよい。また、並列でなく、シリアルに配置して、画質の異なる複数の圧縮画像データを生成しても良い。

本発明の一実施例に係る撮像装置（送信装置）の概略構成ブロック図である。 図１に示す送信装置に対応する受信装置の概略構成ブロック図である。 本実施例におけるデータ伝送シーケンスのイメージ図である。 １ＧＯＰ単位のフレーム構成を示す図である。 伝送レート、ＭＰＥＧ画像データ及び送信コードの関係を示す図である。 送信コードの構成と内容を示す図である。 送信コードの変遷例である。 本実施例の撮像装置のフローチャートである。 本実施例の受信装置のフローチャートである。 受信装置に記録されるデータ及び送信コードの更新の様子を示す図である。 撮像装置の別の動作のフローチャートである。 本発明の別の実施例の撮像装置の概略構成ブロック図である。 送信コードの構成と内容を示す図である。 送信コードの変遷例である。 撮像装置３００の動作フローチャートの一部である。 撮像装置３００の動作フローチャートの一部である。 伝送レート、ＭＰＥＧ画像データ及び送信コードの関係を示す図である。 伝送レート、ＭＰＥＧ画像データ及び送信コードの関係を示す図である。 撮像装置３００に対応する受信動作のフローチャートである。 受信装置に記録されるデータ及び送信コードの更新の様子を示す図である。

符号の説明

１０ 送信装置
１２ 撮像部
１４ ＭＰＥＧエンコーダ
１６ 記録部
１８ データ読込部
２０ ＩＤ付加部（送信モードフラグｍｏｄｅ＝１）
２２ データ選択部
２４ ＩＤ付加部（送信モードフラグｍｏｄｅ＝０）
２６，３１２，３１４ セレクタ
２８ 伝送送信部
３０，３１８ 伝送レート計測部
３２，３１６ システム制御装置
３４ 記録ボタン
３６ 停止ボタン
３８ ダミーデータ生成部
３０２ ＭＰＥＧエンコーダ（低画質）
３０４ ＭＰＥＧエンコーダ（高画質）
３０６ ＩＤ付加部（送信モードフラグｍｏｄｅ＝１）
３０８ ＩＤ付加部（送信モードフラグｍｏｄｅ＝０）
３１０ ＩＤ付加部（送信モードフラグｍｏｄｅ＝２）

Claims (22)

1. 動画像を送信装置から受信装置に伝送路を介して伝送する動画伝送方法であって、
   当該伝送路の伝送レートを計測する伝送レート計測ステップと、
   当該伝送レートに従い、当該伝送レート内でリアルタイム伝送可能な範囲で当該動画像の一部の画像情報を当該受信装置に送信するリアルタイム送信ステップと、
   当該動画像のリアルタイム送信の完了に応じて、当該動画像の未送信の画像情報を当該受信装置に送信する追加送信ステップ
   とを具備することを特徴とする動画伝送方法。
2. 当該リアルタイム送信ステップが、当該動画像の一部の画面の画像情報を当該受信装置に送信することを特徴とする請求項１に記載の動画伝送方法。
3. 更に、当該受信装置において、当該送信装置からリアルタイム伝送された画像情報を受信記録装置に記録すると共に表示し、当該送信装置から追加送信された画像情報を当該受信記録装置に追加記録する受信ステップを具備することを特徴とする請求項１に記載の動画伝送方法。
4. 更に、
   当該動画像を圧縮符号化する圧縮符号化ステップと、
   当該圧縮符号化ステップによる圧縮画像データを記録媒体に記録する記録ステップ
   とを具備する請求項１又は２に記載の動画伝送方法。
5. 当該圧縮符号化ステップが、画面内符号化と画面間符号化を併用し、
   当該リアルタイム送信ステップは、当該圧縮符号化ステップの当該画面内符号化による圧縮画像情報を送信する
   ことを特徴とする請求項４に記載の動画伝送方法。
6. 更に、当該受信装置において、当該送信装置からリアルタイム伝送された画像情報を受信記録装置に記録すると共に表示し、当該送信装置から追加送信された画像情報を当該受信記録装置に追加記録する受信ステップを具備することを特徴とする請求項５に記載の動画伝送方法。
7. 当該圧縮符号化ステップが、精細符号化による高画質圧縮画像情報と、粗符号化による低画質圧縮画像情報とを生成し、
   当該リアルタイム送信ステップは、当該圧縮符号化ステップによる当該低画質圧縮画像情報の少なくとも一部を送信し、
   当該追加送信ステップは、当該圧縮符号化ステップによる当該高画質圧縮画像情報を送信する
   ことを特徴とする請求項４に記載の動画伝送方法。
8. 更に、当該受信装置において、当該送信装置からリアルタイム伝送された画像情報を受信記録装置に記録すると共に表示し、当該送信装置から追加送信された当該高画質圧縮画像情報で当該受信記録装置の記録済み画像情報を更新する受信ステップを具備することを特徴とする請求項７に記載の動画伝送方法。
9. 更に、当該送信装置において、リアルタイム送信済みの画像情報を記憶するステップを具備することを特徴とする請求項１乃至８の何れか１項に記載の動画伝送方法。
10. 更に、当該伝送レートの空きを利用して、当該動画像の未送信の画像情報を当該受信装置に送信する補充送信ステップを具備することを特徴とする請求項１乃至９の何れか１項に記載の動画伝送方法。
11. 伝送路の伝送レートを計測する伝送レート計測手段（３０）と、
    当該動画像を記録する記録装置（１６）と、
    当該伝送レートに従い、当該伝送レート内でリアルタイム伝送可能な範囲で当該動画像の一部の画像情報を送信するリアルタイム送信手段（２２，２４）と、
    当該動画像のリアルタイム送信の完了に応じて、当該記録装置から当該動画像の未送信の画像情報を読み出し、送信する追加送信手段（１８，２０）
    とを具備することを特徴とする送信装置。
12. 更に、当該動画像を出力する撮像手段を具備することを特徴とする請求項１１に記載の送信装置。
13. 当該リアルタイム送信手段が、当該動画像の一部の画面の画像情報を送信用に抽出する間引き手段を具備することを特徴とする請求項１１又は１２に記載の送信装置。
14. 更に、当該動画像を圧縮符号化する圧縮符号化手段（１４）を具備し、当該記録装置（１６）は、当該圧縮符号化手段による圧縮画像情報を記録することを特徴とする請求項１１乃至１３の何れか１項に記載の送信装置。
15. 当該圧縮符号化手段は画面内符号化と画面間符号化を併用し、
    当該リアルタイム送信手段は、当該圧縮符号化手段の当該画面内符号化による圧縮画像情報を送信する
    ことを特徴とする請求項１４に記載の送信装置。
16. 更に、当該動画像から精細符号化による高画質圧縮画像情報を生成する精細圧縮符号化手段と、当該動画像から粗符号化による低画質圧縮画像情報を生成する低細圧縮符号化手段とを具備し、
    当該記録装置（１６）は当該高圧縮画像情報を記録し、
    当該リアルタイム送信手段は、当該低画質圧縮画像情報の少なくとも一部を送信し、
    当該追加送信手段は当該高画質圧縮画像情報を送信する
    ことを特徴とする請求項１４に記載の送信装置。
17. 送信装置からリアルタイム伝送された画像情報を再生する再生手段と、
    当該送信装置からの当該画像情報を記録媒体に記録する記録手段と、
    当該送信装置から追加送信された画像情報を当該記録媒体に追加記録する追加記録手段
    とを具備することを特徴とする受信装置。
18. 送信装置からリアルタイム伝送された画像情報を再生する再生手段と、
    当該画像情報を記録媒体に記録する記録手段と、
    リアルタイム伝送の完了後に当該送信装置から追加送信された画像情報を当該記録媒体に追加記録する追加記録手段
    とを具備することを特徴とする受信装置。
19. 送信装置からリアルタイム伝送された画像情報を再生する再生手段と、
    リアルタイム伝送の完了後に当該送信装置から追加送信された追加画像情報を記録媒体に記録する記録手段
    とを具備することを特徴とする受信装置。
20. 当該記録手段は更に、伝送レートの空きを使って補充的に当該送信装置から伝送された補充画像情報を当該記録媒体に記録することを特徴とする請求項１９に記載の受信装置。
21. 当該記録装置は、当該記録媒体に記録済みの画像情報を、同じ画面のより高画質の画像情報で置換することを特徴とする請求項１９又は２０に記載の受信装置。
22. 請求項１１乃至１７の何れか１項に記載の送信装置と、請求項１８乃至２１の何れか１項に記載の受信装置とからなることを特徴とする画像伝送システム。

Images