JP2004254195A - 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム - Google Patents
動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム Download PDFInfo
- Publication number
- JP2004254195A JP2004254195A JP2003044428A JP2003044428A JP2004254195A JP 2004254195 A JP2004254195 A JP 2004254195A JP 2003044428 A JP2003044428 A JP 2003044428A JP 2003044428 A JP2003044428 A JP 2003044428A JP 2004254195 A JP2004254195 A JP 2004254195A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- decoding
- moving image
- encoding
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims description 11
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000011084 recovery Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000001174 ascending effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Images
Landscapes
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】撮影機によって撮影した動画像を予測符号化し、ネットワークを介して伝送する動画像伝送システムにおいて、ネットワーク上で動画像フレームの欠落が生じたとき動画像復号化装置において正常に復号したフレームを参照フレームとして後続する未送信のフレームを符号化し伝送することにより正常に復号するまでの時間を短縮すること。
【解決手段】動画像符号化装置１０２はフレームのロス通知を動画像復号化装置１０３から受け、既に伝送をした新しいフレームのうち１つもしくは複数のフレームを、動画像復号化装置１０３が正常に復号化をしたフレームを参照フレームとして復号化し伝送することによって、表示可能なフレームを増やし、動画像フレーム欠落時の画質改善の図られた動画像をモニタ１０４で表示する。
【選択図】 図１
【解決手段】動画像符号化装置１０２はフレームのロス通知を動画像復号化装置１０３から受け、既に伝送をした新しいフレームのうち１つもしくは複数のフレームを、動画像復号化装置１０３が正常に復号化をしたフレームを参照フレームとして復号化し伝送することによって、表示可能なフレームを増やし、動画像フレーム欠落時の画質改善の図られた動画像をモニタ１０４で表示する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、フレーム間符号化を行う動画像伝送システムに係り、さらに詳しくは動画像伝送におけるデータの欠落による画質低下を改善するための機能を備えた動画像符号化装置及び動画像符号化方法並びに動画像伝送システムに関する。
【０００２】
【従来の技術】
従来、動画像をフレーム間符号化して得られたデータを、ネットワークを用いてリアルタイム伝送する際、インターネットのように他のトラヒックがネットワーク上に流れる伝送媒体であると、輻輳が生じてデータの欠落の可能性がある。動画像をフレーム間符号化している場合、動画像データが欠落するとそのフレームを参照して符号化されている後続フレームが正常に復元できなくなるという問題があった。
【０００３】
そのために、フレームの欠落時に後続フレームを正常に復元する対策を講じる必要がある。例えば、受信側システムで復号化したフレームの復号異常の有無を判定し、復号異常有無信号を生成して受信側システムから送信側システムに伝送し、送信側システムでは復号異常があったとき、復号異常があったフレームより時間的に過去のフレームの中で正常に復元できたことが確認されたフレームのうちフレームバッファに保存しているフレームを参照フレームとして符号化して受信側システムへ伝送する手法がある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−１９１３５６号公報
【０００５】
【発明が解決しようとする課題】
上記の方法では、送信側システムである動画像符号化装置が復号異常通知を受信後に符号化するフレームは、動画像復号化装置が正常に復号化したフレームを参照フレームとして符号化されるので正常表示可能であるが、復号異常通知の受信前に符号化して伝送したフレームは、正常に復号されないので再生できないという問題がある。
【０００６】
本発明は、以上のような実情に鑑みてなされたものであり、簡易な構成で、欠落フレームの後続フレームを符号化でき、再送して表示可能な動画像符号化装置及び動画像符号化方法並びに動画像伝送システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、動画像符号化装置がフレームの復号異常信号を動画像復号化装置から受け、既に伝送をした新しいフレームのうち１つもしくは複数のフレームを、動画像復号化装置が正常に復号化をしたフレームを参照フレームとして復号化し伝送することによって、表示可能なフレームを増やし、動画像フレーム欠落時の画質を改善するものである。
【０００８】
【本発明の実施の形態】
本発明の第１の態様は、過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファ部より復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段と、を具備する動画像符号化装置である。
【０００９】
以上のように構成された動画像符号化装置によれば、動画像復号化装置から復号異常信号を受信した場合、フレームバッファ部より復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するので、動画像復号化装置において再送フレームを復号することができ、欠落フレーム以降の復号異常フレームのすべて又は一部を正常に復号することができ、画質の改善を図ることができる。
【００１０】
本発明の第２の態様は、第１の態様の動画像符号化装置において、フレーム管理手段は、前記フレームバッファ部から再送フレームを選ぶ場合、優先的に新しいフレームを選択するものとした。
【００１１】
これにより、動画像復号化装置における表示時刻に間に合うフレームが優先的に選択されて再送されるものとなる。
【００１２】
本発明の第３の態様は、第１又は第２の態様の動画像符号化装置において、再送フレームを符号化して再送を行う場合、復号異常信号の受信時に前記フレーム管理手段から通知された参照フレームをすべての再送フレームに適用して符号化するものとした。
【００１３】
これにより、再送フレームを受信した動画像復号化装置では先に正常復号して保持しているフレームを参照フレームとして正常復号できるものとなる。
【００１４】
本発明の第４の態様は、第１又は第２の態様の動画像符号化装置において、再送フレームを符号化して再送を行う場合、復号異常信号の受信時に前記フレーム管理手段から通知された参照フレームを最も古い再送フレームに適用し、後続する再送フレームは１つ前のフレームを参照フレームとして用いるものとした。
【００１５】
これにより、再送フレームを受信した動画像復号化装置では、順次直前のフレームを参照フレームとして復号することができ、参照フレームと符号化フレームとの時間間隔が短くなるので符号化効率を向上することができる。
【００１６】
本発明の第５の態様は、第１の態様の動画像符号化装置において、前記フレーム管理手段は、前記動画像復号化装置から復号異常信号と時刻印を受信した場合、前記時刻印からフレーム伝搬遅延時間を計算し、フレームの符号化時刻からフレーム伝搬遅延時間を加えた時刻が、前記動画像復号化装置におけるフレーム表示時刻よりも早いフレームを前記フレームバッファ部から再送フレームとして選ぶものとした。
【００１７】
これにより、動画像復号化装置におけるフレーム表示時刻よりも早いフレームをフレームバッファ部から再送フレームとして選ぶので、リアルタイムで再生するシステムであればフレーム表示時刻に間に合わない不要なフレームが再送される不具合を解消することができる。
【００１８】
本発明の第６の態様は、動画像符号化装置から符号化フレームと参照フレーム番号と時刻印とを受信する受信手段と、この受信された符号化フレームをその参照フレーム番号が示すフレームを用いて復号する復号化手段と、符号化フレームの復号結果を表す復号異常有無信号と符号化フレームに対応するフレーム番号とを対にして前記動画像符号化装置へ送信する送信手段と、前記符号化フレームの復号異常が発生した場合、当該符号化フレームと共に受信した時刻印からフレーム伝搬遅延時間を計算し、この計算したフレーム伝搬遅延時間を前記動画像符号化装置へ送信する復号異常信号に付加するフレーム管理手段と、を具備する動画像復号化装置である。
【００１９】
以上のように構成された本発明によれば、符号化フレームの復号異常が発生した場合、当該符号化フレームと共に受信した時刻印からフレーム伝搬遅延時間を計算し、この計算したフレーム伝搬遅延時間を前記動画像符号化装置へ送信する復号異常信号に付加するので、動画像符号化装置においてフレーム伝搬遅延時間を計算する負荷を削減できる。
【００２０】
本発明の第７の態様は、過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、動画像復号化装置から復号異常信号とフレーム番号とフレーム伝搬遅延時間とを受信した場合、フレームの符号化時刻からフレーム伝搬遅延時間を加えた時刻が、前記動画像復号化装置におけるフレーム表示時刻よりも早いフレームを前記フレームバッファ部から再送フレームとして選び、先に復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段と、を具備する動画像符号化装置である。
【００２１】
以上のように構成された動画像符号化装置によれば、符号化フレームの復号異常が発生した場合、フレームの符号化時刻からフレーム伝搬遅延時間を加えた時刻が、前記動画像復号化装置におけるフレーム表示時刻よりも早いフレームを前記フレームバッファ部から再送フレームとして選ぶので、古くて不要なフレームが動画像復号化装置へ伝送されることを防止できる。
【００２２】
本発明の第８の態様は、過去のフレームを参照フレームに用いて現フレームを符号化し、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持する一方、動画像復号化装置から復号異常信号を受信した場合、前記保持フレームの中から復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとしてフレーム再送を行う動画像符号化方法である。
【００２３】
以上のように構成された動画像符号化方法によれば、動画像復号化装置から復号異常信号を受信した場合、復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとするので、動画像復号化側において再送フレームを復号することができ、欠落フレーム以降の復号異常フレームのすべて又は一部を正常に復号することができ、画質の改善を図ることができる。
【００２４】
本発明の第９の態様は、フレームを符号化する動画像符号化装置と符号化フレームを復号化する動画像復号化装置とから構成される動画像伝送システムであって、前記動画像符号化装置は、過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、前記動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファ部より復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段とを備え、前記動画像復号化装置は、前記動画像符号化装置から符号化フレームと参照フレーム番号とを受信する受信手段と、この受信された符号化フレームをその参照フレーム番号が示すフレームを用いて復号する復号化手段と、符号化フレームの復号結果を表す復号異常有無信号と符号化フレームに対応するフレーム番号とを対にして前記動画像符号化装置へ送信する送信手段とを備える、動画像伝送システムである。
【００２５】
本発明の第１０の態様は、コンピュータに、過去のフレームを参照フレームに用いて現フレームを符号化する機能と、現フレームの送信後も符号化前のフレームをフレームバッファに格納して複数フレーム期間に亘り保持させる機能と、動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファの中から復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとしてフレーム再送を行う機能と、を実現させるための動画像符号化プログラムである。
【００２６】
以下、本発明の実施の形態について図面を参照して具体的に説明する。
【００２７】
（実施の形態１）
図１は本発明の実施の形態１に係る動画像伝送システムのブロック図である。同図に示す動画像伝送システム１００は、撮影機１０１、動画像符号化装置１０２、動画像復号化装置１０３、モニタ１０４から構成されている。
【００２８】
動画像符号化装置１０２は、動画像入力部１０５、フレームバッファ部１０６、符号化部１０７、フレーム管理部１０８、最新参照フレーム候補バッファ部１０９、送受信部１１０から構成される。
【００２９】
また、動画像復号化装置１０３は、送受信部（Ｂ）１１１、受信バッファ部１１２、復号化部１１３、フレーム管理部（Ｂ）１１４、フレームバッファ部１１５、出力部１１６から構成される。
【００３０】
撮影機１０１は、動画像を撮影し動画像信号を動画像符号化装置１０２へ伝送する機能を有している。
【００３１】
ここで、動画像符号化装置１０２の構成について詳細に説明する。
【００３２】
動画像入力部１０５は、撮影機１０１から伝送された動画像フレームをフレームバッファ部１０６とフレーム管理部１０８へ伝送する機能を有している。
【００３３】
フレームバッファ部１０６は、動画像入力部１０５により入力された動画像フレームを格納する機能を有する。さらに、フレームバッファ部１０６は、フレーム管理部１０８よりフレーム番号の通知を受け、フレームとフレーム番号を対にしてバッファに記録し、符号化部１０７へフレームを伝送する機能と、フレーム管理部１０８により最新参照フレーム候補更新通知を受け、該当するフレームを最新参照フレーム候補バッファ部１０９へ伝送する機能と、を有している。
【００３４】
符号化部１０７は、フレーム管理部１０８より符号化を行うフレームの番号の通知を受け、フレームの番号が示すフレームをフレームバッファ部１０６より受信し、さらに、フレーム間符号化を行う場合はフレームバッファ部１０６又は最新参照フレーム候補バッファ部１０９より参照フレームを受信し、符号化を行う機能を有している。
【００３５】
フレーム管理部１０８は、動画像入力部１０５により動画像入力の通知を受け、フレームのフレーム番号を計算して動画像入力部１０５へ通知を行う機能と、フレームの参照フレームを登録し、フレームバッファ部１０６と符号化部１０７へ通知を行う機能と、送受信部１１０よりフレームの復号異常信号を受け、最新参照フレーム候補を検索しフレームバッファ部１０６へ再送フレーム番号と参照フレーム番号の通知を行う機能と、送受信部１１０よりフレームの復号正常信号を受け、フレームバッファ部１０６に最新参照フレーム候補の更新を通知する機能と、を有している。
【００３６】
最新参照フレーム候補バッファ部１０９は、フレームバッファ部１０６により動画像復号化装置１０３により復号正常信号を受けたフレームを受信し格納する機能と、符号化部１０７により最新参照フレーム候補の要求を受け、符号化部１０７への伝送を行う機能を有している。
【００３７】
送受信部１１０は、符号化部１０７により受信した動画像フレームを動画像復号化装置１０３へ伝送する機能と、動画像復号化装置１０３よりフレームの復号異常信号を受けフレーム管理部１０８へ通知する機能を有している。
【００３８】
次に、動画像復号化装置１０３の構成について詳細に説明する。
【００３９】
送受信部（Ｂ）１１１は、動画像符号化装置１０２により伝送された動画像フレームの受信を行い受信バッファ部１１２へ伝送する機能と、フレーム管理部（Ｂ）１１４によりフレーム復号異常の通知を受け、復号異常信号を動画像符号化装置１０２へ伝送する機能と、を有している。
【００４０】
受信バッファ部１１２は、送受信部（Ｂ）１１１で受信した動画像フレームを格納し、フレーム管理部（Ｂ）１１４と復号化部１１３へ伝送する機能を有している。
【００４１】
復号化部１１３は、受信バッファ部１１２により受信した動画像フレームを、フレーム管理部（Ｂ）１１４から通知を受けた参照フレーム番号を参照し、フレームバッファ部（Ｂ）１１５から参照フレームを受信し、動画像フレームの復号を行い、出力部１１６とフレームバッファ部（Ｂ）１１５へ伝送する機能を有している。
【００４２】
フレーム管理部（Ｂ）１１４は、受信バッファ部１１２から動画像フレーム、フレーム番号、参照フレーム番号を受信し、フレーム番号より前のフレーム番号が抜けていたらフレームが欠落しているとみなし送受信部（Ｂ）１１１へ通知する機能と、復号化部１１３に該当するフレーム番号と参照フレーム番号とを通知する機能を有している。
【００４３】
フレームバッファ部（Ｂ）１１５は、復号化部１１３より伝送された動画像フレームを格納する機能と、復号化部１１３へ参照フレームを伝送する機能と、フレーム管理部（Ｂ）１１４よりフレーム番号と参照フレーム番号との通知を受け、登録する機能を有している。
【００４４】
出力部１１６は、復号化部１１３より受信した動画像フレームをモニタ１０４へ伝送する機能を有している。モニタ１０４は動画像復号化装置１０３より受信した動画像フレームを画面に出力する機能を有している。
【００４５】
次に、以上のように構成された本実施の形態に係る動画像伝送システムの動作について説明する。
【００４６】
動画像符号化装置１０２及び動画像復号化装置１０３による動画像伝送の動作を、図２に示すシーケンス図を用いて説明する。
【００４７】
まず、動画像符号化装置１０２がフレーム内符号化したフレーム（以下Ｉフレーム）Ｉ１を伝送する。このとき、フレームＩ１を符号化する前のデータをフレームバッファ部１０６へ格納し、さらに、フレーム管理部１０８へ通知しフレーム番号と参照フレーム番号からなるフレームの信号を登録し、フレームＩ１とフレーム番号を多重化して伝送する。ここでフレームＩ１はＩフレームであるので参照フレーム番号の登録は行わない。
【００４８】
次に、次のフレームを動画像入力部１０５より受信し、フレームバッファ部１０６に格納後、フレーム管理部１０８に通知し、フレーム番号の付与と参照フレームを一つ前のフレームに決定する。フレーム番号と参照フレーム番号とフレームとを符号化部１０７に伝送し、フレームＩ１を参照フレームとして用いて符号化を行い、フレームＰ２として送受信部１１０に伝送し、動画像復号化装置１０３へフレーム番号と参照フレーム番号と共に伝送する。
【００４９】
動画像復号化装置１０３では、フレームＩ１を受信後、フレームＩ１は参照フレームを持たないため、復号正常信号を動画像符号化装置１０２へ伝送する。また、すぐに復号を行うことはせず、一定時間受信バッファ部１１２に保持した後、復号化部１１３に伝送して復号し、復号フレームを出力部１１６よりモニタ１０４に出力する。
【００５０】
次に、動画像復号化装置１０３がＰ２を受信したときは、受信バッファ部１１２に格納後、フレーム管理部（Ｂ）１１４に通知を行う。フレーム管理部（Ｂ）１１４では受信フレームの欠落がないか検査した後、送受信部（Ｂ）１１１に通知を行い、動画像符号化装置１０２へ復号正常信号の伝送を行う。
【００５１】
ここで、フレームの欠落があったときの動作について説明する。図２にフレームＰ４が欠落したときを例に説明する。
【００５２】
動画像復号化装置１０３では、次のフレームであるフレームＰ５を受信後、フレームＰ４の欠落の検出をすることになる。フレームＰ５を受信後、フレーム管理部（Ｂ）１１４では参照フレームであるフレームＰ４を受信していないため、フレームＰ５の復号異常信号を、送受信部（Ｂ）１１１を介して動画像符号化装置１０２へ伝送する。
【００５３】
図２の例では動画像符号化装置１０２がフレームＰ５の復号異常信号を受信した時点ですでにフレームＰ７まで符号化送信してしまっている。この場合、フレームＰ４が欠落しているため、動画像復号化装置１０３では、フレームＰ７まで正常に復号を行うことが出来ない。
【００５４】
そこで、動画像符号化装置１０２では、フレーム管理部１０８により、フレームＰ４からフレームＰ７の中から、ここでは例として、フレームＰ６とフレームＰ７を再送することにする。最新参照フレーム候補バッファ部１０９に格納されている、復号正常信号を受信したフレームＰ３を参照フレームとして、フレームバッファ部１０６に格納されているフレームＰ６とフレームＰ７を符号化しなおし、フレームＰ６´、フレームＰ７´として再送する。すでに動画像復号化装置１０３で正常受信しているフレームＰ３を参照フレームとしているため、動画像復号化装置１０３ではフレームＰ６´とフレームＰ７´を正常に復号することが出来る。続くフレームＰ８もフレームＰ３を参照フレームとして用いて符号化を行い、伝送をすることにより正常に復号可能となる。
【００５５】
なお、フレームＰ６´を、フレームＰ３を参照フレームとして符号化し、続くフレームＰ７´を、フレームＰ６´を参照フレームとして符号化し、フレームＰ８を、フレームＰ７´を参照フレームとして符号化するようにしても良い。
【００５６】
以上のように本実施の形態１によれば、伝送フレームの欠落時に、欠落したフレームを参照画像として符号化した後続するフレームを動画像復号化装置１０３において正常に受信されたフレームを参照フレームとして符号化した後、再送することにより表示を行い、動画像画質の改善を行うことが可能となる。
【００５７】
（実施の形態２）
図３は本発明の実施の形態２に係る動画像伝送システムのブロック図である。同図に示すように、動画像伝送システム３００は、撮影機１０１、動画像符号化装置３０２、動画像復号化装置３０３、モニタ１０４から構成される。
【００５８】
動画像伝送システム３００は、動画像入力部１０５、フレームバッファ部１０６、符号化部１０７、フレーム管理部（Ｃ）３０８、最新参照フレーム候補バッファ部１０９、送受信部１１０から構成される。
【００５９】
また、動画像復号化装置３０３は、送受信部（Ｂ）１１１、受信バッファ部１１２、復号化部１１３、フレーム管理部（Ｄ）３１４、フレームバッファ部（Ｂ）１１５、出力部１１６から構成される。
【００６０】
撮影機１０１は動画像を撮影し動画像符号化装置３０２へ伝送する機能を有している。
【００６１】
動画像入力部１０５は、撮影機１０１から伝送された動画像フレームをフレームバッファ部１０６とフレーム管理部（Ｃ）３０８へ伝送する機能を有している。
【００６２】
フレームバッファ部１０６は、動画像入力部１０５により入力された動画像フレームを格納する機能と、フレーム管理部（Ｃ）３０８より、フレーム番号の通知を受け、フレームとフレーム番号を対にしてバッファに記録し、符号化部１０７へフレームを伝送する機能と、フレーム管理部（Ｃ）３０８により最新参照フレーム候補更新通知を受け、該当するフレームを最新参照フレーム候補バッファ部１０９へ伝送する機能とを有している。
【００６３】
符号化部１０７は、フレーム管理部（Ｃ）３０８より符号化を行うフレームの番号の通知を受け、フレームの番号が示すフレームをフレームバッファ部１０６より受信し、さらに、フレーム間符号化を行う場合はフレームバッファ部１０６か最新参照フレーム候補バッファ部１０９により参照フレームを受信し、符号化を行う機能を有している。
【００６４】
フレーム管理部（Ｃ）３０８は、動画像入力部１０５により動画像入力の通知を受け、フレームのフレーム番号を計算し動画像入力部１０５へ通知を行う機能と、フレームの参照フレームを登録し、フレームバッファ部１０６と符号化部１０７へ通知を行う機能と、送受信部１１０よりフレームの復号異常信号と時刻印を受け、時刻印からフレーム伝搬遅延時間を推定し、フレームのフレーム表示時刻と、現在時刻からのフレーム伝搬遅延時間経過後の時刻を比較して、フレーム表示時刻の方が後の場合、最新参照フレーム候補を検索しフレームバッファ部１０６へ再送フレーム番号と参照フレーム番号の通知を行う機能と、送受信部１１０よりフレームの復号正常信号を受け、フレームバッファ部１０６に最新参照フレーム候補の更新を通知する機能とを有している。
【００６５】
最新参照フレーム候補バッファ部１０９は、フレームバッファ部１０６により動画像復号化装置３０３により復号正常信号を受けたフレームを受信し格納する機能と、符号化部１０７により最新参照フレーム候補の要求を受け、符号化部１０７への伝送を行う機能とを有している。
【００６６】
送受信部１１０は、符号化部１０７により受信した動画像フレームを動画像復号化装置３０３へ伝送する機能と、動画像復号化装置３０３よりフレームの復号異常信号と時刻印を受けフレーム管理部Ｃ３０８へ通知する機能とを有している。
【００６７】
送受信部（Ｂ）１１１は、動画像符号化装置３０２により伝送された動画像フレームの受信を行い受信バッファ部１１２へ伝送する機能と、フレーム管理部（Ｄ）３１４からフレーム復号異常の通知を受け、時刻印とともに、動画像符号化装置３０２へ伝送する機能とを有している。
【００６８】
受信バッファ部１１２は、送受信部（Ｂ）１１１で受信した動画像フレームを格納し、フレーム管理部（Ｄ）３１４と復号化部１１３へ伝送する機能を有している。
【００６９】
復号化部１１３は、受信バッファ部１１２で受信した動画像フレームを、フレーム管理部（Ｄ）３１４から通知を受けた参照フレーム番号を参照し、フレームバッファ部（Ｂ）１１５から参照フレームを受信し動画像フレームの復号を行い、出力部１１６とフレームバッファ部（Ｂ）１１５へ伝送する機能を有している。
【００７０】
フレーム管理部（Ｄ）３１４は、受信バッファ部１１２により動画像フレームとフレーム番号、参照フレーム番号を受信しフレーム番号より前のフレーム番号が抜けていたらフレームが欠落しているとみなし送受信部（Ｂ）１１１へ通知する機能と、復号化部１１３に該当するフレームの番号と参照フレーム番号を通知する機能とを有している。
【００７１】
フレームバッファ部（Ｂ）１１５は、復号化部１１３より伝送された動画像フレームを格納する機能と、復号化部１１３へ参照フレームを伝送する機能と、フレーム管理部（Ｄ）３１４よりフレーム番号と参照フレーム番号の通知を受け、登録する機能とを有している。
【００７２】
出力部１１６は、復号化部１１３で受信した動画像フレームをモニタ１０４へ伝送する機能を有している。
【００７３】
モニタ１０４は、動画像復号化装置３０３より受信した動画像フレームを画面に出力する機能を有している。
【００７４】
次に、以上のように構成された本実施の形態２に係る動画像符号化装置及び動画像復号化装置による動画像伝送の動作を図４に示すシーケンス図を用いて説明する。
【００７５】
まず、動画像符号化装置３０２がフレーム内符号化したフレーム（以下Ｉフレーム）Ｉ１を符号化する。このとき、フレームＩ１の符号化する前のデータをフレームバッファ部１０５へ格納し、さらに、フレーム管理部（Ｃ）３０８へ通知しフレーム番号と参照フレーム番号からなるフレームの信号を登録し、フレームＩ１とフレーム番号を多重化して伝送する。ここで、フレームＩ１はＩフレームであるので参照フレーム番号の登録は行わない。
【００７６】
次に、次のフレームを動画像入力部１０５より受信し、フレームバッファ部１０６に格納後、フレーム管理部（Ｃ）３０８に通知し、フレーム番号を付与し、参照フレームを一つ前のフレームに決定する。
【００７７】
そして、フレーム番号と参照フレーム番号とフレームを符号化部１０７に伝送し、フレームＩ１を参照フレームとして符号化を行い、フレームＰ２として送受信部１１０に伝送し、動画像復号化装置３０３へフレーム番号と参照フレーム番号と共に伝送する。
【００７８】
動画像復号化装置３０３は、フレームＩ１を受信後、フレームＩ１は参照フレームを持たないため、復号正常信号を動画像符号化装置３０２へ伝送する。また、すぐに復号を行うことはせず、一定時間受信バッファ部１１２に保持した後、符号化部１１３に伝送し、復号後出力部１１６によりモニタ１０４に出力する。
【００７９】
次に、Ｐ２を受信したときは、受信バッファ部１１２に格納後、フレーム管理部（Ｄ）３１４に通知を行う。フレーム管理部（Ｄ）３１４では、受信フレームの欠落がないか検査した後、送受信部（Ｂ）１１１に通知を行う。送受信部（Ｂ）１１１は動画像符号化装置３０２へ復号正常信号を伝送する。
【００８０】
ここで、フレームの欠落があったときの動作について説明する。図４のフレームＰ４が欠落したときを例に説明する。動画像復号化装置３０３では次のフレームであるフレームＰ５を受信後、フレームＰ４の欠落の検出をすることになる。フレームＰ５を受信後、フレーム管理部（Ｄ）３１４では参照フレームであるフレームＰ４を受信していないため、フレームＰ５の復号異常信号を送受信部（Ｂ）１１１を介して動画像符号化装置３０２へ伝送する。
【００８１】
図４の例では、動画像符号化装置３０２がフレームＰ５の復号異常信号を受信した時点ですでにフレームＰ７まで符号化送信してしまっている。この場合、フレームＰ４が欠落しているため、動画像復号化装置３０３では、フレームＰ７まで正常に復号を行うことが出来ない。
【００８２】
ここで、動画像符号化装置３０２のフレーム管理部（Ｃ）３０８による、再送フレームの選定について、図５に示すフロー図に基づいて説明する。
【００８３】
まず、復号異常信号のあったフレームの時刻印と現在時刻から推定フレーム伝搬遅延を計算する（ステップ５０１）。次に、符号化伝送を行ったフレームの中で最新のフレームのフレーム番号を現在のフレームのフレーム番号とする（ステップ５０２）。
【００８４】
次に、以下に説明するステップ５０３からステップ５０５まで繰り返し処理を行う。すなわち、現在時刻から推定フレーム伝搬遅延経過した時刻が、現在のフレームのフレーム番号が示すフレームのフレーム表示予定時刻より早い、且つ、現在のフレームのフレーム番号が復号異常信号のあったフレームのフレーム番号と等しいか大きいとき以下に説明するステップ５０４とステップ５０５を行い、条件が偽であるときはループから脱出する（ステップ５０３）。
【００８５】
現在のフレームのフレーム番号が示すフレームを復号正常信号を受けたフレームを参照フレームとして符号化する（ステップ５０４）。次に、現在のフレームのフレーム番号を一つ過去のフレームのフレーム番号とする（ステップ５０５）。次に、符号化したフレームをフレーム番号の小さい順に順次送信する（ステップ５０６）。
【００８６】
図４の例では、フレームＰ７の再送を行った。最新参照フレーム候補バッファ部１０９に格納されている、復号正常信号を受信したフレームＰ３を参照フレームとして、フレームバッファ部１０６に格納されているフレームＰ７を符号化しなおし、フレームＰ７´として再送する。フレームＰ３を参照フレームとしているため、動画像復号化装置３０３ではとフレームＰ７´を正常に復号することが出来る。続くフレームＰ８もフレームＰ３を参照フレームとして符号化を行い、伝送をすることにより正常に復号可能となる。
【００８７】
なお、本発明の実施の形態２では、動画像復号化装置３０３が時刻印を送付し、動画像符号化装置３０２がその信号を元に再送フレームの決定を行ったが、動画像符号化装置３０２がフレーム送信時に時刻印を付与し、動画像復号化装置３０３が受信した時刻印をもとに伝搬遅延時間を推測し復号異常信号を伝送するときに推定伝搬遅延時間を送信するようにしても良い。そうすることにより、動画像符号化装置３０２から動画像復号化装置３０３への伝搬遅延時間の推測が簡易な方法で実現可能となる。
【００８８】
以上のように本実施の形態２によれば、伝送フレームの欠落時に、欠落したフレームを参照画像として符号化した後続するフレームのうち、動画像復号化装置３０３において表示予定時刻に間に合うフレームを、動画像復号化装置３０３において正常に受信されたフレームを参照画像として符号化した後、再送することにより表示を行い、動画像画質の改善を行うことが可能となる。
【００８９】
なお、上述した実施の形態１、実施の形態２は、動画像符号化装置１０２，３０２及び動画像復号化装置１０３，３０３の任意の機能ブロックをソフトウエアで構築するように構成してもよい。
【００９０】
【発明の効果】
以上詳記したように本発明によれば、動画像フレームの欠落時に、欠落した動画像フレームを参照画像とし符号化した後続するフレームのうち動画像復号化装置において表示予定時刻に間に合うフレームを、動画像復号化装置において正常に受信されたフレームを参照画像として符号化した後、再送することにより表示を行い、動画像画質の改善を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の動画像伝送システムの機能構成図
【図２】本発明の実施の形態１の動画像伝送システムの伝送フレームと復号通知のシーケンス図
【図３】本発明の実施の形態２の動画像伝送システムの機能構成図
【図４】本発明の実施の形態２の動画像伝送システムの伝送フレームと復号通知のシーケンス図
【図５】本発明の実施の形態２の再送フレーム選択アルゴリズムのフロー図
【符号の説明】
１００ 動画像伝送システム
１０１ 撮影機
１０２ 動画像符号化装置
１０３ 動画像復号化装置
１０４ モニタ
１０５ 動画像入力部
１０６ フレームバッファ部
１０７ 符号化部
１０８ フレーム管理部
１０９ 最新参照フレーム候補バッファ部
１１０ 送受信部
１１１ 送受信部Ｂ
１１２ 受信バッファ部
１１３ 復号化部
１１４ フレーム管理部Ｂ
１１５ フレームバッファ部Ｂ
１１６ 出力部
【発明の属する技術分野】
本発明は、フレーム間符号化を行う動画像伝送システムに係り、さらに詳しくは動画像伝送におけるデータの欠落による画質低下を改善するための機能を備えた動画像符号化装置及び動画像符号化方法並びに動画像伝送システムに関する。
【０００２】
【従来の技術】
従来、動画像をフレーム間符号化して得られたデータを、ネットワークを用いてリアルタイム伝送する際、インターネットのように他のトラヒックがネットワーク上に流れる伝送媒体であると、輻輳が生じてデータの欠落の可能性がある。動画像をフレーム間符号化している場合、動画像データが欠落するとそのフレームを参照して符号化されている後続フレームが正常に復元できなくなるという問題があった。
【０００３】
そのために、フレームの欠落時に後続フレームを正常に復元する対策を講じる必要がある。例えば、受信側システムで復号化したフレームの復号異常の有無を判定し、復号異常有無信号を生成して受信側システムから送信側システムに伝送し、送信側システムでは復号異常があったとき、復号異常があったフレームより時間的に過去のフレームの中で正常に復元できたことが確認されたフレームのうちフレームバッファに保存しているフレームを参照フレームとして符号化して受信側システムへ伝送する手法がある（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平１０−１９１３５６号公報
【０００５】
【発明が解決しようとする課題】
上記の方法では、送信側システムである動画像符号化装置が復号異常通知を受信後に符号化するフレームは、動画像復号化装置が正常に復号化したフレームを参照フレームとして符号化されるので正常表示可能であるが、復号異常通知の受信前に符号化して伝送したフレームは、正常に復号されないので再生できないという問題がある。
【０００６】
本発明は、以上のような実情に鑑みてなされたものであり、簡易な構成で、欠落フレームの後続フレームを符号化でき、再送して表示可能な動画像符号化装置及び動画像符号化方法並びに動画像伝送システムを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、動画像符号化装置がフレームの復号異常信号を動画像復号化装置から受け、既に伝送をした新しいフレームのうち１つもしくは複数のフレームを、動画像復号化装置が正常に復号化をしたフレームを参照フレームとして復号化し伝送することによって、表示可能なフレームを増やし、動画像フレーム欠落時の画質を改善するものである。
【０００８】
【本発明の実施の形態】
本発明の第１の態様は、過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファ部より復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段と、を具備する動画像符号化装置である。
【０００９】
以上のように構成された動画像符号化装置によれば、動画像復号化装置から復号異常信号を受信した場合、フレームバッファ部より復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するので、動画像復号化装置において再送フレームを復号することができ、欠落フレーム以降の復号異常フレームのすべて又は一部を正常に復号することができ、画質の改善を図ることができる。
【００１０】
本発明の第２の態様は、第１の態様の動画像符号化装置において、フレーム管理手段は、前記フレームバッファ部から再送フレームを選ぶ場合、優先的に新しいフレームを選択するものとした。
【００１１】
これにより、動画像復号化装置における表示時刻に間に合うフレームが優先的に選択されて再送されるものとなる。
【００１２】
本発明の第３の態様は、第１又は第２の態様の動画像符号化装置において、再送フレームを符号化して再送を行う場合、復号異常信号の受信時に前記フレーム管理手段から通知された参照フレームをすべての再送フレームに適用して符号化するものとした。
【００１３】
これにより、再送フレームを受信した動画像復号化装置では先に正常復号して保持しているフレームを参照フレームとして正常復号できるものとなる。
【００１４】
本発明の第４の態様は、第１又は第２の態様の動画像符号化装置において、再送フレームを符号化して再送を行う場合、復号異常信号の受信時に前記フレーム管理手段から通知された参照フレームを最も古い再送フレームに適用し、後続する再送フレームは１つ前のフレームを参照フレームとして用いるものとした。
【００１５】
これにより、再送フレームを受信した動画像復号化装置では、順次直前のフレームを参照フレームとして復号することができ、参照フレームと符号化フレームとの時間間隔が短くなるので符号化効率を向上することができる。
【００１６】
本発明の第５の態様は、第１の態様の動画像符号化装置において、前記フレーム管理手段は、前記動画像復号化装置から復号異常信号と時刻印を受信した場合、前記時刻印からフレーム伝搬遅延時間を計算し、フレームの符号化時刻からフレーム伝搬遅延時間を加えた時刻が、前記動画像復号化装置におけるフレーム表示時刻よりも早いフレームを前記フレームバッファ部から再送フレームとして選ぶものとした。
【００１７】
これにより、動画像復号化装置におけるフレーム表示時刻よりも早いフレームをフレームバッファ部から再送フレームとして選ぶので、リアルタイムで再生するシステムであればフレーム表示時刻に間に合わない不要なフレームが再送される不具合を解消することができる。
【００１８】
本発明の第６の態様は、動画像符号化装置から符号化フレームと参照フレーム番号と時刻印とを受信する受信手段と、この受信された符号化フレームをその参照フレーム番号が示すフレームを用いて復号する復号化手段と、符号化フレームの復号結果を表す復号異常有無信号と符号化フレームに対応するフレーム番号とを対にして前記動画像符号化装置へ送信する送信手段と、前記符号化フレームの復号異常が発生した場合、当該符号化フレームと共に受信した時刻印からフレーム伝搬遅延時間を計算し、この計算したフレーム伝搬遅延時間を前記動画像符号化装置へ送信する復号異常信号に付加するフレーム管理手段と、を具備する動画像復号化装置である。
【００１９】
以上のように構成された本発明によれば、符号化フレームの復号異常が発生した場合、当該符号化フレームと共に受信した時刻印からフレーム伝搬遅延時間を計算し、この計算したフレーム伝搬遅延時間を前記動画像符号化装置へ送信する復号異常信号に付加するので、動画像符号化装置においてフレーム伝搬遅延時間を計算する負荷を削減できる。
【００２０】
本発明の第７の態様は、過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、動画像復号化装置から復号異常信号とフレーム番号とフレーム伝搬遅延時間とを受信した場合、フレームの符号化時刻からフレーム伝搬遅延時間を加えた時刻が、前記動画像復号化装置におけるフレーム表示時刻よりも早いフレームを前記フレームバッファ部から再送フレームとして選び、先に復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段と、を具備する動画像符号化装置である。
【００２１】
以上のように構成された動画像符号化装置によれば、符号化フレームの復号異常が発生した場合、フレームの符号化時刻からフレーム伝搬遅延時間を加えた時刻が、前記動画像復号化装置におけるフレーム表示時刻よりも早いフレームを前記フレームバッファ部から再送フレームとして選ぶので、古くて不要なフレームが動画像復号化装置へ伝送されることを防止できる。
【００２２】
本発明の第８の態様は、過去のフレームを参照フレームに用いて現フレームを符号化し、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持する一方、動画像復号化装置から復号異常信号を受信した場合、前記保持フレームの中から復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとしてフレーム再送を行う動画像符号化方法である。
【００２３】
以上のように構成された動画像符号化方法によれば、動画像復号化装置から復号異常信号を受信した場合、復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとするので、動画像復号化側において再送フレームを復号することができ、欠落フレーム以降の復号異常フレームのすべて又は一部を正常に復号することができ、画質の改善を図ることができる。
【００２４】
本発明の第９の態様は、フレームを符号化する動画像符号化装置と符号化フレームを復号化する動画像復号化装置とから構成される動画像伝送システムであって、前記動画像符号化装置は、過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、前記動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファ部より復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段とを備え、前記動画像復号化装置は、前記動画像符号化装置から符号化フレームと参照フレーム番号とを受信する受信手段と、この受信された符号化フレームをその参照フレーム番号が示すフレームを用いて復号する復号化手段と、符号化フレームの復号結果を表す復号異常有無信号と符号化フレームに対応するフレーム番号とを対にして前記動画像符号化装置へ送信する送信手段とを備える、動画像伝送システムである。
【００２５】
本発明の第１０の態様は、コンピュータに、過去のフレームを参照フレームに用いて現フレームを符号化する機能と、現フレームの送信後も符号化前のフレームをフレームバッファに格納して複数フレーム期間に亘り保持させる機能と、動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファの中から復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとしてフレーム再送を行う機能と、を実現させるための動画像符号化プログラムである。
【００２６】
以下、本発明の実施の形態について図面を参照して具体的に説明する。
【００２７】
（実施の形態１）
図１は本発明の実施の形態１に係る動画像伝送システムのブロック図である。同図に示す動画像伝送システム１００は、撮影機１０１、動画像符号化装置１０２、動画像復号化装置１０３、モニタ１０４から構成されている。
【００２８】
動画像符号化装置１０２は、動画像入力部１０５、フレームバッファ部１０６、符号化部１０７、フレーム管理部１０８、最新参照フレーム候補バッファ部１０９、送受信部１１０から構成される。
【００２９】
また、動画像復号化装置１０３は、送受信部（Ｂ）１１１、受信バッファ部１１２、復号化部１１３、フレーム管理部（Ｂ）１１４、フレームバッファ部１１５、出力部１１６から構成される。
【００３０】
撮影機１０１は、動画像を撮影し動画像信号を動画像符号化装置１０２へ伝送する機能を有している。
【００３１】
ここで、動画像符号化装置１０２の構成について詳細に説明する。
【００３２】
動画像入力部１０５は、撮影機１０１から伝送された動画像フレームをフレームバッファ部１０６とフレーム管理部１０８へ伝送する機能を有している。
【００３３】
フレームバッファ部１０６は、動画像入力部１０５により入力された動画像フレームを格納する機能を有する。さらに、フレームバッファ部１０６は、フレーム管理部１０８よりフレーム番号の通知を受け、フレームとフレーム番号を対にしてバッファに記録し、符号化部１０７へフレームを伝送する機能と、フレーム管理部１０８により最新参照フレーム候補更新通知を受け、該当するフレームを最新参照フレーム候補バッファ部１０９へ伝送する機能と、を有している。
【００３４】
符号化部１０７は、フレーム管理部１０８より符号化を行うフレームの番号の通知を受け、フレームの番号が示すフレームをフレームバッファ部１０６より受信し、さらに、フレーム間符号化を行う場合はフレームバッファ部１０６又は最新参照フレーム候補バッファ部１０９より参照フレームを受信し、符号化を行う機能を有している。
【００３５】
フレーム管理部１０８は、動画像入力部１０５により動画像入力の通知を受け、フレームのフレーム番号を計算して動画像入力部１０５へ通知を行う機能と、フレームの参照フレームを登録し、フレームバッファ部１０６と符号化部１０７へ通知を行う機能と、送受信部１１０よりフレームの復号異常信号を受け、最新参照フレーム候補を検索しフレームバッファ部１０６へ再送フレーム番号と参照フレーム番号の通知を行う機能と、送受信部１１０よりフレームの復号正常信号を受け、フレームバッファ部１０６に最新参照フレーム候補の更新を通知する機能と、を有している。
【００３６】
最新参照フレーム候補バッファ部１０９は、フレームバッファ部１０６により動画像復号化装置１０３により復号正常信号を受けたフレームを受信し格納する機能と、符号化部１０７により最新参照フレーム候補の要求を受け、符号化部１０７への伝送を行う機能を有している。
【００３７】
送受信部１１０は、符号化部１０７により受信した動画像フレームを動画像復号化装置１０３へ伝送する機能と、動画像復号化装置１０３よりフレームの復号異常信号を受けフレーム管理部１０８へ通知する機能を有している。
【００３８】
次に、動画像復号化装置１０３の構成について詳細に説明する。
【００３９】
送受信部（Ｂ）１１１は、動画像符号化装置１０２により伝送された動画像フレームの受信を行い受信バッファ部１１２へ伝送する機能と、フレーム管理部（Ｂ）１１４によりフレーム復号異常の通知を受け、復号異常信号を動画像符号化装置１０２へ伝送する機能と、を有している。
【００４０】
受信バッファ部１１２は、送受信部（Ｂ）１１１で受信した動画像フレームを格納し、フレーム管理部（Ｂ）１１４と復号化部１１３へ伝送する機能を有している。
【００４１】
復号化部１１３は、受信バッファ部１１２により受信した動画像フレームを、フレーム管理部（Ｂ）１１４から通知を受けた参照フレーム番号を参照し、フレームバッファ部（Ｂ）１１５から参照フレームを受信し、動画像フレームの復号を行い、出力部１１６とフレームバッファ部（Ｂ）１１５へ伝送する機能を有している。
【００４２】
フレーム管理部（Ｂ）１１４は、受信バッファ部１１２から動画像フレーム、フレーム番号、参照フレーム番号を受信し、フレーム番号より前のフレーム番号が抜けていたらフレームが欠落しているとみなし送受信部（Ｂ）１１１へ通知する機能と、復号化部１１３に該当するフレーム番号と参照フレーム番号とを通知する機能を有している。
【００４３】
フレームバッファ部（Ｂ）１１５は、復号化部１１３より伝送された動画像フレームを格納する機能と、復号化部１１３へ参照フレームを伝送する機能と、フレーム管理部（Ｂ）１１４よりフレーム番号と参照フレーム番号との通知を受け、登録する機能を有している。
【００４４】
出力部１１６は、復号化部１１３より受信した動画像フレームをモニタ１０４へ伝送する機能を有している。モニタ１０４は動画像復号化装置１０３より受信した動画像フレームを画面に出力する機能を有している。
【００４５】
次に、以上のように構成された本実施の形態に係る動画像伝送システムの動作について説明する。
【００４６】
動画像符号化装置１０２及び動画像復号化装置１０３による動画像伝送の動作を、図２に示すシーケンス図を用いて説明する。
【００４７】
まず、動画像符号化装置１０２がフレーム内符号化したフレーム（以下Ｉフレーム）Ｉ１を伝送する。このとき、フレームＩ１を符号化する前のデータをフレームバッファ部１０６へ格納し、さらに、フレーム管理部１０８へ通知しフレーム番号と参照フレーム番号からなるフレームの信号を登録し、フレームＩ１とフレーム番号を多重化して伝送する。ここでフレームＩ１はＩフレームであるので参照フレーム番号の登録は行わない。
【００４８】
次に、次のフレームを動画像入力部１０５より受信し、フレームバッファ部１０６に格納後、フレーム管理部１０８に通知し、フレーム番号の付与と参照フレームを一つ前のフレームに決定する。フレーム番号と参照フレーム番号とフレームとを符号化部１０７に伝送し、フレームＩ１を参照フレームとして用いて符号化を行い、フレームＰ２として送受信部１１０に伝送し、動画像復号化装置１０３へフレーム番号と参照フレーム番号と共に伝送する。
【００４９】
動画像復号化装置１０３では、フレームＩ１を受信後、フレームＩ１は参照フレームを持たないため、復号正常信号を動画像符号化装置１０２へ伝送する。また、すぐに復号を行うことはせず、一定時間受信バッファ部１１２に保持した後、復号化部１１３に伝送して復号し、復号フレームを出力部１１６よりモニタ１０４に出力する。
【００５０】
次に、動画像復号化装置１０３がＰ２を受信したときは、受信バッファ部１１２に格納後、フレーム管理部（Ｂ）１１４に通知を行う。フレーム管理部（Ｂ）１１４では受信フレームの欠落がないか検査した後、送受信部（Ｂ）１１１に通知を行い、動画像符号化装置１０２へ復号正常信号の伝送を行う。
【００５１】
ここで、フレームの欠落があったときの動作について説明する。図２にフレームＰ４が欠落したときを例に説明する。
【００５２】
動画像復号化装置１０３では、次のフレームであるフレームＰ５を受信後、フレームＰ４の欠落の検出をすることになる。フレームＰ５を受信後、フレーム管理部（Ｂ）１１４では参照フレームであるフレームＰ４を受信していないため、フレームＰ５の復号異常信号を、送受信部（Ｂ）１１１を介して動画像符号化装置１０２へ伝送する。
【００５３】
図２の例では動画像符号化装置１０２がフレームＰ５の復号異常信号を受信した時点ですでにフレームＰ７まで符号化送信してしまっている。この場合、フレームＰ４が欠落しているため、動画像復号化装置１０３では、フレームＰ７まで正常に復号を行うことが出来ない。
【００５４】
そこで、動画像符号化装置１０２では、フレーム管理部１０８により、フレームＰ４からフレームＰ７の中から、ここでは例として、フレームＰ６とフレームＰ７を再送することにする。最新参照フレーム候補バッファ部１０９に格納されている、復号正常信号を受信したフレームＰ３を参照フレームとして、フレームバッファ部１０６に格納されているフレームＰ６とフレームＰ７を符号化しなおし、フレームＰ６´、フレームＰ７´として再送する。すでに動画像復号化装置１０３で正常受信しているフレームＰ３を参照フレームとしているため、動画像復号化装置１０３ではフレームＰ６´とフレームＰ７´を正常に復号することが出来る。続くフレームＰ８もフレームＰ３を参照フレームとして用いて符号化を行い、伝送をすることにより正常に復号可能となる。
【００５５】
なお、フレームＰ６´を、フレームＰ３を参照フレームとして符号化し、続くフレームＰ７´を、フレームＰ６´を参照フレームとして符号化し、フレームＰ８を、フレームＰ７´を参照フレームとして符号化するようにしても良い。
【００５６】
以上のように本実施の形態１によれば、伝送フレームの欠落時に、欠落したフレームを参照画像として符号化した後続するフレームを動画像復号化装置１０３において正常に受信されたフレームを参照フレームとして符号化した後、再送することにより表示を行い、動画像画質の改善を行うことが可能となる。
【００５７】
（実施の形態２）
図３は本発明の実施の形態２に係る動画像伝送システムのブロック図である。同図に示すように、動画像伝送システム３００は、撮影機１０１、動画像符号化装置３０２、動画像復号化装置３０３、モニタ１０４から構成される。
【００５８】
動画像伝送システム３００は、動画像入力部１０５、フレームバッファ部１０６、符号化部１０７、フレーム管理部（Ｃ）３０８、最新参照フレーム候補バッファ部１０９、送受信部１１０から構成される。
【００５９】
また、動画像復号化装置３０３は、送受信部（Ｂ）１１１、受信バッファ部１１２、復号化部１１３、フレーム管理部（Ｄ）３１４、フレームバッファ部（Ｂ）１１５、出力部１１６から構成される。
【００６０】
撮影機１０１は動画像を撮影し動画像符号化装置３０２へ伝送する機能を有している。
【００６１】
動画像入力部１０５は、撮影機１０１から伝送された動画像フレームをフレームバッファ部１０６とフレーム管理部（Ｃ）３０８へ伝送する機能を有している。
【００６２】
フレームバッファ部１０６は、動画像入力部１０５により入力された動画像フレームを格納する機能と、フレーム管理部（Ｃ）３０８より、フレーム番号の通知を受け、フレームとフレーム番号を対にしてバッファに記録し、符号化部１０７へフレームを伝送する機能と、フレーム管理部（Ｃ）３０８により最新参照フレーム候補更新通知を受け、該当するフレームを最新参照フレーム候補バッファ部１０９へ伝送する機能とを有している。
【００６３】
符号化部１０７は、フレーム管理部（Ｃ）３０８より符号化を行うフレームの番号の通知を受け、フレームの番号が示すフレームをフレームバッファ部１０６より受信し、さらに、フレーム間符号化を行う場合はフレームバッファ部１０６か最新参照フレーム候補バッファ部１０９により参照フレームを受信し、符号化を行う機能を有している。
【００６４】
フレーム管理部（Ｃ）３０８は、動画像入力部１０５により動画像入力の通知を受け、フレームのフレーム番号を計算し動画像入力部１０５へ通知を行う機能と、フレームの参照フレームを登録し、フレームバッファ部１０６と符号化部１０７へ通知を行う機能と、送受信部１１０よりフレームの復号異常信号と時刻印を受け、時刻印からフレーム伝搬遅延時間を推定し、フレームのフレーム表示時刻と、現在時刻からのフレーム伝搬遅延時間経過後の時刻を比較して、フレーム表示時刻の方が後の場合、最新参照フレーム候補を検索しフレームバッファ部１０６へ再送フレーム番号と参照フレーム番号の通知を行う機能と、送受信部１１０よりフレームの復号正常信号を受け、フレームバッファ部１０６に最新参照フレーム候補の更新を通知する機能とを有している。
【００６５】
最新参照フレーム候補バッファ部１０９は、フレームバッファ部１０６により動画像復号化装置３０３により復号正常信号を受けたフレームを受信し格納する機能と、符号化部１０７により最新参照フレーム候補の要求を受け、符号化部１０７への伝送を行う機能とを有している。
【００６６】
送受信部１１０は、符号化部１０７により受信した動画像フレームを動画像復号化装置３０３へ伝送する機能と、動画像復号化装置３０３よりフレームの復号異常信号と時刻印を受けフレーム管理部Ｃ３０８へ通知する機能とを有している。
【００６７】
送受信部（Ｂ）１１１は、動画像符号化装置３０２により伝送された動画像フレームの受信を行い受信バッファ部１１２へ伝送する機能と、フレーム管理部（Ｄ）３１４からフレーム復号異常の通知を受け、時刻印とともに、動画像符号化装置３０２へ伝送する機能とを有している。
【００６８】
受信バッファ部１１２は、送受信部（Ｂ）１１１で受信した動画像フレームを格納し、フレーム管理部（Ｄ）３１４と復号化部１１３へ伝送する機能を有している。
【００６９】
復号化部１１３は、受信バッファ部１１２で受信した動画像フレームを、フレーム管理部（Ｄ）３１４から通知を受けた参照フレーム番号を参照し、フレームバッファ部（Ｂ）１１５から参照フレームを受信し動画像フレームの復号を行い、出力部１１６とフレームバッファ部（Ｂ）１１５へ伝送する機能を有している。
【００７０】
フレーム管理部（Ｄ）３１４は、受信バッファ部１１２により動画像フレームとフレーム番号、参照フレーム番号を受信しフレーム番号より前のフレーム番号が抜けていたらフレームが欠落しているとみなし送受信部（Ｂ）１１１へ通知する機能と、復号化部１１３に該当するフレームの番号と参照フレーム番号を通知する機能とを有している。
【００７１】
フレームバッファ部（Ｂ）１１５は、復号化部１１３より伝送された動画像フレームを格納する機能と、復号化部１１３へ参照フレームを伝送する機能と、フレーム管理部（Ｄ）３１４よりフレーム番号と参照フレーム番号の通知を受け、登録する機能とを有している。
【００７２】
出力部１１６は、復号化部１１３で受信した動画像フレームをモニタ１０４へ伝送する機能を有している。
【００７３】
モニタ１０４は、動画像復号化装置３０３より受信した動画像フレームを画面に出力する機能を有している。
【００７４】
次に、以上のように構成された本実施の形態２に係る動画像符号化装置及び動画像復号化装置による動画像伝送の動作を図４に示すシーケンス図を用いて説明する。
【００７５】
まず、動画像符号化装置３０２がフレーム内符号化したフレーム（以下Ｉフレーム）Ｉ１を符号化する。このとき、フレームＩ１の符号化する前のデータをフレームバッファ部１０５へ格納し、さらに、フレーム管理部（Ｃ）３０８へ通知しフレーム番号と参照フレーム番号からなるフレームの信号を登録し、フレームＩ１とフレーム番号を多重化して伝送する。ここで、フレームＩ１はＩフレームであるので参照フレーム番号の登録は行わない。
【００７６】
次に、次のフレームを動画像入力部１０５より受信し、フレームバッファ部１０６に格納後、フレーム管理部（Ｃ）３０８に通知し、フレーム番号を付与し、参照フレームを一つ前のフレームに決定する。
【００７７】
そして、フレーム番号と参照フレーム番号とフレームを符号化部１０７に伝送し、フレームＩ１を参照フレームとして符号化を行い、フレームＰ２として送受信部１１０に伝送し、動画像復号化装置３０３へフレーム番号と参照フレーム番号と共に伝送する。
【００７８】
動画像復号化装置３０３は、フレームＩ１を受信後、フレームＩ１は参照フレームを持たないため、復号正常信号を動画像符号化装置３０２へ伝送する。また、すぐに復号を行うことはせず、一定時間受信バッファ部１１２に保持した後、符号化部１１３に伝送し、復号後出力部１１６によりモニタ１０４に出力する。
【００７９】
次に、Ｐ２を受信したときは、受信バッファ部１１２に格納後、フレーム管理部（Ｄ）３１４に通知を行う。フレーム管理部（Ｄ）３１４では、受信フレームの欠落がないか検査した後、送受信部（Ｂ）１１１に通知を行う。送受信部（Ｂ）１１１は動画像符号化装置３０２へ復号正常信号を伝送する。
【００８０】
ここで、フレームの欠落があったときの動作について説明する。図４のフレームＰ４が欠落したときを例に説明する。動画像復号化装置３０３では次のフレームであるフレームＰ５を受信後、フレームＰ４の欠落の検出をすることになる。フレームＰ５を受信後、フレーム管理部（Ｄ）３１４では参照フレームであるフレームＰ４を受信していないため、フレームＰ５の復号異常信号を送受信部（Ｂ）１１１を介して動画像符号化装置３０２へ伝送する。
【００８１】
図４の例では、動画像符号化装置３０２がフレームＰ５の復号異常信号を受信した時点ですでにフレームＰ７まで符号化送信してしまっている。この場合、フレームＰ４が欠落しているため、動画像復号化装置３０３では、フレームＰ７まで正常に復号を行うことが出来ない。
【００８２】
ここで、動画像符号化装置３０２のフレーム管理部（Ｃ）３０８による、再送フレームの選定について、図５に示すフロー図に基づいて説明する。
【００８３】
まず、復号異常信号のあったフレームの時刻印と現在時刻から推定フレーム伝搬遅延を計算する（ステップ５０１）。次に、符号化伝送を行ったフレームの中で最新のフレームのフレーム番号を現在のフレームのフレーム番号とする（ステップ５０２）。
【００８４】
次に、以下に説明するステップ５０３からステップ５０５まで繰り返し処理を行う。すなわち、現在時刻から推定フレーム伝搬遅延経過した時刻が、現在のフレームのフレーム番号が示すフレームのフレーム表示予定時刻より早い、且つ、現在のフレームのフレーム番号が復号異常信号のあったフレームのフレーム番号と等しいか大きいとき以下に説明するステップ５０４とステップ５０５を行い、条件が偽であるときはループから脱出する（ステップ５０３）。
【００８５】
現在のフレームのフレーム番号が示すフレームを復号正常信号を受けたフレームを参照フレームとして符号化する（ステップ５０４）。次に、現在のフレームのフレーム番号を一つ過去のフレームのフレーム番号とする（ステップ５０５）。次に、符号化したフレームをフレーム番号の小さい順に順次送信する（ステップ５０６）。
【００８６】
図４の例では、フレームＰ７の再送を行った。最新参照フレーム候補バッファ部１０９に格納されている、復号正常信号を受信したフレームＰ３を参照フレームとして、フレームバッファ部１０６に格納されているフレームＰ７を符号化しなおし、フレームＰ７´として再送する。フレームＰ３を参照フレームとしているため、動画像復号化装置３０３ではとフレームＰ７´を正常に復号することが出来る。続くフレームＰ８もフレームＰ３を参照フレームとして符号化を行い、伝送をすることにより正常に復号可能となる。
【００８７】
なお、本発明の実施の形態２では、動画像復号化装置３０３が時刻印を送付し、動画像符号化装置３０２がその信号を元に再送フレームの決定を行ったが、動画像符号化装置３０２がフレーム送信時に時刻印を付与し、動画像復号化装置３０３が受信した時刻印をもとに伝搬遅延時間を推測し復号異常信号を伝送するときに推定伝搬遅延時間を送信するようにしても良い。そうすることにより、動画像符号化装置３０２から動画像復号化装置３０３への伝搬遅延時間の推測が簡易な方法で実現可能となる。
【００８８】
以上のように本実施の形態２によれば、伝送フレームの欠落時に、欠落したフレームを参照画像として符号化した後続するフレームのうち、動画像復号化装置３０３において表示予定時刻に間に合うフレームを、動画像復号化装置３０３において正常に受信されたフレームを参照画像として符号化した後、再送することにより表示を行い、動画像画質の改善を行うことが可能となる。
【００８９】
なお、上述した実施の形態１、実施の形態２は、動画像符号化装置１０２，３０２及び動画像復号化装置１０３，３０３の任意の機能ブロックをソフトウエアで構築するように構成してもよい。
【００９０】
【発明の効果】
以上詳記したように本発明によれば、動画像フレームの欠落時に、欠落した動画像フレームを参照画像とし符号化した後続するフレームのうち動画像復号化装置において表示予定時刻に間に合うフレームを、動画像復号化装置において正常に受信されたフレームを参照画像として符号化した後、再送することにより表示を行い、動画像画質の改善を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の動画像伝送システムの機能構成図
【図２】本発明の実施の形態１の動画像伝送システムの伝送フレームと復号通知のシーケンス図
【図３】本発明の実施の形態２の動画像伝送システムの機能構成図
【図４】本発明の実施の形態２の動画像伝送システムの伝送フレームと復号通知のシーケンス図
【図５】本発明の実施の形態２の再送フレーム選択アルゴリズムのフロー図
【符号の説明】
１００ 動画像伝送システム
１０１ 撮影機
１０２ 動画像符号化装置
１０３ 動画像復号化装置
１０４ モニタ
１０５ 動画像入力部
１０６ フレームバッファ部
１０７ 符号化部
１０８ フレーム管理部
１０９ 最新参照フレーム候補バッファ部
１１０ 送受信部
１１１ 送受信部Ｂ
１１２ 受信バッファ部
１１３ 復号化部
１１４ フレーム管理部Ｂ
１１５ フレームバッファ部Ｂ
１１６ 出力部
Claims (10)
- 過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファ部より復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段と、を具備する動画像符号化装置。
- フレーム管理手段は、前記フレームバッファ部から再送フレームを選ぶ場合、優先的に新しいフレームを選択することを特徴とする請求項１記載の動画像符号化装置。
- 再送フレームを符号化して再送を行う場合、復号異常信号の受信時に前記フレーム管理手段から通知された参照フレームをすべての再送フレームに適用して符号化することを特徴とする請求項１又は請求項２記載の動画像符号化装置。
- 再送フレームを符号化して再送を行う場合、復号異常信号の受信時に前記フレーム管理手段から通知された参照フレームを最も古い再送フレームに適用し、後続する再送フレームは１つ前のフレームを参照フレームとして用いることを特徴とする請求項１又は請求項２記載の動画像符号化装置。
- 前記フレーム管理手段は、前記動画像復号化装置から復号異常信号と時刻印を受信した場合、前記時刻印からフレーム伝搬遅延時間を計算し、フレームの符号化時刻からフレーム伝搬遅延時間を加えた時刻が、前記動画像復号化装置におけるフレーム表示時刻よりも早いフレームを前記フレームバッファ部から再送フレームとして選ぶことを特徴とする請求項１記載の動画像符号化装置。
- 動画像符号化装置から符号化フレームと参照フレーム番号と時刻印とを受信する受信手段と、この受信された符号化フレームをその参照フレーム番号が示すフレームを用いて復号する復号化手段と、符号化フレームの復号結果を表す復号異常有無信号と符号化フレームに対応するフレーム番号とを対にして前記動画像符号化装置へ送信する送信手段と、前記符号化フレームの復号異常が発生した場合、当該符号化フレームと共に受信した時刻印からフレーム伝搬遅延時間を計算し、この計算したフレーム伝搬遅延時間を前記動画像符号化装置へ送信する復号異常信号に付加するフレーム管理手段と、を具備する動画像復号化装置。
- 過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、動画像復号化装置から復号異常信号とフレーム番号とフレーム伝搬遅延時間とを受信した場合、フレームの符号化時刻からフレーム伝搬遅延時間を加えた時刻が、前記動画像復号化装置におけるフレーム表示時刻よりも早いフレームを前記フレームバッファ部から再送フレームとして選び、先に復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段と、を具備する動画像符号化装置。
- 過去のフレームを参照フレームに用いて現フレームを符号化し、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持する一方、動画像復号化装置から復号異常信号を受信した場合、前記保持フレームの中から復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとしてフレーム再送を行う動画像符号化方法。
- フレームを符号化する動画像符号化装置と符号化フレームを復号化する動画像復号化装置とから構成される動画像伝送システムであって、
前記動画像符号化装置は、過去のフレームを参照フレームに用いて現フレームを符号化する符号化手段と、現フレームの送信後も符号化前のフレームを複数フレーム期間に亘り保持するフレームバッファ部と、前記動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファ部より復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとして符号化手段へ通知するフレーム管理手段とを備え、
前記動画像復号化装置は、前記動画像符号化装置から符号化フレームと参照フレーム番号とを受信する受信手段と、この受信された符号化フレームをその参照フレーム番号が示すフレームを用いて復号する復号化手段と、符号化フレームの復号結果を表す復号異常有無信号と符号化フレームに対応するフレーム番号とを対にして前記動画像符号化装置へ送信する送信手段とを備える、動画像伝送システム。 - コンピュータに、過去のフレームを参照フレームに用いて現フレームを符号化する機能と、現フレームの送信後も符号化前のフレームをフレームバッファに格納して複数フレーム期間に亘り保持させる機能と、動画像復号化装置から復号異常信号を受信した場合、前記フレームバッファの中から復号異常フレーム以降のフレームから再送フレームを選び、復号正常信号を受信した最新フレームを参照フレームとしてフレーム再送を行う機能と、を実現させるための動画像符号化プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003044428A JP2004254195A (ja) | 2003-02-21 | 2003-02-21 | 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003044428A JP2004254195A (ja) | 2003-02-21 | 2003-02-21 | 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004254195A true JP2004254195A (ja) | 2004-09-09 |
Family
ID=33027129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003044428A Pending JP2004254195A (ja) | 2003-02-21 | 2003-02-21 | 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004254195A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006191599A (ja) * | 2004-12-30 | 2006-07-20 | Microsoft Corp | パケットロスのリカバリを改善するためのフレームキャッシングの使用 |
| WO2006112139A1 (ja) * | 2005-04-13 | 2006-10-26 | Sharp Kabushiki Kaisha | 動画像再生装置 |
| JP2012138780A (ja) * | 2010-12-27 | 2012-07-19 | Forum8 Co Ltd | データ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法 |
| US8548051B2 (en) | 1999-03-12 | 2013-10-01 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| JP2015512219A (ja) * | 2012-02-29 | 2015-04-23 | マイクロソフト コーポレーション | 同期予測ビデオフレームの動的な挿入 |
| JP2016086287A (ja) * | 2014-10-24 | 2016-05-19 | 株式会社メガチップス | 画像処理装置 |
| US10327009B2 (en) | 2014-10-24 | 2019-06-18 | Megachips Corporation | Image processor |
-
2003
- 2003-02-21 JP JP2003044428A patent/JP2004254195A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9232219B2 (en) | 1999-03-12 | 2016-01-05 | Microsoft Technology Licensing, Llc | Media coding for loss recovery with remotely predicted data units |
| US8548051B2 (en) | 1999-03-12 | 2013-10-01 | Microsoft Corporation | Media coding for loss recovery with remotely predicted data units |
| US9918085B2 (en) | 1999-03-12 | 2018-03-13 | Microsoft Technology Licensing, Llc | Media coding for loss recovery with remotely predicted data units |
| US8634413B2 (en) | 2004-12-30 | 2014-01-21 | Microsoft Corporation | Use of frame caching to improve packet loss recovery |
| JP2006191599A (ja) * | 2004-12-30 | 2006-07-20 | Microsoft Corp | パケットロスのリカバリを改善するためのフレームキャッシングの使用 |
| US9313501B2 (en) | 2004-12-30 | 2016-04-12 | Microsoft Technology Licensing, Llc | Use of frame caching to improve packet loss recovery |
| US9866871B2 (en) | 2004-12-30 | 2018-01-09 | Microsoft Technology Licensing, Llc | Use of frame caching to improve packet loss recovery |
| US10341688B2 (en) | 2004-12-30 | 2019-07-02 | Microsoft Technology Licensing, Llc | Use of frame caching to improve packet loss recovery |
| WO2006112139A1 (ja) * | 2005-04-13 | 2006-10-26 | Sharp Kabushiki Kaisha | 動画像再生装置 |
| JP2012138780A (ja) * | 2010-12-27 | 2012-07-19 | Forum8 Co Ltd | データ配信システム、データ配信装置、データ符号化装置、及びデータ符号化方法 |
| JP2015512219A (ja) * | 2012-02-29 | 2015-04-23 | マイクロソフト コーポレーション | 同期予測ビデオフレームの動的な挿入 |
| JP2016086287A (ja) * | 2014-10-24 | 2016-05-19 | 株式会社メガチップス | 画像処理装置 |
| US10327009B2 (en) | 2014-10-24 | 2019-06-18 | Megachips Corporation | Image processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2061174B1 (en) | Data communication system, data transmitting device and method, using probe packets and having a transmission buffer control | |
| JP5731672B2 (ja) | 暗黙基準フレームを用いる動画像符号化システム | |
| US20100125768A1 (en) | Error resilience in video communication by retransmission of packets of designated reference frames | |
| KR20090084826A (ko) | 비디오 스트림 내의 아티팩트를 최소화하는 방법, 비디오 스트림의 속성을 변경하는 시스템 및 컴퓨터 판독가능 매체 | |
| US8780984B2 (en) | Loss-robust video transmission using plural decoders | |
| US20120281562A1 (en) | Apparatus and method for rendering video with retransmission delay | |
| US9264737B2 (en) | Error resilient transmission of random access frames and global coding parameters | |
| JP5178311B2 (ja) | 送信装置、送信装置の制御方法、及びプログラム | |
| WO2020237466A1 (zh) | 视频传输方法、装置、飞行器、播放设备及存储介质 | |
| JP2004254195A (ja) | 動画像符号化装置及び動画像符号化方法並びに動画像伝送システム及び動画像符号化プログラム | |
| JP4488958B2 (ja) | 映像伝送システム及び映像伝送方法 | |
| JP5197238B2 (ja) | 映像送信装置、その制御方法、および制御方法を実行するプログラム | |
| JP2009212842A (ja) | 動画伝送装置 | |
| JPH10126772A (ja) | 動画像データ転送方法 | |
| JP3591712B2 (ja) | 動画送信装置及び動画受信装置 | |
| JP2007013419A (ja) | 画像処理装置、画像処理方法 | |
| JP2002027462A (ja) | 動画像受信装置及び映像出力装置 | |
| JP2013013003A (ja) | データ処理装置、データ処理方法、およびデータ処理プログラム | |
| CN116634187A (zh) | 基于合流发送机制的视频流处理方法、装置、设备和介质 | |
| JP3927486B2 (ja) | ストリーミング配信装置、ストリーミング配信システム、及びストリーミング配信方法 | |
| JP5682292B2 (ja) | 映像配信装置及び映像配信方法 | |
| JP5098784B2 (ja) | 映像通信装置 | |
| JP2006279436A (ja) | マルチメディア通信システムおよび再送用データ削除方法 | |
| JPH10262256A (ja) | 画像通信装置、画像通信方法および無線画像通信システム | |
| JP2010063004A (ja) | 映像データ送信装置、映像配信システム、映像品質評価方法及びプログラム |