JP2004532540A - 誤り耐性のある符号化のためのシステム及び方法 - Google Patents
誤り耐性のある符号化のためのシステム及び方法 Download PDFInfo
- Publication number
- JP2004532540A JP2004532540A JP2002570429A JP2002570429A JP2004532540A JP 2004532540 A JP2004532540 A JP 2004532540A JP 2002570429 A JP2002570429 A JP 2002570429A JP 2002570429 A JP2002570429 A JP 2002570429A JP 2004532540 A JP2004532540 A JP 2004532540A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- value
- intra
- macroblock
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 240
- 238000012937 correction Methods 0.000 claims abstract description 70
- 230000033001 locomotion Effects 0.000 claims description 127
- 230000008569 process Effects 0.000 claims description 80
- 230000008859 change Effects 0.000 claims description 73
- 239000013598 vector Substances 0.000 claims description 65
- 238000013139 quantization Methods 0.000 claims description 47
- 230000003044 adaptive effect Effects 0.000 claims description 35
- 230000006870 function Effects 0.000 claims description 35
- 230000005540 biological transmission Effects 0.000 claims description 27
- 230000007704 transition Effects 0.000 claims description 15
- 239000003550 marker Substances 0.000 claims description 13
- 230000002123 temporal effect Effects 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 11
- 230000004044 response Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 230000001965 increasing effect Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009897 systematic effect Effects 0.000 claims description 3
- 230000000644 propagated effect Effects 0.000 claims 3
- 230000009012 visual motion Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 20
- 238000007781 pre-processing Methods 0.000 description 20
- 230000002829 reductive effect Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 230000006835 compression Effects 0.000 description 11
- 238000007906 compression Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 3
- 230000002457 bidirectional effect Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 239000010432 diamond Substances 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101710125768 Importin-4 Proteins 0.000 description 1
- 244000141359 Malus pumila Species 0.000 description 1
- 102100030404 Signal peptide peptidase-like 2B Human genes 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000021016 apples Nutrition 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- CLOMYZFHNHFSIQ-UHFFFAOYSA-N clonixin Chemical compound CC1=C(Cl)C=CC=C1NC1=NC=CC=C1C(O)=O CLOMYZFHNHFSIQ-UHFFFAOYSA-N 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 208000023463 mandibuloacral dysplasia Diseases 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000000120 microwave digestion Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M13/00—Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
- H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/02—Hierarchically pre-organised networks, e.g. paging networks, cellular networks, WLAN [Wireless Local Area Network] or WLL [Wireless Local Loop]
- H04W84/10—Small scale networks; Flat hierarchical networks
- H04W84/14—WLL [Wireless Local Loop]; RLL [Radio Local Loop]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Probability & Statistics with Applications (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Error Detection And Correction (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【0001】
著作権
本出願文書の開示の一部に、著作権保護の対象となる資料が含まれている。著作権所有者は、特許商標庁の特許ファイル又は記録として、誰が特許文書又は特許開示のファクシミリ複製を行おうと異存はないが、それ以外では、いかなる形であれ全ての著作権を留保する。
【0002】
本発明は、ビデオ及びイメージのコード化に関するものであり、特に、誤り耐性のある圧縮方法でビデオイメージ情報をコード化するシステム及び方法に関する。
【背景技術】
【0003】
MPEGはMPEG(Moving Picture Experts Group)によって策定されたISO/IEC規格である。MPEG規格にはMPEG−1、MPEG−2、MPEG−4、及びMPEG−7などいくつかのバージョンがあり、イメージ及びオーディオ圧縮の特定の側面を標準化することを目的としたものである。H.261、H.262、H.263、H.263+、H.263++、H.26L、MPEG圧縮などの他のビデオ圧縮形式では、冗長データや関連性のないデータの排除を試みる。例えば、MPEGエンコーダでは、ビデオデータ全体を縮小するために、選択したフレームから得られる情報であって、他のフレームのために送信される必要のある情報を使用する。
【0004】
通常、ビデオフレームは、イントラフレーム、予測フレーム、及び双方向フレームの3つの方法のうちの1つで符号化される。さらに、得られるファイルサイズ又はビットレートを縮小するために、ビデオフレームをスキップすることもできる。イントラフレームには、通常、そのフレームの完全なイメージデータが含まれ、したがって、他のフレームからのイメージデータに依存しない。イントラフレーム符号化では、圧縮は最小である。予測フレームは、一般に、デコーダが最新の先行するイントラフレーム又は予測フレームに基づいてフレームを表示できるだけの情報を含む。即ち、予測フレームは、前のフレームからイメージがどのように変化したかということに関係するデータ及び残余の誤り訂正データを含む。双方向フレームは、残余の誤り訂正データを含む前後のイントラフレーム及び/又は予測フレームからの情報から生成される。デコーダは、前後のフレームからのデータを使用し、補間により、それぞれのピクセルの位置と色を計算する。
【0005】
MPEG−4規格は、低ビットレートと高ビットレートの両方のアプリケーションで使用することを目的に策定された。例えば、MPEG−4は、インタラクティブビデオゲーム、テレビ会議、テレビ電話、インタラクティブ記録媒体、マルチメディアメール、無線マルチメディア、及び放送アプリケーションで使用できるように拡張されている。MPEG−4は、オブジェクトスケーラビリティ、誤りに対する堅牢性の向上、圧縮率向上という特徴を持つ。
【0006】
有線/無線インターネットを介したマルチメディア通信に対する需要が増大し続けており、パケット損失の問題だけでなく帯域幅の変動の問題にも直面している。イメージフレーム同士は互いに依存しているため、圧縮されたビデオストリームは、損失パケットが少なくても影響を受ける。したがって、MPEG−4は、低ビットレート(<64kbs)のモバイル、無線アプリケーションなどの誤りの起こりやすいアプリケーション、及び誤りの起こりやすいATM(非同期転送モード)ネットワークアプリケーションで使用できるように特に強化されている。モバイル機器のオペレーションは、送信誤りの影響を受けやすい傾向があるが、それは、ビットレートを下げるためにデータ冗長性が低いこと、及び「雑音」の発生源が大きいことが多いからである。例えば、環境雑音により無線チャネルが壊れることがあり、またモバイルアプリケーションの場合には、建物やその他の構造物が原因のマルチパスのフェージングとシャドウイングから生じるバースト雑音により無線チャネルが壊れることがある。ATMネットワークアプリケーションに関しては、ネットワークの輻輳及びバッファオーバーフローによりセルが喪失することがある。
【0007】
MPEG−4では、旧バージョンのMPEGに比べて誤り耐性が高められており、そのような誤りの発生しやすいネットワーク上で、ビデオデータがより正常に送信される。例えば、MPEG−4規格で用意している誤り耐性手法の1つは、ビデオビットストリーム内で再同期マーカー(resync marker)を使用する。特に、MPEG−4では、固定時間間隔同期(fixed interval synchronization)を採用しており、ビデオオブジェクトプレーン(VOP)開始コードと再同期マーカー(即ち、ビデオパケットの開始)がビットストリーム内の正当な固定間隔位置にのみ出現するように規定している。これにより、開始コードエミュレーションに関係する問題を回避することができる。エンコーダによりビデオデータに挿入された再同期マーカーを使用することにより、誤りの発生後失われた同期をデコーダによって回復することができる。
【0008】
MPEG−4規格で用意している誤り耐性手法の1つは、リバーシブル可変長コード(reversible variable length code)を使用する。このコードは、逆方向に読み込んだときでも復号化することができるため、デコーダは、新しく見つかった再同期マーカーから、逆に戻ったデータ内の誤りが発生した地点までの破損していない情報を、使用することができる。MPEG−4で採用しているさらに別の誤り耐性方法は、動き情報及びテクスチャ情報の間に挿入されている第2の再同期マーカーを使用して、テクスチャ情報から動き情報を分離するために使用されるデータ分割(data partitioning)がある。したがって、誤りが発生し、テクスチャ情報が復号化できないか失われている場合、デコーダは、動き情報を利用して前に復号化されたフレーム又はVOPを補正することによって、誤りを隠すことができる動き又は。
【0009】
しかし、上記の拡張を利用したとしても、多くのMPEG−4エンコーダ及びデコーダは、携帯電話アプリケーションなど誤りの発生しやすいアプリケーションで多くの場合望まれているほど十分な誤り耐性を持たない。したがって、セルラーネットワークでMPEG−4準拠ビデオストリームを送信した場合、回復不可能なデータの破損が発生し、受信者に届くビデオデータの品質が著しく劣化することが多い。このようなビデオの劣化が生じると、誤りの起きやすいネットワークによるビデオ通信がユーザーの立場から望ましくないものとなり、都合が悪いことに、誤りの起きやすいネットワークでのビデオ送信の採用及び利用が妨げられる。
【0010】
さらに、目標のビットレートを得るために、従来のエンコーダでは、単純なスキップアルゴリズムに従って、複数のフレームを落とし、フレームレートを下げている。例えば、従来のエンコーダは、ビデオクリップ内の5つのフレームうちの4つを落として、ビデオクリップを毎秒30フレームのフレームレートから毎秒6フレームのフレームレートに変換する。しかし、この単純な方法のスキップでは、復号化したときに視覚的品質に著しい悪影響を及ぼすことが多い。
【発明の開示】
【課題を解決するための手段】
【0011】
本発明は、ビデオ符号化に関するものであり、特にビデオ情報を、圧縮し、及び/又は誤り耐性のある手段で符号化して送信するシステム及び方法に関する。本発明の実施の形態には、低ビットレート、高雑音環境であってもビデオ情報を送信できるという利点がある。例えば、本発明の実施の形態を利用すると、セルラーネットワークなどで正常にビデオ送信を実行することができる。
【0012】
本発明の一実施の形態では、シーンの変化があったときに、2つの連続するイントラコード化されたIフレームを自動的に挿入することにより、誤り耐性を高めることができる。シーンの変化があったとき、2つのイントラコード化されたフレームを挿入することにより、2つの連続するイントラコード化されたフレームのうちの一方が失われたり、復号化できない場合に、デコード側での誤り伝搬が少なくなる。
【0013】
例えば、一実施の形態では、符号化されたビデオ送信における誤り耐性を高める方法が提供され、この方法は、第1のフレームがシーンの変化に対応することを示す指示を受信するステップと、前記第1のフレームがシーンの変化に対応することを示す前記指示を受信したことに、少なくとも部分的に応じて、前記第1のフレームのイントラコーディングするステップと、連続する次のフレームのイントラコーディングを自動的に行うステップと、イントラコーディングされた前記第1のフレーム及びイントラコーディングされた前記連続する次のフレームを送信するステップとを含む。
【0014】
他の実施の形態では、プロセッサ読み取り可能なメモリに格納され、第1のフレームがイントラコーディングされることを示す指示を受信するように構成されている第1の命令と、プロセッサ読み取り可能なメモリに格納され、前記指示に少なくとも部分的に応じて、前記第1のフレームをイントラコーディングするように構成されている第2の命令と、プロセッサ読み取り可能なメモリに格納され、前記第1のフレームがイントラコーディングされることを示した結果、自動的に前記第1のフレームの直後のフレームをイントラコーディングするように構成されている第3の命令を含むビデオコーディング装置が提供される。
【0015】
別の実施の形態では、ビデオフレームを符号化する方法が提供され、この方法は、第1のフレームをイントラコーディングする第1の命令を受信するステップと、前記第1の命令に対する応答として前記第1のフレームをイントラコーディングするステップと、前記第1のフレームをイントラコーディングする前記第1の命令の結果として第2のフレームをイントラコーディングするステップとを含む。
【0016】
さらに別の実施の形態では、第1のフレームをイントラコーディングする第1の命令を受信する手段と、前記第1の命令に対する応答として前記第1のフレームをイントラコーディングする手段と、前記第1のフレームをイントラコーディングする前記第1の命令の結果として第2のフレームをイントラコーディングする手段とを備えている符号化装置が提供される。
【0017】
拡張された適応型イントラリフレッシュ(AIR)プロセスは、予測フレーム内のマクロブロックの選択的且つ適応的な符号化を実行することによって効率のよい誤り耐性を実装する。一実施の形態では、イントラコーディングされるべきマクロブロックを決定するために、適応型動き領域プロセスが実行される。適応型動き変化検出により、動き領域に発生する誤りを含む、大きな伝搬誤りを効率よく低減することができる。インターコード歪み値及びイントラコード歪み値が、インターコードビット量及びイントラコード量と同様に計算される。計算して求めたインターコード歪み値とイントラコード歪み値の比較、及び各マクロブロックのインターコードビット量とイントラコードビット量との比較に基づいて、どの予測フレームマクロブロックがイントラコーディングされるべきであるかに関する決定を下す。
【0018】
本発明の一実施の形態は、適応型イントラリフレッシュを実行する方法であって、パケット損失確率値を受信するステップと、第1のフレーム内の第1のマクロブロックの動きベクトルを受信するステップと、前記動きベクトルを前のフレーム内の別の複数のマクロブロックの一部にマッピングするステップと、前記マッピングに基づいて少なくとも第1の遷移係数値を、少なくとも部分的に計算するステップと、少なくとも前記パケット損失確率値と前記第1の遷移係数値に基づいて前記第1のマクロブロックの推定インター歪み値(estimated inter distortion value)を計算するステップと、少なくとも前記パケット損失確率値に基づいて前記第1のマクロブロックの推定イントラ歪み値(estimated intra distortion value)を計算するステップと、前記第1のマクロブロックをイントラコーディングするために使用するビット量に対応する第1のビット量値を受信するステップと、前記第1のマクロブロックをインターコーディングするために使用するビット量に対応する第2のビット量値を受信するステップと、少なくとも部分的に、前記推定インター歪み値、前記推定イントラ歪み値、前記第1のビット量値、及び前記第2のビット量値に基づいて、前記第1のマクロブロックをイントラマクロブロック及びインターマクロブロックのうちの1つとして送信するステップとを含む。
【0019】
本発明の別の実施の形態は、マクロブロックを選択的にイントラコーディングする方法であって、パケット損失確率値を受信するステップと、第1のフレーム内の第1のマクロブロックの動きベクトルを受信するステップと、少なくとも部分的に動きベクトルに基づいて、前記第1のマクロブロックを予測する際に、前のフレーム内のどの部分のマクロブロックを使用するかを決定するステップと、前記第1のマクロブロックを予測する際に、前記前のフレーム内のどの部分のマクロブロックを使用するかの決定に少なくとも部分的に基づき少なくとも第1の伝搬強度値を計算するステップと、少なくとも前記パケット損失確率値及び前記第1の伝搬強度値に基づき前記第1のマクロブロックの推定インター歪み値を計算するステップと、少なくとも前記パケット損失確率値に基づき前記第1のマクロブロックの推定イントラ歪み値を計算するステップと、第1のマクロブロックの量子化歪み値を計算するステップと、前記第1のマクロブロックをイントラコーディングするために使用するビット量に対応する第1のビット量値を受信するステップと、前記第1のマクロブロックをインターコーディングするために使用するビット量に対応する第2のビット量値を受信するステップと、前記推定インター歪み値、前駆推定イントラ歪み値、前記量子化歪み値、前記第1のビット量値、前記第2のビット量値に少なくとも部分的に基づいて、第1のマクロブロックを、送信するためにイントラマクロブロック及びインターマクロブロックのうちの1つとして提供するステップとを含む。
【0020】
本発明のさらに別の実施の形態は、第1のフレーム内の複数のマクロブロック内のマクロブロックを選択的にイントラコーディングする方法であって、パケット損失確率値を受信するステップと、複数のマクロブロック内の各マクロブロックの対応する動きベクトルを受信するステップと、少なくとも部分的に対応する動き前記動きベクトルに基づき、前記各マクロブロックを予測する際に前のフレーム内のどの部分のマクロブロックを使用するかを決定するステップと、前記各マクロブロックを予測する際に前のフレーム内のどの部分のマクロブロックを使用するかを決定することに少なくとも部分的に基づいて、少なくとも第1の対応する伝搬強度値を前記マクロブロックのそれぞれについて計算するステップと、少なくとも前記パケット損失確率値及び対応する少なくとも前記第1の伝搬強度値に基づき、推定インター歪み値を前記マクロブロックのそれぞれについて計算するステップと、少なくとも前記パケット損失確率値に基づき推定イントラ歪み値を前記マクロブロックのそれぞれについて計算するステップと、量子化歪み値を前記マクロブロックのそれぞれについて計算するステップと、少なくとも部分的に複数のマクロブロック内の各マクロブロックの前記推定インター歪み値、前記推定イントラ歪み値、及び前記量子化歪み値に基づき、複数のマクロブロックのサブセットをイントラコーディングされるべき対象として指定するステップとを含む。
【0021】
本発明の一実施の形態は、マクロブロックを選択的にイントラコーディングするように構成された回路であって、パケット損失確率値を受信するように構成されている第1の命令と、第1のフレーム内の第1のマクロブロックの動きベクトルを受信するように構成されている第2の命令と、少なくとも部分的に動きベクトルに基づき、前記第1のマクロブロックを予測する際に、前のフレーム内のどの部分のマクロブロックを使用するかを決定するように構成されている第3の命令と、前記第1のマクロブロックを予測する際に、前記前のフレーム内でどの部分のマクロブロックを使用するかを決定することに少なくとも部分的に基づいて少なくとも第1の伝搬強度値を計算するように構成された第4の命令と、少なくとも前記パケット損失確率値及び前記第1の伝搬強度値に基づいて前記第1のマクロブロックの推定インター歪み値を計算するように構成されている第5の命令と、少なくとも前記パケット損失確率値に基づいて前記第1のマクロブロックの推定イントラ歪み値を計算するように構成されている第6の命令と、前記推定インター歪み値及び前記推定イントラ歪み値に少なくとも部分的に基づいてイントラマクロブロック及びインターマクロブロックのうちの1つとして、前記第1のマクロブロックを、送信するために選択的に提供するように構成されている第7の命令とを備えている。
【0022】
本発明の実施形態は、定義済みのコスト関数に基づいて符号化プロセスにおいてフレームの適応型スキップを実行する。特にシーン変化領域内の視覚的品質は向上しており、しかもシーンは効率よく符合化されている。スキッププロセスの一実施の形態は、注目しているフレームに隣接するフレーム間の差の絶対値の平均を計算し、その計算に対して時間パラメータの重み付けを行うことにより、フレーム列からフレームを選択的に落とすという点で反復的であり、シーンに対する影響が最小であるフレームが落とされる。この手順は、望みのビットレート及びフレームサイズに関係する目標のフレームレートが得られるまで繰り返し実行される。差の絶対値の平均の和(SMAD)又は二乗平均平方根の和(SRMS)の値などの他の測定方法を、差の絶対値の平均の方法の代わりに又はそれに加えて使用することができる。
【0023】
本発明の一実施の形態は、符号化プロセスの実行中にスキップするビデオシーケンスフレームを選択する方法であって、一連のフレームを受信するステップと、前記一連のフレームの少なくとも一部分の中のフレーム毎に、時間パラメータによって重み付けされた、前記フレームを挟むフレーム間の対応する差の絶対値の平均を求めるステップと、フレーム毎に計算で求めた時間パラメータで重み付けされた対応する前記差の絶対値の平均に少なくとも部分的に基づいて、一連のフレーム内の第1のフレームをスキップすることを含む。
【0024】
本発明の別の実施の形態は、ビデオシーケンス内のスキップするフレームを決定する方法であって、第1のフレームレート目標を受信するステップと、ビデオシーケンスシーン内の先頭フレームと末尾フレームとの間にある、スキップされるべき第1の潜在的フレームを選択するステップと、前記第1の潜在的フレームをスキップしたことによって生じる視覚的影響に関係する、スキップされるべき前記第1の潜在的フレームの第1のコスト値を計算するステップと、前記第1のコスト値をコンピュータ読み取り可能なメモリ内に格納するステップと、前記先頭フレームと前記末尾フレームとの間にある、スキップされるべき第2の潜在的フレームを選択するステップと、スキップされるべき前記第2の潜在的フレームの第2のコスト値を計算するステップと、前記第2のコスト値をコンピュータ読み取り可能なメモリ内に格納するステップと、前記先頭フレームと前記末尾フレームとの間にある、スキップされるべき第3の潜在的フレームを選択するステップと、スキップされるべき前記第3の潜在的フレームの第3のコスト値を計算するステップと、前記第3のコスト値をコンピュータ読み取り可能なメモリ内に格納するステップと、前記第1のコスト値、前記第2のコスト値、前記第3のコスト値のうちのどれがコスト最小であるかを決定するステップと、最小コスト値に対応する前記第1、第2、及び第3の潜在的フレームの中の1つをスキップするステップと、前記第1のフレームレート目標が満たされているか否かを判別するステップと、前記第1のフレームレート目標が満たされていないと判別したことに、少なくとも部分的に応じて、前記第1、第2、及び第3の潜在的フレームから残りのフレームと関連するコスト値を再計算し、再計算したコスト値が最小である残りのフレームのうちの1つをスキップするステップとを含む。
【0025】
本発明のさらなる別の実施の形態は、符号化プロセスの実行中にスキップするイメージフレームを選択する方法であって、第1のフレームを含む一連のフレームを受信するステップと、前記第1のフレームに関して、前記第1のフレームに隣接するフレーム間の時間差及び明度差に関係する第1の時間パラメータを含む第1のコスト関数値を計算するステップと、第2のフレームに関して、該第2のフレームに隣接するフレーム間の時間差及び明度差に関係する第2の時間パラメータを含む第2のコスト関数値を計算するステップと、前記第1のコスト関数値及び前記第2のコスト関数値に少なくとも部分的に基づいて前記第1のフレーム及び前記第2のフレームの内の1つをスキップすることを選択するステップを含む。
【0026】
本発明のさらなる別の実施の形態は、一連のフレーム内のスキップするビデオフレームを選択するように構成されているプロセッサ回路であって、前記一連のフレームの少なくとも一部分の中のそれぞれのフレームについて、時間パラメータで重み付けされた、前記一連のフレームの一部分の中のそれぞれのフレームを挟むフレーム間の、対応する差の絶対値の平均を計算するように構成されている第1の命令と、時間パラメータで重み付けされた前記対応する差の絶対値の平均に少なくとも部分的に基づいてスキップされるべき第1のフレームを指定するように構成されている第2の命令とを備えている。
【0027】
本発明の一実施の形態は、フレームレート制御装置であって、目標フレームレートを受信するように構成されている第1の命令と、一連のフレーム内の第1のフレームに関して、前記第1のフレームに隣接する前記一連のフレーム内のフレーム間の時間差及び明度差に関係する第1の時間パラメータに少なくとも部分的に基づく第1のコスト関数値を計算するように構成されている第2の命令と、前記一連のフレーム内の第2のフレームに関して、前記第2のフレームに隣接する前記一連のフレーム内のフレーム間の時間差及び明度差に関係する第2の時間パラメータに少なくとも部分的に基づく第2のコスト関数値を計算するように構成されている第3の命令と、前記第1のコスト関数値及び前記第2のコスト関数値に少なくとも部分的に基づいて、前記第1のフレーム及び前記第2のフレームのうち、スキップする方を選択するように構成されている第4の命令と、前記第1のフレーム及び前記第2のフレームのうちのスキップするように選択された一方に、前記目標フレームレートが整合するか否かを判別するように構成されている第5の命令を有する装置である。
【0028】
一実施の形態では、前方誤り訂正(FEC:forward error correction)情報を使用して誤り耐性を高める。FECコーディングは、リアルタイムで、動きベクトル、DC係数、及びヘッダ情報などの重要なデータに効率良くかつ選択的に適用され、重要でない又はあまり重要でないデータに対してはFECビットを生成しない。この選択された重要データは、パケット再同期フィールドと動きマーカーとの間に配置され得る。特に、指定されたフレーム又はVOPについては、FECコーディングをターゲットとする選択されたパケットビットが連結されて1つになり、その連結されたビットに対してFECコードビットが生成される。オプションとして、その結果得られるFECビットは通常のフレーム又はVOPパケットの後の追加パケット内に配置され、MPEG互換性が保証される。
【0029】
本発明の一実施の形態は、複数のフレームパケットについて前方誤り訂正(FEC)を実行する方法であって、第1のフレームに対する複数のフレームパケットに関して、パケットデータの選択された部分を連結するステップと、連結された前記パケットデータの選択された部分に対する前方誤り訂正ビットを生成するステップと、MPEG規格委員会などにより将来的に割り当てられる他の一意的な識別子コードを含む、ユーザーデータ識別子コードなどで識別された別々のパケット中で前記前方誤り訂正ビットを送信するステップを含む。
【0030】
本発明の別の実施の形態は、誤り訂正生成回路であって、対応する複数のフレームパケット中で送信される、パケットデータの選択された部分に対する前方誤り訂正データを生成するように構成されている、プロセッサ読み取り可能なメモリ内に格納される第1の命令と、複数の前記フレームパケットと別の第1のパケット内に前記前方誤り訂正データを格納するように構成されている、プロセッサ読み取り可能なメモリに格納される第2の命令と、第1のデータ識別子コードで前記第1のパケットを識別するように構成されている、プロセッサ読み取り可能なメモリ内に格納される第3の命令とを有している誤り。
【0031】
本発明のさらなる別の実施の形態は、エンコーダ回路であって、複数のフレームパケットから選択されたデータパケットの一部について前方誤り訂正データを生成する手段と、複数の前記フレームパケットと別の第1のパケット内に前記前方誤り訂正データを格納する手段と、第1のデータ識別子コードで前記第1のパケットを識別する手段とを備えている。
【0032】
さらに、本発明の実施の形態では、ヘッダ拡張コード(HEC:Heddrer Extention Code)を、従来のエンコーダのようにVOPヘッダの後の第1のビデオパケット上だけでなく、一連のビデオパケット又は全てのビデオパケット内で使用することができる。この方法だと、パケットが失われたり破損したりしても、後続のパケットを復号化して使用できるので都合がよい。さらに、多くの従来のデコーダでも、HECの使用頻度が高い場合に対応することができる。
【0033】
オプションとして、Video−Object−Layer(VOL)ヘッダは、固定のビデオオブジェクトプレーン(VOP: Fixed Video Object Plane)増分(increment)が使用されるべきであることを示すようにセットされ、その後に固定時間増分の値(fixed time inclement value)が続くフラグを持つ。このため、デコーダが欠損フレーム、即ち、圧縮を高めるためにエンコーダによってスキップされたフレーム又は送信中に失われたフレームを検出しやすくなる。
【0034】
本発明の実施の形態では、シーンレベル、フレームレベル、及び/又はマクロブロックレベルでビット割り当てを行う。ビット割り当てモジュールは、固定のビット割当値(bit budget)の適切な分配を決定する。一実施の形態では、イントラコーディングされたフレーム数及びインターコーディングされたフレーム数に基づき重みがシーンに割り当てられる。イントラコーディングされたフレームは、インターコーディングされたフレームよりも重い重み付けがなされ、イントラフレームを符号化するために必要なビットをより多く占有する。ビット割り当てモジュールは、現在のビット使用度と目標のビット使用度とを比較してシーン内の固定のビット割当値を配分し、その比較に基づいて、現在のフレームに対する量子化パラメータ又はステップサイズを調整する。
【0035】
さらにコーディングの効率を高めるために、符号量子化ステップ又は量子化パラメータ(QP)を動的に調整する。これにより、短いシーン又はビデオオブジェクトプレーンのグループ(GOV)の場合でも、望みのビット割当値に高速に収束させることができる。さらに、各シーン又はGOVを符号化した後、前のシーン又はGOVの実際のビット使用度に基づいてIフレームに対するQPを動的に調整する。このIフレームのQP適応は、シーンシーケンス中に高い動きセグメントがあるときにビット割当値を達成するか、又はビット割当値達成に近づけるのに非常に役立つことがある。
【0036】
本発明の一実施の形態は、ビデオシーケンスとともに使用するビット割り当て方法であって、少なくとも第1のクリップに対するクリップビット割当値を受信するステップと、前記第1のクリップに対するシーン量を決定するステップと、前記第1のクリップの第1のシーン内の予測フレームの量を決定するステップと、前記第1のクリップに対するシーンの量、前記第1のクリップビット割当値、前記第1のシーン内のイントラコーディングフレームの量、及び前記第1のシーン内の予測フレームの量に少なくとも部分的に基づいて前記第1のシーンのビット割当値を計算するステップとを含む。
【0037】
本発明の別の実施の形態は、ビデオクリップシーンとともに使用するビット割り当て方法であって、第1のシーンに対するビット割当値を計算するステップと、前記第1のシーン内の少なくとも第1のフレームを含む対応するフレームに対するビット割当値を計算するステップと、前記第1のフレーム内のマクロブロックに対応するビット割当値を計算するステップを含む。
【0038】
本発明のさらなる別の実施の形態は、ビットを割り当てる装置であって、第1のシーン内に含まれるイントラコーディングフレームの数、前記第1のシーンに対する複雑度の判別、及び前記第1のシーン内に含まれるインターコーディングフレームの数に少なくとも部分的に基づいて、前記第1のシーンに対する第1のビット割当値を割り当てるように構成されている第1の命令と、現在のビット使用度及び目標のビット使用度に少なくとも部分的に基づいて前記第1のシーン内のフレームにビット割当値を割り当てるように構成されている第2の命令とを含む。
【0039】
本発明のさらなる別の実施の形態は、ビット割当を設定する(bit budgeting)装置であって、少なくとも第1のビデオシーケンスに対するビット割当値を受信するように構成されている第1の命令と、前記第1のビデオシーケンスに対するシーンの量を決定するように構成されている第2の命令と、前記第1のビデオシーケンスの第1のシーン内の予測フレーム数を決定するように構成されている第3の命令と、前記第1のクリップのシーン量、前記第1のクリップビット割当値、前記第1のシーン内のイントラコーディングフレームの量、及び前記第1のシーン内の予測フレームの量に少なくとも部分的に基づいて、前記第1のシーンに対するビット割当値を決定するように構成されている第4の命令とを含む。
【0040】
本発明の実施の形態は、シーンの変化を特定するための正確なシステム及び方法を提供する。誤り耐性を高めつつ、一般にインターコーディングよりも多いビット数を利用するシーン変化フレームがイントラコーディングされるため、シーン変化フレームを正確に判別することが、誤り耐性を効率よく実現するうえで重要である。一実施の形態では、第1の二乗平均平方根(RMS)値は、第2のフレームに対して第1のフレームについて計算される。二階時間微分RMS値は、第2のフレームに対する第1のフレームおよび第3のフレームに対する第2のフレームに関して計算される。二階時間微分RMS値に少なくとも部分的に基づき、第2のフレームはシーン変化フレームとして指定される。フレームは、シーン変化検出に基づいて、適応的にグループ化される。後述するように、シーン変化を検出するために、差の絶対値の平均(MAD)に基づく、及び/又はRMS極大値を求める、及び/又はMAD極大値を求める別の基準を使用することができる。
【0041】
本発明の一実施の形態は、複数のフレームを持つデジタルビデオシーケンス内のシーン変化を検出する方法であって、第2のフレームに対する第1のフレームおよび第3のフレームに対する第2のフレームに関して第1の二乗平均平方根(RMS)値を計算するステップと、前記第2のフレームに対する前記第1のフレームに関して第1の差の絶対値の平均(MAD)値を計算するステップと、前記第1のRMS値が第1の基準を満たしているか否かを判別するステップと、前記第1のMAD値が第2の基準を満たしているか否かを判別するステップと、前記第1のRMS値が前記第1の基準を満たし、且つ前記第1のMAD値が前記第2の基準を満たしていると判断したことに、少なくとも部分的に応じて、前記第2のフレームをシーン変化フレームとして指定するステップとを含む。
【0042】
本発明の別の実施の形態は、デジタルビデオシーケンス内のシーン変化を検出する方法であって、第2のフレームに対する第1のフレーム及び第3のフレームに対する第2のフレームに関して二階時間微分RMS値を計算するステップと、前記二階微分値に少なくとも部分的に基づき、前記第2のフレームがシーン変化フレームであると判断するステップを含む。
【0043】
本発明の別の実施の形態は、ビデオシーケンス内のシーン変化を識別する装置であって、プロセッサ読み取り可能なメモリ内に格納され、ビデオシーケンスの第2の部分に対する前記ビデオシーケンスの第1の部分に関して第1の二乗平均平方根(RMS)値を計算するように構成されている第1の命令と、プロセッサ読み取り可能なメモリに格納され、二階時間微分RMS値を計算するように構成されている第2の命令と、前記二階微分RMS値に少なくとも部分的に基づいて前記ビデオシーケンスの前記第2の部分がイントラコーディングされるように構成されている第3の命令とを含む。
【0044】
本発明の一実施の形態は、ビデオシーケンスのどの部分がイントラコーディングされるべきかを決定する方法であって、ビデオシーケンスの第1の部分に対する第1の二乗平均平方根(RMS)値を計算するステップと、前記ビデオシーケンスの前記第1の部分に対する第1の差の絶対値の平均(MAD)値を計算するステップと、前記第1のRMS値が第1の基準を満たしているか否かを判別するステップと、前記第1のMAD値が第2の基準を満たしているか否かを判別するステップと、前記第1のRMS値が第3の基準を満たしているか否かを判別するステップと、前記第1、第2、及び第3の基準のうちの少なくとも2つが満たされていることに、少なくとも部分的に応じて、イントラコーディング処理を実行させるステップとを含む。
【0045】
本発明の別の実施の形態は、シーン変化検出装置であって、第1のフレーム情報入力及びRMS出力を備え、前記第1のフレーム情報入力で受信したフレーム情報に基づいて、少なくとも2つのフレーム間の2乗平均平方根差情報に対応する値を前記RMS出力から出力するように構成されているRMS回路と、第2のフレーム情報入力及びMAD出力を備え、前記第2のフレーム情報入力で受信したフレーム情報に基づいて、少なくとも2つのフレーム間の差の絶対値の平均の情報に対応する値を前記MAD出力から出力するように構成されているMAD回路と、前記RMS出力及び前記MAD出力に結合され、二乗平均平方根差情報に対応する値及び差の絶対値の平均の情報に対応する値に少なくとも部分的に基づいて、シーン変化フレームを検出し、シーン変化指定を行うように構成されているエバリュエータ回路とを備えている。
【発明を実施するための最良の形態】
【0046】
本発明の好ましい実施の形態について、以下に図面を参照して説明する。これらの図面及び関連する説明は、本発明の実施例を説明するために用意したものであり、本発明の範囲を制限するものではない。
【0047】
本発明は、ビデオ符号化に関するものであり、特にビデオ情報を圧縮し、かつ/又は誤り耐性のある方法で符号化して送信するシステム及び方法に関する。従って、本発明の実施の形態には、低ビットレート、雑音、誤りを起こしやすい環境であってもビデオ情報を送信できるという利点がある。本発明の実施の形態は、例えば、MPEG−4規格、MPEG−1、MPEG−2、H.261、H.262、H.263、H.263+、H.263++、及びH.26L、及びさらに今後策定されるであろうビデオ規格など、さまざまなビデオ圧縮規格とともに使用することができる。MPEG−4規格の態様は、“Coding of Audio-Visual Objects: Systems”14496-1, ISO/IEC JTC1/SC29/WG11 N2501, November 1998、及び“Coding of Audio-Visual Objects: Visual”14496-2、ISO/IEC JTC1/SC29/WG11 N2502, November 1998で定義されており、またMPEG−4ビデオ検証モデルは、“MPEG-4 Video Verification Model 17.0”ISO/IEC JTC1/SC29/WG11 N3515, Beijing、China、July 2000で定義されている。
【0048】
図1Aは、本発明の一実施の形態に係るビデオ配給システムを実装するためのネットワーク接続されたシステムを示している。符号化コンピュータ102が、ビデオ信号を受信し、この信号は比較的コンパクトで堅牢な形式に符号化される。符号化コンピュータ102として、ソフトウェアを実行する汎用コンピュータを含む種々のタイプのマシン、及び専用ハードウェアを使用できる。符号化コンピュータ102は、衛星放送受信機104、ビデオカメラ106、テレビ会議端末108などを介して種々のソースからビデオシーケンスを受信することができる。ビデオカメラ106としては、ビデオカメラレコーダ、Webカメラ、無線デバイスに内蔵されたカメラなど、種々のカメラを使用できる。ビデオシーケンスはさらに、データストア110に格納することもできる。データストア110は、符号化コンピュータ102に内蔵のものでも、また外付けのものでもよい。データストア110は、テープ、ハードディスク、光ディスクなどのデバイスを備えることができる。当業者であれば、図1Aに示されているデータストア110などのデータストアは、符号化されていないビデオ、符号化されたビデオ、又はその両方を格納できることを理解できるであろう。一実施の形態では、符号化コンピュータ102は、データストア110などのデータストアから符号化されていないビデオを取り出して、その符号化されていないビデオを符号化し、符号化されたビデオをデータストアに格納する。このデータストアは同じデータストアであっても別のデータストアであってもよい。ビデオのソースとして、最初にフィルム形式で撮影されたソースを使用できることが理解されるであろう。
【0049】
符号化コンピュータ102は、符号化されたビデオを受信装置に配給し、受信装置が符号化されたビデオを復号化する。受信装置として、ビデオを表示することができる種々の装置を使用できる。例えば、ネットワーク接続されたシステムの図に示されている受信装置として、携帯電話112、パーソナルデジタルアシスタント(PDA)114、ラップトップコンピュータ116、及びデスクトップコンピュータ118がある。受信装置は、通信ネットワーク120を通じて符号化コンピュータ102と通信できる。この通信ネットワークとして、無線通信ネットワークを含む種々の通信ネットワークを使用できる。当業者であれば、携帯電話112などの受信装置もビデオ信号を符号化コンピュータ102に送信するために使用できることを理解できるであろう。
【0050】
符号化コンピュータ102、受信装置又はデコーダとしては、種々のコンピュータを使用できる。例えば、符号化コンピュータ102は、パーソナルコンピュータ、ワークステーション、サーバー、クライアント、ミニコンピュータ、メインフレームコンピュータ、ラップトップコンピュータ、個別コンピュータのネットワーク、モバイルコンピュータ、パームトップコンピュータ、ハンドヘルドコンピュータ、テレビ用セットトップボックス、インタラクティブテレビ、インタラクティブキオスク、パーソナルデジタルアシスタント、インタラクティブ無線通信デバイス、モバイルブラウザ、Web対応携帯電話、パーソナルデジタルアシスタント(PDA)、又はそれらの組み合わせなどの端末装置をはじめとするマイクロプロセッサ又はプロセッサ(以下、プロセッサと呼ぶ)制御装置とすることができる。例えば、エンコーダコンピュータをビデオカメラ106、携帯電話112、PDA 114、ラップトップコンピュータ116、及び/又はデスクトップコンピュータ118に組み込むこともできる。コンピュータ102はさらに、キーボード、マウス、トラックボール、タッチパッド、又はタッチスクリーンなどの入力装置、及びコンピュータ画面、プリンタ、スピーカーなどの出力装置、又は既存又は今後開発されるその他の入力装置を備えることができる。
【0051】
符号化コンピュータ102、ならびに、デコーダコンピュータとして、ユニプロセッサ又はマルチプロセッサマシンを使用できる。さらに、エンコーダ及びデコーダコンピュータは、ランダムアクセスメモリ(RAM)、電気的消去可能プログラム可能読み出し専用メモリ(EEPROM)、マスク読み出し専用メモリ、1回だけプログラム可能なメモリ、ハードディスク、フレキシブルディスク、レーザーディスクプレーヤー、ディジタルビデオ装置、コンパクトディスクROM、DVD−ROM、その他の光媒体、ビデオテープ、オーディオテープ、磁気記録トラック、電子ネットワーク、及び例えば、プログラム及びデータなどの電子的内容を送信又は格納するためのその他の手法などのアドレス指定可能なストレージ媒体又はコンピュータアクセス可能な媒体を備えることができる。一実施の形態では、符号化及び復号化コンピュータは、ネットワークインターフェイスカード、モデム、赤外線(IR)ポート、無線ネットワークインターフェイス、又はネットワークに接続するのに適しているその他のネットワーク接続装置などのネットワーク通信装置を備える。さらに、コンピュータはLinux、Unix、Microsoft(登録商標) Windows(登録商標)3.1、Microsoft(登録商標) Windows(登録商標)95、Microsoft(登録商標) Windows(登録商標)98、Microsoft(登録商標) Windows(登録商標)NT、Microsoft(登録商標) Windows(登録商標)2000、Microsoft(登録商標) Windows(登録商標)Me、Microsoft(登録商標) Windows(登録商標)XP、Apples(登録商標)MacOS(登録商標)、IBM(登録商標)OS/2(登録商標)、Microsoft(登録商標) Windows(登録商標)CE、又はPalm OS(登録商標)などの適切なオペレーティングシステムを実行する。従来のように、適切なオペレーティングシステムは、無線ネットワークを含むネットワーク上で受け渡される全ての着信及び送信メッセージトラフィックを処理する、通信プロトコル実装を備えると都合がよい。他の実施の形態では、オペレーティングシステムはコンピュータの種類によって異なることもあるが、オペレーティングシステムは、ネットワークとの通信リンクを確立するために必要な適切な通信プロトコルを提供し続ける。
【0052】
図1Bは、本発明の一実施の形態に係る符号化システム100Bの一例を示す。本明細書で使用している、符号化システムという用語には、1つ又は複数のエンコーダが含まれる。符号化システム100Bは、例えば、本明細書で説明しているように動作するプロセッサ、プログラムロジック、又はデータ及び命令を表すその他の基板構成のうちの1つ又は複数を備える。別の実施の形態では、符号化システム100Bは、コントローラ回路、集積回路、ゲートアレイ、特定用途向け集積回路、プロセッサ回路、プロセッサ、汎用シングルチップ又はマルチチップマイクロプロセッサ、デジタルシグナルプロセッサ、組み込み型マイクロプロセッサ、マイクロコントローラなどを備え、コンピュータ読み取り可能なメモリに格納されている命令及びデータを含む、ソフトウェアコードを実行することができる。例えば、これには限定されないが、符号化システム100Bは、1つ又は複数のリード有り、リード無し、又はボールグリッドアレイ半導体パッケージに、1つ又は複数の回路基板上に、及び/又は1つ又は複数のハイブリットパッケージを使用して収容されることができる。符号化システム100Bの全部又は一部を、デスクトップコンピュータなどの固定端末、又は携帯電話、携帯コンピュータ、パーソナルデジタルアシスタント、ビデオカメラなどの携帯端末に組み込むことができる。符号化システム100Bは、実施例では、符号化コンピュータ102に相当する。さらに、例えば、本発明による符号化システムを使用して、テレビ会議を実施し、動画又はその他のイメージを格納又は送信するのを補助することなどが可能である。
【0053】
符号化システム100Bは、ビデオ情報を符号化し、圧縮した後、デコーダに送信する。符号化システム100Bは、前処理モジュール又は回路102B、ビット割り当てモジュール又は回路104B、及びエンコーダモジュール又は回路106Bを備えている。ビデオシーケンスアナライザを含む、前処理モジュール又は回路102Bを使用して、シーン変化の発生を検出し、指定されたフレーム、VOP又はピクチャを、どのように符号化するかを決定する。
【0054】
ビデオオブジェクトレイヤには、MPEG−4ではビデオオブジェクトプレーン(VOP)と呼ぶ、異なる時間間隔での任意の形状の2D表現のシーケンスが含まれる。VOP領域のそれぞれは、非矩形領域であり、シーン内の物体など、注目している特定のイメージ又はビデオコンテンツに対応することができる。ビデオオブジェクトプレーン(VOP)は、16×16のサイズのマクロブロックに分割される。マクロブロックは、8×8サイズの6つのブロック単位で符号化され、そのうち4つのブロックは明度用、2つのブロックは色度用である。任意形状のVOPからマクロブロック構造を得るためには、VOPの境界ボックス(bounding box)を計算し、マクロブロックサイズの倍数単位で拡張する。
【0055】
ただし、最新のアプリケーションについては、また特に、いわゆる「単純プロファイル」を使用する無線アプリケーションについては、一般に、フレーム毎に1つのVOPしかなく、これは矩形VOPである。わかりやすくするために、フレームという用語は、本明細書で使用しているように、MPEG−4 VOPなどのVOP、又はピクチャを含むこともできる。同様に、VOPという用語は、本明細書で使用しているように、フレームを意味する場合もある。MPEG−4では、VOPは、ビデオオブジェクトプレーンのグループ(GOV)として構造化することができる。MPEG−2の用語を使うと、フレーム又はピクチャを、ピクチャのグループ(GOP)に配列できるということである。わかりやすくするため、本明細書で使用している「シーン」という用語は、GOV又はGOPをも意味し、またその逆にGOV又はGOPはシーンを意味する。
【0056】
フレーム又はビデオオブジェクトを、イントラコーディングフレーム(「Iフレーム」又は「I−VOP」)、予測フレーム(「Pフレーム」又は「P−VOP」)、又は双方向フレーム(「Bフレーム」又は「B−VOP」)として符号化することができる。MPEG−1はさらに、Dフレームにも対応している。Dフレームとは、動きベクトルを持たないフレームのことで、0ベクトルが仮定され、テクスチャDCTデータを持つ。空間的冗長性を活かすため、離散コサイン変換(DCT)を符号化されたフレームに対して実行し、その結果得られた係数を量子化する。
【0057】
MPEG−4の単純プロファイルでは、Bフレーム又はB−VOPをサポートしていない。しかし、単純プロファイルではフレームのスキップ操作をサポートしている。得られるファイルサイズ又はビットレートを縮小するために、ビデオフレームをスキップすることができる。MPEG−4の単純プロファイルではBフレーム又はDフレームをサポートしていないため、以下の説明ではこのようなフレームを対象としない。しかしながら、本発明の実施の形態は、他のプロファイル及びその他の規格に従って、Bフレーム及びDフレームとともに使用することができる。
【0058】
フレームという用語は、インタレースフレーム又はノンインタレースフレーム、即ちプログレッシブフレームに対応する。インタレースフレームでは、各フレームは2つの別々のフィールドで構成され、それらはフレームを形成するために一緒に組み合わせされる。このようなインタレースは、ノンインタレース又はプログレッシブフレームでは実行されない。ノンインタレース又はプログレッシブビデオに関して説明しているが、当業者であれば、本明細書で説明している原理及び利点は、インタレースビデオ及びノンインタレースビデオの両方に適用できることが理解できるであろう。さらに、本発明の実施の形態は、MPEG−4に関して説明しているが、本明細書で説明している原理及び利点の種々の態様は、例えば、MPEG−1、MPEG−2、H.261、H.262、H.263、H.263+、H.263++、及びH.26L、及び今後策定されるであろうビデオ規格など、他の種々のビデオ規格にも適用することができる。
【0059】
イントラコーディングIフレームは、通常、イメージ自体から得られる情報を含み、したがってIフレームは、他のフレームと独立して復号化することができる。P及びBフレームは、インターコーディングフレームとも呼ばれるが、それは、他のフレームから得られるデータに基づいて符号化されるからである。前処理モジュール102Bは、フレームに対応するフレームタイプ指定を含む、入力フレームタイプファイルと呼ばれるファイルを生成する。他の実施の形態では、フレームタイプ情報は、変数などを使用して符号化システム100Bの他の部分に渡される。図1Bでは前処理モジュール102Bは符号化システム100Bに含まれているように示されているが、前処理モジュール102Bは符号化システム100Bの他の部分と物理的に切り離すことができる。そのような実施の形態では、前処理モジュール102Bは、復号化システム100Bの残りの部分によって入力されるフレームタイプ指定を含むテキストファイルを、生成することができる。
【0060】
多くの標準MPEG−4エンコーダは、1つのシーン、即ち、1つのIフレームの後にPフレーム又はBフレームが続くもののみを処理することができるか、又はMPEG−2符号化で通常行っているように、フレームk枚毎に通常のIフレームを導入する。これらのアプローチでは、エンコーダの実装が簡単になるが、複数のシーンからなるクリップがどのように処理されるべきかを決定するという負担が、ユーザーにかかる。コーディングの効率を十分に高めるために、Iフレームの数を減らすか、又は最小限に抑えなければならない。誤り状態がなければ、Iフレームをシーン変化のみで使用するのが好ましい。したがって、シーン変化を正しく、正確に検出することが有益である。
【0061】
本発明の一実施の形態に係るシーン変化検出プロセスの一例について説明する。実施例では、このプロセスはYUV−4:2:0ファイルに作用し、テキストファイルを出力する。実施例では、YUV−4:2:0ファイルはフレームが連結されたヘッダのないファイルであり、フレーム毎に、(明度)Yピクセル値が最初に与えられ、その後、(色度−青)Cb値、そして(色度−赤)Cr値が与えられる。「4:2:0」という表現は、色度値が明度に関して、因数4でサブサンプリングされることを示す。特に、フレームのサイズ(ピクセル単位)をW×H(W:幅、H:高さ)とすると、W*H個のY値(フレームピクセル毎に1つ)、(W/2)*(H/2)個のCb値、(W/2)*(H/2)個のCr値がフレーム毎にある。その結果、サイズW×Hのフレームを格納するために必要なフレームバッファサイズは合計で3*W*H/2バイトとなる。色度成分のサブサンプリングを行うために、垂直及び水平次元にそって因数2でサブサンプリングする。したがって、2×2ブロックは、4つの明度値、1つの色度−青、及び1つの色度−赤を持つ。他の実施の形態では、イメージデータを格納するのに別の形式を使用することもできる。
【0062】
前処理モジュール102Bについて詳述する。前処理モジュール102Bは、フレームの評価と符号化の指定を実行する。後述するように、それぞれのフレームは、前処理モジュール102BによってIフレーム、Pフレーム、又はスキップフレームとして指定される。別の実施の形態では、前処理モジュール102Bはさらに、フレームをBフレーム又はDフレームとして指定することもできる。Bフレーム符号化は、計算能力が十分に高く、帯域幅が確保されていて(Bフレームはスキップフレームよりも相当多くの帯域幅を占有する)、対応する規格によって許されている場合に実行できる。例えば、無線ネットワークで使用されるMPEG−4の単純プロファイル構文は、Bフレームに対応していない。前処理モジュール102Bによって生成されるファイル形式例では、入力フレーム毎に1ラインを含み、各ラインにはフレームタイプ指定文字0、1、又は2を含んでいる。「0」はIフレームを、「1」はPフレームを、「2」はスキップフレームを表す。他の実施の形態では、双方向フレーム及びDフレームに対して指定を行うことができる。
【0063】
既に述べたように、シーン変化フレームは一般にイントラコーディングされる。シーン変化フレームを見つけるために、前処理モジュールのシーン変化分析により、色重み付け二乗平均平方根(RMS)の計算と差の絶対値の平均(MAD)の計算とを、i番目のフレームFiとk番目のフレームFkとの間で実行する。RMSは次のように定義することができる。
【0064】
【数2】
ここで、F(x,y)はフレームF内の(x,y)番目のピクセルを表し、w及びhはそれぞれフレームの幅及び高さを表す。Y(x,y)は、輝度値を示し、U(x,y)及びV(x,y)は2つの色度成分である。係数α、β、γは、それぞれ明度、色度−青、及び色度−赤成分の重み係数である。計算量を少なくするために、重み係数を固定することができる。例えば、重み係数を、α=β=γ=1と設定することができる。
【0065】
差の絶対値の平均(MAD)測度は次のように定義することができる。
【0066】
【数3】
この例では、MADは、2つの色度成分を含んでいる必要はない。
【0067】
MAD(Fi,Fk)及び/又はRMS(Fi,Fk)が選択した基準よりも大きい場合、このことは、Fiの内容が実質的にFkと異なることを示している。従って、一実施の形態では、連続するフレーム間のMAD、MAD(Fi-1,Fi)があらかじめ指定したしきい値よりも大きい場合、Fiはシーン変化フレームとして指定される。シーン変化フレームを指定するしきい値の一例は約25である。
【0068】
オプションにより、RMSの二階時間微分を使用して、以下のように、フレームがシーン変化フレームであるかを判別することができる。
【0069】
【数4】
式3によって定義されているように、RMSの二階時間微分は、現在のフレームFiに対する前のフレームFi-1のRMS値、次のフレームFi+1に対する現在のフレームFiのRMS値、それ以降のフレームFi+2に対する次のフレームFi+1のRMS値に基づいている。
【0070】
RMS値の二階時間微分は、Fiが図3に示されているようにシーン変化フレームである場合に比較的高い振幅を持つ負の値となる。従って、RMS値の二階時間微分の絶対値があらかじめ指定したしきい値よりも大きい場合、Fiはシーン変化フレームとして指定される。図3に示されているように、菱形で示されているRMS値と三角形で示されているRMSの二階微分との間に相関関係がある。したがって、一般にRMS値とRMSの二階微分の値からシーン変化の正しい指示が得られる。シーン変化を判別するためのRMSしきい値の二階微分の一例は−6.5である。
【0071】
RMSの二階微分は良いピーク検出手段となるが、幾分雑音に敏感である。シーン変化判別の精度をさらに高めるために、一実施の形態では、MADの時間的活動測定とRMSの二階微分との両方が対応するしきい値以上である場合に、フレームがシーン変化フレームであると指定される。後述するように、シーン変化フレームがIフレーム又はI−VOPとしてイントラコーディングされる。
【0072】
特に、一実施例では、フレームのMADが20を超えていて、RMSの二階微分が負であり、その絶対値が4よりも大きい場合、そのフレームはシーン変化として指定され、イントラモードでコーディングされる。他の実施例では、フレームのRMSが40を超えている、及び/又はRMSの二階微分が負であり、その絶対値が8よりも大きい場合、そのフレームはシーン変化として指定され、イントラモードでコーディングされる及び又は。他の実施の形態では、他のしきい値を使用することができる。それとは別に、又はそれに加えて、フレームがシーン変化に該当するか否かをさらに示すものとして、RMSの二階微分に関して上記したの同様に、MADの二階微分を使用することができる。
【0073】
シーン変化が発生したことを判別するために、追加基準を使用することができる。例えば、一実施の形態では、MAD値が極大値であるかどうか、即ち、前のフレームから問題のフレームに上昇し、その後問題のフレームから次のフレームに減少した否かを判別する。もしそうであれば、これは、問題のフレームがシーン変化フレームである可能性が高く、イントラコーディングされるべきであることを示している。さらに、RMS値に関して類似の判別を行うことができる。例えば、RMS値が極大値であるか否か、即ち、前のフレームから問題のフレームに上昇し、その後問題のフレームから次のフレームに減少したか否かを判別する。もしそうであれば、これもまた、問題のフレームがシーン変化フレームである可能性が高く、イントラコーディングされるべきであることを示している。
【0074】
オプションとして、RMS、RMSの二階微分、及びMADのうち少なくとも2つが対応する基準を満たしている場合に、フレームがイントラコーディングすべきシーン変化として指定される投票プロセス(voting process)を使用することができる。他の実施の形態では、RMS及びRMSの二階微分が対応する基準を満たしている場合、及びMADが極大値である場合に、フレームはシーン変化フレームとして指定される。さらに他の実施の形態では、RMS及びMADが対応する基準を満たしている場合、及びMADが極大値である場合に、フレームはシーン変化フレームとして指定される。
【0075】
コーディングの効率をさらに高め、ターゲットのビットレートを満たすために、1秒当たりの符号化すべきフレーム数をできる限り減らすのが好ましい。1秒当たりの符号化されるフレーム数を減らすために使用される方法の1つとして、符号化プロセスのスキップフレームがある。フレームスキップ手法の例として、固定フレームスキップと適応型フレームスキップの2つがある。従来のエンコーダでは、単純なスキップアルゴリズムに従って、複数のフレームを落としてフレームレートを下げている。例えば、従来のエンコーダは、ビデオクリップ内の5つのフレーム中の4つを落として、ビデオクリップを毎秒30フレームのフレームレートから毎秒6フレームのフレームレートに変換する。
【0076】
後述するように、固定フレームスキップは雑音の多い環境では優れた誤り耐性を持つ傾向があるが、適応型フレームスキップは雑音の少ない環境において良い視覚的結果を生じる傾向がある。オプションとして、前処理モジュール102Bは、下の式7で定義されているビットレート/フレームレートの式に基づき、ターゲット符号化フレームレートを計算し、適応型スキップと固定スキップを切り替えて、ターゲットの符号化フレームレートに追随することができる。
【0077】
固定フレームスキップでは、入力ビデオフレームシーケンスは、kをサブサンプリング係数とすると、フレームk個毎に1つ保持することにより時間軸に沿ってサブサンプリングされる。例えば、
k=5、及び
元のビデオシーケンスのフレームレート=25フレーム/秒(fps)であれば、サブサンプリングされたシーケンスのフレームレート=5fpsである。
【0078】
適応型フレームスキップでは、固定フレームスキップのように、入力ビデオフレームシーケンスは、望みの、又は所定の平均フレームレートを得るために、時間軸に沿ってサブサンプリングされる又は。しかし、固定方式のスキップフレームではなく、適応型フレームスキップを使用すると、フレームスキップの速度は、不規則になり、シーケンス長に沿って変化する場合がある。低活動のフレームを識別してスキップし、シーン変化フレームを保持してイントラコーディングするのが好ましい。何らかの活動フレームのある非シーン変化はインターコーディングされる。そのスキップフレームは、視覚的活動に対する変化に基づいてインテリジェントに選択されているために、デコーダによって再現されたときの視覚的結果は、発生する誤りがないか、又は比較的少ないと仮定すると、固定フレームスキップの場合よりも優れている。
【0079】
一実施の形態では、前処理モジュール102Bは、MPEGビットストリーム内のビデオオブジェクトプレーン(VOP)ヘッダにセットされている“not_coded”ビットフラグ又はインジケータを使用して、スキップフレームをコーディングする。MPEG−4ビデオパケットは、VOPヘッダ又はビデオパケットヘッダから始まり、その後に、motion_shape_texture()が続き、そしてnext_resync_marker()又はnext_start_code()で終わる。したがって、VOPは、特定のイメージシーケンス内容を指定し、輪郭、動き、及びテクスチャの情報をコーディングすることにより、別々のビデオオブジェクトレイヤ内にコーディングされる。
【0080】
別の実施の形態では、スキップフレームが一緒にスキップされ、ビットストリーム内にVOPヘッダ情報は挿入されない。スキップフレームを、デコーダで補間を使用することにより、又は前のフレームを繰り返すことによって再作成してもよい。デコーダは、先行フレームと後続の復号化フレームとの間でピクセル平均を取り、それらの時間差で重み付けすることによって補間を実行してもよい。
【0081】
ビデオシーケンスのフレームレートに関する情報は、通常、Video−Object−Layer(VOL)ヘッダで搬送される。特に、vop_time_increment_resolutionというパラメータにより、それぞれの符号化サイクルの時間単位数を決める。Video−Object−Plane(VOP)ヘッダ内のvop_time_increment値により、フレーム毎にタイムスタンプが付けられる。
【0082】
vop_time_increment_resolutionは、例えば、16ビット符合なし整数値であってもよい。例えば、25フレーム/秒(fps)の場合、vop_time_increment_resolution=25で、vop_time_incrementは値0...24を循環する。7.5fpsの場合、vop_time_increment_resolution=75で、vop_time_incrementは値0、10、20、30、40、50、60、70、5、15、25、35、45、55、65と循環する。したがって、シーケンスの最初の2つのフレームの復号が成功すると、正確なフレームレートが求められる。しかし、誤りを起こしやすい無線通信環境又はその他の誤りを起こしやすい環境では、任意の2つの連続するフレームを正常に受信し、復号することは保証できない。したがって、デコーダは、シーケンス全体のフレームレートを正しく判別できない場合がある。そのような理由から、一実施の形態では、エンコーダモジュール106BがVOLヘッダ内の“fixed_vop_rate”フラグをセットし、デフォルトのフレームレートを(fixed_vop_time_incrementの値を使って)供給する。この方法を使用すると、VOLヘッダが正常に復号された後、フレームレートの復号又は判別を正常に行える場合が多くなる。後に、fixed_vop_time_increment値をデコーダのグローバル変数に格納し、その値を使用して特定のフレームを補間する必要があるかどうかを判別できる。補間するフレームは、エンコーダによってスキップされるフレームであるか、又は送信中に失われたフレームのいずれかである。したがって、正しい数のフレームを復号し、それによってオーディオストリームでの同期喪失問題を回避できるため、MPEG−4デコーダの誤り耐性の性能が高められる。
【0083】
上記したように、誤りを起こしやすい環境では、誤り耐性を高めるために、適応型フレームスキップの代わりに固定フレームスキップを使用する。固定フレームスキップでは、フレームが落とされている、又はスキップされているときに、デコーダ側で判別しやすくなる。誤り耐性を高める別のアプローチとして、適応型フレームスキップを使用するが、ただしVOPヘッダを供給する際にスキップフレームについてnot_codedフラグをセットするという方法がある。このアプローチの欠点の1つは、頻繁なVOPヘッダによりビットレートがわずかに増大するという点である。
【0084】
図4Aは、適応型フレームスキップの一例のプロセス400を示している。このプロセスは、注目しているフレームに隣接するフレーム間の差の絶対値の平均を計算し、その計算に対して時間パラメータの重み付けを行うことによってフレーム列からフレームを選択的に落とすという点で反復的であり、シーンに対する影響が最小であるフレームが落とされる。この手順は、目的のビットレート及びフレームサイズに関係するターゲットのフレームレートが得られるまで繰り返し実行される。
【0085】
プロセス400は、開始状態402から始まり、状態404に進む。目的のフレームレートを設定又は指定する。目的のフレームレートは、ユーザーが指定することもでき、又は動的に決定することもできる。状態406に進み、特定のフレームを落としたことによって生じる、コスト関数、又は悪影響をシーン内の第1のフレームから最後のフレームまでの間の各フレームについて計算する。後で詳しく説明するが、コスト関数は、注目する特定のフレームを、接近して、もしくは最も接近して挟む、又はそのフレームに隣接するフレーム間の差の絶対値の平均(MAD)、あるいは差の絶対値の平均の和(SMAD)に少なくとも一部分は基づくことができる。それとは別に、又はそれに加えて、コスト関数は、注目する特定のフレームを挟むフレームに関するRMSの和(SRMS)に基づくことができる。
【0086】
状態408に進むと、最小コストに関連付けられた、即ち、視覚的品質に対する悪影響が最小であるフレームはスキップされるか、又は落とされる。状態410において、残りのフレームによってターゲットフレームレートの条件が満たされるか否かを判別する。ターゲットフレームレートの条件が満たされる場合、適応型フレームレートスキッププロセス400は終了状態414に進む。そうでない場合、プロセス400は状態412に進み、コスト最小の残りのフレームが落とされる。最初のフレームから最後のフレームまでの間に残っている全てのフレームのコストが、現在残っているフレームに基づいて状態412で再計算され、コストが最小のフレームが落とされる。プロセス400は、状態410と412を繰り返し、ターゲットフレームレートの条件が満たされるか、又はすでに連続してスキップされているフレームの数が指定の最大値に達すると、その繰り返しを終了する。プロセス400はスキップするフレームを選択することに関して説明されているが、プロセス400を同様に使用して、どのフレームを双方向符号化すべきかを決定することができる。
【0087】
差の絶対値の平均の和に重みを付けたものを使用する適応型フレームスキップ選択プロセスの一実施例について詳しく説明する。フレームレートrorigと望みのフレームレートrdes(ここで、rorig>rdes)の入力シーケンスが与えられた場合、ビデオシーケンスアナライザは、「積極的に」フレームをスキップする、即ちrdes条件が満たされるまでスキップする。スキップする次のフレームを識別するために、コスト関数を指定する際にMADの重み付き和と2つのフレームの間の時間差を使用する。コスト関数が所定の基準を満たしているか、又は残りのスキップの候補のうち最小であるフレームはスキップされる。
【0088】
例えば、図4Bを参照すると、積極的なアプローチを使用してF3、F5、F6、及びF8をすでにスキップしている場合、F4は、次のスキップフレームの候補とみなされる。F4がスキップされるかどうかを判別するために、F4がスキップされたと仮定してコスト関数を計算する。F4をスキップした後、F2及びF7がF3〜F6のスキップフレームの境界である左右のフレームになる。そのコスト関数は次のように定義される。
【0089】
【数5】
ここで、項
【数6】
は、NTSCフレームレート29.97フレーム/秒に関して元のフレームレートrorigを正規化するために使用され、TDは、時間差の単位(time difference measure)を表す。もちろん、別の正規化又は異なる正規化も使用できる。
【0090】
したがって、この例では、TDは5(=7−2)であり、λは重み係数である。この例では、実験で求められた重み係数値λ=5.0で、適切な結果が得られる。それとは別に、重み係数値λは、動的に求めることもできる。現在の状態で、コスト関数が候補の中で最小であるフレームがスキップされる。このプロセスを繰り返し実行して、目的のフレームレートを得る。時間差の単位TDを修正して、n個を超える連続フレームがスキップされないようにする。例えば、同時にスキップできる連続フレームの最大数が予め4に設定されている場合、TDは次のように修正することができる。
【0091】
【数7】
ここで、∞は無限大である。
【0092】
オプションとして、計算の中で偶数(又は奇数)の座標ピクセルのみを使用すれば、MAD計算の複雑度を減らすこともできるが、精度は低下する。たとえば、以下のとおりである。
【0093】
【数8】
スキップするフレームを適応的に決定する別のプロセス例では、誘起する空間的及び時間的な全歪みを、スキップ対象のフレーム毎に推定し、そのフレームが存在しなければ歪みが最小になるフレームをスキップする。後述するように、このプロセスではMADの和(SMAD)又はRMSの和(SRMS)を使用する。都合がよいことに、全てのMADを再計算しなくてもよい。その代わりに、すでに計算されている適切なMADは、スキップ対象とみなされるフレームに依存して異なるように加算される。
【0094】
一実施の形態では、このプロセスは次のように実行される。Fiが現在スキップ対象とみなされているフレームであると仮定する。例えば、Fiは図4B内のフレームF4であると仮定する。次に、Fjを前の非スキップフレーム、この例ではF2とし、フレームFkは次の非スキップフレーム、この例ではF7を示すものとする。すると、コスト関数は次のように定義することができる。
【0095】
【数9】
ここで、SMADest(Fi,Fk)はフレーム(i+1),...(k−1)をスキップしたときの推定空間歪みである。
【0096】
式6bからわかるように、コスト関数は前のスキップフレームから寄与分を差し引く。歪みは次のように計算される。
【0097】
【数10】
ここで、φ(n)は連続するスキップフレームの数に依存する係数であり、平均して、又は統計的サンプリングに基づいて、デコーダ側の補間フレームがどれだけ元のフレームと異なるかを考慮するものである。以下の表は、代表的なビデオシーケンスを使用して実験的に求められた係数値の例である。
【0098】
【表1】
これからわかるように、φ(n)はスキップフレームの数が増えると増加する。
【0099】
必要な計算複雑度及びリソースを低減するために、オプションとして、連続するフレーム(j−1とj)の間のMADのみを使用して、上の式6bのように、スキップフレームの完全なセグメントの歪みを推定する。特定のフレームをスキップしたときに生じる追加歪みを計算し、時間成分を加える。
【0100】
一実施の形態では、ユーザーが望みの符号化フレームレートを指定する。その望のフレームレートは、時間的及び空間的複雑度、フレームサイズ、フレームレート、及びターゲットビットレート又は圧縮比などのビデオシーケンス統計量に基づくことができる。別の実施の形態では、発見的手法により望みのフレームレートを選択することができる。以下は、144行、1行当たり176ピクセルを含む、Quarter Common Intermediate Format(QCIF)フレームサイズに関して正規化された、フレームレートを計算する発見的方程式例である。
【0101】
【数11】
ここで、w及びhはフレーム次元である。符号化フレームレートが妥当な境界範囲内にあるためには、符号化フレームレートは次の範囲にあることが好ましい。
[1からソースフレームレートまで]
さらに、適応型フレームスキップを特定のシーンの時間的複雑度に依存しないものとするために、オプションとして重み係数λが、指定されたシーケンス全体の平均RMS又はMADに等しくなるように設定される。
【0102】
したがって、どのフレームがシーン変化フレームであるかを判別し、スキップするフレームを適応的に選択するために、ビデオシーケンスアナライザに、ビデオシーケンス、フレーム幅、フレーム高さ、ソースフレームレート、ターゲットビットレート、及び誤り耐性フラグを以下の形式で与える。
【0103】
<入力ファイル> <幅> <高さ> <ソースフレームレート> <ターゲットビットレート> <誤り耐性フラグ>
誤りが全くないか少ない場合に、誤り耐性は低いが視覚的結果に優れる適応型フレームスキップと、誤り耐性に優れるが視覚的結果が劣る固定フレームスキップとを切り替えるために、誤り耐性フラグはユーザーによってセットされる。
【0104】
一実施の形態では、図1Cに示されているように、RMS回路102Cを使用して、上述のようにRMS値を計算し、RMSの二階微分回路104Cを使用して、上述のようにRMSの二階微分を計算し、MAD回路108Cを使用して、上述のようにMAD値を計算し、MADの加算回路110Cを使用して、上述のようにMAD値の和を計算し、MADの二階微分回路114Cを使用して、上述のようにMADの二階微分を計算する。RMS回路102C、RMSの二階微分回路104C、MAD回路108C、及びMADの加算回路110C、及びMADの二階微分回路114Cの出力に結合されているエバリュエータ回路112Cを使用して、いつシーン変化が発生したか、どのようなフレームをスキップするかを、上記した1つ又は複数の出力に基づいて決定する。もちろん、異なる実施の形態は、図1Cに示されている回路の全部又は一部を含んでいる必要はない。
【0105】
次に、ビット割り当てモジュール又は回路104Bについて説明する。ビット割り当てモジュール又は回路104Bは、シーン、フレーム、及び/又はマクロブロックレベルでビット割り当てを行う。ビット割り当てモジュール104Bはファイルを読み込むか、又は他の方法で、フレームタイプ指定を含む、前処理モジュール102Bによって生成された情報を受け取り、コーディングフレームに基づきそれぞれのシーン、GOV、又はGOPについてビット割当値(bit budget)を計算する。ビット割り当てモジュールにより、固定されたビット割当値の適切な分配が決定される。
【0106】
一実施例に関して後述するように、第1のイントラコーディングフレームは、シーンの先頭を定義する。イントラコーディングフレームの数とインターコーディングフレームの数に基づいてシーンに重みが割り当てられ、イントラコーディングされたフレームは、インターコーディングされたフレームよりも重い重み付けがなされ、イントラフレームを符号化するために必要なビットをより多く占有する。ビット割り当てモジュールは、現在のビット使用度と目標のビット使用度とを比較してシーン内の固定ビット割当値を配分し、その比較に基づいて、現在のフレームに対する量子化パラメータ又はステップサイズを調整する。
【0107】
特に、ビット割り当てモジュール104Bはまず、前処理モジュール102Bから入力されたフレームタイプファイルを解析する。次に、GOVの数又は量を計算する。計算されたビット割当値に基づき、エンコーダモジュール106Bが、後述のエンコーダパラメータファイルによる新規レート制御プロセスを使用してそれぞれのGOVを符号化する。
【0108】
与えられたGOV又はシーンについて、コーディングされたフレームの数及び最初のフレーム及び最終フレームが知られている。以下の定義を使用し、以下の式8により、GOV又はシーンのビット割当値を計算する。
【0109】
Nci=scenei又はGOVi内のコーディングされたP−VOP(予測、インターコーディングVOP)の数。
Bi=シーンiのビット割当値
B=1つ又は複数のシーンを含むクリップのビット割当値
Nc=クリップのコーディングフレームの数
Ns=クリップ内のシーンの数。通常は、誤り耐性を高める目的で連続するIフレームを含めない場合、Ns=I−VOP(イントラコーディングVOP)の数
Tc=クリップ内のVOPの相当する総数
【0110】
シーン又はGOVのビット割当値を決定する方法の例を以下に示す。BiビットをGOV(i)毎に割り当てる。この例の割り当てでは、1つのIフレーム又はI−VOPに対するビット使用度は、Pフレーム又はP−VOPのビット使用度に近いか又は等しい(Ratio_Of_I_to_P=10)という想定がなされる。しかし、この方法は、1:10の比を使用することに制限されていない。Bi及びTcは、次のように決定される。
【0111】
Bi=B*(Nci+Ratio_Of_I_to_P)/Tc 式8
及び
Tc=Nc+(Ratio_Of_I_to_P−1)*Ns 式9
式8で定義されているように、与えられたシーンのビット割り当ては、シーン内のフレームの総数に基づいており、イントラコーディングフレームは、複数の予測フレームと同等に正規化される。複雑度及び計算のオーバーヘッドを減らすために、このビット割り当て公式の例では、各GOV又はGOPの空間的及び時間的複雑度を考慮しない。別の実施の形態では、十分な計算的及び時間的資源が利用できる場合に、ビット割り当て公式において、時間的及び空間的複雑度を考慮し、GOV毎にさらに理にかなったビット割り当てを行うことができる。
【0112】
例えば、一実施の形態では、空間的及び時間的複雑度を考慮する2パス方式の符号化プロセスを使用する。第1のパスで、シーン変化を検出し、フレーム複雑度を収集する。第2のパスで、複雑度によって導き出されるビット割り当てを使用して実際の符号化を行う。
【0113】
第1のパスのプロセスについて詳述する。新しいGOV又はGOPは、シーン変化インスタンスから始まる。2パスレート制御プロセスは、それぞれの時間的にセグメント分割されたGOVについて実質的に一様な品質を備えるので、品質の変動はうまくGOV又はGOP境界に制限される。このアプローチを取ったのは、さまざまなシーン間のピーク信号対雑音比(PSNR)、二乗平均平方根誤差、又はその他のイメージ忠実度測定基準によって測定されるような品質変動の最小化を行うことが、人間の視覚認知に関してあまり有利とはいえないからである。
【0114】
相対的フレーム複雑度を特徴付ける場合、本発明の一実施の形態による複雑度測定は、使用する量子化パラメータ(QP)について比較的不変である。特に、Hiで表されるフレームヘッダ/構文及び動きベクトルなどの非テクスチャ情報のビットカウントは、量子化パラメータ(QP)の変化に関して一定であるか、又はほとんど一定であることが一般的である。これは、QPの変化とともに変化する、テクスチャ情報のビットカウントと対照的である。例えば、MPEG−4 VM R−Qモデル[MPEG4VM]に基づいて、現在のフレームiをコーディングするのに使用されるビット総数をRiとすると、テクスチャビットTi=Ri−Hiは次のように表すことができる。
【0115】
【数12】
ここで、Miは、QP(即ち、Qi)に関して実質的に不変な動き補正残差で計算したMADであり、a1及びa2はQP上のテクスチャビットTiのTaylor展開係数である。係数a1及びa2は、通常は同じ次数である、即ち同様の値を持つ。これからわかるように、QPが低いほど、与えられたフレームを符号化するのに必要なテクスチャビット数は多くなる。
【0116】
複雑度の測定Cg,iは、動き及びテクスチャビットカウントの両方を対象とし、実質的にQP不変である。一実施の形態では、Cg,iは、以下のように、与えられたフレームのテクスチャビットカウントと平均テクスチャビットカウントとの比、及び与えられたフレームの動きベクトルビットカウントと平均動きベクトルビットカウントとの比によって定義される。
【0117】
【数13】
ここで、MV(g,i)はフレーム(g,i)の動きベクトルビットカウントであり、
【数14】
は平均動きベクトルビットカウントであり、
【数15】
は平均テクスチャビットカウントである。得られた複雑度の測定Cg,iは実質的にQP不変なので、フレーム複雑度は1パスで、QPで生成することができる。計算で求められたフレーム複雑度は、これから説明するように、第2の符号化パスで利用される。
【0118】
図9に示されているように、第2パスのレート制御プロセス900は3レベル階層、即ちシーン(GOV又はGOP)レベルビット割り当て902、フレームレベルビット割り当て904、及びマクロブロックレベルQP調整906に分かれており、得られたフレーム複雑度値Cg,iを使用する。
【0119】
複雑度によって導かれるシーン、GOV、又はGOP、レベルビット割り当てについて、図10を参照しながら説明する。ビットをそれぞれのシーンに割り当てるには、以下のように平均空間的複雑度
【数16】
を計算してGOV又はGOP毎に複雑度の測定を定義する。
【数17】
【0120】
次に、図10に示されているように、GOV又はGOPレベル再帰的ビット割り当てプロセス1000を適用する。状態1002で、以下の設定で、初期化プロセスを実行する。
λ=0
ビット割当値Br(特定の数のGOV又はGOPに対応する与えられた時間枠に対するビット割り当て)=B
初期送信バッファ飽和度β1=Td×R
インデックス1のGOV又はGOPの開始、即ち最初のGOV又はGOP。
【0121】
状態1004で、以下の式によりビットがインデックスgのシーン(GOV又はGOP)に割り当てられる。
【0122】
【数18】
ここで、
R=チャネルレート
F=選択されたフレームレート
N(g)=インデックスgのGOV又はGOP内のフレーム数
λ=バッファ変動と複雑度の要求との間の重み係数
であり、
【数19】
は、注目しているGOV又はGOPに対応する与えられた時間枠の全シーン複雑度を定義する。
【0123】
λ=0のケースは、送信バッファ制約条件を満たすことができる場合に好ましいフレーム複雑度に直接従うビット割り当て方式を表す。λ=1.0の指定は、フレーム複雑度を考慮することなくビット割当値が均等に分配されるケースを表す。この場合、最初のフレームのみプリフェッチするだけでよいので、プリロードはほとんど必要なく、小容量のデコーダバッファが必要である。0<λ<1.0のケースは、バッファと品質制約条件との間のビット割り当てのトレードオフ関係を表す。
【0124】
状態1006では、次の場合に、仮に割り当てられたビット割当値Bt(g)でバッファステータスを検査する。
βg-1+Bt(g)−(R/F)×N(g)<MarginFactor1×βmax
ここで、例えば、MarginFactor1=0.8が、バッファ調整の安全マージン(最大バッファサイズの0.8)となる。
【0125】
そして、その割り当てが許容され、プロセス1000が状態1008に進む。そうでない場合、λの値に0.1などの係数を加算して調整し、プロセス1000は状態1004に戻る。
【0126】
状態1008で、バッファステータスは次のように更新される。
βg=βg-1+Bt(g)−(R/F)×N(g)
残りの割当値Brは次のように調整される。
Br−Bt(g)
プロセス1008は、状態1002に戻り、λの値は0に設定される。次のインデックスg+1のGOV又はGOPの割り当てが実行される。
【0127】
GOV又はGOPシーンレベルビット割り当てにより、バッファと品質制約条件の両方を満たしながら、各GOV又はGOPにビット割当値を都合よく適切に割り当てることができる。しかし、それぞれのGOV又はGOP内の一定又は一貫した品質を得るために、フレームの複雑度に基づき、バッファ制約条件を満たしながら、それぞれのGOV又はGOP内のフレームに従ってビット割当値を割り当てるのが好ましい。図9に示されているフレームレベルビット割り当てプロセス904は、このようなフレームビット割り当てプロセスを実行し、これはGOV又はGOPレベルのビット割り当てのためのプロセス1000に類似している。しかし、GOP又はGOVに対応する変数を使用する代わりに、フレームに対応する変数を使用する。そこで、フレームについて以下が成り立つ。
Bf=λ×(R/F)+(1−λ)×C(g,i)×Bg’/(Cg') 式14
ここで、
Bg’=ランニングビット=(現在のGOPへのビット割り当て−既にコーディングされたフレームに使用されたビット数)
Cg’=ランニング複雑度=(現在のGOPの複雑度−既にコーディングされたフレームの複雑度)
R=ターゲットビットレート
F=フレームレート
一実施の形態では、以下の説明に従ってマクロブロックレベルQP調整906を代わりに実行することができる。シーン及び上記で説明したフレームレベルビット割り当てプロセスでは、安全マージン(例えば最大バッファの0.8)がバッファ調整用に用意される。計算複雑度を低減するために、他の実施の形態では、1パスレート制御を使用して、全てのマクロブロックを同じ量子化パラメータ(QP)で量子化する。QP値は、以下の反復プロセスを使用してフレームレベルレート制御の一部として決定される。
【0128】
しかし、バッファが比較的小さい場合、後述するマクロブロックレベルレート制御プロセスを使用することができる。
【0129】
NMBが1フレーム内のマクロブロックの数とすると、MADkはMBkの平均の差の絶対値であり、QPk-1は前のマクロブロックのQPである。従って、現在のMBkのQPは、以下の規則に従って決定されるように、範囲[QPk-1−2,QPk-1+2]にあると考えられる。
【0130】
【数20】
オプションとして、雑音の大きな環境では、マクロブロックビット割り当てプロセスを無効にするか、又は使用しないことで、QPがそれぞれのマクロブロックについて同じであるとデコーダ側で仮定することができる。これにより、フレームの一部が破損していたり失われているときにデコーダは正しくないQPを使用しないようにできる。
【0131】
各GOV又はGOPのビット割当値を決定した後、IMP4とも呼ばれる新規レート制御プロセスを使用して、計算で求められたビット割当値を満たすか又は実質的に満たす。従来のMPEG−4レート制御は、多くのアプリケーションに対して適切なパフォーマンスを発揮する。例えば、多くの従来型のレート制御プロセスは多重シーンを明示的にサポートしていない。その代わりに、これらの従来型のレート制御プロセスでは、シーケンス全体が単一のシーンを含むと仮定しており、したがって満足できるレート制御を行うことができない。それに対して、本発明の一実施の形態では、シーン変化の発生を考慮し、レート制御機能を高めている。
【0132】
本発明の一実施の形態では、自己収束レート制御プロセスを使用し、QPを量子化ステップサイズの半分に等しいとした場合に、各フレームの量子化パラメータQPを調整することによってそれぞれのGOVのビット割当値を満たす。MPEG−4では、量子化パラメータQPは31個の値[1〜31]を持つことができる。レート制御プロセスでは、過去のビット使用度、未コーディングフレームの数、与えられたGOVに対する残りのビットに基づいてQPを決定する。したがって、現在のビット使用度が割り当てられたビット割当値からある量又はパーセンテージ以上超えた場合に、量子化パラメータ、したがって量子化ステップサイズが増やされる。その代わりに、現在のビット使用度が割り当てられたビット割当値からある量又はパーセンテージを超えて下がった場合、量子化パラメータ、したがって量子化ステップサイズは減らされる。このプロセスは、以下の疑似コード例に従って実行することができる。
【0133】
if(現在のビット使用度>割り当てられたビット割当値*Margin1)
QPnext=min(31,INT(QPcur+StepUpPrcnt*QPcur));
Else if(現在のビット使用度<割り当てられたビット割当値*Margin2)
QPnext=max(1,INT (QPcur-StepDwnPrcnt* QPcur));
End If.
ここで、
Margin1は、現在のビット使用度が割り当てられたビット割当値を超えることを許す係数であり、システムが安定化する機会が得られる。例えば、Margin1を1.15に設定することで、現在のビット使用度が割り当てられたビット割当値を15%だけ超えられる。
Margin2は、現在のビット使用度が割り当てられたビット割当値を下回ることを許す係数であり、システムが安定化する機会が得られる。例えば、Margin2を0.85に設定することで、現在のビット使用度が割り当てられたビット割当値を15%だけ下回ることができる。
StepUpPrcntは、量子化パラメータをどれだけ増やすかということに関係する定数である。例えば、StepUpPrcntを0.1に設定することができる。
StepDwnPrcntは、量子化パラメータをどれだけ減らすかということに関係する定数である。例えば、StepDwnPrcntを0.1に設定することができる。
【0134】
それぞれのGOVを符号化した後、実際のビット使用度Bactを事前に割り当てられたビット割当値Bassと比較し、実際のビット使用度がビット割当値からある大きさ又はパーセンテージ(Margin3、Margin4)を超えて変化する場合に、Iフレームの量子化パラメータQP(QPI)は、必要に応じて、ある量(StepUp、StepDwn)又はパーセンテージだけ上又は下に調整される。量子化パラメータ調整プロセスは、以下の疑似コード例に従って実行することができる。
【0135】
である。
【0136】
QPIの初期値を10に設定し、P−VOPのQPの初期値を12に設定できる。I−VOPの量子化パラメータQPIが変更されると、続くPフレームのQP割り当ても変更される場合があることに注意されたい。
【0137】
一実施の形態では、エンコーダモジュール106Bは適応型動き変化検出を実行し、大きな伝搬誤りを効率よく低減することができる。特に、適応型イントラリフレッシュ(AIR)を使用し、Pフレーム内のマクロブロックの選択的イントラコーディングによってMPEGデータストリーム内の誤り伝搬を低減する。そこで、AIRを使用することによって、フレームの検出された動き領域内でイントラコーディングしなければならないマクロブロックの数を決定するのを助けることができる。マクロブロックのイントラリフレッシュを実行することによって圧縮されたビットストリームの誤り耐性が高まるが、イントラコーディングされるマクロブロックの数を増やせば、これらのマクロブロックを符号化するために使用するビット数も増えることになる。さらに、固定ビットレートである場合、他の非イントラコーディングされたマクロブロックに対して量子化誤差が増えることになる。したがって、イントラコーディングするマクロブロックのパーセンテージ又は数を決定するために、帯域幅及びビット誤り確率(BER)が考慮される。
【0138】
さらに、エンコーダモジュール106Bは、オプションとして、循環イントラリフレッシュ(CIR)を使用して、各フレーム内の所定数のマクロブロック(MB)を符号化している。したがって、CIRは周期的イントラリフレッシュを実行して、誤り伝搬の発生の可能性を制限している。
【0139】
一実施の形態では、循環イントラリフレッシュ(CIR)及び適応型イントラリフレッシュ(AIR)は以下のように実行される。ユーザーがVOP内のイントラマクロブロックの数をエンコーダパラメータファイルで指定する。VOP内のイントラマクロブロックの数は、ターゲットビットレート、フレームレート、ビットバッファ使用度、チャネル雑音フィードバック、及びその他の送信関連パラメータによって決まる。エンコーダモジュール106Bは、各マクロブロックの動き量を推定し、イントラモードで符号化する重い動き領域を選択して、誤り耐性を高める。推定の結果は、マクロブロックレベルでリフレッシュマップに記録される。
【0140】
従来のリフレッシュマップ202の例は図2Aに示されている。エンコーダモジュール106Bは、リフレッシュマップを参照し、イントラモードで現在のVOPの指定されたマクロブロックを符号化するか否かを選択的に決定する。SAD(差の絶対値の和)とSADthとを比較することによって動きの推定を実行する。SADとは、現在のマクロブロックと前のVOPの同じ場所のマクロブロックとの間の差の絶対値を加算した値のことである。都合のよいことに、SADは、動き推定を実行したときにすでに計算されている。したがって、SAD計算をAIRプロセスの一部として繰り返す必要はない。SADthは、与えられたマクロブロックが動き領域であるか否かを判別する際のしきい値として使用される。現在のマクロブロックのSADがSADthよりも大きい場合、このマクロブロックは動き領域とみなされる。
【0141】
マクロブロックが動き領域としてみなされると、これは、所定の回数だけイントラモードで符号化されるまで、動き領域の候補として残る。図2Aに示されているリフレッシュマップ202の例では、この「所定の回数」の値は「1」に設定され、他の実施の形態では、この所定の回数は2又はそれ以上の値に設定することができる。図2Bのマップ204に示されているように、水平走査は、動き領域内でイントラモードで符号化される候補であるマクロブロックの間で決定のに使用される。
【0142】
従来のAIR処理について、4つのサンプルの連続するVOPに適用されている図8Aを参照して、これから詳しく説明する。AIRリフレッシュレート、即ち、VOP内のイントラマクロブロックの固定された数が、あらかじめ決定されているのが好ましい。この例では、VOP内のイントラマクロブロックの数は「2」に設定される。
【0143】
[1]第1のVOP−図8A[a]及び[b]
第1のVOPは、要素802、804を含むシーン変化フレームである。したがって、第1のVOP内の全てのマクロブロックが、図8A[a]に示されているように、イントラモードで符号化される。図8A[b]に示されているように、リフレッシュマップは「0」に設定されるが、0はイントラリフレッシュが実行されないことを示し、1はイントラリフレッシュを実行することを示しており、これは第1のVOPが前のVOPを参照せずに符号化されるからである。
【0144】
[2]第2のVOP−図8A[c]〜[f]
第2のVOPはP VOPとしてインターコーディングされる。要素802、804は、1マクロブロック分下、1ブロック分右に移動している。イントラリフレッシュは、このVOPでは実行されないが、それは、図8A[c]に示されているように、リフレッシュマップ内の全ての値がまだ0であるからである。エンコーダモジュール106Bは、それぞれのマクロブロックの動きを推定する。与えられたマクロブロックのSADがSADthよりも大きい場合、図8A[e]の斜線部に示されているように、与えられたそのマクロブロックは動き領域とみなされ、したがって、リフレッシュマップは、図8A[f]に示されているように更新され、動きマクロブロックに対応するリフレッシュマップエントリは1に設定される。
【0145】
[3]第3のVOP−図8A[g]〜[k]
要素802、804は、さらに1マクロブロック分下、1ブロック分右に移動している。第3のVOPが符号化されると、エンコーダモジュール106Bは図8A[g]で示されているリフレッシュマップを参照する。マクロブロックがイントラリフレッシュされるべきことをリフレッシュマップが示している場合、そのマクロブロックは、図8A[h]で「X」を含むマクロブロックにより示されているように、イントラモードで符号化される。イントラコーディングされたマクロブロックの対応するリフレッシュマップの値が、図8A[i]に示されているように、1だけ減らされる。
【0146】
減らされた値が0であれば、対応するマクロブロックは動き領域としてみなされない。先へ進むと、図8A[j]〜[k]に示されているように、処理は実質的に第2のVOPの処理と同じであり、与えられたマクロブロックのSADがSADthよりも大きい場合、その与えられたマクロブロックは動き領域とみなされる。リフレッシュマップは、図8A[k]に示されているように更新され、動きマクロブロックに対応するリフレッシュマップエントリは1に設定される。
【0147】
[4]第4のVOP−図8A[l]〜[p]
この処理は、第3のVOPと実質的に同じである。現在のマクロブロックがリフレッシュマップ内でそれと関連する1を持つ場合、これは、図8A[m]の「X」を含むマクロブロックにより示されているようにイントラモードで符号化される。イントラコーディングされたマクロブロックの対応するリフレッシュマップの値が、図8A[n]に示されているように、1だけ減らされる。
【0148】
減らされた値が0であれば、対応するマクロブロックは動き領域としてみなされない。与えられたマクロブロックのSADがSADthよりも大きい場合、この与えられたマクロブロックは動き領域としてみなされる。リフレッシュマップは、図8A[p]に示されているように更新される。
【0149】
他の実施の形態では、新規の拡張されたAIRプロセスを次のように実行して、予測フレーム内のイントラコーディングされるべきマクロブロックを選択する。インターコード歪み値及びイントラコード歪み値が、インターコードビットレート及びイントラコードビットレートのように計算される。計算して求めたインターコード歪み値及びイントラコード歪み値の比較と、各マクロブロックのインターコードビットレート及びイントラコードビットレートの比較に基づいて、イントラコーディングされるべきマクロブロックに関する決定を下す。次に拡張されたAIRプロセスについて詳述する。
【0150】
イントラコーディングする予測フレームマクロブロックを選択するために、マクロブロックが失われた、又は破損した場合生じるであろうと予想される歪みを推定する。予測又はイントラコーディングされたマクロブロックについては、予測範囲内の参照マクロブロックがイントラコーディングされる場合、歪みは低減され得る。
【0151】
図8Bを参照すると、予測パスと共に再帰的追跡を使用して、マクロブロックの予想される歪みを決定することができる。804Bから818B、806Bから820B、820Bから826B、812Bから822B、814Bから824B、822Bから828B、828Bから830Bへの波線は、動きベクトル(MV)が、前のフレーム内のマクロブロックから現在のフレーム内のマクロブロックへの符号化されたビットストリームの一部であることを示している。802Bから818B、806Bから820B、810Bから822B、816Bから824B、818Bから826B、824Bから828B、及び826Bから830Bへの線など、傾斜した実線は、ゼロ動きベクトルであることを示し、そこでは失われた動きベクトルはゼロに設定される。ゼロ動きベクトルは、誤り条件でデコーダによって使用され、そこでデコーダは、誤り補正のため、回復不可能なマクロブロックを前のフレームからの対応するマクロブロックで置き換える。これは、「基本補正」と呼ばれる、利用可能な誤り補正方法の1つにすぎないことに注意されたい。時間的補正や補助的動きベクトル補正などの他の補正方法も実行できる。オプションとして、再帰的追跡を実行するときに、これらの他の誤り補正戦略の効果を別々に並行して考慮する。図8Bにおいて、「p」はパケット損失確率又はパケット損失率であり、q=(1−p)である。
【0152】
与えられた現在マクロブロックを符号化しながら、エンコーダモジュール106Bは前のフレーム上で動き検索を実行し、現在のマクロブロックとの一致度が最も高い、又はそうでなければ適切な予測フレームであると判断されるマクロブロックを見つける。斜線の入っていない円で示されているマクロブロック802B、806B、810B、816B、818B、820B、826Bなどの前のフレームから見つけられたこのマクロブロックは、予測マクロブロックと呼ばれる。動き検索が実行された後、残差が計算され、さらに離散コサイン変換(DCT)を使用して符号化され、その後、選択した量子化ステップ又は量子化パラメータ(QP)を使用して量子化され、可変長コーディング(VLC)を使用してエントロピーコーディングされる。符号化されたビットストリームは、動きベクトル情報、残差のエントロピーコーディングされた量子化DCT係数、及び対応するヘッダ情報からなる。
【0153】
デコーダは、符号化されたビットストリームを受信すると、コーディングされた情報を処理し、マクロブロックを再構成する。パケット喪失又はその他の誤り条件のせいで、マクロブロックに対する情報が欠損している場合、デコーダが、上記の基本補正などの1つ又は複数の誤り補正方法を使用して、対応するマクロブロックを補正するのが好ましい。上記のように、マクロブロックが欠損している場合、基本補正により、前のフレームから同じ空間位置にマクロブロックをコピーする。これは、ゼロ動きベクトルとゼロDCT係数を受け取ることに相当する。
【0154】
どのマクロブロックがイントラコーディングされるべきかを決定するために、一実施の形態では、エンコーダシステム100に、対応するデコーダ回路を備えているので、デコーダのプロセスを模倣し、誤りが存在しない場合と、現在のマクロブロック(「MBC」)だけに影響を及ぼす単一誤りのような、誤り1つ又は複数の誤りが存在する場合との両方で、デコーダが再構成するものを再構成することができる。例えば、誤りのない再構成及びと1つの誤りを仮定した再構成との差は、「補正誤り」又はECと呼ばれる。ECは以下のように定義される。
EC=MBQ−MBC 式16
ここで、MBQは誤りのない再構成であり、MBCは単一誤りの再構成である。
【0155】
与えられたマクロブロックを次のフレームの予測マクロブロックとして使用する場合、与えられたマクロブロック上に存在する誤りは、動きベクトル及び次のフレームマクロブロックのDCT係数にさらに誤りがなくても、予測のため与えられたマクロブロックを使用する次のフレーム内のマクロブロックに伝搬する。与えられたフレーム内のマクロブロックから次のフレーム内の別のマクロブロックに誤りが伝搬するメカニズムを「誤り伝搬モデル」と呼ばれる。
【0156】
垂直、又は水平方向、又は垂直方向及び水平方向の両方のいずれかで、予測に半ピクセル精度を使用するときに、誤り減衰が発生する。ローパスフィルタに匹敵する誤り減衰は、半ピクセル動きが使用されるときに適用されるピクセル平均化操作のローパス周波数特性の結果生じる。したがって、エンコーダシステム100Bで計算した補正誤りECが与えられると、水平方向ECh/2の半ピクセル動きを介して伝搬する誤り、垂直方向ECv/2の半ピクセル動きを介して伝搬する誤り、及び水平方向と垂直方向EChv/2の半ピクセル動きを介して伝搬する誤りを決定することができる。
【0157】
半ピクセル補間が図8Dに示されており、これは、整数値のピクセル位置、水平方向の半ピクセル位置、垂直方向の半ピクセル位置、水平方向及び垂直方向の半ピクセル位置を示している。
【0158】
通常はピクセル値に適用される半ピクセル平均化フィルタを補正誤りECに適用し、以下の4種類の伝搬誤り配列を定義することができる。
EC0=EC
ECh/2=水平半ピクセル動きによる誤り(図8Dのばつ「X」の位置で計算された値)
ECv/2=垂直半ピクセル動きによる誤り(図8Dの菱形の位置で計算された値)
EChv/2=水平及び垂直半ピクセル動きによる誤り(図8Dの正方形の位置で計算された値)
4種類の誤り配列のそれぞれについて、0平均の仮説のもとで誤差分散を近似する対応するエネルギーを計算する。
【0159】
これらの4つのケースに対する4つの誤差分散は、それぞれ次のように定義することができる。
(式17)
σ2 Ec,σ2 Ech/2,σ2 Ecv/2及びσ2 Echv/2
その後、以下の4つの遷移又は強度係数を次のように定義することができる。
【0160】
【数21】
これらは、現在のマクロブロックの動きの可能な4つのケースに対応する。これらの量は、テーブル、ファイル、又はその他のレコード内に、現在のマクロブロック(mx,my)、初期誤りエネルギーσ2 Ec、及びコーディングモード(イントラ/インター)を符号化するために使用される動きベクトルとともに保存される。
【0161】
半ピクセル水平及び垂直伝搬強度は以下の式で近似することができる。
γhv/2=γh/2+γv/2+γh/2γv/2 式19
半ピクセル水平及び半ピクセル垂直動きの遷移係数を使用すれば、これによって、半ピクセル水平及び垂直伝搬強度又は遷移係数の計算に要する計算時間を短縮し、リソースを減らすことができる。さらに、伝搬強度は正でなければならない。したがって、負の伝搬強度の結果は丸めるか、又は0に設定される。
【0162】
図8Eに示されているように、動きベクトルMVは、16ピクセルの行と列からなるグリッドに揃えられている現在のフレームFramen内のマクロブロックを、必ずしも同じグリッドに揃えられていない予測フレームFramen-1内の16×16ピクセルにマッピングすることができる。実際、図8Eに示されているように、Framen内のマクロブロックは、予測フレーム内Framen-1の最大4つまでのマクロブロックの一部分にマッピングされ得る。
【0163】
現在のフレーム内のマクロブロックの予測に使用される前のフレームからの可能な4つのマクロブロックのうちの1つ又は複数に存在する誤りは、現在のフレーム内のマクロブロックに反映される。誤りの関係はオーバーラップ面積と比例する。例えば、誤りの関係は、オーバーラップするピクセルの数に比例又はそれに基づくことができる。したがって、現在のフレーム内のマクロブロック毎に、インターモードでマクロブロックを符号化するときに使用することになる最大4つまでの予測マクロブロックが識別される。対応する動きベクトル情報を使用して、オーバーラップ面積を決定し、その面積に等しい又は関係する重み係数を使用して、次の式で定義されているように、オーバーラップ面積をマクロブロック面積全体に正規化する、例えば、256(16×16)に正規化する。
【0164】
【数22】
これは、前のフレーム内のブロックiによる現在のフレーム内のマクロブロックj上の予想歪みを推定する。γi,jは、水平、垂直、又はその両方の方向に沿う動きのタイプ(半又は整数ピクセル動きベクトル)に応じて、すでに定義されている遷移係数γEC、γh/2、γv/2、及びγhv/2のうちの1つであり、w(i,j)=w1・h1/256はマクロブロックjとマクロブロックiの間のオーバーラップ面積(w1×h1)に関係する重み係数であることに注意されたい。項σ2 u(i)は、マクロブロックiの補正誤りσ2 ECである。
【0165】
図8Bを参照すると、現在のFramen内のマクロブロック830Bから始まり、Framen-1内に、マクロブロック830Bを再生成するためにデコーダによって使用される2つのマクロブロック、即ち、通常の復号化のために使用されるマクロブロック826B、及び補正に使用されるマクロブロック828Bがある。Framen-1内のマクロブロック826B、828Bはそれぞれ、上記のように、最大4つまでの揃えられたマクロブロックに対応する。同じ「復号化又は補正」方法をFramen-1内の2つのマクロブロック826B、828Bに対して再帰的に適用し、Framen-2内の4つのマクロブロック818B、824B、822B、820Bを見つけ、その後、8つのマクロブロック802B、804B、806B、808B、810B、812B、814B、816Bを含むFramen-3に到達できる。ある一連の誤り/パケット損失が送信時に発生した場合、Framen-3内の8つのマクロブロックのそれぞれが、現在のマクロブロックでFramenに出現する可能性がある。これら8つの経路のそれぞれの確率は対応する分岐確率(p/q)の積であり、ここでpはパケット損失確率であり、q=(1−p)である。マクロブロック830Bへの特定の経路が発生する確率を求めるために、その経路に沿ってp及びqの値を乗算する。したがって、1つの行内で2つのパケット損失が発生する場合のような確率p2を持つ経路と、812B〜830Bにより定義された確率p3である経路とが存在する。
【0166】
誤りの確率が比較的小さい(例えば、0.1)と仮定すると、確率p2又はp3などの高次(pに関して)の経路は無視することができ、図8Bを図8Fに示されている経路に簡略化することができる。図8Bの経路の簡略化は、補正に使用するマクロブロックはそれ自体破損していない、即ち、2つのマクロブロックの間のある1つの経路における複数の誤り/パケット損失の確率を無視できるという仮定に基づいている。この仮定は常に正しいわけではないが、多くの場合正しい。
【0167】
このように簡略化されたマクロブロックの関係に基づき、上記の伝搬モデルを使用して、Framenの現在のマクロブロックに対する予想歪みを推定することができる。予想歪みは、次の式で定義される。
D(n)=pσ2 EC(n)+qD’(n−1) 式20
ここで、D’(n−1)は、Framen-1からFramenまでの可能な半ピクセル動きを考慮するために遷移係数によって修正されたFramen-1の参照マクロブロックの予想歪みである。Framen-1の参照ブロックに関してこの式を展開し、予想歪みを次のように定義する。
【0168】
【数23】
γ(n-1,n)は、Framen-1からFramenまでの動きベクトルに依存する、Framen-1内の参照マクロブロックの4つの遷移係数(γEC、γh/2、γv/2、及びγhv/2)のうちの1つである。上で述べたのと同様に、D”(n−2)は、Framen-2からFramen-1及びFramen-1からFramenまでの可能な半ピクセル動きを考慮するために、遷移係数によって修正されたFramen-2の参照マクロブロックに関する予想歪みである。この項をさらに展開すると、予想歪みは次のように定義される。
【0169】
【数24】
Framen-3がIフレームであるか、又はフレームバッファが3フレームに制限又は制約されている場合、D’’’(n−3)は0に等しい。そうでない場合、同じ手順を前のフレームのマクロブロックに再帰的に適用する。同様に、再帰的プロセスの実行中にイントラマクロブロックに遭遇した場合、歪みはpσ2 ECに等しいと仮定するが、それは、動きベクトルがなく、したがって誤り伝搬項がないからである。
【0170】
上の歪み方程式では、各フレーム内の最大4つの予測マクロブロックのうちのそれぞれの1つからの寄与分を全て加算し、Framen内のターゲットマクロブロックとこれらのマクロブロックとの間でオーバーラップする面積に関係する、対応する重み係数を掛ける。
【0171】
前のフレームのそれぞれのマクロブロックについて格納されている情報を利用して、現在のFramenのそれぞれのマクロブロックの予想歪みを計算することができる。この予想歪みは送信誤りによるものであり、それぞれのマクロブロックの量子化による歪みとは相関しないことに注意されたい。したがって、予想歪み項を量子化誤りに加えて、マクロブロック毎に全歪みを決定する必要がある。この全歪みのことを、「全インターモード歪み」又はDTINTERと呼び、マクロブロックのインターモード符号化に関係する。
【0172】
イントラモードでは、予想歪みは次のように第1の項に簡略化される。
D(n)=pσ2 EC(n) 式23
これは、DINTRAとも呼ばれる、マクロブロックの「全イントラモード歪み」を得るために、対応するイントラモード量子化歪みに加える必要がある予想誤り歪みを反映している。
【0173】
それぞれ、RTINTER及びRTINTRAと呼ばれるインターモード符号化及びイントラモード符号化に、一定数のビットが必要である。これらのビットレートの差ΔR=RINTRA−RINTERの差を、全歪みの差ΔD=DINTRA−DINTERとともに使用することにより、最良のコーディングモードを選択することができる。
【0174】
エンコーダに十分なリソースと能力があれば、以下の式で与えられる、各マクロブロックのコスト関数を評価するために使用される最適な重み係数λを判別する必要のある完全な歪み率最適化を実行できる。
C=D+λR 式24
その後、以下のイントラ/インター決定規則を求める。
【0175】
次の場合にイントラモードを選択する。
・ΔR=0ならばΔD<0
・ΔR>0ならばΔD/ΔR<−λ
・ΔR<0ならばΔD/ΔR>−λ
そうでなければインターモードを選択する。
【0176】
最適なλパラメータの決定は、オプションとして、可能な全てのQPとλの組み合わせを試すことによって達成されることに注意されたい。目的のビットレートよりも低い、又はオプションとして目的のビットレートに等しいビットストリームを出力する全ての組み合わせの中から歪みが最小である特定の組み合わせを選択する。
【0177】
その代わりに、エンコーダシステム100は最初に、上記ケース(ΔR=0ならばΔD<0)のうち、λの全ての値に適用できる第1のケースを満たすマクロブロックと、さらに、自動的に第3のケースに適用される、ΔR<0ならばΔD/ΔR≧0という条件を満たす全てのマクロブロックを選択することができる。次に、ΔR>0のマクロブロックを、ひとまとめにし、比ΔD/ΔRの昇順に順序付ける。同様に、ΔR<0のマクロブロックを、ひとまとめにし、同じ比ΔD/ΔRの降順に順序付ける。
【0178】
これは、各マクロブロックに対する比ΔD/ΔRの値を表している図8Gに示されているグラフによって示されており、「x」がΔR>0のマクロブロックを示し、「o」がΔR<0のマクロブロックを示す。
【0179】
最大の負の値又は対応する定義済み基準を満たす負の値を持つ「x」、及び最小の負の値又は対応する定義済み基準を満たす負の値を持つ「o」が、イントラリフレッシュの候補として選択される。正の値を持つ「o」はすでにイントラコーディングとして選択されており、正の値を持つ「x」は自動的にイントラコーディングされるので完全に除外されることに注意されたい。実験結果から、「x」で示されているΔR>0であるマクロブロックが最も一般的なものであることが分かるが、一般に、コストをビット単位で考えた場合に、イントラモードのコストがインターモードのコストに比べて高いからである。したがって、オプションとして、ΔR>0であるマクロブロックのみがイントラリフレッシュの対象とみなされる。イントラモードで符号化する追加マクロブロックの数を指定する、いわゆるリフレッシュレートは、最終的に選択される候補マクロブロックの数を指定するものである。
【0180】
リソースをあまり使わないプロセスでは、送信誤りによる各マクロブロックの予想歪みを計算するが、量子化誤りは無視するか、又は除外する。次に、イントラモードとインターモードとの予想歪みの差を、イントラコーディングするマクロブロックを選択する基準として使用でき、この基準に従って順序付けることによってマクロブロックが選択される。
【0181】
よって、適応型イントラリフレッシュ(AIR)を使用することによって、フレームの検出された動き領域内でイントラコーディングされなければならないマクロブロックの数を決定することを補助することができる。ユーザーによってセットされ、エンコーダモジュール106Bによって読み込まれるAIRビットを使用して、エンコーダパラメータファイル内でAIRを有効、無効に設定できる。AIRが有効であれば、ユーザーはさらに、別のパラメータであるAIRリフレッシュレートを指定する。AIRリフレッシュレートにより、1つのフレームの検出された動き領域内でイントラコーディングされなければならないマクロブロックの数が決まる。適応型動き変化の検出を利用すると、動き領域に誤りが発生した場合でも、大きな伝搬誤りを効率よく低減することができる。
【0182】
図8Hは、E−AIRプロセスの一実施の形態を示している。状態802Hにおいて、Frame(n)の注目している現在のマクロブロックに対する1つ又は複数の動きベクトルを受信する。状態804Hにおいて、この動きベクトルを使用して、現在のマクロブロックを決定する際に使用される前のFrame(n−1)からのマクロブロックを見つける。状態806Hにおいて、領域又はピクセル数に関して、Frame(n−1)内の見つかったマクロブロックのそれぞれをどれだけ使用して現在のマクロブロックを生成するかを決定する。状態808Hにおいて、オーバーラップ重み付け
【数25】
を含んで、誤差分散(σ2 Ec、σ2 Ech/2、σ2 Ecv/2、σ2 Echv/2、)を計算する。状態808Hにおいて、誤差分散に基づいて伝搬強度遷移量を計算する。状態812Hにおいて、Frame(n)のイントラ誤り歪みDINTRAを計算する。状態814Hにおいて、Frame(n)のインター誤り歪みDINTERを再帰的に計算する。上記のように、再帰的計算は、誤りがFrame(n)に伝搬する、Frame(n−1)、Frame(n−2)、...などの、前のフレームからの誤り歪み及び量子化歪みを含む可能性がある。繰り返しは所定の回数のフレーム生成に制限され、全て又は所定量のフレームバッファが使用されるか、又はイントラフレームに達したときに繰り返しが停止する。
【0183】
状態816において、DINTRAとDINTERとの差を求めるか、又は別の手段で、DINTRAとDINTERとを比較することによって値ΔD(DeltaD)を計算する。状態818Hにおいて、Frame(n)のイントラコーディング及びFrame(n)のインターコーディングを行うための、ビット量又はビットレートRINTRA及びRINTERをそれぞれ決定する。状態820Hにおいて、差DeltaRを計算することによってRINTRAとRINTERとの比較を行う。状態822Hにおいて、説明した基準を用いてΔR(DeltaR)、ΔD(DeltaD)、及びλ(Lambda)に基づいてイントラコーディングするかインターコーディングするかの決定を下す。それとは別に、ΔD(DeltaD)が設定されているマクロブロックをイントラコーディングするように選択することもできる。例えば、Frame(n)のマクロブロックの全てについてΔD(DeltaD)を計算した後、最大のΔD(DeltaD)を持つ2つのマクロブロックをイントラコーディングする。マクロブロックのイントラコーディングの選択はさらに、この場合、Cost=Rate+λ*D、又はD+λ*Rとしたコスト計算に基づくこともでき、及び最高のN(=AIRレート)を選択できる。
【0184】
図8Cは、循環イントラリフレッシュ、トレース802Cの使用と、すぐ上で説明した拡張されているAIR方法、トレース804Cの使用とを比較した実験結果をまとめたものである。全体的な利得は、PSNRでほぼ1dBである。一実施の形態では、付加的な計算負荷は約10%である。
【0185】
AIRをより効果的に利用するために、従来の循環イントラリフレッシュ(CIR)をAIRと組み合わせる。VOP内のイントラリフレッシュマクロブロックの数は、AIR_refresh_rateとCIR_refresh_rateの和として定義される。AIR_refresh_rateマクロブロックは、AIRモードで符号化され、CIR_refresh_rateマクロブロックは、従来のCIRモードで符号化される。これらの値は、エンコーダパラメータファイル内でユーザーが定義することができる。チャネル品質が低下する場合、高いCIR及びAIRレートを割り当てるのが好ましい。さらに、Iフレーム間の距離が大きい場合、高いCIR及びAIRレートを割り当てるのが好ましい。これらのレートは、誤り耐性とコーディング効率とのトレードオフの関係を改善するために、チャネル条件ならびに誤りコーディングパラメータに応じて変えるのが好ましい。
【0186】
エンコーダパラメータファイルは、上記のパラメータなど、さまざまな符号化パラメータを指定する。エンコーダパラメータファイルは、上記の前処理プロセスによって決定される符号化タイプを指定するフレームタイプファイルを読み込むことにより、前処理モジュールの出力とともに使用することができる。例えば、エンコーダパラメータファイルは、AIR、CIR、及びSMCの有効化/無効化、AIR及びCIRリフレッシュレートの指定、各々のシーン、GOV又はGOPの先頭に2つのIフレーム又はを含むことを有効又は無効にするために使用されるフラグを設定するフィールドを含む。
【0187】
エンコーダパラメータファイルは、次のパラメータ又はフィールドを含んでいる。
【0188】
【表2】
誤り耐性をさらに高めるために、エンコーダモジュール106Bではヘッダ拡張コード(HEC)を、連続するビデオパケットの全てのパケット又は全てのビデオパケットに挿入し、従来のエンコーダの場合のようにVOPヘッダに続く第1のビデオパケット上だけで挿入するのではない。この方法だと、パケットが失われたり破損したりしても、後続のパケットを復号化して使用できるのでより好ましい。さらに、代表的な従来のデコーダであっても、追加のHECの使用はMPEG−4ビットストリーム構文と互換性があるため、HECの拡張使用する場合にも対応できる。シーケンス情報を含むヘッダを全てのパケットに追加することで、オーバーヘッドは1パケット当たり約40ビット、又は約0.2%しか増えないが、復号化の改善は顕著である。
【0189】
さらに、誤り耐性を高めるために、オプションとして二次動き補正(SMC)が提供される。SMCプロセスは、エンコーダモジュール106Bで実行され、補助動きベクトルを生成し、それぞれの予測フレームを2つの先行するフレームから別々に予測することができる。図5のシーケンス502は、SMCプロセスを示しており、k番目のフレームは(k−1)番目のフレーム及び(k−2)番目のフレームの両方の動きベクトルを持つ。したがって、(k−1)番目のフレームの動きベクトルが破損している場合、又は(k−1)番目のフレーム自体が破損している場合であっても、k番目のフレームを(k−2)番目のフレームから、対応する動きベクトルを使用して予測することができる。したがって、(k−2)番目のフレームからk番目のフレームまでの二次動きベクトルとも呼ばれる冗長動きベクトルを挿入することによって、デコーダ側のシーンイメージ品質が送信誤りから適切に保護される。例えば、送信中にk番目のフレームの全ての情報が破損した場合でも、SMCを使用して、図5にシーケンス504として示されているように、後の予測で使用されないようにk番目のフレームを除外することによって誤り伝搬を効果的に抑制することができる。
【0190】
SMCを実行するために、フレームバッファをエンコーダモジュール106Bに含め、時刻(t−2)のときにすでに復号化されているフレームを格納する。このすでに復号化されているフレームを使って、二次動きベクトルを計算する。一実施の形態では、これらの冗長動きベクトルは、残差を生成するためにエンコーダでは使用されない。デコーダは、送信時にビットストリームが破損しているときに、及び一次動きベクトル又は対応するフレームが破損しているときに、二次動きベクトルを使用する。そうでない場合、デコーダで二次動きベクトルを使用する必要はない。オプションとして、完全な無制限の動き検索を実行して、これらの二次動きベクトルを決定することができる。フレーム(t−2)と(t−1)との間及びフレーム(t−1)と(t)との間の動きに関する情報を組み合わせて、これらの二次動きベクトルを推定することができる。このような理由から、後述するように、シーン変化後の最初のP−VOP又はそれぞれのP−VOPに関する「ユーザーデータメカニズム」を介して、SMCデータをオプションとして含めることができる。SMCを最初のP−VOPのみに用意する利点は、誤りがないときに帯域幅が無駄にならず、コーディング効率が向上するという点である。しかし、全てのP−VOP又は多数のP−VOPに対してSMCを用意すると、特に重大な誤り状態の場合に、デコーダの堅牢性と復号化能力が高まる。
【0191】
P−VOP毎に「ユーザーデータ」又は「SMC」ビデオパケットと呼ばれる、追加のビデオパケットを使用して、これらの二次動きベクトルを送信する。このパケットには、標準動きベクトルの場合と同じ予測方法で、同じ可変長コードを使用して、現在のP−VOPの各マクロブロック又は選択されたマクロブロックの動きベクトルが含まれる。HECがこの特別なSMCビデオパケットに含まれており、このP−VOPに対する他のパケットが失われた場合でもSMCビデオパケットを復号化することができる。一実施の形態では、このパケットは、ビットストリーム内の各P−VOPの最後に配置されている。ユーザー側で、エンコーダパラメータファイル内の対応するオプションを1又は0に設定することによって、SMCの使用を有効又は無効にすることができる。図6は、ビットストリーム内のパケットの相対位置を示す、SMCパケット602を含むパケット化されたビットストリームの例を示している。
【0192】
オプションとして、SMCパケットをMPEG−4構文に適合させるために、将来MPEG規格委員会などによって割り当てられる他の一意的識別子コードを含む、いわゆる「ユーザーデータ開始コード」(16進数コードB2)などをHEC及び動きベクトル情報の前に付ける。ユーザーデータ開始コードが入っていると、二次動きベクトルを使用できない標準デコーダは、このコードの後からビットストリーム内の次の開始コード、即ちこの場合VOP開始コードまでの全てのビットを無視する。一実施の形態では、エンコーダは、SMCユーザーデータ拡張と他の人々が同じ規則に従ってビットストリームに含めることに決めたデータとを混同しないように、一意的な16ビット識別子を含んでいる。
【0193】
誤り耐性をさらに高めるために、図7に示されているように、連続する2つのフレームのうちの第2のものが、シーン変化フレームでなく、通常であればインターコーディングされる十分に低い相対動きを持っていても、1つのシーン変化で、2つの連続するIフレームが挿入される。即ち、シーン変化フレーム702がイントラコーディングされた後、次のフレーム704が自動的にイントラコーディングされる。したがって、1つのIフレームが失われたとしても、デコーダは、フレーム702ならびにフレーム704から予測される予測フレーム706、708、710、712を復号化する動作を中止しない。第2のIフレームの後のフレームは、Pフレーム又はBフレームなどのイントラコーディングフレームとして符号化されていてもよい。
【0194】
2つの連続するIフレームを使用すると、SMCの効率を落とすことなく、他のシーンのシーン内容を使用して現在のシーン内のフレームを予測するという事態をきちんと防止することができる。シーン内の最初の2つの連続するフレームはイントラコーディングされるので、一次動きベクトルも二次動きベクトルもIフレームには挿入されない。
【0195】
連続するIフレームを挿入する動作は、シーン変化フレーム及び次のフレームの両方をイントラコーディングフレームとして指定できる前処理モジュール102Bの制御下に置くことができる。その代わりに、エンコーダモジュール106Bは、前処理モジュール102Bによってイントラコーディングフレームとして指定されているフレームの後のフレームを自動的にイントラコーディングすることもできる。
【0196】
2つの連続するIフレームを挿入するとビット割当値が増大し、ある送信ビットレートではコーディング効率が低下するが、誤りの発生しやすい環境では、そうすることで誤り耐性が高まるので、この非効率は補ってあまりある。「連続Iフレーム」フラグがエンコーダパラメータファイルに用意されており、これがSMCフラグとは独立のものであってもよい。都合のよいことに、SMCモードがオンでなくても、又はシーン変化の後の(二重)Iフレームに続く最初のP−VOPだけについてオンであっても、2つの連続するIフレームが各シーンの先頭に存在することを利用して、デコーダが送信誤りをより効率的に補正するようにできる。
【0197】
適応型イントラリフレッシュ(AIR)は、オプションとして、エンコーダモジュール106B側でSMCの副産物としてサポートすることができる。このモードは、最初のP−VOPだけ、又は全てのP−VOPについてSMCを選択したときに有効になり、イントラモードで、フレーム(t−1)及び(t−2)からの予測マクロブロックとして、MAD距離測定基準で測定された場合に著しく異なる2つのマクロブロックを持つマクロブロックを符号化する。例えば、しきい値は20である。よって、現在のフレーム内の与えられたマクロブロックについて2つの予測マクロブロックの間のMADが20よりも大きければ、このマクロブロックはイントラコーディングされる。
【0198】
エンコーダモジュール106Bはさらに、動き検出、残差計算などの一般的なエンコーダ機能も実行する。エンコーダ出力は、後で送信するために格納しておくことも、又は実質的にリアルタイムで、適切なデコーダを備える携帯電話などの受信端末に送信することもできる。
【0199】
誤り耐性を高めるために、一実施の形態では、Intra_dc_vlc_thrを「0」に設定し、フレーム又はVOP内のDC VLCを使用して、全てのDC係数をコーディングする。さらに、ac_pred_flagを全てのイントラマクロブロックに対して無効にすることができる。これらのオプションは両方とも、構文によって許可され、したがって、標準のデコーダによってサポートされ、送信で誤りが発生した場合でも品質を高められる。このような改善は、PSNRで0.1〜0.2dBのオーダーである。特に、データ分割が有効になっている場合、「INTER VLC」テーブルとして知られているものを使用して、イントラマクロブロックの各8×8DCTブロックのDC係数を63個のAC DCT係数と一緒にコーディングするか、又は「INTRA VLC」テーブルとして知られているものを使用して、別々にエンコーディングすることができる。
【0200】
INTRA VLCテーブルを使用すると、次のように、DC係数に関するビットを、残り63個のAC係数に関するビットと分けることができる。
【0201】
マクロブロックを全てイントラコーディングするI−VOPに対しては、DCデータビットはDCマーカー(DCM)の前にヘッダビットと共に配置され、AC係数のデータビットはDCマーカーの後に配置される。
【0202】
P−VOPに対しては、DCデータビットは動きマーカー(MM)の直後に、他の不可欠な又は重要な情報とともに配置され、AC係数に関するデータビットが続く。
【0203】
DC及びAC情報をこのように分離することで、誤り耐性が高まるが、これは、破損したパケットに関しても、DCM/MMマーカーが復号化プロセスで正しくヒットしていれば、DCデータが復号され、信頼できるからである。さらに、P−VOPに関して、リバーシブル可変長コード(RVLC)の順方向/逆方向復号化により、少なくとも1つの適切な最初の部分を明らかにできる。
【0204】
DCデータを一緒にコーディングするか、又はAC係数と別にするかを制御するために、「intra_dc_vlc_thr」というフラグが、QP値に従って各マクロブロックをマッピングするVOP毎に使用される。この値を0に設定することは、QPにかかわらず、全てのマクロブロックがINTRA DCテーブルを使用し、DCデータをAC係数から分離することを意味する。これは、MPEG−4の標準構文要素であり、標準デコーダによってサポートされている。
【0205】
ac_pred_flagは、INTRAマクロブロックの特定のブロックについて、最上行及び第1列のDCT係数を、隣接するブロックと独立に、又は区別して、コーディングするか否かを示すもう1つのオプションである。誤り耐性を高めるために、ac_pred_flagを0に設定するのが好ましい。
【0206】
一実施の形態では、前方誤り訂正(FEC)を使用してソースレベルで誤り訂正をサポートしている。特に、リードソロモン(Reed-Solomon)を含むBose-Chaudhuri-Hocquenghem(BCH)コードがサポートされている。当業者によく知られているように、BCHは、巡回冗長度符号コード(Cyclic Redundancy Code)に基づく誤り検出及び訂正方法である。kを情報ビットの数として、正の整数m、m>3、t<2m-1について、ブロック長nが2m−1に等しく、n−k<mtのパリティ検査ビットを持つ2進数のBCHコードがある。BCHコードは、少なくとも2t+1の最小距離を持つ。それぞれの2進BCHコード(n、k、t)は、最大tビットまでの誤りを訂正でき、したがって、t誤り訂正コードとも呼ばれる。
【0207】
ブロックサイズは異なっていてもよい。一実施の形態では、ブロックサイズとして511が使用される。FECは基本ビデオビットストリーム(elementary video stream)のパケタイザ(packetizer)レベルで実行され、これはソースレベル誤り訂正とみなすことができる。対照的に、チャネルレベル誤り訂正では、多重化後にビットレベルで冗長性が入り込む。
【0208】
FECは、ある程度のビット割当値と引き換えに、著しい誤り耐性を持つ。図11は、前方誤り訂正のオーバーヘッドと平均のBER訂正能力を対比したグラフの例を示す図である。図に示されているように、FEC冗長性と誤り訂正能力との間には密接な関係があり、誤り耐性の強力な指標となっている。少なくとも予想BERの2倍に対応するのが好ましい。
【0209】
本発明の一実施の形態では、FECを全てのパケットデータに適用する代わりに、従来のアプローチに比べてより効率的で、生成される誤り訂正ビットが少ないプロセスを実行するが、それでも、著しい誤り訂正能力を持つ。FECプロセスの一実施の形態では、オプションとして、パケットの選択した部分についてのみFECビットを生成し、特に、デコーダによってフレームシーケンスを再生する目的に関して、より本質的又は重要であると考えられる部分についてFECビットを生成することができる。さらに、FECプロセスは体系的コードを持つ、即ち、FEC訂正又はパリティビットは元のコーディングされていないデータビットと分離される。したがって、全てのFECビットが失われても、パケットの元の選択された部分はまだ潜在的に復号化可能である。さらに、一実施の形態では、FECデータは符号化され、後述するようにMPEG−4に準拠する方法で送信される。したがって、FECデータを処理する機能のないデコーダがFECパケットを受信した場合でも、そのデコーダは、フレーム動き及びテクスチャデータを処理することができる。
【0210】
特に、FECは、動きベクトル、DC係数、及びヘッダ情報などの重要なデータに効率良く適用され、重要でない又はあまり重要でないデータに対してはFECビットを生成しない。このより重要なデータは、パケット再同期フィールドと動きマーカーとの間に配置することができる。特に、指定されたフレーム又はVOPについては、FECコーディングをターゲットとする選択されたビットが、他のフレームパケットのビットと連結され、その連結されたビットに対してFECコードビットが生成される。
【0211】
一実施の形態では、与えられたフレーム又はVOPに対して、フレームデータと同じ1つのパケット又は複数のパケットにFECビットを含めるのではなく、得られたFECビットを通常の1つのフレーム又は複数のVOPパケットの後の追加パケットに入れ、MPEG互換性を確保する。
【0212】
さらに、データパケットが失われるか、又は動きマーカーを欠損している場合に、デコーダがきちんと復旧できるように、標準パケット毎に、FECパケット内にパケット識別子が格納され、このとき、FECビットを生成するために、何ビットを、及び/又はどのビットをどこで使用するかを示す対応する値と共に格納される。
【0213】
参照又は従来のMPEG−4デコーダとの互換性を維持するために、この追加FECパケットは、さらにユーザー定義データを識別するのに使用されるユーザーデータ識別子コード「user_data_start_code」を含んでおり、したがって、FECパケットを処理する機能を持たない従来のデコーダによって無視される。さらに、誤りがない場合、FECパケットは、FECビットを処理する機能を持つデコーダによって使用されない。しかし、誤りが発生した場合、FEC復号化により、重大な誤り状態にあっても、復号化の対象になるデータを復旧できる。
【0214】
そこで、上記のように、誤り耐性及び拡張した圧縮を実現することによって、本発明の実施の形態には、低ビットレートでノイズの多い環境であってもビデオ情報を送信できるという利点がある。例えば、本発明の実施の形態を利用すると、セルラーネットワークなどで正常にビデオ送信を実行することができる。
【0215】
本発明は、好ましいいくつかの実施の形態に関して説明されたが、当業者にとって明白な他の実施の形態も本発明の範囲内にある。
【図面の簡単な説明】
【0216】
【図1A】ビデオ配信システムを実装するためのネットワーク接続されたシステム例を示す図である。
【図1B】本発明の一実施の形態に係るエンコーダのアーキテクチャ例を示す図である。
【図1C】本発明の一実施形態に係るエンコーダのアーキテクチャ例を示す図である。
【図2A】本発明の一実施の形態と共に使用することができるリフレッシュマップ及びスキャン順序の例を示す図である。
【図2B】本発明の一実施の形態と共に使用することができるリフレッシュマップ及びスキャン順序の例を示す図である。
【図3】シーン変化を見つけるために使用されるビデオシーケンスの分析例を示す図である。
【図4A】本発明の一実施の形態に係る適応型フレームスキップの例を示す図である。
【図4B】本発明の一実施の形態に係る適応型フレームスキップの例を示す図である。
【図5】二次動き補正の使用例を示す図である。
【図6】パケット化されたビットストリームの例を示す図である。
【図7】本発明の一実施の形態に係る連続Iフレームの使用例を示す図である。
【図8A】適応型イントラリフレッシュのプロセス例を示す図である。
【図8B】適応型イントラリフレッシュのプロセス例を示す図である。
【図8C】適応型イントラリフレッシュのプロセス例を示す図である。
【図8D】適応型イントラリフレッシュのプロセス例を示す図である。
【図8E】適応型イントラリフレッシュのプロセス例を示す図である。
【図8F】適応型イントラリフレッシュのプロセス例を示す図である。
【図8G】適応型イントラリフレッシュのプロセス例を示す図である。
【図8H】適応型イントラリフレッシュのプロセス例を示す図である。
【図9】本発明の一実施の形態に係るレート制御プロセス例を示す図である。
【図10】シーンレベル再帰的ビット割り当てプロセス例を示す図である。
【図11】前方誤り訂正のオーバーヘッドと平均BER訂正能力を対比したグラフの一例を示す図である。
Claims (167)
- 符号化されたビデオ送信の誤り耐性を高める方法であって、
第1のフレームがシーン変化に対応することを示す指示を受信するステップと、
前記第1のフレームがシーン変化に対応することを示す前記指示を受信することに、少なくとも部分的に応じて前記第1のフレームをイントラコーディングするステップと、
次の連続するフレームを自動的にイントラコーディングするステップと、
前記イントラコーディングされた第1のフレーム及び前記イントラコーディングされた次の連続するフレームを送信するステップとを含む方法。 - 前記イントラコーディングされた第1のフレーム及び前記イントラコーディングされた次の連続するフレームの前記送信がMPEG−4準拠である請求項1に記載の方法。
- 前記第1のフレームがIフレームとして指定される請求項1に記載の方法。
- 前記次の連続するフレームがIフレームとして指定される請求項1に記載の方法。
- 前記次の連続するフレームがシーン変化フレームでない請求項1に記載の方法。
- 前記次の連続するフレームの直後のフレームがインターコーディングされる請求項1に記載の方法。
- 前記第1のフレームがシーン変化に対応することを示す前記指示が、ファイルから読み込まれる請求項1に記載の方法。
- ビデオコーディングコーディング装置であって、
プロセッサ読み取り可能なメモリ内に格納される、第1のフレームをイントラコーディングすることを示す指示を受信するように構成されている第1の命令と、
プロセッサ読み取り可能なメモリ内に格納される、前記指示に少なくとも部分的に応じて、前記第1のフレームをイントラコーディングするように構成されている第2の命令と、
プロセッサ読み取り可能なメモリ内に格納され、前記第1のフレームをイントラコーディングすることを指示した結果として、前記第1のフレームの直後のフレームを自動的にイントラコーディングするように構成されている第3の命令とを有する装置。 - 前記ビデオコーディングコーディング装置が集積回路である請求項8に記載のビデオコーディングコーディング装置。
- 前記ビデオコーディングコーディング装置が携帯電話である請求項8に記載のビデオコーディングコーディング装置。
- 前記ビデオコーディングコーディング装置がデスクトップコンピュータである請求項8に記載のビデオコーディングコーディング装置。
- 前記ビデオコーディング装置がパーソナルデジタルアシスタントである請求項8に記載のビデオコーディング装置。
- 前記第1のフレームがシーン変化フレームである請求項8に記載のビデオコーディング装置。
- 前記第1のフレームをイントラコーディングすることを示す前記指示を格納するために使用されるファイルをさらに有する請求項8に記載のビデオコーディング装置。
- ビデオフレームを符号化する方法であって、
第1のフレームをイントラコーディングする第1の命令を受信するステップと、
前記第1の命令への応答として前記第1のフレームをイントラコーディングするステップと、
前記第1のフレームをイントラコーディングする前記第1の命令の結果として第2のフレームをイントラコーディングするステップとを含む方法。 - 前記イントラコーディングされた第1のフレームと前記イントラコーディングされた次のフレームを送信するステップをさらに含む請求項15に記載の方法。
- 前記第1のフレームがシーン変化フレームである請求項15に記載の方法。
- 前記第2のフレームに、前記第1の命令がなかった場合にそのフレームのインターコーディングを実行させる活動レベルが設定されている請求項15に記載の方法。
- 前記第2のフレームの直後にある第3のフレームを、少なくとも部分的に前記第3のフレームの相対的視覚的動きに基づいて、コーディングするステップをさらに含む請求項15に記載の方法。
- 符号化装置であって、
第1のフレームをイントラコーディングする第1の命令を受信する手段と、
前記第1の命令への応答として前記第1のフレームをイントラコーディングする手段と、
前記第1のフレームをイントラコーディングする前記第1の命令の結果として第2のフレームをイントラコーディングする手段とを備える符号化装置。 - 前記第1のイントラコーディングされたフレームと前記第2のイントラコーディングされたフレームとを供給する手段をさらに備える請求項20に記載の符号化装置。
- 前記符号化装置が集積回路に組み込まれている請求項20に記載の符号化装置。
- 複数のフレームを含むデジタルビデオシーケンス内のシーン変化を検出する方法であって、
第2のフレームに対する第1のフレーム及び第3のフレームに対する前記第2のフレームに関して、第1の二乗平均平方根(RMS)値を計算するステップと、
前記第2のフレームに対する前記第1のフレームに関して、第1の差の絶対値の平均(MAD)値を計算するステップと、
前記第1のRMS値が第1の基準を満たしているか否かを判別するステップと、
前記第1のMAD値が第2の基準を満たしているか否かを判別するステップと、
前記第1のRMS値が前記第1の基準を満たし、前記第1のMAD値が前記第2の基準を満たしていると判断することに、少なくとも部分的に応じて、前記第2のフレームをシーン変化フレームとして指定するステップとを含む方法。 - 前記第1のRMS値が色重み付けされている請求項23に記載の方法。
- 前記第2のフレームについてIフレーム指定をファイルに格納し、第3のフレームについてPフレーム指定を前記ファイルに格納するステップをさらに含む請求項23に記載の方法。
- 前記第1のRMS値が、少なくとも部分的に、前記第1及び前記第2のフレームのピクセルの輝度値及びクロミナンス(chrominance)値に基づく請求項23に記載の方法。
- α=β=γ=1である請求項27に記載の方法。
- 輝度値を使用し、色度成分を除外して前記第1のMAD値が計算される請求項23に記載の方法。
- 前記第1の基準が第1のしきい値であり、前記第2の基準が第2のしきい値である請求項23に記載の方法。
- デジタルビデオシーケンス内のシーン変化を検出する方法であって、
第2のフレームに対する第1のフレーム及び第3のフレームに対する前記第2のフレームに関して、二階時間微分RMS値を計算するステップと、
前記二階時間微分RMS値に少なくとも部分的に基づき、前記第2のフレームがシーン変化フレームであると判断するステップとを含む方法。 - 前記第2のフレームがシーン変化フレームであるとの前記判断が、さらに、前記第1及び前記第2のフレームについて少なくとも明度情報を使用して計算された差の絶対値の平均値に基づく請求項31に記載の方法。
- 前記第2のフレームがシーン変化フレームであるとの前記判断が、さらに、第1の基準を満たすRMS値及び第2の基準を満たす前記二階時間微分RMS値の両方に基づく請求項31に記載の方法。
- 前記二階時間微分RMS値が第1のしきい値以上である請求項31に記載の方法。
- 前記二階時間微分RMS値が負であり、且つ第1の値よりも大きい絶対値を持つ場合に、前記第2のフレームがシーン変化フレームとして指定される請求項31に記載の方法。
- 第1のRMS値を計算するステップをさらに含み、前記第1のRMS値が色重み付けされ、前記第2の時間微分RMS値が時間成分にのみ基づく請求項31に記載の方法。
- 前記二階時間微分RMS値が(RMS(Fi-1,Fi)−2RMS(Fi,Fi+1)+RMS(Fi+1,Fi+2))に等しく、Fi-1が前記第1のフレームであり、Fiが前記第2のフレームであり、Fi+1が第3のフレームであり、Fi+2が第4のフレームである請求項31に記載の方法。
- ビデオシーケンス内のシーン変化を識別する装置であって、
プロセッサ読み取り可能なメモリに格納される、ビデオシーケンスの第2の部分に対する前記ビデオシーケンスの第1の部分に関して、第1の二乗平均平方根(RMS)を計算するように構成されている第1の命令と、
プロセッサ読み取り可能なメモリ内に格納される、二階時間微分RMS値を計算するように構成されている第2の命令と、
前記二階時間微分RMS値に少なくとも部分的に基づいて、前記ビデオシーケンスの第2の部分をイントラコーディングするように構成されている第3の命令とを有する装置。 - 前記第3の命令が、第1の部分及び前記第2の部分の少なくとも明度情報を使用して計算された差の絶対値の平均値に基づき、前記ビデオシーケンスの前記第2の部分をイントラコーディングするように、さらに構成されている請求項31に記載の装置。
- 前記第3の命令が、第1の基準を満たす前記RMS値及び第2の基準を満たす前記二階時間微分RMS値の両方に、少なくとも部分的に応じて、前記ビデオシーケンスの前記第2の部分をイントラコーディングするように、さらに構成されている請求項31に記載の装置。
- 前記第3の命令が、前記第2の部分をIフレームとしてコーディングすることを指示するフラグを、プロセッサ読み取り可能なメモリ内に格納するように、さらに構成されている請求項31に記載の装置。
- 前記第1の部分が第1のフレームであり、前記第2の部分が第2のフレームである請求項31に記載の装置。
- 前記二階時間微分RMS値が負であり、且つその絶対値が第1の値よりも大きい場合に、前記第3の命令が、前記第1の部分をシーン変化を含むものとして識別する請求項31に記載の方法。
- 前記第1のRMS値が色重み付けされている請求項31に記載の方法。
- 前記装置が集積回路である請求項31に記載の装置。
- ビデオシーケンスのどの部分がイントラコーディングされるべきかを決定する方法であって、
ビデオシーケンスの第1の部分に対する第1の二乗平均平方根(RMS)値を計算するステップと、
前記ビデオシーケンスの前記第1の部分に関する第1の差の絶対値の平均(MAD)を計算するステップと、
前記第1のRMS値が第1の基準を満たしているか否かを判別するステップと、
前記第1のMAD値が第2の基準を満たしているか否かを判別するステップと、
前記第1のMAD値が第3の基準を満たしているか否かを判別するステップと、
前記第1、前記第2、及び前記第3の基準のうちの少なくとも2つが満たされていることに、少なくとも部分的に応じて、イントラコーディング処理を実行させるステップとを含む方法。 - 前記第3の基準が、前記MAD値が極大値であることである請求項46に記載の方法。
- 前記ビデオシーケンスの前記第1の部分が第1のフレームを含む請求項46に記載の方法。
- 前記ビデオシーケンスの前記第1の部分が第1のGOVを含む請求項46に記載の方法。
- 前記ビデオシーケンスの前記第1の部分が第1のGOPを含む請求項46に記載の方法。
- シーン変化検出装置であって、
第1のフレーム情報入力及びRMS出力を備え、前記第1のフレーム情報入力で受信したフレーム情報に基づき、少なくとも2つのフレームの間の差の二乗平均平方根(root mean squared differences)情報に対応する値を前記RMS出力から出力するように構成されているRMS回路と、
第2のフレーム情報入力及びMAD出力を備え、前記第2のフレーム情報入力で受信したフレーム情報に基づき、少なくとも2つのフレームの間の差の絶対値の平均(mean absolute differences)情報に対応する値を前記MAD出力から出力するように構成されているMAD回路と、
前記RMS出力及び前記MAD出力に結合され、差の二乗平均平方根情報に対応する値及び差の絶対値の平均情報に対応する値に少なくとも部分的に基づいて、シーン変化フレームを検出し、シーン変化の指定を行うように構成されているエバリュエータ回路とを備えるシーン変化検出装置。 - 第3の情報入力及び二階微分RMS出力を備える二階微分RMS回路をさらに備え、
前記二階微分RMS回路が、前記第3のフレーム情報入力で受信したフレーム情報に基づいて、前記二階微分RMS出力で差の二乗平均平方根の二階微分(second derivative root mean squared differences)情報に対応する値を出力するように構成され、
前記二階微分RMS出力が前記エバリュエータ回路に結合されている請求項50に記載の装置。 - ビデオシーケンスとともに使用するビット割り当て方法であって、
少なくとも第1のクリップに対するクリップビット割当値を受信するステップと、
前記第1のクリップに対するシーン量を決定するステップと、
前記第1のクリップの第1のシーン内の予測フレームの量を決定するステップと、
前記第1のクリップに対する前記シーンの量、前記第1のクリップビット割当値、前記第1のシーン内のイントラコーディングフレームの量、及び前記第1のシーン内の予測フレームの量に少なくとも部分的に基づいて、前記第1のシーンのビット割当値を計算するステップとを含むビット割り当て方法。 - 前記第1のクリップ内の各シーンが、イントラコーディングフレームから始まる請求項53に記載のビット割り当て方法。
- 前記クリップビット割当値に予測フレームの数と第1の定数との和を乗算し、前記クリップ内のイントラコーディングフレーム及び予測フレームの量と第2の定数を乗算したクリップシーンの数との和で除算することに、少なくとも部分的に基づいて、前記ビット割当値を計算する請求項53に記載のビット割り当て方法。
- 前記第1のシーンがGOVである請求項53に記載のビット割り当て方法。
- 前記第1のシーンがGOPである請求項53に記載のビット割り当て方法。
- 前記予測フレームがP−VOPである請求項53に記載のビット割り当て方法。
- 前記第1のシーンの前記ビット割当値及び現在のビット使用度に基づいて、前記第1のシーン内の第1の予測フレームについて量子化パラメータを調整するステップをさらに含む請求項53に記載のビット割り当て方法。
- 前記量子化パラメータの前記調整が第1の範囲に制限される請求項59に記載のビット割り当て方法。
- 現在のビット使用度が前記第1のシーンの前記ビット割当値に関係する値よりも大きいという判断に、少なくとも部分的に応じて、前記第1のシーン内の第1の予測フレームの量子化パラメータを上方向に調整するステップを、さらに含む請求項53に記載のビット割り当て方法。
- 現在のビット使用度が前記第1のシーンの前記ビット割当値に関係する値よりも小さいという判断に、少なくとも部分的に応じて、前記第1のシーン内の第1の予測フレームの量子化パラメータを下方向に調整するステップを、さらに含む請求項53に記載のビット割り当て方法。
- チャネルレートに少なくとも部分的に基づいて、マクロブロックの量子化パラメータを調整するステップを、さらに含む請求項53に記載のビット割り当て方法。
- ビデオクリップシーンとともに使用するビット割り当て方法であって、
第1のシーンに関するビット割当値を計算するステップと、
前記第1のシーン内の少なくとも第1のフレームを含む対応するフレームに関するビット割当値を計算するステップと、
前記第1のフレーム内のマクロブロックに対応するビット割当値を計算するステップとを含むビット割り当て方法。 - 前記第1のシーンがGOPである請求項64に記載のビット割り当て方法。
- 前記第1のシーンがGOVである請求項64に記載のビット割り当て方法。
- 前記第1のシーンに関する前記ビット割当値が、前記第1のシーンの複雑度判別に少なくとも部分的に基づく請求項64に記載のビット割り当て方法。
- 前記第1のシーンに関する前記ビット割当値が、前記第1のシーンの複雑度判別及び複数のシーンの平均複雑度に少なくとも部分的に基づく請求項64に記載のビット割り当て方法。
- 前記第1のシーンに関する前記ビット割当値が、バッファ状態に少なくとも部分的に基づく請求項64に記載のビット割り当て方法。
- 前記第1のフレームに関する前記ビット割当値が、量子化パラメータ不変基準に少なくとも部分的に基づく請求項64に記載のビット割り当て方法。
- 前記第1のフレームに関する前記ビット割当値が、前記第1のフレーム内にあるテクスチャビットの数及び前記第1のフレームに対する動きベクトルビットの数に少なくとも部分的に基づく請求項64に記載のビット割り当て方法。
- 前記第1のフレームに関する前記ビット割当値がさらに、第2のフレームに対する前記第1のフレームに対応する差の絶対値の平均値に基づく請求項71に記載のビット割り当て方法。
- 前記第1のフレームに関する前記ビット割当値が、前記第1のシーンの前記ビット割当値、前記第1のシーン内のすでにコーディングされているフレームに使用されているビット量、前記第1のシーンの複雑度、及び前記第1のシーン内のすでにコーディングされているフレームの複雑度に、少なくとも部分的に基づく請求項64に記載のビット割り当て方法。
- 1つの量子化パラメータ値を使用して前記第1のフレーム内の全てのマクロブロックを量子化する請求項64に記載のビット割り当て方法。
- 量子化パラメータが、現在のビット使用度及び割当値が設定されたビット使用度に、少なくとも部分的に基づき前記第1のフレームマクロブロックに関して変えられる請求項64に記載のビット割り当て方法。
- ビットを割り当てる装置であって、
第1のシーン内に含まれるイントラコーディングフレームの数、前記第1のシーンに対する複雑度の判別、及び前記第1のシーン内に含まれるインターコーディングフレームの数に、少なくとも部分的に基づいて、前記第1のシーンに対する第1のビット割当値を割り当てるように構成されている第1の命令と、
現在のビット使用度及び目標ビット使用度に少なくとも部分的に基づいて、前記第1のシーン内のフレームにビット割当値を割り当てるように構成されている第2の命令とを有する装置。 - 前記現在のビット使用度及び前記目標ビット使用度に少なくとも部分的に基づいて、前記フレーム内のマクロブロックの量子化を変える請求項76に記載の装置。
- 前記第1のシーン内の前記第1のフレームをイントラコーディングする請求項76に記載の装置。
- 前記第1の命令が、前記インターコーディングフレームに割り当てる重みよりも大きい重みを前記インターコーディングフレームに割り当てる請求項76に記載の装置。
- 前記装置が集積回路である請求項76に記載の装置。
- ビット割当値を計算する装置であって、
少なくとも第1のビデオシーケンスに対するビット割当値を受信するように構成されている第1の命令と、
前記第1のビデオシーケンスに対するシーン量を決定するように構成されている第2の命令と、
前記第1のビデオシーケンスの第1のシーン内の予測フレーム数を決定するように構成されている第3の命令と、
前記第1のクリップの前記シーン量、前記第1のクリップビット割当値、前記第1のシーン内のイントラコーディングフレーム量、及び前記第1のシーン内の予測フレーム量に、少なくとも部分的に基づいて、前記第1のシーンに対するビット割当値を決定するように構成されている第4の命令とを有する装置。 - 前記第1のシーンがGOVである請求項81に記載の装置。
- 前記第1のシーンに対する前記ビット割当値が、バッファ状態に少なくとも部分的に基づく請求項81に記載の装置。
- 前記第1のフレーム内にあるテクスチャビット数及び前記第1のフレームに対する動きベクトルビット数に少なくとも部分的に基づいて、第1のフレームに対するビット割当値を決定するように構成されている第5の命令を、さらに有する請求項81に記載の装置。
- 前記第1のシーン内の第1のフレームのマクロブロックについて量子化パラメータを決定するように構成されている第5の命令を、さらに有する請求項81に記載の装置。
- 前記装置が集積回路である請求項81に記載の装置。
- 符号化プロセスの実行中にスキップするビデオシーケンスフレームを選択する方法であって、
一連のフレームを受信するステップと、
前記一連のフレームの少なくとも一部の中のフレーム毎に、前記各フレームを挟むフレーム間の時間パラメータで重み付けされた対応する差の絶対値の平均を求めるステップと、
フレーム毎に計算で求めた時間パラメータで重み付けされた前記対応する差の絶対値の平均に、少なくとも部分的に基づいて、前記フレーム列内の第1のフレームをスキップするステップとを含む方法。 - ターゲットフレームレートを受信するステップと、
前記第1のフレームをスキップした場合に目標フレームレートの条件が満たされるか否かを判別するステップとをさらに含む請求項87に記載の方法。 - 少なくとも一部は前記第1のフレームがスキップされた場合に前記目標フレームレートの条件が満たされていないと判断したことに対する応答として、前記第2のフレームを挟むフレーム間の第2の時間パラメータによって重み付けされた第2の対応する差の絶対値の平均値に、少なくとも部分的に基づいて、スキップ対象の第2のフレームを選択するステップを含む請求項88に記載の方法。
- スキップできる連続するフレーム数を第1の量に制限するステップをさらに含む請求項87に記載の方法。
- 第1のイントラコーディングフレームがスキップ対象から除外される請求項87に記載の方法。
- 前記一連のフレーム内の最後のフレームがスキップ対象から除外される請求項87に記載の方法。
- 前記第1のスキップされるフレームのヘッダを供給し、前記第1のフレームがコーディングされないことを指示するフラグをセットするステップをさらに含む請求項87に記載の方法。
- ビデオシーケンス内のスキップするフレームを決定する方法であって、
第1のフレームレート目標を受信するステップと、
ビデオシーケンスシーン内の前記第1のフレームと最後のフレームとの間にある、スキップする第1の潜在的フレームを選択するステップと、
前記第1の潜在的フレームをスキップしたことによって生じる視覚的影響に関係する、スキップする前記第1の潜在的フレームの第1のコスト値を計算するステップと、
前記第1のコスト値をコンピュータ読み取り可能なメモリ内に格納するステップと、
前記第1のフレームと前記最後のフレームとの間にある、スキップする第2の潜在的フレームを選択するステップと、
スキップする前記第2の潜在的フレームの第2のコスト値を計算するステップと、
前記第2のコスト値をコンピュータ読み取り可能なメモリ内に格納するステップと、
前記第1のフレームと前記最後のフレームとの間にある、スキップする第3の潜在的フレームを選択するステップと、
スキップする前記第3の潜在的フレームの第3のコスト値を計算するステップと、
前記第3のコスト値をコンピュータ読み取り可能なメモリ内に格納するステップと、
前記第1のコスト値、前記第2のコスト値、及び前記第3のコスト値の中のどれがコスト最小であるかを決定するステップと、
前記最小コスト値に対応する前記第1、前記第2、及び前記第3の潜在的フレームの中の1つをスキップするステップと、
前記第1のフレームレート目標が満たされているか否かを判別するステップと、
前記第1のフレームレート目標が満たされていないと判別した場合、そのことに少なくとも部分的に応じて、前記第1、前記第2、及び前記第3の潜在的フレームから残りのフレームと関連するコスト値を再計算し、前記再計算されたコスト値が最小である前記残りのフレームの中の1つをスキップするステップとを含む方法。 - 前記第1のコスト値が、差の絶対値の平均(MAD)値及び前記第1のフレームとスキップされる可能性のある前記第2のフレームとの時間差に、少なくとも部分的に基づく請求項94に記載の方法。
- 前記MAD値の判別の際に、前記第1のフレームとスキップされる可能性のある前記第2のフレーム内のピクセルの一部のみを評価する請求項95に記載の方法。
- 前記時間差がNTSCフレームレートに正規化される請求項95に記載の方法。
- 連続的にスキップできるフレーム数が第1の数に制限される請求項94に記載の方法。
- スキップされるフレーム毎にヘッダを供給するステップをさらに含む請求項94に記載の方法。
- 一連のビデオパケット内の全てのパケットでシーケンス情報を含むヘッダ拡張コード(HEC)を送信するステップをさらに含む請求項94に記載の方法。
- 符号化プロセスの実行中にスキップするイメージフレームを選択する方法であって、
第1のフレームを含む一連のフレームを受信するステップと、
前記第1のフレームの境界となるフレームの間の時間差及び明度差に関係する第1の時間パラメータを含む、前記第1のフレームに対する第1のコスト関数値を計算するステップと、
第2のフレームの境界となるフレームの間の時間差及び明度差に関係する第2の時間パラメータを含む、前記第2のフレームに対する第2のコスト関数値を計算するステップと、
前記第1のコスト関数値と前記第2のコスト関数値とに少なくとも部分的に基づいて、前記第1のフレーム及び前記第2のフレームのうちのスキップする1つを選択するステップとを含む方法。 - 目標フレームレートを受信するステップと、
前記第1のフレーム及び前記第2のフレームのうちの1つをスキップする場合に前記目標フレームレートの条件が満たされるか否か判別するステップとをさらに含む請求項101に記載の方法。 - 平均差平均関数(mean of average difference function)を使用して前記第1のフレームに隣接するフレーム間の明度差を定義する請求項101に記載の方法。
- スキップできる連続するフレーム数を第1の量に制限するステップをさらに含む請求項101に記載の方法。
- 前記第1の時間パラメータが第1のフレームレートに正規化される請求項101に記載の方法。
- 一連のフレーム内のスキップするビデオフレームを選択するように構成されているプロセッサ回路であって、
前記一連のフレームの一部分の中の各々のフレームを挟むフレーム間の時間パラメータで重み付けされた対応する差の絶対値の平均値を前記一連のフレームの少なくとも一部の中の前記各々のフレームについて計算するように構成されている第1の命令と、
前記時間パラメータで重み付けされた前記対応する差の絶対値の平均値に、少なくとも部分的に基づいて、スキップする第1のフレームを指定するように構成されている第2の命令とを有するプロセッサ回路。 - 前記第1のフレームがスキップされると仮定したときに目標フレームレートの条件が満たされるか否かを判別するように構成されている第3の命令をさらに有する請求項106に記載のプロセッサ回路。
- スキップできる連続するフレーム数を第1の量に制限するように構成される第3の命令をさらに有する請求項106に記載のプロセッサ回路。
- フレームレート制御装置であって、
目標フレームレートを受信するように構成されている第1の命令と、
一連のフレーム内の第1のフレームに対する第1のコスト関数値を計算するように構成されている第2の命令であって、前記第1のコスト関数値が、前記第1のフレームに隣接する前記一連のフレーム内のフレーム間の時間差及び明度差に関係する第1の時間パラメータに、少なくとも部分的に基づく前記第2の命令と、
前記一連のフレーム内の第2のフレームに対する第2のコスト関数値を計算するように構成されている第3の命令であって、前記第2のコスト関数値が、前記第2のフレームに隣接する前記一連のフレーム内のフレーム間の時間差及び明度差に関係する第2の時間パラメータに、少なくとも部分的に基づく第3の命令と、
前記第1のコスト関数値と前記第2のコスト関数値に少なくとも部分的に基づいて、前記第1のフレーム及び前記第2のフレームのうちのスキップする一方を選択するように構成されている第4の命令と、
前記第1のフレーム及び前記第2のフレームのうちの選択された一方がスキップされる場合に、前記目標フレームレートが満たされるか否かを判別するように構成されている第5の命令とを有するフレームレート制御装置。 - 前記フレームレート制御装置が集積回路である請求項109に記載のフレームレート制御装置。
- 平均差平均関数を使用して前記第1のフレームに隣接するフレーム間の明度差を定義する請求項109に記載のフレームレート制御装置。
- 複数のフレームパケットについて前方誤り訂正(FEC)を実行する方法であって、
第1のフレームに関する複数のフレームパケットに対応するパケットデータの選択された部分を連結するステップと、
パケットデータの前記連結され選択された部分に対する前方誤り訂正ビットを生成するステップと、
ユーザーデータ識別子コードで識別された別々のパケット中で前方誤り訂正ビットを送信するステップとを含む方法。 - 前記別のパケット中での前記前方誤り訂正ビットの前記送信がMPEG−4準拠である請求項112に記載の方法。
- 前記別のパケットが前記複数のフレームパケットの後に送信される請求項112に記載の方法。
- BCHコードを使用して前記前方誤り訂正ビットが生成される請求項112に記載の方法。
- 体系的コードを使用して前記前方誤り訂正ビットが生成される請求項112に記載の方法。
- パケットデータの前記選択された部分が動きベクトルデータ及びDCTデータを含む請求項112に記載の方法。
- パケットデータの前記選択された部分がヘッダデータ、動きベクトルデータ、及びDCTデータのみを含む請求項112に記載の方法。
- パケットデータの前記選択された部分が再同期フィールドと動きマーカーとの間に置かれたパケットデータに対応する請求項112に記載の方法。
- 固定ビデオオブジェクトプレーン(VOP)の増分を使用することを指示するフラグをセットするステップと、
対応する固定時間増分値を与えるステップとをさらに含む請求項112に記載の方法。 - 前記前方誤り訂正ビットが生成された前記第1のパケット内のある量のビットに関係する前記複数のフレームパケットのうちの少なくとも第1のパケットに対する値を、前記別のパケット中で送信することを含む請求項112に記載の方法。
- 誤り訂正生成回路であって、
対応する複数のフレームパケット中で送信されるパケットデータの選択された部分に対する前方誤り訂正データを生成するように構成されている、プロセッサ読み取り可能なメモリ内に格納される第1の命令と、
前記複数のフレームパケットと別の第1のパケット内に前記前方誤り訂正データを格納するように構成されているプロセッサ読み取り可能なメモリに格納される第2の命令と、
第1のデータ識別子コードで前記第1のパケットを識別するように構成されている、プロセッサ読み取り可能なメモリ内に格納される第3の命令とを有する誤り訂正生成回路。 - 前記第1の命令が前記前方誤り訂正データを生成する前に、パケットデータの選択した部分を連結するように構成されている第4の命令をさらに有する請求項122に記載の誤り訂正生成回路。
- 固定ビデオオブジェクトプレーン(VOP)の増分を使用することを指示するフラグをセットし、対応する固定時間増分値を与えるように構成されている第4の命令をさらに備える請求項122に記載の誤り訂正生成回路。
- 第1の一連のパケット内の全てのパケット中でヘッダ拡張コード(HEC)を供給するように構成されている第4の命令をさらに有する請求項122に記載の誤り訂正生成回路。
- 前記誤り訂正生成回路が集積回路である請求項122に記載の誤り訂正生成回路。
- 前記第1のパケットがMPEG−4準拠である請求項122に記載の誤り訂正生成回路。
- BCHコードを使用して、前記前方誤り訂正データが生成される請求項122に記載の誤り訂正生成回路。
- 体系的コードを使用して、前記前方誤り訂正データが生成される請求項122に記載の誤り訂正生成回路。
- パケットデータの前記選択された部分が動きベクトルデータ及びDCTデータを含む求項122に記載の誤り訂正生成回路。
- パケットデータの前記選択された部分が、ヘッダデータ、動きベクトルデータ、及びDCTデータのみを含む求項122に記載の誤り訂正生成回路。
- パケットデータの前記選択された部分が、再同期フィールドと動きマーカーとの間に置かれたパケットデータに対応する求項122に記載の誤り訂正生成回路。
- エンコーダ回路であって、
複数のフレームパケットから選択されたパケットデータの部分について前方誤り訂正データを生成する手段と、
前記複数のフレームパケットと別の第1のパケット内に前記前方誤り訂正データを格納する手段と、
第1のデータ識別子コードで前記第1のパケットを識別する手段とを備えるエンコーダ回路。 - 前記選択されたパケットデータの部分を連結する手段をさらに備える請求項133に記載のエンコーダ。
- 前方誤り訂正ビットが生成された前記第1のパケット内のある量のビットに関係する少なくとも第1の値を前記第1のパケット中で送信する手段をさらに備える請求項133に記載のエンコーダ。
- 適応型イントラリフレッシュを実行する方法であって、
パケット損失確率値を受信するステップと、
第1のフレーム内の第1のマクロブロックの動きベクトルを受信するステップと、
前のフレーム内の他の複数のマクロブロックの一部に、前記動きベクトルをマッピングするステップと、
前記マッピングに少なくとも部分的に基づいて、少なくとも第1の遷移係数値を計算するステップと、
少なくとも前記パケット損失確率値及び前記第1の遷移係数値に基づいて、前記第1のマクロブロックの推定インター歪み(inter distortion)値を計算するステップと、
少なくとも前記パケット損失確率値に基づいて前記第1のマクロブロックの推定イントラ歪み(intra distortion)値を計算するステップと、
前記第1のマクロブロックをイントラコーディングするために使用するビット量に対応する第1のビット量値を受信するステップと、
前記第1のマクロブロックをインターコーディングするために使用するビット量に対応する第2のビット量値を受信するステップと、
前記推定インター歪み値、前記推定イントラ歪み値、前記第1のビット量値、及び前記第2のビット量値に、少なくとも部分的に基づいて、前記第1のマクロブロックをイントラマクロブロック及びインターマクロブロックのうちの1つとして送信するステップとを含む方法。 - 量子化歪み値に一部基づいて前記第1のマクロブロックをイントラマクロブロック及びインターマクロブロックのうちの1つとして送信するステップをさらに含む請求項136に記載の方法。
- 前記推定インター歪み値と前記推定イントラ歪み値との差に基づいて第1の差の値を、前記第1のビット量値と前記第2のビット量値との差に基づいて第2の差の値を、決定するステップをさらに含む請求項136に記載の方法。
- 前記第2の差の値が正であること、及び前記第1の差の値を前記第2の差の値で除算して得られる値が負で、その絶対値が第1のしきい値よりも大きいことに、少なくとも部分的に応じて、前記第1のマクロブロックをイントラマクロブロックとして送信する請求項137に記載の方法。
- 前記第2の差の値が0であること、及び前記第1の差の値が負であることに、少なくとも部分的に応じて、前記第1のマクロブロックをイントラマクロブロックとして送信する請求項137に記載の方法。
- 前記第2の差の値が負であること、及び前記第1の差の値を前記第2の差の値で除算して得られる値が第1のしきい値よりも大きいことに、少なくとも部分的に応じて、前記第1のマクロブロックをイントラマクロブロックとして送信する請求項137に記載の方法。
- 前記第1のしきい値が重み係数である請求項141に記載の方法。
- 前記第2の差の値が0であること、及び前記第1の差の値が正であることに、少なくとも部分的に応じて、前記第1のマクロブロックをインターマクロブロックとして送信する請求項137に記載の方法。
- 前記第2の差の値が負であること、及び前記第1の差の値を前記第2の差の値で除算して得られた値が第1のしきい値よりも小さいことに、少なくとも部分的に応じて、前記第1のマクロブロックをイントラマクロブロックとして送信する請求項137に記載の方法。
- 前記第2の差の値が正であること、及び前記第1の差の値を前記第2の差の値で除算して得られた値が第1のしきい値よりも小さいことに、少なくとも部分的に応じて、前記第1のマクロブロックをイントラマクロブロックとして送信する請求項137に記載の方法。
- 前記推定イントラ歪み値がさらに初期誤りエネルギーに基づく請求項136に記載の方法。
- 前記推定イントラ歪み値が、前記パケット損失確率値で乗算され、平方された初期誤りエネルギーにさらに基づく請求項136に記載の方法。
- 前記推定インター歪み値が、再帰的に計算され、複数の前のフレームから伝搬される歪みを含む請求項136に記載の方法。
- 前記第1の遷移係数が、第1の半ピクセル水平垂直伝搬強度に対応する請求項136に記載の方法。
- 前記第1の遷移係数が第1の半ピクセル水平強度に対応する請求項136に記載の方法。
- 前記第1の遷移係数が第1の半ピクセル垂直伝搬強度に対応する請求項136に記載の方法。
- 前記第1のフレーム内でイントラコーディングされるマクロブロックの数を第1の量に制限するステップをさらに含む請求項136に記載の方法。
- マクロブロックを選択的にイントラコーディングする方法であって、
パケット損失確率値を受信するステップと、
第1のフレーム内の第1のマクロブロックの動きベクトルを受信するステップと、
少なくとも部分的に前記動きベクトルに基づいて、前記第1のマクロブロックを予測する際に前のフレーム内でどの部分のマクロブロックを使用するかを決定するステップと、
前記第1のマクロブロックを予測する際に前記前のフレーム内でどの部分のマクロブロックを使用するかを決定することに、少なくとも部分的に基づいて、少なくとも第1の伝搬強度を計算するステップと、
少なくとも前記パケット損失確率値及び前記第1の伝搬強度値に基づいて前記第1のマクロブロックの推定インター歪み値を計算するステップと、
少なくとも前記パケット損失確率値に基づいて前記第1のマクロブロックの推定イントラ歪み値を計算するステップと、
前記第1のマクロブロックの量子化歪み値を計算するステップと、
前記第1のマクロブロックをイントラコーディングするために使用するビット量に対応する第1のビット量値を受信するステップと、
前記第1のマクロブロックをインターコーディングするために使用するビット量に対応する第2のビット量値を受信するステップと、
前記推定インター歪み値、前記推定イントラ歪み値、前記量子化歪み値、前記第1のビット量値、前記第2のビット量値に少なくとも部分的に基づいて、前記第1のマクロブロックを、送信のためにイントラマクロブロック及びインターマクロブロックのうちの1つとして供給するステップとを含む方法。 - 前記推定イントラ歪み値が、初期誤りエネルギーにさらに基づく請求項153に記載の方法。
- 前記推定インター歪み値が、再帰的に計算され、複数の前のフレームから伝搬される歪みを含む請求項153に記載の方法。
- 前記推定イントラ歪み値が、前記パケット損失確率値で乗算され、平方された初期誤りエネルギーにさらに基づく請求項153に記載の方法。
- 前記第1のマクロブロックが、さらに重み係数に基づいて、イントラマクロブロック及びインターマクロブロックのうちの1つとして供給するステップを含む請求項153に記載の方法。
- 前記重み係数が、少なくとも部分的に、対応する異なる量子化パラメータを使用して複数のイントラ歪み値を計算し、第1のビットレート条件を満たす最小の歪み値となる重み係数値を選択することによって、生成される請求項157に記載の方法。
- 第1のフレーム内の複数のマクロブロック内のマクロブロックを選択的にイントラコーディングする方法であって、
パケット損失確率値を受信するステップと、
複数のマクロブロック内の各々のマクロブロックの対応する動きベクトルを受信するステップと、
少なくとも部分的に前記対応する動きベクトルに基づき、各々の前記マクロブロックを予測する際に前のフレーム内のどの部分のマクロブロックを使用するかを決定するステップと、
各々の前記マクロブロックを予測する際に前記前のフレーム内のどの部分のマクロブロックを使用するかを決定したことに、少なくとも部分的に基づいて、各々の前記マクロブロックについて少なくとも第1の対応する伝搬強度値を計算するステップと、
少なくとも前記パケット損失確率値及び前記対応する第1の伝搬強度値に基づいて、各々の前記マクロブロックについて前記推定インター歪み値を計算するステップと、
少なくとも前記パケット損失確率値に基づいて、各々の前記マクロブロックについて推定イントラ歪み値を計算するステップと、
各々の前記マクロブロックについて、量子化歪み値を計算するステップと、
前記複数のマクロブロック内の各々のマクロブロックの前記推定インター歪み値、前記推定イントラ歪み値、及び前記量子化歪み値に、少なくとも部分的に基づいて、前記複数のマクロブロックのサブセットをイントラコーディングの対象として指定するステップとを含む方法。 - 前記サブセットが所定数のマクロブロックに制限される請求項159に記載の方法。
- 前記マクロブロック毎に、前記各マクロブロックをイントラコーディングするために使用されるビット量に対応する第1のビット量値を受信するステップと、
前記マクロブロック毎に、前記各マクロブロックをインターコーディングするために使用されるビット量に対応する第2のビット量値を受信するステップとをさらに含み、
前記サブセットが、前記第1のビット量値及び前記第2のビット量値に部分的に基づいて指定される請求項項159に記載の方法。 - マクロブロックの選択的にイントラコーディングするように構成された回路であって、
パケット損失確率値を受信するように構成されている第1の命令と、
第1のフレーム内の第1のマクロブロックの動きベクトルを受信するように構成されている第2の命令と、
少なくとも部分的に前記動きベクトルに基づき、前記第1のマクロブロックを予測する際に前のフレーム内でどの部分のマクロブロックを使用するかを決定するように構成されている第3の命令と、
前記第1のマクロブロックを予測する際に前記前フレーム内でどの部分のマクロブロックを使用するかを決定したことに、少なくとも部分的に基づいて、少なくとも第1の伝搬強度を計算するように構成されている第4の命令と、
少なくとも前記パケット損失確率値及び前記第1の伝搬強度値に基づいて、前記第1のマクロブロックの推定インター歪み値を計算するように構成されている第5の命令と、
少なくとも前記パケット損失確率値に基づいて、前記第1のマクロブロックの推定イントラ歪み値を計算するように構成されている第6の命令と、
前記推定歪間値及び前記推定歪内値に少なくとも部分的に基づいて、前記第1のマクロブロックを、送信するためにイントラマクロブロック及びインターマクロブロックの何れかとして選択的に供給するように構成されている第7の命令とを有する回路。 - 前記イントラ歪み値が、さらに初期誤りエネルギーに基づく請求項162に記載の回路。
- 前記第1のマクロブロックの量子化歪み値を計算するようにさらに構成されている第8の命令を備え、
前記第7の命令がさらに、少なくとも部分的に前記量子化歪み値に基づいて、前記第1のマクロブロックを、送信するためにイントラマクロブロック及びインターマクロブロックの何れかとして選択的に供給するように構成されている請求項162に記載の回路。 - 前記第5の命令が、前記推定インター歪み値を再帰的に計算するように構成され、それによって前記推定インター歪み値が複数の前のフレームから伝搬される歪みを含む請求項162に記載の回路。
- 前記イントラ歪み値が、前記パケット損失確率値で乗算され、平方された初期誤りエネルギーにさらに基づく請求項162に記載の回路。
- 前記第7の命令が、重み係数に少なくとも部分的に基づいて、前記第1のマクロブロックを、送信するためにイントラマクロブロック及びインターマクロブロックの何れかとして選択的に供給するようにさらに構成されている請求項162に記載の回路。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US27344301P | 2001-03-05 | 2001-03-05 | |
US27585901P | 2001-03-14 | 2001-03-14 | |
US28628001P | 2001-04-25 | 2001-04-25 | |
PCT/US2002/006726 WO2002071639A1 (en) | 2001-03-05 | 2002-03-05 | Systems and methods for error resilient encoding |
Related Child Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008126533A Division JP2008278505A (ja) | 2001-03-05 | 2008-05-13 | 複数のフレームパケットについて前方誤り訂正(fec)を実行する方法 |
JP2008126503A Division JP2008259229A (ja) | 2001-03-05 | 2008-05-13 | 符号化装置 |
JP2008126531A Division JP2008236789A (ja) | 2001-03-05 | 2008-05-13 | 符号化プロセスの実行中にスキップするビデオシーケンスフレームを選択する方法 |
JP2008126527A Division JP2008259230A (ja) | 2001-03-05 | 2008-05-13 | 複数のフレームを含むデジタルビデオシーケンス内のシーン変化を検出する方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004532540A true JP2004532540A (ja) | 2004-10-21 |
Family
ID=27402570
Family Applications (10)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002570518A Pending JP2004528752A (ja) | 2001-03-05 | 2002-03-05 | ビデオデコーダにおけるエラー復元システム及び復元方法 |
JP2002570430A Pending JP2004531925A (ja) | 2001-03-05 | 2002-03-05 | 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法 |
JP2002570429A Pending JP2004532540A (ja) | 2001-03-05 | 2002-03-05 | 誤り耐性のある符号化のためのシステム及び方法 |
JP2008126503A Pending JP2008259229A (ja) | 2001-03-05 | 2008-05-13 | 符号化装置 |
JP2008126531A Pending JP2008236789A (ja) | 2001-03-05 | 2008-05-13 | 符号化プロセスの実行中にスキップするビデオシーケンスフレームを選択する方法 |
JP2008126533A Pending JP2008278505A (ja) | 2001-03-05 | 2008-05-13 | 複数のフレームパケットについて前方誤り訂正(fec)を実行する方法 |
JP2008126527A Pending JP2008259230A (ja) | 2001-03-05 | 2008-05-13 | 複数のフレームを含むデジタルビデオシーケンス内のシーン変化を検出する方法 |
JP2008161115A Pending JP2008306735A (ja) | 2001-03-05 | 2008-06-20 | データバッファ回路、および、ビデオビットストリームからの情報にアクセスする方法 |
JP2008161107A Pending JP2008306734A (ja) | 2001-03-05 | 2008-06-20 | ビデオデコーダ、その中でエラーを隠蔽する方法、および、ビデオ画像を生成する方法 |
JP2008161110A Pending JP2009005357A (ja) | 2001-03-05 | 2008-06-20 | 部分的に破損したビデオパケットから有用なデータを回復するように適合された回路、データを回復する方法、破損したビデオデータを再構築するように適合されたビデオデコーダ、または、ビデオビットストリームを復号する方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002570518A Pending JP2004528752A (ja) | 2001-03-05 | 2002-03-05 | ビデオデコーダにおけるエラー復元システム及び復元方法 |
JP2002570430A Pending JP2004531925A (ja) | 2001-03-05 | 2002-03-05 | 圧縮されたビデオビットストリームにおける冗長な動きベクトルを符号化し復号するシステム及び方法 |
Family Applications After (7)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008126503A Pending JP2008259229A (ja) | 2001-03-05 | 2008-05-13 | 符号化装置 |
JP2008126531A Pending JP2008236789A (ja) | 2001-03-05 | 2008-05-13 | 符号化プロセスの実行中にスキップするビデオシーケンスフレームを選択する方法 |
JP2008126533A Pending JP2008278505A (ja) | 2001-03-05 | 2008-05-13 | 複数のフレームパケットについて前方誤り訂正(fec)を実行する方法 |
JP2008126527A Pending JP2008259230A (ja) | 2001-03-05 | 2008-05-13 | 複数のフレームを含むデジタルビデオシーケンス内のシーン変化を検出する方法 |
JP2008161115A Pending JP2008306735A (ja) | 2001-03-05 | 2008-06-20 | データバッファ回路、および、ビデオビットストリームからの情報にアクセスする方法 |
JP2008161107A Pending JP2008306734A (ja) | 2001-03-05 | 2008-06-20 | ビデオデコーダ、その中でエラーを隠蔽する方法、および、ビデオ画像を生成する方法 |
JP2008161110A Pending JP2009005357A (ja) | 2001-03-05 | 2008-06-20 | 部分的に破損したビデオパケットから有用なデータを回復するように適合された回路、データを回復する方法、破損したビデオデータを再構築するように適合されたビデオデコーダ、または、ビデオビットストリームを復号する方法 |
Country Status (5)
Country | Link |
---|---|
US (23) | US6970506B2 (ja) |
EP (3) | EP1374578A4 (ja) |
JP (10) | JP2004528752A (ja) |
AU (1) | AU2002245609A1 (ja) |
WO (3) | WO2002071640A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006333249A (ja) * | 2005-05-27 | 2006-12-07 | Canon Inc | 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体 |
JP2007028617A (ja) * | 2005-07-13 | 2007-02-01 | Polycom Inc | ビデオ誤り隠蔽法 |
WO2008053557A1 (en) * | 2006-11-02 | 2008-05-08 | Pioneer Corporation | Moving picture re-encoding device, moving picture re-encoding method, moving picture re-encoding program, and recording medium containing the moving picture re-encoding program |
JP2009540636A (ja) * | 2006-06-09 | 2009-11-19 | トムソン ライセンシング | ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法及び装置 |
JP2011508995A (ja) * | 2007-12-05 | 2011-03-17 | オンライブ インコーポレイテッド | 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法 |
JP2019016850A (ja) * | 2017-07-04 | 2019-01-31 | ヒロテック株式会社 | 映像伝送方法および映像伝送システムならびに送信装置および受信装置 |
Families Citing this family (543)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6104754A (en) * | 1995-03-15 | 2000-08-15 | Kabushiki Kaisha Toshiba | Moving picture coding and/or decoding systems, and variable-length coding and/or decoding system |
US6563953B2 (en) | 1998-11-30 | 2003-05-13 | Microsoft Corporation | Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock |
IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
US6753929B1 (en) | 2000-06-28 | 2004-06-22 | Vls Com Ltd. | Method and system for real time motion picture segmentation and superposition |
JP2004515163A (ja) * | 2000-11-29 | 2004-05-20 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | リアルタイムデータの送信および受信 |
US6765964B1 (en) | 2000-12-06 | 2004-07-20 | Realnetworks, Inc. | System and method for intracoding video data |
US20020126759A1 (en) * | 2001-01-10 | 2002-09-12 | Wen-Hsiao Peng | Method and apparatus for providing prediction mode fine granularity scalability |
US6970506B2 (en) * | 2001-03-05 | 2005-11-29 | Intervideo, Inc. | Systems and methods for reducing frame rates in a video data stream |
KR100425676B1 (ko) * | 2001-03-15 | 2004-04-03 | 엘지전자 주식회사 | 비디오 전송 시스템의 에러 복구 방법 |
WO2002085030A1 (en) * | 2001-04-11 | 2002-10-24 | Cyber Operations, Llc | System and method for preconditioning analog video signals |
US7209519B2 (en) | 2001-04-16 | 2007-04-24 | Mitsubishi Electric Research Laboratories, Inc. | Encoding a video with a variable frame-rate while minimizing total average distortion |
US7139398B2 (en) | 2001-06-06 | 2006-11-21 | Sony Corporation | Time division partial encryption |
US7895616B2 (en) | 2001-06-06 | 2011-02-22 | Sony Corporation | Reconstitution of program streams split across multiple packet identifiers |
US7110525B1 (en) | 2001-06-25 | 2006-09-19 | Toby Heller | Agent training sensitive call routing system |
US7266150B2 (en) | 2001-07-11 | 2007-09-04 | Dolby Laboratories, Inc. | Interpolation of video compression frames |
KR100388612B1 (ko) * | 2001-07-25 | 2003-06-25 | 엘지전자 주식회사 | 교환 시스템에서의 패키징 압축 방법 |
US7039117B2 (en) * | 2001-08-16 | 2006-05-02 | Sony Corporation | Error concealment of video data using texture data recovery |
JP2003153254A (ja) * | 2001-08-31 | 2003-05-23 | Canon Inc | データ処理装置及びデータ処理方法、並びにプログラム、記憶媒体 |
US8923688B2 (en) * | 2001-09-12 | 2014-12-30 | Broadcom Corporation | Performing personal video recording (PVR) functions on digital video streams |
CN1557072A (zh) * | 2001-09-21 | 2004-12-22 | ���˹���Ѷ��� | 使用缓冲器大小计算用于拥塞控制的传输速率的数据通信方法和系统 |
US6956902B2 (en) * | 2001-10-11 | 2005-10-18 | Hewlett-Packard Development Company, L.P. | Method and apparatus for a multi-user video navigation system |
JP2005506775A (ja) * | 2001-10-16 | 2005-03-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ符号化方法及び対応する送信可能なビデオ信号 |
US7120168B2 (en) * | 2001-11-20 | 2006-10-10 | Sony Corporation | System and method for effectively performing an audio/video synchronization procedure |
EP3099066B1 (en) * | 2001-11-22 | 2019-08-14 | Godo Kaisha IP Bridge 1 | Variable length coding method and variable length decoding method |
WO2003049373A1 (en) * | 2001-11-30 | 2003-06-12 | British Telecommunications Public Limited Company | Data transmission |
WO2003053066A1 (en) | 2001-12-17 | 2003-06-26 | Microsoft Corporation | Skip macroblock coding |
KR100460950B1 (ko) * | 2001-12-18 | 2004-12-09 | 삼성전자주식회사 | 트랜스코더 및 트랜스코딩 방법 |
FR2833796B1 (fr) * | 2001-12-19 | 2004-04-09 | Thomson Licensing Sa | Procede et dispositif de compression de donnees video codees par paquets video |
US7020203B1 (en) * | 2001-12-21 | 2006-03-28 | Polycom, Inc. | Dynamic intra-coded macroblock refresh interval for video error concealment |
US8051443B2 (en) * | 2002-01-02 | 2011-11-01 | Sony Corporation | Content replacement by PID mapping |
US7292690B2 (en) * | 2002-01-02 | 2007-11-06 | Sony Corporation | Video scene change detection |
US7376233B2 (en) * | 2002-01-02 | 2008-05-20 | Sony Corporation | Video slice and active region based multiple partial encryption |
US7823174B2 (en) | 2002-01-02 | 2010-10-26 | Sony Corporation | Macro-block based content replacement by PID mapping |
US8027470B2 (en) * | 2002-01-02 | 2011-09-27 | Sony Corporation | Video slice and active region based multiple partial encryption |
US7215770B2 (en) | 2002-01-02 | 2007-05-08 | Sony Corporation | System and method for partially encrypted multimedia stream |
US7302059B2 (en) * | 2002-01-02 | 2007-11-27 | Sony Corporation | Star pattern partial encryption |
US7765567B2 (en) | 2002-01-02 | 2010-07-27 | Sony Corporation | Content replacement by PID mapping |
US7155012B2 (en) | 2002-01-02 | 2006-12-26 | Sony Corporation | Slice mask and moat pattern partial encryption |
JP4114859B2 (ja) | 2002-01-09 | 2008-07-09 | 松下電器産業株式会社 | 動きベクトル符号化方法および動きベクトル復号化方法 |
FI114527B (fi) * | 2002-01-23 | 2004-10-29 | Nokia Corp | Kuvakehysten ryhmittely videokoodauksessa |
EP1670260A3 (en) * | 2002-01-23 | 2010-03-03 | Nokia Corporation | Grouping of image frames in video coding |
JP4996040B2 (ja) * | 2002-01-23 | 2012-08-08 | シーメンス アクチエンゲゼルシヤフト | デジタル画像のシーケンスを多数の画像ブロックと基準画像とを用いて符号化する方法 |
WO2003063496A1 (en) * | 2002-01-24 | 2003-07-31 | Koninklijke Philips Electronics N.V. | Error correction of stream data |
US7003035B2 (en) * | 2002-01-25 | 2006-02-21 | Microsoft Corporation | Video coding methods and apparatuses |
US20050094648A1 (en) * | 2002-02-20 | 2005-05-05 | Van Den Heuvel Sebastiaan Antonius F.A. | Video information stream distribution unit |
KR100846770B1 (ko) * | 2002-03-05 | 2008-07-16 | 삼성전자주식회사 | 동영상 부호화 방법 및 이에 적합한 장치 |
GB2386275B (en) * | 2002-03-05 | 2004-03-17 | Motorola Inc | Scalable video transmissions |
KR100850705B1 (ko) * | 2002-03-09 | 2008-08-06 | 삼성전자주식회사 | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 |
EP1345451A1 (en) * | 2002-03-15 | 2003-09-17 | BRITISH TELECOMMUNICATIONS public limited company | Video processing |
EP1488644B1 (en) * | 2002-03-27 | 2007-05-30 | British Telecommunications Public Limited Company | Data structure for data streaming system |
DE60335178D1 (de) * | 2002-03-27 | 2011-01-13 | British Telecomm | Videokodierung und -übertragung |
EP1359722A1 (en) * | 2002-03-27 | 2003-11-05 | BRITISH TELECOMMUNICATIONS public limited company | Data streaming system and method |
US7151856B2 (en) * | 2002-04-25 | 2006-12-19 | Matsushita Electric Industrial Co., Ltd. | Picture coding apparatus and picture coding method |
JP4135395B2 (ja) * | 2002-04-26 | 2008-08-20 | 日本電気株式会社 | 符号化パケット伝送受信方法およびその装置ならびにプログラム |
US7428684B2 (en) * | 2002-04-29 | 2008-09-23 | Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. | Device and method for concealing an error |
JP2003348594A (ja) * | 2002-05-27 | 2003-12-05 | Sony Corp | 画像復号装置及び方法 |
FR2840495B1 (fr) * | 2002-05-29 | 2004-07-30 | Canon Kk | Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage |
US20040001546A1 (en) | 2002-06-03 | 2004-01-01 | Alexandros Tourapis | Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation |
US7450646B2 (en) * | 2002-06-04 | 2008-11-11 | Panasonic Corporation | Image data transmitting apparatus and method and image data reproducing apparatus and method |
US7471880B2 (en) * | 2002-07-04 | 2008-12-30 | Mediatek Inc. | DVD-ROM controller and MPEG decoder with shared memory controller |
US7944971B1 (en) * | 2002-07-14 | 2011-05-17 | Apple Inc. | Encoding video |
MXPA05000559A (es) * | 2002-07-15 | 2005-04-19 | Nokia Corp | Metodo para ocultamiento de errores en secuencias de video. |
US7154952B2 (en) * | 2002-07-19 | 2006-12-26 | Microsoft Corporation | Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures |
US7421129B2 (en) | 2002-09-04 | 2008-09-02 | Microsoft Corporation | Image compression and synthesis for video effects |
US8818896B2 (en) | 2002-09-09 | 2014-08-26 | Sony Corporation | Selective encryption with coverage encryption |
JP2004112593A (ja) * | 2002-09-20 | 2004-04-08 | Pioneer Electronic Corp | データ読取方法、データ読取装置およびデータ読取のためのプログラム |
US7075987B2 (en) * | 2002-09-23 | 2006-07-11 | Intel Corporation | Adaptive video bit-rate control |
US7321623B2 (en) * | 2002-10-01 | 2008-01-22 | Avocent Corporation | Video compression system |
US20060126718A1 (en) * | 2002-10-01 | 2006-06-15 | Avocent Corporation | Video compression encoder |
US7466755B2 (en) * | 2002-10-04 | 2008-12-16 | Industrial Technology Research Institute | Method for video error concealment by updating statistics |
US7027515B2 (en) * | 2002-10-15 | 2006-04-11 | Red Rock Semiconductor Ltd. | Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream |
WO2004043074A1 (en) * | 2002-11-04 | 2004-05-21 | Tandberg Telecom As | Inter-network and inter-protocol video conference privacy method, apparatus and computer program product |
TWI220636B (en) * | 2002-11-13 | 2004-08-21 | Mediatek Inc | System and method for video encoding according to degree of macroblock distortion |
US7440502B2 (en) * | 2002-11-14 | 2008-10-21 | Georgia Tech Research Corporation | Signal processing system |
SG111978A1 (en) * | 2002-11-20 | 2005-06-29 | Victor Company Of Japan | An mpeg-4 live unicast video streaming system in wireless network with end-to-end bitrate-based congestion control |
JP2004179687A (ja) * | 2002-11-22 | 2004-06-24 | Toshiba Corp | 動画像符号化/復号化方法及び装置 |
US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
US9108107B2 (en) * | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
US8964830B2 (en) | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
US20040125237A1 (en) * | 2002-12-31 | 2004-07-01 | Intel Corporation | Fast slope calculation method for shot detection in a video sequence |
US20060146940A1 (en) * | 2003-01-10 | 2006-07-06 | Thomson Licensing S.A. | Spatial error concealment based on the intra-prediction modes transmitted in a coded stream |
BR0317979A (pt) * | 2003-01-10 | 2005-12-06 | Thomson Licensing Sa | Técnica para definir ordem de ocultação a fim de minimizar propagação de erro |
US7256797B2 (en) * | 2003-01-31 | 2007-08-14 | Yamaha Corporation | Image processing device with synchronized sprite rendering and sprite buffer |
US9818136B1 (en) | 2003-02-05 | 2017-11-14 | Steven M. Hoffberg | System and method for determining contingent relevance |
DE10310023A1 (de) * | 2003-02-28 | 2004-09-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium |
KR20040079084A (ko) * | 2003-03-06 | 2004-09-14 | 삼성전자주식회사 | 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치 |
US7949047B2 (en) * | 2003-03-17 | 2011-05-24 | Qualcomm Incorporated | System and method for partial intraframe encoding for wireless multimedia transmission |
GB0306296D0 (en) * | 2003-03-19 | 2003-04-23 | British Telecomm | Data transmission |
US7292692B2 (en) * | 2003-03-25 | 2007-11-06 | Sony Corporation | Content scrambling with minimal impact on legacy devices |
US7551671B2 (en) * | 2003-04-16 | 2009-06-23 | General Dynamics Decision Systems, Inc. | System and method for transmission of video signals using multiple channels |
DE10318068B4 (de) * | 2003-04-17 | 2009-08-27 | Phoenix Contact Gmbh & Co. Kg | Verfahren und Vorrichtung zum Paket-orientierten Übertragen sicherheitsrelevanter Daten |
US20040218669A1 (en) * | 2003-04-30 | 2004-11-04 | Nokia Corporation | Picture coding method |
US8824553B2 (en) | 2003-05-12 | 2014-09-02 | Google Inc. | Video compression method |
US7499104B2 (en) * | 2003-05-16 | 2009-03-03 | Pixel Instruments Corporation | Method and apparatus for determining relative timing of image and associated information |
KR100584422B1 (ko) * | 2003-06-04 | 2006-05-26 | 삼성전자주식회사 | 영상데이터의 압축 장치 및 방법 |
US7408986B2 (en) | 2003-06-13 | 2008-08-05 | Microsoft Corporation | Increasing motion smoothness using frame interpolation with motion analysis |
US7558320B2 (en) | 2003-06-13 | 2009-07-07 | Microsoft Corporation | Quality control in frame interpolation with motion analysis |
US20040260827A1 (en) * | 2003-06-19 | 2004-12-23 | Nokia Corporation | Stream switching based on gradual decoder refresh |
US20040258154A1 (en) * | 2003-06-19 | 2004-12-23 | Microsoft Corporation | System and method for multi-stage predictive motion estimation |
US7313183B2 (en) * | 2003-06-24 | 2007-12-25 | Lsi Corporation | Real time scene change detection in video sequences |
JP2007525063A (ja) * | 2003-06-26 | 2007-08-30 | トムソン ライセンシング | スライディング・ウィンドウ・チャネル制限に一致させるようマルチパス・ビデオレートを制御する方法 |
EP1641269A4 (en) * | 2003-06-30 | 2011-04-27 | Mitsubishi Electric Corp | DEVICE AND METHOD FOR IMAGE CODING |
FR2857205B1 (fr) * | 2003-07-04 | 2005-09-23 | Nextream France | Dispositif et procede de codage de donnees video |
EP1499131A1 (en) * | 2003-07-14 | 2005-01-19 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for decoding a data stream in audio video streaming systems |
US7609763B2 (en) * | 2003-07-18 | 2009-10-27 | Microsoft Corporation | Advanced bi-directional predictive coding of video frames |
US7606391B2 (en) * | 2003-07-25 | 2009-10-20 | Sony Corporation | Video content scene change determination |
US9560371B2 (en) * | 2003-07-30 | 2017-01-31 | Avocent Corporation | Video compression system |
US7489726B2 (en) * | 2003-08-13 | 2009-02-10 | Mitsubishi Electric Research Laboratories, Inc. | Resource-constrained sampling of multiple compressed videos |
US7324592B2 (en) * | 2003-08-13 | 2008-01-29 | Mitsubishi Electric Research Laboratories, Inc. | Resource-constrained encoding of multiple videos |
US20050036614A1 (en) * | 2003-08-13 | 2005-02-17 | Pai Ramadas Lakshmikanth | DMA engine for fetching words in reverse bit order |
JP2005065122A (ja) * | 2003-08-19 | 2005-03-10 | Matsushita Electric Ind Co Ltd | 動画像符号化装置および方法 |
KR100640498B1 (ko) * | 2003-09-06 | 2006-10-30 | 삼성전자주식회사 | 프레임의 오류 은닉 장치 및 방법 |
US7092576B2 (en) * | 2003-09-07 | 2006-08-15 | Microsoft Corporation | Bitplane coding for macroblock field/frame coding type information |
US7724827B2 (en) * | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US8064520B2 (en) * | 2003-09-07 | 2011-11-22 | Microsoft Corporation | Advanced bi-directional predictive coding of interlaced video |
US7286667B1 (en) | 2003-09-15 | 2007-10-23 | Sony Corporation | Decryption system |
GB2406184B (en) * | 2003-09-17 | 2006-03-15 | Advanced Risc Mach Ltd | Data processing system |
WO2005029833A2 (en) * | 2003-09-21 | 2005-03-31 | Servision Ltd. | Deriving motion detection information from motion-vector-search type video encoders |
US7573872B2 (en) * | 2003-10-01 | 2009-08-11 | Nortel Networks Limited | Selective forwarding of damaged packets |
AU2003282462A1 (en) * | 2003-10-09 | 2005-05-26 | Thomson Licensing | Direct mode derivation process for error concealment |
KR20050040448A (ko) * | 2003-10-28 | 2005-05-03 | 삼성전자주식회사 | 에러 검출 기능을 가진 비디오 디코딩방법과 이를 위한 장치 |
US7853980B2 (en) | 2003-10-31 | 2010-12-14 | Sony Corporation | Bi-directional indices for trick mode video-on-demand |
US7394855B2 (en) * | 2003-11-20 | 2008-07-01 | Mitsubishi Electric Research Laboratories, Inc. | Error concealing decoding method of intra-frames of compressed videos |
US7370125B2 (en) * | 2003-11-25 | 2008-05-06 | Intel Corporation | Stream under-run/over-run recovery |
US7796499B2 (en) | 2003-12-05 | 2010-09-14 | Telefonaktiebolaget L M Ericsson (Publ) | Method of and system for video fast update |
US7519274B2 (en) | 2003-12-08 | 2009-04-14 | Divx, Inc. | File format for multiple track digital data |
US8472792B2 (en) | 2003-12-08 | 2013-06-25 | Divx, Llc | Multimedia distribution system |
US8717868B2 (en) * | 2003-12-19 | 2014-05-06 | Rockstar Consortium Us Lp | Selective processing of damaged packets |
US7889792B2 (en) * | 2003-12-24 | 2011-02-15 | Apple Inc. | Method and system for video encoding using a variable number of B frames |
EP1551185A1 (en) * | 2004-01-05 | 2005-07-06 | Thomson Licensing S.A. | Encoding method, decoding method, and encoding apparatus for a digital picture sequence |
US7606313B2 (en) * | 2004-01-15 | 2009-10-20 | Ittiam Systems (P) Ltd. | System, method, and apparatus for error concealment in coded video signals |
EP1745653B1 (en) * | 2004-01-30 | 2017-10-18 | Thomson Licensing DTV | Encoder with adaptive rate control for h.264 |
US7843959B2 (en) * | 2004-01-30 | 2010-11-30 | Telefonaktiebolaget Lm Ericsson | Prioritising data elements of a data stream |
US20050169369A1 (en) * | 2004-02-03 | 2005-08-04 | Sony Corporation | Scalable MPEG video/macro block rate control |
US20050169473A1 (en) * | 2004-02-03 | 2005-08-04 | Candelore Brant L. | Multiple selective encryption with DRM |
US7697608B2 (en) * | 2004-02-03 | 2010-04-13 | Sony Corporation | Scalable MPEG video/macro block rate control |
US7986731B2 (en) | 2004-02-06 | 2011-07-26 | Apple Inc. | H.264/AVC coder incorporating rate and quality controller |
US7492820B2 (en) | 2004-02-06 | 2009-02-17 | Apple Inc. | Rate control for video coder employing adaptive linear regression bits modeling |
US7869503B2 (en) * | 2004-02-06 | 2011-01-11 | Apple Inc. | Rate and quality controller for H.264/AVC video coder and scene analyzer therefor |
BRPI0418527A (pt) | 2004-02-12 | 2007-05-15 | Nokia Corp | método para relatar uma qualidade de transmissão em fluxo, programa de computação com instruções operáveis, produto de programa de computação, sistema de transmissão em fluxo, cliente em um sistema de transmissão em fluxo, servidor em um sistema de transmissão em fluxo, e, protocolo para um sistema de transmissão em fluxo |
CN1922884B (zh) * | 2004-02-20 | 2012-05-23 | 三叉微系统(远东)有限公司 | 视频解码方法 |
WO2005094086A1 (en) * | 2004-02-27 | 2005-10-06 | Thomson Licensing | Error concealment technique using weighted prediction |
US7586924B2 (en) * | 2004-02-27 | 2009-09-08 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Apparatus and method for coding an information signal into a data stream, converting the data stream and decoding the data stream |
US7599565B2 (en) * | 2004-03-10 | 2009-10-06 | Nokia Corporation | Method and device for transform-domain video editing |
US20050201469A1 (en) * | 2004-03-11 | 2005-09-15 | John Sievers | Method and apparatus for improving the average image refresh rate in a compressed video bitstream |
US20050201470A1 (en) * | 2004-03-12 | 2005-09-15 | John Sievers | Intra block walk around refresh for H.264 |
US20050207501A1 (en) * | 2004-03-18 | 2005-09-22 | Sony Corporation | Method of and system for video bit allocation for scene cuts and scene changes |
KR100647948B1 (ko) * | 2004-03-22 | 2006-11-17 | 엘지전자 주식회사 | 적응적 인트라 매크로 블록 리프레쉬 방법 |
JP4031455B2 (ja) * | 2004-03-29 | 2008-01-09 | 株式会社東芝 | 画像符号化装置 |
CA2563107C (en) * | 2004-03-29 | 2014-03-04 | Nielsen Media Research, Inc. | Methods and apparatus to detect a blank frame in a digital video broadcast signal |
JP4020883B2 (ja) * | 2004-04-20 | 2007-12-12 | 株式会社東芝 | 動画像復号装置 |
US7818444B2 (en) | 2004-04-30 | 2010-10-19 | Move Networks, Inc. | Apparatus, system, and method for multi-bitrate content streaming |
US7882421B2 (en) | 2004-05-06 | 2011-02-01 | Seyfullah Halit Oguz | Method and apparatus for joint source-channel map decoding |
EP1757100B1 (en) * | 2004-06-15 | 2008-08-27 | NTT DoCoMo INC. | Apparatus and method for generating a transmit frame |
US7457461B2 (en) * | 2004-06-25 | 2008-11-25 | Avocent Corporation | Video compression noise immunity |
US20070058614A1 (en) * | 2004-06-30 | 2007-03-15 | Plotky Jon S | Bandwidth utilization for video mail |
US7903902B2 (en) | 2004-07-26 | 2011-03-08 | Sheraizin Semion M | Adaptive image improvement |
US7639892B2 (en) * | 2004-07-26 | 2009-12-29 | Sheraizin Semion M | Adaptive image improvement |
US8861601B2 (en) | 2004-08-18 | 2014-10-14 | Qualcomm Incorporated | Encoder-assisted adaptive video frame interpolation |
US20060045190A1 (en) * | 2004-09-02 | 2006-03-02 | Sharp Laboratories Of America, Inc. | Low-complexity error concealment for real-time video decoder |
WO2006029068A2 (en) * | 2004-09-02 | 2006-03-16 | The Regents Of The University Of California | Content and channel aware object scheduling and error control |
JP2006079779A (ja) * | 2004-09-13 | 2006-03-23 | Matsushita Electric Ind Co Ltd | デマルチプレクサ |
JP2006086670A (ja) * | 2004-09-15 | 2006-03-30 | Hitachi Ltd | データ記録装置 |
US20060062304A1 (en) * | 2004-09-17 | 2006-03-23 | Shih-Chang Hsia | Apparatus and method for error concealment |
US20060062312A1 (en) * | 2004-09-22 | 2006-03-23 | Yen-Chi Lee | Video demultiplexer and decoder with efficient data recovery |
US7474701B2 (en) * | 2004-09-23 | 2009-01-06 | International Business Machines Corporation | Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames |
US7679627B2 (en) * | 2004-09-27 | 2010-03-16 | Qualcomm Mems Technologies, Inc. | Controller and driver features for bi-stable display |
ES2400955T3 (es) | 2004-10-07 | 2013-04-15 | Panasonic Corporation | Aparato de codificación de imágenes y aparato de decodificación de imágenes |
US8948266B2 (en) * | 2004-10-12 | 2015-02-03 | Qualcomm Incorporated | Adaptive intra-refresh for digital video encoding |
ZA200703153B (en) * | 2004-10-18 | 2008-08-27 | Thomson Licensing | Film grain simulation method |
US7382381B2 (en) * | 2004-10-22 | 2008-06-03 | Hewlett-Packard Development Company, L.P. | Graphics to video encoder |
US7587091B2 (en) * | 2004-10-29 | 2009-09-08 | Intel Corporation | De-interlacing using decoder parameters |
JP4960877B2 (ja) * | 2004-11-12 | 2012-06-27 | トムソン ライセンシング | 映像再生システムの通常再生及びトリックモード再生に関するフィルムグレインシミュレーション |
ES2381982T3 (es) | 2004-11-16 | 2012-06-04 | Thomson Licensing | Método de simulación del grano de película basado en coeficientes de transformación previamente generados por ordenador |
CA2587118C (en) | 2004-11-16 | 2014-12-30 | Thomson Licensing | Film grain sei message insertion for bit-accurate simulation in a video system |
TWI246862B (en) * | 2004-11-16 | 2006-01-01 | An Lnternet Products & Technol | Video coding/decoding buffering apparatus and buffering method thereof |
TWI248312B (en) * | 2004-11-16 | 2006-01-21 | Aiptek Int Inc | Method for locating the partitions of a video image |
KR101169826B1 (ko) | 2004-11-17 | 2012-08-03 | 톰슨 라이센싱 | 사전계산된 변환 계수들에 기초한 비트-어큐리트 필름그레인 시뮬레이션 방법 |
JP2008521100A (ja) * | 2004-11-17 | 2008-06-19 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | ウェブページを生成するシステム及び方法 |
BRPI0518037A (pt) * | 2004-11-22 | 2008-10-28 | Thomson Licensing | métodos, aparelho e sistema para dividir cache de granulação de pelìcula para simulação de granulação de pelìcula |
US7650031B2 (en) * | 2004-11-23 | 2010-01-19 | Microsoft Corporation | Method and system for detecting black frames in a sequence of frames |
KR20060059782A (ko) * | 2004-11-29 | 2006-06-02 | 엘지전자 주식회사 | 영상신호의 스케일러블 프로그레시브 다운로딩을 지원하는방법 |
US20060120406A1 (en) * | 2004-12-03 | 2006-06-08 | Chao-Hung Wu | Internet A/V data imaging results & transmission rate improvement methodology |
US8041190B2 (en) | 2004-12-15 | 2011-10-18 | Sony Corporation | System and method for the creation, synchronization and delivery of alternate content |
US7895617B2 (en) | 2004-12-15 | 2011-02-22 | Sony Corporation | Content substitution editor |
GB0428155D0 (en) | 2004-12-22 | 2005-01-26 | British Telecomm | Buffer underflow prevention |
GB0428156D0 (en) * | 2004-12-22 | 2005-01-26 | British Telecomm | Buffer overflow prevention |
GB0428160D0 (en) * | 2004-12-22 | 2005-01-26 | British Telecomm | Variable bit rate processing |
US20060140591A1 (en) * | 2004-12-28 | 2006-06-29 | Texas Instruments Incorporated | Systems and methods for load balancing audio/video streams |
JP4367337B2 (ja) * | 2004-12-28 | 2009-11-18 | セイコーエプソン株式会社 | マルチメディア処理システム及びマルチメディア処理方法 |
KR20070097548A (ko) * | 2004-12-29 | 2007-10-04 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 비디오 데이터 스트림을 인코딩하는 방법 및 장치 |
US7415041B2 (en) * | 2004-12-31 | 2008-08-19 | Motorola, Inc. | Method and apparatus for decoding data in a wireless communication system |
FR2880462A1 (fr) * | 2005-01-06 | 2006-07-07 | Thomson Licensing Sa | Procede de reproduction de documents comprenant des sequences alterees et, dispositif de reproduction associe |
WO2006075070A1 (fr) * | 2005-01-07 | 2006-07-20 | France Telecom | Procede et dispositif de codage video |
GB0500332D0 (en) * | 2005-01-08 | 2005-02-16 | Univ Bristol | Enhanced error concealment |
US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
FR2881013B1 (fr) * | 2005-01-14 | 2007-05-18 | Canon Kk | Procede et dispositif de transmission continue et de reception d'un video dans un reseau de communication |
KR100598119B1 (ko) * | 2005-01-17 | 2006-07-10 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
WO2006078595A2 (en) * | 2005-01-18 | 2006-07-27 | Thomson Licensing | Method and apparatus for estimating channel induced distortion |
KR100755688B1 (ko) * | 2005-02-02 | 2007-09-05 | 삼성전자주식회사 | 에러 은닉 장치 및 방법 |
US7526142B2 (en) * | 2005-02-22 | 2009-04-28 | Sheraizin Vitaly S | Enhancement of decompressed video |
US8514933B2 (en) | 2005-03-01 | 2013-08-20 | Qualcomm Incorporated | Adaptive frame skipping techniques for rate controlled video encoding |
US20060198441A1 (en) * | 2005-03-02 | 2006-09-07 | Hua-Chang Chi | Motion detection method for detecting motion objects in video frames generated from a video surveillance system |
MX2007011084A (es) | 2005-03-10 | 2007-11-15 | Qualcomm Inc | Clasificacion de contenido para procesamiento multimedia. |
EP1703513A1 (en) * | 2005-03-15 | 2006-09-20 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for encoding plural video signals as a single encoded video signal, method and and apparatus for decoding such an encoded video signal |
US8223845B1 (en) * | 2005-03-16 | 2012-07-17 | Apple Inc. | Multithread processing of video frames |
US20060217027A1 (en) * | 2005-03-25 | 2006-09-28 | Martuccio Michael C | Method and apparatus for fan expressing participation in sporting events |
US7982757B2 (en) * | 2005-04-01 | 2011-07-19 | Digital Multitools Inc. | Method for reducing noise and jitter effects in KVM systems |
US20060230428A1 (en) * | 2005-04-11 | 2006-10-12 | Rob Craig | Multi-player video game system |
US20060233237A1 (en) * | 2005-04-15 | 2006-10-19 | Apple Computer, Inc. | Single pass constrained constant bit-rate encoding |
US20060268996A1 (en) * | 2005-05-13 | 2006-11-30 | Sethi Sumeet S | Error recovery using in band error patterns |
JP2008541650A (ja) * | 2005-05-16 | 2008-11-20 | ヒューマン モニタリング エルティーディー | モニタリング方法および装置 |
WO2006123307A2 (en) | 2005-05-20 | 2006-11-23 | Nxp B.V. | Video encoder using a refresh map |
US8442126B1 (en) | 2005-06-14 | 2013-05-14 | Apple Inc. | Synchronizing audio and video content through buffer wrappers |
US8270439B2 (en) * | 2005-07-08 | 2012-09-18 | Activevideo Networks, Inc. | Video game system using pre-encoded digital audio mixing |
US8118676B2 (en) * | 2005-07-08 | 2012-02-21 | Activevideo Networks, Inc. | Video game system using pre-encoded macro-blocks |
US9061206B2 (en) * | 2005-07-08 | 2015-06-23 | Activevideo Networks, Inc. | Video game system using pre-generated motion vectors |
US8284842B2 (en) | 2005-07-08 | 2012-10-09 | Activevideo Networks, Inc. | Video game system using pre-encoded macro-blocks and a reference grid |
US7587098B2 (en) * | 2005-07-14 | 2009-09-08 | Mavs Lab. Inc. | Pixel data generating method |
US8774272B1 (en) * | 2005-07-15 | 2014-07-08 | Geo Semiconductor Inc. | Video quality by controlling inter frame encoding according to frame position in GOP |
US8074248B2 (en) | 2005-07-26 | 2011-12-06 | Activevideo Networks, Inc. | System and method for providing video content associated with a source image to a television in a communication network |
US7944967B2 (en) * | 2005-07-28 | 2011-05-17 | Delphi Technologies, Inc. | Technique for addressing frame loss in a video stream |
US20070030894A1 (en) * | 2005-08-03 | 2007-02-08 | Nokia Corporation | Method, device, and module for improved encoding mode control in video encoding |
US7286498B1 (en) * | 2005-08-09 | 2007-10-23 | H-Itt, Llc | Validation method and data structures for wireless communications |
JP4264656B2 (ja) * | 2005-08-11 | 2009-05-20 | ソニー株式会社 | 符号化装置及び方法、並びにプログラム及び記録媒体 |
US9077960B2 (en) | 2005-08-12 | 2015-07-07 | Microsoft Corporation | Non-zero coefficient block pattern coding |
US20070036227A1 (en) * | 2005-08-15 | 2007-02-15 | Faisal Ishtiaq | Video encoding system and method for providing content adaptive rate control |
US20080232477A1 (en) * | 2005-09-01 | 2008-09-25 | Koninklijke Philips Electronics, N.V. | Method and Device For Coding and Decoding of Video Error Resilience |
WO2007032058A1 (ja) | 2005-09-13 | 2007-03-22 | Mitsubishi Denki Kabushiki Kaisha | 復号装置 |
US20070120969A1 (en) * | 2005-09-15 | 2007-05-31 | Alpha Omega International | Audio visual communication system and method |
US7676591B2 (en) * | 2005-09-22 | 2010-03-09 | Packet Video Corporation | System and method for transferring multiple data channels |
US8879857B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Redundant data encoding methods and device |
US8427578B2 (en) | 2005-10-14 | 2013-04-23 | Broadcom Corporation | Method and system for frame rate adaptation |
US8654848B2 (en) * | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
US7916796B2 (en) * | 2005-10-19 | 2011-03-29 | Freescale Semiconductor, Inc. | Region clustering based error concealment for video data |
WO2007050680A2 (en) * | 2005-10-25 | 2007-05-03 | William Marsh Rice University | Method and apparatus for on-line compressed sensing |
CN100466725C (zh) * | 2005-11-03 | 2009-03-04 | 华为技术有限公司 | 多媒体通信方法及其终端 |
JP5275810B2 (ja) * | 2005-12-07 | 2013-08-28 | トムソン ライセンシング | 基準フレームの選択ルールを使用したビデオエラー隠蔽の方法及び装置 |
US20070140353A1 (en) * | 2005-12-19 | 2007-06-21 | Sharp Laboratories Of America, Inc. | Intra prediction skipping in mode selection for video compression |
US8225164B2 (en) * | 2006-01-05 | 2012-07-17 | Telefonaktiebolaget Lm Ericsson (Publ) | Media container file management |
WO2007081150A1 (en) * | 2006-01-09 | 2007-07-19 | Electronics And Telecommunications Research Institute | Method defining nal unit type and system of transmission bitstream and redundant slice coding |
TWI309529B (en) * | 2006-01-19 | 2009-05-01 | Avermedia Tech Inc | Multi-bit stream of multimedia data processing |
US8325822B2 (en) * | 2006-01-20 | 2012-12-04 | Qualcomm Incorporated | Method and apparatus for determining an encoding method based on a distortion value related to error concealment |
US8861585B2 (en) * | 2006-01-20 | 2014-10-14 | Qualcomm Incorporated | Method and apparatus for error resilience algorithms in wireless video communication |
US7979059B2 (en) * | 2006-02-06 | 2011-07-12 | Rockefeller Alfred G | Exchange of voice and video between two cellular or wireless telephones |
KR100846787B1 (ko) * | 2006-02-15 | 2008-07-16 | 삼성전자주식회사 | 트랜스포트 스트림을 임포트하는 방법 및 장치 |
US7555570B2 (en) | 2006-02-17 | 2009-06-30 | Avocent Huntsville Corporation | Device and method for configuring a target device |
US8718147B2 (en) * | 2006-02-17 | 2014-05-06 | Avocent Huntsville Corporation | Video compression algorithm |
US8185921B2 (en) | 2006-02-28 | 2012-05-22 | Sony Corporation | Parental control of displayed content using closed captioning |
US8189686B2 (en) | 2006-03-03 | 2012-05-29 | David John Boyes | Systems and methods for visualizing errors in video signals |
FR2898459B1 (fr) * | 2006-03-08 | 2008-09-05 | Canon Kk | Procede et dispositif de reception d'images ayant subi des pertes en cours de transmission |
US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
EP1843587A1 (en) * | 2006-04-05 | 2007-10-10 | STMicroelectronics S.r.l. | Method for the frame-rate conversion of a digital video signal and related apparatus |
US7577898B2 (en) * | 2006-04-10 | 2009-08-18 | At&T Intellectual Property I, L.P. | System and method of correcting video data errors |
JP4730183B2 (ja) * | 2006-04-17 | 2011-07-20 | 株式会社日立製作所 | 映像表示装置 |
US7714838B2 (en) * | 2006-04-27 | 2010-05-11 | Research In Motion Limited | Handheld electronic device having hidden sound openings offset from an audio source |
TW200743386A (en) * | 2006-04-27 | 2007-11-16 | Koninkl Philips Electronics Nv | Method and apparatus for encoding/transcoding and decoding |
WO2007127452A2 (en) * | 2006-04-28 | 2007-11-08 | Avocent Corporation | Dvc delta commands |
US8798172B2 (en) * | 2006-05-16 | 2014-08-05 | Samsung Electronics Co., Ltd. | Method and apparatus to conceal error in decoded audio signal |
JP4692388B2 (ja) * | 2006-05-24 | 2011-06-01 | ソニー株式会社 | データ処理装置およびデータ処理方法 |
CN100548051C (zh) * | 2006-05-25 | 2009-10-07 | 联想(北京)有限公司 | 视频编解码设备和方法以及系统 |
US20080034396A1 (en) * | 2006-05-30 | 2008-02-07 | Lev Zvi H | System and method for video distribution and billing |
GB2438660B (en) * | 2006-06-02 | 2011-03-30 | Tandberg Television Asa | Recursive filter system for a video signal |
GB2438905B (en) * | 2006-06-07 | 2011-08-24 | Tandberg Television Asa | Temporal noise analysis of a video signal |
US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
FR2903270B1 (fr) * | 2006-06-30 | 2008-08-29 | Canon Kk | Procede et dispositif de codage d'une sequence d'images, systeme de telecommunication comportant un tel dispositif et programme mettant en oeuvre un tel procede |
FR2903556B1 (fr) * | 2006-07-04 | 2008-10-03 | Canon Kk | Procedes et des dispositifs de codage et de decodage d'images, un systeme de telecommunications comportant de tels dispositifs et des programmes d'ordinateur mettant en oeuvre de tels procedes |
KR100790149B1 (ko) * | 2006-07-27 | 2008-01-02 | 삼성전자주식회사 | 비디오 인코딩 데이터율 제어 방법 |
KR100834625B1 (ko) * | 2006-07-27 | 2008-06-02 | 삼성전자주식회사 | 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법 |
KR100790150B1 (ko) * | 2006-07-28 | 2008-01-02 | 삼성전자주식회사 | 비디오 부호화기 및 비디오 데이터 프레임 부호화 방법 |
JP2008042332A (ja) * | 2006-08-02 | 2008-02-21 | Toshiba Corp | 補間フレーム作成方法及び補間フレーム作成装置 |
US8238442B2 (en) * | 2006-08-25 | 2012-08-07 | Sony Computer Entertainment Inc. | Methods and apparatus for concealing corrupted blocks of video data |
US8699561B2 (en) * | 2006-08-25 | 2014-04-15 | Sony Computer Entertainment Inc. | System and methods for detecting and handling errors in a multi-threaded video data decoder |
US8135063B2 (en) * | 2006-09-08 | 2012-03-13 | Mediatek Inc. | Rate control method with frame-layer bit allocation and video encoder |
US8379733B2 (en) * | 2006-09-26 | 2013-02-19 | Qualcomm Incorporated | Efficient video packetization methods for packet-switched video telephony applications |
WO2008042259A2 (en) * | 2006-09-28 | 2008-04-10 | Thomson Licensing | Method for rho-domain frame level bit allocation for effective rate control and enhanced video coding quality |
US8509313B2 (en) * | 2006-10-10 | 2013-08-13 | Texas Instruments Incorporated | Video error concealment |
JP4851911B2 (ja) * | 2006-10-23 | 2012-01-11 | 富士通株式会社 | 符号化装置、符号化プログラムおよび符号化方法 |
US8218641B2 (en) * | 2006-10-31 | 2012-07-10 | Sony Computer Entertainment Inc. | Picture encoding using same-picture reference for pixel reconstruction |
US8155207B2 (en) | 2008-01-09 | 2012-04-10 | Cisco Technology, Inc. | Processing and managing pictures at the concatenation of two video streams |
US20080115175A1 (en) * | 2006-11-13 | 2008-05-15 | Rodriguez Arturo A | System and method for signaling characteristics of pictures' interdependencies |
TWI339073B (en) * | 2006-11-13 | 2011-03-11 | Univ Nat Chiao Tung | Video coding method using image data skipping |
US8416859B2 (en) | 2006-11-13 | 2013-04-09 | Cisco Technology, Inc. | Signalling and extraction in compressed video of pictures belonging to interdependency tiers |
US8875199B2 (en) | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
EP1924097A1 (en) * | 2006-11-14 | 2008-05-21 | Sony Deutschland Gmbh | Motion and scene change detection using color components |
FR2910211A1 (fr) * | 2006-12-19 | 2008-06-20 | Canon Kk | Procedes et dispositifs pour re-synchroniser un flux video endommage. |
WO2008079503A2 (en) * | 2006-12-19 | 2008-07-03 | Motorola, Inc. | Method and apparatus for adaptive error resilience for video decoders |
WO2008075663A1 (ja) * | 2006-12-21 | 2008-06-26 | Ajinomoto Co., Inc. | 大腸癌の評価方法、ならびに大腸癌評価装置、大腸癌評価方法、大腸癌評価システム、大腸癌評価プログラムおよび記録媒体 |
JP4427086B2 (ja) * | 2006-12-27 | 2010-03-03 | パナソニック株式会社 | 動画像復号化装置 |
US7895502B2 (en) * | 2007-01-04 | 2011-02-22 | International Business Machines Corporation | Error control coding methods for memories with subline accesses |
EP2116051A2 (en) | 2007-01-12 | 2009-11-11 | ActiveVideo Networks, Inc. | Mpeg objects and systems and methods for using mpeg objects |
US9826197B2 (en) | 2007-01-12 | 2017-11-21 | Activevideo Networks, Inc. | Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device |
US8494049B2 (en) * | 2007-04-09 | 2013-07-23 | Cisco Technology, Inc. | Long term reference frame management with error video feedback for compressed video communication |
FR2915342A1 (fr) * | 2007-04-20 | 2008-10-24 | Canon Kk | Procede et dispositif de codage video |
GB0708440D0 (en) * | 2007-05-02 | 2007-06-06 | Film Night Ltd | Data transmission |
US7978669B2 (en) * | 2007-05-09 | 2011-07-12 | Cisco Technology, Inc. | Methods and apparatus for efficient MPEG transmission over 802.11 |
US10715834B2 (en) | 2007-05-10 | 2020-07-14 | Interdigital Vc Holdings, Inc. | Film grain simulation based on pre-computed transform coefficients |
US8300699B2 (en) * | 2007-05-31 | 2012-10-30 | Qualcomm Incorporated | System, method, and computer-readable medium for reducing required throughput in an ultra-wideband system |
JP4833923B2 (ja) * | 2007-06-15 | 2011-12-07 | 富士通セミコンダクター株式会社 | トランスコード装置、トランスコーダ、デコーダおよびトランスコード方法 |
US8171030B2 (en) * | 2007-06-18 | 2012-05-01 | Zeitera, Llc | Method and apparatus for multi-dimensional content search and video identification |
US8605779B2 (en) | 2007-06-20 | 2013-12-10 | Microsoft Corporation | Mechanisms to conceal real time video artifacts caused by frame loss |
KR20090000502A (ko) * | 2007-06-28 | 2009-01-07 | 삼성전자주식회사 | 손실된 블록의 주변 블록 특성에 적응적인 에러 은닉 방법및 장치 |
US7962640B2 (en) * | 2007-06-29 | 2011-06-14 | The Chinese University Of Hong Kong | Systems and methods for universal real-time media transcoding |
US8254455B2 (en) * | 2007-06-30 | 2012-08-28 | Microsoft Corporation | Computing collocated macroblock information for direct mode macroblocks |
EP2213000B1 (en) * | 2007-07-16 | 2014-04-02 | Telchemy, Incorporated | Method and system for content estimation of packet video streams |
DE102007035262B4 (de) * | 2007-07-27 | 2018-05-24 | Texas Instruments Deutschland Gmbh | Empfänger und Verfahren zur Bearbeitung eines Datenpaketstroms bei Auftreten eines Fehlers auf der Bitübertragungsschicht |
KR20100031755A (ko) * | 2007-07-30 | 2010-03-24 | 닛본 덴끼 가부시끼가이샤 | 통신 단말기, 배신 시스템, 및 변환 방법 |
US8804845B2 (en) | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
US8958486B2 (en) | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
US8023562B2 (en) * | 2007-09-07 | 2011-09-20 | Vanguard Software Solutions, Inc. | Real-time video coding/decoding |
US7769015B2 (en) * | 2007-09-11 | 2010-08-03 | Liquid Computing Corporation | High performance network adapter (HPNA) |
US7802062B2 (en) | 2007-09-28 | 2010-09-21 | Microsoft Corporation | Non-blocking variable size recyclable buffer management |
KR100928324B1 (ko) * | 2007-10-02 | 2009-11-25 | 주식회사 아이브이넷 | 압축된 동영상을 복원하기 위한 프레임 버퍼 메모리 운영방법 및 이에 적합한 디코딩 장치 |
US20090103617A1 (en) * | 2007-10-22 | 2009-04-23 | The Hong Kong University Of Science And Technology | Efficient error recovery with intra-refresh |
JP5513400B2 (ja) | 2007-11-16 | 2014-06-04 | ソニック アイピー, インコーポレイテッド | マルチメディアファイルのための階層的で簡略なインデックス構造体 |
AU2007237313A1 (en) * | 2007-12-03 | 2009-06-18 | Canon Kabushiki Kaisha | Improvement for error correction in distributed vdeo coding |
US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
TW200943975A (en) * | 2008-01-09 | 2009-10-16 | Nokia Corp | Systems and methods for media container file generation |
US20090185496A1 (en) * | 2008-01-22 | 2009-07-23 | Robert Duncan Doverspike | Network performance and reliability evaluation taking into account attributes other than only the capacities of edges |
US9357233B2 (en) * | 2008-02-26 | 2016-05-31 | Qualcomm Incorporated | Video decoder error handling |
US7940777B2 (en) * | 2008-02-26 | 2011-05-10 | Cisco Technology, Inc. | Loss-free packet networks |
US8416858B2 (en) | 2008-02-29 | 2013-04-09 | Cisco Technology, Inc. | Signalling picture encoding schemes and associated picture properties |
US20090231439A1 (en) * | 2008-03-14 | 2009-09-17 | Arkady Kopansky | Method for Propagating Data Through a Video Stream |
KR101431545B1 (ko) * | 2008-03-17 | 2014-08-20 | 삼성전자주식회사 | 영상의 부호화, 복호화 방법 및 장치 |
US8861598B2 (en) * | 2008-03-19 | 2014-10-14 | Cisco Technology, Inc. | Video compression using search techniques of long-term reference memory |
US8406296B2 (en) | 2008-04-07 | 2013-03-26 | Qualcomm Incorporated | Video refresh adaptation algorithms responsive to error feedback |
US20090268097A1 (en) * | 2008-04-28 | 2009-10-29 | Siou-Shen Lin | Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames |
US8254469B2 (en) * | 2008-05-07 | 2012-08-28 | Kiu Sha Management Liability Company | Error concealment for frame loss in multiple description coding |
US7860996B2 (en) | 2008-05-30 | 2010-12-28 | Microsoft Corporation | Media streaming with seamless ad insertion |
WO2009152450A1 (en) | 2008-06-12 | 2009-12-17 | Cisco Technology, Inc. | Picture interdependencies signals in context of mmco to assist stream manipulation |
US8699578B2 (en) * | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
US8705631B2 (en) | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
US20130022114A1 (en) * | 2008-06-23 | 2013-01-24 | Mediatek Inc. | Method and related apparatuses for decoding multimedia data |
US8494058B2 (en) * | 2008-06-23 | 2013-07-23 | Mediatek Inc. | Video/image processing apparatus with motion estimation sharing, and related method and machine readable medium |
US8259177B2 (en) * | 2008-06-30 | 2012-09-04 | Cisco Technology, Inc. | Video fingerprint systems and methods |
US8347408B2 (en) * | 2008-06-30 | 2013-01-01 | Cisco Technology, Inc. | Matching of unknown video content to protected video content |
US20090327334A1 (en) * | 2008-06-30 | 2009-12-31 | Rodriguez Arturo A | Generating Measures of Video Sequences to Detect Unauthorized Use |
KR20100004792A (ko) * | 2008-07-04 | 2010-01-13 | 삼성전자주식회사 | 손상된 정보를 저장하는 방법, 손상된 정보를 저장할 수있는 정보 처리 장치, 손상된 정보를 저장 가능하게송신하는 정보 저장 장치, 손상된 정보를 저장하기 위한소프트웨어가 기록된, 정보 처리 장치로 읽을 수 있는 매체 |
EP2141703B1 (en) * | 2008-07-04 | 2013-09-04 | Samsung Electronics Co., Ltd. | Methods and apparatus for copying data |
FR2934453B1 (fr) * | 2008-07-22 | 2010-10-15 | Canon Kk | Procede et dispositif de masquage d'erreurs |
JP5164714B2 (ja) * | 2008-07-24 | 2013-03-21 | キヤノン株式会社 | 送信装置及び方法、プログラム |
KR101590919B1 (ko) * | 2008-07-30 | 2016-02-02 | 오렌지 | 멀티채널 오디오 데이터의 재구성 |
US9445121B2 (en) | 2008-08-04 | 2016-09-13 | Dolby Laboratories Licensing Corporation | Overlapped block disparity estimation and compensation architecture |
US8254441B2 (en) * | 2008-08-18 | 2012-08-28 | Sprint Communications Company L.P. | Video streaming based upon wireless quality |
US8239900B1 (en) | 2008-08-27 | 2012-08-07 | Clearwire Ip Holdings Llc | Video bursting based upon wireless device location |
US8270307B2 (en) * | 2008-09-05 | 2012-09-18 | Cisco Technology, Inc. | Network-adaptive preemptive repair in real-time video |
US8275046B2 (en) * | 2008-09-19 | 2012-09-25 | Texas Instruments Incorporated | Fast macroblock structure decision using SAD discrepancy and its prediction mode |
US9237034B2 (en) * | 2008-10-21 | 2016-01-12 | Iii Holdings 1, Llc | Methods and systems for providing network access redundancy |
WO2010046854A1 (en) | 2008-10-22 | 2010-04-29 | Nxp B.V. | Device and method for motion estimation and compensation |
US20100104003A1 (en) * | 2008-10-24 | 2010-04-29 | Manufacturing Resources International Inc. | System and method for securely transmitting video data |
US8787447B2 (en) | 2008-10-30 | 2014-07-22 | Vixs Systems, Inc | Video transcoding system with drastic scene change detection and method for use therewith |
ES2546091T3 (es) | 2008-11-12 | 2015-09-18 | Cisco Technology, Inc. | Procesamiento de un programa de vídeo que tiene representaciones procesadas plurales de una señal de vídeo única para reconstrucción y emisión |
US20100158130A1 (en) | 2008-12-22 | 2010-06-24 | Mediatek Inc. | Video decoding method |
JP4600574B2 (ja) | 2009-01-07 | 2010-12-15 | 日本電気株式会社 | 動画像復号装置、動画像復号方法、及びプログラム |
US8189666B2 (en) | 2009-02-02 | 2012-05-29 | Microsoft Corporation | Local picture identifier and computation of co-located information |
US20100195742A1 (en) * | 2009-02-02 | 2010-08-05 | Mediatek Inc. | Error concealment method and apparatus |
US9812047B2 (en) | 2010-02-25 | 2017-11-07 | Manufacturing Resources International, Inc. | System and method for remotely monitoring the operating life of electronic displays |
WO2010096767A1 (en) | 2009-02-20 | 2010-08-26 | Cisco Technology, Inc. | Signalling of decodable sub-sequences |
US8782261B1 (en) | 2009-04-03 | 2014-07-15 | Cisco Technology, Inc. | System and method for authorization of segment boundary notifications |
US20100269147A1 (en) * | 2009-04-15 | 2010-10-21 | Echostar Technologies Llc | Video stream index generation at a video content transmitter |
US20120050475A1 (en) | 2009-05-01 | 2012-03-01 | Dong Tian | Reference picture lists for 3dv |
US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
US8665964B2 (en) * | 2009-06-30 | 2014-03-04 | Qualcomm Incorporated | Video coding based on first order prediction and pre-defined second order prediction mode |
US9654792B2 (en) | 2009-07-03 | 2017-05-16 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
US20110002387A1 (en) * | 2009-07-03 | 2011-01-06 | Yi-Jen Chiu | Techniques for motion estimation |
US8462852B2 (en) | 2009-10-20 | 2013-06-11 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
EP2454838B1 (en) * | 2009-07-15 | 2016-07-06 | Nokia Technologies Oy | An apparatus for multiplexing multimedia broadcast signals and related forward error control data in time sliced burst transmission frames |
US8194862B2 (en) * | 2009-07-31 | 2012-06-05 | Activevideo Networks, Inc. | Video game system with mixing of independent pre-encoded digital audio bitstreams |
US8582952B2 (en) * | 2009-09-15 | 2013-11-12 | Apple Inc. | Method and apparatus for identifying video transitions |
US20110064129A1 (en) * | 2009-09-16 | 2011-03-17 | Broadcom Corporation | Video capture and generation at variable frame rates |
US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
US9325547B2 (en) | 2009-11-13 | 2016-04-26 | Thomson Licensing | Preamble identification in a mobile DTV system |
WO2011059420A1 (en) * | 2009-11-13 | 2011-05-19 | Thomson Licensing | Joint preamble and code rate identifier in a mobile dtv system |
EP2323404A1 (en) * | 2009-11-17 | 2011-05-18 | Research In Motion Limited | Additional information for in-loop video deblocking |
GB2475739A (en) * | 2009-11-30 | 2011-06-01 | Nokia Corp | Video decoding with error concealment dependent upon video scene change. |
KR101345098B1 (ko) * | 2009-12-18 | 2013-12-26 | 한국전자통신연구원 | 실시간 영상품질 측정 장치 및 방법 |
TWI535028B (zh) | 2009-12-21 | 2016-05-21 | 半導體能源研究所股份有限公司 | 薄膜電晶體 |
US8588297B2 (en) * | 2009-12-23 | 2013-11-19 | Oracle America, Inc. | Quantization parameter prediction |
US8476744B2 (en) | 2009-12-28 | 2013-07-02 | Semiconductor Energy Laboratory Co., Ltd. | Thin film transistor with channel including microcrystalline and amorphous semiconductor regions |
US8925024B2 (en) | 2009-12-31 | 2014-12-30 | The Nielsen Company (Us), Llc | Methods and apparatus to detect commercial advertisements associated with media presentations |
SG181131A1 (en) | 2010-01-11 | 2012-07-30 | Ericsson Telefon Ab L M | Technique for video quality estimation |
KR101675118B1 (ko) * | 2010-01-14 | 2016-11-10 | 삼성전자 주식회사 | 스킵 및 분할 순서를 고려한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치 |
US9124771B2 (en) * | 2010-02-03 | 2015-09-01 | Thomson Licensing | Valid replacement data in encoded video |
WO2011100347A2 (en) * | 2010-02-09 | 2011-08-18 | Vanguard Software Solutions, Inc. | Video sequence encoding system and algorithms |
US9609342B2 (en) * | 2010-02-19 | 2017-03-28 | Skype | Compression for frames of a video signal using selected candidate blocks |
US9313526B2 (en) * | 2010-02-19 | 2016-04-12 | Skype | Data compression for video |
US9819358B2 (en) * | 2010-02-19 | 2017-11-14 | Skype | Entropy encoding based on observed frequency |
US20110206132A1 (en) * | 2010-02-19 | 2011-08-25 | Lazar Bivolarsky | Data Compression for Video |
US9078009B2 (en) * | 2010-02-19 | 2015-07-07 | Skype | Data compression for video utilizing non-translational motion information |
JP5583992B2 (ja) * | 2010-03-09 | 2014-09-03 | パナソニック株式会社 | 信号処理装置 |
US20110222837A1 (en) * | 2010-03-11 | 2011-09-15 | Cisco Technology, Inc. | Management of picture referencing in video streams for plural playback modes |
US20110255596A1 (en) * | 2010-04-15 | 2011-10-20 | Himax Technologies Limited | Frame rate up conversion system and method |
JP2012010263A (ja) * | 2010-06-28 | 2012-01-12 | Sony Corp | 符号化装置、撮像装置、符号化伝送システムおよび符号化方法 |
EP2612298A4 (en) * | 2010-09-03 | 2017-01-04 | Telefonaktiebolaget LM Ericsson (publ) | Co-compression and co-decompression of data values |
GB2483282B (en) * | 2010-09-03 | 2017-09-13 | Advanced Risc Mach Ltd | Data compression and decompression using relative and absolute delta values |
EP2612443A1 (en) * | 2010-09-03 | 2013-07-10 | Loglogic, Inc. | Random access data compression |
US20130162774A1 (en) | 2010-09-14 | 2013-06-27 | Dong Tian | Compression methods and apparatus for occlusion data |
AU2011315950B2 (en) | 2010-10-14 | 2015-09-03 | Activevideo Networks, Inc. | Streaming digital video between video devices using a cable television system |
US8419547B1 (en) * | 2010-11-04 | 2013-04-16 | Wms Gaming, Inc. | Iterative XOR-matrix forward error correction for gaming |
US10802763B2 (en) * | 2010-11-29 | 2020-10-13 | Pure Storage, Inc. | Remote storage verification |
US11307930B1 (en) | 2010-11-29 | 2022-04-19 | Pure Storage, Inc. | Optimized selection of participants in distributed data rebuild/verification |
EP2656610A4 (en) | 2010-12-21 | 2015-05-20 | Intel Corp | SYSTEM AND METHOD FOR EXTENDED DMVD PROCESSING |
US8914534B2 (en) | 2011-01-05 | 2014-12-16 | Sonic Ip, Inc. | Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol |
JP5878295B2 (ja) * | 2011-01-13 | 2016-03-08 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8838680B1 (en) | 2011-02-08 | 2014-09-16 | Google Inc. | Buffer objects for web-based configurable pipeline media processing |
KR101803970B1 (ko) * | 2011-03-16 | 2017-12-28 | 삼성전자주식회사 | 컨텐트를 구성하는 장치 및 방법 |
US9204203B2 (en) | 2011-04-07 | 2015-12-01 | Activevideo Networks, Inc. | Reduction of latency in video distribution networks using adaptive bit rates |
US8681866B1 (en) | 2011-04-28 | 2014-03-25 | Google Inc. | Method and apparatus for encoding video by downsampling frame resolution |
US9106787B1 (en) | 2011-05-09 | 2015-08-11 | Google Inc. | Apparatus and method for media transmission bandwidth control using bandwidth estimation |
WO2012170904A2 (en) * | 2011-06-10 | 2012-12-13 | Bytemobile, Inc. | Adaptive bitrate management on progressive download with indexed media files |
CN103069805B (zh) | 2011-06-27 | 2017-05-31 | 太阳专利托管公司 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置 |
CN107071476B (zh) * | 2011-06-30 | 2020-12-08 | 索尼公司 | 图像解码设备和图像解码方法 |
US8767824B2 (en) * | 2011-07-11 | 2014-07-01 | Sharp Kabushiki Kaisha | Video decoder parallelization for tiles |
US10498359B2 (en) * | 2011-07-14 | 2019-12-03 | Microsoft Technology Licensing, Llc | Correction data |
US8984156B2 (en) * | 2011-07-21 | 2015-03-17 | Salesforce.Com, Inc. | Multi-party mesh conferencing with stream processing |
JP5558431B2 (ja) * | 2011-08-15 | 2014-07-23 | 株式会社東芝 | 画像処理装置、方法及びプログラム |
US10659724B2 (en) * | 2011-08-24 | 2020-05-19 | Ati Technologies Ulc | Method and apparatus for providing dropped picture image processing |
US9467708B2 (en) | 2011-08-30 | 2016-10-11 | Sonic Ip, Inc. | Selection of resolutions for seamless resolution switching of multimedia content |
US9955195B2 (en) * | 2011-08-30 | 2018-04-24 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
US8818171B2 (en) | 2011-08-30 | 2014-08-26 | Kourosh Soroushian | Systems and methods for encoding alternative streams of video for playback on playback devices having predetermined display aspect ratios and network connection maximum data rates |
US8856624B1 (en) | 2011-10-27 | 2014-10-07 | Google Inc. | Method and apparatus for dynamically generating error correction |
WO2013074964A1 (en) | 2011-11-16 | 2013-05-23 | Vanguard Software Solutions, Inc. | Video compression for high efficiency video coding |
US9490850B1 (en) | 2011-11-28 | 2016-11-08 | Google Inc. | Method and apparatus for decoding packetized data |
US10409445B2 (en) | 2012-01-09 | 2019-09-10 | Activevideo Networks, Inc. | Rendering of an interactive lean-backward user interface on a television |
US8850054B2 (en) * | 2012-01-17 | 2014-09-30 | International Business Machines Corporation | Hypertext transfer protocol live streaming |
US9531990B1 (en) | 2012-01-21 | 2016-12-27 | Google Inc. | Compound prediction using multiple sources or prediction modes |
US8737824B1 (en) | 2012-03-09 | 2014-05-27 | Google Inc. | Adaptively encoding a media stream with compound prediction |
US9489827B2 (en) | 2012-03-12 | 2016-11-08 | Cisco Technology, Inc. | System and method for distributing content in a video surveillance network |
US9489659B1 (en) * | 2012-04-02 | 2016-11-08 | Cisco Technology, Inc. | Progressive sharing during a collaboration session |
US9800945B2 (en) | 2012-04-03 | 2017-10-24 | Activevideo Networks, Inc. | Class-based intelligent multiplexing over unmanaged networks |
US9123084B2 (en) | 2012-04-12 | 2015-09-01 | Activevideo Networks, Inc. | Graphical application integration with MPEG objects |
US9071842B2 (en) * | 2012-04-19 | 2015-06-30 | Vixs Systems Inc. | Detection of video feature based on variance metric |
US20130287100A1 (en) * | 2012-04-30 | 2013-10-31 | Wooseung Yang | Mechanism for facilitating cost-efficient and low-latency encoding of video streams |
US9185429B1 (en) | 2012-04-30 | 2015-11-10 | Google Inc. | Video encoding and decoding using un-equal error protection |
US9049349B2 (en) * | 2012-05-16 | 2015-06-02 | Cisco Technology, Inc. | System and method for video recording and retention in a network |
US9532080B2 (en) | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
US8819525B1 (en) | 2012-06-14 | 2014-08-26 | Google Inc. | Error concealment guided robustness |
US9185414B1 (en) | 2012-06-29 | 2015-11-10 | Google Inc. | Video encoding using variance |
JP2014027448A (ja) | 2012-07-26 | 2014-02-06 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
US10034023B1 (en) | 2012-07-30 | 2018-07-24 | Google Llc | Extended protection of digital video streams |
US9256803B2 (en) | 2012-09-14 | 2016-02-09 | Palo Alto Research Center Incorporated | Automatic detection of persistent changes in naturally varying scenes |
US9491487B2 (en) * | 2012-09-25 | 2016-11-08 | Apple Inc. | Error resilient management of picture order count in predictive coding systems |
WO2014061925A1 (ko) * | 2012-09-28 | 2014-04-24 | (주)휴맥스 | 교차 계층 최적화를 사용한 fec 패리티 데이터의 적응적 전송 방법 |
US9386326B2 (en) * | 2012-10-05 | 2016-07-05 | Nvidia Corporation | Video decoding error concealment techniques |
CN103780801A (zh) * | 2012-10-25 | 2014-05-07 | 特克特朗尼克公司 | 用于数字基带视频中场景剪切检测的启发式方法 |
US10015486B2 (en) * | 2012-10-26 | 2018-07-03 | Intel Corporation | Enhanced video decoding with application layer forward error correction |
US10341047B2 (en) * | 2013-10-31 | 2019-07-02 | Hewlett Packard Enterprise Development Lp | Method and system for controlling the forwarding of error correction data |
US9307235B2 (en) * | 2012-12-03 | 2016-04-05 | Vixs Systems, Inc. | Video encoding system with adaptive hierarchical B-frames and method for use therewith |
US10349069B2 (en) * | 2012-12-11 | 2019-07-09 | Sony Interactive Entertainment Inc. | Software hardware hybrid video encoder |
US9106922B2 (en) | 2012-12-19 | 2015-08-11 | Vanguard Software Solutions, Inc. | Motion estimation engine for video encoding |
US9191457B2 (en) | 2012-12-31 | 2015-11-17 | Sonic Ip, Inc. | Systems, methods, and media for controlling delivery of content |
US9628790B1 (en) | 2013-01-03 | 2017-04-18 | Google Inc. | Adaptive composite intra prediction for image and video compression |
US9172740B1 (en) | 2013-01-15 | 2015-10-27 | Google Inc. | Adjustable buffer remote access |
US9146808B1 (en) * | 2013-01-24 | 2015-09-29 | Emulex Corporation | Soft error protection for content addressable memory |
US9311692B1 (en) | 2013-01-25 | 2016-04-12 | Google Inc. | Scalable buffer remote access |
US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
US9177245B2 (en) | 2013-02-08 | 2015-11-03 | Qualcomm Technologies Inc. | Spiking network apparatus and method with bimodal spike-timing dependent plasticity |
JP6182888B2 (ja) * | 2013-02-12 | 2017-08-23 | 三菱電機株式会社 | 画像符号化装置 |
US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
US8928815B1 (en) * | 2013-03-13 | 2015-01-06 | Hrl Laboratories, Llc | System and method for outdoor scene change detection |
WO2014145921A1 (en) | 2013-03-15 | 2014-09-18 | Activevideo Networks, Inc. | A multiple-mode system and method for providing user selectable video content |
JP5838351B2 (ja) * | 2013-03-26 | 2016-01-06 | パナソニックIpマネジメント株式会社 | 映像受信装置及び受信映像の画像認識方法 |
CN103237108B (zh) * | 2013-05-13 | 2015-11-25 | 百度在线网络技术(北京)有限公司 | 用于移动终端的测试方法和测试终端 |
US9374578B1 (en) | 2013-05-23 | 2016-06-21 | Google Inc. | Video coding using combined inter and intra predictors |
US9219922B2 (en) | 2013-06-06 | 2015-12-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
EP3005712A1 (en) | 2013-06-06 | 2016-04-13 | ActiveVideo Networks, Inc. | Overlay rendering of user interface onto source video |
US9294785B2 (en) | 2013-06-06 | 2016-03-22 | Activevideo Networks, Inc. | System and method for exploiting scene graph information in construction of an encoded video sequence |
US9185275B2 (en) * | 2013-07-09 | 2015-11-10 | Lenovo (Singapore) Pte. Ltd. | Control flap |
US9894311B2 (en) | 2013-07-30 | 2018-02-13 | Robert Bosch Gmbh | Adaptive methods for wireless camera communication |
WO2015015630A1 (ja) * | 2013-08-02 | 2015-02-05 | 株式会社日立製作所 | データ転送システム及び方法 |
US9609343B1 (en) | 2013-12-20 | 2017-03-28 | Google Inc. | Video coding using compound prediction |
KR102143618B1 (ko) * | 2014-01-17 | 2020-08-11 | 삼성전자주식회사 | 프레임률 제어 방법 및 그 전자 장치 |
JP6248671B2 (ja) * | 2014-02-10 | 2017-12-20 | 富士通株式会社 | 情報処理装置、方法、プログラム、および情報処理システム |
US9788029B2 (en) | 2014-04-25 | 2017-10-10 | Activevideo Networks, Inc. | Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks |
US9723377B2 (en) | 2014-04-28 | 2017-08-01 | Comcast Cable Communications, Llc | Video management |
US10194163B2 (en) * | 2014-05-22 | 2019-01-29 | Brain Corporation | Apparatus and methods for real time estimation of differential motion in live video |
US9713982B2 (en) | 2014-05-22 | 2017-07-25 | Brain Corporation | Apparatus and methods for robotic operation using video imagery |
US9939253B2 (en) | 2014-05-22 | 2018-04-10 | Brain Corporation | Apparatus and methods for distance estimation using multiple image sensors |
US9848112B2 (en) | 2014-07-01 | 2017-12-19 | Brain Corporation | Optical detection apparatus and methods |
US10057593B2 (en) | 2014-07-08 | 2018-08-21 | Brain Corporation | Apparatus and methods for distance estimation using stereo imagery |
EP4063976A1 (en) * | 2014-09-03 | 2022-09-28 | Electrolux Appliances Aktiebolag | Method for data communication with a smart domestic appliance by a mobile computer device |
US10055850B2 (en) | 2014-09-19 | 2018-08-21 | Brain Corporation | Salient features tracking apparatus and methods using visual initialization |
AT514851B1 (de) * | 2014-10-23 | 2019-07-15 | Avl List Gmbh | Verfahren zur Rekonstruktion eines in einem drahtlosen Sensornetzwerk fehlerhaft empfangenen Datenpakets |
US9544615B2 (en) | 2014-11-14 | 2017-01-10 | Sony Corporation | Method and system for processing video content |
KR101690375B1 (ko) | 2014-11-14 | 2016-12-27 | 영남대학교 산학협력단 | 농산물 건조기용 제어장치 |
US10319408B2 (en) | 2015-03-30 | 2019-06-11 | Manufacturing Resources International, Inc. | Monolithic display with separately controllable sections |
KR20160131526A (ko) * | 2015-05-07 | 2016-11-16 | 삼성전자주식회사 | 시스템 온 칩, 상기 시스템 온 칩을 포함하는 디스플레이 시스템, 및 상기 디스플레이 시스템의 동작 방법 |
US10922736B2 (en) | 2015-05-15 | 2021-02-16 | Manufacturing Resources International, Inc. | Smart electronic display for restaurants |
US10269156B2 (en) | 2015-06-05 | 2019-04-23 | Manufacturing Resources International, Inc. | System and method for blending order confirmation over menu board background |
US9848222B2 (en) | 2015-07-15 | 2017-12-19 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover |
US10197664B2 (en) | 2015-07-20 | 2019-02-05 | Brain Corporation | Apparatus and methods for detection of objects using broadband signals |
KR102453803B1 (ko) * | 2015-09-10 | 2022-10-12 | 삼성전자주식회사 | 이미지 처리 방법 및 장치 |
JP6639653B2 (ja) | 2015-09-10 | 2020-02-05 | マニュファクチャリング・リソーシズ・インターナショナル・インコーポレーテッド | ディスプレイエラーのシステム検出のためのシステムおよび方法 |
US10516892B2 (en) | 2015-09-28 | 2019-12-24 | Cybrook Inc. | Initial bandwidth estimation for real-time video transmission |
US10506257B2 (en) | 2015-09-28 | 2019-12-10 | Cybrook Inc. | Method and system of video processing with back channel message management |
US10756997B2 (en) | 2015-09-28 | 2020-08-25 | Cybrook Inc. | Bandwidth adjustment for real-time video transmission |
CN105245908B (zh) * | 2015-10-27 | 2018-06-29 | 大连海事大学 | 一种基于错误修正优先值反馈的视频容错编码方法 |
US10506283B2 (en) | 2015-11-18 | 2019-12-10 | Cybrook Inc. | Video decoding and rendering using combined jitter and frame buffer |
US10506245B2 (en) * | 2015-11-18 | 2019-12-10 | Cybrook Inc. | Video data processing using a ring buffer |
DE102015121148A1 (de) * | 2015-12-04 | 2017-06-08 | Technische Universität München | Reduzieren der Übertragungszeit von Bildern |
US10798396B2 (en) | 2015-12-08 | 2020-10-06 | Samsung Display Co., Ltd. | System and method for temporal differencing with variable complexity |
CN107181968B (zh) * | 2016-03-11 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 一种视频数据的冗余控制方法和装置 |
US10319271B2 (en) | 2016-03-22 | 2019-06-11 | Manufacturing Resources International, Inc. | Cyclic redundancy check for electronic displays |
CN105847796A (zh) * | 2016-03-31 | 2016-08-10 | 乐视控股(北京)有限公司 | 一种用于视频编码的比特分配方法及装置 |
EP3465613A4 (en) | 2016-05-31 | 2019-10-23 | Manufacturing Resources International, Inc. | METHOD AND SYSTEM FOR REMOTE IMAGE VERIFICATION ON ELECTRONIC DISPLAY UNIT |
US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
US10510304B2 (en) | 2016-08-10 | 2019-12-17 | Manufacturing Resources International, Inc. | Dynamic dimming LED backlight for LCD array |
US10785279B2 (en) | 2016-12-29 | 2020-09-22 | Facebook, Inc. | Video encoding using starve mode |
US10868569B2 (en) * | 2017-05-08 | 2020-12-15 | Qualcomm Incorporated | PBCH signal design and efficient continuous monitoring and polar decoding |
CN107169117B (zh) * | 2017-05-25 | 2020-11-10 | 西安工业大学 | 一种基于自动编码器和dtw的手绘图人体运动检索方法 |
US10560910B2 (en) | 2017-06-12 | 2020-02-11 | Qualcomm Incoporated | Synchronization signal for a broadcast channel |
CN109413427B (zh) * | 2017-08-17 | 2022-04-08 | 腾讯科技(深圳)有限公司 | 一种视频帧编码方法及终端 |
US10152275B1 (en) | 2017-08-30 | 2018-12-11 | Red Hat, Inc. | Reverse order submission for pointer rings |
CN107948735B (zh) * | 2017-12-06 | 2020-09-25 | 北京乐我无限科技有限责任公司 | 一种视频播放方法、装置及电子设备 |
US11632151B2 (en) * | 2018-06-20 | 2023-04-18 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and apparatus for massive MU-MIMO |
US10908863B2 (en) | 2018-07-12 | 2021-02-02 | Manufacturing Resources International, Inc. | System and method for providing access to co-located operations data for an electronic display |
US11645029B2 (en) | 2018-07-12 | 2023-05-09 | Manufacturing Resources International, Inc. | Systems and methods for remotely monitoring electronic displays |
CN116980967A (zh) | 2018-09-28 | 2023-10-31 | 苹果公司 | 基于无线通信信道带宽条件的电子设备内容提供调节 |
US11818419B2 (en) | 2018-09-28 | 2023-11-14 | Apple Inc. | Mobile device content provisioning adjustments based on wireless communication channel bandwidth condition |
KR20210091322A (ko) * | 2018-12-21 | 2021-07-21 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 모드 및 크기 의존적 블록 레벨 제한의 방법 및 장치 |
WO2020164752A1 (en) | 2019-02-13 | 2020-08-20 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Audio transmitter processor, audio receiver processor and related methods and computer programs |
US11402940B2 (en) | 2019-02-25 | 2022-08-02 | Manufacturing Resources International, Inc. | Monitoring the status of a touchscreen |
US11137847B2 (en) | 2019-02-25 | 2021-10-05 | Manufacturing Resources International, Inc. | Monitoring the status of a touchscreen |
CN111901666B (zh) | 2020-07-01 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
EP3962091A1 (en) * | 2020-08-26 | 2022-03-02 | Tata Consultancy Services Limited | Methods and systems for maintaining quality of experience in real-time live video streaming |
US11368250B1 (en) * | 2020-12-28 | 2022-06-21 | Aira Technologies, Inc. | Adaptive payload extraction and retransmission in wireless data communications with error aggregations |
CN113709479B (zh) * | 2021-03-19 | 2022-12-06 | 杭州海康威视数字技术股份有限公司 | 基于自适应帧内刷新机制的解码、编码方法及相关设备 |
KR102620281B1 (ko) * | 2021-05-14 | 2023-12-29 | 연세대학교 산학협력단 | 스킵 프레임 선별 장치 및 방법 |
US11965804B2 (en) | 2021-07-28 | 2024-04-23 | Manufacturing Resources International, Inc. | Display assemblies with differential pressure sensors |
US11921010B2 (en) | 2021-07-28 | 2024-03-05 | Manufacturing Resources International, Inc. | Display assemblies with differential pressure sensors |
CN113630597B (zh) * | 2021-08-19 | 2024-01-23 | 随锐科技集团股份有限公司 | 一种与编解码无关的视频抗丢包的方法和系统 |
US20230098691A1 (en) * | 2021-09-29 | 2023-03-30 | Tencent America LLC | Techniques for constraint flag signaling for range extension with extended precision |
US11895362B2 (en) | 2021-10-29 | 2024-02-06 | Manufacturing Resources International, Inc. | Proof of play for images displayed at electronic displays |
US11917269B2 (en) | 2022-01-11 | 2024-02-27 | Tencent America LLC | Multidimensional metadata for parallel processing of segmented media data |
US11972672B1 (en) | 2022-10-26 | 2024-04-30 | Manufacturing Resources International, Inc. | Display assemblies providing open and unlatched alerts, systems and methods for the same |
Family Cites Families (107)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2637438B2 (ja) * | 1987-10-27 | 1997-08-06 | キヤノン株式会社 | 画像処理装置 |
DE68925003T2 (de) * | 1988-07-14 | 1996-06-13 | Casio Computer Co Ltd | Belegdatenverarbeitungssystem. |
US5164828A (en) * | 1990-02-26 | 1992-11-17 | Sony Corporation | Video signal transmission and method and apparatus for coding video signal used in this |
US5455629A (en) * | 1991-02-27 | 1995-10-03 | Rca Thomson Licensing Corporation | Apparatus for concealing errors in a digital video processing system |
US5212742A (en) * | 1991-05-24 | 1993-05-18 | Apple Computer, Inc. | Method and apparatus for encoding/decoding image data |
JPH05115010A (ja) * | 1991-10-22 | 1993-05-07 | Canon Inc | 画像復号化装置 |
US5141448A (en) * | 1991-12-02 | 1992-08-25 | Matrix Science Corporation | Apparatus for retaining a coupling ring in non-self locking electrical connectors |
GB2263373B (en) * | 1992-01-09 | 1995-05-24 | Sony Broadcast & Communication | Data error concealment |
FR2696026B1 (fr) * | 1992-09-18 | 1994-12-30 | Sgs Thomson Microelectronics | Procédé de masquage d'erreurs de transmission d'image compressée en MPEG. |
JPH06111495A (ja) * | 1992-09-30 | 1994-04-22 | Sony Corp | データ再生装置 |
JP3255308B2 (ja) * | 1992-12-18 | 2002-02-12 | ソニー株式会社 | データ再生装置 |
JP3519441B2 (ja) * | 1993-02-26 | 2004-04-12 | 株式会社東芝 | 動画像伝送装置 |
US5737022A (en) * | 1993-02-26 | 1998-04-07 | Kabushiki Kaisha Toshiba | Motion picture error concealment using simplified motion compensation |
US5442400A (en) * | 1993-04-29 | 1995-08-15 | Rca Thomson Licensing Corporation | Error concealment apparatus for MPEG-like video data |
JPH0775110A (ja) * | 1993-08-31 | 1995-03-17 | Sony Corp | 画像信号の符号化方法 |
US5771081A (en) * | 1994-02-28 | 1998-06-23 | Korea Telecommunication Authority | Bit system for transmitting digital video data |
JP3500724B2 (ja) * | 1994-09-05 | 2004-02-23 | ソニー株式会社 | データ再生方法およびデータ再生装置 |
CA2156463A1 (en) * | 1994-09-05 | 1996-03-06 | Nobuyuki Aoki | Data reproducing method and data reproducing apparatus |
US5550847A (en) * | 1994-10-11 | 1996-08-27 | Motorola, Inc. | Device and method of signal loss recovery for realtime and/or interactive communications |
US6222881B1 (en) * | 1994-10-18 | 2001-04-24 | Intel Corporation | Using numbers of non-zero quantized transform signals and signal differences to determine when to encode video signals using inter-frame or intra-frame encoding |
US5600663A (en) * | 1994-11-16 | 1997-02-04 | Lucent Technologies Inc. | Adaptive forward error correction system |
US5617149A (en) * | 1994-11-22 | 1997-04-01 | Electronics And Telecommunications Research Institute | Apparatus and method for detecting scene changes using the difference of mad between image frames |
JPH08214265A (ja) * | 1995-01-31 | 1996-08-20 | Sony Corp | 符号化データの再生方法および再生装置 |
US5621467A (en) * | 1995-02-16 | 1997-04-15 | Thomson Multimedia S.A. | Temporal-spatial error concealment apparatus and method for video signal processors |
US5731840A (en) * | 1995-03-10 | 1998-03-24 | Kabushiki Kaisha Toshiba | Video coding/decoding apparatus which transmits different accuracy prediction levels |
KR100226528B1 (ko) * | 1995-03-29 | 1999-10-15 | 가나이 쓰도무 | 다중화 압축화상/음성데이타의 복호장치 |
US5568200A (en) * | 1995-06-07 | 1996-10-22 | Hitachi America, Ltd. | Method and apparatus for improved video display of progressively refreshed coded video |
US6571361B1 (en) * | 1995-09-29 | 2003-05-27 | Kabushiki Kaisha Toshiba | Encoder and decoder |
US5862153A (en) * | 1995-09-29 | 1999-01-19 | Kabushiki Kaisha Toshiba | Coding apparatus and decoding apparatus for transmission/storage of information |
US6415398B1 (en) * | 1995-09-29 | 2002-07-02 | Kabushiki Kaisha Toshiba | Coding system and decoding system |
US5737537A (en) * | 1995-09-29 | 1998-04-07 | Intel Corporation | Two-measure block classification scheme for encoding video images |
US5724369A (en) * | 1995-10-26 | 1998-03-03 | Motorola Inc. | Method and device for concealment and containment of errors in a macroblock-based video codec |
US5778191A (en) * | 1995-10-26 | 1998-07-07 | Motorola, Inc. | Method and device for error control of a macroblock-based video compression technique |
US6192081B1 (en) * | 1995-10-26 | 2001-02-20 | Sarnoff Corporation | Apparatus and method for selecting a coding mode in a block-based coding system |
US6310922B1 (en) * | 1995-12-12 | 2001-10-30 | Thomson Consumer Electronics, Inc. | Method and apparatus for generating variable rate synchronization signals |
KR100197368B1 (ko) * | 1995-12-23 | 1999-06-15 | 전주범 | 영상 에러 복구 장치 |
KR100196872B1 (ko) * | 1995-12-23 | 1999-06-15 | 전주범 | 영상 복화화 시스템의 영상 에러 복구 장치 |
US5801779A (en) * | 1995-12-26 | 1998-09-01 | C-Cube Microsystems, Inc. | Rate control with panic mode |
JPH09180273A (ja) * | 1995-12-28 | 1997-07-11 | Toray Ind Inc | 光記録媒体の記録面形成用スタンパーおよび光記録媒体の製造方法 |
KR100220678B1 (ko) * | 1995-12-29 | 1999-09-15 | 전주범 | 블록 단위 부호화 장치로부터 전송된 영상신호에서의 채널 에러 정정 방법 |
JP3297293B2 (ja) * | 1996-03-07 | 2002-07-02 | 三菱電機株式会社 | 動画像復号方法および動画像復号装置 |
JP3823275B2 (ja) * | 1996-06-10 | 2006-09-20 | 富士通株式会社 | 動画像符号化装置 |
DE69707929T2 (de) * | 1996-07-05 | 2002-06-20 | Matsushita Electric Ind Co Ltd | Verfahren zum Anzeigezeitstempeln und zur Synchronisation mehrerer Videoobjektebenen |
US5875199A (en) * | 1996-08-22 | 1999-02-23 | Lsi Logic Corporation | Video device with reed-solomon erasure decoder and method thereof |
JPH1174868A (ja) * | 1996-09-02 | 1999-03-16 | Toshiba Corp | 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置/復号化装置、並びに符号化・多重化装置/復号化・逆多重化装置 |
JP3011680B2 (ja) * | 1996-09-06 | 2000-02-21 | 株式会社東芝 | 可変長符号化装置及び方法 |
KR100501902B1 (ko) * | 1996-09-25 | 2005-10-10 | 주식회사 팬택앤큐리텔 | 영상정보부호화/복호화장치및방법 |
JPH10145789A (ja) * | 1996-11-15 | 1998-05-29 | Oki Electric Ind Co Ltd | 動画像符号化方法及び動画像復号方法 |
CA2190785A1 (en) * | 1996-11-20 | 1998-05-20 | Nael Hirzalla | Method of processing a video stream |
KR100196840B1 (ko) * | 1996-12-27 | 1999-06-15 | 전주범 | 영상복호화시스템에 있어서 비트에러복원장치 |
US6148026A (en) * | 1997-01-08 | 2000-11-14 | At&T Corp. | Mesh node coding to enable object based functionalities within a motion compensated transform video coder |
KR100604702B1 (ko) * | 1997-02-12 | 2006-07-28 | 미디어텍 인크. | 이미지 시퀀스를 인코딩하는 장치 및 이미지 신호를 양자화하기 위해서 양자화 스케일을 생성하는 방법 |
JP3575215B2 (ja) * | 1997-03-05 | 2004-10-13 | 株式会社日立製作所 | パケット通信方法及び通信端末装置 |
US6005980A (en) * | 1997-03-07 | 1999-12-21 | General Instrument Corporation | Motion estimation and compensation of video object planes for interlaced digital video |
US5991447A (en) * | 1997-03-07 | 1999-11-23 | General Instrument Corporation | Prediction and coding of bi-directionally predicted video object planes for interlaced digital video |
US6115420A (en) * | 1997-03-14 | 2000-09-05 | Microsoft Corporation | Digital video signal encoder and encoding method |
US6118817A (en) * | 1997-03-14 | 2000-09-12 | Microsoft Corporation | Digital video signal encoder and encoding method having adjustable quantization |
EP1439704A3 (en) * | 1997-03-17 | 2011-08-10 | Panasonic Corporation | Method and apparatus for processing, transmitting and receiving dynamic image data |
US6304607B1 (en) * | 1997-03-18 | 2001-10-16 | Texas Instruments Incorporated | Error resilient video coding using reversible variable length codes (RVLCS) |
US6118823A (en) * | 1997-04-01 | 2000-09-12 | International Business Machines Corporation | Control scheme for shared-use dual-port predicted error array |
US6141448A (en) * | 1997-04-21 | 2000-10-31 | Hewlett-Packard | Low-complexity error-resilient coder using a block-based standard |
US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
US6181711B1 (en) * | 1997-06-26 | 2001-01-30 | Cisco Systems, Inc. | System and method for transporting a compressed video and data bit stream over a communication channel |
US6233356B1 (en) * | 1997-07-08 | 2001-05-15 | At&T Corp. | Generalized scalability for video coder based on video objects |
US6097725A (en) * | 1997-10-01 | 2000-08-01 | International Business Machines Corporation | Low cost searching method and apparatus for asynchronous transfer mode systems |
CN1108064C (zh) * | 1997-10-23 | 2003-05-07 | 索尼电子有限公司 | 基于兼容性的数据比特流中丢失/损坏数据的恢复的设备与方法 |
US6043838A (en) * | 1997-11-07 | 2000-03-28 | General Instrument Corporation | View offset estimation for stereoscopic video coding |
US6266375B1 (en) * | 1997-11-13 | 2001-07-24 | Sony Corporation | Method and apparatus for selecting a quantization table for encoding a digital image |
JP3622460B2 (ja) * | 1997-11-28 | 2005-02-23 | 松下電工株式会社 | 半導体リレー |
KR100301825B1 (ko) * | 1997-12-29 | 2001-10-27 | 구자홍 | 엠펙비디오디코디시스템및엠펙비디오디코딩시스템의오버플로우처리방법 |
WO1999038333A1 (en) * | 1998-01-26 | 1999-07-29 | Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. | One-pass variable bit rate moving pictures encoding |
JP3905969B2 (ja) * | 1998-01-30 | 2007-04-18 | 株式会社東芝 | 動画像符号化装置および動画像符号化方法 |
EP0935396A3 (en) * | 1998-02-09 | 2004-08-11 | Matsushita Electric Industrial Co., Ltd. | Video coding method and apparatus |
US6438165B2 (en) * | 1998-03-09 | 2002-08-20 | Lg Electronics | Method and apparatus for advanced encoder system |
US6289054B1 (en) * | 1998-05-15 | 2001-09-11 | North Carolina University | Method and systems for dynamic hybrid packet loss recovery for video transmission over lossy packet-based network |
US6804294B1 (en) * | 1998-08-11 | 2004-10-12 | Lucent Technologies Inc. | Method and apparatus for video frame selection for improved coding quality at low bit-rates |
US6137915A (en) * | 1998-08-20 | 2000-10-24 | Sarnoff Corporation | Apparatus and method for error concealment for hierarchical subband coding and decoding |
JP3604290B2 (ja) * | 1998-09-25 | 2004-12-22 | 沖電気工業株式会社 | 動画像復号方法及び装置 |
US6754277B1 (en) * | 1998-10-06 | 2004-06-22 | Texas Instruments Incorporated | Error protection for compressed video |
US6490705B1 (en) * | 1998-10-22 | 2002-12-03 | Lucent Technologies Inc. | Method and apparatus for receiving MPEG video over the internet |
US6192148B1 (en) * | 1998-11-05 | 2001-02-20 | Winbond Electronics Corp. | Method for determining to skip macroblocks in encoding video |
JP3166736B2 (ja) * | 1998-11-25 | 2001-05-14 | 日本電気株式会社 | 動画像符号化装置および動画像符号化方法 |
JP2000209580A (ja) * | 1999-01-13 | 2000-07-28 | Canon Inc | 画像処理装置およびその方法 |
GB2347038A (en) * | 1999-02-18 | 2000-08-23 | Nokia Mobile Phones Ltd | A video codec using re-transmission |
JP2000295626A (ja) * | 1999-04-08 | 2000-10-20 | Mitsubishi Electric Corp | 多段画像符号化装置 |
KR100357093B1 (ko) * | 1999-06-02 | 2002-10-18 | 엘지전자 주식회사 | 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법 |
US6351491B1 (en) * | 1999-06-23 | 2002-02-26 | Sarnoff Corporation | Apparatus and method for optimizing the rate control for multiscale entropy encoding |
US6968008B1 (en) * | 1999-07-27 | 2005-11-22 | Sharp Laboratories Of America, Inc. | Methods for motion estimation with adaptive motion accuracy |
JP3630590B2 (ja) * | 1999-08-25 | 2005-03-16 | 沖電気工業株式会社 | 復号化装置及び伝送システム |
US6999673B1 (en) * | 1999-09-30 | 2006-02-14 | Matsushita Electric Industrial Co., Ltd. | Moving picture decoding method, moving picture decoding apparatus and program recording medium |
KR100416307B1 (ko) * | 1999-10-25 | 2004-01-31 | 마츠시타 덴끼 산교 가부시키가이샤 | 동화상 복호화 방법, 동화상 복호화 장치 및 프로그램 기억 매체 |
JP3840020B2 (ja) * | 1999-12-14 | 2006-11-01 | 株式会社東芝 | 動画像符号化装置 |
US6493392B1 (en) * | 1999-12-27 | 2002-12-10 | Hyundai Electronics Industries Co., Ltd. | Method for coding digital interlaced moving video |
US6421386B1 (en) * | 1999-12-29 | 2002-07-16 | Hyundai Electronics Industries Co., Ltd. | Method for coding digital moving video including gray scale shape information |
JP2001197501A (ja) * | 2000-01-07 | 2001-07-19 | Fujitsu Ltd | 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置 |
US6601209B1 (en) * | 2000-03-17 | 2003-07-29 | Verizon Laboratories Inc. | System and method for reliable data transmission over fading internet communication channels |
US6724945B1 (en) * | 2000-05-24 | 2004-04-20 | Hewlett-Packard Development Company, L.P. | Correcting defect pixels in a digital image |
US6650705B1 (en) * | 2000-05-26 | 2003-11-18 | Mitsubishi Electric Research Laboratories Inc. | Method for encoding and transcoding multiple video objects with variable temporal resolution |
JP3662171B2 (ja) * | 2000-06-05 | 2005-06-22 | 三菱電機株式会社 | 符号化装置及び符号化方法 |
US6738427B2 (en) * | 2000-09-15 | 2004-05-18 | International Business Machines Corporation | System and method of processing MPEG streams for timecode packet insertion |
US7133455B2 (en) * | 2000-12-29 | 2006-11-07 | Intel Corporation | Providing error resilience and concealment for video data |
CN1215720C (zh) * | 2001-02-06 | 2005-08-17 | 皇家菲利浦电子有限公司 | 适用于任意形状目标结构的预处理方法 |
US6970506B2 (en) * | 2001-03-05 | 2005-11-29 | Intervideo, Inc. | Systems and methods for reducing frame rates in a video data stream |
US6700934B2 (en) * | 2001-03-14 | 2004-03-02 | Redrock Semiconductor, Ltd. | Error detection using a maximum distance among four block-motion-vectors in a macroblock in a corrupted MPEG-4 bitstream |
US6842484B2 (en) * | 2001-07-10 | 2005-01-11 | Motorola, Inc. | Method and apparatus for random forced intra-refresh in digital image and video coding |
US6810144B2 (en) * | 2001-07-20 | 2004-10-26 | Koninklijke Philips Electronics N.V. | Methods of and system for detecting a cartoon in a video data stream |
DE10139641C1 (de) * | 2001-08-11 | 2003-04-10 | Freudenberg Carl Kg | Reinigungsutensil |
-
2002
- 2002-03-05 US US10/092,345 patent/US6970506B2/en not_active Expired - Lifetime
- 2002-03-05 US US10/092,376 patent/US6876705B2/en not_active Expired - Fee Related
- 2002-03-05 JP JP2002570518A patent/JP2004528752A/ja active Pending
- 2002-03-05 EP EP02713780A patent/EP1374578A4/en not_active Withdrawn
- 2002-03-05 US US10/092,353 patent/US20030012287A1/en not_active Abandoned
- 2002-03-05 EP EP02721263A patent/EP1374430A4/en not_active Withdrawn
- 2002-03-05 US US10/092,392 patent/US20030053454A1/en not_active Abandoned
- 2002-03-05 EP EP02713781A patent/EP1374429A4/en not_active Withdrawn
- 2002-03-05 US US10/092,366 patent/US6990151B2/en not_active Expired - Lifetime
- 2002-03-05 US US10/092,339 patent/US7224730B2/en active Active
- 2002-03-05 US US10/092,384 patent/US7042948B2/en not_active Expired - Lifetime
- 2002-03-05 US US10/092,375 patent/US7133451B2/en active Active
- 2002-03-05 US US10/092,383 patent/US6940903B2/en not_active Expired - Lifetime
- 2002-03-05 US US10/092,394 patent/US7110452B2/en not_active Expired - Lifetime
- 2002-03-05 WO PCT/US2002/006880 patent/WO2002071640A1/en active Application Filing
- 2002-03-05 JP JP2002570430A patent/JP2004531925A/ja active Pending
- 2002-03-05 JP JP2002570429A patent/JP2004532540A/ja active Pending
- 2002-03-05 AU AU2002245609A patent/AU2002245609A1/en not_active Abandoned
- 2002-03-05 WO PCT/US2002/006865 patent/WO2002071736A2/en active Application Filing
- 2002-03-05 US US10/092,373 patent/US7003033B2/en not_active Expired - Lifetime
- 2002-03-05 WO PCT/US2002/006726 patent/WO2002071639A1/en active Application Filing
- 2002-03-05 US US10/092,340 patent/US6993075B2/en not_active Expired - Lifetime
-
2004
- 2004-10-04 US US10/956,061 patent/US7221706B2/en not_active Expired - Lifetime
- 2004-11-17 US US10/989,390 patent/US20050089091A1/en not_active Abandoned
- 2004-11-17 US US10/989,386 patent/US7164716B2/en not_active Expired - Lifetime
- 2004-12-02 US US11/001,118 patent/US7215712B2/en not_active Expired - Lifetime
- 2004-12-03 US US11/002,090 patent/US20050105625A1/en not_active Abandoned
- 2004-12-15 US US11/011,190 patent/US7260150B2/en not_active Expired - Lifetime
-
2005
- 2005-01-14 US US11/034,819 patent/US7164717B2/en not_active Expired - Lifetime
- 2005-03-23 US US11/086,455 patent/US7236520B2/en not_active Expired - Lifetime
- 2005-03-23 US US11/086,464 patent/US7242715B2/en not_active Expired - Lifetime
- 2005-07-19 US US11/183,763 patent/US20050254584A1/en not_active Abandoned
-
2007
- 2007-01-25 US US11/657,466 patent/US8135067B2/en not_active Expired - Fee Related
-
2008
- 2008-05-13 JP JP2008126503A patent/JP2008259229A/ja active Pending
- 2008-05-13 JP JP2008126531A patent/JP2008236789A/ja active Pending
- 2008-05-13 JP JP2008126533A patent/JP2008278505A/ja active Pending
- 2008-05-13 JP JP2008126527A patent/JP2008259230A/ja active Pending
- 2008-06-20 JP JP2008161115A patent/JP2008306735A/ja active Pending
- 2008-06-20 JP JP2008161107A patent/JP2008306734A/ja active Pending
- 2008-06-20 JP JP2008161110A patent/JP2009005357A/ja active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006333249A (ja) * | 2005-05-27 | 2006-12-07 | Canon Inc | 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体 |
JP4574444B2 (ja) * | 2005-05-27 | 2010-11-04 | キヤノン株式会社 | 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体 |
US8165217B2 (en) | 2005-05-27 | 2012-04-24 | Canon Kabushiki Kaisha | Image decoding apparatus and method for decoding prediction encoded image data |
JP2007028617A (ja) * | 2005-07-13 | 2007-02-01 | Polycom Inc | ビデオ誤り隠蔽法 |
JP2012231532A (ja) * | 2005-07-13 | 2012-11-22 | Polycom Inc | ビデオ誤り隠蔽法 |
JP2009540636A (ja) * | 2006-06-09 | 2009-11-19 | トムソン ライセンシング | ビデオ・ピクチャを符号化するためにビット・バジェットを適応的に求める方法及び装置 |
US8559501B2 (en) | 2006-06-09 | 2013-10-15 | Thomson Licensing | Method and apparatus for adaptively determining a bit budget for encoding video pictures |
WO2008053557A1 (en) * | 2006-11-02 | 2008-05-08 | Pioneer Corporation | Moving picture re-encoding device, moving picture re-encoding method, moving picture re-encoding program, and recording medium containing the moving picture re-encoding program |
JPWO2008053557A1 (ja) * | 2006-11-02 | 2010-02-25 | パイオニア株式会社 | 動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラムおよび動画像再符号化プログラムを格納した記録媒体 |
JP2011508995A (ja) * | 2007-12-05 | 2011-03-17 | オンライブ インコーポレイテッド | 通信チャンネルの検出されたデータレートに基づきビデオを圧縮するためのシステム及び方法 |
JP2019016850A (ja) * | 2017-07-04 | 2019-01-31 | ヒロテック株式会社 | 映像伝送方法および映像伝送システムならびに送信装置および受信装置 |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004532540A (ja) | 誤り耐性のある符号化のためのシステム及び方法 | |
US10484719B2 (en) | Method, electronic device, system, computer program product and circuit assembly for reducing error in video coding | |
US6711211B1 (en) | Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder | |
US20080025397A1 (en) | Intra-Frame Flicker Reduction in Video Coding | |
US20060056719A1 (en) | Variable block size early termination for video coding | |
US7092443B2 (en) | Process and device for video coding using the MPEG4 standard | |
Alfaqheri et al. | Low delay error resilience algorithm for H. 265| HEVC video transmission | |
Shih et al. | A new unequal error protection scheme based on FMO | |
Yang et al. | Unequal error protection for motion compensated video streaming over the Internet | |
US20230300341A1 (en) | Predictive video coding employing virtual reference frames generated by direct mv projection (dmvp) | |
Ihidoussene et al. | An unequal error protection using Reed-Solomon codes for real-time MPEG video stream | |
Halbach et al. | Error robustness evaluation of H. 264/MPEG-4 AVC | |
Parameswaran et al. | Adapting quantization offset in multiple description coding for error resilient video transmission | |
Frossard et al. | Adaptive MPEG-2 information structuring | |
Yang et al. | Rate-distortion optimized reference picture selection | |
Wang et al. | Error-resilient slice interleaving for robust video transmission over bursty loss channels | |
Behera | FEC for efficient video transmission over CDMA | |
Duong et al. | Frame error concealment using pixel correlation in overlapped motion compensation regions | |
Wang et al. | Error-resilient packet reordering for compressed video transmission over error-prone networks | |
Halbach et al. | H. 264/MPEG-4 AVC |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050427 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050427 |
|
A072 | Dismissal of procedure [no reply to invitation to correct request for examination] |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20050615 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050929 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090313 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090806 |