BRPI0616426A2 - técnicas de escalabilidade baseadas em informações de conteúdo - Google Patents
técnicas de escalabilidade baseadas em informações de conteúdo Download PDFInfo
- Publication number
- BRPI0616426A2 BRPI0616426A2 BRPI0616426-9A BRPI0616426A BRPI0616426A2 BR PI0616426 A2 BRPI0616426 A2 BR PI0616426A2 BR PI0616426 A BRPI0616426 A BR PI0616426A BR PI0616426 A2 BRPI0616426 A2 BR PI0616426A2
- Authority
- BR
- Brazil
- Prior art keywords
- data
- data group
- encoding
- complexity
- frame
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 225
- 230000033001 locomotion Effects 0.000 claims description 148
- 230000002123 temporal effect Effects 0.000 claims description 49
- 238000013139 quantization Methods 0.000 claims description 43
- 239000013598 vector Substances 0.000 claims description 40
- 238000012545 processing Methods 0.000 abstract description 61
- 239000010410 layer Substances 0.000 description 190
- 230000008569 process Effects 0.000 description 169
- 230000008859 change Effects 0.000 description 49
- 238000005192 partition Methods 0.000 description 47
- 238000001514 detection method Methods 0.000 description 31
- 230000000007 visual effect Effects 0.000 description 28
- 238000007906 compression Methods 0.000 description 26
- 230000006835 compression Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 25
- 230000005540 biological transmission Effects 0.000 description 24
- 238000001914 filtration Methods 0.000 description 24
- 230000003044 adaptive effect Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 20
- 230000000750 progressive effect Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 14
- 230000002441 reversible effect Effects 0.000 description 13
- 238000005562 fading Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 8
- 230000008901 benefit Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 230000006872 improvement Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 241000282994 Cervidae Species 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 5
- 238000000926 separation method Methods 0.000 description 5
- 239000002356 single layer Substances 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012952 Resampling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 239000002775 capsule Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000002688 persistence Effects 0.000 description 4
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000001364 causal effect Effects 0.000 description 3
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006837 decompression Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007373 indentation Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000101 transmission high energy electron diffraction Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 101100452749 Drosophila melanogaster acj6 gene Proteins 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- JEYCTXHKTXCGPB-UHFFFAOYSA-N Methaqualone Chemical compound CC1=CC=CC=C1N1C(=O)C2=CC=CC=C2N=C1C JEYCTXHKTXCGPB-UHFFFAOYSA-N 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 208000006673 asthma Diseases 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000003623 enhancer Substances 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
- H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
- H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
TéCNICAS DE ESCALABILIDADE BASEADAS EM INFORMAçõES DE CONTEúDO. São descritos equipamento e métodos de utilizar informações de conteúdo para codificar dados de multimídia. Um método de processar dados de multimídia inclui classificar conteúdo de dados de multimídia, e codificar os dados de multimídia em um primeiro grupo de dados e em um segundo grupo de dados com base na classificação de conteúdo, em que o primeiro grupo de dados compreende um coeficiente e o segundo grupo de dados compreende um primeiro refinamento diferencial associado ao primeiro coeficiente de grupo de dados. Um equipamento para utilizar informações de conteúdo para codificar dados de multimídia inclui um módulo de classificação de conteúdo configurado para classificar conteúdo de dados de multimídia e fornecer dados de classificação de conteúdo, e um codificador configurado para codificar os dados de multimidia em um primeiro grupo de dados e em um segundo grupo de dados com base na classificação de conteúdo, em que o primeiro grupo de dados compreende um coeficiente e o segundo grupo de dados compreende um primeiro refinamento diferencial associado ao primeiro coeficiente de grupo de dados.
Description
"TÉCNICAS DE ESCALABILIDADE BASEADAS EM INFORMAÇÕES DECONTEÚDO"
CAMPO DA INVENÇÃO
O presente pedido se refere ao equipamento emétodos para transcodificação de vídeo de dados de vídeo
para fluxo contínuo em tempo real e, mais especificamente,à transcodificação de dados de vídeo para fluxo contínuo emtempo real em aplicação de transmissão móvel.
DESCRIÇÃO DA TÉCNICA ANTERIOR
A compactação eficiente de vídeo é útil em muitasaplicações de multimídia tal como fluxo contínuo de vídeosem fio e vídeo telefonia, devido aos recursos limitados delargura de banda e à variabilidade da largura de bandadisponível. Certos padrões de codificação de vídeo, talcomo MPEG-4 (ISO/IEC), H.264 (ITU), ou codificação de vídeosimilar proporcionam codificação de alta eficiênciaadequada para aplicações tais como transmissão sem fio.Alguns dados de multimídia, por exemplo, apresentações detelevisão digital, geralmente são codificadas de acordo comoutros padrões tal como MPEG-2. Conseqüentemente,transcodificadores são usados para transcodificar ouconverter os dados de multimídia codificados de acordo comum padrão (por exemplo, MPEG-2) para outro padrão (porexemplo, H.264) antes da transmissão sem fio.Codecs otimizados de taxa aperfeiçoada poderiam
oferecer vantagens em flexibilidade de erro, recuperação deerro, e escalabilidade. Além disso, o uso de informaçõesdeterminado a partir dos próprios dados de multimídiatambém poderia oferecer aperfeiçoamentos adicionais paracodificação, incluindo flexibilidade de erro, recuperaçãode erro, e escalabilidade. Conseqüentemente, existe anecessidade de um transcodificador que proporcioneprocessamento e compactação altamente eficientes dos dadosde multimídia que utiliza as informações determinadas apartir dos próprios dados de multimídia, é escalável, e éflexível em termos de erro para uso em muitas aplicações dedados de multimídia incluindo transmissão móvel deinformações de multimídia de fluxo contínuo.
RESUMO DA INVENÇÃO
Cada um dos equipamentos e métodos detranscodificação baseados em conteúdo inventivo, descritose ilustrados tem vários aspectos, nenhum dos quais éexclusivamente responsável por seus atributos desejáveis.
Sem limitar o escopo dessa revelação, suas característicasmais proeminentes serão discutidas agora resumidamente.
Após considerar essa discussão, e particularmente apósleitura da seção intitulada "Descrição Detalhada" seentenderá como as características dessa transcodificaçãoguiada por conteúdo proporcionam aperfeiçoamentos paraequipamentos e métodos de processamento de dados demultimídia.
Os aspectos inventivos aqui descritos se referemao uso de informações de conteúdo para vários métodos decodificação de dados de multimídia e em vários módulos oucomponentes de um codificador, por exemplo, um codificadorusado em um transcodificador. Um transcodificador podeorquestrar dados de multimídia de transcodificaçãoutilizando informações de conteúdo. As informações deconteúdo podem ser recebidas a partir de outra fonte, porexemplo, metadados que são recebidos com o vídeo. 0transcodificador pode ser configurado para gerarinformações de conteúdo através de uma variedade dediferentes operações de processamento. Em alguns aspectos,o transcodificador gera uma classificação de conteúdo dosdados de multimídia, a qual é então usada em um ou maisprocessos de codificação. Em alguns aspectos, umtranscodificador guiado por conteúdo pode determinarinformações de conteúdo espacial e temporal dos dados demultimídia e utilizar as informações de conteúdo paracodificação de qualidade uniforme ciente de conteúdoatravés dos canais, e compactação/alocação de bits com baseem classificação de conteúdo.
Em alguns aspectos, as informações de conteúdo(por exemplo, metadados, métricas de conteúdo e/ou umaclassificação de conteúdo) de dados de multimídia sãoobtidas ou calculadas, e então providas aos componentes dotranscodificador para uso no processamento dos dados demultimídia para codificação. Por exemplo, um pré-processador pode utilizar certas informações de conteúdopara detecção de mudança de cena, realizar telecine inverso("IVTC"), desentrelaçamento, compensação de movimento esupressão de ruído (por exemplo, transformada de pequenasondas ("wavelet") 2D) e redução de ruído espaço-temporal,por exemplo, remoção de artefatos, remoção de ressonâncias("ringing"), remoção de blocos, e/ou remoção de ruído. Emalguns aspectos, um pré-processador também pode usar asinformações de conteúdo para amostragem descendente ("down-sampling") de resolução espacial, por exemplo, determinandoáreas "seguras" e "de manejo de ação", apropriadas, aoamostrar descendentemente a partir de definição padrão (SD)para Quarter Vide Graphics Array (QVGA).
Em alguns aspectos, um codificador inclui ummódulo de classificação de conteúdo que é configurado paracalcular informações de conteúdo. O codificador pode usarclassificação de conteúdo para controle de taxa de bit (porexemplo, alocação de bit) na determinação de parâmetros dequantização (QP) para cada MB, para estimativa demovimento, por exemplo, realizando estimativa de movimentode cor (ME), realizando predição de vetor de movimento(MV), escalabilidade na provisão de uma camada base e umacamada de aperfeiçoamento, e para flexibilidade de erromediante uso de uma classificação de conteúdo para realizaresquemas de flexibilidade de erro e hierarquia de prediçãoincluindo, por exemplo, intra-renovação adaptativa,processos de alinhamento de limite, e proporcionar dados deI-quadro redundantes em uma camada de aperfeiçoamento. Emalguns aspectos, o transcodificador utiliza a classificaçãode conteúdo em combinação com um multiplexador de dadospara manter ótima qualidade de dados de multimídia atravésdos canais. Em alguns aspectos, o codificador pode usarinformações de classificação de conteúdo para forçarquadros-I a aparecer periodicamente nos dados codificadospara permitir rápida mudança de canal. Tais implementaçõestambém podem fazer uso de I-blocos que podem ser exigidosnos dados codificados para flexibilidade de erro, de talmodo que a mudança de acesso aleatório e a flexibilidade deerro (com base, por exemplo, na classificação de conteúdo)podem ser combinadas efetivamente através da hierarquia depredição para melhorar a eficiência de codificação enquantoaumentando a robustez para os erros.
Em um aspecto um método de processar dados demultimídia compreende classificar o conteúdo dos dados demultimídia, e codificar os dados de multimídia em umprimeiro grupo de dados e em um segundo grupo de dados combase na classificação de conteúdo, em que o primeiro grupode dados compreende um coeficiente e o segundo grupo dedados compreende um primeiro refinamento diferencialassociado ao coeficiente do primeiro grupo de dados. Acodificação pode incluir determinar uma taxa de bits combase na classificação de conteúdo dos dados de multimídia,e codificar os dados de multimídia com base na taxa debits. Classificar o conteúdo pode compreender determinar acomplexidade dos dados de multimídia, e em que os dados demultimídia selecionados são codificados com base nacomplexidade dos dados de multimídia. A complexidade podecompreender complexidade temporal ou complexidade espacial,ou complexidade temporal e complexidade espacial. Acodificação pode incluir codificar os dados de multimídiade modo a permitir a decodificação apenas do primeiro grupode dados ou do primeiro grupo de dados e do segundo grupode dados em um único grupo de dados combinado. O primeirorefinamento diferencial pode indicar uma diferença entre umquadro de vídeo selecionado e os dados de quadro resultanteda decodificação do primeiro grupo de dados. 0 primeirogrupo de dados pode ser uma camada base e o segundo grupode dados pode ser uma camada de aperfeiçoamento. Alémdisso, o método pode incluir selecionar o coeficiente apartir de um coeficiente de erro residual de camada baseoriginal ou de um coeficiente de erro residual de camada deaperfeiçoamento original, e calcular o primeiro refinamentodiferencial com base no coeficiente e no coeficiente deerro residual de camada de aperfeiçoamento original. Acodificação pode originalmente compreender codificarinformações de cabeçalho de macrobloco e informações devetor de movimento no primeiro grupo de dados. Acodificação pode compreender ainda quantizar o primeirogrupo de dados em um primeiro tamanho de etapa, e quantizaro segundo grupo de dados em um segundo tamanho de etapa, emque o primeiro tamanho de etapa e o segundo tamanho deetapa são relacionados por um fator de escala. Acodificação pode incluir ainda determinar um primeiroparâmetro de quantização tendo um primeiro tamanho de etapade quantização para uso na codificação do primeiro grupo dedados, e determinar um segundo parâmetro de quantizaçãotendo um segundo tamanho de etapa de quantização para usona codificação do segundo grupo de dados, em que o primeiroe o segundo parâmetros de quantização são determinados combase nas informações de conteúdo de dados de quadroselecionado, e em que o primeiro tamanho de etapa dequantização é mais grosseiro ("coarser") do que o segundotamanho de etapa de quantização. Em outro aspecto, acodificação inclui codificar o primeiro grupo de dadosutilizando I-quadros, e P-quadros ou qualquer combinaçãodos mesmos e codificar o segundo grupo de dados utilizandoI-quadros, P-quadros, e B-quadros ou qualquer combinaçãodos mesmos.
Em outro aspecto, um equipamento para codificardados de multimídia inclui meios para classificar conteúdode dados de multimídia, meios para codificar os dados demultimídia em um primeiro grupo de dados e em um segundogrupo de dados com base na classificação de conteúdo, émque o primeiro grupo de dados compreende um coeficiente eum segundo grupo de dados compreende um primeirorefinamento diferencial associado ao primeiro coeficientede grupo de dados. Os meios para codificar podemcompreender meios para determinar uma taxa de bits com basena classificação de conteúdo dos dados de multimídia, ecodificar os dados de multimídia com dados na taxa de bits.Os meios de conteúdo de classificação podem incluir meiospara determinar a complexidade dos dados de multimídia, -eem que os dados de multimídia selecionados são codificadoscom base na complexidade dos dados de multimídia, acomplexidade compreendendo complexidade temporal oucomplexidade espacial, ou complexidade temporal ecomplexidade espacial. Os meios para codificar podemcompreender meios para permitir a decodificação apenas doprimeiro grupo de dados ou do primeiro grupo de dados e dosegundo grupo de dados em um único grupo de dadoscombinado.
Em outro aspecto, o equipamento inclui um módulode classificação de conteúdo configurado para classificarconteúdo de dados de multimídia e prover dados declassificação de conteúdo, e um codificador configurado
para codificar os dados de multimídia em um primeiro grupode dados e em um segundo grupo de dados com base naclassificação de conteúdo, em que o primeiro grupo de dadoscompreende um coeficiente e o segundo grupo de dadoscompreende um primeiro refinamento diferencial associado ao
coeficiente do primeiro grupo de dados. 0 codificador podeincluir um componente de taxa de bits configurado para umaalocação de bits com base na classificação de conteúdo, eem que o componente de codificação é configuradoadicionalmente para codificar os dados de multimídia
selecionados utilizando a alocação de bits.
Em outro aspecto, o meio legível por máquinacompreende instruções que a partir da execução fazem comque uma máquina classifique o conteúdo dos dados demultimídia, e codifique os dados de multimídia em um
primeiro grupo de dados e em um segundo grupo de dados combase na classificação de conteúdo, em que o primeiro grupode dados compreende um coeficiente e o segundo grupo dedados compreende um primeiro refinamento diferencialassociado ao coeficiente do primeiro grupo de dados.
Outro aspecto, um processador sendo configuradopara classificar conteúdo de dados de multimídia, ecodificar os dados de multimídia em um primeiro grupo dedados e em um segundo grupo de dados com base naclassificação de conteúdo, em que o primeiro grupo de dados
compreende um coeficiente e o segundo grupo de dadoscompreende um primeiro refinamento diferencial associado aocoeficiente do primeiro grupo de dados.BREVE DESCRIÇÃO DAS FIGURAS
A Figura IA é um diagrama de blocos de um sistemade transmissão de mídia incluindo um transcodificador paratranscodificar entre diferentes formatos de vídeo.
A Figura IB é um diagrama de blocos de umcodificador configurado para codificar dados de multimídiae prover um primeiro grupo de dados codificados e umsegundo grupo de dados codificados.
A Figura IC é um diagrama de blocos de umprocessador configurado para codificar dados de multimídia.
A Figura 2 é um diagrama de blocos de um exemplodo transcodificador do sistema da Figura 1.
A Figura 3 é um fluxograma ilustrando a operaçãode um segmentador ("parser") usado dentro dotranscodificador da Figura 2.
A Figura 4 é um fluxograma ilustrando a operaçãode um decodificador usado dentro do transcodificador daFigura 2.
A Figura 5 é um diagrama de temporização desistema ilustrando uma seqüência de operações realizadaspelo transcodificador da Figura 2.
A Figura 6 é um fluxograma ilustrando umaseqüência de operações e funções de um processador que podeser usado no transcodificador da Figura 2.
A Figura 7 é um diagrama de blocos de umcodificador de duas passagens exemplar que pode ser usadono transcodificador da Figura 2.
A Figura 8 ilustra um exemplo de um gráfico declassificação que ilustra um aspecto de como associarvalores de movimento e textura com classificação deconteúdo.
A Figura 9 é um fluxograma ilustrando umaoperação exemplar para classificação de conteúdo, tal comopara uso no codificador da Figura 7.
A Figura 10 é um fluxograma ilustrando a operaçãode um controle de taxa, tal como para uso com o codificadorda Figura 7.
A Figura 11 é um fluxograma ilustrando a operaçãode um estimador de movimento exemplar, tal como para usocom o codificador da Figura 7.
A Figura 12 é um fluxograma ilustrando a operaçãode uma função de codificador de decisão de modo exemplar,tal como para uso com o codificador da Figura 7.
A Figura 13 é um fluxograma ilustrando umaoperação exemplar efetuando escalabilidade para uso nocodificador da Figura 7.
A Figura 14 é um fluxograma ilustrando umaoperação exemplar efetuando fluxo de dados de distorção detaxa conforme ocorre no codificador da Figura 7, porexemplo.
A Figura 15 é um gráfico ilustrando a relaçãoentre a complexidade de codificação, bits alocados, equalidade visual humana.
A Figura 16 é um gráfico ilustrando uma fórmulade detecção de cena não-linear.
A Figura 17A é um fluxograma ilustrando oprocessamento de dados de multimídia que foram obtidos,recebidos, ou de outro modo estão acessíveis.
A Figura 17B é um diagrama de blocos de umsistema de codificação de multimídia.
A Figura 18 é um diagrama ilustrando um processode desentrelaçamento utilizando estimação/compensação demovimento.
A Figura 19 é um diagrama de blocos de um sistemade comunicação de multimídia.
A Figura 20 é um diagrama ilustrando aorganização de um fluxo de bits de video em uma camada deaperfeiçoamento e em uma camada base.
A Figura 21 é um diagrama ilustrando oalinhamento de fatias para limites de quadro de video.
A Figura 22 é um diagrama de blocos ilustrandohierarquia de predição.
A Figura 23 é um fluxograma de processoilustrando um método de codificar dados de multimídia combase na Informações de conteúdo.
A Figura 24 é um fluxograma de processoilustrando um método de codificar dados de multimídia demodo a alinhar os limites de dados com base no nível deInformações de conteúdo.
A Figura 25 é um gráfico ilustrando uma área deação segura e uma área de título segura de um quadro dedados. ·
A Figura 26 é um gráfico ilustrando uma área deação segura de um quadro de dados.
A Figura 27 é um fluxograma de processoilustrando um processo de codificar dados de multimídiautilizando intra-renovação adaptativa com base nasinformações de conteúdo de multimídia.
A Figura 28 é um fluxograma de processoilustrando um processo de codificar dados de multimídiautilizando quadros-I redundantes com base nas informaçõésde conteúdo de multimídia.
A Figura 2 9 ilustra vetores de compensação demovimento entre um quadro atual e um quadro anterior MVp eum quadro atual e um quadro seguinte MVn.
A Figura 30 é um fluxograma de processoilustrando detecção de seqüência.
A Figura 31 é um fluxograma de processoilustrando a codificação de camadas base e deaperfeiçoamento.
A Figura 32 é um desenho esquemático ilustrando acodificação de um macrobloco.
A Figura 33 é um desenho esquemático ilustrandomódulos para codificar uma camada base e uma camada deaperfeiçoamento.
A Figura 34 mostra um exemplo de um processoseletor de coeficiente de camada base e de camada deaperfeiçoamento.
A Figura 35 mostra outro exemplo de um processoseletor de coeficiente de camada base e de camada deaperfeiçoamento.
A Figura 36 mostra outro exemplo de um processoseletor de coeficiente de camada base e de camada deaperfeiçoamento.
A Figura 37 é um fluxograma de processoilustrando a codificação de dados de multimídia com base naInformações de conteúdo.
A Figura 38 é um diagrama ilustrando possíveisdecisões de sistema em um processo de telecine inverso.
A Figura 39 ilustra limites em um macrobloco aser filtrado por um processo de remoção de blocos.
A Figura 40 é um diagrama ilustrando um processode desentrelaçamento espaço-temporal.
A Figura 41 ilustra um exemplo de re-amostragémpolifásica 1-D.
A Figura 42 é um fluxograma ilustrando um exemplode estrutura GOP adaptativa em fluxo contínuo de vídeo.
Observa-se que, onde apropriado, numeraissemelhantes se referem a partes semelhantes ao longo dasvárias vistas dos desenhos.
DESCRIÇÃO DETALHADA DA INVENÇÃO
A descrição detalhada seguinte se refere a certosaspectos discutidos nessa revelação. Contudo, a invençãopode ser incorporada em diversas formas diferentes.Referência nesse relatório descritivo a "um aspecto" ou"algum aspecto" significa que um recurso, estrutura oucaracterística específica descrita em conexão com o aspectoé incluída no pelo menos um aspecto. Os surgimentos dafrase "em um aspecto", "de acordo com um aspecto", ou "emalguns aspectos" em vários pontos no relatório descritivonão estão necessariamente se referindo ao mesmo aspecto,nem são aspectos separados ou alternativos mutuamenteexclusivos de outros aspectos. Além disso, váriascaracterísticas são descritas as quais podem ser exibidaspor alguns aspectos e não por outros. Similarmente, váriasexigências são descritas as quais podem ser exigências paraalguns aspectos, porém não para outros aspectos.
A descrição a seguir inclui detalhes para proverum entendimento completo dos exemplos. Contudo, é entendidopor aqueles versados na técnica que os exemplos podem serpraticados mesmo se cada detalhe de um processo oudispositivo em um exemplo ou aspecto não for aqui descritoou ilustrado. Por exemplo, componentes elétricos podem sermostrados em diagramas de blocos que não ilustram cadaconexão elétrica ou cada elemento elétrico do componentepara não obscurecer os exemplos com detalhesdesnecessários. Em outras ocorrências, tais componentes,outras estruturas, e técnicas, podem ser mostrados emdetalhe para explicar adicionalmente os exemplos.
A presente revelação se refere ao controle deequipamento e métodos de codificação e transcodificaçãoutilizando informações de conteúdo dos dados de multimídiasendo codificados. "Informações de conteúdo" ou "conteúdo"(dos dados de multimídia) são termos amplos significandoinformações relacionadas ao conteúdo dos dados demultimídia e podem incluir, por exemplo, metadados,métricas calculadas a partir dos dados de multimídia einformações relacionadas a conteúdo associado a uma ou maismétricas, por exemplo, uma classificação de conteúdo. Asinformações de conteúdo podem ser providas a um codificador
ou determinadas por um codificador, dependendo da aplicaçãoespecífica. As informações de conteúdo podem ser usadaspara muitos aspectos da codificação de dados de multimídia,incluindo, detecção de mudança de cena, processamentotemporal, redução de ruído espaço-temporal, amostragemdescendente, determinação de taxas de bits paraquantização, escalabilidade, flexibilidade de erro,manutenção de qualidade de multimídia ótima através decanais de transmissão, e mudança rápida de canais.
Utilizando um ou mais desses aspectos, um transcodificadorpode orquestrar o processamento dos dados de multimídia eproduzir dados de multimídia codificados relacionados aoconteúdo. As descrições e figuras aqui presentes quedescrevem aspectos de transcodificação também podem seraplicáveis aos aspectos de codificação e aspectos dedecodificação.
0 equipamento de transcodificador e métodos sereferem à transcodificação a partir de um formato paraoutro, e são descritos especificamente aqui como sereferindo à transcodificação de vídeo MPEG-2 para o formato
H.264 redimensionável, aperfeiçoado para transmissãoatravés de canais sem fio para dispositivos móveis,ilustrativos de alguns aspectos. Contudo, a descrição datranscodificação de vídeo MPEG-2 para o formato H.264 nãotem o propósito de limitar o escopo da invenção, porém, ésimplesmente exemplar de alguns aspectos da invenção. 0equipamento e métodos revelados proporcionam umaarquitetura altamente eficiente que suporta codificaçãoflexível de erro com capacidades de disposição em camadas eacesso aleatório, e pode ser aplicável também àtranscodificação e/ou codificação de formatos de vídeosdiferentes de MPEG-2 e H.264.
"Dados de multimídia" ou simplesmente"multimídia" conforme aqui usado, é um termo amplo queinclui dados de vídeo (os quais podem incluir dados deáudio), dados de áudio, ou ambos, dados de vídeo e dados deáudio. "Dados de vídeo" ou "vídeo" conforme aqui usado comoum termo amplo se referindo a dados baseados em quadro oudados baseados em campo, que incluem uma ou mais imagens ouseqüências relacionadas de imagens, contendo texto,informações de imagem e/ou dados de áudio, e podem serusados para se referir aos dados de multimídia (porexemplo, os termos podem ser usados permutavelmente) amenos que de outra forma especificado.
São descritos abaixo exemplos de várioscomponentes de um transcodificador e exemplos de processosque podem usar informações de conteúdo para codificar dadosde multimídia.
A Figura IA é um diagrama de blocos ilustrando umfluxo de dados de alguns aspectos de um sistema detransmissão de dados de multimídia 100. No sistema 100, umprovedor de dados de multimídia 106 comunica os dados demultimídia codificados 104 a um transcodificador 200. Osdados de multimídia codificados 104 são recebidos pelotranscodificador 200, o qual processa os dados demultimídia 104 em dados brutos de multimídia no bloco 110.
O processamento no bloco 110 decodifica e segmenta os dadosde multimídia codificados 104, e adicionalmente processa òsdados de multimídia para prepará-los para codificação emoutro formato. Os dados de multimídia decodificados sãoprovidos ao bloco 112 onde os dados de multimídia sãocodificados para um formato ou padrão de multimídiapredeterminado. Quando os dados de multimídia tiverem sidocodificados, no bloco 114 eles são preparados paratransmissão, por intermédio, por exemplo, de um sistema detransmissão sem fio (por exemplo, uma rede de transmissãode telefonia celular, ou por intermédio de outra rede decomunicação). Em alguns aspectos, os dados de multimídiarecebidos 104 foram codificados de acordo com o padrãoMPEG-2. Após os dados de multimídia transcodifiçados 104terem sido decodificados, o transcodificador 200 codificaos dados de multimídia para um padrão H.2 64.
A Figura IB é um diagrama de blocos de umtranscodificador 130 que pode ser configurado para realizaro processamento nos blocos 110 e 112 da Figura IA. Otranscodificador 130 pode ser configurado para receberdados de multimídia, decodificar e segmentar os dados demultimídia em fluxos elementares empacotados (por exemplo,subtítulos, áudio, metadados, vídeo "bruto", dados CC, emarcas de tempo de apresentação), codificar em um formatodesejado, e prover os dados codificados para processamentoou transmissão adicional. 0 transcodificador 130 pode serconfigurado para prover dados codificados em dois ou maisgrupos de dados, por exemplo, um primeiro grupo de dadoscodificados e um segundo grupo de dados codificados, o queé referido como codificação em camadas. Em alguns exemplosde aspectos, os vários grupos de dados (ou camadas) em umesquema de codificação em camadas podem ser codificados emdiferentes níveis de qualidade, e formatados de tal modoque os dados codificados em um primeiro grupo de dados sãode uma qualidade inferior (por exemplo, proporcionam umnível de qualidade visual inferior quando exibidos) do queos dados codificados em um segundo grupo de dados.
A Figura IC é um diagrama de blocos de umprocessador 140 que pode ser configurado paratranscodificar dados de multimídia, e pode ser configuradopara realizar uma parte ou todo o processamento ilustradonos blocos 110 e 112 da Figura IA. O processador 140 podeincluir módulos 124a...n, realizar um ou mais dos processos
de transcodificação aqui descritos, incluindo decodificar,segmentar, pré-processar, e codificar, e usar informaçõesde conteúdo para processamento. O processador 140 incluitambém a memória interna 122 e pode ser configurado para secomunicar com a memória externa 120, seja direta ou
indiretamente através de outro dispositivo. O processador140 inclui também um módulo de comunicação 126 configuradopara se comunicar com um ou mais dispositivos externos aoprocessador 14 0, incluindo para receber dados de multimídiae para prover dados codificados, tal como dados codificadósem um primeiro grupo de dados e dados codificados em umsegundo grupo de dados. Em alguns exemplos de aspectos, osvários grupos de dados (ou camadas) em um esquema decodificação em camadas podem ser codificados em diferentesníveis de qualidade, e formatados de tal modo que os dadoscodificados em um primeiro grupo de dados são de umaqualidade inferior (por exemplo, proporciona um nível dequalidade visual inferior quando exibidos) do que os dadoscodificados em um segundo grupo de dados.
0 transcodificador 130 ou o pré-processador 140(configurado para transcodificação), seus componentes, eprocessos contidos no mesmo, podem ser implementados porhardware, software, firmware, middleware, microcódigo, ouqualquer combinação dos mesmos. Por exemplo, umsegmentador, decodificador, pré-processador, ou codificadorpodem ser componentes independentes, incorporados comohardware, fi rmware, middleware em um componente e outrodispositivo, ou ser implementados em microcódigo óusoftware que é executado em um processador ou umacombinação dos mesmos. Quando implementado em software,firmware, middleware ou microcódigo, o código de programaou segmentos de código que realizam a compensação demovimento, classificação de seqüência e processos decodificação pode ser armazenado em um meio legível pormáquina tal como um meio de armazenamento. Um segmento decódigo pode representar um procedimento, uma função, umsubprograma, um programa, uma rotina, uma sub-rotina, ummódulo, um pacote de software, uma classe, ou qualquercombinação de instruções, estrutura de dados, oudeclarações de programa. Um segmento de código pode seracoplado a outro segmento de código ou a um circuito dehardware mediante passagem e/ou recepção de informações,dados, argumentos, parâmetros, ou conteúdo de memória.
EXEMPLO ILUSTRATIVO DE UMA ARQUITETURA DE TRANSCODIFICADOR
A Figura 2 ilustra um diagrama de blocos de umexemplo de um transcodificador que pode ser usado para otranscodificador 200 ilustrado no sistema de transmissão demultimídia 100 da Figura 1. O transcodificador 200compreende um segmentador/decodificador 202, um pré-processador 226, um codificador 228, e uma camada desincronização 240, descrita adicionalmente abaixo. 0transcodificação 200 é configurado para usar informações deconteúdo dos dados de multimídia 104 para um ou maisaspectos do processo de transcodificação, como é aquidescrito. As informações de conteúdo podem ser obtidas apartir de uma fonte externa ao transcodificador 200,através de metadados de multimídia, ou calculada pelotranscodificador, por exemplo, pelo pré-processador 226 oupelo codificador 228. Os componentes mostrados na Figura 2são ilustrativos de um componente que pode ser incluído emum transcodificador que usas informações de conteúdo paraum ou mais processos de transcodif icação. Em umaimplementação especifica, um ou mais dos componentes dotranscodificador 200 podem ser excluídos ou componentesadiei onais podem ser incluídos. Adicionalmente, porções dotranscodificador e processos de transcodificação sãodescritas de modo a permitir que aqueles versados natécnica pratiquem a invenção mesmo se cada detalhe de umprocesso ou dispositivo não for aqui descrito.
A Figura 5 ilustra um diagrama de temporizaçãocomo uma ilustração gráfica de relações temporais daoperação dos vários componentes e/ou processos dotranscodificador 200. Conforme mostrado na Figura 5, ovídeo de fluxo contínuo codificado 104 (dados de multimídiacodificados), tal como vídeo MPEG-2, é primeiramenterecebido em um tempo arbitrário zero (0) pelo segmentador205 (Figura 2) . A seguir, o fluxo de vídeo é segmentado(501), demultiplexado 502 e decodificado 503, tal como porintermédio de um segmentador 205 em combinação com odecodificador 214. Conforme ilustrado, esses processospodem ocorrer em paralelo, com ligeiro deslocamento detemporização, para prover saída de fluxo dos dados deprocessamento para o processador 226 (Figura 2) . Em umtempo Ti 504 quando o pré-processador 226 tiver recebidodados suficientes a partir do decodificador 214 paracomeçar a produzir os resultados de processamento, asetapas de processamento restantes se tornam de naturezaseqüencial, com a primeira codificação de passagem 505,segunda codificação de passagem 506, e re-codificação 507ocorrendo em seqüência após o pré-processamento até otérmino da re-codificação em um tempo Tf 508.
O transcodificador 200, aqui descrito, pode serconfigurado para transcodificar uma variedade de dados demultimídia, e muitos dos processos se aplicam a qualquertipo de dados de multimídia que sejam transcodifiçados.Embora alguns dos exemplos aqui providos se refiramparticularmente à transcodificação de dados MPEG-2 paradados H.264, não se pretende que esses exemplos limitem arevelação aos tais dados. Aspectos de codificação descritos
abaixo podem ser aplicados à transcodificação de qualquerpadrão de dados de multimídia adequado para outro padrão dedados de multimídia adequado.
SEGMENTADOR/DECODIFICADOR
Com referência outra vez à Figura 2, osegmentador/decodificador 202 recebe dados de multimídia104. 0 segmentador/decodificador 202 inclui um segmentadorde fluxo de transporte ("parser") 205 que recebe os dadosde multimídia 104 e segmenta os dados em um fluxo elementarde vídeo (ES) 206, um ES de áudio 208, marcas de tempo deapresentação (PTS) 210 e outros dados tais como subtítulos212. Um ES carrega um tipo de dados (vídeo ou áudio) apartir de um único codificador de vídeo ou áudio. Porexemplo, um ES de vídeo compreende os dados de vídeo parauma seqüência de dados, incluindo o cabeçalho de seqüênciae todas as sub-partes da seqüência. Um fluxo elementar empacotes, ou PES, consiste em um único ES o qual foi feitoem pacotes, cada um deles tipicamente começando com umcabeçalho de pacote adicionado. Um fluxo PES contém apenasum tipo de dados a partir de uma fonte, por exemplo, apartir de um codificador de vídeo ou áudio. Os pacotes PEStêm comprimento variável, não correspondendo ao comprimentode pacote fixo dos pacotes de transporte, e podem ser muitomais longos do que um pacote de transporte. Quando ospacotes de transporte são formados a partir de um fluxoPES, o cabeçalho PES pode ser colocado no início de umacarga útil de pacote de transporte, imediatamente após ocabeçalho de pacote de transporte. O conteúdo de pacote PESrestante preenche as cargas úteis dos pacotes de transportesucessivos até que o pacote PES esteja todo usado. O pacotede transporte final pode ser preenchido com um comprimentofixo, por exemplo, mediante preenchimento com bytes, porexemplo, bytes = OxFF (todos).
0 segmentador 205 comunica o video ES 206 a umdecodificador 214 o qual é parte dosegmentador/decodificador 202, aqui mostrado. Em outrasconfigurações o segmentador 205 e o decodificador 214 sãocomponentes separados. 0 PTS 210 é enviado a um gerador dePTS de transcodificador 215, o qual pode gerar marcas detempo de apresentação separadas especificas para -otranscodificador 200 para uso no arranjo de dados a serenviado a partir do transcodificador 200 para um sistema detransmissão. O gerador 215 de transcodificador PTS pode serconfigurado para prover dados a uma camada de sincronização240 do transcodificador 200 para coordenar a sincronizaçãodos dados transmitidos.
A Figura 3 ilustra um fluxograma de um exemplo deum processo 300 que o segmentador 205 pode seguir aorealizar segmentação dos vários fluxos elementares émpacotes descritos acima. O processo 300 começa no bloco 302quando os dados de multimídia 104 são recebidos a partir deum provedor de um conteúdo 106 (Figura 1) . O processo 300prossegue para o bloco 304 onde é realizada a inicializaçãodo segmentador 205. A inicialização pode ser ativada por umcomando de aquisição independentemente gerado 306. Porexemplo, um processo que é independente do segmentador 205e se baseia em uma programação de TV externamente recebidae informações de alinhamento de canal pode gerar o comandode aquisição. Adicionalmente, descritores de armazenamento308 de fluxo de transporte em tempo real (TS) podem serintroduzidos para auxiliar em ambos, inicialização e paraprocessamento principal.
Conforme ilustrado no bloco 304, a inicializaçãopode incluir adquirir uma verificação de sintaxe decomando, realizar um processamento PSI/PSIP/SI de primeirapassagem (informações especifica de programa/protocolo deinformações de programa e sistema/informações de sistema),realizar processamento relacionado especificamente a, querseja o comando de aquisição ou a verificação deconsistência de PSI/PSIP/SI, alocar um armazenador de PES acada PES, e definir a temporização (por exemplo, paraalinhamento com o instante de inicio de aquisiçãodesejada). Os armazenadores PES contêm os dados ESsegmentados e comunicam cada dado PES segmentado a umdecodificador de áudio correspondente 216, codificador deteste 220, decodificador 214, ou gerador 215 PTS detranscodificador.
Após inicialização, o processo 300 prossegue parao bloco 310 para processamento principal dos dados demultimídia recebidos 104. O processamento no bloco 310 podeincluir filtragem de identificador de pacote alvo (PID),monitoração e processamento de PSI/PSIP/SI continuo, e umprocesso de temporização (por exemplo, para realizar umaduração de aquisição desejada) de modo que os dados demultimídia que chegam sejam passados para os armazenadorésde PES apropriados. Como resultado do processamento dosdados de multimídia no bloco 310, um descritor de programae indicação da "leitura" do armazenador de PES são gerados,os quais estabelecerão interface com o decodificador 214(Figura 2) como descrito abaixo.
Após o bloco 310, o processo 300 prossegue para obloco 314, onde ocorre o término das operações desegmentação, incluindo gerar uma interrupção de dispositivode marcação de tempo e liberação dos armazenadores PES emconseqüência de seu consumo. Observa-se que os armazenadosPES existirão para todos os fluxos elementares relevantesdo programa citado em seu descritor tal como fluxos deáudio, video e subtítulo.
Com referência outra vez à Figura 2, osegmentador 205 envia o ES de áudio 208 para umdecodificador de áudio 216 para corresponder àimplementação de transcodificador e prover o textocodificado 216 para a camada de sincronização 240 edecodificação da informações de áudio. A informações desubtítulo 212 é entregue a um codificador de texto 220. Osdados de legenda oculta (CC - closed caption) 218 a partirde um decodificador 214 também são providos ao codificadorde texto 220, o qual codifica a informações de subtítulo212 e os dados CC 218 em um formato realizado pelotranscodificador 200.
o segmentador/decodificador 202 inclui também odecodificador 214, o qual recebe o ES de vídeo 206. 0decodificador 214 pode gerar metadados de vídeo, decodificao fluxo elementar em pacotes de vídeo codificado em vídeobruto 224 (por exemplo, no formato de definição padrão) , eprocessa os dados de legenda oculta de vídeo no fluxo ES devídeo.
A Figura 4 mostra um fluxograma ilustrando umexemplo de um processo de decodif icação 400 que pode serrealizado pelo decodificador 214. 0 processo 400 começa cóma entrada de dados de fluxo elementar de vídeo 206 no bloco402. O processo 400 prossegue para o bloco 404 onde odecodificador é inicializado. A inicialização pode incluirum número de tarefas, incluindo a detecção de um cabeçalhode seqüência de vídeo (VSH), realizar VSH de primeirapassagem, seqüência de vídeo (VS), e Processamento deExtensão de Exibição VS (incluindo formato de vídeo,primários de cor, e coeficientes de matriz), e alocandoarmazenadores de dados para respectivamente armazenar aimagem decodificada, metadados associados e dados delegenda oculta (CC). Adicionalmente, a informações de"leitura" de armazenador PES de video 406 provida pelosegmentador 205 é introduzida (por exemplo, a qual pode sergerada pelo processo 300 no bloco 310 da Figura 3).
Após inicialização no bloco 404, o processo 400prossegue para o bloco 408 onde o processamento principaldo ES de video é realizado pelo decodificador 214.
Processamento principal inclui pesquisar a informações de"leitura" de armazenador de PES de video ou "interface"para disponibilidade de novos dados, decodificar o ES devideo, reconstruir e armazenar dados de pixel emsincronização de limites de imagem, metadados de geração devideo e a/v e armazenar em limites de imagem, earmazenamento de dados CC em limites de imagem. O bloco deresultados 410, do processamento principal 408 inclui ageração de descritores de seqüência, descritores dearmazenador de imagem decodificada, descritores dearmazenado de metadados, e descritores de armazenador dedados CC.
Após o processamento principal 408, o processo400 prossegue para o bloco 412 onde ele realiza um processode terminação. O processo de terminação pode incluirdeterminar as condições de terminação, incluindo nenhumdado novo ocorrendo por uma duração especifica acima de umlimite predeterminado, detecção de um código de extremidadede seqüência, e/ou detecção de um sinal de terminaçãoexplicita. O processo de terminação pode incluiradicionalmente liberar a imagem decodificada, metadadosassociados, e armazenadores de dados CC como conseqüênciade seu consumo por um pré-processador a ser descritoabaixo. O processo 400 termina no bloco 414, onde ele podeentrar em um estado de espera para ES de vídeo a serrecebido como entrada.
PRÉ-PROCESSADOR
A Figura 2, e em mais detalhe a Figura 6, ilustraum aspecto de amostra de um pré-processador 226 que podeusar informações de conteúdo para uma ou mais operações depré-processamento. O pré-processador 226 recebe osmetadados 222 e dados de vídeo "bruto" decodificado 224 apartir do segmentador/decodificador 202. O pré-processador226 é configurado para realizar certos tipos deprocessamento nos dados de vídeo 224 e nos metadados 222 eprover multimídia processada (por exemplo, quadros dereferência de camada base, quadros de referência de camadade aperfeiçoamento, informações de largura de banda,Informações de conteúdo) e vídeo para o codificador 228.Tal pré-processamento de dados de multimídia pode melhorara clareza visual, anti-serrilhado, e eficiência decompactação dos dados. Geralmente, o préOprocessador 226recebe seqüências de vídeo providas pelo decodificador 214no decodificador de segmentação 202 e converte asseqüências de vídeo em seqüências progressivas de vídeopara processamento adicional (por exemplo, codificação)pelo codificador 228. Em alguns aspectos, o pré-processador226 pode ser configurado para diversas operações, incluindotelecine inverso, desentrelaçamento, filtragem (porexemplo, remoção de artefatos; remoção de ressonância desinal; remoção de blocos, e remoção de ruído)',redimensionamento (por exemplo, amostragem descendente deresolução espacial a partir de definição padrão paraQuarter Video Graphics Array (QVGA)), e geração deestrutura GOP (por exemplo, calcular a geração de mapa decomplexidade, detecção de mudança de cena, e detecção dedesvanecimento/flash).
0 pré-processador 226 pode utilizar metadados apartir do decodif icador para realizar uma ou mais dasoperações de pré-processamento. Os metadados podem incluirinformações relacionada a, descrever, ou classificar oconteúdo dos dados de multimídia ("Informações deconteúdo"); especificamente os metadados podem incluir umaclassificação de conteúdo. Em alguns aspectos, os metadadosnão incluem informações de conteúdo desejada para operaçõesde codificação. Em tais casos o pré-processador 226 podeser configurado para determinar informações de conteúdo eusar as informações de conteúdo para operações de pré-processamento e/ou proporcionar informações de conteúdo aoutros componentes do transcodificador 200, por exemplo, odecodificador 228. Em alguns aspectos, o pré-processador226 pode usar tal informações de conteúdo para influenciara partição de GOP, determinar tipo apropriado de filtragem,e/ou determinar os parâmetros de codificação que sãocomunicados a um codificador.
A Figura 6 mostra um exemplo ilustrativo devários blocos de processo que podem ser incluídos no pré-processador 226 e ilustra processamento que pode serrealizado pelo pré-processador 226. Nesse exemplo, o pré-processador 226 recebe metadados e vídeo 222, 224 e provêdados de saída 614 compreendendo metadados (processados) evídeo para o codificador 228. Tipicamente, existem trêstipos de vídeo que podem ser recebidos. Em primeiro lugar,o vídeo recebido pode ser vídeo progressivo, onde odesentrelaçamento é exigido. Em segundo lugar, os dados devídeo podem ser vídeo de telecine, vídeo entrelaçadoconvertido a partir de seqüências de filme de 24 fps, emcujo caso o vídeo. Em terceiro lugar, o vídeo pode servídeo entrelaçado não telecinematográfico. O processador226 pode processar esses tipos de vídeo conforme descritoabaixo.
No bloco 601, o pré-processador 226 determina seos dados de vídeo recebidos 222, 224 constituem vídeoprogressivo. Em alguns casos, isso pode ser determinado apartir dos metadados se os metadados contêm talinformações, ou mediante processamento dos próprios dadosde vídeo. Por exemplo, um processo telecinematográficoinverso, descrito abaixo, pode determinar se o vídeorecebido 222 é vídeo progressivo. Se for, o processoprossegue para o bloco 607 onde operações de filtragem (porexemplo, remoção de ruído) são realizadas no vídeo parareduzir o ruído, tal como ruído branco Gaussiano. Se osdados de vídeo 222, 224 não são vídeo progressivo, no bloco601 o processo prossegue para o bloco 604 para um detectorde fase 604.
O detector de fase 604 distingue entre vídeo quese originou em um telecine e aquele que começou em umformato de transmissão padrão. Se for tomada uma decisão nosentido de que o vídeo era telecinematográfico (o caminhode decisão SIM saindo do detector de fase 604), o vídeotelecinematográfico é retornado ao seu formato original emtelecine inverso 606. Os quadros redundantes sãoidentificados e eliminados e campos derivados do mesmoquadro de vídeo são re-entrelaçados em uma imagem completa.
Como a seqüência de imagens de filme, reconstruídas, foiregistrada fotograficamente em intervalos regulares de 1/24de um segundo, o processo de avaliação de movimentorealizado em um dispositivo de partição GOP 612 ou nodecodificador 228 é mais exato utilizando as imagenstelecinematográficas inversas mais propriamente do que osdados telecinematográficos, os quais têm uma base de tempoirregular.Em um aspecto, o detector de fase 604 toma certasdecisões após o recebimento de um quadro de vídeo. Essasdecisões incluem: (i) se o presente vídeo a partir de umasaída telecinematográfica e a fase Pull Down 3:2 é uma dascinco fases P0, Pi, P2, e P4 mostradas na Figura 38; e (ii)
o vídeo foi gerado como NTSC convencional. Essa decisão édenotada como fase P5. Essas decisões aparecem como saídasdo detector de fase 604 mostrado na Figura 2. 0 caminho apartir do detector de fase 604 rotulado "SIM" aciona otelecine inverso 606 indicando que ele foi provido com afase pull down correta de modo que ele pode separar oscampos que foram formados a partir da mesma imagemfotográfica e combinar os mesmos. O caminho a partir dodetector de fase 604 rotulado "NÃO" similarmente aciona odispositivo de desentrelaçamento 605 para separar um quadro
NTSC aparente em campos para processamento ótimo. Odetector de fase 604 pode continuamente analisar os quadrosde vídeo que devido aos diferentes tipos de vídeo podem serrecebidos em qualquer tempo. Como um exemplo, vídeo deacordo com o padrão NTSC pode ser inserido no vídeo como umcomercial. Após telecine inverso, o vídeo progressivoresultante é envido para um removedor de ruído (filtro) 607o qual pode ser usado para reduzir ruído branco Gaussiano.
Quando vídeo NTSC convencional é reconhecido (ocaminho NÃO a partir do detector de fase 601), ele étransmitido para o dispositivo de desentrelaçamento 6Ó5para compactação. O dispositivo de desentrelaçamento 605transforma os campos entrelaçados em vídeo progressivo, eoperações de remoção de ruído podem ser então realizadas novídeo progressivo. Um exemplo ilustrativo do processamentode desentrelaçamento é descrito abaixo.
Dispositivos de vídeo analógico tradicionais comoas televisões renderizam o vídeo de uma maneiraentrelaçada, isto é, tais dispositivos transmitem linhas devarredura de números pares (campos par), e linhas devarredura de números impares (campo impar). Do ponto devista de amostragem de sinal, isso é equivalente a uma sub-amostragem espaço-temporal em um padrão descrito por:
<formula>formula see original document page 29</formula>
Apagame rvto, caso contrário,onde Θ significa a imagem de quadro original, F significao campo entrelaçado, e (x, y, n) representa a posiçãohorizontal, vertical, e temporal de um pixel,respectivamente.
Sem perda de generalidade, se pode supor que n=0é um campo par ao longo dessa revelação de modo que aequação 1 acima é simplificada como
<formula>formula see original document page 29</formula>
Como a dizimação não é conduzida na dimensãohorizontal, o padrão de sub-amostragem pode ser ilustradona próxima coordenada n~y.
0 objetivo de um dispositivo de desentrelaçamentoé o de transformar o video entrelaçado (uma seqüência decampos) em quadros progressivos não-entrelaçados (umaseqüência de quadros). Em outras palavras, interpolarcampos pares e impares para "recuperar" ou gerar imagens dequadros completos. Isso pode ser representado pela equação-3:
<formula>formula see original document page 29</formula>
onde Figura representa resultados de desentrelaçamento parapixels ausentes.A Figura 40 é um diagrama de blocos ilustrandocertos aspectos de um aspecto de um dispositivo dedesentrelaçamento 605 que utiliza filtragem Wmed eestimação de movimento para gerar um quadro progressivo apartir de dados de multimídia entrelaçados. A partesuperior da Figura 40 mostra um mapa de intensidade demovimento 402 que pode ser gerado utilizando informações apartir de um campo atual, dois campos anteriores (Campo PPe Campo Ρ) , e dois campos subseqüentes (Próximo Campo ePróximo Campo Próximo). O mapa de intensidade de movimento402 categoriza, ou divide, o quadro atual em dois ou maisníveis diferentes de movimento, e pode ser gerado mediantefiltragem espaço temporal, descrita em detalhe adicionalabaixo. Em alguns aspectos, o mapa de intensidade demovimento 4002 é gerado para identificar áreas estáticas,áreas de movimento lento, e áreas de movimento rápido,conforme descrito com referência à Equação 4-8 abaixo. Umfiltro espaço-temporal, por exemplo, filtro Wmed 404,filtra os dados de multimídia entrelaçados utilizandocritérios baseados no mapa de intensidade de movimento, eproduz um quadro desentrelaçado provisional espaçotemporal. Em alguns aspectos, o processo de filtragem Wmedenvolve uma vizinhança horizontal de [-1, 1], umavizinhança vertical de [-3, 3], e uma vizinhança temporalde cinco campos adjacentes, os quais são representadospelos cinco campos (Campo PP, Campo P, Campo Atual, PróximoCampo, Próximo Campo Próximo) ilustrados na Figura 40, comZ"1 representando um retardo de um campo. Em relação aoCampo Atual, o Próximo Campo e o Campo P são campos de não—paridade e o Campo PP e o Próximo Campo Próximo são camposde paridade. A "vizinhança" usada para filtragem espaço-temporal se refere à localização espacial e temporal doscampos e pixels atualmente usados durante a operação de30/118filtragem, e pode ser ilustrada como uma "abertura",conforme mostrado, por exemplo, nas Figuras 6 e 7.
O dispositivo de desentrelaçamento 605 tambémpode incluir um removedor de ruido (filtro de remoção deruido) 4006 configurado para filtrar o quadrodesentrelaçado provisional espaço-temporal pelo filtro Wmed4004. A remoção do ruido do quadro desentrelaçadoprovisional espaço-temporal torna o processo de pesquisa demovimento subseqüente mais exato especialmente se aseqüência de dados de multimídia entrelaçados originais forcontaminada por ruído branco. Ele também pode pelo menosparcialmente remover nomes alternativos entre fileiraspares e ímpares em uma imagem Wmed. 0 removedor de ruído4006 pode ser implementado como uma variedade de filtrosincluindo um removedor de ruído à base de filtro Wiener deondas pequenas e encolhimento de ondas pequenas. Umremovedor de ruído pode ser usado para remover o ruído apartir do quadro Wmed candidato antes dele ser processadoadicionalmente utilizando informações de compensação demovimento, e pode remover o ruído que esteja presente noquadro Wmed e reter o sinal presente independente doconteúdo de freqüência do sinal. Diversos tipos de filtrose remoção de ruído podem ser utilizados, incluindo filtrosde onda pequena. Ondas pequenas constituem um tipo defunções usadas para localizar um determinado sinal em ambosos domínios, de espaço e redimensionamento. A idéiafundamental por trás das ondas pequenas é a de analisar osinal em escalas e resoluções diferentes de tal modo quepequenas mudanças na representação de ondas pequenasproduzem uma pequena mudança correspondente no sinaloriginal.
Um filtro Wiener de encolhimento de ondaspequenas ou de onda pequena também pode ser empregado comoo removedor de ruído. Encolhimento de ondas pequenasconsiste em uma transformação de ondas pequenas no sinalruidoso, seguido por um encolhimento dos coeficientes deondas pequenas para zero (ou valor menor), enquantodeixando não afetados os coeficientes grandes. Finalmente,uma transformação inversa é realizada para aquisição dosinal estimado.
A filtragem de remoção de ruído reforça aexatidão da compensação de movimento em ambientes ruidosos.
A remoção de ruído de encolhimento de ondas pequenas podeenvolver um encolhimento no domínio de transformação deondas pequenas, e compreende tipicamente três etapas: umatransformada de ondas pequenas de avanço linear, umaremoção de ruído de encolhimento não-linear, e umatransformada de onda pequena inversa linear. O filtroWiener é um filtro linear MSE-ótimo que pode ser usado paramelhorar as imagens degradadas por ruído aditivo eembaçamento. Tais filtros geralmente são conhecidos natécnica e são descritos, por exemplo, em "Ideal spatialadaptation by wavelet shrinkage", referido acima, e por S.P. Ghael, A. M. Sayeed e R. G. Baraniu, "ImprovementWavelet denoising via empirical Wiener filtering",Proceedings of SPIEf vol 3169, págs. 389-399, San Diego,julho de 1997, que é expressamente incorporado aqui comoreferência integralmente.
Em alguns aspectos, um filtro de remoção de ruídose baseia em um aspecto de um filtro de ondas pequenas deranhura-B biortogonal, cúbico. Tal filtro pode ser definidopelas seguintes transformadas, direta e inversa:
<formula>formula see original document page 32</formula><formula>formula see original document page 33</formula>
A aplicação de um filtro de remoção de ruido podeaumentar a exatidão da compensação de movimento em umambiente ruidoso. As implementações de tais filtros sãodescritas adicionalmente em "Ideal spatial adaptation bywavelet shrinkage", D. L. Donoho e L. M. Johnstone,Biometrikaf vol. 8, págs. 425-455, 1994, que éexpressamente incorporada aqui como referênciaintegralmente.
A parte inferior da Figura 40 ilustra um aspectopara determinar informações de movimento (por exemplo,candidatos de vetor de movimento, estimativa de movimento,compensação de movimento) de dados de multimídiaentrelaçados. Especificamente, a Figura 40 ilustra umesquema de compensação de movimento e estimação demovimento que é usado para gerar um quadro progressivoprovisional de movimento compensado do quadro selecionado,e então combinado com o quadro provisional Wmed para formarum quadro progressivo "final" resultante, mostrado comoquadro atual desentrelaçado 4014. Em alguns aspectos, oscandidatos de vetor de movimento ("MV") (ou estimativas)dos dados de multimídia entrelaçados são providos aodispositivo de desentrelaçamento a partir de estimadores demovimento externo e usados para prover um ponto de partidapara o estimador de movimento bidirecional e compensador("ME/MC") 4018. Em alguns aspectos, um seletor de candidatoMV 4022 utiliza os MV's determinados previamente parablocos contíguos para candidatos MV dos blocos sendoprocessados; tal como os MVs de blocos processadosanteriores, por exemplo, blocos em um quadro anteriordesentrelaçado 4020. A compensação de movimento pode serfeita bidirecional, com base no quadro desentrelaçadoanterior 70 e em um próximo quadro Wmed (por exemplo,futuro) 4008. Um quadro Wmed atual 4010 e um quadro atualde movimento compensado ("MC") 4 016 são fundidos oucombinados por intermédio de um combinador 4012. Um quadroatual desentrelaçado resultante 4014, agora um quadroprogressivo, é provido de volta ao ME/MC 4018 para serusado como um quadro anterior desentrelaçado 4020 e tambémcomunicado externo ao dispositivo de desentrelaçamento 605para processamento subseqüente.
É possível desacoplar os esquemas de predição dedesentrelaçamento compreendendo interpolação entre campos apartir da interpolação intracampo com um esquema dedesentrelaçamento Wmed + MC. Em outras palavras, afiltragem Wmed espaço-temporal pode ser usadaprincipalmente para fins de interpolação intracampo,enquanto que a interpolação entre os campos pode serrealizada durante compensação de movimento. Isso reduz arelação de sinal/ruído de pico do resultado Wmed, mas aqualidade visual após compensação de movimento é empregadade forma mais agradável, porque os pixels ruins a partirdas decisões de modo de predição entre campos imprecisasserão removidas do processo de filtragem Wmed.
Após o processamento apropriado de telecine oudesentrelaçamento apropriado, no bloco 608 o vídeoprogressivo é processado para supressão e re-amostragem denome alternativo (por exemplo, redimensionamento) . Emalguns aspectos de re-amostragem, um dispositivo de re-amostragem polifásico é implementado para redimensionamentode tamanho de imagem. Em um exemplo de amostragemdescendente, a razão entre a imagem original e a imagemredimensionada pode ser de ρ / g, onde ρ e g sãorelativamente números primos inteiros. O número total defases é ρ. A freqüência de interrupção do filtro polifásicoem alguns aspectos é 0,6 para redimensionamento de fatoresem torno de 0,5. A freqüência de interrupção não combinaexatamente com a razão de redimensionamento para reforçar aresposta de alta freqüência da seqüência redimensionada.
Isso inevitavelmente permite certo serrilhado. Contudo, ésabido que a visão humana prefere imagens nítidas, porém umpouco serrilhado às imagens embaçadas e sem alias.
A Figura 41 ilustra um exemplo de re-amostragempolifásica, mostrando as fases se a razão deredimensionamento for de Η. A freqüência de interrupçãoilustrada na Figura 1 também é de H. Pixels originais sãoilustrados na figura acima com eixos verticais. Uma funçãode sincronização também é traçada centralizada em torno doseixos para representar a forma de onda de filtro. Comoescolhemos a freqüência de interrupção para ser exatamenteidêntica à razão de re-amostragem, os zeros da função desincronização se sobrepõem à posição dos pixels apósredimensionamento, ilustrado na Figura 41 com cruzes. Paraachar um valor de pixel após redimensionamento, acontribuição pode ser resumida a partir dos pixelsoriginais como mostrado na equação a seguir:
<formula>formula see original document page 35</formula>
onde fc é a freqüência de interrupção. O filtro polifásicoI-D acima pode ser empregado tanto para dimensão horizontalcomo para dimensão vertical.
Outro aspecto da reamostragem (redimensionamento)é o de considerar a sobrevarredura. Em um sinal detelevisão NTSC, uma imagem tem 486 linhas de varredura, eno vídeo digital poderia ter 720 pixels em cada linha devarredura. Contudo, nem toda a imagem completa é visível natelevisão devido aos desacordos entre o formato da tela e otamanho. A parte da imagem que não é visível é chamada desobrevarredura.
Para ajudar as transmissoras a colocarinformações útil na área visivel em tantas televisõesquanto possível, a Society of Motion Imagem & TelevisiónEngineers (SMPTE) definiu tamanhos específicos do quadro deação denominada área de ação segura e área de títulosegura. Vide prática recomendada pela SMPTE RP 27.3-1989 emSpecifications for Safe Action and Safe Title Areas TestPattern for Televisión Systems. A área de ação segura édefinida pela SMPTE como a área na qual "toda a açãosignificativa deve ocorrer". A área de título segura édefinida como a área onde "toda a informações útil pode serconfinada para garantir visibilidade na maior parte dosreceptores de televisão domésticos".
Por exemplo, com referência à Figura 25, a áreade ação segura 2510 ocupa 90% do centro da tela, fornecendo5% de borda ao redor. A área de título segura 2505 ocupa80% do centro da tela, proporcionando uma borda de 10%. Comreferência agora à Figura 26, como a área de título seguraé muito pequena, para acrescentar mais conteúdo na imagem,algumas estações colocarão texto na área de atuação segura,a qual está dentro da janela retangular branca 2615.
Comumente bordas pretas podem ser vistas nasobrevarredura. Por exemplo, na Figura 26, bordas pretasaparecem no lado superior 2620 e no lado inferior 2625 daimagem. Essas bordas pretas podem ser removidas nasobrevarredura, porque o vídeo H.264 utiliza extensão delimite na estimação de movimento. Bordas pretas estendidaspodem aumentar o residual. De forma conservadora, o limitepode ser cortado em 2%, e então realizar oredimensionamento. Os filtros para redimensionamento podemser gerados conformemente. 0 truncamento é realizado parase remover a sobrevarredura antes da amostragem descendentepolifásica.
Com referência outra vez à Figura 6, o vídeoprogressivo então prossegue para o bloco 610 onde odispositivo de remoção de blocos e operações de remoção deressonâncias de sinal são realizados. Dois tipos deartefatos, "blocagem" e "ressonâncias de sinal", comumenteocorrem nas aplicações de compactação de vídeo. Osartefatos de blocagem ocorrem porque os algoritmos decompactação dividem cada quadro em blocos (por exemplo,blocos 8x8). Cada bloco é reconstruído com alguns pequenoserros, e os erros nas bordas de um bloco freqüentementecontrastam com os erros nas bordas de blocos vizinhos,tornando visíveis os limites de blocos. Ao contrário, osartefatos de ressonâncias de sinal aparecem como distorçõesem torno das bordas de características de imagem. Osartefatos de ressonâncias de sinal ocorrem porque όcodificador descarta muitas informações na quantização doscoeficientes DCP de alta freqüência. Em alguns exemplosilustrativos, ambos, remoção de blocos e remoção deressonâncias de sinal podem utilizar filtros FRI passa-baixa (resposta de impulso finito) para ocultar essesartefatos visíveis.
Em um exemplo de processamento de remoção deblocos, um filtro de remoção de blocos pode ser empregadoem todas as bordas de blocos 4x4 de um quadro, exceto asbordas no limite do quadro e quaisquer bordas para as quaiso processo de filtragem de remoção de blocos édesabilitado. O processo de filtragem deve ser realizado naforma de macroblocos após a conclusão do processo deconstrução de quadros com todos os macroblocos em um quadroprocessados para aumentar os endereços de macroblocos. Paracada macrobloco, bordas verticais são filtradas em primeirolugar, da esquerda para a direita, e então bordashorizontais são filtradas de cima para baixo. 0 processo defiltragem de remoção de blocos Iuma é realizado nas quatrobordas de 16 amostras e o processo de filtragem de remoçãode blocos para cada componente croma é realizado em duasbordas de 8 amostras, para a direção horizontal e para adireção vertical, conforme mostrado na Figura 39. Valoresde amostra acima e para a esquerda do macrobloco atual quejá podem ter sido modificados pela operação do processo deremoção de blocos em macroblocos anteriores serão usadoscomo entrada para o processo de filtragem de remoção deblocos no macrobloco atual e podem ser modificadosadicionalmente durante a filtragem do macrobloco atual.
Valores de amostra modificados durante filtragem de bordasverticais podem ser usados como entrada para a filtragemdas bordas horizontais para o mesmo macrobloco. Um processode remoção de blocos pode ser invocado para os componentes,Iuma e croma, separadamente.
Em um exemplo de processamento de remoção deressonâncias de sinal, um filtro 2-D pode ser empregadoadaptativamente para suavizar as áreas próximas às bordas.
Pixels de borda são submetidos a pouca ou nenhuma filtragempara evitar embaçamento.
DISPOSITIVO DE PARTIÇÃO GOP
Após remoção de blocos e remoção de ressonânciasde sinal, o video progressivo é processado por umdispositivo de partição GOP 612. Partição GOP pode incluirdetectar mudanças de seqüência, gerar mapas de complexidade(por exemplo, mapas de largura de banda espacial,temporal), e partição GOP adaptativo. Cada uma das mesmas édescrita abaixo.
A. DETECÇÃO DE MUDANÇA DE CENA
Detecção de seqüência se refere a determinarquando um quadro em um grupo de imagens (GOP) exibe dadosque indicam que ocorreu uma mudança de cena. Geralmente,dentro de um GOP, os quadros podem não ter mudançassignificativas em quaisquer dois ou três (ou mais) quadrosadjacentes, ou pode haver mudanças lentas, ou mudançasrápidas. Evidentemente, essas classificações de mudança decena podem ser adicionalmente decompostas em um nivel maiorde mudanças dependendo da aplicação especifica, senecessário.
Detectar mudanças de seqüência ou cena éimportante para codificação eficiente do vídeo.
Tipicamente, quando um GOP não está mudandosignificativamente, um quadro-I no início do GOP é seguidode alguns quadros preditivos que podem codificarsuficientemente o vídeo de modo que a decodificaçãosubseqüente e exibição do vídeo são visualmente aceitáveis.
Contudo, quando uma cena está mudando, seja subitamente òulentamente, quadros-I adicionais e codificação menospreditiva (quadros-P e quadros-B) podem ser necessáriospara produzir resultados visualmente aceitáveissubseqüentemente decodificados.
Sistemas de detecção e codificação de seqüência emétodos que melhoram a performance dos sistemas decodificação existentes são descritos abaixo. Tais aspectospodem ser implementados no dispositivo de partição GOP 612do pré-processador 226 (Figura 7), ou incluídos em umdispôs itivo codificador que pode operar com ou sem um pré-processador. Tais aspectos utilizam estatísticas (oumétricas) que incluem comparações estatísticas entrequadros adicionais de dados de vídeo para determinar seocorreu uma mudança súbita de cena, se uma cena estámudando lentamente, ou se existem luzes de flash de câmerana cena que podem tornar especialmente complexa acodificação do vídeo. As estatísticas podem ser obtidas apartir de um pré-processador e então enviadas para umdispositivo de codificação, ou elas podem ser geradas em umdispositivo de codificação (por exemplo, por intermédio deum processador configurado para realizar compensação demovimento). As estatísticas resultantes auxiliam na decisãode detecção de mudança de cena. Em um sistema que realizatranscodificação, freqüentemente existe um pré-processadorou processador configurável adequado. Se o pré-processadorrealiza desentrelaçamento auxiliado por compensação demovimento, as estatísticas de compensação de movimentoestão disponíveis e prontas para uso. Em tais sistemas, umalgoritmo de detecção de seqüência pode aumentarligeiramente a complexidade do sistema.
o exemplo ilustrativo de um detector de seqüênciadescrito aqui precisa apenas utilizar as estatísticas apartir de um quadro anterior, de um quadro atual, e de umpróximo quadro, e conseqüentemente tem latência muitobaixa. o detector de seqüência diferencia vários tiposdiferentes de eventos de seqüência, incluindo mudançasúbita de cena, desvanecimento cruzado e outra mudança decena lenta, e luz de flash de câmera. Mediante determinaçãodo tipo diferente de eventos de seqüência com diferentesestratégias no codificador, a eficiência de codificação e aqualidade visual são melhoradas.
A detecção de mudança de cena pode ser usada paraqualquer sistema de codificação de vídeo para que eleconserve inteligentemente os bits mediante inserção de umquadro-I em um intervalo fixo. Em alguns aspectos, asinformações de conteúdo obtidas pelo pré-processador (porexemplo, seja incorporado em metadados ou calculado pelopré-processador 226) podem ser usadas para detecção demudança de cena. Por exemplo, dependendo das Informações deconteúdo, valores de limite e outros critérios descritosabaixo podem ser ajustados dinamicamente para diferentestipos de conteúdo de video.
Codificação de video normalmente opera em umgrupo estruturado e imagens (GOP). Um GOP normalmentecomeça com um quadro intracodifiçado (quadro-I), seguido deuma série de quadros P (preditivos) ou B (bidirecionais).Tipicamente, um quadro-I pode armazenar todos os dadosexigidos para exibição do quadro, um quadro-B se baseia nosdados nos quadros precedentes e seguintes (por exemplo,apenas contendo dados mudados a partir do quadro precedenteou é diferente dos dados no próximo quadro), e um quadro-Pcontém os dados que mudaram a partir do quadro precedente.Em utilização comum, os quadros-I são intercalados com osquadros-P e quadros-B no video codificado. Em termos detamanho (por exemplo, número de bits usados para codificaro quadro), os quadros-I são tipicamente muito maiores doque os quadros-P, os quais por sua vez são maiores do queos quadros-B. Para codificação, transmissão e processamentode decodificação, eficientes, o comprimento de um GOP deveser longo o suficiente para reduzir a perda eficiente apartir dos quadros-I grandes, e curto o suficiente paracombater o desacordo entre o codificador e o decodificador,ou dano ao canal. Além disso, os macroblocos (MB) nos Pquadros podem ser intracodifiçados pela mesma razão.
Detecção de mudança de cena pode ser usada paraum codificador de video para determinar um comprimento GOPadequado e inserir quadros-I com base no comprimento G0P,em vez de inserir um quadro-I freqüentemente não necessárioem um intervalo fixo. Em um sistema de video de fluxocontinuo prático, o canal de comunicação normalmente éprejudicado pelos erros de bit ou perdas de pacote. Ondecolocar os quadros I, ou MBs I pode significativamenteafetar a qualidade do video decodificado e a experiência devisualização. Um esquema de codificação é o de utilizarquadros intracodifiçados para imagens ou porções de imagensque têm mudança significativa a partir das imagens préviascolocadas ou porções de imagem. Normalmente essas regiõesnão podem ser efetivamente e eficientemente previstas comestimação de movimento, e a codificação pode ser feita maiseficientemente se tais regiões forem isentas das técnicasde codificação entre quadros (por exemplo, codificaçãoutilizando quadros-B e quadros-P). No contexto de dano aocanal, aquelas regiões provavelmente sofrerão propagação deerro, a qual pode ser reduzida ou eliminada (ou quase)mediante codificação intraquadro.
Porções do video GOP podem ser classificadas emduas ou mais categorias, onde cada região pode terdiferentes critérios de codificação intraquadro que podemdepender da implementação especifica. Como um exemplo, ovideo pode ser classificado em três categorias: mudançassúbitas de cena, desvanecimento e outras mudanças lentas decena, e luzes de flash de câmera.
Mudanças súbitas de cena incluem quadros que sãosignificativamente diferentes do quadro anterior,normalmente causadas por uma operação da câmera. Como oconteúdo desses quadros é diferente do conteúdo do quadroanterior, os quadros de mudança súbita de cena devem sercodificados como quadros-I.
Desvanecimento cruzado e outras mudanças lentasde cena incluem mudança lenta de cenas, normalmentecausadas por processamento em computador de seqüências decâmera. Mistura gradual de duas cenas diferentes podeparecer mais agradável aos olhos humanos, mas apresenta umdesafio para a codificação de video. Compensação demovimento não pode reduzir a taxa de bits daqueles quadrosde forma efetiva e mais intra MBs podem ser atualizadospara esses quadros.
Luzes de flash de câmera ou eventos de flash decâmera ocorrem quando o conteúdo de um quadro incluiflashes de câmera. Tais flashes são de duraçãorelativamente curta (por exemplo, um quadro); e
extremamente claros de tal modo que os pixels em um quadroretratando os flashes exibem luminância incomumenteelevadas em relação a uma área correspondente de um quadroadjacente. Luzes de flash de câmera mudam a luminância deuma imagem subitamente e rapidamente. Normalmente a duraçãode uma luz de flash de câmera é mais curta do que a duraçãode mascaramento temporal do sistema de visão humana (HVS),o qual é definido tipicamente como sendo de 44 ms. Os olhoshumanos não são sensíveis à qualidade dessas rajadas curtasde claridade e, portanto, eles podem ser codificados deforma grosseira. Como os quadros de luz de flash não podemser manejados efetivamente com compensação de movimento eeles constituem candidatos inadequados de predição paraquadros futuros, a codificação grosseira desses quadros nãoreduz a eficiência de codificação de quadros futuros. Cenasclassificadas como luzes de flash não deve ser usadas parapredizer outros quadros devido à luminância elevada"artificial" e outros quadros não podem ser usadosefetivamente para predizer esses quadros pela mesma razão.
Quando identificados, esses quadros podem ser retiradosporque eles podem exigir uma quantidade relativamenteelevada de processamento. Uma opção é a de remover osquadros de luz de flash de câmera e codificar umcoeficiente DC no lugar dos mesmos; tal solução é simples,computacionalmente rápida e economiza muitos bits.
Quando qualquer das categorias acima de quadros édetectada, um evento de seqüência é declarado. Detecção deseqüência não é apenas útil para melhorar a qualidade decodificação, ela também pode auxiliar a identificar a buscae indexação de conteúdo de video. Um aspecto ilustrativo deum processo de detecção de cena é descrito aqui abaixo.
Nesse exemplo, um processo de detecção de seqüênciaprimeiramente calcula a informações, ou métricas, para umquadro selecionado sendo processado para detecção deseqüência. As métricas podem incluir informações a partirde estimação de movimento bidimensional e processamento decompensação do video, e outras métricas baseadas em luminância.
Para realizar estimação/compensação de movimentobidimensional, uma seqüência de video pode ser pré-processada por intermédio de um compensador de movimentobidirecional que combina cada um dos blocos de 8x8 doquadro atual, com os blocos em dois, dos quadros maisadjacentes aos quadros vizinhos, um no passado, e um nofuturo. O compensador de movimento produz vetores demovimento e métricas de diferença para cada bloco. A Figura29 é uma ilustração que mostra um exemplo de combinação depixels de um quadro C atual com um quadro P passado e umquadro N futuro (ou seguinte), e ilustra vetores demovimento para os pixels combinados (vetor MVp de movimentopassado e vetor MVn de movimento futuro). Uma descriçãogeral da geração de vetores de movimento bidirecional ecodificação relacionada são geralmente apresentadas aquiabaixo com referência à Figura 32.
Após determinar a informações de movimentobidirecional (por exemplo, informações de movimento queidentifica MBs (melhor combinados) em quadros adjacentescorrespondentes, métricas adicionais podem ser geradas (porexemplo, mediante um compensador de movimento nodispositivo de partição GOP 612 ou outro componenteadequado) mediante diversas comparações do quadro atual como próximo quadro e o quadro anterior. 0 compensador demovimento pode produzir uma métrica de diferença para cadabloco. A métrica de diferença pode ser a soma da diferençaquadrada (SSD) ou uma soma da diferença absoluta (SAD). Semperda de generalidade, aqui a SAD é usada como um exemplo.
Para cada quadro, a relação SAD, também referidacomo uma "relação de contraste", é calculada como abaixo:
<formula>formula see original document page 45</formula>
onde SADp e SADn são a soma de diferenças absolutas damétrica de diferença de avanço e de recuo, respectivamente.
Deve ser observado que o denominador contém um pequenonúmero positivo ε para impedir o erro de "dividir porzero". O nominador também contém um ε para equilibrar oefeito da unidade no denominador. Por exemplo, se o quadroanterior, o quadro atual, e o próximo quadro são idênticos,a pesquisa de movimento deve produzir SADp= SADn = 0. Nessecaso, o cálculo acima gera γ = 1 em vez de 0 ou infinito.
Um histograma de luminância pode ser calculadopara cada quadro. Tipicamente as imagens de multimídia têmuma profundidade de luminância (por exemplo, número de"faixas") de oito bits. A profundidade de luminância usadapara calcular o histograma de luminância de acordo comalguns aspectos pode ser ajustada para 16 para obter ohistograma. Em outros aspectos, a profundidade deluminância pode ser ajustada em um número apropriado, oqual pode depender do tipo de dados sendo processados, dapotência computacional disponível, ou de outros critériospredeterminados. Em alguns aspectos, a profundidade deluminância pode ser ajustada dinamicamente com base em umamétrica calculada ou recebida, tal como o conteúdo dosdados.A equação abaixo ilustra um exemplo do cálculo deuma diferença de histograma de luminância (Iambda):
<formula>formula see original document page 46</formula>
onde Npi é o número de blocos na i-ésima faixa para oquadro anterior, e Ncl é o número de blocos no i-ésimafaixa para o quadro atual, e N é o número total de blocosem um quadro. Se a diferença do histograma de luminância doquadro anterior e do quadro atual for completamentedissimilar (ou desarticulado), então λ = 2.
Utilizando essas informações, uma métrica dediferença de quadro (D) é calculada como a seguir:
<formula>formula see original document page 46</formula>
onde A é uma constante escolhida por intermédio de
<formula>formula see original document page 46</formula>
aplicaçao,
O quadro selecionado (atual) é classificado comoum quadro de mudança súbita de cena se a métrica dediferença de quadro satisfizer o critério mostrado na
Equação 9:
<formula>formula see original document page 46</formula>
onde A é uma constante escolhida pela aplicação, e Ti é umlimite.
Uma simulação exemplar mostra, estabelecendo A =1, e Ti = 5 se obtém bom desempenho de detecção. Se oquadro atual é um quadro de mudança súbita de cena, entãoyc deve ser grande e γΡ deve ser pequeno. A relação— podeser usada em vez de yc isoladamente de modo que a métrica énormalizada para o nivel de atividade do contexto.
Deve ser observado que o critério acima utiliza adiferença de histograma de luminância lambda (λ) em umaforma não-linear. A Figura 16 ilustra λ * (2λ + 1) como umafunção convexa. Quando λ é pequeno (por exemplo, próximo dezero), ele é escassamente pré-ênfase. Quanto maior setornar λ, mais ênfase é conduzida pela função. Com essapré-ênfase, para qualquer λ maior do que 1.4, uma mudançasúbita de cena é detectada se o limite Ti for definido em 5.
O quadro atual é determinado como sendo umdesvanecimento cruzado ou mudança lenta de cena se amétrica D de intensidade de cena satisfizer o critériomostrado na Equação 5:
<formula>formula see original document page 47</formula>
para um certo número de quadros contínuos, onde Ti é omesmo limite usado acima e T2 é outro valor de limite.
Um evento de luz de flash normalmente faz com queo histograma de luminância mude para o lado mais claro.
Nessa câmera de aspecto ilustrativo, a estatística dohistograma de luminância é usada para determinar se oquadro atual compreende luzes de flash de câmera. Umprocesso de detecção de seqüência pode determinar se aluminância do quadro menos atual é maior do que aluminância do quadro anterior por certo limite T3, e aluminância do quadro atual é maior do que a luminância dopróximo quadro pelo limite T3, como mostrado nas Equações11 e 12:Yc-YpZT3 [11]
Yc-YNZT3 [12]
Se o critério acima não for satisfeito, o quadroatual não é classificado como compreendendo luzes de flashde câmera. Se o critério for satisfeito, o processo dedetecção de seqüência determina se métrica de diferençaretroativa SADp e métrica de diferença de avanço SADn sãomaiores do que certo limite T4, conforme ilustrado nasEquações abaixo:
<formula>formula see original document page 48</formula>
Onde: Yc é a luminância média do quadro atual, Yp é aluminância média do quadro anterior, Yn é a luminânciamédia do próximo quadro, e SADP e SADN são as métricas dediferença de avanço e de recuo associadas ao quadro atual.
O processo de detecção de seqüência determinaeventos de flash de câmera mediante primeiramentedeterminação se a luminância de um quadro atual é maior doque a luminância do quadro anterior e a luminância dopróximo quadro. Se não for, o quadro não é um evento deflash de câmera; mas, se for assim, ele pode ser. Oprocesso de detecção de seqüência então pode avaliar se amétrica de diferença de recuo é maior do que um limite T3 ese a métrica de diferença de avanço é maior do que umlimite T4; se ambas as condições são satisfeitas, -oprocesso de detecção de seqüência classifica o quadro atualcomo tendo luzes de flash de câmera. Se o critério não forsatisfeito, o quadro não é classificado como qualquer tipode evento de seqüência, ou ele pode receber umaclassificação padrão que identifica a codificação comosendo feita no quadro (por exemplo, descartar quadro,codificar como quadro-I).
Alguns valores exemplares para Ti, T2, T3 e T4 sãomostrados acima. Tipicamente, esses valores de limite sãoselecionados através do teste de uma implementaçãoespecifica de detecção de seqüência. Em alguns aspectos, umou mais dos valores limite Ti, T2, T3 e T4 sãopredeterminados e tais valores são incorporados noclassificador de seqüência no dispositivo de codificação.
Em alguns aspectos, um ou mais dos valores limite Ti, T2, T3e T4 podem ser estabelecidos durante processamento (porexemplo, dinamicamente) com base no uso de informações (porexemplo, metadados) fornecida ao classificador de seqüênciaou com base nas informações calculadas pelo próprioclassificador de seqüência.
Codificar o video utilizando a informações dedetecção de seqüência é realizado tipicamente nocodificador, porém é descrito aqui para integridade darevelação de detecção de seqüência. Com referência à Figura30, um processo de codificação 301 pode usar a informaçõesde detecção de seqüência para codificar o video com basenos seqüências detectadas na seqüência de quadros. 0processo 301 prossegue para o bloco 303, e verifica se oquadro atual é classificado como uma mudança súbita decena. Se for, no bloco 305 o quadro atual pode sercodificado como um quadro-I, e um limite GOP pode serdeterminado. Caso contrário, o processo 301 prossegue parao bloco 307; se o quadro atual for classificado como umaparte de uma cena que muda lentamente no bloco 309 ouquadro atual, e outros quadros na cena de mudança lentapodem ser codificados como um quadro preditivo (porexemplo, quadro-P ou quadro-B) . 0 processo 301 prossegueentão para o bloco 311 onde ele verifica se o quadro atualdeve ser classificado como uma cena de luz de flashcompreendendo flashes de câmera. Se for, no bloco 313 oquadro pode ser identificado para processamento especial,por exemplo, remoção ou codificação de um coeficiente DCpara o quadro; caso contrário, nenhuma classificação doquadro atual foi feita e o quadro atual pode ser codificadode acordo com outros critérios, codificado como um quadro-I, ou descartado.
No aspecto descrito acima, a quantidade dediferença entre o quadro a ser compactado e seus doisquadros adjacentes é indicada por uma métrica D dediferença de quadro. Se uma quantidade significativa de umamudança de luminância em um sentido for detectada, issosignifica um efeito de desvanecimento cruzado no quadro.
Quanto mais notável for o desvanecimento cruzado, maisganho pode ser conseguido mediante uso de quadros-B. Emalguns aspectos, uma métrica de diferença de quadromodificada é usada como mostrado na equação abaixo
<formula>formula see original document page 50</formula>
onde dP = | Yc - Yp I e dN = | Yc - Yp I constituem a diferençaIuma entre o quadro atual e o quadro anterior, e adiferença Iuma entre o quadro atual e o próximo quadro,respectivamente, Δ representa uma constante que pode serdeterminada em experimentação normal uma vez que podedepender da implementação, e α é uma variável de ponderaçãotendo um valor entre 0 e 1.
B. GERAÇÃO DE MAPA DE LARGURA DE BANDA
o pré-processador 226 (Figura 6) também pode serconfigurado para gerar um mapa de largura de banda que podeser usado para codificar os dados de multimídia. Em algunsaspectos, um módulo de classificação de conteúdo 712 nocodificador 228 (Figura 7) gera em vez disso o mapa delargura de banda.
A qualidade visual humana V pode ser uma funçãode ambos, complexidade C de codificação e bits alocados B(também referido como largura de banda) . A Figura 15 é umgráfico ilustrando essa relação. Deve ser observado que amétrica C de complexidade de codificação considerafreqüências espaciais e temporais do ponto de vista davisão humana. Para distorções mais sensíveis aos olhoshumanos, o valor de complexidade é correspondentementesuperior. Pode-se supor tipicamente que V está diminuindomonotonicamente em C, e monotonicamente aumentando em B.
Para obter qualidade visual constante, umalargura de banda (Bi) é atribuída ao i° objeto (quadro ouMB) a ser codificado que satisfaz os critérios expressosnas duas equações imediatamente abaixo:
<formula>formula see original document page 51</formula>
Nas duas equações imediatamente acima, Ci é acomplexidade de codificação do i° objeto, B é a largura debanda disponível total, e V é a qualidade visual obtidapara um objeto. A qualidade visual humana é difícil deformular como uma equação. Portanto, o conjunto de equaçõesacima não é definido de forma precisa. Contudo, se forsuposto que o modelo 3-D é contínuo em todas as variáveis,a razão de largura de banda pode ser tratada comoinalterada dentro da vizinhança de um par (C, V) . A razãode largura de banda β± é definida na equação mostradaabaixo:
<formula>formula see original document page 52</formula>
A alocação de bits pode ser então definidaconforme expressa nas seguintes equações:
<formula>formula see original document page 52</formula>
onde δ indica a "vizinhança".
A complexidade de codificação é realizada pelasensibilidade visual humana, ambas, espacial e temporal. 0modelo de visão humana de Girod é um exemplo de um modeloque pode ser usado para definir a complexidade espacial.
Esse modelo considera a freqüência espacial local e ailuminação ambiente. A métrica resultante é denominadaDcsat- Em um ponto de pré-processamento no processo, se umaimagem deve ser intracodifiçada ou intercodificada não ésabido e as razões de largura de banda para ambos sãogeradas. Os bits são alocados de acordo com a razão entreβ xNTRA de diferentes objetos de video. Para imagensintracodificadas, a razão de largura de banda é expressa naseguinte equação:
<formula>formula see original document page 52</formula>
Na equação acima, Y é o componente de luminânciamédio de um macrobloco, aINTRA é um fator de ponderação parao quadrado da luminância e Dcsat é o termo após o mesmo,Pojwtka é um fator de normalização para garantir 1 = ^jPi. Porexemplo, um valor de aINTRA = 4 consegue boa qualidadevisual. As informações de conteúdo (por exemplo, umaclassificação de conteúdo) pode ser usada para estabelecero-intra em um valor que corresponde a um nível de boaqualidade visual desejada para o conteúdo específico dovídeo. Em um exemplo, se o conteúdo do vídeo compreenderuma transmissão de noticiário de "cabeça falante", o nível
de qualidade visual pode ser estabelecido como inferiordevido ao fato da imagem de informações ou parte que podeser exibida do vídeo pode ser considerada de menorimportância do que a parte de áudio, e um número menor debits podem ser alocados para codificar os dados. Em outroexemplo, se o conteúdo de vídeo compreende um eventoesportivo, as informações de conteúdo pode ser usada paraajustar (Xintra em um valor que corresponde a um nível dequalidade visual superior porque as imagens exibidas podemser mais importantes para um espectador, e conseqüentementeum número maior de bits pode ser alocado para codificar osdados.
Para entender essa relação, se deve observar quea largura de banda é alocada de forma logarítmica comcomplexidade de codificação. 0 termo de luminância elevadoao quadrado Y2 reflete o fato de que os coeficientes commagnitude maior utilizam mais bits para codificar. Paraimpedir que o logaritmo obtenha valores negativos, aunidade é adicionada ao termo entre parênteses. Oslogaritmos com outras bases também podem ser usados.
A complexidade temporal é determinada por umamedida de uma métrica de diferença de quadro, que mede :adiferença entre dois quadros consecutivos considerando aquantidade de movimento (por exemplo, vetores de movimento)junto com uma métrica de diferença de quadro tal como asoma das diferenças absolutas (SAD).
A alocação de bits para imagens intercodifiçadaspode considerar complexidade espacial assim comocomplexidade temporal. Isso é expresso abaixo:
<formula>formula see original document page 54</formula>
Na equação acima, MVp e MVn são os vetores demovimento para frente e de recuo para o MB atual (videFigura 29). Pode ser observado que Y2 na fórmula de largurade banda intracodifiçada é substituído pela soma dasdiferenças ao quadrado (SSD) . Para entender a função deIMVp + MVn Ρ na equação acima, observar as próximascaracterísticas do sistema visual humano: áreas submetidasa movimento suave, previsível (||MVP + MVn||2 pequeno) atraema atenção e podem ser rastreadas pelo olho e tipicamentenão podem tolerar qualquer distorção a mais do que asregiões estacionárias. Contudo, as áreas submetidas a ummovimento rápido ou não previsível (||MVp + MVN||2grande) nãopodem ser rastreadas e podem tolerar quantizaçãosignificativa. Os experimentos mostram que aINTER=1,y=0.001obtêm boa qualidade visual.
C. PARTICIONAMENT0 GOP ADAPTATIVO
Em outro exemplo ilustrativo de processamento quepode ser realizado pelo pré-processador 226, o dispositivode partição GOP 612 da Figura 6 também pode mudaradaptativamente a composição de um grupo de imagenscodificadas juntas, e é discutido na referência a umexemplo utilizando MPEG2. Alguns padrões de compactação devídeo mais antigos (por exemplo, MPEG2) não exigem que umGOP tenha uma estrutura regular, embora uma delas possa serimposta. A seqüência MPEG2 sempre começa com um quadro I,isto é, aquele que foi codificado sem referência às imagensanteriores. O formato MPEG2 GOP é normalmente pré-arranjadono codificador mediante fixação do espaçamento no GOP dasimagens P ou preditivas que seguem o quadro I. Os quadros Psão imagens que foram em parte previstas a partir dasimagens I ou Ρ. Os quadros entre o quadro I inicial, e osquadros P posteriores são codificados como quadros-B. Umquadro "Β" (B significa bidirecional) pode usar as imagensI ou P anteriores e próximas seja individualmente ousimultaneamente como referência. 0 número de bitsnecessários para codificar um quadro I na média excede onúmero de bits necessários para codificar um quadro P;similarmente o número de bits necessário para codificar umquadro P na média excede aquele exigido para um quadro-B.
Um quadro pulado, se usado, não exigiria bits para a suarepresentação.
O conceito que dá sustentação ao uso dos quadrosPeB, e em algoritmos de compactação mais recentes, :osalto de quadros para reduzir a taxa dos dados necessáriospara representar o vídeo é a eliminação de redundânciatemporal. Quando a redundância temporal é elevada - isto é,existe pouca mudança de imagem para imagem - o uso de Ρ, B,ou imagens puladas representa eficientemente o fluxo devideo, porque as imagens I ou P decodificadas anteriormentesão usadas posteriormente como referências para decodificaroutras imagens P ou B.
Posicionamento GOP adaptativo se baseia no usodesse conceito adaptativamente. Diferenças entre quadrossão quantificadas e uma decisão para representar a imagempor um quadro I, Ρ, B, ou quadro pulado é automaticamentefeita após testes adequados serem realizados nas diferençasquantificadas. Uma estrutura adaptativa tem vantagens quenão estão disponíveis em uma estrutura GOP fixa. Umaestrutura fixa ignoraria a possibilidade de que poucamudança no conteúdo ocorreu; um procedimento adaptativopermitiria que muito mais quadros-B fossem inseridos entrecada quadro I e P, ou dois quadros P, desse modo reduzindoo número de bits necessários para representar adequadamentea seqüência de quadros. Inversamente quando a mudança noconteúdo de vídeo é significativa, a eficiência dos quadrosP é grandemente reduzida porque a diferença entre osquadros preditos e os quadros de referência é muito grande.
Sob essas condições, a combinação de objetos pode sair dasregiões de pesquisa de movimento, ou a similaridade entreos objetos coincidentes é reduzida devido à distorçãocausada pelas mudanças no ângulo da câmera. Nesse ponto osquadros Peo quadro Ieo seu quadro P adjacente devem serescolhidos de modo a estarem mais próximos mutuamente emenos quadros-B devem ser inseridos. Um GOP fixo poderianão fazer esse ajuste.
No sistema aqui revelado, essas condições sãodetectadas automaticamente. A estrutura GOP é flexível e éfeita para se adaptar a essas mudanças em conteúdo. 0sistema avalia uma métrica de diferença de quadro, a qualpode ser considerada como medida da distância entrequadros, com as mesmas propriedades aditivas de distância.Em conceito, dados os quadros Fi, F2 e F3 tendo asdistâncias entre quadros di2 e d23; a distância entre Fi e F3é considerada como sendo de pelo menos di2 + d23.Atribuições de quadros são feitas com base nessa métricasemelhante à distância.
0 dispositivo de partição GOP opera medianteatribuição de tipos de imagem aos quadros à medida que elessão recebidos. 0 tipo de imagem indica o método de prediçãoque pode ser exigido na codificação de cada bloco:
Imagens-I são codificadas sem referência a outrasimagens. Uma vez que elas são independentes elasproporcionam pontos de acesso no fluxo de dados onde adecodificação pode começar. E o tipo de codificação I éatribuído ao quadro se a "distância" até seu quadropredecessor exceder um limite de mudança de cena.As imagens P podem usar as imagens anteriores Iou P para predição de movimento compensado. Elas usamblocos nos campos ou quadros anteriores que podem serdeslocados a partir do bloco sendo previsto como uma basepara codificação. Após o bloco de referência ser subtraídodo bloco sendo considerado, o bloco residual é codificado,usando tipicamente a transformada discreta de co-seno paraa eliminação de redundância espacial. Um tipo decodificação P é atribuído a um quadro se a "distância"entre ele e o último quadro atribuído para ser um quadro Pexceder um segundo limite, o qual tipicamente é inferior aoprimeiro.
Imagens de quadro-B podem utilizar as imagens iPou I anteriores e seguintes para compensação de movimentoconforme descrito acima. Um bloco em uma imagem B pode serprevisto para avanço, recuo ou bidirecionalmente; ou elepoderia ser intracodificado sem referência a outrosquadros. Em H.2 64 um bloco de referência pode ser umacombinação linear de 32 blocos a partir do mesmo número dequadros. Se o quadro não pode ser atribuído para ser um dotipo I ou P, ele é designado para ser um tipo B, se a"distância" a partir dele até seu predecessor imediato formaior do que um terceiro limite, o qual tipicamente é menordo que o segundo limite.
Se o quadro não pode ser designado para se tornarum quadro B codificado, é atribuído a ele um status de"pular quadro". Esse quadro pode ser pulado porque ele évirtualmente uma cópia de um quadro anterior.
Avaliar uma métrica que quantifica a diferençaentre quadros adjacentes na ordem de exibição é a primeiraparte desse processamento que ocorre. Essa métrica é adistância referida acima; com ela, cada quadro é avaliadoem relação ao seu próprio tipo. Desse modo, o espaçamentoentre quadro IeP adjacente, ou dois quadros P sucessivos,pode ser variável. A computação da métrica começa peloprocessamento dos quadros de video com um compensador demovimento baseado em bloco, um bloco sendo a unidade básicada compactação de video, composta normalmente de 16x16pixels, embora outros tamanhos de bloco tal como 8x8, 4x4 e8x16 sejam possíveis. Para quadros consistindo em doiscampos desentrelaçados, a compensação de movimento pode serfeita em uma base de campo, a pesquisa para os blocos dereferência ocorrendo nos campos mais propriamente do quenos quadros. Para um bloco no primeiro campo do quadroatual um bloco de referência de avanço é encontrado noscampos do quadro que vem após ele; similarmente, um blocode referência de recuo encontrado nos campos do quadro queprecede imediatamente o campo atual. Os blocos atuais sãomontados em um campo compensado. 0 processo continua com osegundo campo do quadro. Os dois campos compensados sãocombinados para formar um quadro compensado de avanço e umquadro compensado de recuo.
Para os quadros criados no telecine inverso 606,a pesquisa para os blocos de referência é feita apenas emuma base de quadro, uma vez que apenas quadros de filmereconstruídos. Dois blocos de referência e duas diferenças,de avanço e de recuo, são encontrados, levando a um quadrocompensado de avanço e de recuo. Resumidamente, ocompensador de movimento produz vetores de movimento emétricas de diferença para cada bloco; porém um bloco éparte de um campo NTSC no caso da saída do dispositivo dedesentrelaçamento 605 sendo processado e é parte de umquadro de filme se a saída do telecine inversa forprocessada. Observar que as diferenças na métrica sãoavaliadas entre um bloco no campo ou quadro sendoconsiderado e um bloco que melhor combina com o mesmo, sejaem um campo ou quadro precedente ou em um campo ou quadroque vem imediatamente após ele, dependendo de se umadiferença de avanço ou recuo está sendo avaliada. Após osvalores de luminância entram nesse cálculo.
A etapa de compensação de movimento desse modogera dois conjuntos de diferenças. Existem entre os blocosde valores atuais de luminância e os valores de luminâncianos blocos de referência considerados a partir dos quadrosque estão imediatamente à frente e imediatamente atrásdaquele atual em tempo. 0 valor absoluto de cada diferençade avanço e de recuo é determinado para cada pixel e cadaum deles é somado separadamente para o quadro inteiro.Ambos os campos são incluídos nas duas somas quando oscampos desentrelaçados NTSC que compreendem um quadro sãoprocessados. Desse modo, SADp, e SADn, os valores absolutossomados das diferenças de avanço e recuo são encontrados. ·
Para cada quadro uma relação SAD é calculadautilizando a relação,
<formula>formula see original document page 59</formula>
onde SADp e SADn são os valores absolutos somadosdas diferenças de avanço e recuo respectivamente. Umpequeno número positivo é adicionado ao numerador ε paraimpedir o erro de "dividir por zero". Um termo ε similar éadicionado ao denominador, reduzindo adicionalmente asensibilidade de γ quando ou SADp ou SADn está próximo dezero.
Em um aspecto alternativo, a diferença pode ser oSSD, a soma das diferenças ao quadrado, e SAD, a soma dasdiferenças absolutas, ou o SATD, no qual os blocos devalores de pixel são transformados mediante aplicação daTransformada de Co-Seno Discreta bidimensional aos mesmosantes das diferenças nos elementos de bloco ser tiradas. Assomas são avaliadas em relação à área de vídeo ativo,embora uma área menor possa ser usada em outros aspectos.
0 histograma de luminância de cada quadroconforme recebido (não compensado em movimento) também écomputador. 0 histograma opera no coeficiente DC, isto é, ocoeficiente (0,0), no arranjo 16x16 de coeficientes que é oresultado de aplicar as duas Transformadas Discretas de Co-Seno bidimensionais ao bloco de valores de luminância seelas estiverem disponíveis. Equivalentemente o valor médiodos 256 valores de luminância no bloco 16x16 pode ser usadono histograma. Para imagens cuja profundidade de luminânciaé de 8 bits, o número de faixas é estabelecido em 16. Apróxima métrica avalia a diferença de histograma
<formula>formula see original document page 60</formula>
No exposto acima, Npi é o número de blocos a partir doquadro anterior na i-ésima faixa, e Nci é o número deblocos a partir do quadro corrente que pertence a i-ésimafaixa, N é o número total de blocos em um quadro.
Esses resultados intermediários são montados paraformar a métrica de diferença de quadro atual como
<formula>formula see original document page 60</formula>
onde yc é a razão SAD com base no quadro atua e γρé a razão SAD baseada no quadro anterior. Se uma cena temmovimento suave e seu histograma Iuma escassamente muda,então D « 1. Se o quadro atual exibe uma mudança de cenasúbita, então yc será grande e γρ deve ser pequeno. A razão— em vez de yc isoladamente é usada de modo que a métricaé normalizada para o nível de atividade do contexto.
A Figura 42 ilustra um processo de atribuir tiposde compactação aos quadros. D, a diferença de quadro atualdefinida na Equação 19, é a base para as decisões tomadascom relação às atribuições de quadro. Como indicado pelobloco de decisão 4202, se um quadro sob consideração é oprimeiro em uma seqüência, o caminho de decisão marcado SIMé seguido para o bloco 4206, desse modo declarando o quadrocomo sendo um quadro I. As diferenças de quadro acumuladassão ajustadas em zero no bloco 4208, e o processo retorna(no bloco 4210) ao bloco inicial. Se o quadro sendoconsiderado não é o primeiro quadro em uma seqüência, ocaminho marcado NÃO é seguido a partir do bloco 4202 onde adecisão foi tomada, e no bloco de teste 4202 a diferença dequadro atual é testada contra o limite de mudança de cena.Se a diferença de quadro atual for maior do que aquelelimite, o caminho de decisão marcado SIM é seguido para obloco 4206, outra vez levando a uma atribuição de um quadro-I.
Se a diferença de quadro atual for menor do que olimite de mudança de cena, o caminho NÃO é seguido para obloco 4212 onde a diferença de quadro atual é adicionada àdiferença de quadro acumulada. Continuando através dofluxograma no bloco de decisão 4214, a diferença de quadroacumulada é comparada com o limite t, o qual em geral émenor do que o limite de mudança de cena. Se a diferença dequadro acumulada for maior do que t, o controle transferepara o bloco 4216, e o quadro é designado para ser umquadro P; a diferença de quadro acumulada é entãoreajustada para zero na etapa 4218. Se a diferença dequadro acumulada for menor do que t, o controle transferedo bloco 4214 par o bloco 4220. Lá a diferença de quadroacumulada é comparada com τ, o qual é menor do que t. Se adiferença de quadro atual for menor do que τ, o quadro édesignado para ser pulado no bloco 4222 e então o processoretorna; se a diferença de quadro atual for maior do que τ,o quadro é designado para ser um quadro-B no bloco 4226.
CODIFICADOR
Com referência de volta à Figura 2, otranscodificador 200 inclui um codificador 228 que recebemetadados processados e video bruto a partir do processador226. Os metadados podem incluir qualquer informaçõesoriginalmente recebida no video original 104 e qualquerinformações calculada pelo pré-processador 226. 0codificador 228 inclui um codificador de primeira passagem230, um codificador de segunda passagem 232, e um re-codificador 234. 0 codificador 228 recebe também entrada apartir do controle e transcodificador 231 que pode proverinformações (por exemplo, metadados, informações deflexibilidade de erro, Informações de conteúdo, informaçõesde taxa de bits codificada, informações de equilíbrio decamaa base e de camada de aperfeiçoamento, e informaçõesde quantização) a partir do codificador de segunda passagem232 para o codificador de primeira passagem 230, do re-codificador 234, assim como do pré-processador 226. 0codificador 228 codifica o vídeo recebido utilizandoinformações de conteúdo recebida a partir do pré-processador 226 e/ou informações de conteúdo que é geradapelo próprio codificador 228, por exemplo, por intermédiodo módulo de classificação de conteúdo 712 (Figura 7).
A Figura 7 ilustra um diagrama de blocos demódulos funcionais que podem ser incluídos em umcodificador de duas passagens exemplar que pode ser usadopara o codificador 228 ilustrado na Figura 2. Váriosaspectos dos módulos funcionais são mostrados na Figura 7,embora a Figura Iea presente descrição não tratemnecessariamente de toda funcionalidade que pode serincorporada em um codificador. Conseqüentemente, certosaspectos dos módulos funcionais são descritos abaixo após adiscussão da codificação de camada base e deaperfeiçoamento abaixo.
CODIFICAÇÃO DE CAMADA BASE E DE CAMADA DE APERFEIÇOAMENTO
O codificador 228 pode ser um codificadorescalonável SNR, o qual pode codificar o video bruto e osmetadados a partir do processador 226 em um primeiro grupode dados codificados, também referidos aqui como uma camadabase, e um ou mais grupos adicionais de dados codificados,também referidos aqui como camadas de aperfeiçoamento. Umalgoritmo de codificação gera coeficiente de camada base "ede camada de aperfeiçoamento os quais, quandodecodificados, podem ser combinados no decodificador quandoambas as camadas estão disponíveis para decodificação.
Quando ambas as camadas não estão disponíveis, acodificação da camada base permite que ela sejadecodificada como uma camada única.
Um aspecto de tal processo de codificação demúltiplas camadas é descrito com referência à Figura 31. Nobloco 321, um quadro I é codificado com macroblocoscompletamente intracodifiçados (MBs intracodifiçados). EmH.264, os MBs intracodifiçados nos quadros I sãocodificados com predição espacial totalmente explorada, oque provê uma quantidade significativa de ganho decodificação. Existem dois submodos: Intra4x4 e Intral6xl6.
Se a camada base deve tirar proveito do ganho decodificação provido pela predição espacial, então a camadabase precisa ser codificada e decodificada antes de secodificar e decodificar a camada de aperfeiçoamento. Acodificação e decodificação de duas passagens dos quadros Isão usadas. Na camada base, um parâmetro de quantização decamada base QPb proporciona aos coeficientes detransformação um tamanho de etapa de quantização grosseira.
A diferença em termos de pixel entre o quadro original e oquadro de camada base reconstruído será codificada nacamada de aperfeiçoamento. A camada de aperfeiçoamentoutiliza um parâmetro de quantização QPe o qual proporcionaum tamanho de etapa de quantização melhor. O meio decodificação, tal como o codificador 228 na Figura 2 poderealizar a codificação no bloco 321.
No bloco 323, um codificador codifica os dados dacamada base e os dados da camada de aperfeiçoamento para osquadros P e/ou B no GOP sendo processado. 0 meio decodificação, tal como o codificador 228 pode realizar acodificação no bloco 323. No bloco 325, o processo decodificação verifica se existem mais quadros P ou B paracodificar. 0 meio de codificação, tal como o codificadorescalonável SNR 228 pode realizar a ação 325. Se restaremmais quadros P ou B, a etapa 323 é repetida até que todosos quadros no GOP sejam acabados sendo codificados. Osquadros PeB são compreendidos de macroblocosintercodifiçados (MBs intercodifiçados), embora possa haverMBs intracodifiçados nos quadros PeB como será descritoabaixo.
Para que um decodificador distinga entre os dadosde camada base e os dados de camada de aperfeiçoamento, ocodificador 228 codifica a informações de overhead, bloco327. Os tipos de informações de overhead incluem, porexemplo, dados identificando o número de camadas, dadosidentificando uma camada como uma camada base, dadosidentificando uma camada como uma camada deaperfeiçoamento, dados identificando inter-relações entrecamadas (tal como, a camada 2 é uma camada deaperfei çoamento para camada base 1, ou camada 3 é umacamada de aperfeiçoamento para camada de aperfeiçoamento2), ou dados identificando uma camada como uma camada deaperfeiçoamento final em uma seqüência de camadas deaperfeiçoamento. As informações de overhead podem estarcontidas em cabeçalhos conectados com os dados de cabeçabase e/ou de aperfeiçoamento a qual elas pertencem, oucontidas em mensagens de dados separadas. Meio decodificação, tal como codificador 228 da Figura 2 poderealizar o processo no bloco 327.
Para ter decodificação de camada única, oscoeficientes de duas camadas devem ser combinados antes daquantização inversa. Portanto, os coeficientes das duascamadas têm que ser gerados interativamente; casocontrário, isso poderia introduzir uma quantidadesignificativa de overhead. Uma razão para o overheadaumentado é que a codificação de camada base e acodificação de camada de aperfeiçoamento poderiam utilizarreferências temporais diferentes. Um algoritmo é necessáriopara gerar coeficientes de camada base e de camada deaperfeiçoamento, o qual pode ser combinado no decodificadorantes da desquantização quando ambas as camadas estãodisponíveis. Ao mesmo tempo, o algoritmo deve prover vídeode camada base aceitável quando a camada de aperfeiçoamentonão está disponível ou o decodificador decide nãodecodificar a camada de aperfeiçoamento por razões talcomo, por exemplo, economia de energia. Os detalhes de umexemplo ilustrativo de tal processo são discutidosadicionalmente abaixo no contexto da discussão resumida decodificação preditiva padrão imediatamente abaixo.
Os quadros-P (ou quaisquer seçõesintercodifiçadas) podem explorar a redundância temporalentre uma região em uma imagem atual e uma região depredição de melhor combinação em uma imagem de referência.
0 local da região de predição de melhor combinação noquadro de referência pode ser codificado em um vetor demovimento. A diferença entre a região atual e a região depredição de referência de melhor combinação é conhecidacomo erro residual (ou erro de predição).
A Figura 32 é uma ilustração de um exemplo de umprocesso de construção de quadro-P, por exemplo, em MPEG-4.
O processo 331 é uma ilustração mais detalhada de um'processo exemplar que poderia ocorrer no bloco 323 daFigura 31. O processo 331 inclui a imagem atual 333composta de macroblocos 5x5, onde o número de macroblocosnesse exemplo é arbitrário. Um macrobloco é composto de16x16 pixels. Os pixels podem ser definidos por um valor deluminância de 8 bits (Y) e dois valores de crominância de·8bits (Cr e Cb). Em MPEG, os componentes Y, Cr e Cb podemser armazenados em um formato 4:2:0, onde os componentes Cre Cb são amostrados descendentemente por 2 nas direções X eY. Portanto, cada macrobloco consistiria em 256 componentesY, 64 componentes Cr e 64 componentes Cb. O macrobloco 335da imagem atual 333 é previsto a partir da imagem dereferência 337 em um ponto de tempo diferente do que aimagem atual 333. Uma pesquisa é feita na imagem dereferência 337 para localizar o macrobloco de melhorcombinação 339 que está mais próximo, em termos de valoresde Y, Cr e Cb ao macrobloco atual 335 sendo codificado. 0local do macrobloco de melhor combinação 339 na imagem dereferência 337 é codificado no vetor de movimento 341. Aimagem de referência 337 pode ser um quadro-I ou Quadro Pque um decodificador terá reconstruído antes da construçãoda imagem atual 333. O macrobloco de melhor combinação 339é subtraído do macrobloco atual 335 (uma diferença paracada um dos componentes Y, Cr e Cb é calculado) resultandoem erro residual 343. 0 erro residual 343 é codificado comTransformada Discreta de Co-Seno 2D (DCT) 345 e entãoquantificado 347. A quantização 347 pode ser realizada paraprover compactação espacial mediante, por exemplo, alocaçãode um número menor de bits para os coeficientes de altafreqüência enquanto alocando mais bits para os coeficientesde baixa freqüência. Os coeficientes quantizados de erroresidual 343, junto com o vetor de movimento 341 e imagemde referência 333 junto com informações de identificação devetor de movimento 341 e imagem de referência 333,constituem informações codificadas representando ·οmacrobloco atual 333. As informações codificadas podem serarmazenadas na memória para uso futuro ou trabalhadas com afinalidade, por exemplo, de correção de erro ou demelhoramento de imagem, ou transmitido através da rede 34 9.
Os coeficientes quantizados codificados de erroresidual 343, junto com o vetor de movimento codificado 341podem ser usados para reconstruir o macrobloco atual 335 nocodificador para uso como parte de um quadro de referênciapara estimação de movimento subseqüente e compensação. iOcodificador pode emular os procedimentos de umdecodificador para essa reconstrução de Quadro Ρ. Aemulação do decodificador resultará em ambos, o codificadore o decodificador, trabalhando com a mesma imagem dereferência. 0 processo de reconstrução, seja ele feito emum codificador, para intercodificação adicional, ou em umdecodificador, é apresentado aqui. A reconstrução de umQuadro P pode ser iniciada após o quadro de referência (ou
uma parte de uma imagem ou quadro que está sendo usada comoreferência) ser reconstruído. Os coeficientes quantizados,codificados são desquantizados 351 e então DCT inverso 2D,ou IDCT, 353 é realizado resultando no erro residualdecodificado ou reconstruído 355. O vetor de movimentocodificado 341 é decodificado e usado para localizar omacrobloco de melhor combinação já reconstruído 357 naimagem de referência já reconstruída 337. O erro residualreconstruído 355 é então adicionado ao macrobloco de melhorcombinação reconstruído 357 para formar o macroblocoreconstruído 359. O macrobloco reconstruído 359 pode serarmazenado na memória, exibido independentemente ou em umaimagem com outros macroblocos reconstruídos, ou processadosadicionalmente para melhoramento da imagem.
Quadros-B (ou qualquer seção codificada compredição bidirecional) pode explorar a redundância temporalentre uma região em uma imagem atual e uma região depredição de melhor combinação em uma imagem prévia e umaregião de predição de melhor combinação em uma imagemsubseqüente. A região de predição de melhor combinaçãosubseqüente, e a região de predição de melhor combinaçãoanterior, são combinadas para formar uma região prevista,combinada, bidirecional. A diferença entre a região deimagem atual e a região de predição bidirecional combinada,de melhor combinação é um erro residual (ou erro depredição). Os locais da região de predição de melhorcombinação na imagem de referência subseqüente e a regiãode predição de melhor combinação na imagem de referênciaanterior podem ser codificados em dois vetores demovimento.
A Figura 33 ilustra um exemplo de um processo decodificador para codificação de coeficientes de camada basee de camada de melhoramento que podem ser realizados pelocodificador 228. As camadas de aperfeiçoamento e base sãocodificadas para prover um fluxo de bits escalonável SNR. AFigura 33 ilustra um exemplo para codificação decoeficientes de erro residual MB tal como seria feito naetapa 323 da Figura 31. Contudo, métodos similares poderiamser usados também para codificar coeficientes intra MB.Meio de codificação tal como componente de codificador 228da Figura 2 pode realizar o processo ilustrado na Figura33' e etapa 323 da Figura 32. Dados de vídeo originais (aserem codificados) 406 (dados de vídeo compreendeminformações Iuma e croma nesse exemplo) são introduzidos emum Ioop de macrobloco de melhor combinação de camada base302 em um Ioop de macrobloco de melhor combinação de camadade aperfeiçoamento 365. 0 objetivo de ambos os loops 363 e365 é o de minimizar o erro residual que é calculado nossomadores 367 e 369, respectivamente. Os loops 363 e 365podem ser realizados em paralelo, conforme mostrado, ouseqüencialmente. Os loops 363 e 365 incluem lógica parapesquisa de armazenadores 371 e 373, respectivamente, quecontêm quadros de referência, para identificar o macroblocode melhor combinação que minimiza o erro residual entre omacrobloco de melhor combinação e os dados originais 361(os armazenadores 371 e 373 podem ser o mesmo armazenador).
Os erros residuais do Ioop 363 e do Ioop 365 serãodiferentes uma vez que o Ioop de camada base 363 geralmenteutilizará um tamanho de etapa de quantização mais grosseiro(um valor QP superior) do que o Ioop de camada deaperfeiçoamento 365. Os blocos de transformação 375 e 377transformam os erros residuais de cada Ioop.
Os coeficientes transformados são entãosegmentados em coeficientes de camada base e de camada deaperfeiçoamento no seletor 379. A segmentação do seletor379 pode assumir várias formas, conforme discutido abaixo.Uma característica comum das técnicas de segmentação é queo coeficiente de camada de aperfeiçoamento, C'enh/ écalculado de tal modo que ele é um refinamento diferencialpara o coeficiente de camada base C'base. Calcular a camadade aperfeiçoamento para ser um refinamento para a camadabase permite que um decodificador decodifique o coeficientede camada base por si próprio e tenha uma representaçãorazoável da imagem, ou combine os coeficientes de camada ede camada de aperfeiçoamento e tenha uma representaçãorefinada da imagem. Os coeficientes selecionados peloseletor 379 são então quantizados pelos quantizadores 381 e
383. Os coeficientes quantizados base e (calculadoscom quantizadores 381 e 383, respectivamente) podem serarmazenados na memória ou transmitidos através de uma redepara um decodificador.
Para combinar a reconstrução do macrobloco em umdecodificador, o desquantizador 385 desquantiza oscoeficientes de erro residual de camada base. Oscoeficientes de erro residual desquantizados sãotransformados inversamente 387 e adicionados 389 aomacrobloco de melhor combinação encontrado no armazenador371, resultando em um macrobloco reconstruído que combinacom o que será reconstruído no decodif icador. 0quantificador 383, o desquantizador 391, transformadorinverso 393, somador 397 e armazenador 373 realizamcálculos similares em Ioop de aperfeiçoamentos 365 como foifeito no Ioop de camada base 363. Além disso, o somador 393é usado para combinar os coeficientes de camada deaperfeiçoamento e de camada base, desquantizados usados nareconstrução da camada de aperfeiçoamento. 0 quantificadore o desquantizador de camada de aperfeiçoamento geralmenteutilizam um tamanho de etapa de quantificador mais refinado(um QP inferior) do que a camada base.
As Figuras 34, 35 e 36 mostram exemplos dosprocessos de seletor de coeficiente de camada base e decamada de aperfeiçoamento que podem ser empregados noseletor 379 da Figura 33. Meio de seleção tal comocodificador 228 da Figura 2 pode realizar os processosilustrados nas Figuras 34, 35 e 35. Utilizando a Figura 34como um exemplo, os coeficientes transformados sãosegmentados em coeficientes de camada base e de camada deaperfeiçoamento como mostrado nas equações a seguir:
<formula>formula see original document page 71</formula>
onde a função "min" pode ser um mínimo matemático ou umamagnitude mínima dos dois argumentos. A Equação 25 éilustrada como bloco 401 e a Equação 26 é ilustrada comosomador 510 na Figura 34. Na Equação 26, Qb significa oquantificador de camada base 381, e Qb"1 significa íodesquantizador 385 da camada base. A Equação 2 6 converte :.ocoefi ciente de camada de aperfeiçoamento em um refinamentodiferencial do coeficiente de camada base calculado com aEquação 25.
A Figura 35 é uma ilustração de outro exemplo deum seletor de coeficiente de camada base e de camada deaperfeiçoamento 379. Nesse exemplo, a Equação (.) contidano bloco 405 representa o seguinte:
<formula>formula see original document page 71</formula>
O somador 407 computa o coeficiente de camada deaperfeiçoamento conforme mostrado nas duas equaçõesseguintes:
<formula>formula see original document page 71</formula>onde Cbase é dado pela Equação 27.
A Figura 36 é uma ilustração de outro exemplo deum seletor de camada base e camada de aperfeiçoamento 37 9.
Nesse exemplo, o coeficiente de camada base é inalterado ea camada de aperfeiçoamento é igual à diferença entre ocoeficiente de camada base quantificado/desquantizado e ocoeficiente de camada de aperfeiçoamento original.
Além dos coeficientes de erro residual de camadabase e de camada de aperfeiçoamento o decodificador precisade informações identificando como os MB's são codificados.
Meio de codificação tal como o componente de codificador228 da Figura 2 pode codificar informações de overhead quepode incluir um mapa de porções intracodifiçadas eintercodifiçadas, tal como, por exemplo, um mapa MB onde osmacroblocos (ou sub-macroblocos) são identificados comosendo intracodifiçados ou intercodifiçados (tambémidentificando qual tipo de intercodificação incluindo, porexemplo, de avanço, de recuo ou bidirecional) e a qualquadro(s) as porções intercodifiçadas são usadas comoreferência. Em um aspecto exemplar, o mapa MB e oscoeficientes de camada base são codificados na camada base,e o coeficiente de camada de aperfeiçoamento é codificadona camada de aperfeiçoamento.
Os quadros P e os quadros B podem conter MBsintracodifiçados assim como MBs intercodifiçados. É comumque os codificadores de video híbrido utilizem otimizaçãode distorção de taxa (RD) para decidir codificar certosmacroblocos nos quadros P ou B como MBs intracodifiçados.
Para ter decodificação de camada única onde os MB'sintracodificados não dependem dos MB's intercodifiçados decamada de aperfeiçoamento, qualquer MBs intercodifiçadosvizinhos não são usados para predição espacial dos MBsintracodificados de camada base. Para manter a complexidadecomputacional inalterada para a decodificação de camada deaperfeiçoamento, para os MBs intracodifiçados no quadro Pou B de camada base, o refinamento na camada deaperfeiçoamento poderia ser pulado.
Os MBs intracodifiçado nos quadros P ou Brequerem muitos mais bits do que os MBs intercodifiçados.
Por essa razão, os MBs intracodifiçados nos quadros P ou Bpoderiam ser codificados apenas em qualidade de camada baseem um QP superior. Isso introduzirá alguma deterioração naqualidade de video, porém essa deterioração poderia serimperceptível se fosse refinada em um quadro posterior comos coeficientes MB de intercodificação na camada base e deaperfeiçoamento conforme discutido acima. Duas razõestornam essa deterioração imperceptível. A primeira é umacaracterística do sistema visual humano (HVS) e a outra éque os MBs intercodifiçados refinam os MBsintracodifiçados. Com os objetos que mudam de posição apartir de um primeiro quadro para um segundo quadro, algunspixels o primeiro quadro são invisíveis no segundo quadro(informações a ser coberta), e alguns pixels no segundoquadro são visíveis para o primeiro tempo (informações não-coberta). Os olhos humanos não são sensíveis à informaçõesvisual não-coberta e a ser coberta. Desse modo para "ainformações não-coberta, embora ela seja codificada em umaqualidade inferior, os olhos podem não perceber adiferença. Se a mesma informações permanece no quadro Pseguinte, haverá uma elevada chance de que o quadro Pseguinte na camada de aperfeiçoamento possa refinar o mesmoporque a camada de aperfeiçoamento tem QP inferior.
Outra técnica comum que introduz os MBsintracodificados nos quadros P ou B é conhecida como Intra-renovação. Nesse caso, alguns MBs são codificados como MBsintracodificados, embora otimização R-D padrãodeterminariam que eles devam ser MBs intercodifiçados.Esses MBs intracodifiçados, contidos na camada base, podemser codificados seja com QPb ou QPe. Se QPe for utilizadopara a camada base, então nenhum refinamento é necessáriona camada de aperfeiçoamento. Se QPb for utilizado paracamada base, então o refinamento pode ser necessário, casocontrário, a camada de aperfeiçoamento, a queda dequalidade será perceptível. Como a intercodificação é maiseficiente do que a intracodificação no sentido deeficiência de codificação, esses refinamentos na camada deaperfeiçoamento serão intercodifiçados. Desse modo, oscoeficientes da camada base não serão usados para a camadade aperfeiçoamento. Portanto, a qualidade é aperfeiçoada nacamada de aperfeiçoamento sem a introdução de novasoperações.
Os quadros-B são comumente usados nas camadas deaperfeiçoamento devido às qualidades de elevada compactaçãoque eles oferecem. Contudo, os quadros-B podem ter que usarcomo referência os MBs intracodifiçados de um quadro P. Seos pixels do quadro-B devem ser codificados em qualidade de
camada de aperfeiçoamento, isso pode exigir muitos bitsdevido à qualidade inferior dos MBs intracodifiçados doquadro P, conforme discutido acima. Por tirar proveito dasqualidades do HVS, conforme discutido acima, os MBs dequadro B poderiam ser codificados em uma qualidade inferiorao usar como referência os MBs intracodif içados dequalidade inferior dos quadros P.
Um caso extremo dos MBs intracodifiçados emquadros P ou B é quando todos os MBs em um quadro P ou Bsão codificados no intramodo devido à presença de umamudança de cena no vídeo sendo codificado. Nesse caso oquadro inteiro pode ser codificado na qualidade de camadabase e nenhum refinamento na camada de aperfeiçoamento. Seuma mudança de cena ocorre em um quadro-B, e supondo que osquadros-B são codificados apenas na camada deaperfeiçoamento, então o quadro-B poderia ser codificado naqualidade de camada base ou simplesmente descartado. Se umamudança de cena ocorre em um quadro P, nenhuma mudança pode
ser necessária, porém o quadro P poderia ser descartado oucodificado na qualidade de camada base. Codificação decamada escalonável é descrita adicionalmente no Pedido dePatente US co-pendente [N° de referência doadvogado/referência n° 050078] intitulado "SCALABLE VIDEOCODING WITH TWO LAYER ENCODING AND SINGLE LAYER DECODING" ede propriedade do cessionário do presente pedido, e que éincorporado aqui como referência integralmente.
PARTE DE PRIMEIRA PASSAGEM DO CODIFICADOR
A Figura 7 mostra um exemplo ilustrativo docodificador 228 da Figura 2. Os blocos mostrados ilustramdiversos processamentos de codificador que podem serincluídos no codificador 228. Nesse exemplo, o codificador228 inclui uma parte de primeira passagem 706 acima de umalinha de demarcação 704, e uma parte de segunda passagem706 (incluindo funcionalidade do codificador de segundapassagem 232 e re-codificador 234 na Figura 2) abaixo dalinha 704.
O codificador 228 recebe os metadados e vídeobruto a partir do pré-processador 226. Os metadados podemincluir quaisquer metadados recebidos ou calculados pelopré-processador 226, incluindo os metadados relacionados ;àinformações de conteúdo do vídeo. A parte de primeirapassagem 702 do codificador 228 ilustra processosexemplares que podem ser incluídos na codificação deprimeira passagem 702, que é descrita abaixo em termos desua funcionalidade. Quando aqueles versados na técnicasaberão, tal funcionalidade pode ser incorporada dediversas formas (por exemplo, em hardware, software,firmware, ou uma combinação dos mesmos).
A Figura 7 ilustra um módulo de intra-renovaçãoadaptativa (AIR). O módulo AIR 710 provê uma entrada paraum módulo de instanciação de quadro-I 708 que instancia umquadro I com base nos metadados. A parte de primeirapassagem 702 também pode incluir um módulo de classificaçãode conteúdo 712 configurado para receber os metadados evideo e determinar informações de conteúdo relacionada aovideo. A informações de conteúdo pode ser provida a ummódulo de alocação de bit de controle de taxa 714, o qualtambém recebe os metadados e o video. O módulo de alocaçãode bits de controle 714 determina a informações de controlede bits de taxa e provê a mesma ao módulo de decisão demodo 715. A informações de conteúdo e o video podem serprovidos a um módulo de intramodelo (distorção) 716, o qualprovê informações de distorção de intracodificação aomódulo de decisão de modo 715 e uma distorção de taxa deescalabilidade para o módulo de camada base e deaperfeiçoamento 718. O video e os metadados são providos aum módulo de estimação de movimento (distorção) 720 o qualprovê informações de distorção de intercodificação para adistorção de taxa de escalabilidade para o módulo de camadabase de aperfeiçoamento 718. A distorção de taxa deescalabilidade para o módulo de camada base e deaperfeiçoamento 718 determina a informações de distorção detaxa de escalabilidade utilizando estimativas de distorçãoa partir do módulo de estimação de movimento 720 e módulode distorção intramodelo 716 que é provido ao módulo dedecisão de modo 715. O módulo de decisão de modo 715 tambémrecebe entrada a partir do módulo de ordenação departição/MB 722. O módulo de ordenamento de fatia/MB 722recebe entrada a partir de um módulo de flexibilidade deerro 740 (mostrado na parte de segunda passagem 706), eprovê informações sobre alinhamento de porçõesindependentemente codificáveis de video (partições) comlimites de unidades de acesso para flexibilidade de erro aomódulo de decisão de modo 715. O módulo de decisão de modo715 determina informações de modo de codificação com baseem suas entradas e provê o "melhor" modo de codificação àparte de segunda passagem 706. Explanação ilustrativaadicional de alguns exemplos de tal codificação de parte deprimeira passagem 702 é descrita abaixo.
Como declarado acima, o módulo de classificaçãode conteúdo 712 recebe os metadados e o vídeo brutofornecido pelo pré-processador 226. Em alguns exemplos, opré-processador 22 6 calcula as informações de conteúdo apartir dos dados de multimídia e provê as informações deconteúdo ao módulo de classificação de conteúdo 712 (porexemplo, nos metadados), o qual pode usar as informações deconteúdo para determinar uma classificação de conteúdo paraos dados de multimídia. Em alguns outros aspectos, o módulode classificação de conteúdo 712 é configurado paradeterminar diversas informações de conteúdo a partir dosdados de multimídia, e também pode ser configurado paradeterminar uma classificação de conteúdo.
O módulo de classificação de conteúdo 712 podeser configurado para determinar uma classificação deconteúdo diferente para vídeo tendo diferentes tipos deconteúdo. A classificação de conteúdo diferente poderesultar em diferentes parâmetros usados em aspectos decodificação dos dados de multimídia, por exemplo,determinando uma taxa de bits (por exemplo, alocação debits) para determinar parâmetros de quantização, estimaçãode movimento, escalabilidade, flexibilidade de erro,mantendo qualidade de dados de multimídia ótima através dóscanais, e para esquemas de rápida mudança de canal (porexemplo, forçando os quadros-I a permitir periodicamente amudança rápida de canal. De acordo com um exemplo, ocodificador 228 é configurado para determinar a otimizaçãode distorção de taxa (R-D) e alocações de taxa de bit combase na classificação de conteúdo. Determinar umaclassificação de conteúdo permite que os dados demultimídia sejam compactados até um nível de qualidadedeterminado correspondendo a uma taxa de bits desejada combase em uma classificação de conteúdo. Além disso, medianteclassificação do conteúdo dos dados de multimídia (porexemplo, determinando uma classificação de conteúdo combase no Sistema Visual Humano), a qualidade de percepçãoresultante dos dados de multimídia comunicados em umaexibição de um dispositivo recebedor é tornada independenteno conteúdo de vídeo.
Como um exemplo de um procedimento ao qual omódulo de classificação de conteúdo 712 é submetido paraclassificar conteúdo, a Figura 9 mostra um processo 900ilustrando um processo exemplar através do qual o módulo declassificação de conteúdo 712 pode operar. Conformemostrado, o processo 900 começa no bloco de entrada 902onde o módulo de classificação de conteúdo 712 recebe osdados brutos de multimídia e os metadados. O processo 900então prossegue para o bloco 904 onde o módulo declassificação de conteúdo 712 determina informaçõesespacial e informações temporal dos dados de multimídia. Emalguns aspectos, as informações espaciais e as informaçõestemporais são determinadas mediante mascaramentos espaciaise temporais (por exemplo, filtragem). As informaçõesespaciais e temporais podem ser determinadas com base emmetadados que incluem dados de mudança de cena e suavizaçãode vetor de movimento (MV). 0 processo 900 prossegue entãopara o bloco 912 o qual realiza estimativas de complexidadeespacial, de complexidade temporal, e de sensibilidade. 0processo 900 prossegue então para o bloco 916 onde oconteúdo dos dados de multimídia é classificado com basenos resultados dos dados espaciais, temporais, e desensibilidade nos blocos 904 e 912. Além disso, no bloco916 uma curva de distorção de taxa específica (R-D) podeser selecionada e/ou dados de curva R-D podem seratualizados. O processo 900 prossegue então para o bloco desaída 918, onde a saída pode incluir um mapa decomplexidade-distorção ou valor indicando atividadeespacial e temporal (por exemplo, uma classificação deconteúdo), e/ou as curvas de R-D selecionadas, Comreferência de volta à Figura 7, o módulo de classificaçãode conteúdo 712 provê uma saída para um módulo de alocaçãode bits de controle de taxa 714, um módulo intramodelo(distorção) 716, e também para o módulo 708 de instanciaçãode quadro I, discutido acima.
INFORMAÇÕES DE CONTEÚDO
O módulo de classificação de conteúdo 712 podeser configurado para calcular uma variedade de informaçõesde conteúdo a partir dos dados de multimídia, incluindo umavariedade de métricas relacionadas a conteúdo, incluindocomplexidade espacial, complexidade temporal, valores derazão de contraste, métrica de diferença de quadro edesvios padrão, descritos adicionalmente abaixo.
O módulo de classificação de conteúdo 712 podeser configurado para determinar a complexidade espacial e acomplexidade temporal dos dados de multimídia, e tambémpara associar um valor de textura à complexidade espacial eum valor de movimento à complexidade temporal. O módulo declassificação de conteúdo 712 recebe informações deconteúdo pré-processadas relacionadas aos conteúdos dósdados de multimídia sendo codificados a partir do pré-processador 226, ou alternativamente, o pré-processador 226pode ser configurado para calcular a Informações deconteúdo. Conforme descrito acima, as informações deconteúdo podem incluir, por exemplo, um ou mais valoresDcsat/ valores de razão de contraste, vetores de movimento(MVs), e soma de diferenças absolutas (SADs).
Em geral, os dados de multimídia incluem uma oumais seqüências de imagens, ou quadros. Cada quadro podeser decomposto em blocos de pixels para processamento. Acomplexidade espacial é um termo amplo que descrevegeralmente uma medida do nível de detalhes espaciais dentrode um quadro. Cenas com áreas principalmente planas ouinalteradas ou de pouca mudança de luminância e crominânciaterão baixa complexidade espacial. A complexidade espacialé associada com a textura dos dados de vídeo. Acomplexidade espacial se baseia, nesse aspecto, em umamétrica da sensibilidade visual humana denominada Dcsatf aqual é calculada para cada bloco como uma função dailuminação ambiente e freqüência espacial local. Aquelesversados na técnica têm conhecimento das técnicas para usarpadrões de freqüência espacial e características deiluminação e contraste das imagens visuais para tirarproveito do sistema visual humano. Algumas métricas desensibilidade são conhecidas para se tirar proveito daslimitações de perspectiva do sistema visual humano epoderiam ser usadas com o método aqui descrito.
A complexidade temporal é um termo amplo o qual éusado para descrever geralmente uma medida do nível demovimento em dados de multimídia conforme referido entrequadros em uma seqüência de quadros. Cenas (por exemplo,seqüências de quadros de dados de vídeo) com pouco ounenhum movimento têm uma baixa complexidade temporal. Acomplexidade temporal pode ser calculada para cadamacrobloco, e pode se basear no valor Dcsat, vetores demovimento e na soma das diferenças de pixels absolutosentre um quadro e outro quadro (por exemplo, um quadro dereferência).
A métrica de diferença de quadro proporciona umamedida da diferença entre dois quadros consecutivosconsiderando a quantidade de movimento (por exemplo, vetorde movimento ou MV) junto com a energia residualrepresentada como soma da diferença absoluta (SAD) entre umpreditor e o macrobloco atual. Diferença de quadro tambémproporciona uma medida das eficiências de prediçãobidirecional ou unidirecional.
Um exemplo de uma métrica de diferença de quadrocom base na informações de movimento recebida a partir deum pré-processador realizando potencialmentedesentrelaçamento de movimento compensado é como a seguir.
O dispositivo de desentrelaçamento realiza uma estimação domovimento bidirecional e desse modo o vetor de movimentobidirecional e a informações SAD estão disponíveis. Umadiferença de quadro representada por SAD_MV para cadamacrobloco pode ser derivada a seguir:
<formula>formula see original document page 81</formula>
onde MV = Square_root (MVx2 + MVy2), SAD = minCSAE^, SADP), Qnde SADn é qSAD computado a partir do quadro de referência de recuo, eSADp é o SAD computado a partir do quadro de referência deavanço.
Outra abordagem de estimar uma diferença dequadro foi descrita acima com referência às Equações 6-8.
Uma razão SAD (ou razão de contraste) γ pode ser calculadacomo descrito anteriormente acima na Equação 6. Umhistograma de luminância de cada quadro também pode serdeterminado, a diferença do histograma λ sendo calculadautilizando a Equação 7. A métrica D de diferença de quadropode ser calculada conforme mostrado na Equação 8.
Em um exemplo ilustrativo, uma razão de contrastee uma métrica de diferença de quadro são utilizadas daseguinte maneira para obter uma classificação de conteúdode video, a qual poderia predizer de forma segura ascaracterísticas em uma determinada seqüência de vídeo.Embora descrito aqui como ocorrendo no codificador 228, umpré-processador 226 também pode ser configurado paradeterminar uma classificação de conteúdo (ou outraInformações de conteúdo) e passar a classificação deconteúdo para o codificador 228 por intermédio demetadados. O processo descrito no exemplo abaixo classificao conteúdo em oito classes possíveis, similar àclassificação obtida a partir da análise baseada em curvaR-D. O processo de classificação produz um valor na faixaentre Oel para cada superquadro dependendo dacomplexidade da cena e do número de ocorrências de mudançade cena naquela superquadro. 0 módulo de classificação deconteúdo no pré-processador pode executar as seguintesetapas (1) — (5) para cada superquadro para obter uma métricade classificação de conteúdo a partir dos valores dediferença de quadro e contraste de quadro.
1. Calcular Contraste de Quadro Médio e Desvio deContraste de Quadro a partir dos valores de contraste demacrobloco.
2. Normalizar os Valores de Contraste de Quadro ede Diferença de Quadro utilizando os valores obtidos apartir de simulações, os quais são 40 e 5 respectivamente.
3. Computar uma métrica de classificação deconteúdo utilizando, por exemplo, a equação generalizada:<formula>formula see original document page 83</formula>
onde CCWl, CCW2, CCW3 e CCW4 são os fatores de ponderação.Nesse exemplo, os valores são escolhidos para ser 0.2 paraCCW1, 0.9 para CCW2, 0.1 para CCW3 e -0.00009 para CCW4.
4. Determinar o número de mudanças de cena nosuperquadro. Geralmente, um superquadro se refere a umgrupo de imagens ou quadros que podem ser exibidos em umperíodo de tempo específico. Tipicamente, o período detempo é de um segundo. Em alguns aspectos, um superquadrocompreende 30 quadros (para vídeo de 30/fps). Em outrosaspectos um superquadro compreende 24 quadros (vídeo de24/fps). Dependendo do número de mudanças de cena, um doscasos a seguir é executado.
(a) Nenhuma Mudança de Cena: Quando não hámudança de cena em um superquadro, a métrica écompletamente dependente apenas dos valores dediferença de quadro conforme mostrado na equaçãoa seguir:
<formula>formula see original document page 83</formula>
(b) Mudança de Cena Única: Quando há um quadro demudança de cena única observado no superquadro, aequação padrão seria usada para computar amétrica, como mostrado abaixo:
<formula>formula see original document page 83</formula>
(c) Duas Mudanças de Cena: Quando é observada queexistem no máximo duas mudanças de cena nosuperquadro determinado, ao último superquadro éconcedido mais peso do que ao primeirosuperquadro uma vez que o primeiro superquadroseria de qualquer forma renovado pelo mencionadopor último, rapidamente, conforme mostrado naequação a seguir:
<formula>formula see original document page 84</formula>
(d) Três ou mais Mudanças de Cena: Se forobservado que o superquadro determinado tem maisdo que 3 quadros I (diz-se Ν) , o último quadro Ίrecebe mais peso e todos os outros quadros Irecebem um peso de 0.05, conforme mostrado riaequação a seguir:
<formula>formula see original document page 84</formula>
5. Uma correção pode ser usada para a métrica nocaso de cenas de movimento lento quando o meio de Diferençade Quadro é inferior a 0.05. Um deslocamento de (CCOFFSET)0.33 seria adicionado a CCMetric.
O módulo de classificação de conteúdo 712 utilizao valor Dcsat/ vetores de movimento e/ou a soma dásdiferenças absolutas para determinar um valor indicando umacomplexidade espacial para o macrobloco (ou quantidadedesignada de dados de video). A complexidade temporal édeterminada por uma medida da métrica de diferença dequadro (a diferença entre dois quadros consecutivosconsiderando a quantidade de movimento, com vetores demovimento, e a soma das diferenças absolutas entre osquadros).
Em alguns aspectos, o módulo de classificação deconteúdo 712 pode ser configurado para gerar um mapa delargura de banda. Por exemplo, a geração do mapa de largurade banda pode ser realizada por intermédio do módulo declassificação de conteúdo 712 se o pré-processador 226 nãogerar um mapa de largura de banda.
DETERMINANDO VALORES DE TEXTURA E MOVIMENTO
Para cada macrobloco nos dados de multimídia, omódulo de classificação conteúdo 712 associa um valor detextura com a complexidade espacial e um valor de movimentocom a complexidade temporal. O valor de textura se refereaos valores de luminescência nos dados de multimídia, ondeum valor de textura baixo indica pequenas mudanças nosvalores de luminescência de pixels vizinhos dos dados, e umvalor de elevada textura indica grandes mudanças nosvalores de luminescência de pixels vizinhos dos dados.Quando os valores de textura e movimento são calculados, omódulo de classificação de conteúdo 712 determina umaclassificação de conteúdo mediante consideração de ambas asinformações, de movimento e de textura. O módulo declassificação de conteúdo 712 associada a textura para osdados de vídeo sendo classificada com um valor de texturarelativo, por exemplo, "Baixa" textura, "Média" textura, ou"Elevada" textura, o que geralmente indica os valores decomplexidade de luminância dos macroblocos. Além disso, ;omódulo de classificação de conteúdo 712 associa o valor demovimento calculado para os dados de vídeo sendoclassificados como um valor de movimento relativo, porexemplo, "Pouco" movimento, "Médio" movimento, ou "Grande"movimento o que geralmente indica a quantidade de movimentodos macroblocos. Em aspectos alternativos, podem ser usadasmais ou menos categorias para movimento e textura. Então,uma métrica de classificação de conteúdo é entãodeterminada mediante consideração dos valores associados detextura e movimento.
A figura 8 ilustra um exemplo de um gráfico declassificação que ilustra como os valores de movimento etextura são associados a uma classificação de conteúdo. Umapessoa com conhecimentos comuns na técnica estáfamiliarizada com muitos modos para implementar tal gráficode classificação, por exemplo, em uma tabela de consulta ouum banco de dados. 0 gráfico de classificação é gerado combase em avaliações predeterminadas de conteúdo de dados devideo. Para determinar a classificação de dados de video,um valor de textura de "Baixo", "Médio" ou "elevado" (rto"eixo geométrico-x") é referenciado cruzado com um valor demovimento de "Baixo", "Médio" ou "elevado" (no "eixogeométrico-y"). Uma classificação de conteúdo indicada nobloco de interseção é atribuída aos dados de vídeo. Porexemplo, um valor de textura de "Elevado" e um valor demovimento de "Médio" resulta em uma classificação de sete(7) . A figura 8 ilustra várias combinações de valores demovimento e textura relativos que são associados a oitoclassificações de conteúdo diferentes, nesse exemplo. Emalguns outros aspectos, um número maior ou menor declassificações pode ser utilizado. A descrição adicional deum aspecto ilustrativo de classificação de conteúdo :érevelada no pedido de patente US copendente no. 11/373.577intitulado "CONTENT CLASSIFICATION FOR MULTIMEDIAPROCESSING" depositado em 10 de março de 2006, cedido aocessionário do presente e pela presente incorporadaexpressamente a título de referência aqui.ALOCAÇÃO DE BIT DE CONTROLE DE TAXA
Como descrito aqui, uma classificação de conteúdode dados de multimídia pode ser utilizada na codificação dealgoritmos para melhorar eficazmente o gerenciamento debits enquanto mantém uma constante a qualidade perceptivade video. Por exemplo, a métrica de classificação pode serutilizada em algoritmos para detecção de mudança de cena,codificação de controle de alocação de taxa de bits e
conversão ascendente de taxa de quadro (FRUC). Sistemas decompactador/descompactador (codec) e algoritmos deprocessamento de sinais digitais são comumente utilizadosem comunicações de dados de video, e podem ser configuradospara conservar largura de banda, porém há um equilíbrioentre qualidade e conservação de largura de banda. Osmelhores codecs fornecem conservação máxima de largura debanda enquanto produzem degradação mínima de qualidade devídeo.
Em um exemplo ilustrativo, o módulo de alocaçãode bit de controle de taxa 714 utiliza a classificação deconteúdo para determinar uma taxa de bits (por exemplo, onúmero de bits alocado para codificar os dados demultimídia) e armazena a taxa de bits na memória para usopor outro processo e componentes do codificador 228. Umataxa de bits determinada a partir da classificação dosdados de vídeo pode ajudar a conservar largura de bandaenquanto fornece dados de multimídia em um nível dequalidade compatível. Em um aspecto, uma taxa de bitsdiferente pode ser associada a cada uma das oitoclassificações de conteúdo diferentes e então aquela taxade bits é utilizada para codificar os dados de multimídia.0 efeito resultante é que embora as classificações deconteúdo diferentes de dados de multimídia sejam alocadasum número diferente de bits para codificação, a qualidadepercebida é similar ou compatível quando visualizada em umdisplay.
Genericamente, dados de multimídia com umaclassificação de conteúdo mais elevada são indicativos deum nivel mais elevado de movimento e/ou textura e sãoalocados mais bits quando codificados. Dados de multimídiacom uma classificação mais baixa (indicativa de menostextura e movimento) são alocados menos bits. Para dados demultimídia de uma classificação específica de conteúdo, ataxa de bits pode ser determinada com base em um nívelselecionado de qualidade percebida alvo para visualizar osdados de multimídia. A determinação de qualidade de dadosde multimídia pode ser feita por seres humanos visualizandoe classificando os dados de multimídia. Em alguns aspectosalternativos, estimativas de qualidade de dados demultimídia podem ser feitas por sistemas de testeautomático utilizando, por exemplo, algoritmos de relaçãode sinal para ruído. Em um aspecto, um conjunto de níveisde qualidade padrão (por exemplo, cinco) e uma taxa de bitscorrespondente necessária para obter cada nível dequalidade específico são predeterminados para dados demultimídia de cada classificação de conteúdo. Paradeterminar um conjunto de níveis de qualidade, dados demultimídia de uma classificação de conteúdo específicapodem ser avaliados por geração de uma Marcação de Opiniãomédia (MOS) que provê uma indicação numérica de umaqualidade visualmente percebida dos dados de multimídiaquando codificados utilizando certa taxa de bits. A MOSpode ser expressa como um único número na faixa de 1 a 5,onde 1 é a qualidade mais baixa percebida, e 5 é aqualidade mais alta percebida. Em outros aspectos, a MOSpode ter mais de cinco ou menos de cinco níveis dequalidade, e diferentes descrições de cada nível dequalidade podem ser utilizadas.
A determinação da qualidade de dados demultimídia pode ser feita por seres humanos visualizando eclassificando os dados de multimídia. Em alguns aspectosalternativos, estimativas de qualidade de dados demultimídia podem ser feitas por sistemas de testeautomático utilizando, por exemplo, algoritmos de relaçãode sinal para ruído. Em um aspecto, um conjunto de níveisde qualidade padrão (por exemplo, cinco) e uma taxa de bitscorrespondente necessária para obter cada nível dequalidade específico são predeterminados para dados demultimídia de cada classificação de conteúdo.
0 conhecimento da relação entre o nível dequalidade visualmente percebido e uma taxa de bits paradados de multimídia de certa classificação de conteúdo podeser determinado pela seleção de um nível de qualidade alvo(por exemplo, desejado). O nível de qualidade alvoutilizado para determinar a taxa de bits pode ser pré-selecionado, selecionado por um usuário, selecionadoatravés de um processo automático ou um processo semi-automático exigindo uma entrada a partir de um usuário ou apartir de outro processo, ou ser selecionado dinamicamentepelo dispositivo de codificação ou sistema com base emcritérios predeterminados. Um nível de qualidade alvo podeser selecionado com base, por exemplo, no tipo de aplicaçãode codificação, ou tipo de dispositivo de cliente queestará recebendo os dados de multimídia.
No exemplo ilustrado na figura 7, o módulo dealocação de bits de controle de taxa 714 recebe tanto osdados a partir do módulo de classificação de classificarconteúdo 712 como os metadados diretamente a partir do pré-processador 226. 0 módulo de alocação de bit de controle detaxa 714 reside na parte de primeira passagem docodificador 228, e um módulo de sintonização precisa decontrole de taxa 738 reside na parte de segunda passagem706. Esse aspecto de controle de taxa de duas passagens éconfigurado de tal modo que a primeira passagem (módulo dealocação de bit de controle de taxa 714) executa alocaçãode bit adaptativa e de contexto com uma antecipação desuperquadro (por exemplo, tendo como alvo taxas médias debit de longa duração de 256kbps) e limita a taxa de pico, ea segunda passagem (módulo de sintonização precisa decontrole de taxa 738) refina os resultados de primeirapassagem para escalabilidade de duas camadas e executaadaptação de taxa. 0 controle de taxa opera em quatroníveis: (1) nível GOP - controla distribuição de bits dequadros I, P, BeF para serem não uniformes dentro de umGOP; (2) nível de superquadro - controla limites rígidos émtamanho máximo de superquadro; (3) nível de quadrocontrola exigências de bit de acordo com a complexidadetemporal e espacial dos quadros de dados de multimídia, quesão baseados nas informações de conteúdo (por exemplo, umaclassificação de conteúdo); e (4) nível de macrobloco -controla alocação de bits de macroblocos baseados em mapasde complexidade temporal e espacial, que são baseados nasinformações de conteúdo (por exemplo, uma classificação deconteúdo). ·
Um fluxograma exemplar da operação do módulo decontrole de taxa 714 é ilustrado na figura 10. Comomostrado na figura 10, o processo 1000 começa em um blocode entrada 1002. O módulo de controle de taxa 714 recebevárias entradas, nem todas são necessariamente ilustradaspela figura 7. Por exemplo, informações de entrada podemincluir metadados a partir do pré-processador 226 uma taxade bits alvo, tamanho de armazenador de codificador (oucomo equivalente, o tempo máximo de retardo para controlede taxa), um retardo inicial de controle de taxa, einformações de taxa de quadro. Informações de entradaadicionais podem incluir entradas no nível de grupo deimagens (GOP), incluindo, por exemplo, tamanho máximo desuperquadro, comprimento e distribuição de quadro P/B doGOP (incluindo informações de mudança de cena), disposiçãode camadas de aperfeiçoamento e base desejadas, uma métriqade distorção de complexidade para imagens no GOP para 30quadros futuros. Ouras informações de entrada incluementradas no nível de imagem, incluindo mapa de distorção decomplexidade para a imagem atual (recebido do módulo declassificação de conteúdo 712), parâmetros de quantização(QP), e quebra de bits dos 30 quadros passados (encaixesobre uma janela deslizante). Finalmente, informações deentrada no nível de macrobloco (MB) incluem, por exemplo, adiferença absoluta média (MAD) de macroblocos colocados(MB) em uma imagem de referência, e um padrão de blococodificado (CBP) de macroblocos após quantização (sejam ounão pulados).
Após as entradas no bloco 1002, o processo 1000prossegue para o bloco 1004 para inicialização paracodificar o fluxo de bits. Simultaneamente, umainicialização de armazenador 1006 é executada. A seguir, umGOP é inicializado como mostrado no bloco 1008, comalocação de bits GOP 1010 recebida como parte dainicialização. Após inicialização de GOP, o fluxo prosseguepara o bloco 1012, onde uma partição é inicializada. Essainicialização inclui uma atualização dos bits de cabeçalho,como mostrado pelo bloco 1014. Após as inicializações dobloco 1004, 1008 e 1012 serem executadas, o controle detaxa (RC) para uma unidade básica ou macrobloco (MB) érealizado como mostrado pelo bloco 1016. Como parte dadeterminação de controle de taxa de um macrobloco no bloco1016, entradas são recebidas através de interfaces nocodificador 228. Essas entradas podem incluir alocação debit de macrobloco (MB) 1018, uma atualização de parâmetrosde modelo quadrático 1020, e uma atualização de desvioabsoluto mediano a partir dos parâmetros medianos ("MAD",uma estimativa robusta de dispersão) 1022. O processoseguinte 1000 prossegue para o bloco 1024 para execução deoperações após codificar uma imagem 1024. Esse procedimentoinclui receber uma atualização de parâmetros de armazenadorcomo mostrado pelo bloco 1026. O processo 1000 entãoprossegue para o bloco de saida 1028 onde o módulo decontrole de taxa 714 transmite parâmetros de quantização QPpara cada macrobloco MB a ser utilizado por um módulo dedecisão de modo 715 como mostrado na figura 7.
ESTIMAÇÃO DE MOVIMENTO
O módulo de estimação de movimento 720 recebeentradas de metadados e video bruto a partir do pré-processador 226, e provê saida que pode incluir o tamanhode bloco, vetores de movimento métricas de distorção, eidentificadores de quadro de referência para um módulo dedecisão de modo 715. A figura 11 ilustra uma operaçãoexemplar do módulo de estimação de movimento 720. Comomostrado, o processo 1100 começa com uma entrada 1102. Nonivel de quadro, o módulo 720 recebe entrada do ID dequadro de referência e vetores de movimento. NO nivel demacrobloco, a entrada 1102 inclui pixels de entrada epixels de quadro de referência. O processo 1100 continuapara a etapa 1104 onde estimação de movimento de cor (ME) epredição de vetor de movimento são executados. Pararealizar esse processo, várias entradas são recebidasincluindo vetores de movimento MPEG-2, e vetores demovimento Iuma MVs 1106, suavização de vetor de movimento1108, e vetores de movimento não causai 1110. A seguir, 'oprocesso 1100 prossegue para o bloco 1112 onde um algoritmode busca de vetor de movimento ou metodologia é executado,como métodos de busca hexagonais. Entradas para o processono bloco 1112 podem incluir soma de diferença absoluta(SAD) , soma de diferença ao quadrado (SSD) e/ou outramétrica como mostrado pelo bloco 1114. Após execução de umabusca de vetor de movimento, o processo 1100 prossegue parao bloco de terminação 1116, onde o processamento de
terminação é executado. O processo 100 termina então nobloco de saida 1118, que fornece uma saida de tamanho debloco, vetor de movimento (MV), métrica de distorção, eidentificadores de Quadro de referência.
ESCALABILIDADE R-D PARA CAMADA DE APERFEIÇOAMENTO E BASE
A figura 13 ilustra um fluxograma exemplar de umprocesso de escalabilidade 1300 que pode ser executado pelomódulo de escalabilidade R-D 718. O processo 1300 começa nobloco de iniciar 1302 e prossegue para o bloco 1304 onde omódulo de escalabilidade R-D 718 recebe uma entrada apartir do módulo de estimação de movimento 720 e executaestimação de movimento. A estimação de movimento se baseiana entrada de quadros de referência de camada de base,quadros de referência de camada de aperfeiçoamento, e20 quadro original a ser codificado como indicado pelo bloco
1306. Tais informações podem ser calculadas peloparticionador GOP 612 e comunicadas para o móduloescalabilidade R-D 718 através, por exemplo, de metadados.O processo 1300 prossegue para o bloco 1308 para determinarinformações de escalabilidade da camada de base de dados ecamada de aperfeiçoamento, dados. A codificação de camadade base é executada a seguir conforme mostrado no bloco1310, seguido por codificação da camada de aperfeiçoamentono bloco 1312. A codificação da camada de aperfeiçoamentopode utilizar os resultados de codificação de camada debase para predição intercamadas como em entrada, comoilustrado pelo bloco 1314, desse modo temporalmente éexecutado após codificação de camada de base. Isso estádescrito adicionalmente no pedido de patente US copendenteno. [dossiê do procurador]/ref. No. 050078] intitulado"SCALABLE VIDEO CODING WITH TWO LAYER ENCODING AND SINGLELAYER DECODING." Após término de codificação, o processo1300 termina no bloco 1316.
ORDENAÇÃO DE MACROBLOCOS/PARTIÇÃO
A parte de primeira passagem 702 também inclui ummódulo de ordenação de macroblocos/partição 722, que recebeuma entrada a partir de um módulo de flexibilidade de erro740 na parte de segunda passagem e provê uma informações dealinhamento de partição para o módulo de decisão de modo715. Partições são pedaços de dados de video codificados,independentemente decodificáveis (decodificação deentropia). Unidades de acesso (AU) são quadros de videocodificados, cada um compreendendo um conjunto de unidadesNAL sempre contendo exatamente uma imagem codificadaprimária. Além da imagem codificada primária, uma unidadede acesso também pode conter uma ou mais imagenscodificadas redundantes ou outras unidades NAL não contendopartições ou partições de dados de partição de uma imagemcodificada. A decodificação de uma unidade de acessoresulta sempre em uma imagem decodificado.
Os quadros podem ser blocos multiplexados pordivisão de tempo de pacotes de camada física (denominadoscápsula TDM) que oferecem a diversidade de tempo maiselevada. Um superquadro corresponde a uma unidade de tempo(por exemplo, 1 s) e contém quatro quadros. Alinhamento departição e limites de AU com limites de quadro no domíniode tempo resulta na separação mais eficiente e localizaçãode dados corrompidos. Durante desvanecimento profundei,grande parte dos dados contíguos em uma cápsula TDM éafetada por erros. Devido à diversidade de tempo, ãscápsulas TDM restantes têm elevada probabilidade de estaremintactas. Os dados não corrompidos podem ser utilizadospara recuperar e ocultar os dados perdidos a partir dacápsula TDM afetada. Lógica similar se aplica amultiplexação de domínio de freqüência (FDM) ondediversidade de freqüência é obtida através de separação emsubportadoras de freqüência que os símbolos de dadosmodulam. Além disso, lógica similar se aplica à espacial(através de separação em antenas de transmissores ereceptores) e outras formas de diversidade freqüentementeaplicadas em redes sem fio.
Para alinhar as partições e AU com os quadros, acriação de bloco de código externo (FEC) e encapsulamentode camada MAC também devem ser alinhadas. A figura 20ilustra a organização de dados de vídeo codificados ou umfluxo de bits de vídeo em partições e Aus. O vídeocodificado pode ser constituído em ou mais fluxos de bits,por exemplo, fluxo de bits de camada de base e fluxo debits de camada de aperfeiçoamento onde se aplicacodificação de vídeo em camadas.
O fluxo de bits de vídeo compreende Aus comoilustrado na figura 20 por Quadro 1'2005, Quadro 3'2010 eQuadro M'2015. Os Aus compreendem partições de dados, comoilustrado por Partição 1 2020, partição 2 2025, e partiçãoN 2030. Cada início de partição é identificado por umcódigo de iniciar e provê adaptação de rede. Em geral,quadro-I ou Aus intracodifiçados são grandes, seguido porquadros-P ou quadros preditos, antecipados, seguidos porquadros-B. A codificação de um AU em múltiplas partiçõesincorre em um custo overhead significativo em termos dataxa de bits codificada porque predição espacial através departições é restrita e cabeçalhos de partição contribuemtambém para overhead. Como os limites de partição sãopontos de ressincronização, restringindo pacotes de camadafísica contíguos a erros de controles de partições uma vezque quando um PLP é corrompido, o erro é confinado apartição no PLP ao passo que se o PLP contivesse múltiplaspartições, ou partes de múltiplas partições, o erroimpactaria todas as partições ou porções de partições no PLP.
Uma vez que quadros-I são tipicamente grandes,por exemplo, da ordem de 10' de kbits, o overhead devido amúltiplas partições não é uma proporção grande do tamanhototal de quadro-I ou taxa total de bits. Além disso, ofazer de ter mais partições em um AU intracodif içadopermite nova sincronização melhor e mais freqüente eocultação de erro especial mais eficiente. Também, osquadros-I contêm as informações mais importantes no fluxode bit de vídeo uma vez que os quadros PeB são preditosfora de quadros-I. Os quadros-I servem também como pontosde acesso aleatório para aquisição de canal.
Com referência agora à figura 21, o alinhamentocuidadoso dos quadros-I com limites de quadro e aspartições com um I AU também com limites de quadro, permitecontrole mais eficiente de erro, proteção de erro (uma vezque se uma partição que pertencia ao Quadro 1 205 forperdida, as partições que pertencem ao Quadro 2 2100 têmuma elevada probabilidade de estarem intactas porque o
Quadro 2 2110 tem uma separação de tempo significativa 'apartir do Quadro 1 2105 a recuperação de erro pode serexecutada através de nova sincronização e ocultação deerro.
Como os quadros-P são tipicamente dimensionadosna ordem de alguns kbits, o alinhamento de partições de ümquadro-P e número inteiro de quadros-P com limites dequadro permite flexibilidade de erro sem perda prejudicialde eficiência (por motivos similares como aqueles paraquadros-I). A ocultação de erro temporal pode ser empregadaem tais aspectos. Alternativamente, a dispersão de quadros-P consecutivos de tal modo que chequem em quadrosdiferentes fornece diversidade de tempo adicionado entre osquadros-P, que pode ser porque a ocultação temporal se
baseia em vetores de movimento e dados a partir de quadrosP ou I anteriormente reconstruídos. Quadros-B podem serextremamente pequenos (100's de bits) a moderadamentegrandes (poucos 1000 bits). Conseqüentemente, o alinhamentode número inteiro de quadros-B com limites de quadro édesejável para obter flexibilidade de erro sem perdaprejudicial de eficiência.
MÓDULO DE DECISÃO DE MODO
A figura 12 ilustra alguns exemplos da operaçãodo módulo de decisão de modo 715. Como mostrado, o processo1200 começa em um bloco de entrada 1202. Em um exemploilustrativo, as várias entradas de informações no módulo dedecisão de modo 715 incluem tipo de partição, Intra4x4cost, Intra 16xl6cost, IntraUV 8x8cost, Intra Y 16x16
Modo, IntraUV Modo, dados de vetor de movimento (MVD),parâmetros de quantização (QP), SpPredMB4x4Y,SpPredMBl6x16Y, SpPredMB8x8U, SpPredMB8x8V, Indicador dedistorção de taxa, pixels YMB bruto, Pixels UMB bruto, epixels VNB bruto. O processo 120 prossegue então para obloco 1204 codificando a inicialização, que pode seriniciada por um sinal de entrada ou interface orientando ainicialização de codificador, como indicado pelo bloco1206. A inicialização pode incluir modos permitidos dedefinição (incluindo saltar, dirigir), pesos de mododefinidos (se necessário, o default serão pesos iguais paratodos os modos), e armazenadores de definição. Apósinicialização, o processo 1200 prossegue para o bloco 1208onde o processamento principal para a decisão de modo éexecutado, incluindo: computar custos de modo de macrobloco(MB) para cada modo permitido, ponderar cada custo de modoMB com um fator de ponderação e selecionar um modo de custode modo MB mínimo. Entradas envolvidas com essas operaçõesincluem estimação de movimento (por exemplo, MVD epredições) e predição espacial (por exemplo, todos osintracustos e predições) como ilustrado pelos blocos 1210 e1212. Em interface com o módulo de decisão de modo 715encontra-se a codificação de entropia em bloco 1214 que,entre outras coisas, melhora a taxa de compressão. Oprocesso 1200 prossegue para o bloco 1216 ondearmazenadores são atualizados para passar informações paraa parte de segunda passagem de codificador, 706.Finalmente, o processo 1200 prossegue para o bloco 1218onde o "melhor" modo de codificação pode ser comunicadopara a parte de segunda passagem de codificador 706.
PARTE DE SEGUNDA PASSAGEM DE CODIFICADOR
Com referência novamente à figura 7, a parte desegunda passagem 706 do codificador 228 inclui um módulo decodificador de segunda passagem 232 para executar a segundapassagem de codificação. O codificador de segunda passagem232 recebe a saída a partir do módulo de decisão de modo715. O codificador de segunda passagem 232 inclui um módulode Quantização de transformação/MC 726 e um codificador deentropia/ziguezague (ZZ) 728. Os resultados do codificadorde segunda passagem 232 são transmitidos para um módulo dedimensionamento 7 30 e um módulo adensamento de fluxo debits 731, que transmite uma base codificada e camada deaperfeiçoamento para transmissão pelo transcodificador 200através de uma camada de sincronização 240 (ilustrada nafigura 2) . Como mostrado na figura 2, observa-se que ascamadas de aperfeiçoamento e base a partir do codificadorde segunda passagem 232 e codificador 234 são montadas pelacamada de sincronização 24 0 em um PES empacotado 242incluindo camadas de base e aprimorada, um PES de dados 244(por exemplo, CC e outros dados de texto, e um PES de áudio246. Observa-se que o codificador de áudio 236 recebeinformações de áudio decodificadas 218 e, por sua vez,codifica as informações e transmite as informaçõescodificadas 238 para a camada de sincronização 240.
RECODIFICADOR
Com referência novamente à figura 7, a parte desegunda passagem de codificador 706 também inclui umrecodificador 234, que corresponde ao recodificador 234 nafigura 2. O recodificador 234 também recebe a saida daparte de primeira passagem 702 e inclui uma Quantização detransformação/MC 726 e porções de codificação deEntropia/ZZ 728. Adicionalmente, o módulo dedimensionamento 730 transmite para o recodificador 234. Orecodificador 234 transmite a camada de base e aprimoradaresultante a partir da recodificação para o módulo deadensamento de fluxo de bits 731 para transmissão para umsincronizador (por exemplo, camada de sincronização 240(mostrada na figura 2). O exemplo de codificador 228 riafigura 7 também inclui um módulo de sintonização precisa decontrole de taxa 738 que provê realimentação de adensamentode fluxo de bits tanto para o módulo de quantização deTransformação/MC 234 no codificador de segunda passagem 232como para o módulo de Entropia/ZZ 736 no recodificador 234para ajudar a sintonizar a codificação de segunda passagem(por exemplo, aumentar a eficiência de compressão).
MÓDULO DE FLEXIBILIDADE DE ERRO
O exemplo de codificador 228 ilustrado na figura7 também inclui um módulo de flexibilidade de erro 740 naparte de segunda passagem 706. 0 módulo de flexibilidade deerro 740 comunica-se com o módulo de adensamento de fluxode bits 731 e com o módulo de ordenação MB/partição 722. 0módulo de flexibilidade de erro 740 recebe metadados apartir do pré-processador 228 e seleciona um esquema deflexibilidade de erro, por exemplo, alinhar unidades deacesso e partição com limites de quadro, hierarquiapreditiva e intra-renovação adotiva. A seleção do esquemade flexibilidade de erro pode ser baseada em informaçõesrecebidas nos metadados, ou a partir de informaçõescomunicadas para o módulo de flexibilidade de erro a partirdo módulo de adensamento de fluxo de bits 731 e módulo deordenação de MB/partição 722. O módulo de flexibilidade deerro 740 provê informações para o módulo de ordenação demacrobloco (MB)/partição na parte de primeira passagem 702para implementar os processos de flexibilidade de erroselecionados. Transmissões de video através de ambientespropensos a erro podem empregar estratégias deflexibilidade de erro e algoritmos que podem resultar naapresentação de dados mais claros e menos cheios de errospara um usuário espectador. A descrição de flexibilidade deerro abaixo pode se aplicar a qualquer aplicação individualou combinação de aplicação existente ou futura, camadafi sica e transporte ou outras tecnologias. Os algoritmos derobustez de erro efetivo integram uma compreensão depropriedades de suscetibilidade de erro e capacidades deproteção contra erro entre as camadas OSI em combinação compropriedades desejáveis do sistema de comunicação comobaixa latência e elevada capacidade de transmissão. 0processamento de flexibilidade de erro pode ser baseado nasinformações de conteúdo dos dados de multimídia, porexemplo, na classificação de conteúdo dos dados demultimídia. Uma das principais vantagens é a capacidade derecuperação a partir de desvanecimento e erros de canal demultipercurso. As abordagens de flexibilidade de errodescritas abaixo se referem especificamente a processos quepodem ser incorporados no codificador 228 (por exemplo, emparticular no módulo de flexibilidade de erro 740 e módulode ordenação de MB/partição 722) e podem ser estendidosgenericamente à comunicação de dados em ambientes propensosa erros.
FLEXIBILIDADE DE ERRO
Para um sistema de compressão híbrido baseado empredição, quadros intracodifiçados são independentementecodificados sem nenhuma predição temporal. Quadrosintercodifiçados podem ser preditos de forma temporal apartir de quadros passados (quadros-P) e quadros futuros(quadros-B). 0 melhor preditor pode ser identificadoatravés de um processo de busca no quadro de referência (umou mais) e uma medida de distorção como SAD é utilizadapara identificar o melhor casamento. A região codificadapreditiva do quadro atual pode ser um bloco de tamanho eformato variáveis (16x16, 32x32, 8x4, etc.) ou um grupo depixels identificado como um objeto através, por exemplo, desegmentação.
A predição temporal estende-se tipicamenteatravés de muitos quadros (por exemplo, 10 para 10's dequadros) e termina quando um quadro é codificado como Umquadro-I, o GOP sendo tipicamente definido pela freqüênciade quadros-I. Para eficiência máxima de codificação, um GOPé uma cena, por exemplo, limites de GOP são alinhados comlimites de cena e quadros de mudança de cena sãocodificados como quadros-I. Em pouco movimento asseqüências compreendem um fundo relativamente estático e omovimento é genericamente restrito ao objeto em primeiroplano. Os exemplos de conteúdo de tais seqüências de poucomovimento incluem notícias e programas de previsão do tempoonde mais de 30% do conteúdo mais visualizado são dessa101/118natureza. Em seqüências de pouco movimento, grande partedas regiões são intercodifiçadas e os quadros preditos sereferem de volta ao quadro-I através de quadros preditosintermediários.
Com referência à figura 22, o blocointracodifiçado 2205 no quadro-I é o preditor para o blocointercodifiçado 2210 no quadro codificado (ou AU) PL. Nesseexemplo, a região desses blocos é uma parte estacionária dosegundo plano. Através de predição temporal consecutiva, asensibilidade do bloco intracodifiçado 2205 a erros aumentauma vez que é um "bom" preditor o que também significa quesua "importância" é mais elevada. Adicionalmente, o blocointracodifiçado 2205, em virtude dessa cadeia de prediçãotemporal denominada a cadeia de predição, persiste por maistempo no display (pela duração da cena no exemplo nafigura).
Hierarquia de predição é definida como a árvorede blocos criada com base nesse nivel de importância oumedida de persistência com o pai no topo (blocointracodificado 2205) e os filhos na parte inferior.
Observe que o bloco intercodif içado 2215 em PI está nosegundo nivel da hierarquia e assim por diante. As folhassão blocos que terminam uma cadeia de predição.
Hierarquia de predição pode ser criada paraseqüências de video independente de tipo de conteúdo (comomúsica e esportes também e não somente noticias) e éaplicável à compressão de video (e dados) baseada empredição em geral (isto se aplica a todas as invençõesdescritas nesse pedido). Após estabelecimento da hierarquiade predição, algoritmos de flexibilidade de erro comointra-renovação adaptativa, descrito abaixo, podem seraplicados de forma mais eficaz. A medição de importânciapode ser baseada em capacidade de recuperação de um dadobloco a partir de erros como através de operações deocultação e aplicação de intra-renovação adaptativa paraaumentar a flexibilidade do fluxo de bits codificados aerros. Uma estimativa da medida de importância pode serbaseada em número de vezes que um bloco é utilizado comopreditor também mencionado como a métrica de persistência.A métrica de persistência também é utilizada para melhorara eficiência de codificação por deter a propagação de errode predição. A métrica de persistência também aumenta aalocação de bits para os blocos com importância maiselevada.
INTRA-RENOVAÇÃO ADAPTATIVA
Intra-renovação adaptativa é uma técnica deflexibilidade de erro que pode ser baseada em informaçõesde conteúdo dos dados de multimídia. Em um processo deintra-renovação, alguns MBs são intracodifiçados embora aotimização R-D padrão determinasse que eles devessem serMBs intercodifiçados. AIR emprega intra-renovação ponderadoem movimento para introduzir MBs intracodifiçados emquadros B ou P. Esses MBs intracodifiçados, contidos nacamada de base, podem ser codificados com QPb ou QPe. SeQPe for utilizado para a camada de base, então refinamentopode ser apropriado, de outro modo na camada deaperfeiçoamento, a queda de qualidade será perceptível. Uniavez que intercodif icação é mais eficiente do queintracodificação no sentido de eficiência de codificação,esses refinamentos na camada de aperfeiçoamento serãointercodifiçados. Desse modo, os coeficientes de camada debase não serão utilizados para a camada de aperfeiçoamento,e a qualidade é aperfeiçoada na camada de aperfeiçoamentosem introduzir novas operações.
Em alguns aspectos, intra-renovação adaptativapode ser baseada em informações de conteúdo dos dados demultimídia (por exemplo, uma classificação de conteúdo) emvez de, ou além de, uma base ponderada em movimento. Porexemplo, se a classificação de conteúdo for relativamentealta (por exemplo, cenas tendo alta complexidade temporal eespacial) intra-renovação adaptativa pode introduzir umaquantidade relativamente maior de MB's intracodifiçados nosquadros-B ou P. Alternativamente, se a classificação deconteúdo fosse relativamente baixa (indicando uma cenamenos dinâmica com baixa complexidade espacial e/outemporal) intra-renovação adaptativa pode introduzir umnúmero menor de MB's intracodifiçados nos quadros Be P.Tal métrica e métodos para melhorar a flexibilidade de erropodem ser aplicados não apenas no contexto de comunicaçõesde multimídia sem fio como em direção à compressão de dadose processamento de multimídia em geral (Por exemplo, emrenderização gráfica).
QUADRO DE MUDANÇA DE CANAIS
Um quadro de comutação de canal (CSF), comodefinido aqui, é um termo amplo que descreve um quadro deacesso aleatório inserido em um local apropriado em umfluxo de broadcast para aquisição rápida de canal e dessemodo mudança rápida de canal entre fluxos em um Multiplexde broadcast. Os quadros de mudança de canais tambémaumentam a robustez de erro, visto que fornecem dadosredundantes que podem ser utilizados se o quadro primáriofor transmitido com um erro. Um quadro-I ou um quadro-Iprogressivo como é o quadro de renovação de decodificador,progressivo, em H.264, serve tipicamente como um ponto deacesso aleatório. Entretanto, quadros-I freqüentes (ou GOPscurtos, mais curtos do que durações de cena) resultam émuma redução significativa em eficiência de compressão. Comoblocos intracodifiçados podem ser utilizados paraflexibilidade de erro, acesso aleatório e flexibilidade deerro podem ser combinados de forma eficaz através dehierarquia de predição para melhorar a eficiência decodificação enquanto aumenta a robustez a erros.
O aperfeiçoamento de comutação de acessoaleatório e robustez de erro podem ser obtidos em conjunto,e pode ser baseado em informações de conteúdo como umaclassificação de conteúdo. Para seqüências de poucomovimento, cadeias de predição são longas e uma partesignificativa das informações necessárias para reconstruirum superquadro ou cena está contida no quadro-I que ocorreuno inicio da cena. Erros de canal tendem a ser em rajadas equando um desvanecimento ocorre e FEC e codificação decanal falham, há erro residual intenso que a ocultaçãofalha. Isso é particularmente grave para seqüências depouco movimento (e conseqüentemente baixa taxa de bits) umavez que a quantidade de dados codificados não ésignificativa o bastante para fornecer boa diversidade detempo no fluxo de bits e porque essas são seqüênciasaltamente compressiveis que tornam cada bit útil parareconstrução. Seqüências de movimento elevado são maisrobustas a erros devido à natureza do conteúdo - maisinformações novas em cada quadro aumentam o número deintrablocos codificados os quais são independentementedecodificáveis e mais flexível a erros de forma inerente.
Intra-renovação adaptativa com base em hierarquia depredição obtém alto desempenho para seqüências de movimentoelevado e melhora de desempenho não é significativa paraseqüências de pouco movimento. Conseqüentemente, um quadrode comutação de canal contendo a maior parte dos quadros-Ié uma boa fonte de diversidade para seqüências de poucomovimento. Quando um erro atinge um superquadro, adecodificação no quadro consecutivo começa a partir do CSFque recupera a informações perdida devido à predição eflexibilidade de erro é obtido.
No caso de seqüências de movimento elevado comoseqüências tendo uma classificação de conteúdorelativamente elevada (por exemplo, 6-8), o CSF podeconsistir em blocos que persistem no SF - aqueles que sãobons preditores. Todas as outras regiões do CSF não têm deser codificadas uma vez que esses são blocos que têmcadeias de predição curta o que significa que sãoterminadas com intrablocos. Conseqüentemente, CSF aindareserve para recuperar a partir de informações perdidasdevido à predição quando ocorre um erro. CSFs paraseqüências de pouco movimento estão no mesmo nivel que otamanho de quadros-I, e podem ser codificadas em uma taxade bits mais baixa através de quantização mais intensa,onde CSFs para seqüências de movimento elevado são muitomenores do que os quadros-I correspondentes.
Flexibilidade de erro baseado em hierarquia depredição pode funcionar bem com escalabilidade e pode obteruma codificação em camadas altamente eficiente.
Escalabilidade para suportar modulação hierárquica emtecnologias de camada física pode exigir divisão de dadosdo fluxo de bits de vídeo com relações específicas delargura de banda. Essas podem nem sempre ser as relaçõesideais para escalabilidade ótima (por exemplo, com o mínimode overhead). Em alguns aspectos, um escalabilidade de 2camadas com relação de largura de banda de 1:1 é utilizada.
A divisão de fluxo de bits de vídeo para 2-camadas detamanho igual pode não ser tão eficiente para seqüências depouco movimento. Para seqüências de pouco movimento, acamada de base contendo todas as informações de metadados ecabeçalho é maior do que a camada de aperfeiçoamento.
Entretanto, uma vez que CSFs para seqüências de poucomovimento são maiores, se encaixam bem na largura de bandarestante na camada de aperfeiçoamento.
Seqüências de movimento elevado têm informaçõesresidual suficiente que a divisão de dados para 1:1 podeser obtida com o mínimo overhead. Adicionalmente, um quadrode comutação de canal para tais seqüências é muito menorpara seqüências de movimento elevado. Conseqüentemente, aflexibilidade de erro com base em hierarquia de prediçãopode funcionar bem também com escalabilidade paraseqüências de movimento elevado. A extensão dos conceitosdiscutidos acima para clipes de movimento moderado épossível com base nas descrições desses algoritmos, e osconceitos propostos se aplicam para codificação de vídeo emgeral.
MULTIPLEXADOR
Em alguns aspectos de codificador, ummultiplexador pode ser utilizado para codificar múltiplosfluxos de multimídia produzidos pelo codificador eutilizados para preparar bits codificados para broadcast.Por exemplo, no aspecto ilustrativo do codificador 228mostrado I figura 2, a camada de sincronização 240compreende um multiplexador. O multiplexador pode serimplementado para fornecer o controle de alocação de taxade bits. A complexidade estimada pode ser fornecida para omultiplexador, que pode então alocar a largura de bandadisponível para uma coleção de canais de vídeomultiplexados de acordo com a complexidade de codificaçãoprevista para aqueles canais de vídeo, que então permiteque a qualidade de um canal específico permaneçarelativamente constante mesmo se a largura de banda para acoleção de fluxos de vídeo multiplexados for relativamenteconstante. Isso provê que um canal dentro de uma coleção decanais tenha uma taxa de bits variável e qualidade visualrelativamente constante, em vez de uma taxa de bitsrelativamente constante e uma qualidade visual variável.
A figura 18 é um diagrama de blocos ilustrando umsistema de codificar múltiplos canais ou fluxos demultimídia 1802. Os fluxos de multimídia 1802 sãocodificados por codificadores respectivos 1804, que estãoem comunicação quando um multiplexador (MUX) 1806, que porsua vez está em comunicação com um meio de transmissão1808. Por exemplo, os fluxos de multimídia 1802 podemcorresponde a vários canais de conteúdo, como canais denotícias, canais de esportes, canais de filmes, esimilares. Os codificadores 1804 codificam os fluxos demultimídia 1802 no formato de codificação especificado parao sistema. Embora descrito no contexto de codificação defluxos de vídeo, os princípios e vantagens das técnicasreveladas são genericamente aplicáveis a fluxos demultimídia incluindo, por exemplo, fluxos de áudio. Osfluxos de multimídia codificados são fornecidos para ummultiplexador 1806, que combina os vários fluxos demultimídia codificados e envia o fluxo combinado para omeio de transmissão 1808 para transmissão.
0 meio de transmissão 1808 pode corresponder auma variedade de meios, como, porém não limitado a,comunicação por satélite digital, como DirecTV®, cabodigital, comunicações de Internet com fio e sem fio, redesópticas, redes de telefone celular e similares. O meio detransmissão 1808 pode incluir, por exemplo, modulação pararadiofreqüência (RF). Tipicamente, devido às limitaçõesespectrais e similares, o meio de transmissão tem umalargura de banda limitada e os dados a partir domultiplexador 1806 para o meio de transmissão são mantidosem uma taxa de bits relativamente constante (CBR).
Em sistemas convencionais, o uso de taxa de bitsconstante (CBR) na saída do multiplexador 1806 pode exigirque os fluxos de vídeo ou multimídia codificados que sãoentrados no multiplexador 1806 sejam também CBR. Comodescrito nos FUNDAMENTOS, o uso de CBR ao codificarconteúdo de vídeo pode resultar em uma qualidade visualvariável, que é tipicamente indesejável.
No sistema ilustrado, dois ou mais doscodificadores 1804 comunicam uma complexidade decodificação prevista de dados de entrada. Um ou mais doscodificadores 1804 podem receber controle de taxa de bitsadaptado a partir do multiplexador 1806 em resposta. Issopermite que um codificador 1804 que se espera que codifiquevídeo relativamente complexo receba uma taxa de bits maisalta ou largura de banda mais elevada (mais bits porquadro) para aqueles quadros de vídeo em um modo de taxa debits quase-variável. Isso permite que o fluxo de multimídia1802 seja codificado com uma qualidade visual compatível. Alargura de banda extra que é utilizada por um codificadorespecífico 1804 codificando vídeo relativamente complexovem dos bits que teriam sido, de outro modo, utilizadospara codificar outros fluxos de vídeo 1804 se oscodificadores fossem implementados para operar em taxas debit constantes. Isso mantém a saída do multiplexador 1806na taxa de bits constante (CBR).
Embora um fluxo de multimídia individuais 802possa ser relativamente "em rajadas", isso é, varie emlargura de banda utilizada, a soma cumulativa de múltiplosfluxos de vídeo pode ser menos em rajadas. A taxa de bits apartir de canais que estão codificando vídeo menos complexoque pode ser realocada, por exemplo, pelo multiplexador1806, para canais que estão codificando vídeo relativamentecomplexo, e isso pode aumentar a qualidade visual dosfluxos de vídeo combinados como um todo.
Os codificadores 1804 dotam o multiplexador 1806de uma indicação da complexidade de um conjunto de quadrosde video a serem codificados e multiplexados juntos. Asaída do multiplexador 1806 deve fornecer uma saída que nãoé mais elevada do que a taxa de bits especificada para omeio de transmissão 1808. As indicações da complexidadepodem ser baseadas na classificação de conteúdo comodiscutido acima, para fornecer um nível de qualidadeselecionado. O multiplexador 1006 analisa as indicações decomplexidade, e dota os vários codificadores 1004 de umnúmero alocado de bits ou largura de banda, e oscodificadores 1804 utilizam essas informações paracodificar os quadros de vídeo no conjunto. Isso permite queum conjunto de quadros de vídeo seja individualmente taxade bits variável, e ainda assim obtenha taxa de bitsconstante como um grupo.
A classificação de conteúdo pode ser tambémutilizada na habilitação de compressão de multimídia emgeral, baseada em qualidade, para qualquer compressorgenérico. A Classificação de conteúdo e os métodos eequipamentos descritos aqui podem ser utilizados emprocessamento de multimídia baseados em qualidade e/oubaseados em conteúdo de quaisquer dados de multimídia. Ümexemplo é seu uso em compressão de multimídia em geral paraqualquer compressor genérico. Outro exemplo está emdescompressão ou decodificação em qualquer descompactadorou decodificador ou pós-processador como operações deinterpolação, re-amostragem, aperfeiçoamento, recuperação eapresentação.
Com referência agora à figura 19, um sistema decomunicação de vídeo típico inclui um sistema de compressãode vídeo que consiste em um codificador de vídeo, e umdecodificador de vídeo, conectados por uma rede decomunicação. Redes sem fio são uma classe de redespropensas a erro onde o canal de comunicação apresentadesvanecimento log-normal ou sorabrearaento e desvanecimentode multipercurso em cenários móveis além de perda depercurso. Para combater erros de canal e fornecer umacomunicação segura para dados de camada de aplicação, omodulador RF inclui correção antecipada de erros incluindointercaladores e codificação de canal como codificaçãoturbo ou de convolução.
A compactação de video reduz redundância no videode fonte e aumenta a quantidade de informações contidas emcada bit dos dados de video codificados. Isso aumenta oimpacto em qualidade quando mesmo uma parte pequena dovideo codificado é perdida. Predição temporal e espacialinerente em sistemas de compressão de video agrava a perdae causa propagação de erros resultando em artefatosvisíveis no vídeo reconstruído. Algoritmos de flexibilidadede erro no codificador de vídeo e algoritmos de recuperaçãode erro no decodificador de vídeo aumentam a robustez deerro do sistema de compressão de vídeo.
Tipicamente, o sistema de compressão de vídeo éagnóstico à rede subjacente. Entretanto, em redes propensasa erro, a integração ou alinhamento de algoritmos deproteção contra erro na camada de aplicação com FEC ecodificação de canal nas camadas física/link é altamentedesejável e fornece eficiência máxima em aumento dedesempenho de erro do sistema.
A figura 14 ilustra um exemplo de um fluxo dedados de distorção de taxa que pode ocorrer no codificador228 para codificar quadros. 0 processo 1400 começa noinício 1402, e prossegue para o bloco de decisão 1404, onderecebe entrada de detector de mudança de cena 1410 a partirdo pré-processador 226 (por exemplo, via metadados) eentrada de flexibilidade de erro 1406 é adquirida. Se asinformações indicarem que um quadro selecionado é um quadroI, o processo intracodifica o quadro. Se as informaçõesindicarem que o quadro selecionado é um quadro P ou Β, oprocesso utiliza intracodificação e (inter) codificação deestimação de movimento para codificar o quadro.
Após ocorrer uma condição afirmativa para ascondições do bloco 1404, o processo 1400 prossegue para umbloco de preparação 1414 onde a taxa R é definida no valorR = Rqual, a qualidade alvo desejada, baseada em curvas R-D. Essa definição é recebida a partir de um bloco de dados1416 compreendendo curvas R-D. 0 processo 1400 prossegueentão a partir do bloco 1418 onde a Alocação de Bits decontrole de taxa {Qpi} é executada com base em informaçõesde atividade de video/imagem (por exemplo, umaclassificação de conteúdo) a partir de um processo declassificação de conteúdo no bloco 1420.
O bloco de alocação de bits de controle de taxa1418 é utilizado, por sua vez, para estimação de movimentono bloco 1422. A estimação de movimento 1422 pode recebertambém entrada de metadados a partir do pré-processador1412, suavização de vetor de movimento (MPEG-2 + Histórico)a partir do bloco 1424 e múltiplos quadros de referência(causai + macrobloco não causai MBs) a partir do bloco1426. O processo 1400 prossegue então para o bloco 1428onde cálculos de taxa para modos intracodifiçados sãodeterminados para a alocação de bit de controle de taxa(Qpi). O processo 1400 prossegue a seguir para o bloco 1430onde parâmetros de quantização e modo são determinados. Adecisão de modo do bloco 1430 é feita com base na estimaçãode movimento da entrada de bloco 1422, entrada deflexibilidade de erro 1406, e escalabilidade R-D, que édeterminada no bloco 1432. Após o modo ser decidido, ofluxo prossegue para o bloco 1432. Observa-se que o fluxo apartir do bloco 1430 para 1432 ocorre quando dados sãopassados a partir das porções de primeira passagem parasegunda passagem do codificador.
No bloco 1432, a transformação e a quantizaçãosão executadas pela segunda passagem do codificador 228. Oprocesso de transformação/quantização é ajustado ousintonizado de forma precisa como indicado com o bloco1444. Esse processo de transformação/quantização pode serinfluenciado por um módulo de sintonização perfeita decontrole de taxa (figura 7). O processo 1400 prossegueentão para o bloco 1434 para separação de ziguezague ecodificação de entropia para fornecer a camada de basecodificada. A separação de ziguezague prepara os dadosquantizados em um formato eficiente para codificação.
Codificação de entropia é uma técnica de compressão queutiliza uma série de códigos de bit para representar umconjunto de possíveis símbolos. 0 resultado de camadaaprimorada de bloco de transformação/quantização 1432 éenviado também para um somador 1436, que subtrai a camadade base e envia o resultado para um codificador deentropia/ZZ 1438 para a camada aprimorada; comoanteriormente descrito com referência às figuras 31-36.
Como observado adicionalmente, a camada aprimorada érealimentada (vide a atualização de taxa verdadeira dalinha 1440) para atualizar a classificação de conteúdo 1420de taxa verdadeira e uma operação para determinarhistóricos de longa e curta duração de taxas de bitutilizados pelo controle de taxa.
A figura 17A é um fluxograma ilustrandoprocessamento de dados de multimídia que foram obtidos,recebidos ou são acessíveis de outro modo. O processo 1700começa e no bloco 1702 classifica o conteúdo dos dados demultimídia. Em um aspecto ilustrativo, a classificação deconteúdo pode ser executada por meio de classificação, porexemplo, o módulo de classificação de conteúdo 712 nafigura 7. 0 processo 1700 continua para o bloco 1704 ondecodifica os dados de multimídia em um primeiro grupo dedados e um segundo grupo de dados com base na classificaçãode conteúdo. Essa codificação é executada de tal modo que oprimeiro grupo de dados compreende um coeficiente e osegundo grupo de dados compreende um primeiro refinamentodiferencial associado ao primeiro coeficiente de grupo dedados. Isso pode ser executado por meio de codificação,descrita aqui, por exemplo, o codificador 228 na figura Ί.-Ά figura 17B é um diagrama de blocos de umsistema de codificação de multimídia 1710 que pode executaro processo ilustrado na figura 17A. Em alguns aspectos, osistema de codificação de multimídia 1710 pode ser umtranscodificador, como transcodificador 200. Em outrosaspectos, o sistema de codificação 1710 pode compreenderuma parte de um transcodificador. 0 sistema de codificaçãode multimídia 1710 inclui meio para classificar o conteúdode dados de multimídia, módulo para classificar conteúdo dedados de multimídia 1712. O meio para classificar conteúdopode ser, por exemplo, um módulo de classificação em ümpré-processador (por exemplo, pré-processador 226) ou umcodificador (por exemplo, codificador 228) . O sistema decodificação 1710 também inclui meio para codificar os dadosde multimídia, módulo para codificar os dados de multimídia1714, que pode ser configurado para codificar os dados demultimídia em um primeiro grupo de dados e um segundo grupode dados com base na classificação de conteúdo, onde essacodificação é executada de tal modo que o primeiro grupo dedados compreenda um coeficiente e o segundo grupo de dadoscompreenda um primeiro refinamento diferencial associado aoprimeiro coeficiente de grupo de dados. Outros componentesde transcodificador, como descrito aqui, também podem serincluídos no sistema de codificação 1710.
As figuras 23, 24, 27 e 28 são diagramas de fluxode processo exemplificando métodos de codificar dados demultimídia que incorporam os aspectos descritos aqui. A
figura 23 é um fluxograma de processo que ilustra umprocesso 2300 de codificar dados de multimídia com base nasinformações de conteúdo. No bloco 2305 o processo 2300recebe dados de multimídia codificados, e no bloco 2310 oprocesso 2300 decodifica os dados de multimídia. No bloco2315, o processo 2300 determinas informações de conteúdoassociadas aos dados de multimídia decodificados. No bloco2320, o processo 2300 codifica os dados de multimídia combase nas informações de conteúdo.
A figura 24 é um fluxograma de processo queilustra um processo 2400 de codificar dados de multimídiade modo a alinhar limites de dados com base em nível deInformações de conteúdo. No bloco 2405, o processo 2400obtém informações de conteúdo associadas aos dados demultimídia, que pode ser feito, por exemplo, pelo pré-processador 226 ou módulo de classificação de conteúdo 712mostrado na figura 7. No bloco 2410, o processo 2400codifica os dados de multimídia de modo a alinhar limitesde dados com base nas informações de conteúdo. Por exemplo,limites de partição e limites de unidade de acesso sãoalinhados com limites de quadro com base em umaclassificação de conteúdo dos dados de multimídia sendocodificados. Os dados codificados são então disponíveispara processamento e/ou transmissão subseqüente para umdispositivo móvel, e o processo 2400 termina.
A figura 27 é um fluxograma de processo queilustra um processo 2700 para codificar os dados,utilizando um esquema de intra-renovação adaptativa combase em informações de conteúdo. Quando o processo 2700começa os dados de multimídia foram obtidos. No bloco 2705,o processo 2700 obtém informações de conteúdo dos dados demultimídia. A obtenção das informações de conteúdo pode serexecutada, por exemplo, pelo pré-processador 226 ou módulode classificação de conteúdo 712 como descrito acima. 0processo 2700 prossegue para o bloco 2710, onde codifica osdados de multimídia utilizando um esquema de flexibilidadede erro intra-renovação adaptativa, onde o esquema deflexibilidade de erro de intra-renovação adaptativa sebaseia nas informações de conteúdo. A funcionalidade dobloco 2710 pode ser executada pelo codificador 228. Osdados codificados são tornados disponíveis paraprocessamento e transmissão subseqüentes, e o processo 2700então termina.
A figura 28 é um fluxograma de processo queilustra um processo de codificar dados de multimídiautilizando quadros I redundantes com base em informações deconteúdo de multimídia. Quando o processo 2800 começa osdados de multimídia são disponíveis para processamento. Nobloco 2805, o processo 2800 obtém informações de conteúdodos dados de multimídia. Como descrito acima, isso pode serfeito, por exemplo, pelo processador 226 e/ou codificador228. No bloco 2810, o processo 2800 codifica os dados demultimídia de modo a inserir um ou mais quadros-Iadicionais nos dados codificados com base nas informaçõesde conteúdo. Isso pode ser feito pelo codificador 228 comodescrito acima, com relação a um esquema de flexibilidadede erro, inserindo os quadros-I na camada de base ou camadade aperfeiçoamento dependendo do esquema de flexibilidadede erro empregado. Após o bloco 2810, os dados codificadossão disponíveis para processamento e/ou transmissãosubseqüente para um dispositivo móvel.Deve ser observado que os métodos descritos aquipodem ser implementados em uma variedade de hardware decomunicação, processadores e sistemas conhecidos por umapessoa com conhecimentos comuns na técnica. Por exemplo, aexigência geral para o cliente operar como descrito aqui éque o cliente tenha um display para exibir conteúdo einformações, um processador para controlar a operação docliente e uma memória para armazenar dados e programasrelacionados à operação do cliente. Em um aspecto, ocliente é um telefone celular. Em outro aspecto, o clienteé um computador portátil tendo capacidades de comunicações.Ainda em outro aspecto, o cliente é um computador pessoaltendo capacidades de comunicação. Além disso, hardware comoum receptor GPS pode ser incorporado no cliente paraimplementar os vários aspectos. As várias lógicasilustrativas, blocos lógicos, módulos e circuitos descritoscom relação aos aspectos revelados aqui podem serimplementados ou executados com um processador de propósitogeral, um processador de sinais digitais (DSP), um circuitointegrado de aplicação especifica (ASIC), uma disposição deporta programável em campo (FPGA) ou outro dispositivo delógica programável, porta discreta ou lógica de transistor,componentes de hardware discretos, ou qualquer combinaçãodos mesmos projetados para executar as funções descritasaqui. Um processador de propósito geral pode ser ummicroprocessador, porém na alternativa, o processador podeser qualquer processador convencional, controlador,microcontrolador, ou máquina de estado. Um processadortambém pode ser implementado como uma combinação dedispositivos de computação, por exemplo, uma combinação deum DSP e um microprocessador, uma pluralidade demicroprocessadores, um ou mais microprocessadores emcombinação com um núcleo de DSP, ou qualquer outra talconfiguração.
As várias lógicas ilustrativas, blocos lógicos,módulos e circuitos descritos com relação aos aspectosrevelados aqui podem ser implementados ou executados com umprocessador de propósito geral, um processador de sinaisdigitais (DSP), um circuito integrado de aplicaçãoespecifica (ASIC), uma disposição de porta programável emcampo (FPGA) ou outro dispositivo de lógica programável,porta discreta ou lógica de transistor, componentes dehardware discretos, ou qualquer combinação dos mesmosprojetados para executar as funções descritas aqui. Umprocessador de propósito geral pode ser ummicroprocessador, porém na alternativa, o processador podeser qualquer processador convencional, controlador,microcontrolador, ou máquina de estado. Um processadortambém pode ser implementado como uma combinação dedispositivos de computação, por exemplo, uma combinação deum DSP e um microprocessador, uma pluralidade demicroprocessadores, um ou mais microprocessadores emcombinação com um núcleo de DSP, ou qualquer outra talconfiguração.
Os métodos e equipamentos revelados fornecemtranscodifi cação de dados de video codificados em umformato em dados de video codificados em outro formato ondea codificação se baseia no conteúdo dos dados de video e acodificação é flexível a erro. Os métodos ou algoritmodescritos com relação aos exemplos revelados aqui podem serincorporados diretamente em hardware, em um módulo desoftware executado por um processador, firmware, ou em umacombinação de dois ou mais desses. Um módulo de softwarepode residir em memória RAM, memória flash, memória ROM,memória EPROM, memória EEPROM, registros, um disco rígido,um disco removível, um CD-ROM, ou qualquer outra forma demeio de armazenagem conhecido na técnica. Um meio dearmazenagem exemplar é acoplado ao processador, de tal modoque o processador possa ler informações a partir de, egravar informações para, o meio de armazenagem. Naalternativa, o meio de armazenagem pode ser integral com oprocessador. O processador e o meio de armazenagem podemresidir em um ASIC. O ASIC pode residir em um terminal deusuário. Na alternativa, o processador e o meio dearmazenagem podem residir como componentes discretos em umterminal de usuário.
Os exemplos descritos acima são meramenteexemplares e aqueles versados na técnica podem fazerinúmeros usos de, e afastamentos a partir dos, exemplosdescritos acima sem se afastar dos conceitos inventivosaqui revelados. Várias modificações nesses exemplos podemser facilmente evidentes para aqueles versados na técnica,e os princípios genéricos definidos aqui podem seraplicados em outros exemplos, por exemplo, em um serviço deenvio de mensagem instantânea ou quaisquer aplicaçõesgerais de comunicação de dados sem fio; sem se afastar doespírito ou escopo dos aspectos novos aqui descritos. Dessemodo, o escopo da revelação não pretende ser limitado aosexemplos mostrados aqui, porém deve ser acordado o escopomais amplo compatível com os princípios e aspectos novosaqui revelados. O termo "exemplar" é utilizadoexclusivamente aqui para significar "servir como exemplo,instância ou ilustração." Qualquer exemplo descrito aquicomo "exemplar" não deve ser necessariamente interpretadocomo preferido ou vantajoso em relação a outros exemplos1.
Consequentemente, os aspectos novos descritos aqui devemser definidos exclusivamente pelo escopo das reivindicaçõesa seguir.
Claims (44)
1. Método de codificar dados de multimídia,compreendendo:classificar conteúdo de dados de multimídia; ecodifi car os dados de multimídia em um primeirogrupo de dados e em um segundo grupo de dados com base naclassificação de conteúdo, em que o primeiro grupo de dadoscompreende um coeficiente e o segundo grupo de dadoscompreende um primeiro refinamento diferencial associado aoprimeiro coeficiente de grupo de dados.
2. Método, de acordo com a reivindicação 1, emque a codificação compreende determinar uma taxa de bitscom base na classificação de conteúdo dos dados demultimídia, e codificar os dados de multimídia com base nataxa de bits.
3. Método, de acordo com a reivindicação 1, emque a classificação de conteúdo compreende determinarcomplexidade dos dados de multimídia, e em que os dados demultimídia selecionados são codificados com base nacomplexidade dos dados de multimídia.
4. Método, de acordo com a reivindicação 3, emque a complexidade compreende complexidade temporal oucomplexidade espacial.
5. Método, de acordo com a reivindicação 3, emque a complexidade compreende complexidade temporal ecomplexidade espacial.
6. Método, de acordo com a reivindicação 1, emque a codificação compreende codificar os dados demultimídia de modo a permitir decodificação somente doprimeiro grupo de dados ou do primeiro grupo de dados esegundo grupo de dados em um único grupo de dadoscombinado.
7. Método, de acordo com a reivindicação 1, emque o primeiro refinamento diferencial indica uma diferençaentre um quadro de video selecionado, e os dados de quadroresultantes da decodificação do primeiro grupo de dados.
8. Método, de acordo com a reivindicação 1, emque o primeiro grupo de dados é uma camada base e o segundogrupo de dados é uma camada de aprimoramento.
9. Método, de acordo com a reivindicação 8,compreendendo ainda:selecionar o coeficiente a partir de um entre umcoeficiente de erro residual de camada base original ou umcoeficiente de erro residual de camada de aprimoramentooriginal; e !calcular o primeiro refinamento diferencial combase no coeficiente e no coeficiente de erro residual decamada de aprimoramento original.
10. Método, de acordo com a reivindicação 1, emque a codificação compreende ainda codificar informações decabeçalho de macrobloco e informações de vetor de movimentono primeiro grupo de dados.
11. Método, de acordo com a reivindicação 1, emque a codificação compreende ainda quantizar o primeirogrupo de dados em um primeiro tamanho de etapa, e quantizaro segundo grupo de dados em um segundo tamanho de etapa, emque o primeiro tamanho de etapa e segundo tamanho de etapa são relacionados por um fator de escala.
12. Método, de acordo com a reivindicação 1, emque a codificação compreende ainda determinar um primeifoparâmetro de quantização tendo um primeiro tamanho de etapade quantização para uso na codificação do primeiro grupo dedados, e determinar um segundo parâmetro de quantizaçãotendo um segundo tamanho de etapa de quantização para usona codificação do segundo grupo de dados, em que osprimeiro e segundo parâmetros de quantização sãodeterminados com base em informações de conteúdo de dadosde quadro selecionados, e em que o primeiro tamanho daetapa de quantização é inferior ao segundo tamanho da etapade quantização.
13. Método, de acordo com a reivindicação 1, emque a codificação compreende codificar o primeiro grupo dedados utilizando quadros-I, e quadros-P ou qualquercombinação dos mesmos e codificar o segundo grupo de dadosutilizando quadros-I, quadros-P e quadros-B ou qualquercombinação dos mesmos.
14. Equipamento para codificar dados demultimídia, compreendendo:meios para classificar conteúdo de dados demultimídia;meios para codificar os dados de multimídia em umprimeiro grupo de dados e em um segundo grupo de dados combase na classificação de conteúdo, em que o primeiro grupode dados compreende um coeficiente e o segundo grupo dedados compreende um primeiro refinamento diferencialassociado ao primeiro coeficiente de grupo de dados.
15. Equipamento, de acordo com a reivindicação-14, em que o meio de codificação compreende meio paradeterminar uma taxa de bits com base na classificação deconteúdo dos dados de multimídia, e codificar os dados demultimídia com base na taxa de bits.
16. Equipamento, de acordo com a reivindicação-14, em que o meio de classificação de conteúdo compreendemeio para determinar complexidade dos dados de multimídia,e em que os dados de multimídia selecionados sãocodificados com base na complexidade dos dados demultimídia.
17. Equipamento, de acordo com a reivindicação-16, em que a complexidade compreende complexidade temporalou complexidade espacial.
18. Equipamento, de acordo com a reivindicação 16, em que a complexidade compreende complexidade temporale complexidade espacial.
19. Equipamento, de acordo com a reivindicação 14, em que o meio de codificação compreende meio paracodificar os dados de multimídia de modo a permitirdecodificação somente do primeiro grupo de dados ou doprimeiro grupo de dados e segundo grupo de dados em umúnico grupo de dados combinado.
20. Equipamento, de acordo com a reivindicação 14, em que o primeiro refinamento diferencial indica umadiferença entre um quadro de vídeo selecionado e dados dequadro resultando da decodificação do primeiro grupo de dados.
21. Equipamento, de acordo com a reivindicação 14, em que o primeiro grupo de dados é uma camada base e osegundo grupo de dados é uma camada de aprimoramento.
22. Equipamento, de acordo com a reivindicação 14, em que o meio de codificação compreende ainda meio paracodificar informações de cabeçalho de macrobloco einformações de vetor de movimento no primeiro grupo dedados.
23. Equipamento, de acordo com a reivindicação 14, em que o meio de codificação compreende ainda meio paraquantizar o primeiro grupo de dados em um primeiro tamanhode etapa, e quantizar o segundo grupo de dados em umsegundo tamanho de etapa, em que o primeiro tamanho deetapa e segundo tamanho de etapa são relacionados por umfator de escala.
24. Equipamento, de acordo com a reivindicação 14, em que o meio de decodif icação compreende meio pairadeterminar um primeiro parâmetro de quantização tendo umprimeiro tamanho de etapa de quantização para uso nacodificação do primeiro grupo de dados, e determinar umsegundo parâmetro de quantização tendo um segundo tamanhode etapa de quantização para uso na codificação do segundogrupo de dados, em que os primeiro e segundo parâmetros dequantização são determinados com base em informações deconteúdo de dados de quadro selecionados, e em que oprimeiro tamanho de etapa de quantização é inferior aosegundo tamanho de etapa de quantização.
25. Equipamento, de acordo com a reivindicação-14, em que o meio de codificação compreende:meio para codificar o primeiro grupo de dadosutilizando quadros-I e quadros-P; emeio para codificar o segundo grupo de dadosutilizando quadros-I, quadros-P e quadros-B.
26. Equipamento, de acordo com a reivindicação-21, em que o meio de codificação compreende:meio para selecionar o coeficiente a partir de umentre um coeficiente de erro residual de camada base original ou um coeficiente de erro residual de camada deaprimoramento original; emeio para calcular o primeiro refinamentodiferencial com base no coeficiente e coeficiente de erroresidual de camada de aprimoramento original.
27. Equipamento configurado para codificar dadosde multimídia, compreendendo:um módulo de classificação de conteúdoconfigurado para classificar conteúdo de dados demultimídia e fornecer dados de classificação de conteúdo; eum codificador configurado para codificar osdados de multimídia em um primeiro grupo de dados e em umsegundo grupo de dados com base na classificação deconteúdo, em que o primeiro grupo de dados compreende umcoeficiente e o segundo grupo de dados compreende umprimeiro refinamento diferencial associado ao primeirocoeficiente de grupo de dados.
28. Equipamento, de acordo com a reivindicação-27, em que o codificador compreende um componente de taxade bits configurado para determinar uma alocação de bitsbaseada na classificação de conteúdo, e em que o componentede codificação é adicionalmente configurado para codificaros dados de multimídia selecionados utilizando a alocaçãode bits.
29. Equipamento, de acordo com a reivindicação-27, em que a classificação de conteúdo compreendedete rminar complexidade dos dados de multimídia, e em queos dados de multimídia selecionados são codificados combase na complexidade dos dados de multimídia.
30. Equipamento, de acordo com a reivindicação-29, em que a complexidade compreende complexidade temporalou complexidade espacial.
31. Equipamento, de acordo com a reivindicação-29, em que a complexidade compreende complexidade temporale complexidade espacial.
32. Equipamento, de acordo com a reivindicação-27, em que a codificação compreende codificar os dados demultimídia de modo a permitir decodificação somente doprimeiro grupo de dados ou do primeiro grupo de dados esegundo grupo de dados em um único grupo de dadoscombinado.
33. Equipamento, de acordo com a reivindicação-27, em que o primeiro refinamento diferencial indica umadiferença entre um quadro de vídeo selecionado e os dadosde quadro resultantes da decodificação do primeiro grupo dedados.
34. Equipamento, de acordo com a reivindicação- 27, em que o primeiro grupo de dados é uma camada base e osegundo grupo de dados é uma camada de aprimoramento.
35. Meio legível por máquina compreendendoinstruções que após execução fazem com que uma máquina:classifique conteúdo de dados de multimídia; ecodifique os dados de multimídia em um primeirogrupo de dados e em um segundo grupo de dados com base naclassificação de conteúdo, em que o primeiro grupo de dadoscompreende um coeficiente e o segundo grupo de dadoscompreende um primeiro refinamento diferencial associado aoprimeiro coeficiente de grupo de dados.
36. Meio legível por máquina, de acordo com areivindicação 35, em que as instruções para codificarcompreendem instruções para determinar uma alocação de bitscom base na classificação de conteúdo, e em que ocomponente de codificação é adicionalmente configurado paracodificar os dados de multimídia selecionados utilizando aalocação de bits.
37. Meio legível por máquina, de acordo com areivindicação 35, em que a classificação de conteúdocompreende determinar complexidade dos dados de multimídia,e em que os dados de multimídia selecionados sãocodificados com base na complexidade dos dados demultimídia.
38. Meio legível por máquina, de acordo com areivindicação 37, em que a complexidade compreendecomplexidade temporal ou complexidade espacial.
39. Meio legível por máquina, de acordo com areivindicação 37, em que a complexidade compreendecomplexidade temporal e complexidade espacial.
40. Processador, sendo configurado para:classificar conteúdo de dados de multimídia; ecodificar os dados de multimídia em um primeirogrupo de dados e em um segundo grupo de dados com base naclassificação de conteúdo, em que o primeiro grupo de dadoscompreende um coeficiente e o segundo grupo de dadoscompreende um primeiro refinamento diferencial associado aoprimeiro coeficiente de grupo de dados.
41. Processador, de acordo com a reivindicação-40, em que o processador é adicionalmente configurado paradeterminar uma alocação de bits com base na classificaçãode conteúdo, e em que o componente de codificação éadicionalmente configurado para codificar os dados demultimídia selecionados utilizando a alocação de bits.
42. Processador, de acordo com a reivindicação-40, em que o processador é adicionalmente configurado paradeterminar complexidade dos dados de multimídia, e em que aclassificação de conteúdo se baseia na complexidade dosdados de multimídia.
43. Processador, de acordo com a reivindicação-42, em que a complexidade compreende complexidade temporalou complexidade espacial.
44. Processador, de acordo com a reivindicação-42, em que a complexidade compreende complexidade temporale complexidade espacial.
Applications Claiming Priority (15)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US72141605P | 2005-09-27 | 2005-09-27 | |
| US60/721,416 | 2005-09-27 | ||
| US72764305P | 2005-10-17 | 2005-10-17 | |
| US72764405P | 2005-10-17 | 2005-10-17 | |
| US72764005P | 2005-10-17 | 2005-10-17 | |
| US60/727,640 | 2005-10-17 | ||
| US60/727,644 | 2005-10-17 | ||
| US60/727,643 | 2005-10-17 | ||
| US73014505P | 2005-10-24 | 2005-10-24 | |
| US60/730,145 | 2005-10-24 | ||
| US78904806P | 2006-04-03 | 2006-04-03 | |
| US60/789,048 | 2006-04-03 | ||
| US78937706P | 2006-04-04 | 2006-04-04 | |
| US60/789,377 | 2006-04-04 | ||
| PCT/US2006/037948 WO2007038701A1 (en) | 2005-09-27 | 2006-09-27 | Scalability techniques based on content information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BRPI0616426A2 true BRPI0616426A2 (pt) | 2011-06-21 |
Family
ID=37719458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BRPI0616426-9A BRPI0616426A2 (pt) | 2005-09-27 | 2006-09-27 | técnicas de escalabilidade baseadas em informações de conteúdo |
Country Status (14)
| Country | Link |
|---|---|
| US (6) | US8879856B2 (pt) |
| EP (9) | EP2945363B1 (pt) |
| JP (9) | JP5139303B2 (pt) |
| KR (7) | KR100988753B1 (pt) |
| CN (2) | CN102724498B (pt) |
| AR (3) | AR056102A1 (pt) |
| AT (1) | ATE524926T1 (pt) |
| AU (1) | AU2006294509B2 (pt) |
| BR (1) | BRPI0616426A2 (pt) |
| CA (2) | CA2623929C (pt) |
| IL (1) | IL190457A0 (pt) |
| NO (1) | NO20081605L (pt) |
| TW (4) | TWI341097B (pt) |
| WO (4) | WO2007038725A2 (pt) |
Families Citing this family (454)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7068729B2 (en) * | 2001-12-21 | 2006-06-27 | Digital Fountain, Inc. | Multi-stage code generator and decoder for communication systems |
| US6307487B1 (en) | 1998-09-23 | 2001-10-23 | Digital Fountain, Inc. | Information additive code generator and decoder for communication systems |
| US7425545B2 (en) | 2001-07-25 | 2008-09-16 | Isis Pharmaceuticals, Inc. | Modulation of C-reactive protein expression |
| DE10218812A1 (de) * | 2002-04-26 | 2003-11-20 | Siemens Ag | Generische Datenstrombeschreibung |
| US9240810B2 (en) * | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
| EP2357732B1 (en) | 2002-10-05 | 2022-04-06 | QUALCOMM Incorporated | Systematic encoding and decoding of chain reaction codes |
| US8155178B2 (en) | 2007-10-30 | 2012-04-10 | Sony Corporation | 16k mode interleaver in a digital video broadcasting (DVB) standard |
| JP4414904B2 (ja) * | 2004-04-16 | 2010-02-17 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
| EP1743431A4 (en) * | 2004-05-07 | 2007-05-02 | Digital Fountain Inc | SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES |
| US7801383B2 (en) * | 2004-05-15 | 2010-09-21 | Microsoft Corporation | Embedded scalar quantizers with arbitrary dead-zone ratios |
| EP1754378A1 (en) * | 2004-05-25 | 2007-02-21 | Koninklijke Philips Electronics N.V. | Method and device for encoding digital video data |
| RU2370909C2 (ru) | 2004-07-01 | 2009-10-20 | Квэлкомм Инкорпорейтед | Способ и устройство для использования способов преобразования кадров с повышением частоты кадров при кодировании масштабируемого видео |
| TW200625964A (en) | 2004-07-20 | 2006-07-16 | Qualcomm Inc | Method and apparatus for encoder assisted-frame rate up conversion (EA-FRUC) for video compression |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| US7512182B2 (en) * | 2004-08-30 | 2009-03-31 | General Instrument Corporation | Method and apparatus for performing motion compensated temporal filtering in video encoding |
| US7271749B2 (en) * | 2004-09-14 | 2007-09-18 | Hewlett-Packard Development Company, L.P. | Context-based denoiser that simultaneously updates probabilities for multiple contexts |
| US8868555B2 (en) * | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
| US8780957B2 (en) * | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US9197912B2 (en) * | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| US9749655B2 (en) * | 2005-05-11 | 2017-08-29 | Qualcomm Incorporated | Method and apparatus for unified error concealment framework |
| US8422546B2 (en) | 2005-05-25 | 2013-04-16 | Microsoft Corporation | Adaptive video encoding using a perceptual model |
| US8879856B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
| KR20070038396A (ko) * | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| US8948260B2 (en) * | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US20070206117A1 (en) * | 2005-10-17 | 2007-09-06 | Qualcomm Incorporated | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US20070171280A1 (en) * | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
| US7734053B2 (en) * | 2005-12-06 | 2010-06-08 | Fujitsu Limited | Encoding apparatus, encoding method, and computer product |
| JP2007174196A (ja) * | 2005-12-21 | 2007-07-05 | Toshiba Corp | 情報処理装置、制御方法およびプログラム |
| US7693219B2 (en) * | 2006-01-04 | 2010-04-06 | Freescale Semiconductor, Inc. | System and method for fast motion estimation |
| US7965774B2 (en) * | 2006-01-06 | 2011-06-21 | International Business Machines Corporation | Method for visual signal extrapolation or interpolation |
| US9270414B2 (en) * | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
| FR2898757A1 (fr) * | 2006-03-14 | 2007-09-21 | Canon Kk | Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video |
| US9131164B2 (en) * | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US8130828B2 (en) * | 2006-04-07 | 2012-03-06 | Microsoft Corporation | Adjusting quantization to preserve non-zero AC coefficients |
| US8059721B2 (en) | 2006-04-07 | 2011-11-15 | Microsoft Corporation | Estimating sample-domain distortion in the transform domain with rounding compensation |
| US7974340B2 (en) * | 2006-04-07 | 2011-07-05 | Microsoft Corporation | Adaptive B-picture quantization control |
| US8503536B2 (en) * | 2006-04-07 | 2013-08-06 | Microsoft Corporation | Quantization adjustments for DC shift artifacts |
| US7995649B2 (en) * | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
| US20070237237A1 (en) * | 2006-04-07 | 2007-10-11 | Microsoft Corporation | Gradient slope detection for video compression |
| US8548063B2 (en) * | 2006-04-13 | 2013-10-01 | Broadcom Corporation | Video receiver providing video attributes with video data |
| US8711925B2 (en) * | 2006-05-05 | 2014-04-29 | Microsoft Corporation | Flexible quantization |
| WO2007134196A2 (en) | 2006-05-10 | 2007-11-22 | Digital Fountain, Inc. | Code generator and decoder using hybrid codes |
| US9432433B2 (en) * | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
| US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
| US9178535B2 (en) * | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
| US9386064B2 (en) * | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
| US20100211690A1 (en) * | 2009-02-13 | 2010-08-19 | Digital Fountain, Inc. | Block partitioning for a data stream |
| US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
| US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
| US7659897B1 (en) * | 2006-06-30 | 2010-02-09 | Nvidia Corporation | System, method, and computer program product for video benchmarking |
| KR100841317B1 (ko) * | 2006-07-14 | 2008-06-26 | 엘지전자 주식회사 | 텔레비젼의 시스템 구동과 관련된 소프트웨어를 송수신하는 방법 및 그 장치 |
| KR20080008137A (ko) * | 2006-07-19 | 2008-01-23 | 삼성전자주식회사 | 영상 복원 장치 및 방법 |
| KR20080032947A (ko) * | 2006-10-12 | 2008-04-16 | 삼성전자주식회사 | 디지털 방송 데이터 처리 방법 및 장치 |
| US9872045B2 (en) * | 2006-10-16 | 2018-01-16 | Conversant Wireless Licensing S.A R.L. | Method, electronic device, system, computer program product and circuit assembly for reducing error in video coding |
| WO2008050220A1 (en) * | 2006-10-25 | 2008-05-02 | Nokia Corporation | Layered coded streaming control for unicast/mbms interaction |
| US20080144505A1 (en) * | 2006-11-03 | 2008-06-19 | Michael Anthony Isnardi | Method and Apparatus for Bitrate Reduction |
| US20080107108A1 (en) * | 2006-11-03 | 2008-05-08 | Nokia Corporation | System and method for enabling fast switching between psse channels |
| US20080115175A1 (en) * | 2006-11-13 | 2008-05-15 | Rodriguez Arturo A | System and method for signaling characteristics of pictures' interdependencies |
| US20090180546A1 (en) * | 2008-01-09 | 2009-07-16 | Rodriguez Arturo A | Assistance for processing pictures in concatenated video streams |
| US8875199B2 (en) * | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
| US9445128B2 (en) | 2006-12-08 | 2016-09-13 | Freescale Semiconductor, Inc. | System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers |
| US9961372B2 (en) * | 2006-12-08 | 2018-05-01 | Nxp Usa, Inc. | Adaptive disabling of deblock filtering based on a content characteristic of video information |
| US8995815B2 (en) | 2006-12-13 | 2015-03-31 | Quickplay Media Inc. | Mobile media pause and resume |
| US9571902B2 (en) | 2006-12-13 | 2017-02-14 | Quickplay Media Inc. | Time synchronizing of distinct video and data feeds that are delivered in a single mobile IP data network compatible stream |
| US8892761B1 (en) | 2008-04-04 | 2014-11-18 | Quickplay Media Inc. | Progressive download playback |
| US9124650B2 (en) * | 2006-12-13 | 2015-09-01 | Quickplay Media Inc. | Digital rights management in a mobile environment |
| US7792141B2 (en) * | 2007-01-08 | 2010-09-07 | Hellosoft, Inc. | Hardware-centric medium access control (MAC) device |
| US8238278B2 (en) | 2007-01-08 | 2012-08-07 | Hellosoft, Inc. | Hardware-based beacon processing |
| US8243638B2 (en) | 2007-01-08 | 2012-08-14 | Hellosoft, Inc. | Passive listening in wireless communication |
| US8184943B2 (en) * | 2007-01-08 | 2012-05-22 | Apple Inc. | Transport controls for a media device |
| US9760146B2 (en) * | 2007-01-08 | 2017-09-12 | Imagination Technologies Limited | Conditional activation and deactivation of a microprocessor |
| US20080174662A1 (en) * | 2007-01-23 | 2008-07-24 | Won-Gue Choi | System and method for digital type wireless monitoring |
| US20080181298A1 (en) * | 2007-01-26 | 2008-07-31 | Apple Computer, Inc. | Hybrid scalable coding |
| US8238424B2 (en) | 2007-02-09 | 2012-08-07 | Microsoft Corporation | Complexity-based adaptive preprocessing for multiple-pass video compression |
| US8553757B2 (en) * | 2007-02-14 | 2013-10-08 | Microsoft Corporation | Forward error correction for media transmission |
| JP4847890B2 (ja) * | 2007-02-16 | 2011-12-28 | パナソニック株式会社 | 符号化方式変換装置 |
| US8767834B2 (en) * | 2007-03-09 | 2014-07-01 | Sharp Laboratories Of America, Inc. | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
| US8498335B2 (en) | 2007-03-26 | 2013-07-30 | Microsoft Corporation | Adaptive deadzone size adjustment in quantization |
| US8566695B2 (en) * | 2007-03-30 | 2013-10-22 | Sandisk Technologies Inc. | Controlling access to digital content |
| US8243797B2 (en) | 2007-03-30 | 2012-08-14 | Microsoft Corporation | Regions of interest for quality adjustments |
| JP5527588B2 (ja) * | 2007-03-30 | 2014-06-18 | ソニー株式会社 | 情報処理装置および方法 |
| US8442337B2 (en) | 2007-04-18 | 2013-05-14 | Microsoft Corporation | Encoding adjustments for animation content |
| US8582647B2 (en) | 2007-04-23 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for quality controlled encoding |
| WO2008137432A2 (en) * | 2007-05-01 | 2008-11-13 | Dyyno | Sharing of information and formatting information for transmission over a communication network |
| KR20080098328A (ko) * | 2007-05-04 | 2008-11-07 | 한국전자통신연구원 | 디지털 멀티미디어 방송 전송 시스템에서 고품질멀티미디어 서비스를 제공하는 장치 및 방법 |
| US8396082B2 (en) * | 2007-06-05 | 2013-03-12 | Core Wireless Licensing S.A.R.L. | Time-interleaved simulcast for tune-in reduction |
| US8331438B2 (en) | 2007-06-05 | 2012-12-11 | Microsoft Corporation | Adaptive selection of picture-level quantization parameters for predicted video pictures |
| JP2009010586A (ja) * | 2007-06-27 | 2009-01-15 | Fujitsu Microelectronics Ltd | トランスコーダおよびトランスコード方法 |
| US9426522B2 (en) * | 2007-07-10 | 2016-08-23 | Qualcomm Incorporated | Early rendering for fast channel switching |
| US8958486B2 (en) * | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
| US8804845B2 (en) * | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
| ATE496490T1 (de) * | 2007-08-09 | 2011-02-15 | Inlet Technologies | Bewahrung von untertiteln durch videotranskodierung |
| JP2009055416A (ja) * | 2007-08-28 | 2009-03-12 | Nec Corp | 映像再符号化方法、映像再符号化装置及び映像再符号化プログラム |
| US8023562B2 (en) * | 2007-09-07 | 2011-09-20 | Vanguard Software Solutions, Inc. | Real-time video coding/decoding |
| AU2008298602A1 (en) * | 2007-09-12 | 2009-03-19 | Digital Fountain, Inc. | Generating and communicating source identification information to enable reliable communications |
| MY162861A (en) * | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
| CN103124354B (zh) * | 2007-09-28 | 2016-01-20 | 杜比实验室特许公司 | 处理视频信息 |
| WO2009046438A1 (en) | 2007-10-05 | 2009-04-09 | Dolby Laboratories Licensing Corp. | Media fingerprints that reliably correspond to media content |
| CN101904170B (zh) * | 2007-10-16 | 2014-01-08 | 思科技术公司 | 用于传达视频流中的串接属性和图片顺序的方法和系统 |
| KR100939435B1 (ko) * | 2007-10-29 | 2010-01-28 | 에스케이 텔레콤주식회사 | 영상 분석 장치 및 방법 |
| US8514939B2 (en) * | 2007-10-31 | 2013-08-20 | Broadcom Corporation | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing |
| CA2705742C (en) * | 2007-11-16 | 2016-11-01 | Thomson Licensing | Video encoding using a set of encoding parameters to remove multiple video artifacts |
| KR20090050994A (ko) | 2007-11-16 | 2009-05-20 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
| US8566108B2 (en) * | 2007-12-03 | 2013-10-22 | Nokia Corporation | Synchronization of multiple real-time transport protocol sessions |
| US8718388B2 (en) | 2007-12-11 | 2014-05-06 | Cisco Technology, Inc. | Video processing with tiered interdependencies of pictures |
| US8218086B2 (en) * | 2007-12-11 | 2012-07-10 | Ericsson Television Inc. | Flash detection |
| FR2925819A1 (fr) * | 2007-12-21 | 2009-06-26 | Thomson Licensing Sas | Procede de codage double passe par macrobloc |
| US8594191B2 (en) * | 2008-01-03 | 2013-11-26 | Broadcom Corporation | Video processing system and transcoder for use with layered video coding and methods for use therewith |
| US8750390B2 (en) * | 2008-01-10 | 2014-06-10 | Microsoft Corporation | Filtering and dithering as pre-processing before encoding |
| US8238443B2 (en) * | 2008-01-12 | 2012-08-07 | Huaya Microelectronics | Digital timing extraction and recovery in a digital video decoder |
| TWI357263B (en) | 2008-02-22 | 2012-01-21 | Novatek Microelectronics Corp | Method and related device for converting transport |
| US8045810B2 (en) | 2008-02-28 | 2011-10-25 | Research In Motion Limited | Method and system for decoding encoded images and reducing the size of said images |
| KR101656091B1 (ko) * | 2008-03-10 | 2016-09-08 | 톰슨 라이센싱 | 효율성과 주관적 품질의 개선을 지원하는 예측 프레임 선택을 위한 방법 및 장치 |
| US8276182B2 (en) * | 2008-03-13 | 2012-09-25 | Microsoft Corporation | Television content from multiple sources |
| EP2107811A1 (en) * | 2008-03-31 | 2009-10-07 | British Telecmmunications public limited campany | Encoder |
| US8189933B2 (en) * | 2008-03-31 | 2012-05-29 | Microsoft Corporation | Classifying and controlling encoding quality for textured, dark smooth and smooth video content |
| FR2929736A1 (fr) * | 2008-04-02 | 2009-10-09 | Thomson Licensing Sas | Procede de detection de changement de scene dans une sequence d'images video. |
| US20090262838A1 (en) * | 2008-04-21 | 2009-10-22 | Qualcomm Incorporated | Method and apparatus for encoding transmission data blocks for enhanced switching performance |
| US8249142B2 (en) * | 2008-04-24 | 2012-08-21 | Motorola Mobility Llc | Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques |
| US8325800B2 (en) | 2008-05-07 | 2012-12-04 | Microsoft Corporation | Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers |
| US8379851B2 (en) | 2008-05-12 | 2013-02-19 | Microsoft Corporation | Optimized client side rate control and indexed file layout for streaming media |
| US8179983B2 (en) * | 2008-05-20 | 2012-05-15 | Broadcom Corporation | Video processing system with layered video coding for fast channel change and methods for use therewith |
| US8370887B2 (en) | 2008-05-30 | 2013-02-05 | Microsoft Corporation | Media streaming with enhanced seek operation |
| US8897359B2 (en) | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| US8886022B2 (en) | 2008-06-12 | 2014-11-11 | Cisco Technology, Inc. | Picture interdependencies signals in context of MMCO to assist stream manipulation |
| US8705631B2 (en) * | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
| US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
| US8699578B2 (en) | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
| DE102008029102A1 (de) * | 2008-06-20 | 2009-12-24 | Micronas Gmbh | Audio- und/oder Video-Datenverarbeitungsvorrichtung, Kommunikations- oder Datennetz zum Umkodieren von Audio- und/oder Video-Daten bzw. Verfahren zum Dekodieren von Audio- und/oder Video-Daten |
| KR20100002032A (ko) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | 영상 생성 방법, 영상 처리 방법, 및 그 장치 |
| US20090315980A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., | Image processing method and apparatus |
| WO2009157713A2 (en) * | 2008-06-24 | 2009-12-30 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| US20090315981A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| WO2009158550A2 (en) * | 2008-06-25 | 2009-12-30 | Cisco Technology, Inc. | Support for blocking trick mode operations |
| JP2011525761A (ja) * | 2008-06-26 | 2011-09-22 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | デジタルビデオにおける繰り返しの検出 |
| JP4996554B2 (ja) * | 2008-06-30 | 2012-08-08 | 株式会社東芝 | 画像高画質化装置、方法およびプログラム |
| TWI425440B (zh) * | 2008-07-03 | 2014-02-01 | Nvidia Corp | 複合多重樣本/超樣本抗頻疊 |
| JP4986243B2 (ja) * | 2008-07-04 | 2012-07-25 | Ｋｄｄｉ株式会社 | メディアストリームの階層数を制御する送信装置、方法及びプログラム |
| US20100232521A1 (en) * | 2008-07-10 | 2010-09-16 | Pierre Hagendorf | Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding |
| US8108361B2 (en) * | 2008-07-31 | 2012-01-31 | Microsoft Corporation | Efficient column based data encoding for large-scale data storage |
| US9571856B2 (en) | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
| JP2012501506A (ja) * | 2008-08-31 | 2012-01-19 | ミツビシ エレクトリック ビジュアル ソリューションズ アメリカ， インコーポレイテッド | 観察者位置にマッチする３ｄビデオコンテンツの変換 |
| US8509315B1 (en) * | 2008-09-23 | 2013-08-13 | Viasat, Inc. | Maintaining synchronization of compressed data and associated metadata |
| US8913668B2 (en) * | 2008-09-29 | 2014-12-16 | Microsoft Corporation | Perceptual mechanism for the selection of residues in video coders |
| US8457194B2 (en) * | 2008-09-29 | 2013-06-04 | Microsoft Corporation | Processing real-time video |
| JP5201408B2 (ja) * | 2008-09-30 | 2013-06-05 | ソニー株式会社 | フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 |
| US8265140B2 (en) * | 2008-09-30 | 2012-09-11 | Microsoft Corporation | Fine-grained client-side control of scalable media delivery |
| US20110194616A1 (en) * | 2008-10-01 | 2011-08-11 | Nxp B.V. | Embedded video compression for hybrid contents |
| KR20100046584A (ko) * | 2008-10-27 | 2010-05-07 | 삼성전자주식회사 | 영상 디코딩 방법, 영상 출력 방법, 영상 처리 방법 및 그 장치 |
| US9407925B2 (en) * | 2008-10-30 | 2016-08-02 | Vixs Systems, Inc. | Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith |
| US8787447B2 (en) * | 2008-10-30 | 2014-07-22 | Vixs Systems, Inc | Video transcoding system with drastic scene change detection and method for use therewith |
| KR101279573B1 (ko) | 2008-10-31 | 2013-06-27 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| DK2347599T3 (en) * | 2008-11-04 | 2015-05-11 | Ericsson Telefon Ab L M | METHOD AND SYSTEM FOR DETERMINING A QUALITY VALUE OF A VIDEO FLOW |
| WO2010056842A1 (en) * | 2008-11-12 | 2010-05-20 | Cisco Technology, Inc. | Processing of a video [aar] program having plural processed representations of a [aar] single video signal for reconstruction and output |
| US8374462B2 (en) * | 2008-11-14 | 2013-02-12 | Seiko Epson Corporation | Content-aware image and video resizing by anchor point sampling and mapping |
| US20100128181A1 (en) * | 2008-11-25 | 2010-05-27 | Advanced Micro Devices, Inc. | Seam Based Scaling of Video Content |
| CN102239693B (zh) * | 2008-12-03 | 2013-12-18 | 株式会社日立制作所 | 运动图像解码方法和运动图像编码方法 |
| US8051223B1 (en) * | 2008-12-09 | 2011-11-01 | Calos Fund Limited Liability Company | System and method for managing memory using multi-state buffer representations |
| US8542732B1 (en) * | 2008-12-23 | 2013-09-24 | Elemental Technologies, Inc. | Video encoder using GPU |
| US20100161779A1 (en) * | 2008-12-24 | 2010-06-24 | Verizon Services Organization Inc | System and method for providing quality-referenced multimedia |
| TW201026065A (en) * | 2008-12-26 | 2010-07-01 | Ind Tech Res Inst | Method for packing bitstream of scalable video coding |
| US8903191B2 (en) * | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
| KR20100084115A (ko) * | 2009-01-15 | 2010-07-23 | 한국전자통신연구원 | 방송 서비스 제공 방법 및 장치 |
| CN105376549B (zh) | 2009-01-29 | 2017-08-11 | 杜比实验室特许公司 | 视频编码方法及解码视频信号的方法 |
| EP2384584B1 (en) | 2009-01-30 | 2017-03-15 | Thomson Licensing | Coding of depth maps |
| KR20100094709A (ko) * | 2009-02-19 | 2010-08-27 | (주)휴맥스 | 부호화/복호화 방법 및 장치 |
| US20100218232A1 (en) * | 2009-02-25 | 2010-08-26 | Cisco Technology, Inc. | Signalling of auxiliary information that assists processing of video according to various formats |
| US20100254453A1 (en) * | 2009-04-02 | 2010-10-07 | Qualcomm Incorporated | Inverse telecine techniques |
| US8687685B2 (en) | 2009-04-14 | 2014-04-01 | Qualcomm Incorporated | Efficient transcoding of B-frames to P-frames |
| JP5562408B2 (ja) | 2009-04-20 | 2014-07-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 指揮された補間およびデータの後処理 |
| US8346984B2 (en) * | 2009-05-05 | 2013-01-01 | Jeffrey Huang | Apparatus and method for intelligent analysis of device compatibility and adaptive processing of multimedia data |
| US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
| US20100309987A1 (en) * | 2009-06-05 | 2010-12-09 | Apple Inc. | Image acquisition and encoding system |
| US8345070B2 (en) * | 2009-06-10 | 2013-01-01 | Himax Media Solutions, Inc. | Apparatus and method for frame rate up conversion |
| TWI400942B (zh) * | 2009-06-17 | 2013-07-01 | Himax Media Solutions Inc | 畫面速率轉換之裝置及方法 |
| US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
| US8942215B2 (en) | 2010-07-15 | 2015-01-27 | Dejero Labs Inc. | System and method for transmission of data from a wireless mobile device over a multipath wireless router |
| US9756468B2 (en) | 2009-07-08 | 2017-09-05 | Dejero Labs Inc. | System and method for providing data services on vehicles |
| US10165286B2 (en) * | 2009-07-08 | 2018-12-25 | Dejero Labs Inc. | System and method for automatic encoder adjustment based on transport data |
| KR20110017719A (ko) | 2009-08-14 | 2011-02-22 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| TWI392373B (zh) * | 2009-09-04 | 2013-04-01 | Nat Univ Chung Cheng | The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity |
| CN102025892A (zh) * | 2009-09-16 | 2011-04-20 | 索尼株式会社 | 镜头转换检测方法及装置 |
| US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
| KR101418101B1 (ko) | 2009-09-23 | 2014-07-16 | 에스케이 텔레콤주식회사 | 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치 |
| US8340191B2 (en) * | 2009-09-25 | 2012-12-25 | General Instrument Corporation | Transcoder from first MPEG stream to second MPEG stream |
| JP2011109469A (ja) * | 2009-11-18 | 2011-06-02 | Canon Inc | コンテンツ受信装置及びコンテンツ受信装置の制御方法 |
| KR101839931B1 (ko) * | 2009-11-30 | 2018-03-19 | 가부시키가이샤 한도오따이 에네루기 켄큐쇼 | 액정 표시 장치, 액정 표시 장치의 구동 방법, 및 이 액정 표시 장치를 구비하는 전자기기 |
| TW201121335A (en) * | 2009-12-02 | 2011-06-16 | Sunplus Core Technology Co Ltd | Method and apparatus for adaptively determining compression modes to compress frames |
| KR101902933B1 (ko) * | 2009-12-16 | 2018-10-01 | 한국전자통신연구원 | 영상 부호화/복호화 장치 및 방법 |
| US8638851B2 (en) * | 2009-12-23 | 2014-01-28 | Apple Inc. | Joint bandwidth detection algorithm for real-time communication |
| WO2011100347A2 (en) | 2010-02-09 | 2011-08-18 | Vanguard Software Solutions, Inc. | Video sequence encoding system and algorithms |
| WO2011099254A1 (ja) * | 2010-02-15 | 2011-08-18 | パナソニック株式会社 | データ処理装置及びデータ符号化装置 |
| CN104394487B (zh) | 2010-03-05 | 2018-02-06 | 三星电子株式会社 | 基于文件格式生成和再现自适应流的方法和装置 |
| JP2011199414A (ja) * | 2010-03-17 | 2011-10-06 | Toshiba Corp | 素材収録装置及び素材収録方法 |
| TW201134223A (en) * | 2010-03-29 | 2011-10-01 | Univ Nat Taiwan | Perceptual video encoding system and circuit thereof |
| KR101390620B1 (ko) * | 2010-03-31 | 2014-04-30 | 인텔 코포레이션 | 비디오 인코딩을 위한 전력 효율적인 움직임 추정 기법 |
| JP5553663B2 (ja) * | 2010-03-31 | 2014-07-16 | 日立コンシューマエレクトロニクス株式会社 | 映像送信装置、映像受信装置、映像伝送システム |
| CN102939750B (zh) | 2010-04-13 | 2016-07-06 | Ge视频压缩有限责任公司 | 跨平面预测 |
| ES2907203T3 (es) | 2010-04-13 | 2022-04-22 | Ge Video Compression Llc | Codificación de vídeo que usa subdivisiones multiárbol de imágenes |
| JP5718453B2 (ja) | 2010-04-13 | 2015-05-13 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 復号化方法 |
| CN106454370B (zh) | 2010-04-13 | 2019-11-01 | Ge视频压缩有限责任公司 | 解码器、重建数组的方法、编码器、编码方法及数据流 |
| US20110255596A1 (en) * | 2010-04-15 | 2011-10-20 | Himax Technologies Limited | Frame rate up conversion system and method |
| US20110255594A1 (en) * | 2010-04-15 | 2011-10-20 | Soyeb Nagori | Rate Control in Video Coding |
| CA2798008C (en) | 2010-05-06 | 2015-10-20 | Nippon Telegraph And Telephone Corporation | Method for controlling video encoding if a decoder underflow condition is detected |
| TWI428024B (zh) * | 2010-05-06 | 2014-02-21 | Himax Media Solutions Inc | 提升圖框速率的系統與方法 |
| CA2798012A1 (en) * | 2010-05-07 | 2011-11-10 | Nippon Telegraph And Telephone Corporation | Video encoding to prevent decoder buffer underflow by re-encoding selected pictures in a video sequence using a retry count or a retry point |
| CN102870415B (zh) | 2010-05-12 | 2015-08-26 | 日本电信电话株式会社 | 活动图像编码控制方法、活动图像编码装置以及活动图像编码程序 |
| US20110280311A1 (en) | 2010-05-13 | 2011-11-17 | Qualcomm Incorporated | One-stream coding for asymmetric stereo video |
| US9693110B2 (en) | 2010-06-03 | 2017-06-27 | Cox Communications, Inc | Dynamic content stream management |
| JP5625512B2 (ja) * | 2010-06-09 | 2014-11-19 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、および記録媒体 |
| EP2395505A1 (en) * | 2010-06-11 | 2011-12-14 | Thomson Licensing | Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer |
| US9591374B2 (en) | 2010-06-30 | 2017-03-07 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies |
| US10326978B2 (en) | 2010-06-30 | 2019-06-18 | Warner Bros. Entertainment Inc. | Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning |
| US8755432B2 (en) | 2010-06-30 | 2014-06-17 | Warner Bros. Entertainment Inc. | Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues |
| US8917774B2 (en) * | 2010-06-30 | 2014-12-23 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion |
| US8930562B2 (en) | 2010-07-20 | 2015-01-06 | Qualcomm Incorporated | Arranging sub-track fragments for streaming video data |
| US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
| US9357229B2 (en) | 2010-07-28 | 2016-05-31 | Qualcomm Incorporated | Coding motion vectors in video coding |
| US9456015B2 (en) | 2010-08-10 | 2016-09-27 | Qualcomm Incorporated | Representation groups for network streaming of coded multimedia data |
| US8533166B1 (en) * | 2010-08-20 | 2013-09-10 | Brevity Ventures LLC | Methods and systems for encoding/decoding files and transmission thereof |
| US20120057629A1 (en) * | 2010-09-02 | 2012-03-08 | Fang Shi | Rho-domain Metrics |
| RU2010144450A (ru) * | 2010-10-29 | 2012-05-10 | ЭлЭсАй Корпорейшн (US) | Оценка движения для видео транскодера |
| US9432678B2 (en) * | 2010-10-30 | 2016-08-30 | Hewlett-Packard Development Company, L.P. | Adapting a video stream |
| US9066102B2 (en) | 2010-11-17 | 2015-06-23 | Qualcomm Incorporated | Reference picture list construction for generalized P/B frames in video coding |
| US9547911B2 (en) | 2010-12-14 | 2017-01-17 | The United States Of America, As Represented By The Secretary Of The Navy | Velocity estimation from imagery using symmetric displaced frame difference equation |
| US8559763B2 (en) * | 2010-12-14 | 2013-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model |
| US9832540B2 (en) | 2010-12-15 | 2017-11-28 | Hulu, LLC | Method and apparatus for hybrid transcoding of a media program |
| US8842723B2 (en) * | 2011-01-03 | 2014-09-23 | Apple Inc. | Video coding system using implied reference frames |
| GB2487200A (en) | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
| US9307262B2 (en) * | 2011-01-13 | 2016-04-05 | Texas Instruments Incorporated | Methods and systems for facilitating multimedia data encoding utilizing configured buffer information |
| RU2597469C2 (ru) | 2011-01-14 | 2016-09-10 | Сан Пэтент Траст | Способ кодирования изображений, способ декодирования изображений, способ управления памятью, устройство кодирования изображений, устройство декодирования изображений, устройство управления памятью и устройство кодирования и декодирования изображений |
| EP2666289A1 (en) * | 2011-01-21 | 2013-11-27 | Thomson Licensing | System and method for enhanced remote transcoding using content profiling |
| US8548057B2 (en) | 2011-01-25 | 2013-10-01 | Microsoft Corporation | Video coding redundancy reduction |
| US10165274B2 (en) * | 2011-01-28 | 2018-12-25 | Eye IO, LLC | Encoding of video stream based on scene type |
| BR112013020068A2 (pt) * | 2011-01-28 | 2018-03-06 | Eye Io Llc | métodos e parelhos para controle adaptativo da taxa de bits baseado em cenas |
| BR112013020071A2 (pt) * | 2011-01-28 | 2016-10-25 | Eye Io Llc | métodos e aparelhos para codificação de sequência de video baseada em tipos de cena |
| US8838680B1 (en) | 2011-02-08 | 2014-09-16 | Google Inc. | Buffer objects for web-based configurable pipeline media processing |
| WO2012109520A1 (en) * | 2011-02-11 | 2012-08-16 | Interdigital Patent Holdings, Inc. | Method and apparatus for distribution and reception of content |
| US9866877B2 (en) * | 2011-03-08 | 2018-01-09 | Cox Communications, Inc. | Transparent scalable video coding |
| GB2488829A (en) * | 2011-03-10 | 2012-09-12 | Canon Kk | Encoding and decoding image data |
| US8644383B2 (en) * | 2011-03-10 | 2014-02-04 | Microsoft Corporation | Mean absolute difference prediction for video encoding rate control |
| GB2488830B (en) * | 2011-03-10 | 2015-07-29 | Canon Kk | Method and device for encoding image data and method and device for decoding image data |
| US20120260185A1 (en) * | 2011-04-11 | 2012-10-11 | Google Inc. | Path length selector |
| US8620933B2 (en) | 2011-04-11 | 2013-12-31 | Google Inc. | Illustrating cross channel conversion paths |
| US8510326B2 (en) | 2011-04-11 | 2013-08-13 | Google Inc. | Priority dimensional data conversion path reporting |
| KR101894420B1 (ko) * | 2011-04-15 | 2018-09-03 | 에스케이플래닛 주식회사 | 적응적 비디오 트랜스코딩 방법 및 시스템 |
| US8681866B1 (en) | 2011-04-28 | 2014-03-25 | Google Inc. | Method and apparatus for encoding video by downsampling frame resolution |
| US20120281748A1 (en) * | 2011-05-02 | 2012-11-08 | Futurewei Technologies, Inc. | Rate Control for Cloud Transcoding |
| US9106787B1 (en) | 2011-05-09 | 2015-08-11 | Google Inc. | Apparatus and method for media transmission bandwidth control using bandwidth estimation |
| EP3879833A1 (en) | 2011-05-31 | 2021-09-15 | JVCKENWOOD Corporation | Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program |
| GB2491589B (en) | 2011-06-06 | 2015-12-16 | Canon Kk | Method and device for encoding a sequence of images and method and device for decoding a sequence of image |
| KR20120138319A (ko) * | 2011-06-14 | 2012-12-26 | 삼성전자주식회사 | 멀티미디어 데이터 특징 정보를 이용하여 멀티미디어 서비스 데이터 패킷을 송신하는 방법 및 장치 |
| CN108337521B (zh) * | 2011-06-15 | 2022-07-19 | 韩国电子通信研究院 | 存储由可伸缩编码方法生成的比特流的计算机记录介质 |
| EP2536143B1 (en) * | 2011-06-16 | 2015-01-14 | Axis AB | Method and a digital video encoder system for encoding digital video data |
| ES2714756T3 (es) | 2011-06-30 | 2019-05-29 | Ericsson Telefon Ab L M | Señalización de imágenes de referencia |
| US9369723B2 (en) * | 2011-07-14 | 2016-06-14 | Comcast Cable Communications, Llc | Preserving image quality in temporally compressed video streams |
| US8655907B2 (en) | 2011-07-18 | 2014-02-18 | Google Inc. | Multi-channel conversion path position reporting |
| KR20130011994A (ko) * | 2011-07-22 | 2013-01-30 | 삼성전자주식회사 | 송신 장치, 수신 장치 및 그 송수신 방법 |
| US8959450B2 (en) | 2011-08-22 | 2015-02-17 | Google Inc. | Path explorer visualization |
| US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
| US10034018B2 (en) * | 2011-09-23 | 2018-07-24 | Velos Media, Llc | Decoded picture buffer management |
| US9456212B2 (en) * | 2011-09-30 | 2016-09-27 | Broadcom Corporation | Video coding sub-block sizing based on infrastructure capabilities and current conditions |
| WO2013048521A1 (en) * | 2011-10-01 | 2013-04-04 | Intel Corporation | Systems, methods and computer program products for integrated post-processing and pre-processing in video transcoding |
| US20130083859A1 (en) * | 2011-10-04 | 2013-04-04 | General Instrument Corporation | Method to match input and output timestamps in a video encoder and advertisement inserter |
| EP2777258B1 (en) | 2011-11-04 | 2017-01-11 | Huawei Technologies Co., Ltd. | Binarization of prediction residuals for lossless video coding |
| US9432704B2 (en) * | 2011-11-06 | 2016-08-30 | Akamai Technologies Inc. | Segmented parallel encoding with frame-aware, variable-size chunking |
| JP2013102295A (ja) * | 2011-11-07 | 2013-05-23 | Canon Inc | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム |
| JP2013102297A (ja) * | 2011-11-07 | 2013-05-23 | Canon Inc | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム |
| JP5871628B2 (ja) | 2011-11-07 | 2016-03-01 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| KR20130050149A (ko) | 2011-11-07 | 2013-05-15 | 오수미 | 인터 모드에서의 예측 블록 생성 방법 |
| US10277915B2 (en) | 2011-11-07 | 2019-04-30 | Qualcomm Incorporated | Signaling quantization matrices for video coding |
| US8693551B2 (en) | 2011-11-16 | 2014-04-08 | Vanguard Software Solutions, Inc. | Optimal angular intra prediction for block-based video coding |
| US9277230B2 (en) * | 2011-11-23 | 2016-03-01 | Qualcomm Incorporated | Display mode-based video encoding in wireless display devices |
| TWI448125B (zh) * | 2011-11-25 | 2014-08-01 | Ind Tech Res Inst | 多媒體檔案分享方法及系統 |
| US9589540B2 (en) | 2011-12-05 | 2017-03-07 | Microsoft Technology Licensing, Llc | Adaptive control of display refresh rate based on video frame rate and power efficiency |
| US9008177B2 (en) | 2011-12-12 | 2015-04-14 | Qualcomm Incorporated | Selective mirroring of media output |
| EP2795899A4 (en) * | 2011-12-23 | 2016-01-27 | Intel Corp | CONTENTSADAPTIVE HIGHLY PRECISE MACROBLOCK RATES CONTROL |
| KR20190097306A (ko) | 2012-01-19 | 2019-08-20 | 브이아이디 스케일, 인크. | 시청 조건에 대한 적응을 지원하는 비디오 전송 방법 및 시스템 |
| JP6480185B2 (ja) | 2012-01-19 | 2019-03-06 | ヴィド スケール インコーポレイテッド | 映像符号化参照ピクチャリストをシグナリングおよび構築する方法および装置 |
| US9538200B2 (en) | 2012-01-19 | 2017-01-03 | Qualcomm Incorporated | Signaling of deblocking filter parameters in video coding |
| US20130208809A1 (en) * | 2012-02-14 | 2013-08-15 | Microsoft Corporation | Multi-layer rate control |
| US9386267B1 (en) * | 2012-02-14 | 2016-07-05 | Arris Enterprises, Inc. | Cooperative transcoding to multiple streams |
| US9241167B2 (en) | 2012-02-17 | 2016-01-19 | Microsoft Technology Licensing, Llc | Metadata assisted video decoding |
| KR20130098122A (ko) | 2012-02-27 | 2013-09-04 | 세종대학교산학협력단 | 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법 |
| WO2013129822A1 (ko) | 2012-02-27 | 2013-09-06 | 세종대학교산학협력단 | 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법 |
| JP6272819B2 (ja) * | 2012-03-20 | 2018-01-31 | サムスン エレクトロニクス カンパニー リミテッド | スケーラブルビデオ符号化方法、復号化方法、符号化装置及び記録媒体 |
| US9031378B2 (en) * | 2012-04-03 | 2015-05-12 | Via Technologies, Inc. | Method of managing multiple wireless video traffic and electronic device thereof |
| US20150016522A1 (en) * | 2012-04-05 | 2015-01-15 | Sony Corporation | Image processing apparatus and image processing method |
| DK3833022T3 (da) * | 2012-04-12 | 2022-04-19 | Jvckenwood Corp | Fusionskandidatlistekonstruktion |
| US9071842B2 (en) * | 2012-04-19 | 2015-06-30 | Vixs Systems Inc. | Detection of video feature based on variance metric |
| US20130279882A1 (en) | 2012-04-23 | 2013-10-24 | Apple Inc. | Coding of Video and Audio with Initialization Fragments |
| US9042441B2 (en) | 2012-04-25 | 2015-05-26 | At&T Intellectual Property I, Lp | Apparatus and method for media streaming |
| US9185429B1 (en) | 2012-04-30 | 2015-11-10 | Google Inc. | Video encoding and decoding using un-equal error protection |
| CN104255028A (zh) * | 2012-05-02 | 2014-12-31 | 索尼公司 | 图像处理设备及图像处理方法 |
| EP2670151A1 (en) * | 2012-05-28 | 2013-12-04 | Tektronix Inc. | Heuristic method for drop frame detection in digital baseband video |
| US9532080B2 (en) * | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
| EP2859729B1 (en) * | 2012-06-12 | 2020-09-16 | Coherent Logix, Incorporated | A distributed architecture for encoding and delivering video content |
| US9749645B2 (en) | 2012-06-22 | 2017-08-29 | Microsoft Technology Licensing, Llc | Coded-block-flag coding and derivation |
| US8949240B2 (en) * | 2012-07-03 | 2015-02-03 | General Instrument Corporation | System for correlating metadata |
| US9247242B2 (en) | 2012-07-09 | 2016-01-26 | Qualcomm Incorporated | Skip transform and residual coding mode extension for difference domain intra prediction |
| US9854259B2 (en) | 2012-07-09 | 2017-12-26 | Qualcomm Incorporated | Smoothing of difference reference picture |
| US9030571B2 (en) * | 2012-07-11 | 2015-05-12 | Google Inc. | Abstract camera pipeline for uniform cross-device control of image capture and processing |
| US9769501B2 (en) * | 2012-07-17 | 2017-09-19 | Thomson Licensing | Video quality assessment at a bitstream level |
| US9357195B2 (en) | 2012-08-16 | 2016-05-31 | Qualcomm Incorporated | Inter-view predicted motion vector for 3D video |
| WO2014047881A1 (en) * | 2012-09-28 | 2014-04-03 | Intel Corporation | Inter-layer intra mode prediction |
| EP2901257A4 (en) * | 2012-09-28 | 2016-06-22 | Nokia Technologies Oy | DEVICE FOR DISPLAYING ANIMATED IMAGES IN COMBINATION WITH A TOUCH OUTPUT |
| US9979960B2 (en) | 2012-10-01 | 2018-05-22 | Microsoft Technology Licensing, Llc | Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions |
| US9355613B2 (en) | 2012-10-09 | 2016-05-31 | Mediatek Inc. | Data processing apparatus for transmitting/receiving compression-related indication information via display interface and related data processing method |
| EP4135326A1 (en) | 2012-10-12 | 2023-02-15 | Electronics and Telecommunications Research Institute | Video decoding and encoding method using a motion candidate list |
| US9661340B2 (en) * | 2012-10-22 | 2017-05-23 | Microsoft Technology Licensing, Llc | Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats |
| US10708335B2 (en) * | 2012-11-16 | 2020-07-07 | Time Warner Cable Enterprises Llc | Situation-dependent dynamic bit rate encoding and distribution of content |
| US9106922B2 (en) | 2012-12-19 | 2015-08-11 | Vanguard Software Solutions, Inc. | Motion estimation engine for video encoding |
| TWI669950B (zh) * | 2012-12-21 | 2019-08-21 | 日商新力股份有限公司 | 影像處理裝置及方法 |
| TWI478554B (zh) * | 2013-01-08 | 2015-03-21 | Altek Semiconductor Corp | 影像雜訊消除方法及其產生移動向量資料結構之方法 |
| US9172740B1 (en) | 2013-01-15 | 2015-10-27 | Google Inc. | Adjustable buffer remote access |
| EP2946555B1 (en) * | 2013-01-18 | 2018-07-04 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Forward error correction using source blocks with symbols from at least two datastreams with synchronized start symbol identifiers among the datastreams |
| US9311692B1 (en) | 2013-01-25 | 2016-04-12 | Google Inc. | Scalable buffer remote access |
| US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
| US9350990B2 (en) | 2013-02-28 | 2016-05-24 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
| US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
| US9743097B2 (en) * | 2013-03-01 | 2017-08-22 | Qualcomm Incorporated | Spatial motion vector scaling for scalable video coding |
| US9607003B2 (en) | 2013-03-14 | 2017-03-28 | Massachusetts Institute Of Technology | Network coded storage with multi-resolution codes |
| GB2513112B (en) * | 2013-04-08 | 2020-01-08 | Snell Advanced Media Ltd | Video sequence processing |
| US9462283B2 (en) * | 2013-04-18 | 2016-10-04 | Spotlight Technologies Ltd. | Efficient compression of Bayer images |
| WO2014172708A1 (en) * | 2013-04-19 | 2014-10-23 | Polaris Sensor Technologies, Inc. | Pedestrian right of way monitoring and reporting system and method |
| US9191705B1 (en) * | 2013-05-01 | 2015-11-17 | Google Inc. | Managing media quality |
| US9710894B2 (en) * | 2013-06-04 | 2017-07-18 | Nvidia Corporation | System and method for enhanced multi-sample anti-aliasing |
| DE102013211571B4 (de) | 2013-06-19 | 2016-02-11 | Opticom Dipl.-Ing. Michael Keyhl Gmbh | Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate |
| US9578342B2 (en) * | 2013-06-24 | 2017-02-21 | Dialogic Corporation | Rate control algorithm for scalable video encoding with disposable P-frames |
| US10133635B2 (en) | 2013-07-01 | 2018-11-20 | International Business Machines Corporation | Low-width vault in distributed storage system |
| US9501360B2 (en) | 2013-07-01 | 2016-11-22 | International Business Machines Corporation | Rebuilding data while reading data in a dispersed storage network |
| KR101586367B1 (ko) * | 2013-08-07 | 2016-01-18 | 주식회사 더블유코퍼레이션 | 단일 소스를 통한 다채널 대체광고 처리 및 스케줄 관리 방법 |
| CN105519115A (zh) | 2013-09-10 | 2016-04-20 | 株式会社Kt | 用于对可扩展视频信号进行编码/解码的方法及装置 |
| EP3055998A1 (en) * | 2013-10-11 | 2016-08-17 | Telefonaktiebolaget LM Ericsson (publ) | Method and arrangement for video transcoding using mode or motion or in-loop filter information |
| ITMI20131710A1 (it) | 2013-10-15 | 2015-04-16 | Sky Italia S R L | "sistema di cloud encoding" |
| US20150117515A1 (en) * | 2013-10-25 | 2015-04-30 | Microsoft Corporation | Layered Encoding Using Spatial and Temporal Analysis |
| US9609338B2 (en) | 2013-10-25 | 2017-03-28 | Microsoft Technology Licensing, Llc | Layered video encoding and decoding |
| GB2521352B (en) * | 2013-12-16 | 2015-11-04 | Imagination Tech Ltd | Encoder configuration |
| US9967558B1 (en) | 2013-12-17 | 2018-05-08 | Google Llc | Adaptive motion search control for variable block size partitions in video coding |
| US20150189222A1 (en) * | 2013-12-30 | 2015-07-02 | Google Inc. | Content-adaptive chunking for distributed transcoding |
| JP6574426B2 (ja) * | 2014-01-09 | 2019-09-11 | サムスン エレクトロニクス カンパニー リミテッド | マルチメディア伝送システムにおけるメディアデータ関連情報を送信する方法及び装置 |
| JP6344800B2 (ja) * | 2014-01-09 | 2018-06-20 | 株式会社日立国際電気 | 画像処理装置及び動画像伝送方法 |
| US20150215621A1 (en) * | 2014-01-30 | 2015-07-30 | Qualcomm Incorporated | Rate control using complexity in video coding |
| CN105981373A (zh) * | 2014-02-10 | 2016-09-28 | 交互数字专利控股公司 | 逆电视电影滤波器 |
| CN106164905A (zh) * | 2014-03-07 | 2016-11-23 | 远程媒体有限责任公司 | 具有双向媒体文件同步的虚拟文件系统及方法 |
| JP2017514345A (ja) | 2014-03-13 | 2017-06-01 | ベランス・コーポレイション | 埋め込みコードを用いた対話型コンテンツ取得 |
| US9992500B2 (en) * | 2014-03-18 | 2018-06-05 | Intel Corporation | Techniques for evaluating compressed motion video quality |
| KR102249147B1 (ko) * | 2014-03-29 | 2021-05-07 | 삼성전자주식회사 | 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조 |
| US10560514B2 (en) * | 2014-03-29 | 2020-02-11 | Samsung Electronics Co., Ltd. | Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof |
| US9414100B2 (en) * | 2014-03-31 | 2016-08-09 | Arris Enterprises, Inc. | Adaptive streaming transcoder synchronization |
| US20170006281A1 (en) * | 2014-05-08 | 2017-01-05 | Huawei Device Co., Ltd. | Video Quality Detection Method and Apparatus |
| US9794313B2 (en) | 2014-05-09 | 2017-10-17 | Cisco Technology, Inc. | Methods and systems to facilitate synchronization of multiple media streams |
| US9392272B1 (en) * | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
| US10664687B2 (en) | 2014-06-12 | 2020-05-26 | Microsoft Technology Licensing, Llc | Rule-based video importance analysis |
| US9787986B2 (en) * | 2014-06-30 | 2017-10-10 | Intel Corporation | Techniques for parallel video transcoding |
| JP6642427B2 (ja) * | 2014-06-30 | 2020-02-05 | ソニー株式会社 | 情報処理装置および方法 |
| WO2016028936A1 (en) * | 2014-08-20 | 2016-02-25 | Verance Corporation | Watermark detection using a multiplicity of predicted patterns |
| JP6497874B2 (ja) | 2014-08-28 | 2019-04-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR102190233B1 (ko) * | 2014-10-06 | 2020-12-11 | 삼성전자주식회사 | 영상 처리 장치 및 이의 영상 처리 방법 |
| DE102014220428A1 (de) * | 2014-10-08 | 2016-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Einstellen von Datenraten in einem Videokamerasystem |
| US10264269B2 (en) | 2014-10-13 | 2019-04-16 | Apple Inc. | Metadata hints to support best effort decoding for green MPEG applications |
| JP2016092837A (ja) * | 2014-10-30 | 2016-05-23 | 株式会社東芝 | 映像圧縮装置、映像再生装置および映像配信システム |
| US9311735B1 (en) * | 2014-11-21 | 2016-04-12 | Adobe Systems Incorporated | Cloud based content aware fill for images |
| FR3030977B1 (fr) * | 2014-12-19 | 2017-01-27 | Sagemcom Broadband Sas | Procede d'annonce de services dans un reseau de communication |
| WO2016111800A1 (en) * | 2015-01-05 | 2016-07-14 | Arris Enterprises, Inc. | Using motion compensated temporal filter (mctf) statistics for scene change detection when a fade, dissolve or cut occurs |
| US9749646B2 (en) | 2015-01-16 | 2017-08-29 | Microsoft Technology Licensing, Llc | Encoding/decoding of high chroma resolution details |
| US9854201B2 (en) | 2015-01-16 | 2017-12-26 | Microsoft Technology Licensing, Llc | Dynamically updating quality to higher chroma sampling rate |
| KR102553320B1 (ko) * | 2015-03-05 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| KR102553316B1 (ko) * | 2015-03-06 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| KR101754527B1 (ko) * | 2015-03-09 | 2017-07-06 | 한국항공우주연구원 | 패킷 부호화 장치 및 방법 |
| US10356428B2 (en) | 2015-04-13 | 2019-07-16 | Qualcomm Incorporated | Quantization parameter (QP) update classification for display stream compression (DSC) |
| US9936203B2 (en) * | 2015-04-13 | 2018-04-03 | Qualcomm Incorporated | Complex region detection for display stream compression |
| US10284849B2 (en) | 2015-04-13 | 2019-05-07 | Qualcomm Incorporated | Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure |
| US10244255B2 (en) | 2015-04-13 | 2019-03-26 | Qualcomm Incorporated | Rate-constrained fallback mode for display stream compression |
| KR102553322B1 (ko) * | 2015-04-20 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| US10735773B2 (en) * | 2015-06-04 | 2020-08-04 | Apple Inc. | Video coding techniques for high quality coding of low motion content |
| WO2016209132A1 (en) * | 2015-06-25 | 2016-12-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and system for encoding an input video stream into a compressed output video stream with parallel encoding |
| US9955191B2 (en) | 2015-07-01 | 2018-04-24 | At&T Intellectual Property I, L.P. | Method and apparatus for managing bandwidth in providing communication services |
| US10133934B2 (en) * | 2015-09-30 | 2018-11-20 | Apple Inc. | Systems and methods for post processing time-lapse videos |
| KR101780444B1 (ko) * | 2015-10-29 | 2017-09-21 | 삼성에스디에스 주식회사 | 영상 신호의 노이즈 제거 방법 |
| CN105306934A (zh) * | 2015-11-10 | 2016-02-03 | 深圳市云宙多媒体技术有限公司 | 一种低复杂度片源的编码方法及系统 |
| RU2610686C1 (ru) * | 2015-11-17 | 2017-02-14 | федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный университет имени С.А. Есенина" | Способ адаптивной передачи информации по каналу связи в реальном времени и система для его осуществления |
| GB2544800A (en) * | 2015-11-27 | 2017-05-31 | V-Nova Ltd | Adaptive bit rate ratio control |
| CN105898531A (zh) * | 2015-12-07 | 2016-08-24 | 乐视云计算有限公司 | 视频缓存文件的封装方法和系统 |
| WO2017105391A1 (en) * | 2015-12-14 | 2017-06-22 | Arris Enterprises, Inc. | A method to encode video with close multiple scene changes |
| US10652298B2 (en) * | 2015-12-17 | 2020-05-12 | Intel Corporation | Media streaming through section change detection markers |
| US10368074B2 (en) | 2016-03-18 | 2019-07-30 | Microsoft Technology Licensing, Llc | Opportunistic frame dropping for variable-frame-rate encoding |
| JP6168671B1 (ja) * | 2016-03-24 | 2017-07-26 | 株式会社日立国際電気 | 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法 |
| US10958695B2 (en) * | 2016-06-21 | 2021-03-23 | Google Llc | Methods, systems, and media for recommending content based on network conditions |
| US10491963B1 (en) * | 2016-06-28 | 2019-11-26 | Amazon Technologies, Inc. | Use video codecs to deliver images |
| US10440366B2 (en) * | 2016-07-01 | 2019-10-08 | Intel Corporation | Method and system of video coding using content based metadata |
| US10686969B2 (en) * | 2016-07-08 | 2020-06-16 | NETFLIX Inc. | Detecting shot changes in a video |
| WO2018012366A1 (ja) * | 2016-07-13 | 2018-01-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 復号装置、符号化装置、復号方法及び符号化方法 |
| WO2018016879A1 (ko) * | 2016-07-19 | 2018-01-25 | 한국전자통신연구원 | 360도 가상현실 방송 서비스 제공 방법 및 장치 |
| US10931980B2 (en) | 2016-07-19 | 2021-02-23 | Electronics And Telecommunications Research Institute | Method and apparatus for providing 360 degree virtual reality broadcasting service |
| US10367865B2 (en) * | 2016-07-28 | 2019-07-30 | Verizon Digital Media Services Inc. | Encodingless transmuxing |
| WO2018023554A1 (en) * | 2016-08-04 | 2018-02-08 | SZ DJI Technology Co., Ltd. | System and methods for bit rate control |
| US10708666B2 (en) * | 2016-08-29 | 2020-07-07 | Qualcomm Incorporated | Terrestrial broadcast television services over a cellular broadcast system |
| US10368080B2 (en) | 2016-10-21 | 2019-07-30 | Microsoft Technology Licensing, Llc | Selective upsampling or refresh of chroma sample values |
| US10558750B2 (en) | 2016-11-18 | 2020-02-11 | Salesforce.Com, Inc. | Spatial attention model for image captioning |
| CN114115609A (zh) | 2016-11-25 | 2022-03-01 | 株式会社半导体能源研究所 | 显示装置及其工作方法 |
| US10123020B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Block level update rate control based on gaze sensing |
| US10121337B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Gaze controlled bit rate |
| US10715814B2 (en) * | 2017-02-23 | 2020-07-14 | Netflix, Inc. | Techniques for optimizing encoding parameters for different shot sequences |
| US10199270B2 (en) | 2017-05-25 | 2019-02-05 | Globalfoundries Inc. | Multi-directional self-aligned multiple patterning |
| US10701364B2 (en) * | 2017-10-26 | 2020-06-30 | Google Llc | Golden-frame group structure design using stillness detection |
| KR102480310B1 (ko) * | 2017-11-06 | 2022-12-23 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US10798399B1 (en) * | 2017-12-11 | 2020-10-06 | Amazon Technologies, Inc. | Adaptive video compression |
| CN108875525A (zh) * | 2018-01-04 | 2018-11-23 | 北京旷视科技有限公司 | 行为预测方法、装置、系统和存储介质 |
| EP3747194A1 (en) * | 2018-01-29 | 2020-12-09 | VID SCALE, Inc. | Frame-rate up conversion with low complexity |
| CN108460523B (zh) * | 2018-02-12 | 2020-08-21 | 阿里巴巴集团控股有限公司 | 一种风控规则生成方法和装置 |
| US10593257B2 (en) | 2018-03-15 | 2020-03-17 | Samsung Display Co., Ltd. | Stress profile compression |
| TW201942870A (zh) | 2018-04-03 | 2019-11-01 | 香港商科科串流股份有限公司 | 位元率優化系統及方法 |
| MX2020010474A (es) | 2018-04-05 | 2021-01-08 | Ericsson Telefon Ab L M | Informacion de control de enlace lateral de varias etapas. |
| US10880550B2 (en) * | 2018-04-06 | 2020-12-29 | Comcast Cable Communications, Llc | Systems and methods for compressing video |
| KR102495915B1 (ko) * | 2018-04-30 | 2023-02-03 | 삼성전자 주식회사 | 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버 |
| US10630990B1 (en) | 2018-05-01 | 2020-04-21 | Amazon Technologies, Inc. | Encoder output responsive to quality metric information |
| US10630748B1 (en) * | 2018-05-01 | 2020-04-21 | Amazon Technologies, Inc. | Video-based encoder alignment |
| US10958987B1 (en) | 2018-05-01 | 2021-03-23 | Amazon Technologies, Inc. | Matching based on video data |
| US10522108B2 (en) * | 2018-05-23 | 2019-12-31 | Qualcomm Incorporated | Optimized histogram reads for efficient display post processing and improved power gains |
| WO2020086452A1 (en) * | 2018-10-22 | 2020-04-30 | Radiant Communications Corporation | Low-latency video internet streaming for management and transmission of multiple data streams |
| US11272185B2 (en) * | 2018-10-31 | 2022-03-08 | Ati Technologies Ulc | Hierarchical measurement of spatial activity for text/edge detection |
| CN109286825B (zh) * | 2018-12-14 | 2021-04-30 | 北京百度网讯科技有限公司 | 用于处理视频的方法和装置 |
| US11166028B2 (en) * | 2019-02-01 | 2021-11-02 | Comcast Cable Communications, Llc | Methods and systems for providing variable bitrate content |
| US11019374B2 (en) * | 2019-02-04 | 2021-05-25 | Netflix, Inc. | Techniques for efficiently performing subsequence-based encoding for a media title |
| CN113491117A (zh) * | 2019-03-08 | 2021-10-08 | 北京达佳互联信息技术有限公司 | 用于处理不同图片尺寸的视频编解码 |
| CN112866699B (zh) | 2019-03-11 | 2022-11-01 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| CN117459718A (zh) | 2019-04-01 | 2024-01-26 | 北京字节跳动网络技术有限公司 | 视频编码中的可选插值滤波器 |
| US11276419B2 (en) | 2019-07-30 | 2022-03-15 | International Business Machines Corporation | Synchronized sound generation from videos |
| CN117395411A (zh) | 2019-08-20 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 用于视频处理的方法、装置以及计算机可读存储介质 |
| KR20210022841A (ko) | 2019-08-21 | 2021-03-04 | (주)코위 | 멀티플렉서와 ｐｓｉｐ 생성기를 이용한 다중 출력 인코더 |
| US11132944B2 (en) | 2019-09-18 | 2021-09-28 | Samsung Display Co., Ltd. | Unbiased iterative compression on additive data using dither |
| JP7370047B2 (ja) | 2019-10-29 | 2023-10-27 | 株式会社ニッキ | エンジンの失火診断検出方法 |
| CN112788198B (zh) * | 2019-11-11 | 2024-04-23 | 株式会社理光 | 摄影装置、传送系统及方法、记录介质和计算机装置 |
| EP3829169B1 (en) * | 2019-11-29 | 2021-10-13 | Axis AB | Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions |
| US11843772B2 (en) * | 2019-12-06 | 2023-12-12 | Ati Technologies Ulc | Video encode pre-analysis bit budgeting based on context and features |
| US11284074B2 (en) * | 2019-12-20 | 2022-03-22 | Intel Corporation | Cross-channel look ahead rate control for multi-channel video encoding |
| JP2021103875A (ja) * | 2019-12-25 | 2021-07-15 | キヤノン株式会社 | 画像符号化装置及び画像復号装置、並びにそれらの制御方法及びプログラム、及び、撮像装置 |
| US11962781B2 (en) * | 2020-02-13 | 2024-04-16 | Ssimwave Inc. | Video encoding complexity measure system |
| CN113411584A (zh) * | 2020-03-17 | 2021-09-17 | 北京三星通信技术研究有限公司 | 视频编解码的方法和装置 |
| TWI747236B (zh) * | 2020-04-17 | 2021-11-21 | 倚天酷碁股份有限公司 | 音源訊號調整方法及電子裝置 |
| CN111680548A (zh) * | 2020-04-27 | 2020-09-18 | 哈尔滨工程大学 | 一种小波在线去噪的无失真边界延拓方法 |
| CN111310744B (zh) * | 2020-05-11 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 图像识别方法、视频播放方法、相关设备及介质 |
| US11388415B2 (en) * | 2020-05-12 | 2022-07-12 | Tencent America LLC | Substitutional end-to-end video coding |
| US20230370676A1 (en) * | 2020-10-07 | 2023-11-16 | Telefonaktiebolaget Lm Ericsson (Publ) | A System and Method to Minimize Repetitive Flashes in Streaming Media Content |
| EP3985974B1 (en) | 2020-10-13 | 2023-05-10 | Axis AB | An image processing device, a camera and a method for encoding a sequence of video images |
| CN114630122B (zh) | 2021-03-19 | 2023-04-28 | 杭州海康威视数字技术股份有限公司 | 基于自适应帧内刷新机制的解码、编码方法及相关设备 |
| WO2023276809A1 (en) * | 2021-06-29 | 2023-01-05 | Sharp Kabushiki Kaisha | Systems and methods for compressing feature data in coding of multi-dimensional data |
| US20230215255A1 (en) * | 2022-01-04 | 2023-07-06 | Google Llc | Batch Size Adjustment Using Latency-Critical Event Recognition |
| US12022086B2 (en) * | 2022-08-24 | 2024-06-25 | Synamedia Vividtec Holdings, Inc. | Content-adaptive encoder configuration |
| CN116260973B (zh) * | 2023-03-31 | 2024-03-19 | 北京百度网讯科技有限公司 | 一种时域滤波方法、装置、电子设备及存储介质 |
Family Cites Families (292)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US674474A (en) * | 1901-02-04 | 1901-05-21 | Henry D Schutte | Placket-closure. |
| AU1713883A (en) | 1982-07-21 | 1984-01-26 | Venter, M.M. | Agricultural implement |
| FR2646047B1 (fr) | 1989-04-13 | 1995-08-04 | Telediffusion Fse | Procede et installation de codage et de transmission d'images animees sous forme numerique a bas debit |
| JP2909239B2 (ja) | 1991-03-27 | 1999-06-23 | 株式会社東芝 | 高能率符号化記録再生装置 |
| JP3189292B2 (ja) | 1991-05-09 | 2001-07-16 | 松下電器産業株式会社 | 走査線補間装置 |
| JP2861518B2 (ja) * | 1991-09-03 | 1999-02-24 | 日本電気株式会社 | 適応多重化方式 |
| KR0121328B1 (ko) * | 1991-12-13 | 1997-11-17 | 사또오 후미오 | 디지탈 신호 기록 재생 장치 |
| IT1252546B (it) | 1991-12-18 | 1995-06-19 | Alcatel Italia | Metodo e sistema per adattare il ciclo di frequenza di refresh alla complessita' dell'immagine |
| JPH05344492A (ja) | 1992-06-11 | 1993-12-24 | Ricoh Co Ltd | フレーム間予測符号化方式 |
| US5289276A (en) * | 1992-06-19 | 1994-02-22 | General Electric Company | Method and apparatus for conveying compressed video data over a noisy communication channel |
| JP2611607B2 (ja) | 1992-06-29 | 1997-05-21 | 日本ビクター株式会社 | シーンチェンジ検出装置 |
| FR2700090B1 (fr) * | 1992-12-30 | 1995-01-27 | Thomson Csf | Procédé de désentrelacement de trames d'une séquence d'images animées. |
| JP2979900B2 (ja) | 1993-05-26 | 1999-11-15 | 日本ビクター株式会社 | 記録媒体 |
| KR0151234B1 (ko) * | 1993-06-03 | 1998-10-15 | 모리시타 요이찌 | 화상재생장치 및 화상복호장치 |
| EP0710422B1 (en) | 1993-07-19 | 1998-09-30 | BRITISH TELECOMMUNICATIONS public limited company | Detecting errors in video images |
| CA2127151A1 (en) | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| US5991502A (en) * | 1993-10-04 | 1999-11-23 | Matsushita Electric Industrial Co., Ltd. | Optical recording device which calculates distances between I-frames and records I-frame addresses in a sector |
| AU681185B2 (en) | 1993-10-22 | 1997-08-21 | Sony Corporation | apparatus and method for recording and reproducing digital video data |
| JP3173257B2 (ja) | 1993-11-09 | 2001-06-04 | 松下電器産業株式会社 | 符号化方法と符号化装置 |
| JP2734953B2 (ja) * | 1993-12-16 | 1998-04-02 | 日本電気株式会社 | Ｃｄｍａ受信装置 |
| US5642294A (en) * | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
| JP2839132B2 (ja) | 1993-12-17 | 1998-12-16 | 日本電信電話株式会社 | 映像カット点検出方法及び装置 |
| US5446491A (en) * | 1993-12-21 | 1995-08-29 | Hitachi, Ltd. | Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals |
| JP3149303B2 (ja) | 1993-12-29 | 2001-03-26 | 松下電器産業株式会社 | デジタル画像符号化方法及びデジタル画像復号化方法 |
| US5592226A (en) | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| US6798834B1 (en) | 1996-08-15 | 2004-09-28 | Mitsubishi Denki Kabushiki Kaisha | Image coding apparatus with segment classification and segmentation-type motion prediction circuit |
| KR100213015B1 (ko) | 1994-03-31 | 1999-08-02 | 윤종용 | 양자화 방법 및 회로 |
| JPH0846969A (ja) * | 1994-07-26 | 1996-02-16 | Mitsubishi Electric Corp | 映像信号符号化方式 |
| US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
| US5508752A (en) | 1994-04-12 | 1996-04-16 | Lg Electronics Inc. | Partial response trellis decoder for high definition television (HDTV) system |
| JPH07298272A (ja) | 1994-04-28 | 1995-11-10 | Canon Inc | 映像符号化装置 |
| US5706386A (en) | 1994-05-24 | 1998-01-06 | Sony Corporation | Image information recording method and apparatus, image information reproducing method and apparatus and editing method and system |
| DE69529579D1 (de) | 1994-06-17 | 2003-03-13 | Snell & Wilcox Ltd | Komprimieren eines aus kompressionskodierten Videosignalen nach deren Teildekodierung kombinierten Signales |
| US5521644A (en) | 1994-06-30 | 1996-05-28 | Eastman Kodak Company | Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields |
| KR100213018B1 (ko) | 1994-07-30 | 1999-08-02 | 윤종용 | 동화상 부호화장치 |
| JP3755155B2 (ja) | 1994-09-30 | 2006-03-15 | ソニー株式会社 | 画像符号化装置 |
| JPH0918782A (ja) | 1995-06-29 | 1997-01-17 | Sony Corp | 映像信号処理方法及び装置 |
| MY115648A (en) * | 1995-08-23 | 2003-08-30 | Sony Corp | Encoding/decoding fields of predetermined field polarity apparatus and method |
| JPH0974566A (ja) * | 1995-09-04 | 1997-03-18 | Sony Corp | 圧縮符号化装置及び圧縮符号化データの記録装置 |
| EP0847199B1 (en) | 1995-09-29 | 1999-04-28 | Matsushita Electric Industrial Co., Ltd. | Method, disc and device for encoding seamless-connection of telecine-converted video data |
| JPH09130732A (ja) | 1995-11-01 | 1997-05-16 | Matsushita Electric Ind Co Ltd | シーンチェンジ検出方法および動画像編集装置 |
| US5835163A (en) | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
| US5682204A (en) | 1995-12-26 | 1997-10-28 | C Cube Microsystems, Inc. | Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level |
| US5821991A (en) | 1996-02-28 | 1998-10-13 | C-Cube Microsystems, Inc. | Method and apparatus for inverse telecine process by correlating vectors of pixel differences |
| US5929902A (en) | 1996-02-28 | 1999-07-27 | C-Cube Microsystems | Method and apparatus for inverse telecine processing by fitting 3:2 pull-down patterns |
| US6157674A (en) * | 1996-03-21 | 2000-12-05 | Sony Corporation | Audio and video data transmitting apparatus, system, and method thereof |
| GB9607645D0 (en) | 1996-04-12 | 1996-06-12 | Snell & Wilcox Ltd | Processing of video signals prior to compression |
| JPH09284770A (ja) | 1996-04-13 | 1997-10-31 | Sony Corp | 画像符号化装置および方法 |
| JPH1013826A (ja) | 1996-06-21 | 1998-01-16 | Sony Corp | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体 |
| US7095874B2 (en) | 1996-07-02 | 2006-08-22 | Wistaria Trading, Inc. | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US6643506B1 (en) * | 1996-08-07 | 2003-11-04 | Telxon Corporation | Wireless software upgrades with version control |
| US5793895A (en) | 1996-08-28 | 1998-08-11 | International Business Machines Corporation | Intelligent error resilient video encoder |
| KR100389893B1 (ko) | 1996-11-09 | 2003-09-19 | 삼성전자주식회사 | 영상 특성 분류법을 이용한 영상 부호화 장치 |
| FR2756399B1 (fr) | 1996-11-28 | 1999-06-25 | Thomson Multimedia Sa | Procede et dispositif de compression video pour images de synthese |
| JPH10313463A (ja) | 1997-03-12 | 1998-11-24 | Matsushita Electric Ind Co Ltd | 映像信号符号化方法及び符号化装置 |
| EP0905981B1 (en) * | 1997-03-12 | 2006-06-28 | Matsushita Electric Industrial Co., Ltd. | Video signal coding method and coding device |
| JP3679606B2 (ja) | 1997-04-18 | 2005-08-03 | キヤノン株式会社 | 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体 |
| US6333950B1 (en) | 1997-04-18 | 2001-12-25 | Canon Kabushiki Kaisha | Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded |
| JP3588970B2 (ja) | 1997-04-30 | 2004-11-17 | ソニー株式会社 | 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法 |
| FR2764156B1 (fr) | 1997-05-27 | 1999-11-05 | Thomson Broadcast Systems | Dispositif de pretraitement pour codage mpeg ii |
| US5864369A (en) * | 1997-06-16 | 1999-01-26 | Ati International Srl | Method and apparatus for providing interlaced video on a progressive display |
| US6012091A (en) | 1997-06-30 | 2000-01-04 | At&T Corporation | Video telecommunications server and method of providing video fast forward and reverse |
| KR100226722B1 (ko) * | 1997-07-30 | 1999-10-15 | 구자홍 | 동영상 움직임 벡터 추정 방법 |
| US5978029A (en) | 1997-10-10 | 1999-11-02 | International Business Machines Corporation | Real-time encoding of video sequence employing two encoders and statistical analysis |
| US6574211B2 (en) | 1997-11-03 | 2003-06-03 | Qualcomm Incorporated | Method and apparatus for high rate packet data transmission |
| US5956026A (en) | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
| US6115499A (en) | 1998-01-14 | 2000-09-05 | C-Cube Semiconductor Ii, Inc. | Repeat field detection using checkerboard pattern |
| US6175650B1 (en) | 1998-01-26 | 2001-01-16 | Xerox Corporation | Adaptive quantization compatible with the JPEG baseline sequential mode |
| WO1999043157A1 (en) | 1998-02-19 | 1999-08-26 | Motorola Inc. | System and method for non-causal encoding of video information for improved streaming thereof |
| JP3649370B2 (ja) | 1998-02-25 | 2005-05-18 | 日本ビクター株式会社 | 動き補償符号化装置及び動き補償符号化方法 |
| JP3738939B2 (ja) | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| EP0946054B1 (en) | 1998-03-09 | 2005-06-08 | Sony International (Europe) GmbH | Weighted median filter interpolator |
| US6895048B2 (en) * | 1998-03-20 | 2005-05-17 | International Business Machines Corporation | Adaptive encoding of a sequence of still frames or partially still frames within motion video |
| US6538688B1 (en) * | 1998-07-02 | 2003-03-25 | Terran Interactive | Method and apparatus for performing an automated inverse telecine process |
| JP2000032474A (ja) | 1998-07-08 | 2000-01-28 | Sharp Corp | 動画像符号化装置 |
| JP2000059774A (ja) | 1998-08-06 | 2000-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化制御装置 |
| US6580829B1 (en) | 1998-09-25 | 2003-06-17 | Sarnoff Corporation | Detecting and coding flash frames in video data |
| BR9914117A (pt) | 1998-09-29 | 2001-10-16 | Gen Instrument Corp | Processo e aparelho para detectar mudanças de cena e ajustar o tipo de codificação de imagem em um codificador de televisão de alta definição |
| JP3921841B2 (ja) * | 1998-10-16 | 2007-05-30 | ソニー株式会社 | 信号処理装置および方法、ならびに、記録装置、再生装置および記録再生装置 |
| JP2000209553A (ja) | 1998-11-13 | 2000-07-28 | Victor Co Of Japan Ltd | 情報信号記録装置及び再生装置 |
| US6297848B1 (en) | 1998-11-25 | 2001-10-02 | Sharp Laboratories Of America, Inc. | Low-delay conversion of 3:2 pulldown video to progressive format with field averaging |
| JP3260713B2 (ja) * | 1998-12-21 | 2002-02-25 | 日本電気株式会社 | 無線基地局のプログラムダウンロード方式 |
| US6618507B1 (en) | 1999-01-25 | 2003-09-09 | Mitsubishi Electric Research Laboratories, Inc | Methods of feature extraction of video sequences |
| JP3588564B2 (ja) | 1999-03-31 | 2004-11-10 | 株式会社東芝 | 映像データ記録装置 |
| US6724819B1 (en) * | 1999-04-02 | 2004-04-20 | Matsushitas Electric Industrial Co., Ltd. | Moving picture transmission apparatus, moving picture reception apparatus, and moving picture data record medium |
| JP3591712B2 (ja) | 1999-04-02 | 2004-11-24 | 松下電器産業株式会社 | 動画送信装置及び動画受信装置 |
| JP2000295626A (ja) | 1999-04-08 | 2000-10-20 | Mitsubishi Electric Corp | 多段画像符号化装置 |
| US6325805B1 (en) | 1999-04-23 | 2001-12-04 | Sdgi Holdings, Inc. | Shape memory alloy staple |
| JP4287538B2 (ja) | 1999-04-30 | 2009-07-01 | パナソニック株式会社 | 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム |
| WO2000067486A1 (en) | 1999-04-30 | 2000-11-09 | Koninklijke Philips Electronics N.V. | Video encoding method with selection of b-frame encoding mode |
| GB2352350B (en) | 1999-07-19 | 2003-11-05 | Nokia Mobile Phones Ltd | Video coding |
| JP3669619B2 (ja) * | 1999-09-06 | 2005-07-13 | 富士通株式会社 | 無線端末装置のソフトウェア更新方法及びその装置 |
| DE19951324C2 (de) * | 1999-10-20 | 2003-07-17 | Atotech Deutschland Gmbh | Verfahren und Vorrichtung zum elektrolytischen Behandeln von elektrisch leitfähigen Oberflächen von gegeneinander vereinzelten Platten- und Folienmaterialstücken sowie Anwendung des Verfahrens |
| US6370672B1 (en) | 1999-11-01 | 2002-04-09 | Lsi Logic Corporation | Determining the received data rate in a variable rate communications system |
| GB2359918A (en) | 2000-03-01 | 2001-09-05 | Sony Uk Ltd | Audio and/or video generation apparatus having a metadata generator |
| US6639943B1 (en) | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
| JP2001169251A (ja) | 1999-12-03 | 2001-06-22 | Sony Corp | 記録装置および方法、ならびに、再生装置および方法 |
| US7116717B1 (en) | 1999-12-15 | 2006-10-03 | Bigband Networks, Inc. | Method and system for scalable representation, storage, transmission and reconstruction of media streams |
| US7093028B1 (en) | 1999-12-15 | 2006-08-15 | Microsoft Corporation | User and content aware object-based data stream transmission methods and arrangements |
| US6449002B1 (en) | 1999-12-21 | 2002-09-10 | Thomson Licensing S.A. | Truncated metric for NTSC interference rejection in the ATSC-HDTV trellis decoder |
| JP2001045494A (ja) | 2000-01-01 | 2001-02-16 | Mitsubishi Electric Corp | 画像符号化装置 |
| US6912528B2 (en) | 2000-01-18 | 2005-06-28 | Gregg S. Homer | Rechargeable media distribution and play system |
| JP2001204026A (ja) | 2000-01-21 | 2001-07-27 | Sony Corp | 画像情報変換装置及び方法 |
| IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
| US6600836B1 (en) * | 2000-01-28 | 2003-07-29 | Qualcomm, Incorporated | Quality based image compression |
| CN1168320C (zh) * | 2000-02-01 | 2004-09-22 | 皇家菲利浦电子有限公司 | 对图像预测编码的方法及视频编码器 |
| US6490320B1 (en) | 2000-02-02 | 2002-12-03 | Mitsubishi Electric Research Laboratories Inc. | Adaptable bitstream video delivery system |
| US6542546B1 (en) | 2000-02-02 | 2003-04-01 | Mitsubishi Electric Research Laboratories, Inc. | Adaptable compressed bitstream transcoder |
| US6574279B1 (en) | 2000-02-02 | 2003-06-03 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoding using syntactic and semantic clues |
| JP3960451B2 (ja) | 2000-03-06 | 2007-08-15 | Ｋｄｄｉ株式会社 | シーン特性検出型動画像符号化装置 |
| SE515205C2 (sv) | 2000-03-08 | 2001-06-25 | Sem Ab | Krets för tändförställning, varvtalsbegränsning och förhindrande av baklängesgång i magnettändsystem |
| CA2374067C (en) | 2000-03-13 | 2012-09-25 | Sony Corporation | Method and apparatus for generating compact transcoding hints metadata |
| US20020154705A1 (en) | 2000-03-22 | 2002-10-24 | Walton Jay R. | High efficiency high performance communications system employing multi-carrier modulation |
| JP2003530786A (ja) | 2000-04-07 | 2003-10-14 | スネル アンド ウィルコックス リミテッド | ビデオ信号処理方法 |
| US6867814B2 (en) | 2000-04-18 | 2005-03-15 | Silicon Image, Inc. | Method, system and article of manufacture for identifying the source type and quality level of a video sequence |
| US6507618B1 (en) * | 2000-04-25 | 2003-01-14 | Hewlett-Packard Company | Compressed video signal including independently coded regions |
| EP1152621A1 (en) | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
| JP4517453B2 (ja) | 2000-05-30 | 2010-08-04 | ソニー株式会社 | 画像情報変換装置及び方法並びに符号化装置及び方法 |
| JP2001346214A (ja) | 2000-06-05 | 2001-12-14 | Sony Corp | 画像情報変換装置及び方法 |
| US6647061B1 (en) * | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
| KR100708091B1 (ko) | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
| JP2002010259A (ja) | 2000-06-21 | 2002-01-11 | Mitsubishi Electric Corp | 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体 |
| CA2352729A1 (en) * | 2000-07-13 | 2002-01-13 | Creoscitex Corporation Ltd. | Blazed micro-mechanical light modulator and array thereof |
| US20040125877A1 (en) | 2000-07-17 | 2004-07-01 | Shin-Fu Chang | Method and system for indexing and content-based adaptive streaming of digital video content |
| JP4517475B2 (ja) | 2000-07-26 | 2010-08-04 | ソニー株式会社 | 画像情報変換装置及び方法並びに符号化装置及び方法 |
| KR20020010171A (ko) | 2000-07-27 | 2002-02-04 | 오길록 | 블록 정합 움직임 추정을 위한 적응적 예측 방향성 탐색방법 |
| FI120125B (fi) * | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
| JP2002064817A (ja) | 2000-08-21 | 2002-02-28 | Kddi Research & Development Laboratories Inc | オブジェクトスケーラブル符号化装置 |
| JP3903703B2 (ja) | 2000-09-01 | 2007-04-11 | 株式会社日立製作所 | 順次走査変換回路 |
| JP2002094994A (ja) * | 2000-09-19 | 2002-03-29 | Nec Corp | 動画再生処理装置および動画再生処理方法 |
| US7038736B2 (en) * | 2000-09-21 | 2006-05-02 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
| EP1319309B1 (en) | 2000-09-22 | 2006-11-22 | Koninklijke Philips Electronics N.V. | Hybrid temporal-snr fine granular scalability video coding |
| JP2002101416A (ja) | 2000-09-25 | 2002-04-05 | Fujitsu Ltd | 画像制御装置 |
| US7095814B2 (en) * | 2000-10-11 | 2006-08-22 | Electronics And Telecommunications Research Institute | Apparatus and method for very high performance space-time array reception processing using chip-level beamforming and fading rate adaptation |
| JP2002125227A (ja) | 2000-10-11 | 2002-04-26 | Sony Corp | 画像情報変換装置及び方法 |
| ATE330427T1 (de) | 2000-11-23 | 2006-07-15 | Koninkl Philips Electronics Nv | Videodekodierungsverfahren und entsprechender dekodierer |
| EP1209624A1 (en) | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
| US7058130B2 (en) | 2000-12-11 | 2006-06-06 | Sony Corporation | Scene change detection |
| US6934335B2 (en) | 2000-12-11 | 2005-08-23 | Sony Corporation | Video encoder with embedded scene change and 3:2 pull-down detections |
| US7203238B2 (en) * | 2000-12-11 | 2007-04-10 | Sony Corporation | 3:2 Pull-down detection |
| US6744474B2 (en) * | 2000-12-13 | 2004-06-01 | Thomson Licensing S.A. | Recursive metric for NTSC interference rejection in the ATSC-HDTV trellis decoder |
| US6807234B2 (en) * | 2000-12-19 | 2004-10-19 | Intel Corporation | Method and apparatus for constellation mapping and bitloading in multi-carrier transceivers, such as DMT-based DSL transceivers |
| GB2372394B (en) | 2000-12-22 | 2004-09-22 | Matsushita Electric Ind Co Ltd | Interpolation apparatus and video signal processing apparatus including the same |
| CA2330854A1 (en) | 2001-01-11 | 2002-07-11 | Jaldi Semiconductor Corp. | A system and method for detecting a non-video source in video signals |
| US6987728B2 (en) * | 2001-01-23 | 2006-01-17 | Sharp Laboratories Of America, Inc. | Bandwidth allocation system |
| JP4336051B2 (ja) | 2001-01-31 | 2009-09-30 | 株式会社エヌ・ティ・ティ・ドコモ | 無線通信端末、発呼制限方法及びプログラム |
| US6721361B1 (en) | 2001-02-23 | 2004-04-13 | Yesvideo.Com | Video processing system including advanced scene break detection methods for fades, dissolves and flashes |
| WO2002071639A1 (en) | 2001-03-05 | 2002-09-12 | Intervideo, Inc. | Systems and methods for error resilient encoding |
| KR100783396B1 (ko) * | 2001-04-19 | 2007-12-10 | 엘지전자 주식회사 | 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법 |
| US6947598B2 (en) | 2001-04-20 | 2005-09-20 | Front Porch Digital Inc. | Methods and apparatus for generating, including and using information relating to archived audio/video data |
| US7072975B2 (en) | 2001-04-24 | 2006-07-04 | Wideray Corporation | Apparatus and method for communicating information to portable computing devices |
| US20020163964A1 (en) | 2001-05-02 | 2002-11-07 | Nichols James B. | Apparatus and method for compressing video |
| US6909745B1 (en) | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
| KR100803115B1 (ko) | 2001-06-07 | 2008-02-14 | 엘지전자 주식회사 | 적응 안테나 어레이가 구비된 wｃｄｍａ 시스템에서의 신호 처리 방법 이를 위한 시스템 |
| KR100393066B1 (ko) * | 2001-06-11 | 2003-07-31 | 삼성전자주식회사 | 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법 |
| JP2002051336A (ja) | 2001-06-15 | 2002-02-15 | Sharp Corp | 画像符号化装置及び画像復号装置 |
| US7483581B2 (en) * | 2001-07-02 | 2009-01-27 | Qualcomm Incorporated | Apparatus and method for encoding digital image data in a lossless manner |
| JP2003037844A (ja) | 2001-07-23 | 2003-02-07 | Sharp Corp | 動画像符号化装置 |
| JP3820937B2 (ja) | 2001-08-06 | 2006-09-13 | 株式会社島津製作所 | Ｘ線検査装置 |
| KR100440953B1 (ko) | 2001-08-18 | 2004-07-21 | 삼성전자주식회사 | 영상 압축 비트 스트림의 트랜스코딩 방법 |
| US6959044B1 (en) | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
| US7359466B2 (en) | 2001-08-24 | 2008-04-15 | Lucent Technologies Inc. | Signal detection by a receiver in a multiple antenna time-dispersive system |
| US6784942B2 (en) | 2001-10-05 | 2004-08-31 | Genesis Microchip, Inc. | Motion adaptive de-interlacing method and apparatus |
| TW536918B (en) | 2001-11-01 | 2003-06-11 | Aiptek Int Inc | Method to increase the temporal resolution of continuous image series |
| JP2003209837A (ja) | 2001-11-09 | 2003-07-25 | Matsushita Electric Ind Co Ltd | 動画像符号化方法及び動画像符号化装置 |
| CN1511420A (zh) | 2001-11-09 | 2004-07-07 | 松下电器产业株式会社 | 运动图像编码方法和装置 |
| US6847680B2 (en) | 2001-12-17 | 2005-01-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting talking heads in a compressed video |
| US20030118097A1 (en) | 2001-12-21 | 2003-06-26 | Koninklijke Philips Electronics N.V. | System for realization of complexity scalability in a layered video coding framework |
| KR100446083B1 (ko) | 2002-01-02 | 2004-08-30 | 삼성전자주식회사 | 움직임 추정 및 모드 결정 장치 및 방법 |
| US20030142762A1 (en) * | 2002-01-11 | 2003-07-31 | Burke Joseph P. | Wireless receiver method and apparatus using space-cover-time equalization |
| US7139551B2 (en) | 2002-01-19 | 2006-11-21 | Sasken Communication Technologies Ltd. | System and method for automatically downloading software applications to a remote terminal |
| JP2003224847A (ja) | 2002-01-29 | 2003-08-08 | Sony Corp | 画像符号化装置とその方法、および、画像復号化装置とその方法 |
| US6700935B2 (en) | 2002-02-08 | 2004-03-02 | Sony Electronics, Inc. | Stream based bitrate transcoder for MPEG coded video |
| US6996186B2 (en) * | 2002-02-22 | 2006-02-07 | International Business Machines Corporation | Programmable horizontal filter with noise reduction and image scaling for video encoding system |
| KR100850705B1 (ko) | 2002-03-09 | 2008-08-06 | 삼성전자주식회사 | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 |
| US20060133514A1 (en) * | 2002-03-27 | 2006-06-22 | Walker Matthew D | Video coding and transmission |
| US20030185302A1 (en) | 2002-04-02 | 2003-10-02 | Abrams Thomas Algie | Camera and/or camera converter |
| CA2380105A1 (en) | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
| KR100468726B1 (ko) | 2002-04-18 | 2005-01-29 | 삼성전자주식회사 | 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법 |
| US6985635B2 (en) | 2002-04-22 | 2006-01-10 | Koninklijke Philips Electronics N.V. | System and method for providing a single-layer video encoded bitstreams suitable for reduced-complexity decoding |
| JP4135395B2 (ja) | 2002-04-26 | 2008-08-20 | 日本電気株式会社 | 符号化パケット伝送受信方法およびその装置ならびにプログラム |
| JP3926203B2 (ja) | 2002-05-15 | 2007-06-06 | シャープ株式会社 | コンテンツ表示装置、コンテンツ表示プログラム、該プログラムを記録した記録媒体、およびコンテンツ表示方法 |
| KR100850706B1 (ko) | 2002-05-22 | 2008-08-06 | 삼성전자주식회사 | 적응적 동영상 부호화 및 복호화 방법과 그 장치 |
| US6536688B1 (en) * | 2002-05-24 | 2003-03-25 | Success & Tech Industrial Co., Ltd. | Two-piece hand grip structure of pistol nozzle with flow regulating control knob |
| FR2840495B1 (fr) | 2002-05-29 | 2004-07-30 | Canon Kk | Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage |
| US7436890B2 (en) | 2002-06-05 | 2008-10-14 | Kddi R&D Laboratories, Inc. | Quantization control system for video coding |
| JP2004023288A (ja) | 2002-06-13 | 2004-01-22 | Kddi R & D Laboratories Inc | 動画像符号化のための前処理方式 |
| CN1231055C (zh) | 2002-06-10 | 2005-12-07 | 成都威斯达芯片有限责任公司 | 电视中传送电影场景的数字检测装置 |
| KR100553082B1 (ko) | 2002-06-20 | 2006-02-15 | 엘지전자 주식회사 | 이동통신 단말기의 무선 데이터 다운로드 이어받기 장치및 방법 |
| US7167507B2 (en) | 2002-07-01 | 2007-01-23 | Lucent Technologies Inc. | Equalizer and method for performing equalization in a wireless communications system |
| US7136417B2 (en) | 2002-07-15 | 2006-11-14 | Scientific-Atlanta, Inc. | Chroma conversion optimization |
| JP2005533337A (ja) | 2002-07-16 | 2005-11-04 | トムソン ライセンシング | 拡張層の交互のストリーム識別番号を用いた、ｈｄ−ｄｖｄのための基本層と拡張層のインターリーブ |
| KR100500196B1 (ko) | 2002-07-20 | 2005-07-12 | 학교법인 한국정보통신학원 | 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법 |
| US7089313B2 (en) | 2002-07-25 | 2006-08-08 | Matsushita Electric Industrial Co., Ltd. | Protocol independent communication system for mobile devices |
| JP2005536800A (ja) | 2002-08-21 | 2005-12-02 | トムソン ライセンシング | ユーザ装置におけるデジタルデータへの電子透かし入れ |
| US20040045038A1 (en) * | 2002-08-29 | 2004-03-04 | Duff John F. | System and method for the synchronized activation of external devices in association with video programs |
| US6904081B2 (en) * | 2002-08-30 | 2005-06-07 | Motorola, Inc. | Spread spectrum receiver apparatus and method |
| GB0222562D0 (en) * | 2002-09-28 | 2002-11-06 | Koninkl Philips Electronics Nv | Method and apparatus for encoding image and or audio data |
| AU2003272933A1 (en) * | 2002-10-10 | 2004-05-04 | Fa. M Inc. | Process for the production of resin compositions |
| JP4294933B2 (ja) | 2002-10-16 | 2009-07-15 | 富士通株式会社 | マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置 |
| AU2003265075A1 (en) | 2002-10-22 | 2004-05-13 | Koninklijke Philips Electronics N.V. | Image processing unit with fall-back |
| KR100501933B1 (ko) * | 2002-11-21 | 2005-07-18 | 삼성전자주식회사 | 멀티미디어 데이터 암호화 압축방법 및 장치 |
| AU2003274538A1 (en) | 2002-11-22 | 2004-06-18 | Koninklijke Philips Electronics N.V. | Transcoder for a variable length coded data stream |
| KR100985366B1 (ko) * | 2002-11-25 | 2010-10-04 | 파나소닉 주식회사 | 움직임 보상 방법, 화상 부호화 방법 및 화상 복호화 방법 |
| KR20040046320A (ko) | 2002-11-27 | 2004-06-05 | 엘지전자 주식회사 | 동영상 부호화 방법 |
| JP2006509437A (ja) | 2002-12-10 | 2006-03-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | デジタルビデオ処理に対する統一測定基準（ｕｍｄｖｐ） |
| JP2006512029A (ja) | 2002-12-20 | 2006-04-06 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | セグメントベース動き推定 |
| US7154555B2 (en) | 2003-01-10 | 2006-12-26 | Realnetworks, Inc. | Automatic deinterlacing and inverse telecine |
| US7039855B2 (en) | 2003-01-22 | 2006-05-02 | Lsi Logic Corporation | Decision function generator for a Viterbi decoder |
| DE602004029551D1 (de) | 2003-01-28 | 2010-11-25 | Thomson Licensing | Staggercasting im robusten modus |
| JP2004248124A (ja) | 2003-02-17 | 2004-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 階層的画像符号化装置および階層的画像復号装置 |
| KR20040079084A (ko) | 2003-03-06 | 2004-09-14 | 삼성전자주식회사 | 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치 |
| US7062260B2 (en) | 2003-03-27 | 2006-06-13 | Nokia Corporation | Fetching application and driver for extension device from network |
| US7075581B1 (en) * | 2003-06-03 | 2006-07-11 | Zoran Corporation | Interlaced-to-progressive scan conversion based on film source detection |
| KR100518580B1 (ko) | 2003-06-10 | 2005-10-04 | 삼성전자주식회사 | 인버스 텔레시네 변환장치 및 변환방법 |
| CN100568965C (zh) | 2003-06-16 | 2009-12-09 | 汤姆森许可贸易公司 | 实现压缩视频的快速信道改变的编码方法和设备 |
| WO2004114672A1 (en) | 2003-06-19 | 2004-12-29 | Thomson Licensing S.A. | Method and apparatus for low-complexity spatial scalable encoding |
| KR100505694B1 (ko) * | 2003-07-09 | 2005-08-02 | 삼성전자주식회사 | 직접 계산 방식에 의한 코드화 직교 주파수 분할 다중화수신기의 채널 상태 평가 장치 및 그 방법 |
| US7406123B2 (en) | 2003-07-10 | 2008-07-29 | Mitsubishi Electric Research Laboratories, Inc. | Visual complexity measure for playing videos adaptively |
| GB0316387D0 (en) * | 2003-07-12 | 2003-08-13 | Ncr Int Inc | Software updates |
| TWI357729B (en) | 2003-07-14 | 2012-02-01 | Interdigital Tech Corp | High performance wireless receiver with cluster mu |
| US7356073B2 (en) * | 2003-09-10 | 2008-04-08 | Nokia Corporation | Method and apparatus providing an advanced MIMO receiver that includes a signal-plus-residual-interference (SPRI) detector |
| US7332120B2 (en) | 2003-09-30 | 2008-02-19 | Salflex Polymers Ltd. | Method for molding running board with step plate |
| US20050076057A1 (en) | 2003-10-03 | 2005-04-07 | Puneet Sharma | Method and system for transferring video and audio files to portable computing devices |
| US7840112B2 (en) | 2003-10-08 | 2010-11-23 | Intel Corporation | Gradually degrading multimedia recordings |
| JP2005123732A (ja) | 2003-10-14 | 2005-05-12 | Matsushita Electric Ind Co Ltd | デブロックフィルタ処理装置およびデブロックフィルタ処理方法 |
| KR20050037293A (ko) | 2003-10-18 | 2005-04-21 | 삼성전자주식회사 | 영상신호의 아티팩트 억제장치 및 그 방법 |
| US7780886B2 (en) | 2003-10-21 | 2010-08-24 | Certainteed Corporation | Insulation product having directional facing layer thereon and method of making the same |
| EP1657835A4 (en) | 2003-10-30 | 2008-12-10 | Panasonic Corp | MOBILEND DEVICE ORIENTED TRANSMISSION PROCESS AND DEVICE |
| US9351013B2 (en) * | 2003-11-13 | 2016-05-24 | Qualcomm Incorporated | Selective and/or scalable complexity control for video codecs |
| US7420618B2 (en) * | 2003-12-23 | 2008-09-02 | Genesis Microchip Inc. | Single chip multi-function display controller and method of use thereof |
| CA2553691A1 (en) | 2004-01-21 | 2005-08-04 | Qualcomm Incorporated | Application-based value billing in a wireless subscriber network |
| US7320444B2 (en) | 2004-01-21 | 2008-01-22 | Fujifilm Corporation | Recording tape cartridge |
| US7557861B2 (en) | 2004-01-30 | 2009-07-07 | Broadcom Corporation | Reverse pull-down video using corrective techniques |
| WO2005074147A1 (en) | 2004-01-30 | 2005-08-11 | Universite Laval | Multi-user adaptive array receiver and method |
| US7529426B2 (en) | 2004-01-30 | 2009-05-05 | Broadcom Corporation | Correlation function for signal detection, match filters, and 3:2 pulldown detection |
| US7483077B2 (en) | 2004-01-30 | 2009-01-27 | Broadcom Corporation | Method and system for control of a multi-field deinterlacer including providing visually pleasing start-up and shut-down |
| US20050168656A1 (en) * | 2004-01-30 | 2005-08-04 | Wyman Richard H. | Method and system for quantized historical motion for motion detection in motion adaptive deinterlacer |
| US7324583B2 (en) | 2004-02-13 | 2008-01-29 | Nokia Corporation | Chip-level or symbol-level equalizer structure for multiple transmit and receiver antenna configurations |
| KR100596705B1 (ko) | 2004-03-04 | 2006-07-04 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템 |
| KR100586883B1 (ko) | 2004-03-04 | 2006-06-08 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법 |
| US7339980B2 (en) * | 2004-03-05 | 2008-03-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Successive interference cancellation in a generalized RAKE receiver architecture |
| US20050201478A1 (en) | 2004-03-10 | 2005-09-15 | Holger Claussen | Modulation in a mobile telecommunications system |
| US20050222961A1 (en) | 2004-04-05 | 2005-10-06 | Philippe Staib | System and method of facilitating contactless payment transactions across different payment systems using a common mobile device acting as a stored value device |
| US20050231635A1 (en) | 2004-04-16 | 2005-10-20 | Lin Ken K | Automated inverse telecine process |
| EP1592250A1 (en) | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Film-mode detection in video sequences |
| US7991053B2 (en) | 2004-05-04 | 2011-08-02 | Qualcomm Incorporated | Method and apparatus to enable acquisition of media in streaming applications |
| US7430336B2 (en) | 2004-05-06 | 2008-09-30 | Qualcomm Incorporated | Method and apparatus for image enhancement for low bit rate video compression |
| DE102004026433A1 (de) | 2004-05-29 | 2005-12-22 | Schott Ag | Nanoglaspulver und deren Verwendung |
| US7536262B2 (en) * | 2004-06-01 | 2009-05-19 | Exxonmobil Upstream Research Company | Kalman filter approach to processing electromagnetic data |
| US7536626B2 (en) * | 2004-06-18 | 2009-05-19 | Qualcomm Incorporated | Power control using erasure techniques |
| EP1615447B1 (en) | 2004-07-09 | 2016-03-09 | STMicroelectronics Srl | Method and system for delivery of coded information streams, related network and computer program product therefor |
| JP4145275B2 (ja) * | 2004-07-27 | 2008-09-03 | 富士通株式会社 | 動きベクトル検出・補償装置 |
| KR20060011281A (ko) | 2004-07-30 | 2006-02-03 | 한종기 | 트랜스코더에 적용되는 해상도 변환장치 및 방법 |
| JP2006074684A (ja) | 2004-09-06 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像処理方法及び装置 |
| US7474701B2 (en) * | 2004-09-23 | 2009-01-06 | International Business Machines Corporation | Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames |
| US7528887B2 (en) * | 2004-10-08 | 2009-05-05 | Broadcom Corporation | System and method for performing inverse telecine deinterlacing of video by bypassing data present in vertical blanking intervals |
| US7660987B2 (en) * | 2004-10-29 | 2010-02-09 | Baylis Stephen W | Method of establishing a secure e-mail transmission link |
| KR100592882B1 (ko) * | 2004-12-13 | 2006-06-26 | 한국전자통신연구원 | 세션 초기화 프로토콜(ｓｉｐ) 기능이 없는 이동 단말에인터넷 프로토콜 멀티미디어 서브시스템을 통한 세션초기화 프로토콜 기반 인스턴스 메시징 서비스 제공방법,시스템 및 이를 위한 인스턴스 메시징 프록시 서버 |
| US20060153294A1 (en) | 2005-01-12 | 2006-07-13 | Nokia Corporation | Inter-layer coefficient coding for scalable video coding |
| US8780957B2 (en) | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US20060166739A1 (en) | 2005-01-25 | 2006-07-27 | Jeng-Tay Lin | Operating method for a wireless recreation system |
| KR20060088461A (ko) * | 2005-02-01 | 2006-08-04 | 엘지전자 주식회사 | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 |
| US8693540B2 (en) | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
| US7995656B2 (en) | 2005-03-10 | 2011-08-09 | Qualcomm Incorporated | Scalable video coding with two layer encoding and single layer decoding |
| US7929776B2 (en) | 2005-03-10 | 2011-04-19 | Qualcomm, Incorporated | Method and apparatus for error recovery using intra-slice resynchronization points |
| US9197912B2 (en) | 2005-03-10 | 2015-11-24 | Qualcomm Incorporated | Content classification for multimedia processing |
| DE602006011865D1 (de) | 2005-03-10 | 2010-03-11 | Qualcomm Inc | Decoder-architektur für optimiertes fehlermanagement in multimedia-strömen |
| US8175123B2 (en) | 2005-03-10 | 2012-05-08 | Qualcomm Incorporated | Collection window positioning using time tracking information |
| CN101662683B (zh) | 2005-04-14 | 2012-05-30 | 汤姆森特许公司 | 空间可缩放视频解码方法和空间可缩放视频解码器 |
| US20060239347A1 (en) | 2005-04-25 | 2006-10-26 | Ashish Koul | Method and system for scene change detection in a video encoder |
| US20060271990A1 (en) | 2005-05-18 | 2006-11-30 | Rodriguez Arturo A | Higher picture rate HD encoding and transmission with legacy HD backward compatibility |
| KR100716998B1 (ko) | 2005-05-24 | 2007-05-10 | 삼성전자주식회사 | 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체 |
| US8879856B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Content driven transcoder that orchestrates multimedia transcoding using content information |
| AT502881B1 (de) * | 2005-10-05 | 2007-08-15 | Pirker Wolfgang Ddr | Zahnimplantat |
| US8948260B2 (en) * | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US9521584B2 (en) * | 2005-10-17 | 2016-12-13 | Qualcomm Incorporated | Method and apparatus for managing data flow through a mesh network |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US20070206117A1 (en) | 2005-10-17 | 2007-09-06 | Qualcomm Incorporated | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video |
| US7916784B2 (en) * | 2005-10-20 | 2011-03-29 | Broadcom Corporation | Method and system for inverse telecine and field pairing |
| US7433982B2 (en) | 2005-10-21 | 2008-10-07 | Microsoft Corporation | Transferable component that effectuates plug-and-play |
| US20070171280A1 (en) | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
| JP4984503B2 (ja) * | 2005-11-28 | 2012-07-25 | 富士通株式会社 | 携帯端末装置およびソフトウェアインストール方法 |
| US7587569B2 (en) | 2005-12-19 | 2009-09-08 | Yahoo! Inc. | System and method for removing a storage server in a distributed column chunk data store |
| US7705913B2 (en) * | 2005-12-20 | 2010-04-27 | Lsi Corporation | Unified approach to film mode detection |
| KR101153562B1 (ko) * | 2006-01-26 | 2012-06-11 | 삼성전기주식회사 | 압전 방식의 잉크젯 프린트헤드 및 그 제조방법 |
| US7835904B2 (en) | 2006-03-03 | 2010-11-16 | Microsoft Corp. | Perceptual, scalable audio compression |
| US9131164B2 (en) * | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP4929819B2 (ja) | 2006-04-27 | 2012-05-09 | 富士通株式会社 | 映像信号の変換装置及び方法 |
| JP5039142B2 (ja) * | 2006-10-25 | 2012-10-03 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | 品質スケーラブルな符号化方法 |
| FR2925980B1 (fr) | 2007-12-28 | 2010-06-04 | St Microelectronics Sa | Plot de contact electrique |
| JP5412739B2 (ja) * | 2008-03-26 | 2014-02-12 | 富士通株式会社 | 光増幅装置 |
-
2006
- 2006-09-26 US US11/528,141 patent/US8879856B2/en active Active
- 2006-09-26 US US11/528,139 patent/US8879635B2/en not_active Expired - Fee Related
- 2006-09-26 US US11/528,307 patent/US8879857B2/en not_active Expired - Fee Related
- 2006-09-26 US US11/528,140 patent/US9113147B2/en not_active Expired - Fee Related
- 2006-09-27 TW TW095135900A patent/TWI341097B/zh not_active IP Right Cessation
- 2006-09-27 TW TW095135901A patent/TWI350108B/zh not_active IP Right Cessation
- 2006-09-27 WO PCT/US2006/037994 patent/WO2007038725A2/en active Application Filing
- 2006-09-27 EP EP15169041.9A patent/EP2945363B1/en active Active
- 2006-09-27 EP EP10179387A patent/EP2302932A1/en not_active Withdrawn
- 2006-09-27 WO PCT/US2006/037949 patent/WO2007038702A1/en active Application Filing
- 2006-09-27 AU AU2006294509A patent/AU2006294509B2/en not_active Expired - Fee Related
- 2006-09-27 KR KR1020087010083A patent/KR100988753B1/ko active IP Right Grant
- 2006-09-27 EP EP06815754A patent/EP1932362A1/en not_active Ceased
- 2006-09-27 EP EP10166125.4A patent/EP2227019B1/en not_active Not-in-force
- 2006-09-27 CA CA2623929A patent/CA2623929C/en not_active Expired - Fee Related
- 2006-09-27 TW TW095135902A patent/TWI348866B/zh active
- 2006-09-27 EP EP06815755A patent/EP1938621A2/en not_active Ceased
- 2006-09-27 CN CN201210162458.8A patent/CN102724498B/zh not_active Expired - Fee Related
- 2006-09-27 KR KR1020107014583A patent/KR101242292B1/ko not_active IP Right Cessation
- 2006-09-27 JP JP2008533639A patent/JP5139303B2/ja not_active Expired - Fee Related
- 2006-09-27 JP JP2008533623A patent/JP5149188B2/ja active Active
- 2006-09-27 KR KR1020087010079A patent/KR100989534B1/ko active IP Right Grant
- 2006-09-27 WO PCT/US2006/037948 patent/WO2007038701A1/en active Application Filing
- 2006-09-27 BR BRPI0616426-9A patent/BRPI0616426A2/pt not_active IP Right Cessation
- 2006-09-27 KR KR1020087010084A patent/KR100968106B1/ko not_active IP Right Cessation
- 2006-09-27 EP EP10182837A patent/EP2293539A3/en not_active Ceased
- 2006-09-27 WO PCT/US2006/037993 patent/WO2007038724A1/en active Application Filing
- 2006-09-27 EP EP10181339A patent/EP2293570A1/en not_active Withdrawn
- 2006-09-27 EP EP06815732A patent/EP1941741B1/en active Active
- 2006-09-27 CN CN201010579114.8A patent/CN101982977B/zh active Active
- 2006-09-27 KR KR1020107019260A patent/KR101197508B1/ko not_active IP Right Cessation
- 2006-09-27 AT AT06804241T patent/ATE524926T1/de not_active IP Right Cessation
- 2006-09-27 JP JP2008533622A patent/JP5289959B2/ja not_active Expired - Fee Related
- 2006-09-27 KR KR1020087010082A patent/KR20080066717A/ko not_active Application Discontinuation
- 2006-09-27 JP JP2008533640A patent/JP2009510937A/ja not_active Withdrawn
- 2006-09-27 EP EP06804241A patent/EP1929784B1/en active Active
- 2006-09-27 KR KR1020127021981A patent/KR101326443B1/ko not_active IP Right Cessation
- 2006-09-27 CA CA2805916A patent/CA2805916A1/en not_active Abandoned
- 2006-09-27 TW TW095135898A patent/TWI376952B/zh active
- 2006-09-28 AR ARP060104258A patent/AR056102A1/es active IP Right Grant
- 2006-09-28 AR ARP060104255A patent/AR055665A1/es active IP Right Grant
- 2006-09-28 AR ARP060104256A patent/AR056100A1/es active IP Right Grant
-
2008
- 2008-03-26 IL IL190457A patent/IL190457A0/en unknown
- 2008-04-01 NO NO20081605A patent/NO20081605L/no not_active Application Discontinuation
-
2009
- 2009-08-14 US US12/541,780 patent/US9088776B2/en not_active Expired - Fee Related
-
2012
- 2012-02-13 JP JP2012028724A patent/JP5677992B2/ja active Active
- 2012-02-13 JP JP2012028725A patent/JP5562989B2/ja not_active Expired - Fee Related
- 2012-05-17 JP JP2012113427A patent/JP2012199961A/ja active Pending
-
2013
- 2013-02-06 US US13/760,233 patent/US9071822B2/en active Active
- 2013-02-25 JP JP2013034669A patent/JP2013157994A/ja active Pending
- 2013-06-19 JP JP2013128473A patent/JP2013232935A/ja active Pending
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BRPI0616426A2 (pt) | técnicas de escalabilidade baseadas em informações de conteúdo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] |
Free format text: REFERENTE A 6A ANUIDADE. PAGAR RESTAURACAO. |
|
| B08H | Application fees: decision cancelled [chapter 8.8 patent gazette] |
Free format text: REFERENTE AO DESPACHO 8.6 NA RPI 2256 DE 01/04/2014 |
|
| B08F | Application dismissed because of non-payment of annual fees [chapter 8.6 patent gazette] | ||
| B08K | Patent lapsed as no evidence of payment of the annual fee has been furnished to inpi [chapter 8.11 patent gazette] | ||
| B15K | Others concerning applications: alteration of classification |
Ipc: H04N 19/40 (2014.01), H04N 5/14 (2006.01), H04N 5/ |