JP2009510933A - コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ - Google Patents
コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ Download PDFInfo
- Publication number
- JP2009510933A JP2009510933A JP2008533623A JP2008533623A JP2009510933A JP 2009510933 A JP2009510933 A JP 2009510933A JP 2008533623 A JP2008533623 A JP 2008533623A JP 2008533623 A JP2008533623 A JP 2008533623A JP 2009510933 A JP2009510933 A JP 2009510933A
- Authority
- JP
- Japan
- Prior art keywords
- data
- multimedia data
- encoding
- frame
- data group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 224
- 238000012545 processing Methods 0.000 claims abstract description 86
- 230000033001 locomotion Effects 0.000 claims description 178
- 238000013139 quantization Methods 0.000 claims description 64
- 230000008859 change Effects 0.000 claims description 52
- 238000001514 detection method Methods 0.000 claims description 35
- 238000001914 filtration Methods 0.000 claims description 25
- 238000005070 sampling Methods 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 219
- 230000008569 process Effects 0.000 description 153
- 239000013598 vector Substances 0.000 description 40
- 238000010586 diagram Methods 0.000 description 39
- 230000002123 temporal effect Effects 0.000 description 39
- 230000000007 visual effect Effects 0.000 description 30
- 239000000872 buffer Substances 0.000 description 27
- 238000007906 compression Methods 0.000 description 25
- 230000006835 compression Effects 0.000 description 25
- 230000003044 adaptive effect Effects 0.000 description 23
- 238000004422 calculation algorithm Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 19
- 230000005540 biological transmission Effects 0.000 description 18
- 230000000750 progressive effect Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 16
- 230000006872 improvement Effects 0.000 description 16
- 230000009471 action Effects 0.000 description 12
- 230000002441 reversible effect Effects 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 8
- 238000000638 solvent extraction Methods 0.000 description 8
- 241000023320 Luma <angiosperm> Species 0.000 description 7
- 238000012952 Resampling Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000015556 catabolic process Effects 0.000 description 6
- 238000006731 degradation reaction Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 6
- 238000012856 packing Methods 0.000 description 6
- 239000002356 single layer Substances 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 239000002775 capsule Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000005562 fading Methods 0.000 description 4
- 230000002688 persistence Effects 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000001364 causal effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000004020 luminiscence type Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- NGVDGCNFYWLIFO-UHFFFAOYSA-N pyridoxal 5'-phosphate Chemical compound CC1=NC=C(COP(O)(O)=O)C(C=O)=C1O NGVDGCNFYWLIFO-UHFFFAOYSA-N 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000002939 deleterious effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000003874 inverse correlation nuclear magnetic resonance spectroscopy Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 238000002910 structure generation Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000000101 transmission high energy electron diffraction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
- H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
- H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
Abstract
マルチメディアデータを符号化するのにコンテンツ情報を使用する装置および方法を説明する。マルチメディアデータを処理する方法は、マルチメディアデータを受け取ることと、マルチメディアデータのコンテンツに基づいてマルチメディアデータを第１データグループおよび第２データグループに符号化することであって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、符号化することとを含む。この方法は、マルチメディアデータのコンテンツを分類することと、コンテンツ分類に基づいてマルチメディアデータを符号化することとをも含むことができる。
Description
米国特許法第１１９条の下での優先権の主張
本願は、（ａ）２００５年９月２７日出願の米国仮出願第６０／７２１，４１６号、名称「Ａ ＶＩＤＥＯ ＴＲＡＮＳＣＯＤＥＲ ＦＯＲ ＲＥＡＬ−ＴＩＭＥ ＳＴＲＥＡＭＩＮＧ ＡＮＤ ＭＯＢＩＬＥ ＢＲＯＡＤＣＡＳＴ ＡＰＰＬＩＣＡＴＩＯＮＳ」、（ｂ）２００６年４月４日出願の米国仮出願第６０／７８９，３７７号、名称「Ａ ＶＩＤＥＯ ＴＲＡＮＳＣＯＤＥＲ ＦＯＲ ＲＥＡＬ−ＴＩＭＥ ＳＴＲＥＡＭＩＮＧ ＡＮＤ ＭＯＢＩＬＥ ＢＲＯＡＤＣＡＳＴ ＡＰＰＬＩＣＡＴＩＯＮＳ」、（ｃ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４３号、名称「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＳＰＡＴＩＯ−ＴＥＭＰＯＲＡＬ ＤＥＩＮＴＥＲＬＡＣＩＮＧ ＡＩＤＥＤ ＢＹ ＭＯＴＩＯＮ ＣＯＭＰＥＮＳＡＴＩＯＮ ＦＯＲ ＦＩＥＬＤ−ＢＡＳＥＤ ＶＩＤＥＯ」、（ｄ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４４号、名称「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＳＨＯＴ ＤＥＴＥＣＴＩＯＮ ＩＮ ＶＩＤＥＯ ＳＴＲＥＡＭＩＮＧ」、（ｅ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４０号、名称「Ａ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＵＳＩＮＧ ＡＮ ＡＤＡＰＴＩＶＥ ＧＯＰ ＳＴＲＵＣＴＵＲＥ ＩＮ ＶＩＤＥＯ ＳＴＲＥＡＭＩＮＧ」、（ｆ）２００５年１０月２４日出願の米国仮出願第６０／７３０，１４５号、名称「ＩＮＶＥＲＳＥ ＴＥＬＥＣＩＮＥ ＡＬＧＯＲＩＴＨＭ ＢＡＳＥＤ ＯＮ ＳＴＡＴＥ ＭＡＣＨＩＮＥ」、および（ｇ）２００６年４月３日出願の米国仮出願第６０／７８９，０４８号、名称「ＳＰＡＴＩＯ−ＴＥＭＰＯＲＡＬ ＤＥＩＮＴＥＲＬＡＣＩＮＧ ＡＩＤＥＤ ＢＹ ＭＯＴＩＯＮ ＣＯＭＰＥＮＳＡＴＩＯＮ ＦＯＲ ＦＩＥＬＤ−ＢＡＳＥＤ ＭＵＬＴＩＭＥＤＩＡ ＤＡＴＡ」の優先権を主張するものである。この７つの米国仮出願のすべてが、本願の譲受人に譲渡され、参照によって本明細書に明示的に組み込まれている。
本願は、（ａ）２００５年９月２７日出願の米国仮出願第６０／７２１，４１６号、名称「Ａ ＶＩＤＥＯ ＴＲＡＮＳＣＯＤＥＲ ＦＯＲ ＲＥＡＬ−ＴＩＭＥ ＳＴＲＥＡＭＩＮＧ ＡＮＤ ＭＯＢＩＬＥ ＢＲＯＡＤＣＡＳＴ ＡＰＰＬＩＣＡＴＩＯＮＳ」、（ｂ）２００６年４月４日出願の米国仮出願第６０／７８９，３７７号、名称「Ａ ＶＩＤＥＯ ＴＲＡＮＳＣＯＤＥＲ ＦＯＲ ＲＥＡＬ−ＴＩＭＥ ＳＴＲＥＡＭＩＮＧ ＡＮＤ ＭＯＢＩＬＥ ＢＲＯＡＤＣＡＳＴ ＡＰＰＬＩＣＡＴＩＯＮＳ」、（ｃ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４３号、名称「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＳＰＡＴＩＯ−ＴＥＭＰＯＲＡＬ ＤＥＩＮＴＥＲＬＡＣＩＮＧ ＡＩＤＥＤ ＢＹ ＭＯＴＩＯＮ ＣＯＭＰＥＮＳＡＴＩＯＮ ＦＯＲ ＦＩＥＬＤ−ＢＡＳＥＤ ＶＩＤＥＯ」、（ｄ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４４号、名称「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＳＨＯＴ ＤＥＴＥＣＴＩＯＮ ＩＮ ＶＩＤＥＯ ＳＴＲＥＡＭＩＮＧ」、（ｅ）２００５年１０月１７日出願の米国仮出願第６０／７２７，６４０号、名称「Ａ ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＵＳＩＮＧ ＡＮ ＡＤＡＰＴＩＶＥ ＧＯＰ ＳＴＲＵＣＴＵＲＥ ＩＮ ＶＩＤＥＯ ＳＴＲＥＡＭＩＮＧ」、（ｆ）２００５年１０月２４日出願の米国仮出願第６０／７３０，１４５号、名称「ＩＮＶＥＲＳＥ ＴＥＬＥＣＩＮＥ ＡＬＧＯＲＩＴＨＭ ＢＡＳＥＤ ＯＮ ＳＴＡＴＥ ＭＡＣＨＩＮＥ」、および（ｇ）２００６年４月３日出願の米国仮出願第６０／７８９，０４８号、名称「ＳＰＡＴＩＯ−ＴＥＭＰＯＲＡＬ ＤＥＩＮＴＥＲＬＡＣＩＮＧ ＡＩＤＥＤ ＢＹ ＭＯＴＩＯＮ ＣＯＭＰＥＮＳＡＴＩＯＮ ＦＯＲ ＦＩＥＬＤ−ＢＡＳＥＤ ＭＵＬＴＩＭＥＤＩＡ ＤＡＴＡ」の優先権を主張するものである。この７つの米国仮出願のすべてが、本願の譲受人に譲渡され、参照によって本明細書に明示的に組み込まれている。
同時係属特許出願の参照
本願は、本願の譲受人に譲渡され、参照によって本明細書に明白に組み込まれている、２００６年３月１０日出願の米国仮出願第１１／３７３，５７７号、名称「ＣＯＮＴＥＮＴ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＦＯＲ ＭＵＬＴＩＭＥＤＩＡ ＰＲＯＣＥＳＳＩＮＧ」に関連する。
本願は、本願の譲受人に譲渡され、参照によって本明細書に明白に組み込まれている、２００６年３月１０日出願の米国仮出願第１１／３７３，５７７号、名称「ＣＯＮＴＥＮＴ ＣＬＡＳＳＩＦＩＣＡＴＩＯＮ ＦＯＲ ＭＵＬＴＩＭＥＤＩＡ ＰＲＯＣＥＳＳＩＮＧ」に関連する。
本願は、リアルタイムストリーミング用のビデオデータのビデオトランスコーディングの装置および方法を対象とし、より具体的には、移動体ブロードキャストアプリケーションでのリアルタイムストリーミング用のビデオデータのトランスコーディングを対象とする。
効率的なビデオ圧縮は、制限された帯域幅リソースおよび使用可能帯域幅の変動性に起因して、無線ビデオストリーミングおよびビデオテレフォニなどの多数のマルチメディアアプリケーションで有用である。ＭＰＥＧ−４（ＩＳＯ／ＩＥＣ）、Ｈ．２６４（国際電気通信連合）、または類似するビデオ符号化など、ある種のビデオ符号化標準規格は、無線ブロードキャスティングなどの応用によく適する高効率符号化を提供する。一部のマルチメディアデータ、たとえばディジタルテレビジョンプレゼンテーションは、一般に、ＭＰＥＧ−２などの他の標準規格に従って符号化される。したがって、トランスコーダが、無線ブロードキャスティングの前に、ある標準規格（たとえば、ＭＰＥＧ−２）に従って符号化されたマルチメディアデータを別の標準規格（たとえば、Ｈ．２６４）にトランスコーディングしまたは変換するのに使用される。
レートが最適化されたコーデックの改善は、誤り弾力性（error resiliency）、誤り回復、およびスケーラビリティにおける利益を提供することができる。さらに、マルチメディアデータ自体から判定される情報の使用は、誤り弾力性、誤り回復、およびスケーラビリティを含む符号化に関する追加の改善をも提供することができる。したがって、マルチメディアデータ自体から決定される情報を使用するマルチメディアデータの高効率の処理および圧縮を提供し、スケーラブルであり、ストリーミングマルチメディア情報の移動体ブロードキャスティングを含む多数のマルチメディアデータ応用での使用に関して誤りに柔軟であるトランスコーダの必要が存在する。
米国仮出願第６０／７２１，４１６号
米国仮出願第６０／７８９，３７７号
米国仮出願第６０／７２７，６４３号
米国仮出願第６０／７２７，６４４号
米国仮出願第６０／７２７，６４０号
米国仮出願第６０／７３０，１４５号
米国仮出願第６０／７８９，０４８号
米国仮出願第１１／３７３，５７７号
米国特許出願［弁理士整理番号第０５００７８号］、名称「ＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＣＯＤＩＮＧ ＷＩＴＨ ＴＷＯ ＬＡＹＥＲ ＥＮＣＯＤＩＮＧ ＡＮＤ ＳＩＮＧＬＥ ＬＡＹＥＲ ＤＥＣＯＤＩＮＧ」
「Ｉｄｅａｌ ｓｐａｔｉａｌ ａｄａｐｔａｔｉｏｎ ｂｙ ｗａｖｅｌｅｔ ｓｈｒｉｎｋａｇｅ」、Ｄ．Ｌ．ＤｏｎｏｈｏおよびＩ．Ｍ．Ｊｏｈｎｓｔｏｎｅ、Ｂｉｏｍｅｔｒｉｋａ、ｖｏｌ．８、４２５〜４５５頁、１９９４年
Ｓ．Ｐ．Ｇｈａｅｌ、Ａ．Ｍ．Ｓａｙｅｅｄ、およびＲ．Ｇ．Ｂａｒａｎｉｕｋ、「Ｉｍｐｒｏｖｅｍｅｎｔ Ｗａｖｅｌｅｔ ｄｅｎｏｉｓｉｎｇ ｖｉａ ｅｍｐｉｒｉｃａｌ Ｗｉｅｎｅｒ ｆｉｌｔｅｒｉｎｇ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ、ｖｏｌ．３１６９、３８９〜３９９頁、Ｓａｎ Ｄｉｅｇｏ、１９９７年７月
ＲＰ ２７．３−１９８９（Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｓａｆｅ Ａｃｔｉｏｎ ａｎｄ Ｓａｆｅ Ｔｉｔｌｅ Ａｒｅａｓ Ｔｅｓｔ Ｐａｔｔｅｒｎ ｆｏｒ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ）
説明され図示される発明的なコンテンツベースのトランスコーディングの装置および方法のそれぞれは、複数の態様を有し、どの単一の態様も、その望ましい属性の責任を単独で負うものではない。本開示の範囲を限定せずに、そのより顕著な特徴を、これから短く説明する。この議論を考慮した後に、特に「詳細な説明」と題するセクションを読んだ後に、このコンテンツ駆動トランスコーディングの特徴が、マルチメディアデータ処理の装置および方法に関する改善をどのように提供するかが理解されるであろう。
本明細書で説明する発明的態様は、マルチメディアデータを符号化するさまざまな方法のために、および符号化器、たとえばトランスコーダ内で使用される符号化器のさまざまなモジュールまたは構成要素内で、コンテンツ情報を使用することに関する。トランスコーダは、コンテンツ情報を使用してマルチメディアデータのトランスコーディングを調整することができる。コンテンツ情報は、別のソース、たとえばビデオと共に受け取られるメタデータから受け取ることができる。トランスコーダを、さまざまな異なる処理動作を介してコンテンツ情報を生成するように構成することができる。いくつかの態様で、トランスコーダは、マルチメディアデータのコンテンツ分類を生成し、このコンテンツ分類が、その後、１つまたは複数の符号化処理に使用される。いくつかの態様で、コンテンツ駆動トランスコーダは、マルチメディアデータの空間的および時間的なコンテンツ情報を決定し、チャネルにまたがるコンテンツを意識した均一な品質の符号化およびコンテンツ分類ベースの圧縮／ビット割当にそのコンテンツ情報を使用することができる。
いくつかの態様において、マルチメディアデータのコンテンツ情報（たとえば、メタデータ、コンテンツメトリックス、および／またはコンテンツ分類）が、取得されまたは計算され、その後、符号化に関するマルチメディアデータの処理に使用するためにトランスコーダの構成要素に供給される。たとえば、プリプロセッサが、シーン変化検出、逆テレシネ（「ＩＶＴＣ」）の実行、デインターレーシング、動き補償および雑音抑圧（たとえば、２Ｄウェーブレット変換）、ならびに時空間雑音低減、たとえば人為的な結果の除去、デリンギング（de-ringing）、デブロッキング、および／または雑音除去に、ある種のコンテンツ情報を使用することができる。いくつかの態様で、プリプロセッサは、空間分解能ダウンサンプリング、たとえば、標準品位（ＳＤ）からＱｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ（ＱＶＧＡ）にダウンサンプリングする時の適当な「セーフ」エリア（safe area）および「アクションハンドリング」エリア（action handling area）の判定に、コンテンツ情報を使用することもできる。
いくつかの態様において、符号化器は、コンテンツ情報を計算するように構成されたコンテンツ分類モジュールを含む。符号化器は、動き推定、たとえばカラー動き推定（ＭＥ）の実行、動きベクトル（ＭＶ）予測の実行のためにＭＢごとに量子化パラメータ（ＱＰ）を決定する際のビットレート制御（たとえば、ビット割当）、ベースレイヤおよびエンハンスメントレイヤを提供する際のスケーラビリティ、ならびにたとえば適応イントラリフレッシュ、境界整列処理、およびエンハンスメントレイヤでの冗長Ｉフレームデータの提供を含む予測階層方式および誤り弾力性方式に影響を与えるためにコンテンツ分類を使用することによる誤り弾力性にコンテンツ分類を使用することができる。いくつかの態様で、トランスコーダは、チャネルにまたがる最適なマルチメディアデータ品質を維持するためにデータ多重化装置と協調してコンテンツ分類を使用する。いくつかの態様で、符号化器は、高速なチャネルの切替を可能にするために、符号化されたデータ内にＩフレームが周期的に現れることを強制するのにコンテンツ分類情報を使用することができる。そのような実施態様は、誤り弾力性のために符号化されたデータ内で要求される可能性があるＩブロックを利用することもでき、ランダムアクセスの切替および誤り弾力性（たとえば、コンテンツ分類に基づく）を、予測階層を介して効果的に組み合わせて、符号化効率を改善すると同時に誤りに対する頑健性を高めることができる。
一態様において、マルチメディアデータを処理する方法は、マルチメディアデータを受け取ることと、マルチメディアデータのコンテンツに基づいてマルチメディアデータを第１データグループおよび第２データグループに符号化することであって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、符号化することとを含む。第１の態様の一態様で、第１データグループは、ＩフレームおよびＰフレームを備え、第２データグループは、Ｉフレーム、Ｐフレーム、およびＢフレームを備える。もう１つの態様において、第１データグループは、ベースレイヤを備え、第２データグループは、エンハンスメントレイヤを備える。第３の態様で、この方法は、マルチメディアデータのコンテンツを分類することをさらに備え、符号化は、コンテンツ分類に基づく。第４の態様において、符号化は、第１データグループを符号化するためのマルチメディアデータの第１量子化パラメータを決定することと、第２データグループを符号化するための第２量子化パラメータを決定することとを備え、第１量子化パラメータおよび第２量子化パラメータの決定は、コンテンツ分類に基づく。第５の態様において、符号化は、コンテンツ分類に基づいてマルチメディアデータの少なくとも一部のビットレートを割り当てることを備える。第６の態様において、符号化は、さらに、シーン変化を検出するのにコンテンツ分類を使用することと、検出されたシーン変化に基づいて第１データグループおよび第２データグループ内にＩフレームを含めるかどうかを決定することとを含む。第７の態様において、符号化は、コンテンツ分類に基づいてマルチメディアデータを符号化するフレームレートを決定することを含む。第８の態様において、符号化は、コンテンツ分類に基づいてマルチメディアデータの動き推定を実行することを含む。第９の態様において、この方法は、第１データグループの符号化の第１フレームレートを決定することと、第２データグループの符号化の第２フレームレートを決定することとをも含み、第１フレームレートは、第２フレームレートより低い。第１０の態様において、符号化は、コンテンツ分類に基づいてマルチメディアデータに対して誤り弾力性処理を実行することを含む。第１１の態様において、符号化は、第２データグループが使用可能でない場合に表示可能なマルチメディアデータを形成するために第１データグループを復号化することができ、第１データグループと第２データグループとの両方が使用可能である場合に表示可能なマルチメディアデータを形成するために第１データグループおよび第２データグループを組み合わせて復号化することができるように、第１データグループおよび第２データグループを符号化することを含む。第１２の態様において、第１量子化パラメータは、データを符号化するための第１ステップサイズを含み、第２量子化パラメータは、データを符号化するための第２ステップサイズを含み、第１ステップサイズは、第２ステップサイズより大きい。第１３の態様において、この方法は、マルチメディアデータのコンテンツを分類することをさらに備え、符号化は、コンテンツ分類に基づき、符号化は、コンテンツ分類に基づいてマルチメディアデータ内の雑音を減らすことを備える。第１４の態様において、雑音を減らすことは、人為的な結果の除去を実行することを含む。第１５の態様において、雑音を減らすことは、デリンギングフィルタを用いてマルチメディアデータの少なくとも一部を処理することを備え、デリンギングフィルタの強さは、マルチメディアデータのコンテンツに基づく。第１６の態様において、雑音を減らすことは、デブロッキングフィルタを用いてマルチメディアデータの少なくとも一部を処理することを含み、デブロッキングフィルタの強さは、マルチメディアデータのコンテンツに基づく。第１７の態様において、雑音を減らすことは、マルチメディアデータの選択された周波数をフィルタリングすることを含む。第１８の態様において、デリンギングフィルタの強さは、マルチメディアデータのコンテンツ分類に基づく。第１９の態様において、デブロッキングフィルタの強さは、マルチメディアデータのコンテンツ分類に基づく。第２０の態様において、符号化は、マルチメディアデータをダウンサンプリングすることを備える。最後に、第２１の態様において、符号化は、マルチメディアデータの符号化のビットレートを決定するために、マルチメディアデータに品質レベルを関連付けることと、マルチメディアデータの品質レベルおよびコンテンツ情報を使用することとを含む。
第２の態様において、マルチメディアデータを処理する装置は、マルチメディアデータを受け取り、マルチメディアデータのコンテンツに基づいてマルチメディアデータを第１データグループおよび第２データグループに符号化するように構成された符号化器であって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、符号化器を含む。第１の態様の一態様において、符号化器は、マルチメディアデータのコンテンツ分類を決定するように構成されたコンテンツ分類モジュールを含み、符号化モジュールは、さらに、コンテンツ分類に基づいてマルチメディアデータを符号化するように構成される。第２の態様において、符号化器は、さらに、第１データグループを符号化するためのマルチメディアデータの第１量子化パラメータおよび第２データグループを符号化するための第２量子化パラメータを決定するように構成され、第１量子化パラメータおよび第２量子化パラメータの決定は、マルチメディアデータのコンテンツ分類に基づく。第３の態様において、符号化器は、コンテンツ分類に基づいてマルチメディアデータの動き推定を実行し、データ動き補償情報を生成するように構成された動き推定モジュールを備え、符号化モジュールは、さらに、マルチメディアデータを符号化するのに動き補償情報を使用するように構成される。第４の態様において、符号化器は、コンテンツ分類に基づいてマルチメディアデータの量子化パラメータを決定する量子化モジュールをも含み、符号化器は、さらに、マルチメディアデータを符号化するのに量子化パラメータを使用するように構成される。第５の態様において、符号化器は、さらに、コンテンツ分類に基づいてマルチメディアデータの少なくとも一部のビットレートを提供するように構成されたビット割当モジュールをも含む。第６の態様において、符号化器は、シーン変化を検出するように構成されたシーン変化検出モジュールをも含み、符号化モジュールは、さらに、検出されたシーン変化に基づいて、符号化されたマルチメディアデータにＩフレームを含めるように構成される。第７の態様において、符号化器は、コンテンツ分類に基づいてマルチメディアデータのフレームレートを決定するように構成されたフレームレートモジュールをも含み、符号化モジュールは、フレームレートに基づいてマルチメディアデータを符号化する。第８の態様において、符号化器は、コンテンツ分類に基づいて第１データグループおよび第２データグループを符号化するようにも構成される。第９の態様において、符号化器は、さらに、コンテンツ分類に基づいてマルチメディアデータに対して誤り処理を実行するようにも構成される。
第３の態様において、マルチメディアデータを処理する装置は、マルチメディアデータを受け取るための手段と、マルチメディアデータのコンテンツに基づいてマルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化するための手段であって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、符号化するための手段とを含む。第１の態様の一態様において、受け取るための手段は、符号化器を備える。もう１つの態様において、符号化するための手段は、符号化器を備える。第３の態様において、符号化するための手段は、マルチメディアデータのコンテンツ分類を決定するための手段を備え、符号化するための手段は、コンテンツ分類に基づいてマルチメディアデータを符号化する。第４の態様において、符号化するための手段は、符号化器を備えるトランスコーダを備える。
第４の態様において、機械可読媒体は、実行時に、機械に、マルチメディアデータを受け取ることと、マルチメディアデータのコンテンツに基づいてマルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化することであって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化されるような、符号化することとを行わせる命令を備える。第４の態様の一態様において、コンピュータ可読媒体は、マルチメディアデータのコンテンツを示すコンテンツ分類を生成する命令をさらに備え、マルチメディアデータの符号化された第１データグループおよび符号化された第２データグループへの符号化は、コンテンツ分類に基づいてマルチメディアデータを符号化することを含む。もう１つの態様において、符号化は、第１データグループを符号化するためのマルチメディアデータの第１量子化パラメータを決定することとおよび第２データグループを符号化するための第２量子化パラメータを決定することとを備え、第１量子化パラメータおよび第２量子化パラメータを決定することは、コンテンツ分類に基づく。第３の態様で、マルチメディアデータを符号化する命令は、マルチメディアデータのコンテンツに基づいてマルチメディアデータの少なくとも一部のビットレートを割り当てる命令を含む。
第５の態様において、プロセッサは、マルチメディアデータを受け取り、マルチメディアデータのコンテンツに基づいてマルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化する構成であって、第１データグループが、第２データグループと独立に復号化可能であるように構成され、第１データグループおよび第２データグループが、異なる品質レベルで符号化される、構成を備える。第５の態様の一態様において、プロセッサは、さらに、マルチメディアデータのコンテンツを示すコンテンツ分類を生成する構成をさらに備え、符号化は、コンテンツ分類に基づいてマルチメディアデータを符号化することを備える。もう１つの態様において、プロセッサは、さらに、第１データグループを符号化するためのマルチメディアデータの第１量子化パラメータおよび第２データグループを符号化するための第２量子化パラメータを決定する構成を備え、第１量子化パラメータおよび第２量子化パラメータは、コンテンツ分類に基づく。
適当な場合に、図面の複数の図を通じて同様の符号が同様の部分を指すことに留意されたい。
次の詳細な説明は、この開示で論じられるある種の態様を対象とする。しかし、本発明を、複数の異なる形で実施することができる。本明細書での「一態様」または「態様」への言及は、その態様に関連して説明される特定の特徴、構造、または特性が、少なくとも１つの態様に含まれることを意味する。本明細書のさまざまな場所での句「一態様において」、「一態様による」、または「いくつかの態様において」の出現は、必ずしもすべてが同一の態様に言及しているのではなく、他の態様と相互に排他的な別々の態様または代替の態様でもない。さらに、一部の態様によって示されるが他の態様によっては示されない場合があるさまざまな特徴を説明する。同様に、一部の態様の要件であるが他の態様の要件ではない場合があるさまざまな要件を説明する。
次の説明は、例の完全な理解を提供するために詳細を含む。しかし、当業者は、例または態様に含まれる処理またはデバイスのすべての詳細が本明細書で説明されないか図示されない場合であっても、これらの例を実践できることを理解する。たとえば、電気的な構成要素が、不必要な詳細において例を不明瞭にしないようにするために、その構成要素のすべての電気的な接続またはすべての電気的な要素を示してはいないブロック図で示される場合がある。他の場合に、そのような構成要素、他の構造、および技法が、例をさらに説明するために詳細に示される場合がある。
本開示は、符号化されるマルチメディアデータのコンテンツ情報を使用して符号化およびトランスコーディングの装置および方法を制御することに関する。「コンテンツ情報」または「コンテンツ」（マルチメディアデータの）は、マルチメディアデータのコンテンツに関する情報を意味する広義の用語であり、たとえば、メタデータ、マルチメディアデータから計算されるメトリックス、およびたとえばコンテンツ分類など、１つまたは複数のメトリックスに関連するコンテンツ関連情報を含めることができる。コンテンツ情報は、特定の応用例に応じて、符号化器に供給するか、符号化器によって決定することができる。コンテンツ情報は、シーン変化検出、時間的処理、時空間雑音低減、ダウンサンプリング、量子化のためのビットレートの決定、スケーラビリティ、誤り弾力性、ブロードキャストチャネルにまたがる最適なマルチメディア品質の維持、および高速なチャネルの切替を含む、マルチメディアデータ符号化の多数の態様に使用することができる。これらの態様のうちの１つまたは複数を使用して、トランスコーダは、マルチメディアデータの処理を調整し、コンテンツに関連して符号化されたマルチメディアデータを作ることができる。トランスコーディングの態様を説明する本明細書の説明および図面は、符号化の態様および復号化の態様に適用可能とすることもできる。
トランスコーダの装置および方法は、あるフォーマットから別のフォーマットへのトランスコーディングに関し、本明細書では、いくつかの態様の実例となる移動体デバイスへの無線チャネルを介する伝送のための、質を高められたスケーラブルなＨ．２６４フォーマットへのＭＰＥＧ−２ビデオのトランスコーディングに関して具体的に説明される。しかし、Ｈ．２６４フォーマットへのＭＰＥＧ−２ビデオのトランスコーディングの説明は、本発明の範囲を限定するものとして意図されたものではなく、本発明のいくつかの態様の例示にすぎない。開示される装置および方法は、ランダムアクセス機能およびレイヤリング機能を有する誤りに対して弾力的な符号化をサポートする非常に効率的なアーキテクチャを提供し、ＭＰＥＧ−２およびＨ．２６４以外のビデオフォーマットのトランスコーディングおよび／または符号化にも適用可能とすることができる。
本明細書で使用される「マルチメディアデータ」または単に「マルチメディア」は、ビデオデータ（オーディオデータをも含むことができる）、オーディオデータ、またはビデオデータとオーディオデータとの両方を含む広義の用語である。本明細書で使用される「ビデオデータ」または「ビデオ」は、テキスト、画像情報、および／またはオーディオデータを含む１つまたは複数の画像または画像の関連するシーケンスを含むフレームベースのデータまたはフィールドベースのデータを指す広義の用語であり、そうではないと指定されない限り、マルチメディアデータを指すのに使用することができる（たとえば、これらの用語を交換可能に使用することができる）。
下の説明は、マルチメディアデータを符号化するためにコンテンツ情報を使用することができる、トランスコーダのさまざまな構成要素の例および処理の例である。
マルチメディアブロードキャストシステム
図１Ａは、マルチメディアデータブロードキャストシステム１００のいくつかの態様のデータの流れを示すブロック図である。システム１００内で、マルチメディアデータ供給器１０６が、符号化されたマルチメディアデータ１０４をトランスコーダ２００に通信する。符号化されたマルチメディアデータ１０４は、トランスコーダ２００によって受け取られ、トランスコーダ２００は、ブロック１１０内でマルチメディアデータ１０４を生のマルチメディアデータへと処理する。ブロック１１０での処理は、符号化されたマルチメディアデータ１０４を復号化し、解析し、さらに、別のフォーマットに符号化するためにマルチメディアデータを準備するためにマルチメディアデータを処理する。復号化されたマルチメディアデータは、ブロック１１２に供給され、ここで、マルチメディアデータが、所定のマルチメディアフォーマットまたはマルチメディア標準規格に符号化される。マルチメディアデータが一旦符号化されたならば、ブロック１１４で、そのマルチメディアデータを、たとえば無線ブロードキャストシステム（たとえば、セルラ電話ブロードキャスト網または別の通信網を介して）を介した伝送のために準備する。いくつかの態様において、受け取られたマルチメディアデータ１０４は、ＭＰＥＧ−２標準規格に従って符号化されている。トランスコーディングされたマルチメディアデータ１０４が復号化された後に、トランスコーダ２００は、そのマルチメディアデータをＨ．２６４標準規格に符号化する。
図１Ａは、マルチメディアデータブロードキャストシステム１００のいくつかの態様のデータの流れを示すブロック図である。システム１００内で、マルチメディアデータ供給器１０６が、符号化されたマルチメディアデータ１０４をトランスコーダ２００に通信する。符号化されたマルチメディアデータ１０４は、トランスコーダ２００によって受け取られ、トランスコーダ２００は、ブロック１１０内でマルチメディアデータ１０４を生のマルチメディアデータへと処理する。ブロック１１０での処理は、符号化されたマルチメディアデータ１０４を復号化し、解析し、さらに、別のフォーマットに符号化するためにマルチメディアデータを準備するためにマルチメディアデータを処理する。復号化されたマルチメディアデータは、ブロック１１２に供給され、ここで、マルチメディアデータが、所定のマルチメディアフォーマットまたはマルチメディア標準規格に符号化される。マルチメディアデータが一旦符号化されたならば、ブロック１１４で、そのマルチメディアデータを、たとえば無線ブロードキャストシステム（たとえば、セルラ電話ブロードキャスト網または別の通信網を介して）を介した伝送のために準備する。いくつかの態様において、受け取られたマルチメディアデータ１０４は、ＭＰＥＧ−２標準規格に従って符号化されている。トランスコーディングされたマルチメディアデータ１０４が復号化された後に、トランスコーダ２００は、そのマルチメディアデータをＨ．２６４標準規格に符号化する。
図１Ｂは、図１Ａのブロック１１０および１１２での処理を実行するように構成できるトランスコーダ１３０のブロック図である。トランスコーダ１３０を、マルチメディアデータを受け取り、そのマルチメディアデータを復号化し、パケット化された基本のストリーム（たとえば、サブタイトル、オーディオ、メタデータ、「生」ビデオ、ＣＣデータ、およびプレゼンテーションタイムスタンプ）に解析し、これを所望のフォーマットに符号化し、さらなる処理または伝送のために符号化されたデータを供給するように構成することができる。データを複数のデータグループ、たとえば符号化された第１データグループおよび符号化された第２データグループに供給するように、トランスコーダ１３０を構成することができ、これを、階層化された符号化（layered encoding）と称する。複数の態様のいくつかの例で、階層化された符号化方式でのさまざまなデータグループ（または層）を、異なるレベルの品質で符号化し、第１データグループ内で符号化されるデータが第２データグループ内で符号化されるデータより低い品質を有する（たとえば、表示された時により低い視覚的品質レベルをもたらす）ようにフォーマットすることができる。
図１Ｃは、マルチメディアデータをトランスコーディングするように構成でき、図１Ａのブロック１１０および１１２に示された処理の一部またはすべてを実行するように構成できる、プロセッサ１４０のブロック図である。プロセッサ１４０は、復号化、解析、前処理、および符号化を含む本明細書で説明するトランスコーディング処理のうちの１つまたは複数を実行し、処理にコンテンツ情報を使用する、モジュール１２４ａ…ｎを含むことができる。プロセッサ１４０は、内部メモリ１２２をも含み、プロセッサ１４０を、「直接に」または「別のデバイスを介して間接に」のいずれかで外部メモリ１２０と通信するように構成することができる。プロセッサ１４０は、プロセッサ１４０の外部の１つまたは複数のデバイスと通信するように構成された通信モジュール１２６をも含み、それはマルチメディアデータを受け取るため、および第１データグループ内で符号化されたデータおよび第２データグループ内で符号化されたデータなどのような符号化されたデータを供給するためを含む。複数の態様のいくつかの例で、階層化された符号化方式でのさまざまなデータグループ（または層）を、異なるレベルの品質で符号化し、第１データグループ内で符号化されるデータが第２データグループ内で符号化されるデータより低い品質を有する（たとえば、表示された時により低い視覚的品質レベルをもたらす）ようにフォーマットすることができる。
トランスコーダ１３０またはプリプロセッサ１４０（トランスコーディング用に構成された）の構成要素とそれに含まれる処理とを、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはその任意の組合せで実施することができる。たとえば、パーサ、復号化器、プリプロセッサ、または符号化器を、独立型の構成要素とするか、別のデバイスの構成要素にハードウェア、ファームウェア、ミドルウェアとして組み込むか、プロセッサ上で実行されるマイクロコードまたはソフトウェアで実施するか、これらの組合せとすることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施される時に、動き補償処理、ショット分類処理、および符号化処理を実行するプログラムコードまたはコードセグメントを、記憶媒体などの機械可読媒体に格納することができる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメントの任意の組合せを表すことができる。情報、データ、引数、パラメータ、またはメモリ内容を渡し、かつ／または受け取ることによって、一のコードセグメントを別のコードセグメントまたはハードウェア回路に結合することができる。
トランスコーダアーキテクチャの例示的な例
図２に、図１のマルチメディアブロードキャストシステム１００に示されたトランスコーダ２００に使用できるトランスコーダの例のブロック図を示す。トランスコーダ２００は、下でさらに説明する、解析器／復号化器２０２、プリプロセッサ２２６、符号化器２２８、および同期化層２４０を備える。本明細書で説明するように、トランスコーディング処理の１つまたは複数の態様に関してマルチメディアデータ１０４のコンテンツ情報を使用するように、トランスコーダ２００は構成される。コンテンツ情報は、トランスコーダ２００の外部ソースから、マルチメディアメタデータを介して取得可能であるか、またはトランスコーダによって、たとえばプリプロセッサ２２６または符号化器２２８によって計算されることができる。図２に示された構成要素は、１つまたは複数のトランスコーディング処理にコンテンツ情報を使用する、トランスコーダに含めることができる構成要素の例示である。特定の実装において、トランスコーダ２００の構成要素のうちの１つまたは複数を除外することができ、あるいは、追加の構成要素を含めることができる。さらに、トランスコーダおよびトランスコーディング処理の諸部分は、処理またはデバイスのあらゆる詳細が本明細書で説明されない場合であっても当業者が本発明を実施することを可能にするために説明される。
図２に、図１のマルチメディアブロードキャストシステム１００に示されたトランスコーダ２００に使用できるトランスコーダの例のブロック図を示す。トランスコーダ２００は、下でさらに説明する、解析器／復号化器２０２、プリプロセッサ２２６、符号化器２２８、および同期化層２４０を備える。本明細書で説明するように、トランスコーディング処理の１つまたは複数の態様に関してマルチメディアデータ１０４のコンテンツ情報を使用するように、トランスコーダ２００は構成される。コンテンツ情報は、トランスコーダ２００の外部ソースから、マルチメディアメタデータを介して取得可能であるか、またはトランスコーダによって、たとえばプリプロセッサ２２６または符号化器２２８によって計算されることができる。図２に示された構成要素は、１つまたは複数のトランスコーディング処理にコンテンツ情報を使用する、トランスコーダに含めることができる構成要素の例示である。特定の実装において、トランスコーダ２００の構成要素のうちの１つまたは複数を除外することができ、あるいは、追加の構成要素を含めることができる。さらに、トランスコーダおよびトランスコーディング処理の諸部分は、処理またはデバイスのあらゆる詳細が本明細書で説明されない場合であっても当業者が本発明を実施することを可能にするために説明される。
図５に、トランスコーダ２００のさまざまな構成要素および／または処理の動作の時間的関係を示すグラフとしてタイミング図を示す。図５に示されているように、ＭＰＥＧ−２ビデオなどの符号化されたストリーミングビデオ１０４（符号化されたマルチメディアデータ）が、まず、解析器２０５（図２）によって任意の時刻０に受け取られる。次に、ビデオストリームが、例えば復号化器２１４と組み合わされた解析器２０５により、解析され５０１、逆多重化され５０２、復号化される５０３。図示されているように、これらの処理は、データ処理のストリーム出力をプリプロセッサ２２６（図２）に供給するために、わずかなタイミングオフセットを伴って並列に発生することができる。時刻Ｔ１ ５０４に、プリプロセッサ２２６が、処理結果の出力を開始するのに十分なデータを復号化器２１４から一旦受け取ったならば、残りの処理ステップは、性質において逐次的になり、第１パス符号化５０５、第２パス符号化５０６、および再符号化５０７は、時刻Ｔｆ ５０８の再符号化の完了まで、前処理の後に順番に発生する。
本明細書で説明するトランスコーダ２００を、さまざまなマルチメディアデータをトランスコードするように構成することができ、処理の多くが、トランスコーディングされるマルチメディアデータのどのタイプにもあてはまる。本明細書で提供する例の一部は、特にＨ．２６４データへのＭＰＥＧ−２データのトランスコーディングに関するが、これらの例は、本開示をそのようなデータに限定することを意味するものではない。下で説明する符号化の諸態様は、任意の適切なマルチメディアデータ標準規格の別の適切なマルチメディアデータ標準規格へのトランスコーディングに適用することができる。
解析器／復号化器
もう一度図２を参照すると、解析器／復号化器２０２は、マルチメディアデータ１０４を受け取る。解析器／復号化器２０２は、マルチメディアデータ１０４を受け取り、そのデータをビデオの基本のストリーム（ＥＳ）２０６、オーディオＥＳ ２０８、プレゼンテーションタイムスタンプ（ＰＴＳ）２１０、およびサブタイトル２１２などの他のデータに解析するトランスポートストリーム解析器（「解析器」）２０５を含む。ＥＳは、単一のビデオ符号化器またはオーディオ符号化器からの１つのタイプのデータ（ビデオまたはオーディオ）を運ぶ。たとえば、ビデオＥＳは、シーケンスヘッダおよびそのシーケンスのすべてのサブパートを含む、データの１シーケンスに関するビデオデータを備える。パケット化された基本のストリームすなわちＰＥＳは、それぞれが典型的には追加されたパケットヘッダから始まる複数のパケットにされた単一のＥＳからなる。ＰＥＳストリームは、１つのソースから、たとえば１つのビデオ符号化器またはオーディオ符号化器からの１タイプのみのデータを含む。ＰＥＳパケットは、トランスポートパケットの固定パケット長に対応しない可変長を有し、トランスポートパケットよりはるかに長くすることができる。トランスポートパケットが、ＰＥＳストリームから形成される時に、ＰＥＳヘッダを、トランスポートパケットペイロードの先頭でトランスポートパケットヘッダの直後に置くことができる。残りのＰＥＳパケットコンテンツは、ＰＥＳパケットがすべて使用されるまで、連続するトランスポートパケットのペイロードを充てんする。最終的なトランスポートパケットは、固定長まで、たとえば、バイト、たとえばバイト＝０ｘＦＦ（すべて１）を詰め込むことによって、充てんすることができる。
もう一度図２を参照すると、解析器／復号化器２０２は、マルチメディアデータ１０４を受け取る。解析器／復号化器２０２は、マルチメディアデータ１０４を受け取り、そのデータをビデオの基本のストリーム（ＥＳ）２０６、オーディオＥＳ ２０８、プレゼンテーションタイムスタンプ（ＰＴＳ）２１０、およびサブタイトル２１２などの他のデータに解析するトランスポートストリーム解析器（「解析器」）２０５を含む。ＥＳは、単一のビデオ符号化器またはオーディオ符号化器からの１つのタイプのデータ（ビデオまたはオーディオ）を運ぶ。たとえば、ビデオＥＳは、シーケンスヘッダおよびそのシーケンスのすべてのサブパートを含む、データの１シーケンスに関するビデオデータを備える。パケット化された基本のストリームすなわちＰＥＳは、それぞれが典型的には追加されたパケットヘッダから始まる複数のパケットにされた単一のＥＳからなる。ＰＥＳストリームは、１つのソースから、たとえば１つのビデオ符号化器またはオーディオ符号化器からの１タイプのみのデータを含む。ＰＥＳパケットは、トランスポートパケットの固定パケット長に対応しない可変長を有し、トランスポートパケットよりはるかに長くすることができる。トランスポートパケットが、ＰＥＳストリームから形成される時に、ＰＥＳヘッダを、トランスポートパケットペイロードの先頭でトランスポートパケットヘッダの直後に置くことができる。残りのＰＥＳパケットコンテンツは、ＰＥＳパケットがすべて使用されるまで、連続するトランスポートパケットのペイロードを充てんする。最終的なトランスポートパケットは、固定長まで、たとえば、バイト、たとえばバイト＝０ｘＦＦ（すべて１）を詰め込むことによって、充てんすることができる。
解析器２０５は、ここで示す解析器／復号化器２０２の一部である復号化器２１４にビデオＥＳ ２０６を通信する。他の構成では、解析器２０５および復号化器２１４が、別々の構成要素である。ＰＴＳ ２１０が、トランスコーダＰＴＳ生成器２１５に送られ、トランスコーダＰＴＳ生成器２１５は、トランスコーダ２００からブロードキャストシステムに送られるデータを配列するのに使用するために、トランスコーダ２００に特有の別々のプレゼンテーションタイムスタンプを生成することができる。トランスコーダＰＴＳ生成器２１５を、データブロードキャストの同期を調整するためにトランスコーダ２００の同期化層２４０にデータを供給するように構成することができる。
図３に、上で説明したさまざまなパケット化された基本のストリームを解析する時に解析器２０５が従うことのできる処理３００の１つの例の流れ図を示す。処理３００は、マルチメディアデータ１０４がコンテンツ供給器１０６（図１）から受け取られる時に、ブロック３０２で開始される。処理３００は、ブロック３０４に進み、ここで、解析器２０５の初期化が実行される。初期化は、独立に生成される獲得コマンド３０６によってトリガすることができる。たとえば、解析器２０５とは独立であり、外部で受け取られるＴＶスケジュール情報およびチャネルラインアップ情報に基づく処理が、獲得コマンド３０６を生成することができる。さらに、リアルタイムトランスポートストリーム（ＴＳ）バッファ記述子３０８を、初期化処理と主処理との両方で支援するために入力することができる。
ブロック３０４に示されているように、初期化は、コマンド構文検証の獲得、第１パスＰＳＩ／ＰＳＩＰ／ＳＩ（プログラム固有情報／プログラムおよびシステム情報プロトコル／システム情報）処理の実行、獲得コマンドまたはＰＳＩ／ＰＳＩＰ／ＳＩ整合性検証のいずれかに特に関連する処理の実行、ＰＥＳごとのＰＥＳバッファの割当、およびタイミングをセットすること（たとえば、所望の獲得開始の瞬間と整列させるため）を含むことができる。ＰＥＳバッファは、解析されたＥＳデータを保持し、各解析されたＥＳデータを対応するオーディオ復号化器２１６、テスト符号化器２２０、復号化器２１４、またはトランスコーダＰＴＳ生成器２１５に通信する。
初期化の後に、処理３００は、受け取られたマルチメディアデータ１０４の主処理のブロック３１０に進む。ブロック３１０での処理は、ターゲットパケット識別子（ＰＩＤ）フィルタリング、連続的なＰＳＩ／ＰＳＩＰ／ＳＩの監視および処理、ならびに、入って来るマルチメディアデータが適当なＰＥＳバッファに渡されるようにするためのタイミング処理（たとえば、所望の獲得持続時間を達成するための）を含むことができる。ブロック３１０でのマルチメディアデータの処理の結果として、ＰＥＳバッファ「読み取り」のプログラム記述子および表示が生成され、これは、下で説明するように、復号化器２１４（図２）とインターフェースする。
ブロック３１０の後に、処理３００はブロック３１４に進み、ここで、タイマ割込みの生成およびＰＳＥバッファの消費の結果としてのＰＳＥバッファの解放を含めて、解析動作の終了が発生する。ＰＥＳバッファが、オーディオストリーム、ビデオストリーム、およびサブタイトルストリームなど、記述子に列挙されたプログラムのすべての関連する基本のストリームについて存在することに留意されたい。
もう一度図２を参照すると、パーサ２０５は、トランスコーダの実装に対応するためにオーディオ復号化器２１６にオーディオＥＳ ２０８を送り、同期化層２４０への符号化されたテキスト２１６およびオーディオ情報の復号化を供給する。サブタイトル情報２１２は、テキスト符号化器２２０に配送される。復号化器２１４からのクローズドキャプショニング（ＣＣ）データ２１８も、テキスト符号化器２２０に供給され、テキスト符号化器２２０は、トランスコーダ２００によって作用されるフォーマットでサブタイトル情報２１２およびＣＣデータ２１８を符号化する。
解析器／復号化器２０２は、復号化器２１４をも含み、復号化器２１４は、ビデオＥＳ ２０６を受け取る。復号化器２１４は、ビデオデータに関連するメタデータを生成し、符号化されたビデオパケット化された基本のストリームを生のビデオ２２４（たとえば、標準品位フォーマットの）に復号化し、ビデオクローズドキャプション付きデータをビデオＥＳストリームへと処理することができる。
図４に、復号化器２１４によって実行できる復号化処理４００の１つの例を示す流れ図を示す。処理４００は、ブロック４０２でのビデオの基本のストリームのデータ２０６の入力から始まる。処理４００は、ブロック４０４に進み、ここで、復号化器が初期化される。初期化は、ビデオシーケンスヘッダ（ＶＳＨ）の検出、第１パスＶＳＨ、ビデオシーケンス（ＶＳ）、およびＶＳディスプレイエクステンション（Display Extension）処理（ビデオフォーマット、原色、および行列係数を含む）の実行、ならびに復号化されたピクチャ、関連するメタデータ、およびクローズドキャプション（ＣＣ）データをそれぞれバッファリングするためのデータバッファの割当を含む複数のタスクを含むことができる。さらに、解析器２０５によって供給されるビデオＰＥＳバッファ「読み取り」情報４０６（たとえば、図３のブロック３１０で処理３００によって生成することができる）が入力される。
ブロック４０４での初期化の後に、処理４００は、ブロック４０８に進み、ここで、ビデオＥＳの主処理が、復号化器２１４によって実行される。主処理は、新しいデータの可用性に関するビデオＰＳＥバッファ「読み取り」情報または「インターフェース」のポーリングと、ビデオＥＳの復号化と、同期しているピクチャ境界での画素データの再構成および格納と、ビデオおよびａ／ｖがピクチャ境界でメタデータを生成し格納することと、ピクチャ境界でのＣＣデータ格納とを含む。主処理４０８の結果ブロック４１０は、シーケンス記述子、復号化済みピクチャバッファ記述子、メタデータバッファ記述子、およびＣＣデータバッファ記述子の生成を含む。
主処理４０８の後に、処理４００は、ブロック４１２に進み、ここで、終了処理を実行する。終了処理は、所定のしきい値を超える特定の持続時間の間に新しいデータが発生しないこと、シーケンス終了コードの検出、および／または明示的終了信号の検出を含む終了条件の判定を含むことができる。終了処理は、さらに、下で説明する、復号化済みピクチャバッファ、関連するメタデータバッファ、およびＣＣデータバッファのプリプロセッサによる消費の結果としてこれらのバッファを解放することを含むことができる。処理４００は、ブロック４１４で終了し、ここで、処理４００は、ビデオＥＳが入力として受け取られるのを待つ状態に入ることができる。
プリプロセッサ
図２およびより詳細には図６に、１つまたは複数の前処理動作にコンテンツ情報を使用できるプリプロセッサ２２６のサンプル態様を示す。プリプロセッサ２２６は、パーサ／復号化器２０２からメタデータ２２２および復号化された「生」ビデオデータ２２４を受け取る。プリプロセッサ２２６は、ビデオデータ２２４およびメタデータ２２２に対してあるタイプの処理を実行し、処理されたマルチメディア（たとえば、ベースレイヤ基準フレーム、エンハンスメントレイヤ基準フレーム、帯域幅情報、コンテンツ情報）およびビデオを符号化器２２８に供給するように構成される。マルチメディアデータのそのような前処理は、ビデオの明瞭さ、アンチエイリアシング、およびデータの圧縮効率を改善することができる。一般に、プリプロセッサ２２６は、解析器復号化器２０２内の復号化器２１４によって供給されるビデオシーケンスを受け取り、符号化器２２８によるさらなる処理（たとえば、符号化）のためにそのビデオシーケンスをプログレッシブビデオシーケンスに変換する。いくつかの態様で、プリプロセッサ２２６を、逆テレシネ、デインターレーシング、フィルタリング（たとえば、人為的な結果の除去、デリンギング、デブロッキング、および雑音除去）、サイズ変更（たとえば、標準品位からＱｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ（ＱＶＧＡ）への空間分解能ダウンサンプリング）、およびＧＯＰ構造生成（たとえば、計算複雑度マップ生成、シーン変化検出、およびフェード／フラッシュ検出）を含む多数の動作のために構成することができる。
図２およびより詳細には図６に、１つまたは複数の前処理動作にコンテンツ情報を使用できるプリプロセッサ２２６のサンプル態様を示す。プリプロセッサ２２６は、パーサ／復号化器２０２からメタデータ２２２および復号化された「生」ビデオデータ２２４を受け取る。プリプロセッサ２２６は、ビデオデータ２２４およびメタデータ２２２に対してあるタイプの処理を実行し、処理されたマルチメディア（たとえば、ベースレイヤ基準フレーム、エンハンスメントレイヤ基準フレーム、帯域幅情報、コンテンツ情報）およびビデオを符号化器２２８に供給するように構成される。マルチメディアデータのそのような前処理は、ビデオの明瞭さ、アンチエイリアシング、およびデータの圧縮効率を改善することができる。一般に、プリプロセッサ２２６は、解析器復号化器２０２内の復号化器２１４によって供給されるビデオシーケンスを受け取り、符号化器２２８によるさらなる処理（たとえば、符号化）のためにそのビデオシーケンスをプログレッシブビデオシーケンスに変換する。いくつかの態様で、プリプロセッサ２２６を、逆テレシネ、デインターレーシング、フィルタリング（たとえば、人為的な結果の除去、デリンギング、デブロッキング、および雑音除去）、サイズ変更（たとえば、標準品位からＱｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ（ＱＶＧＡ）への空間分解能ダウンサンプリング）、およびＧＯＰ構造生成（たとえば、計算複雑度マップ生成、シーン変化検出、およびフェード／フラッシュ検出）を含む多数の動作のために構成することができる。
プリプロセッサ２２６は、前処理動作のうちの１つまたは複数に影響を与えるために復号化器からのメタデータを使用することができる。メタデータには、マルチメディアデータのコンテンツの記述または分類に関する情報（「コンテンツ情報」）を含めることができ、具体的には、メタデータにコンテンツ分類を含めることができる。いくつかの態様において、メタデータは、符号化動作に望まれるコンテンツ情報を含まない。そのような場合に、コンテンツ情報を決定し、そのコンテンツ情報を前処理動作に使用し、かつ／またはトランスコーダ２００の他の構成要素、たとえば復号化器２２８にコンテンツ情報を供給するようにプリプロセッサ２２６を構成することができる。いくつかの態様において、プリプロセッサ２２６は、ＧＯＰパーティショニングに影響し、フィルタリングの適当なタイプを決定し、かつ／または符号化器に通信される符号化パラメータを決定するためにそのようなコンテンツ情報を使用することができる。
図６に、プリプロセッサ２２６に含めることができるさまざまな処理ブロックの例示的な例を示し、プリプロセッサ２２６によって実行できる処理を示す。この例では、プリプロセッサ２２６は、メタデータおよびビデオ２２２、２２４を受け取り、（処理された）メタデータおよびビデオを備える出力データ６１４を符号化器２２８に供給する。通常、受け取られる可能性がある３タイプのビデオがある。第１に、受け取られるビデオが、プログレッシブビデオである可能性があり、この場合にはデインターレーシングが不要である場合がある。第２に、ビデオデータが、テレシネされたビデオすなわち２４ｆｐｓムービーシーケンスから変換されたインターレース式ビデオである可能性があり、この場合には、逆テレシネ動作が必要になる場合がある。第３に、ビデオが、テレシネされていないインターレース式ビデオである可能性がある。プリプロセッサ２２６は、下で説明するようにこれらのタイプのビデオを処理することができる。
ブロック６０１で、プリプロセッサ２２６は、受け取ったビデオデータ２２２、２２４がプログレッシブビデオであるかどうかを判定する。いくつかの場合に、これは、メタデータがそのような情報を含む場合にメタデータから判定することができ、あるいは、ビデオデータ自体の処理によって判定することができる。たとえば、下で説明する逆テレシネ処理は、受け取られたビデオ２２２がプログレッシブビデオであるかどうかを判定することができる。そうである場合には、この処理はブロック６０７に進み、ここで、フィルタリング（たとえば、デノイザ（denoiser））動作が、白色ガウス雑音などの雑音を減らすためにビデオに対して実行される。ビデオデータ２２２、２２４がプログレッシブビデオではない場合には、ブロック６０１で、この処理は、ブロック６０４へ、フェーズ検出器６０４へ進む。
フェーズ検出器６０４は、テレシネで発したビデオと標準ブロードキャストフォーマットで始まったビデオとを区別する。ビデオがテレシネされたとの判断が行われる場合に（フェーズ検出器６０４から出るＹＥＳ判断経路）、テレシネされたビデオが、逆テレシネ６０６でそのオリジナルフォーマットに戻される。冗長なフレームが、識別され、除去され、同一ビデオフレームから導出されたフィールドが、完全な画像にもう一度織り込まれる。再構成されたフィルム画像のシーケンスは、１秒の１／２４の規則的な間隔で写真のように記録されたので、ＧＯＰパーティショナ（partitioner）６１２または復号化器２２８内で実行される動き推定処理は、不規則なタイムベースを有するテレシネされたデータではなく、逆テレシネされた画像を使用することによって、より正確である。
一態様で、フェーズ検出器６０４は、ビデオフレームの受け取りの後にある種の判断を行う。これらの判断は、（ｉ）テレシネ出力および３：２プルダウン・フェーズからの現行ビデオが、図３８に示された５つのフェーズＰ０、Ｐ１、Ｐ２、Ｐ３、およびＰ４のうちの１つであるかどうか、および（ｉｉ）ビデオが従来のＮＴＳＣとして生成されたかどうかを含む。その判断を、フェーズＰ５と表す。これらの判断は、図２に示されたフェーズ検出器６０４の出力として現れる。フェーズ検出器６０４からの「ＹＥＳ」と示された経路は、逆テレシネ６０６を作動させ、正しいプルダウン・フェーズが与えられたことを示し、その結果、逆テレシネ６０６が、同一の写真画像から形成されたフィールドを選別でき、これらを組み合わせられるようにする。フェーズ検出器６０４からの「ＮＯ」と示された経路は、同様に、最適処理のために明白なＮＴＳＣフレームをフィールドに分離するためにデインターレーサ６０５を作動させる。フェーズ検出器６０４は、異なるタイプのビデオが任意の時に受け取られる可能性があるので、ビデオフレームを連続的に分析することができる。例示として、ＮＴＳＣ標準規格に準拠するビデオが、コマーシャルとしてビデオに挿入される場合がある。逆テレシネの後に、結果のプログレッシブビデオが、デノイザ（フィルタ）６０７に送られ、デノイザ６０７は、白色ガウス雑音を減らすのに使用することができる。
通常のＮＴＳＣビデオが認識される場合に（フェーズ検出器６０１からのＮＯ経路）、そのビデオは、圧縮のためにデインターレーサ６０５に送られる。デインターレーサ６０５は、インターレース式フィールドをプログレッシブビデオに変換し、その後、雑音除去動作が、プログレッシブビデオに対して実行され得る。デインターレーシング処理の１つの例示的な例を、下で説明する。
テレビジョンなどの伝統的なアナログビデオデバイスは、インターレースされた形でビデオをレンダリングする、すなわち、そのようなデバイスは、偶数番号の走査線（偶数フィールド）を送り、次に奇数番号の走査線（奇数フィールド）を送る。信号サンプリングの観点から、これは、次式によって記述されるパターンでの時空間サブサンプリングと同等である。
ここで、Θは、オリジナルフレームピクチャを表し、Ｆは、インターレース式フィールドを表し、（ｘ，ｙ，ｎ）は、それぞれ画素の水平位置、垂直位置、および時間位置を表す。
一般性を失わずに、本開示全体を通じてｎ＝０が偶数フィールドであると仮定することができ、その結果、上の式１は、次のように単純化される。
デシメーションは、水平次元では行われないので、サブサンプリングパターンは、次のｎ〜ｙ座標で描くことができる。
デインターレーサの目的は、インターレース式ビデオ（フィールドのシーケンス）を非インターレース式プログレッシブフレーム（フレームのシーケンス）に変換することである。言い換えると、フルフレームピクチャを「回復し」または生成するために、偶数フィールドおよび奇数フィールドを補間する。これは、式３によって表すことができる。
ここで、Ｆｉは、欠けている画素のデインターレーシング結果を表す。
図４０は、インターレース式マルチメディアデータからプログレッシブフレームを生成するのにＷｍｅｄフィルタリングおよび動き推定を使用するデインターレーサ６０５の一態様の特定の側面を示すブロック図である。図４０の上側部分は、現行フィールド、２つの前のフィールド（前の前のフィールドおよび前のフィールド）、および２つの後のフィールド（次のフィールドおよび次の次のフィールド）からの情報を使用して生成できる動き強度マップ（motion intensity map）４００２を示す。動き強度マップ４００２は、現行フレームを複数の異なる動きレベルに分類し、またはパーティショニングするが、下でさらに詳細に説明する時空間フィルタリングによって生成することができる。いくつかの態様において、動き強度マップ４００２は、下で式４〜８を参照して説明するように、静的な区域、遅い動きの区域、および速い動きの区域を識別するために生成される。時空間フィルタ、たとえばＷｍｅｄフィルタ４００４は、動き強度マップに基づく判断基準を使用して、インターレース式マルチメディアデータをフィルタリングし、時空間的な仮のデインターレースされたフレームを作る。いくつかの態様において、Ｗｍｅｄフィルタリング処理は、［−１，１］の水平近傍、［−３，３］の垂直近傍、および図４０に示された５つのフィールド（前の前のフィールド、前のフィールド、現行フィールド、次のフィールド、および次の次のフィールド）によって表される５つの隣接するフィールドの時間近傍を用い、Ｚ−１は、１フィールドの遅延を表す。現行フィールドに対して相対的に、次のフィールドおよび前のフィールドは、非パリティフィールドであり、次の次のフィールドおよび前の前のフィールドは、パリティフィールドである。時空間フィルタリングに使用される「近傍」は、フィルタリング動作中に実際に使用されるフィールドおよび画素の空間的時間的位置を指し、たとえば図６および７に示されているように、「アパーチャ」として図示することができる。
デインターレーサ６０５は、Ｗｍｅｄフィルタ４００４によって生成された時空間的な仮のデインターレースされたフレームをフィルタリングするように構成されたデノイザ（雑音除去フィルタ）４００６をも含むことができる。時空間的な仮のデインターレースされたフレームを雑音除去することによって、特にソースのインターレース式マルチメディアデータシーケンスが白色雑音によって汚染されている場合に、後続の動き探索処理がより正確になる。これによって、Ｗｍｅｄピクチャ内の偶数行と奇数行との間のエイリアスを少なくとも部分的に除去することもできる。デノイザ４００６は、ウェーブレット収縮（wavelet shrinkage）およびウェーブレットウィーナーフィルタベースのデノイザを含むさまざまなフィルタとして実施することができる。デノイザは、候補Ｗｍｅｄフレームが動き補償情報を使用してさらに処理される前にその候補となるＷｍｅｄフレームから雑音を除去するのに使用することができ、Ｗｍｅｄフレーム内に存在する雑音を除去し、信号の周波数の内容に関わりなく、存在する信号を保つことができる。ウェーブレットフィルタを含むさまざまなタイプの雑音除去フィルタを使用することができる。ウェーブレットは、空間領域とスケーリング領域との両方で所与の信号を局所化するのに使用される、ある種類の関数である。ウェーブレットの背後にある基本的な発想は、ウェーブレット表現での小さい変化が、対応してオリジナル信号の小さい変化を作るように、異なるスケールまたは異なる分解能で信号を分析することである。
ウェーブレット収縮またはウェーブレットウィーナーフィルタを、デノイザとして適用することもできる。ウェーブレット収縮は、雑音の多い信号のウェーブレット変換と、それに続き、大きいウェーブレット係数が影響されないままにしながら小さいウェーブレット係数を０（またはより小さい値）に縮小することからなる。最後に、逆変換が、推定された信号を獲得するために実行される。
雑音除去フィルタリングは、雑音の多い環境で動き補償の精度を高める。ウェーブレット収縮雑音除去は、ウェーブレット変換領域での縮小を用いることができ、通常は、３つのステップすなわち、線形順方向ウェーブレット変換、非線形収縮雑音除去、および線形逆ウェーブレット変換を備える。ウィーナーフィルタは、加法性雑音およびぼけによって劣化した画像を改善するのに使用できるＭＳＥ最適線形フィルタである。そのようなフィルタは、当技術分野で一般に知られており、たとえば、上で参照した「Ｉｄｅａｌ ｓｐａｔｉａｌ ａｄａｐｔａｔｉｏｎ ｂｙ ｗａｖｅｌｅｔ ｓｈｒｉｎｋａｇｅ」、および参照によってその全体が特に本明細書に組み込まれているＳ．Ｐ．Ｇｈａｅｌ、Ａ．Ｍ．Ｓａｙｅｅｄ、およびＲ．Ｇ．Ｂａｒａｎｉｕｋ、「Ｉｍｐｒｏｖｅｍｅｎｔ Ｗａｖｅｌｅｔ ｄｅｎｏｉｓｉｎｇ ｖｉａ ｅｍｐｉｒｉｃａｌ Ｗｉｅｎｅｒ ｆｉｌｔｅｒｉｎｇ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＳＰＩＥ、ｖｏｌ．３１６９、３８９〜３９９頁、Ｓａｎ Ｄｉｅｇｏ、１９９７年７月に記載されている。
いくつかの態様において、雑音除去フィルタは、（４，２）双直交（bi-orthogonal）３次Ｂスプラインウェーブレットフィルタの一態様に基づく。１つのそのようなフィルタを、次の順方向変換および逆変換によって定義することができる。
および
雑音除去フィルタの適用は、雑音の多い環境での動き補償の精度を高めることができる。そのようなフィルタの実施態様が、さらに、参照によってその全体が特に本明細書に組み込まれている、「Ｉｄｅａｌ ｓｐａｔｉａｌ ａｄａｐｔａｔｉｏｎ ｂｙ ｗａｖｅｌｅｔ ｓｈｒｉｎｋａｇｅ」、Ｄ．Ｌ．ＤｏｎｏｈｏおよびＩ．Ｍ．Ｊｏｈｎｓｔｏｎｅ、Ｂｉｏｍｅｔｒｉｋａ、ｖｏｌ．８、４２５〜４５５頁、１９９４年に記載されている。
図４０の下側部分は、インターレース式マルチメディアデータの動き情報（たとえば、動きベクトル候補、動き推定、動き補償）の決定の一態様を示す。具体的に言うと、図４０は、選択されたフレームの動き補償された仮のプログレッシブフレームを生成するのに使用され、その後、デインターレースされた現行フレーム４０１４として図示された結果の「最終的な」プログレッシブフレームを形成するためにＷｍｅｄ仮フレームと組み合わされる、動き推定および動き補償方式を示す。いくつかの態様において、インターレース式マルチメディアデータの動きベクトル（「ＭＶ」）候補（または推定値）は、外部の動き推定器からデインターレーサに供給され、双方向動き推定器および補償器（「ＭＥ／ＭＣ」）４０１８の開始点を与えるのに使用される。いくつかの態様で、ＭＶ候補選択器４０２２は、処理されているブロックのＭＶ候補について、以前に処理されたブロック、たとえばデインターレースされた前フレーム４０２０内のブロックのＭＶなど、隣接ブロックの以前に決定されたＭＶを使用する。動き補償は、前のデインターレースされたフレーム７０および次の（たとえば将来の）Ｗｍｅｄフレーム４００８に基づいて、双方向で行うことができる。現行Ｗｍｅｄフレーム４０１０および動き補償された（「ＭＣ」）現行フレーム４０１６は、コンバイナ４０１２によってマージされ、または組み合わされる。結果として生じるデインターレースされた現行フレーム４０１４は、現在はプログレッシブフレームであるが、デインターレースされた前フレーム４０２０として使用するためにＭＥ／ＭＣ ４０１８に戻して供給され、後続処理のためにデインターレーサ６０５の外部にも通信される。
インターフィールド補間を備えるデインターレーシング予測方式を、Ｗｍｅｄ＋ＭＣデインターレーシング方式を伴うイントラフィールド補間から分離することが可能である。言い換えると、時空間Ｗｍｅｄフィルタリングを、主にイントラフィールド補間のために使用することができ、インターフィールド補間を、動き補償中に実行することができる。これは、Ｗｍｅｄ結果のピーク信号対雑音比を下げるが、動き補償が適用された後の視覚的品質は、不正確なインターフィールド予測モード判断からの不良画素がＷｍｅｄフィルタリング処理から除去されるので、より満足である。
適当な逆テレシネまたはデインターレーシング処理の後に、ブロック６０８で、プログレッシブビデオが、エイリアス抑制および再サンプリング（たとえば、サイズ変更）のために処理される。いくつかの再サンプリング態様では、多フェーズリサンプラが、ピクチャサイズ変更のために実施される。ダウンサンプリングの一例では、オリジナルピクチャとサイズ変更されたピクチャとの間の比を、ｐ／ｑとすることができ、ここで、ｐおよびｑは、互いに素な整数である。フェーズの総数は、ｐである。いくつかの態様での多フェーズフィルタのカットオフ周波数は、約０．５のサイズ変更係数に関して０．６である。カットオフ周波数は、サイズ変更されたシーケンスの高周波応答を高めるために、サイズ変更比と正確には一致しない。これは、不可避的に多少のエイリアシングを許容する。しかし、人間の目が、ぼけているがエイリアスのないピクチャよりも、先鋭であるが多少エイリアスを有するピクチャを好むことが周知である。
図４１に、サイズ変更比が３／４である場合の相を示す多フェーズ再サンプリングの例を示す。図４１に示されたカットオフ周波数は、やはり３／４である。オリジナル画素は、上の図では垂直軸を用いて図示されている。シンク関数も、フィルタ波形を表すためにこの軸を中心として描かれている。カットオフ周波数が、再サンプリング分配と正確に同一になるように選択されたので、シンク関数の０は、図４１で十字を用いて示されているサイズ変更の後の画素の位置とオーバーラップする。サイズ変更の後の画素値を見つけるために、次の方程式に示されているように、オリジナル画素からの寄与を合計することができる。
ここで、ｆｃはカットオフ周波数である。上の１Ｄ多フェーズフィルタは、水平次元と垂直次元との両方に適用することができる。
再サンプリング（サイズ変更）のもう１つの態様は、オーバースキャンを考慮に入れることである。ＮＴＳＣテレビジョン信号では、１つの画像が、４８６本の走査線を有し、ディジタルビデオでは、各走査線上に７２０個の画素を有することができる。しかし、サイズと画面フォーマットとの間の不一致に起因して、画像全体のすべてがテレビジョン上で可視であるわけではない。画像のうちで可視でない部分を、オーバースキャンと呼ぶ。
放送会社が、できる限り多数のテレビジョンで可視の区域に有用な情報を置くのを助けるために、映画テレビジョン技術者協会（ＳＭＰＴＥ）は、セーフアクションエリアおよびセーフタイトルエリアと呼ばれるアクションフレームの特定のサイズを定義した。ＳＭＰＴＥ推奨実践ＲＰ ２７．３−１９８９（Ｓｐｅｃｉｆｉｃａｔｉｏｎｓ ｆｏｒ Ｓａｆｅ Ａｃｔｉｏｎ ａｎｄ Ｓａｆｅ Ｔｉｔｌｅ Ａｒｅａｓ Ｔｅｓｔ Ｐａｔｔｅｒｎ ｆｏｒ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍｓ）を参照されたい。セーフアクションエリアは、ＳＭＰＴＥによって、「すべての重要なアクションが行われなければならない」区域と定義される。セーフタイトルエリアは、「家庭テレビジョン受像機の大多数での可視性を保証するために、すべての有用な情報を閉じこめることができる」区域と定義される。
たとえば、図２５を参照すると、セーフアクションエリア２５１０は、画面の中央９０％を占め、四方に５％のボーダーを与える。セーフタイトルエリア２５０５は、画面の中央８０％を占め、１０％のボーダーを与える。ここで図２６を参照すると、セールタイトルエリアは非常に小さいので、画像内により多くのコンテンツを追加するために、一部の局は、白い長方形の窓２６１５の内側であるセーフアクションエリア内にテキストを置く。
通常、黒いボーダーが、オーバースキャン内で見られる場合がある。たとえば、図２６では、黒いボーダーが、画像の上側２６２０および下側２６２５に現れている。これらの黒いボーダーは、Ｈ．２６４ビデオが動き推定でバウンダリエクステンション（boundary extension）を使用するので、オーバースキャン内で除去することができる。拡大された黒いボーダーが、残差を増やす可能性がある。逆に、境界を２％だけカットし、その後、サイズ変更を行うことができる。サイズ変更用のフィルタは、それ相応に生成することができる。トランケーションが、多フェーズ・ダウンサンプリングの前にオーバースキャンを除去するために実行される。
もう一度図６を参照すると、プログレッシブビデオは、次に、ブロック６１０に進み、ここで、デブロッカ動作およびデリンギング動作が実行される。２つのタイプの人為的な結果、すなわち「ブロッキング」および「リンギング」が、一般にビデオ圧縮アプリケーションで発生する。ブロッキングの人為的結果は、圧縮アルゴリズムが各フレームをブロック（たとえば、８×８ブロック）に分割するので発生する。各ブロックは、ある小さい誤差を伴って再構成され、ブロックの縁での誤差は、しばしば、隣接するブロックの縁での誤差に対して明暗を有し、ブロック境界を可視にする。対照的に、リンギングの人為的結果は、画像特徴の縁の周囲のひずみとして現れる。リンギングの人為的結果は、符号化器が高周波ＤＣＴ係数の量子化で破棄する情報が多すぎるので発生する。いくつかの例示的な例で、デブロッキングとデリンギングとの両方が、これらの可視の人為的結果を隠すために低域ＦＩＲ（有限インパルス応答）フィルタを使用することができる。
デブロッキング処理の一例で、デブロッキングフィルタを、フレームの境界の縁およびデブロッキングフィルタ処理が使用不可にされるすべての縁を除いて、フレームのすべての４×４ブロックの縁に適用することができる。このフィルタリング処理は、フレーム構成処理の完了後にマクロブロックを基礎として実行されなければならず、１フレーム内のすべてのマクロブロックが、マクロブロックアドレスの昇順で処理される。マクロブロックごとに、垂直の縁が、まず、左から右へフィルタリングされ、次に、水平の縁が、上から下へフィルタリングされる。図３９に示されているように、水平方向および垂直方向について、ルマデブロッキングフィルタ処理は、４つの１６サンプルの縁に対して実行され、各クロマ成分のデブロッキングフィルタ処理は、２つの８サンプルの縁に対して実行される。前のマクロブロックに対するデブロッキング処理動作によって既に変更されている可能性がある、現行マクロブロックの上および左のサンプル値は、現行マクロブロックに対するデブロッキングフィルタ処理への入力として使用されなければならず、現行マクロブロックのフィルタリング中にさらに変更される可能性がある。垂直の縁のフィルタリング中に変更されたサンプル値を、同一マクロブロックの水平の縁のフィルタリングについて入力として使用することができる。デブロッキング処理を、ルマ成分およびクロマ成分について別々に呼び出すことができる。
デリンギング処理の例では、２Ｄフィルタを、縁の近くの区域を平滑化するために適応的に適用することができる。縁の画素は、ぼけを防ぐためにフィルタリングをほとんどまたは全く受けない。
ＧＯＰパーティショナ
デブロッキングおよびデリンギングの後に、プログレッシブビデオは、ＧＯＰパーティショナ６１２によって処理される。ＧＯＰパーティショニングには、ショット変化の検出、複雑度マップ（たとえば、時間帯域幅マップ、空間帯域幅マップ）の生成、および適応的ＧＯＰパーティショニングを含めることができる。これらを、それぞれ下で説明する。
デブロッキングおよびデリンギングの後に、プログレッシブビデオは、ＧＯＰパーティショナ６１２によって処理される。ＧＯＰパーティショニングには、ショット変化の検出、複雑度マップ（たとえば、時間帯域幅マップ、空間帯域幅マップ）の生成、および適応的ＧＯＰパーティショニングを含めることができる。これらを、それぞれ下で説明する。
Ａ．シーン変化検出
ショット検出は、シーン変化が発生したことを示すデータを、グループオブピクチャ（ＧＯＰ）内の１フレームが何時示すかを判定することに関する。一般に、ＧＯＰ内で、フレームは、２つまたは３つ（あるいはそれ以上）の隣接するフレームで大きい変化を有しない場合があり、あるいは、遅い変化または速い変化がある場合がある。もちろん、これらのシーン変化分類を、必要な、特定の応用例に依存する、より高いレベルの変化にさらに分解することができる。
ショット検出は、シーン変化が発生したことを示すデータを、グループオブピクチャ（ＧＯＰ）内の１フレームが何時示すかを判定することに関する。一般に、ＧＯＰ内で、フレームは、２つまたは３つ（あるいはそれ以上）の隣接するフレームで大きい変化を有しない場合があり、あるいは、遅い変化または速い変化がある場合がある。もちろん、これらのシーン変化分類を、必要な、特定の応用例に依存する、より高いレベルの変化にさらに分解することができる。
ショット変化またはシーン変化の検出は、ビデオの効率的な符号化に重要である。通常、ＧＯＰが大きく変化してはいない時に、複数の予測フレームがその後に続くそのＧＯＰの先頭のＩフレームは、ビデオを十分に符号化することができ、その結果、ビデオの後続の復号および表示が視覚的に許容できるものになる。しかし、シーンが、突然にまたはゆっくりとのいずれであれ、変化しつつある時には、追加のＩフレームおよびより少ない予測符号化（ＰフレームおよびＢフレーム）が、後に復号化される視覚的に許容できる結果を作るために必要になる可能性がある。
既存の符号化システムの性能を改善するショット検出および符号化のシステムおよび方法を、下で説明する。そのような態様は、プリプロセッサ２２６（図７）のＧＯＰパーティショナ６１２内で実施することができ、あるいは、プリプロセッサと共にまたはプリプロセッサなしで動作できる符号化器デバイス内に含めることができる。そのような態様は、突然のシーン変化が発生したか、シーンがゆっくり変化してるか、あるいはビデオ符号化を特に複雑にする可能性があるシーン内のカメラフラッシュライトがあるかどうかを判定するために、ビデオデータの隣接フレームの間の統計的比較を含む統計（またはメトリックス）を利用する。この統計は、プリプロセッサから取得可能であり、その後、符号化デバイスに送ることができ、あるいは、符号化デバイス内で生成することができる（たとえば、動き補償を実行するように構成されたプロセッサによって）。結果として生じる統計は、シーン変化の検出の判断を助ける。トランスコーディングを行うシステムには、しばしば、適切なプリプロセッサまたは構成可能なプロセッサが存在する。プリプロセッサが、動き補償によって助けられるデインターレーシングを実行する場合には、動き補償の統計が、利用可能であり、直ちに使用できる。そのようなシステムでは、ショット検出アルゴリズムが、システムの複雑さをわずかに高める場合がある。
本明細書で説明するショット検出器の例示的な例は、前のフレーム、現行フレーム、および次のフレームからの統計を利用することだけを必要とし、したがって、非常に低いレイテンシを有する。ショット検出器は、突然のシーン変化、クロスフェーディングおよび他の遅いシーン変化、ならびにカメラフラッシュライトを含む、複数の異なるタイプのショット事象を区別する。異なるタイプのショット事象を符号化器内で異なる戦略を用いて判定することによって、符号化器の効率および視覚的品質が高められる。
シーン変化検出は、ビデオ符号化システムが固定された間隔でＩフレームを挿入することによってインテリジェントにビットを節約するために、任意のビデオ符号化システムに使用することができる。いくつかの態様において、プリプロセッサによって取得されるコンテンツ情報（たとえば、メタデータに組み込まれるかプリプロセッサ２２６によって計算されるかのいずれか）を、シーン変化検出に使用することができる。たとえば、コンテンツ情報に応じて、下で説明するしきい値および他の判断基準を、異なるタイプのビデオコンテンツについて動的に調整することができる。
ビデオ符号化は、通常、構造化されたグループオブピクチャ（ＧＯＰ）に対して動作する。ＧＯＰは、通常、イントラ符号化されたフレーム（Ｉフレーム）から始まり、これに一連のＰ（予測）フレームまたはＢ（双方向）フレームが続く。通常、Ｉフレームは、そのフレームを表示するのに必要なすべてのデータを格納することができ、Ｂフレームは、先行するフレームおよび続くフレーム内のデータに頼り（たとえば、前のフレームから変化したデータまたは次のフレーム内のデータと異なるデータだけを含む）、Ｐフレームは、前のフレームから変化したデータを含む。一般的な使用法で、Ｉフレームは、符号化されたビデオ内でＰフレームおよびＢフレームと共に散在する。サイズ（たとえば、フレームを符号化するのに使用されるビット数）に関して、Ｉフレームは、通常、Ｐフレームよりはるかに大きく、Ｐフレームは、Ｂフレームより大きい。効率的な符号化、伝送、および復号化処理のために、ＧＯＰの長さは、大きいＩフレームからの効率的な損失を減らすのに十分に大きく、符号化器と復号化器との間の不一致またはチャネル障害と戦うのに十分に短くしなければならない。さらに、Ｐフレーム内のマクロブロック（ＭＢ）を、同一の理由からイントラ符号化することができる。
シーン変化検出は、しばしば不必要なＩフレームを固定間隔で挿入するのではなく、ビデオ符号化器が正しいＧＯＰ長を判定し、そのＧＯＰ長に基づいてＩフレームを挿入するために使用することができる。実用的なストリーミングビデオシステムでは、通信チャネルは、通常、ビット誤りまたはパケット消失によってそこなわれる。ＩフレームまたはＩ ＭＢが置かれる場所は、復号化されたビデオの品質および視聴経験に大きく影響する可能性がある。１つの符号化方式は、同一位置の以前のピクチャまたはピクチャ部分からの大きい変化を有するピクチャまたはピクチャの部分に、イントラ符号化されたフレームを使用することである。通常、これらの領域は、動き推定を用いて有効に効率的に予測することはできず、符号化は、そのような領域がインターフレーム符号化技法（たとえば、ＢフレームおよびＰフレームを使用する符号化）から除外される場合に、より効率的に行うことができる。チャネル障害の文脈では、これらの領域は、誤り伝搬から損害を受ける可能性が高いが、この誤り伝搬は、イントラフレーム符号化によって減らすか除去する（またはほぼ除去する）ことができる。
ＧＯＰビデオの諸部分を、複数のカテゴリに分類することができ、ここで、各領域は、特定の実装に依存する可能性のある異なるイントラフレーム符号化基準を有することができる。例として、ビデオを、３つのカテゴリすなわち、突然のシーン変化、クロスフェーディングおよび他の遅いシーン変化、ならびにカメラフラッシュライトに分類することができる。
突然のシーン変化は、通常はカメラ動作によって引き起こされる、前フレームから大きく異なるフレームを含む。これらのフレームのコンテンツは、前フレームのコンテンツと異なるので、突然のシーン変化のフレームは、Ｉフレームとして符号化されなければならない。
クロスフェーディングおよび他の遅いシーン変化は、通常はカメラショットのコンピュータ処理によって引き起こされる、シーンの遅い切替を含む。２つの異なるシーンの徐々のブレンディングは、人間の目にはより満足に見える可能性があるが、ビデオ符号化に対して課題を提示する。動き補償は、これらのフレームのビットレートを効果的に下げることができず、より多くのイントラＭＢが、これらのフレームについて更新される可能性がある。
カメラフラッシュライトまたはカメラフラッシュ事象は、フレームのコンテンツがカメラフラッシュを含む時に発生する。そのようなフラッシュは、持続時間において比較的短く（たとえば、１フレーム）、極端に明るく、フラッシュを描いたフレーム内の画素は、隣接フレーム上の対応する区域に対して相対的に異常に高い輝度を示すようになっている。カメラフラッシュライトは、ピクチャの輝度を突然にすばやくシフトする。通常、カメラフラッシュライトの持続時間は、通常は４４ｍｓと定義される人間の視覚系（ＨＶＳ）の時間マスキング持続時間より短い。人間の目は、明るさのこれらの短いバーストの品質に敏感ではなく、したがって、これらを粗く符号化することができる。フラッシュライトフレームは、動き補償を用いて有効に処理することができず、将来のフレームに関する悪い予測候補なので、これらのフレームの粗い符号化は、将来のフレームの符号化効率を低下させない。フラッシュライトと分類されたシーンは、「人工的に」高い輝度のゆえに他のフレームの予測に使用してはならず、他のフレームは、同一の理由からこれらのフレームを予測するのに効果的に使用することができない。識別されたならば、これらのフレームは比較的大量の処理を必要とする可能性があるので、これらのフレームを除外することができる。１つのオプションは、カメラフラッシュライトフレームを除去し、その代わりにＤＣ係数を符号化することであり、そのような解決策は、単純であり、計算的に高速であり、多数のビットを節約する。
フレームの上のカテゴリのいずれかが検出される時には、ショット事象が宣言される。ショット検出は、符号化品質を改善するのに有用であるだけではなく、ビデオコンテンツ探索およびインデクシングを識別するのをも助けることができる。シーン検出処理の１つの例示的態様を、下で説明する。この例では、ショット検出処理は、まず、ショット検出について処理される選択されたフレームの情報またはメトリックスを計算する。このメトリックスには、ビデオの双方向の動き推定および補償処理からの情報、ならびに他の輝度ベースのメトリックスを含めることができる。
双方向の動き推定／補償を実行するために、ビデオシーケンスを、現行フレームのすべての８×８ブロックを１つは過去の、１つは将来の２つの最も隣接する近傍フレーム内のブロックと照合する双方向の動き補償器を用いて前処理することができる。動き補償器は、すべてのブロックについて動きベクトルおよび差分メトリックを作る。図２９は、過去のフレームＰおよび将来の（または次の）フレームＮに一致する現行フレームＣの画素の例を示し、一致する画素への動きベクトル（過去の動きベクトルＭＶＰおよび将来の動きベクトルＭＶＮを示す図である。双方向の動きベクトルの生成および関連する符号化の全般的な説明は、一般に、下で、図３２を参照して説明する。
双方向の動き情報（たとえば、対応する隣接フレーム内のＭＢ（最良一致）を識別する動き情報を決定した後に、次のフレームおよび前のフレームに対する現行フレームのさまざまな比較によって、追加のメトリックスを生成することができる（たとえば、ＧＯＰパーティショナ６１２内の動き補償器または別の適切な構成要素によって）。動き補償器は、すべてのブロックの差分メトリックを作ることができる。差分メトリックは、二乗差の合計（ＳＳＤ）または絶対差の合計（ＳＡＤ）とすることができる。一般性を失わずに、本明細書では例としてＳＡＤを使用する。
すべてのフレームについて、「コントラスト比」とも称するＳＡＤ比を、下のように計算する。
ここで、ＳＡＤＰおよびＳＡＤＮは、それぞれ順方向の差分メトリックおよび逆方向の差分メトリックの絶対差の合計である。分母が、「ゼロによる除算」のエラーを防ぐために、小さい正の数εを含むことに留意されたい。分子も、分母の１の影響の釣り合いをとるためにεを含む。たとえば、前のフレーム、現行フレーム、および次のフレームが同一である場合に、動き探索は、ＳＡＤＰ＝ＳＡＤＮ＝０をもたらさなければならない。この場合に、０または無限大ではなく上の計算はγ＝１を生成する。
輝度ヒストグラムを、すべてのフレームについて計算することができる。通常、マルチメディア画像は、８ビットの輝度深さ（たとえば、「ビン」の個数）を有する。いくつかの態様による輝度ヒストグラムの計算に使用される輝度深さには、ヒストグラムを取得するために１６に設定されることができる。他の態様では、輝度深さに、処理されるデータのタイプ、使用可能な計算能力、または他の所定の判断基準に依存するものとすることができる適当な数に設定されることができる。いくつかの態様において、輝度深さは、データの内容など、計算されたメトリックまたは受け取られたメトリックに基づいて動的に設定されることができる。
下の方程式は、輝度ヒストグラム差分（ラムダ）を計算することの１つの例を示す。
ここで、ＮＰｉは、前のフレームの第ｉビン内のブロックの個数であり、ＮＣｉは、現行フレームの第ｉビン内のブロックの個数であり、Ｎは、１フレーム内のブロックの総数である。前のフレームおよび現行フレームの輝度ヒストグラム差分が、完全に異なる（または互いに素である）場合には、λ＝２である。
この情報を使用して、フレーム差分メトリック（Ｄ）が、次のように計算される。
ここで、Ａは、アプリケーションによって選択される定数であり、
である。
選択された（現行の）フレームは、フレーム差分メトリックが式９に示された判断基準を満足する場合に、突然のシーン変化と分類される。
ここで、Ａは、アプリケーションによって選択される定数であり、Ｔ１は、しきい値である。
一つの例示的なシミュレーションは、Ａ＝１およびＴ１＝５を設定することによって、よい検出性能が達成されることを示す。現行フレームが、突然のシーン変化のフレームである場合には、γＣを大きくしなければならず、γＰを小さくしなければならない。比
を単独のγＣの代わりに使用することができ、その結果、このメトリックが、コンテキストのアクティビティレベルに対して正規化されるようになる。
上の判断基準が、非線形の形で輝度ヒストグラム差分ラムダ（λ）を使用することに留意されたい。図１６は、λ＊（２λ＋１）が凸関数であることを示す。λが小さい（たとえば、０に近い）場合に、λは、かろうじてプリエンファシスである。λが大きくなればなるほど、この関数によってより多くのエンファシスが行われる。このプリエンファシスを用いると、１．４より大きいすべてのλについて、突然のシーン変化は、しきい値Ｔ１に５がセットされる場合に検出される。
現行フレームは、シーン強度メトリックＤがある個数の連続するフレームについて式５に示された判断基準を満足する場合に、クロスフェーディングまたは遅いシーン変化であると判定される。
ここで、Ｔ１は、上で使用されたものと同一のしきい値であり、Ｔ２は、もう１つのしきい値である。
フラッシュライト事象は、通常、輝度ヒストグラムをより明るい側にシフトさせる。この例示的態様のカメラでは、現行フレームがカメラフラッシュライトを備えるかどうかを判定するのに輝度ヒストグラム統計が使用される。ショット検出処理は、式１１および１２に示されているように、現行フレームマイナスの輝度が前のフレームの輝度をあるしきい値Ｔ３だけ超えて明るく、現行フレームの輝度が次のフレームの輝度をしきい値Ｔ３だけ超えて明るいかどうかを判定することができる。
上の判断基準が満足されない場合には、現行フレームは、カメラフラッシュライトを備えるものとしては分類されない。その判断基準が満足される場合には、ショット検出処理は、下の式に示されているように、逆方向の差分メトリックＳＡＤＰおよび順方向の差分メトリックＳＡＤＮが、あるしきい値Ｔ４より大きいかどうかを判定する。
ここで
は、現行フレームの平均輝度であり、
は、前のフレームの平均輝度であり、
は、次のフレームの平均輝度であり、ＳＡＤＰおよびＳＡＤＮは、現行フレームに関連する順方向の差分メトリックおよび逆方向の差分メトリックである。
ショット検出処理は、まず現行フレームの輝度が前のフレームの輝度および次のフレームの輝度より大きいかどうかを判定することによって、カメラフラッシュ事象を判定する。そうでない場合には、そのフレームは、カメラフラッシュ事象ではないが、そうである場合には、カメラフラッシュ事象である可能性がある。次に、ショット検出処理は、逆方向の差分メトリックがしきい値Ｔ３より大きいかどうか、および順方向の差分メトリックがしきい値Ｔ４より大きいかどうかを評価することができ、これらの条件の両方が満足される場合には、ショット検出処理は、現行フレームをカメラフラッシュライトを有するものとして分類する。その判断基準が満足されない場合には、そのフレームは、どのタイプのショット事象としても分類されず、あるいは、そのフレームに、そのフレームに対して行うべき符号化（たとえば、フレームを捨てる、Ｉフレームとして符号化する）を識別するデフォルト分類を与えることができる。
Ｔ１、Ｔ２、Ｔ３、およびＴ４のいくつかの例示的な値は、上に示されている。通常、これらのしきい値は、ショット検出の特定の実装の試験を介して選択される。いくつかの態様において、しきい値Ｔ１、Ｔ２、Ｔ３、およびＴ４のうちの１つまたは複数が、事前に決定され、そのような値は、符号化デバイス内のショット分類器に組み込まれる。いくつかの態様において、しきい値Ｔ１、Ｔ２、Ｔ３、およびＴ４のうちの１つまたは複数を、ショット分類器に供給される情報（たとえば、メタデータ）を使用することに基づいて、またはショット分類器自体によって計算された情報に基づいて、処理中に（たとえば、動的に）設定することができる。
ショット検出情報を使用するビデオの符号化は、通常、符号化器内で実行されるが、ショット検出の開示の完全を期してここで説明する。図３０を参照すると、符号化処理３０１は、フレームのシーケンス内の検出されたショットに基づいてビデオを符号化するのにショット検出情報を使用することができる。処理３０１は、ブロック３０３に進み、現行フレームが突然のシーン変化として分類されるかどうかを調べるために検査する。そうである場合には、ブロック３０５で、現行フレームをＩフレームとして符号化することができ、ＧＯＰ境界を判定することができる。そうでない場合には、処理３０１はブロック３０７に進み、現行フレームが遅く変化するシーンの一部として分類される場合には、ブロック３０９で、現行フレームおよび遅く変化するシーン内の他のフレームを予測フレーム（たとえば、ＰフレームまたはＢフレーム）として符号化することができる。処理３０１は、その後、ブロック３１１に進み、ここで、現行フレームがカメラフラッシュを備えるフラッシュライトシーンとして分類されるかどうかを検査する。そうである場合には、ブロック３１３で、そのフレームを空間処理、たとえば除去またはフレームのＤＣ係数の符号化のために識別することができ、そうでない場合には、現行フレームの分類は行われておらず、現行フレームを、他の判断基準に従って符号化するか、Ｉフレームとして符号化するか、捨てることができる。
上で説明した態様では、圧縮されるフレームとそれに隣接する２つのフレームとの間の差の量が、フレーム差分メトリックＤによって示される。大きい量の一方向の輝度の変化が検出される場合には、これは、フレーム内のクロスフェード効果を意味する。クロスフェードが顕著であればあるほど、Ｂフレームを使用することによって多くの利益を達成することができる。いくつかの態様では、下の方程式に示される、変更されたフレーム差分メトリックが使用される。
ここで、ｄＰ＝｜ＹＣ−ＹＰ｜およびｄＮ＝｜ＹＣ−ＹＮ｜は、現行フレームと前のフレームとの間のルマ差分、ならびに現行フレームと次のフレームとの間のルマ差分であり、Δは、実装に依存するので通常の実験で決定されることのできる定数を表し、αは、０と１との間の値を有する重み付け変数である。
Ｂ．帯域幅マップ生成
プリプロセッサ２２６（図６）を、マルチメディアデータの符号化に使用できる帯域幅マップを生成するように構成することもできる。いくつかの態様では、符号化器２２８（図７）内のコンテンツ分類モジュール７１２が、その代わりに帯域幅マップを生成する。
プリプロセッサ２２６（図６）を、マルチメディアデータの符号化に使用できる帯域幅マップを生成するように構成することもできる。いくつかの態様では、符号化器２２８（図７）内のコンテンツ分類モジュール７１２が、その代わりに帯域幅マップを生成する。
人間の視覚的品質Ｖは、符号化の複雑度Ｃと割り当てられたビットＢ（帯域幅とも称する）との両方の関数とすることができる。図１５は、この関係を示すグラフである。符号化の複雑度メトリックＣが、人間の視覚の観点からの空間周波数および時間周波数を考慮することに留意されたい。人間の目がより敏感である歪みについて、複雑度の値は、それに対応してより高い。通常は、Ｖが、Ｃにおいて単調に減少し、Ｂにおいて単調に増加すると仮定することができる。
一定の視覚的品質を達成するために、真下の２つの方程式で表される判断基準を満足する帯域幅（Ｂｉ）が、符号化されるｉ番目のオブジェクト（フレームまたはＭＢ）に割り当てられる。
真上の２つの方程式では、Ｃｉが、ｉ番目のオブジェクトの符号化の複雑度であり、Ｂが、使用可能な総帯域幅であり、Ｖが、オブジェクトについて達成される視覚的品質である。人間の視覚的品質は、方程式として定式化することがむずかしい。したがって、上の方程式の組は、正確には定義されない。しかし、３Ｄモデルがすべての変数において連続であると仮定する場合に、帯域幅比（Ｂｉ／Ｂ）を、（Ｃ，Ｖ）対の近傍の中で変更されないものとして扱うことができる。帯域幅比βｉは、下に示す方程式で定義される。
次に、ビット割当を、次の方程式で表されるように定義することができる。
ここで、δは、「近傍」を示す。
符号化の複雑度は、空間と時間との両方の人間の視覚的感度によって影響される。ジロの人間の視覚モデルが、空間的な複雑度を定義するのに使用できるモデルの例である。このモデルは、局所空間周波数および周囲照明を考慮する。結果のメトリックを、Ｄｃｓａｔと呼ぶ。処理の前処理点では、ピクチャがイントラ符号化されるのか、インター符号化されるのかが、未知であり、この両方の帯域幅比が、生成される。ビットは、異なるビデオオブジェクトのβＩＮＴＲＡの間の比に従って割り当てられる。イントラ符号化されるピクチャについて、帯域幅比は、次の方程式で表される。
上の方程式では、Ｙは、マクロブロックの平均輝度成分であり、αＩＮＴＲＡは、輝度の二乗の重み付け係数であり、Ｄｃｓａｔ項がそれに続き、β０ＩＮＴＲＡは、
を保証するための正規化係数である。たとえば、αＩＮＴＲＡ＝４の値が、よい視覚的品質を達成する。ビデオの特定のコンテンツの所望のよい視覚的品質レベルに対応する値をαＩＮＴＲＡに設定するために、コンテンツ情報（たとえば、コンテンツ分類）を使用することができる。一例で、ビデオコンテンツが「語り手の顔」ニュースブロードキャストを備える場合には、情報画像またはビデオの表示可能部分がオーディオ部分より重要性が少ないと考えることができるので、視覚的品質レベルを、より低く設定することができ、より少ないビットを、データを符号化するために割り当てることができる。もう１つの例で、ビデオコンテンツが、スポーツイベントを備える場合には、表示される画像が見る人にとってより重要である可能性があるので、より高い視覚的品質レベルに対応する値をαＩＮＴＲＡに設定するためにコンテンツ情報を使用することができ、したがって、より多くのビットを、データを符号化するために割り当てることができる。
この関係を理解するために、帯域幅が、符号化の複雑度に関して対数的に割り当てられることに留意されたい。輝度の二乗の項Ｙ２は、より大きい大きさを有する係数が符号化により多くのビットを使用するという事実を反映する。対数が負の値になるのを防ぐために、１が、括弧内の項に加算される。他の底を有する対数を使用することもできる。
時間的な複雑度は、絶対差分の合計（ＳＡＤ）などのフレーム差分メトリックと共に動きの量（たとえば、動きベクトル）を考慮に入れて２つの連続するフレームの間の差を測定するフレーム差分メトリックの測定によって決定される。
インター符号化されるピクチャのビット割当は、空間的な複雑度ならびに時間的な複雑度を考慮することができる。これを、下に表す。
上の方程式では、ＭＶＰおよびＭＶＮは、現行ＭＢの順方向の動きベクトルおよび逆方向の動きベクトルである（図２９を参照されたい）。イントラ符号化される帯域幅の式のＹ２が、二乗差の合計（ＳＳＤ）に置換されていることに留意されたい。上の方程式の‖ＭＶＰ＋ＭＶＮ‖２の役割を理解するために、滑らかで予測可能な動き（小さい‖ＭＶＰ＋ＭＶＮ‖２）を受けている区域は、注意を引き、目によって追跡できるが、通常は静止領域より多くのひずみを許容することができないという人間の視覚系の特性に留意されたい。しかし、速いまたは予測不能な動き（大きい‖ＭＶＰ＋ＭＶＮ‖２）を受けている区域は、追跡できず、大きい量子化を許容することができる。実験は、αＩＮＴＥＲ＝１、γ＝０．００１が、よい視覚的品質を達成することを示す。
Ｃ．適応ＧＯＰパーティショニング
プリプロセッサ２２６によって実行できる処理のもう１つの例示的な例において、図６のＧＯＰパーティショナ６１２は、一緒に符号化されるグループオブピクチャの構成を適応的に変更することもでき、これをＭＰＥＧ２を使用する例を参照して述べる。いくつかのより古いビデオ圧縮標準規格（たとえば、ＭＰＥＧ２）は、ＧＯＰが規則的な構造を有することを要求しない（それを強要することはできるが）。ＭＰＥＧ２シーケンスは、必ずＩフレームすなわち前のピクチャを参照せずに符号化されたフレームから始まる。ＭＰＥＧ２ ＧＯＰフォーマットは、通常、Ｉフレームに続くＰピクチャすなわち予測ピクチャのＧＯＰ内の間隔を固定することによって、符号化器で事前に配置される。Ｐフレームは、前のＩピクチャまたはＰピクチャから部分的に予測されたピクチャである。先頭のＩフレームと後続のＰフレームとの間のフレームは、Ｂフレームとして符号化される。「Ｂ」フレーム（Ｂは双方向を表す）は、基準として「個別に」または「同時に」のいずれかで前および次のＩピクチャまたはＰピクチャを使用することができる。Ｉフレームを符号化するのに必要なビット数は、平均して、Ｐフレームを符号化するのに必要なビット数を超え、同様に、Ｐフレームを符号化するのに必要なビット数は、平均して、Ｂフレームに必要なビット数を超える。スキップされたフレームが使用される場合に、スキップされたフレームは、その表現にビットを必要としないはずである。
プリプロセッサ２２６によって実行できる処理のもう１つの例示的な例において、図６のＧＯＰパーティショナ６１２は、一緒に符号化されるグループオブピクチャの構成を適応的に変更することもでき、これをＭＰＥＧ２を使用する例を参照して述べる。いくつかのより古いビデオ圧縮標準規格（たとえば、ＭＰＥＧ２）は、ＧＯＰが規則的な構造を有することを要求しない（それを強要することはできるが）。ＭＰＥＧ２シーケンスは、必ずＩフレームすなわち前のピクチャを参照せずに符号化されたフレームから始まる。ＭＰＥＧ２ ＧＯＰフォーマットは、通常、Ｉフレームに続くＰピクチャすなわち予測ピクチャのＧＯＰ内の間隔を固定することによって、符号化器で事前に配置される。Ｐフレームは、前のＩピクチャまたはＰピクチャから部分的に予測されたピクチャである。先頭のＩフレームと後続のＰフレームとの間のフレームは、Ｂフレームとして符号化される。「Ｂ」フレーム（Ｂは双方向を表す）は、基準として「個別に」または「同時に」のいずれかで前および次のＩピクチャまたはＰピクチャを使用することができる。Ｉフレームを符号化するのに必要なビット数は、平均して、Ｐフレームを符号化するのに必要なビット数を超え、同様に、Ｐフレームを符号化するのに必要なビット数は、平均して、Ｂフレームに必要なビット数を超える。スキップされたフレームが使用される場合に、スキップされたフレームは、その表現にビットを必要としないはずである。
ＰフレームおよびＢフレームの使用、およびより最近の圧縮アルゴリズムにおける、ビデオを表すのに必要なデータのレートを下げるためのフレームのスキップの使用の基礎になる概念が、時間的な冗長度の除去である。時間的な冗長度が高いすなわちピクチャからピクチャへの変化がほとんどない時に、Ｐピクチャ、Ｂピクチャ、またはスキップされたピクチャの使用は、より早期に復号化されたＩピクチャまたはＰピクチャが後に他のＰピクチャまたはＢピクチャを復号化するのに基準として使用されるので、ビデオストリームを効率的に表す。
適応的ＧＯＰパーティショニングは、この概念を適応的に使用することに基づく。フレームの間の差が、定量化され、適切なテストが定量化された差に対して実行された後に、Ｉフレーム、Ｐフレーム、Ｂフレーム、またはスキップされたフレームによってピクチャを表すという判断が自動的に行われる。適応的な構造は、固定されたＧＯＰ構造では利用可能でない利益を有する。固定された構造は、コンテンツの変化がほとんど発生していない可能性を無視し、適応的な手順は、各ＩフレームとＰフレームとの間または２つのＰフレームの間に、はるかにより多くのＢフレームを挿入することを可能にし、これによって、フレームのそのシーケンスを適切に表すのに必要なビット数を減らす。逆に、ビデオコンテンツの変化が大きい時には、Ｐフレームの効率は、予測フレームと基準フレームとの間の差が大きすぎるので、大幅に低下する。これらの条件の下では、一致するオブジェクトが、動き探索領域から外れる可能性があり、あるいは、一致するオブジェクトの間の類似性が、カメラアングルの変化によって引き起こされる歪みに起因して低下する。その点で、ＰフレームまたはＩフレームおよびそれに隣接するＰフレームは、互いにより近くなるように選択されなければならず、より少数のＢフレームを挿入しなければならない。固定されたＧＯＰは、その調整を行うことができない。
本明細書で開示されるシステムでは、これらの条件が、自動的に感知される。ＧＯＰの構造は、柔軟であり、コンテンツのこれらの変化に適応するようにされる。このシステムは、距離と同一の加法特性を有する、フレームの間の距離の尺度と考えることができるフレーム差分メトリックを評価する。概念上、インターフレーム距離ｄ１２およびｄ２３を有するフレームＦ１、Ｆ２、およびＦ３を与えられれば、Ｆ１とＦ３との間の距離は、少なくともｄ１２＋ｄ２３と考えられる。フレーム割当は、この距離に類似したメトリックを基礎として行われる。
ＧＯＰパーティショナは、フレームが受け取られる時にそれらのフレームにピクチャタイプを割り当てることによって動作する。ピクチャタイプは、各ブロックの符号化に必要になる可能性がある予測の方法を示す。
Ｉピクチャは、他のピクチャを参照せずに符号化される。Ｉピクチャは、独立なので、データストリーム内の復号化を開始できるアクセス点を提供する。Ｉ符号化タイプは、先行フレームへの「距離」がシーン変化しきい値を超える場合に、フレームに割り当てられる。
Ｐピクチャは、動き補償された予測に前のＩピクチャまたはＰピクチャを使用することができる。Ｐピクチャは、符号化の基礎として、予測されるブロックから変位されているものとすることができる前のフィールドまたはフレーム内のブロックを使用する。基準ブロックが、考慮中のブロックから減算された後に、残差ブロックが、通常は空間的な冗長度の除去のために離散コサイン変換を使用して符号化される。Ｐ符号化タイプは、あるフレームとＰフレームに割り当てられた最後のフレームとの間の「距離」が、通常は第１しきい値より小さい第２しきい値を超える場合に、そのフレームに割り当てられる。
Ｂフレームピクチャは、上で説明したように、動き補償に前および次のＰピクチャまたはＩピクチャを使用することができる。Ｂピクチャ内のブロックを、順方向、逆方向、または双方向で予測することができ、あるいは、他のフレームを参照せずにイントラ符号化することができる。Ｈ．２６４では、基準ブロックを、同数のフレームからの３２個ものブロックの線形組合せとすることができる。フレームを、ＩタイプまたはＰタイプになるように割り当てることができない場合に、そのフレームから直前の先行フレームまでの「距離」が通常は第２しきい値より小さい第３しきい値を超えるならば、そのフレームは、Ｂタイプになるように割り当てられる。
フレームを、Ｂフレーム符号化されるようになるように割り当てることができない場合には、そのフレームには、「スキップフレーム」状況が割り当てられる。このフレームは、事実上前のフレームのコピーなので、スキップすることができる。
表示順で隣接するフレームの間の距離を定量化するメトリックを評価することは、この処理の最初に行われる部分である。このメトリックは、上で言及した距離であり、これを用いて、すべてのフレームが、その正しいタイプについて評価される。したがって、Ｉフレームと隣接するＰフレームとの間または２つの連続するＰフレームの間の間隔を、可変とすることができる。このメトリックの計算は、ブロックベースの動き補償器を用いてビデオフレームを処理することによって開始され、ブロックは、通常は１６×１６画素からなるビデオ圧縮の基礎単位であるが、８×８、４×４、および８×１６などの他のブロックサイズが可能である。２つのデインターレースされたフィールドからなるフレームについて、動き補償は、フィールドを基礎として行うことができ、基準ブロックの探索は、フレームではなくフィールド内で行われる。現行フレームの第１フィールド内のブロックについて、順方向の基準ブロックは、それに続くフレームのフィールド内で見つけられ、同様に、逆方向の基準ブロックは、現行フィールドに直接に先行するフレームのフィールド内で見つけられる。現行ブロックは、補償されたフィールドに組み立てられる。この処理は、そのフレームの第２フィールドに継続される。２つの補償されたフィールドが、順方向の補償されたフレームおよび逆方向の補償されたフレームを形成するために組み合わされる。
逆テレシネ６０６で作成されたフレームについて、基準ブロックの探索は、再構成されたフィルムフレームだけなので、フレームのみを基礎とする。順方向および逆方向の、２つの基準ブロックおよび２つの差が、見つけられ、順方向および逆方向の補償されたフレームにもつながる。要約すると、動き補償器は、すべてのブロックについて動きベクトルおよび差分メトリックスを作るが、ブロックは、デインターレーサ６０５の出力が処理される場合にはＮＴＳＣフィールドの一部であり、逆テレシネの出力が処理される場合にはフィルムフレームの一部である。メトリックの差が、検討されているフィールドまたはフレームの中のブロックと、順方向の差分または逆方向の差分のどちらが評価されているかに応じて、前のフィールドもしくはフレーム内、または直接に続くフィールドもしくはフレーム内のいずれであれ、最良一致ブロックとの間で評価されることに留意されたい。輝度値だけが、この計算に入力される。
したがって、動き補償ステップは、２組の差を生成する。これらは、輝度の現在値のブロックと、時間的に現在のフレームの直後および直前のフレームからとられた基準ブロック内の輝度との間の差である。順方向の差分の各々および逆方向の差分の各々の絶対値が、画素ごとに判定され、それぞれが、フレーム全体にわたって別々に合計される。１つのフレームを備えるデインターレースされたＮＴＳＣフィールドが処理される時には、両方のフィールドが、２つの合計に含まれる。この形で、ＳＡＤＰおよびＳＡＤＮすなわち順方向の差分および逆方向の差分の合計された絶対値が見つけられる。
すべてのフレームについて、ＳＡＤ比は、次の関係を使用して計算される。
ここで、ＳＡＤＰおよびＳＡＤＮは、それぞれ、順方向の差分および逆方向の差分の合計された絶対値である。「ゼロによる除算」のエラーを防ぐために、分子εに小さい正の数が加算される。同様なε項が、分母に加算され、ＳＡＤＰまたはＳＡＤＮのいずれかが０に近い時にγの感度をさらに下げる。
代替の態様では、差を、ＳＳＤすなわち二乗差の合計およびＳＡＤすなわち絶対差の合計またはＳＡＴＤとすることができ、ＳＡＴＤでは、画素値のブロックが、ブロック要素内の差をとる前にそれらのブロックに２次元離散コサイン変換を適用することによって変換される。合計は、アクティブビデオの区域にわたって評価されるが、他の態様では、より小さい区域を使用することができる。
受け取られたままの（動き補償されていない）すべてのフレームの輝度ヒストグラムも、計算される。このヒストグラムは、輝度値のブロックが使用可能であった場合にその輝度値のブロックに２次元離散コサイン変換を適用したことの結果である係数の１６×１６配列内のＤＣ係数すなわち（０，０）係数に影響する。これと同等に、１６×１６ブロック内の輝度の２５６個の値の平均値を、ヒストグラム内で使用することができる。その輝度深さが８ビットである画像について、ビンの個数は１６に設定される。次のメトリックは、ヒストグラム差分を評価する。
上の式では、ＮＰｉは、第ｉビン内の前のフレームからのブロックの個数であり、Ｎｃｉは、第ｉビンに属する現行フレームからのブロックの個数であり、Ｎは、１フレーム内のブロックの総数である。
これらの中間結果は、次のように現行フレームの差分メトリックを形成するために組み立てられる。
ここで、γＣは、現行フレームに基づくＳＡＤ比であり、γＰは、前フレームに基づくＳＡＤ比である。シーンが滑らかな動きを有し、そのルマヒストグラムがほとんど変化しない場合には、Ｄ≒１である。現行フレームが突然のシーン変化を表示する場合には、γＣが大きくなり、γＰが小さくならなければならない。γＣ単独ではなく比
が使用され、その結果、このメトリックが、コンテキストのアクティビティレベルに対して正規化されるようになる。
図４２に、フレームに圧縮タイプを割り当てる処理を示す。Ｄすなわち式１９で定義された現行フレームの差が、フレーム割当に関して行われる判断の基礎である。判断ブロック４２０２に示されているように、考慮中のフレームがシーケンスの最初のフレームである場合に、ＹＥＳとマークされたブロック４２０６への判断経路に従い、これによって、そのフレームがＩフレームであると宣言する。ブロック４２０８で、累算されたフレーム差分に０を設定し、この処理は（ブロック４２１０で）開始ブロックにリターンする。考慮中のフレームがシーケンスの最初のフレームではない場合に、その判断が行われたブロック４２０２からのＮＯとマークされた判断経路に従い、テストブロック４２０４で、現行フレームの差をシーン変化しきい値に対してテストする。現行フレームの差がそのしきい値より大きい場合には、ブロック４２０６へのＹＥＳとマークされた判断経路に従い、これは、やはりＩフレームの割当につながる。
現行フレームの差がシーン変化しきい値より小さい場合には、ブロック４２１２へのＮＯ経路に従い、ここで、現行フレームの差を、累算されたフレーム差分に加算する。この流れ図を介して判断ブロック４２１４で継続して、累算されたフレーム差分を、一般にシーン変化しきい値より小さいしきい値ｔと比較する。累算されたフレーム差分がｔより大きい場合には、制御はブロック４２１６に転送され、フレームはＰフレームになるように割り当てられ、その後、ステップ４２１８で、累算されたフレーム差分を０にリセットする。累算されたフレーム差分がｔより小さい場合には、制御はブロック４２１４からブロック４２２０に転送される。ここでは、現行フレームの差を、ｔより小さいτと比較する。現行フレームの差がτより小さい場合には、ブロック４２２２で、そのフレームは、スキップされるように割り当てられ、この処理はリターンし、現行フレームの差がτより大きい場合には、ブロック４２２６で、そのフレームは、Ｂフレームになるように割り当てられる。
符号化器
戻って図２を参照すると、トランスコーダ２００は、処理されたメタデータおよび生ビデオをプリプロセッサ２２６から受け取る符号化器２２８を含む。メタデータには、元々はソースビデオ１０４内で受け取られたすべての情報およびプリプロセッサ２２６によって計算されたすべての情報を含めることができる。符号化器２２８は、第１パス符号化器２３０、第２パス符号化器２３２、および再符号化器２３４を含む。符号化器２２８は、第２パス符号化器２３２から第１パス符号化器２３０、再符号化器２３４、ならびにプリプロセッサ２２６に情報（たとえば、メタデータ、誤り弾力性情報、コンテンツ情報、符号化ビットレート情報、ベースレイヤおよびエンハンスメントレイヤバランス情報、および量子化情報）を供給できるトランスコーダ制御２３１からも入力を受け取る。符号化器２２８は、プリプロセッサ２２６から受け取ったコンテンツ情報および／または符号化器２２８自体によって、たとえばコンテンツ分類モジュール７１２（図７）によって生成されたコンテンツ情報を使用して、受け取ったビデオを符号化する。
戻って図２を参照すると、トランスコーダ２００は、処理されたメタデータおよび生ビデオをプリプロセッサ２２６から受け取る符号化器２２８を含む。メタデータには、元々はソースビデオ１０４内で受け取られたすべての情報およびプリプロセッサ２２６によって計算されたすべての情報を含めることができる。符号化器２２８は、第１パス符号化器２３０、第２パス符号化器２３２、および再符号化器２３４を含む。符号化器２２８は、第２パス符号化器２３２から第１パス符号化器２３０、再符号化器２３４、ならびにプリプロセッサ２２６に情報（たとえば、メタデータ、誤り弾力性情報、コンテンツ情報、符号化ビットレート情報、ベースレイヤおよびエンハンスメントレイヤバランス情報、および量子化情報）を供給できるトランスコーダ制御２３１からも入力を受け取る。符号化器２２８は、プリプロセッサ２２６から受け取ったコンテンツ情報および／または符号化器２２８自体によって、たとえばコンテンツ分類モジュール７１２（図７）によって生成されたコンテンツ情報を使用して、受け取ったビデオを符号化する。
図２に示された符号化器２２８のために使用できる例示的な２パス符号化器に含めることができる機能モジュールのブロック図を図７に示す。機能モジュールのさまざまな態様が図７に示されているが、図７および本明細書の説明は、必ずしも、符号化器に組み込むことのできるすべての機能性には対処しない。したがって、機能モジュールのある種の態様が、以下のベースレイヤ符号化およびエンハンスメントレイヤ符号化の議論に続いて、以下で説明される。
ベースレイヤ符号化およびエンハンスメントレイヤ符号化
符号化器２２８は、プリプロセッサ２２６からの生ビデオおよびメタデータを本明細書でベースレイヤとも称する符号化されたデータの第１グループおよび本明細書でエンハンスメントレイヤとも称する符号化されたデータの１つまたは複数の追加的なグループに符号化することができるＳＮＲスケーラブル符号化器とすることができる。符号化アルゴリズムは、復号化された時に、両方のレイヤが復号化に使用可能な時に復号化器で組み合わせることができるベースレイヤ係数およびエンハンスメントレイヤ係数を生成する。両方のレイヤが使用可能ではない時には、ベースレイヤの符号化が、ベースレイヤを単一のレイヤとして復号化することを可能にする。
符号化器２２８は、プリプロセッサ２２６からの生ビデオおよびメタデータを本明細書でベースレイヤとも称する符号化されたデータの第１グループおよび本明細書でエンハンスメントレイヤとも称する符号化されたデータの１つまたは複数の追加的なグループに符号化することができるＳＮＲスケーラブル符号化器とすることができる。符号化アルゴリズムは、復号化された時に、両方のレイヤが復号化に使用可能な時に復号化器で組み合わせることができるベースレイヤ係数およびエンハンスメントレイヤ係数を生成する。両方のレイヤが使用可能ではない時には、ベースレイヤの符号化が、ベースレイヤを単一のレイヤとして復号化することを可能にする。
そのようなマルチレイヤ符号化処理の一態様を、図３１を参照して説明する。ブロック３２１で、完全にイントラ符号化されたマクロブロック（イントラ符号化されたＭＢ）を用いて、Ｉフレームを符号化する。Ｈ．２６４では、Ｉフレーム内のイントラ符号化されたＭＢは、かなりの量の符号化利得をもたらす完全に活用された空間的な予測を用いて符号化される。２つのサブモードすなわち、Ｉｎｔｒａ４ｘ４およびＩｎｔｒａ１６ｘ１６がある。ベースレイヤが、空間的な予測によって与えられる符号化利得を利用する場合には、ベースレイヤは、エンハンスメントレイヤの符号化および復号化の前に符号化され、復号化される必要がある。Ｉフレームの２パス符号化および復号化が使用される。ベースレイヤでは、ベースレイヤ量子化パラメータＱＰｂが、変換係数に粗い量子化ステップサイズを与える。オリジナルフレームと再構成されたベースレイヤフレームとの間の画素ごとの差が、エンハンスメントレイヤで符号化される。エンハンスメントレイヤは、より微細な量子化ステップサイズを与える量子化パラメータＱＰｅを使用する。図２の符号化器２２８などの符号化ための手段が、ブロック３２１で符号化を実行することができる。
ブロック３２３で、符号化器は、処理されているＧＯＰ内のＰフレームおよび／またはＢフレームのベースレイヤデータおよびエンハンスメントレイヤデータを符号化する。符号化器２２８などの符号化ための手段が、ブロック３２３で符号化を実行することができる。ブロック３２５で、符号化処理は、符号化すべきＰフレームまたはＢフレームがまだあるかどうかを検査する。ＳＮＲスケーラブル符号化器２２８などの符号化ための手段が、行為３２５を実行することができる。ＰフレームまたはＢフレームがまだ残っている場合には、ＧＯＰ内のすべてのフレームが符号化され終えるまで、ステップ３２３を繰り返す。ＰフレームおよびＢフレームは、インター符号化されたマクロブロック（インター符号化されたＭＢ）からなるが、以下で述べるように、ＰフレームおよびＢフレーム内にイントラ符号化されたＭＢがあるものとすることができる。
復号化器が、ベースレイヤデータとエンハンスメントレイヤデータを区別するために、符号化器２２８は、ブロック３２７でオーバーヘッド情報を符号化する。オーバーヘッド情報のタイプには、たとえば、レイヤの個数を識別するデータ、ベースレイヤとしてレイヤを識別するデータ、エンハンスメントレイヤとしてレイヤを識別するデータ、レイヤの間の相互関係を識別するデータ（レイヤ２がベースレイヤ１のエンハンスメントレイヤである、あるいはレイヤ３がエンハンスメントレイヤ２のエンハンスメントレイヤであるなど）、または複数のエンハンスメントレイヤの系列内の最後のエンハンスメントレイヤとしてレイヤを識別するデータが含まれる。オーバーヘッド情報は、関係するベースレイヤデータおよび／またはエンハンスメントレイヤデータに接続されたヘッダに含めるか、別々のデータメッセージに含めることができる。図２の符号化器２２８などの符号化ための手段が、ブロック３２７でこの処理を実行することができる。
単一レイヤの復号化を有するために、２つのレイヤの係数が、逆量子化の前に組み合わされる。したがって、この２つのレイヤの係数は、相互に作用して生成されなければならず、さもなければ、これが、かなりの量のオーバーヘッドを導入する可能性がある。オーバーヘッド増加の１つの理由は、ベースレイヤ符号化およびエンハンスメントレイヤ符号化が、異なる時間的な基準を使用し得ることである。ベースレイヤとエンハンスメントレイヤとの両方が使用可能である時に、逆量子化の前に復号化器で組み合わせることができる、ベースレイヤ係数およびエンハンスメントレイヤ係数を生成するために、アルゴリズムが必要である。それと同時に、このアルゴリズムは、エンハンスメントレイヤが使用可能でない時、またはたとえば電力節約などの理由から復号化器がエンハンスメントレイヤを復号化しないと判断する時に、許容できるベースレイヤビデオをもたらさなければならない。そのような処理の例示的な例の詳細を、すぐ下の標準予測符号化の短い議論の文脈で、以下にさらに述べる。
Ｐフレーム（または、任意のインター符号化されたセクション）は、現行ピクチャ内の領域と基準ピクチャ内の最良一致予測領域との間の時間的な冗長度を活用することができる。基準フレーム内の最良一致予測領域の位置を、動きベクトル内で符号化することができる。現行領域と最良一致基準予測領域との間の差は、見逃し誤り（または予測誤差）として知られる。
図３２は、たとえばＭＰＥＧ−４での、Ｐフレーム構成処理の例の図示である。処理３３１は、図３１のブロック３２３で行うことができる例の処理のより詳細な図示である。処理３３１は、５×５個のマクロブロックから構成された現行ピクチャ３３３を含み、ここで、この例のマクロブロックの個数は、任意である。マクロブロックは、１６×１６個の画素から構成される。画素は、１つの８ビット輝度値（Ｙ）および２つの８ビットクロミナンス値（ＣｒおよびＣｂ）によって定義することができる。ＭＰＥＧでは、Ｙ成分、Ｃｒ成分、およびＣｂ成分を、４：２：０フォーマットで格納することができ、ここで、Ｃｒ成分およびＣｂ成分は、Ｘ方向およびＹ方向で２倍ダウンサンプリングされる。したがって、各マクロブロックは、２５６個のＹ成分、６４個のＣｒ成分、および６４個のＣｂ成分からなる。現行ピクチャ３３３のマクロブロック３３５は、現行ピクチャ３３３と異なる時点の基準ピクチャ３３７から予測される。Ｙ値、Ｃｒ値、およびＣｂ値に関して、符号化される現行マクロブロック３３５に最も近い最良一致マクロブロック３３９を突き止めるために、基準ピクチャ３３７内で探索を行う。基準ピクチャ３３７内の最良一致マクロブロック３３９の位置は、動きベクトル３４１内で符号化される。基準ピクチャ３３７は、復号化器が現行ピクチャ３３３の構成の前に再構成するＩフレームまたはＰフレームとすることができる。最良一致マクロブロック３３９が、現行マクロブロック３３５から減算され（Ｙ成分、Ｃｒ成分、およびＣｂ成分のそれぞれの差が、計算される）、見逃し誤り３４３がもたらされる。見逃し誤り３４３は、２Ｄ離散コサイン変換（ＤＣＴ）３４５を用いて符号化され、その後、量子化３４７される。量子化３４７は、たとえば低周波係数により多くのビットを割り当てながら高周波係数により少ないビットを割り当てることによって、空間圧縮を実現するために実行することができる。見逃し誤り３４３の量子化された係数は、動きベクトル３４１および基準ピクチャ３３３を識別する情報と一緒に、現行マクロブロック３３５を表す符号化された情報である。この符号化された情報を、将来の使用のためにメモリに格納し、たとえば誤り訂正または画像の質の向上のために操作し、あるいはネットワーク３４９を介して伝送することができる。
見逃し誤り３４３の符号化され量子化された係数は、符号化された動きベクトル３４１と共に、後続の動き推定および動き補償の基準フレームの一部として使用するために符号化器内で現行マクロブロック３３５を再構成するのに使用することができる。符号化器は、このＰフレーム再構成のために復号化器の手順をエミュレートすることができる。復号化器のエミュレーションは、符号化器と復号化器との両方が同一の基準ピクチャを処理することをもたらす。将来のインター符号化のために符号化器内で行われるものであれ、復号化器内で行われるものであれ、再構成処理をここで提示する。Ｐフレームの再構成は、基準フレーム（または、参照されているピクチャもしくはフレームの一部）が再構成された後に開始することができる。符号化され量子化された係数が、逆量子化３５１され、その後、２Ｄ逆ＤＣＴすなわちＩＤＣＴ ３５３が実行され、復号化されたまたは再構成された見逃し誤り３５５をもたらす。符号化された動きベクトル３４１が、復号化され、既に再構成されている基準ピクチャ３３７内の既に再構成されている最良一致マクロブロック３５７を突き止めるのに使用される。次に、再構成された見逃し誤り３５５が、再構成されたマクロブロック３５９を形成するために、再構成された最良一致マクロブロック３５７に加算される。再構成されたマクロブロック３５９を、メモリに格納するか、独立にまたは他の再構成されたマクロブロックと共にピクチャ内に表示するか、あるいは画像の質を高めるためにさらに処理することができる。
Ｂフレーム（または双方向予測を用いて符号化された任意のセクション）は、現行ピクチャ内の領域と前のピクチャ内の最良一致予測領域と後続ピクチャ内の最良一致予測領域との間の時間的な冗長度を活用することができる。後続の最良一致予測領域および前の最良一致予測領域は、組み合わされた双方向予測領域を形成するために組み合わされる。現行ピクチャ領域と最良一致の組合わされた双方向予測領域との間の差が、見逃し誤り（または予測誤差）である。後続の基準ピクチャ内の最良一致予測領域および前の基準ピクチャ内の最良一致予測領域の位置を、２つの動きベクトル内で符号化することができる。
図３３に、符号化器２２８によって実行できるベースレイヤ係数およびエンハンスメントレイヤ係数を符号化する符号化器の処理の例を示す。ベースレイヤおよびエンハンスメントレイヤは、ＳＮＲスケーラブルビットストリームを提供するために符号化される。図３３に、図３１のステップ３２３で行われるインターＭＢ見逃し誤り係数の符号化の例を示す。しかし、類似する方法を、イントラＭＢ係数の符号化にも使用することができる。図２の符号化器の構成要素２２８などの符号化ための手段が、図３３に示された処理および図３２のステップ３２３を実行することができる。オリジナルの（符号化される）ビデオデータ４０６（ビデオデータは、この例ではルマ情報およびクロマ情報を備える）が、ベースレイヤ最良一致マクロブロックループ３０２およびエンハンスメントレイヤ最良一致マクロブロックループ３６５に入力される。両方のループ３６３および３６５の目的は、それぞれ加算器３６７および３６９で計算される見逃し誤りを最小にすることである。ループ３６３および３６５を、図示のように並列にまたは順次実行することができる。ループ３６３および３６５は、最良一致マクロブロックとオリジナルデータ３６１との間の見逃し誤りを最小にする最良一致マクロブロックを識別するために、それぞれ、基準フレームを含むバッファ３７１および３７３を探索するロジックを含む（バッファ３７１および３７３は、同一のバッファとすることができる）。ループ３６３およびループ３６５の見逃し誤りは、ベースレイヤループ３６３が一般にエンハンスメントレイヤループ３６５より粗い量子化ステップサイズ（より大きいＱＰ値）を利用するので、異なる。変換ブロック３７５および３７７は、各ループの見逃し誤りを変換する。
次に、変換された係数が、選択器３７９内でベースレイヤ係数およびエンハンスメントレイヤ係数へと解析される。選択器３７９の解析は、下で述べるように複数の形をとることができる。解析技法の１つの共通の特徴は、エンハンスメントレイヤ係数Ｃ’ｅｎｈが、ベースレイヤ係数Ｃ’ｂａｓｅに対する差分改善になるように計算されることである。ベースレイヤに対する改善になるようにエンハンスメントレイヤを計算することによって、復号化器が、ベースレイヤ係数を単独で復号化し、画像の合理的な表現を有すること、またはベースレイヤ係数およびエンハンスメントレイヤ係数を組み合わせ、画像の改善された表現を有することが可能になる。次に、選択器３７９によって選択された係数が、量子化器３８１および３８３によって量子化される。量子化された係数
および
（それぞれ量子化器３８１および３８３を用いて計算される）を、メモリに格納するか、ネットワークを介して復号化器に伝送することができる。
復号化器でのマクロブロックの再構成と一致するために、逆量子化器３８５が、ベースレイヤ見逃し誤り係数を逆量子化する。逆量子化された見逃し誤り係数が、逆変換３８７され、バッファ３７１内で見つかる最良一致マクロブロックに加算３８９され、復号化器で再構成されるものと一致する再構成されたマクロブロックがもたらされる。量子化器３８３、逆量子化器３９１、逆変換器３９３、加算器３９７、およびバッファ３７３は、ベースレイヤループ３６３内で行われたものに類似するエンハンスメントループ３６５内の計算を実行する。さらに、加算器３９３は、エンハンスメントレイヤの再構成に使用される逆量子化されたエンハンスメントレイヤ係数およびベースレイヤ係数を組み合わせるのに使用される。エンハンスメントレイヤの量子化器および逆量子化器は、一般に、ベースレイヤより微細な量子化ステップサイズ（より小さいＱＰ）を利用する。
図３４、３５、および３６に、図３３の選択器３７９内で使用できるベースレイヤ係数の選択器の処理およびエンハンスメントレイヤ係数の選択器の処理の例を示す。図２の符号化器２２８などの選択ための手段が、図３４、３５、および３５に示された処理を実行することができる。図３４を例として使用すると、変換された係数は、次の方程式に示されているように、ベースレイヤ係数およびエンハンスメントレイヤ係数へと解析される。
ここで、「ｍｉｎ」関数は、２つの引数の数学的な最小値または最小の大きさのいずれかとすることができる。式２５は、ブロック４０１として図示され、式２６は、図３４で加算器５１０として図示されている。式２６では、Ｑｂが、ベースレイヤ量子化器３８１を表し、Ｑｂ −１が、ベースレイヤの逆量子化器３８５を表す。式２６は、エンハンスメントレイヤ係数を、式２５を用いて計算されたベースレイヤ係数の差分改善に変換する。
図３５は、ベースレイヤおよびエンハンスメントレイヤの係数の選択器３７９のもう１つの例を示す。この例では、ブロック４０５に含まれる方程式（．）が、次式を表す。
加算器４０７は、次の２つの方程式に示されているようにエンハンスメントレイヤ係数を計算する。
ここで、Ｃ’ｂａｓｅは、式２７によって与えられる。
図３６は、ベースレイヤおよびエンハンスメントレイヤの選択器３７９のもう１つの例の図示である。この例では、ベースレイヤ係数は変更されず、エンハンスメントレイヤは、量子化／逆量子化されたベースレイヤ係数とオリジナルのエンハンスメントレイヤ係数との間の差と等しい。
ベースレイヤおよびエンハンスメントレイヤの見逃し誤り係数に加えて、復号化器は、ＭＢがどのように符号化されているかを識別する情報を必要とする。図２の符号化器の構成要素２２８などの符号化ための手段は、たとえば、マクロブロック（またはサブマクロブロック）がイントラ符号化またはインター符号化されたとして識別され（たとえば順方向、逆方向、または双方向を含む、どのタイプのインター符号化かをも識別する）、インター符号化された部分がどのフレームに対して参照されるかを識別するＭＢマップなど、イントラ符号化された部分およびインター符号化された部分のマップを含むことができるオーバーヘッド情報を符号化することができる。例の態様では、ＭＢマップおよびベースレイヤ係数が、ベースレイヤ内で符号化され、エンハンスメントレイヤ係数が、エンハンスメントレイヤ内で符号化される。
ＰフレームおよびＢフレームは、イントラ符号化されたＭＢならびにインターＭＢを含むことができる。ハイブリッドビデオ符号化器が、ＰフレームまたはＢフレーム内のあるマクロブロックをイントラ符号化されたＭＢとして符号化すると判断するために速度歪み（ＲＤ）最適化を使用することが、一般的である。イントラ符号化されたＭＢがエンハンスメントレイヤのインターＭＢに依存しない単一レイヤの復号化を有するために、すべての隣接するインターＭＢは、ベースレイヤのイントラ符号化されたＭＢの空間的な予測には使用されない。エンハンスメントレイヤの復号化について計算の複雑度を変更されないままに保つために、ベースレイヤのＰフレームまたはＢフレーム内のイントラ符号化されたＭＢについて、エンハンスメントレイヤでの改善をスキップすることができる。
ＰフレームまたはＢフレーム内のイントラ符号化されたＭＢは、インターＭＢよりはるかに多数のビットを必要とする場合がある。この理由のために、ＰフレームまたはＢフレーム内のイントラ符号化されたＭＢは、より高いＱＰでベースレイヤ品質で符号化することしかできない。これは、ビデオ品質のある劣化をもたらすが、この劣化は、上で述べたようにベースレイヤおよびエンハンスメントレイヤ内のインターＭＢ係数を用いて後のフレームで改善される場合に、人目をひかないに違いない。２つの理由が、この劣化を人目をひかないものにする。第１の理由は、人間の視覚系（ＨＶＳ）の特徴であり、他方の理由は、インターＭＢがイントラＭＢを改善することである。第１フレームから第２フレームへ位置を変更するオブジェクトがあると、第１フレーム内のいくつかの画素は、第２フレーム内で不可視であり（隠される情報）、第２フレーム内のいくつかの画素は、初めて可視になる（覆いを取られる情報）。人間の目は、覆いを取られる画像情報および隠される画像情報に敏感ではない。したがって、覆いを取られる情報について、それがより低い品質で符号化される場合であっても、目は、その差を見分けることができない。同一の情報が、続くＰフレームに留まる場合に、エンハンスメントレイヤはより低いＱＰを有するので、続くＰフレームが、エンハンスメントレイヤでその情報を改善できる可能性が高い。
ＰフレームまたはＢフレームにイントラ符号化されたＭＢを導入するもう１つの一般的な技法は、イントラリフレッシュとして知られる。この場合に、標準Ｒ−Ｄ最適化が、いくつかのＭＢをインター符号化されたＭＢにしなければならないと命ずる場合であっても、それらのＭＢは、イントラ符号化されたＭＢとして符号化される。これらのイントラ符号化されたＭＢは、ベースレイヤに含まれるが、ＱＰｂまたはＱＰｅのいずれかを用いて符号化することができる。ＱＰｅがベースレイヤに使用される場合には、エンハンスメントレイヤでの改善は不要である。ＱＰｂがベースレイヤに使用される場合には、改善が必要である場合があり、さもなければ、エンハンスメントレイヤで、品質の低下が顕著になる。インター符号化は、符号化効率の意味でイントラ符号化より効率的なので、エンハンスメントレイヤでのこれらの改善は、インター符号化される。この形では、ベースレイヤ係数は、エンハンスメントレイヤに使用されない。したがって、品質は、新しい動作を導入せずにエンハンスメントレイヤで改善される。
Ｂフレームは、一般に、それが提供する高い圧縮品質のゆえに、エンハンスメントレイヤで使用される。しかし、Ｂフレームが、Ｐフレームのイントラ符号化されたＭＢを参照しなければならない場合がある。Ｂフレームの画素が、エンハンスメントレイヤ品質で符号化されなければならない場合に、これは、上で述べたように、Ｐフレームのイントラ符号化されたＭＢのより低い品質に起因して、多すぎるビットを必要とする場合がある。上で述べたＨＶＳの特質を利用することによって、ＢフレームＭＢを、Ｐフレームのより低い品質のイントラ符号化されたＭＢを参照する時に、より低い品質で符号化することができる。
ＰフレームまたはＢフレーム内のイントラ符号化されたＭＢの１つの極端な例が、ＰフレームまたはＢフレーム内のすべてのＭＢが、符号化されるビデオ内のシーン変化の存在に起因してイントラモードで符号化される時である。この場合に、フレーム全体を、ベースレイヤ品質で、エンハンスメントレイヤでの改善なしで符号化することができる。シーン変化がＢフレームで発生する場合に、Ｂフレームがエンハンスメントレイヤでのみ符号化されると仮定すると、そのＢフレームを、ベースレイヤ品質で符号化するか、単純に捨てることができる。シーン変化がＰフレームで発生する場合に、変更が不要である可能性があるが、そのＰフレームを、捨てるか、ベースレイヤ品質で符号化することができる。スケーラブルレイヤ符号化は、本願の譲受人が所有し、参照によってその全体が本明細書に組み込まれている、同時係属の米国特許出願［弁理士整理番号第０５００７８号］、名称「ＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＣＯＤＩＮＧ ＷＩＴＨ ＴＷＯ ＬＡＹＥＲ ＥＮＣＯＤＩＮＧ ＡＮＤ ＳＩＮＧＬＥ ＬＡＹＥＲ ＤＥＣＯＤＩＮＧ」にさらに記載されている。
符号化器の第１パス部分
図７に、図２の符号化器２２８の例示的な例を示す。図示のブロックは、符号化器２２８内に含めることができるさまざまな符号化器の処理を示す。この例では、符号化器２２８は、境界線７０４の上の第１パス部分７０６および線７０４の下の第２パス部分７０６（図２の第２パス符号化器２３２および再符号化器２３４の機能を含む）を含む。
図７に、図２の符号化器２２８の例示的な例を示す。図示のブロックは、符号化器２２８内に含めることができるさまざまな符号化器の処理を示す。この例では、符号化器２２８は、境界線７０４の上の第１パス部分７０６および線７０４の下の第２パス部分７０６（図２の第２パス符号化器２３２および再符号化器２３４の機能を含む）を含む。
符号化器２２８は、プリプロセッサ２２６からメタデータおよび生ビデオを受け取る。メタデータには、ビデオのコンテンツ情報に関するメタデータを含む、プリプロセッサ２２６によって受け取られたか計算されたすべてのメタデータを含めることができる。符号化器２２８の第１パス部分７０２は、その機能の観点から下記で説明される第１パス符号化７０２に含めることができる例示的処理を図解する。当業者が知るとおり、そのような機能性は、さまざまな形（たとえば、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組合せ）で実施することができる。
図７に、適応的イントラリフレッシュ（ＡＩＲ）モジュールを示す。ＡＩＲモジュール７１０は、メタデータに基づいてＩフレームをインスタンス化するＩフレームインスタンス化モジュール７０８に入力を供給する。第１パス部分７０２には、メタデータおよびビデオを受け取り、そのビデオに関するコンテンツ情報を判定するように構成されたコンテンツ分類モジュール７１２をも含めることができる。コンテンツ情報を、メタデータおよびビデオをも受け取るレート制御ビット割当モジュール７１４に供給することができる。制御ビット割当モジュール７１４は、レートビット制御情報を決定し、これをモード判断モジュール７１５に供給する。コンテンツ情報およびビデオを、イントラ符号化された歪み情報をモード判断モジュール７１５ならびにベースおよびエンハンスメントレイヤ用のスケーラビリティ・レート歪みモジュール７１８に供給するイントラモデル（歪み）モジュール７１６に供給することができる。ビデオおよびメタデータは、インター符号化された歪み情報をベースおよびエンハンスメントレイヤ用のスケーラビリティ・レート歪みモジュール７１８に供給する動き推定（歪み）モジュール７２０に供給される。ベースおよびエンハンスメントレイヤ用のスケーラビリティ・レート歪みモジュール７１８は、動き推定モジュール７２０およびイントラモデル歪みモジュール７１６からの歪み推定値を使用してスケーラビリティ・レート歪み情報を決定し、このスケーラビリティ・レート歪み情報は、モード判断モジュール７１５に供給される。モード判断モジュール７１５は、スライス／ＭＢ順序付けモジュール７２２からも入力を受け取る。スライス／ＭＢ順序付けモジュール７２２は、誤り弾力性モジュール７４０（第２パス部分７０６内に図示）から入力を受け取り、ビデオの独立に符号化可能な部分（スライス）を誤り弾力性に関するアクセス単位境界に整列することに関する情報をモード判断モジュール７１５に供給する。モード判断モジュール７１５は、その入力に基づいて符号化モード情報を判定し、「最良」符号化モードを第２パス部分７０６に供給する。そのような第１パス部分７０２符号化のいくつかの例のさらなる例示的な説明を、下で説明する。
上で述べたように、コンテンツ分類モジュール７１２は、プリプロセッサ２２６によって供給されるメタデータおよび生ビデオを受け取る。いくつかの例で、プリプロセッサ２２６は、マルチメディアデータからコンテンツ情報を計算し、そのコンテンツ情報をコンテンツ分類モジュール７１２に供給し（たとえば、メタデータ内で）、コンテンツ分類モジュール７１２は、マルチメディアデータのコンテンツ分類を判定するのに、そのコンテンツ情報を使用することができる。いくつかの他の態様において、コンテンツ分類モジュール７１２は、マルチメディアデータからさまざまなコンテンツ情報を決定するように構成され、コンテンツ分類を決定するようにも構成され得る。
コンテンツ分類モジュール７１２を、異なるタイプのコンテンツを有するビデオの異なるコンテンツ分類を判定するように構成することができる。異なるコンテンツ分類は、マルチメディアデータの符号化の諸態様、たとえば、量子化パラメータを決定するためのビットレート（たとえば、ビット割当）の決定、動き推定、スケーラビリティ、誤り弾力性、チャネルにまたがる最適マルチメディアデータ品質の維持、および高速なチャネルの切替方式（たとえば、高速なチャネルの切替を可能にするための周期的なＩフレームの強制に使用される異なるパラメータをもたらすことができる。一例によれば、符号化器２２８は、コンテンツ分類に基づいてレート歪み（Ｒ−Ｄ）最適化およびビットレート割当を決定するように構成される。コンテンツ分類を決定することは、コンテンツ分類に基づく所望のビットレートに対応する所与の品質レベルにマルチメディアデータを圧縮することを可能にする。また、マルチメディアデータのコンテンツを分類する（たとえば、人間の視覚系に基づいてコンテンツ分類を決定する）ことによって、受け取るデバイスのディスプレイ上での通信されたマルチメディアデータの結果の知覚品質が、ビデオコンテンツに依存するようにされる。
コンテンツを分類するためにコンテンツ分類モジュール７１２が経験する手順の例として、図９に、コンテンツ分類モジュール７１２がそれによって動作できる例示的処理を示す処理９００を示す。図示されているように、処理９００は、入力ブロック９０２で開始され、ここで、コンテンツ分類モジュール７１２は、生のマルチメディアデータおよびメタデータを受け取る。次に、処理９００は、ブロック９０４に進み、ここで、コンテンツ分類モジュール７１２は、マルチメディアデータの空間的情報および時間的情報を判定する。いくつかの態様で、空間的情報および時間的情報は、空間的マスキングおよび時間的マスキング（たとえば、フィルタリング）によって判定される。空間的情報および時間的情報は、シーン変化データおよび動きベクトル（ＭＶ）平滑化を含むメタデータに基づいて判定することができる。次に、処理９００は、ブロック９１２に進み、ここで、空間的な複雑度の推定、時間的な複雑度の推定、および感度推定を実行する。次に、処理９００は、ブロック９１６に進み、ここで、マルチメディアデータのコンテンツを、ブロック９０４および９１２で判定された空間的データ、時間的データ、および感度データの結果に基づいて分類する。また、ブロック９１６で、特定のレート歪み（Ｒ−Ｄ）曲線を選択することができ、かつ／またはＲ−Ｄ曲線データを更新することができる。次に、処理９００は、出力ブロック９１８に進み、ここで、出力には、複雑度−歪みマップまたは空間的アクティビティおよび時間的アクティビティを示す値（たとえば、コンテンツ分類）ならびに／あるいは選択されたＲ−Ｄ曲線を含めることができる。戻って図７を参照すると、コンテンツ分類モジュール７１２は、出力を、上で述べたレート制御ビット割当モジュール７１４、イントラモデル（歪み）モジュール７１６、およびＩフレームインスタンス化モジュール７０８に供給する。
コンテンツ情報
コンテンツ分類モジュール７１２を、以下でさらに説明する、空間的な複雑度、時間的な複雑度、コントラスト比値、標準偏差、およびフレーム差分メトリックを含むさまざまなコンテンツ関連メトリックを含むさまざまなコンテンツ情報をマルチメディアデータから計算するように構成することができる。
コンテンツ分類モジュール７１２を、以下でさらに説明する、空間的な複雑度、時間的な複雑度、コントラスト比値、標準偏差、およびフレーム差分メトリックを含むさまざまなコンテンツ関連メトリックを含むさまざまなコンテンツ情報をマルチメディアデータから計算するように構成することができる。
コンテンツ分類モジュール７１２を、マルチメディアデータの空間的な複雑度および時間的な複雑度を判定し、また、テクスチャ値を空間的な複雑度に関連付け、動き値を時間的な複雑度に関連付けるように構成することができる。コンテンツ分類モジュール７１２は、プリプロセッサ２２６から、符号化されるマルチメディアデータのコンテンツに関する前処理されたコンテンツ情報を受け取り、あるいはその代わりに、コンテンツ情報を計算するようにプリプロセッサ２２６を構成することができる。上で説明したように、コンテンツ情報には、たとえば、１つまたは複数のＤｃｓａｔ値、コントラスト比値、動きベクトル（ＭＶ）、および絶対差の合計（ＳＡＤ）を含めることができる。
一般に、マルチメディアデータは、画像またはフレームの１つまたは複数のシーケンスを含む。各フレームを、処理のために画素のブロックに分解することができる。空間的な複雑度は、１フレーム内の空間的な詳細のレベルの尺度を全般的に記述する広義の用語である。輝度およびクロミナンスの主に平坦なまたは変化しないまたは少し変化する区域を有するシーンは、低い空間的な複雑度を有する。空間的な複雑度は、ビデオデータのテクスチャに関連する。空間的な複雑度は、この態様では、局所空間周波数および周囲照明の関数としてブロックごとに計算される、Ｄｃｓａｔと呼ばれる人間の視覚感度メトリックに基づく。当業者は、人間の視覚系を利用するために視覚的画像の空間周波数パターン、照明特性、およびコントラスト特性を使用する技法を知っている。複数の感度メトリックが、人間の視覚系の知覚限度を利用するために既知であり、本明細書で説明される方法と共に使用することができる。
時間的な複雑度は、フレームのシーケンス内のフレームの間で参照されるマルチメディアデータ内の動きのレベルの尺度を全般的に記述するのに使用される広義の用語である。動きがほとんどまたは全くないシーン（たとえば、ビデオデータのフレームのシーケンス）は、低い時間的な複雑度を有する。時間的な複雑度は、マクロブロックごとに計算することができ、Ｄｃｓａｔ値、動きベクトル、およびあるフレームと別のフレーム（たとえば、基準フレーム）との間の絶対画素差の合計に基づくものとすることができる。
フレーム差分メトリックは、予測器と現行マクロブロックとの間の絶対差の合計（ＳＡＤ）として表される残差エネルギと共に、動きの量を考慮に入れた２つの連続するフレームの間の差の尺度（たとえば、動きベクトルすなわちＭＶ）を与える。フレーム差は、双方向または単一方向の予測効率の尺度をも提供する。
動き補償されたデインターレーシングを潜在的に実行するプリプロセッサから受け取られた動き情報に基づくフレーム差分メトリックの一例は、次の通りである。デインターレーサは、双方向動き推定を実行し、したがって、双方向動きベクトルおよびＳＡＤ情報が、使用可能である。各マクロブロックのＳＡＤ＿ＭＶによって表されるフレーム差は、次のように導出することができる。
ここで、ＭＶ＝Ｓｑｕａｒｅ＿ｒｏｏｔ（ＭＶｘ ２＋ＭＶｙ ２）、ＳＡＤ＝ｍｉｎ（ＳＡＤＮ，ＳＡＤＰ）であり、ＳＡＤＮは、逆方向の基準フレームから計算されたＳＡＤであり、ＳＡＤＰは、順方向の基準フレームから計算されたＳＡＤである。
フレーム差を推定するもう１つの手法を、上で式６〜８を参照して説明した。ＳＡＤ比（またはコントラスト分配）γを、前に上で式６で説明したように計算することができる。すべてのフレームの輝度ヒストグラムも、決定することができ、ヒストグラム差分λは、式７を使用して計算される。フレーム差分メトリックＤは、式８に示されているように計算することができる。
１つの例示的な例で、コントラスト比およびフレーム差分メトリックは、次の形で、所与のビデオシーケンス内の特徴を信頼できる形で予測できるビデオコンテンツ分類を入手するのに利用される。ここでは符号化器２２８内で発生するものとして説明するが、コンテンツ分類（または他のコンテンツ情報）を決定し、そのコンテンツ分類をメタデータを介して符号化器２２８に渡すように、プリプロセッサ２２６を構成することもできる。下の例で説明する処理は、コンテンツを、Ｒ−Ｄ曲線ベースの分析から得られる分類と同様の８つの可能なクラスに分類する。この分類処理は、スーパーフレームごとに、シーンの複雑度およびそのスーパーフレーム内でのシーン変化発生の回数に依存して、０と１との間の範囲内の値を出力する。プリプロセッサ内のコンテンツ分類モジュールは、フレームコントラスト値およびフレーム差分値からコンテンツ分類メトリックを得るために、スーパーフレームごとに次のステップ（１）〜（５）を実行することができる。
１．マクロブロックコントラスト値から平均フレームコントラストおよびフレームコントラスト偏差を計算する。
２．それぞれ４０および５である、シミュレーションから得られた値を使用して、フレームコントラスト値およびフレーム差分値を正規化する。
３．たとえば一般化された方程式
を使用して、コンテンツ分類メトリックを計算する。ここで、ＣＣＷ１、ＣＣＷ２、ＣＣＷ３、およびＣＣＷ４は、重み付け係数である。この例では、値は、ＣＣＷ１にいて０．２、ＣＣＷ２について０．９、ＣＣＷ３について０．１、ＣＣＷ４について−０．００００９になるように選択される。
４．スーパーフレーム内のシーン変化の回数を判定する。一般に、スーパーフレームとは、特定の時間期間内に表示できるピクチャまたはフレームのグループを指す。通常、この時間期間は１秒である。いくつかの態様において、スーパーフレームは、３０個のフレームを備える（３０／ｆｐｓビデオの場合）。他の態様において、スーパーフレームは、２４個のフレームを備える（２４／ｆｐｓビデオ）。シーン変化の回数に応じて、次のケースのうちの１つが実行される。
（ａ）シーン変化なし スーパーフレーム内にシーン変化がない時には、メトリックは、次の方程式に示されているように、完全にフレーム差分値だけに依存する。
（ｂ）単一のシーン変化 スーパーフレーム内で観察された単一のシーン変化がある時には、下に示されているように、デフォルト方程式がメトリックの計算に使用される。
（ｃ）２つのシーン変化 所与のスーパーフレーム内に最大で２つのシーン変化があることが観察される時には、次の方程式に示されているように、最後のスーパーフレームに最初のスーパーフレームより大きい重みを与える。というのは、いずれにせよ最初のスーパーフレームが後者よりすばやくリフレッシュされるからである。
（ｄ）３つ以上のシーン変化 所与のスーパーフレームが３つ以上のＩフレーム（たとえば、Ｎ個）を有することが観察される場合には、次の方程式に示されているように、最後のＩフレームが、より大きい重みを与えられ、他のすべてのＩフレームは、０．０５の重みを与えられる。
５．フレーム差分の平均値が０．０５未満の時の小さい動きのシーンの場合に、メトリックについて補正を使用することができる。（ＣＣＯＦＦＳＥＴ）０．３３のオフセットを、ＣＣＭｅｔｒｉｃに加算する。
コンテンツ分類モジュール７１２は、マクロブロック（またはビデオデータの指定された量）の空間的な複雑度を示す値を決定するのに、Ｄｃｓａｔ値、動きベクトル、および／または絶対差の合計を使用する。時間的な複雑度は、フレーム差分メトリック（動きベクトルを用いて動きの量を考慮に入れた２つの連続するフレームの間の差およびそれらのフレームの間の絶対差の合計）の測定によって決定される。
いくつかの態様において、コンテンツ分類モジュール７１２を、帯域幅マップを生成するように構成することができる。たとえば、プリプロセッサ２２６が帯域幅マップを生成しない場合に、帯域幅マップ生成を、コンテンツ分類モジュール７１２によって実行することができる。
テクスチャ値および動き値の判定
マルチメディアデータ内のマクロブロックごとに、コンテンツ分類モジュール７１２は、テクスチャ値を空間的な複雑度に関連付け、動き値を時間的な複雑度に関連付ける。テクスチャ値は、マルチメディアデータのルミネセンス値に関連し、低いテクスチャ値は、データの隣接する画素のルミネセンス値の小さい変化を示し、高いテクスチャ値は、データの隣接する画素のルミネセンス値の大きい変化を示す。テクスチャ値および動き値が一旦計算されたならば、コンテンツ分類モジュール７１２は、動き情報とテクスチャ情報との両方を考慮することによって、コンテンツ分類を決定する。コンテンツ分類モジュール７１２は、分類されるビデオデータのテクスチャを、相対テクスチャ値、たとえば、一般にマクロブロックの輝度値の複雑度を示す「低」テクスチャ、「中」テクスチャ、または「高」テクスチャに関連付ける。また、コンテンツ分類モジュール７１２は、分類されるビデオデータについて計算された動き値を、相対動き値、たとえば、一般にマクロブロックの動きの量を示す「低」動き、「中」動き、または「高」動きに関連付ける。代替の態様では、動きおよびテクスチャに関するより少数またはより多数のカテゴリを使用することができる。次に、コンテンツ分類メトリックが、関連するテクスチャ値および動き値を考慮することによって決定される。
マルチメディアデータ内のマクロブロックごとに、コンテンツ分類モジュール７１２は、テクスチャ値を空間的な複雑度に関連付け、動き値を時間的な複雑度に関連付ける。テクスチャ値は、マルチメディアデータのルミネセンス値に関連し、低いテクスチャ値は、データの隣接する画素のルミネセンス値の小さい変化を示し、高いテクスチャ値は、データの隣接する画素のルミネセンス値の大きい変化を示す。テクスチャ値および動き値が一旦計算されたならば、コンテンツ分類モジュール７１２は、動き情報とテクスチャ情報との両方を考慮することによって、コンテンツ分類を決定する。コンテンツ分類モジュール７１２は、分類されるビデオデータのテクスチャを、相対テクスチャ値、たとえば、一般にマクロブロックの輝度値の複雑度を示す「低」テクスチャ、「中」テクスチャ、または「高」テクスチャに関連付ける。また、コンテンツ分類モジュール７１２は、分類されるビデオデータについて計算された動き値を、相対動き値、たとえば、一般にマクロブロックの動きの量を示す「低」動き、「中」動き、または「高」動きに関連付ける。代替の態様では、動きおよびテクスチャに関するより少数またはより多数のカテゴリを使用することができる。次に、コンテンツ分類メトリックが、関連するテクスチャ値および動き値を考慮することによって決定される。
図８に、テクスチャ値および動き値をコンテンツ分類にどのように関連付けるかを示す分類チャートの例を示す。当業者は、たとえばルックアップテーブルにおいて、またはデータベースにおいてなど、そのような分類チャートを実施する多数の形に馴染みがある。分類チャートは、ビデオデータコンテンツの所定の評価に基づいて生成される。ビデオデータ分類を決定するために、「低」、「中」、または「高」のテクスチャ値（「ｘ軸」上）が、「低」、「中」、または「高」の動き値（「ｙ軸」上）と相互参照される。交差するブロックに示されたコンテンツ分類が、ビデオデータに割り当てられる。たとえば、「高」のテクスチャ値および「中」の動き値は、７という分類をもたらす。図８は、この例では８つの異なるコンテンツ分類に関連する相対的なテクスチャ値および動き値のさまざまな組合せを示す。いくつかの他の態様では、より多数またはより少数の分類を使用することができる。コンテンツ分類の例示的態様のさらなる説明が、本願の譲受人に譲渡され、参照によって本明細書に組み込まれている、同時係属の２００６年３月１１日出願の米国特許出願第米国特許出願第１１／３７３，５７７号、名称「Ｃｏｎｔｅｎｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｏｒ Ｍｕｌｔｉｍｅｄｉａ Ｐｒｏｃｅｓｓｉｎｇ」に開示されている。
レート制御ビット割当
本明細書で説明するように、マルチメディアデータのコンテンツ分類は、符号化アルゴリズム内で、ビデオの一定の知覚品質を維持しながらビット管理を効果的に改善するのに使用することができる。たとえば、分類メトリックは、アルゴリズム内で、シーン変化検出、符号化ビットレート割当制御、およびフレームレートのアップコンバージョン（ＦＲＵＣ）に使用することができる。コンプレッサ／デコンプレッサ（コーデック）システムおよびディジタル信号処理アルゴリズムは、ビデオデータ通信に一般に使用され、帯域幅を節約するように構成することができるが、品質と帯域幅節約との間にトレードオフがある。最良のコーデックは、ビデオ品質の最小の劣化をもたらしながら最大の帯域幅節約を実現する。
本明細書で説明するように、マルチメディアデータのコンテンツ分類は、符号化アルゴリズム内で、ビデオの一定の知覚品質を維持しながらビット管理を効果的に改善するのに使用することができる。たとえば、分類メトリックは、アルゴリズム内で、シーン変化検出、符号化ビットレート割当制御、およびフレームレートのアップコンバージョン（ＦＲＵＣ）に使用することができる。コンプレッサ／デコンプレッサ（コーデック）システムおよびディジタル信号処理アルゴリズムは、ビデオデータ通信に一般に使用され、帯域幅を節約するように構成することができるが、品質と帯域幅節約との間にトレードオフがある。最良のコーデックは、ビデオ品質の最小の劣化をもたらしながら最大の帯域幅節約を実現する。
１つの例示的な例で、レート制御ビット割当モジュール７１４は、ビットレート（たとえば、マルチメディアデータを符号化するために割り当てられるビット数）を決定するのに、ならびに符号化器２２８の他の処理および構成要素による使用のためにビットレートを格納するのに、コンテンツ分類を使用する。ビデオデータの分類から決定されるビットレートは、一貫した品質レベルでマルチメディアデータを供給しながら帯域幅を節約するのを助けることができる。一態様において、異なるビットレートを、８つの異なるコンテンツ分類のそれぞれに割り当てることができ、その後、そのビットレートが、マルチメディアデータの符号化に使用される。結果として生じる効果は、マルチメディアデータの異なるコンテンツ分類が、符号化に異なるビット数を割り当てられるが、知覚される品質が、ディスプレイ上で見られる時に同様であるか一貫することである。
一般に、より高いコンテンツ分類を有するマルチメディアデータは、より高いレベルの動きおよび／またはテクスチャを示し、符号化される時により多くのビットを割り当てられる。より低い分類（より少ないテクスチャおよび動きを示す）を有するマルチメディアデータは、より少ないビットを割り当てられる。特定のコンテンツ分類のマルチメディアデータに関して、ビットレートを、マルチメディアデータを見ることに関する選択されたターゲットの知覚される品質レベルに基づいて決定することができる。マルチメディアデータ品質の決定は、人間がそのマルチメディアデータを見て、等級を付けることによって決定することができる。いくつかの代替の態様において、マルチメディアデータの品質の推定は、たとえば信号対雑音比アルゴリズムを使用する、自動試験システムによって行うことができる。一態様において、標準品質レベルの組（たとえば、５つ）および各特定の品質レベルを達成するのに必要な対応するビットレートが、各コンテンツ分類のマルチメディアデータについて事前に決定される。品質レベルの組を決定するために、特定のコンテンツ分類のマルチメディアデータを、あるビットレートを使用して符号化された時のマルチメディアデータの視覚的に知覚される品質の数値表示を提供する平均意見得点（ＭＯＳ）を生成することによって評価することができる。ＭＯＳは、１から５までの範囲内の単一の数として表すことができ、ここで、１は、最低の知覚される品質であり、５は、最高の知覚される品質である。他の態様では、ＭＯＳが、５つより多くのまたは５つより少ない品質レベルを有することができ、各品質レベルの異なる記述を、使用することができる。
マルチメディアデータ品質の決定は、人間がそのマルチメディアデータを見て、等級を付けることによって決定することができる。いくつかの代替の態様において、マルチメディアデータ品質の推定は、たとえば信号対雑音比アルゴリズムを使用する、自動試験システムによって行うことができる。一態様で、標準品質レベルの組（たとえば、５つ）および各特定の品質レベルを達成するのに必要な対応するビットレートが、各コンテンツ分類のマルチメディアデータについて事前に決定される。
あるコンテンツ分類のマルチメディアデータの、視覚的に知覚される品質レベルとビットレートとの間の関係を知ることは、目標の（たとえば所望の）品質レベルを選択することによって決定することができる。ビットレートを決定するのに使用される目標品質レベルは、事前に選択するか、ユーザによって選択されるか、ユーザからもしくは別の処理からの入力を必要とする自動処理もしくは半自動処理を介して選択されるか、あるいは所定の判断基準に基づいて符号化デバイスもしくは符号化システムによって動的に選択されることができる。目標品質レベルは、たとえば、符号化アプリケーションのタイプまたはマルチメディアデータを受け取るクライアントデバイスのタイプに基づいて選択することができる。
図７に示された例では、レート制御ビット割当モジュール７１４は、コンテンツ分類モジュール７１２からのデータとプリプロセッサ２２６から直接のメタデータとの両方を受け取る。レート制御ビット割当モジュール７１４は、符号化器２２８の第１パス部分に存在し、レート制御微調整モジュール７３８は、第２パス部分７０６に存在する。この２パスのレート制御の態様は、第１パス（レート制御ビット割当モジュール７１４）が、１つのスーパーフレームのルックアヘッドを用いてコンテキストに適応したビット割当を実行し（たとえば、２５６ｋｂｐｓの長期平均ビットレートを目標値にして）、ピークレートを制限し、第２パス（レート制御微調整モジュール７３８）が、２レイヤのスケーラビリティのために第１パスの結果を改善し、レート適応を実行するように構成される。レート制御は、（１）ＧＯＰレベル（１つのＧＯＰの内部で不均一になるようにＩフレーム、Ｐフレーム、Ｂフレーム、およびＦフレームのビット分配を制御する）、（２）スーパーフレームレベル（最大スーパーフレームサイズに対するハード限界を制御する）、（３）フレームレベル（コンテンツ情報（たとえば、コンテンツ分類）に基づくマルチメディアデータフレームの空間的な複雑度および時間的な複雑度に従ってビット要件を制御する）、および（４）マクロブロックレベル（コンテンツ情報（たとえば、コンテンツ分類）に基づく空間的な複雑度のマップおよび時間的な複雑度のマップに基づいてマクロブロックのビット割当を制御する）という４つのレベルで動作する。
レート制御モジュール７１４の動作の例示的な流れ図を、図１０に示す。図１０に示されているように、処理１０００は、入力１００２ブロックで開始される。レート制御モジュール７１４は、必ずしもすべてが図７によって示されてはいないさまざまな入力を受け取る。たとえば、入力情報には、プリプロセッサ２２６からのメタデータ、目標ビットレート、符号化器のバッファサイズ（あるいは、同等物として、レート制御に関する最大遅延時間）、初期のレート制御の遅延、およびフレームレート情報を含めることができる。さらなる入力情報に、たとえば、最大スーパーフレームサイズ、ＧＯＰの長さおよびＰ／Ｂフレーム分布（シーン変化情報を含む）、所望のベースレイヤおよびエンハンスメントレイヤの配置、将来の３０フレームに関するＧＯＰ内のピクチャの複雑度−歪みメトリックを含む、グループオブピクチャ（ＧＯＰ）レベルでの入力を含めることができる。他の入力情報は、現行ピクチャの複雑度−歪みマップ（コンテンツ分類モジュール７１２から受け取られる）、量子化パラメータ（ＱＰ）、および過去の３０フレーム（スライディングウィンドウにおさまる）のビット分割を含むピクチャレベルでの入力を含む。最後に、マクロブロック（ＭＢ）レベルでの入力は、たとえば、基準ピクチャ内の並べて置かれたマクロブロック（ＭＢ）の平均絶対差（ＭＡＤ）および量子化後（スキップされたか否かに関わりなく）のマクロブロックの符号化されたブロックパターン（ＣＢＰ）を含む。
ブロック１００２での入力の後に、処理１０００は、ビットストリームの符号化に関する初期化のためにブロック１００４に進む。それと同時に、バッファ初期化１００６が実行される。次に、ブロック１００８に示されているように、ＧＯＰを初期化し、ＧＯＰビット割当１０１０が、初期化の一部として受け取られる。ＧＯＰ初期化の後に、流れは、ブロック１０１２に進み、ここで、スライスを初期化する。この初期化は、ブロック１０１４によって示されるように、ヘッダビットの更新を含む。ブロック１００４、１００８、および１０１２の初期化が実行された後に、基本単位またはマクロブロック（ＭＢ）のレート制御（ＲＣ）が、ブロック１０１６によって示されているように実行される。ブロック１０１６でのマクロブロックのレート制御の決定の一部として、入力が、符号化器２２８内のインターフェースを介して受け取られる。この入力には、マクロブロック（ＭＢ）ビット割当１０１８、二次モデルパラメータの更新１０２０、および中央値からの中央値絶対偏差（「ＭＡＤ」、ばらつきの堅牢な推定値）パラメータの更新１０２２を含めることができる。次に、処理１０００は、１つのピクチャを符号化した後の動作１０２４の実行のためにブロック１０２４に進む。この手順は、ブロック１０２６によって示されるように、バッファパラメータの更新を受け取ることを含む。次に、処理１０００は、出力ブロック１０２８に進み、ここで、レート制御モジュール７１４は、図７に示されたモード判断モジュール７１５によって使用される各マクロブロックＭＢの量子化パラメータＱＰを出力する。
動き推定
動き推定モジュール７２０は、プリプロセッサ２２６からメタデータおよび生ビデオの入力を受け取り、ブロックサイズ、動きベクトル歪みメトリックス、および基準フレーム識別子を含めることができる出力をモード判断モジュール７１５に供給する。図１１に、動き推定モジュール７２０の例示的動作を示す。図に示されているように、処理１１００は、入力１１０２から開始される。フレームレベルでは、モジュール７２０は、基準フレームＩＤおよび動きベクトルの入力を受け取る。マクロブロックレベルでは、入力１１０２は、入力画素および基準フレーム画素を含む。処理１１００は、ステップ１１０４に継続し、ここで、カラー動き推定（ＭＥ）および動きベクトル予測を実行する。この処理を実行するために、ＭＰＥＧ−２動きベクトルおよびルマ動きベクトルＭＶ １１０６、動きベクトル平滑化１１０８、ならびに非因果的動きベクトル（non-causal motion vector）１１１０を含むさまざまな入力が、受け取られる。次に、処理１１００は、ブロック１１１２に進み、ここで、六角形探索法または菱形探索法などの動きベクトル探索アルゴリズムまたは動きベクトル探索方法論が実行される。ブロック１１１２での処理への入力には、ブロック１１１４によって示されているように、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）、および／または他のメトリックを含めることができる。動きベクトル探索が実行されたならば、処理１１００は、終了ブロック１１１６に進み、ここで終了処理が実行される。その後、処理１００は、ブロックサイズ、動きベクトル（ＭＶ）、歪みメトリックス、および基準フレーム識別子の出力をもたらす出力ブロック１１１８で終了する。
動き推定モジュール７２０は、プリプロセッサ２２６からメタデータおよび生ビデオの入力を受け取り、ブロックサイズ、動きベクトル歪みメトリックス、および基準フレーム識別子を含めることができる出力をモード判断モジュール７１５に供給する。図１１に、動き推定モジュール７２０の例示的動作を示す。図に示されているように、処理１１００は、入力１１０２から開始される。フレームレベルでは、モジュール７２０は、基準フレームＩＤおよび動きベクトルの入力を受け取る。マクロブロックレベルでは、入力１１０２は、入力画素および基準フレーム画素を含む。処理１１００は、ステップ１１０４に継続し、ここで、カラー動き推定（ＭＥ）および動きベクトル予測を実行する。この処理を実行するために、ＭＰＥＧ−２動きベクトルおよびルマ動きベクトルＭＶ １１０６、動きベクトル平滑化１１０８、ならびに非因果的動きベクトル（non-causal motion vector）１１１０を含むさまざまな入力が、受け取られる。次に、処理１１００は、ブロック１１１２に進み、ここで、六角形探索法または菱形探索法などの動きベクトル探索アルゴリズムまたは動きベクトル探索方法論が実行される。ブロック１１１２での処理への入力には、ブロック１１１４によって示されているように、絶対差の合計（ＳＡＤ）、二乗差の合計（ＳＳＤ）、および／または他のメトリックを含めることができる。動きベクトル探索が実行されたならば、処理１１００は、終了ブロック１１１６に進み、ここで終了処理が実行される。その後、処理１００は、ブロックサイズ、動きベクトル（ＭＶ）、歪みメトリックス、および基準フレーム識別子の出力をもたらす出力ブロック１１１８で終了する。
ベースレイヤおよびエンハンスメントレイヤのスケーラビリティＲ−Ｄ
図１３に、スケーラビリティＲ−Ｄモジュール７１８によって実行できるスケーラビリティ処理１３００の例示的な流れ図を示す。処理１３００は、開始ブロック１３０２で開始され、ブロック１３０４に進み、ここで、スケーラビリティＲ−Ｄモジュール７１８は、動き推定モジュール７２０から入力を受け取り、動き推定を実行する。動き推定は、ブロック１３０６によって示されているように、ベースレイヤ基準フレーム、エンハンスメントレイヤ基準フレーム、および符号化されるオリジナルフレームの入力に頼る。そのような情報は、ＧＯＰパーティショナ６１２によって計算し、たとえばメタデータを介してスケーラビリティＲ−Ｄモジュール７１８に通信することができる。処理１３００は、ブロック１３０８に進んで、ベースレイヤデータおよびエンハンスメントレイヤデータのスケーラビリティ情報を決定する。次に、ブロック１３１０に示されているようにベースレイヤ符号化を実行し、これにブロック１３１２のエンハンスメントレイヤ符号化が続く。エンハンスメントレイヤの符号化は、ブロック１３１４によって示されるように入力としてレイヤ間予測のためにベースレイヤ符号化結果を使用することができ、したがって、時間的には、ベースレイヤ符号化の後に実行される。これは、同時係属の米国特許出願［弁理士整理番号第０５００７８号］、名称「ＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＣＯＤＩＮＧ ＷＩＴＨ ＴＷＯ ＬＡＹＥＲ ＥＮＣＯＤＩＮＧ ＡＮＤ ＳＩＮＧＬＥ ＬＡＹＥＲ ＤＥＣＯＤＩＮＧ」にさらに記載されている。符号化が完了した後に、処理１３００は、ブロック１３１６で終了する。
図１３に、スケーラビリティＲ−Ｄモジュール７１８によって実行できるスケーラビリティ処理１３００の例示的な流れ図を示す。処理１３００は、開始ブロック１３０２で開始され、ブロック１３０４に進み、ここで、スケーラビリティＲ−Ｄモジュール７１８は、動き推定モジュール７２０から入力を受け取り、動き推定を実行する。動き推定は、ブロック１３０６によって示されているように、ベースレイヤ基準フレーム、エンハンスメントレイヤ基準フレーム、および符号化されるオリジナルフレームの入力に頼る。そのような情報は、ＧＯＰパーティショナ６１２によって計算し、たとえばメタデータを介してスケーラビリティＲ−Ｄモジュール７１８に通信することができる。処理１３００は、ブロック１３０８に進んで、ベースレイヤデータおよびエンハンスメントレイヤデータのスケーラビリティ情報を決定する。次に、ブロック１３１０に示されているようにベースレイヤ符号化を実行し、これにブロック１３１２のエンハンスメントレイヤ符号化が続く。エンハンスメントレイヤの符号化は、ブロック１３１４によって示されるように入力としてレイヤ間予測のためにベースレイヤ符号化結果を使用することができ、したがって、時間的には、ベースレイヤ符号化の後に実行される。これは、同時係属の米国特許出願［弁理士整理番号第０５００７８号］、名称「ＳＣＡＬＡＢＬＥ ＶＩＤＥＯ ＣＯＤＩＮＧ ＷＩＴＨ ＴＷＯ ＬＡＹＥＲ ＥＮＣＯＤＩＮＧ ＡＮＤ ＳＩＮＧＬＥ ＬＡＹＥＲ ＤＥＣＯＤＩＮＧ」にさらに記載されている。符号化が完了した後に、処理１３００は、ブロック１３１６で終了する。
スライス／マクロブロック順序付け
第１パス部分７０２は、第２パス部分内の誤り弾力性モジュール７４０から入力を受け取り、モード判断モジュール７１５にスライス整列情報を供給するスライス／マクロブロック順序付けモジュール７２２をも含む。スライスとは、独立に復号化可能な（エントロピ復号化）符号化されたビデオデータの大きい塊である。アクセス単位（ＡＵ）は、必ず正確に１つの主符号化ピクチャを含むＮＡＬ単位の組をそれぞれが含む符号化されたビデオフレームである。主符号化ピクチャに加えて、アクセス単位には、１つまたは複数の冗長な符号化ピクチャまたはスライスを含まない他のＮＡＬ単位または符号化ピクチャのスライスデータパーティションをも含めることができる。アクセス単位の復号化は、必ず、復号化されたピクチャをもたらす。
第１パス部分７０２は、第２パス部分内の誤り弾力性モジュール７４０から入力を受け取り、モード判断モジュール７１５にスライス整列情報を供給するスライス／マクロブロック順序付けモジュール７２２をも含む。スライスとは、独立に復号化可能な（エントロピ復号化）符号化されたビデオデータの大きい塊である。アクセス単位（ＡＵ）は、必ず正確に１つの主符号化ピクチャを含むＮＡＬ単位の組をそれぞれが含む符号化されたビデオフレームである。主符号化ピクチャに加えて、アクセス単位には、１つまたは複数の冗長な符号化ピクチャまたはスライスを含まない他のＮＡＬ単位または符号化ピクチャのスライスデータパーティションをも含めることができる。アクセス単位の復号化は、必ず、復号化されたピクチャをもたらす。
フレームを、最高の時間ダイバーシティを提供する物理層パケットの時分割多重化されたブロック（ＴＤＭカプセルと称する）とすることができる。スーパーフレームは、時間の１単位（たとえば、１秒）に対応し、４つのフレームを含む。時間領域でのフレーム境界へのスライス境界およびＡＵ境界の整列は、破壊されたデータの最も効率的な分離および局所化をもたらす。深いフェード中に、ＴＤＭカプセル内の連続データのほとんどが、誤りによって影響される。時間ダイバーシティに起因して、残りのＴＤＭカプセルは、変更されないままであることの高い確率を有する。破壊されていないデータは、影響されたＴＤＭカプセルから失われたデータを回復し、隠すのに利用することができる。同様の論理が、周波数領域多重化（ＦＤＭ）にあてはまり、ここでは、データシンボルが変調する周波数サブキャリア内の分離を介して周波数ダイバーシティが達成される。さらに、同様の論理が、しばしば無線ネットワーク内で適用される空間的（送信器アンテナおよび受話器アンテナの分離を介する）および他の形のダイバーシティにあてはまる。
スライスおよびＡＵをフレームに整列するために、外側符号（ＦＥＣ）符号ブロック作成およびＭＡＣ層カプセル化も整列しなければならない。図２０に、スライスおよびＡＵ内の符号化されたビデオデータまたはビデオビットストリームの編成を示す。符号化されたビデオは、１つまたは複数のビットストリーム内で、たとえば、階層化されたビデオ符号化が適用される場合にベースレイヤビットストリームおよびエンハンスメントレイヤビットストリーム内で構成することができる。
ビデオビットストリームは、図２０でフレーム１’ ２００５、フレーム３’ ２０１０、およびフレームＭ’ ２０１５によって示されたＡＵを備える。ＡＵは、スライス１ ２０２０、スライス２ ２０２５、およびスライスＮ ２０３０によって示される、データのスライスから成り立つ。スライスの初めのそれぞれは、開始符号によって識別され、ネットワーク適応に供給される。一般に、Ｉフレーム符号化されたＡＵすなわちイントラ符号化されたＡＵは、大きく、これにＰフレームまたは順方向に予測されたフレームが続き、これにＢフレームが続く。ＡＵを複数のスライスに符号化することは、スライスにまたがる空間的な予測が制限され、スライスヘッダもオーバーヘッドに寄与するので、符号化ビットレートに関してかなりのオーバーヘッドコストをこうむる。スライス境界は、再同期点なので、連続する物理層パケットをスライスに制限することは、誤りを制御する。というのは、ＰＬＰが破壊される時に、誤りが、ＰＬＰ内のスライスに閉じこめられるが、ＰＬＰが複数のスライスまたは複数のスライスの一部を含む場合には、誤りが、そのＰＬＰ内のすべてのスライスまたはスライスの部分に影響するからである。
Ｉフレームは、通常は大きく、たとえば数十キロビット程度なので、複数のスライスに起因するオーバーヘッドは、Ｉフレームの総サイズまたは総ビットレートの大きい比率ではない。また、イントラ符号化されるＡＵ内により多くのスライスを有することは、よりよくより頻繁な再同期およびより効率的な空間誤りの隠蔽を可能にする。また、Ｉフレームは、ＰフレームおよびＢフレームがＩフレームから予測されるので、ビデオビットストリーム内で最も重要な情報を運ぶ。Ｉフレームは、チャネル獲得のランダムアクセス点としても働く。
ここで図２１を参照すると、Ｉフレームをフレーム境界に、およびＩ ＡＵを有するスライスをもフレーム境界に注意深く整列することは、最も効率的な誤り制御、誤り保護を可能にする（フレーム１ ２１０５に属する１つのスライスが失われる場合に、フレーム２ ２１１０に属するスライスは、フレーム２ ２１１０がフレーム１ ２１０５からの大きい時間分離を有するので手付かずのままになる高い確率を有する誤り回復を再同期および誤りの隠蔽を介して実行することができる）。
Ｐフレームは、通常、２〜３キロビット程度のサイズを有するので、Ｐフレームのスライスおよび整数個数のＰフレームをフレーム境界に整列することは、効率の有害な損失なしで誤り弾力性を可能にする（Ｉフレームに関する理由と同様の理由から）。時間的な誤りの隠蔽を、そのような態様で使用することができる。代替案では、連続するＰフレームを、異なるフレームに到着するように分散させることが、Ｐフレームの間で追加の時間ダイバーシティをもたらし、これは、時間的な隠蔽が、以前に再構成されたＩフレームまたはＰフレームからの動きベクトルおよびデータに基づくからであるものとすることができる。Ｂフレームは、極端に小さい（数百ビット）から適度に大きい（２〜３千ビット）とすることができる。したがって、整数個数のＢフレームをフレーム境界に整列することは、効率の有害な損失なしで誤り弾力性を達成するために望ましい。
モード判断モジュール
図１２に、モード判断モジュール７１５の動作のいくつかの例を示す。図示されているように、処理１２００は、入力ブロック１２０２で開始される。１つの例示的な例で、モード判断モジュール７１５に入力されるさまざまな情報には、スライスタイプ、イントラ４×４コスト、イントラ１６×１６コスト、イントラＵＶ８×８コスト、イントラＹ１６×１６モード、イントラＵＶモード、動きベクトルデータ（ＭＶＤ）、量子化パラメータ（ＱＰ）、ＳｐＰｒｅｄＭＢ４ｘ４Ｙ、ＳｐＰｒｅｄＭＢ１６ｘ１６Ｙ、ＳｐＰｒｅｄＭＢ８ｘ８Ｕ、ＳｐＰｒｅｄＭＢ８ｘ８Ｖ、レート歪みフラグ、生ＹＭＢ画素、生ＵＭＢ画素、および生ＶＭＢ画素が含まれる。次に、処理１２００は、ブロック１２０４符号化の初期化に進み、これは、ブロック１２０６によって示されるように、符号化器の初期化を指示する入力信号またはインターフェースによって開始することができる。初期化には、許容されるモード（スキップ、直接を含む）を設定すること、モードの重みを設定すること（要求される場合に、デフォルトでは全てのモードについて等しい重みになる）、およびバッファをセットすることを含む。初期化の後に、処理１２００は、ブロック１２０８に進み、ここで、許容されるモードごとのマクロブロック（ＭＢ）モードコストの計算、重み付け係数を用いる各ＭＢモードコストの重み付け、および最小ＭＢモードコストモードの選択を含む、モード判断の主処理が実行される。これらの動作に用いられる入力は、ブロック１２１０および１２１２によって示されるように、動き推定（たとえば、ＭＶＤおよび予測）および空間的な予測（たとえば、すべてのイントラコストおよび予測）を含む。モード判断モジュール７１５にインターフェースされるのが、とりわけ圧縮率を改善する、ブロック１２１４のエントロピ符号化である。処理１２００は、次に、ブロック１２１６に進み、ここで、符号化器の第２パス部分７０６に情報を渡すためにバッファを更新する。最後に、処理１２００は、ブロック１２１８に進み、ここで、「最良」符号化モードを符号化器の第２パス部分７０６に通信することができる。
図１２に、モード判断モジュール７１５の動作のいくつかの例を示す。図示されているように、処理１２００は、入力ブロック１２０２で開始される。１つの例示的な例で、モード判断モジュール７１５に入力されるさまざまな情報には、スライスタイプ、イントラ４×４コスト、イントラ１６×１６コスト、イントラＵＶ８×８コスト、イントラＹ１６×１６モード、イントラＵＶモード、動きベクトルデータ（ＭＶＤ）、量子化パラメータ（ＱＰ）、ＳｐＰｒｅｄＭＢ４ｘ４Ｙ、ＳｐＰｒｅｄＭＢ１６ｘ１６Ｙ、ＳｐＰｒｅｄＭＢ８ｘ８Ｕ、ＳｐＰｒｅｄＭＢ８ｘ８Ｖ、レート歪みフラグ、生ＹＭＢ画素、生ＵＭＢ画素、および生ＶＭＢ画素が含まれる。次に、処理１２００は、ブロック１２０４符号化の初期化に進み、これは、ブロック１２０６によって示されるように、符号化器の初期化を指示する入力信号またはインターフェースによって開始することができる。初期化には、許容されるモード（スキップ、直接を含む）を設定すること、モードの重みを設定すること（要求される場合に、デフォルトでは全てのモードについて等しい重みになる）、およびバッファをセットすることを含む。初期化の後に、処理１２００は、ブロック１２０８に進み、ここで、許容されるモードごとのマクロブロック（ＭＢ）モードコストの計算、重み付け係数を用いる各ＭＢモードコストの重み付け、および最小ＭＢモードコストモードの選択を含む、モード判断の主処理が実行される。これらの動作に用いられる入力は、ブロック１２１０および１２１２によって示されるように、動き推定（たとえば、ＭＶＤおよび予測）および空間的な予測（たとえば、すべてのイントラコストおよび予測）を含む。モード判断モジュール７１５にインターフェースされるのが、とりわけ圧縮率を改善する、ブロック１２１４のエントロピ符号化である。処理１２００は、次に、ブロック１２１６に進み、ここで、符号化器の第２パス部分７０６に情報を渡すためにバッファを更新する。最後に、処理１２００は、ブロック１２１８に進み、ここで、「最良」符号化モードを符号化器の第２パス部分７０６に通信することができる。
符号化器の第２パス部分
もう一度図７を参照すると、符号化器２２８の第２パス部分７０６は、符号化の第２パスを実行する第２パス符号化器モジュール２３２を含む。第２パス符号化器２３２は、モード判断モジュール７１５から出力を受け取る。第２パス符号化器２３２は、ＭＣ／変換量子化モジュール７２６およびジグザグ（ＺＺ）／エントロピ符号化器７２８を含む。第２パス符号化器２３２の結果は、スケーラビリティモジュール７３０およびビットストリームパッキングモジュール７３１に出力され、ビットストリームパッキングモジュール７３１は、同期化層２４０（図２に図示）を介するトランスコーダ２００による伝送のために、符号化されたベースレイヤおよびエンハンスメントレイヤを出力する。図２に示されているように、第２パス符号化器２３２および再符号化器２３４からのベースレイヤおよびエンハンスメントレイヤが、同期化層２４０によって、ベースレイヤおよびエンハンストレイヤを含むパケット化されたＰＥＳ ２４２、データＰＥＳ ２４４（たとえば、ＣＣおよび他のテキストデータ）、およびオーディオＰＥＳ ２４６に組み立てられることに留意されたい。オーディオ符号化器２３６が、復号化されたオーディオ情報２１８を受け取り、その情報を符号化し、符号化された情報２３８を同期化層２４０に出力することに留意されたい。
もう一度図７を参照すると、符号化器２２８の第２パス部分７０６は、符号化の第２パスを実行する第２パス符号化器モジュール２３２を含む。第２パス符号化器２３２は、モード判断モジュール７１５から出力を受け取る。第２パス符号化器２３２は、ＭＣ／変換量子化モジュール７２６およびジグザグ（ＺＺ）／エントロピ符号化器７２８を含む。第２パス符号化器２３２の結果は、スケーラビリティモジュール７３０およびビットストリームパッキングモジュール７３１に出力され、ビットストリームパッキングモジュール７３１は、同期化層２４０（図２に図示）を介するトランスコーダ２００による伝送のために、符号化されたベースレイヤおよびエンハンスメントレイヤを出力する。図２に示されているように、第２パス符号化器２３２および再符号化器２３４からのベースレイヤおよびエンハンスメントレイヤが、同期化層２４０によって、ベースレイヤおよびエンハンストレイヤを含むパケット化されたＰＥＳ ２４２、データＰＥＳ ２４４（たとえば、ＣＣおよび他のテキストデータ）、およびオーディオＰＥＳ ２４６に組み立てられることに留意されたい。オーディオ符号化器２３６が、復号化されたオーディオ情報２１８を受け取り、その情報を符号化し、符号化された情報２３８を同期化層２４０に出力することに留意されたい。
再符号化器
もう一度図７を参照すると、符号化器の第２パス部分７０６は、図２の再符号化器２３４に対応する再符号化器２３４をも含む。再符号化器２３４は、第１パス部分７０２の出力をも受け取り、ＭＣ／変換量子化７２６部分およびＺＺ／エントロピ符号化７２８部分を含む。さらに、スケーラビリティモジュール７３０が、再符号化器２３４に出力する。再符号化器２３４は、シンクロナイザ（たとえば、図２に示された同期化層２４０）への伝送のために、再符号化からビットストリームパッキングモジュール７３１へ、結果のベースレイヤおよびエンハンストレイヤを出力する。図７の符号化器２２８の例は、第２パスの符号化を同調するのを助ける（たとえば、圧縮効率を高める）ために第２パスの符号化器２３２内のＭＣ／変換量子化モジュール２３４と再符号化器２３４内のＺＺ／エントロピモジュール７３６との両方にビットストリームパッキングフィードバックを供給するレート制御微調整モジュール７３８をも含む。
もう一度図７を参照すると、符号化器の第２パス部分７０６は、図２の再符号化器２３４に対応する再符号化器２３４をも含む。再符号化器２３４は、第１パス部分７０２の出力をも受け取り、ＭＣ／変換量子化７２６部分およびＺＺ／エントロピ符号化７２８部分を含む。さらに、スケーラビリティモジュール７３０が、再符号化器２３４に出力する。再符号化器２３４は、シンクロナイザ（たとえば、図２に示された同期化層２４０）への伝送のために、再符号化からビットストリームパッキングモジュール７３１へ、結果のベースレイヤおよびエンハンストレイヤを出力する。図７の符号化器２２８の例は、第２パスの符号化を同調するのを助ける（たとえば、圧縮効率を高める）ために第２パスの符号化器２３２内のＭＣ／変換量子化モジュール２３４と再符号化器２３４内のＺＺ／エントロピモジュール７３６との両方にビットストリームパッキングフィードバックを供給するレート制御微調整モジュール７３８をも含む。
誤り弾力性モジュール
図７に示された符号化器２２８の例は、第２パス部分７０６内に誤り弾力性モジュール７４０をも含む。誤り弾力性モジュール７４０は、ビットストリームパッキングモジュール７３１およびスライス／ＭＢ順序付けモジュール７２２と通信する。誤り弾力性モジュール７４０は、プリプロセッサ２２８からメタデータを受け取り、誤り弾力性方式、たとえばフレーム境界へのスライスおよびアクセス単位の整列、予測階層、および適応イントラリフレッシュを選択する。誤り弾力性方式の選択は、メタデータ内で受け取られる情報に基づくものとするか、ビットストリームパッキングモジュール７３１およびスライス／ＭＢ順序付けモジュール７２２から誤り弾力性モジュールに通信される情報からとすることができる。誤り弾力性モジュール７４０は、選択された誤り弾力性処理を実施するために、第１パス部分７０２内のスライス／マクロブロック（ＭＢ）順序付けモジュールに情報を供給する。エラーが起きやすい環境を介するビデオ伝送は、より明瞭でより少ない誤りを充てんされたデータを見るユーザに提示することをもたらすことができる誤り弾力性戦略および誤り弾力性アルゴリズムを使用することができる。以下の誤り弾力性の説明は、任意の個々の既存のまたは将来のアプリケーション層、トランスポート層、および物理層または他の技術あるいはその組合せに適用することができる。有効な誤り頑健性アルゴリズムは、低いレイテンシおよび高いスループットなどの通信システムの望ましい特性と共に、ＯＳＩ層の中で誤り感受性特性および誤り保護機能の理解を一体化する。誤り弾力性処理は、マルチメディアデータのコンテンツ情報、たとえばマルチメディアデータのコンテンツ分類に基づくものとすることができる。主要な利益の１つが、フェージングおよびマルチパスチャネル誤りからの回復性である。以下で説明する誤り弾力性手法は、特に、符号化器２２８内（たとえば、特に誤り弾力性モジュール７４０およびスライス／ＭＢ順序付けモジュール７２２内）に組み込むことができ、エラーが起きやすい環境でのデータ通信に包括的に拡張できる処理に特に関する。
図７に示された符号化器２２８の例は、第２パス部分７０６内に誤り弾力性モジュール７４０をも含む。誤り弾力性モジュール７４０は、ビットストリームパッキングモジュール７３１およびスライス／ＭＢ順序付けモジュール７２２と通信する。誤り弾力性モジュール７４０は、プリプロセッサ２２８からメタデータを受け取り、誤り弾力性方式、たとえばフレーム境界へのスライスおよびアクセス単位の整列、予測階層、および適応イントラリフレッシュを選択する。誤り弾力性方式の選択は、メタデータ内で受け取られる情報に基づくものとするか、ビットストリームパッキングモジュール７３１およびスライス／ＭＢ順序付けモジュール７２２から誤り弾力性モジュールに通信される情報からとすることができる。誤り弾力性モジュール７４０は、選択された誤り弾力性処理を実施するために、第１パス部分７０２内のスライス／マクロブロック（ＭＢ）順序付けモジュールに情報を供給する。エラーが起きやすい環境を介するビデオ伝送は、より明瞭でより少ない誤りを充てんされたデータを見るユーザに提示することをもたらすことができる誤り弾力性戦略および誤り弾力性アルゴリズムを使用することができる。以下の誤り弾力性の説明は、任意の個々の既存のまたは将来のアプリケーション層、トランスポート層、および物理層または他の技術あるいはその組合せに適用することができる。有効な誤り頑健性アルゴリズムは、低いレイテンシおよび高いスループットなどの通信システムの望ましい特性と共に、ＯＳＩ層の中で誤り感受性特性および誤り保護機能の理解を一体化する。誤り弾力性処理は、マルチメディアデータのコンテンツ情報、たとえばマルチメディアデータのコンテンツ分類に基づくものとすることができる。主要な利益の１つが、フェージングおよびマルチパスチャネル誤りからの回復性である。以下で説明する誤り弾力性手法は、特に、符号化器２２８内（たとえば、特に誤り弾力性モジュール７４０およびスライス／ＭＢ順序付けモジュール７２２内）に組み込むことができ、エラーが起きやすい環境でのデータ通信に包括的に拡張できる処理に特に関する。
誤り弾力性
予測ベースのハイブリッド圧縮システムに関して、イントラ符号化されるフレームは、時間的な予測を全く用いずに独立に符号化される。インター符号化されるフレームは、過去のフレーム（Ｐフレーム）および将来のフレーム（Ｂフレーム）から時間的に予測することができる。最良の予測器は、基準フレーム（１つまたは複数）での探索処理を介して識別することができ、ＳＡＤなどの歪み測定値が、最良一致を識別するのに使用される。現行フレームの予測符号化される領域は、変化するサイズおよび形状のブロック（１６×１６、３２×３２、８×４など）またはたとえばセグメント化を介してオブジェクトとして識別される画素のグループとすることができる。
予測ベースのハイブリッド圧縮システムに関して、イントラ符号化されるフレームは、時間的な予測を全く用いずに独立に符号化される。インター符号化されるフレームは、過去のフレーム（Ｐフレーム）および将来のフレーム（Ｂフレーム）から時間的に予測することができる。最良の予測器は、基準フレーム（１つまたは複数）での探索処理を介して識別することができ、ＳＡＤなどの歪み測定値が、最良一致を識別するのに使用される。現行フレームの予測符号化される領域は、変化するサイズおよび形状のブロック（１６×１６、３２×３２、８×４など）またはたとえばセグメント化を介してオブジェクトとして識別される画素のグループとすることができる。
時間的な予測は、通常、多数のフレーム（たとえば、１０個から数十個のフレーム）にまたがって延び、あるフレームがＩフレームとして符号化される時に打ち切られ、ＧＯＰは、通常、Ｉフレーム頻度によって定義される。最大の符号化効率のために、ＧＯＰは、１シーンであり、たとえば、ＧＯＰ境界は、シーン境界に整列され、シーン変化フレームは、Ｉフレームとして符号化される。小さい動きでは、シーケンスは、比較的静的な背景を含み、動きは、一般に、前景オブジェクトに制限される。そのような小さい動きのシーケンスのコンテンツの例は、ニュース番組および天気予報番組を含み、この場合に、ほとんどの見られるコンテンツの３０％超が、この性質を有する。小さい動きのシーケンスでは、領域のほとんどが、インター符号化され、予測フレームは、中間予測フレームを介してＩフレームを戻って参照する。
図２２を参照すると、Ｉフレーム内のイントラ符号化されたブロック２２０５は、符号化されたフレーム（またはＡＵ）Ｐ１内のインター符号化されたブロック２２１０の予測器である。この例では、これらのブロックの領域は、背景の静止部分である。連続的な時間的な予測を介して、誤りに対するイントラ符号化されたブロック２２０５の感度は、高まる。というのは、これが、その「重要性」がより高いことをも暗示する「よい」予測器であるからである。さらに、イントラ符号化されたブロック２２０５は、予測チェーンと呼ばれる時間的な予測のこの連鎖のおかげで、ディスプレイ内により長く（この図の例では、このシーンの持続時間の間）持続する。
予測階層は、最上部（イントラ符号化されたブロック２２０５）の親および最下部の子を有する、この重要性レベルまたは持続性の尺度に基づいて作成されるブロックのツリーとして定義される。Ｐ１内のインター符号化されたブロック２２１５が、この階層の第２レベルであることなどに留意されたい。葉は、予測チェーンを終わらせるブロックである。
予測階層を、コンテンツタイプと関わりなくビデオシーケンスについて作成することができ（ニュースだけではなく音楽およびスポーツもなど）、予測ベースのビデオ（およびデータ）圧縮全般に適用可能である（これは、本願に記載のすべての態様にあてはまる）。予測階層が確立されたならば、以下で説明する適応イントラリフレッシュなどの誤り弾力性アルゴリズムを、より効果的に適用することができる。重要性尺度は、誤りに対する符号化されたビットストリームの弾力性を高めるための隠蔽動作および適応イントラリフレッシュの適用を介するなど、誤りからの所与のブロックの回復性に基づくものとすることができる。重要性尺度の推定値は、持続性メトリックとも称する、あるブロックが予測器として使用される回数に基づくものとすることができる。この持続性メトリックは、予測誤り伝搬を阻止することによって符号化効率を改善するのにも使用される。持続性メトリックは、より高い重要性を有するブロックのビット割当をも増やす。
適応イントラリフレッシュ
適応イントラリフレッシュは、マルチメディアデータのコンテンツ情報に基づくことができる誤り弾力性技法である。イントラリフレッシュ処理では、いくつかのＭＢは、標準Ｒ−Ｄ最適化がそれらをインター符号化されたＭＢにしなければならないと命ずる場合であっても、イントラ符号化される。ＡＩＲは、ＰフレームまたはＢフレームにイントラ符号化されたＭＢを導入するために、動きに重み付けされたイントラリフレッシュを使用する。ベースレイヤに含まれる、これらのイントラ符号化されたＭＢは、ＱＰｂまたはＱＰｅのいずれかを用いて符号化することができる。ＱＰｅがベースレイヤに使用される場合には、改善をエンハンスメントレイヤで行う必要はない。ＱＰｂがベースレイヤに使用される場合には、改善が適当である場合があり、さもなければ、エンハンスメントレイヤで、品質の低下が顕著になる。インター符号化は、符号化効率の意味でイントラ符号化より効率的なので、エンハンスメントレイヤでのこれらの改善は、インター符号化される。この形では、ベースレイヤ係数は、エンハンスメントレイヤに使用されず、品質は、新しい動作を導入せずにエンハンスメントレイヤで改善される。
適応イントラリフレッシュは、マルチメディアデータのコンテンツ情報に基づくことができる誤り弾力性技法である。イントラリフレッシュ処理では、いくつかのＭＢは、標準Ｒ−Ｄ最適化がそれらをインター符号化されたＭＢにしなければならないと命ずる場合であっても、イントラ符号化される。ＡＩＲは、ＰフレームまたはＢフレームにイントラ符号化されたＭＢを導入するために、動きに重み付けされたイントラリフレッシュを使用する。ベースレイヤに含まれる、これらのイントラ符号化されたＭＢは、ＱＰｂまたはＱＰｅのいずれかを用いて符号化することができる。ＱＰｅがベースレイヤに使用される場合には、改善をエンハンスメントレイヤで行う必要はない。ＱＰｂがベースレイヤに使用される場合には、改善が適当である場合があり、さもなければ、エンハンスメントレイヤで、品質の低下が顕著になる。インター符号化は、符号化効率の意味でイントラ符号化より効率的なので、エンハンスメントレイヤでのこれらの改善は、インター符号化される。この形では、ベースレイヤ係数は、エンハンスメントレイヤに使用されず、品質は、新しい動作を導入せずにエンハンスメントレイヤで改善される。
いくつかの態様においては、適応イントラリフレッシュは、動きに重み付けされたやり方ではなく、またはそれに加えて、マルチメディアデータのコンテンツ情報（たとえば、コンテンツ分類）に基づくものとすることができる。たとえば、コンテンツ分類が比較的高い（たとえば、高い空間的な複雑度および時間的な複雑度を有するシーン）場合に、適応イントラリフレッシュが、相対的により多数のイントラ符号化されたＭＢをＰフレームまたはＢフレームに導入することができる。その代わりに、コンテンツ分類が比較的低い（低い空間的な複雑度および／または時間的な複雑度を有するより少なく動的なシーンを示す）場合に、適応イントラリフレッシュが、より少数のイントラ符号化されたＭＢをＰフレームおよびＢフレームに導入することができる。誤り弾力性を改善するそのようなメトリックおよび方法は、無線マルチメディア通信の文脈だけではなく、データ圧縮およびマルチメディア処理全般に向けて（たとえば、グラフィックスレンダリングに）適用することができる。
チャネル切替フレーム
本明細書で定義されるチャネル切替フレーム（ＣＳＦ）は、高速なチャネルの獲得のために、したがって、ブロードキャスト多重内のストリームの間の高速なチャネルの変更のために、ブロードキャストストリーム内の適当な位置に挿入されるランダムアクセスフレームを記述する広義の用語である。チャネル切替フレームは、主フレームが誤りを伴って伝送される場合に使用できる冗長データを提供するので、誤り頑健性をも高める。ＩフレームまたはＨ．２６４のプログレッシブ復号化器リフレッシュフレームなどのプログレッシブＩフレームは、通常、ランダムアクセス点として働く。しかし、頻繁なＩフレーム（または、シーン持続時間より短い、短いＧＯＰ）は、圧縮効率の大幅な低下をもたらす。イントラ符号化ブロックが、誤り弾力性のために必要になる可能性があるので、誤りに対する頑健性を高めながら符号化効率を改善するために、予測階層を介してランダムアクセスおよび誤り弾力性を効果的に組み合わせることができる。
本明細書で定義されるチャネル切替フレーム（ＣＳＦ）は、高速なチャネルの獲得のために、したがって、ブロードキャスト多重内のストリームの間の高速なチャネルの変更のために、ブロードキャストストリーム内の適当な位置に挿入されるランダムアクセスフレームを記述する広義の用語である。チャネル切替フレームは、主フレームが誤りを伴って伝送される場合に使用できる冗長データを提供するので、誤り頑健性をも高める。ＩフレームまたはＨ．２６４のプログレッシブ復号化器リフレッシュフレームなどのプログレッシブＩフレームは、通常、ランダムアクセス点として働く。しかし、頻繁なＩフレーム（または、シーン持続時間より短い、短いＧＯＰ）は、圧縮効率の大幅な低下をもたらす。イントラ符号化ブロックが、誤り弾力性のために必要になる可能性があるので、誤りに対する頑健性を高めながら符号化効率を改善するために、予測階層を介してランダムアクセスおよび誤り弾力性を効果的に組み合わせることができる。
ランダムアクセス切替および誤り頑健性の改善は、一致して達成することができ、コンテンツ分類などのコンテンツ情報に基づくものとすることができる。小さい動きのシーケンスについて、予測チェーンは、長く、スーパーフレームまたはシーンを再構成するのに必要な情報のかなりの部分が、シーンの初めに現れるＩフレームに含まれる。チャネル誤りは、バースト的である傾向があり、フェードが現れ、ＦＥＣおよび通信路符号化が障害を発生する時には、隠蔽が失敗する大きい見逃し誤りがある。これは、小さい動き（したがって、低いビットレート）のシーケンスについて特に深刻である。というのは、符号化されたデータの量が、ビデオビットストリーム内でよい時間ダイバーシティをもたらすのに十分に多くはないからであり、すべてのビットを再構成に有用にする非常に圧縮可能なシーケンスがあるからである。大きい動きのシーケンスは、コンテンツの性質すなわち、すべてのフレーム内のより多くの新しい情報が、独立に復号化可能であり本質的に誤りに対してより柔軟な符号化されたイントラブロックの個数を増やすことに起因して、誤りに対してより頑健である。予測階層に基づく適応イントラリフレッシュは、大きい動きのシーケンスについて高い性能を達成し、性能改善は、小さい動きのシーケンスについて大きくはない。したがって、Ｉフレームのほとんどを含むチャネル切替フレームは、小さい動きのシーケンスに関するダイバーシティのよい源である。誤りがスーパーフレームを攻撃する時に、連続するフレームでの復号化は、予測に起因して失われる情報を回復するＣＳＦから開始され、誤り弾力性が達成される。
相対的に高いコンテンツ分類（たとえば、６〜８）を有するシーケンスなどの大きい動きのシーケンスの場合に、ＣＳＦは、ＳＦ内で持続するブロックすなわち、よい予測器であるブロックからなる可能性がある。ＣＳＦの他のすべての領域は、イントラブロックで終わることを暗示する短い予測チェーンを有するブロックなので、符号化する必要がない。したがって、ＣＳＦは、それでも、誤りが発生する時に予測に起因して失われる情報から回復するように働く。小さい動きのシーケンスに関するＣＳＦは、Ｉフレームのサイズと同程度であり、より大きい量子化を介してより低いビットレートで符号化することができ、大きい動きのシーケンスに関するＣＳＦは、対応するＩフレームよりはるかに小さい。
予測階層に基づく誤り弾力性は、良好にスケーラビリティを処理することができ、非常に効率的な階層化された符号化を達成することができる。物理層技術での階層的な変調をサポートするスケーラビリティは、特定の帯域幅比を用いるビデオビットストリームのデータパーティショニングを必要とする場合がある。これらは、必ずしも最適スケーラビリティのための（たとえば、最小のオーバーヘッドを有する）理想的な比であるとは限らない。いくつかの態様で、１：１帯域幅比を有する２層のスケーラビリティが使用される。等しいサイズの２つの層へのビットストリームのパーティショニングは、小さい動きのシーケンスについて、さほど効率的でない場合がある。小さい動きのシーケンスについて、すべてのヘッダおよびメタデータ情報を含むベースレイヤは、エンハンスメントレイヤより大きい。しかし、小さい動きのシーケンスのＣＳＦは、より大きいので、エンハンスメントレイヤ内の残りの帯域幅にうまくおさまる。
大きい動きのシーケンスは、１：１へのデータパーティショニングを最小のオーバーヘッドで達成できる十分な残差情報を有する。さらに、そのようなシーケンスのチャネル切替フレームは、大きい動きのシーケンスについてはるかに小さい。したがって、予測階層に基づく誤り弾力性は、大きい動きのシーケンスのスケーラビリティも良好に処理することができる。適度な動きのクリップについて上で述べた概念を拡張することは、これらのアルゴリズムの説明に基づいて可能であり、提案される概念は、ビデオ符号化全般に適用される。
多重化装置
いくつかの符号化器の態様で、多重化装置は、符号化器によって作られた複数のマルチメディアストリームを符号化するのに使用でき、符号化されたビットをブロードキャストのために準備するのに使用することができる。たとえば、図２に示された符号化器２２８の例示的態様では、同期化層２４０が、多重化装置を備える。多重化装置は、ビットレート割当制御をもたらすために実施することができる。推定された複雑度を、多重化装置に供給することができ、この多重化装置は、多重化されたビデオチャネルについて予想される符号化の複雑度に従ってこれらのビデオチャネルの集合の使用可能な帯域幅を割り当てることができ、次に、多重化されたビデオストリームの集合の帯域幅が比較的一定である場合であっても、特定のチャネルの品質が比較的一定のままになることを可能にする。これは、チャネルの集合内の１チャネルが、相対に一定のビットレートおよび可変の視覚的品質ではなく、可変のビットレートおよび相対的に一定の視覚的品質を有することをもたらす。
いくつかの符号化器の態様で、多重化装置は、符号化器によって作られた複数のマルチメディアストリームを符号化するのに使用でき、符号化されたビットをブロードキャストのために準備するのに使用することができる。たとえば、図２に示された符号化器２２８の例示的態様では、同期化層２４０が、多重化装置を備える。多重化装置は、ビットレート割当制御をもたらすために実施することができる。推定された複雑度を、多重化装置に供給することができ、この多重化装置は、多重化されたビデオチャネルについて予想される符号化の複雑度に従ってこれらのビデオチャネルの集合の使用可能な帯域幅を割り当てることができ、次に、多重化されたビデオストリームの集合の帯域幅が比較的一定である場合であっても、特定のチャネルの品質が比較的一定のままになることを可能にする。これは、チャネルの集合内の１チャネルが、相対に一定のビットレートおよび可変の視覚的品質ではなく、可変のビットレートおよび相対的に一定の視覚的品質を有することをもたらす。
図１８は、複数のマルチメディアストリームまたはチャネル１８０２を符号化するシステムを示すブロック図である。マルチメディアストリーム１８０２は、それぞれの符号化器１８０４によって符号化され、符号化器１８０４は、多重化装置（ＭＵＸ）１８０６と通信し、さらに多重化装置１８０６は、伝送媒体１８０８と通信する。たとえば、マルチメディアストリーム１８０２は、ニュースチャネル、スポーツチャネル、映画チャネルなどのさまざまなコンテンツチャネルに対応するものとすることができる。符号化器１８０４は、マルチメディアストリーム１８０２をシステムについて指定された符号化フォーマットに符号化する。ビデオストリームの符号化の文脈で説明するが、開示される技法の原理および利益は、たとえばオーディオストリームを含むマルチメディアストリームに全般的に適用可能である。符号化されたマルチメディアストリームは、多重化装置１８０６に供給され、多重化装置１８０６は、さまざまな符号化されたマルチメディアストリームを組み合わせ、組み合わされたストリームを伝送のために伝送媒体１８０８に送る。
伝送媒体１８０８は、ＤｉｒｅｃＴＶ（登録商標）などのディジタル衛星通信、ディジタルケーブル、有線および無線のインターネット通信、光ネットワーク、セル電話網、ならびに類似物などであるがこれらに限定はされないさまざまな媒体に対応するものとすることができる。伝送媒体１８０８には、たとえば、無線周波数（ＲＦ）への変調を含めることができる。通常、スペクトル制約および同様のものに起因して、伝送媒体は、限られた帯域幅を有し、多重化装置１８０６から伝送媒体へのデータは、相対的に固定ビットレート（ＣＢＲ）で維持される。
通常のシステムでは、多重化装置１８０６の出力での固定ビットレート（ＣＢＲ）の使用は、多重化装置１８０６に入力される符号化されたマルチメディアまたはビデオストリームもＣＢＲであることを必要とする場合がある。背景で説明したように、ビデオコンテンツを符号化する時のＣＢＲの使用は、通常は望ましくない可変の視覚的品質をもたらす可能性がある。
図解されたシステムでは、複数の符号化器１８０４が、入力データの予想された符号化の複雑度を通信する。１つまたは複数の符号化器１８０４が、それに応答して多重化装置１８０６から適合されたビットレート制御を受けることができる。これは、比較的複雑なビデオを符号化すると期待される符号化器１８０４が、擬似可変ビットレートの形でビデオのこれらのフレームについてより高いビットレートまたはより多くの帯域幅（より多くのビット毎フレーム）を受け取ることを可能にする。これは、マルチメディアストリーム１８０２を一定の視覚的品質で符号化することを可能にする。比較的複雑なビデオを符号化する特定の符号化器１８０４によって使用される余分の帯域幅は、符号化器が固定ビットレートで動作するように実施された場合に他のビデオストリーム１８０４を符号化するのに他の形で使用されたはずのビットに由来する。これは、多重化装置１８０６の出力を固定ビットレート（ＣＢＲ）で維持する。
個々のマルチメディアストリーム１８０２が、比較的「バースト的」である、すなわち、使用される帯域幅において変化する可能性があるが、複数のビデオストリームの累積和は、より少なくバースト的である可能性がある。たとえば多重化装置１８０６によって、比較的複雑なビデオを符号化するチャネルに再割り当てすることができる、複雑度のより少ないビデオを符号化するチャネルからのビットレート、これは、組み合わされたビデオストリームの全体としての視覚的品質を高めることができる。
符号化器１８０４は、一緒に符号化され多重化されるビデオフレームの組の複雑度の表示を多重化装置１８０６に与える。多重化装置１８０６の出力は、伝送媒体１８０８について指定されたビットレートを超えない出力をもたらさなければならない。複雑度の表示は、選択されたレベルの品質を実現するために、上で述べたコンテンツ分類に基づくものとすることができる。多重化装置１００６は、複雑度の表示を分析し、割り当てられたビット数または帯域幅をさまざまな符号化器１００４に与え、符号化器１８０４は、組のビデオフレームを符号化するのにこの情報を使用する。これは、ビデオフレームの組を個別に可変ビットレートにすることを可能にし、なおかつグループとして固定ビットレートを達成する。
コンテンツ分類は、任意の包括的な圧縮器に関して、マルチメディア全般の品質ベースの圧縮を使用可能にするのにも使用することができる。コンテンツ分類ならびに本明細書で説明する方法および装置を、任意のマルチメディアデータの品質ベースのおよび／またはコンテンツベースのマルチメディア処理に使用することができる。一例が、任意の包括的な圧縮器に関するマルチメディア全般の圧縮での使用である。もう１つの例が、任意の逆圧縮器または復号化器あるいは補間動作、再サンプリング動作、画質向上動作、復元動作、およびプレゼンテーション動作などのポストプロセッサでの圧縮解除または復号においてである。
ここで図１９を参照すると、通常のビデオ通信システムは、通信ネットワークによって接続されたビデオ符号化器およびビデオ復号化器からなるビデオ圧縮システムを含む。無線ネットワークは、エラーが起きやすいネットワークの１つの種類であり、ここで、通信チャネルは、経路損失に加えて、移動体シナリオで、対数正規フェージングまたはシャドウイングおよびマルチパスフェージングを示す。チャネル誤りと戦い、アプリケーション層データの信頼できる通信を実現するために、ＲＦ変調器は、インターリーバと畳込み符号化またはターボ符号化などの通信路符号化とを含む順方向の誤り訂正を含む。
ビデオ圧縮は、ソースビデオの冗長度を減らし、符号化されたビデオデータの各ビットで搬送される情報の量を増やす。これは、符号化されたビデオの小さい部分であっても、それが失われる時の品質への影響を増やす。ビデオ圧縮システムに固有の空間的な予測および時間的な予測は、損失を悪化させ、誤りを伝搬させ、再構成されたビデオ内の可視の人為的結果をもたらす。ビデオ符号化器の誤り弾力性アルゴリズムおよびビデオ復号化器の誤り回復アルゴリズムは、ビデオ圧縮システムの誤り頑健性を高める。
通常、ビデオ圧縮システムは、基盤となるネットワークを認知しない。しかし、エラーが起きやすいネットワークでは、リンク／物理層内のＦＥＣおよび通信路の符号化と共に誤り保護アルゴリズムをアプリケーション層内に一体化するか緊密に協力させることが、非常に望ましく、システムの誤り性能を高める上で最高の効率をもたらす。
図１４に、フレームを符号化するために符号化器２２８内で発生し得るレート歪みデータの流れの一例を示す。処理１４００は、開始１４０２で開始され、判断ブロック１４０４に進み、ここで、プリプロセッサ２２６からシーン変化検出器の入力１４１０を受け取り（たとえば、メタデータを介して）、誤り弾力性の入力１４０６を獲得する。これらの情報が、選択されたフレームがＩフレームであることを示す場合に、この処理は、そのフレームをイントラ符号化する。これらの情報が、選択されたフレームがＰフレームまたはＢフレームであることを示す場合に、この処理は、そのフレームを符号化するのにイントラ符号化および動き推定（インター）符号化を使用する。
ブロック１４０４の条件に関して肯定の条件が発生した後に、処理１４００は、準備ブロック１４１４に進み、ここで、比Ｒに値Ｒ＝ＲｑｕａｌすなわちＲ−Ｄ曲線に基づく所望の目標品質を設定する。この設定は、Ｒ−Ｄ曲線を備えるデータブロック１４１６から受け取られる。次に、処理１４００は、ブロック１４１８に進み、ここで、レート制御ビット割当｛Ｑｐｉ｝が、ブロック１４２０のコンテンツ分類処理からの画像／ビデオアクティビティ情報（たとえば、コンテンツ分類）に基づいて実行される。
レート制御ビット割当ブロック１４１８は、ブロック１４２２の動き推定に使用される。動き推定１４２２は、プリプロセッサ１４１２からのメタデータ、ブロック１４２４からの動きベクトル平滑化（ＭＰＥＧ−２＋ヒストリ）、およびブロック１４２６からの複数の基準フレーム（因果的＋非因果的マクロブロックＭＢ）の入力をも受け取ることができる。次に、処理１４００は、ブロック１４２８に進み、ここで、イントラ符号化されたモードのレート計算を、レート制御ビット割当（Ｑｐｉ）について決定する。次に、処理１４００は、ブロック１４３０に進み、ここで、モードおよび量子化パラメータを決定する。ブロック１４３０のモード判断は、ブロック１４２２の動き推定入力、誤り弾力性１４０６入力、およびブロック１４３２で決定されるスケーラビリティＲ−Ｄに基づいて行われる。モードを判断したならば、流れはブロック１４３２に進む。ブロック１４３０から１４３２への流れが、データが符号化器の第１パス部分から第２パス部分に渡される時に発生することに留意されたい。
ブロック１４３２では、符号化器２２８の第２パスによって変換および量子化を実行する。変換／量子化処理は、ブロック１４４４に示されているように、調整されまたは微調整される。この変換／量子化処理は、レート制御微調整モジュール（図７）によって影響されるものとすることができる。次に、処理１４００は、符号化されたベースレイヤを作るためのジグザグソートおよびエントロピ符号化のブロック１４３４に進む。ジグザグソートは、符号化に効率的なフォーマットで量子化されたデータを準備する。エントロピ符号化は、可能な記号の組を表すのに一連のビット符号を使用する圧縮技法である。変換／量子化ブロック１４３２のエンハンストレイヤの結果は、加算器１４３６にも送られ、加算器１４３６は、ベースレイヤを減算し、その結果を、前に図３１〜３６を参照して説明したエンハンストレイヤ用のＺＺ／エントロピコーダ１４３８に送る。さらに注目すべきことに、エンハンストレイヤは、真のレートに関するコンテンツ分類１４２０の更新ならびにレート制御によって使用されるビットレートの長期履歴および短期履歴を判定する動作のためにフィードバックされる（線１４４０真のレートの更新を参照されたい）。
図１７は、マルチメディア符号化システムの高水準ブロック図である。このマルチメディア符号化システムは、マルチメディアデータを受け取るモジュール１７０５によって示される、マルチメディアデータを受け取るための手段を含む。そのようなための手段は、たとえば、トランスコーダ、符号化器、プリプロセッサ、マルチメディアデータを受け取るように構成されたプロセッサ、受話器を備えることができる。より具体的には、受け取るための手段は、さまざまな例でトランスコーダ２００を含む、マルチメディアデータを受け取る、本明細書で説明する構成要素およびモジュールを備えることができる。この符号化システムは、マルチメディアデータを符号化するモジュール１７１０によって示される、マルチメディアデータを符号化するための手段をも備える。そのような符号化ための手段１７１０は、トランスコーダ２００、符号化器２２８、またはプリプロセッサ２２６を備えることができる。
図２３、２４、２７、および２８は、本明細書で説明する諸態様を実施する、マルチメディアデータを符号化する方法を例示する処理の流れ図である。図２３は、コンテンツ情報に基づいてマルチメディアデータを符号化する処理２３００を示す処理の流れ図である。ブロック２３０５で、処理２３００は、符号化されたマルチメディアデータを受け取り、ブロック２３１０で、処理２３００は、マルチメディアデータを復号化する。ブロック２３１５で、処理２３００は、復号化されたマルチメディアデータに関連するコンテンツ情報を決定する。ブロック２３２０で、処理２３００は、コンテンツ情報に基づいてマルチメディアデータを符号化する。
図２４は、コンテンツ情報レベルに基づいてデータ境界を整列するためにマルチメディアデータを符号化する処理２４００を示す処理の流れ図である。ブロック２４０５で、処理２４００は、マルチメディアデータに関連するコンテンツ情報を取得し、これは、たとえば、図７に示されたプリプロセッサ２２６またはコンテンツ分類モジュール７１２によって行うことができる。ブロック２４１０で、処理２４００は、コンテンツ情報に基づいてデータ境界を整列するためにマルチメディアデータを符号化する。たとえば、スライス境界およびアクセス単位境界は、符号化されるマルチメディアデータのコンテンツ分類に基づいてフレーム境界と整列される。その後、符号化されたデータは、後続の処理および／または移動体デバイスへの伝送に使用可能であり、処理２４００は終了する。
図２７は、コンテンツ情報に基づく適応イントラリフレッシュ方式を使用してデータを符号化する処理２７００を示す処理の流れ図である。処理２７００が開始される時に、マルチメディアデータは、取得済みである。ブロック２７０５で、処理２７００は、マルチメディアデータのコンテンツ情報を取得する。コンテンツ情報の取得は、たとえば、上で説明したようにプリプロセッサ２２６またはコンテンツ分類モジュール７１２によって実行することができる。処理２７００は、ブロック２７１０に進み、ここで、適応イントラリフレッシュの誤り弾力性方式を使用してマルチメディアデータを符号化し、適応イントラリフレッシュの誤り弾力性方式は、コンテンツ情報に基づく。ブロック２７１０の機能は、符号化器２２８によって実行することができる。符号化されたデータは、後続の処理および伝送に使用可能にされ、処理２７００は終了する。
図２８は、マルチメディアコンテンツ情報に基づいて冗長なＩフレームを使用してマルチメディアデータを符号化する処理を示す処理の流れ図である。処理２８００が開始される時に、マルチメディアデータは、処理に使用可能である。ブロック２８０５で、処理２８００は、マルチメディアデータのコンテンツ情報を取得する。上で説明したように、これは、たとえば、プリプロセッサ２２６および／または符号化器２２８によって行うことができる。ブロック２８１０で、処理２８００は、コンテンツ情報に基づいて１つまたは複数の追加のＩフレームを符号化されたデータに挿入するためにマルチメディアデータを符号化する。これは、使用される誤り弾力性方式に応じてベースレイヤまたはエンハンスメントレイヤにＩフレームを挿入することによって、誤り弾力性方式に関連して上で説明したように符号化器２２８によって行うことができる。ブロック２８１０の後に、符号化されたデータは、後続の処理および／または移動体デバイスへの伝送に使用可能である。
本明細書で説明した方法を、当業者に既知のさまざまな通信ハードウェア、プロセッサ、およびシステムで実装できることに留意されたい。たとえば、クライアントが本明細書で説明されたように動作するための一般的な要件は、クライアントが、コンテンツおよび情報を表示するディスプレイ、クライアントの動作を制御するプロセッサ、ならびにクライアントの動作に関連するデータおよびプログラムを格納するメモリを有することである。一態様において、クライアントは、セル電話機である。もう１つの態様において、クライアントは、通信機能を有するハンドヘルドコンピュータである。もう１つの態様において、クライアントは、通信機能を有するパーソナルコンピュータである。さらに、ＧＰＳ受話器などのハードウェアを、さまざまな態様を実施するためにクライアントに組み込むことができる。本明細書で開示された諸態様に関連して説明されたさまざまな例示的なロジック、論理ブロック、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェア構成要素、あるいは本明細書に記載の機能を実行するように設計されたこれらの任意の組合せを用いて実施し、または実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替案では、プロセッサを、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せとして、たとえば、ＤＳＰおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと併用される１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実施することもできる。
本明細書で開示された諸態様に関連して説明されたさまざまな例示的なロジック、論理ブロック、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のプログラマブルロジックデバイス、離散的なゲートまたはトランジスタロジック、離散的なハードウェア構成要素、あるいは本明細書に記載の機能を実行するように設計されたこれらの任意の組合せを用いて実施し、または実行することができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替案では、プロセッサを、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサは、コンピューティングデバイスの組合せとして、たとえば、ＤＳＰおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと併用される１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実施することもできる。
開示された方法および装置は、あるフォーマットで符号化されたビデオデータの別のフォーマットで符号化されたビデオデータへのトランスコーディングを提供し、ここで、符号化は、ビデオデータのコンテンツに基づき、符号化は、誤りに対して弾力的である。本明細書で開示された例に関連して説明された方法またはアルゴリズムは、ハードウェアで直接に、プロセッサによって実行されるソフトウェアモジュールで、ファームウェアで、またはこれらのうちの複数の組合せで実施することができる。ソフトウェアモジュールは、ＲＡＭメモリ、ｆｌａｓｈメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、または当技術分野で既知の任意の他の形の記憶媒体に存在することができる。例示的な記憶媒体は、プロセッサが、記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合される。代替案では、記憶媒体を、プロセッサに一体とすることができる。プロセッサおよび記憶媒体が、ＡＳＩＣ内に存在することができる。ＡＳＩＣは、ユーザ端末内に存在することができる。代替案では、プロセッサおよび記憶媒体が、ユーザ端末内の別個の構成要素として存在することができる。
上で説明された例は、単に例示的であり、当業者は、今や、本明細書で開示された発明的概念から逸脱せずに、上で説明された例の多数の利用を行い、上で説明された例からの新展開を作ることができる。これらの例に対するさまざまな変更は、当業者には直ちに明白になる可能性があり、本明細書で定義される包括的な原理は、本明細書で説明された新規の諸態様の趣旨または範囲から逸脱せずに、たとえばインスタントメッセージングサービスまたは任意の一般的な無線データ通信アプリケーションで他の例に適用することができる。したがって、本開示の範囲は、本明細書に示された例に限定されることを意図されているのではなく、本明細書で開示された原理および新規な特徴と一貫する最も広い範囲に従わなければならない。単語「例示的」は、本明細書では、もっぱら、「例、実例、または例示としての役割を果たす」を意味するのに使用される。本明細書で「例示的」として説明されたすべての例は、必ずしも、他の例より好ましいまたは有利と解釈してはならない。したがって、本明細書で説明された新規の態様は、添付の特許請求の範囲のみによって定義される。
Claims (44)
- マルチメディアデータを処理する方法、該方法は下記を備える：
マルチメディアデータを受け取ること；および、
前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを第１データグループおよび第２データグループに符号化すること、ここで、前記第１データグループが、前記第２データグループと独立に復号化可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。 - 請求項１に記載の方法、ここにおいて、
前記第１データグループが、ＩフレームおよびＰフレームを備え、前記第２データグループが、Ｉフレーム、Ｐフレーム、およびＢフレームを備える。 - 請求項１に記載の方法、ここにおいて、
前記第１データグループが、ベースレイヤを備え、前記第２データグループが、エンハンスメントレイヤを備える。 - さらに下記を備える請求項１に記載の方法：
前記マルチメディアデータの前記コンテンツを分類すること、
ここにおいて、前記符号化が、前記コンテンツ分類に基づく。 - 請求項４に記載の方法、ここにおいて、
前記符号化することは下記を備える：
前記第１データグループを符号化するための前記マルチメディアデータの第１量子化パラメータを決定すること；および、
前記第２データグループを符号化するための第２量子化パラメータを決定すること、
ここにおいて、前記第１量子化パラメータおよび前記第２量子化パラメータの前記判定が、前記コンテンツ分類に基づく。 - 請求項４に記載の方法、ここにおいて、
前記符号化することは、前記コンテンツ分類に基づいて前記マルチメディアデータの少なくとも一部のビットレートを割り当てることを備える。 - 請求項４に記載の方法、ここにおいて、
前記符号化することは、さらに下記を備える：
シーン変化を検出するのに前記コンテンツ分類を使用すること；および、
前記検出されたシーン変化に基づいて前記第１データグループおよび前記第２データグループ内にＩフレームを含めるかどうかを決定すること。 - 請求項４に記載の方法、ここにおいて、
前記符号化することは、さらに、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化するフレームレートを決定することを備える。 - 請求項４に記載の方法、ここにおいて、
前記符号化することは、前記コンテンツ分類に基づいて前記マルチメディアデータの動き推定を実行することを備える。 - さらに下記を備える請求項４に記載の方法：
前記第１データグループの符号化の第１フレームレートを決定すること；
前記第２データグループの符号化の第２フレームレートを決定すること、
ここにおいて、前記第１フレームレートが、前記第２フレームレートより低い。 - 請求項４に記載の方法、ここにおいて、
前記符号化することは、前記コンテンツ分類に基づいて前記マルチメディアデータに対して誤り弾力性処理を実行することを備える。 - 請求項４に記載の方法、ここにおいて、
前記符号化することは下記を備える：
前記第２データグループが使用可能でない場合に表示可能なマルチメディアデータを形成するために前記第１データグループを復号化することができ、
前記第１データグループと前記第２データグループとの両方が使用可能である場合に表示可能なマルチメディアデータを形成するために前記第１データグループおよび前記第２データグループを組み合わせて復号化することができるように、前記第１データグループおよび前記第２データグループを符号化すること。 - 請求項４に記載の方法、
ここにおいて、前記第１量子化パラメータが、データを符号化するための第１ステップサイズを備え、
さらにここにおいて、前記第２量子化パラメータが、データを符号化するための第２ステップサイズを備え、前記第１ステップサイズが、前記第２ステップサイズより大きい。 - さらに下記を備える請求項１に記載の方法：
前記マルチメディアデータの前記コンテンツを分類すること、
ここにおいて、前記符号化することは、前記コンテンツ分類に基づき、
さらにここにおいて、前記符号化することは、前記コンテンツ分類に基づいて前記マルチメディアデータ内の雑音を減らすことを備える。 - 雑音を減らすことが、人為的結果の除去を実行することを備える、請求項１４に記載の方法。
- 請求項１４に記載の方法、ここにおいて、
雑音を減らすことが、デリンギングフィルタを用いて前記マルチメディアデータの少なくとも一部を処理することを備え、ここにおいて、
前記デリンギングフィルタの強さが、前記マルチメディアデータのコンテンツに基づく。 - 請求項１４に記載の方法、ここにおいて、
雑音を減らすことが、デブロッキングフィルタを用いて前記マルチメディアデータの少なくとも一部を処理することを備え、ここにおいて、
前記デブロッキングフィルタの強さが、前記マルチメディアデータのコンテンツに基づく。 - 雑音を減らすことが、前記マルチメディアデータの選択された周波数をフィルタリングすることを備える、請求項１４に記載の方法。
- 前記デリンギングフィルタの前記強さが、前記マルチメディアデータのコンテンツ分類に基づく、請求項１６に記載の方法。
- 前記デブロッキングフィルタの前記強さが、前記マルチメディアデータのコンテンツ分類に基づく、請求項１７に記載の方法。
- 符号化することが、前記マルチメディアデータをダウンサンプリングすることを備える、請求項１に記載の方法。
- 請求項１に記載の方法、ここにおいて、
符号化することは、前記マルチメディアデータの符号化のビットレートを決定するために、下記を備える：
前記マルチメディアデータに品質レベルを関連付けること；および、
前記マルチメディアデータの前記品質レベルおよびコンテンツ情報を使用すること。 - マルチメディアデータを処理する装置、該装置は下記を備える：
マルチメディアデータを受け取り、前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを第１データグループおよび第２データグループに符号化するように構成された符号化器、
ここにおいて、前記第１データグループが、前記第２データグループと独立に復号化可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。 - 請求項２３に記載の装置、ここにおいて、
前記符号化器は、前記マルチメディアデータのコンテンツ分類を決定するように構成されたコンテンツ分類モジュールを備え、
さらにここにおいて、前記符号化モジュールが、さらに、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化するように構成される。 - 請求項２４に記載の装置、ここにおいて、
前記符号化器が、さらに、前記第１データグループを符号化するための前記マルチメディアデータの第１量子化パラメータおよび前記第２データグループを符号化するための第２量子化パラメータを決定するように構成され、
ここで、前記第１量子化パラメータおよび前記第２量子化パラメータの前記決定が、前記マルチメディアデータの前記コンテンツ分類に基づく。 - 請求項２４に記載の装置、ここにおいて、
前記符号化器が、前記コンテンツ分類に基づいて前記マルチメディアデータの動き推定を実行し、データ動き補償情報を生成するように構成された動き推定モジュールを備え、
さらにここにおいて、前記符号化モジュールが、さらに、前記マルチメディアデータを符号化するのに前記動き補償情報を使用するように構成される。 - 請求項２４に記載の装置、ここにおいて、
前記符号化器が、前記コンテンツ分類に基づいて前記マルチメディアデータの量子化パラメータを決定する量子化モジュールをさらに備え、
さらにここにおいて、前記符号化器が、さらに、前記マルチメディアデータを符号化するのに前記量子化パラメータを使用するように構成される。 - 請求項２４に記載の装置、ここにおいて、
前記符号化器が、前記コンテンツ分類に基づいて前記マルチメディアデータの少なくとも一部のビットレートを提供するように構成されたビット割当モジュールをさらに備える。 - 請求項２４に記載の装置、ここにおいて、
前記符号化器が、シーン変化を検出するように構成されたシーン変化検出モジュールをさらに備え、前記符号化モジュールが、さらに、前記検出されたシーン変化に基づいて、符号化されたマルチメディアデータにＩフレームを含めるように構成される、請求項２４に記載の装置。 - 請求項２４に記載の装置、ここにおいて、
前記符号化器が、前記コンテンツ分類に基づいて前記マルチメディアデータのフレームレートを決定するように構成されたフレームレートモジュールをさらに備え、
ここにおいて、前記符号化モジュールが、前記フレームレートに基づいて前記マルチメディアデータを符号化する。 - 前記符号化器が、さらに、前記コンテンツ分類に基づいて第１データグループおよび前記第２データグループを符号化するように構成される、請求項２４に記載の装置。
- 前記符号化器が、さらに、前記コンテンツ分類に基づいて前記マルチメディアデータに対して誤り処理を実行するように構成される、請求項２４に記載の装置。
- マルチメディアデータを処理する装置、該装置は下記を備える：
マルチメディアデータを受け取るための手段；および、
前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化するための手段、
ここにおいて、前記第１データグループが、前記第２データグループと独立に復号可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。 - 前記受け取るための手段が、符号化器を備える、請求項３３に記載の装置。
- 前記符号化するための手段が、符号化器を備える、請求項３３に記載の装置。
- 請求項３３に記載の装置、ここにおいて、
前記符号化するための手段が、前記マルチメディアデータのコンテンツ分類を決定するための手段を備え、
ここにおいて、前記符号化するための手段が、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化する。 - 前記符号化するための手段が、符号化器を備えるトランスコーダを備える、請求項３３に記載の装置。
- 実行時に、機械に下記を行わせる命令を備える機械可読媒体：
マルチメディアデータを受け取ること；および、
前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化すること、
ここにおいて、前記第１データグループが、前記第２データグループと独立に復号化可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。 - さらに下記を行う命令を備える請求項３８に記載のコンピュータ可読媒体：
前記マルチメディアデータの前記コンテンツを示すコンテンツ分類を生成すること、
ここにおいて、前記マルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化する前記命令が、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化する命令を備える。 - 請求項３９に記載のコンピュータ可読媒体、ここにおいて、
符号化する前記命令は下記を行う命令を備える：、
前記コンテンツ分類に基づいて、前記第１データグループを符号化するための前記マルチメディアデータの第１量子化パラメータおよび前記第２データグループを符号化するための第２量子化パラメータを決定すること。 - 請求項３８に記載の方法、ここにおいて、
符号化する前記命令が、下記を行う命令を備える：
前記マルチメディアデータの前記コンテンツに基づいて前記マルチメディアデータの少なくとも一部のビットレートを割り当てること。 - 下記を行う構成を備えるプロセッサ：
マルチメディアデータを受け取ること；および、
前記マルチメディアデータのコンテンツに基づいて前記マルチメディアデータを符号化された第１データグループおよび符号化された第２データグループに符号化すること、
ここにおいて、前記第１データグループが、前記第２データグループと独立に復号化可能であるように構成され、前記第１データグループおよび前記第２データグループが、異なる品質レベルで符号化される。 - 請求項４２に記載のプロセッサ、ここにおいて、
前記プロセッサが、さらに、前記マルチメディアデータの前記コンテンツを示すコンテンツ分類を生成する構成をさらに備え、
さらにここにおいて、前記符号化が、前記コンテンツ分類に基づいて前記マルチメディアデータを符号化することを備える。 - 請求項４２に記載のプロセッサ、ここにおいて、
前記プロセッサが、さらに、前記第１データグループを符号化するための前記マルチメディアデータの第１量子化パラメータおよび前記第２データグループを符号化するための第２量子化パラメータを決定する構成を備え、
ここにおいて、前記第１量子化パラメータおよび前記第２量子化パラメータが、前記コンテンツ分類に基づく。
Applications Claiming Priority (15)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US72141605P | 2005-09-27 | 2005-09-27 | |
| US60/721,416 | 2005-09-27 | ||
| US72764405P | 2005-10-17 | 2005-10-17 | |
| US72764305P | 2005-10-17 | 2005-10-17 | |
| US72764005P | 2005-10-17 | 2005-10-17 | |
| US60/727,643 | 2005-10-17 | ||
| US60/727,644 | 2005-10-17 | ||
| US60/727,640 | 2005-10-17 | ||
| US73014505P | 2005-10-24 | 2005-10-24 | |
| US60/730,145 | 2005-10-24 | ||
| US78904806P | 2006-04-03 | 2006-04-03 | |
| US60/789,048 | 2006-04-03 | ||
| US78937706P | 2006-04-04 | 2006-04-04 | |
| US60/789,377 | 2006-04-04 | ||
| PCT/US2006/037949 WO2007038702A1 (en) | 2005-09-27 | 2006-09-27 | Content driven transcoder that orchestrates multimedia transcoding using content information |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012113427A Division JP2012199961A (ja) | 2005-09-27 | 2012-05-17 | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009510933A true JP2009510933A (ja) | 2009-03-12 |
| JP5149188B2 JP5149188B2 (ja) | 2013-02-20 |
Family
ID=37719458
Family Applications (9)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008533639A Expired - Fee Related JP5139303B2 (ja) | 2005-09-27 | 2006-09-27 | 冗長データ符号化方法及びデバイス |
| JP2008533623A Active JP5149188B2 (ja) | 2005-09-27 | 2006-09-27 | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| JP2008533622A Expired - Fee Related JP5289959B2 (ja) | 2005-09-27 | 2006-09-27 | コンテンツ情報に基づくスケーラビリティ技術 |
| JP2008533640A Withdrawn JP2009510937A (ja) | 2005-09-27 | 2006-09-27 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012028724A Active JP5677992B2 (ja) | 2005-09-27 | 2012-02-13 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012028725A Expired - Fee Related JP5562989B2 (ja) | 2005-09-27 | 2012-02-13 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012113427A Pending JP2012199961A (ja) | 2005-09-27 | 2012-05-17 | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| JP2013034669A Pending JP2013157994A (ja) | 2005-09-27 | 2013-02-25 | コンテンツ情報に基づくスケーラビリティ技術 |
| JP2013128473A Pending JP2013232935A (ja) | 2005-09-27 | 2013-06-19 | 時間領域境界とのデータアライメントに関する方法及び装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008533639A Expired - Fee Related JP5139303B2 (ja) | 2005-09-27 | 2006-09-27 | 冗長データ符号化方法及びデバイス |
Family Applications After (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008533622A Expired - Fee Related JP5289959B2 (ja) | 2005-09-27 | 2006-09-27 | コンテンツ情報に基づくスケーラビリティ技術 |
| JP2008533640A Withdrawn JP2009510937A (ja) | 2005-09-27 | 2006-09-27 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012028724A Active JP5677992B2 (ja) | 2005-09-27 | 2012-02-13 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012028725A Expired - Fee Related JP5562989B2 (ja) | 2005-09-27 | 2012-02-13 | 時間領域境界とのデータアライメントに関する方法及び装置 |
| JP2012113427A Pending JP2012199961A (ja) | 2005-09-27 | 2012-05-17 | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
| JP2013034669A Pending JP2013157994A (ja) | 2005-09-27 | 2013-02-25 | コンテンツ情報に基づくスケーラビリティ技術 |
| JP2013128473A Pending JP2013232935A (ja) | 2005-09-27 | 2013-06-19 | 時間領域境界とのデータアライメントに関する方法及び装置 |
Country Status (14)
| Country | Link |
|---|---|
| US (6) | US8879635B2 (ja) |
| EP (9) | EP2293539A3 (ja) |
| JP (9) | JP5139303B2 (ja) |
| KR (7) | KR101242292B1 (ja) |
| CN (2) | CN102724498B (ja) |
| AR (3) | AR055665A1 (ja) |
| AT (1) | ATE524926T1 (ja) |
| AU (1) | AU2006294509B2 (ja) |
| BR (1) | BRPI0616426A2 (ja) |
| CA (2) | CA2623929C (ja) |
| IL (1) | IL190457A0 (ja) |
| NO (1) | NO20081605L (ja) |
| TW (4) | TWI341097B (ja) |
| WO (4) | WO2007038725A2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110101101A (ko) * | 2010-03-05 | 2011-09-15 | 삼성전자주식회사 | 파일 포맷 기반의 적응적 스트림 생성, 재생 방법 및 장치와 그 기록 매체 |
| JP2014509120A (ja) * | 2011-01-21 | 2014-04-10 | トムソン ライセンシング | コンテンツプロファイルを用いる高度化された遠隔トランスコーディングのためのシステム及び方法 |
| JP2014528663A (ja) * | 2011-10-01 | 2014-10-27 | インテル・コーポレーション | ビデオトランスコーディングにおける後処理および前処理を統合するためのシステム、方法およびコンピュータプログラム |
| JP2017507533A (ja) * | 2013-12-30 | 2017-03-16 | グーグル インコーポレイテッド | 分散トランスコーディングのためのコンテンツ適応的なチャンキング |
Families Citing this family (449)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7068729B2 (en) * | 2001-12-21 | 2006-06-27 | Digital Fountain, Inc. | Multi-stage code generator and decoder for communication systems |
| US6307487B1 (en) | 1998-09-23 | 2001-10-23 | Digital Fountain, Inc. | Information additive code generator and decoder for communication systems |
| US7425545B2 (en) | 2001-07-25 | 2008-09-16 | Isis Pharmaceuticals, Inc. | Modulation of C-reactive protein expression |
| DE10218812A1 (de) * | 2002-04-26 | 2003-11-20 | Siemens Ag | Generische Datenstrombeschreibung |
| US9240810B2 (en) * | 2002-06-11 | 2016-01-19 | Digital Fountain, Inc. | Systems and processes for decoding chain reaction codes through inactivation |
| EP2348640B1 (en) | 2002-10-05 | 2020-07-15 | QUALCOMM Incorporated | Systematic encoding of chain reaction codes |
| US8179954B2 (en) | 2007-10-30 | 2012-05-15 | Sony Corporation | Odd interleaving only of an odd-even interleaver when half or less data subcarriers are active in a digital video broadcasting (DVB) standard |
| JP4414904B2 (ja) * | 2004-04-16 | 2010-02-17 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム |
| EP1743431A4 (en) * | 2004-05-07 | 2007-05-02 | Digital Fountain Inc | SYSTEM FOR DOWNLOADING AND RECORDING AND CONTINUOUS READING OF FILES |
| US7801383B2 (en) * | 2004-05-15 | 2010-09-21 | Microsoft Corporation | Embedded scalar quantizers with arbitrary dead-zone ratios |
| JP2008500760A (ja) * | 2004-05-25 | 2008-01-10 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ディジタルビデオデータをエンコードする方法及び装置 |
| KR100913260B1 (ko) | 2004-07-01 | 2009-08-21 | 콸콤 인코포레이티드 | 규모 가변적 비디오 코딩에서 프레임 레이트 업 변환을 이용하는 방법 및 장치 |
| MX2007000810A (es) | 2004-07-20 | 2007-04-02 | Qualcomm Inc | Metodo y aparato para conversion ascendente de velocidad por cuadro asistido de codificador (ea-fruc) para compresion de video. |
| US8553776B2 (en) | 2004-07-21 | 2013-10-08 | QUALCOMM Inorporated | Method and apparatus for motion vector assignment |
| US7512182B2 (en) * | 2004-08-30 | 2009-03-31 | General Instrument Corporation | Method and apparatus for performing motion compensated temporal filtering in video encoding |
| US7271749B2 (en) * | 2004-09-14 | 2007-09-18 | Hewlett-Packard Development Company, L.P. | Context-based denoiser that simultaneously updates probabilities for multiple contexts |
| US8868555B2 (en) * | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
| US8780957B2 (en) * | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| MX2007011084A (es) * | 2005-03-10 | 2007-11-15 | Qualcomm Inc | Clasificacion de contenido para procesamiento multimedia. |
| JP2008545297A (ja) | 2005-05-11 | 2008-12-11 | クゥアルコム・インコーポレイテッド | 統一された誤り隠蔽フレームワークのための方法及び装置 |
| US8422546B2 (en) * | 2005-05-25 | 2013-04-16 | Microsoft Corporation | Adaptive video encoding using a perceptual model |
| US8879635B2 (en) | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| KR20070038396A (ko) * | 2005-10-05 | 2007-04-10 | 엘지전자 주식회사 | 영상 신호의 인코딩 및 디코딩 방법 |
| US8948260B2 (en) * | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US20070206117A1 (en) * | 2005-10-17 | 2007-09-06 | Qualcomm Incorporated | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video |
| US20070171280A1 (en) * | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
| US7734053B2 (en) * | 2005-12-06 | 2010-06-08 | Fujitsu Limited | Encoding apparatus, encoding method, and computer product |
| JP2007174196A (ja) * | 2005-12-21 | 2007-07-05 | Toshiba Corp | 情報処理装置、制御方法およびプログラム |
| US7693219B2 (en) * | 2006-01-04 | 2010-04-06 | Freescale Semiconductor, Inc. | System and method for fast motion estimation |
| US7965774B2 (en) * | 2006-01-06 | 2011-06-21 | International Business Machines Corporation | Method for visual signal extrapolation or interpolation |
| US9270414B2 (en) * | 2006-02-21 | 2016-02-23 | Digital Fountain, Inc. | Multiple-field based code generator and decoder for communications systems |
| FR2898757A1 (fr) * | 2006-03-14 | 2007-09-21 | Canon Kk | Procede et dispositif d'adaptation d'une frequence temporelle d'une sequence d'images video |
| US9131164B2 (en) * | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| US8750387B2 (en) | 2006-04-04 | 2014-06-10 | Qualcomm Incorporated | Adaptive encoder-assisted frame rate up conversion |
| US8634463B2 (en) | 2006-04-04 | 2014-01-21 | Qualcomm Incorporated | Apparatus and method of enhanced frame interpolation in video compression |
| US8059721B2 (en) | 2006-04-07 | 2011-11-15 | Microsoft Corporation | Estimating sample-domain distortion in the transform domain with rounding compensation |
| US7995649B2 (en) | 2006-04-07 | 2011-08-09 | Microsoft Corporation | Quantization adjustment based on texture level |
| US20070237237A1 (en) * | 2006-04-07 | 2007-10-11 | Microsoft Corporation | Gradient slope detection for video compression |
| US8503536B2 (en) * | 2006-04-07 | 2013-08-06 | Microsoft Corporation | Quantization adjustments for DC shift artifacts |
| US8130828B2 (en) * | 2006-04-07 | 2012-03-06 | Microsoft Corporation | Adjusting quantization to preserve non-zero AC coefficients |
| US7974340B2 (en) * | 2006-04-07 | 2011-07-05 | Microsoft Corporation | Adaptive B-picture quantization control |
| US8548063B2 (en) * | 2006-04-13 | 2013-10-01 | Broadcom Corporation | Video receiver providing video attributes with video data |
| US8711925B2 (en) | 2006-05-05 | 2014-04-29 | Microsoft Corporation | Flexible quantization |
| US7971129B2 (en) | 2006-05-10 | 2011-06-28 | Digital Fountain, Inc. | Code generator and decoder for communications systems operating using hybrid codes to allow for multiple efficient users of the communications systems |
| US9178535B2 (en) * | 2006-06-09 | 2015-11-03 | Digital Fountain, Inc. | Dynamic stream interleaving and sub-stream based delivery |
| US9419749B2 (en) | 2009-08-19 | 2016-08-16 | Qualcomm Incorporated | Methods and apparatus employing FEC codes with permanent inactivation of symbols for encoding and decoding processes |
| US20100211690A1 (en) * | 2009-02-13 | 2010-08-19 | Digital Fountain, Inc. | Block partitioning for a data stream |
| US9386064B2 (en) * | 2006-06-09 | 2016-07-05 | Qualcomm Incorporated | Enhanced block-request streaming using URL templates and construction rules |
| US9432433B2 (en) | 2006-06-09 | 2016-08-30 | Qualcomm Incorporated | Enhanced block-request streaming system using signaling or block creation |
| US9209934B2 (en) | 2006-06-09 | 2015-12-08 | Qualcomm Incorporated | Enhanced block-request streaming using cooperative parallel HTTP and forward error correction |
| US9380096B2 (en) | 2006-06-09 | 2016-06-28 | Qualcomm Incorporated | Enhanced block-request streaming system for handling low-latency streaming |
| US7659897B1 (en) * | 2006-06-30 | 2010-02-09 | Nvidia Corporation | System, method, and computer program product for video benchmarking |
| KR100841317B1 (ko) * | 2006-07-14 | 2008-06-26 | 엘지전자 주식회사 | 텔레비젼의 시스템 구동과 관련된 소프트웨어를 송수신하는 방법 및 그 장치 |
| KR20080008137A (ko) * | 2006-07-19 | 2008-01-23 | 삼성전자주식회사 | 영상 복원 장치 및 방법 |
| KR20080032947A (ko) * | 2006-10-12 | 2008-04-16 | 삼성전자주식회사 | 디지털 방송 데이터 처리 방법 및 장치 |
| US9872045B2 (en) * | 2006-10-16 | 2018-01-16 | Conversant Wireless Licensing S.A R.L. | Method, electronic device, system, computer program product and circuit assembly for reducing error in video coding |
| US8910223B2 (en) * | 2006-10-25 | 2014-12-09 | Nokia Coporation | Layered coded streaming control for unicast/MBMS interaction |
| US20080144505A1 (en) * | 2006-11-03 | 2008-06-19 | Michael Anthony Isnardi | Method and Apparatus for Bitrate Reduction |
| US20080107108A1 (en) * | 2006-11-03 | 2008-05-08 | Nokia Corporation | System and method for enabling fast switching between psse channels |
| US20080115175A1 (en) * | 2006-11-13 | 2008-05-15 | Rodriguez Arturo A | System and method for signaling characteristics of pictures' interdependencies |
| US8875199B2 (en) * | 2006-11-13 | 2014-10-28 | Cisco Technology, Inc. | Indicating picture usefulness for playback optimization |
| US8873932B2 (en) | 2007-12-11 | 2014-10-28 | Cisco Technology, Inc. | Inferential processing to ascertain plural levels of picture interdependencies |
| US20090180546A1 (en) * | 2008-01-09 | 2009-07-16 | Rodriguez Arturo A | Assistance for processing pictures in concatenated video streams |
| US9961372B2 (en) * | 2006-12-08 | 2018-05-01 | Nxp Usa, Inc. | Adaptive disabling of deblock filtering based on a content characteristic of video information |
| US9445128B2 (en) | 2006-12-08 | 2016-09-13 | Freescale Semiconductor, Inc. | System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers |
| US9571902B2 (en) | 2006-12-13 | 2017-02-14 | Quickplay Media Inc. | Time synchronizing of distinct video and data feeds that are delivered in a single mobile IP data network compatible stream |
| US8892761B1 (en) | 2008-04-04 | 2014-11-18 | Quickplay Media Inc. | Progressive download playback |
| US9124650B2 (en) * | 2006-12-13 | 2015-09-01 | Quickplay Media Inc. | Digital rights management in a mobile environment |
| US20080195664A1 (en) * | 2006-12-13 | 2008-08-14 | Quickplay Media Inc. | Automated Content Tag Processing for Mobile Media |
| US8184943B2 (en) | 2007-01-08 | 2012-05-22 | Apple Inc. | Transport controls for a media device |
| US8243638B2 (en) * | 2007-01-08 | 2012-08-14 | Hellosoft, Inc. | Passive listening in wireless communication |
| US7792141B2 (en) * | 2007-01-08 | 2010-09-07 | Hellosoft, Inc. | Hardware-centric medium access control (MAC) device |
| US9760146B2 (en) * | 2007-01-08 | 2017-09-12 | Imagination Technologies Limited | Conditional activation and deactivation of a microprocessor |
| US8238278B2 (en) | 2007-01-08 | 2012-08-07 | Hellosoft, Inc. | Hardware-based beacon processing |
| US20080174662A1 (en) * | 2007-01-23 | 2008-07-24 | Won-Gue Choi | System and method for digital type wireless monitoring |
| US20080181298A1 (en) * | 2007-01-26 | 2008-07-31 | Apple Computer, Inc. | Hybrid scalable coding |
| US8238424B2 (en) | 2007-02-09 | 2012-08-07 | Microsoft Corporation | Complexity-based adaptive preprocessing for multiple-pass video compression |
| US8553757B2 (en) * | 2007-02-14 | 2013-10-08 | Microsoft Corporation | Forward error correction for media transmission |
| JP4847890B2 (ja) * | 2007-02-16 | 2011-12-28 | パナソニック株式会社 | 符号化方式変換装置 |
| US8767834B2 (en) * | 2007-03-09 | 2014-07-01 | Sharp Laboratories Of America, Inc. | Methods and systems for scalable-to-non-scalable bit-stream rewriting |
| US8498335B2 (en) * | 2007-03-26 | 2013-07-30 | Microsoft Corporation | Adaptive deadzone size adjustment in quantization |
| WO2008123496A1 (ja) * | 2007-03-30 | 2008-10-16 | Sony Corporation | 情報処理装置および方法 |
| US8243797B2 (en) * | 2007-03-30 | 2012-08-14 | Microsoft Corporation | Regions of interest for quality adjustments |
| US8566695B2 (en) * | 2007-03-30 | 2013-10-22 | Sandisk Technologies Inc. | Controlling access to digital content |
| US8442337B2 (en) | 2007-04-18 | 2013-05-14 | Microsoft Corporation | Encoding adjustments for animation content |
| US8582647B2 (en) * | 2007-04-23 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for quality controlled encoding |
| WO2008137432A2 (en) * | 2007-05-01 | 2008-11-13 | Dyyno | Sharing of information and formatting information for transmission over a communication network |
| WO2008136623A1 (en) * | 2007-05-04 | 2008-11-13 | Electronics And Telecommunications Research Institute | Method and apparatus for providing high-quality multimedia service in dmb system |
| US8396082B2 (en) * | 2007-06-05 | 2013-03-12 | Core Wireless Licensing S.A.R.L. | Time-interleaved simulcast for tune-in reduction |
| US8331438B2 (en) * | 2007-06-05 | 2012-12-11 | Microsoft Corporation | Adaptive selection of picture-level quantization parameters for predicted video pictures |
| JP2009010586A (ja) * | 2007-06-27 | 2009-01-15 | Fujitsu Microelectronics Ltd | トランスコーダおよびトランスコード方法 |
| US9426522B2 (en) * | 2007-07-10 | 2016-08-23 | Qualcomm Incorporated | Early rendering for fast channel switching |
| US8958486B2 (en) * | 2007-07-31 | 2015-02-17 | Cisco Technology, Inc. | Simultaneous processing of media and redundancy streams for mitigating impairments |
| US8804845B2 (en) * | 2007-07-31 | 2014-08-12 | Cisco Technology, Inc. | Non-enhancing media redundancy coding for mitigating transmission impairments |
| EP2177037B1 (en) * | 2007-08-09 | 2011-01-19 | Inlet Technologies | Preserving captioning through video transcoding |
| JP2009055416A (ja) * | 2007-08-28 | 2009-03-12 | Nec Corp | 映像再符号化方法、映像再符号化装置及び映像再符号化プログラム |
| US8023562B2 (en) * | 2007-09-07 | 2011-09-20 | Vanguard Software Solutions, Inc. | Real-time video coding/decoding |
| JP5027305B2 (ja) * | 2007-09-12 | 2012-09-19 | デジタル ファウンテン， インコーポレイテッド | 信頼できる通信を可能にするためのソース識別情報の生成および伝達 |
| MY162861A (en) * | 2007-09-24 | 2017-07-31 | Koninl Philips Electronics Nv | Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal |
| JP5524063B2 (ja) * | 2007-09-28 | 2014-06-18 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビデオ情報処理 |
| JP5341095B2 (ja) | 2007-10-05 | 2013-11-13 | ドルビー ラボラトリーズ ライセンシング コーポレイション | メディア・コンテンツに信頼性よく対応するメディア・フィンガープリント |
| CN101904170B (zh) * | 2007-10-16 | 2014-01-08 | 思科技术公司 | 用于传达视频流中的串接属性和图片顺序的方法和系统 |
| KR100939435B1 (ko) * | 2007-10-29 | 2010-01-28 | 에스케이 텔레콤주식회사 | 영상 분석 장치 및 방법 |
| US8514939B2 (en) * | 2007-10-31 | 2013-08-20 | Broadcom Corporation | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing |
| CN101884221B (zh) * | 2007-11-16 | 2013-03-27 | 汤姆森许可贸易公司 | 用于对视频进行编码的系统和方法 |
| KR20090050994A (ko) | 2007-11-16 | 2009-05-20 | 엘지전자 주식회사 | 디지털 방송 시스템 및 데이터 처리 방법 |
| EP2215797A1 (en) * | 2007-12-03 | 2010-08-11 | Nokia Corporation | A packet generator |
| US8218086B2 (en) * | 2007-12-11 | 2012-07-10 | Ericsson Television Inc. | Flash detection |
| FR2925819A1 (fr) * | 2007-12-21 | 2009-06-26 | Thomson Licensing Sas | Procede de codage double passe par macrobloc |
| US8594191B2 (en) * | 2008-01-03 | 2013-11-26 | Broadcom Corporation | Video processing system and transcoder for use with layered video coding and methods for use therewith |
| US8750390B2 (en) * | 2008-01-10 | 2014-06-10 | Microsoft Corporation | Filtering and dithering as pre-processing before encoding |
| US8363734B2 (en) * | 2008-01-12 | 2013-01-29 | Huaya Microelectronics | Multi-directional comb filtering in a digital video decoder |
| TWI357263B (en) | 2008-02-22 | 2012-01-21 | Novatek Microelectronics Corp | Method and related device for converting transport |
| US8045810B2 (en) | 2008-02-28 | 2011-10-25 | Research In Motion Limited | Method and system for decoding encoded images and reducing the size of said images |
| EP2250813B1 (en) * | 2008-03-10 | 2018-12-05 | InterDigital Madison Patent Holdings | Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality |
| US8276182B2 (en) * | 2008-03-13 | 2012-09-25 | Microsoft Corporation | Television content from multiple sources |
| EP2107811A1 (en) * | 2008-03-31 | 2009-10-07 | British Telecmmunications public limited campany | Encoder |
| US8189933B2 (en) * | 2008-03-31 | 2012-05-29 | Microsoft Corporation | Classifying and controlling encoding quality for textured, dark smooth and smooth video content |
| FR2929736A1 (fr) * | 2008-04-02 | 2009-10-09 | Thomson Licensing Sas | Procede de detection de changement de scene dans une sequence d'images video. |
| US20090262838A1 (en) * | 2008-04-21 | 2009-10-22 | Qualcomm Incorporated | Method and apparatus for encoding transmission data blocks for enhanced switching performance |
| US8249142B2 (en) * | 2008-04-24 | 2012-08-21 | Motorola Mobility Llc | Method and apparatus for encoding and decoding video using redundant encoding and decoding techniques |
| US8325800B2 (en) | 2008-05-07 | 2012-12-04 | Microsoft Corporation | Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers |
| US8379851B2 (en) | 2008-05-12 | 2013-02-19 | Microsoft Corporation | Optimized client side rate control and indexed file layout for streaming media |
| US8179983B2 (en) * | 2008-05-20 | 2012-05-15 | Broadcom Corporation | Video processing system with layered video coding for fast channel change and methods for use therewith |
| US8370887B2 (en) | 2008-05-30 | 2013-02-05 | Microsoft Corporation | Media streaming with enhanced seek operation |
| US8897359B2 (en) | 2008-06-03 | 2014-11-25 | Microsoft Corporation | Adaptive quantization for enhancement layer video coding |
| US8886022B2 (en) | 2008-06-12 | 2014-11-11 | Cisco Technology, Inc. | Picture interdependencies signals in context of MMCO to assist stream manipulation |
| US8705631B2 (en) * | 2008-06-17 | 2014-04-22 | Cisco Technology, Inc. | Time-shifted transport of multi-latticed video for resiliency from burst-error effects |
| US8971402B2 (en) | 2008-06-17 | 2015-03-03 | Cisco Technology, Inc. | Processing of impaired and incomplete multi-latticed video streams |
| US8699578B2 (en) * | 2008-06-17 | 2014-04-15 | Cisco Technology, Inc. | Methods and systems for processing multi-latticed video streams |
| DE102008029102A1 (de) * | 2008-06-20 | 2009-12-24 | Micronas Gmbh | Audio- und/oder Video-Datenverarbeitungsvorrichtung, Kommunikations- oder Datennetz zum Umkodieren von Audio- und/oder Video-Daten bzw. Verfahren zum Dekodieren von Audio- und/oder Video-Daten |
| KR20100002032A (ko) * | 2008-06-24 | 2010-01-06 | 삼성전자주식회사 | 영상 생성 방법, 영상 처리 방법, 및 그 장치 |
| WO2009157707A2 (en) * | 2008-06-24 | 2009-12-30 | Samsung Electronics Co,. Ltd. | Image processing method and apparatus |
| US20090317062A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., Ltd. | Image processing method and apparatus |
| US20090315980A1 (en) * | 2008-06-24 | 2009-12-24 | Samsung Electronics Co., | Image processing method and apparatus |
| EP2297964A4 (en) * | 2008-06-25 | 2017-01-18 | Cisco Technology, Inc. | Support for blocking trick mode operations |
| JP2011525761A (ja) * | 2008-06-26 | 2011-09-22 | テレフオンアクチーボラゲット エル エム エリクソン（パブル） | デジタルビデオにおける繰り返しの検出 |
| JP4996554B2 (ja) * | 2008-06-30 | 2012-08-08 | 株式会社東芝 | 画像高画質化装置、方法およびプログラム |
| TWI425440B (zh) * | 2008-07-03 | 2014-02-01 | Nvidia Corp | 複合多重樣本/超樣本抗頻疊 |
| JP4986243B2 (ja) * | 2008-07-04 | 2012-07-25 | Ｋｄｄｉ株式会社 | メディアストリームの階層数を制御する送信装置、方法及びプログラム |
| US20100232521A1 (en) * | 2008-07-10 | 2010-09-16 | Pierre Hagendorf | Systems, Methods, and Media for Providing Interactive Video Using Scalable Video Coding |
| US8108361B2 (en) * | 2008-07-31 | 2012-01-31 | Microsoft Corporation | Efficient column based data encoding for large-scale data storage |
| US9571856B2 (en) * | 2008-08-25 | 2017-02-14 | Microsoft Technology Licensing, Llc | Conversion operations in scalable video encoding and decoding |
| WO2010025458A1 (en) * | 2008-08-31 | 2010-03-04 | Mitsubishi Digital Electronics America, Inc. | Transforming 3d video content to match viewer position |
| US8509315B1 (en) * | 2008-09-23 | 2013-08-13 | Viasat, Inc. | Maintaining synchronization of compressed data and associated metadata |
| US8913668B2 (en) * | 2008-09-29 | 2014-12-16 | Microsoft Corporation | Perceptual mechanism for the selection of residues in video coders |
| US8457194B2 (en) * | 2008-09-29 | 2013-06-04 | Microsoft Corporation | Processing real-time video |
| JP5201408B2 (ja) * | 2008-09-30 | 2013-06-05 | ソニー株式会社 | フレーム周波数変換装置、フレーム周波数変換方法、その方法を実行するためのプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体並びに動きベクトル検出装置及び予測係数生成装置 |
| US8265140B2 (en) * | 2008-09-30 | 2012-09-11 | Microsoft Corporation | Fine-grained client-side control of scalable media delivery |
| WO2010038212A2 (en) * | 2008-10-01 | 2010-04-08 | Nxp B.V. | Embedded video compression for hybrid contents |
| KR20100046584A (ko) * | 2008-10-27 | 2010-05-07 | 삼성전자주식회사 | 영상 디코딩 방법, 영상 출력 방법, 영상 처리 방법 및 그 장치 |
| US8787447B2 (en) * | 2008-10-30 | 2014-07-22 | Vixs Systems, Inc | Video transcoding system with drastic scene change detection and method for use therewith |
| US9407925B2 (en) * | 2008-10-30 | 2016-08-02 | Vixs Systems, Inc. | Video transcoding system with quality readjustment based on high scene cost detection and method for use therewith |
| KR101279573B1 (ko) | 2008-10-31 | 2013-06-27 | 에스케이텔레콤 주식회사 | 움직임 벡터 부호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치 |
| CA2742716C (en) * | 2008-11-04 | 2016-08-23 | Telefonaktiebolaget L M Ericsson (Publ) | Method and system for determining a quality value of a video stream |
| EP2356812B1 (en) * | 2008-11-12 | 2015-06-10 | Cisco Technology, Inc. | Processing of a video program having plural processed representations of a single video signal for reconstruction and output |
| US8374462B2 (en) * | 2008-11-14 | 2013-02-12 | Seiko Epson Corporation | Content-aware image and video resizing by anchor point sampling and mapping |
| US20100128181A1 (en) * | 2008-11-25 | 2010-05-27 | Advanced Micro Devices, Inc. | Seam Based Scaling of Video Content |
| US9560368B2 (en) * | 2008-12-03 | 2017-01-31 | Hitachi Maxell, Ltd. | Moving picture decoding method and moving picture encoding method |
| US8051223B1 (en) * | 2008-12-09 | 2011-11-01 | Calos Fund Limited Liability Company | System and method for managing memory using multi-state buffer representations |
| US8542732B1 (en) * | 2008-12-23 | 2013-09-24 | Elemental Technologies, Inc. | Video encoder using GPU |
| US20100161779A1 (en) * | 2008-12-24 | 2010-06-24 | Verizon Services Organization Inc | System and method for providing quality-referenced multimedia |
| TW201026065A (en) * | 2008-12-26 | 2010-07-01 | Ind Tech Res Inst | Method for packing bitstream of scalable video coding |
| US8903191B2 (en) * | 2008-12-30 | 2014-12-02 | Intel Corporation | Method and apparatus for noise reduction in video |
| KR20100084115A (ko) * | 2009-01-15 | 2010-07-23 | 한국전자통신연구원 | 방송 서비스 제공 방법 및 장치 |
| CN105357533B (zh) | 2009-01-29 | 2018-10-19 | 杜比实验室特许公司 | 视频编码方法及视频装置 |
| WO2010087955A1 (en) * | 2009-01-30 | 2010-08-05 | Thomson Licensing | Coding of depth maps |
| KR20100094709A (ko) * | 2009-02-19 | 2010-08-27 | (주)휴맥스 | 부호화/복호화 방법 및 장치 |
| US20100218232A1 (en) * | 2009-02-25 | 2010-08-26 | Cisco Technology, Inc. | Signalling of auxiliary information that assists processing of video according to various formats |
| US20100254453A1 (en) * | 2009-04-02 | 2010-10-07 | Qualcomm Incorporated | Inverse telecine techniques |
| US8687685B2 (en) | 2009-04-14 | 2014-04-01 | Qualcomm Incorporated | Efficient transcoding of B-frames to P-frames |
| JP5562408B2 (ja) | 2009-04-20 | 2014-07-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 指揮された補間およびデータの後処理 |
| US8346984B2 (en) * | 2009-05-05 | 2013-01-01 | Jeffrey Huang | Apparatus and method for intelligent analysis of device compatibility and adaptive processing of multimedia data |
| US8949883B2 (en) | 2009-05-12 | 2015-02-03 | Cisco Technology, Inc. | Signalling buffer characteristics for splicing operations of video streams |
| US20100309987A1 (en) * | 2009-06-05 | 2010-12-09 | Apple Inc. | Image acquisition and encoding system |
| US8345070B2 (en) * | 2009-06-10 | 2013-01-01 | Himax Media Solutions, Inc. | Apparatus and method for frame rate up conversion |
| TWI400942B (zh) * | 2009-06-17 | 2013-07-01 | Himax Media Solutions Inc | 畫面速率轉換之裝置及方法 |
| US8279926B2 (en) | 2009-06-18 | 2012-10-02 | Cisco Technology, Inc. | Dynamic streaming with latticed representations of video |
| US10165286B2 (en) * | 2009-07-08 | 2018-12-25 | Dejero Labs Inc. | System and method for automatic encoder adjustment based on transport data |
| US9756468B2 (en) | 2009-07-08 | 2017-09-05 | Dejero Labs Inc. | System and method for providing data services on vehicles |
| US8942215B2 (en) | 2010-07-15 | 2015-01-27 | Dejero Labs Inc. | System and method for transmission of data from a wireless mobile device over a multipath wireless router |
| KR20110017719A (ko) | 2009-08-14 | 2011-02-22 | 삼성전자주식회사 | 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치 |
| TWI392373B (zh) * | 2009-09-04 | 2013-04-01 | Nat Univ Chung Cheng | The Method of Reverse Conversion and Sub - sampling of Low Computational Complexity |
| CN102025892A (zh) * | 2009-09-16 | 2011-04-20 | 索尼株式会社 | 镜头转换检测方法及装置 |
| US9917874B2 (en) | 2009-09-22 | 2018-03-13 | Qualcomm Incorporated | Enhanced block-request streaming using block partitioning or request controls for improved client-side handling |
| KR101418101B1 (ko) | 2009-09-23 | 2014-07-16 | 에스케이 텔레콤주식회사 | 저주파수 성분을 고려한 영상 부호화/복호화 방법 및 장치 |
| US8340191B2 (en) * | 2009-09-25 | 2012-12-25 | General Instrument Corporation | Transcoder from first MPEG stream to second MPEG stream |
| JP2011109469A (ja) * | 2009-11-18 | 2011-06-02 | Canon Inc | コンテンツ受信装置及びコンテンツ受信装置の制御方法 |
| CN102648490B (zh) | 2009-11-30 | 2016-08-17 | 株式会社半导体能源研究所 | 液晶显示设备、用于驱动该液晶显示设备的方法、以及包括该液晶显示设备的电子设备 |
| TW201121335A (en) * | 2009-12-02 | 2011-06-16 | Sunplus Core Technology Co Ltd | Method and apparatus for adaptively determining compression modes to compress frames |
| KR101902933B1 (ko) * | 2009-12-16 | 2018-10-01 | 한국전자통신연구원 | 영상 부호화/복호화 장치 및 방법 |
| US8638851B2 (en) * | 2009-12-23 | 2014-01-28 | Apple Inc. | Joint bandwidth detection algorithm for real-time communication |
| WO2011100347A2 (en) | 2010-02-09 | 2011-08-18 | Vanguard Software Solutions, Inc. | Video sequence encoding system and algorithms |
| EP2538670B1 (en) * | 2010-02-15 | 2018-05-09 | Panasonic Intellectual Property Management Co., Ltd. | Data processing unit |
| JP2011199414A (ja) * | 2010-03-17 | 2011-10-06 | Toshiba Corp | 素材収録装置及び素材収録方法 |
| TW201134223A (en) * | 2010-03-29 | 2011-10-01 | Univ Nat Taiwan | Perceptual video encoding system and circuit thereof |
| US20120281759A1 (en) * | 2010-03-31 | 2012-11-08 | Lidong Xu | Power efficient motion estimation techniques for video encoding |
| JP5553663B2 (ja) * | 2010-03-31 | 2014-07-16 | 日立コンシューマエレクトロニクス株式会社 | 映像送信装置、映像受信装置、映像伝送システム |
| TWI678916B (zh) | 2010-04-13 | 2019-12-01 | 美商Ｇｅ影像壓縮有限公司 | 樣本區域合倂技術 |
| CN106067985B (zh) | 2010-04-13 | 2019-06-28 | Ge视频压缩有限责任公司 | 跨平面预测 |
| KR102159896B1 (ko) * | 2010-04-13 | 2020-09-25 | 지이 비디오 컴프레션, 엘엘씨 | 샘플 배열 멀티트리 세부분할에서 계승 |
| CN106231335B (zh) | 2010-04-13 | 2019-07-02 | Ge视频压缩有限责任公司 | 解码器、解码方法、编码器以及编码方法 |
| US20110255594A1 (en) * | 2010-04-15 | 2011-10-20 | Soyeb Nagori | Rate Control in Video Coding |
| US20110255596A1 (en) * | 2010-04-15 | 2011-10-20 | Himax Technologies Limited | Frame rate up conversion system and method |
| EP2568704A4 (en) | 2010-05-06 | 2013-12-18 | Nippon Telegraph & Telephone | METHOD AND DEVICE FOR CONTROLLING VIDEO CODING |
| TWI428024B (zh) * | 2010-05-06 | 2014-02-21 | Himax Media Solutions Inc | 提升圖框速率的系統與方法 |
| ES2703005T3 (es) * | 2010-05-07 | 2019-03-06 | Nippon Telegraph & Telephone | Método de control de codificación de imágenes animadas, aparato de codificación de imágenes animadas y programa de codificación de imágenes animadas |
| EP2571268B1 (en) | 2010-05-12 | 2019-11-27 | Nippon Telegraph And Telephone Corporation | Video coding control method, video coding device and video coding program |
| US9225961B2 (en) | 2010-05-13 | 2015-12-29 | Qualcomm Incorporated | Frame packing for asymmetric stereo video |
| US9693110B2 (en) | 2010-06-03 | 2017-06-27 | Cox Communications, Inc | Dynamic content stream management |
| JP5625512B2 (ja) * | 2010-06-09 | 2014-11-19 | ソニー株式会社 | 符号化装置、符号化方法、プログラム、および記録媒体 |
| EP2395505A1 (en) * | 2010-06-11 | 2011-12-14 | Thomson Licensing | Method and apparatus for searching in a layered hierarchical bit stream followed by replay, said bit stream including a base layer and at least one enhancement layer |
| US10326978B2 (en) | 2010-06-30 | 2019-06-18 | Warner Bros. Entertainment Inc. | Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning |
| US9591374B2 (en) | 2010-06-30 | 2017-03-07 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies |
| US8917774B2 (en) * | 2010-06-30 | 2014-12-23 | Warner Bros. Entertainment Inc. | Method and apparatus for generating encoded content using dynamically optimized conversion |
| US8755432B2 (en) | 2010-06-30 | 2014-06-17 | Warner Bros. Entertainment Inc. | Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues |
| US8930562B2 (en) | 2010-07-20 | 2015-01-06 | Qualcomm Incorporated | Arranging sub-track fragments for streaming video data |
| US9596447B2 (en) | 2010-07-21 | 2017-03-14 | Qualcomm Incorporated | Providing frame packing type information for video coding |
| US9398308B2 (en) | 2010-07-28 | 2016-07-19 | Qualcomm Incorporated | Coding motion prediction direction in video coding |
| US9456015B2 (en) | 2010-08-10 | 2016-09-27 | Qualcomm Incorporated | Representation groups for network streaming of coded multimedia data |
| US8533166B1 (en) * | 2010-08-20 | 2013-09-10 | Brevity Ventures LLC | Methods and systems for encoding/decoding files and transmission thereof |
| US20120057629A1 (en) * | 2010-09-02 | 2012-03-08 | Fang Shi | Rho-domain Metrics |
| RU2010144450A (ru) * | 2010-10-29 | 2012-05-10 | ЭлЭсАй Корпорейшн (US) | Оценка движения для видео транскодера |
| US9432678B2 (en) * | 2010-10-30 | 2016-08-30 | Hewlett-Packard Development Company, L.P. | Adapting a video stream |
| US9066102B2 (en) | 2010-11-17 | 2015-06-23 | Qualcomm Incorporated | Reference picture list construction for generalized P/B frames in video coding |
| US8559763B2 (en) * | 2010-12-14 | 2013-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Method and apparatus for motion-compensated interpolation (MCI) with conservative motion model |
| US9547911B2 (en) | 2010-12-14 | 2017-01-17 | The United States Of America, As Represented By The Secretary Of The Navy | Velocity estimation from imagery using symmetric displaced frame difference equation |
| US9832540B2 (en) * | 2010-12-15 | 2017-11-28 | Hulu, LLC | Method and apparatus for hybrid transcoding of a media program |
| US8842723B2 (en) * | 2011-01-03 | 2014-09-23 | Apple Inc. | Video coding system using implied reference frames |
| GB2487200A (en) | 2011-01-12 | 2012-07-18 | Canon Kk | Video encoding and decoding with improved error resilience |
| US9307262B2 (en) * | 2011-01-13 | 2016-04-05 | Texas Instruments Incorporated | Methods and systems for facilitating multimedia data encoding utilizing configured buffer information |
| CN103053160B (zh) | 2011-01-14 | 2016-11-16 | 太阳专利托管公司 | 图像编码方法及图像编码装置 |
| US8548057B2 (en) | 2011-01-25 | 2013-10-01 | Microsoft Corporation | Video coding redundancy reduction |
| US10165274B2 (en) * | 2011-01-28 | 2018-12-25 | Eye IO, LLC | Encoding of video stream based on scene type |
| JP2014511138A (ja) * | 2011-01-28 | 2014-05-08 | アイ アイオー，リミテッド・ライアビリティ・カンパニー | シーンタイプに基づくビデオストリームのエンコーディング |
| MX2013008757A (es) * | 2011-01-28 | 2014-02-28 | Eye Io Llc | Control de velocidad de bits adaptativa basado en escenas. |
| US8751565B1 (en) | 2011-02-08 | 2014-06-10 | Google Inc. | Components for web-based configurable pipeline media processing |
| EP2673935B1 (en) * | 2011-02-11 | 2019-04-24 | InterDigital Patent Holdings, Inc. | Method and apparatus for distribution and reception of content |
| US9866877B2 (en) * | 2011-03-08 | 2018-01-09 | Cox Communications, Inc. | Transparent scalable video coding |
| US8644383B2 (en) * | 2011-03-10 | 2014-02-04 | Microsoft Corporation | Mean absolute difference prediction for video encoding rate control |
| GB2488830B (en) * | 2011-03-10 | 2015-07-29 | Canon Kk | Method and device for encoding image data and method and device for decoding image data |
| GB2488829A (en) * | 2011-03-10 | 2012-09-12 | Canon Kk | Encoding and decoding image data |
| US8620933B2 (en) | 2011-04-11 | 2013-12-31 | Google Inc. | Illustrating cross channel conversion paths |
| US20120260185A1 (en) * | 2011-04-11 | 2012-10-11 | Google Inc. | Path length selector |
| US8510326B2 (en) | 2011-04-11 | 2013-08-13 | Google Inc. | Priority dimensional data conversion path reporting |
| KR101894420B1 (ko) * | 2011-04-15 | 2018-09-03 | 에스케이플래닛 주식회사 | 적응적 비디오 트랜스코딩 방법 및 시스템 |
| US8681866B1 (en) | 2011-04-28 | 2014-03-25 | Google Inc. | Method and apparatus for encoding video by downsampling frame resolution |
| US20120281748A1 (en) * | 2011-05-02 | 2012-11-08 | Futurewei Technologies, Inc. | Rate Control for Cloud Transcoding |
| US9106787B1 (en) | 2011-05-09 | 2015-08-11 | Google Inc. | Apparatus and method for media transmission bandwidth control using bandwidth estimation |
| EP3879832A1 (en) * | 2011-05-31 | 2021-09-15 | JVCKENWOOD Corporation | Moving image encoding device, moving image encoding method and moving image encoding program, as well as moving image decoding device, moving image decoding method and moving image decoding program |
| GB2491589B (en) | 2011-06-06 | 2015-12-16 | Canon Kk | Method and device for encoding a sequence of images and method and device for decoding a sequence of image |
| KR20120138319A (ko) * | 2011-06-14 | 2012-12-26 | 삼성전자주식회사 | 멀티미디어 데이터 특징 정보를 이용하여 멀티미디어 서비스 데이터 패킷을 송신하는 방법 및 장치 |
| US9686544B2 (en) * | 2011-06-15 | 2017-06-20 | Electronics And Telecommunications Research Institute | Method for coding and decoding scalable video and apparatus using same |
| EP2536143B1 (en) * | 2011-06-16 | 2015-01-14 | Axis AB | Method and a digital video encoder system for encoding digital video data |
| RU2595562C2 (ru) * | 2011-06-30 | 2016-08-27 | Телефонактиеболагет Л М Эрикссон (Пабл) | Сигнализация опорных изображений |
| US9369723B2 (en) * | 2011-07-14 | 2016-06-14 | Comcast Cable Communications, Llc | Preserving image quality in temporally compressed video streams |
| US8655907B2 (en) | 2011-07-18 | 2014-02-18 | Google Inc. | Multi-channel conversion path position reporting |
| KR20130011994A (ko) * | 2011-07-22 | 2013-01-30 | 삼성전자주식회사 | 송신 장치, 수신 장치 및 그 송수신 방법 |
| US8959450B2 (en) | 2011-08-22 | 2015-02-17 | Google Inc. | Path explorer visualization |
| US9253233B2 (en) | 2011-08-31 | 2016-02-02 | Qualcomm Incorporated | Switch signaling methods providing improved switching between representations for adaptive HTTP streaming |
| US9131245B2 (en) * | 2011-09-23 | 2015-09-08 | Qualcomm Incorporated | Reference picture list construction for video coding |
| US9456212B2 (en) * | 2011-09-30 | 2016-09-27 | Broadcom Corporation | Video coding sub-block sizing based on infrastructure capabilities and current conditions |
| US20130083859A1 (en) * | 2011-10-04 | 2013-04-04 | General Instrument Corporation | Method to match input and output timestamps in a video encoder and advertisement inserter |
| EP2774360B1 (en) | 2011-11-04 | 2017-08-02 | Huawei Technologies Co., Ltd. | Differential pulse code modulation intra prediction for high efficiency video coding |
| US20130117418A1 (en) * | 2011-11-06 | 2013-05-09 | Akamai Technologies Inc. | Hybrid platform for content delivery and transcoding |
| KR20130050149A (ko) | 2011-11-07 | 2013-05-15 | 오수미 | 인터 모드에서의 예측 블록 생성 방법 |
| JP2013102297A (ja) * | 2011-11-07 | 2013-05-23 | Canon Inc | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム |
| JP2013102295A (ja) * | 2011-11-07 | 2013-05-23 | Canon Inc | 画像符号化方法、画像符号化装置及びプログラム、画像復号方法、画像復号装置及びプログラム |
| US10277915B2 (en) | 2011-11-07 | 2019-04-30 | Qualcomm Incorporated | Signaling quantization matrices for video coding |
| JP5871628B2 (ja) | 2011-11-07 | 2016-03-01 | キヤノン株式会社 | 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム |
| US8693551B2 (en) | 2011-11-16 | 2014-04-08 | Vanguard Software Solutions, Inc. | Optimal angular intra prediction for block-based video coding |
| US9277230B2 (en) * | 2011-11-23 | 2016-03-01 | Qualcomm Incorporated | Display mode-based video encoding in wireless display devices |
| TWI448125B (zh) * | 2011-11-25 | 2014-08-01 | Ind Tech Res Inst | 多媒體檔案分享方法及系統 |
| US9589540B2 (en) | 2011-12-05 | 2017-03-07 | Microsoft Technology Licensing, Llc | Adaptive control of display refresh rate based on video frame rate and power efficiency |
| US9008177B2 (en) | 2011-12-12 | 2015-04-14 | Qualcomm Incorporated | Selective mirroring of media output |
| EP2795899A4 (en) * | 2011-12-23 | 2016-01-27 | Intel Corp | CONTENTSADAPTIVE HIGHLY PRECISE MACROBLOCK RATES CONTROL |
| US9538200B2 (en) | 2012-01-19 | 2017-01-03 | Qualcomm Incorporated | Signaling of deblocking filter parameters in video coding |
| EP2805512B1 (en) * | 2012-01-19 | 2018-06-27 | VID SCALE, Inc. | Method and apparatus for signaling and construction of video coding reference picture lists |
| EP3506644B1 (en) | 2012-01-19 | 2020-12-30 | Vid Scale, Inc. | Methods and systems for video delivery supporting adaption to viewing conditions |
| US9386267B1 (en) * | 2012-02-14 | 2016-07-05 | Arris Enterprises, Inc. | Cooperative transcoding to multiple streams |
| US20130208809A1 (en) * | 2012-02-14 | 2013-08-15 | Microsoft Corporation | Multi-layer rate control |
| US9241167B2 (en) | 2012-02-17 | 2016-01-19 | Microsoft Technology Licensing, Llc | Metadata assisted video decoding |
| KR20130098122A (ko) | 2012-02-27 | 2013-09-04 | 세종대학교산학협력단 | 영상 부호화/복호화 장치 및 영상을 부호화/복호화하는 방법 |
| WO2013129822A1 (ko) | 2012-02-27 | 2013-09-06 | 세종대학교산학협력단 | 영상 부호화와 복호화 장치 및 영상을 부호화와 복호화하는 방법 |
| US20150043639A1 (en) * | 2012-03-20 | 2015-02-12 | Samsung Electronics Co., Ltd. | Method and device for coding scalable video on basis of coding unit of tree structure, and method and device for decoding scalable video on basis of coding unit of tree structure |
| US9031378B2 (en) * | 2012-04-03 | 2015-05-12 | Via Technologies, Inc. | Method of managing multiple wireless video traffic and electronic device thereof |
| WO2013150838A1 (ja) * | 2012-04-05 | 2013-10-10 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| SI3833023T1 (sl) * | 2012-04-12 | 2022-06-30 | Jvckenwood Corporation | Konstruiranje seznama kandidatov za spajanje |
| US9071842B2 (en) | 2012-04-19 | 2015-06-30 | Vixs Systems Inc. | Detection of video feature based on variance metric |
| US20130279882A1 (en) | 2012-04-23 | 2013-10-24 | Apple Inc. | Coding of Video and Audio with Initialization Fragments |
| US9042441B2 (en) * | 2012-04-25 | 2015-05-26 | At&T Intellectual Property I, Lp | Apparatus and method for media streaming |
| US9185429B1 (en) | 2012-04-30 | 2015-11-10 | Google Inc. | Video encoding and decoding using un-equal error protection |
| JPWO2013164922A1 (ja) * | 2012-05-02 | 2015-12-24 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
| EP2670151A1 (en) * | 2012-05-28 | 2013-12-04 | Tektronix Inc. | Heuristic method for drop frame detection in digital baseband video |
| US9532080B2 (en) | 2012-05-31 | 2016-12-27 | Sonic Ip, Inc. | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
| EP2859729B1 (en) * | 2012-06-12 | 2020-09-16 | Coherent Logix, Incorporated | A distributed architecture for encoding and delivering video content |
| US9749645B2 (en) | 2012-06-22 | 2017-08-29 | Microsoft Technology Licensing, Llc | Coded-block-flag coding and derivation |
| US8949240B2 (en) * | 2012-07-03 | 2015-02-03 | General Instrument Corporation | System for correlating metadata |
| US9854259B2 (en) | 2012-07-09 | 2017-12-26 | Qualcomm Incorporated | Smoothing of difference reference picture |
| US9277212B2 (en) | 2012-07-09 | 2016-03-01 | Qualcomm Incorporated | Intra mode extensions for difference domain intra prediction |
| US9030571B2 (en) * | 2012-07-11 | 2015-05-12 | Google Inc. | Abstract camera pipeline for uniform cross-device control of image capture and processing |
| JP2015528247A (ja) * | 2012-07-17 | 2015-09-24 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ビットストリームレベルにおけるビデオ品質評価 |
| US9357195B2 (en) * | 2012-08-16 | 2016-05-31 | Qualcomm Incorporated | Inter-view predicted motion vector for 3D video |
| US20150234464A1 (en) * | 2012-09-28 | 2015-08-20 | Nokia Technologies Oy | Apparatus displaying animated image combined with tactile output |
| WO2014047881A1 (en) * | 2012-09-28 | 2014-04-03 | Intel Corporation | Inter-layer intra mode prediction |
| US9979960B2 (en) | 2012-10-01 | 2018-05-22 | Microsoft Technology Licensing, Llc | Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions |
| US9355613B2 (en) | 2012-10-09 | 2016-05-31 | Mediatek Inc. | Data processing apparatus for transmitting/receiving compression-related indication information via display interface and related data processing method |
| US10506253B2 (en) | 2012-10-12 | 2019-12-10 | Electronics And Telecommunications Research Institute | Image encoding/decoding method and device using same |
| US9661340B2 (en) * | 2012-10-22 | 2017-05-23 | Microsoft Technology Licensing, Llc | Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats |
| US10708335B2 (en) | 2012-11-16 | 2020-07-07 | Time Warner Cable Enterprises Llc | Situation-dependent dynamic bit rate encoding and distribution of content |
| US9106922B2 (en) | 2012-12-19 | 2015-08-11 | Vanguard Software Solutions, Inc. | Motion estimation engine for video encoding |
| TWI669950B (zh) * | 2012-12-21 | 2019-08-21 | 日商新力股份有限公司 | 影像處理裝置及方法 |
| TWI478554B (zh) * | 2013-01-08 | 2015-03-21 | Altek Semiconductor Corp | 影像雜訊消除方法及其產生移動向量資料結構之方法 |
| US9172740B1 (en) | 2013-01-15 | 2015-10-27 | Google Inc. | Adjustable buffer remote access |
| WO2014111524A1 (en) * | 2013-01-18 | 2014-07-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Forward error correction using source blocks with symbols from at least two datastreams with synchronized start symbol identifiers among the datastreams |
| US9311692B1 (en) | 2013-01-25 | 2016-04-12 | Google Inc. | Scalable buffer remote access |
| US9225979B1 (en) | 2013-01-30 | 2015-12-29 | Google Inc. | Remote access encoding |
| US9350990B2 (en) | 2013-02-28 | 2016-05-24 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming |
| US9357210B2 (en) | 2013-02-28 | 2016-05-31 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
| US9743097B2 (en) * | 2013-03-01 | 2017-08-22 | Qualcomm Incorporated | Spatial motion vector scaling for scalable video coding |
| US9607003B2 (en) | 2013-03-14 | 2017-03-28 | Massachusetts Institute Of Technology | Network coded storage with multi-resolution codes |
| GB2513112B (en) * | 2013-04-08 | 2020-01-08 | Snell Advanced Media Ltd | Video sequence processing |
| US9462283B2 (en) * | 2013-04-18 | 2016-10-04 | Spotlight Technologies Ltd. | Efficient compression of Bayer images |
| WO2014172708A1 (en) * | 2013-04-19 | 2014-10-23 | Polaris Sensor Technologies, Inc. | Pedestrian right of way monitoring and reporting system and method |
| US9191705B1 (en) * | 2013-05-01 | 2015-11-17 | Google Inc. | Managing media quality |
| US9710894B2 (en) * | 2013-06-04 | 2017-07-18 | Nvidia Corporation | System and method for enhanced multi-sample anti-aliasing |
| DE102013211571B4 (de) | 2013-06-19 | 2016-02-11 | Opticom Dipl.-Ing. Michael Keyhl Gmbh | Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate |
| US9578342B2 (en) * | 2013-06-24 | 2017-02-21 | Dialogic Corporation | Rate control algorithm for scalable video encoding with disposable P-frames |
| US9501360B2 (en) | 2013-07-01 | 2016-11-22 | International Business Machines Corporation | Rebuilding data while reading data in a dispersed storage network |
| US10133635B2 (en) | 2013-07-01 | 2018-11-20 | International Business Machines Corporation | Low-width vault in distributed storage system |
| KR101586367B1 (ko) * | 2013-08-07 | 2016-01-18 | 주식회사 더블유코퍼레이션 | 단일 소스를 통한 다채널 대체광고 처리 및 스케줄 관리 방법 |
| CN105519115A (zh) | 2013-09-10 | 2016-04-20 | 株式会社Kt | 用于对可扩展视频信号进行编码/解码的方法及装置 |
| EP3055998A1 (en) * | 2013-10-11 | 2016-08-17 | Telefonaktiebolaget LM Ericsson (publ) | Method and arrangement for video transcoding using mode or motion or in-loop filter information |
| ITMI20131710A1 (it) | 2013-10-15 | 2015-04-16 | Sky Italia S R L | "sistema di cloud encoding" |
| US20150117515A1 (en) * | 2013-10-25 | 2015-04-30 | Microsoft Corporation | Layered Encoding Using Spatial and Temporal Analysis |
| US9609338B2 (en) | 2013-10-25 | 2017-03-28 | Microsoft Technology Licensing, Llc | Layered video encoding and decoding |
| GB2521352B (en) * | 2013-12-16 | 2015-11-04 | Imagination Tech Ltd | Encoder configuration |
| US9967558B1 (en) | 2013-12-17 | 2018-05-08 | Google Llc | Adaptive motion search control for variable block size partitions in video coding |
| WO2015104963A1 (ja) * | 2014-01-09 | 2015-07-16 | 株式会社日立国際電気 | 画像処理装置及び動画像伝送方法 |
| CN111417013B (zh) * | 2014-01-09 | 2021-12-10 | 三星电子株式会社 | 多媒体传输系统中发送和接收数据相关信息的方法和装置 |
| US20150215621A1 (en) * | 2014-01-30 | 2015-07-30 | Qualcomm Incorporated | Rate control using complexity in video coding |
| CN105981373A (zh) * | 2014-02-10 | 2016-09-28 | 交互数字专利控股公司 | 逆电视电影滤波器 |
| US20170017665A1 (en) * | 2014-03-07 | 2017-01-19 | Remote Media, Llc | Virtual File System and Method with Bi-Directional Media File Synchronization |
| US9596521B2 (en) | 2014-03-13 | 2017-03-14 | Verance Corporation | Interactive content acquisition using embedded codes |
| US9992500B2 (en) * | 2014-03-18 | 2018-06-05 | Intel Corporation | Techniques for evaluating compressed motion video quality |
| US10560514B2 (en) * | 2014-03-29 | 2020-02-11 | Samsung Electronics Co., Ltd. | Apparatus and method for transmitting and receiving information related to multimedia data in a hybrid network and structure thereof |
| KR102249147B1 (ko) * | 2014-03-29 | 2021-05-07 | 삼성전자주식회사 | 복합 네트워크에서 멀티미디어 데이터 관련 정보를 송수신하기 위한 장치 및 방법과 그 구조 |
| US9414100B2 (en) * | 2014-03-31 | 2016-08-09 | Arris Enterprises, Inc. | Adaptive streaming transcoder synchronization |
| US20170006281A1 (en) * | 2014-05-08 | 2017-01-05 | Huawei Device Co., Ltd. | Video Quality Detection Method and Apparatus |
| US9794313B2 (en) | 2014-05-09 | 2017-10-17 | Cisco Technology, Inc. | Methods and systems to facilitate synchronization of multiple media streams |
| US9392272B1 (en) * | 2014-06-02 | 2016-07-12 | Google Inc. | Video coding using adaptive source variance based partitioning |
| US10664687B2 (en) | 2014-06-12 | 2020-05-26 | Microsoft Technology Licensing, Llc | Rule-based video importance analysis |
| US9787986B2 (en) * | 2014-06-30 | 2017-10-10 | Intel Corporation | Techniques for parallel video transcoding |
| WO2016002496A1 (ja) * | 2014-06-30 | 2016-01-07 | ソニー株式会社 | 情報処理装置および方法 |
| EP3183882A4 (en) | 2014-08-20 | 2018-07-04 | Verance Corporation | Content management based on dither-like watermark embedding |
| JP6497874B2 (ja) * | 2014-08-28 | 2019-04-10 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR102190233B1 (ko) * | 2014-10-06 | 2020-12-11 | 삼성전자주식회사 | 영상 처리 장치 및 이의 영상 처리 방법 |
| DE102014220428A1 (de) * | 2014-10-08 | 2016-04-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Einstellen von Datenraten in einem Videokamerasystem |
| US10264269B2 (en) | 2014-10-13 | 2019-04-16 | Apple Inc. | Metadata hints to support best effort decoding for green MPEG applications |
| JP2016092837A (ja) * | 2014-10-30 | 2016-05-23 | 株式会社東芝 | 映像圧縮装置、映像再生装置および映像配信システム |
| US9311735B1 (en) * | 2014-11-21 | 2016-04-12 | Adobe Systems Incorporated | Cloud based content aware fill for images |
| FR3030977B1 (fr) * | 2014-12-19 | 2017-01-27 | Sagemcom Broadband Sas | Procede d'annonce de services dans un reseau de communication |
| US11356709B2 (en) | 2015-01-05 | 2022-06-07 | Arris Enterprises Llc | Using motion compensated temporal filter (MCTF) statistics for scene change detection when a fade, dissolve or cut occurs |
| US9749646B2 (en) | 2015-01-16 | 2017-08-29 | Microsoft Technology Licensing, Llc | Encoding/decoding of high chroma resolution details |
| US9854201B2 (en) | 2015-01-16 | 2017-12-26 | Microsoft Technology Licensing, Llc | Dynamically updating quality to higher chroma sampling rate |
| KR102553320B1 (ko) * | 2015-03-05 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| KR102553316B1 (ko) | 2015-03-06 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| KR101754527B1 (ko) * | 2015-03-09 | 2017-07-06 | 한국항공우주연구원 | 패킷 부호화 장치 및 방법 |
| US10244255B2 (en) | 2015-04-13 | 2019-03-26 | Qualcomm Incorporated | Rate-constrained fallback mode for display stream compression |
| US10284849B2 (en) | 2015-04-13 | 2019-05-07 | Qualcomm Incorporated | Quantization parameter (QP) calculation for display stream compression (DSC) based on complexity measure |
| US9936203B2 (en) * | 2015-04-13 | 2018-04-03 | Qualcomm Incorporated | Complex region detection for display stream compression |
| US10356428B2 (en) | 2015-04-13 | 2019-07-16 | Qualcomm Incorporated | Quantization parameter (QP) update classification for display stream compression (DSC) |
| KR102553322B1 (ko) * | 2015-04-20 | 2023-07-10 | 한국전자통신연구원 | 레이어드 디비전 멀티플렉싱을 이용한 방송 신호 프레임 생성 장치 및 방송 신호 프레임 생성 방법 |
| US10735773B2 (en) * | 2015-06-04 | 2020-08-04 | Apple Inc. | Video coding techniques for high quality coding of low motion content |
| WO2016209132A1 (en) * | 2015-06-25 | 2016-12-29 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and system for encoding an input video stream into a compressed output video stream with parallel encoding |
| US9955191B2 (en) | 2015-07-01 | 2018-04-24 | At&T Intellectual Property I, L.P. | Method and apparatus for managing bandwidth in providing communication services |
| US10133934B2 (en) * | 2015-09-30 | 2018-11-20 | Apple Inc. | Systems and methods for post processing time-lapse videos |
| KR101780444B1 (ko) * | 2015-10-29 | 2017-09-21 | 삼성에스디에스 주식회사 | 영상 신호의 노이즈 제거 방법 |
| CN105306934A (zh) * | 2015-11-10 | 2016-02-03 | 深圳市云宙多媒体技术有限公司 | 一种低复杂度片源的编码方法及系统 |
| RU2610686C1 (ru) * | 2015-11-17 | 2017-02-14 | федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный университет имени С.А. Есенина" | Способ адаптивной передачи информации по каналу связи в реальном времени и система для его осуществления |
| GB2544800A (en) * | 2015-11-27 | 2017-05-31 | V-Nova Ltd | Adaptive bit rate ratio control |
| CN105898531A (zh) * | 2015-12-07 | 2016-08-24 | 乐视云计算有限公司 | 视频缓存文件的封装方法和系统 |
| US10136134B2 (en) * | 2015-12-14 | 2018-11-20 | Arris Enterprises Llc | Method to encode video with close multiple scene changes |
| US10652298B2 (en) * | 2015-12-17 | 2020-05-12 | Intel Corporation | Media streaming through section change detection markers |
| US10368074B2 (en) | 2016-03-18 | 2019-07-30 | Microsoft Technology Licensing, Llc | Opportunistic frame dropping for variable-frame-rate encoding |
| JP6168671B1 (ja) * | 2016-03-24 | 2017-07-26 | 株式会社日立国際電気 | 映像切替装置を備えた符号化装置および映像切替検知方法を含む符号化方法 |
| US10958695B2 (en) * | 2016-06-21 | 2021-03-23 | Google Llc | Methods, systems, and media for recommending content based on network conditions |
| US10491963B1 (en) * | 2016-06-28 | 2019-11-26 | Amazon Technologies, Inc. | Use video codecs to deliver images |
| US10440366B2 (en) * | 2016-07-01 | 2019-10-08 | Intel Corporation | Method and system of video coding using content based metadata |
| US10686969B2 (en) * | 2016-07-08 | 2020-06-16 | NETFLIX Inc. | Detecting shot changes in a video |
| WO2018012366A1 (ja) * | 2016-07-13 | 2018-01-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 復号装置、符号化装置、復号方法及び符号化方法 |
| WO2018016879A1 (ko) * | 2016-07-19 | 2018-01-25 | 한국전자통신연구원 | 360도 가상현실 방송 서비스 제공 방법 및 장치 |
| KR102361314B1 (ko) | 2016-07-19 | 2022-02-10 | 한국전자통신연구원 | 360도 가상현실 방송 서비스 제공 방법 및 장치 |
| US10367865B2 (en) * | 2016-07-28 | 2019-07-30 | Verizon Digital Media Services Inc. | Encodingless transmuxing |
| WO2018023554A1 (en) * | 2016-08-04 | 2018-02-08 | SZ DJI Technology Co., Ltd. | System and methods for bit rate control |
| US10708666B2 (en) * | 2016-08-29 | 2020-07-07 | Qualcomm Incorporated | Terrestrial broadcast television services over a cellular broadcast system |
| US10368080B2 (en) | 2016-10-21 | 2019-07-30 | Microsoft Technology Licensing, Llc | Selective upsampling or refresh of chroma sample values |
| US10558750B2 (en) | 2016-11-18 | 2020-02-11 | Salesforce.Com, Inc. | Spatial attention model for image captioning |
| CN108109592B (zh) | 2016-11-25 | 2022-01-25 | 株式会社半导体能源研究所 | 显示装置及其工作方法 |
| US10121337B2 (en) * | 2016-12-30 | 2018-11-06 | Axis Ab | Gaze controlled bit rate |
| US10123020B2 (en) | 2016-12-30 | 2018-11-06 | Axis Ab | Block level update rate control based on gaze sensing |
| US10897618B2 (en) * | 2017-02-23 | 2021-01-19 | Netflix, Inc. | Techniques for positioning key frames within encoded video sequences |
| US10199270B2 (en) | 2017-05-25 | 2019-02-05 | Globalfoundries Inc. | Multi-directional self-aligned multiple patterning |
| US10701364B2 (en) * | 2017-10-26 | 2020-06-30 | Google Llc | Golden-frame group structure design using stillness detection |
| KR102480310B1 (ko) * | 2017-11-06 | 2022-12-23 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
| US10798399B1 (en) * | 2017-12-11 | 2020-10-06 | Amazon Technologies, Inc. | Adaptive video compression |
| CN108875525A (zh) * | 2018-01-04 | 2018-11-23 | 北京旷视科技有限公司 | 行为预测方法、装置、系统和存储介质 |
| WO2019148117A1 (en) * | 2018-01-29 | 2019-08-01 | Vid Scale, Inc. | Frame-rate up conversion with low complexity |
| CN108460523B (zh) * | 2018-02-12 | 2020-08-21 | 阿里巴巴集团控股有限公司 | 一种风控规则生成方法和装置 |
| US10593257B2 (en) | 2018-03-15 | 2020-03-17 | Samsung Display Co., Ltd. | Stress profile compression |
| TW201942870A (zh) | 2018-04-03 | 2019-11-01 | 香港商科科串流股份有限公司 | 位元率優化系統及方法 |
| EP3777455B1 (en) | 2018-04-05 | 2021-10-27 | Telefonaktiebolaget LM Ericsson (publ) | Multi-stage sidelink control information |
| EP3550834A1 (en) * | 2018-04-06 | 2019-10-09 | Comcast Cable Communications LLC | Encoding of video cross-fades using weighted inter-prediction |
| KR102495915B1 (ko) * | 2018-04-30 | 2023-02-03 | 삼성전자 주식회사 | 스토리지 장치 및 상기 스토리지 장치를 포함하는 서버 |
| US10630748B1 (en) * | 2018-05-01 | 2020-04-21 | Amazon Technologies, Inc. | Video-based encoder alignment |
| US10630990B1 (en) | 2018-05-01 | 2020-04-21 | Amazon Technologies, Inc. | Encoder output responsive to quality metric information |
| US10958987B1 (en) | 2018-05-01 | 2021-03-23 | Amazon Technologies, Inc. | Matching based on video data |
| US10522108B2 (en) * | 2018-05-23 | 2019-12-31 | Qualcomm Incorporated | Optimized histogram reads for efficient display post processing and improved power gains |
| WO2020086452A1 (en) * | 2018-10-22 | 2020-04-30 | Radiant Communications Corporation | Low-latency video internet streaming for management and transmission of multiple data streams |
| US11272185B2 (en) * | 2018-10-31 | 2022-03-08 | Ati Technologies Ulc | Hierarchical measurement of spatial activity for text/edge detection |
| CN109286825B (zh) * | 2018-12-14 | 2021-04-30 | 北京百度网讯科技有限公司 | 用于处理视频的方法和装置 |
| US11166028B2 (en) * | 2019-02-01 | 2021-11-02 | Comcast Cable Communications, Llc | Methods and systems for providing variable bitrate content |
| US11019374B2 (en) | 2019-02-04 | 2021-05-25 | Netflix, Inc. | Techniques for efficiently performing subsequence-based encoding for a media title |
| CN113491117A (zh) * | 2019-03-08 | 2021-10-08 | 北京达佳互联信息技术有限公司 | 用于处理不同图片尺寸的视频编解码 |
| CN112969070B (zh) | 2019-03-11 | 2022-08-26 | 杭州海康威视数字技术股份有限公司 | 一种编解码方法、装置及其设备 |
| CN113661706B (zh) | 2019-04-01 | 2023-11-07 | 北京字节跳动网络技术有限公司 | 视频编码中的可选插值滤波器 |
| US11276419B2 (en) | 2019-07-30 | 2022-03-15 | International Business Machines Corporation | Synchronized sound generation from videos |
| CN114270856A (zh) | 2019-08-20 | 2022-04-01 | 北京字节跳动网络技术有限公司 | 视频处理中的备选插值滤波器的选择性使用 |
| KR20210022841A (ko) | 2019-08-21 | 2021-03-04 | (주)코위 | 멀티플렉서와 ｐｓｉｐ 생성기를 이용한 다중 출력 인코더 |
| US11132944B2 (en) | 2019-09-18 | 2021-09-28 | Samsung Display Co., Ltd. | Unbiased iterative compression on additive data using dither |
| JP7370047B2 (ja) | 2019-10-29 | 2023-10-27 | 株式会社ニッキ | エンジンの失火診断検出方法 |
| CN112788198B (zh) * | 2019-11-11 | 2024-04-23 | 株式会社理光 | 摄影装置、传送系统及方法、记录介质和计算机装置 |
| EP3829169B1 (en) * | 2019-11-29 | 2021-10-13 | Axis AB | Method for intra refresh encoding of a plurality of image frames using convex and concave distribution functions |
| US11843772B2 (en) * | 2019-12-06 | 2023-12-12 | Ati Technologies Ulc | Video encode pre-analysis bit budgeting based on context and features |
| US11284074B2 (en) * | 2019-12-20 | 2022-03-22 | Intel Corporation | Cross-channel look ahead rate control for multi-channel video encoding |
| JP2021103875A (ja) * | 2019-12-25 | 2021-07-15 | キヤノン株式会社 | 画像符号化装置及び画像復号装置、並びにそれらの制御方法及びプログラム、及び、撮像装置 |
| US11962781B2 (en) * | 2020-02-13 | 2024-04-16 | Ssimwave Inc. | Video encoding complexity measure system |
| CN113411584A (zh) * | 2020-03-17 | 2021-09-17 | 北京三星通信技术研究有限公司 | 视频编解码的方法和装置 |
| TWI747236B (zh) * | 2020-04-17 | 2021-11-21 | 倚天酷碁股份有限公司 | 音源訊號調整方法及電子裝置 |
| CN111680548A (zh) * | 2020-04-27 | 2020-09-18 | 哈尔滨工程大学 | 一种小波在线去噪的无失真边界延拓方法 |
| CN111310744B (zh) * | 2020-05-11 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 图像识别方法、视频播放方法、相关设备及介质 |
| US11388415B2 (en) * | 2020-05-12 | 2022-07-12 | Tencent America LLC | Substitutional end-to-end video coding |
| US20230370676A1 (en) * | 2020-10-07 | 2023-11-16 | Telefonaktiebolaget Lm Ericsson (Publ) | A System and Method to Minimize Repetitive Flashes in Streaming Media Content |
| EP3985974B1 (en) | 2020-10-13 | 2023-05-10 | Axis AB | An image processing device, a camera and a method for encoding a sequence of video images |
| EP4364425A1 (en) * | 2021-06-29 | 2024-05-08 | Sharp Kabushiki Kaisha | Systems and methods for compressing feature data in coding of multi-dimensional data |
| US20230215255A1 (en) * | 2022-01-04 | 2023-07-06 | Google Llc | Batch Size Adjustment Using Latency-Critical Event Recognition |
| US20240073423A1 (en) * | 2022-08-24 | 2024-02-29 | Synamedia Vividtec Holdings, Inc. | Content-Adaptive Encoder Configuration |
| CN116260973B (zh) * | 2023-03-31 | 2024-03-19 | 北京百度网讯科技有限公司 | 一种时域滤波方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001045494A (ja) * | 2000-01-01 | 2001-02-16 | Mitsubishi Electric Corp | 画像符号化装置 |
| JP2005123732A (ja) * | 2003-10-14 | 2005-05-12 | Matsushita Electric Ind Co Ltd | デブロックフィルタ処理装置およびデブロックフィルタ処理方法 |
Family Cites Families (290)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US674474A (en) * | 1901-02-04 | 1901-05-21 | Henry D Schutte | Placket-closure. |
| EP0102267B1 (en) | 1982-07-21 | 1988-01-20 | Mathys Marthinus Venter | Implement for depositing an agricultural material in the soil |
| FR2646047B1 (fr) | 1989-04-13 | 1995-08-04 | Telediffusion Fse | Procede et installation de codage et de transmission d'images animees sous forme numerique a bas debit |
| JP2909239B2 (ja) * | 1991-03-27 | 1999-06-23 | 株式会社東芝 | 高能率符号化記録再生装置 |
| JP3189292B2 (ja) | 1991-05-09 | 2001-07-16 | 松下電器産業株式会社 | 走査線補間装置 |
| JP2861518B2 (ja) * | 1991-09-03 | 1999-02-24 | 日本電気株式会社 | 適応多重化方式 |
| KR0121328B1 (ko) | 1991-12-13 | 1997-11-17 | 사또오 후미오 | 디지탈 신호 기록 재생 장치 |
| IT1252546B (it) | 1991-12-18 | 1995-06-19 | Alcatel Italia | Metodo e sistema per adattare il ciclo di frequenza di refresh alla complessita' dell'immagine |
| JPH05344492A (ja) | 1992-06-11 | 1993-12-24 | Ricoh Co Ltd | フレーム間予測符号化方式 |
| US5289276A (en) | 1992-06-19 | 1994-02-22 | General Electric Company | Method and apparatus for conveying compressed video data over a noisy communication channel |
| JP2611607B2 (ja) | 1992-06-29 | 1997-05-21 | 日本ビクター株式会社 | シーンチェンジ検出装置 |
| FR2700090B1 (fr) | 1992-12-30 | 1995-01-27 | Thomson Csf | Procédé de désentrelacement de trames d'une séquence d'images animées. |
| JP2979900B2 (ja) | 1993-05-26 | 1999-11-15 | 日本ビクター株式会社 | 記録媒体 |
| EP0627853B1 (en) | 1993-06-03 | 2000-11-15 | Matsushita Electric Industrial Co., Ltd. | Picture reproduction apparatus and picture decoding apparatus |
| SG47699A1 (en) | 1993-07-19 | 1998-04-17 | British Telecomm | Detecting errors in video images |
| CA2127151A1 (en) | 1993-09-21 | 1995-03-22 | Atul Puri | Spatially scalable video encoding and decoding |
| US5991502A (en) * | 1993-10-04 | 1999-11-23 | Matsushita Electric Industrial Co., Ltd. | Optical recording device which calculates distances between I-frames and records I-frame addresses in a sector |
| AU681185B2 (en) | 1993-10-22 | 1997-08-21 | Sony Corporation | apparatus and method for recording and reproducing digital video data |
| JP3173257B2 (ja) | 1993-11-09 | 2001-06-04 | 松下電器産業株式会社 | 符号化方法と符号化装置 |
| JP2734953B2 (ja) | 1993-12-16 | 1998-04-02 | 日本電気株式会社 | Ｃｄｍａ受信装置 |
| JP2839132B2 (ja) | 1993-12-17 | 1998-12-16 | 日本電信電話株式会社 | 映像カット点検出方法及び装置 |
| US5642294A (en) * | 1993-12-17 | 1997-06-24 | Nippon Telegraph And Telephone Corporation | Method and apparatus for video cut detection |
| US5446491A (en) * | 1993-12-21 | 1995-08-29 | Hitachi, Ltd. | Multi-point video conference system wherein each terminal comprises a shared frame memory to store information from other terminals |
| JP3149303B2 (ja) | 1993-12-29 | 2001-03-26 | 松下電器産業株式会社 | デジタル画像符号化方法及びデジタル画像復号化方法 |
| US5592226A (en) | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| US6798834B1 (en) * | 1996-08-15 | 2004-09-28 | Mitsubishi Denki Kabushiki Kaisha | Image coding apparatus with segment classification and segmentation-type motion prediction circuit |
| JPH0846969A (ja) * | 1994-07-26 | 1996-02-16 | Mitsubishi Electric Corp | 映像信号符号化方式 |
| US6091460A (en) * | 1994-03-31 | 2000-07-18 | Mitsubishi Denki Kabushiki Kaisha | Video signal encoding method and system |
| KR100213015B1 (ko) | 1994-03-31 | 1999-08-02 | 윤종용 | 양자화 방법 및 회로 |
| US5508752A (en) * | 1994-04-12 | 1996-04-16 | Lg Electronics Inc. | Partial response trellis decoder for high definition television (HDTV) system |
| JPH07298272A (ja) * | 1994-04-28 | 1995-11-10 | Canon Inc | 映像符号化装置 |
| US5706386A (en) | 1994-05-24 | 1998-01-06 | Sony Corporation | Image information recording method and apparatus, image information reproducing method and apparatus and editing method and system |
| DE69529579D1 (de) | 1994-06-17 | 2003-03-13 | Snell & Wilcox Ltd | Komprimieren eines aus kompressionskodierten Videosignalen nach deren Teildekodierung kombinierten Signales |
| US5521644A (en) | 1994-06-30 | 1996-05-28 | Eastman Kodak Company | Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields |
| KR100213018B1 (ko) | 1994-07-30 | 1999-08-02 | 윤종용 | 동화상 부호화장치 |
| JP3755155B2 (ja) | 1994-09-30 | 2006-03-15 | ソニー株式会社 | 画像符号化装置 |
| JPH0918782A (ja) | 1995-06-29 | 1997-01-17 | Sony Corp | 映像信号処理方法及び装置 |
| MY115648A (en) | 1995-08-23 | 2003-08-30 | Sony Corp | Encoding/decoding fields of predetermined field polarity apparatus and method |
| JPH0974566A (ja) * | 1995-09-04 | 1997-03-18 | Sony Corp | 圧縮符号化装置及び圧縮符号化データの記録装置 |
| US5745645A (en) * | 1995-09-29 | 1998-04-28 | Matsushita Electric Industrial Co., Ltd. | Method and an apparatus for encoding telecine-converted video data for seamless connection |
| JPH09130732A (ja) | 1995-11-01 | 1997-05-16 | Matsushita Electric Ind Co Ltd | シーンチェンジ検出方法および動画像編集装置 |
| US5835163A (en) | 1995-12-21 | 1998-11-10 | Siemens Corporate Research, Inc. | Apparatus for detecting a cut in a video |
| US5682204A (en) | 1995-12-26 | 1997-10-28 | C Cube Microsystems, Inc. | Video encoder which uses intra-coding when an activity level of a current macro-block is smaller than a threshold level |
| US5929902A (en) | 1996-02-28 | 1999-07-27 | C-Cube Microsystems | Method and apparatus for inverse telecine processing by fitting 3:2 pull-down patterns |
| US5821991A (en) | 1996-02-28 | 1998-10-13 | C-Cube Microsystems, Inc. | Method and apparatus for inverse telecine process by correlating vectors of pixel differences |
| US6157674A (en) | 1996-03-21 | 2000-12-05 | Sony Corporation | Audio and video data transmitting apparatus, system, and method thereof |
| GB9607645D0 (en) | 1996-04-12 | 1996-06-12 | Snell & Wilcox Ltd | Processing of video signals prior to compression |
| JPH09284770A (ja) | 1996-04-13 | 1997-10-31 | Sony Corp | 画像符号化装置および方法 |
| JPH1013826A (ja) | 1996-06-21 | 1998-01-16 | Sony Corp | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、画像送信装置、画像受信装置、並びに記録媒体 |
| US7095874B2 (en) | 1996-07-02 | 2006-08-22 | Wistaria Trading, Inc. | Optimization methods for the insertion, protection, and detection of digital watermarks in digitized data |
| US6643506B1 (en) | 1996-08-07 | 2003-11-04 | Telxon Corporation | Wireless software upgrades with version control |
| US5793895A (en) | 1996-08-28 | 1998-08-11 | International Business Machines Corporation | Intelligent error resilient video encoder |
| KR100389893B1 (ko) | 1996-11-09 | 2003-09-19 | 삼성전자주식회사 | 영상 특성 분류법을 이용한 영상 부호화 장치 |
| FR2756399B1 (fr) | 1996-11-28 | 1999-06-25 | Thomson Multimedia Sa | Procede et dispositif de compression video pour images de synthese |
| JPH10313463A (ja) | 1997-03-12 | 1998-11-24 | Matsushita Electric Ind Co Ltd | 映像信号符号化方法及び符号化装置 |
| WO1998041027A1 (en) | 1997-03-12 | 1998-09-17 | Matsushita Electric Industrial Co., Ltd. | Video signal coding method and coding device |
| JP3679606B2 (ja) | 1997-04-18 | 2005-08-03 | キヤノン株式会社 | 符号化装置及び方法並びに符号化プログラムが記録されたコンピュータ可読記録媒体 |
| US6333950B1 (en) | 1997-04-18 | 2001-12-25 | Canon Kabushiki Kaisha | Encoding apparatus and method and computer readable recording medium in which encoding program has been recorded |
| JP3588970B2 (ja) | 1997-04-30 | 2004-11-17 | ソニー株式会社 | 信号符号化方法、信号符号化装置、信号記録媒体及び信号伝送方法 |
| FR2764156B1 (fr) | 1997-05-27 | 1999-11-05 | Thomson Broadcast Systems | Dispositif de pretraitement pour codage mpeg ii |
| US5864369A (en) * | 1997-06-16 | 1999-01-26 | Ati International Srl | Method and apparatus for providing interlaced video on a progressive display |
| US6012091A (en) * | 1997-06-30 | 2000-01-04 | At&T Corporation | Video telecommunications server and method of providing video fast forward and reverse |
| KR100226722B1 (ko) | 1997-07-30 | 1999-10-15 | 구자홍 | 동영상 움직임 벡터 추정 방법 |
| US5978029A (en) | 1997-10-10 | 1999-11-02 | International Business Machines Corporation | Real-time encoding of video sequence employing two encoders and statistical analysis |
| US6574211B2 (en) | 1997-11-03 | 2003-06-03 | Qualcomm Incorporated | Method and apparatus for high rate packet data transmission |
| US5956026A (en) | 1997-12-19 | 1999-09-21 | Sharp Laboratories Of America, Inc. | Method for hierarchical summarization and browsing of digital video |
| US6115499A (en) | 1998-01-14 | 2000-09-05 | C-Cube Semiconductor Ii, Inc. | Repeat field detection using checkerboard pattern |
| US6175650B1 (en) | 1998-01-26 | 2001-01-16 | Xerox Corporation | Adaptive quantization compatible with the JPEG baseline sequential mode |
| WO1999043157A1 (en) | 1998-02-19 | 1999-08-26 | Motorola Inc. | System and method for non-causal encoding of video information for improved streaming thereof |
| JP3649370B2 (ja) | 1998-02-25 | 2005-05-18 | 日本ビクター株式会社 | 動き補償符号化装置及び動き補償符号化方法 |
| JP3738939B2 (ja) | 1998-03-05 | 2006-01-25 | Ｋｄｄｉ株式会社 | 動画像のカット点検出装置 |
| EP0946054B1 (en) | 1998-03-09 | 2005-06-08 | Sony International (Europe) GmbH | Weighted median filter interpolator |
| US6895048B2 (en) * | 1998-03-20 | 2005-05-17 | International Business Machines Corporation | Adaptive encoding of a sequence of still frames or partially still frames within motion video |
| US6538688B1 (en) * | 1998-07-02 | 2003-03-25 | Terran Interactive | Method and apparatus for performing an automated inverse telecine process |
| JP2000032474A (ja) | 1998-07-08 | 2000-01-28 | Sharp Corp | 動画像符号化装置 |
| JP2000059774A (ja) | 1998-08-06 | 2000-02-25 | Nippon Telegr & Teleph Corp <Ntt> | 映像符号化制御装置 |
| US6580829B1 (en) | 1998-09-25 | 2003-06-17 | Sarnoff Corporation | Detecting and coding flash frames in video data |
| AU5793199A (en) | 1998-09-29 | 2000-04-17 | General Instrument Corporation | Method and apparatus for detecting scene changes and adjusting picture coding type in a high definition television encoder |
| JP3921841B2 (ja) * | 1998-10-16 | 2007-05-30 | ソニー株式会社 | 信号処理装置および方法、ならびに、記録装置、再生装置および記録再生装置 |
| JP2000209553A (ja) | 1998-11-13 | 2000-07-28 | Victor Co Of Japan Ltd | 情報信号記録装置及び再生装置 |
| US6297848B1 (en) | 1998-11-25 | 2001-10-02 | Sharp Laboratories Of America, Inc. | Low-delay conversion of 3:2 pulldown video to progressive format with field averaging |
| JP3260713B2 (ja) | 1998-12-21 | 2002-02-25 | 日本電気株式会社 | 無線基地局のプログラムダウンロード方式 |
| US6618507B1 (en) | 1999-01-25 | 2003-09-09 | Mitsubishi Electric Research Laboratories, Inc | Methods of feature extraction of video sequences |
| JP3588564B2 (ja) | 1999-03-31 | 2004-11-10 | 株式会社東芝 | 映像データ記録装置 |
| DE60031905T2 (de) | 1999-04-02 | 2007-04-12 | Matsushita Electric Industrial Co., Ltd., Kadoma | Vorrichtungen zur Übertragung und Empfang von bewegten Bildern sowie Aufzeichnungsmedium für bewegte Bilder |
| JP3591712B2 (ja) | 1999-04-02 | 2004-11-24 | 松下電器産業株式会社 | 動画送信装置及び動画受信装置 |
| JP2000295626A (ja) | 1999-04-08 | 2000-10-20 | Mitsubishi Electric Corp | 多段画像符号化装置 |
| US6325805B1 (en) | 1999-04-23 | 2001-12-04 | Sdgi Holdings, Inc. | Shape memory alloy staple |
| JP2002543714A (ja) | 1999-04-30 | 2002-12-17 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Ｂフレーム・エンコーディング・モードを有するビデオ・エンコーディング方法 |
| JP4287538B2 (ja) | 1999-04-30 | 2009-07-01 | パナソニック株式会社 | 画像信号切替方法及び装置並びにこれを用いたデジタル撮像カメラ及び監視システム |
| GB2352350B (en) | 1999-07-19 | 2003-11-05 | Nokia Mobile Phones Ltd | Video coding |
| JP3669619B2 (ja) * | 1999-09-06 | 2005-07-13 | 富士通株式会社 | 無線端末装置のソフトウェア更新方法及びその装置 |
| DE19951324C2 (de) * | 1999-10-20 | 2003-07-17 | Atotech Deutschland Gmbh | Verfahren und Vorrichtung zum elektrolytischen Behandeln von elektrisch leitfähigen Oberflächen von gegeneinander vereinzelten Platten- und Folienmaterialstücken sowie Anwendung des Verfahrens |
| US6370672B1 (en) | 1999-11-01 | 2002-04-09 | Lsi Logic Corporation | Determining the received data rate in a variable rate communications system |
| GB2359918A (en) | 2000-03-01 | 2001-09-05 | Sony Uk Ltd | Audio and/or video generation apparatus having a metadata generator |
| US6639943B1 (en) | 1999-11-23 | 2003-10-28 | Koninklijke Philips Electronics N.V. | Hybrid temporal-SNR fine granular scalability video coding |
| JP2001169251A (ja) | 1999-12-03 | 2001-06-22 | Sony Corp | 記録装置および方法、ならびに、再生装置および方法 |
| US7116717B1 (en) | 1999-12-15 | 2006-10-03 | Bigband Networks, Inc. | Method and system for scalable representation, storage, transmission and reconstruction of media streams |
| US7093028B1 (en) | 1999-12-15 | 2006-08-15 | Microsoft Corporation | User and content aware object-based data stream transmission methods and arrangements |
| US6449002B1 (en) | 1999-12-21 | 2002-09-10 | Thomson Licensing S.A. | Truncated metric for NTSC interference rejection in the ATSC-HDTV trellis decoder |
| US6912528B2 (en) | 2000-01-18 | 2005-06-28 | Gregg S. Homer | Rechargeable media distribution and play system |
| JP2001204026A (ja) | 2000-01-21 | 2001-07-27 | Sony Corp | 画像情報変換装置及び方法 |
| IL134182A (en) | 2000-01-23 | 2006-08-01 | Vls Com Ltd | Method and apparatus for visual lossless pre-processing |
| US6600836B1 (en) * | 2000-01-28 | 2003-07-29 | Qualcomm, Incorporated | Quality based image compression |
| KR100734759B1 (ko) | 2000-02-01 | 2007-07-06 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | Ｐ-프레임들에 대한 두 단계의 움직임 추정에 의한 비디오 인코딩 |
| US6574279B1 (en) | 2000-02-02 | 2003-06-03 | Mitsubishi Electric Research Laboratories, Inc. | Video transcoding using syntactic and semantic clues |
| US6490320B1 (en) | 2000-02-02 | 2002-12-03 | Mitsubishi Electric Research Laboratories Inc. | Adaptable bitstream video delivery system |
| US6542546B1 (en) | 2000-02-02 | 2003-04-01 | Mitsubishi Electric Research Laboratories, Inc. | Adaptable compressed bitstream transcoder |
| JP3960451B2 (ja) | 2000-03-06 | 2007-08-15 | Ｋｄｄｉ株式会社 | シーン特性検出型動画像符号化装置 |
| SE515205C2 (sv) | 2000-03-08 | 2001-06-25 | Sem Ab | Krets för tändförställning, varvtalsbegränsning och förhindrande av baklängesgång i magnettändsystem |
| KR100776529B1 (ko) | 2000-03-13 | 2007-11-16 | 소니 가부시끼 가이샤 | 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및 장치 |
| US20020154705A1 (en) | 2000-03-22 | 2002-10-24 | Walton Jay R. | High efficiency high performance communications system employing multi-carrier modulation |
| AU4670701A (en) | 2000-04-07 | 2001-10-23 | Snell & Wilcox Limited | Video signal processing |
| US6867814B2 (en) | 2000-04-18 | 2005-03-15 | Silicon Image, Inc. | Method, system and article of manufacture for identifying the source type and quality level of a video sequence |
| US6507618B1 (en) * | 2000-04-25 | 2003-01-14 | Hewlett-Packard Company | Compressed video signal including independently coded regions |
| EP1152621A1 (en) * | 2000-05-05 | 2001-11-07 | STMicroelectronics S.r.l. | Motion estimation process and system. |
| JP4517453B2 (ja) | 2000-05-30 | 2010-08-04 | ソニー株式会社 | 画像情報変換装置及び方法並びに符号化装置及び方法 |
| JP2001346214A (ja) | 2000-06-05 | 2001-12-14 | Sony Corp | 画像情報変換装置及び方法 |
| US6647061B1 (en) | 2000-06-09 | 2003-11-11 | General Instrument Corporation | Video size conversion and transcoding from MPEG-2 to MPEG-4 |
| KR100708091B1 (ko) * | 2000-06-13 | 2007-04-16 | 삼성전자주식회사 | 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법 |
| JP2002010259A (ja) | 2000-06-21 | 2002-01-11 | Mitsubishi Electric Corp | 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体 |
| CA2352729A1 (en) * | 2000-07-13 | 2002-01-13 | Creoscitex Corporation Ltd. | Blazed micro-mechanical light modulator and array thereof |
| US20040125877A1 (en) * | 2000-07-17 | 2004-07-01 | Shin-Fu Chang | Method and system for indexing and content-based adaptive streaming of digital video content |
| JP4517475B2 (ja) | 2000-07-26 | 2010-08-04 | ソニー株式会社 | 画像情報変換装置及び方法並びに符号化装置及び方法 |
| KR20020010171A (ko) | 2000-07-27 | 2002-02-04 | 오길록 | 블록 정합 움직임 추정을 위한 적응적 예측 방향성 탐색방법 |
| FI120125B (fi) | 2000-08-21 | 2009-06-30 | Nokia Corp | Kuvankoodaus |
| JP2002064817A (ja) | 2000-08-21 | 2002-02-28 | Kddi Research & Development Laboratories Inc | オブジェクトスケーラブル符号化装置 |
| JP3903703B2 (ja) | 2000-09-01 | 2007-04-11 | 株式会社日立製作所 | 順次走査変換回路 |
| JP2002094994A (ja) * | 2000-09-19 | 2002-03-29 | Nec Corp | 動画再生処理装置および動画再生処理方法 |
| US7038736B2 (en) * | 2000-09-21 | 2006-05-02 | Canon Kabushiki Kaisha | Moving image processing apparatus and method, and computer readable memory |
| DE60124746T2 (de) | 2000-09-22 | 2007-09-13 | Koninklijke Philips Electronics N.V. | Videocodierung mit hybrider temporeller und snr-bezogener feingranularer skalierbarkeit |
| JP2002101416A (ja) | 2000-09-25 | 2002-04-05 | Fujitsu Ltd | 画像制御装置 |
| JP2002125227A (ja) | 2000-10-11 | 2002-04-26 | Sony Corp | 画像情報変換装置及び方法 |
| US7095814B2 (en) * | 2000-10-11 | 2006-08-22 | Electronics And Telecommunications Research Institute | Apparatus and method for very high performance space-time array reception processing using chip-level beamforming and fading rate adaptation |
| JP3947107B2 (ja) | 2000-11-23 | 2007-07-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ・デコーディング方法及び対応するデコーダ |
| EP1209624A1 (en) | 2000-11-27 | 2002-05-29 | Sony International (Europe) GmbH | Method for compressed imaging artefact reduction |
| US6934335B2 (en) * | 2000-12-11 | 2005-08-23 | Sony Corporation | Video encoder with embedded scene change and 3:2 pull-down detections |
| US7203238B2 (en) * | 2000-12-11 | 2007-04-10 | Sony Corporation | 3:2 Pull-down detection |
| US7058130B2 (en) | 2000-12-11 | 2006-06-06 | Sony Corporation | Scene change detection |
| US6744474B2 (en) | 2000-12-13 | 2004-06-01 | Thomson Licensing S.A. | Recursive metric for NTSC interference rejection in the ATSC-HDTV trellis decoder |
| US6807234B2 (en) * | 2000-12-19 | 2004-10-19 | Intel Corporation | Method and apparatus for constellation mapping and bitloading in multi-carrier transceivers, such as DMT-based DSL transceivers |
| GB2372394B (en) | 2000-12-22 | 2004-09-22 | Matsushita Electric Ind Co Ltd | Interpolation apparatus and video signal processing apparatus including the same |
| CA2330854A1 (en) | 2001-01-11 | 2002-07-11 | Jaldi Semiconductor Corp. | A system and method for detecting a non-video source in video signals |
| US6987728B2 (en) * | 2001-01-23 | 2006-01-17 | Sharp Laboratories Of America, Inc. | Bandwidth allocation system |
| JP4336051B2 (ja) | 2001-01-31 | 2009-09-30 | 株式会社エヌ・ティ・ティ・ドコモ | 無線通信端末、発呼制限方法及びプログラム |
| US6721361B1 (en) | 2001-02-23 | 2004-04-13 | Yesvideo.Com | Video processing system including advanced scene break detection methods for fades, dissolves and flashes |
| US7003033B2 (en) | 2001-03-05 | 2006-02-21 | Intervideo, Inc. | Systems and methods for encoding redundant motion vectors in compressed video bitstreams |
| KR100783396B1 (ko) * | 2001-04-19 | 2007-12-10 | 엘지전자 주식회사 | 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법 |
| US6947598B2 (en) | 2001-04-20 | 2005-09-20 | Front Porch Digital Inc. | Methods and apparatus for generating, including and using information relating to archived audio/video data |
| US7072975B2 (en) | 2001-04-24 | 2006-07-04 | Wideray Corporation | Apparatus and method for communicating information to portable computing devices |
| US20020163964A1 (en) | 2001-05-02 | 2002-11-07 | Nichols James B. | Apparatus and method for compressing video |
| US6909745B1 (en) * | 2001-06-05 | 2005-06-21 | At&T Corp. | Content adaptive video encoder |
| KR100803115B1 (ko) | 2001-06-07 | 2008-02-14 | 엘지전자 주식회사 | 적응 안테나 어레이가 구비된 wｃｄｍａ 시스템에서의 신호 처리 방법 이를 위한 시스템 |
| KR100393066B1 (ko) * | 2001-06-11 | 2003-07-31 | 삼성전자주식회사 | 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법 |
| JP2002051336A (ja) | 2001-06-15 | 2002-02-15 | Sharp Corp | 画像符号化装置及び画像復号装置 |
| US7483581B2 (en) | 2001-07-02 | 2009-01-27 | Qualcomm Incorporated | Apparatus and method for encoding digital image data in a lossless manner |
| JP2003037844A (ja) | 2001-07-23 | 2003-02-07 | Sharp Corp | 動画像符号化装置 |
| JP3820937B2 (ja) | 2001-08-06 | 2006-09-13 | 株式会社島津製作所 | Ｘ線検査装置 |
| KR100440953B1 (ko) | 2001-08-18 | 2004-07-21 | 삼성전자주식회사 | 영상 압축 비트 스트림의 트랜스코딩 방법 |
| US6959044B1 (en) | 2001-08-21 | 2005-10-25 | Cisco Systems Canada Co. | Dynamic GOP system and method for digital video encoding |
| US7359466B2 (en) | 2001-08-24 | 2008-04-15 | Lucent Technologies Inc. | Signal detection by a receiver in a multiple antenna time-dispersive system |
| US6784942B2 (en) | 2001-10-05 | 2004-08-31 | Genesis Microchip, Inc. | Motion adaptive de-interlacing method and apparatus |
| TW536918B (en) | 2001-11-01 | 2003-06-11 | Aiptek Int Inc | Method to increase the temporal resolution of continuous image series |
| AU2002343220A1 (en) | 2001-11-09 | 2003-05-19 | Matsushita Electric Industrial Co., Ltd. | Moving picture coding method and apparatus |
| JP2003209837A (ja) | 2001-11-09 | 2003-07-25 | Matsushita Electric Ind Co Ltd | 動画像符号化方法及び動画像符号化装置 |
| US6847680B2 (en) | 2001-12-17 | 2005-01-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting talking heads in a compressed video |
| US20030118097A1 (en) | 2001-12-21 | 2003-06-26 | Koninklijke Philips Electronics N.V. | System for realization of complexity scalability in a layered video coding framework |
| KR100446083B1 (ko) | 2002-01-02 | 2004-08-30 | 삼성전자주식회사 | 움직임 추정 및 모드 결정 장치 및 방법 |
| US20030142762A1 (en) * | 2002-01-11 | 2003-07-31 | Burke Joseph P. | Wireless receiver method and apparatus using space-cover-time equalization |
| US7139551B2 (en) | 2002-01-19 | 2006-11-21 | Sasken Communication Technologies Ltd. | System and method for automatically downloading software applications to a remote terminal |
| JP2003224847A (ja) | 2002-01-29 | 2003-08-08 | Sony Corp | 画像符号化装置とその方法、および、画像復号化装置とその方法 |
| US6700935B2 (en) | 2002-02-08 | 2004-03-02 | Sony Electronics, Inc. | Stream based bitrate transcoder for MPEG coded video |
| US6996186B2 (en) * | 2002-02-22 | 2006-02-07 | International Business Machines Corporation | Programmable horizontal filter with noise reduction and image scaling for video encoding system |
| KR100850705B1 (ko) | 2002-03-09 | 2008-08-06 | 삼성전자주식회사 | 시공간적 복잡도를 고려한 적응적 동영상 부호화 방법 및그 장치 |
| EP1488645B1 (en) | 2002-03-27 | 2010-12-01 | BRITISH TELECOMMUNICATIONS public limited company | Video coding and transmission |
| US20030185302A1 (en) * | 2002-04-02 | 2003-10-02 | Abrams Thomas Algie | Camera and/or camera converter |
| CA2380105A1 (en) | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
| KR100468726B1 (ko) | 2002-04-18 | 2005-01-29 | 삼성전자주식회사 | 실시간 가변 비트율 제어를 수행하는 부호화 장치 및 방법 |
| US6985635B2 (en) | 2002-04-22 | 2006-01-10 | Koninklijke Philips Electronics N.V. | System and method for providing a single-layer video encoded bitstreams suitable for reduced-complexity decoding |
| JP4135395B2 (ja) | 2002-04-26 | 2008-08-20 | 日本電気株式会社 | 符号化パケット伝送受信方法およびその装置ならびにプログラム |
| JP3926203B2 (ja) | 2002-05-15 | 2007-06-06 | シャープ株式会社 | コンテンツ表示装置、コンテンツ表示プログラム、該プログラムを記録した記録媒体、およびコンテンツ表示方法 |
| KR100850706B1 (ko) | 2002-05-22 | 2008-08-06 | 삼성전자주식회사 | 적응적 동영상 부호화 및 복호화 방법과 그 장치 |
| US6536688B1 (en) * | 2002-05-24 | 2003-03-25 | Success & Tech Industrial Co., Ltd. | Two-piece hand grip structure of pistol nozzle with flow regulating control knob |
| FR2840495B1 (fr) | 2002-05-29 | 2004-07-30 | Canon Kk | Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage |
| US7436890B2 (en) | 2002-06-05 | 2008-10-14 | Kddi R&D Laboratories, Inc. | Quantization control system for video coding |
| JP2004023288A (ja) | 2002-06-13 | 2004-01-22 | Kddi R & D Laboratories Inc | 動画像符号化のための前処理方式 |
| CN1231055C (zh) | 2002-06-10 | 2005-12-07 | 成都威斯达芯片有限责任公司 | 电视中传送电影场景的数字检测装置 |
| KR100553082B1 (ko) | 2002-06-20 | 2006-02-15 | 엘지전자 주식회사 | 이동통신 단말기의 무선 데이터 다운로드 이어받기 장치및 방법 |
| US7167507B2 (en) | 2002-07-01 | 2007-01-23 | Lucent Technologies Inc. | Equalizer and method for performing equalization in a wireless communications system |
| US7136417B2 (en) | 2002-07-15 | 2006-11-14 | Scientific-Atlanta, Inc. | Chroma conversion optimization |
| JP2005533337A (ja) | 2002-07-16 | 2005-11-04 | トムソン ライセンシング | 拡張層の交互のストリーム識別番号を用いた、ｈｄ−ｄｖｄのための基本層と拡張層のインターリーブ |
| KR100500196B1 (ko) | 2002-07-20 | 2005-07-12 | 학교법인 한국정보통신학원 | 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법 |
| US7089313B2 (en) * | 2002-07-25 | 2006-08-08 | Matsushita Electric Industrial Co., Ltd. | Protocol independent communication system for mobile devices |
| CN100412973C (zh) | 2002-08-21 | 2008-08-20 | 汤姆森特许公司 | 用户设备以及在用户设备上对数字数据压制水印的方法 |
| US20040045038A1 (en) | 2002-08-29 | 2004-03-04 | Duff John F. | System and method for the synchronized activation of external devices in association with video programs |
| US6904081B2 (en) * | 2002-08-30 | 2005-06-07 | Motorola, Inc. | Spread spectrum receiver apparatus and method |
| GB0222562D0 (en) | 2002-09-28 | 2002-11-06 | Koninkl Philips Electronics Nv | Method and apparatus for encoding image and or audio data |
| AU2003272933A1 (en) * | 2002-10-10 | 2004-05-04 | Fa. M Inc. | Process for the production of resin compositions |
| JP4294933B2 (ja) | 2002-10-16 | 2009-07-15 | 富士通株式会社 | マルチメディアコンテンツ編集装置およびマルチメディアコンテンツ再生装置 |
| US7949205B2 (en) | 2002-10-22 | 2011-05-24 | Trident Microsystems (Far East) Ltd. | Image processing unit with fall-back |
| KR100501933B1 (ko) * | 2002-11-21 | 2005-07-18 | 삼성전자주식회사 | 멀티미디어 데이터 암호화 압축방법 및 장치 |
| EP1570674A1 (en) | 2002-11-22 | 2005-09-07 | Koninklijke Philips Electronics N.V. | Transcoder for a variable length coded data stream |
| CN101827265B (zh) * | 2002-11-25 | 2012-11-21 | 松下电器产业株式会社 | 图像编码装置及方法、图像解码装置及方法以及记录方法 |
| KR20040046320A (ko) | 2002-11-27 | 2004-06-05 | 엘지전자 주식회사 | 동영상 부호화 방법 |
| KR20050084266A (ko) | 2002-12-10 | 2005-08-26 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 디지털 비디오 처리용 통합 규준 |
| WO2004057460A2 (en) | 2002-12-20 | 2004-07-08 | Koninklijke Philips Electronics N.V. | Segment-based motion estimation |
| US7154555B2 (en) | 2003-01-10 | 2006-12-26 | Realnetworks, Inc. | Automatic deinterlacing and inverse telecine |
| US7039855B2 (en) | 2003-01-22 | 2006-05-02 | Lsi Logic Corporation | Decision function generator for a Viterbi decoder |
| DE602004029551D1 (de) | 2003-01-28 | 2010-11-25 | Thomson Licensing | Staggercasting im robusten modus |
| JP2004248124A (ja) | 2003-02-17 | 2004-09-02 | Nippon Telegr & Teleph Corp <Ntt> | 階層的画像符号化装置および階層的画像復号装置 |
| KR20040079084A (ko) | 2003-03-06 | 2004-09-14 | 삼성전자주식회사 | 시간적 복잡도를 고려한 적응적 동영상 부호화와 그 장치 |
| US7062260B2 (en) | 2003-03-27 | 2006-06-13 | Nokia Corporation | Fetching application and driver for extension device from network |
| US7075581B1 (en) * | 2003-06-03 | 2006-07-11 | Zoran Corporation | Interlaced-to-progressive scan conversion based on film source detection |
| KR100518580B1 (ko) | 2003-06-10 | 2005-10-04 | 삼성전자주식회사 | 인버스 텔레시네 변환장치 및 변환방법 |
| AU2004250927B2 (en) | 2003-06-16 | 2010-04-08 | Interdigital Vc Holdings, Inc. | Decoding method and apparatus enabling fast channel change of compressed video |
| WO2004114672A1 (en) | 2003-06-19 | 2004-12-29 | Thomson Licensing S.A. | Method and apparatus for low-complexity spatial scalable encoding |
| KR100505694B1 (ko) | 2003-07-09 | 2005-08-02 | 삼성전자주식회사 | 직접 계산 방식에 의한 코드화 직교 주파수 분할 다중화수신기의 채널 상태 평가 장치 및 그 방법 |
| US7406123B2 (en) | 2003-07-10 | 2008-07-29 | Mitsubishi Electric Research Laboratories, Inc. | Visual complexity measure for playing videos adaptively |
| GB0316387D0 (en) | 2003-07-12 | 2003-08-13 | Ncr Int Inc | Software updates |
| JP4198732B2 (ja) | 2003-07-14 | 2008-12-17 | インターデイジタル テクノロジー コーポレーション | クラスタ多経路干渉抑制回路を有する高性能無線受信器 |
| US7356073B2 (en) * | 2003-09-10 | 2008-04-08 | Nokia Corporation | Method and apparatus providing an advanced MIMO receiver that includes a signal-plus-residual-interference (SPRI) detector |
| US7332120B2 (en) | 2003-09-30 | 2008-02-19 | Salflex Polymers Ltd. | Method for molding running board with step plate |
| US20050076057A1 (en) | 2003-10-03 | 2005-04-07 | Puneet Sharma | Method and system for transferring video and audio files to portable computing devices |
| US7840112B2 (en) | 2003-10-08 | 2010-11-23 | Intel Corporation | Gradually degrading multimedia recordings |
| KR20050037293A (ko) | 2003-10-18 | 2005-04-21 | 삼성전자주식회사 | 영상신호의 아티팩트 억제장치 및 그 방법 |
| US7780886B2 (en) | 2003-10-21 | 2010-08-24 | Certainteed Corporation | Insulation product having directional facing layer thereon and method of making the same |
| JP4423263B2 (ja) | 2003-10-30 | 2010-03-03 | パナソニック株式会社 | 携帯端末向け伝送方法及び装置 |
| US9351013B2 (en) * | 2003-11-13 | 2016-05-24 | Qualcomm Incorporated | Selective and/or scalable complexity control for video codecs |
| US7420618B2 (en) | 2003-12-23 | 2008-09-02 | Genesis Microchip Inc. | Single chip multi-function display controller and method of use thereof |
| AU2005206954A1 (en) | 2004-01-21 | 2005-08-04 | Qualcomm Incorporated | Application-based value billing in a wireless subscriber network |
| US7320444B2 (en) | 2004-01-21 | 2008-01-22 | Fujifilm Corporation | Recording tape cartridge |
| US20050168656A1 (en) | 2004-01-30 | 2005-08-04 | Wyman Richard H. | Method and system for quantized historical motion for motion detection in motion adaptive deinterlacer |
| US7483077B2 (en) * | 2004-01-30 | 2009-01-27 | Broadcom Corporation | Method and system for control of a multi-field deinterlacer including providing visually pleasing start-up and shut-down |
| EP1709745A4 (en) | 2004-01-30 | 2012-03-14 | Univ Laval | MULTI-USER ADAPTIVE NETWORK RECEIVER AND CORRESPONDING METHOD |
| US7557861B2 (en) | 2004-01-30 | 2009-07-07 | Broadcom Corporation | Reverse pull-down video using corrective techniques |
| US7529426B2 (en) | 2004-01-30 | 2009-05-05 | Broadcom Corporation | Correlation function for signal detection, match filters, and 3:2 pulldown detection |
| US7324583B2 (en) | 2004-02-13 | 2008-01-29 | Nokia Corporation | Chip-level or symbol-level equalizer structure for multiple transmit and receiver antenna configurations |
| KR100596705B1 (ko) | 2004-03-04 | 2006-07-04 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템 |
| KR100586883B1 (ko) | 2004-03-04 | 2006-06-08 | 삼성전자주식회사 | 비디오 스트리밍 서비스를 위한 비디오 코딩방법, 프리디코딩방법, 비디오 디코딩방법, 및 이를 위한 장치와, 이미지 필터링방법 |
| US7339980B2 (en) * | 2004-03-05 | 2008-03-04 | Telefonaktiebolaget Lm Ericsson (Publ) | Successive interference cancellation in a generalized RAKE receiver architecture |
| US20050201478A1 (en) | 2004-03-10 | 2005-09-15 | Holger Claussen | Modulation in a mobile telecommunications system |
| US20050222961A1 (en) | 2004-04-05 | 2005-10-06 | Philippe Staib | System and method of facilitating contactless payment transactions across different payment systems using a common mobile device acting as a stored value device |
| US20050231635A1 (en) | 2004-04-16 | 2005-10-20 | Lin Ken K | Automated inverse telecine process |
| EP1592250A1 (en) | 2004-04-30 | 2005-11-02 | Matsushita Electric Industrial Co., Ltd. | Film-mode detection in video sequences |
| US7991053B2 (en) | 2004-05-04 | 2011-08-02 | Qualcomm Incorporated | Method and apparatus to enable acquisition of media in streaming applications |
| US7430336B2 (en) | 2004-05-06 | 2008-09-30 | Qualcomm Incorporated | Method and apparatus for image enhancement for low bit rate video compression |
| DE102004026433A1 (de) | 2004-05-29 | 2005-12-22 | Schott Ag | Nanoglaspulver und deren Verwendung |
| WO2005117540A2 (en) * | 2004-06-01 | 2005-12-15 | Exxonmobil Upstream Research Company | Kalman filter approach to processing electromagnetic data |
| US7536626B2 (en) | 2004-06-18 | 2009-05-19 | Qualcomm Incorporated | Power control using erasure techniques |
| EP1615447B1 (en) | 2004-07-09 | 2016-03-09 | STMicroelectronics Srl | Method and system for delivery of coded information streams, related network and computer program product therefor |
| JP4145275B2 (ja) | 2004-07-27 | 2008-09-03 | 富士通株式会社 | 動きベクトル検出・補償装置 |
| KR20060011281A (ko) | 2004-07-30 | 2006-02-03 | 한종기 | 트랜스코더에 적용되는 해상도 변환장치 및 방법 |
| JP2006074684A (ja) | 2004-09-06 | 2006-03-16 | Matsushita Electric Ind Co Ltd | 画像処理方法及び装置 |
| US7474701B2 (en) * | 2004-09-23 | 2009-01-06 | International Business Machines Corporation | Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames |
| US7528887B2 (en) | 2004-10-08 | 2009-05-05 | Broadcom Corporation | System and method for performing inverse telecine deinterlacing of video by bypassing data present in vertical blanking intervals |
| US7660987B2 (en) * | 2004-10-29 | 2010-02-09 | Baylis Stephen W | Method of establishing a secure e-mail transmission link |
| KR100592882B1 (ko) | 2004-12-13 | 2006-06-26 | 한국전자통신연구원 | 세션 초기화 프로토콜(ｓｉｐ) 기능이 없는 이동 단말에인터넷 프로토콜 멀티미디어 서브시스템을 통한 세션초기화 프로토콜 기반 인스턴스 메시징 서비스 제공방법,시스템 및 이를 위한 인스턴스 메시징 프록시 서버 |
| US20060153294A1 (en) | 2005-01-12 | 2006-07-13 | Nokia Corporation | Inter-layer coefficient coding for scalable video coding |
| US8780957B2 (en) * | 2005-01-14 | 2014-07-15 | Qualcomm Incorporated | Optimal weights for MMSE space-time equalizer of multicode CDMA system |
| US20060166739A1 (en) * | 2005-01-25 | 2006-07-27 | Jeng-Tay Lin | Operating method for a wireless recreation system |
| KR20060088461A (ko) | 2005-02-01 | 2006-08-04 | 엘지전자 주식회사 | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 |
| US8175123B2 (en) | 2005-03-10 | 2012-05-08 | Qualcomm Incorporated | Collection window positioning using time tracking information |
| US8693540B2 (en) | 2005-03-10 | 2014-04-08 | Qualcomm Incorporated | Method and apparatus of temporal error concealment for P-frame |
| MX2007011084A (es) | 2005-03-10 | 2007-11-15 | Qualcomm Inc | Clasificacion de contenido para procesamiento multimedia. |
| US7929776B2 (en) | 2005-03-10 | 2011-04-19 | Qualcomm, Incorporated | Method and apparatus for error recovery using intra-slice resynchronization points |
| US7886201B2 (en) | 2005-03-10 | 2011-02-08 | Qualcomm Incorporated | Decoder architecture for optimized error management in streaming multimedia |
| US7995656B2 (en) | 2005-03-10 | 2011-08-09 | Qualcomm Incorporated | Scalable video coding with two layer encoding and single layer decoding |
| EP1869894A1 (en) | 2005-04-14 | 2007-12-26 | Thomson Licensing | Method and apparatus for slice adaptive motion vector coding for spatial scalable video encoding and decoding |
| US20060239347A1 (en) | 2005-04-25 | 2006-10-26 | Ashish Koul | Method and system for scene change detection in a video encoder |
| US20060271990A1 (en) * | 2005-05-18 | 2006-11-30 | Rodriguez Arturo A | Higher picture rate HD encoding and transmission with legacy HD backward compatibility |
| KR100716998B1 (ko) * | 2005-05-24 | 2007-05-10 | 삼성전자주식회사 | 블록화 현상을 감소시키기 위한 부호화 및 복호화 장치 및그 방법과, 이를 구현하기 위한 프로그램이 기록된 기록매체 |
| US8879635B2 (en) * | 2005-09-27 | 2014-11-04 | Qualcomm Incorporated | Methods and device for data alignment with time domain boundary |
| AT502881B1 (de) * | 2005-10-05 | 2007-08-15 | Pirker Wolfgang Ddr | Zahnimplantat |
| US8654848B2 (en) | 2005-10-17 | 2014-02-18 | Qualcomm Incorporated | Method and apparatus for shot detection in video streaming |
| US20070206117A1 (en) | 2005-10-17 | 2007-09-06 | Qualcomm Incorporated | Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video |
| US9521584B2 (en) * | 2005-10-17 | 2016-12-13 | Qualcomm Incorporated | Method and apparatus for managing data flow through a mesh network |
| US8948260B2 (en) | 2005-10-17 | 2015-02-03 | Qualcomm Incorporated | Adaptive GOP structure in video streaming |
| US7916784B2 (en) | 2005-10-20 | 2011-03-29 | Broadcom Corporation | Method and system for inverse telecine and field pairing |
| US7433982B2 (en) | 2005-10-21 | 2008-10-07 | Microsoft Corporation | Transferable component that effectuates plug-and-play |
| US20070171280A1 (en) | 2005-10-24 | 2007-07-26 | Qualcomm Incorporated | Inverse telecine algorithm based on state machine |
| JP4984503B2 (ja) * | 2005-11-28 | 2012-07-25 | 富士通株式会社 | 携帯端末装置およびソフトウェアインストール方法 |
| US7587569B2 (en) | 2005-12-19 | 2009-09-08 | Yahoo! Inc. | System and method for removing a storage server in a distributed column chunk data store |
| US7705913B2 (en) | 2005-12-20 | 2010-04-27 | Lsi Corporation | Unified approach to film mode detection |
| KR101153562B1 (ko) * | 2006-01-26 | 2012-06-11 | 삼성전기주식회사 | 압전 방식의 잉크젯 프린트헤드 및 그 제조방법 |
| US7835904B2 (en) * | 2006-03-03 | 2010-11-16 | Microsoft Corp. | Perceptual, scalable audio compression |
| US9131164B2 (en) | 2006-04-04 | 2015-09-08 | Qualcomm Incorporated | Preprocessor method and apparatus |
| JP4929819B2 (ja) | 2006-04-27 | 2012-05-09 | 富士通株式会社 | 映像信号の変換装置及び方法 |
| CN101589625B (zh) * | 2006-10-25 | 2011-09-21 | 弗劳恩霍夫应用研究促进协会 | 质量可缩放编码 |
| FR2925980B1 (fr) | 2007-12-28 | 2010-06-04 | St Microelectronics Sa | Plot de contact electrique |
| JP5412739B2 (ja) | 2008-03-26 | 2014-02-12 | 富士通株式会社 | 光増幅装置 |
-
2006
- 2006-09-26 US US11/528,139 patent/US8879635B2/en not_active Expired - Fee Related
- 2006-09-26 US US11/528,141 patent/US8879856B2/en active Active
- 2006-09-26 US US11/528,307 patent/US8879857B2/en not_active Expired - Fee Related
- 2006-09-26 US US11/528,140 patent/US9113147B2/en not_active Expired - Fee Related
- 2006-09-27 JP JP2008533639A patent/JP5139303B2/ja not_active Expired - Fee Related
- 2006-09-27 WO PCT/US2006/037994 patent/WO2007038725A2/en active Application Filing
- 2006-09-27 BR BRPI0616426-9A patent/BRPI0616426A2/pt not_active IP Right Cessation
- 2006-09-27 TW TW095135900A patent/TWI341097B/zh not_active IP Right Cessation
- 2006-09-27 KR KR1020107014583A patent/KR101242292B1/ko not_active IP Right Cessation
- 2006-09-27 EP EP10182837A patent/EP2293539A3/en not_active Ceased
- 2006-09-27 EP EP10181339A patent/EP2293570A1/en not_active Withdrawn
- 2006-09-27 KR KR1020087010082A patent/KR20080066717A/ko not_active Application Discontinuation
- 2006-09-27 JP JP2008533623A patent/JP5149188B2/ja active Active
- 2006-09-27 WO PCT/US2006/037948 patent/WO2007038701A1/en active Application Filing
- 2006-09-27 KR KR1020087010083A patent/KR100988753B1/ko active IP Right Grant
- 2006-09-27 KR KR1020087010079A patent/KR100989534B1/ko active IP Right Grant
- 2006-09-27 EP EP06815732A patent/EP1941741B1/en active Active
- 2006-09-27 EP EP06815755A patent/EP1938621A2/en not_active Ceased
- 2006-09-27 EP EP06804241A patent/EP1929784B1/en active Active
- 2006-09-27 EP EP15169041.9A patent/EP2945363B1/en active Active
- 2006-09-27 CA CA2623929A patent/CA2623929C/en not_active Expired - Fee Related
- 2006-09-27 AU AU2006294509A patent/AU2006294509B2/en not_active Expired - Fee Related
- 2006-09-27 CN CN201210162458.8A patent/CN102724498B/zh not_active Expired - Fee Related
- 2006-09-27 EP EP06815754A patent/EP1932362A1/en not_active Ceased
- 2006-09-27 TW TW095135901A patent/TWI350108B/zh not_active IP Right Cessation
- 2006-09-27 AT AT06804241T patent/ATE524926T1/de not_active IP Right Cessation
- 2006-09-27 JP JP2008533622A patent/JP5289959B2/ja not_active Expired - Fee Related
- 2006-09-27 CN CN201010579114.8A patent/CN101982977B/zh active Active
- 2006-09-27 TW TW095135902A patent/TWI348866B/zh active
- 2006-09-27 JP JP2008533640A patent/JP2009510937A/ja not_active Withdrawn
- 2006-09-27 EP EP10166125.4A patent/EP2227019B1/en not_active Not-in-force
- 2006-09-27 KR KR1020107019260A patent/KR101197508B1/ko not_active IP Right Cessation
- 2006-09-27 EP EP10179387A patent/EP2302932A1/en not_active Withdrawn
- 2006-09-27 KR KR1020087010084A patent/KR100968106B1/ko not_active IP Right Cessation
- 2006-09-27 TW TW095135898A patent/TWI376952B/zh active
- 2006-09-27 WO PCT/US2006/037949 patent/WO2007038702A1/en active Application Filing
- 2006-09-27 CA CA2805916A patent/CA2805916A1/en not_active Abandoned
- 2006-09-27 KR KR1020127021981A patent/KR101326443B1/ko not_active IP Right Cessation
- 2006-09-27 WO PCT/US2006/037993 patent/WO2007038724A1/en active Application Filing
- 2006-09-28 AR ARP060104255A patent/AR055665A1/es active IP Right Grant
- 2006-09-28 AR ARP060104256A patent/AR056100A1/es active IP Right Grant
- 2006-09-28 AR ARP060104258A patent/AR056102A1/es active IP Right Grant
-
2008
- 2008-03-26 IL IL190457A patent/IL190457A0/en unknown
- 2008-04-01 NO NO20081605A patent/NO20081605L/no not_active Application Discontinuation
-
2009
- 2009-08-14 US US12/541,780 patent/US9088776B2/en not_active Expired - Fee Related
-
2012
- 2012-02-13 JP JP2012028724A patent/JP5677992B2/ja active Active
- 2012-02-13 JP JP2012028725A patent/JP5562989B2/ja not_active Expired - Fee Related
- 2012-05-17 JP JP2012113427A patent/JP2012199961A/ja active Pending
-
2013
- 2013-02-06 US US13/760,233 patent/US9071822B2/en active Active
- 2013-02-25 JP JP2013034669A patent/JP2013157994A/ja active Pending
- 2013-06-19 JP JP2013128473A patent/JP2013232935A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001045494A (ja) * | 2000-01-01 | 2001-02-16 | Mitsubishi Electric Corp | 画像符号化装置 |
| JP2005123732A (ja) * | 2003-10-14 | 2005-05-12 | Matsushita Electric Ind Co Ltd | デブロックフィルタ処理装置およびデブロックフィルタ処理方法 |
Non-Patent Citations (1)
| Title |
|---|
| JPN6011008188; ｖａｎ ｄｅｒ Ｓｃｈａａｒ， Ｍ．: 'Ａ ｈｙｂｒｉｄ ｔｅｍｐｏｒａｌ-ＳＮＲ ｆｉｎｅ-ｇｒａｎｕｌａｒ ｓｃａｌａｂｉｌｉｔｙ ｆｏｒ Ｉｎｔｅｒｎｅｔ ｖｉｄｅｏ' ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ Ｖｏｌ．１１， Ｎｏ．３, 200103, ｐｐ．３１８-３３１, ＩＥＥＥ * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110101101A (ko) * | 2010-03-05 | 2011-09-15 | 삼성전자주식회사 | 파일 포맷 기반의 적응적 스트림 생성, 재생 방법 및 장치와 그 기록 매체 |
| KR101695214B1 (ko) | 2010-03-05 | 2017-01-11 | 삼성전자주식회사 | 파일 포맷 기반의 적응적 스트림 생성, 재생 방법 및 장치와 그 기록 매체 |
| US9906580B2 (en) | 2010-03-05 | 2018-02-27 | Samsung Electronics Co., Ltd | Method and apparatus for generating and reproducing adaptive stream based on file format, and recording medium thereof |
| US10630759B2 (en) | 2010-03-05 | 2020-04-21 | Samsung Electronics Co., Ltd | Method and apparatus for generating and reproducing adaptive stream based on file format, and recording medium thereof |
| JP2014509120A (ja) * | 2011-01-21 | 2014-04-10 | トムソン ライセンシング | コンテンツプロファイルを用いる高度化された遠隔トランスコーディングのためのシステム及び方法 |
| US9681091B2 (en) | 2011-01-21 | 2017-06-13 | Thomson Licensing | System and method for enhanced remote transcoding using content profiling |
| JP2017192142A (ja) * | 2011-01-21 | 2017-10-19 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | コンテンツプロファイルを用いる高度化された遠隔トランスコーディングのためのシステム及び方法 |
| JP2014528663A (ja) * | 2011-10-01 | 2014-10-27 | インテル・コーポレーション | ビデオトランスコーディングにおける後処理および前処理を統合するためのシステム、方法およびコンピュータプログラム |
| JP2017507533A (ja) * | 2013-12-30 | 2017-03-16 | グーグル インコーポレイテッド | 分散トランスコーディングのためのコンテンツ適応的なチャンキング |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5149188B2 (ja) | コンテンツ情報を使用してマルチメディアトランスコーディングを調整するコンテンツ駆動トランスコーダ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110215 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110513 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110520 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110615 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110711 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120117 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20120417 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20120424 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120517 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120911 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5149188 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151207 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |