CN111526350B - 自适应视频处理 - Google Patents
自适应视频处理 Download PDFInfo
- Publication number
- CN111526350B CN111526350B CN202010303152.4A CN202010303152A CN111526350B CN 111526350 B CN111526350 B CN 111526350B CN 202010303152 A CN202010303152 A CN 202010303152A CN 111526350 B CN111526350 B CN 111526350B
- Authority
- CN
- China
- Prior art keywords
- display panel
- video
- display
- video data
- video content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 137
- 230000003044 adaptive effect Effects 0.000 title abstract description 97
- 230000007613 environmental effect Effects 0.000 claims abstract description 87
- 238000003672 processing method Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims description 116
- 238000013507 mapping Methods 0.000 claims description 99
- 238000003384 imaging method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 30
- 230000004044 response Effects 0.000 claims description 26
- 238000012546 transfer Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 abstract description 76
- 238000009877 rendering Methods 0.000 abstract description 44
- 230000002093 peripheral effect Effects 0.000 description 40
- 238000004891 communication Methods 0.000 description 33
- 238000007726 management method Methods 0.000 description 32
- 238000006243 chemical reaction Methods 0.000 description 29
- 230000033001 locomotion Effects 0.000 description 29
- 238000012886 linear function Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 16
- 230000003287 optical effect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000000007 visual effect Effects 0.000 description 15
- 230000009467 reduction Effects 0.000 description 14
- 238000003860 storage Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 241000023320 Luma <angiosperm> Species 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 239000004744 fabric Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 108091008695 photoreceptors Proteins 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 238000012887 quadratic function Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000008278 dynamic mechanism Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000013341 scale-up Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2007—Display of intermediate tones
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G5/005—Adapting incoming signals to the display format of the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
- H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
- H04N1/6066—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced dependent on the gamut of the image to be reproduced
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/50—Tuning indicators; Automatic tuning control
- H04N5/505—Invisible or silent tuning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0613—The adjustment depending on the type of the information to be displayed
- G09G2320/062—Adjustment of illumination source parameters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/066—Adjustment of display parameters for control of contrast
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0693—Calibration of display systems
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/10—Special adaptations of display systems for operation with variable images
- G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
- G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/485—End-user interface for client configuration
- H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Emergency Management (AREA)
- General Engineering & Computer Science (AREA)
- Environmental Sciences (AREA)
- Remote Sensing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Controls And Circuits For Display Device (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请涉及自适应视频处理。本发明公开了一种自适应视频处理方法和装置，该自适应视频处理方法和装置可通过解码流水线和/或编码流水线来实现。该自适应视频处理方法在处理视频内容并针对环境设置或环境中的目标显示面板对其进行再现时可将包括视频内容、显示特征和环境条件的信息考虑在内。该自适应视频处理方法可使用该信息来调整如被应用于视频数据的一个或多个视频处理功能，以根据周围环境或查看条件针对目标显示面板来对适用于显示面板的视频进行再现。
Description
本申请是申请日为2015年2月25日、申请号为201580010103.9、名称为“自适应视频处理”的发明专利申请的分案申请。
技术领域
本公开整体涉及数字视频或图像处理和显示。
背景技术
包括但不限于个人计算机系统、台式计算机系统、膝上型电脑和笔记本式计算机、平板电脑或平板设备、数码相机、数字视频录像机、和移动电话或智能电话的各种设备可包括可实施一种或多种视频处理方法的软件和/或硬件。例如，设备可包括可根据一种或多种视频处理方法来接收和处理来自一个或多个源的数字视频输入并输出经处理的视频帧的装置(例如集成电路(IC)，诸如片上系统(SOC)、或IC的子系统)。又如，可在设备上实施可根据一种或多种视频处理方法来接收和处理来自一个或多个源的数字视频输入并将经处理的视频帧输出至一个或多个目的地的软件程序。
例如，视频编码器可被实现为其中数字视频输入根据视频编码方法被编码或转换为另一种格式例如压缩视频格式(诸如H.264/高级视频编码(AVC)格式或H.265高效视频编码(HEVC)格式)的装置或另选的软件程序。又如，视频解码器可被实现为其中压缩视频格式(诸如AVC或HEVC)的视频被接收并根据视频解码方法被解码或转换为另一(解压缩)格式例如显示设备所使用的显示格式的装置或另选的软件程序。H.264/AVC标准被ITU-T公布于标题为“ITU-T Recommendation H.264:Advanced video coding for generic audiovisualservices”的文档中。H.265/HEVC标准被ITU-T公布于标题为“ITU-T RecommendationH.265:High Efficiency Video Coding”的文档中。
在许多系统中，装置或软件程序可实现视频编码器部件和视频解码器部件两者；诸如装置或程序通常被称为编解码器。需注意，编解码器可对视频流中的视觉/图像数据和音频/声音数据两者进行编码/解码。
常规地，在数字图像和视频处理中，数字图像(例如，视频图像或静态图像)被捕捉、再现并显示在有限的动态范围内，其被称为标准动态范围(SDR)成像。此外，常规地使用相对较窄的色域对图像进行再现以用于显示，其被称为标准色域(SCG)成像。扩展或高动态范围(HDR)成像是指在电子图像(例如，被显示在显示屏或显示设备上的)中产生比使用标准数字成像技术和工艺(被称为标准动态范围成像或SDR成像)所获取的更大范围亮度的技术和工艺。许多新的设备诸如图像传感器和显示器支持HDR成像以及广色域(WCG)成像。这些设备可被称为支持HDR的设备或被简称为HDR设备。
发明内容
本公开描述了用于数字图像内容例如视频帧或视频流的自适应处理、再现和显示的方法和装置的各种实施方案，其描述了可自适应地再现视频数据以用于显示给目标显示面板的视频处理方法和装置的实施方案。自适应视频处理方法在处理视频内容并针对环境设置或环境中的目标显示面板对其进行再现时可将各种信息考虑在内，该各种信息包括但不限于视频内容、显示特征和环境条件，该环境条件包括但不限于环境照明和查看者相对于显示面板的位置。自适应视频处理方法可使用该信息来调整如被应用于视频数据的一种或多种视频处理功能(例如，噪声/伪影消减、缩放、锐化、色调映射、色域映射、帧率转换、白点校正和/或黑点校正、色彩平衡等)，以根据周围环境或查看条件针对目标显示面板来对适用于显示面板的视频进行再现。
在一些实施方案中，针对目标显示面板的自适应视频处理可在与目标显示面板相关联的解码/显示模块或流水线中实现或通过其实现。这些实施方案可被称为显示器侧自适应视频处理系统。在至少一些实施方案中，解码/显示流水线可接收经编码的视频流并对用于目标显示面板的该经编码的视频流进行解码。可分析经解码的视频内容以确定视频的帧内和/或帧间特征，例如亮度特征(例如，动态范围宽度)、色彩特征(例如，色彩范围)、帧间运动、镜面高光、对比度、亮区和暗区等。可获取用于目标显示面板的一个或多个显示特征。显示特征可包括但不限于以下各项中的一者或多者；所测量的响应、显示格式、显示动态范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前显示控件设置等。可获取有关目标显示面板的当前环境的信息。例如，包括显示面板的设备可包括可用于从周围环境采集数据(例如，光照、查看者位置等)的一个或多个前向传感器和/或后向传感器；所采集的数据可被分析以确定一个或多个环境指标。然后解码/显示流水线根据内容特征、显示特征和当前环境信息来处理经解码的视频，以生成适用于目标显示面板和当前环境的视频。
在一些实施方案中，针对目标显示面板的自适应视频处理可在服务器/编码流水线中实现或通过服务器/编码流水线实现。这些实施方案可被称为服务器侧自适应视频处理系统。在至少一些实施方案中，服务器/编码流水线可获取用于目标显示面板的视频内容。目标显示面板可支持高动态范围(HDR)和广色域(WCG)成像。服务器/编码流水线可获取或确定输入视频内容的一个或多个特征。服务器/编码流水线可获取目标显示面板的显示信息和/或环境信息，例如从目标显示面板在其上实现的示例性系统获取。显示信息可指示显示特征，该显示特征可包括但不限于以下各项中的一者或多者：所测量的响应、格式、分辨率、尺寸、动态范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前显示控件设置等。环境信息可包括但不限于各种环境光照指标和查看者指标诸如查看者相对于目标显示面板的位置。
服务器/编码流水线可根据色域映射技术来将视频内容映射到目标显示面板的色域。色域映射技术可根据所获取的信息而被选择、修改或调整。例如，可根据显示信息来将源数据的色域映射到目标显示面板的位深度和色域。又如，在色域映射技术中所使用的曲线、传递函数和/或查找表可基于一个或多个指标(包括但不限于由环境信息所指示的显示面板处的当前环境光照指标)来修改或调整。
服务器/编码流水线可根据色调映射技术来将视频内容映射到目标显示面板的动态范围。色调映射技术可根据所获取的信息来调整。例如，可根据显示信息来将源数据的动态范围映射到目标显示面板的位深度。又如，在色调映射技术中所使用的色调曲线和/或传递函数可基于一个或多个指标(包括但不限于由环境信息所指示的显示面板处的当前环境光照指标)来修改或调整。在一些实施方案中，代替全局色调曲线或除此之外，还可将视频帧细分为多个区域，并且可至少部分地基于显示信息和/或环境信息来动态地选择针对每个区域的局部色调曲线。
服务器/编码流水线可对视频内容进行编码并将经编码的视频内容传输至与目标显示面板相关联的解码/显示流水线。该解码/显示流水线对视频内容进行解码并显示。由于到由目标显示面板所支持的动态范围和色域的显示面板特有的色调和色域映射在服务器/编码侧执行，因此解码/显示流水线可无需任何更改或修改来支持HDR和/或WCG成像。
一些实施方案可包括显示器亮度调整装置和方法，显示器的平均亮度可经由这些装置和方法使用非线性函数按比例增加或减小。在施加非线性函数来降低亮度的情况下，输出信号的对比度可不被降低，使得动态范围和高光区得以保持。例如响应于由一个或多个传感器所检测到的环境光线水平，非线性亮度调整可自动执行，但这也可响应于对亮度控制旋钮或滑块的用户调整而被执行。非线性亮度调整可全局地执行，或者另选地可对图像或显示面板的局部区域执行。非线性函数可为分段线性函数或为某个其他非线性函数。
附图说明
图1示出了根据一些实施方案的视频回放系统中的自适应视频处理。
图2示出了根据一些实施方案的示例性解码/显示流水线中的自适应视频处理。
图3示出了根据一些实施方案的执行自适应视频处理的示例性解码/显示流水线。
图4示出了根据一些实施方案的执行自适应视频处理的示例性显示管和显示后端。
图5示出了根据一些实施方案的用于解码/显示流水线中的自适应视频处理的方法的流程图。
图6A和图6B示出了相对于示例性显示面板的人类感知范围。
图7图形化地示出了根据一些实施方案的感知色彩管理。
图8示出了根据一些实施方案的在SDR输入视频中执行SDR到HDR转换以生成适用于HDR显示的显示视频内容的示例性解码/显示流水线。
图9为根据一些实施方案的用于执行SDR到HDR转换视频以生成适用于HDR显示的显示视频内容的方法的流程图。
图10示出了根据一些实施方案的其中服务器侧编码流水线生成适用于目标显示面板的输出视频数据的示例性视频回放系统。
图11示出了根据一些实施方案的其中服务器侧编码流水线生成适用于目标显示面板的输出视频数据的视频回放方法的流程图。
图12示出了缩放系数为0.5的亮度(亮度)调整的输入输出关系。
图13示出了根据至少一些实施方案的非线性亮度调整函数的输入输出关系。
图14为根据至少一些实施方案的非线性亮度调整方法的流程图。
图15为可被配置为实现本文所述系统和方法的各方面的片上系统(SOC)的一个实施方案的框图。
图16为可包括一个或多个SOC的系统的一个实施方案的框图。
图17示出了根据一些实施方案的可被配置为实现本文所述系统和方法的各方面的示例性计算机系统。
图18示出了根据一些实施方案的便携式多功能设备的框图。
图19示出了根据一些实施方案的便携式多功能设备。
尽管本发明易受各种修改形式和替代形式的影响，但附图中以举例的方式示出了其具体实施方案并将在本文详细描述。然而，应当理解，附图和对其的详细描述并不是要将本发明限制到所公开的具体形式，而相反，本发明旨在涵盖落入到本发明的实质和范围内的所有修改形式、等同形式和替代形式。如在整个专利申请中所使用的那样，以允许的意义(即，意味着具有可能性)而不是强制的意义(即，意味着必须)来使用“可以”一词。类似地，字词“包括”(“include”,“including”，和“includes”)意味着包括但不限于。
各种单元、电路或其他部件可被描述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”是通常意味着“具有”在操作期间执行一项或多项任务的“电路”的结构的宽泛表述。如此，即使在单元/电路/部件当前未接通时，单元/电路/部件也可被配置为执行该任务。通常，形成与“被配置为”对应的结构的电路可包括硬件电路。类似地，为了描述中方便，可将各种单元/电路/部件描述为执行一项或多项任务。此类描述应当被解释成包括短语“被配置为”。表述被配置为执行一项或多项任务的单元/电路/部件明确地旨在对该单元/电路/部件不援引35U.S.C.§112，第六段的解释。
具体实施方式
本公开描述了用于数字图像内容例如视频帧或视频流的自适应处理、再现和显示的方法和装置的各种实施方案。描述了可自适应地再现视频数据以用于显示给目标显示面板的视频处理方法和装置的实施方案。自适应视频处理方法在处理视频内容并针对环境设置或环境中的目标显示面板对其进行再现时可将各种信息考虑在内，该各种信息包括但不限于视频内容、显示特征和环境条件，该环境条件包括但不限于环境照明和查看者相对于显示面板的位置。自适应视频处理方法可使用该信息来调整如被应用于视频数据的一个或多个视频处理功能(例如，噪声/伪影消减、缩放、锐化、色调映射、色域映射、帧率转换、白点校正和/或黑点校正、色彩平衡等)，以根据周围环境或查看条件针对目标显示面板来对适用于显示面板的视频进行再现。
常规地，已设计出针对标准动态范围(SDR)成像的视频处理算法。随着高动态范围(HDR)成像技术、系统和显示器的出现，针对HDR成像的视频处理技术的需求已出现。对于HDR视频处理，可存在需要不同于使用SDR视频处理来完成的某些事情。例如，相比于SDR视频，HDR视频可需要更有力的降噪，这可具有更易看见的抖动并且可需要不同锐度和细节增强。因此，本文所述的自适应视频处理方法和装置的实施方案可实现针对HDR成像的视频处理技术。此外，实施方案还可支持广色域(WCG)成像。
通常定义的动态范围为诸如像声音和光之类的信号中的可改变量的最大可能值和最小可能值之间的比率。在数字图像处理中，高动态范围(HDR)图像是使用HDR成像技术产生的图像，该HDR成像技术产生比使用标准数字成像技术所获取的更大范围亮度。例如，HDR图像可包括比常规图像处理中所使用的(通常，每个通道8位，例如针对色彩/色度和针对亮度的8位)每个通道的更多个位(例如，每个亮度和色度通道10、12、14或更多个位)，或者针对亮度(亮度通道)的更多个位。使用标准数字成像技术所产生的图像可被称为具有标准动态范围(SDR)，并且通常使用每个通道8位。通常定义的色调映射是将一组色调图像值(例如，来自HDR图像数据的亮度值)映射到另一组色调图像值(例如，到SDR图像数据)的技术。色调映射可用于例如粗略估算HDR图像在具有更有限动态范围的介质(例如，SDR)中的外观。色调映射通常可被应用于亮度图像数据。
在如本文所述的视频处理方法和装置的一些实施方案中，全局色调映射(GTM)技术可用于将视频内容从一个动态范围转换到另一个动态范围。在GTM技术中，全局色调曲线可针对一个或多个视频帧来指定或确定并且用于将视频内容从一个动态范围转换到另一个动态范围。在一些实施方案中，代替GTM技术或除此之外，局部色调映射(LTM)技术可用于将视频内容从一个动态范围转换到另一个动态范围。在LTM技术中，图像或帧被分为多个区域，其中针对每个区域来指定或确定色调曲线。
通常定义的色域是指色彩的特定子集，例如可在给定情况下诸如在给定色彩空间(例如，RGB色彩空间)内准确表示或由显示设备准确表示的色彩的子集。色域还可涉及在图像内存在的整组色彩。色域映射技术可用于例如将在一个色彩空间中所表示的色彩转换为再另一色彩空间中所使用的色域。色域映射技术(也可被称为色彩或色度映射)可被应用于图像数据(通常被应用于色度图像数据)，并且在一些情况下可缩窄或缩减图像的色域，或者另选地可用于在色调映射期间或之后修正或调整图像的色域或范围。
在光度学中，亮度的SI单位是坎每平方米(cd/m2)。坎是发光强度的SI单位。相同单位的非SI术语是“NIT”。勒克斯(lux)是用于测量每单位面积的光通量(流明)的照度和发光度的SI单位。勒克斯等于一流明每平方米。流明是光通量的SI导出单位，并且是由光源发出的可见光的度量。
自适应视频处理系统
图1示出了根据一些实施方案的示例性视频回放系统中的自适应视频处理。自适应视频处理方法和装置的实施方案例如可在包括服务器/编码模块或流水线110和解码/显示模块或流水线130的视频回访系统中实现。服务器/编码流水线110和解码/显示流水线130可在相同的设备中实现，或者可在不同的设备中实现。服务器/编码流水线110可在包括至少一个视频源100诸如一个或多个摄像机的设备或系统中实现。解码/显示流水线130可在包括目标显示面板140并定位在周围环境190中的设备或系统120中实现。一个或多个人类查看者180可位于周围环境190中。系统120可包括或可实施用于显示面板140的一个或多个控件160，例如亮度和对比度控件。系统120还可包括一个或多个传感器150，诸如光传感器或相机。周围环境190例如可以是房屋中的房间(卧室、私室等)、室外设置、办公楼中的办公室或会议室，或者一般来说，具有显示面板140的系统120可存在于其中的任何环境。周围环境190可包括一个或多个光源192，诸如电灯或吊灯、其他人工光源、窗户和室外环境中的阳光。需注意，系统120和/或显示面板可在周围环境190内移动或重新定位，或者从一个周围环境190(例如，房间)移动到另一个周围环境(例如，另一房间或室外环境)。
在至少一些实施方案中，服务器/编码流水线110可从视频源100(例如，来自包括服务器/编码流水线110的设备或系统上的摄像机)接收输入视频，根据视频编码方法将输入视频转换为另一格式例如压缩视频格式(诸如H.264/高级视频编码(AVC)格式或H.265高效视频编码(HEVC)格式)，并且将经编码的视频流式传输112至解码/显示流水线130。解码/显示流水线130可接收经编码的视频流112并对其进行解码以生成显示视频132以用于显示在显示面板140上。在一些实施方案中，描述编码的元数据114也可由服务器/编码流水线110提供至解码/显示流水线130。例如，元数据可包括用于描述对视频内容所执行的色域映射和/或色调映射操作的信息。在一些实施方案中，元数据114可被解码/显示流水线130用于处理输入视频流112，以生成输出显示视频132内容。
图1所示的视频回放系统可实现如本文所述的一个或多个自适应视频处理方法和装置，其在处理视频内容并针对目标显示面板140对该环境设置或环境190中的该视频内容进行再现时可将各种信息考虑在内，包括但不限于视频内容、显示信息142(例如，显示面板140特征、控制输入162、背光水平等)和环境信息152(例如，环境光照192、查看者180位置等)。自适应视频处理方法和装置可使用从传感器150、显示面板140或从其他来源获取的信息来调整一个或多个视频处理功能(例如，噪声/伪影消减、缩放、锐化、色调映射、色域映射、帧率转换、白点校正和/或黑点校正、色彩平衡等)，这些视频处理功能被应用于视频数据，以针对目标显示面板140对适用于显示面板140的特征和环境190中的周围查看条件的视频进行再现。
在一些实施方案中，针对目标显示面板140的自适应视频处理可在解码/显示流水线130中实现或通过该解码/显示流水线130实现。这些实施方案可被称为显示器侧自适应视频处理系统。在一些实施方案中，针对目标显示面板140的自适应视频处理可在服务器/编码流水线110中实现或通过该服务器/编码流水线110实现。这些实施方案可被称为服务器侧自适应视频处理系统。在一些实施方案中，一些自适应视频处理功能可在将经编码的视频流式传输至解码/显示流水线130之前由服务器/编码流水线110来执行，其中附加自适应视频处理由解码/显示流水线130来执行。
包括但不限于本文所述的服务器/编码流水线110部件和解码/显示流水线130部件的自适应视频处理方法和装置的实施方案可例如在包括一个或多个图像捕获设备和/或一个或多个显示设备的设备或系统中实现。
图像捕获设备可以是包括能够捕获数字图像或视频的光学传感器或感光器的任何设备。图像捕获设备可包括但不限于摄像机和静态图像相机，以及可捕获视频和单一图像的图像捕获设备。图像捕获设备可以是独立的设备或者可以是集成到其他设备(包括但不限于智能电话、手机、PDA、平板电脑或平板设备、多功能设备、计算设备、膝上型计算机、笔记本电脑、上网本、台式计算机等)中的相机。需注意，图像捕获设备可包括适用于小型设备诸如手机、PDA和平板设备的小外形相机。图15到19示出了可包括如本文所述的图像捕获设备或相机的设备的非限制性示例。
显示器或显示设备可包括显示屏或面板，这些显示屏或面板集成到其他设备中，该其他设备包括但不限于智能电话、手机、PDA、平板电脑或平板设备、多功能设备、计算设备、膝上型计算机、笔记本电脑、上网本、台式计算机等。显示设备还可包括视频监视器、投影仪，或者一般来说，可显示或投射数字图像和/或数字视频的任何设备。显示器或显示设备可使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，尽管也可使用其他显示技术。
自适应视频处理方法和装置的实施方案通常被描述为支持对HDR视频数据进行捕获、处理、编码、分配并显示给支持HDR的显示设备。此外，实施方案还可支持广色域(WCG)成像。然而，本文所述的自适应视频处理方法和装置的实施方案还可应用于不支持HDR成像的显示设备。此外，一些实施方案可支持将标准动态范围(SDR)视频数据显示给支持HDR的显示设备和不支持HDR成像的显示设备中的一者或两者。
自适应视频处理方法和装置的实施方案在本文中通常被描述为处理视频帧或序列。然而，代替视频帧或序列以及其他数字图像或除此之外，实施方案还可应用于处理单一图像或静态图像。因此，在本文中使用“视频”、“视频帧”、“帧”等时，应当理解，这些术语一般来说是指数字图像。
图15到19示出了自适应视频处理方法和装置的实施方案可于其中实现的设备的非限制性示例。包括图像捕获设备和/或显示设备的设备或系统可包括实现处理本文所述视频数据的功能的至少一部分的硬件和/或软件。在一些实施方案中，本文所述功能的一部分可在一个设备上实现，而其他部分可在另一设备上实现。例如，在一些实施方案中，包括图像捕获设备的设备可实现对经由感光器捕获的图像或视频进行处理和压缩(即，编码)的传感器流水线，而包括显示面板或显示屏的另一设备可实现对经压缩的图像进行接收和处理(即，解码)以用于显示给显示面板或显示屏的显示流水线。在一些实施方案中，本文所述的功能中的至少一些功能可由可用于设备中的片上系统(SOC)的一个或多个部件或模块来实现，这些设备包括但不限于多功能设备、智能电话、平板电脑或平板设备和其他便携式计算设备诸如膝上型电脑、笔记本电脑和上网本等。图15示出了示例性SOC，并且图16示出了实现SOC的示例性设备。图17示出了可实现本文所述方法和装置的示例性计算机系统。图18和19示出了可实现本文所述的方法和装置的示例性多功能设备。
显示器侧自适应视频处理
再次参见图1，在一些实施方案中，针对目标显示面板140的自适应视频处理可在解码/显示流水线130中实现或通过该解码/显示流水线130实现。这些实施方案可被称为显示器侧自适应视频处理系统。解码/显示流水线130可例如在包括目标显示面板140并定位在周围环境190中的设备或系统120中实现。
图5示出了根据一些实施方案的用于解码/显示流水线中的显示器侧自适应视频处理的方法的流程图。如在图5的500处所指出的，解码/显示流水线可针对目标显示面板对经编码的视频流进行接收和解码。例如，来自服务器/编码流水线的经编码的HDR视频数据可由解码/显示流水线接收；目标显示面板可以是支持HDR的显示设备。例如可根据压缩视频如H.264/AVC或H.265/HEVC格式来对视频数据进行编码。解码/显示流水线的解码器部件可对经编码的视频进行解码以生成经解码的HDR视频内容。
如在图5的502处所指出的，可确定经解码的视频内容的一个或多个特征。例如，在一些实施方案中，可分析经解码的视频内容以确定视频的帧内和/或帧间特征，例如亮度特征(例如，动态范围)、色彩特征(例如，色彩范围)、帧间运动、镜面高光、对比度、亮区和暗区等。
如在图5的504处所指出的，可获取于目标显示面板的一个或多个显示特征。显示特征可包括但不限于以下各项中的一者或多者：所测量的响应、显示格式、显示动态范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前显示控件设置等。
如在图5的506处所指出的，可获取环境信息。例如，在一些实施方案中，包括显示面板的设备可包括可用于从周围环境采集数据的一个或多个前向传感器和/或后向传感器(例如，相机、光传感器等)；所采集的数据可被分析以确定一个或多个环境指标。环境指标可包括但不限于各种环境光照指标和查看者指标诸如查看者相对于显示面板的位置、显示面板的尺寸和距显示面板的距离。环境光照指标例如可包括有关入射到显示面板的光、来自显示面板的反射光水平的指标，以及查看者/用户面对的视野(或背景)的指标(例如，亮度、色彩、白点等)。
如在图5的508处所指出的，解码/显示流水线可根据内容特征、显示特征和当前环境信息来处理经解码的视频，以生成适用于显示面板和当前环境的视频。在一些实施方案中，基于内容特征、显示特征和环境指标，可调整解码/显示流水线的一个或多个视频处理功能(例如，噪声/伪影消减、缩放和锐化、帧率转换、显示管理、色域和色调映射等)，以使经解码的HDR视频内容适用于显示在目标显示面板上。如在图5的510处所指出的，经处理的视频可被显示给目标显示面板。
尽管在图5中未示出，但在一些实施方案中，解码/显示流水线可包括使其他数字信息诸如文本与流式视频内容复合的复合部件。在一些实施方案中，解码/显示流水线可将输入视频转换为线性色彩空间(例如，线性RGB或YCC色彩空间)，以用于在图5的元件508之前复合。然后可根据内容特征、显示特征和当前环境信息来处理复合部件的输出，以生成适用于显示面板和当前环境的视频。
参考图1到图4对图5的元件进行更加详细的描述。
再次参见图1，在显示器侧自适应视频处理系统的实施方案中，解码/显示流水线130可获取经编码的视频流112、显示信息142A和环境信息152A并将以下各项中的一者或多者考虑在内，包括但不限于视频内容、显示面板特征、查看者180相对于目标显示面板的位置、环境光照192和在执行HDR视频处理时显示面板140处的其他周围环境190条件。可在解码/显示流水线130处从服务器/编码流水线110接收经编码的HDR视频数据112并进行解码。在一些实施方案中，可分析经解码的视频数据以确定例如亮度特征(例如，动态范围)、色彩特征(例如，色彩范围)、帧间运动、镜面高光、对比度、亮区和暗区等。基于对视频内容的分析，可调整解码/显示流水线130的一个或多个视频处理功能(例如，噪声/伪影消减、缩放和锐化、帧率转换、显示管理等)，以使视频内容适用于显示在目标显示面板140上。在一些实施方案中，还可考虑目标显示面板140的一个或多个显示特征(例如，显示格式、动态范围、位深度、背光水平、白点、当前控件160设置等)，从而调整视频处理功能。
在一些实施方案中，替代性地或除此之外，还可根据对由位于目标显示面板140处或其附近的一个或多个传感器150(例如，相机、光传感器等)所检测到的显示面板的一个或多个当前环境条件的分析来动态地调整视频处理功能以使显示视频动态地适用于当前环境190。在一些实施方案中，可至少部分地基于由一个或多个传感器150所检测到的一个或多个查看者180特征诸如相对于显示面板140的位置、距离和查看角度来调整视频处理功能。在一些实施方案中，可经由一个或多个传感器150来获取有关显示面板140的环境190的信息152A诸如环境光线192水平，并且可至少部分地基于所获取的环境信息152A来调整视频处理功能以使显示视频适用于周围环境190。
在一些实施方案中，可获取并使用其他信息来调整解码/显示流水线130中的视频处理，以使显示视频以查看者的想法或查看意图为目标，其可被称为查看模式。例如，在一些实施方案中，可使用光照、位置、当日时间、生物识别和/或其他数据来自动确定视频的查看模式。所确定的查看模式继而可用于调整视频处理功能中的一种或多种视频处理功能，以使显示视频适用于查看模式。查看模式的范围可从平静或轻松查看模式到影片或动态查看模式。在一些实施方案中，替代性地或除此之外，还可使用用户输入(例如，经由显示面板控件、遥控器、智能电话应用程序等)来确定或调整查看模式。
在一些实施方案中，除了执行上述解码/显示流水线130中的显示器侧自适应视频处理之外，还可将由系统120所采集的至少一些环境信息152B和/或显示信息142B向上流式传输至视频回放系统中的服务器/编码流水线110。服务器/编码流水线110继而可将包括但不限于显示面板140特征、查看者180相对于目标显示面板的位置、环境光照192和在对从来源100获取的视频内容进行处理和编码时显示面板140处的其他周围环境190条件中的一者或多者考虑在内，以生成经编码的视频流112。例如，在一些实施方案中，解码/显示流水线130可用于实时流式传输、录制或视频捕获环境，并且系统120可将一个或多个显示器侧指标142B和152B馈送回到服务器/编码流水线110，使得流水线110可在处理来自来源100的输入视频内容时相应地调整或调整一个或多个编码功能，以生成经编码的视频流112。
图2到4示出了可实现本文所述的自适应视频处理方法的示例性显示器侧部件和流水线。
图2为图形化地示出了根据一些实施方案的示例性解码/显示流水线处理中的自适应视频处理方法的应用程序的框图。需注意，图2示出了高功能水平的示例性解码/显示流水线210，其并非旨在进行限制。在该示例中，流水线210实现噪声伪影消减212、缩放和锐化214、帧率转换216和显示管理218功能。流水线210处理输入视频200以生成显示视频232作为输出。如图2所示，包括视频200内容的特征、显示面板240特征和环境条件(包括但不限于查看者位置和环境光照)的信息可被输入到流水线210的一个或多个阶段并在该一个或多个阶段处使用，以在当前环境条件下自适应地再现视频内容，以用于显示到目标显示面板240。在至少一些实施方案中，解码/显示流水线210可被配置为处理HDR视频200输入，以生成用于目标显示面板240的HDR显示视频232。然而，替代性地或除此之外，解码/显示流水线210还可被配置为处理SDR视频200输入，以生成SDR显示输出232。
对于HDR视频处理，可存在需要不同于利用标准(SDR)视频来完成的某些事情。通常，对于更明亮的图像，阴影区或暗区中的噪声变得更易看见。因此，在HDR视频处理中，可能需要解码/显示流水线210执行更有力的噪声/伪影消减212。此外，对于更明亮的图像和yi'dong，在HDR视频帧中可能存在更多的抖动，这可能导致人眼难以追踪的模糊外观。因此，对于解码/显示流水线210中的HDR视频处理，可能需要以与在SDR视频处理中不同的方式执行缩放和锐化214以及帧率转换216。
常规地，视频处理流水线已经由到各种控件或用户界面(UI)元件的用户输入而受到控制，并且在再现用于显示的视频时，并不动态地自适应于指标诸如视频内容、显示特征、人眼查看距离和角度以及环境光照条件。如图2所示，解码/显示流水线210的实施方案可利用从输入视频200内容、显示面板240和环境(包括但不限于查看者位置和环境条件诸如环境光照)采集或生成的指标来使视频内容动态地适应于在不同查看环境和条件中j'x显示。此外，可使用指标来优化视频处理功能或模块中的HDR视频处理，这些视频处理功能或模块包括但不限于噪声/伪影消减212、缩放和锐化214、帧率转换216和显示管理218功能或模块。
参考图2，输入视频200数据可被馈送到内容特征220块或模块。模块220可分析视频内容以确定例如动态范围有多宽、帧间或场景间存在多少运动、色彩范围、镜面高光区、对比度、亮区和暗区等。此外，可获取用于目标显示面板240的一个或多个显示特征230。显示特征230可包括但不限于以下各项中的一者或多者；所测量的响应、显示格式、显示动态范围、位深度、一个或多个背光水平、白点、黑光泄漏、反射率、局部对比增强或映射、当前显示控件设置等。至少部分地基于对视频内容和显示特征的分析，某些控件可确定并相应地探究视频处理模块中的不同模块(例如，噪声/伪影消减212、缩放和锐化214、帧率转换216和显示管理218)来调整输入视频200的处理，以生成用于目标显示面板240的HDR显示视频232。
在HDR视频处理中考虑的重要因素是人的感知。如果人眼查看距离/角度是已知的，则可完成可提高查看者体验的若干事情。因此，设备可包括一个或多个传感器250和软件/硬件(查看者位置260模块)，以用于检测和分析人类(查看者)位置、距离和查看角度。流水线210中的一个或多个模块可利用该信息根据查看者位置来调整对HDR视频内容的显示。例如，在锐化图像时，如果查看者非常靠近显示面板240，则图像可能看起来很糟糕。因此，如果检测到查看者距显示面板240相对较近，则可减轻锐化。
除查看者位置之外，其他环境信息包括但不限于环境光照在HDR视频处理中也可以很重要。如果环境光照条件是已知的，则可完成可提高查看者体验的若干事情。因此，设备可包括一个或多个传感器250和软件/硬件(环境条件270模块)，以用于检测和分析环境光照条件。流水线210中的一个或多个模块可利用该信息根据周围环境来调整对HDR视频内容的显示。例如，在将色调映射和/或色域映射应用于用于显示的视频内容时，可基于对当前环境光照的分析来动态地调整映射。
因此，描述了可采集并分析视频内容、查看者、显示和环境指标并且使用该信息来调整流水线210中的输入HDR视频200内容的处理以在目标显示面板240处生成调整到当前条件的显示视频232输出的解码/显示流水线210的实施方案。在解码/显示流水线210的一些实施方案中，可自动执行使显示适应于当前条件的各种指标的采集和分析以及流水线中的视频处理模块的调而无需人为干预，以动态地、自动地提供改进的或优化的视觉体验。可自动检测并使用条件(例如，查看者位置、环境光线、视频内容、显示特征、显示设置等)的变化来实时地或近实时地响应性调整对HDR视频内容的再现和显示。
图3和4示出了可执行视频内容的显示器侧处理并且可实现参考图1和2所述的显示器侧自适应视频处理方法的实施方案的示例性解码/显示流水线的部件。
图3示出了根据一些实施方案的可执行自适应视频处理的示例性解码/显示流水线。系统300可包括但不限于显示面板340、解码显示流水线310、以及一个或多个传感器350。解码/显示流水线310可包括但不限于解码器312部件或模块、视频管314部件或模块、帧率转换316部件或模块、显示管320部件或模块、以及显示后端330部件或模块。参考图2，视频管314可执行噪声/伪影消减212和缩放/锐化214功能，并且帧率转换316模块可执行帧率转换功能。如图2所示的显示管理218可包括显示管320部件和显示后端330部件。图4示出了示例性显示管和显示后端。
参考图3，可在解码/显示流水线310的解码器312部件处接收经编码的HDR视频流(例如，H.264/AVC或H.265/HEVC经编码的视频流)。解码器312可对输入视频进行解码/解压缩，以生成被馈送至视频管314的HDR视频内容。视频管314可对视频内容执行视频处理任务，包括但不限于噪声/伪影消减、缩放、锐化和色彩处理。在一些实施方案中，帧率转换316部件可通过在现有帧之间生成一个或多个中间视频帧来将视频管314的视频输出转换到较高帧率。转换到较高帧率例如可有助于补偿可能出现在HDR视频中的抖动。帧率转换316部件的输出可被馈送到可执行包括但不限于缩放、色彩空间转换、色域调整和色调映射等视频处理任务的显示管320中。显示后端330继而可执行附加视频处理任务，包括但不限于色彩(色度)和色调(亮度)调整、背光调整、伽玛校正、白点校正、黑点校正和时空抖动，以生成到目标显示面板340的显示视频332输出。
如图3所示，经解压缩的视频内容可通过视频内容分析370模块处理，以生成视频内容信息372。此外，可获取用于目标显示面板340的显示信息342。此外，可例如经由位于显示面板340处或其附近的一个或多个传感器350来获取环境信息352包括但不限于查看者指标(例如，位置)和周围环境指标(例如，环境光照指标)。视频内容信息372、显示信息342和/或环境信息352可输入到解码/显示流水线310中的一个或多个部件或模块并由其使用，以根据该信息来动态地调整由一个或多个模块所执行的一个或多个视频处理功能。因此，可检测、分析并使用当前条件(例如，查看者位置、环境光线、视频内容、显示特征、显示设置等)来使对HDR视频内容的再现和显示实时地或近实时地动态适应于目标显示面板340。
尽管在图3中未示出，但在一些实施方案中，解码/显示流水线310可包括使其他数字信息诸如文本与流式视频内容复合的复合部件。在一些实施方案中，解码/显示流水线310可将输入视频转换为线性色彩空间(例如，线性RGB或YCC色彩空间)以用于复合。复合部件的输出继而可适用于本文所述的显示和周围环境。
图4示出了根据一些实施方案的可执行显示器侧自适应视频处理的示例性显示管420和显示后端430。图3所示的视频管的输出被馈送到显示管420中，该显示管可执行垂直缩放和水平缩放422以将视频帧转换为目标显示面板分辨率。然后可执行色彩空间转换424，以将经缩放的视频内容从输入视频内容的色彩空间(例如，RGB、YCC或XYZ色彩空间)转换到另一色彩空间(例如，YCC色彩空间)。然后可对视频内容执行色域调整426，以将视频内容的色彩(色度)部件调整到目标显示面板的色域。然后可执行另一色彩空间转换424，以将视频内容转换为显示后端430的色彩空间(例如，RGB色彩空间)。经显示管420处理的视频内容继而被提供至显示后端430。
显示后端430可对视频内容执行附加的显示面板特有的视频处理任务。在显示后端430的一些实施方案中，环境自适应像素调整431部件可响应于包括但不限于一个或多个环境光线指标的环境条件来调整视频内容中的像素值。在一些实施方案中，环境自适应像素调整431可涉及例如在YCC色彩空间中分别调整视频内容的色度(色彩)部件和亮度(亮度)部件。在一些实施方案中，色域映射和色调映射技术可用于根据环境条件来调整像素值。例如，可根据环境条件来修改用于色域或色调映射技术的曲线或传递函数。
在显示后端430的一些实施方案中，动态面板背光调整432部件可根据视频帧内容来调整目标显示面板的背光水平。在一些实施方案中，作为全局背光调整的替代形式，可根据区域内容来动态地调整针对视频帧的不同区域的背光水平。例如，针对视频帧的亮区的背光水平可高于针对视频帧的相对较暗区的背光水平。
在显示后端430的一些实施方案中，可执行面板伽玛校正433来调整视频内容的亮度，以在目标显示面板上正确显示。然后可执行白点校正434，以将视频内容的白点校正为目标显示面板的白点。在显示后端430的一些实施方案中，然后可将空间(在帧内)和/或时间(在两个或更多个帧间)抖动施加于视频内容，以消减或消除所显示的视频内容中的伪影(例如，带型)。
如图4所示，一个或多个数据采集和分析模块450可动态地采集并分析视频内容、显示特征和环境条件(例如，环境光线)，以生成可输入到显示管420和/或显示后端430中的一个或多个部件或模块并由其使用的视频内容信息472、显示信息442和/或环境信息452，以便根据该信息来动态地调整由一个或多个模块所执行的一个或多个视频处理功能。
使用感知色彩管理的环境自适应再现
人类视觉系统具有广勒克斯范围。然而，在任何给定时间，人类视觉仅适用于该范围的一小部分。本文所述的自适应视频处理方法和装置的至少一些实施方案可检测并分析包括但不限于环境光照的周围环境条件，以根据当前条件来确定人类视觉的当前范围，并且可使目标显示面板的视频内容的再现和显示适用于根据当前条件的范围。该过程可被称为环境自适应再现。在一些实施方案中，可对自适应视频处理流水线的显示器侧执行环境自适应再现。例如，在一些实施方案中，环境自适应再现可通过图1到5所示的解码/显示流水线来实现。
图6A和6B示出了相对于示例性显示面板的人类感知范围。图6A示出了在昏暗环境中的显示器的感知范围。图6B示出了在较明亮环境中的显示器的感知范围。如图6A中曲线所示，人类感知是非线性的。然而，人类视觉具有广勒克斯范围，从星光(10-4勒克斯)到直射日光(104勒克斯)。然而，在任何给定时间，人类视觉仅适用于该范围的一小部分并且通常适应最亮的刺激或对象。在任何给定适应水平，仅存在约256种人类视觉系统可辨别的不同水平的强度。图6A示出了相当昏暗环境中的相当明亮的显示；该显示相当好地模拟了人类视觉。垂直轴线表示256个感知水平(强度)。基座区域是难以正确再现的区域。基座区域包括由于黑色的显示泄漏以及离开显示面板的反射光致使显示器无法实现的灰色阴影，并且示出了显示器上在视觉感知上不同于纯黑色的黑暗程度。
图6B示出了人类感知到较亮环境的映射，在该较亮环境中显示器仅可激起人类感知的一部分。曲线的指示为显示范围的一部分仅激起不足人类视觉范围的一半。显示器的感知响应不同于其所测量的响应。因此，存在可在显示器上表示的动态范围的极限。
如前所述，在给定适应水平，仅存在约256种人类视觉系统可辨别的不同水平的强度。环境自适应再现方法的实施方案可检测并分析包括但不限于环境光照的周围环境条件，以根据当前条件来确定人类视觉的当前范围，并且可使用本文所述的感知色彩管理系统使目标显示面板的视频内容的再现和显示适用于根据当前条件的范围。
在至少一些实施方案中，环境自适应再现可根据色彩外观模型和色彩管理系统来执行。色彩管理系统可根据色彩外观模型来控制包括但不限于相机设备和显示设备等各种设备的色彩表示之间的转换。广义定义的色彩外观模型为描述通常可使用三个或四个值或色彩分量表示色彩的方式的数学模型。色彩外观模型可限定色彩外观(例如，亮度(亮度)、明度、色彩度、色度、饱和度和色调)的尺寸。色彩外观模型还可限可被施加于色彩分量的定一种或多种变换或变换函数，诸如色适应变换。色适应通常被定义为用于在不同光照度下查看物体时补偿白点变化的人类视觉系统的动态机制。在色彩外观模型中，可使用色适应变换来模拟人类视觉系统的色适应。可用于实施方案中的示例性色彩外观模型为CIECAM02，其由国际照明委员会(CIE)技术委员会8-01(用于色彩管理系统的色彩外观模型)所公布。
常规的色彩管理系统可将源(例如，视频)意图映射或匹配于测量显示响应，例如使用色域(色彩或色度)和伽马(色调或亮度)映射技术：
源->所测量的显示然而，如上所述，人类查看者所感知到的显示的响应可不同于显示器的所测量的响应。因此，自适应视频处理系统中的环境自适应再现方法的实施方案可将附加匹配步骤添加到映射过程：
源->所测量的显示->适应性视觉其中适应性视觉为例如由本文所述自适应视频处理方法和装置所确定的当前环境条件(例如，环境光线水平)下的人类感知范围，并且其中映射(由箭头所指出的)可包括色彩外观模型的变换(例如，色适应变换)。在映射过程中包括该附加步骤的经修改的色彩管理可被称为感知色彩管理系统。感知色彩管理系统的色彩外观模型可被称为感知色彩模型或感知模型。
图7图形化地示出了根据一些实施方案的环境自适应再现系统700中的高水平感知色彩管理。如在常规色彩管理中，可根据显示信息730来将源视频内容720A映射702到所测量的显示响应范围，以生成视频内容720B。然而，应用附加映射704以使显示响应适用于所确定的适应性人类视觉范围，从而根据环境信息740和显示信息730来生成适用于当前查看条件的输出视频720C。在一些实施方案中，附加映射704可涉及给定环境中的理想人类视觉(例如，图6B中的曲线)和显示面板根据显示面板的所测量的响应实际表示的一部分(例如，图6B中的显示范围)之间的差值的倒数的卷积。
在一些实施方案中，可在视频回放系统的显示器侧实现环境自适应再现系统700。例如，在一些实施方案中，环境自适应再现可通过图1到5所示的视频回放系统的解码/显示流水线的一个或多个部件来实现。
可获取并馈送到在环境自适应再现系统700中实现的感知色彩管理系统的感知色彩模型中的信息可包括但不限于显示信息730(例如各种显示特征和设置)和环境信息740(包括但不限于查看者信息和光照信息)。该信息的一部分可为静态的(例如，显示特征，诸如位深度和尺寸)，而其他信息可为动态的(例如，当前显示设置、背光水平、环境光线、反射光、查看者方位、查看者位置等)。可采集并使用该信息以根据被应用于感知色彩模型的当前环境条件自适应地再现用于进行显示的视频内容720。在一些实施方案中，包括由环境自适应再现系统700使视频内容720所适应的显示面板的设备可包括能够用于采集用于感知色彩模型的信息730和740的至少一部分的一个或多个传感器，例如环境光传感器、相机、运动检测器等。
下文描述了根据一些实施方案的可获取并输入到环境自适应再现系统700中的感知色彩模型的各种测量、指标或特征。然而，此列表并不旨在进行限制：
·显示器的物理尺寸和其他静态特征。
·测量。可针对一种类型的显示面板来预测量这些指标或者可针对单个显示面板来测量这些指标：
-显示面板的所测量的响应–针对每个色彩(例如，RGB)通道的来自源视频内容的输入水平和显示面板的光输出水平之间的映射。
-显示面板的所测量的本机白点。
-来自显示面板的所测量的漏光(促成图6A所示的基座)。
-离开显示面板的所测量的发射光(促成图6A所示的基座)。
-显示器的所测量的最大(和最小)背光水平。
·环境指标，该环境指标例如由一个或多个传感器来捕获或根据由一个或多个传感器所捕获的数据来确定。包括显示面板的设备还可包括一个或多个传感器。传感器可包括但不限于环境光传感器、彩色环境光传感器和相机中的一者或多者。光传感器和相机可包括一个或多个后(朝向查看者或用户)向传感器和/或一个或多个前(背向查看者或用户)向传感器：
-当前照射显示面板的光。这可针对每个色彩通道来确定。
-从显示器反射的光量。这可针对每个色彩通道来确定。
-查看者/用户所面对的视野或背景的指标(例如，亮度、色彩等)。
-查看者所适应的白点。
-一个或多个查看者相对于显示面板的位置(例如，距离、查看角度等)。在一些实施方案中，包括显示面板的设备的面向用户相机可捕获查看者的图像，并且图像可被分析以估计从查看者到设备的距离。例如，可对查看者脸部的图像进行分析以基于所捕获图像中的查看者的眼睛之间的测量距离来确定距离，因为人眼往往相距约同样距离。所估计的距查看者的距离例如可用于估计显示面板对向的视野。
·动态确定的显示指标：
-显示面板的当前背光水平。
-当前平均像素亮度(实际受照像素)。例如，该指标可用于确定当前显示视频内容的亮度。这可针对每个色彩通道来确定。
尽管在图7中未示出，但在一些实施方案中，除了显示信息730和环境信息740之外，环境自适应再现系统还可获取并使用其他信息来使视频适应于环境。例如，在一些实施方案中，环境自适应再现系统700可使显示视频以查看者想法或查看意图为目标，其可被称为查看模式。例如，在一些实施方案中，可获取并使用光照、位置、当日时间、生物识别和/或其他数据来自动确定视频内容720的查看模式。所确定的查看模式继而可被输入到感知色彩模型中，以将源视频内容720调整到查看模式。例如，查看模式的范围可从平静或轻松查看模式到影片或动态查看模式。在一些实施方案中，替代性地或除此之外，还可使用用户输入(例如，通过显示面板控件、遥控、智能电话应用程序等)来确定或调整视频内容720的查看模式。例如，在一些实施方案中，查看者可调整用于“想法”或“意图”参数的滑块或开关，例如以在最放松的“平稳”模式和动态最亮的“影片”模式之间以离散或连续方式在两个或更多查看模式之间调整或选择。
环境自适应再现系统700的各种实施方案可使用各种图像处理算法和技术(包括但不限于色域映射和全局或局部色调映射技术)来对视频内容720施加再现调整。在一些实施方案中，环境自适应再现700功能的至少一部分可使用一个或多个图形处理单元(GPU)来实现。例如，一些实施方案可实现自定义着色器，该自定义着色器可将根据感知色彩模型所确定的调整施加于视频内容720。在一些实施方案中，环境自适应再现700功能的至少一部分可在包括但不限于自定义硬件的其他硬件中实现或通过其实现。例如，在一些实施方案中，可使用一个或多个图像信号处理器(ISP)色彩管来对视频内容720施加再现调整。
在一些实施方案中，可使用一个或多个色彩查找表(CLUT)来将自适应调整中的至少一部分施加于视频内容720。例如，在一些实施方案中，三个1D(一维)LUT可被应用于硬件中，以对视频内容720施加自适应调整。
环境自适应再现系统700的实施方案可基于显示面板的特征和能力使HDR视频内容自动适应于目标显示面板。
环境自适应再现系统700的实施方案可使视频内容动态地适应于在不同查看环境中显示，这可在不同查看环境中和/或在不同环境条件下提供改进的视觉体验。因此，环境自适应再现系统700可通过根据用户查看内容所处环境的变化来自动调整显示内容，以向移动设备的用户提供改进的视觉体验。
通过使显示面板动态地适应于不同环境和环境条件，环境自适应再现系统700的实施方案可在一些查看环境中使用更少的背光源，这便能够例如节省移动设备的电力。在一些实施方案中，可将背光源映射到感知色彩模型中，这便能够例如允许环境自适应再现系统700使得该显示在适应于不同环境和环境条件的情况下表现得更为类纸化。换句话讲，环境自适应再现系统700能够使显示匹配于在相同环境下的纸张的亮度水平，并且跟踪并调整来适应查看者环境的白点。
在一些实施方案中，由环境自适应再现系统700采集或生成的信息可在视频处理流水线中向前(向上流式传输)馈送并用于影响环境自适应再现系统700处理视频内容之前的视频处理。例如，参见图1到3，环境自适应再现可在显示流水线的显示管和/或显示后端部件中实现或通过其实现。显示和/或环境信息可向上馈送至显示流水线的一个或多个部件或阶段(例如，前馈至解码器、视频管和/或帧率转换阶段，或前馈至将诸如文本等其他数字信息与流式视频内容复合的复合部件)并用于影响显示流水线的这些上游部件处的视频内容处理。
在一些实施方案中，参考图1，由显示器侧环境自适应再现系统700所采集的显示和/或环境信息可后馈至服务器/编码流水线并用于影响在内容流式传输到包括目标显示面板的设备之前的视频内容的服务器侧处理。例如，在一些实施方案中，显示和/或环境信息可指示目标显示面板的能力不支持在周围环境中全HDR成像。作为响应，服务器/编码流水线可处理输入HDR内容并将其编码为可在当前条件下由目标显示面板显示的较低动态范围。这便可例如在目标显示面板无法支持在源视频内容中可用的全动态范围的情况下节省传输带宽。
显示器侧SDR到HDR转换
再次参见图1，在一些实施方案中，解码/显示流水线130可使用输入编码视频流112的一个或多个特征来调整一个或多个视频处理功能以使视频适应于目标显示面板140。例如，在一些实施方案中，目标显示面板140可支持HDR成像。然而，解码/显示流水线130可接收经编码标准动态范围(SDR)视频数据，以用于显示到目标面板140。常规地，SDR到HDR处理已通过将SDR视频内容线性缩放至HDR目标显示来执行。然而，HDR成像远比SDR成像明亮，并且从SDR视频内容的常规线性缩放并不产生最佳适用于较高动态范围的视频内容；而且，线性缩放可能产生可见的伪影。例如，镜面高光区可变暗或不见，暗区可充满噪声，并且色带或色调带可见。
为了改善由SDR视频输入生成的HDR视频内容的质量，在一些实施方案中，在检测到SDR视频数据时，解码/显示流水线130可调整一个或多个视频处理功能，和/或执行一个或多个附加处理功能，以将经解码的SDR视频输入转换为HDR图像格式，以用于以HDR目标面板140的较高动态范围来更好显示。广义描述的这些调整可涉及将SDR视频内容非线性映射到HDR空间，以改善内容在显示到目标HDR显示面板时的质量(例如，亮度)。
图9为根据一些实施方案的用于执行SDR到HDR转换视频以生成适用于HDR显示的显示视频内容的方法的高级流程图。如在图9的900处所指出的，解码/显示流水线可对经编码的SDR视频流进行接收和解码用，以用于HDR目标显示。如在图9的902处所指出的，解码/显示流水线可执行一种或多种非线性SDR到HDR转换技术以使输入SDR视频内容适应并扩展到适用于支持HDR的显示面板的HDR视频内容。如在图9的904处所指出的，可将HDR视频内容显示给HDR显示面板。参考图8对图9的元件进行更加详细的描述。
图8示出了根据一些实施方案的在SDR输入视频中执行SDR到HDR转换以生成适用于HDR显示的显示视频内容的示例性解码/显示流水线。在至少一些实施方案中，解码/显示流水线810可被配置为处理HDR视频输入以生成用于目标显示面板840的HDR显示视频832。然而，解码/显示流水线810可替代地接收SDR视频800输入。
如图8所示，解码/显示流水线810的实施方案可利用根据输入SDR视频800内容所确定的内容特征820和显示面板840的显示特征830来将SDR视频800输入转换为HDR视频832输出，以用于显示给支持HDR的显示面板840。在一些实施方案中，解码/显示流水线810可包括视频处理功能或模块，包括但不限于解码器812、视频管814、帧率转换816和显示管理818功能或模块。可将内容特征820和显示特征830提供至这些模块中的一者或多者并用于调整一个或多个相应功能，以用于将SDR视频800输入转换为HDR视频832输出。
可在解码/显示流水线810的解码器812部件处接收经编码的SDR视频800流(例如，H.264/AVC或H.265/HEVC经编码的视频流)。解码器312可对输入视频进行解码/解压缩，以生成馈送至视频管814的视频内容。视频管814可例如执行噪声/伪影消减、缩放和锐化。在一些实施方案中，解码器812或视频管814可将输入SDR视频800转换为HDR兼容格式，例如通过转换为具有扩展位深度的格式以支持HDR成像。
帧率转换816可通过在现有帧之间生成一个或多个中间视频帧来将视频管814的视频输出转换为较高帧率。转换为较高帧率例如可有助于补偿可能出现在HDR视频中的抖动。显示管理818可包括可执行包括但不限于缩放、色彩空间转换、色域调整和色调映射的视频处理任务的显示管，以及可执行包括但不限于色彩(色度)和色调(亮度)调整、背光调整、伽玛校正、白点校正、黑点校正和时空抖动的附加视频处理任务的显示后端，以生成输出到支持HDR的目标显示面板840的HDR显示视频832。
在实施方案中，可将内容特征820和显示特征830提供至解码/显示流水线810中的一个或多个模块并用于调整一个或多个相应的功能，以将SDR视频800输入转换为HDR视频832输出。在从SDR转换到显示面板840所支持的较高动态范围时，各种增强功能可由解码/显示流水线810基于可改善对视频内容的显示的特征来执行。下文描述了在将SDR视频转换为HDR视频时可执行的增强功能的示例，并且并非旨在进行限制。
在一些实施方案中，响应于检测到SDR视频800内容，内容特征820模块可分析视频内容，以寻找视频帧中的具有镜面高光的区域。因此，所检测到的内容特征可包括输入视频帧中的镜面高光。解码/显示流水线810可减小镜面高光区的至少一部分的尺寸，和/或增加镜面高光区的至少一部分的亮度，以使得镜面高光区在显示时看起来更令人印象深刻。
在一些实施方案中，输入SDR视频800内容中的暗区或阴影区可由解码/显示流水线810来检测并进行不同地自动处理以用于改善的HDR显示。例如，解码/显示流水线810可对所检测到的暗区或阴影区施加较强的降噪，以在显示到HDR显示面板840时减少视频内容的较暗区域中的噪声。
又如，解码/显示流水线810可调整或选择用于色调映射的色调曲线以使阴影区加深。色调曲线可为非线性的例如S形色调曲线，以减少暗区中的噪声并提供比使用常规线性缩放能够获取的更好的对比度。在一些实施方案中，可基于一个或多个所检测到的内容特征和/或显示特征来动态地选择色调曲线。在一些实施方案中，可检测有关周围环境的一个或多个指标(例如，环境光照指标)并用于确定色调曲线。在一些实施方案中，可选择针对视频帧或帧序列的非线性全局色调曲线。在一些实施方案中，代替全局色调曲线或除此之外，还可将视频帧细分为多个区域，并且可动态地选择针对每个区域的局部色调曲线。
在一些实施方案中，可检测由色彩剪裁(例如，在编码器侧的色调或色域映射期间)所导致的色彩过渡，并且解码/显示流水线810可尝试重建正确色彩以使色彩过渡平滑。
在一些实施方案中，从SDR到HDR(例如，8位SDR到10位HDR)的位深度扩展可由解码/显示流水线810使用尝试在扩展到较大位深度时通过使图像内容平滑来消除带状伪影的技术来执行。例如，在一些实施方案中，可分析输入像素的数据值以确定斜率，并且该斜率可用于执行到经扩展位深度的非线性扩展，而不是执行到经扩展位深度的线性扩展，以产生经扩展的位的比使用线性函数所实现的更平滑的再现。
服务器侧自适应视频处理
再次参见图1，在一些实施方案中，针对目标显示面板140的自适应视频处理可在服务器/编码流水线110中实现或通过服务器/编码流水线110实现。这些实施方案可被称为服务器侧自适应视频处理系统。在显示器侧视频处理流水线不支持HDR/WCG成像、不支持目标显示面板的全动态范围和色域、或以其他方式受限的情况下，服务器侧自适应视频处理系统的实施方案例如可用于支持支持HDR的显示面板的高动态范围(HDR)和广色域(WCG)视频回放。例如，服务器侧自适应视频处理系统的实施方案可用于支持到小型或移动设备或到可具有有限显示器侧视频处理能力的传统设备的HDR和WCG视频流。
图11示出了根据一些实施方案的其中服务器侧编码流水线生成适用于目标显示面板的输出视频数据的视频回放方法的流程图。如在图11的1100处所指出的，服务器/编码流水线可获取用于目标显示面板的视频内容。例如，服务器/编码流水线可从视频源(诸如包括服务器/编码流水线的设备或系统上的摄像机)接收输入视频，并且可被指示对视频内容进行编码和流式传输，以用于显示在特定的目标显示面板上。目标显示面板可与服务器/编码流水线位于相同的设备或系统上，或者另选地可位于不同的设备或系统上。目标显示面板可支持高动态范围(HDR)和广色域(WCG)成像。
尽管未示出，但在一些实施方案中，服务器/编码流水线可获取或确定输入视频内容的一个或多个特征。例如，在一些实施方案中，可分析视频内容以确定例如视频内容的动态范围有多宽、帧间或场景间存在多少运动、色彩范围、镜面高光区、对比度、亮区和暗区等。可使用该内容信息连同其他信息来处理视频内容，以用于显示在目标显示面板上。
如在图11的1102处所指出的，服务器/编码流水线可获取用于目标显示面板的显示信息和/或环境信息。显示信息可指示显示特征，该显示特征可包括但不限于以下各项中的一者或多者：所测量的响应、格式、分辨率、尺寸、动态范围、位深度、背光水平、白点、当前显示控件设置等。环境信息可包括但不限于各种环境光照指标和查看者指标诸如查看者相对于目标显示面板的位置、显示面板的尺寸和距显示面板的距离。环境光照指标例如可包括有关入射到显示面板的光、来自显示面板的反射光水平的指标，以及查看者/用户面对的视野(或背景)的指标(例如，亮度、色彩、白点等)。在一些实施方案中，包括目标显示面板的设备可包括可用于从周围环境采集数据的一个或多个前向传感器和/或后向传感器(例如，相机、光传感器等)；所采集的数据可被分析以确定之后通过服务器/编码流水线获取或提供至服务器/编码流水线的一个或多个环境指标。
如在图11的1104处所指出的，服务器/编码流水线可根据所获取的信息来将视频内容映射到目标显示面板的动态范围。在一些实施方案中，服务器/编码流水线根据色调映射技术来将视频内容映射到由所获取的信息所指示的目标显示面板的动态范围。色调映射技术可根据所获取的信息来调整。例如，可根据显示信息来将源数据的动态范围映射到目标显示面板的位深度。又如，在色调映射技术中所使用的色调曲线和/或传递函数可基于一个或多个指标(包括但不限于由环境信息所指示的显示面板处的当前环境光照指标)来修改或调整。在一些实施方案中，可至少部分地基于显示信息和/或环境信息来选择针对服务器/编码流水线中所处理的视频帧或帧序列的非线性全局色调曲线。在一些实施方案中，代替全局色调曲线或除此之外，还可将视频帧细分为多个区域，并且可至少部分地基于显示信息和/或环境信息来动态地选择针对每个区域的局部色调曲线。
如在图11的1106处所指出的，服务器/编码流水线可根据所获取的信息来将视频内容映射到目标显示面板的色域。在一些实施方案中，服务器/编码流水线根据色域映射技术来将视频内容映射到由所获取的信息所指示的目标显示面板的色域。该色域映射技术可根据所获取的信息来调整。例如，可根据显示信息来将源数据的色域映射到目标显示面板的位深度。又如，可根据显示信息中所指示的由显示面板所支持的特定色域来选择曲线、传递函数和/或查找表。又如，在色域映射技术中所使用的曲线、传递函数和/或查找表可基于一个或多个指标(包括但不限于环境信息所指示的显示面板处的当前环境光照指标)来修改或调整。
如在图11的1108处所指出的，服务器/编码流水线可对视频内容进行编码并将经编码的视频内容传输至与目标显示面板相关联的解码/显示流水线。服务器/编码流水线例如可根据压缩视频如H.264/AVC或H.265/HEVC格式来对视频数据进行编码，以用于传送至目标显示面板。经编码的视频内容例如可被写入到存储器，以供与目标显示面板相关联的解码/显示流水线访问，经由有线或无线网络连接提供或流式传输至与目标显示面板相关联的解码/显示流水线，或以其他方式传送至与目标显示面板相关联的解码/显示流水线。
如在图11的1110处所指出的，解码/显示流水线对视频内容进行解码并显示。由于到由目标显示面板所支持的动态范围和色域的显示面板特有的色调和色域映射在服务器/编码侧执行，因此解码/显示流水线可无需任何更改或修改来支持HDR和/或WCG成像。
需注意，服务器/编码流水线可应用图11所示的方法来根据显示面板的特定特征和/或环境来将相同视频内容映射到两个或更多个不同的目标显示面板。例如，服务器/编码流水线可根据显示器特有信息来调整视频处理和编码功能，以使视频内容适应于支持不同位深度、色彩空间、色域和/或动态范围的目标显示面板。还需注意，图11和其他流程图和作业图并非旨在进行限制。例如，在图11所示视频回放方法的一些实施方案中，元素1106(色域映射)可在元素1104(动态范围映射)之前发生。
参考图1和10对图11的元素进行更加详细的描述。
再次参见图1，在服务器侧自适应视频处理系统的实施方案中，服务器/编码流水线110可将从源100获取的视频内容映射到目标显示面板140。例如，视频内容可以是从图像传感器或相机获取的HDR和WCG视频内容。在一些实施方案中，在将视频内容映射到目标显示面板140中，服务器/编码流水线110根据色域映射技术来将视频内容映射到目标显示面板140的色域，并根据色调映射技术来将视频内容映射到目标显示面板140的动态范围。在执行映射中，服务器/编码流水线110可考虑目标显示面板140的视频内容、能力和特征，并且目标显示面板140处的有关环境190的信息包括但不限于光照192和查看者180信息中的一者或多者。
可由服务器/编码流水线110用于将视频内容映射到目标显示面板140的信息的至少一部分可通过包括目标显示面板140和解码/显示流水线130的设备或系统120来捕获。系统120可将所捕获的信息提供至包括服务器/编码流水线110的设备或系统。例如，包括目标显示面板1140的系统120还可包括可用于检测环境条件诸如环境光照和查看者位置的一个或多个传感器150(相机、光传感器等)。系统120例如可经由有线或无线网络连接来将用于描述当前环境条件的信息提供至实现服务器/编码流水线110的远程设备、系统或服务器。然而，需注意，服务器/编码流水线110和解码/显示流水线130可在相同设备或系统上实现。
在一些实施方案中，目标显示面板140可支持以某一位深度(例如，10位)的HDR和WCG成像，并且服务器/编码流水线110可根据目标显示面板140处的一个或多个当前环境因素诸如环境光照192和查看者180位置来以显示面板140所支持的位深度来将视频内容映射到动态范围和色域。服务器/编码流水线110对所映射的视频内容进行编码并将经编码的内容发送至用于目标显示面板140的解码/显示流水线130，该解码/显示流水线对视频内容进行解码并显示给目标显示面板140。
服务器侧自适应视频处理例如可为一种用于通过网络或到支持HDR和WCG的目标系统120和显示面板140的连接从服务器系统获取HDR、WCG视频内容以用于显示的有效而相对简单的方法，这是因为在解码/显示130侧上可无需特别的映射。由于到由目标显示面板140所支持的动态范围和色域的显示面板特有的色调和色域映射在服务器/编码110侧上执行，因此解码/显示流水线130可无需任何更改或修改来支持HDR和/或WCG成像。还需注意，服务器/编码流水线110可根据显示面板140的特定特征和/或环境来将相同的视频内容映射到两个或更多个不同的目标显示面板140。
图10示出了根据一些实施方案的其中服务器侧编码流水线生成适用于目标显示面板的输出视频数据的示例性视频回放系统。在示例性视频回放系统中，服务器/编码1000流水线产生广色域(WCG)和高动态范围(HDR)的输出数据，其中至少部分地根据从解码/显示1050侧获取的信息映射到在服务器/编码1000侧上执行的显示色域和动态范围。示例性视频回放方法和系统可涉及以WCG和HDR的H.265/HEVC编码，以用于分配给至少一个目标显示面板，其中显示器侧解码和处理无需针对目标显示面板的特别色域或色调映射。
图10示出了包括一个或多个部件的服务器/编码1000模块或流水线和包括一个或多个部件的解码/显示1050模块或流水线。在该示例中，将解码/显示1050流水线和目标HDR显示面板1090被示出为在系统1040上实现。在一些实施方案中，服务器/编码1000和解码/显示1050中的一者或两者可在片上系统(SOC)上实现。在一些实施方案中，服务器/编码1000和解码/显示1050可在相同设备、系统和/或SOC上实现。在一些实施方案中，服务器/编码1000和解码/显示1050可在不同设备、系统或SOC上实现。在一些实施方案中，一个或多个服务器/编码1000流水线可在设备或系统上实现；服务器/编码1000流水线可被配置为对视频进行编码并将其流式传输至一个或多个目标设备或系统，每个设备或系统实现至少一个解码/显示1050流水线和至少一个目标显示面板1090。
在该实施方案中，目标显示面板1090的色域映射和色调映射由服务器/编码1000流水线来执行，其中由目标显示面板1090所支持的HDR和WCG的视频编码流(VES)1012在编码1000侧上被生成并传送至解码1050侧(例如，至HEVC解码1052部件)，以用于解码和显示。服务器/编码流水线1000可从包括目标显示面板1090的系统1040获取显示信息1092和/或环境信息1042。
对服务器/编码1000流水线的输入视频内容例如可以16位的位深度在(线性)CIE1931XYZ色彩空间中被解码。映射部件1002可向输入线性XYZ视频施加12位电光转换函数(EOTF)操作，以将16位输入数据映射到12位输入视频数据，例如映射到12位RGB色彩空间。尽管未示出，但在一些实施方案中，服务器/编码1000流水线可分析输入视频内容，以确定一个或多个内容特征，例如视频内容的动态范围有多宽、帧间或场景间存在多少运动、色彩特征(例如，色彩范围)、镜面高光区、对比度、亮区和暗区等。可使用该内容信息连同显示信息1092和/或环境信息来处理视频内容，以用于显示在目标显示面板1090上。
面板特有的映射1004部件继而可根据从系统1040获取的显示信息1092和/或环境信息来将12位RGB视频数据映射到目标显示面板1090的色彩空间(例如，10位RGB)。还可将输入视频内容的特征用于映射1004。映射1004例如可涉及执行色域映射，以将输入视频内容的色域映射到显示面板1090的色域，以及执行色调映射以将输入视频内容的动态范围映射到显示面板1090的动态范围。
色域映射技术可根据从系统1040所获取的信息来调整。例如，可根据显示信息1092来将源数据的色域映射到目标显示面板的位深度。又如，可根据显示信息1092中所指示的、显示面板所支持的特定色域来选择曲线、传递函数和/或查找表。又如，在色域映射技术中所使用的曲线、传递函数和/或查找表可基于一个或多个指标(包括但不限于环境信息1042所指示的显示面板处的当前环境光照指标)来修改或调整。
色调映射技术还可根据从系统1040所获取的信息来调整。例如，可根据显示信息1092来将源数据的动态范围映射到目标显示面板的位深度。又如，在色调映射技术中所使用的色调曲线和/或传递函数可基于一个或多个指标(包括但不限于环境信息1042所指示的显示面板处的当前环境光照指标)来修改或调整。在一些实施方案中，可至少部分地基于显示信息1092和/或环境信息1092来选择针对服务器/编码流水线中所处理的视频帧或帧序列的非线性全局色调曲线。在一些实施方案中，代替全局色调曲线或除此之外，还可将视频帧细分为多个区域，并且可至少部分地基于显示信息1092和/或环境信息1092来动态地确定或以其他方式选择针对每个区域的局部色调曲线。
在一些实施方案中，面板特有的映射1004可至少部分地由图像信号处理器(ISP)来执行。在一些实施方案中，ISP的一个或多个部件(例如，3D色彩查找表(CLUT))可用于执行面板特有的映射1004。然而，替代地或除此之外，面板特有的映射1004还可由一个或多个GPU来执行或在一个或多个GPU中执行。
在一些实施方案中，RGB到YCC 1006部件可将10位RGB输出转换为10位YCC格式以用于编码。H.265/HEVC编码器部件1010对10位YCC视频数据进行编码，从而以10位的位深度生成由目标显示面板1090所支持的HDR和WCG的HEVC VES 1012。
在解码1050处，HEVC解码部件1052对HEVC压缩视频流1012进行解码，以在YCC色彩空间生成10位数据。可对数据执行超分辨率技术1054，然后可将10位YCC数据传送至显示管1058以用于最终处理以生成以该位深度、目标HDR显示面板1090的色域和动态范围的显示输出数据，例如10位RGB数据。
需注意，图10中所示的各种视频格式、色彩空间、位深度等以举例的方式给出并且并非旨在进行限制。例如，可将不同于CIE 1931XYZ的其他色彩空间用于输入视频。又如，在一些实施方案中，可根据不同于265/HEVC格式的其他编码格式来执行编码和解码。又如，服务器/编码流水线1000将视频内容映射1004到的目标显示面板1090的色彩空间可以是多种色彩空间中的任一者，包括但不限于各种RGB、Rec.709色彩空间、P3 DCI D65色彩空间和Rec.2020色彩空间。
非线性显示器亮度调整
描述了显示器亮度调整装置和方法的实施方案，其中显示器的平均亮度可使用非线性函数例如分段线性函数按比例增加或减小。非线性缩放可例如响应于由图1所示的一个或多个传感器所检测到的环境光线水平而自动被执行，但也可响应于对图1所示控件160的用户调整例如经由亮度旋钮、滑块或按钮，或者经由图形用户界面(GUI)亮度控制而被应用。非线性亮度调整可全局地执行，或者可针对图像或显示面板的局部区域执行。
图14为根据至少一些实施方案的非线性亮度调整方法的流程图。如在图14的1400处所示的，可将数字内容(例如，视频内容)显示到目标显示面板。然而，需注意，替代性地或除此之外，也可将其他数字图像显示到显示面板。显示面板可以某亮度水平和对比度水平来显示内容。显示面板可以但不一定是支持高动态范围(HDR)的显示设备，并且数字内容可以是HDR内容。
如在图14的1402处所示的，可例如通过显示面板的或包括面板的设备的亮度调整模块来获取用于目标显示面板的显示信息和/或环境信息。在一些实施方案中，显示信息可包括对显示面板的亮度水平设置的指示。在一些实施方案中，显示器的亮度水平可根据对控件的用户调整来设定，该控件例如物理亮度旋钮、滑块或按钮，或者图形用户界面(GUI)亮度控件。在一些实施方案中，环境信息可包括一个或多个环境光照指标，并且显示器的亮度水平可根据一个或多个环境光照指标来确定或调整。如在图14的1404处所示的，可根据信息来确定对显示器亮度水平的调整。例如，如果用户向上或向下移动亮度滑块，则可根据该移动来确定亮度水平的对应变化。又如，如果环境光照变得更暗或更亮，则可根据环境光照的变化来确定亮度水平的对应变化。例如，如果环境光线变亮，则可能需要增加显示器亮度。相反地，在昏暗光照条件下，可能需要降低显示器亮度。
如在图14的1406处所示的，然后可根据非线性函数按比例增加或减小显示器亮度，以调整显示器的亮度水平。例如，在一些实施方案中，可将非线性函数施加于输入信号，以使用查找表来生成根据当前亮度水平所调整的输出信号；然而，也可使用其他技术。在一些实施方案中，可将输入信号分成亮度分量和色度分量，并且可将非线性函数施加于信号的亮度分量。施加于输入信号以生成输出信号的示例性非线性函数在图13中示出。在施加非线性函数来降低亮度的情况下，输出信号的对比度可以不被降低，使得动态范围和高光区得以保持。
在一些实施方案中，可使用全局非线性函数来全局地调整显示器亮度。在一些实施方案中，可针对显示器的两个或更多个区域来分别调整显示器亮度，其中在不同区域可能将不同的非线性函数或非线性函数的变型施加于信号。
参考图12和13对图14的元件进行更加详细的描述。
显示器亮度调整技术通常使用线性函数按比例增加或减小亮度，使得平均亮度和对比度以系统比率同时变化。例如，图12示出了缩放系数为0.5的亮度调整的线性输入输出关系。轴x为输入信号，并且轴y为输出信号，并且该两者被标准化为[0,1]。对应的线性公式为：
y＝kx
图12所示的线性亮度调整的问题在于在降低平均亮度的情况下对比度也降低。因此，所显示的图像/视频变得没那么清晰。本文所述的显示器亮度调整装置和方法的实施方案可实现非线性(例如，分段线性)亮度调整函数，其中亮度调整仅改变平均值，而保持最大动态范围不变。非线性亮度调整函数的非限制性示例性实施方案在图13中示出，其示出了根据一些实施方案的亮度调整函数的输入输出关系。将图13与图12中直线进行比较，亮度调整函数为具有参数T0到T3的分段线性函数。在图13中，T0为0，T1设定为0.9，并且T2设定为0.95，并且T3为1。需注意，斜率从(T0,T1)增至(T1,T2)，并且再次从(T1,T2)增至(T2,T3)。然而如，需注意，这些值为示例性的而并非旨在进行限制。在图13所示的该示例性分段非线性函数中，对应的公式为：
y＝k0x当0<＝x<T1
y＝k1(x-T1)+k0T1当T1<＝x<T2
y＝k2(x-T2)+k1(T2-T1)+k0T1当T2<＝x<＝1
在至少一些实施方案中，在施加非线性函数诸如图13所示的分段线性函数以按比例降低亮度的情况下，输出信号的对比度可不被降低，使得动态范围和高光区得以保持。图12所示的线性缩放可对图像质量产生不利影响。例如，在执行如图12所示的线性调整的情况下，动态范围通常也按比例减小。因此，代替执行如图12所示的线性调整，实施方案可使用图13所示的非线性缩放函数仅按比例降低平均亮度，而不相应地降低对比度和动态范围，从而保持高光区。尽管图13示出了分段线性缩放函数，但也可使用其他非线性函数诸如二次函数或曲线。
如上所述，在施加非线性函数诸如图13所示的分段线性函数以按比例降低亮度的情况下，输出信号的对比度可不被降低，使得动态范围和高光区得以保持。然而，在一些情况下，对比度可能需要与亮度一样按比例降低；然而，对比度不像亮度降低得那么多和/或那么快，以有助于保持显示图像的动态范围。换言之，相比于图12所示的平均亮度和对比度以相同比例变化的线性缩放技术，使用图13所示的非线性亮度缩放技术的实施方案，对比度不受对亮度调整的影响或响应于亮度调整而受影响程度与亮度不同。
在一些实施方案中，例如响应于由图1所示的一个或多个传感器所检测到的环境光线水平的变化，亮度的非线性缩放以及可能的对比度的非线性缩放可根据本文所述的环境自适应再现方法自动执行。在一些实施方案中，代替自动缩放或除此之外，非线性缩放可响应于对图1所示控件160的用户调整例如经由亮度旋钮、滑块或图形用户界面(GUI)亮度控件而施加。
如图13所示，在一些实施方案中，可使用分段线性函数。然而，也可使用其他函数，例如曲线函数、二次函数等。然而，不论使用何种类型函数，图13中的通用曲线形状通常可被保持。在该形状下，在信号的开始处，斜率缓慢或低并变快或变陡；该形状例如可有助于保持图像中的高光区。然而，需注意，在一些实施方案中，可使用其他通用曲线形状。
在一些实施方案中，代替使用全局非线性缩放函数或除此之外，还可在显示屏、图像或视频帧的不同区域中施加并改变非线性缩放函数。在一些实施方案中，可根据同一非线性缩放函数来全局地调整图像中的所有亮度值。然而，在一些实施方案中，代替使用全局调整或除此之外，还可执行局部亮度调整。在非线性缩放函数的局部调整中，可施加不同非线性模型或函数，或可在图像或显示器的不同区域中进行不同地施加。
本文所述显示器亮度调整技术的实施方案例如可在包括一个或多个显示设备的设备或系统中实现。显示器或显示设备可包括被集成到其他设备中的显示屏或面板，该其他设备包括但不限于智能电话、手机、PDA、平板电脑或平板设备、多功能设备、计算设备、膝上型计算机、笔记本电脑、上网本、台式计算机等。显示设备还可包括视频监视器、投影仪，或者一般来说，可显示或投射数字图像和/或数字视频的任何设备。显示器亮度调整技术例如可针对具有背光区域调光的显示器(包括但不限于LED(发光二极管)、OLED(有机发光二极管)或LCD(液晶显示)技术的显示器)来实现。
非线性亮度调整方法例如可在显示设备或其他设备或装置的亮度调整模块或部件中实现。图15到19示出了非线性显示器亮度调整模块或方法的实施方案可在其中实现的设备的非限制性示例。显示设备或包括显示设备的设备或系统可包括实现本文所述的非线性显示器亮度控制功能的至少一部分的硬件和/或软件(例如，亮度调整模块)。在一些实施方案中，显示设备或包括显示面板或显示屏的设备可例如根据本文所述的自适应视频处理方法来实现显示流水线，该显示流水线接收并处理(即，解码)压缩图像诸如视频图像，以用于显示给面板或屏幕，并且显示流水线的一个或多个部件可实现非线性显示器亮度调整的本文所述功能的至少一部分。在一些实施方案中，显示流水线的显示后端部件可实现非线性显示器亮度调整功能。在一些实施方案中，非线性显示器亮度调整功能可在显示后端的亮度调整模块或部件中实现。图3和4示出了可实现本文所述的非线性显示器亮度调整功能的示例性显示流水线和显示后端。
在一些实施方案中，非线性显示器亮度调整的本文所述功能的至少一部分可由可用于设备中的片上系统(SOC)的一个或多个部件或模块来实现，这些设备包括但不限于多功能设备、智能电话、平板电脑或平板设备、以及其他便携式计算设备诸如膝上型电脑、笔记本电脑和上网本等。
示例性设备和装置
图15到19示出了本文所述的各种数字视频或图像处理和显示方法和装置可在其中实现或利用其实现的设备和装置的非限制性实施方案。图15示出了示例性SOC，并且图16示出了实现SOC的示例性设备。图17示出了可实现本文所述方法和装置的示例性计算机系统。图18和19示出了可实现本文所述方法和装置的示例性多功能设备。
示例性片上系统(SOC)
现转到图15，片上系统(SOC)8000的一个实施方案的框图可用于实施方案中。SOC8000被图示为耦接到存储器8800。如名字所暗示的，SOC8000的部件可集成到作为集成电路“芯片”的单个半导体衬底上。在一些实施方案中，这些部件可在系统中的两个或更多个分立芯片上实施。然而，在本文中将使用SOC 8000作为一个示例。在例示的实施方案中，SOC8000的部件包括中央处理单元(CPU)复合体8020、片上外围部件8040A-8040C(更简单地说，“外围设备”)、存储器控制器(MC)8030和通信结构8010。部件8020、8030、8040A-8040B可全部耦接到通信结构8010。存储器控制器8030可在使用期间耦接到存储器8800，并且外围设备8040B可在使用期间耦接到外部接口8900。在所示实施方案中，CPU复合体8020包括一个或多个处理器(P)8024和二级(L2)高速缓存8022。
外围设备8040A-8040B可以是被包括在SOC 8000中的附加硬件功能的任何集合。例如，外围设备8040A-8040B可包括视频外围设备，诸如被配置为处理来自相机或其他图像传感器的图像捕捉数据的图像信号处理器、被配置为在一个或多个显示设备上显示视频数据的显示控制器、图形处理单元(GPU)、视频编码器/解码器或编解码器、缩放器、旋转器、混合器等。该外围设备可包括音频外围设备，诸如麦克风、扬声器、至麦克风和扬声器的接口、音频处理器、数字信号处理器、混合器等。外围设备可包括用于SOC 8000外部的各种接口8900的外围设备接口控制器(例如外围设备8040B)，该外围设备包括接口诸如通用串行总线(USB)、外围部件互连(PCI)(包括PCI高速(PCIe))、串行和并行端口等等。外围设备可包括联网外围设备诸如媒体访问控制器(MAC)。可包括任何一组硬件。
CPU复合体8020可包括用作SOC 8000的CPU的一个或多个CPU处理器8024。系统的CPU包括执行系统诸如操作系统的主要控制软件的一个或多个处理器。通常，由CPU在使用期间执行的软件可控制系统的其他部件，以实现所期望的系统功能。处理器8024还可执行其他软件诸如应用程序。应用程序可提供用户功能，并且可依赖于操作系统来进行低级设备控制。因此，处理器8024也可被称为应用处理器。CPU复合体8020还可包括其他硬件，诸如L2高速缓存8022和/或至系统的其他部件的接口(例如至通信结构8010的接口)。通常，处理器可包括被配置为执行在由处理器实施的指令集架构中定义的指令的任何电路和/或微码。响应于执行指令而由处理器操作的指令和数据通常可被存储在存储器8800中，尽管某些指令可被定义为也用于对外围设备进行直接处理器访问。处理器可涵盖在具有作为片上系统(SOC 8000)或其他集成水平的其他部件的集成电路上实现的处理器内核。处理器还可包括分立的微处理器、处理器内核和/或集成到多芯片模块具体实施中的微处理器、被实施为多个集成电路的处理器等等。
存储器控制器8030通常可包括用于从SOC 8000的其他部件接收存储器操作并用于访问存储器8800以完成存储器操作的电路。存储器控制器8030可被配置为访问任何类型的存储器8800。例如，存储器8800可以是静态随机存取存储器(SRAM)、动态RAM(DRAM)诸如同步的DRAM(SDRAM)，包括双倍数据率(DDR、DDR2、DDR3等)DRAM。可支持低功率/移动型式的DDR DRAM(例如，LPDDR、mDDR等)。存储器控制器8030可包括存储器操作队列，以用于对这些操作进行排序(并且可能重新排序)，并将这些操作呈现至存储器8800。存储器控制器8030还可包括用于存储等待写到存储器的写数据和等待返回至存储器操作的源的读数据的数据缓冲器。在一些实施方案中，存储器控制器8030可包括用于存储最近访问的存储器数据的存储器高速缓存。例如，在SOC具体实施中，存储器高速缓存可通过在预期很快要再次访问的情况下避免从存储器8800重新访问数据来降低SOC中的功率消耗。在一些情况下，存储器缓存也可被称为系统高速缓存，其与私有高速缓存(诸如L2高速缓存8022或处理器8024中的高速缓存)不同，该私有高速缓存只服务于某些部件。此外，在一些实施方案中，系统高速缓存不需要位于存储器控制器8030内。
在一个实施方案中，存储器8800可以芯片上芯片配置或封装上封装配置来与SOC8000一起被封装。也可使用SOC 8000和存储器8800的多芯片模块配置。此类配置可比至系统中其他部件(例如向端点16A-16B)的传输相对更安全(在数据可观测性方面)。因此，受保护的数据可未经加密地驻留在存储器8800中，而受保护的数据可被加密以在SOC 8000与外部端点之间进行交换。
通信结构8010可以是用于在SOC 8000的部件间进行通信的通任何信互连器和协议。通信结构8010可为基于总线的，包括共享总线配置、交叉开关配置、和具有桥的分层总线。通信结构8010也可基于分组，并且可以是具有桥的分层、交叉开关、点到点、或其他互连器。
需注意，SOC 8000的部件数量(以及图15所示部件，诸如CPU复合体8020内的子部件数量)可根据不同实施方案而不同。可存在比图15所示数量更多或更少的每个部件/子部件。
图16为系统9000的一个实施方案的框图，该系统包括耦接到外部存储器8800和一个或多个外部外围设备9020的SOC 8000的至少一个示例。提供向SOC 8000供应供电电压以及向存储器8800和/或外围设备9020供应一个或多个供电电压的功率管理单元(PMU)9010。在一些实施方案中，可包括SOC 8000的多于一个示例(也可包括多于一个存储器8800)。
根据系统9000的类型，外围设备9020可包括任何期望的电路。例如，在一个实施方案中，系统9000可以是移动设备(例如个人数字助理(PDA)、智能电话等)，并且外围设备9020可包括用于各种类型的无线通信的设备，诸如wifi、蓝牙、蜂窝、全球定位系统等。外围设备9020还可包括附加存储装置，该附加存储装置包括RAM存储装置、固态存储装置或磁盘存储装置。外围设备9020可包括用户界面设备(诸如包括触摸显示屏或多点触摸显示屏的显示屏)、键盘或其他输入设备、麦克风、扬声器等。在其他实施方案中，系统9000可以是任何类型的计算系统(例如台式个人计算机、膝上型电脑、工作站、网络机顶盒等)。
外部储存器8800可包括任何类型的存储器。例如，外部存储器8800可以是SRAM、动态RAM(DRAM)(诸如同步DRAM(SDRAM))、双倍数据速率(DDR、DDR2、DDR3等)SDRAM、RAMBUSDRAM、低功率版本的DDR DRAM(例如LPDDR、mDDR等)等等。该外部存储器8800可包括存储器设备可被安装到的一个或多个存储器模块，诸如单列存储器模块(SIMM)、双列存储器模块(DIMM)等。另选地，外部存储器8800可包括以芯片上芯片配置或封装上封装具体实施被安装在SOC 8000上的一个或多个存储器设备。
示例性计算机系统
图17示出了可被配置为执行上文所述的任意或所有实施方案的示例性计算机系统2900。在不同的实施方案中，计算机系统2900可以是各种类型的设备中的任何设备，包括但不限于：个人计算机系统、台式计算机、膝上型电脑、笔记本电脑、平板电脑、一体式电脑、平板设备或上网本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、相机、机顶盒、移动设备、消费设备、应用服务器、存储设备、视频记录设备、外围设备(诸如交换机、调制解调器、路由器)、或一般性的任何类型的计算设备或电子设备。
可在一个或多个计算机系统2900中执行本文所述各种实施方案，该计算机系统2900可与各种其他设备进行交互。需注意，根据各种实施方案，上文相对于图1到图16描述的任何部件、动作或功能性可实现于被配置作为图17的计算机系统2900的一种或多种计算机上。在所示实施方案中，计算机系统2900包括经由输入/输出(I/O)接口2930耦接到系统存储器2920的一个或多个处理器2910。计算机系统2900还包括耦接到I/O接口2930的网络接口2940、以及一个或多个输入/输出设备或部件2950，诸如光标控件2960、键盘2970、一个或多个显示器2980、一个或多个相机2990和一个或多个传感器2992(包括但不限于光传感器和运动检测器)。在一些情况下，可设想实施方案可使用计算机系统2900的单个示例来实现，而在其他实施方案中，多个此类系统或者构成计算机系统2900的多个节点可被配置为作为实施方案的不同部分或示例的主机。例如，在一个实施方案中，一些元素可经由计算机系统2900的与实现其他元素的那些节点不同的一个或多个节点来实现。
在各种实施方案中，计算机系统2900可以是包括一个处理器2910的单处理器系统、或者是包括几个处理器2910(例如两个、四个、八个、或另一适当数量)的多处理器系统。处理器2910可以是能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器2910可以是实现多种指令集架构(ISA)(诸如x829、PowerPC、SPARC、或MIPS ISA、或任何其他合适的ISA)中的任何指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器2910通常可以但并非必须实现相同的ISA。
系统存储器2920可被配置为存储可被处理器2910访问的程序指令2922和/或数据。在各种实施方案中，系统存储器2920可使用任何适当的存储器技术来实现，诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性存储器/闪存存储器、或任何其他类型的存储器。在例示的实施方案中，程序指令2922可被配置为实现本文所述功能中的任一功能。另外，存储器2920可包括本文所述的信息或数据结构中的任一者。在一些实施方案中，程序指令和/或数据可被接收、发送或存储在独立于系统存储器2920或计算机系统2900的不同类型的计算机可访问介质上或类似的介质上。尽管将计算机系统2900描述为实施前面各图的功能框的功能，但可经由此类计算机系统来实施本文描述的任何功能。
在一个实施方案中，I/O接口2930可被配置为协调设备中的处理器2910、系统存储器2920、和任何外围设备(包括网络接口2940或其他外围设备接口，诸如输入/输出设备2950)之间的I/O通信量。在一些实施方案中，I/O接口2930可执行任何必要的协议、定时或其他数据转换，以将来自一个部件(例如系统存储器2920)的数据信号转换为适用于由另一个部件(例如处理器2910)使用的格式。在一些实施方案中，I/O接口2930可包括对例如通过各种类型的外围设备总线(诸如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型)所附接的设备的支持。在一些实施方案中，I/O接口2930的功能例如可被划分到两个或更多个单独部件中，诸如北桥和南桥。此外，在一些实施方案中，I/O接口2930(诸如至系统存储器2920的接口)的一些或所有功能可被直接并入到处理器2910中。
网络接口2940可被配置为允许在计算机系统2900和附接到网络2985的其他设备(例如承载器或代理设备)之间、或者在计算机系统2900的节点之间交换数据。在各种实施方案中，网络2985可包括一种或多种网络，包括但不限于：局域网(LAN)(例如以太网或企业网)、广域网(WAN)(例如互联网)、无线数据网、某种其他电子数据网络、或它们的某种组合。在各种实施方案中，网络接口2940例如可支持经由有线或无线通用数据网络诸如任何适当类型的以太网网络的通信；经由电信/电话网络诸如模拟语音网络或数字光纤通信网络的通信；经由存储区域网络诸如光纤信道SAN或经由任何其他适当类型的网络和/或协议的通信。
在一些实施方案中，输入/输出设备2950可包括一个或多个显示终端、键盘、键区、触摸板、扫描设备、语音或光学识别设备、或适用于由一个或多个计算机系统2900输入或访问数据的任何其他设备。多个输入/输出设备2950可存在于计算机系统2900中，或者可分布在计算机系统2900的各个节点上。在一些实施方案中，类似的输入/输出设备可与计算机系统2900分开，并且可通过有线或无线连接(诸如通过网络接口2940)与计算机系统2900的一个或多个节点进行交互。
如图17所示，存储器2920可包括可由处理器执行以实现上述任何元件或动作的程序指令2922。在一个实施方案中，程序指令可实现上述方法。在其他实施方案中，可包括不同的元件和数据。需注意，数据可包括上述任何数据或信息。
本领域的技术人员应当理解，计算机系统2900仅仅是示例性的，而并非旨在限制实施方案的范围。特别地，计算机系统和设备可包括可执行所指出的功能的硬件或软件的任意组合，包括计算机、网络设备、互联网设备、个人数字助理、无线电话、寻呼机等等。计算机系统2900还可被连接到未示出的其他设备或者反之作为独立的系统进行操作。此外，由所示出的部件所提供的功能在一些实施方案中可被组合在更少的部件中或者被分布在附加部件中。类似地，在一些实施方案中，一些所示出的部件的功能可不被提供，和/或可还有其他附加功能可供使用。
本领域的技术人员还将认识到，虽然各种项目被示出为在被使用期间被存储在存储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在存储器和其他存储设备之间进行传输。或者，在其他实施方案中，这些软件组件中的一些或全部软件组件可在另一设备上的存储器中执行，并且经由计算机间通信来与所示出的计算机系统进行通信。一些或全部系统部件或数据结构也可(例如作为指令或结构化数据)被存储在计算机可访问介质或便携式制品上，以由合适的驱动器读取，其多种示例在上文中被描述。在一些实施方案中，存储在与计算机系统2900分开的计算机可访问介质上的指令可经由传输介质或信号(诸如电信号、电磁信号、或数字信号)被传输到计算机系统2900，该传输介质或信号经由通信介质(诸如网络和/或无线链路)来传送。各种实施方案可进一步包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来讲，计算机可访问介质可包括非暂态计算机可读存储介质或存储器介质，诸如磁或光介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等。在一些实施方案中，计算机可访问介质可包括传输介质或信号，诸如经由通信介质诸如网络和/或无线链路来传输的电气信号、电磁信号或数字信号。
多功能设备示例
图18示出了根据一些实施方案的便携式多功能设备的框图。在一些实施方案中，该设备是还包含其他功能诸如PDA、相机、视频捕获和/或回放，和/或音乐播放器功能的便携式通信设备诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于来自Apple Inc(Cupertino,California)的
设备、iPod
设备和
设备。也可使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触控板)的膝上型计算机、移动电话、智能电话、平板设备或平板电脑。还应当理解的是，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。在一些实施方案中，设备是具有取向传感器(例如游戏控制器中的取向传感器)的游戏计算机。在其他实施方案中，该设备并非便携式通信设备，而是相机和/或摄像机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而应当理解，电子设备可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操作杆。
该设备通常支持各种应用程序，诸如以下应用程序中的一个或多个应用程序：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可在设备上执行的各种应用程序可使用至少一个共用的物理的用户界面设备诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息对于各个应用程序可被调整和/或是不同的，和/或在对应应用程序内可被调整和/或是不同的。这样，设备的共用物理架构(诸如触敏表面)可利用对于用户直观且透明的用户界面来支持各种应用程序。
设备2100可具有存储器2102(其可包括一个或多个计算机可读存储介质)、存储器控制器2122、一个或多个处理单元(CPU)2120、外围设备接口2118、RF电路2108、音频电路2110、扬声器2111、触敏显示系统2112、麦克风2113、输入/输出(I/O)子系统2106、其他输入控制设备2116、和外部端口2124。设备2100可包括一个或多个光学传感器或相机2164。这些部件可通过一条或多条通信总线或信号线2103进行通信。
应当理解，设备2100只是便携式多功能设备的一个示例，并且设备2100可具有比所示出的更多或更少的部件，可组合两个或更多个部件，或者可具有这些部件的不同配置或布置。图18中所示的各种部件可以硬件、软件或硬件和软件组合来实施，包括一个或多个信号处理电路和/或专用集成电路。
存储器2102可包括高速随机存取存储器并且还可包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备、或其他非易失性固态存储器设备。设备2100的其他部件(诸如CPU 2120和外围设备接口2118)对存储器2102的访问可由存储器控制器2122来控制。
外围设备接口2118可被用于将设备的输入外围设备和输出外围设备耦接到CPU2120和存储器2102。该一个或多个处理器2120运行或执行被存储在存储器2102中的各种软件程序和/或指令集，以执行设备2100的各种功能并处理数据。
在一些实施方案中，外围设备接口2118、CPU 2120、和存储器控制器2122可在单个芯片诸如芯片2104上实现。在一些其他实施方案中，它们可在单独的芯片上实现。
RF(射频)电路2108接收和发送也被称为电磁信号的RF信号。RF电路2108将电信号转换为电磁信号/将电磁信号转换为电信号，并且经由电磁信号来与通信网络以及其他通信设备进行通信。RF电路2108可包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器/解码器(编解码器)芯片组、用户身份模块(SIM)卡、存储器等等。RF电路2108可通过无线通信与网络以及其他设备进行通信，该网络诸如互联网(也被称为万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。无线通信可使用多种通信标准、协议和技术中的任何类型，包括但不限于全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(WI-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE802.11n)、互联网语音协议(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理现场协议(XMPP)、用于即时消息和现场利用扩展的会话发起协议(SIMPLE)、即时消息和到场服务(IMPS))、和/或短消息服务(SMS)、或者包括在本文献提交日还未开发出的通信协议的其他任何适当的通信协议。
音频电路2110、扬声器2111和麦克风2113提供用户与设备2100之间的音频接口。音频电路2110从外围设备接口2118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器2111。扬声器2111将电信号转换为人类可听的声波。音频电路2110还接收由麦克风2113根据声波转换的电信号。音频电路2110将电信号转换为音频数据，并将音频数据传输到外围设备接口2118以用于处理。音频数据可由外围设备接口2118从存储器2102和/或RF电路2108进行检索和/或被传输至存储器102和/或RF电路108。在一些实施方案中，音频电路2110还包括耳麦插孔。耳麦插孔提供音频电路2110与可移除的音频输入/输出外围设备之间的接口，该外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统2106将设备2100上的输入/输出外围设备诸如触摸屏2112和其他输入控制设备2116耦接到外围设备接口2118。I/O子系统2106可包括显示控制器2156和用于其他输入控制设备2116的一个或多个输入控制器2160。该一个或多个输入控制器2160从其他输入控制设备2116接收电信号/将电信号发送到其他输入控制设备116。该其他输入控制设备2116可包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击式转盘等等。在一些另选实施方案中，一个或多个输入控制器2160可耦接到(或不耦接到)以下各项中的任一者：键盘、红外端口、USB端口、和指向设备诸如鼠标。该一个或多个按钮可包括用于扬声器2111和/或麦克风2113的音量控制的增大/减小按钮。该一个或多个按钮可包括下压按钮。
触敏显示器2112提供设备和用户之间的输入接口和输出接口。显示控制器2156从触摸屏2112接收电信号和/或将电信号发送至触摸屏112。触摸屏2112向用户显示视觉输出。视觉输出可包括图形、文本、图标、视频、以及它们的任意组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部的视觉输出可对应于用户界面对象。
触摸屏2112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触摸屏2112和显示控制器2156(与存储器2102中的任何相关联的模块和/或指令集一起)检测触摸屏2112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与显示在触摸屏2112上的用户界面对象(例如，一个或多个软键、图标、网页或图像)的交互。在一个示例性实施方案中，触摸屏2112和用户之间的接触点对应于用户的手指。
触摸屏2112可使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术、或LED(发光二极管)技术，但是在其他实施方案中可使用其他显示技术。触摸屏2112和显示控制器2156可使用现在已知的或以后将开发出的多种触摸感测技术中的任何触摸感测技术以及其他接近传感器阵列或用于确定与触摸屏2112的一个或多个接触点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外技术和表面声波技术。在示例性实施方案中，使用投射式互电容感测技术，诸如从AppleInc.(Cupertino,California)的
iPod
和
发现的技术。
触摸屏2112可具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏具有约160dpi的视频分辨率。用户可使用任何合适的物体或附加物诸如触笔、手指等等来与触摸屏2112接触。在一些实施方案中，用户界面被设计用于主要与基于手指的接触和手势工作，由于手指在触摸屏上的接触区域较大，因此这可能不如基于触笔的输入精确。在一些实施方案中，设备将基于手指的粗略输入转译为精确的指针/光标位置或命令以执行用户所期望的动作。
在一些实施方案中，除了触摸屏2112之外，设备2100可包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施方案中，触摸板是设备的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触摸板可以是与触摸屏2112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备2100还包括用于为各种部件供电的电力系统2162。电力系统2162可包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率转换器或逆变器、电源状态指示器(例如，发光二极管(LED))和与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备2100还可包括一个或多个光学传感器或相机2164。图18示出了耦接到I/O子系统2106中的光学传感器控制器2158的光学传感器。光学传感器2164例如可包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管或感光器。光学传感器2164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像的数据。结合成像模块2143(也称为相机模块)，光学传感器2164可捕获静态图像和/或视频序列。在一些实施方案中，至少一个光学传感器可位于设备2100的后部上，与位于该设备的前部上的触摸屏显示器2112相背对。在一些实施方案中，触摸屏显示器可用作静态和/或视频图像采集的取景器。在一些实施方案中，替代性地或此外，至少一个光学传感器还可位于设备的前部。
设备2100还可包括一个或多个接近传感器2166。图18示出了耦接到外围设备接口2118的接近传感器2166。作为另外一种选择，接近传感器2166可耦接到I/O子系统2106中的输入控制器2160。在一些实施方案中，当多功能设备被放置在用户耳朵附近时(例如，当用户打电话时)，该接近传感器关闭并禁用触摸屏2112。
设备2100还可包括一个或多个取向传感器2168。在一些实施方案中，该一个或多个取向传感器包括一个或多个加速度计(例如一个或多个线性加速度计和/或一个或多个旋转加速度计)。在一些实施方案中，该一个或多个取向传感器包括一个或多个陀螺仪。在一些实施方案中，该一个或多个取向传感器包括一个或多个磁力仪。在一些实施方案中，该一个或多个取向传感器包括全球定位系统(GPS)、全球导航卫星系统(GLONASS)、和/或其他全球导航系统接收器中的一者或多者。GPS、GLONASS、和/或其他全球导航系统接收器可用于获取关于设备2100的位置和取向(例如纵向或横向)的信息。在一些实施方案中，该一个或多个取向传感器包括取向传感器/旋转传感器的任何组合。图18示出了耦接到外围设备接口2118的该一个或多个取向传感器2168。或者，该一个或多个取向传感器2168可耦接到I/O子系统2106中的输入控制器2160。在一些实施方案中，信息基于对从这一个或多个取向传感器接收的数据的分析而在触摸屏显示器上被显示在纵向视图或横向视图中。
在一些实施方案中，设备2100还可包括一个或多个其他传感器(未示出)，包括但不限于环境光传感器和运动检测器。这些传感器可耦接到外围设备接口2118，或者另选地可耦接到I/O子系统2106中的输入控制器2160。例如，在一些实施方案中，设备2100可包括可用于从设备2100的环境采集环境光照指标的至少一个前向(背向用户)和至少一个后向(朝向用户)光传感器以用于视频和图像捕获、处理和显示应用。
在一些实施方案中，被存储在存储器2102中的软件部件包括操作系统2126、通信模块2128、接触/运动模块(或指令集)2130、图形模块2132、文本输入模块2134、全球定位系统(GPS)模块2135、以及应用程序2136。此外，在一些实施方案中，存储器2102存储设备/全局内部状态2157。设备/全局内部状态2157包括以下各项中的一者或多者：活动应用程序状态，该活动应用程序状态用于指示哪些应用程序(如果有的话)当前是活动的；显示状态，该显示状态用于指示什么应用程序、视图或其他信息占据触摸屏显示器2112的各个区域；传感器状态，该传感器状态包括从设备的各个传感器和输入控制设备2116获取的信息；和关于设备位置和/或姿态的位置信息。
操作系统2126(例如，Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS、或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电力管理等)的各种软件部件和/或驱动器，并且有利于各种硬件和软件部件之间的通信。
通信模块2128促进通过一个或多个外部端口2124来与其他设备进行通信，并且还包括用于处理由RF电路2108和/或外部端口2124所接收的数据的各种软件部件。外部端口2124(例如，通用串行总线(USB)、火线等)适用于直接耦接到其他设备或者间接地通过网络(例如，互联网、无线LAN等)进行耦接。在一些实施方案中，外部端口是与iPod(Apple Inc.的商标)设备上所使用的30针连接器相同的或类似的和/或与其兼容的多针(例如，30针)连接器。
接触/运动模块2130可检测与触摸屏2112(结合显示控制器2156)和其他触敏设备(例如，触摸板或物理点击式转盘)的接触。接触/运动模块2130包括多个软件部件以用于执行与接触的检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定是否存在接触的移动并在触敏表面上跟踪该移动(例如，检测一个或多个手指拖动事件)、以及确定接触是否已终止(例如，检测手指抬起事件或者接触中断)。接触/运动模块2130从触敏表面接收接触数据。确定接触点的移动可包括确定接触点的速率(量值)、速度(量值和方向)、和/或加速度(量值和/或方向的改变)，接触点的移动由一系列接触数据来表示。这些操作可施加于单个触点(例如，一个指状触点)或多个同时的触点(例如，“多点触摸”/多个指状触点)。在一些实施方案中，接触/运动模块2130和显示控制器2156检测触摸板上的接触。
接触/运动模块2130可检测用户的手势输入。触敏表面上的不同手势具有不同的接触图案。因此，可通过检测具体接触图案来检测手势。例如，检测单指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。作为另一个示例，在触敏表面上检测手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。
图形模块2132包括用于在触摸屏2112或其他显示器上渲染和显示图形的多个软件部件，其包括用于改变被显示图形的强度的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，非限制性地包括文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块2132存储用于表示待使用图形的数据。每个图形可被分配有对应的代码。图形模块2132从应用程序等接收指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，然后生成屏幕图像数据以输出至显示控制器2156。
可作为图形模块2132的部件的文本输入模块2134提供用于在需要文本输入的多种应用程序中输入文本的软键盘。
GPS模块2135确定设备的位置并提供了在各种应用程序中使用的这种信息(例如，提供至用于基于位置的拨号的电话模块2138；提供至相机模块2143作为图片/视频元数据；以及提供至提供基于位置的服务诸如地图/导航桌面应用程序)。
应用程序2136可包括但不限于以下模块(或指令集)中的一者或多者或者其子集或超集：
·电话模块2138；
·视频会议模块2139；
·用于静态图像和/或视频图像的相机模块2143；
·图像管理模块2144；
·浏览器模块2147；
·搜索模块2151；
·视频和音乐播放器模块2152，其可由视频播放器模块和音乐播放器模块构成；和/或
·在线视频模块2155。
可被存储在存储器2102中的其他应用程序2136的示例包括但不限于其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、通信/社交媒体应用程序、地图应用程序、支持JAVA的应用程序、加密、数字权益管理、语音识别、和语音复制。
结合RF电路2108、音频电路2110、扬声器2111、麦克风2113、触摸屏2112、显示控制器2156、接触模块2130、图形模块2132、和文本输入模块2134，电话模块2138可用于输入与电话号码对应的字符序列、访问地址簿中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话以及当会话完成时断开或挂断。如上所述，无线通信可使用多个通信标准、协议和技术中的任一者。
结合RF电路2108、音频电路2110、扬声器2111、麦克风2113、触摸屏2112、显示控制器2156、光学传感器2164、光学传感器控制器2158、接触/运动模块2130、图形模块2132、文本输入模块2134和电话模块2138，视频会议模块2139包括用于根据用户指令发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合触摸屏2112、显示控制器2156、一个或多个光学传感器2164、光学传感器控制器2158、接触/运动模块2130、图形模块2132和图像管理模块2144，相机模块2143包括用于以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器2102中、修改静态图像或视频的特征、或从存储器2102删除静态图像或视频。
结合触摸屏2112、显示控制器2156、接触/运动模块2130、图形模块2132、文本输入模块2134、和相机模块2143，图像管理模块2144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路2108、触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132和文本输入模块2134，浏览器模块2147包括用于根据用户指令来浏览互联网(包括搜索、链接至、接收、和显示网页或其部分，以及链接至网页的附件和其他文件)的可执行指令。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132和文本输入模块2134，搜索模块2151包括用于根据用户指令来搜索存储器2102中的匹配一个或多个搜索条件(例如，一个或多个用户指定的搜索词)的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132、音频电路系统2110、扬声器2111、RF电路系统2108、和浏览器模块2147，视频和音乐播放器模块2152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触摸屏2112上或在经由外部端口2124连接的外部显示器上)的可执行指令。在一些实施方案中，设备2100可包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132、音频电路2110、扬声器2111、RF电路2108、文本输入模块2134和浏览器模块2147，在线视频模块2155包括指令，该指令允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如在触摸屏上或在经由外部端口2124所连接的外部显示器上)，以及以其他方式管理一种或多种视频格式诸如H.264/AVC格式或H.265/HEVC格式的在线视频。
上述所识别的每个模块和应用程序对应于用于执行上述一种或多种功能以及在本申请中所描述的方法(例如，本文中所述的计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即指令集)不必被实现为独立的软件程序、过程或模块，并因此在各种实施方案中可组合或以其他方式重新布置这些模块的各种子集。在一些实施方案中，存储器2102可存储上述模块和数据结构的子集。此外，存储器2102可存储上文没有描述的附加模块和数据结构。
在一些实施方案中，设备2100是唯一地通过触摸屏和/或触摸板来执行设备上的预定义的一组功能的操作的设备。通过使用触摸屏和/或触摸板作为用于设备2100的操作的主要输入控制设备，可减少设备2100上的物理输入控制设备(诸如下压按钮、拨号盘等等)的数量。
可唯一地通过触摸屏和/或触摸板执行的预定义的一组功能包括在用户界面之间进行导航。在一些实施方案中，触摸板在被用户触摸时将设备2100从可被显示在设备2100上的任何用户界面导航到主界面菜单、home菜单或根菜单。在此类实施方案中，触摸板可被称为“菜单按钮”。在一些其他实施方案中，菜单按钮可以是物理下压按钮或者其他物理输入控制设备，而不是触摸板。
图19示出了根据一些实施方案的具有触摸屏2112的便携式多功能设备2100。触摸屏可在用户界面(UI)2200内显示一个或多个图形。在设备2100的至少一些实施方案中，用户可通过例如利用一个或多个手指2202(在附图中未必按比例绘制)或者利用一个或多个触控笔2203(在附图中未必按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。
设备2100还可包括一个或多个物理按钮，诸如“home”按钮或菜单按钮2204。如前所述，菜单按钮2204可被用于导航到可在设备2100上执行的一组应用程序中的任何应用程序2136。作为另外一种选择，在一些实施方案中，菜单按钮可被实现为被显示在触摸屏2112上的GUI中的软键。
在一些实施方案中，设备2100包括触摸屏2112、home按钮/菜单按钮2204、用于对设备开关机和锁定设备的下压按钮2206、一个或多个音量调整按钮2208、用户身份模块(SIM)卡槽2210、耳麦接口2212、和对接/充电外部端口2124。下压按钮2206可用于通过按下按钮并在预定义时间间隔内使按钮保持在按下状态来打开/关闭设备上的电源；用于通过按下按钮并在经过预定义时间间隔之前释放按钮来锁定设备；并且用于解锁设备或启动解锁过程。在另选的实施方案中，设备2100还可通过麦克风2113来接受用于激活或去激活一些功能的语音输入。
设备2100还可包括一个或多个相机2164。相机2164例如可包括电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)光电晶体管或感光器。相机2164从环境接收通过一个或多个透镜而投射的光，并且将光转换为表示图像或视频帧的数据。在一些实施方案中，至少一个相机2164可位于设备2100的与位于该设备的前部上的触摸屏显示器2112相背对的后部上。在一些实施方案中，替代性地或此外，至少一个相机2164还可位于具有触摸屏显示器2112的设备的前部，使得在用户在触摸屏显示器2112上观看其他视频会议参与者的同时可获取该用户的图像以用于视频会议。在一些实施方案中，至少一个相机2164可位于设备2100的前部上，并且至少一个相机2164可位于设备2100的后部上。在一些实施方案中，触摸屏显示器2112可用作静态图像和/或视频序列采集应用的取景器和/或用户界面。
设备2100可包括可用于捕获、处理、转换、压缩、解压缩、存储、修改、传输、显示并以其他方式管理和操作通过相机2164捕获或以其他方式采集(例如，通过网络接口)的静态图像和/或视频帧或视频序列的视频和图像处理硬件和/或软件，包括但不限于视频编码和或/解码部件、编解码器、模块或流水线。在一些实施方案中，设备2100还可包括可用于从设备2100的环境中采集环境光照或其他指标的一个或多个光传感器或其他传感器，以便在视频和图像捕获、处理和显示中使用。
在不同的实施方案中，本文所述的方法可在软件、硬件或它们的组合中实现。此外，可改变方法的框的次序，可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示的而非是限制性的。许多变型、修改、添加和改进是可能的。因此，可以为本文中描述为单个示例的部件提供多个示例。各种部件、操作和数据存储装置之间的界限在一定程度上是任意性的，并且在具体例示性配置的上下文中例示了特定操作。设想了可落在所附权利要求的范围内的功能的其他分配。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合结构或部件。这些和其他变型、修改、添加和改进可落在所附权利要求所限定的实施方案的范围内。
Claims (25)
1.一种视频处理系统，包括：
编码模块，所述编码模块被配置为：
接收来自一个或多个源的视频的视频数据；以及
对于一个或多个显示面板中的每个：
获得显示面板的一个或多个特征，其中所述一个或多个特征包括所述显示面板的动态范围；
获得一个或多个环境指标，所述一个或多个环境指标指示所述显示面板处和所述显示面板外部的当前周围环境条件；
在根据压缩的视频格式对所述视频数据进行编码以生成经编码的视频内容之前，处理所述视频数据以生成适应于所述当前周围环境条件和所述显示面板的动态范围的经适应的视频内容，所述处理所述视频数据基于：
所述视频数据的一个或多个特征，
包括所述显示面板的动态范围的所述显示面板的所述一个或多个特征，以及
指示所述显示面板处和所述显示面板外部的当前周围环境条件的所述一个或多个环境指标；
其中，为了处理所述视频数据，所述编码模块被配置为将色调映射应用于所述视频数据，
根据所述显示面板的动态范围和所述一个或多个环境指标中的至少一个环境指标来调整所述色调映射，以使所述视频数据的亮度适应于由环境指标所指示的所述当前周围环境条件；
根据压缩的视频格式对经适应的视频内容进行编码，以生成经编码的视频内容；以及
将所述经编码的视频内容提供给与相应显示面板相关联的解码模块。
2.根据权利要求1所述的系统，其中所述显示面板的所述一个或多个特征包括所述显示面板的色域，并且其中为了处理所述视频数据，所述编码模块被配置为将色域映射应用于所述视频数据以生成在所述显示面板的色域中的视频内容。
3.根据权利要求2所述的系统，其中所述编码模块被配置为根据所述一个或多个环境指标中的至少一个环境指标来调整应用于所述视频数据的色彩伽玛映射，以使所述视频内容的色彩适应于由环境指标所指示的所述当前周围环境条件。
4.根据权利要求1所述的系统，其中所述显示面板的所述一个或多个特征包括所述显示面板的色彩空间和位深度，并且其中为了处理所述视频数据，所述编码模块被配置为将所述视频数据映射到所述显示面板的所述色彩空间和所述位深度。
5.根据权利要求1所述的系统，进一步包括
与相应显示面板相关联的解码模块，所述解码模块被配置为：
对经编码的视频内容进行解码和处理，以获得相应显示面板的色彩空间中的经适应的视频内容；以及
将经适应的视频内容输出到相应显示面板以进行显示。
6.根据权利要求1所述的系统，其中所述一个或多个显示面板中的至少一个显示面板是与所述编码模块相同的设备的组件。
7.根据权利要求1所述的系统，其中所述一个或多个显示面板中的至少一个显示面板是与所述编码模块不同的设备的组件。
8.根据权利要求1所述的系统，其中所述一个或多个源包括与所述编码模块在同一设备上的摄像机。
9.根据权利要求1所述的系统，其中所述视频数据是高动态范围HDR视频数据，其中所述一个或多个显示面板中的至少一个显示面板是支持HDR的显示面板，并且其中用于支持HDR的显示面板的经适应的视频内容是根据所述支持HDR的显示面板的所述一个或多个特征再现的HDR视频内容。
10.根据权利要求1所述的系统，其中所述视频数据是广色域WCG视频数据，其中所述一个或多个显示面板中的至少一个显示面板支持WCG成像，并且其中用于所述一个或多个显示面板中的所述至少一个显示面板的经适应的视频内容是根据所述一个或多个显示面板中的所述至少一个显示面板的所述一个或多个特征再现的WCG视频内容。
11.根据权利要求1所述的系统，其中所述编码模块被配置为针对所述一个或多个显示面板中的每一个显示面板：
获得该显示面板对向的视野，所述视野对应于人类查看者相对于显示面板的位置。
12.根据权利要求1所述的系统，其中所述当前周围环境条件中的至少一个当前周围环境条件包括人类查看者相对于所述显示面板的位置。
13.根据权利要求1所述的系统，其中所述显示面板的所述一个或多个特性还包括针对所述显示面板的一个或多个所测量的特征，其中所述一个或多个所测量的特征包括以下各项中的一者或多者：所述显示面板的所测量的响应特征、漏光特征或反射光特征。
14.根据权利要求1所述的系统，其中所述一个或多个环境指标包括以下各项中的一者或多者：查看者相对于所述显示面板的位置、所述显示面板的尺寸以及所述查看者到所述显示面板的距离。
15.根据权利要求1所述的系统，其中将色调映射应用于所述视频数据还包括：
至少基于所述当前周围环境条件来调整在所述色调映射中使用的色调曲线或传递函数中的一个或多个。
16.根据权利要求1所述的系统，其中将色调映射应用于所述视频数据还包括：
将所述视频数据的视频帧分割成多个区域；
对于所述多个区域中的每个区域，至少基于所述显示面板的特征中的一个或多个特征或所述一个或多个环境指标来动态选择一个或多个局部色调曲线。
17.根据权利要求4所述的系统，其中将所述视频数据映射到所述显示面板的所述色彩空间和所述位深度包括至少基于所述显示面板的特征来选择色彩曲线、传递函数或查找表中的一个或多个。
18.根据权利要求17所述的系统，其中所述编码模块被配置为至少基于所述当前周围环境条件来调整色彩曲线、传递函数或查找表中的一个或多个。
19.一种视频处理方法，包括：
由设备上实现的编码模块执行：
接收来自视频源的视频的视频数据；
获得显示面板的一个或多个特征，其中所述一个或多个特征包括所述显示面板的动态范围；
获得一个或多个环境指标，所述一个或多个环境指标指示所述显示面板处和所述显示面板外部的当前周围环境条件；
在根据压缩的视频格式对所述视频数据进行编码以生成经编码的视频内容之前，处理所述视频数据以生成适应于所述当前周围环境条件和所述显示面板的动态范围的经适应的视频内容，所述处理至少部分地基于：
所述视频数据的一个或多个特征，
包括所述显示面板的动态范围的所述显示面板的所述一个或多个特征，以及
指示所述显示面板处和所述显示面板外部的当前周围环境条件的所述一个或多个环境指标；
其中处理所述视频数据包括将色调映射应用于所述视频数据，所述色调映射根据所述显示面板的动态范围和所述一个或多个环境指标中的至少一个环境指标来调整，以使所述视频数据的亮度适应于由环境指标所指示的所述当前周围环境条件；
根据压缩的视频格式对经适应的视频内容进行编码，以生成经编码的视频内容；以及
将所述经编码的视频内容提供给所述显示面板以进行显示。
20.根据权利要求19所述的方法，其中所述显示面板是与所述编码模块不同的设备的组件。
21.根据权利要求19所述的方法，其中处理所述视频数据包括将色域映射应用于所述视频数据，以生成在所述显示面板的色域中的视频内容，其中根据所述一个或多个环境指标中的至少一个环境指标来调整所述色域映射，以使所述视频内容的色彩适应于由环境指标所指示的所述当前周围环境条件。
22.根据权利要求19所述的方法，其中所述显示面板的所述一个或多个特征包括所述显示面板的色彩空间和位深度，并且其中处理所述视频数据包括将所述视频数据映射到所述显示面板的所述色彩空间和所述位深度。
23.根据权利要求19所述的方法，其中所述视频数据包括高动态范围HDR和广色域WCG视频数据，其中所述显示面板的所述一个或多个特征包括HDR和WCG成像支持，并且其中用于所述显示面板的经适应的视频内容是根据所述显示面板的所述一个或多个特征再现的广色域中的HDR视频内容。
24.一种视频处理装置，包括：
一个或多个计算设备，所述一个或多个计算设备被配置为：
获得显示面板的一个或多个特征，其中所述一个或多个特征包括所述显示面板的动态范围；
获得一个或多个环境指标，所述一个或多个环境指标指示所述显示面板处和所述显示面板外部的当前周围环境条件；
在根据压缩的视频格式对视频数据进行编码以生成经编码的视频内容之前，处理所述视频的输入视频数据以生成适应于所述当前周围环境条件和所述显示面板的动态范围的经适应的视频内容，所述处理基于：
所述视频数据的一个或多个特征，
包括所述显示面板的动态范围的所述显示面板的所述一个或多个特征，以及
指示所述显示面板处和所述显示面板外部的当前周围环境条件的所述一个或多个环境指标；
其中为了处理所述视频数据，所述一个或多个计算设备被配置为将色调映射应用于所述视频数据，所述色调映射根据所述显示面板的动态范围和所述一个或多个环境指标中的至少一个环境指标来调整，以使所述视频数据的亮度适应于由环境指标所指示的所述当前周围环境条件；
根据压缩的视频格式对经适应的视频内容进行编码，以生成经编码的视频内容；
获得和处理所述经编码的视频内容以生成所述显示面板的色彩空间中的经适应的视频内容；以及
将所述经适应的视频内容输出到所述显示面板以进行显示。
25.根据权利要求24所述的装置，其中所述视频数据包括高动态范围HDR和广色域WCG视频数据，其中所述显示面板支持HDR和WCG成像，并且其中所述经编码的视频内容是根据所述显示面板的所述一个或多个特征再现的广色域中的HDR视频内容。
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461944484P | 2014-02-25 | 2014-02-25 | |
| US61/944,484 | 2014-02-25 | ||
| US201461946638P | 2014-02-28 | 2014-02-28 | |
| US201461946633P | 2014-02-28 | 2014-02-28 | |
| US61/946,638 | 2014-02-28 | ||
| US61/946,633 | 2014-02-28 | ||
| US14/631,405 US10264266B2 (en) | 2014-02-25 | 2015-02-25 | Non-linear display brightness adjustment |
| US14/631,394 US10271054B2 (en) | 2014-02-25 | 2015-02-25 | Display-side adaptive video processing |
| US14/631,398 US10880549B2 (en) | 2014-02-25 | 2015-02-25 | Server-side adaptive video processing |
| CN201580010103.9A CN106030503B (zh) | 2014-02-25 | 2015-02-25 | 自适应视频处理 |
| PCT/US2015/017539 WO2015130796A1 (en) | 2014-02-25 | 2015-02-25 | Adaptive video processing |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580010103.9A Division CN106030503B (zh) | 2014-02-25 | 2015-02-25 | 自适应视频处理 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111526350A CN111526350A (zh) | 2020-08-11 |
| CN111526350B true CN111526350B (zh) | 2022-04-05 |
Family
ID=53882764
Family Applications (7)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580010095.8A Active CN106031172B (zh) | 2014-02-25 | 2015-02-25 | 用于视频编码和解码的自适应传递函数 |
| CN202310395840.1A Pending CN116320394A (zh) | 2014-02-25 | 2015-02-25 | 用于视频编码和解码的自适应传递函数 |
| CN201910771191.4A Pending CN110365974A (zh) | 2014-02-25 | 2015-02-25 | 用于视频编码和解码的自适应传递函数 |
| CN201580010103.9A Active CN106030503B (zh) | 2014-02-25 | 2015-02-25 | 自适应视频处理 |
| CN201580008321.9A Active CN106233706B (zh) | 2014-02-25 | 2015-02-25 | 用于提供具有标准动态范围和高动态范围两者的视频的向后兼容的装置和方法 |
| CN202010303152.4A Active CN111526350B (zh) | 2014-02-25 | 2015-02-25 | 自适应视频处理 |
| CN202010008012.4A Active CN111246050B (zh) | 2014-02-25 | 2015-02-25 | 用于视频数据处理的系统、装置和方法 |
Family Applications Before (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201580010095.8A Active CN106031172B (zh) | 2014-02-25 | 2015-02-25 | 用于视频编码和解码的自适应传递函数 |
| CN202310395840.1A Pending CN116320394A (zh) | 2014-02-25 | 2015-02-25 | 用于视频编码和解码的自适应传递函数 |
| CN201910771191.4A Pending CN110365974A (zh) | 2014-02-25 | 2015-02-25 | 用于视频编码和解码的自适应传递函数 |
| CN201580010103.9A Active CN106030503B (zh) | 2014-02-25 | 2015-02-25 | 自适应视频处理 |
| CN201580008321.9A Active CN106233706B (zh) | 2014-02-25 | 2015-02-25 | 用于提供具有标准动态范围和高动态范围两者的视频的向后兼容的装置和方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010008012.4A Active CN111246050B (zh) | 2014-02-25 | 2015-02-25 | 用于视频数据处理的系统、装置和方法 |
Country Status (8)
| Country | Link |
|---|---|
| US (10) | US10271054B2 (zh) |
| EP (2) | EP3829171A1 (zh) |
| JP (5) | JP6383425B2 (zh) |
| KR (7) | KR20190109579A (zh) |
| CN (7) | CN106031172B (zh) |
| AU (5) | AU2015223123A1 (zh) |
| DE (2) | DE112015000959T5 (zh) |
| WO (3) | WO2015130796A1 (zh) |
Families Citing this family (221)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9955084B1 (en) * | 2013-05-23 | 2018-04-24 | Oliver Markus Haynold | HDR video camera |
| MY178948A (en) * | 2013-06-20 | 2020-10-23 | Sony Corp | Reproduction device, reproduction method, and recording medium |
| JP2015005878A (ja) | 2013-06-20 | 2015-01-08 | ソニー株式会社 | 再生装置、再生方法、および記録媒体 |
| US20150228106A1 (en) * | 2014-02-13 | 2015-08-13 | Vixs Systems Inc. | Low latency video texture mapping via tight integration of codec engine with 3d graphics engine |
| US10271054B2 (en) | 2014-02-25 | 2019-04-23 | Apple, Inc. | Display-side adaptive video processing |
| JP2015195439A (ja) * | 2014-03-31 | 2015-11-05 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN106464966B (zh) * | 2014-05-12 | 2020-12-08 | 索尼公司 | 通信装置、通信方法和计算机可读存储介质 |
| US10217438B2 (en) * | 2014-05-30 | 2019-02-26 | Apple Inc. | User interface and method for directly setting display white point |
| WO2015190045A1 (ja) * | 2014-06-10 | 2015-12-17 | パナソニックＩｐマネジメント株式会社 | 変換方法および変換装置 |
| CN111901599B (zh) * | 2014-06-27 | 2024-05-14 | 松下知识产权经营株式会社 | 再现装置 |
| US10163408B1 (en) * | 2014-09-05 | 2018-12-25 | Pixelworks, Inc. | LCD image compensation for LED backlighting |
| JP5995129B2 (ja) | 2014-09-22 | 2016-09-21 | パナソニックＩｐマネジメント株式会社 | 再生方法および再生装置 |
| US9729801B2 (en) * | 2014-10-02 | 2017-08-08 | Dolby Laboratories Licensing Corporation | Blending images using mismatched source and display electro-optical transfer functions |
| JP6601729B2 (ja) * | 2014-12-03 | 2019-11-06 | パナソニックＩｐマネジメント株式会社 | データ生成方法、データ再生方法、データ生成装置及びデータ再生装置 |
| TW201633779A (zh) * | 2014-12-16 | 2016-09-16 | 湯姆生特許公司 | 將圖像之高動態範圍版本轉換至該圖像之標準動態範圍版本之方法及裝置 |
| US9860504B2 (en) | 2015-01-09 | 2018-01-02 | Vixs Systems, Inc. | Color gamut mapper for dynamic range conversion and methods for use therewith |
| US9589313B2 (en) * | 2015-01-09 | 2017-03-07 | Vixs Systems, Inc. | Dynamic range converter with pipelined architecture and methods for use therewith |
| US9544560B2 (en) * | 2015-01-09 | 2017-01-10 | Vixs Systems, Inc. | Dynamic range converter with generic architecture and methods for use therewith |
| US9558538B2 (en) * | 2015-01-09 | 2017-01-31 | Vixs Systems, Inc. | Dynamic range converter with frame by frame adaptation and methods for use therewith |
| US9560330B2 (en) * | 2015-01-09 | 2017-01-31 | Vixs Systems, Inc. | Dynamic range converter with reconfigurable architecture and methods for use therewith |
| US10475361B2 (en) | 2015-02-02 | 2019-11-12 | Apple Inc. | Adjustable display illumination |
| WO2016132976A1 (ja) * | 2015-02-17 | 2016-08-25 | ソニー株式会社 | 送信装置、送信方法、受信装置および受信方法 |
| KR102423610B1 (ko) | 2015-02-27 | 2022-07-22 | 소니그룹주식회사 | 송신 장치, 송신 방법, 수신 장치 및 수신 방법 |
| US20160182853A1 (en) * | 2015-03-20 | 2016-06-23 | Mediatek Inc. | Dynamic Content Adaptive Frame Rate Conversion |
| US10109228B2 (en) * | 2015-04-10 | 2018-10-23 | Samsung Display Co., Ltd. | Method and apparatus for HDR on-demand attenuation control |
| WO2016172394A1 (en) * | 2015-04-21 | 2016-10-27 | Arris Enterprises Llc | Adaptive perceptual mapping and signaling for video coding |
| JP6476057B2 (ja) * | 2015-04-28 | 2019-02-27 | 日本放送協会 | 量子化テーブル補正装置、階調削減装置、及びプログラム |
| KR102322709B1 (ko) * | 2015-04-29 | 2021-11-08 | 엘지디스플레이 주식회사 | 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치 |
| KR102337159B1 (ko) * | 2015-05-21 | 2021-12-08 | 삼성전자주식회사 | 컨텐츠 출력 장치 및 방법과, 디스플레이 장치 |
| US10136074B2 (en) * | 2015-06-02 | 2018-11-20 | Samsung Electronics Co., Ltd. | Distribution-point-based adaptive tone mapping |
| US10007412B2 (en) * | 2015-06-24 | 2018-06-26 | Samsung Electronics Co., Ltd. | Tone mastering system with creative intent metadata |
| EP3323243B1 (en) | 2015-07-16 | 2022-01-19 | Dolby Laboratories Licensing Corporation | Signal reshaping and decoding for hdr signals |
| US10116938B2 (en) * | 2015-07-22 | 2018-10-30 | Arris Enterprises Llc | System for coding high dynamic range and wide color gamut sequences |
| TWI764870B (zh) * | 2015-07-28 | 2022-05-21 | 法商內數位麥德遜專利控股有限公司 | 視訊訊號處理裝置及方法 |
| JP6548516B2 (ja) * | 2015-08-26 | 2019-07-24 | キヤノン株式会社 | 画像表示装置、画像処理装置、画像表示装置の制御方法、及び、画像処理装置の制御方法 |
| WO2017040237A1 (en) * | 2015-08-28 | 2017-03-09 | Arris Enterprises Llc | Color volume transforms in coding of high dynamic range and wide color gamut sequences |
| EP3739564A1 (en) | 2015-08-31 | 2020-11-18 | LG Electronics Inc. | Image display apparatus |
| JP6986670B2 (ja) * | 2015-09-11 | 2021-12-22 | パナソニックＩｐマネジメント株式会社 | 映像受信方法及び映像受信装置 |
| US10798422B2 (en) * | 2015-10-20 | 2020-10-06 | Intel Corporation | Method and system of video coding with post-processing indication |
| US10715772B2 (en) * | 2015-11-09 | 2020-07-14 | Netflix, Inc. | High dynamic range color conversion correction |
| CN106878694B (zh) * | 2015-12-10 | 2018-12-18 | 瑞昱半导体股份有限公司 | 高动态范围信号处理系统与方法 |
| EP3364654B1 (en) * | 2015-12-15 | 2021-03-03 | Huawei Technologies Co., Ltd. | High dynamic range image processing method and apparatus |
| US10237525B2 (en) * | 2015-12-25 | 2019-03-19 | Sharp Kabushiki Kaisha | Display device, method for controlling display device, control program, and recording medium |
| US20170186403A1 (en) * | 2015-12-28 | 2017-06-29 | Printing Technology Research Institute | Method of simulating print color on mobile devices |
| CN105657539B (zh) * | 2015-12-30 | 2019-05-31 | 深圳Tcl数字技术有限公司 | 视频播放方法及装置 |
| JP6237797B2 (ja) * | 2016-01-05 | 2017-11-29 | ソニー株式会社 | ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター |
| JP6233424B2 (ja) | 2016-01-05 | 2017-11-22 | ソニー株式会社 | 撮像システムおよび撮像方法 |
| JP6652301B2 (ja) * | 2016-01-27 | 2020-02-19 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| KR20170090824A (ko) * | 2016-01-29 | 2017-08-08 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| US10257393B2 (en) | 2016-02-12 | 2019-04-09 | Contrast, Inc. | Devices and methods for high dynamic range video |
| US10264196B2 (en) | 2016-02-12 | 2019-04-16 | Contrast, Inc. | Systems and methods for HDR video capture with a mobile device |
| WO2017145722A1 (ja) * | 2016-02-26 | 2017-08-31 | ソニー株式会社 | 情報処理装置、表示装置、情報記録媒体、および情報処理方法、並びにプログラム |
| US20170279866A1 (en) * | 2016-03-22 | 2017-09-28 | Intel Corporation | Adaptation of streaming data based on the environment at a receiver |
| JP2017175459A (ja) * | 2016-03-24 | 2017-09-28 | シャープ株式会社 | 信号変換装置、信号変換方法、テレビジョン受像機、プログラム、および記録媒体 |
| US10152947B2 (en) | 2016-04-06 | 2018-12-11 | Microsoft Technology Licensing, Llc | Display brightness updating |
| EP3456058A1 (en) | 2016-05-13 | 2019-03-20 | VID SCALE, Inc. | Bit depth remapping based on viewing parameters |
| CN107395950B (zh) * | 2016-05-16 | 2021-11-09 | 西安电子科技大学 | 媒体数据处理方法和装置及系统 |
| WO2018000126A1 (en) * | 2016-06-27 | 2018-01-04 | Intel Corporation | Method and system of multi-dynamic range multi-layer video blending with alpha channel sideband for video playback |
| EP4336850A3 (en) * | 2016-07-08 | 2024-04-17 | InterDigital Madison Patent Holdings, SAS | Systems and methods for region-of-interest tone remapping |
| US9916638B2 (en) * | 2016-07-20 | 2018-03-13 | Dolby Laboratories Licensing Corporation | Transformation of dynamic metadata to support alternate tone rendering |
| US10587818B2 (en) * | 2016-08-02 | 2020-03-10 | Magna Electronics Inc. | Vehicle vision system with enhanced camera brightness control |
| CA3033242A1 (en) | 2016-08-09 | 2018-02-15 | Contrast, Inc. | Real-time hdr video for vehicle control |
| US10277829B1 (en) | 2016-08-12 | 2019-04-30 | Apple Inc. | Video capture in low-light conditions |
| CN106210921B (zh) * | 2016-08-12 | 2019-10-11 | 深圳创维－Rgb电子有限公司 | 一种图像效果提升方法及其装置 |
| CN106101679B (zh) * | 2016-08-23 | 2018-01-12 | 青岛海信电器股份有限公司 | 高动态范围信号的处理方法及处理系统 |
| US10757385B2 (en) * | 2016-08-24 | 2020-08-25 | Qualcomm Incorporated | Color gamut adaptation with feedback channel |
| US11153594B2 (en) | 2016-08-29 | 2021-10-19 | Apple Inc. | Multidimensional quantization techniques for video coding/decoding systems |
| KR102594201B1 (ko) * | 2016-09-22 | 2023-10-27 | 삼성디스플레이 주식회사 | 영상 처리 방법 및 이를 수행하는 표시 장치 |
| US9883112B1 (en) * | 2016-09-22 | 2018-01-30 | Pinnacle Imaging Corporation | High dynamic range imaging |
| US20180098041A1 (en) * | 2016-09-30 | 2018-04-05 | Sean J. Lawrence | Adaptive chroma subsampling based on display brightness |
| US10778999B2 (en) | 2016-09-30 | 2020-09-15 | Qualcomm Incorporated | Frame rate up-conversion coding mode with affine motion model |
| EP3312798A1 (en) * | 2016-10-20 | 2018-04-25 | Thomson Licensing | Method and device for inverse tone mapping |
| CN107995497B (zh) * | 2016-10-26 | 2021-05-28 | 杜比实验室特许公司 | 高动态范围视频的屏幕自适应解码 |
| US9942513B1 (en) | 2016-10-31 | 2018-04-10 | Cisco Technology, Inc. | Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components |
| JP2018081595A (ja) * | 2016-11-17 | 2018-05-24 | キヤノン株式会社 | 画像処理装置及び方法、及び撮像装置 |
| US10218952B2 (en) | 2016-11-28 | 2019-02-26 | Microsoft Technology Licensing, Llc | Architecture for rendering high dynamic range video on enhanced dynamic range display devices |
| EP3552178B1 (en) | 2016-12-12 | 2022-06-01 | Dolby Laboratories Licensing Corporation | Systems and methods for adjusting video processing curves for high dynamic range images |
| JP6822121B2 (ja) | 2016-12-19 | 2021-01-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6822122B2 (ja) * | 2016-12-19 | 2021-01-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6822123B2 (ja) * | 2016-12-19 | 2021-01-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| GB2558000B (en) * | 2016-12-21 | 2020-06-10 | Apical Ltd | Display control |
| GB2558236B (en) | 2016-12-22 | 2021-03-31 | Apical Ltd | Image data comprising encoded image data and additional data for modification of image |
| CN106710505A (zh) * | 2017-01-16 | 2017-05-24 | 努比亚技术有限公司 | 一种显示装置及方法 |
| CN108320721B (zh) | 2017-01-17 | 2022-05-24 | 华硕电脑股份有限公司 | 亮度调节装置及其亮度调节方法 |
| EP3571843A1 (en) | 2017-01-18 | 2019-11-27 | Dolby Laboratories Licensing Corporation | Segment-based reshaping for coding high dynamic range video |
| WO2018136432A1 (en) * | 2017-01-18 | 2018-07-26 | Dolby Laboratories Licensing Corporation | Segment-based reshaping for coding high dynamic range video |
| CN106791865B (zh) * | 2017-01-20 | 2020-02-28 | 杭州当虹科技股份有限公司 | 基于高动态范围视频的自适应格式转换的方法 |
| US10104334B2 (en) | 2017-01-27 | 2018-10-16 | Microsoft Technology Licensing, Llc | Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content |
| US10176561B2 (en) | 2017-01-27 | 2019-01-08 | Microsoft Technology Licensing, Llc | Content-adaptive adjustments to tone mapping operations for high dynamic range content |
| EP3583780B1 (en) | 2017-02-17 | 2023-04-05 | InterDigital Madison Patent Holdings, SAS | Systems and methods for selective object-of-interest zooming in streaming video |
| US11310532B2 (en) | 2017-02-24 | 2022-04-19 | Interdigital Vc Holdings, Inc. | Method and device for reconstructing image data from decoded image data |
| JP7086587B2 (ja) * | 2017-02-24 | 2022-06-20 | インターデジタル ヴイシー ホールディングス， インコーポレイテッド | 復号された画像データから画像データを再構成する方法および装置 |
| JP7143838B2 (ja) * | 2017-02-28 | 2022-09-29 | ソニーグループ株式会社 | 画像処理装置及び画像処理方法 |
| CN108540781A (zh) * | 2017-03-03 | 2018-09-14 | 扬智科技股份有限公司 | 影像信号处理装置与影像信号处理方法 |
| EP3593340B1 (en) | 2017-03-06 | 2021-11-03 | E Ink Corporation | Method for rendering color images |
| KR102628139B1 (ko) | 2017-03-07 | 2024-01-22 | 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 | 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍 |
| US10701390B2 (en) | 2017-03-14 | 2020-06-30 | Qualcomm Incorporated | Affine motion information derivation |
| CN106911903A (zh) * | 2017-03-15 | 2017-06-30 | 四川长虹电器股份有限公司 | 一种sdr信号转hdr信号效果的画质数据处理方法 |
| US20190253734A1 (en) * | 2017-03-20 | 2019-08-15 | Lg Electronics Inc. | Method for transmitting 360 video, method for receiving 360 video, 360 video transmitting device, and 360 video receiving device |
| US11158032B2 (en) | 2017-03-20 | 2021-10-26 | Dolby Laboratories Licensing Corporation | Perceptually preserving scene-referred contrasts and chromaticities |
| CN108737877B (zh) * | 2017-04-21 | 2020-06-02 | 华为技术有限公司 | 图像处理的方法、装置和终端设备 |
| CN108810531B (zh) * | 2017-05-03 | 2019-11-19 | 腾讯科技（深圳）有限公司 | 视频编码处理方法、装置及电子设备 |
| US10403214B2 (en) | 2017-05-12 | 2019-09-03 | Apple Inc. | Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content |
| US10847118B2 (en) * | 2017-05-12 | 2020-11-24 | Apple Inc. | Electronic devices with tone mapping engines |
| US10242628B2 (en) * | 2017-05-18 | 2019-03-26 | Dell Products, L.P. | Light Emitting Diode (LED) backlight control for reproduction of High Dynamic Range (HDR) content using Standard Dynamic Range (SDR) Liquid Crystal Display (LCD) panels |
| GB2563411B (en) * | 2017-06-14 | 2022-10-05 | Displaylink Uk Ltd | Processing display data |
| GB2563413B (en) * | 2017-06-14 | 2021-12-22 | Displaylink Uk Ltd | Processing display data |
| JP7037584B2 (ja) * | 2017-06-16 | 2022-03-16 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化 |
| US10778978B2 (en) * | 2017-08-21 | 2020-09-15 | Qualcomm Incorporated | System and method of cross-component dynamic range adjustment (CC-DRA) in video coding |
| CN107656454A (zh) * | 2017-09-21 | 2018-02-02 | 深圳市晟达机械设计有限公司 | 一种高效的小区监控管理系统 |
| KR102444156B1 (ko) * | 2017-09-22 | 2022-09-16 | 삼성디스플레이 주식회사 | 표시 장치 및 그 구동방법 |
| US11533450B2 (en) | 2017-09-25 | 2022-12-20 | Comcast Cable Communications, Llc | Anti-piracy video transmission and display |
| US10609372B2 (en) | 2017-09-29 | 2020-03-31 | Dolby Laboratories Licensing Corporation | Up-conversion to content adaptive perceptual quantization video signals |
| CN107682673B (zh) * | 2017-10-09 | 2019-11-12 | 成都索贝数码科技股份有限公司 | 一种基于gpu和视频io卡同时监看4khdr和hdsdr信号的方法 |
| US10972767B2 (en) * | 2017-11-01 | 2021-04-06 | Realtek Semiconductor Corp. | Device and method of handling multiple formats of a video sequence |
| KR102413839B1 (ko) | 2017-11-15 | 2022-06-28 | 삼성전자 주식회사 | 컨텐츠 제공장치, 그 제어방법 및 기록매체 |
| CN108024032A (zh) * | 2017-11-24 | 2018-05-11 | 深圳Tcl新技术有限公司 | 图像增强处理方法、电视、服务器及计算机可读存储介质 |
| CN108200441B (zh) * | 2018-01-22 | 2020-10-13 | 海信视像科技股份有限公司 | 一种图像亮度处理方法及装置、电子设备 |
| CN112419354B (zh) * | 2018-01-22 | 2023-03-14 | 海信视像科技股份有限公司 | 一种图像亮度处理方法及装置、电子设备 |
| US10880531B2 (en) * | 2018-01-31 | 2020-12-29 | Nvidia Corporation | Transfer of video signals using variable segmented lookup tables |
| JP2019140430A (ja) * | 2018-02-06 | 2019-08-22 | 船井電機株式会社 | 再生装置 |
| US11025942B2 (en) * | 2018-02-08 | 2021-06-01 | Samsung Electronics Co., Ltd. | Progressive compressed domain computer vision and deep learning systems |
| EP3525463A1 (en) * | 2018-02-13 | 2019-08-14 | Koninklijke Philips N.V. | System for handling multiple hdr video formats |
| ES2724212B2 (es) * | 2018-03-02 | 2021-03-31 | Visionapp Solutions S L | Metodo implementado en ordenador y sistema para la prevencion del deterioro de la vision causado por el uso prolongado de pantallas electronicas en condiciones de baja iluminacion. |
| US10609424B2 (en) * | 2018-03-09 | 2020-03-31 | Dolby Laboratories Licensing Corporation | Single-layer progressive coding for supporting multi-capability HDR composition |
| EP3777221A1 (en) * | 2018-04-05 | 2021-02-17 | Canon Kabushiki Kaisha | Method and apparatus for encapsulating images in a file |
| US11120725B2 (en) | 2018-04-24 | 2021-09-14 | Advanced Micro Devices, Inc. | Method and apparatus for color gamut mapping color gradient preservation |
| TW201946430A (zh) * | 2018-04-30 | 2019-12-01 | 圓剛科技股份有限公司 | 影像訊號轉換裝置及方法 |
| TWI811217B (zh) * | 2018-04-30 | 2023-08-11 | 圓剛科技股份有限公司 | 影像訊號轉換裝置 |
| TWI808971B (zh) * | 2018-04-30 | 2023-07-21 | 圓剛科技股份有限公司 | 影像訊號轉換裝置 |
| TWI808970B (zh) | 2018-04-30 | 2023-07-21 | 圓剛科技股份有限公司 | 影像訊號轉換裝置 |
| US10692467B2 (en) | 2018-05-04 | 2020-06-23 | Microsoft Technology Licensing, Llc | Automatic application of mapping functions to video signals based on inferred parameters |
| US20190356891A1 (en) * | 2018-05-16 | 2019-11-21 | Synaptics Incorporated | High dynamic range (hdr) data conversion and color space mapping |
| US11030728B2 (en) * | 2018-05-29 | 2021-06-08 | Apple Inc. | Tone mapping techniques for increased dynamic range |
| US10951888B2 (en) * | 2018-06-04 | 2021-03-16 | Contrast, Inc. | Compressed high dynamic range video |
| JP7171768B2 (ja) * | 2018-06-28 | 2022-11-15 | アップル インコーポレイテッド | 動画符号化システム |
| US11115563B2 (en) * | 2018-06-29 | 2021-09-07 | Ati Technologies Ulc | Method and apparatus for nonlinear interpolation color conversion using look up tables |
| KR102572432B1 (ko) * | 2018-07-03 | 2023-08-30 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법과 기록매체 |
| CN115606189A (zh) | 2018-07-12 | 2023-01-13 | 三星电子株式会社（Kr） | 渲染用于视觉可及性的内容的方法和装置 |
| CN112470484B (zh) | 2018-07-17 | 2023-09-08 | 杜比实验室特许公司 | 用于流式传输视频的方法和设备 |
| US11962819B2 (en) | 2018-07-17 | 2024-04-16 | Dolby Laboratories Licensing Corporation | Foviation and HDR |
| US20200045341A1 (en) * | 2018-07-31 | 2020-02-06 | Ati Technologies Ulc | Effective electro-optical transfer function encoding for limited luminance range displays |
| US10930022B2 (en) * | 2018-08-09 | 2021-02-23 | Nvidia Corporation | Motion adaptive rendering using variable rate shading |
| CN109192145A (zh) * | 2018-09-21 | 2019-01-11 | 合肥惠科金扬科技有限公司 | 一种分区调光电路及显示装置 |
| JP2022502920A (ja) * | 2018-09-26 | 2022-01-11 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 未来のフレームのメタデータを用いたプロジェクタ光源ディミング |
| CN109167946B (zh) * | 2018-09-30 | 2021-02-19 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备以及存储介质 |
| CN109274985B (zh) * | 2018-10-12 | 2020-04-28 | 腾讯科技（深圳）有限公司 | 视频转码方法、装置、计算机设备和存储介质 |
| CN109151574B (zh) | 2018-10-15 | 2020-03-24 | Oppo广东移动通信有限公司 | 视频处理方法、装置、电子设备以及存储介质 |
| CN113228156A (zh) * | 2018-10-17 | 2021-08-06 | 康宁股份有限公司 | 用于实现降低的显示设备能耗的方法及具有降低的显示设备能耗的装置 |
| US10957024B2 (en) | 2018-10-30 | 2021-03-23 | Microsoft Technology Licensing, Llc | Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display |
| US11503310B2 (en) * | 2018-10-31 | 2022-11-15 | Ati Technologies Ulc | Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder |
| WO2020100200A1 (ja) * | 2018-11-12 | 2020-05-22 | Eizo株式会社 | 画像処理システム、画像処理装置、およびコンピュータープログラム |
| CN109327734B (zh) * | 2018-11-27 | 2020-11-13 | 成都索贝数码科技股份有限公司 | 一种基于动态测光的hdr视频下变换到sdr视频的方法 |
| US10860504B2 (en) | 2018-12-05 | 2020-12-08 | New Century Technologies Ltd. | Peripheral device with embedded video codec functionality |
| EP3672267A1 (en) * | 2018-12-20 | 2020-06-24 | InterDigital VC Holdings, Inc. | Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media |
| US11587526B2 (en) * | 2018-12-20 | 2023-02-21 | Dolby Laboratories Licensing Corporation | Luminance adaption to minimize discomfort and improve visibility |
| CN111479164A (zh) * | 2019-01-23 | 2020-07-31 | 上海哔哩哔哩科技有限公司 | 硬件解码动态分辨率无缝切换方法、装置及存储介质 |
| KR20200095651A (ko) * | 2019-02-01 | 2020-08-11 | 삼성전자주식회사 | 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법 |
| JP7263053B2 (ja) * | 2019-02-28 | 2023-04-24 | キヤノン株式会社 | 撮像装置、画像処理装置、それらの制御方法、プログラム |
| US10496862B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light |
| US10534948B1 (en) | 2019-03-18 | 2020-01-14 | Capital One Services, Llc | Optimizing detection of images in relation to targets based on colorspace transformation techniques |
| US10496911B1 (en) | 2019-03-18 | 2019-12-03 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light |
| US10509991B1 (en) | 2019-03-18 | 2019-12-17 | Capital One Services, Llc | Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light |
| CN111754412B (zh) * | 2019-03-29 | 2024-04-19 | Tcl科技集团股份有限公司 | 构建数据对的方法、装置及终端设备 |
| US11404025B2 (en) | 2019-04-10 | 2022-08-02 | Mediatek Inc. | Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method |
| JP7405865B2 (ja) | 2019-04-15 | 2023-12-26 | 北京字節跳動網絡技術有限公司 | 非線形適応ループフィルタにおけるパラメータの時間的予測 |
| US10523420B1 (en) | 2019-04-18 | 2019-12-31 | Capital One Services, Llc | Transmitting encoded data along transmission mediums based on colorspace schemes |
| US10504013B1 (en) | 2019-04-24 | 2019-12-10 | Capital One Services, Llc | Colorspace encoding multimedia data on a physical page |
| CN113748426B (zh) * | 2019-04-25 | 2023-06-09 | 杜比实验室特许公司 | 实时馈送中的内容感知的pq范围分析仪和色调映射 |
| CN111916031B (zh) | 2019-05-10 | 2023-03-21 | 京东方科技集团股份有限公司 | 显示方法及显示装置 |
| EP3742728B1 (en) * | 2019-05-24 | 2022-09-21 | Axis AB | A method and bitrate controller for controlling output bitrate of a video encoder |
| TWI734501B (zh) * | 2019-05-31 | 2021-07-21 | 聯發科技股份有限公司 | 視訊編解碼的方法和裝置 |
| US11115602B2 (en) * | 2019-06-11 | 2021-09-07 | Watchguard Video, Inc. | Emulating light sensitivity of a target |
| US10529300B1 (en) | 2019-06-20 | 2020-01-07 | Capital One Services, Llc | Adaptive image display based on colorspace conversions |
| US10614635B1 (en) | 2019-07-25 | 2020-04-07 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker |
| US10937385B1 (en) * | 2019-08-20 | 2021-03-02 | Apple Inc. | Frame replay with bit depth considerations |
| US10833852B1 (en) | 2019-10-03 | 2020-11-10 | Capital One Services, Llc | Encoded data along tape based on colorspace schemes |
| US11159737B2 (en) * | 2019-10-14 | 2021-10-26 | Google Llc | Exposure change control in low light environments |
| CN110798689B (zh) * | 2019-10-18 | 2021-01-19 | 西安交通大学 | 一种将nv12+格式转换为p010格式的方法 |
| US10715183B1 (en) | 2019-10-25 | 2020-07-14 | Capital One Services, Llc | Data encoding with error-correcting code pursuant to colorspace schemes |
| US10867226B1 (en) | 2019-11-04 | 2020-12-15 | Capital One Services, Llc | Programmable logic array and colorspace conversions |
| US10762371B1 (en) | 2019-11-14 | 2020-09-01 | Capital One Services, Llc | Object detection techniques using colorspace conversions |
| CN110868634B (zh) * | 2019-11-27 | 2023-08-22 | 维沃移动通信有限公司 | 一种视频处理方法及电子设备 |
| TWI739227B (zh) * | 2019-12-03 | 2021-09-11 | 智成電子股份有限公司 | 避免多餘記憶體存取的系統單晶片模組 |
| US20220366829A1 (en) * | 2019-12-05 | 2022-11-17 | Google Llc | Dual color management for a multi-pixel density display |
| US10878600B1 (en) | 2019-12-10 | 2020-12-29 | Capital One Services, Llc | Augmented reality system with color-based fiducial marker utilizing local adaptive technology |
| EP4010894A1 (en) * | 2019-12-11 | 2022-06-15 | Google LLC | Color calibration of display modules using a reduced number of display characteristic measurements |
| KR20210083840A (ko) * | 2019-12-27 | 2021-07-07 | 삼성전자주식회사 | 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법 |
| NO346123B1 (en) * | 2020-02-05 | 2022-03-07 | Movi Tech As | Video decoding method and device enabling improved user interaction with video content |
| CN111294655B (zh) | 2020-02-20 | 2021-10-22 | 深圳创维－Rgb电子有限公司 | Hdr片源播放方法、装置及存储介质 |
| CN111415393B (zh) * | 2020-03-16 | 2023-08-01 | 安博思华智能科技有限责任公司 | 一种调节多媒体黑板显示的方法、装置、介质和电子设备 |
| CN111524077B (zh) * | 2020-04-17 | 2023-11-17 | 三维六度(北京)文化有限公司 | 影像资料的修复方法及系统 |
| CN111540324B (zh) * | 2020-05-20 | 2021-12-24 | Tcl华星光电技术有限公司 | 一种显示设备及其像素补偿方法和装置 |
| TWI754970B (zh) * | 2020-06-22 | 2022-02-11 | 鴻海精密工業股份有限公司 | 加速啟動函數運算的裝置、方法及存儲介質 |
| US11302036B2 (en) | 2020-08-19 | 2022-04-12 | Capital One Services, Llc | Color conversion between color spaces using reduced dimension embeddings |
| CN111970564B (zh) * | 2020-08-26 | 2023-03-24 | 展讯通信（上海）有限公司 | Hdr视频显示处理的优化方法及装置、存储介质、终端 |
| US11425502B2 (en) | 2020-09-18 | 2022-08-23 | Cisco Technology, Inc. | Detection of microphone orientation and location for directional audio pickup |
| CN112118437B (zh) * | 2020-09-24 | 2021-08-17 | 上海松鼠课堂人工智能科技有限公司 | 虚拟现实的课堂模拟方法和系统 |
| US11769234B2 (en) | 2020-10-07 | 2023-09-26 | Qualcomm Incorporated | Methods and apparatus for histogram based tone mapping |
| US11538136B2 (en) * | 2020-10-28 | 2022-12-27 | Qualcomm Incorporated | System and method to process images of a video stream |
| CN112351264B (zh) * | 2020-11-04 | 2023-05-23 | 深圳Tcl数字技术有限公司 | 显示精度调整方法、装置、终端设备及存储介质 |
| WO2022125892A2 (en) * | 2020-12-11 | 2022-06-16 | Contrast, Inc. | Dynamic transfer function for reversible encoding |
| US11115625B1 (en) | 2020-12-14 | 2021-09-07 | Cisco Technology, Inc. | Positional audio metadata generation |
| CN112927273A (zh) * | 2021-01-28 | 2021-06-08 | 北京字节跳动网络技术有限公司 | 三维视频的处理方法、设备及存储介质 |
| US11470162B2 (en) * | 2021-01-30 | 2022-10-11 | Zoom Video Communications, Inc. | Intelligent configuration of personal endpoint devices |
| US11544826B2 (en) * | 2021-04-30 | 2023-01-03 | Realnetworks, Inc. | Intelligent metadata service for video enhancement |
| CN113160342B (zh) * | 2021-05-14 | 2023-08-25 | 杭州网易智企科技有限公司 | 基于反馈的编码方法及装置、存储介质、电子设备 |
| CN113489930B (zh) * | 2021-06-10 | 2024-03-19 | 中央广播电视总台 | 一种视频信号处理方法、装置及存储介质 |
| US11617946B1 (en) | 2021-06-29 | 2023-04-04 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
| US11612812B1 (en) | 2021-06-29 | 2023-03-28 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
| US11666823B1 (en) * | 2021-06-29 | 2023-06-06 | Amazon Technologies, Inc. | Video game streaming with dynamic range conversion |
| CN113395551A (zh) * | 2021-07-20 | 2021-09-14 | 珠海极海半导体有限公司 | 处理器、npu芯片和电子设备 |
| CN113676773B (zh) * | 2021-08-16 | 2023-11-14 | 广州虎牙信息科技有限公司 | 一种视频播放方法、系统、装置、计算机设备和存储介质 |
| CN117897953A (zh) * | 2021-08-16 | 2024-04-16 | 交互数字Ce专利控股有限公司 | 用于基于观看条件来处理视频内容的系统和方法 |
| US11606605B1 (en) | 2021-09-30 | 2023-03-14 | Samsung Electronics Co., Ltd. | Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+ |
| US20230127327A1 (en) * | 2021-10-22 | 2023-04-27 | Samsung Electronics Co., Ltd. | System and method for learning tone curves for local image enhancement |
| US11734806B2 (en) * | 2021-11-24 | 2023-08-22 | Roku, Inc. | Dynamic tone mapping |
| CN114363507A (zh) * | 2021-12-02 | 2022-04-15 | 维沃移动通信有限公司 | 图像处理方法及装置 |
| CN114422829A (zh) * | 2022-01-30 | 2022-04-29 | 杭州雾联科技有限公司 | 一种hdr云视频处理方法、系统及设备 |
| CN114466246A (zh) * | 2022-02-14 | 2022-05-10 | 维沃移动通信有限公司 | 一种视频处理方法及其装置 |
| CN114727029B (zh) * | 2022-03-21 | 2024-03-22 | 北京百度网讯科技有限公司 | 视频的处理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101119497A (zh) * | 2006-08-04 | 2008-02-06 | 广达电脑股份有限公司 | 图像处理装置及其方法 |
| CN101800040A (zh) * | 2009-02-09 | 2010-08-11 | 三菱电机株式会社 | 显示装置和显示系统 |
| CN102422322A (zh) * | 2009-05-11 | 2012-04-18 | 杜比实验室特许公司 | 光检测、色貌模型、以及修改图像显示的动态范围 |
| CN103180891A (zh) * | 2010-07-22 | 2013-06-26 | 杜比实验室特许公司 | 显示器管理服务器 |
| CN103563347A (zh) * | 2011-05-27 | 2014-02-05 | 杜比实验室特许公司 | 包括变化的元数据等级的用于控制颜色管理的可缩放系统 |
Family Cites Families (145)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US1020068A (en) | 1909-04-29 | 1912-03-12 | Singer Mfg Co | Feeding mechanism for sewing-machines. |
| US1027105A (en) | 1911-01-31 | 1912-05-21 | George Crawford | Spring-wheel. |
| US1021245A (en) | 1911-02-16 | 1912-03-26 | Morton Arthur George | Detachable hinge for windows. |
| US1026426A (en) | 1911-05-15 | 1912-05-14 | Fred Kestler | Cinder-leveler. |
| US5042077A (en) * | 1987-10-02 | 1991-08-20 | General Electric Company | Method of highlighting subtle contrast in graphical images |
| US5357278A (en) | 1993-01-14 | 1994-10-18 | Sony Electronics, Inc. | Integrated linear/non-linear static and controllable dynamic companding |
| US6141047A (en) | 1993-12-22 | 2000-10-31 | Canon Kabushiki Kaisha | Image signal processing apparatus and image pickup device |
| EP0679020A1 (en) * | 1994-04-19 | 1995-10-25 | Eastman Kodak Company | Method and apparatus for constrained gamut clipping |
| US5815206A (en) | 1996-05-03 | 1998-09-29 | Lsi Logic Corporation | Method for partitioning hardware and firmware tasks in digital audio/video decoding |
| US6118820A (en) * | 1998-01-16 | 2000-09-12 | Sarnoff Corporation | Region-based information compaction as for digital images |
| US6829301B1 (en) | 1998-01-16 | 2004-12-07 | Sarnoff Corporation | Enhanced MPEG information distribution apparatus and method |
| US6560285B1 (en) | 1998-03-30 | 2003-05-06 | Sarnoff Corporation | Region-based information compaction as for digital images |
| CA2269651A1 (en) | 1998-05-12 | 1999-11-12 | Lucent Technologies, Inc. | Transform domain image watermarking method and system |
| US6396508B1 (en) | 1999-12-02 | 2002-05-28 | Matsushita Electronics Corp. | Dynamic low-level enhancement and reduction of moving picture disturbance for a digital display |
| US7072523B2 (en) * | 2000-09-01 | 2006-07-04 | Lenovo (Singapore) Pte. Ltd. | System and method for fingerprint image enhancement using partitioned least-squared filters |
| US6762741B2 (en) | 2000-12-22 | 2004-07-13 | Visteon Global Technologies, Inc. | Automatic brightness control system and method for a display device using a logarithmic sensor |
| US7062445B2 (en) * | 2001-01-26 | 2006-06-13 | Microsoft Corporation | Quantization loop with heuristic approach |
| GB0110748D0 (en) * | 2001-05-02 | 2001-06-27 | Apical Ltd | Image enhancement methods and apparatus therefor |
| JP4129812B2 (ja) | 2001-05-24 | 2008-08-06 | 株式会社リコー | 画像処理方法，装置および画像形成装置 |
| EP2239725B1 (en) * | 2001-06-07 | 2013-10-23 | Genoa Color Technologies Ltd. | System and method of data conversion for wide gamut displays |
| US6757648B2 (en) * | 2001-06-28 | 2004-06-29 | Microsoft Corporation | Techniques for quantization of spectral data in transcoding |
| US20030086595A1 (en) | 2001-11-07 | 2003-05-08 | Hui Hu | Display parameter-dependent pre-transmission processing of image data |
| US7120293B2 (en) | 2001-11-30 | 2006-10-10 | Microsoft Corporation | Interactive images |
| US7433532B2 (en) * | 2002-05-01 | 2008-10-07 | Kestrel Corporation | Max entropy optimized retinal camera |
| US6778183B1 (en) * | 2002-07-10 | 2004-08-17 | Genesis Microchip Inc. | Method and system for adaptive color and contrast for display devices |
| US7239422B2 (en) * | 2002-12-04 | 2007-07-03 | Eastman Kodak Company | Color gamut mapping using a cost function |
| US7550701B2 (en) * | 2003-02-25 | 2009-06-23 | Omnivision Cdm Optics, Inc. | Non-linear wavefront coding systems and methods |
| US7254271B2 (en) | 2003-03-05 | 2007-08-07 | Seadragon Software, Inc. | Method for encoding and serving geospatial or other vector data as images |
| US20050117799A1 (en) | 2003-12-01 | 2005-06-02 | Chiou-Shann Fuh | Method and apparatus for transforming a high dynamic range image into a low dynamic range image |
| GB0402640D0 (en) | 2004-02-06 | 2004-03-10 | Pelikon Ltd | Ambient light sensor |
| US20050219252A1 (en) * | 2004-03-30 | 2005-10-06 | Buxton Mark J | Two-dimensional buffer, texture and frame buffer decompression |
| US8218625B2 (en) * | 2004-04-23 | 2012-07-10 | Dolby Laboratories Licensing Corporation | Encoding, decoding and representing high dynamic range images |
| US20050243176A1 (en) * | 2004-04-30 | 2005-11-03 | James Wu | Method of HDR image processing and manipulation |
| WO2005116927A1 (en) | 2004-05-31 | 2005-12-08 | Phase One A/S | Image compression for rapid high-quality imaging |
| US7457477B2 (en) | 2004-07-06 | 2008-11-25 | Microsoft Corporation | Digital photography with flash/no flash extension |
| US8050511B2 (en) * | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
| KR100596982B1 (ko) | 2004-12-15 | 2006-07-05 | 삼성전자주식회사 | 이중 계층 버스 구조, 이중 계층 버스 구조를 가진 시스템온 칩 시스템 및 시스템 온 칩 시스템의 버스 액세스 방법 |
| US7593024B2 (en) | 2005-01-15 | 2009-09-22 | International Business Machines Corporation | Screen calibration for display devices |
| US7693304B2 (en) * | 2005-05-12 | 2010-04-06 | Hewlett-Packard Development Company, L.P. | Method and system for image quality calculation |
| US20070035751A1 (en) * | 2005-08-15 | 2007-02-15 | Microsoft Corporation | Gamut shape dependent color management system |
| WO2007026283A2 (en) | 2005-08-31 | 2007-03-08 | Koninklijke Philips Electronics, N.V. | Ambient lighting derived from video content using adaptive extraction regions |
| US7809200B2 (en) * | 2005-11-15 | 2010-10-05 | Teledyne Licensing, Llc | Dynamic range compression of high dynamic range imagery |
| US8537893B2 (en) * | 2006-01-23 | 2013-09-17 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | High dynamic range codecs |
| US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
| US8194997B2 (en) * | 2006-03-24 | 2012-06-05 | Sharp Laboratories Of America, Inc. | Methods and systems for tone mapping messaging |
| US9106914B2 (en) * | 2006-05-25 | 2015-08-11 | Thomson Licensing | Method and system for weighted encoding |
| US7730043B1 (en) | 2006-06-29 | 2010-06-01 | Adobe Systems Incorporated | Incremental batch-mode editing of digital media objects |
| US8888592B1 (en) * | 2009-06-01 | 2014-11-18 | Sony Computer Entertainment America Llc | Voice overlay |
| KR100843088B1 (ko) * | 2006-08-16 | 2008-07-02 | 삼성전자주식회사 | 광색역 공간의 영상을 출력하는 장치 및 방법 |
| TWI333383B (en) | 2006-09-25 | 2010-11-11 | Ind Tech Res Inst | Color adjustment circuit, digital color adjustment device and a multimedia apparatus using the same |
| US20080112024A1 (en) * | 2006-11-09 | 2008-05-15 | Seiko Epson Corporation | Image processing apparatus, image processing method, image processing program, recording medium storing image processing program, and image display apparatus |
| KR101318081B1 (ko) | 2006-11-21 | 2013-10-14 | 엘지디스플레이 주식회사 | 액정표시장치와 그 구동방법 |
| CA2570090C (en) | 2006-12-06 | 2014-08-19 | Brightside Technologies Inc. | Representing and reconstructing high dynamic range images |
| US7899267B2 (en) | 2007-05-23 | 2011-03-01 | Zoran Corporation | Dynamic range compensation by filter cascade |
| US20080316372A1 (en) | 2007-06-20 | 2008-12-25 | Ning Xu | Video display enhancement based on viewer characteristics |
| US8330768B2 (en) * | 2007-07-27 | 2012-12-11 | Sharp Laboratories Of America, Inc. | Apparatus and method for rendering high dynamic range images for standard dynamic range display |
| US8538197B2 (en) * | 2007-08-02 | 2013-09-17 | Sony Corporation | Image processing apparatus |
| US8004538B2 (en) * | 2007-09-21 | 2011-08-23 | Global Oled Technology Llc | Preferential tone scale for electronic displays |
| TW200928860A (en) * | 2007-12-31 | 2009-07-01 | Htc Corp | Method and device for adjusting output frame |
| US9584710B2 (en) * | 2008-02-28 | 2017-02-28 | Avigilon Analytics Corporation | Intelligent high resolution video system |
| US8159616B2 (en) * | 2008-03-27 | 2012-04-17 | Bang & Olufsen A/S | Histogram and chrominance processing |
| WO2009150529A1 (en) | 2008-06-13 | 2009-12-17 | Imax Corporation | Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images |
| EP2144444B1 (en) | 2008-07-10 | 2012-06-27 | The University Of Warwick | HDR video data compression devices and methods |
| JP2010056769A (ja) * | 2008-08-27 | 2010-03-11 | Seiko Epson Corp | 画像処理装置及び画像処理方法 |
| US8339475B2 (en) * | 2008-12-19 | 2012-12-25 | Qualcomm Incorporated | High dynamic range image combining |
| EP2200268B1 (en) * | 2008-12-22 | 2012-02-08 | Thomson Licensing | Method of calibration of a target color reproduction device |
| US8406569B2 (en) * | 2009-01-19 | 2013-03-26 | Sharp Laboratories Of America, Inc. | Methods and systems for enhanced dynamic range images and video from multiple exposures |
| JP5436584B2 (ja) * | 2009-03-10 | 2014-03-05 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 拡張ダイナミックレンジおよび拡張次元をもつ画像信号変換 |
| BRPI1009443B1 (pt) | 2009-03-13 | 2021-08-24 | Dolby Laboratories Licensing Corporation | Método de geração de parâmetros de mapeamento de tons inverso, método de compactação de dados de vídeo e método para geração de um fluxo de bits de saída a partir de um fluxo de bits de entrada |
| US8325385B2 (en) * | 2009-03-27 | 2012-12-04 | Konica Minolta Laboratory U.S.A., Inc. | System and methods for processing color data in converting color data from one color space to another color space |
| JP5566048B2 (ja) | 2009-04-28 | 2014-08-06 | キヤノン株式会社 | 表示装置及びその制御方法 |
| JP2011022481A (ja) | 2009-07-17 | 2011-02-03 | Panasonic Corp | 液晶表示装置 |
| US8897377B2 (en) | 2009-12-31 | 2014-11-25 | Broadcom Corporation | Transcoding multiple media elements for independent wireless delivery |
| EP2360926A1 (en) | 2010-01-19 | 2011-08-24 | Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. | Image encoder and image decoder |
| JP5400902B2 (ja) | 2010-01-22 | 2014-01-29 | パナソニック株式会社 | 制御装置、表示装置、眼鏡装置及び映像システム |
| JP5577415B2 (ja) * | 2010-02-22 | 2014-08-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | ビットストリームに埋め込まれたメタデータを用いたレンダリング制御を備えるビデオ表示 |
| US8890793B2 (en) * | 2010-03-26 | 2014-11-18 | Hong Kong Applied Science and Technology Research Institute, Co. Ltd. | Adjusting a brightness level of a backlight of a display device |
| US8280184B2 (en) | 2010-04-01 | 2012-10-02 | Himax Media Solutions, Inc. | Image enhancement method and apparatuses utilizing the same |
| US8493316B2 (en) | 2010-04-22 | 2013-07-23 | Qualcomm Incorporated | Adjusting backlight intensity based on a progress of a task |
| US20110292992A1 (en) * | 2010-05-28 | 2011-12-01 | Microsoft Corporation | Automating dynamic information insertion into video |
| WO2011156074A2 (en) | 2010-06-08 | 2011-12-15 | Dolby Laboratories Licensing Corporation | Tone and gamut mapping methods and apparatus |
| US20130107956A1 (en) * | 2010-07-06 | 2013-05-02 | Koninklijke Philips Electronics N.V. | Generation of high dynamic range images from low dynamic range images |
| JP5991486B2 (ja) * | 2010-08-04 | 2016-09-14 | 日本電気株式会社 | 画像処理方法、画像処理装置及び画像処理プログラム |
| US8677428B2 (en) * | 2010-08-20 | 2014-03-18 | Disney Enterprises, Inc. | System and method for rule based dynamic server side streaming manifest files |
| TWI479898B (zh) * | 2010-08-25 | 2015-04-01 | Dolby Lab Licensing Corp | 擴展影像動態範圍 |
| US8704859B2 (en) * | 2010-09-30 | 2014-04-22 | Apple Inc. | Dynamic display adjustment based on ambient conditions |
| EP2445214A1 (en) | 2010-10-19 | 2012-04-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Video coding using temporally coherent dynamic range mapping |
| US8462221B2 (en) | 2010-11-03 | 2013-06-11 | Eastman Kodak Company | Method for producing high dynamic range images |
| KR101496755B1 (ko) * | 2010-11-23 | 2015-02-27 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 고 다이나믹 레인지 이미지들의 컨텐츠 메타데이터 향상 |
| US9024951B2 (en) | 2011-02-16 | 2015-05-05 | Apple Inc. | Devices and methods for obtaining high-local-contrast image data |
| US20140003527A1 (en) * | 2011-03-10 | 2014-01-02 | Dolby Laboratories Licensing Corporation | Bitdepth and Color Scalable Video Coding |
| US8621320B2 (en) * | 2011-04-07 | 2013-12-31 | Apple Inc. | Per-image forward error correction |
| US8743291B2 (en) | 2011-04-12 | 2014-06-03 | Dolby Laboratories Licensing Corporation | Quality assessment for images that have extended dynamic ranges or wide color gamuts |
| US8971408B2 (en) | 2011-04-14 | 2015-03-03 | Dolby Laboratories Licensing Corporation | Piecewise cross color channel predictor |
| TWI513327B (zh) | 2011-04-15 | 2015-12-11 | Dolby Lab Licensing Corp | 高動態範圍影像的編碼、解碼及表示 |
| US9066070B2 (en) | 2011-04-25 | 2015-06-23 | Dolby Laboratories Licensing Corporation | Non-linear VDR residual quantizer |
| JP6009538B2 (ja) | 2011-04-28 | 2016-10-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Ｈｄｒ画像を符号化及び復号するための装置及び方法 |
| EP4375982A2 (en) * | 2011-05-10 | 2024-05-29 | Koninklijke Philips N.V. | High dynamic range image signal generation and processing |
| US8891863B2 (en) | 2011-06-13 | 2014-11-18 | Dolby Laboratories Licensing Corporation | High dynamic range, backwards-compatible, digital cinema |
| US20120324492A1 (en) | 2011-06-20 | 2012-12-20 | Microsoft Corporation | Video selection based on environmental sensing |
| US8576445B2 (en) | 2011-06-28 | 2013-11-05 | Konica Minolta Laboratory U.S.A., Inc. | Method for processing high dynamic range images using tone mapping to extended RGB space |
| JP5747711B2 (ja) * | 2011-07-22 | 2015-07-15 | 富士通株式会社 | ネットワーク評価装置 |
| US9451292B2 (en) | 2011-09-15 | 2016-09-20 | Dolby Laboratories Licensing Corporation | Method and system for backward compatible, extended dynamic range encoding of video |
| US8988552B2 (en) | 2011-09-26 | 2015-03-24 | Dolby Laboratories Licensing Corporation | Image formats and related methods and apparatuses |
| EP2745290A1 (en) | 2011-09-27 | 2014-06-25 | Koninklijke Philips N.V. | Apparatus and method for dynamic range transforming of images |
| CN103907343B (zh) * | 2011-10-20 | 2017-05-03 | 杜比实验室特许公司 | 用于视频均衡的方法和系统 |
| CN104185991B (zh) | 2011-11-09 | 2018-07-06 | 弗劳恩霍夫应用研究促进协会 | 不同动态采样值范围的层之间的层间预测 |
| ES2835379T3 (es) | 2011-12-06 | 2021-06-22 | Dolby Laboratories Licensing Corp | Dispositivo y método para mejorar el intercambio de datos de imágenes basado en no linealidad de luminancia perceptual a través de diferentes capacidades de visualización |
| US8773543B2 (en) | 2012-01-27 | 2014-07-08 | Nokia Corporation | Method and apparatus for image data transfer in digital photographing |
| KR101793628B1 (ko) * | 2012-04-08 | 2017-11-06 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그 디스플레이 방법 |
| JP5598769B2 (ja) * | 2012-04-16 | 2014-10-01 | コニカミノルタ株式会社 | 色調整方法及び色調整プログラム |
| US20130308027A1 (en) | 2012-05-03 | 2013-11-21 | Aptina Imaging Corporation | Systems and methods for generating metadata in stacked-chip imaging systems |
| CN104508590A (zh) | 2012-05-24 | 2015-04-08 | 波普斯莱特传媒公司 | 用于移动计算设备的动态可变的装饰性防护附件 |
| US11089247B2 (en) | 2012-05-31 | 2021-08-10 | Apple Inc. | Systems and method for reducing fixed pattern noise in image data |
| US9258641B2 (en) * | 2012-06-07 | 2016-02-09 | Qbiz, Llc | Method and system of audio capture based on logarithmic conversion |
| US9330606B2 (en) | 2012-06-08 | 2016-05-03 | Apple Inc. | Electronic device with display brightness control |
| KR20130141920A (ko) * | 2012-06-18 | 2013-12-27 | 삼성디스플레이 주식회사 | 색역 변환 시스템 및 방법 |
| AR091515A1 (es) | 2012-06-29 | 2015-02-11 | Sony Corp | Dispositivo y metodo para el procesamiento de imagenes |
| JP6382805B2 (ja) | 2012-07-13 | 2018-08-29 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 改良されたｈｄｒ画像符号化及び復号方法並びに装置 |
| US8821281B2 (en) * | 2012-07-17 | 2014-09-02 | International Business Machines Corporation | Detection of an orientation of a game player relative to a screen |
| CN105787908B (zh) * | 2012-08-08 | 2019-05-14 | 杜比实验室特许公司 | 用于高动态范围图像的图像处理方法、装置及存储介质 |
| US20140229875A1 (en) | 2012-09-28 | 2014-08-14 | Wenlong Li | Content based dynamic control for display brightness |
| US9064313B2 (en) * | 2012-09-28 | 2015-06-23 | Intel Corporation | Adaptive tone map to a region of interest to yield a low dynamic range image |
| CN103077696B (zh) | 2013-01-15 | 2015-08-12 | Opera软件股份公司 | 用于调节显示屏亮度的方法和设备以及显示系统 |
| US9654701B2 (en) * | 2013-01-25 | 2017-05-16 | Dolby Laboratories Licensing Corporation | Global display management based light modulation |
| US9058667B2 (en) | 2013-01-30 | 2015-06-16 | Apple Inc. | Detail preserving image transfer operations |
| PL2959672T3 (pl) * | 2013-02-21 | 2020-06-01 | Koninklijke Philips N.V. | Ulepszone sposoby i urządzenia do kodowania i dekodowania obrazu hdr |
| TWI473039B (zh) | 2013-03-05 | 2015-02-11 | Univ Tamkang | 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置 |
| GB201304221D0 (en) | 2013-03-08 | 2013-04-24 | Univ Warwick | High Dynamic Range Imaging Systems |
| FR3003378A1 (fr) * | 2013-03-12 | 2014-09-19 | St Microelectronics Grenoble 2 | Procede de mappage de tons |
| TWI639151B (zh) | 2013-03-15 | 2018-10-21 | 美商傲思丹度科技公司 | 動態色域顯示系統、方法、及其應用 |
| US20140321561A1 (en) | 2013-04-26 | 2014-10-30 | DDD IP Ventures, Ltd. | System and method for depth based adaptive streaming of video information |
| US8866975B1 (en) * | 2013-05-02 | 2014-10-21 | Dolby Laboratories Licensing Corporation | Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods |
| KR102031580B1 (ko) | 2013-05-10 | 2019-11-08 | 엘지디스플레이 주식회사 | 표시 장치, 표시 장치 제어 방법 |
| CN103391435A (zh) * | 2013-07-02 | 2013-11-13 | 广东工业大学 | 一种兼容ldr的hdr图像编码方法及其解码方法 |
| JP6351313B2 (ja) | 2013-07-11 | 2018-07-04 | キヤノン株式会社 | 画像符号化装置、画像復号装置、画像処理装置、並びにそれらの制御方法 |
| KR20160031466A (ko) | 2013-07-14 | 2016-03-22 | 엘지전자 주식회사 | 디지털 방송 시스템에서 고품질의 색감 표현을 위한 초고화질 방송 신호 송수신 방법 및 장치 |
| US10194162B2 (en) | 2013-07-18 | 2019-01-29 | Koninklijke Philips N.V. | Methods and apparatuses for creating code mapping functions for encoding an HDR image, and methods and apparatuses for use of such encoded images |
| US20150130967A1 (en) * | 2013-11-13 | 2015-05-14 | Nvidia Corporation | Adaptive dynamic range imaging |
| US9973723B2 (en) | 2014-02-24 | 2018-05-15 | Apple Inc. | User interface and graphics composition with high dynamic range video |
| US10271054B2 (en) | 2014-02-25 | 2019-04-23 | Apple, Inc. | Display-side adaptive video processing |
| JP6731722B2 (ja) * | 2015-05-12 | 2020-07-29 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 表示方法および表示装置 |
| EP3235236B1 (en) | 2015-12-17 | 2018-06-20 | Koninklijke Philips N.V. | Dynamic range coding for images and video |
| US10200687B2 (en) * | 2017-06-02 | 2019-02-05 | Apple Inc. | Sample adaptive offset for high dynamic range (HDR) video compression |
| US10212456B2 (en) | 2017-06-02 | 2019-02-19 | Apple Inc. | Deblocking filter for high dynamic range (HDR) video |
-
2015
- 2015-02-25 US US14/631,394 patent/US10271054B2/en active Active
- 2015-02-25 KR KR1020197027139A patent/KR20190109579A/ko not_active Application Discontinuation
- 2015-02-25 JP JP2016548661A patent/JP6383425B2/ja active Active
- 2015-02-25 KR KR1020207028453A patent/KR102330316B1/ko active IP Right Grant
- 2015-02-25 CN CN201580010095.8A patent/CN106031172B/zh active Active
- 2015-02-25 US US14/631,401 patent/US10212429B2/en active Active
- 2015-02-25 KR KR1020187025884A patent/KR102025037B1/ko active IP Right Grant
- 2015-02-25 CN CN202310395840.1A patent/CN116320394A/zh active Pending
- 2015-02-25 CN CN201910771191.4A patent/CN110365974A/zh active Pending
- 2015-02-25 KR KR1020237008260A patent/KR102654563B1/ko active IP Right Grant
- 2015-02-25 WO PCT/US2015/017539 patent/WO2015130796A1/en active Application Filing
- 2015-02-25 US US14/631,410 patent/US10812801B2/en active Active
- 2015-02-25 CN CN201580010103.9A patent/CN106030503B/zh active Active
- 2015-02-25 KR KR1020217037741A patent/KR102414567B1/ko active IP Right Grant
- 2015-02-25 WO PCT/US2015/017536 patent/WO2015130793A1/en active Application Filing
- 2015-02-25 DE DE112015000959.0T patent/DE112015000959T5/de active Pending
- 2015-02-25 US US14/631,405 patent/US10264266B2/en active Active
- 2015-02-25 EP EP20201343.9A patent/EP3829171A1/en active Pending
- 2015-02-25 CN CN201580008321.9A patent/CN106233706B/zh active Active
- 2015-02-25 US US14/631,398 patent/US10880549B2/en active Active
- 2015-02-25 AU AU2015223123A patent/AU2015223123A1/en not_active Abandoned
- 2015-02-25 CN CN202010303152.4A patent/CN111526350B/zh active Active
- 2015-02-25 EP EP15710636.0A patent/EP3111644A1/en not_active Withdrawn
- 2015-02-25 KR KR1020167022526A patent/KR101898643B1/ko active IP Right Grant
- 2015-02-25 WO PCT/US2015/017540 patent/WO2015130797A1/en active Application Filing
- 2015-02-25 KR KR1020227021690A patent/KR102509533B1/ko active IP Right Grant
- 2015-02-25 DE DE112015000950.7T patent/DE112015000950T5/de active Pending
- 2015-02-25 CN CN202010008012.4A patent/CN111246050B/zh active Active
-
2018
- 2018-07-27 AU AU2018208733A patent/AU2018208733B2/en active Active
- 2018-08-03 JP JP2018146796A patent/JP7038021B2/ja active Active
-
2019
- 2019-02-15 US US16/277,892 patent/US10986345B2/en active Active
-
2020
- 2020-02-13 AU AU2020201023A patent/AU2020201023B2/en active Active
- 2020-09-23 JP JP2020158908A patent/JP2021010171A/ja active Pending
- 2020-10-16 US US17/073,263 patent/US11445202B2/en active Active
- 2020-12-23 US US17/132,922 patent/US20210227226A1/en not_active Abandoned
-
2021
- 2021-04-16 US US17/233,099 patent/US20210235093A1/en active Pending
- 2021-06-23 AU AU2021204255A patent/AU2021204255B2/en active Active
- 2021-10-11 JP JP2021166907A patent/JP7429676B2/ja active Active
-
2022
- 2022-08-26 US US17/897,079 patent/US20220408096A1/en active Pending
-
2023
- 2023-02-10 AU AU2023200732A patent/AU2023200732B2/en active Active
- 2023-10-13 JP JP2023177736A patent/JP2024009972A/ja active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101119497A (zh) * | 2006-08-04 | 2008-02-06 | 广达电脑股份有限公司 | 图像处理装置及其方法 |
| CN101800040A (zh) * | 2009-02-09 | 2010-08-11 | 三菱电机株式会社 | 显示装置和显示系统 |
| CN102422322A (zh) * | 2009-05-11 | 2012-04-18 | 杜比实验室特许公司 | 光检测、色貌模型、以及修改图像显示的动态范围 |
| CN103180891A (zh) * | 2010-07-22 | 2013-06-26 | 杜比实验室特许公司 | 显示器管理服务器 |
| CN103563347A (zh) * | 2011-05-27 | 2014-02-05 | 杜比实验室特许公司 | 包括变化的元数据等级的用于控制颜色管理的可缩放系统 |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210227226A1 (en) | Server-side adaptive video processing | |
| CN107690811B (zh) | 呈现和显示高动态范围内容 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |