CN106233706B - 用于提供具有标准动态范围和高动态范围两者的视频的向后兼容的装置和方法 - Google Patents

用于提供具有标准动态范围和高动态范围两者的视频的向后兼容的装置和方法 Download PDF

Info

Publication number
CN106233706B
CN106233706B CN201580008321.9A CN201580008321A CN106233706B CN 106233706 B CN106233706 B CN 106233706B CN 201580008321 A CN201580008321 A CN 201580008321A CN 106233706 B CN106233706 B CN 106233706B
Authority
CN
China
Prior art keywords
video data
dynamic range
display
tone mapping
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580008321.9A
Other languages
English (en)
Other versions
CN106233706A (zh
Inventor
过海涛
G·科泰
潘昊
白英俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Priority to CN202010008012.4A priority Critical patent/CN111246050B/zh
Publication of CN106233706A publication Critical patent/CN106233706A/zh
Application granted granted Critical
Publication of CN106233706B publication Critical patent/CN106233706B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06T5/92—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
    • H04N1/6066—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced dependent on the gamut of the image to be reproduced
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control
    • H04N5/505—Invisible or silent tuning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Abstract

本发明公开了多种视频处理技术和流水线，这些视频处理技术和流水线支持在启用HDR的显示设备和不支持HDR成像的显示设备两者上捕获、分配并显示高动态范围(HDR)图像数据。传感器流水线(210)可从通过传感器使用色调映射(226)例如局部色调映射捕获的HDR数据生成标准动态范围(SDR)数据(230A)。用于生成SDR数据的信息可作为元数据(230B)与所生成的SDR数据(230B)一起被提供至显示器流水线(260)。如果目标显示器不支持HDR成像，则SDR数据可直接由显示器流水线呈现。如果目标显示器支持HDR成像，则可根据用于呈现用于进行显示的HDR数据的元数据来向SDR数据应用反向映射技术(276)。在执行色域映射过程中使用的信息也可在元数据中被提供，并用于恢复被裁剪掉的色彩以用于进行显示。

Description

用于提供具有标准动态范围和高动态范围两者的视频的向后 兼容的装置和方法
技术领域
本发明整体涉及数字视频或图像处理和显示。
背景技术
各种设备(包括但不限于个人计算机系统、台式计算机系统、膝上型电脑和笔记本式计算机、平板电脑或平板设备、数码相机、数字视频录像机以及移动电话或智能电话)可包括可实施一个或多个视频处理方法的软件和/或硬件。例如，设备可包括可根据一个或多个视频处理方法接收和处理来自一个或多个源的数字视频输入并输出经处理的视频帧的装置(例如集成电路(IC)，诸如片上系统(SOC)或IC子系统)。又如，可在设备上实施可根据一个或多个视频处理方法接收和处理来自一个或多个源的数字视频输入并向一个或多个目标输出经处理的视频帧的软件程序。
例如，视频编码器可被实施为一种装置或作为替代被实施为一种软件程序，其中数字视频输入根据视频编码方法被编码或转换为另一种格式例如压缩视频格式，诸如H.264/高级视频编码(AVC)格式或H.265高效视频编码(HEVC)格式。又如，视频编码器可被实施为一种装置或作为替代被实施为一种软件程序，其中接收压缩视频格式诸如AVC或HEVC的视频，然后根据视频解码方法将其解码或转换为另一种(解压缩)格式，例如由显示设备使用的显示格式。H.264/AVC标准由ITU-T在标题为“ITU-T Recommendation H.264:Advanced video coding for generic audiovisual services”的文档中公布。H.265/HEVC标准由ITU-T在标题为“ITU-T Recommendation H.265:High Efficiency VideoCoding”的文档中公布。
在许多系统中，装置或软件程序可实现视频编码器部件和视频解码器部件两者；此类装置或程序通常被称为编解码器。需注意，编解码器可对视频流中的视觉/图像数据和音频/声音数据进行编码/解码。
一般定义的动态范围是可变量(诸如声音和光之类的信号)的可能的最大值与可能的最小值的比率。在处理数字图像和视频的过程中，照惯例在有限的动态范围内捕获、呈现并显示数字图像(例如，视频或静态图像)，这被称为标准动态范围(SDR)成像。此外，使用相对狭窄的色域照惯例呈现图像以供显示，这被称为标准色域(SCG)成像。扩展动态范围成像或高动态范围(HDR)成像是指在电子图像(例如，如在显示屏或显示设备上所显示的)中产生比使用标准数字成像工艺技术(被称为标准动态范围或SDR成像)时获取的亮度范围更宽的亮度范围的工艺技术。许多新设备诸如图像传感器和显示器支持HDR成像和宽色域(WCG)成像两者。这些设备可被称为启用HDR的设备，或简称HDR设备。然而，许多视频捕获设备和显示设备可能不直接支持HDR成像和/或WCG成像。
发明内容
本发明描述了视频处理技术和流水线的实施方案，这些实施方案支持在启用HDR的显示设备和不支持HDR成像的显示设备上捕获、分配并显示高动态范围(HDR)图像数据。在实施方案中，传感器流水线可例如使用色调映射技术从由图像传感器所捕获的HDR图像数据生成较低或标准动态范围(SDR)图像数据。用于生成SDR图像数据的信息可与所生成的SDR图像数据一起被记录为元数据。SDR图像数据可被提供至被呈现以供在目标显示设备上显示的显示器流水线。如果目标显示设备不支持HDR成像，则SDR图像数据可直接由显示器流水线呈现以供显示。如果目标显示器支持HDR成像，则显示器流水线可根据用于呈现用于进行显示的HDR图像数据的元数据来由该显示器流水线向SDR图像数据应用反向映射技术。
在一些实施方案中，在将输入HDR图像数据转换为SDR图像数据的传感器流水线中，替代全局色调映射(GTM)技术或除GTM技术之外，可使用局部色调映射(LTM)技术。在使用LTM技术过程中，将图像或帧划分为多个区域，并动态地针对每个区域来确定色调曲线。可将区域或局部色调曲线参数化并保存在被传递到显示器流水线的元数据中，因此可利用反向色调映射技术至少部分地恢复色调或亮度。在一些实施方案中，可在空间上(例如，在图像内)和/或时间上(例如，跨两个或更多个帧)压缩局部色调映射元数据。
在一些实施方案中，可调整由显示器流水线执行的反向色调映射技术，使之与目标显示器的动态范围匹配。在一些实施方案中，显示器流水线的反向色调映射技术可以是环境自适应过程，其中可使用有关环境光线或显示器的其他环境条件的信息，例如通过对局部色调映射使用的一个或多个色调曲线进行修改或加权来调节该反向色调映射过程。
在一些实施方案中，除色调映射信息之外，在传感器流水线上执行色域映射时所使用的信息也可被记录在元数据中，并且在重建图像的过程中被显示器流水线用于在支持WCG成像的显示器上恢复较宽的色域。在一些实施方案中，传感器流水线可在中间色域内生成图像数据，显示器流水线可根据元数据映射到相应显示器支持的较窄显示色域。
附图说明
图1示出了视频流水线的操作。
图2示出了根据一些实施方案的可提供来自源HDR内容的标准动态范围(SDR)视频和高动态范围(HDR)视频两者的示例性视频流水线。
图3示出了根据一些实施方案的提供来自源HDR内容的SDR视频的示例性视频流水线。
图4示出了根据一些实施方案的局部色调映射(LTM)。
图5是根据一些实施方案的可在传感器流水线中实现的方法的高层次流程图。
图6是根据一些实施方案的可在显示器流水线中实现的方法的高层次流程图。
图7是根据一些实施方案的可在视频流水线中实现的方法的高层次流程图，该视频流水线支持HDR显示器并且向后兼容SDR显示器。
图8示出了根据一些实施方案的示例性视频回放系统，其中编码器在中间色域内生成输出数据，并且该系统使用由编码器生成的元数据在解码器/显示器侧执行至显示色域的映射。
图9是根据一些实施方案的视频回放方法的流程图，其中编码器在中间色域内生成输出数据，并且解码器根据由编码器生成的元数据来执行至显示色域的映射。
图10是片上系统(SOC)的一个实施方案的框图，该SOC可被配置为实现本文所述的系统和方法的各个方面。
图11为可包括一个或多个SOC的系统的一个实施方案的框图。
图12示出了根据一些实施方案的示例性计算机系统，该计算机系统可被配置为实现本文所述的系统和方法的各个方面。
图13示出了根据一些实施方案的便携式多功能设备的框图。
图14描绘了根据一些实施方案的便携式多功能设备。
尽管本发明易受各种修改形式和替代形式的影响，但其具体实施方案在附图中以举例方式示出并将在本文中详细描述。然而应当理解，附图及其详细描述并非旨在将本发明限制为所公开的具体形式，恰恰相反，本发明旨在涵盖属于本发明的实质和范围的所有修改形式、等同形式和替代形式。本申请通篇中使用的字词“可/可能”，具有允许的意义(也就是意味着“有可能……”)，而不具有强制的意义(也就是意味着“不是必须……”)。类似地，字词“包括”意味着“包括但不限于”。
各种单元、电路或其他部件可被描述为“被配置为”执行一项或多项任务。在此类上下文中，“被配置为”是通常意味着“具有”在操作期间执行一项或多项任务的“电路”的结构的宽泛表述。因此，即便单元/电路/部件当前未接通，单元/电路/部件也可被配置为执行该任务。通常，形成与“被配置为”对应的结构的电路可包括硬件电路。类似地，为方便描述，可将各种单元/电路/部件描述为执行一项或多项任务。此类描述应当被解释成包括短语“被配置为”。表述被配置为执行一项或多项任务的单元/电路/部件明确地旨在对该单元/电路/部件不援引35U.S.C.§112第六段的解释。
具体实施方式
本发明描述了视频处理技术和流水线的实施方案，这些实施方案支持在启用HDR的显示设备和不支持HDR成像的显示设备上捕获、分配并显示高动态范围(HDR)图像数据。视频处理流水线的实施方案可包括传感器流水线部分和显示器流水线部分。传感器流水线和显示器流水线可位于同一台设备中，也可位于不同的设备中。在该实施方案中，传感器流水线可例如使用色调映射技术从由与该传感器流水线相关联的相机的图像传感器或光传感器捕获的HDR图像数据生成较低或标准动态范围(SDR)图像数据。用于生成SDR图像数据的信息(例如色调映射信息，诸如参数化的色调曲线)可与所生成的SDR图像数据一起被记录为元数据。SDR图像数据可被提供至被呈现以供在目标显示设备上显示的显示器流水线。如果目标显示设备不支持HDR成像，则SDR图像数据可直接由显示器流水线呈现以供显示。如果目标显示器支持HDR成像，则显示器流水线可根据用于呈现用于进行显示的HDR图像数据的元数据来由该显示器流水线向SDR图像数据应用反向映射技术。
在一些实施方案中，在将输入HDR图像数据转换为SDR图像数据的传感器流水线中可使用全局色调映射(GTM)技术。使用GTM技术时，可为一个或多个视频帧指定或确定全局色调曲线，并可使用该全局色调曲线来将HDR图像数据转换为SDR图像数据。在一些实施方案中，可将全局色调曲线参数化并保存在被传递到显示器流水线的元数据中，因此在由输入SDR图像数据生成HDR图像数据时，可利用反向色调映射技术至少部分地恢复色调或亮度。
在一些实施方案中，在将输入HDR图像数据转换为SDR图像数据的过程中的传感器流水线中，替代GTM技术或除GTM技术之外，可使用局部色调映射(LTM)技术。使用LTM技术时，将图像或帧划分为多个区域，并动态地针对每个区域来确定色调曲线。可将区域或局部色调曲线参数化并保存在被传递到显示器流水线的元数据中，因此在从输入SDR图像数据生成HDR图像数据时，可利用反向色调映射技术至少部分地恢复色调或亮度。在一些实施方案中，由于局部色调曲线在同一个帧上的相邻区域或相邻帧上的同一区域内可能相似，所以可在空间上(例如，在图像内)和/或时间上(例如，跨两个或更多个帧)压缩局部色调映射元数据。
在一些实施方案中，可调整由显示器流水线执行的反向色调映射技术，使之与目标显示器的动态范围匹配。由传感器捕获的动态范围可比由显示器所支持的动态范围覆盖更宽的范围，即便显示器为HDR兼容的情况下也是如此。因此，在一些实施方案中，显示器流水线的反向色调映射技术可根据显示器的动态范围来修改色调映射元数据，或可以其他方式修改被应用于较低动态范围图像数据的反向色调映射技术，以生成更好地匹配显示器动态范围的HDR图像数据。
在一些实施方案中，显示器流水线的反向色调映射技术可以是环境自适应过程，其中可例如使用设备上的光传感器、运动传感器或其他传感器来获取有关环境光线或显示器的其他环境条件的信息，并且基于该信息，例如通过在执行反向色调映射时对局部色调映射使用的色调曲线的一个或多个参数进行修改或加权来调节该反向色调映射技术。例如，如果环境光线较亮，则反向色调映射技术可调节色调曲线，以生成对比度较高且更为明亮的图像。
设备诸如图像传感器和显示器除支持HDR成像外还可支持宽色域(WCG)成像。多个实施方案除支持HDR成像之外还可支持宽色域(WCG)成像。在一些实施方案中，传感器流水线可从较宽的色域图像数据生成较窄的色域图像数据，其中较宽的色域图像数据由与传感器流水线相关联的相机的图像传感器利用色域映射技术来捕获，该技术可从色彩空间(例如RGB色彩空间)的较宽色域范围裁剪在另一色彩空间(例如YUV色彩空间)的较窄色域内不可用的色彩。在一些实施方案中，除色调映射信息之外，执行色域映射时所使用的信息也可被记录在元数据中，并且在重建图像的过程中被显示器流水线用于在支持WCG成像的显示器上恢复较宽的色域。在一些实施方案中，传感器流水线可在中间色域内生成图像数据，所以显示器流水线可根据元数据映射到相应显示器支持的较窄显示色域。
如本文所述的包括传感器流水线和显示器流水线的视频流水线实施方案可例如在包括一个或多个图像捕获设备和/或一个或多个显示设备的设备或系统中实现。图像捕获设备可以是包括能够捕获数字图像或视频的光学传感器或光电传感器的任何设备。图像捕获设备可包括但不限于视频摄像机和静态图像相机、以及可捕获视频和单幅图像两者的图像捕获设备。图像捕获设备可以是独立的设备，或可被集成到其他设备中的相机，该其他设备包括但不限于：智能电话、蜂窝电话、PDA、平板电脑或平板设备、多功能设备、计算设备、膝上型计算机、笔记本式计算机、上网本计算机、台式计算机，等等。需注意，图像捕获设备可包括适用于小型设备诸如蜂窝电话、PDA和平板设备的小外形相机。显示器或显示设备可包括被集成到其他设备中的显示屏或面板，该其他设备包括但不限于：智能电话、蜂窝电话、PDA、平板电脑或平板设备、多功能设备、计算设备、膝上型计算机、笔记本式计算机、上网本计算机、台式计算机，等等。显示设备还可包括视频监视器、投影仪；一般来讲，可包括可显示或投映数字图像和/或数字视频的任何设备。显示器或显示设备可使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但也可使用其他显示技术。
图10至图14示出了可在其中实现实施方案的设备的非限制性示例。包括图像捕获设备和/或显示设备的设备或系统可包括用于实现如本文所述的处理视频数据功能中的至少一部分的硬件和/或软件。在一些实施方案中，如本文所述的功能的一部分可在一个设备上实现，另一部分可在另一个设备上实现。例如，在一些实施方案中，包括图像捕获设备的设备可实现传感器流水线，该传感器流水线用于处理和压缩光传感器捕获的图像或视频(即，对其进行编码)；而包括显示面板或显示屏的另一个设备可实现显示器流水线，该显示器流水线用于接收并处理经压缩的图像(即，对其进行解码)，以供显示面板或显示屏。在一些实施方案中，如本文所述的功能中的至少一些功能可由片上系统(SOC)的一个或多个部件或模块实现，可使用该片上系统的设备包括但不限于：多功能设备、智能电话、平板电脑或平板设备，以及其他便携式计算设备，诸如膝上型计算机、笔记本式计算机和上网本计算机。图10示出了示例性SOC，并且图11示出了实现SOC的示例性设备。图12示出了可实现本文所述的方法和装置的示例性计算机系统。图13和图14示出了可实现本文所述的方法和装置的示例性多功能设备。
一般来讲，动态范围是可变量(诸如声音和光之类的信号)的可能的最大值与可能的最小值的比率。在数字图像处理中，高动态范围(HDR)图像是使用HDR成像技术产生的图像，该HDR成像技术产生比使用标准数字成像技术获取的亮度范围更宽的亮度范围。例如，相比常规图像处理时每个通道使用的比特数(通常，每个通道8比特，例如8比特用于彩色/色度和亮度)，HDR图像可在每个通道中包含较多比特(例如，每个亮度和色度通道含有10、12、14或更多个比特)，或可包含较多比特用于亮度(亮度通道)。使用标准数字成像技术产生的图像可被称为具有标准动态范围(SDR)，这种图像通常每个通道使用8比特。一般来讲，色调映射是将一组色调图像值(例如，来自HDR图像数据)映射到另一组色调图像值(例如，到SDR图像数据)的技术。色调映射可用于例如在具有更有限的动态范围(例如SDR)的介质内近似呈现HDR图像的外观。色调映射通常可应用于亮度图像数据。
一般来讲，色域是指色彩的特定子集，例如可在给定的情况下诸如可在给定的色彩空间(例如RGB色彩空间)内或可由显示设备精确呈现的色彩的子集。色域也可指在图像中发现的完整色彩的集合。对图像执行的至少一部分图像处理操作可能改变图像的色域，并且在一些情况下，原始图像中的一部分色彩可能丢失。换句话讲，图像处理技术例如色调映射技术可使图像的色域变窄或裁剪掉图像色域的一部分，因而减少了可由图像数据呈现或重现的色彩的数量。此外，色域映射技术(也可被称为色彩映射或色度映射)可应用于图像数据(通常应用于色度图像数据)，并且在某些情况下可使图像的色域变窄或裁剪掉图像色域的一部分，或作为替代，可用于在色调映射期间或之后校正或调节图像的色域或范围。
实施方案通常被描述为使用YUV Rec.709(也被称为ITU-R RecommendationBT.709)作为SDR基础层，以用于在设备之间例如在相机传感器流水线与显示器流水线之间传输或传送数字图像数据。YUV Rec.709定义可在彩色图像或视频流水线中使用的色彩空间和格式。然而需注意，在实施方案中可使用其他色彩空间和格式。仅举一例，可使用数字影院技术规范(DCI)P3。
实施方案通常被描述为处理视频帧或视频序列。然而实施方案除用于处理视频帧或视频序列之外或作为处理视频帧或视频序列的替代可用于处理单幅图像或静态图像、以及其他数字图像。因此，应当理解，本文使用的术语“视频”、“视频帧”、“帧”等一般可指捕获的数字图像。
向后兼容的HDR图像捕获、分配以及显示系统
图1以图解方式示出了高层次的视频流水线操作。如图1所示，在视频流水线100的传感器流水线110部分中，相机传感器可捕获图像或帧，如相机传感器RGB数据120所示的。可在传感器处捕获较高动态范围内的图像(HDR图像数据)，而显示器流水线160被配置为在较低动态范围内处理图像数据(SDR图像数据)，以供输出到显示器。传感器可根据RGB色彩模型或其他色彩模型来捕获图像。图像信号处理器(ISP)122可处理捕获的相机传感器RGB数据120，以生成线性RGB图像数据124作为输出(例如，线性RGB色彩空间内的图像数据)。线性RGB图像数据124可能仍处于传感器的较高动态范围内。色调映射126技术(例如，局部和/或全局色调映射技术)可应用于线性RGB图像数据124，以将较高动态范围的线性RGB图像数据124转换为较低动态范围(SDR)的YUV Rec.709图像数据130A，以供显示器流水线160处理。
在一些实施方案中，应用色调映射126技术除可减小图像数据的动态范围之外还可裁剪图像数据中的色值，从而导致一个或多个图像的色域变窄。至少在一些情况下，色域映射技术还可应用于图像数据，因而可裁剪图像数据的色域。
YUV Rec.709图像数据130A通常可被压缩132，以生成YUV Rec.709压缩数据150，以用于传送或传输到显示器流水线160。
如图1所示，在视频流水线100的显示器流水线部分160中，由传感器流水线110生成的YUV Rec.709压缩数据150可被解压缩170，以生成处于SDR的YUV Rec.709图像数据130B。然后可向YUV Rec.709图像数据130B应用色彩转换174技术，以生成仍处于SDR的sRGB图像数据176。换句话讲，采用色彩转换174技术将图像数据来从YUV Rec.709色彩空间转换到sRGB色彩空间。sRGB图像数据176随后被传递到显示管理178硬件和/或软件，该硬件和/或软件将呈现SDR RGB图像数据180，以供目标面板或屏幕显示。
然而，设备诸如图像传感器和显示器可支持高动态范围(HDR)成像和支持宽色域(WCG)成像。这些设备可被称为启用HDR的设备，或简称HDR设备。使用如图1所示的视频流水线时，SDR图像数据150从传感器流水线110被传递到支持HDR的显示器或不支持HDR的显示器的显示器流水线160。SDR图像数据将根据较低或标准动态范围被传递到启用HDR的显示器，继而在该显示器上呈现，即便在传感器可捕获HDR图像数据时也是如此。另外，图像数据在被传感器流水线110处理后，其最初被捕获时的宽色域可能变窄或被裁剪。因此，由传感器实际捕获的大部分色调范围、色彩和亮度可能丢失。
本发明描述了向后兼容的方法和装置的实施方案，这些实施方案提供标准动态范围(SDR)版本的视频和较高动态范围(HDR)版本的视频。这些实施方案可实现的方法和装置用于支持处理HDR图像数据，并支持将HDR图像数据分配到启用HDR的显示设备和不支持HDR成像的设备两者。这些实施方案可实现视频流水线，该视频流水线包括传感器或编码流水线部分和显示器或解码流水线部分。视频流水线可在单个设备中实现，例如在包括图像捕获设备和显示面板两者的设备中实现。但是，传感器流水线部分和显示器流水线部分也可在不同的设备中实现，在这种情况下，压缩图像/视频例如通过网络从一个设备传输到另一个设备，或以其他方式从一个设备传输到另一个设备。例如，传感器流水线部分可在视频摄像机中实现，而显示器流水线部分可在显示设备中实现。在一些实施方案中，编码流水线和/或解码流水线可在片上系统(SOC)上至少部分实现。
在一些实施方案中，一个或多个编码流水线可在设备或系统上实现；一个或多个编码流水线可被配置为对输入视频进行编码以生成标准动态范围(SDR)视频，然后将SDR视频串流到各自实现至少一条解码流水线的一个或多个目标设备上，并且生成和提供用于将视频编码到一个或多个目标设备中的映射元数据。目标设备可包括启用HDR的设备和不支持HDR成像的SDR设备两者。启用HDR的设备的解码流水线可接收并使用由编码流水线生成的映射元数据，从而在对SDR视频进行解码时，恢复在编码过程中丢失的输入视频的HDR的至少一部分。SDR设备的解码流水线无需应用映射元数据便可接收SDR视频并加以处理。在一些实施方案中，编码流水线和解码流水线可交流信息，该信息允许编码流水线生成映射元数据并将其发送到启用HDR的设备，而不将映射元数据发送到SDR设备。在一些实施方案中，映射元数据还可包含可被解码流水线用于恢复采用色域映射技术时输入视频丢失的至少一部分宽色域(WCG)的信息，该色域映射技术将WCG输入视频数据转换为在编码SDR视频的色彩空间中使用的较窄色域。
图5是根据一些实施方案的可在传感器流水线中实现的方法的高层次流程图。如1100所示，相机/传感器可捕获一个或多个高动态范围图像。如1102指出的那样，可例如使用映射技术诸如色调映射技术从捕获的图像数据生成较低动态范围的图像数据。如1104指出的那样，可将用于生成较低动态范围图像数据的信息与图像数据一起被记录为元数据。图像数据和/或元数据可被压缩。
图6是根据一些实施方案的可在显示器流水线中实现的方法的高层次流程图。如1200指出的那样，可例如从如图5所述并且如图2与图3所示的传感器流水线获取一个或多个较低动态范围图像。如1202指出的那样，还可获取一个或多个图像的元数据，该元数据包含有关图像数据从较高动态范围映射到较低动态范围的方式的信息。如1204指出的那样，可根据元数据向一个或多个图像应用反向映射技术，以恢复由传感器捕获的较高动态范围图像数据。
图7是根据一些实施方案的可在视频流水线中实现的方法的高层次流程图，该视频流水线支持HDR显示器并且向后兼容SDR显示器。如1300所示，相机/传感器可捕获高动态范围的一个或多个图像。如1302处指出的那样，可例如使用映射技术诸如色调映射技术来下从所捕获的图像数据生成较低动态范围的图像数据。如1304处指出的那样，可将用于生成较低动态范围图像数据的信息与图像数据一起被记录为元数据。图像数据和/或元数据可被压缩。
在1306处，图像数据可被提供至显示器流水线。如果目标显示器支持HDR成像，则可将一个或多个较低动态范围图像提供至显示器流水线，如1310所指出的。另外，也可提供一个或多个图像的元数据，该元数据包含有关图像数据从较高动态范围映射到较低动态范围的方式的信息，如1312所指出的。如1314处指出的那样，可根据元数据向一个或多个图像应用反向映射技术，以呈现之前由传感器捕获的较高动态范围图像数据。
在1306处，如果目标显示器不支持HDR成像，则可将一个或多个较低动态范围图像提供至显示器流水线，如1320所指出的。但是可以不提供元数据。显示器流水线随后可由提供的图像数据呈现并显示SDR图像数据，如1322所指出。由于显示器不支持HDR成像，故不执行用以恢复较高动态范围图像数据的反向映射。
在图5至图7所示方法的一些实施方案中，除色调映射信息之外，执行色域映射时所用的信息也可被传感器流水线记录在元数据中，接着被显示器流水线用于在支持WCG成像的显示器上恢复较宽的色域(WCG)。在一些实施方案中，传感器流水线可在中间色域内生成图像数据，所以显示器流水线可根据元数据映射到相应显示器支持的较窄显示色域。
下面参照图2至图4，进一步描述图5至图7所示方法的诸要素。
图2示出了根据一些实施方案的示例性视频流水线200，该视频流水线可处理传感器所捕获的HDR图像数据，然后将标准动态范围(SDR)图像数据提供至未启用HDR的显示设备，并将高动态范围(HDR)图像数据提供至启用HDR的显示设备。使用图2所示的视频流水线200，经压缩的SDR图像数据250可从传感器流水线210被传递到支持HDR的显示器或不支持HDR的显示器的显示器流水线260。为支持启用HDR的显示设备，描述传感器流水线210所执行的处理的元数据232A也可被传递到显示器流水线260。元数据232A可允许最初被传感器捕获，但在传感器流水线210执行的将HDR转换为SDR的过程中被移除的大部分(即使不是全部)色调范围、色彩和/或亮度被显示器流水线260恢复并呈现，然后在启用HDR的目标显示设备上被看到。对于未启用HDR的显示设备，可通过显示器流水线260对SDR图像数据250进行正常处理，例如根据如针对图1中的显示器流水线160所示的SDR处理技术。
如图2所示，在视频流水线200的传感器流水线210部分中，相机传感器可捕获图像或帧，如HDR相机传感器RGB 220数据所示。传感器可根据RGB色彩模型或其他色彩模型来捕获图像。图像信号处理器(ISP)222可处理捕获的相机传感器RGB数据220，生成HDR线性RGB图像数据224作为输出。色调映射模块或部件可对线性RGB图像数据224应用色调映射226技术(例如，局部(LTM)和/或全局(GTM)色调映射技术)，以将HDR线性RGB图像数据224转换为SDR YUV Rec.709图像数据230A。图4示出了可在一些实施方案中使用的局部色调映射技术。
在一些实施方案中，应用色调映射226技术除可减小图像数据的动态范围之外，还可裁剪图像数据中的色值，从而导致一个或多个图像的色域变窄。至少在一些情况下，色域映射技术还可应用于传感器流水线210中的图像数据(例如，通过ISP 222)，以将色彩从一种色彩空间(例如RGB)映射到另一种色彩空间(例如YUV)，这可能裁剪经处理图像数据230A的色彩。
在图2所示的视频流水线200中，传感器流水线210将用于执行色调映射226和/或色域映射的信息记录为元数据232A，并将其存储、嵌入，或以其他方式将该元数据与SDRYUV Rec.709图像数据230A关联起来。在一些实施方案中，元数据232A可在时间上和/或空间上被压缩。YUV Rec.709图像数据230A可被压缩234。被压缩的YUV Rec.709图像数据230A和元数据232A可作为被压缩的YUV Rec.709+元数据250输出，该输出数据可被存储，然后被传输或发送到一条或多条显示器流水线260。
在显示器流水线260中，被压缩的YUV Rec.709+元数据250可被解压缩270，生成元数据232B和解压缩的SDR YUV Rec.709图像数据230B。然后元数据232B可被显示器流水线260的反向色调映射模块或部件用于针对SDR YUV Rec.709图像数据230B执行反向全局和/或局部色调映射(TM)技术276，以生成HDR图像数据278。反向色调映射技术276恢复或重建了在传感器流水线210中应用色调映射技术226时丢失的色调范围和亮度的至少一部分。
在一些实施方案中，色彩转换技术也可应用于YUV数据，以将其转换到不同的色彩空间，例如转换到xRGB(扩展的RGB)色彩空间。在一些实施方案中，元数据232B还可包含用于执行色域映射的信息，该信息可用于恢复或重建在传感器流水线210上的色域映射操作中被裁剪掉的色域范围的一部分甚至全部，从而为HDR图像数据278提供更宽的色域以供显示。xRGB图像数据278随后可被传递到启用HDR的设备的显示管理280硬件和/或软件，该硬件和/或软件将呈现HDR RGB图像数据282，以供目标面板或屏幕显示。
在使用如图2所示的传感器流水线210时，SDR YUV Rec.709图像数据230仍可被传递到不支持HDR的显示器的显示器流水线，随后SDR YUV Rec.709图像数据230B可被解压缩，并在不执行反向色调映射操作(例如，如针对图1中的显示器流水线160所示)的情况下得到处理，所以图像数据能够在未启用SDR的显示器上显示为正常的SDR数据。因此，如图2所示的传感器流水线210的作用是为启用HDR的显示器提供HDR成像，同时还向后兼容不支持HDR成像的显示器。
在一些实施方案中，可在传感器流水线210与显示器流水线260之间，或者显示器流水线260与SDR YUV Rec.709图像数据250的另一个源之间进行信号交换，由此可确定目标显示器的动态范围。如果目标显示器不支持HDR，则可以不将被压缩的元数据232A与被压缩的YUV Rec.709图像数据230A一起传输或发送到显示器流水线260。
在一些实施方案中，在如图2所示的视频流水线中，传感器流水线210和显示器流水线260可为同一个设备或同一个片上系统(SOC)的部件，被压缩的SDR YUV Rec.709图像数据250可例如经由通信总线或设备本地的其他连接传输。在一些实施方案中，作为替代，传感器流水线210和显示器流水线260可为不同设备的部件，所以被压缩的SDR YUVRec.709图像数据250可经由其他媒介传输或发送，例如经由有线和/或无线网络，或通过耦合设备的连接(例如USB连接)，或经由可移除存储介质诸如拇指驱动器、CD或DVD。
局部色调映射
在一些实施方案中，局部色调映射(LTM)技术可用于传感器流水线210，使用LTM技术时，将图像划分为多个区域，每个区域都有其本身的色调曲线。可将区域色调曲线参数化，并保存在被传递到显示器流水线260的元数据232A中，因此在由输入SDR图像数据230B和元数据232B中指示的局部色调映射信息生成HDR图像数据278时，便可由反向LTM技术276恢复色调/亮度。在各种实施方案中，可在RGB色彩空间或YUV色彩空间中执行LTM技术；更一般地，如本文所述的LTM可在任意色彩空间中执行。
图4以图解方式示出了根据一些实施方案的局部色调映射(LTM)技术。LTM技术的实施方案可例如用于如图1至图3所示的视频流水线实施方案中。然而，如本文所述的LTM技术的实施方案可应用于使用色调映射的其他图像或视频处理技术中。
如图4所示，在使用如图2所示的传感器流水线210中实现的LTM技术时，可将图像400划分为多个区域402，并为图像400的每个区域402指示或确定局部色调曲线404。虽然图4示出图像400被均匀细分为正方形或矩形的多个区域402，但在一些实施方案中，可使用具有不同形状或变化的尺寸和/或形状的多个区域402。
区域402的色调曲线404可能相似，但取决于变化的特征，例如区域402的色调/亮度，不同区域402的色调曲线404可能至少有轻微的差别。例如，在黑暗区域诸如区域402A中，色调曲线404A可强化暗区，以获取更广的范围。而在明亮区域诸如区域402B中，色调曲线404B可不以同样程度强化，以保留加亮效果。
可将为图像400的区域402确定的色调曲线404参数化，并例如像图2所示那样作为元数据232保存，然后将其传递或以其他方式提供至显示器流水线260，因此，可采用反向LTM技术276恢复较宽的色调或亮度，从而在显示器流水线260上由输入SDR图像数据230B生成HDR图像数据278。
在一些实施方案中，附加信息可被保存为元数据232A，以供显示器流水线260的反向LTM技术276使用。例如，在一些实施方案中，LTM技术226可裁剪至少一部分图像数据值，元数据232A可包含可在至少部分恢复被裁剪值的过程中使用的附加信息。
在一些实施方案中，在传感器流水线210上执行色域映射时使用的信息也可被保存为元数据232A，并且提供至显示器流水线260。色域映射信息可在显示器流水线260上用于图像重建，以恢复较宽色域以供显示。
在各种实施方案中，可在空间上(即，在图像400或帧内)和/或时间上(例如，跨两个或更多个图像400或帧)压缩色调映射元数据232A。例如，在图像400内，相邻或邻近区域402的局部色调曲线402不太可能明显改变，因此色调映射元数据232A可被压缩到图像400内(在空间上压缩)。此外，两个或更多个相邻的图像400或帧中的相同区域402的色调曲线不太可能明显改变，所以可在时间上(跨两个或更多个图像400或帧)压缩元数据232中的色调曲线信息。
使色调映射与显示器匹配
在一些实施方案中，可调整显示器流水线260应用的反向色调映射技术276，使之与目标显示器的动态范围匹配。由传感器捕获的动态范围相比目标显示器所支持的动态范围可例如覆盖更宽的范围，即便显示器兼容HDR时也是如此。因此，在一些实施方案中，显示器流水线260的反向色调映射技术276可根据目标显示器的动态范围来修改与SDR图像数据230B一起被接收的色调映射元数据232B，或者可以其他方式修改被应用于SDR图像数据230B的反向色调映射技术276，以生成与目标显示器的动态范围匹配的HDR图像数据278。
环境自适应色调映射
在一些实施方案中，显示器流水线的反向色调映射技术276可以是环境自适应过程，其中可例如使用一个或多个传感器来获取有关环境光线、至一个或多个观看者的距离或目标显示器处的其他环境条件的信息。根据获取的环境信息，可例如通过对一条或多条色调曲线404进行修改或加权来动态地调节反向色调映射技术276，其中色调曲线404如正在显示器流水线260中经受处理的视频帧的一个或多个区域402的元数据232B所指示的。例如，如果检测到显示器上的环境光线较明亮(例如，高于指定的阈值)，则反向色调映射技术276可调节如元数据232B所指示的一条或多条色调曲线404，以生成更明亮的图像400(或在图像400内生成更明亮的区域402)和/或对比度更高的图像400或一个或多个区域402。如果检测到显示器上的环境光线较暗淡(例如，低于指定的阈值)，则反向色调映射技术276可调节如元数据232B所指示的一条或多条色调曲线404，以降低图像400或图像400内区域402的亮度或使图像400或图像400内的一个或多个区域402变暗。
反向色调映射方法
如先前所提及的，显示器/解码流水线可应用反向色调映射技术来恢复输入传感器/编码流水线的原始视频数据的高动态范围的至少一部分。在一些实施方案中，色调映射可涉及对以根据第一色彩空间(例如RGB色彩空间)的较高动态范围表示的输入视频数据值应用传递函数(例如，电-光传递函数(EOTF))，以便生成以根据第二色彩空间(例如YUV色彩空间)的较低动态范围表示的输出视频数据。传递函数可对应于色调曲线(可被称为传递曲线)，其可由一个或多个传递函数参数值表示，并以一个或多个传递函数参数值的形式保存在元数据中。在一些实施方案中，反向色调映射技术可涉及将如元数据所表示的传递函数的逆函数应用于从传感器/编码流水线获取的解压缩视频数据。
色域恢复
如先前所提及的，在一些实施方案中，除了如图2所示使用元数据232在显示器侧恢复色调映射信息之外，还可在传感器侧210保留传感器所捕获的较宽色域，并使用元数据232使该较宽色域在显示器侧260至少部分地恢复。在一些实施方案中，传感器流水线210可从较宽的色域图像数据(例如，相机传感器RGB图像数据220)生成较窄的色域图像数据(例如，YUV Rec.709图像数据230A)，其中较宽的色域图像数据由与传感器流水线210相关联的相机的图像传感器使用色域映射技术捕获，该技术可从色彩空间(例如RGB色彩空间)的较宽色域范围裁剪在另一色彩空间(例如YUV色彩空间)的较窄色域内不可用的色彩。在一些实施方案中，除色调映射信息之外，执行色域映射时所使用的信息或由于执行色域映射而产生的信息也可被记录在元数据232中，并且在图像重建的过程中被显示器流水线260用于借助至少部分地恢复被裁剪的色彩而在支持WCG成像的显示器上恢复较宽的色域。
提供SDR视频
图3示出了根据一些实施方案的从高动态范围(HDR)源内容提供标准动态范围(SDR)视频的示例性视频流水线。在图3中，视频流水线300可借助下述方式生成并输出不同格式的视频数据：对相机传感器RGB数据320进行编码以生成YUV 10+比特深度图像数据330A供输出；对YUV 10+比特深度图像数据330A进行转码以生成sRGB Rec.709图像数据382供输出。
如图3所示，在视频流水线300中，相机传感器可捕获图像或帧，如HDR相机传感器RGB 320数据所示的。图像信号处理器(ISP)322可处理所捕获的相机传感器RGB数据320，以生成HDR线性RGB图像数据324作为输出。色调映射技术326(例如，本文所述的局部(LTM)和/或全局(GTM)色调映射技术)可应用于线性RGB图像数据324，以在以10比特深度或更大比特深度(YUV 10+比特深度图像数据330A)表示的YUV色彩空间内将HDR线性RGB图像数据324转换为标准动态范围(SDR)图像数据。在一些实施方案中，色域映射可应用于图像数据，以将色彩从一种色彩空间(例如RGB)映射到另一种色彩空间(例如YUV)。YUV 10+比特深度图像数据330A可被压缩334。视频流水线300可将用于执行色调映射326和/或色域映射的信息记录为元数据332A。被压缩的YUV 10+比特深度图像数据330A和元数据332A可例如经由网络350被输出到一个或多个目标设备。YUV 10+比特深度图像数据330A可被目标设备解压缩，继而由目标设备处理，而元数据332可用于反向色调映射技术和/或色域映射技术，以便在启用HDR的显示器上恢复至少一些动态范围和/或色彩。
在一些实施方案中，除上述操作之外或作为上述操作的替代，可在转码路径340上发送被压缩的YUV 10+比特深度图像数据330A和元数据332A，将这两种数据转码为YUVRect.709图像数据382以供输出，例如经由网络350输出到一个或多个目标设备。被压缩的YUV 10+比特深度图像数据330A在转码路径340上可被解压缩370，以生成被压缩的YUV 10+比特深度图像数据330B。元数据332B可在对图像数据330B执行反向全局和/或局部色调映射和色彩转换操作376时被用于生成HDR图像数据378。反向操作376可根据元数据332B在图像数据378中恢复或重建至少一部分亮度和/或色彩。然后可将另一全局和/或局部色调映射操作380应用于HDR图像数据378，以生成sRGB Rec.709图像数据382供输出，例如经由网络350输出到一个或多个目标设备。
在一些实施方案中，可不在转码路径340上发送元数据332B。在一些实施方案中，替代先对解压缩的图像数据330B应用反向全局和/或局部色调映射和色彩转换操作376以生成HDR图像数据378并且然后应用另一色调映射操作380以将HDR图像数据378转换为Rec.709图像数据382，转码路径340可直接将色调映射和色彩转换技术应用于解压缩的图像数据330B，从而由图像数据330B直接生成Rec.709图像数据382。在一些实施方案中，可将数字影院技术规范(DCI)P3而不是Rec.709用作基础层。在各种实施方案中，可在RGB色彩空间、YUV色彩空间或其他可用色彩空间中执行色调映射326。
编码器/解码器的示例性实施方式
本发明描述了支持处理、恢复和显示高动态范围(HDR)及宽色域(WCG)视频的视频显示与回放方法和装置的示例性实施方案。特别地，描述了使用编码器和解码器将视频映射到目标显示面板的方法和装置的实施方案。在一些实施方案中，如本文所述的功能中的至少一部分可由片上系统(SOC)的一个或多个部件或模块实现的，可使用该片上系统的设备包括但不限于：多功能设备、智能电话、平板电脑或平板设备，以及其他便携式计算设备，诸如膝上型计算机、笔记本式计算机和上网本计算机。图10示出了示例性SOC，并且图11示出了实现SOC的示例性设备。
在如图8和图9所示的方法和装置中，至目标显示面板的映射至少部分地在解码器侧执行，其中色域映射元数据在编码器侧产生，并且被传递到解码器侧上的用于恢复WCG视频内容的部件。在一些实施方案中，图8和图9所示的方法和装置也可包括或实施如图2至图7所示的方法，以从HDR视频源向显示设备提供标准动态范围(SDR)和高动态范围(HDR)这两种版本的视频。
图9是根据一些实施方案的视频回放方法的流程图，其中编码器在中间色域内生成输出数据，并且解码器根据编码器生成的元数据执行向显示色域的映射。参考图9，如1450指出的那样，编码流水线将视频内容从宽色域映射到中间色域。该中间色域不必是编码侧源内容的全范围色域，而是可位于全范围色域与一个或多个目标显示器的色域之间的一种色域。在一些实施方案中，中间色域由与典型的编码器/解码器硬件比特深度相容的比特深度(例如10比特)表示。如图9的1452指出的那样，编码流水线然后根据压缩视频格式例如H.264/AVC格式来对视频内容进行编码。对视频数据进行编码可涉及将视频数据从一种色彩空间转换到另一种色彩空间，例如从CIE 1931XYZ色彩空间转换到YUV Rec.709色彩空间。如图9的1454指出的那样，编码流水线记录至少描述已执行的色域映射的元数据。
如图9的1456指出的那样，一条或多条解码流水线可各自获取编码的视频内容和元数据。如图9的1458指出的那样，每条解码流水线对编码的视频内容进行解码，以生成位于中间色域处的解码(未压缩)视频内容。对视频数据进行解码可涉及将视频数据从一种色彩空间转换到另一种色彩空间，例如从YUV转换到XYZ。如1460指出的那样，每条解码流水线然后根据元数据来将解码的视频内容从中间色域映射到相应目标显示面板的色域。映射视频数据可涉及将视频数据从一种色彩空间转换到另一种色彩空间，例如从XYZ色彩空间转换到YCC色彩空间或YUV色彩空间。解码的视频内容可被进一步处理并提供至相应显示面板供显示。下面参照图8，其进一步描述图9所示方法的要素。
图8示出了根据一些实施方案的示例性视频回放系统，其中编码器在中间色域内生成输出数据，并且该系统使用编码器生成的元数据在解码器/显示器侧执行至显示色域的映射。示例性的视频回放方法和系统可涉及在较宽色域或中间色域中进行H.264/AVC编码以分配到显示器，其中解码器侧映射到显示器色域。
图8示出了包括一个或多个部件的编码800模块或流水线，以及包括一个或多个部件的解码850模块或流水线。在一些实施方案中，编码800模块和/或解码850模块可在SOC上实现。在一些实施方案中，编码800模块和解码850模块可在同一个装置和/或SOC上实现。在一些实施方案中，编码800模块和解码850模块可在不同的装置或SOC上实现。在一些实施方案中，可在一个设备或系统上实现一条或多条编码800流水线；编码800流水线可被配置为对视频进行编码，然后将编码视频串流到各自实现至少一条解码850流水线的一个或多个目标设备或系统。
在该实施方案中，色域映射至少部分地在解码850侧执行，其中色域映射元数据820和宽色域(WCG)的视频编码流(VES)810在编码800侧生成，并且被传递到解码850侧的部件(例如，传递到ISP色彩管854，或者传递到GPU)，以用于解码850侧色域映射操作。可例如在(线性)CIE 1931XYZ色彩空间中以16比特深度对输入视频内容进行编码。映射部件802可向输入线性XYZ视频应用10比特电-光传递函数(EOTF)操作，以将16比特输入数据映射到10比特log XYZ视频数据。在一些实施方案中，EOTF可为映射到宽度足够大的色彩空间的传递函数，以传递到目标显示面板的全部色彩空间。映射部件802还可生成用于描述映射操作的元数据820。H.264编码器部件804对10比特log XYZ视频数据进行编码，以生成10比特深度的宽色域(WCG)H.264压缩视频810。
在解码850模块中，H.264解码器部件852对H.264压缩视频810进行解码，以在XYZ色彩空间内生成10比特的数据。然后可使用图像信号处理器(ISP)854色彩管或者图形处理器单元(GPU)，根据元数据820执行从10比特XYZ数据的WCG到显示器色域的映射。ISP 854可在YCC色彩空间内生成10比特的数据。可对该数据执行超分辨率技术856并且可将10比特的YCC数据传递到显示管858，以便加工成位于显示器色域内的显示器输出数据，例如10比特RGB数据。
在该实施方案中，在符合编码器/解码器硬件所支持的比特深度(例如10比特)的较宽色域中完成编码，并且元数据820被传递到解码850模块，以用于至显示器色域的色域映射。图8示出了在解码850侧执行的多个操作，这些操作可利用SOC的现有部件诸如H.264解码器、ISP色彩管和显示管。可以10比特深度执行解码并且可使用从编码800侧接收的用于描述应当如何进行色域映射的元数据820信息来执行到显示器色域的转换。
在图8中，一部分但并非全部色域处理在回放/解码850侧执行，而不是在服务器/编码800侧执行。视频内容并非在编码800侧直接被映射到目标显示器色域，而是被映射到中间色域中。该中间色域不必是编码800侧源内容的全范围色域，而是可位于全范围色域与显示器色域之间的一种色域，并且该显示器色域可匹配10比特深度，这还允许使用可支持最高达10比特解码的现有解码850硬件。在解码850模块中，元数据820可用于映射到目标面板/显示器的色域。在一些实施方案中，该映射可分两步执行。在第一步处，根据元数据820来将输入视频内容810映射回最初的较宽色域。然后将该重映射的内容向下映射到显示器的色域。在一些实施方案中，回放/解码850侧的色域映射可在可例如执行伽玛校正、色彩空间转换等的图像信号处理器(ISP)色彩管854上或内执行，或可由该色彩管执行。在一些实施方案中，ISP色彩管854的一个或多个部件(例如，3D色彩查找表(CLUT))可用于执行色域映射。然而，此外或作为替代，回放/解码850色域映射可由一个或多个GPU执行，或在一个或多个GPU内执行。
如图8所示的解码850流水线的实施方案可使用解码器852部件，对10比特数据进行初始解码，并可根据ISP色彩管854或GPU从编码800流水线接收的元数据820来恢复至少一部分色域。编码800流水线在较宽的中间色域中生成输出编码视频流810，该中间色域可尝试捕获视频流810可指向的某一范围的一个或多个显示器色域。由编码800流水线生成并被传递到一个或多个解码器850的元数据820定义如何从输出流810的中间色域映射到可能较窄的显示器色域。在一些实施方案中，元数据820可参考或映射到定义如何在不同色域之间来回映射的一个或多个查找表(例如CLUT)。例如，元数据820所参考的一个或多个查找表可被ISP色彩管854或其他解码850部件用于映射到Rec.709色域、P3DCI D65、Rec.2020色域，等等。作为替代，元数据820可包括方程和/或参数(例如，用于配置显示管858、ISP色彩管854和/或GPU的参数)，以用于执行解码器侧的色域映射。
在一些实施方案中，元数据820还可包括由编码800流水线(例如，映射802部件)应用的色调映射技术(例如，局部(LTM)和/或全局(GTM)色调映射技术)中使用的信息，以将输入视频数据映射到输出数据流810的动态范围。元数据820然后可在解码850流水线中被反向色调映射技术用于恢复在由编码800流水线应用的色调映射中的可能已被裁剪掉的至少一些动态范围。在一些实施方案中，ISP色彩管的色调映射模块或部件可在编码800侧和/或解码850侧上用于色调映射。在一些实施方案中，ISP色彩管的3D色彩查找表(CLUT)可用于全局和/或局部色调映射，并且可用于色域映射。
需注意，图8中所示的各种视频格式、色彩空间等都是以举例的方式给出的并非旨在进行限制。例如，针对输入视频可使用除CIE 1931XYZ之外的其他色彩空间。又如，在一些实施方案中，可根据H.265高效视频编码(HEVC)格式而非H.264/AVC格式来执行编码和解码。
示例性的设备与装置
图10至图14示出了设备和装置的非限制性示例，在该些设备和装置中或使用这些设备和装置可实现如本文所述的各种数字视频或图像处理与显示方法及装置的多个实例方案或部件。图10示出了示例性SOC，并且图11示出了实现SOC的示例性设备。图12示出了可实现本文所述的方法和装置的示例性计算机系统。图13和图14示出了可实现本文所述的方法和装置的示例性多功能设备。
示例性片上系统(SOC)
现参见图10，其示出了可在实施方案中使用的片上系统(SOC)8000的一个实施方案的框图。SOC 8000被图示为耦接到存储器8800。如名字所暗示的，SOC 8000的多个部件可集成到单个半导体衬底上作为集成电路“芯片”。在一些实施方案中，这些部件可在系统中的两个或更多个分立芯片上实施。然而，本文将SOC 8000用作示例。在例示的实施方案中，SOC 8000的部件包括中央处理单元(CPU)复合件8020、片上外围部件8040A-8040C(更简洁地称为“外围设备”)、存储器控制器(MC)8030和通信结构8010。部件8020、8030、8040A-8040C全都可耦接到通信结构8010。存储器控制器8030可在使用期间耦接到存储器8800，并且外围设备8040B可在使用期间耦接到外部接口8900。在例示的实施方案中，CPU复合件8020包括一个或多个处理器(P)8024和二级(L2)高速缓存8022。
外围设备8040A-8040B可以是被包括在SOC 8000中的附加硬件功能的任意集合。例如，外围设备8040A-8040B可包括视频外围设备，诸如被配置为处理来自相机或其他图像传感器的图像捕捉数据的图像信号处理器、被配置为在一个或多个显示设备上显示视频数据的显示控制器、图形处理单元(GPU)、视频编码器/解码器或编解码器、缩放器、旋转器、混合器等。该外围设备可包括音频外围设备，诸如麦克风、扬声器、至麦克风和扬声器的接口、音频处理器、数字信号处理器、混合器等。该外围设备可包括用于SOC 8000外部的各种接口8900的外围设备接口控制器(例如外围设备8040B)，这些接口包括诸如通用串行总线(USB)端口、外围部件互连(PCI)端口(包括PCI高速(PCIe)端口)、串行端口、并行端口等之类的接口。该外围设备可包括联网外围设备，诸如媒体访问控制器(MAC)。可包括硬件的任意集合。
CPU复合件8020可包括用作SOC 8000的CPU的一个或多个CPU处理器8024。系统的CPU包括执行系统的主控软件诸如操作系统的一个或多个处理器。通常，由CPU在使用期间执行的软件可控制系统的其他部件来实现所期望的系统功能。处理器8024还可执行其他软件诸如应用程序。应用程序可提供用户功能，并且可依赖于操作系统以进行低级设备控制。因此，处理器8024也可被称为应用处理器。CPU复合件8020还可包括其他硬件，诸如L2高速缓存8022和/或至系统的其他部件的接口(例如至通信结构8010的接口)。通常，处理器可包括被配置为执行在由处理器实施的指令集架构中定义的指令的任何电路和/或微码。响应于执行指令而由处理器操作的指令和数据通常可被存储在存储器8800中，尽管某些指令可被定义为也用于对外围设备进行直接处理器访问。处理器可涵盖在具有作为片上系统(SOC8000)或其他集成水平的集成电路的其他部件上实施的处理器内核。处理器还可包括分立的微处理器、处理器内核和/或集成到多芯片模块具体实施中的微处理器、被实施为多个集成电路的处理器等等。
存储器控制器8030通常可包括用于接收来自SOC 8000的其他部件的存储器操作并用于访问存储器8800以完成存储器操作的电路。存储器控制器8030可被配置为访问任何类型的存储器8800。例如，存储器8800可以是静态随机存取存储器(SRAM)、动态RAM(DRAM)，诸如包括双倍数据速率(DDR、DDR2、DDR3等)DRAM的同步DRAM(SDRAM)。可支持DDR DRAM的低功率/移动版本(例如LPDDR、mDDR等)。存储器控制器8030可包括存储器操作队列，以用于对这些操作进行排序(并且可能重新排序)，并将这些操作呈现至存储器8800。存储器控制器8030还可包括用于存储等待写到存储器的写数据和等待返回至存储器操作的源的读数据的数据缓冲器。在一些实施方案中，存储器控制器8030可包括用于存储最近访问的存储器数据的存储器高速缓存。例如，在SOC具体实施中，存储器高速缓存可通过在预期很快要再次访问的情况下避免从存储器8800重新访问数据来降低SOC中的功率消耗。在一些情况下，存储器缓存也可被称为与私有高速缓存(诸如L2高速缓存8022或处理器8024中的高速缓存)不同的系统高速缓存，该私有高速缓存只服务于某些部件。此外，在一些实施方案中，系统高速缓存不需要位于存储器控制器8030内。
在一个实施方案中，存储器8800可按芯片堆叠或封装堆叠配置与SOC 8000封装在一起。也可使用SOC 8000和存储器8800的多芯片模块配置。此类配置可比向系统中其他部件(例如向端点16A-16B)的传输相对更安全(在数据可观测性方面)。因此，受保护的数据可未经加密地驻留在存储器8800中，而受保护的数据可被加密以在SOC 8000与外部端点之间进行交换。
通信结构8010可以是用于在SOC 8000的部件间进行通信的任何通信互连件和协议。通信结构8010可基于总线，包括共享总线配置、交叉开关配置以及具有网桥的分级总线。通信结构8010也可基于数据包，并且可为具有网桥的分级式互连件、交叉开关式互连件、点对点互连件或其他互连件。
需注意，SOC 8000的部件的数量(以及图10所示(诸如CPU复合件8020内)的那些部件的子部件的数量)在不同实施方案中可能是不同的。可存在比图10所示的数量更多或更少的每种部件/子部件。
图11是系统9000的一个实施方案的框图，该系统9000包括耦接到外部存储器8800和一个或多个外部外围设备9020的SOC 8000的至少一个实例。提供了向SOC 8000供应供电电压并向存储器8800和/或外围设备9020供应一个或多个供电电压的电力管理单元(PMU)9010。在一些实施方案中，可包括SOC 8000的多于一个实例(也可包括多于一个存储器8800)。
视系统9000的类型而定，外围设备9020可包括任何期望的电路。例如，在一个实施方案中，该系统9000可以是移动设备(例如个人数字助理(PDA)、智能电话等)，并且该外围设备9020可包括用于各种类型的无线通信的设备，诸如wifi、蓝牙、蜂窝、全球定位系统等。该外围设备9020还可包括附加存储装置，该附加存储装置包括RAM存储装置、固态存储装置或磁盘存储装置。该外围设备9020可包括用户界面设备(诸如包括触摸显示屏或多点触摸显示屏的显示屏)、键盘或其他输入设备、麦克风、扬声器等。在其他实施方案中，该系统9000可以是任何类型的计算系统(例如台式个人计算机、膝上型电脑、工作站、网络机顶盒等)。
外部存储器8800可包括任何类型的存储器。例如，外部存储器8800可以是SRAM、动态RAM(DRAM)(诸如同步DRAM(SDRAM))、双倍数据速率(DDR、DDR2、DDR3等)SDRAM、RAMBUSDRAM、低功率版本的DDR DRAM(例如LPDDR、mDDR等)，等等。该外部存储器8800可包括存储器设备可被安装到的一个或多个存储器模块，诸如单列存储器模块(SIMM)、双列存储器模块(DIMM)等。作为替代，该外部存储器8800可包括按芯片堆叠或封装堆叠具体实施被安装在SOC 8000上的一个或多个存储器设备。
示例性计算机系统
图12示出了可被配置为执行上文所述的任意实施方案或全部实施方案的示例性计算机系统2900。在不同的实施方案中，计算机系统2900可以是各种类型的设备中的任何设备，包括但不限于：个人计算机系统、台式计算机、膝上型电脑、笔记本电脑、平板电脑、一体式电脑或上网本计算机、大型计算机系统、手持式计算机、工作站、网络计算机、相机、机顶盒、移动设备、消费者设备、应用服务器、存储设备、视频记录设备、外围设备(诸如交换机、调制解调器、路由器)，或一般性的任何类型的计算设备或电子设备。
可在一个或多个可与各种其他设备交互的计算机系统2900内执行如本文所述的各种实施方案。需注意，根据各种实施方案，上文结合图1至图11描述的任何部件、动作或功能可在被配置为图12所示计算机系统2900的一种或多种计算机上实现。在例示的实施方案中，计算机系统2900包括经由输入/输出(I/O)接口2930耦接到系统存储器2920的一个或多个处理器2910。计算机系统2900还包括耦接到I/O接口2930的网络接口2940，以及一个或多个输入/输出设备或部件2950，诸如光标控件2960、键盘2970、一个或多个显示器2980、一个或多个相机2990和包括但不限于光传感器和运动检测器的一个或多个传感器2992。在一些情况下，可设想到实施方案可使用计算机系统2900的单个实例来实现，而在其他实施方案中，多个此类系统或者构成计算机系统2900的多个节点可被配置为实施方案的不同部分或实例的主机。例如，在一个实施方案中，一些元素可经由计算机系统2900的与实现其他元素的那些节点不同的一个或多个节点来实现。
在各种实施方案中，计算机系统2900可以是包括一个处理器2910的单处理器系统，或包括几个处理器2910(例如两个、四个、八个、或另一适当的数量)的多处理器系统。处理器2910可以是能够执行指令的任何合适的处理器。例如，在各种实施方案中，处理器2910可以是实现多种指令集架构(ISA)(诸如x829、PowerPC、SPARC或MIPS ISA，或任何其他合适的ISA)中的任一指令集架构的通用处理器或嵌入式处理器。在多处理器系统中，每个处理器2910通常可以但并非必须实现相同的ISA。
系统存储器2920可被配置为存储可被处理器2910访问的程序指令2922和/或数据。在各种实施方案中，系统存储器2920可使用任何适当的存储器技术来实现，诸如静态随机存取存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存存储器，或任何其他类型的存储器。在例示的实施方案中，程序指令2922可被配置为实现本文所述的任何功能。此外，存储器2920可包括本文所述的任何信息结构或数据结构。在一些实施方案中，程序指令和/或数据可被接收、发送或存储在独立于系统存储器2920或计算机系统2900的不同类型的计算机可访问介质或类似介质上。尽管将计算机系统2900描述为用于实施前面各图的功能框的功能，但可经由此类计算机系统来实施本文所述的任何功能。
在一个实施方案中，I/O接口2930可被配置为协调设备中的处理器2910、系统存储器2920和任何外围设备(包括网络接口2940或其他外围设备接口，诸如输入/输出设备2950)之间的I/O通信。在一些实施方案中，I/O接口2930可执行任何必要的协议、定时或其他数据转换，以将来自一个部件(例如系统存储器2920)的数据信号转换为适于由另一个部件(例如处理器2910)使用的格式。在一些实施方案中，I/O接口2930可包括对例如通过各种类型的外围设备总线(诸如外围部件互连(PCI)总线标准或通用串行总线(USB)标准的变型)所附接的设备的支持。在一些实施方案中，I/O接口2930的功能例如可以被划分到两个或更多个单独的部件中，诸如北桥和南桥。此外，在一些实施方案中，I/O接口2930(诸如至系统存储器2920的接口)的一部分甚至全部功能可被直接并入处理器2910中。
网络接口2940可被配置为允许在计算机系统2900和附接到网络2985的其他设备(例如承载器或代理设备)之间或者在计算机系统2900的节点之间交换数据。在各种实施方案中，网络2985可包括一种或多种网络，包括但不限于：局域网(LAN)(例如以太网或企业网)、广域网(WAN)(例如互联网)、无线数据网、一些其他电子数据网络、或它们的一些组合。在各种实施方案中，网络接口2940例如可支持经由有线或无线通用数据网络诸如任何适当类型的以太网网络的通信；经由电信/电话网络诸如模拟语音网络或数字光纤通信网络的通信；经由存储区域网络诸如光纤信道SAN或经由任何其他适当类型的网络和/或协议的通信。
输入/输出设备2950在一些实施方案中可包括一个或多个显示终端、键盘、小键盘、触摸板、扫描设备、语音或光学识别设备，或适于由一个或多个计算机系统2900输入或访问数据的任何其他设备。多个输入/输出设备2950可存在于计算机系统2900中，或者可分布在计算机系统2900的各个节点上。在一些实施方案中，类似的输入/输出设备可与计算机系统2900分开，并且可通过有线连接或无线连接(诸如通过网络接口2940)来与计算机系统2900的一个或多个节点进行交互。
如图12所示，存储器2920可包含程序指令2922，该程序指令2922可能可由处理器执行，以实现上文所述的任何元素或动作。在一个实施方案中，所述程序指令可实现上文所述的方法。在其他实施方案中，可包括不同的元素和数据。需注意，数据可包括上文所述的任何数据或信息。
本领域的技术人员应当理解，计算机系统2900仅仅是例示性的，并非旨在限制实施方案的范围。特别地，计算机系统和设备可包括可执行所指出的功能的硬件或软件的任意组合，包括计算机、网络设备、互联网装置、PDA、无线电话、寻呼机等等。计算机系统2900还可被连接到未示出的其他设备，或者可作为独立系统工作。此外，由例示的部件提供的功能在一些实施方案中可被组合在更少的部件中，或可被分布在附加部件中。类似地，在一些实施方案中，可能不提供一些例示部件的功能，和/或可能有其他附加功能可用。
本领域的技术人员还将认识到，虽然各种项目被示出为在被使用期间被存储在存储器中或存储装置上，但是为了存储器管理和数据完整性的目的，这些项目或其部分可在存储器和其他存储设备之间进行传输。或者，在其他实施方案中，这些软件部件中的一些或全部软件部件可在另一设备上的存储器中执行，并且经由计算机间通信来与所示出的计算机系统进行通信。系统部件或数据结构中的一些或全部系统部件或数据结构也可(例如作为指令或结构化数据)被存储在计算机可访问介质或便携式制品上以由合适的驱动器读取，其多种示例在上文中被描述。在一些实施方案中，存储在与计算机系统2900分开的计算机可访问介质上的指令可经由传输介质或信号(诸如电信号、电磁信号、或数字信号)被传输到计算机系统2900，传输介质或信号经由通信介质(诸如网络和/或无线链路)来传送。各种实施方案可进一步包括在计算机可访问介质上接收、发送或存储根据以上描述所实现的指令和/或数据。一般来讲，计算机可访问介质可包括非暂态计算机可读存储介质或存储器介质，诸如磁或光介质，例如盘或DVD/CD-ROM、易失性或非易失性介质，诸如RAM(例如SDRAM、DDR、RDRAM、SRAM等)、ROM等。在一些实施方案中，计算机可访问介质可包括传输介质或信号，诸如经由通信介质诸如网络和/或无线链路来传输的电气信号、电磁信号或数字信号。
多功能设备示例
图13示出了根据一些实施方案的便携式多功能设备的框图。在一些实施方案中，该设备是还包含其他功能诸如PDA功能、相机功能、视频捕获和/或回放功能以及/或者音乐播放器功能的便携式通信设备诸如移动电话。便携式多功能设备的示例性实施方案包括但不限于得自Apple Inc.(Cupertino,California)的
Figure BDA0001076364010000281
设备、iPod
Figure BDA0001076364010000282
设备和
Figure BDA0001076364010000283
设备。也可使用其他便携式电子设备，诸如具有触敏表面(例如，触摸屏显示器和/或触摸板)的膝上型电脑、移动电话、智能电话或平板电脑。还应当理解，在一些实施方案中，该设备并非便携式通信设备，而是具有触敏表面(例如，触摸屏显示器和/或触摸板)的台式计算机。在一些实施方案中，该设备是具有取向传感器(例如游戏控制器中的取向传感器)的游戏计算机。在其他实施方案中，该设备不是便携式通信设备，而是相机和/或摄像机。
在下面的讨论中，描述了一种包括显示器和触敏表面的电子设备。然而应当理解，电子设备可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操作杆。
该设备通常支持各种应用程序，诸如以下各项中的一者或多者：绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、锻练支持应用程序、相片管理应用程序、数字相机应用程序、数字视频摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放器应用程序。
可在该设备上执行的各种应用程序可使用至少一个共用的物理用户界面设备诸如触敏表面。触敏表面的一种或多种功能以及被显示在设备上的对应信息对于各个应用程序可被调节和/或是不同的，和/或在对应应用程序内可被调节和/或是不同的。这样，设备的共用物理架构(诸如触敏表面)可利用对于用户直观且透明的用户界面来支持各种应用程序。
设备2100可包括存储器2102(其可包括一个或多个计算机可读存储介质)、存储器控制器2122、一个或多个处理单元(CPU)2120、外围设备接口2118、RF电路2108、音频电路2110、扬声器2111、触敏显示系统2112、麦克风2113、输入/输出(I/O)子系统2106、其他输入控制设备2116和外部端口2124。设备2100可包括一个或多个光学传感器或相机2164。这些部件可通过一条或多条通信总线或信号线2103进行通信。
应当理解，设备2100只是便携式多功能设备的一个示例，并且设备2100可具有比所示出的更多或更少的部件，可组合两个或更多个部件，或者可具有这些部件的不同配置或布置。图13所示的各种部件可由硬件、软件或软件和硬件组合来实施，包括一个或多个信号处理和/或专用集成电路。
存储器2102可包括高速随机存取存储器并且还可包括非易失性存储器，诸如一个或多个磁盘存储设备、闪存存储器设备或其他非易失性固态存储器设备。设备2100的其他部件(诸如CPU 2120和外围设备接口2118)对存储器2102的访问可由存储器控制器2122来控制。
外围设备接口2118可被用于将设备的输入外围设备和输出外围设备耦接到CPU2120和存储器2102。一个或多个处理器2120运行或执行被存储在存储器2102中的各种软件程序和/或指令集，以执行设备2100的各种功能并处理数据。
在一些实施方案中，外围设备接口2118、CPU 2120和存储器控制器2122可在单个芯片诸如芯片2104上实现。在一些其他实施方案中，它们可在单独的芯片上实现。
RF(射频)电路2108接收和发送RF信号(也称电磁信号)。RF电路2108将电信号转换为电磁信号/将电磁信号转换为电信号，并经由电磁信号来与通信网络和其他通信设备进行通信。RF电路2108可包括用于执行这些功能的熟知的电路，包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编码器/解码器(编解码器)芯片组、用户身份模块(SIM)卡、存储器等等。RF电路2108可通过无线通信与网络以及其他设备进行通信，该网络诸如互联网(也称万维网(WWW))、内联网和/或无线网络(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。无线通信可使用多种通信标准、通信协议和通信技术中的任一者，包括但不限于全球移动通信系统(GSM)、增强数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE 802.11g和/或IEEE 802.11n)、互联网语音协议(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理现场协议(XMPP)、用于即时消息和现场利用扩展的会话发起协议(SIMPLE)、即时消息和到场服务(IMPS))，以及/或者短消息服务(SMS)，或包括在本文献提交日尚未开发出的通信协议的其他任何适当的通信协议。
音频电路2110、扬声器2111和麦克风2113提供用户和设备2100之间的音频接口。音频电路2110从外围设备接口2118接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器2111。扬声器2111将电信号转换为人耳可听见的声波。音频电路2110还接收由麦克风2113根据声波转换的电信号。音频电路2110将电信号转换为音频数据，并将音频数据传输到外围设备接口2118以供处理。音频数据可由外围设备接口2118从存储器2102和/或RF电路2108进行检索，和/或可由外围设备接口2118传输至存储器2102和/或RF电路2108。在一些实施方案中，音频电路2110还包括耳麦插孔。耳麦插孔提供音频电路2110与可移除的音频输入/输出外围设备之间的接口，该外围设备诸如仅输出的耳机或者具有输出(例如，单耳耳机或双耳耳机)和输入(例如，麦克风)两者的耳麦。
I/O子系统2106将设备2100上的输入/输出外围设备诸如触摸屏2112和其他输入控制设备2116耦接到外围设备接口2118。I/O子系统2106可包括显示控制器2156和用于其他输入控制设备2116的一个或多个输入控制器2160。一个或多个输入控制器2160从其他输入控制设备2116接收电信号/将电信号发送到其他输入控制设备2116。其他输入控制设备2116可包括物理按钮(例如，下压按钮、摇臂按钮等)、拨号盘、滑块开关、操纵杆、点击轮等。在一些另选实施方案中，一个或多个输入控制器2160可耦接到(或不耦接到)以下各项中的任一者：键盘、红外线端口、USB端口、指向设备诸如鼠标。一个或多个按钮可包括用于控制扬声器2111和/或麦克风2113的音量的增大/减小按钮。一个或多个按钮可包括下压按钮。
触敏显示器2112提供设备与用户之间的输入接口和输出接口。显示控制器2156从触摸屏2112接收电信号和/或将电信号发送至触摸屏112。触摸屏2112向用户显示视觉输出。视觉输出可包括图形、文本、图标、视频及它们的任意组合(统称为“图形”)。在一些实施方案中，一些视觉输出或全部视觉输出可对应于用户界面对象。
触摸屏2112具有基于触觉和/或触感接触来接受来自用户的输入的触敏表面、传感器或传感器组。触摸屏2112和显示控制器2156(与存储器2102中的任何相关联的模块和/或指令集一起)检测触摸屏2112上的接触(和该接触的任何移动或中断)，并且将所检测到的接触转换为与被显示在触摸屏2112上的用户界面对象(例如，一个或多个软键、图标、网页或图像)的交互。在一个示例性实施方案中，触摸屏2112与用户之间的接触点对应于用户的手指。
触摸屏2112可使用LCD(液晶显示器)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，但在其他实施方案中可使用其他显示技术。触摸屏2112和显示控制器2156可使用现在已知的或以后将开发出的多种触摸感测技术中的任一种触摸感测技术以及其他接近传感器阵列或用于确定与触摸屏2112的一个或多个接触点的其他元件来检测接触及其任何移动或中断，该多种触摸感测技术包括但不限于电容性技术、电阻性技术、红外技术和表面声波技术。在一个示例性实施方案中，使用了投射式互电容感测技术，诸如在得自Apple Inc.(Cupertino,California)的
Figure BDA0001076364010000321
iPod
Figure BDA0001076364010000322
和
Figure BDA0001076364010000323
中发现的这种技术。
触摸屏2112可具有超过100dpi的视频分辨率。在一些实施方案中，触摸屏具有约160dpi的视频分辨率。用户可使用任何合适的物体或附加物诸如触笔、手指等来与触摸屏2112接触。在一些实施方案中，用户界面被设计成主要利用基于手指的接触和手势工作，但因为手指在触摸屏上的接触面积较大，所以基于手指的接触和手势可能不及基于触笔的输入精准。在一些实施方案中，设备将基于手指的粗略输入翻译为精准的指针/光标位置或命令，以执行用户期望的动作。
在一些实施方案中，除了触摸屏2112之外，设备2100可包括用于激活或去激活特定功能的触摸板(未示出)。在一些实施方案中，触摸板是设备的触敏区域，该触敏区域与触摸屏不同，其不显示视觉输出。触摸板可以是与触摸屏2112分开的触敏表面，或者是由触摸屏形成的触敏表面的延伸部分。
设备2100还包括用于为各种部件供电的电力系统2162。电力系统2162可包括电力管理系统、一个或多个电源(例如，电池、交流电(AC))、再充电系统、电力故障检测电路、功率变换器或逆变器、电源状态指示器(例如，发光二极管(LED))，以及与便携式设备中的电力的生成、管理和分配相关联的任何其他部件。
设备2100还可包括一个或多个光学传感器或相机2164。图13示出了耦接到I/O子系统2106中的光学传感器控制器2158的光学传感器。光学传感器2164可例如包括电荷耦合器件(CCD)、或者互补金属氧化物半导体(CMOS)光电晶体管或光电传感器。光学传感器2164从环境接收通过一个或多个透镜而投射的光，并将光转换为表示图像的数据。与成像模块2143(也被称为相机模块)相结合，光学传感器2164可捕获静态图像和/或视频序列。在一些实施方案中，至少一个光学传感器可位于设备2100的后部，与该设备的前部的触摸屏显示器2112相背对。在一些实施方案中，触摸屏显示器可被用作取景器，以用于采集静态图像和/或视频图像。在一些实施方案中，除上述操作之外或作为上述操作的替代至少一个光学传感器可位于设备的前部。
设备2100还可包括一个或多个接近传感器2166。图13示出了耦接到外围设备接口2118的接近传感器2166。作为替代，接近传感器2166可耦接到I/O子系统2106中的输入控制器2160。在一些实施方案中，当多功能设备被置于用户耳朵附近时(例如，用户正在打电话时)，接近传感器关闭并禁用触摸屏2112。
设备2100还可包括一个或多个取向传感器2168。在一些实施方案中，一个或多个取向传感器包括一个或多个加速度计(例如，一个或多个线性加速度计和/或一个或多个旋转加速度计)。在一些实施方案中，一个或多个取向传感器包括一个或多个陀螺仪。在一些实施方案中，一个或多个取向传感器包括一个或多个磁力仪。在一些实施方案中，一个或多个取向传感器包括以下各项中的一者或多者：全球定位系统(GPS)、全球导航卫星系统(GLONASS)和/或其他全球导航系统接收器。GPS、GLONASS和/或其他全球导航系统接收器可用于获取有关设备2100的位置和取向(例如纵向或横向)的信息。在一些实施方案中，一个或多个取向传感器包括取向/旋转传感器的任意组合。图13示出了耦接到外围设备接口2118的一个或多个取向传感器2168。作为替代，一个或多个取向传感器2168可耦接到I/O子系统2106中的输入控制器2160。在一些实施方案中，以从一个或多个取向传感器接收到的数据的分析结果为依据，在触摸屏显示器上以纵向视图或横向视图显示信息。
在一些实施方案中，装置2100还可包括一个或多个其他传感器(未示出)，包括但不限于环境光线传感器和运动检测器。这些传感器可耦接到外围设备接口2118，或者作为替代，可耦接到I/O子系统2106中的输入控制器2160。例如，在一些实施方案中，设备2100可包括至少一个前向(远离使用者的)光传感器和至少一个后向(朝向使用者的)光传感器，这些光传感器可用于从设备2100所处的环境收集环境光照度量度，以供视频与图像采集、处理和显示应用程序使用。
在一些实施方案中，被存储在存储器2102中的软件部件包括操作系统2126、通信模块2128、接触/运动模块(或指令集)2130、图形模块2132、文本输入模块2134、全球定位系统(GPS)模块2135和应用程序2136。此外，在一些实施方案中，存储器2102存储设备/全局内部状态2157。设备/全局内部状态2157包括以下各项中的一者或多者：活动应用程序状态，该活动应用程序状态用于指示哪些应用程序(如果有的话)当前是活动的；显示状态，该显示状态用于指示什么应用程序、视图或其他信息占据触摸屏显示器2112的各个区域；传感器状态，该传感器状态包括从设备的各个传感器和输入控制设备2116获取的信息；以及有关设备位置和/或姿态的位置信息。
操作系统2126(例如，Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS，或嵌入式操作系统诸如VxWorks)包括用于控制和管理一般系统任务(例如，存储器管理、存储设备控制、电力管理等)的各种软件部件和/或驱动程序，并且促进各种硬件部件和软件部件之间的通信。
通信模块2128经由一个或多个外部端口2124促进与其他设备进行通信，并且还包括各种软件部件，以用于处理由RF电路2108和/或外部端口2124接收的数据。外部端口2124(例如通用串行总线(USB)、火线等)适于直接耦接到其他设备，或间接地通过网络(例如互联网、无线LAN等)进行耦接。在一些实施方案中，外部端口是与iPod(Apple Inc.的商标)设备上使用的30针连接器相同、类似并/或与该连接器兼容的多针(例如30针)连接器。
接触/运动模块2130可检测与触摸屏2112(结合显示控制器2156)和其他触敏设备(例如，触摸板或物理点击轮)的接触。接触/运动模块2130包括多个软件部件以用于执行与接触的检测相关的各种操作，诸如确定是否已发生接触(例如，检测手指按下事件)、确定是否存在接触的移动并在触敏表面上跟踪该移动(例如，检测一个或多个手指拖动事件)、以及确定接触是否已终止(例如，检测手指抬起事件或者接触中断)。接触/运动模块2130从触敏表面接收接触数据。确定由一系列接触数据表示的接触点的移动可包括确定接触点的速率(量值)、速度(量值和方向)和/或加速度(量值和/或方向的改变)。这些操作可施加于单个触点(例如，一个指状触点)或多个同时的触点(例如，“多点触摸”/多个指状触点)。在一些实施方案中，接触/运动模块2130和显示控制器2156检测触摸板上的接触。
接触/运动模块2130可检测用户的手势输入。触敏表面上的不同手势具有不同的接触图案。因此，可通过检测具体接触图案来检测手势。例如，检测手指轻击手势包括检测手指按下事件，然后在与手指按下事件相同的位置(或基本上相同的位置)处(例如，在图标位置处)检测手指抬起(抬离)事件。又如，检测触敏表面上的手指轻扫手势包括检测手指按下事件，然后检测一个或多个手指拖动事件，并且随后检测手指抬起(抬离)事件。
图形模块2132包括用于在触摸屏2112或其他显示器上呈现和显示图形的各种软件部件，包括用于改变被显示图形的强度的部件。如本文所用，术语“图形”包括可被显示给用户的任何对象，包括但不限于文本、网页、图标(诸如包括软键的用户界面对象)、数字图像、视频、动画等。
在一些实施方案中，图形模块2132存储将被用于表示图形的数据。每个图形可被分配有对应的代码。图形模块2132从应用程序等接收指定待显示的图形的一个或多个代码，在必要的情况下还一起接收坐标数据和其他图形属性数据，并且生成屏幕图像数据以输出至显示控制器2156。
可作为图形模块2132的部件的文本输入模块2134提供用于在需要文本输入的多种应用程序中输入文本的软键盘。
GPS模块2135确定设备的位置，并向各种应用程序提供这种信息供其使用(例如，提供至电话模块2138，供其在基于位置拨号的过程中使用；提供至相机模块2143，作为图片/视频元数据；提供至用于提供基于位置的服务的应用程序，诸如地图/导航应用程序)。
应用程序2136可包括但不限于下列一种或多种模块(或指令集)，或其子集或超集：
·电话模块2138；
·视频会议模块2139；
·用于静态成像和/或视频成像的相机模块2143；
·图像管理模块2144；
·浏览器模块2147；
·搜索模块2151；
·视频和音乐播放器模块2152，其可由视频播放器模块和音乐播放器模块构成；和/或
·在线视频模块2155。
可被存储在存储器2102中的其他应用程序2136的示例包括但不限于：其他文字处理应用程序、其他图像编辑应用程序、绘图应用程序、呈现应用程序、通信/社交媒体应用程序、地图应用程序、支持JAVA的应用程序、加密应用程序、数字权益管理应用程序、语音识别应用程序和语音复制应用程序。
结合RF电路2108、音频电路2110、扬声器2111、麦克风2113、触摸屏2112、显示控制器2156、接触模块2130、图形模块2132和文本输入模块2134，电话模块2138可用于输入与电话号码对应的字符序列、访问地址簿中的一个或多个电话号码、修改已输入的电话号码、拨打相应的电话号码、进行会话，以及在会话完成时断开或挂断。如上所述，无线通信可使用多种通信标准、通信协议和通信技术中的任一者。
结合RF电路2108、音频电路2110、扬声器2111、麦克风2113、触摸屏2112、显示控制器2156、光学传感器2164、光学传感器控制器2158、接触/运动模块2130、图形模块2132、文本输入模块2134和电话模块2138，视频会议模块2139包括根据用户指令发起、进行和终止用户与一个或多个其他参与方之间的视频会议的可执行指令。
结合触摸屏2112、显示控制器2156、一个或多个光学传感器2164、光学传感器控制器2158、接触/运动模块2130、图形模块2132和图像管理模块2144，相机模块2143包括用于以下操作的可执行指令：捕获静态图像或视频(包括视频流)并且将它们存储到存储器2102中、修改静态图像或视频的特征、或从存储器2102删除静态图像或视频。
结合触摸屏2112、显示控制器2156、接触/运动模块2130、图形模块2132、文本输入模块2134和相机模块2143，图像管理模块2144包括用于排列、修改(例如，编辑)、或以其他方式操控、加标签、删除、呈现(例如，在数字幻灯片或相册中)、以及存储静态图像和/或视频图像的可执行指令。
结合RF电路2108、触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132和文本输入模块2134，浏览器模块2147包括用于根据用户指令来浏览互联网(包括搜索、链接至、接收和显示网页或其部分，以及链接至网页的附件和其他文件)的可执行指令。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132和文本输入模块2134，搜索模块2151包括用于根据用户指令来搜索存储器2102中的匹配一个或多个搜索条件(例如，用户指定的一个或多个检索词)的文本、音乐、声音、图像、视频和/或其他文件的可执行指令。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132、音频电路2110、扬声器2111、RF电路2108和浏览器模块2147，视频和音乐播放器模块2152包括允许用户下载和回放以一种或多种文件格式(诸如MP3或AAC文件)存储的所记录的音乐和其他声音文件的可执行指令，以及用于显示、呈现或以其他方式回放视频(例如，在触摸屏2112上或在经由外部端口2124连接的外部显示器上)的可执行指令。在一些实施方案中，设备2100可包括MP3播放器诸如iPod(Apple Inc.的商标)的功能。
结合触摸屏2112、显示系统控制器2156、接触/运动模块2130、图形模块2132、音频电路2110、扬声器2111、RF电路2108、文本输入模块2134和浏览器模块2147，在线视频模块2155包括用于以下操作的指令：允许用户访问、浏览、接收(例如，通过流式传输和/或下载)、回放(例如，在触摸屏上或在经由外部端口2124连接的外部显示器上)以及通过其他方式管理一种或多种视频格式诸如H.264/AVC格式或H.265/HEVC格式的在线视频。
上文识别的每个模块和每种应用程序对应于用于执行上述一种或多种功能以及本申请所描述的方法(例如，本文所述的用计算机实现的方法和其他信息处理方法)的一组可执行指令。这些模块(即指令集)不必被实现为独立的软件程序、过程或模块，因此这些模块的各种子集可在各种实施方案中加以组合或以其他方式重新布置。在一些实施方案中，存储器2102可存储上文识别的模块和数据结构的子集。此外，存储器2102可存储上文未描述的附加模块和数据结构。
在一些实施方案中，完全借助触摸屏和/或触摸板来执行设备2100上的预定义的一组功能。通过使用触摸屏和/或触摸板作为用于设备2100的操作的主要输入控制设备，可减少设备2100上的物理输入控制设备(诸如下压按钮、拨号盘等)的数量。
可完全借助触摸屏和/或触摸板执行的预定义的一组功能包括在用户界面之间进行导航。在一些实施方案中，触摸板在被用户触摸时，将设备2100从可被显示在设备2100上的任意用户界面导航至主菜单或home菜单或根菜单。在此类实施方案中，触摸板可被称为“菜单按钮”。在一些其他实施方案中，菜单按钮可以是物理下压按钮或其他物理输入控制设备，而不是触摸板。
图14示出了根据一些实施方案的具有触摸屏2112的便携式多功能设备2100。触摸屏可在用户界面(UI)2200内显示一个或多个图形。在设备2100的至少一些实施方案中，用户可例如利用一个或多个手指2202(在附图中未必按比例绘制)或一个或多个触笔2203(在附图中未必按比例绘制)在图形上作出手势来选择这些图形中的一个或多个图形。
设备2100还可包括一个或多个物理按钮，诸如“home”按钮或菜单按钮2204。如前所述，菜单按钮2204可用于导航到可在设备2100上执行的一组应用程序中的任何应用程序2136。作为替代，在一些实施方案中，菜单按钮可被实现为被显示在触摸屏2112上的GUI中的软键。
在一个实施方案中，设备2100包括触摸屏2112、home按钮或菜单按钮2204、用于向设备开关机和锁定设备供电的下压按钮2206、一个或多个音量调节按钮2208、用户身份模块(SIM)卡槽2210、耳麦插孔2212和对接/充电外部端口2124。下压按钮2206可用于通过按下该按钮并在预定时间间隔内使该按钮保持在按下状态来开启/关闭设备上的电源；用于通过按下该按钮并在经过预定时间间隔之前释放该按钮来锁定设备；和/或用于对设备进行解锁或发起解锁过程。在另选的实施方案中，设备2100还可通过麦克风2113来接收用于激活或去激活一些功能的语言输入。
设备2100还可包括一个或多个相机2164。相机2164可例如包括电荷耦合器件(CCD)、或者互补金属氧化物半导体(CMOS)光电晶体管或光电传感器。相机2164从环境接收通过一个或多个透镜投射的光，并将光转换为表示图像或视频帧的数据。在一些实施方案中，至少一个相机2164可位于设备2100的后部，与该设备的前部的触摸屏显示器2112相背对。在一些实施方案中，除上述操作之外或作为上述操作的替代，至少一个相机2164可位于具有触摸屏显示器2112的设备的前部，例如使得用户在触摸屏显示器2112上观看其他视频会议参与者的同时可获取该用户的图像以用于视频会议。在一些实施方案中，至少一个相机2164可位于设备2100的前部，并且至少一个相机2164可位于设备2100的后部。在一些实施方案中，触摸屏显示器2112可用作静态图像和/或视频序列采集应用程序的取景器和/或用户界面。
设备2100可包括视频与图像处理硬件和/或软件，包括但不限于：可用于捕获、处理、转换、压缩、解压缩、存储、修改、传输、显示、以其他方式管理和操纵经由相机2164捕获或以其他方式采集(例如，经由网络接口)的静态图像和/或视频帧或视频序列的视频编码和/或解码部件、编解码器、模块或流水线。在一些实施方案中，设备2100还可包括一个或多个光传感器或其他传感器，这些传感器可用于从设备2100所处的环境收集环境光照度量度或其他量度，以供视频与图像采集、处理和显示使用。
在不同的实施方案中，本文所述的方法可在软件、硬件或软件和硬件的组合中实现。此外，可以改变方法的方框次序，可对各种要素进行添加、重新排序、组合、省略、修改等。对于受益于本公开的本领域的技术人员，显然可作出各种修改和改变。本文所述的各种实施方案旨在为例示性而非限制性的。许多变型、修改、添加和改进是可能的。因此，可为本文中描述为单个实例的部件提供多个实例。各种部件、操作和数据存储装置之间的界限在一定程度上是任意性的，并且在具体例示性配置的上下文中例示了特定操作。设想可落在所附权利要求的范围内的功能的其他分配。最后，被呈现为示例性配置中的分立部件的结构和功能可被实现为组合结构或部件。这些和其他变型、修改、添加以及改进可落在所附权利要求所限定的实施方案的范围内。

Claims (20)

1.一种用于处理视频数据的系统，包括：
编码部件，所述编码部件被配置为：
接收以第一色彩空间中的高动态范围表示的输入视频数据；
向所述输入视频数据应用色调映射技术，以将所述输入视频数据转换为以第二色彩空间中的较低动态范围表示的视频数据；以及
生成映射元数据，所述映射元数据包括用于所述色调映射技术以将所述输入视频数据转换为所述较低动态范围视频数据的色调映射参数；
解码部件，所述解码部件被配置为：
获取所述较低动态范围视频数据和所述映射元数据；
将所述较低动态范围视频数据从所述第二色彩空间转换到第三色彩空间，以生成在所述第三色彩空间中表示的视频数据；以及
将反向色调映射技术应用于在所述第三色彩空间中表示的所述视频数据，以生成以所述第三色彩空间中的较高动态范围表示的视频数据，其中所述反向色调映射技术使用所述映射元数据中的所述色调映射参数来恢复所述输入视频数据的所述高动态范围的至少一部分。
2.根据权利要求1所述的系统，
其中所述编码部件被进一步配置为：
向所述输入视频数据应用色域映射技术，以将所述视频数据从所述第一色彩空间转换到所述第二色彩空间；以及
在所述映射元数据中记录用于所述色域映射技术以将所述视频数据从所述第一色彩空间转换到所述第二色彩空间的色域映射信息；
其中为了将所述较低动态范围视频数据从所述第二色彩空间转换到所述第三色彩空间，所述解码部件被配置为根据所述映射元数据中的所述色域映射信息来恢复被所述色域映射技术裁剪掉的色彩。
3.根据权利要求1所述的系统，其中所述色调映射技术包括局部色调映射技术，其中每个图像被划分为多个区域，局部色调曲线针对每个区域而被动态确定，并且根据其相应的局部色调曲线来对每个区域进行色调映射。
4.根据权利要求3所述的系统，其中所述色调映射参数包含在被应用于一个或多个图像中的所述区域时的所述局部色调曲线的参数化。
5.根据权利要求4所述的系统，其中所述局部色调曲线的所述参数化在每个图像内在空间上被压缩。
6.根据权利要求4所述的系统，其中所述局部色调曲线的所述参数化跨两个或更多个图像在时间上被压缩。
7.根据权利要求1所述的系统，其中所述编码部件被进一步配置为根据压缩视频格式来对所述较低动态范围视频数据进行编码，以生成压缩视频数据，并且其中所述解码部件被进一步配置为对所述压缩视频数据进行解码，以获取所述较低动态范围视频数据。
8.根据权利要求7所述的系统，其中所述压缩视频格式为H.264/高级视频编码(AVC)格式或H.265高效视频编码(HEVC)格式中的一者。
9.根据权利要求1所述的系统，其中所述解码部件被进一步配置为根据目标显示器的动态范围来调节在被应用于所述视频数据时的所述反向色调映射技术中使用的所述色调映射参数，以生成以所述目标显示器的所述动态范围表示的所述视频数据。
10.根据权利要求1所述的系统，其中所述解码部件被进一步配置为根据目标显示器处的当前环境条件来动态地调节在被应用于所述视频数据时的所述反向色调映射技术中使用的所述色调映射参数，以生成以适合在所述目标显示器的所述当前环境条件中观察的动态范围表示的所述视频数据。
11.根据权利要求10所述的系统，其中所述环境条件包括环境光照度条件以及距一个或多个观察者的距离。
12.根据权利要求1所述的系统，其中所述第一色彩空间和所述第三色彩空间为RGB色彩空间，并且其中所述第二色彩空间为YUV色彩空间。
13.根据权利要求1所述的系统，其中所述编码部件和所述解码部件在单个设备上实现。
14.根据权利要求1所述的系统，其中所述编码部件和所述解码部件在不同的设备上实现。
15.根据权利要求1所述的系统，其中所述编码部件和所述解码部件为片上系统(SOC)的部件。
16.一种用于处理视频数据的方法，包括：
由编码部件来执行以下操作：
接收以高动态范围表示的输入视频数据；
向所述输入视频数据应用色调映射，以将所述输入视频数据转换为以较低动态范围表示的视频数据；
生成映射元数据，所述映射元数据包括用于所述色调映射以将所述输入视频数据映射到所述较低动态范围的色调映射参数；
根据压缩视频格式来对所述较低动态范围视频数据进行编码，以生成压缩视频数据；以及
将所述压缩视频数据和所述映射元数据提供至一个或多个显示器流水线；
由显示器流水线来执行以下操作：
对所述压缩视频数据进行解码，以获取以所述较低动态范围表示的解压缩视频数据；以及
向所述解压缩视频数据应用反向色调映射，以生成以较高动态范围表示的视频数据，其中所述反向色调映射使用所述映射元数据中的所述色调映射参数来恢复所述输入视频数据的所述高动态范围的至少一部分。
17.根据权利要求16所述的方法，还包括将以所述较高动态范围表示的所述视频数据显示到启用高动态范围(HDR)的显示器。
18.根据权利要求16所述的方法，其中向所述输入视频数据应用色调映射包括：
针对每个视频帧，动态地确定所述帧中的多个区域中的每个区域的局部色调曲线；以及
根据其相应的局部色调曲线来对每个区域进行色调映射；
其中所述映射元数据包含用于指示在被应用于所述区域时的所述局部色调曲线的信息。
19.一种用于处理视频数据的装置，包括：
编码部件，所述编码部件被配置为：
向以高动态范围表示的输入视频数据应用色调映射，以生成以较低动态范围表示的视频数据；
根据压缩视频格式来对所述较低动态范围视频数据进行编码，以生成压缩视频数据；以及
输出所述压缩视频数据和包含用于所述色调映射的色调映射参数的元数据；
解码部件，所述解码部件被配置为：
对所述压缩视频数据进行解码，以获取以所述较低动态范围表示的解压缩视频数据；
向所述解压缩视频数据应用反向色调映射，以生成以较高动态范围表示的视频数据，其中所述反向色调映射技术使用所述映射元数据中的所述色调映射参数来恢复所述输入视频数据的所述高动态范围的至少一部分。
20.根据权利要求19所述的装置，其中所述解码部件被进一步配置为向以较高动态范围表示的所述视频数据应用色调映射，以生成标准动态范围(SDR)视频数据。
CN201580008321.9A 2014-02-25 2015-02-25 用于提供具有标准动态范围和高动态范围两者的视频的向后兼容的装置和方法 Active CN106233706B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010008012.4A CN111246050B (zh) 2014-02-25 2015-02-25 用于视频数据处理的系统、装置和方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201461944484P 2014-02-25 2014-02-25
US61/944,484 2014-02-25
US201461946638P 2014-02-28 2014-02-28
US201461946633P 2014-02-28 2014-02-28
US61/946,638 2014-02-28
US61/946,633 2014-02-28
PCT/US2015/017536 WO2015130793A1 (en) 2014-02-25 2015-02-25 Backward-compatible apparatus and method for providing video with both standard and high dynamic range

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202010008012.4A Division CN111246050B (zh) 2014-02-25 2015-02-25 用于视频数据处理的系统、装置和方法

Publications (2)

Publication Number Publication Date
CN106233706A CN106233706A (zh) 2016-12-14
CN106233706B true CN106233706B (zh) 2020-01-03

Family

ID=53882764

Family Applications (7)

Application Number Title Priority Date Filing Date
CN201580010095.8A Active CN106031172B (zh) 2014-02-25 2015-02-25 用于视频编码和解码的自适应传递函数
CN201580010103.9A Active CN106030503B (zh) 2014-02-25 2015-02-25 自适应视频处理
CN201580008321.9A Active CN106233706B (zh) 2014-02-25 2015-02-25 用于提供具有标准动态范围和高动态范围两者的视频的向后兼容的装置和方法
CN202010008012.4A Active CN111246050B (zh) 2014-02-25 2015-02-25 用于视频数据处理的系统、装置和方法
CN201910771191.4A Pending CN110365974A (zh) 2014-02-25 2015-02-25 用于视频编码和解码的自适应传递函数
CN202310395840.1A Pending CN116320394A (zh) 2014-02-25 2015-02-25 用于视频编码和解码的自适应传递函数
CN202010303152.4A Active CN111526350B (zh) 2014-02-25 2015-02-25 自适应视频处理

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201580010095.8A Active CN106031172B (zh) 2014-02-25 2015-02-25 用于视频编码和解码的自适应传递函数
CN201580010103.9A Active CN106030503B (zh) 2014-02-25 2015-02-25 自适应视频处理

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202010008012.4A Active CN111246050B (zh) 2014-02-25 2015-02-25 用于视频数据处理的系统、装置和方法
CN201910771191.4A Pending CN110365974A (zh) 2014-02-25 2015-02-25 用于视频编码和解码的自适应传递函数
CN202310395840.1A Pending CN116320394A (zh) 2014-02-25 2015-02-25 用于视频编码和解码的自适应传递函数
CN202010303152.4A Active CN111526350B (zh) 2014-02-25 2015-02-25 自适应视频处理

Country Status (8)

Country Link
US (10) US10812801B2 (zh)
EP (2) EP3111644A1 (zh)
JP (5) JP6383425B2 (zh)
KR (7) KR101898643B1 (zh)
CN (7) CN106031172B (zh)
AU (5) AU2015223123A1 (zh)
DE (2) DE112015000950T5 (zh)
WO (3) WO2015130797A1 (zh)

Families Citing this family (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN110867198B (zh) 2013-06-20 2022-02-25 索尼公司 显示装置
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
US20150228106A1 (en) * 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
JP6383425B2 (ja) 2014-02-25 2018-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ビデオ符号化及び復号のための適応的伝達関数
JP2015195439A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN106464966B (zh) * 2014-05-12 2020-12-08 索尼公司 通信装置、通信方法和计算机可读存储介质
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
CN106105177B (zh) * 2014-06-10 2019-09-27 松下知识产权经营株式会社 变换方法及变换装置
CN111901599A (zh) * 2014-06-27 2020-11-06 松下知识产权经营株式会社 再现装置
US10163408B1 (en) * 2014-09-05 2018-12-25 Pixelworks, Inc. LCD image compensation for LED backlighting
JP5995129B2 (ja) 2014-09-22 2016-09-21 パナソニックＩｐマネジメント株式会社 再生方法および再生装置
US9729801B2 (en) * 2014-10-02 2017-08-08 Dolby Laboratories Licensing Corporation Blending images using mismatched source and display electro-optical transfer functions
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックＩｐマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
TW201633779A (zh) 2014-12-16 2016-09-16 湯姆生特許公司 將圖像之高動態範圍版本轉換至該圖像之標準動態範圍版本之方法及裝置
US9560330B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with reconfigurable architecture and methods for use therewith
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US9558538B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with frame by frame adaptation and methods for use therewith
US9544560B2 (en) * 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
US10475361B2 (en) 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
KR102423434B1 (ko) * 2015-02-17 2022-07-22 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
BR112017017792A2 (pt) 2015-02-27 2018-04-10 Sony Corporation dispositivos e métodos de transmissão e de recepção.
US20160182853A1 (en) * 2015-03-20 2016-06-23 Mediatek Inc. Dynamic Content Adaptive Frame Rate Conversion
US10109228B2 (en) * 2015-04-10 2018-10-23 Samsung Display Co., Ltd. Method and apparatus for HDR on-demand attenuation control
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
JP6476057B2 (ja) * 2015-04-28 2019-02-27 日本放送協会 量子化テーブル補正装置、階調削減装置、及びプログラム
KR102322709B1 (ko) * 2015-04-29 2021-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
US10136074B2 (en) 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
US10542289B2 (en) * 2015-07-16 2020-01-21 Dolby Laboratories Licensing Corporation Signal reshaping and coding for HDR and wide color gamut signals
WO2017015564A1 (en) * 2015-07-22 2017-01-26 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
WO2017019818A1 (en) * 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
JP6548516B2 (ja) * 2015-08-26 2019-07-24 キヤノン株式会社 画像表示装置、画像処理装置、画像表示装置の制御方法、及び、画像処理装置の制御方法
KR102129541B1 (ko) * 2015-08-28 2020-07-03 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
ES2809710T3 (es) 2015-08-31 2021-03-05 Lg Electronics Inc Aparato de visualización de imágenes
JP6986670B2 (ja) * 2015-09-11 2021-12-22 パナソニックＩｐマネジメント株式会社 映像受信方法及び映像受信装置
US10798422B2 (en) * 2015-10-20 2020-10-06 Intel Corporation Method and system of video coding with post-processing indication
US10715772B2 (en) * 2015-11-09 2020-07-14 Netflix, Inc. High dynamic range color conversion correction
CN106878694B (zh) * 2015-12-10 2018-12-18 瑞昱半导体股份有限公司 高动态范围信号处理系统与方法
EP3364654B1 (en) * 2015-12-15 2021-03-03 Huawei Technologies Co., Ltd. High dynamic range image processing method and apparatus
JP6559803B2 (ja) * 2015-12-25 2019-08-14 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
US20170186403A1 (en) * 2015-12-28 2017-06-29 Printing Technology Research Institute Method of simulating print color on mobile devices
CN105657539B (zh) * 2015-12-30 2019-05-31 深圳Tcl数字技术有限公司 视频播放方法及装置
JP6237797B2 (ja) * 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
JP6233424B2 (ja) * 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
JP6652301B2 (ja) * 2016-01-27 2020-02-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20170090824A (ko) * 2016-01-29 2017-08-08 삼성전자주식회사 전자장치 및 그 제어방법
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
CN108701471A (zh) * 2016-02-26 2018-10-23 索尼公司 信息处理装置、显示装置、信息记录介质、信息处理方法、以及程序
US20170279866A1 (en) * 2016-03-22 2017-09-28 Intel Corporation Adaptation of streaming data based on the environment at a receiver
JP2017175459A (ja) * 2016-03-24 2017-09-28 シャープ株式会社 信号変換装置、信号変換方法、テレビジョン受像機、プログラム、および記録媒体
US10152947B2 (en) 2016-04-06 2018-12-11 Microsoft Technology Licensing, Llc Display brightness updating
WO2017196670A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
CN107395950B (zh) * 2016-05-16 2021-11-09 西安电子科技大学 媒体数据处理方法和装置及系统
US11223778B2 (en) * 2016-06-27 2022-01-11 Sony Corporation Signal processing device, signal processing method, camera system, video system, and server
US10638105B2 (en) 2016-06-27 2020-04-28 Intel Corporation Method and system of multi-dynamic range multi-layer video blending with alpha channel sideband for video playback
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
US9916638B2 (en) * 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
US10587818B2 (en) * 2016-08-02 2020-03-10 Magna Electronics Inc. Vehicle vision system with enhanced camera brightness control
JP7081835B2 (ja) 2016-08-09 2022-06-07 コントラスト， インコーポレイテッド 車両制御のためのリアルタイムｈｄｒビデオ
CN106210921B (zh) * 2016-08-12 2019-10-11 深圳创维－Rgb电子有限公司 一种图像效果提升方法及其装置
US10277829B1 (en) 2016-08-12 2019-04-30 Apple Inc. Video capture in low-light conditions
CN106101679B (zh) * 2016-08-23 2018-01-12 青岛海信电器股份有限公司 高动态范围信号的处理方法及处理系统
US10757385B2 (en) * 2016-08-24 2020-08-25 Qualcomm Incorporated Color gamut adaptation with feedback channel
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
KR102594201B1 (ko) * 2016-09-22 2023-10-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 표시 장치
US9883112B1 (en) * 2016-09-22 2018-01-30 Pinnacle Imaging Corporation High dynamic range imaging
US20180098041A1 (en) * 2016-09-30 2018-04-05 Sean J. Lawrence Adaptive chroma subsampling based on display brightness
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
EP3312798A1 (en) * 2016-10-20 2018-04-25 Thomson Licensing Method and device for inverse tone mapping
CN107995497B (zh) * 2016-10-26 2021-05-28 杜比实验室特许公司 高动态范围视频的屏幕自适应解码
US9942513B1 (en) 2016-10-31 2018-04-10 Cisco Technology, Inc. Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
JP2018081595A (ja) * 2016-11-17 2018-05-24 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6845946B2 (ja) 2016-12-12 2021-03-24 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法
JP6822123B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6822121B2 (ja) 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6822122B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control
GB2558236B (en) * 2016-12-22 2021-03-31 Apical Ltd Image data comprising encoded image data and additional data for modification of image
CN106710505A (zh) * 2017-01-16 2017-05-24 努比亚技术有限公司 一种显示装置及方法
CN108320721B (zh) 2017-01-17 2022-05-24 华硕电脑股份有限公司 亮度调节装置及其亮度调节方法
JP6684971B2 (ja) 2017-01-18 2020-04-22 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像を符号化するためのセグメントベース再構成
WO2018136432A1 (en) * 2017-01-18 2018-07-26 Dolby Laboratories Licensing Corporation Segment-based reshaping for coding high dynamic range video
CN106791865B (zh) * 2017-01-20 2020-02-28 杭州当虹科技股份有限公司 基于高动态范围视频的自适应格式转换的方法
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
CN110301136B (zh) 2017-02-17 2023-03-24 交互数字麦迪逊专利控股公司 在流传输视频中进行选择性感兴趣对象缩放的系统和方法
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
JP7086587B2 (ja) 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
EP3591968A4 (en) * 2017-02-28 2020-01-22 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
CN108540781A (zh) * 2017-03-03 2018-09-14 扬智科技股份有限公司 影像信号处理装置与影像信号处理方法
CA3050122C (en) * 2017-03-06 2020-07-28 E Ink Corporation Method and apparatus for rendering color images
KR102628139B1 (ko) 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
CN106911903A (zh) * 2017-03-15 2017-06-30 四川长虹电器股份有限公司 一种sdr信号转hdr信号效果的画质数据处理方法
EP3566203B1 (en) 2017-03-20 2021-06-16 Dolby Laboratories Licensing Corporation Perceptually preserving scene-referred contrasts and chromaticities
WO2018174387A1 (ko) * 2017-03-20 2018-09-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN108737877B (zh) 2017-04-21 2020-06-02 华为技术有限公司 图像处理的方法、装置和终端设备
CN108810531B (zh) * 2017-05-03 2019-11-19 腾讯科技（深圳）有限公司 视频编码处理方法、装置及电子设备
US10847118B2 (en) * 2017-05-12 2020-11-24 Apple Inc. Electronic devices with tone mapping engines
US10403214B2 (en) 2017-05-12 2019-09-03 Apple Inc. Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content
US10242628B2 (en) * 2017-05-18 2019-03-26 Dell Products, L.P. Light Emitting Diode (LED) backlight control for reproduction of High Dynamic Range (HDR) content using Standard Dynamic Range (SDR) Liquid Crystal Display (LCD) panels
GB2563413B (en) * 2017-06-14 2021-12-22 Displaylink Uk Ltd Processing display data
GB2563411B (en) * 2017-06-14 2022-10-05 Displaylink Uk Ltd Processing display data
JP7037584B2 (ja) * 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
CN107656454A (zh) * 2017-09-21 2018-02-02 深圳市晟达机械设计有限公司 一种高效的小区监控管理系统
KR102444156B1 (ko) * 2017-09-22 2022-09-16 삼성디스플레이 주식회사 표시 장치 및 그 구동방법
US11533450B2 (en) 2017-09-25 2022-12-20 Comcast Cable Communications, Llc Anti-piracy video transmission and display
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
CN107682673B (zh) * 2017-10-09 2019-11-12 成都索贝数码科技股份有限公司 一种基于gpu和视频io卡同时监看4khdr和hdsdr信号的方法
US10972767B2 (en) * 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence
KR102413839B1 (ko) * 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
CN108024032A (zh) * 2017-11-24 2018-05-11 深圳Tcl新技术有限公司 图像增强处理方法、电视、服务器及计算机可读存储介质
CN108200441B (zh) * 2018-01-22 2020-10-13 海信视像科技股份有限公司 一种图像亮度处理方法及装置、电子设备
CN112419354B (zh) * 2018-01-22 2023-03-14 海信视像科技股份有限公司 一种图像亮度处理方法及装置、电子设备
US10880531B2 (en) * 2018-01-31 2020-12-29 Nvidia Corporation Transfer of video signals using variable segmented lookup tables
JP2019140430A (ja) * 2018-02-06 2019-08-22 船井電機株式会社 再生装置
US11025942B2 (en) * 2018-02-08 2021-06-01 Samsung Electronics Co., Ltd. Progressive compressed domain computer vision and deep learning systems
EP3525463A1 (en) * 2018-02-13 2019-08-14 Koninklijke Philips N.V. System for handling multiple hdr video formats
ES2724212B2 (es) * 2018-03-02 2021-03-31 Visionapp Solutions S L Metodo implementado en ordenador y sistema para la prevencion del deterioro de la vision causado por el uso prolongado de pantallas electronicas en condiciones de baja iluminacion.
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
WO2019193097A1 (en) * 2018-04-05 2019-10-10 Canon Kabushiki Kaisha Method and apparatus for encapsulating images in a file
US11120725B2 (en) 2018-04-24 2021-09-14 Advanced Micro Devices, Inc. Method and apparatus for color gamut mapping color gradient preservation
TW201946430A (zh) 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像訊號轉換裝置及方法
TWI808970B (zh) 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
TWI808971B (zh) * 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
TWI811217B (zh) * 2018-04-30 2023-08-11 圓剛科技股份有限公司 影像訊號轉換裝置
US10692467B2 (en) 2018-05-04 2020-06-23 Microsoft Technology Licensing, Llc Automatic application of mapping functions to video signals based on inferred parameters
US20190356891A1 (en) * 2018-05-16 2019-11-21 Synaptics Incorporated High dynamic range (hdr) data conversion and color space mapping
US11030728B2 (en) * 2018-05-29 2021-06-08 Apple Inc. Tone mapping techniques for increased dynamic range
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
JP7171768B2 (ja) * 2018-06-28 2022-11-15 アップル インコーポレイテッド 動画符号化システム
US11115563B2 (en) * 2018-06-29 2021-09-07 Ati Technologies Ulc Method and apparatus for nonlinear interpolation color conversion using look up tables
KR102572432B1 (ko) * 2018-07-03 2023-08-30 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
CN115606189A (zh) 2018-07-12 2023-01-13 三星电子株式会社（Kr） 渲染用于视觉可及性的内容的方法和装置
CN112470484B (zh) 2018-07-17 2023-09-08 杜比实验室特许公司 用于流式传输视频的方法和设备
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
US20200045341A1 (en) * 2018-07-31 2020-02-06 Ati Technologies Ulc Effective electro-optical transfer function encoding for limited luminance range displays
US10930022B2 (en) * 2018-08-09 2021-02-23 Nvidia Corporation Motion adaptive rendering using variable rate shading
CN109192145A (zh) * 2018-09-21 2019-01-11 合肥惠科金扬科技有限公司 一种分区调光电路及显示装置
CN112930680A (zh) * 2018-09-26 2021-06-08 杜比实验室特许公司 使用来自未来帧的元数据的投影仪光源调光
CN109167946B (zh) * 2018-09-30 2021-02-19 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
CN109274985B (zh) * 2018-10-12 2020-04-28 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备和存储介质
CN109151574B (zh) 2018-10-15 2020-03-24 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
EP3867899A1 (en) * 2018-10-17 2021-08-25 Corning Incorporated Methods for achieving, and apparatus having, reduced display device energy consumption
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
WO2020100200A1 (ja) * 2018-11-12 2020-05-22 Eizo株式会社 画像処理システム、画像処理装置、およびコンピュータープログラム
CN109327734B (zh) * 2018-11-27 2020-11-13 成都索贝数码科技股份有限公司 一种基于动态测光的hdr视频下变换到sdr视频的方法
US10860504B2 (en) 2018-12-05 2020-12-08 New Century Technologies Ltd. Peripheral device with embedded video codec functionality
US11587526B2 (en) * 2018-12-20 2023-02-21 Dolby Laboratories Licensing Corporation Luminance adaption to minimize discomfort and improve visibility
EP3672267A1 (en) * 2018-12-20 2020-06-24 InterDigital VC Holdings, Inc. Methods for processing audio and/or video contents and corresponding signal, devices, electronic assembly, system, computer readable program products and computer readable storage media
CN111479164A (zh) * 2019-01-23 2020-07-31 上海哔哩哔哩科技有限公司 硬件解码动态分辨率无缝切换方法、装置及存储介质
KR20200095651A (ko) 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
JP7263053B2 (ja) * 2019-02-28 2023-04-24 キヤノン株式会社 撮像装置、画像処理装置、それらの制御方法、プログラム
US10534948B1 (en) 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques
US10509991B1 (en) 2019-03-18 2019-12-17 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light
US10496862B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light
US10496911B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light
CN111754412B (zh) * 2019-03-29 2024-04-19 Tcl科技集团股份有限公司 构建数据对的方法、装置及终端设备
US11404025B2 (en) 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
WO2020211769A1 (en) 2019-04-15 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Clipping parameter derivation in adaptive loop filter
US10523420B1 (en) 2019-04-18 2019-12-31 Capital One Services, Llc Transmitting encoded data along transmission mediums based on colorspace schemes
US10504013B1 (en) 2019-04-24 2019-12-10 Capital One Services, Llc Colorspace encoding multimedia data on a physical page
CN113748426B (zh) * 2019-04-25 2023-06-09 杜比实验室特许公司 实时馈送中的内容感知的pq范围分析仪和色调映射
CN111916031B (zh) * 2019-05-10 2023-03-21 京东方科技集团股份有限公司 显示方法及显示装置
EP3742728B1 (en) * 2019-05-24 2022-09-21 Axis AB A method and bitrate controller for controlling output bitrate of a video encoder
EP3977735A4 (en) 2019-05-31 2023-04-05 HFI Innovation Inc. LATENCY REDUCTION METHOD AND APPARATUS FOR CHROMINANCE RESIDUE SCALING
US11115602B2 (en) * 2019-06-11 2021-09-07 Watchguard Video, Inc. Emulating light sensitivity of a target
US10529300B1 (en) 2019-06-20 2020-01-07 Capital One Services, Llc Adaptive image display based on colorspace conversions
US10614635B1 (en) 2019-07-25 2020-04-07 Capital One Services, Llc Augmented reality system with color-based fiducial marker
EP4014503A1 (en) * 2019-08-16 2022-06-22 Apple Inc. Adaptive bilateral filtering using look-up tables
US10937385B1 (en) * 2019-08-20 2021-03-02 Apple Inc. Frame replay with bit depth considerations
US10833852B1 (en) 2019-10-03 2020-11-10 Capital One Services, Llc Encoded data along tape based on colorspace schemes
US11159737B2 (en) * 2019-10-14 2021-10-26 Google Llc Exposure change control in low light environments
CN110798689B (zh) * 2019-10-18 2021-01-19 西安交通大学 一种将nv12+格式转换为p010格式的方法
US10715183B1 (en) 2019-10-25 2020-07-14 Capital One Services, Llc Data encoding with error-correcting code pursuant to colorspace schemes
US10867226B1 (en) 2019-11-04 2020-12-15 Capital One Services, Llc Programmable logic array and colorspace conversions
US10762371B1 (en) 2019-11-14 2020-09-01 Capital One Services, Llc Object detection techniques using colorspace conversions
CN110868634B (zh) * 2019-11-27 2023-08-22 维沃移动通信有限公司 一种视频处理方法及电子设备
TWI739227B (zh) * 2019-12-03 2021-09-11 智成電子股份有限公司 避免多餘記憶體存取的系統單晶片模組
US20220366829A1 (en) * 2019-12-05 2022-11-17 Google Llc Dual color management for a multi-pixel density display
US10878600B1 (en) 2019-12-10 2020-12-29 Capital One Services, Llc Augmented reality system with color-based fiducial marker utilizing local adaptive technology
WO2021118556A1 (en) * 2019-12-11 2021-06-17 Google Llc Color calibration of display modules using a reduced number of display characteristic measurements
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
NO346123B1 (en) * 2020-02-05 2022-03-07 Movi Tech As Video decoding method and device enabling improved user interaction with video content
CN111294655B (zh) 2020-02-20 2021-10-22 深圳创维－Rgb电子有限公司 Hdr片源播放方法、装置及存储介质
CN111415393B (zh) * 2020-03-16 2023-08-01 安博思华智能科技有限责任公司 一种调节多媒体黑板显示的方法、装置、介质和电子设备
CN111524077B (zh) * 2020-04-17 2023-11-17 三维六度(北京)文化有限公司 影像资料的修复方法及系统
CN111540324B (zh) * 2020-05-20 2021-12-24 Tcl华星光电技术有限公司 一种显示设备及其像素补偿方法和装置
TWI754970B (zh) * 2020-06-22 2022-02-11 鴻海精密工業股份有限公司 加速啟動函數運算的裝置、方法及存儲介質
US11302036B2 (en) 2020-08-19 2022-04-12 Capital One Services, Llc Color conversion between color spaces using reduced dimension embeddings
CN111970564B (zh) * 2020-08-26 2023-03-24 展讯通信（上海）有限公司 Hdr视频显示处理的优化方法及装置、存储介质、终端
US11425502B2 (en) 2020-09-18 2022-08-23 Cisco Technology, Inc. Detection of microphone orientation and location for directional audio pickup
CN112118437B (zh) * 2020-09-24 2021-08-17 上海松鼠课堂人工智能科技有限公司 虚拟现实的课堂模拟方法和系统
US11769234B2 (en) 2020-10-07 2023-09-26 Qualcomm Incorporated Methods and apparatus for histogram based tone mapping
US11538136B2 (en) * 2020-10-28 2022-12-27 Qualcomm Incorporated System and method to process images of a video stream
CN112351264B (zh) * 2020-11-04 2023-05-23 深圳Tcl数字技术有限公司 显示精度调整方法、装置、终端设备及存储介质
WO2022125892A2 (en) * 2020-12-11 2022-06-16 Contrast, Inc. Dynamic transfer function for reversible encoding
US11115625B1 (en) 2020-12-14 2021-09-07 Cisco Technology, Inc. Positional audio metadata generation
CN112927273A (zh) * 2021-01-28 2021-06-08 北京字节跳动网络技术有限公司 三维视频的处理方法、设备及存储介质
US11470162B2 (en) * 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
CN113160342B (zh) * 2021-05-14 2023-08-25 杭州网易智企科技有限公司 基于反馈的编码方法及装置、存储介质、电子设备
CN113489930B (zh) * 2021-06-10 2024-03-19 中央广播电视总台 一种视频信号处理方法、装置及存储介质
US11666823B1 (en) * 2021-06-29 2023-06-06 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11612812B1 (en) 2021-06-29 2023-03-28 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11617946B1 (en) 2021-06-29 2023-04-04 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
CN113395551A (zh) * 2021-07-20 2021-09-14 珠海极海半导体有限公司 处理器、npu芯片和电子设备
CN117897953A (zh) * 2021-08-16 2024-04-16 交互数字Ce专利控股有限公司 用于基于观看条件来处理视频内容的系统和方法
CN113676773B (zh) * 2021-08-16 2023-11-14 广州虎牙信息科技有限公司 一种视频播放方法、系统、装置、计算机设备和存储介质
US11606605B1 (en) * 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+
US20230127327A1 (en) * 2021-10-22 2023-04-27 Samsung Electronics Co., Ltd. System and method for learning tone curves for local image enhancement
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN114363507A (zh) * 2021-12-02 2022-04-15 维沃移动通信有限公司 图像处理方法及装置
CN114422829A (zh) * 2022-01-30 2022-04-29 杭州雾联科技有限公司 一种hdr云视频处理方法、系统及设备
CN114466246A (zh) * 2022-02-14 2022-05-10 维沃移动通信有限公司 一种视频处理方法及其装置
US20230281766A1 (en) * 2022-03-02 2023-09-07 Nvidia Corporation Remastering lower dynamic range content for higher dynamic range displays
CN114727029B (zh) * 2022-03-21 2024-03-22 北京百度网讯科技有限公司 视频的处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1827024A1 (en) * 2006-02-24 2007-08-29 Sharp Kabushiki Kaisha High dynamic range video coding
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统
WO2012147018A2 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Apparatuses and methods for hdr image encoding and decoding
US8866975B1 (en) * 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods

Family Cites Families (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1020068A (en) 1909-04-29 1912-03-12 Singer Mfg Co Feeding mechanism for sewing-machines.
US1027105A (en) 1911-01-31 1912-05-21 George Crawford Spring-wheel.
US1021245A (en) 1911-02-16 1912-03-26 Morton Arthur George Detachable hinge for windows.
US1026426A (en) 1911-05-15 1912-05-14 Fred Kestler Cinder-leveler.
US5042077A (en) 1987-10-02 1991-08-20 General Electric Company Method of highlighting subtle contrast in graphical images
US5357278A (en) 1993-01-14 1994-10-18 Sony Electronics, Inc. Integrated linear/non-linear static and controllable dynamic companding
US6141047A (en) * 1993-12-22 2000-10-31 Canon Kabushiki Kaisha Image signal processing apparatus and image pickup device
EP0679020A1 (en) * 1994-04-19 1995-10-25 Eastman Kodak Company Method and apparatus for constrained gamut clipping
US5815206A (en) 1996-05-03 1998-09-29 Lsi Logic Corporation Method for partitioning hardware and firmware tasks in digital audio/video decoding
US6118820A (en) * 1998-01-16 2000-09-12 Sarnoff Corporation Region-based information compaction as for digital images
US6829301B1 (en) 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
US6560285B1 (en) 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
CA2269651A1 (en) * 1998-05-12 1999-11-12 Lucent Technologies, Inc. Transform domain image watermarking method and system
US6396508B1 (en) 1999-12-02 2002-05-28 Matsushita Electronics Corp. Dynamic low-level enhancement and reduction of moving picture disturbance for a digital display
US7072523B2 (en) 2000-09-01 2006-07-04 Lenovo (Singapore) Pte. Ltd. System and method for fingerprint image enhancement using partitioned least-squared filters
US6762741B2 (en) 2000-12-22 2004-07-13 Visteon Global Technologies, Inc. Automatic brightness control system and method for a display device using a logarithmic sensor
US7062445B2 (en) * 2001-01-26 2006-06-13 Microsoft Corporation Quantization loop with heuristic approach
GB0110748D0 (en) 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
JP4129812B2 (ja) 2001-05-24 2008-08-06 株式会社リコー 画像処理方法，装置および画像形成装置
EP2239725B1 (en) * 2001-06-07 2013-10-23 Genoa Color Technologies Ltd. System and method of data conversion for wide gamut displays
US6757648B2 (en) * 2001-06-28 2004-06-29 Microsoft Corporation Techniques for quantization of spectral data in transcoding
US20030086595A1 (en) * 2001-11-07 2003-05-08 Hui Hu Display parameter-dependent pre-transmission processing of image data
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7433532B2 (en) 2002-05-01 2008-10-07 Kestrel Corporation Max entropy optimized retinal camera
US6778183B1 (en) * 2002-07-10 2004-08-17 Genesis Microchip Inc. Method and system for adaptive color and contrast for display devices
US7239422B2 (en) * 2002-12-04 2007-07-03 Eastman Kodak Company Color gamut mapping using a cost function
US7550701B2 (en) 2003-02-25 2009-06-23 Omnivision Cdm Optics, Inc. Non-linear wavefront coding systems and methods
US7254271B2 (en) 2003-03-05 2007-08-07 Seadragon Software, Inc. Method for encoding and serving geospatial or other vector data as images
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
GB0402640D0 (en) * 2004-02-06 2004-03-10 Pelikon Ltd Ambient light sensor
US20050219252A1 (en) 2004-03-30 2005-10-06 Buxton Mark J Two-dimensional buffer, texture and frame buffer decompression
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050243176A1 (en) * 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
JP2008501261A (ja) 2004-05-31 2008-01-17 フェーズ・ワン・アクティーゼルスカブ 高速高品質画像処理のための画像圧縮方法
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US8050511B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
KR100596982B1 (ko) 2004-12-15 2006-07-05 삼성전자주식회사 이중 계층 버스 구조, 이중 계층 버스 구조를 가진 시스템온 칩 시스템 및 시스템 온 칩 시스템의 버스 액세스 방법
US7593024B2 (en) 2005-01-15 2009-09-22 International Business Machines Corporation Screen calibration for display devices
US7693304B2 (en) 2005-05-12 2010-04-06 Hewlett-Packard Development Company, L.P. Method and system for image quality calculation
US20070035751A1 (en) * 2005-08-15 2007-02-15 Microsoft Corporation Gamut shape dependent color management system
WO2007026283A2 (en) 2005-08-31 2007-03-08 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content using adaptive extraction regions
US7809200B2 (en) * 2005-11-15 2010-10-05 Teledyne Licensing, Llc Dynamic range compression of high dynamic range imagery
EP2290983B1 (en) 2006-01-23 2015-09-02 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. High dynamic range codecs
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR101368120B1 (ko) * 2006-05-25 2014-02-28 톰슨 라이센싱 가중 인코딩을 위한 방법 및 시스템
US7730043B1 (en) * 2006-06-29 2010-06-01 Adobe Systems Incorporated Incremental batch-mode editing of digital media objects
US8888592B1 (en) * 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
CN101119497A (zh) * 2006-08-04 2008-02-06 广达电脑股份有限公司 图像处理装置及其方法
KR100843088B1 (ko) * 2006-08-16 2008-07-02 삼성전자주식회사 광색역 공간의 영상을 출력하는 장치 및 방법
TWI333383B (en) 2006-09-25 2010-11-11 Ind Tech Res Inst Color adjustment circuit, digital color adjustment device and a multimedia apparatus using the same
US20080112024A1 (en) * 2006-11-09 2008-05-15 Seiko Epson Corporation Image processing apparatus, image processing method, image processing program, recording medium storing image processing program, and image display apparatus
KR101318081B1 (ko) 2006-11-21 2013-10-14 엘지디스플레이 주식회사 액정표시장치와 그 구동방법
CA2570090C (en) 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US7899267B2 (en) 2007-05-23 2011-03-01 Zoran Corporation Dynamic range compensation by filter cascade
US20080316372A1 (en) 2007-06-20 2008-12-25 Ning Xu Video display enhancement based on viewer characteristics
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
US8538197B2 (en) * 2007-08-02 2013-09-17 Sony Corporation Image processing apparatus
US8004538B2 (en) * 2007-09-21 2011-08-23 Global Oled Technology Llc Preferential tone scale for electronic displays
TW200928860A (en) 2007-12-31 2009-07-01 Htc Corp Method and device for adjusting output frame
US9584710B2 (en) 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US8159616B2 (en) 2008-03-27 2012-04-17 Bang & Olufsen A/S Histogram and chrominance processing
EP2297694B1 (en) * 2008-06-13 2014-10-01 Imax Corporation Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
EP2144444B1 (en) 2008-07-10 2012-06-27 The University Of Warwick HDR video data compression devices and methods
JP2010056769A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 画像処理装置及び画像処理方法
US8339475B2 (en) 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
EP2200268B1 (en) * 2008-12-22 2012-02-08 Thomson Licensing Method of calibration of a target color reproduction device
JP5274287B2 (ja) * 2009-02-09 2013-08-28 三菱電機株式会社 表示装置および表示システム
KR101651415B1 (ko) 2009-03-10 2016-08-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 확장된 동적 범위 및 확장된 차수 이미지 신호 변환
EP2406959B1 (en) 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Layered compression of high dynamic range, visual dynamic range, and wide color gamut video
US8325385B2 (en) * 2009-03-27 2012-12-04 Konica Minolta Laboratory U.S.A., Inc. System and methods for processing color data in converting color data from one color space to another color space
JP5566048B2 (ja) 2009-04-28 2014-08-06 キヤノン株式会社 表示装置及びその制御方法
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
JP2011022481A (ja) 2009-07-17 2011-02-03 Panasonic Corp 液晶表示装置
US8897377B2 (en) 2009-12-31 2014-11-25 Broadcom Corporation Transcoding multiple media elements for independent wireless delivery
EP2360926A1 (en) * 2010-01-19 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Image encoder and image decoder
WO2011089917A1 (ja) 2010-01-22 2011-07-28 パナソニック株式会社 制御装置、表示装置、眼鏡装置及び映像システム
US8891934B2 (en) * 2010-02-22 2014-11-18 Dolby Laboratories Licensing Corporation Video display control using embedded metadata
US8890793B2 (en) 2010-03-26 2014-11-18 Hong Kong Applied Science and Technology Research Institute, Co. Ltd. Adjusting a brightness level of a backlight of a display device
US8280184B2 (en) 2010-04-01 2012-10-02 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
US8493316B2 (en) 2010-04-22 2013-07-23 Qualcomm Incorporated Adjusting backlight intensity based on a progress of a task
US20110292992A1 (en) 2010-05-28 2011-12-01 Microsoft Corporation Automating dynamic information insertion into video
WO2011156074A2 (en) 2010-06-08 2011-12-15 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
EP2591602A1 (en) * 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Generation of high dynamic range images from low dynamic range images
KR101537510B1 (ko) * 2010-07-22 2015-07-17 돌비 레버러토리즈 라이쎈싱 코오포레이션 디스플레이 관리 서버
US8831345B2 (en) * 2010-08-04 2014-09-09 Nec Corporation Image processing method, image processing apparatus, and image processing program
US8677428B2 (en) * 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
US8704859B2 (en) * 2010-09-30 2014-04-22 Apple Inc. Dynamic display adjustment based on ambient conditions
EP2445214A1 (en) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Video coding using temporally coherent dynamic range mapping
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
EP2643809B1 (en) * 2010-11-23 2020-06-24 Dolby Laboratories Licensing Corporation Content metadata enhancement of high dynamic range images
US9024951B2 (en) 2011-02-16 2015-05-05 Apple Inc. Devices and methods for obtaining high-local-contrast image data
WO2012122425A1 (en) 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Bitdepth and color scalable video coding
US8621320B2 (en) * 2011-04-07 2013-12-31 Apple Inc. Per-image forward error correction
WO2012142285A2 (en) * 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
US8971408B2 (en) 2011-04-14 2015-03-03 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
TWI513327B (zh) 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
EP2702764B1 (en) * 2011-04-25 2016-08-31 Dolby Laboratories Licensing Corporation Non-linear vdr residual quantizer
EP2707868B1 (en) * 2011-05-10 2024-04-03 Koninklijke Philips N.V. High dynamic range image signal generation and processing
JP5833233B2 (ja) * 2011-05-27 2015-12-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US20120324492A1 (en) 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US8576445B2 (en) 2011-06-28 2013-11-05 Konica Minolta Laboratory U.S.A., Inc. Method for processing high dynamic range images using tone mapping to extended RGB space
JP5747711B2 (ja) * 2011-07-22 2015-07-15 富士通株式会社 ネットワーク評価装置
US9451292B2 (en) 2011-09-15 2016-09-20 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
EP2745290A1 (en) 2011-09-27 2014-06-25 Koninklijke Philips N.V. Apparatus and method for dynamic range transforming of images
CN103907343B (zh) * 2011-10-20 2017-05-03 杜比实验室特许公司 用于视频均衡的方法和系统
EP2777252B1 (en) 2011-11-09 2016-02-10 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Inter-layer prediction between layers of different dynamic sample value range
EP3800542B1 (en) 2011-12-06 2021-09-15 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity-based image data exchange across different display capabilities
US8773543B2 (en) 2012-01-27 2014-07-08 Nokia Corporation Method and apparatus for image data transfer in digital photographing
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP5598769B2 (ja) * 2012-04-16 2014-10-01 コニカミノルタ株式会社 色調整方法及び色調整プログラム
US20130308027A1 (en) 2012-05-03 2013-11-21 Aptina Imaging Corporation Systems and methods for generating metadata in stacked-chip imaging systems
US20140092108A1 (en) 2012-05-24 2014-04-03 Popslate Media, Inc. Dynamically Changeable Decorative-Protective Accessory for a Mobile Computing Device
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9258641B2 (en) * 2012-06-07 2016-02-09 Qbiz, Llc Method and system of audio capture based on logarithmic conversion
US9330606B2 (en) 2012-06-08 2016-05-03 Apple Inc. Electronic device with display brightness control
KR20130141920A (ko) * 2012-06-18 2013-12-27 삼성디스플레이 주식회사 색역 변환 시스템 및 방법
TWI586150B (zh) 2012-06-29 2017-06-01 新力股份有限公司 影像處理裝置及非暫態電腦可讀儲存媒體
WO2014009844A1 (en) * 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US8821281B2 (en) * 2012-07-17 2014-09-02 International Business Machines Corporation Detection of an orientation of a game player relative to a screen
EP3168809B1 (en) * 2012-08-08 2023-08-30 Dolby Laboratories Licensing Corporation Image processing for hdr images
GB2518793A (en) 2012-09-28 2015-04-01 Intel Corp Content based dynamic control methods and systems for display brightness
US9064313B2 (en) * 2012-09-28 2015-06-23 Intel Corporation Adaptive tone map to a region of interest to yield a low dynamic range image
CN103077696B (zh) 2013-01-15 2015-08-12 Opera软件股份公司 用于调节显示屏亮度的方法和设备以及显示系统
JP6005882B2 (ja) * 2013-01-25 2016-10-12 ドルビー ラボラトリーズ ライセンシング コーポレイション グローバルなディスプレイ管理ベースの光変調
US9058667B2 (en) 2013-01-30 2015-06-16 Apple Inc. Detail preserving image transfer operations
JP6309978B2 (ja) * 2013-02-21 2018-04-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 改善されたｈｄｒイメージ符号化及び復号化方法、装置
TWI473039B (zh) * 2013-03-05 2015-02-11 Univ Tamkang 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
GB201304221D0 (en) 2013-03-08 2013-04-24 Univ Warwick High Dynamic Range Imaging Systems
FR3003378A1 (fr) 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons
TWI639151B (zh) 2013-03-15 2018-10-21 美商傲思丹度科技公司 動態色域顯示系統、方法、及其應用
US20140321561A1 (en) 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
KR102031580B1 (ko) * 2013-05-10 2019-11-08 엘지디스플레이 주식회사 표시 장치, 표시 장치 제어 방법
CN103391435A (zh) * 2013-07-02 2013-11-13 广东工业大学 一种兼容ldr的hdr图像编码方法及其解码方法
JP6351313B2 (ja) 2013-07-11 2018-07-04 キヤノン株式会社 画像符号化装置、画像復号装置、画像処理装置、並びにそれらの制御方法
US10057633B2 (en) * 2013-07-14 2018-08-21 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
US10194162B2 (en) 2013-07-18 2019-01-29 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an HDR image, and methods and apparatuses for use of such encoded images
US20150130967A1 (en) 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
JP6383425B2 (ja) 2014-02-25 2018-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ビデオ符号化及び復号のための適応的伝達関数
JP6731722B2 (ja) * 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
ES2684432T3 (es) 2015-12-17 2018-10-02 Koninklijke Philips N.V. Codificación de rango dinámico para imágenes y vídeo
US10200687B2 (en) 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US10212456B2 (en) 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1827024A1 (en) * 2006-02-24 2007-08-29 Sharp Kabushiki Kaisha High dynamic range video coding
CN102282838A (zh) * 2009-01-19 2011-12-14 夏普株式会社 针对多次曝光的增强动态范围图像和视频的方法和系统
WO2012147018A2 (en) * 2011-04-28 2012-11-01 Koninklijke Philips Electronics N.V. Apparatuses and methods for hdr image encoding and decoding
US8866975B1 (en) * 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods

Also Published As

Publication number Publication date
KR20160110985A (ko) 2016-09-23
JP7429676B2 (ja) 2024-02-08
AU2023200732B2 (en) 2024-01-18
CN106031172B (zh) 2019-08-20
US20150243243A1 (en) 2015-08-27
JP7038021B2 (ja) 2022-03-17
KR102330316B1 (ko) 2021-11-24
US10264266B2 (en) 2019-04-16
US20220408096A1 (en) 2022-12-22
US20210235093A1 (en) 2021-07-29
US10271054B2 (en) 2019-04-23
KR20180102222A (ko) 2018-09-14
AU2021204255A1 (en) 2021-07-22
AU2018208733A1 (en) 2018-08-16
KR101898643B1 (ko) 2018-09-14
AU2020201023B2 (en) 2021-04-01
WO2015130797A1 (en) 2015-09-03
KR102025037B1 (ko) 2019-09-24
KR102654563B1 (ko) 2024-04-05
KR20210143940A (ko) 2021-11-29
CN110365974A (zh) 2019-10-22
KR20220106177A (ko) 2022-07-28
AU2023200732A1 (en) 2023-03-09
CN111526350A (zh) 2020-08-11
KR20200118237A (ko) 2020-10-14
JP2022009011A (ja) 2022-01-14
AU2021204255B2 (en) 2022-11-24
US20190182487A1 (en) 2019-06-13
KR102509533B1 (ko) 2023-03-14
US10880549B2 (en) 2020-12-29
DE112015000959T5 (de) 2016-11-17
EP3111644A1 (en) 2017-01-04
KR102414567B1 (ko) 2022-06-29
US10212429B2 (en) 2019-02-19
CN111526350B (zh) 2022-04-05
US20150245043A1 (en) 2015-08-27
CN111246050A (zh) 2020-06-05
US10812801B2 (en) 2020-10-20
AU2015223123A1 (en) 2016-09-15
DE112015000950T5 (de) 2016-12-08
EP3829171A1 (en) 2021-06-02
US20150245050A1 (en) 2015-08-27
WO2015130796A1 (en) 2015-09-03
AU2018208733B2 (en) 2020-01-30
CN106031172A (zh) 2016-10-12
CN106233706A (zh) 2016-12-14
CN106030503A (zh) 2016-10-12
WO2015130793A1 (en) 2015-09-03
JP2018207512A (ja) 2018-12-27
JP6383425B2 (ja) 2018-08-29
CN111246050B (zh) 2022-10-28
JP2021010171A (ja) 2021-01-28
JP2024009972A (ja) 2024-01-23
US20210227226A1 (en) 2021-07-22
KR20190109579A (ko) 2019-09-25
US20210037246A1 (en) 2021-02-04
US20150243200A1 (en) 2015-08-27
US20150245044A1 (en) 2015-08-27
KR20230041827A (ko) 2023-03-24
US11445202B2 (en) 2022-09-13
AU2020201023A1 (en) 2020-03-05
JP2017513257A (ja) 2017-05-25
US10986345B2 (en) 2021-04-20
CN116320394A (zh) 2023-06-23
CN106030503B (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
CN106233706B (zh) 用于提供具有标准动态范围和高动态范围两者的视频的向后兼容的装置和方法
CN107690811B (zh) 呈现和显示高动态范围内容

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant