DE112015000959T5 - Adaptive Videoverarbeitung - Google Patents

Adaptive Videoverarbeitung Download PDF

Info

Publication number
DE112015000959T5
DE112015000959T5 DE112015000959.0T DE112015000959T DE112015000959T5 DE 112015000959 T5 DE112015000959 T5 DE 112015000959T5 DE 112015000959 T DE112015000959 T DE 112015000959T DE 112015000959 T5 DE112015000959 T5 DE 112015000959T5
Authority
DE
Germany
Prior art keywords
video content
display
video
display panel
environmental conditions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112015000959.0T
Other languages
English (en)
Inventor
Andrew Bai
Kenneth I. Greenebaum
Haitao Guo
Hao Pan
Guy Cote
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of DE112015000959T5 publication Critical patent/DE112015000959T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06T5/92—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6058—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • H04N1/6063—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced
    • H04N1/6066—Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut dependent on the contents of the image to be reproduced dependent on the gamut of the image to be reproduced
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/50—Tuning indicators; Automatic tuning control
    • H04N5/505—Invisible or silent tuning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/641—Multi-purpose receivers, e.g. for auxiliary information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/08—Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G09G2370/042—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller for monitor identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast

Abstract

Adaptive Videoverarbeitungsverfahren und -einrichtungen können durch eine Decodier-Pipeline und/oder Codier-Pipeline implementiert werden. Die adaptiven Videoverarbeitungsverfahren können Informationen berücksichtigen, die Videoinhalt, Anzeigeeigenschaften und Umgebungsbedingungen beinhalten, wenn sie Videoinhalt für ein Zielanzeigefeld in einem gegebenen Umfeld oder einer Umgebung verarbeiten und rendern. Die adaptiven Videoverarbeitungsverfahren können diese Informationen verwenden, um eine oder mehrere Videoverarbeitungsfunktionen, die an die Videodaten angelegt werden, anzupassen, um Video für das Zielanzeigefeld zu rendern, das gemäß den gegebenen Umgebungs- oder Betrachtungsbedingungen für das Anzeigefeld adaptiert ist.

Description

  • HINTERGRUND
  • Technisches Gebiet
  • Diese Offenbarung betrifft allgemein digitale Video- oder Bildverarbeitung und Video- oder Bildverarbeitungsanzeige.
  • Beschreibung der verwandten Technik
  • Verschiedene Vorrichtungen, unter anderem Personal Computer-Systeme, Desktop-Computersysteme, Laptop- und Notebook-Computer, Tablet- oder Pad-Vorrichtungen, Digitalkameras, digitale Videorecorder und Mobiltelefone oder Smartphones, können Software und/oder Hardware enthalten, die eine oder mehrere Videoverarbeitungsverfahren implementieren kann bzw. können. Beispielsweise kann eine Vorrichtung eine Einrichtung (z. B. eine integrierte Schaltung (IC), wie etwa ein System-on-Chip (SOC), oder ein Teilsystem einer IC) beinhalten, die digitale Videoeingaben von einer oder mehreren Quellen empfangen und verarbeiten kann und die verarbeiteten Video-Frames entsprechend einem oder mehreren Videoverarbeitungsverfahren ausgibt. Als weiteres Beispiel kann ein Softwareprogramm an einer Vorrichtung implementiert sein, die digitale Videoeingaben von einer oder mehreren Quellen empfangen und gemäß einem oder mehreren Videoverarbeitungsverfahren verarbeiten und die verarbeiteten Video-Frames ausgeben kann.
  • Zum Beispiel kann ein Videocodierer als Einrichtung oder alternativ als Softwareprogramm implementiert sein, in dem eine digitale Videoeingabe gemäß einem Videocodierverfahren in ein anderes Format codiert oder umgewandelt wird, zum Beispiel in ein Format H.264/Advanced Video Coding (AVC) oder ein Format H.265 High Efficiency Video Coding (HEVC). Als weiteres Beispiel kann ein Videodecodierer als Einrichtung oder alternativ als Softwareprogramm implementiert werden, um Video in einem komprimierten Videoformat wie AVC oder HEVC zu empfangen und gemäß einem Videodecodierverfahren in ein anderes (dekomprimiertes) Format zu decodieren und umzuwandeln, beispielsweise in ein Anzeigeformat, das von einer Anzeigevorrichtung verwendet wird. Der H.264/AVC-Standard wurde von der ITU-T in einem Dokument mit dem Titel „ITU-T Recommendation H.264: Advanced video coding for generic audiovisual services” veröffentlicht. Der H.265/HEVC-Standard wurde von der ITU-T in einem Dokument mit dem Titel „ITU-T Recommendation H.265: High Efficiency Video Coding” veröffentlicht.
  • In vielen Systemen kann eine Einrichtung oder ein Softwareprogramm sowohl eine Videocodierkomponente als auch eine Videodecodierkomponente implementieren; eine solche Einrichtung oder ein solches Programm wird allgemein als Codec bezeichnet. Man beachte, dass ein Codec sowohl optische/Bilddaten als auch akustische/Tondaten in einem Video-Stream codieren/decodieren kann.
  • Bei der Verarbeitung digitaler Bilder und Videos werden digitale Bilder (z. B. Video- oder Standbilder) herkömmlicherweise in einem begrenzten dynamischen Bereich aufgenommen, ausgegeben bzw. gerendert und angezeigt, was als Bildgebung mit Standarddynamikbereich (SDR) bezeichnet wird. Außerdem werden Bilder zum Anzeigen üblicherweise unter Verwendung einer relativ geringen Farbskala ausgegeben, was als Bildgebung mit Standardfarbskala bezeichnet wird. Bildgebung mit erweitertem oder großem Dynamikbereich (HDR) bezeichnet eine Technologie und Verfahren, die einen breiteren Luminanzbereich in elektronischen Bildern (wie sie z. B. auf Bildschirmen oder Anzeigevorrichtungen angezeigt werden) hervorbringen als mit Standard-Technologie und -Verfahren für die digitale Bildgebung (was als Bildgebung mit Standarddynamikbereich oder SDR bezeichnet wird) erhalten werden kann. Viele neue Vorrichtungen wie Bildsensoren und Anzeigen unterstützen die HDR-Bildgebung ebenso wie die Bildgebung mit breiter Farbskala (WCG). Diese Vorrichtungen können als HDR-fähige Vorrichtungen oder einfach als HDR-Vorrichtungen bezeichnet werden.
  • ZUSAMMENFASSUNG VON AUSFÜHRUNGSFORMEN
  • Es werden verschiedene Ausführungsformen von Verfahren und Einrichtungen zum adaptiven Verarbeiten, Ausgeben bzw. Rendern und Anzeigen digitaler Bildinhalte, beispielsweise Video-Frames oder Video-Streams, beschrieben. Es werden Ausführungsformen von Videoverarbeitungsverfahren und -einrichtungen beschrieben, die Videodaten zur Anzeige auf einem angesteuerten Anzeigefeld adaptiv rendern können. Die adaptiven Videoverarbeitungsverfahren können verschiedene Informationen berücksichtigen, unter anderem Videoinhalte, Anzeigeeigenschaften und Umweltbedingungen, wozu unter anderem die Lichtverhältnisse und die Position von Betrachtern in Bezug auf das Anzeigefeld gehören, wenn Videoinhalte für ein angesteuertes Anzeigefeld in einem gegebenen Umfeld oder einer Umgebung verarbeitet und gerendert werden. Die adaptiven Videoverarbeitungsverfahren können diese Informationen verwenden, um eine oder mehrere Videoverarbeitungsfunktionen anzupassen, die auf die Videodaten angewendet werden (z. B. Minderung von Rauschen/Artefakten, Skalierung, Schärfung, Tonabbildung, Farbskala-Abbildung, Bildfrequenzumwandlung, Farbkorrektur, Weißpunkt- und/oder Schwarzpunktkorrektur, Farbausgleich usw.), um für das Zielanzeigefeld ein Video zu rendern, das gemäß den Umgebungsverhältnissen oder Betrachtungsbedingungen für das Anzeigefeld adaptiert ist.
  • In manchen Ausführungsformen kann eine adaptive Videoverarbeitung für ein Zielanzeigefeld in einem Decodier-/Anzeigemodul oder in einer Pipeline, die mit dem Zielanzeigefeld assoziiert ist, implementiert werden. Diese Ausführungsformen können als anzeigeseitige, adaptive Videoverarbeitungssysteme bezeichnet werden. In mindestens manchen Ausführungsformen kann eine Decodier-/Anzeige-Pipeline einen codierten Video-Stream für ein Zielanzeigefeld empfangen und decodieren. Der decodierte Videoinhalt kann analysiert werden, um Intra-Frame- und/oder Inter-Frame-Eigenschaften des Videos zu bestimmen, beispielsweise Luminanzeigenschaften (z. B. Breite eines Dynamikbereichs), Farbeigenschaften (z. B. Farbskala), Bewegung zwischen Einzelbildern bzw. Frames, Glanzlichteffekte, Kontrast, helle und dunkle Regionen und so weiter. Es können eine oder mehrere Anzeigeeigenschaften für das Zielanzeigefeld ermittelt werden. Die Anzeigeeigenschaften können unter anderem eine oder mehrere der Folgenden beinhalten: gemessene Antwort, Anzeigeformat, Dynamikbereich der Anzeige, Bittiefe, Hintergrundlichtpegel, Weißpunkt, Streulicht durch schwarze Pixel, Reflektivität, lokales Verstärken oder Abbilden von Kontrasten, aktuelle Anzeigesteuereinstellungen und so weiter. Es können Informationen über die aktuelle Umgebung vom Zielanzeigefeld abgefragt werden. Zum Beispiel kann eine Vorrichtung, die das Anzeigefeld aufweist, einen oder mehrere nach vorn oder nach hinten gerichtete Sensoren beinhalten, die verwendet werden können, um Daten aus einem Umgebungsbereich zu gewinnen (z. B. Licht, Standort eines Betrachters usw.). Die gewonnenen Daten können analysiert werden, um einen oder mehrere Umgebungsmesswerte zu bestimmen. Die Decodier-/Anzeige-Pipeline verarbeitet dann das decodierte Video entsprechend dem Inhalt, den Anzeigeeigenschaften und den aktuellen Umgebungsinformationen, um ein Video zu erzeugen, das für das Zielanzeigefeld und die aktuelle Umgebung adaptiert ist.
  • In manchen Ausführungsformen kann eine adaptive Videoverarbeitung für ein Zielanzeigefeld in einer Server-/Codier-Pipeline implementiert werden. Diese Ausführungsformen können als serverseitige, adaptive Videoverarbeitungssysteme bezeichnet werden. In mindestens manchen Ausführungsformen kann eine Server-/Codier-Pipeline Videoinhalte für ein Zielanzeigefeld abfragen. Das Zielanzeigefeld kann eine Bildgebung mit großem Dynamikbereich (HDR) und mit breiter Farbskala (WCG) unterstützen. Die Server-/Codier-Pipeline kann eine oder mehrere Eigenschaften der eingegebenen Videoinhalte abfragen oder bestimmen. Die Server-/Codier-Pipeline kann Anzeigeinformationen und/oder Umgebungsinformationen für das Zielanzeigefeld abfragen, beispielsweise von einem System, auf dem das Zielanzeigefeld implementiert ist. Die Anzeigeinformationen können Anzeigeeigenschaften angeben, die unter anderem eine oder mehrere der Folgenden beinhalten können: gemessene Antwort, Format, Auflösung, Größe, Dynamikbereich, Bittiefe, Hintergrundlichtpegel, Weißpunkt, Streulicht durch schwarze Pixel, Reflektivität, lokales Verstärken oder Abbilden von Kontrasten, aktuelle Anzeigesteuereinstellungen und so weiter. Die Umgebungsinformationen können unter anderem verschiedene Messwerte in Bezug auf die Lichtverhältnisse und Messwerte in Bezug auf einen Betrachter, beispielsweise die Position eines Betrachters in Bezug auf das Zielanzeigefeld, beinhalten.
  • Die Server-/Codier-Pipeline kann den Videoinhalt gemäß einer Farbskala-Abbildungstechnik einer Farbskala des Zielanzeigefelds abbilden. Die Farbskala-Abbildungstechnik kann gemäß den erhaltenen Informationen ausgewählt, modifiziert oder angepasst werden. Zum Beispiel kann die Farbskala der Quelldaten gemäß den Anzeigeinformationen der Bittiefe und der Farbskala des Zielanzeigefelds abgebildet werden. Als weiteres Beispiel können Kurven, Übertragungsfunktionen und/oder Zuordnungstabellen, die für die Skala-Abbildungstechnik verwendet werden, auf Basis eines oder mehrerer Messwerte, unter anderem aktuell gemessener Werte für die Lichtverhältnisse am Anzeigefeld, die von den Umgebungsinformationen angegeben werden, modifiziert oder angepasst werden.
  • Die Server-/Codier-Pipeline kann den Videoinhalt gemäß einer Tonabbildungstechnik einem Dynamikbereich für das Zielanzeigefeld zuordnen. Die Tonabbildungstechnik kann gemäß den erhaltenen Informationen angepasst werden. Zum Beispiel kann der Dynamikbereich der Quelldaten gemäß den Anzeigeinformationen der Bittiefe des Zielanzeigefelds abgebildet werden. Als weiteres Beispiel können Tonkurven- und/oder Übertragungsfunktionen, die für die Tonzuordnungstechnik verwendet werden, auf Basis eines oder mehrerer Messwerte, unter anderem aktuell gemessener Werte der Lichtverhältnisse am Anzeigefeld, die von den Umgebungsinformationen angegeben werden, modifiziert oder angepasst werden. In manchen Ausführungsformen können die Video-Frames anstelle von oder zusätzlich zu einer globalen Tonkurve in mehrere Regionen unterteilt werden, und lokale Tonkurven können für jede Region mindestens zum Teil auf Basis der Anzeige- und/oder Umgebungsinformationen dynamisch ausgewählt werden.
  • Die Server-/Codier-Pipeline kann den Videoinhalt codieren und den codierten Videoinhalt an die Decodier-/Anzeige-Pipeline schicken, die mit dem Zielanzeigefeld assoziiert ist. Die Decodier-/Anzeige-Pipeline decodiert den Videoinhalt und zeigt ihn an. Da eine anzeigefeldspezifische Tonabbildung und Farbskala-Abbildung auf den Dynamikbereich und die Farbskala, der jeweils vom Zielanzeigefeld unterstützt wird, auf der Server-/Codierseite durchgeführt wird, kann es sein, dass die Decodier-/Anzeige-Pipeline gar keine Änderungen oder Modifikationen benötigt, um eine HDR- und/oder WCG-Bildgebung zu unterstützen.
  • Einige Ausführungsformen können Einrichtungen und Verfahren zur Anpassung der Helligkeit einer Anzeige beinhalten, über welche die durchschnittliche Helligkeit einer Anzeige anhand einer nichtlinearen Funktion herauf- oder herabgesetzt werden kann. Wenn eine nichtlineare Funktion angewendet wird, um die Helligkeit herabzusetzen, wird der Kontrast des Ausgangssignals möglicherweise nicht reduziert, so dass der Dynamikbereich und Lichteffekte bewahrt werden. Die nichtlineare Anpassung der Helligkeit kann automatisch durchgeführt werden, zum Beispiel als Antwort auf eine Umgebungslichtstärke, die von einem bzw. mehreren Sensoren erfasst wird, kann aber auch als Antwort auf eine Anpassung seitens des Anwenders an einem Helligkeitssteuerknopf oder -schieber angewendet werden. Die nichtlineare Anpassung der Helligkeit kann global durchgeführt werden, oder sie kann alternativ dazu an lokalen Regionen eines Bildes oder eines Anzeigefelds durchgeführt werden. Die nichtlineare Funktion kann eine stückweise durchgeführte, lineare Funktion oder eine beliebige andere, nichtlineare Funktion sein.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt eine adaptive Videoverarbeitung in einem Video-Wiedergabesystem gemäß manchen Ausführungsformen.
  • 2 zeigt eine adaptive Videoverarbeitung in einem Beispiel für eine Decodier-/Anzeige-Pipeline gemäß manchen Ausführungsformen.
  • 3 zeigt ein Beispiel für eine Decodier-/Anzeige-Pipeline, die eine adaptive Videoverarbeitung durchführt, gemäß manchen Ausführungsformen.
  • 4 zeigt ein Beispiel für eine Anzeige-Pipe und ein Anzeige-Backend, die eine adaptive Videoverarbeitung durchführen, gemäß manchen Ausführungsformen.
  • 5 ist ein Ablaufschema eines Verfahrens für eine adaptive Videoverarbeitung in einer Decodier-/Anzeige-Pipeline gemäß manchen Ausführungsformen.
  • 6A und 6B zeigen den menschlichen Wahrnehmungsbereich in Bezug auf ein Beispiel für ein Anzeigefeld.
  • 7 zeigt grafisch ein Wahrnehmungsfarbmanagement gemäß manchen Ausführungsformen.
  • 8 zeigt ein Beispiel für eine Decodier-/Anzeige-Pipeline, die eine SDR-zu-HDR-Umwandlung an einem SDR-Eingangsvideo durchführt, zur Erzeugung von Anzeige-Videoinhalt, der für eine HDR-Anzeige adaptiert ist, gemäß manchen Ausführungsformen.
  • 9 ist ein Ablaufschema eines Verfahrens zur Durchführung einer SDR-zu-HDR-Umwandlung zur Erzeugung von Anzeige-Videoinhalt, der für eine HDR-Anzeige adaptiert ist, gemäß manchen Ausführungsformen.
  • 10 zeigt ein Beispiel für ein Videoabspielsystem, in dem eine serverseitige Codier-Pipeline Ausgangs-Videodaten erzeugt, die für ein Zielanzeigefeld adaptiert sind, gemäß manchen Ausführungsformen.
  • 11 ist ein Ablaufschema eines Videoabspielverfahrens gemäß manchen Ausführungsformen, bei dem eine serverseitige Codier-Pipeline Ausgangsvideodaten erzeugt, die für ein Zielanzeigefeld adaptiert sind.
  • 12 zeigt das Eingabe/Ausgabe-Verhältnis einer Anpassung der Helligkeit mit einem Skalierungsfaktor von 0,5.
  • 13 zeigt das Eingabe/Ausgabe-Verhältnis einer nichtlinearen Helligkeitsanpassungsfunktion gemäß mindestens manchen Ausführungsformen.
  • 14 ist ein Ablaufschema eines nichtlinearen Helligkeitsanpassungsverfahrens gemäß mindestens manchen Ausführungsformen.
  • 15 ist ein Blockschema einer Ausführungsform eines Systems auf einem Chip (SOC), das so konfiguriert sein kann, dass es Aspekte der hierin beschriebenen Systeme und Verfahren implementiert.
  • 16 ist ein Blockschema einer Ausführungsform eines Systems, das ein oder mehrere SOCs beinhalten kann.
  • 17 zeigt ein Beispiel für ein Computersystem, das so gestaltet sein kann, dass es Aspekte der hierin beschriebenen Systeme und Verfahren gemäß manchen Ausführungsformen implementiert.
  • 18 zeigt ein Blockdiagramm einer tragbaren Multifunktionsvorrichtung gemäß manchen Ausführungsformen.
  • 19 ist eine Abbildung einer tragbaren Multifunktionsvorrichtung gemäß machen Ausführungsformen.
  • Obwohl die Erfindung in verschiedenen Abwandlungen und alternativen Formen auftreten kann, sind konkrete Ausführungsformen davon beispielhaft in der Zeichnung dargestellt und werden hier im Detail beschrieben. Es versteht sich jedoch, dass die Zeichnung und die detaillierte Beschreibung dazu die Erfindung nicht auf die konkrete offenbarte Form beschränken sollen, sondern im Gegenteil, es ist beabsichtigt, sämtliche Abwandlungen, Äquivalente und Alternativen abzudecken, die unter den Erfindungsgedanken und in den Schutzbereich der vorliegenden Erfindung fallen. Wie in dieser Anmeldung verwendet, wird das Wort „können” im zulassenden Sinn verwendet (d. h. es bedeutet, dass eine Möglichkeit für etwas besteht) und nicht im obligatorischen Sinn (d. h. im Sinne von müssen). Ähnlich bedeuten die Wörter „beinhaltet”, „beinhaltend”, „beinhalten”, etwas beinhalten, aber ohne Beschränkung. Verschiedene Einheiten, Schaltungen oder andere Komponenten können als zum Durchführen einer oder mehrerer Aufgaben „konfiguriert” beschrieben sein. In solchen Kontexten ist „konfiguriert” eine weit gefasste Darstellung einer Struktur, die generell bedeutet, „Schaltungen beinhaltend, die” die Aufgabe(n) während des Betriebs ausführen. Somit kann die Einheit/Schaltung/Komponente so konfiguriert sein, dass sie die Aufgabe ausführt, auch wenn die Einheit/Schaltung/Komponente derzeit nicht eingeschaltet ist. Im Allgemeinen können die Schaltungen, welche die Struktur bilden, die „dafür ausgelegt” entspricht, Hardware-Schaltungen beinhalten. Ähnlich können verschiedene Einheiten/Schaltungen/Komponenten aus praktischen Gründen in der Beschreibung so beschrieben sein, dass sie eine oder mehrere Aufgaben ausführen. Solche Beschreibungen sollten so ausgelegt werden, als würden sie den Ausdruck „konfiguriert” enthalten. Das Nennen einer Einheit/Schaltung/Komponente, die zum Ausführen einer oder mehrerer Aufgaben konfiguriert ist, soll ausdrücklich nicht nach 35 USC § 112, Absatz sechs für die Einheit/Schaltung/Komponente gedeutet werden.
  • DETAILLIERTE BESCHREIBUNG
  • Es werden verschiedene Ausführungsformen von Verfahren und Einrichtungen für eine adaptive Verarbeitung, Rendering und Anzeige von digitalem Bildinhalt, beispielsweise Video-Frames oder Video-Streams, beschrieben. Es werden Ausführungsformen von Videoverarbeitungsverfahren und -einrichtungen beschrieben, die Videodaten für die Anzeige auf einem Zielanzeigefeld adaptiv rendern können. Die adaptiven Videoverarbeitungsverfahren können verschiedene Informationen berücksichtigen, unter anderem Videoinhalte, Anzeigeeigenschaften und Umweltbedingungen, wozu unter anderem die Lichtverhältnisse und die Position von Betrachtern in Bezug auf das Anzeigefeld gehören, wenn Videoinhalte für ein Zielanzeigefeld in einem gegebenen Umfeld oder einer Umgebung verarbeitet und gerendert werden. Die adaptiven Videoverarbeitungsverfahren können diese Informationen verwenden, um eine oder mehrere Videoverarbeitungsfunktionen anzupassen, die auf die Videodaten angewendet werden (z. B. Minderung von Rauschen/Artefakten, Skalierung, Schärfung, Tonabbildung, Farbskala-Abbildung, Bildfrequenzumwandlung, Farbkorrektur, Weißpunkt- und/oder Schwarzpunktkorrektur, Farbausgleich usw.), um für das Zielanzeigefeld ein Video zu rendern, das gemäß den Umgebungsbedingungen oder Sichtverhältnissen für das Anzeigefeld adaptiert ist. Herkömmlicherweise werden Videoverarbeitungsalgorithmen für die Bildgebung mit Standarddynamikbereich (SDR) ausgelegt. Mit dem Aufkommen der Techniken, Systeme und Anzeigen für eine Bildgebung mit großem Dynamikbereich (HDR) ist ein Bedarf an Videoverarbeitungstechniken entstanden, die auf HDR abzielen. Für die HDR-Videoverarbeitung müssen mitunter bestimmte Dinge anders gehandhabt werden als bei der SDR-Videoverarbeitung. Zum Beispiel kann das HDR-Video eine aggressivere Rauschunterdrückung erfordern, aufälliger ruckeln und eine andere Schärfe und Detailtreue („Detail Enhancement”) benötigen als SDR-Video. Somit werden hierin Ausführungsformen der adaptiven Videoverarbeitungsverfahren und -einrichtungen beschrieben, die Videoverarbeitungstechniken implementieren können, die auf HDR-Bildgebung abzielen. Außerdem können Ausführungsformen auch eine Bildgebung mit breiter Farbskala (WCG) unterstützen.
  • Allgemein definiert ist ein Dynamikbereich das Verhältnis zwischen dem größt- und dem kleinstmöglichen Wert einer veränderlichen Größe, beispielsweise bei Signalen wie Ton und Licht. Bei der digitalen Bildverarbeitung ist ein Bild mit großem Dynamikbereich (HDR) ein Bild, das anhand einer HDR-Bildgebungstechnik produziert wird, die einen breiteren Bereich an Leuchtkraft produziert als mit digitalen Standard-Bildgebungstechniken möglich ist. Zum Beispiel kann ein HDR-Bild mehr Bits pro Kanal (z. B. 10, 12, 14 oder mehr Bits pro Luma- und Chroma-Kanal) oder mehr Bits für die Leuchtkraft (den Luma-Kanal) beinhalten als bei der herkömmlichen Bildverarbeitung verwendet werden (in der Regel 8 Bits pro Kanal, z. B. 8 Bits für Chroma und für Luma). Ein Bild, das anhand von digitalen Standard-Bildgebungstechniken produziert wird, kann als eines bezeichnet werden, das einen Standarddynamikbereich (SDR) aufweist und in der Regel 8 Bits pro Kanal verwendet. Allgemein definiert ist Tonabbildung eine Technik, bei der ein Satz von Bildfarbwerten (z. B. Lumawerten aus HDR-Bilddaten) einem anderen zugeordnet wird (z. B. auf SDR-Bilddaten). Tonabbildung kann beispielsweise verwendet werden, um das Aussehen von HDR-Bildern in einem Medium, das einen stärker begrenzten dynamischen Bereich aufweist (z. B. SDR), zu approximieren. Tonabbildung kann allgemein auf Luma-Bilddaten angewendet werden.
  • In manchen Ausführungsformen der hierin beschriebenen Videoverarbeitungsverfahren und -einrichtungen kann eine globale Tonabbildungstechnik (GTM-Technik) für die Umwandlung von Videoinhalt von einem Dynamikbereich auf einen anderen verwendet werden. Bei einer GTM-Technik kann eine globale Tonkurve für einen oder mehrere Video-Frames vorgegeben oder bestimmt werden und für die Umwandlung von Videoinhalt von einem Dynamikbereich auf einen anderen verwendet werden. In manchen Ausführungsformen kann anstelle von oder zusätzlich zu einer GTM-Technik eine lokale Tonabbildungstechnik (LTM-Technik) für die Umwandlung von Videoinhalt von einem Dynamikbereich auf einen anderen verwendet werden. Bei einer LTM-Technik wird ein Bild oder Frame in mehrere Regionen aufgeteilt, wobei für jede Region eine Tonkurve vorgegeben oder bestimmt wird.
  • Nach allgemeiner Definition bezeichnet Farbskala einen bestimmten Teilsatz von Farben, beispielsweise einen Teilsatz von Farben, die unter gegebenen Umständen, beispielsweise in einem bestimmten Farbraum (z. B. einem RGB-Farbraum) oder durch eine Anzeigevorrichtung exakt dargestellt werden können. Farbskala kann auch den vollständigen Satz der Farben bezeichnen, die in einem Bild vorkommen. Eine Farbskala-Abbildungstechnik kann beispielsweise verwendet werden, um die Farben, die in einem Farbraum dargestellt werden, auf einee Farbskala umzuwandeln, der in einem anderen Farbraum verwendet wird. Eine Farbskala-Abbildungstechnik (die auch als Farb- oder Chroma-Abbildung bezeichnet werden kann), kann auch auf Bilddaten (im Allgemeinen auf Chroma-Bilddaten) angewendet werden und in manchen Fällen die Farbskala eines Bildes verschmälern oder beschneiden oder alternativ dazu verwendet werden, um die Farbskala oder -bereich eines Bildes während oder nach der Tonabbildung zu korrigieren oder anzupassen.
  • In der Photometrie ist die SI-Einheit für die Luminanz Candela pro Quadratmeter (cd/m2). Candela ist die SI-Einheit für die Lichtstärke. Außerhalb des SI ist „NIT” ein Begriff für dieselbe Einheit. Lux ist die SI-Einheit für die Beleuchtungsstärke und die Lichtausstrahlung, gemessen in Lichtstrom (Lumen) pro Einheitsfläche. Lux entspricht einem Lumen pro Quadratmeter. Lumen ist die SI-abgeleitete Einheit des Lichtstroms, ein Maß für sichtbares Licht, das von einer Quelle emittiert wird.
  • Adaptive Videoverarbeitungssysteme
  • 1 zeigt eine adaptive Videoverarbeitung in einem Beispiel für ein Videoabspielsystem gemäß manchen Ausführungsformen. Ausführungsformen der adaptiven Videoverarbeitungsverfahren und -einrichtungen können beispielsweise in Videoabspielsystemen implementiert werden, die ein Server-/Codiermodul oder eine Server-/Codier-Pipeline 110 und ein Decodier-/Anzeigemodul oder eine Decodier-/Anzeige-Pipeline 130 beinhalten. Die Server-/Codier-Pipeline 110 und die Decodier-/Anzeige-Pipeline 130 können in ein und derselben Vorrichtung oder in verschiedenen Vorrichtungen implementiert werden. Die Server-Codier-Pipeline 110 kann in einer Vorrichtung oder einem System implementiert sein, das bzw. die mindestens eine Videoquelle 100, beispielsweise eine oder mehrere Videokameras, beinhaltet. Die Decodier-/Anzeige-Pipeline 130 kann in einer Vorrichtung oder einem System 120 implementiert werden, das bzw. die ein Zielanzeigefeld 140 aufweist, und das bzw. die in einem Umgebungsbereich 190 angeordnet ist. Ein oder mehrere Zuschauer 180 können sich in dem Umgebungsbereich 190 befinden. Das System 120 kann eine oder mehrere Steuerungen 160 für das Anzeigefeld 140 implementieren, beispielsweise Helligkeits- und Kontraststeuerungen. Das System 120 kann auch einen oder mehrere Sensoren 150, beispielsweise Lichtsensoren oder Kameras, beinhalten. Der Umgebungsbereich 190 kann beispielsweise ein Zimmer (Schlafzimmer, Arbeitszimmer usw.) in einem Haus, eine Außenumgebung, ein Büro oder Konferenzraum in einem Bürogebäude oder ganz allgemein jede Umgebung sein, in der ein System 120 mit einem Anzeigefeld 140 vorhanden sein kann. Der Umgebungsbereich 190 kann eine oder mehrere Lichtquellen 192, beispielsweise Lampen oder Deckenlichter, andere künstliche Lichtquellen, Fenster und, im Freien, die Sonne beinhalten. Man beachte, dass ein System 120 und/oder ein Anzeigefeld innerhalb des Umgebungsbereichs 190 bewegt oder neu positioniert werden kann bzw. können oder aus einem Umgebungsbereich 190 (z. B. einem Zimmer) in einen anderen (z. B. ein anderes Zimmer oder ins Freie) bewegt werden kann bzw. können.
  • Zumindest in manchen Ausführungsformen kann die Server-/Codier-Pipeline 110 ein eingehendes Video von einer Videoquelle 100 (z. B. von einer Videokamera oder einer Vorrichtung oder einem System, die bzw. das die Server-/Codier-Pipeline 110 beinhaltet) empfangen, das eingegebene Video gemäß einem Videokonvertierungsverfahren in ein anderes Format umwandeln, z. B. in ein komprimiertes Videoformat wie H.264/Advanced Video Coding(AVC)-Format oder H.265 High Efficiency Video Coding(HEVC)-Format, und das codierte Video in eine Decodier-/Anzeige-Pipeline 130 streamen 112. Die Decodier-/Anzeige-Pipeline 130 kann den codierten Video-Stream 112 empfangen und decodieren, um ein Anzeigevideo 132 zur Anzeige auf dem Anzeigefeld 140 zu generieren. In manchen Ausführungsformen können auch Metadaten 114, die das Codieren beschreiben, durch die Server-/Codier-Pipeline 110 für die Decodier-/Anzeige-Pipeline 130 bereitgestellt werden. Zum Beispiel können die Metadaten Informationen beinhalten, die Skala-Abbildungs- und/oder Tonabbildungsoperationen beschreiben, welche am Videoinhalt durchgeführt werden. In manchen Ausführungsformen können die Metadaten 114 von der Decodier-/Anzeige-Pipeline 130 bei der Verarbeitung des Video-Streams 112 verwendet werden, um den Inhalt des ausgehenden Anzeigevideos 132 zu generieren. Ein Videoabspielsystem, wie es in 1 dargestellt ist, kann ein oder mehrere adaptive Videoverarbeitungsverfahren und -einrichtungen, wie hierin beschrieben, implementieren, die verschiedene Informationen berücksichtigen können, die unter anderem Videoinhalte, Anzeigeinformationen 142 (z. B. Eigenschaften des Anzeigefelds 140, Steuereingaben 162, Hintergrundbeleuchtungsstärken usw.) und Umgebungsinformationen 152 (z. B. Lichtverhältnisse 192, Standort von Betrachtern 180 usw.) beinhalten, wenn sie Videoinhalte verarbeiten und für ein Zielanzeigefeld 140 in einem Umfeld oder einer Umgebung 190 rendern. Die adaptiven Videoverarbeitungsverfahren und -einrichtungen können diese Informationen verwenden, die sie von einem oder mehreren Sensoren 150, dem Anzeigefeld 140 oder von anderen Quellen abfragen bzw. erhalten, um eine oder mehrere Videoverarbeitungsfunktionen anzupassen, die auf die Videodaten angewendet werden (z. B. Minderung von Rauschen/Artefakten, Skalierung, Schärfung, Tonabbildung, Farbskala-Abbildungstechnik, Bildfrequenzumwandlung, Farbkorrektur, Weißpunkt- und/oder Schwarzpunktkorrektur, Farbausgleich usw.), um für das Zielanzeigefeld 140 ein Video zu rendern, das für Eigenschaften des Anzeigefelds 140 und an herrschende Betrachtungsbedingungen in der Umgebung 190 adaptiert ist.
  • In manchen Ausführungsformen kann eine adaptive Videoverarbeitung für ein Zielanzeigefeld 140 in oder von einer Decodier-/Anzeige-Pipeline 130 implementiert werden. Diese Ausführungsformen können als anzeigeseitige, adaptive Videoverarbeitungssysteme bezeichnet werden. In manchen Ausführungsformen kann eine adaptive Videoverarbeitung für ein Zielanzeigefeld 140 in einer oder durch eine Server-/Codier-Pipeline 110 implementiert werden. Diese Ausführungsformen können als serverseitige, adaptive Videoverarbeitungssysteme bezeichnet werden. In manchen Ausführungsformen können manche adaptiven Videoverarbeitungsfunktionen von der Server-/Codier-Pipeline 110 vor dem Streaming des codierten Videos in die Decodier-/Anzeige-Pipeline 130 durchgeführt werden, wobei von der Decodier-/Anzeige-Pipeline 130 eine zusätzliche, adaptive Videoverarbeitung durchgeführt wird.
  • Ausführungsformen der adaptiven Videoverarbeitungsverfahren und -einrichtungen, einschließlich unter anderem der hierin beschriebenen Komponenten der Server-/Codier-Pipeline 110 und der Komponenten der Decodier-/Anzeige-Pipeline 130, können beispielsweise in Vorrichtungen und Systemen implementiert sein, die eine oder mehrere Bildaufnahmevorrichtungen und/oder eine oder mehrere Anzeigevorrichtungen beinhalten.
  • Eine Bildaufnahmevorrichtung kann jede Vorrichtung sein, die einen optischen Sensor oder einen Lichtsensor aufweist, der in der Lage ist, digitale Bilder oder Video aufzunehmen. Bildaufnahmevorrichtungen können unter anderem, ohne jedoch darauf beschränkt zu sein, Videokameras und Standbildkameras beinhalten, ebenso wie Bildaufnahmevorrichtungen, die sowohl Video als auch Einzelbilder aufnehmen können. Bildaufnahmevorrichtungen können eigenständige Vorrichtungen sein oder können Kameras sein, die in andere Vorrichtungen integriert sind, unter anderem in Smartphones, Mobiltelefonen, PDAs, Tablet- oder Pad-Vorrichtungen, multifunktionellen Vorrichtungen, Rechenvorrichtungen, Laptop-Computern, Notebook-Computern, Netbook-Computern, Desktop-Computern und so weiter. Man beachte, dass Bildaufnahmevorrichtungen Kameras mit kleinem Formfaktor beinhalten können, die sich für die Verwendung in kleinen Vorrichtungen wie Mobiltelefonen, PDAs und Tablet-Vorrichtungen eignen. Die 15 bis 19 zeigen nichtbeschränkende Beispiele, die hierin beschriebene Bildaufnahmevorrichtungen oder Kameras beinhalten können.
  • Anzeigen oder Anzeigevorrichtungen können Bildschirme oder Anzeigefelder beinhalten, die in andere Vorrichtungen integriert sind, unter anderem in Smartphones, Mobiltelefonen, PDAs, Tablet- oder Pad-Vorrichtungen, multifunktionellen Vorrichtungen, Rechenvorrichtungen, Laptop-Computern, Notebook-Computern, Netbook-Computern, Desktop-Computern und so weiter. Anzeigevorrichtungen können auch Videomonitore, Projektoren oder ganz allgemein jede Vorrichtung beinhalten, die digitale Bilder und/oder digitales Video anzeigen oder projizieren kann. Die Anzeigen oder Anzeigevorrichtungen können eine LCD-Technologie (Flüssigkristallanzeigetechnologie), LPD-Technologie (Leuchtpolymeranzeigetechnologie) oder LED-Technologie (Leuchtdiodentechnologie) verwenden, wenngleich auch andere Anzeigetechnologien verwendet werden können. Ausführungsformen der adaptiven Videoverarbeitungsverfahren und -einrichtungen werden allgemein als solche beschrieben, die das Aufnehmen, Verarbeiten, Codieren, Verteilen und Anzeigen von HDR-Videodaten an HDR-fähigen Anzeigevorrichtungen unterstützen. Außerdem können Ausführungsformen auch eine Bildgebung mit breiter Farbskala (WCG) unterstützen. Jedoch können Ausführungsformen hierin beschriebener, adaptiver Videoverarbeitungsverfahren und -einrichtungen auch mit Anzeigevorrichtungen verwendet werden, die keine HDR-Bildgebung unterstützen. Außerdem können manche Ausführungsformen das Anzeigen von Videodaten mit Standarddynamikbereich (SDR) an HDR-fähigen Anzeigevorrichtungen und/oder an Anzeigevorrichtungen, die eine HDR-Bildgebung nicht unterstützen, unterstützen. Ausführungsformen der adaptiven Videoverarbeitungsverfahren und -einrichtungen werden hierin allgemein als solche beschrieben, die Video-Frames oder -Sequenzen verarbeiten. Jedoch können Ausführungsformen angewendet werden, um anstelle von oder zusätzlich zu Video-Frames oder -Sequenzen Einzel- oder Standbilder ebenso wie andere digitale Bilder zu verarbeiten. Daher sei klargestellt, dass, wenn hierin „Video”, „Video-Frame”, „Frame” oder dergleichen verwendet werden, diese Begriffe digitale Bilder allgemein bezeichnen können.
  • Die 15 bis 19 zeigen nicht-beschränkende Beispiele für Vorrichtungen, in denen Ausführungsformen der adaptiven Videoverarbeitungsverfahren und -einrichtungen implementiert werden können. Eine Vorrichtung oder ein System, das eine Bildaufnahmevorrichtung und/oder Anzeigevorrichtung aufweist, kann Hardware und/oder Software beinhalten, die mindestens manche der hierin beschriebenen Funktionen zur Verarbeitung von Videodaten implementiert. In manchen Ausführungsformen kann ein Teil der hierin beschriebenen Funktionen an einer Vorrichtung implementiert sein, während ein anderer Teil an einer anderen Vorrichtung implementiert sein kann. Zum Beispiel kann in manchen Ausführungsformen eine Vorrichtung, die eine Bildaufnahmevorrichtung beinhaltet, eine Sensor-Pipeline implementieren, die Bilder oder Video, die über einen Lichtsensor aufgenommen worden sind, verarbeitet und komprimiert (d. h. codiert), während eine andere Vorrichtung, die ein Anzeigefeld oder einen Bildschirm beinhaltet, eine Anzeige-Pipeline implementieren kann, welche die komprimierten Bilder empfängt und zur Anzeige auf dem Anzeigefeld oder dem Bildschirm verarbeitet (d. h. decodiert). In manchen Ausführungsformen kann mindestens ein Teil der hierin beschriebenen Funktionen durch eine oder mehrere Komponenten oder ein oder mehrere Module eines Systems auf einem Chip (SOC) implementiert werden, das in Vorrichtungen verwendet werden kann, die unter anderem Multifunktionsvorrichtungen, Smartphones, Pad- oder Tablet-Vorrichtungen und andere tragbare Rechenvorrichtungen wie Laptop-, Notebook- und Netbook-Computer beinhalten. 15 zeigt ein Beispiel für SOC, und 16 zeigt ein Beispiel für die Implementierung eines SOC. 17 zeigt ein Beispiel für Computersysteme, in dem die hierin beschriebenen Verfahren und Einrichtungen implementiert sein können. 18 und 19 zeigen Beispiele für Multifunktionsvorrichtungen, in denen die hierin beschriebenen Verfahren und Einrichtungen implementiert werden können.
  • Anzeigeseitige, adaptive Videoverarbeitung
  • Wie in 1 dargestellt ist, kann in manchen Ausführungsformen eine adaptive Videoverarbeitung für ein Zielanzeigefeld 140 in oder von einer Decodier-/Anzeige-Pipeline 130 implementiert werden. Diese Ausführungsformen können als anzeigeseitige, adaptive Videoverarbeitungssysteme bezeichnet werden. Die Decodier-/Anzeige-Pipeline 130 kann beispielsweise in einer Vorrichtung oder einem System 120 implementiert werden, das bzw. die ein Zielanzeigefeld 140 aufweist und das bzw. die in einem Umgebungsbereich 190 angeordnet ist.
  • 5 ist ein Ablaufschema eines Verfahrens für eine anzeigeseitige, adaptive Videoverarbeitung in einer Decodier-/Anzeige-Pipeline gemäß manchen Ausführungsformen. Wie bei 500 in 5 dargestellt ist, kann eine Decodier-/Anzeige-Pipeline einen codierten Video-Stream für ein Zielanzeigefeld empfangen und decodieren. Zum Beispiel können codierte HDR-Videodaten von einer Server-/Codier-Pipeline her an der Decodier-/Anzeige-Pipeline empfangen werden; das Zielanzeigefeld kann eine HDR-fähige Anzeigevorrichtung sein. Die Videodaten können beispielsweise gemäß einem komprimierten Videoformat wie einem H.264/AVC- oder H.265/HEVC-Format codiert werden. Eine Decodierkomponente der Decodier-/Anzeige-Pipeline kann das codierte Video decodieren, um decodierten HDR-Videoinhalt zu erzeugen. Wie bei 502 von 5 angegeben ist, können eine oder mehrere Eigenschaften des decodierten Videoinhalts bestimmt werden. Zum Beispiel kann in manchen Ausführungsformen der decodierte Videoinhalt analysiert werden, um Intra-Frame- und/oder Inter-Frame-Eigenschaften des Videos zu bestimmen, beispielsweise Luminanzeigenschaften (z. B. Dynamikbereich), Farbeigenschaften (z. B. Farbskala), Bewegung zwischen Einzelbildern bzw. Frames, Glanzlichteffekte, Kontrast, helle und dunkle Regionen und so weiter.
  • Wie bei 504 in 5 angegeben ist, können eine oder mehrere Anzeigeeinheiten für das angesteuerte Anzeigefeld abgefragt werden. Die Anzeigeeigenschaften können unter anderem eine oder mehrere der Folgenden beinhalten: gemessene Antwort, Anzeigeformat, Dynamikbereich der Anzeige, Bittiefe, Hintergrundlichtpegel, Weißpunkt, Streulicht durch schwarze Pixel, Reflektivität, lokales Verstärken oder Abbilden von Kontrasten, aktuelle Anzeigesteuereinstellungen und so weiter.
  • Wie bei 506 von 5 angegeben ist, können Umgebungsinformationen abgefragt werden. Zum Beispiel kann in manchen Ausführungsformen eine Vorrichtung, die das Anzeigefeld aufweist, einen oder mehrere nach vorne oder nach hinten gerichtete Sensoren (z. B. Kameras, Lichtsensoren usw.) beinhalten, die verwendet werden können, um Daten aus dem Umgebungsbereich zu gewinnen; die gewonnenen Daten können analysiert werden, um einen oder mehrere Umgebungsmesswerte zu bestimmen. Die Umgebungsmesswerte können unter anderem verschiedene Messwerte in Bezug auf die Lichtverhältnisse und Messwerte in Bezug auf einen Betrachter beinhalten, beispielsweise die Position von Betrachtern in Bezug auf das Anzeigefeld, die Größe des Anzeigefelds und den Abstand zum Anzeigefeld. Die gemessenen Werte für die Lichtverhältnisse können beispielsweise Messwerte des Lichtes, das auf das Anzeigefeld fällt, die Stärke von Lichtreflexionen vom Anzeigefeld und Messwerte (z. B. Helligkeit, Farbe, Weißpunkt usw.) in Bezug auf das Sichtfeld (oder den Hintergrund), auf das (bzw. den) der Betrachter/Anwender blickt, beinhalten.
  • Wie bei 508 von 5 angegeben ist, kann die Decodier-/Anzeige-Pipeline das decodierte Video entsprechend dem Inhalt, den Anzeigeeigenschaften und den aktuellen Umgebungsinformationen verarbeiten, um ein Video zu erzeugen, das für das Anzeigefeld und die aktuelle Umgebung adaptiert ist. In manchen Ausführungsformen können auf Basis der Inhaltseigenschaften, Anzeigeeigenschaften und der Umgebungsmessgrößen eine oder mehrere Videoverarbeitungsfunktionen der Decodier-/Anzeige-Pipeline (beispielsweise Minderung von Rauschen/Artefakten, Skalierung und Schärfung, Bildfrequenzumwandlung, Anzeigesteuerung, Skala- und Tonabbildung usw.) angepasst werden, um den decodierten HDR-Videoinhalt für die Anzeige auf dem Zielanzeigefeld zu adaptieren. Wie bei 510 in 5 angegeben ist, kann das verarbeitete Video auf dem Zielanzeigefeld angezeigt werden.
  • Auch wenn dies in 5 nicht dargestellt ist, kann die Decodier-/Anzeige-Pipeline in manchen Ausführungsformen eine Compositing-Komponente beinhalten, die andere digitale Informationen wie Text mit gestreamtem Videoinhalt zusammenführt. In manchen Ausführungsformen kann die Decodier-/Anzeige-Pipeline das eingegebene Video für ein Compositing vor dem Element 508 von 5 in einen linearen Farbraum (z. B. einen linearen RGB- oder YCC-Farbraum) überführen. Die Ausgabe der Compositing-Komponente kann dann entsprechend dem Inhalt, den Anzeigeeigenschaften und den aktuellen Umgebungsinformationen verarbeitet werden, um das Video zu erzeugen, das für das Zielanzeigefeld und die aktuelle Umgebung adaptiert ist.
  • Die Elemente von 5 werden ausführlicher unter Bezugnahme auf die 1 bis 4 beschrieben.
  • Es wird erneut auf 1 Bezug genommen, wo gezeigt ist, dass in Ausführungsformen von anzeigeseitigen, adaptiven Videoverarbeitungssystemen die Decodier-/Anzeige-Pipeline 130 einen codierten Video-Stream 112 erhalten kann, Informationen 142A und Umgebungsinformationen 152A anzeigen kann und unter anderem eine oder mehrere der Folgenden berücksichtigen kann: Videoinhalt, Eigenschaften des Anzeigefelds, Standort eines Betrachters 180 in Bezug auf das angesteuerte Anzeigefeld, Lichtverhältnisse 192 und andere Bedingungen in der Umgebung 190 am Anzeigefeld 140, wenn sie die HDR-Videoverarbeitung durchführt. Codierte HDR-Videodaten 112 können von einer Server-/Codier-Pipeline 110 her an der Decodier-/Anzeige-Pipeline 130 empfangen und decodiert werden. In manchen Ausführungsformen können die decodierten Videodaten analysiert werden, um zum Beispiel Luminanzeigenschaften (z. B. Dynamikbereich), Farbeigenschaften (z. B. Farbbereich), Bewegung zwischen Frames, Glanzlichteffekte, Kontrast, helle und dunkle Regionen und so weiter zu bestimmen. Auf Basis der Analyse des Videoinhalts können eine oder mehrere Videoverarbeitungsfunktionen der Decodier-/Anzeige-Pipeline 130 (z. B. Minderung von Rauschen/Artefakten, Skalierung und Schärfung, Bildfrequenzumwandlung, Anzeigesteuerung usw.) angepasst werden, um den decodierten Videoinhalt für die Anzeige auf dem Zielanzeigefeld 140 zu adaptieren. In manchen Ausführungsformen können eine oder mehrere Anzeigeeigenschaften (z. B. Anzeigeformat, Dynamikbereich, Bittiefe, Hintergrundlichtstärke, Weißpunkt, aktuelle Steuerungseinstellungen 160 usw.) des Zielanzeigefelds 140 für die Anpassung der Videoverarbeitungsfunktionen ebenfalls berücksichtigt werden.
  • In manchen Ausführungsformen können die Videoverarbeitungsfunktionen stattdessen oder außerdem gemäß der Analyse einer oder mehrerer aktueller Umgebungsbedingungen des Anzeigefelds, die von einem oder mehreren Sensoren 150 (z. B. Kameras, Lichtsensoren usw.) an oder in der Nähe des Anzeigefelds 140 erfasst wird bzw. werden, dynamisch angepasst werden, um das angezeigte Video dynamisch an die aktuelle Umgebung 190 anzupassen. In manchen Ausführungsformen können die Videoverarbeitungsfunktionen mindestens zum Teil auf Basis einer oder mehrerer Eigenschaften von Betrachtern 180, beispielsweise eines Standorts, eines Abstands und eines Betrachtungswinkels in Bezug auf das Anzeigefeld 140, die von dem bzw. den Sensoren 150 erfasst werden, angepasst werden. In manchen Ausführungsformen können Informationen 152A über die Umgebung 190 des Anzeigefelds 140, beispielsweise über die Stärke des Umgebungslichts 192, über den Sensor bzw. die Sensoren 150 erhalten werden, und die Videoverarbeitungsfunktionen können angepasst werden, um das Anzeigevideo zumindest zum Teil auf Basis der erhaltenen Umgebungsinformationen 152A für die Umgebung 190 zu adaptieren.
  • In manchen Ausführungsformen können andere Informationen erhalten und verwendet werden, um die Verarbeitung von Video in der Decodier-/Anzeige-Pipeline 130 anzupassen, um das angezeigte Video auf die Stimmung oder die Betrachtungsabsichten des Betrachters auszurichten, die als Betrachtungsmodus bezeichnet werden können. Zum Beispiel können in manchen Ausführungsformen Beleuchtung, Standort, Tageszeit, Biometriewerte und/oder andere Daten verwendet werden, um automatisch einen Betrachtungsmodus für das Video zu bestimmen. Der bestimmte Betrachtungsmodus kann dann verwendet werden, um eine oder mehrere der Videoverarbeitungsfunktionen anzupassen, um das angezeigte Video für den Betrachtungsmodus zu adaptieren. Betrachtungsmodi können von einem ruhigen oder entspannten Betrachtungsmodus bis zu einem Kino- oder dynamischen Betrachtungsmodus reichen. In manchen Ausführungsformen kann stattdessen oder zusätzlich dazu eine Benutzereingabe (z. B. über eine Anzeigefeldsteuerung, Fernsteuerung, Smartphone-App usw.) für die Bestimmung oder Anpassung des Betrachtungsmodus verwendet werden.
  • In manchen Ausführungsformen können zusätzlich zur Durchführung einer anzeigeseitigen, adaptiven Videoverarbeitung in einer Decodier-/Anzeige-Pipeline 130, wie oben beschrieben, zumindest manche Umgebungsinformationen 152B und/oder Anzeigeinformationen 142B, die vom System 120 gewonnen werden, aufwärts an eine Server-/Codier-Pipeline 110 in einem Videoabspielsystem geschickt werden. Die Server-/Codier-Pipeline 110 kann dann unter anderem eine oder mehrere der Folgenden berücksichtigen: Eigenschaften des Anzeigefelds 140, Standort eines Betrachters 180 in Bezug auf das Zielanzeigefeld, Lichtverhältnisse 192 und andere Bedingungen in der Umgebung 190 des Anzeigefelds 140, wenn sie Videoinhalt, der von der Quelle 100 her erhalten wird, verarbeitet und codiert, um einen codierten Video-Stream 112 zu erzeugen. Zum Beispiel kann die Decodier-/Anzeige-Pipeline 130 in manchen Ausführungsformen in Livestreaming, Aufzeichnungs- oder Videoaufnahmeumgebungen verwendet werden, und das System 120 kann eine oder mehrere anzeigeseitige Messwerte 142B und 152B in die Server-/Codier-Pipeline 110 einspeisen, so dass die Pipeline 110 demgemäß eine oder mehrere Codierfunktionen adaptieren oder anpassen kann, wenn sie eingegebenen Videoinhalt von der Quelle 100 verarbeitet, um den codierten Video-Stream 112 zu erzeugen.
  • Die 2 bis 4 zeigen ein Beispiel für anzeigeseitige Komponenten und Pipelines, die adaptive Videoverarbeitungsverfahren wie hierin beschrieben implementieren können.
  • 2 ist ein Blockdiagramm, das grafisch die Anwendung von adaptiven Videoverarbeitungsverfahren in einem Beispiel für einen Decodier-/Anzeige-Pipelineprozess gemäß manchen Ausführungsformen darstellt. Man beachte, dass
  • 2 ein Beispiel für eine Decodier-/Anzeige-Pipeline 210 auf einer hohen, funktionalen Ebene zeigt und nicht als Beschränkung aufgefasst werden soll. In diesem Beispiel implementiert die Pipeline 210 Funktionen einer Rausch-/Artefaktreduzierung 212, einer Skalierung und Schärfung 214, einer Bildfrequenzumwandlung 216 und einer Anzeigesteuerung 218. Die Pipeline 210 verarbeitet eingegebenes Video 200, um angezeigtes Video 232 als Ausgabe zu erzeugen. Wie in 2 dargestellt ist, können Informationen, die Eigenschaften des Inhalts des Videos 200, Eigenschaften des Anzeigefelds 240 und Umgebungsbedingungen beinhalten, die unter anderem eine Betrachterposition und Lichtverhältnisse beinhalten, in eine oder mehrere Stufen der Pipeline 210 eingegeben und darin verwendet werden, um den Videoinhalt für die Anzeige auf dem Zielanzeigefeld 240 unter aktuellen Umgebungsbedingungen adaptiv zu rendern. In zumindest manchen Ausführungsformen kann eine Decodier-/Anzeige-Pipeline 210 dafür ausgelegt sein, ein eingegebenes HDR-Video 200 zu verarbeiten, um ein HDR-Anzeigevideo 232 für ein Zielanzeigefeld 240 zu erzeugen. Jedoch kann eine Decodier-/Anzeige-Pipeline 210 stattdessen oder zusätzlich dazu dafür ausgelegt sein, ein eingegebenes SDR-Video 200 zu verarbeiten, um eine SDR-Anzeigeausgabe 232 zu erzeugen.
  • Für die HDR-Videoverarbeitung mag es bestimmte Dinge geben, die anders gehandhabt werden müssen als mit normalem (SDR) Video. In der Regel wird bei einem helleren Bild ein Rauschen in Schatten- oder dunklen Region sichtbarer. Somit muss möglicherweise von einer Decodier-/Anzeige-Pipeline 210 bei der HDR-Videoverarbeitung eine aggressivere Rausch-/Artefaktreduzierung 212 durchgeführt werden. Außerdem kann bei einem helleren Bild und bei Bewegung mehr Ruckeln in HDR-Video-Frames vorhanden sein, was möglicherweise als Unschärfe wahrgenommen wird, weil dies für das menschliche Auge nur schwer nachzuverfolgen ist. Somit kann es sein, dass bei einer HDR-Videoverarbeitung in einer Decodier-/Anzeige-Pipeline 210 eine Skalierung und Schärfung 214 und eine Bildfrequenzumwandlung 216 anders durchgeführt werden müssen als bei der SDR-Videoverarbeitung.
  • Herkömmlicherweise werden Videoverarbeitungs-Pipelines über Benutzereingaben an verschiedenen Steuerungen oder Benutzeroberflächenelementen (UI-Elementen) gesteuert und können nicht dynamisch für Messwerte wie Videoinhalt, Anzeigeeigenschaften, Betrachtungsabstand und -winkel von Personen und Umgebungslichtbedingungen adaptiert werden, wenn Video für eine Anzeige gerendert wird. Wie in 2 gezeigt ist, können Ausführungsformen einer Decodier-/Anzeige-Pipeline 210 Messwerte, die aus dem Inhalt von eingegebenem Video 200, dem Anzeigefeld 240 und der Umgebung gewonnen oder erzeugt werden (unter anderem die Betrachterposition und Umgebungsbedingungen wie die Lichtverhältnisse), nutzen, um Videoinhalt für die Anzeige in verschiedenen Betrachtungsumgebungen und -bedingungen dynamisch zu adaptieren. Außerdem können die Messwerte verwendet werden, um eine HDR-Videoverarbeitung in Videoverarbeitungsfunktionen oder -modulen zu optimieren, unter anderem in Funktionen oder Modulen für die Rausch-/Artefaktreduzierung 212, die Skalierung und Schärfung 214, die Bildfrequenzumwandlung 216 und die Anzeigesteuerung 218.
  • Wie in 2 dargestellt ist, können eingegebene Daten eines Videos 200 in einen Block oder ein Modul für Inhaltseigenschaften 220 eingespeist werden. Das Modul 220 kann den Videoinhalt analysieren, um beispielsweise die Breite des Dynamikbereichs, das Ausmaß von Bewegungen von Frame zu Frame oder von Szene zu Szene, Farbumfänge, Glanzlichteffekte, Kontrast, helle und dunkle Regionen usw. zu bestimmen. Außerdem können eine oder mehrere Anzeigeeigenschaften 230 für das Zielanzeigefeld 240 ermittelt werden. Die Anzeigeeigenschaften 230 können unter anderem eine oder mehrere der Folgenden beinhalten: gemessene Antwort, Anzeigeformat, Dynamikbereich der Anzeige, Bittiefe, Hintergrundlichtpegel, Weißpunkt, Streulicht durch schwarze Pixel, Reflektivität, lokales Verstärken oder Abbilden von Kontrasten, aktuelle Anzeigesteuereinstellungen und so weiter.
  • Zumindest auf Basis der Analyse des Videoinhalts und der Anzeigeeigenschaften können bestimmte Steuerungen bestimmt werden und jeweils in verschiedene von den Videoverarbeitungsmodulen eingehen (z. B. Rausch-/Artefaktreduzierung 212, Skalierung und Schärfung 214, Bildfrequenzumwandlung 216 und Anzeigesteuerung 218), um entsprechend die Verarbeitung des eingegebenen Videos 200 anzupassen, um ein HDR-Anzeigevideo 232 für das Zielanzeigefeld 240 zu erzeugen.
  • Ein wichtiger Faktor, der für die HDR-Videoverarbeitung berücksichtigt werden muss, ist die menschliche Wahrnehmung. Wenn der Betrachtungsabstand/-winkel einer Person bekannt ist, kann der Eindruck für den Betrachter auf verschiedene Weise verbessert werden. So kann eine Vorrichtung einen oder mehrere Sensoren 250 und Software/Hardware (Betrachterpositionsmodul 260) zum Erfassen und Analysieren des Standorts, des Abstands und des Betrachtungswinkels einer Person (eines Betrachters) beinhalten. Diese Informationen können von einem oder mehreren der Module in der Pipeline 210 genutzt werden, um die Anzeige des HDR-Videoinhalts gemäß dem Standort des Betrachters zu adaptieren. Wenn ein Bild geschärft wird, kann das Bild beispielsweise schlecht aussehen, wenn sich der Betrachter sehr nahe am Anzeigefeld 240 befindet. Somit kann die Schärfung verringert werden, wenn erfasst wird, dass sich der Betrachter relativ nahe am Anzeigefeld 240 befindet.
  • Zusätzlich zur Position des Betrachters können auch andere Umgebungsinformationen, unter anderem die Lichtverhältnisse, wichtig sein für die HDR-Videoverarbeitung. Wenn Umgebungsbedingungen bekannt sind, kann der Eindruck für den Betrachter auf verschiedene Weise verbessert werden. So kann eine Vorrichtung einen oder mehrere Sensoren 250 und Software/Hardware (Umgebungsbedingungsmodul 270) zum Erfassen und Analysieren von in der Umgebung herrschenden Lichtverhältnissen beinhalten. Diese Informationen können von einem oder mehreren der Module in der Pipeline 210 genutzt werden, um die Anzeige des HDR-Videoinhalts gemäß den Umgebungsverhältnissen zu adaptieren. Wenn eine Tonabbildung und/oder Skala-Abbildung auf den für die Anzeige bestimmten Videoinhalt angewendet wird, kann die Abbildung auf Basis einer Analyse der aktuellen Lichtverhältnisse dynamisch angepasst werden.
  • Somit werden Ausführungsformen einer Decodier-/Anzeige-Pipeline 210 beschrieben, die Videoinhalte, Anzeige- und Umgebungsmesswerte gewinnen und analysieren können und diese Informationen verwenden können, um die Verarbeitung von Inhalten des eingegebenem HDR-Videos 200 in der Pipeline 210 anzupassen, um ein ausgegebenes Anzeigevideo 232 zu erzeugen, das an aktuelle Bedingungen an einem Zielanzeigefeld 240 angepasst ist. In manchen Ausführungsformen der Decodier-/Anzeige-Pipeline 210 können die Gewinnung und die Analyse der verschiedenen Messwerte und die Anpassung der Videoverarbeitungsmodule in der Pipeline, um die Anzeige an die herrschenden Verhältnisse anzupassen, automatisch, ohne Eingriff durch einen Menschen durchgeführt werden, um dynamisch und automatisch ein verbessertes oder optimales Betrachtungserlebnis zu ermöglichen. Änderungen an den Bedingungen (z. B. Betrachterposition, Umgebungslicht, Videoinhalt, Anzeigeeigenschaften, Anzeigeeinstellungen usw.) können automatisch erfasst und verwendet werden, um das Rendern und Anzeigen von HDR-Videoinhalt in Echtzeit oder Nahe-Echtzeit antwortend anzupassen.
  • Die 3 und 4 stellen Komponenten eines Beispiels für eine Decodier-/Anzeige-Pipeline dar, die eine anzeigeseitige Verarbeitung von Videoinhalt durchführen kann und die Ausführungsformen der anzeigeseitigen, adaptiven Videoverarbeitungsverfahren implementieren kann, die mit Bezug auf die 1 und 2 beschrieben worden sind.
  • 3 zeigt ein Beispiel für eine Decodier-/Anzeige-Pipeline, die eine adaptive Videoverarbeitung durchführen kann, gemäß manchen Ausführungsformen. Ein System 300 kann unter anderem ein Anzeigefeld 340, eine Decodier-/Anzeige-Pipeline 310 und einen oder mehrere Sensoren 350 beinhalten. Die Decodier-/Anzeige-Pipeline 310 kann unter anderem eine Komponente oder ein Modul in Form eines Decodierers 312, eine Komponente oder ein Modul in Form einer Video-Pipe 314, eine Komponente oder ein Modul für eine Bildfrequenzumwandlung 316, eine Komponente oder ein Modul in Form einer Anzeige-Pipe 320 und eine Komponente oder ein Modul in Form eines Anzeige-Backend 330 beinhalten. Wie in 2 dargestellt ist, kann die Video-Pipe 314 Funktionen einer Rausch-/Artefaktreduzierung 212 und einer Skalierung/Schärfung 214 durchführen, und ein Modul für eine Bildfrequenzumwandlung 316 kann Bildfrequenzumwandlungsfunktionen durchführen. Die in 2 dargestellte Anzeigesteuerung 218 kann eine Komponente in Form einer Anzeige-Pipe 320 und eine Komponente in Form eines Anzeige-Backend 330 beinhalten. 4 zeigt ein Beispiel für eine Anzeige-Pipe und ein Anzeige-Backend.
  • Wie in 3 dargestellt ist, kann ein codierter HDR-Video-Stream (z. B. ein codierter H.264/AVC- oder H.265/HEVC-Video-Stream) an einer Komponente empfangen werden, die einen Decodierer 312 einer Decodier-/Anzeige-Pipeline 310 darstellt. Der Decodierer 312 kann das eingegebene Video decodieren/dekomprimieren, um einen HDR-Videoinhalt zu erzeugen, der in eine Video-Pipe 314 eingespeist wird. Die Video-Pipe 314 kann Videoverarbeitungsaufgaben an dem Videoinhalt durchführen, die unter anderem eine Rausch-/Artefaktreduzierung, Skalierung, Schärfung und Farbverarbeitung beinhalten. In manchen Ausführungsformen kann eine Bildfrequenzumwandlungskomponente 316 durch Erzeugen eines oder mehrerer Video-Zwischenframes zwischen vorhandenen Frames das von der Video-Pipe 314 ausgegebene Video in eine höhere Bildfrequenz umwandeln. Die Umwandlung in eine höhere Bildfrequenz kann beispielsweise dabei helfen, ein Ruckeln zu kompensieren, das in HDR-Video auftreten kann. Die Ausgabe der Bildfrequenzumwandlungskomponente 316 kann in eine Anzeige-Pipe 320 eingespeist werden, die Videoverarbeitungsaufgaben durchführen kann, die unter anderem eine Skalierung, Farbraumumwandlung(en), Farbskala-Abbildung und Tonabbildungg beinhaltet. Dann kann ein Anzeige-Backend 330 zusätzliche Videoverarbeitungsaufgaben durchführen, die unter anderem Anpassungen von Farbe (Chroma) und Farbdynamik (Luma), Anpassungen der Hintergrundbeleuchtung, eine Gammakorrektur, eine Weißpunktkorrektur, eine Schwarzpunktkorrektur und ein räumlich-zeitliches Dithering bzw. eine Fehlerdiffusion beinhalten, um ein Anzeigevideo 332 zu erzeugen, das an ein Zielanzeigefeld 340 ausgegeben wird. Wie in 3 dargestellt ist, kann ein dekomprimierter Videoinhalt durch ein Modul zur Videoinhaltsanalyse 370 verarbeitet werden, um Videoinhaltsinformationen 372 zu erzeugen. Außerdem können Anzeigeinformationen 342 für das Zielanzeigefeld 340 ermittelt werden. Außerdem können Umgebungsinformationen 352, unter anderem Messwerte in Bezug auf einen Betrachter (z. B. dessen Standort) und Messwerte in Bezug auf Umgebungsverhältnisse (z. B. Messwerte in Bezug auf die Lichtverhältnisse) erhalten werden, beispielsweise über einen oder mehrere Sensoren 350, die an oder nahe am Anzeigefeld 340 angeordnet sind. Die Videoinhaltsinformationen 372, die Anzeigeinformationen 342 und/oder die Umgebungsinformationen 352 können in eine oder mehrere Komponenten oder in eines oder mehrere Module in der Decodier-/Anzeige-Pipeline 310 eingegeben werden und verwendet werden, um eine oder mehrere von den Videoverarbeitungsfunktionen, die von dem/den Modul(en) durchgeführt werden, gemäß den Informationen dynamisch anzupassen. Somit können aktuelle Bedingungen (z. B. Betrachterposition, Umgebungslicht, Videoinhalt, Anzeigeeigenschaften, Anzeigeeinstellungen usw.) erfasst, analysiert und verwendet werden, um das Rendern und Anzeigen von HDR-Videoinhalt in Echtzeit oder Nahe-Echtzeit dynamisch für ein Zielanzeigefeld 340 zu adaptieren. Auch wenn dies in 3 nicht dargestellt ist, kann die Decodier-/Anzeige-Pipeline 310 in manchen Ausführungsformen eine Compositing-Komponente beinhalten, die andere digitale Informationen wie Text mit gestreamtem Videoinhalt zusammenführt. In manchen Ausführungsformen kann die Decodier-/Anzeige-Pipeline 310 das eingegebene Video für ein Compositing in einen linearen Farbraum (z. B. einen linearen RGB- oder YCC-Farbraum) überführen. Die Ausgabe der Compositing-Komponente kann dann für die Anzeige und die Umgebungsverhältnisse adaptiert werden, wie hierin beschrieben.
  • 4 zeigt ein Beispiel für eine Anzeige-Pipe 420 und ein Anzeige-Backend 430, die eine anzeigeseitige, adaptive Videoverarbeitung durchführen können, gemäß manchen Ausführungsformen. Die Ausgabe einer Video-Pipe kann, wie in 3 dargestellt, in eine Anzeige-Pipe 420 eingespeist werden, die eine vertikale und horizontale Skalierung 422 durchführen kann, um die Video-Frames in die Auflösung des angesteuerten Anzeigefelds umzuwandeln. Dann kann eine Farbraumumwandlung 424 durchgeführt werden, um den skalierten Videoinhalt vom Farbraum des eingegebenen Videoinhalts (z. B. einem RGB-, YCC- oder XYZ-Farbraum) in einen anderen Farbraum (z. B. einen YCC-Farbraum) umzuwandeln. Dann kann eine Farbskala-Abbildung 426 an dem Videoinhalt durchgeführt werden, um die Farbkomponente (Chroma) des Videoinhalts an die Farbskala des Zielanzeigefelds anzupassen. Dann kann eine andere Farbraumumwandlung 424 durchgeführt werden, um den Videoinhalt in den Farbraum des Anzeige-Backend 430 (z. B. einen RGB-Farbraum) umzuwandeln. Der von der Anzeige-Pipe 420 verarbeitete Videoinhalt wird dann an einem Anzeige-Backend 430 bereitgestellt.
  • Das Anzeige-Backend 430 kann zusätzliche, anzeigefeldspezifische Videoverarbeitungsaufgaben an dem Videoinhalt durchführen. In manchen Ausführungsformen eines Anzeige-Backend 430 kann eine Komponente für eine umgebungsadaptive Pixelanpassung 431 Pixelwerte im Videoinhalt als Reaktion auf Umgebungsbedingungen anpassen, die unter anderem einen oder mehrere Messwerte in Bezug auf die Lichtverhältnisse beinhalten. In manchen Ausführungsformen kann eine umgebungsadaptive Pixelanpassung 431 die Anpassung der Chroma-(Farb-) und Luma-(Luminanz-)Komponenten des Videoinhalts separat anpassen, beispielsweise in einem YCC-Farbraum. In manchen Ausführungsformen können Skala-Abbildungs- und Tonabbildungstechniken verwendet werden, um die Pixelwerte gemäß den Umgebungsverhältnissen anzupassen. Zum Beispiel können Kurven oder Übertragungsfunktionen, die für eine Skala- oder Tonabbildungstechnik verwendet werden, gemäß den Umgebungsverhältnissen modifiziert werden.
  • In manchen Ausführungsformen eines Anzeige-Backend 430 kann eine Komponente für eine dynamische Anpassung einer Hintergrundbeleuchtung 432 Hintergrundlichtstärken für das Zielanzeigefeld gemäß dem Inhalt eines Video-Frames anpassen. In manchen Ausführungsformen kann die Hintergrundlichtstärke als Alternative zu einer globalen Anpassung der Hintergrundbeleuchtung dynamisch an verschiedene Regionen des Video-Frames entsprechend dem Inhalt der Regionen angepasst werden. Zum Beispiel kann eine Hintergrundlichtstärke für eine helle Region eines Video-Frame höher sein als für eine im Vergleich dazu dunklere Region des Video-Frames.
  • In manchen Ausführungsformen eines Anzeige-Backend 430 kann eine Gammakorrektur 433 des Feldes durchgeführt werden, um die Helligkeit des Videoinhalts für eine angemessene Anzeige auf dem Zielanzeigefeld anzupassen. Dann kann eine Weißpunktkorrektur 434 durchgeführt werden, um den Weißpunkt des Videoinhalts in den Weißpunkt des Zielanzeigefelds zu korrigieren. In manchen Ausführungsformen eines Anzeige-Backend 430 kann dann ein Dithering in Bezug auf einen Raum (innerhalb eines Frame) und/oder eine Zeit (über zwei oder mehr Frames hinweg) an den Videoinhalt angelegt werden, um Artefakte (z. B. Banding-Muster) in dem angezeigten Videoinhalt zu reduzieren oder zu eliminieren.
  • Wie in 4 dargestellt ist, können ein oder mehrere Datengewinnungs- und Analysemodule 450 Videoinhalte, Anzeigeeigenschaften und Umgebungsbedingungen (z. B. Lichtverhältnisse) erfassen und analysieren, um Videoinhaltsinformationen 472, Anzeigeinformationen 442 und/oder Umgebungsinformationen 452 zu erzeugen, die in eine oder mehrere der Komponenten oder Module in der Anzeige-Pipe 420 und/oder im Anzeige-Backend 430 eingegeben werden und verwendet werden können, um eine oder mehrere von den Videoverarbeitungsfunktionen, die von dem/den Modul(en) durchgeführt werden, gemäß den Informationen dynamisch anzupassen.
  • Umgebungsadaptives Rendering unter Verwendung eines Farbwahrnehmungsmanagements
  • Das visuelle System des Menschen weist einen großen Lux-Bereich auf. Jedoch ist der menschliche Gesichtssinn immer nur für einen kleinen Teil dieses Bereichs adaptiert. Mindestens manche Ausführungsformen der hierin beschriebenen adaptiven Videoverarbeitungsverfahren und -einrichtungen können herrschende Umgebungsbedingungen, die unter anderem die Lichtverhältnisse beinhalten, erfassen und analysieren, um einen aktuellen Bereich des menschlichen Sehens gemäß den aktuellen Bedingungen zu bestimmen, und können das Rendern und Anzeigen von Videoinhalt für ein Zielanzeigefeld gemäß den aktuellen Bedingungen in diesen Bereich adaptieren. Der Prozess kann als umgebungsadaptives Rendering bezeichnet werden. In manchen Ausführungsformen kann das umgebungsadaptive Rendering auf der Anzeigeseite einer Pipeline für eine adaptive Videoverarbeitung durchgeführt werden. Zum Beispiel kann in manchen Ausführungsformen das umgebungsadaptive Rendern durch eine Decodier-/Anzeige-Pipeline durchgeführt werden wie in den 1 bis 5 dargestellt.
  • Die 6A und 6B zeigen den menschlichen Wahrnehmungsbereich in Bezug auf ein Beispiel für ein Anzeigefeld. 6A zeigt einen Wahrnehmungsbereich für eine Anzeige in einer dämmerigen Umgebung. 6B zeigt einen Wahrnehmungsbereich für eine Anzeige in einer helleren Umgebung. Wie von der Kurve in 6A dargestellt ist, ist die menschliche Wahrnehmung nichtlinear. Jedoch weist der menschliche Gesichtssinn einen großen Luxbereich auf, und zwar von Sternenlicht (10–4 Lux) bis zu direktem Sonnenlicht (104 Lux). Jedoch ist der menschliche Gesichtssinn immer nur für einen kleinen Teil dieses Bereichs adaptiert, und adaptiert im Allgemeinen für einen hellsten Reiz oder ein hellstes Objekt. Auf jeder Adaptionsstufe sind jeweils nur etwa 256 unterschiedliche Intensitätsstufen vorhanden, die das visuelle System des Menschen unterscheiden kann. 6A zeigt eine ziemlich helle Anzeige in einer ziemlich dämmerigen Umgebung; die Anzeige imitiert das menschliche Sehen ziemlich gut. Die vertikale Achse stellt 256 Wahrnehmungsstufen (Intensitäten) dar. Die Sockelregion ist eine Region, die nur schwer angemessen gerendert werden kann. Die Sockelregion beinhaltet Graustufen, die mit der Anzeige nicht erreicht werden können, weil die Anzeige Licht durch schwarze Pixel streut und ebenso, weil Licht vom Anzeigefeld reflektiert wird, und zeigt, wie anders Schwarz auf der Anzeige gegenüber echtem Schwarz visuell wahrgenommen wird.
  • 6B zeigt eine Abbildung der menschlichen Wahrnehmung in einer helleren Umgebung, in der die Anzeige nur einen Teil der menschlichen Wahrnehmung anregen kann. Der Teil der Kurve, der als Anzeigebereich angegeben ist, erregt nicht einmal die Hälfte des menschlichen Sichtbereichs. Die wahrgenommene Antwort der Anzeige ist anders als ihre gemessene Antwort. Somit besteht eine Grenze in Bezug auf den Dynamikbereich, der auf der Anzeige ausgedrückt werden kann.
  • Wie bereits angegeben, sind auf jeder Adaptionsstufe jeweils nur etwa 256 unterschiedliche Intensitätsstufen vorhanden, die das visuelle System des Menschen unterscheiden kann. Ausführungsformen von umgebungsadaptiven Rendering-Verfahren können herrschende Umgebungsbedingungen, die unter anderem die Lichtverhältnisse beinhalten, erfassen und analysieren, um einen aktuellen Bereich des menschlichen Sehens gemäß den aktuellen Bedingungen zu bestimmen, und können das Rendern und Anzeigen von Videoinhalt für ein angesteuertes Anzeigefeld gemäß den aktuellen Bedingungen in diesen Bereich unter Verwendung eines Farbwahrnehmungsmanagementsystems, wie hierin beschrieben, adaptieren.
  • Zumindest in manchen Ausführungsformen kann ein umgebungsadaptives Rendering gemäß einem Farberscheinungsmodell und einem Farbmanagementsystem durchgeführt werden. Ein Farbmanagementsystem kann Umwandlungen zwischen den Farbdarstellungen verschiedener Vorrichtungen, die unter anderem Kameravorrichtungen und Anzeigevorrichtungen beinhalten, gemäß einem Farberscheinungsmodell steuern. Breit definiert ist ein Farberscheinungsmodell ein mathematisches Modell, das einen Weg beschreibt, wie Farben dargestellt werden können, wofür im Allgemeinen drei oder vier Werte oder Farbkomponenten verwendet werden. Ein Farberscheinungsmodell kann Dimensionen einer Farberscheinung (z. B. Helligkeit (Luminanz), Helligkeit, Farbigkeit, Chroma, Sättigung und Farbton) definieren. Ein Farberscheinungsmodell kann auch eine oder mehrere Transformationen oder Transformationsfunktionen definieren, beispielsweise eine chromatische Adaptionsfunktion, die auf die Farbkomponenten angewendet werden können. Eine chromatische Adaption ist allgemein definiert als dynamischer Mechanismus des visuellen Systems des Menschen, das Weißpunktänderungen kompensiert, wenn ein Objekt unter verschiedenen Lichtverhältnissen betrachtet wird. In einem Farberscheinungsmodell kann eine chromatische Adaptionstransformation verwendet werden, um die chromatische Adaption des visuellen Systems des Menschen zu modellieren. Ein Beispiel für ein Farberscheinungsmodell, das in Ausführungsformen verwendet werden kann, ist CIECAM02, das vom technischen Komitee 8-01 der internationalen Beleuchtungskommission (CIE) veröffentlicht worden ist (Farberscheinungsmodellierung für Farbmanagementsysteme).
  • Herkömmliche Farbmanagementsysteme können das Ziel einer Quelle (z. B. Video) auf eine gemessene Anzeigeantwort abbilden oder abstimmen, beispielsweise unter Verwendung von Abbildungsverfahren in Bezug auf Umfang (Farbe oder Chroma) und Gamma (Farbdynamik oder Luminanz):

    Quelle -> gemessene Anzeige

    Wie oben angegeben, kann sich jedoch die Antwort einer Anzeige, die von einem menschlichen Betrachter wahrgenommen wird, von der gemessenen Antwort der Anzeige unterscheiden. Somit können Ausführungsformen von umgebungsadaptiven Rendering-Verfahren in einem adaptiven Videoverarbeitungssystem einen zusätzlichen Abstimmungsschritt zu dem Abbildungsverfahren hinzufügen:

    Quelle -> gemessene Anzeige -> adaptierte Sicht

    wobei die adaptierte Sicht ein Wahrnehmungsbereich des Menschen unter aktuellen Umgebungsbedingungen (z. B. Lichtstärken) ist, der beispielsweise durch adaptive Videoverarbeitungsverfahren und -einrichtungen bestimmt wird, die hierin beschrieben sind, und wobei die Abbildungen (die von den Pfeilen angegeben werden) Transformationen (z. B. chromatische Adaptionstransformationen) des Farberscheinungsmodells beinhalten können. Ein modifiziertes Farbmanagement, das diesen zusätzlichen Schritt in dem Abbildungsverfahren beinhaltet, kann als Farbwahrnehmungsmanagementsystem bezeichnet werden. Ein Farberscheinungsmodell eines Farbwahrnehmungsmanagementsystems kann als Farbwahrnehmungsmodell oder Wahrnehmungsmodell bezeichnet werden.
  • 7 stellt gemäß manchen Ausführungsformen grafisch ein Farbwahrnehmungsmanagement in einem umgebungsadaptiven Rendering-System 700 auf einer hohen Stufe dar. Wie beim herkömmlichen Farbmanagement kann ein Quellvideoinhalt 720A gemäß Anzeigeinformationen 730 dem gemessenen Antwortbereich einer Anzeige zugeordnet werden 702, um einen Videoinhalt 720B zu erzeugen. Jedoch wird eine zusätzliche Abbildung 704 angewendet, um die Antwort der Anzeige in einen bestimmten adaptierten Sichtbereich des Menschen einzupassen, wodurch ein Ausgabevideo 72oC erzeugt wird, das gemäß den Umgebungsinformationen 740 und den Anzeigeinformationen 730 für aktuelle Sichtbedingungen adaptiert ist. In manchen Ausführungsformen kann die zusätzliche Abbildung 704 eine Konvolution des Kehrwerts der Differenz zwischen einer idealen menschlichen Sicht in einer bestimmten Umgebung (z. B. der Kurve in 7B) und dem Abschnitt davon, der vom Anzeigefeld tatsächlich dargestellt wird (z. B. dem Anzeigebereich in 7B), gemäß der gemessenen Antwort des Anzeigefelds beinhalten.
  • In manchen Ausführungsformen kann das umgebungsadaptive Rendering-System 700 auf der Anzeigeseite eines Video-Wiedergabesystems implementiert sein. Zum Beispiel kann in manchen Ausführungsformen das umgebungsadaptive Rendering durch eine oder mehrere Komponenten einer Decodier-/Anzeige-Pipeline eines Video-Wiedergabesystems durchgeführt werden wie in den 1 bis 5 dargestellt. Informationen, die erhalten und in ein Farbwahrnehmungsmodell eines Farbwahrnehmungsmanagementsystems eingespeist werden, welches in einem umgebungsadaptiven Rendering-System 700 implementiert ist, können unter anderem Anzeigeinformationen 730, beispielsweise verschiedene Anzeigeeigenschaften und -einstellungen, und Umgebungsinformationen 740, unter anderem Betrachter- und Beleuchtungsinformationen, beinhalten. Manche dieser Informationen können statisch sein (z. B. Anzeigeeigenschaften, wie Bittiefe und Dimensionen), während andere Informationen dynamisch sein können (z. B. aktuelle Anzeigeeinstellungen, Hintergrundlichtstärke, Umgebungslicht, Lichtreflexion, Betrachterposition, Standort des Betrachters usw.). Diese Informationen können gewonnen und verwendet werden, um Videoinhalt 720 zur Anzeige gemäß aktuellen Umgebungsbedingungen, wie sie auf ein Farbwahrnehmungsmodell angewendet werden, adaptiv zu rendern. In manchen Ausführungsformen kann eine Vorrichtung, die das Anzeigefeld beinhaltet, für die der Videoinhalt 720 durch das umgebungsadaptive Rendering-System 700 adaptiert wird, einen oder mehrere Sensoren, beispielsweise Umgebungslichtsensoren, Kameras, Bewegungsdetektoren usw., beinhalten, die verwendet werden können, um zumindest manche der Informationen 730 und 740, die im Farbwahrnehmungsmodell verwendet werden, zu gewinnen.
  • Im Folgenden werden verschiedene Messungen, Messwerte oder Eigenschaften beschrieben, die gemäß manchen Ausführungsformen erhalten und in ein Farbwahrnehmungsmodell in einem umgebungsadaptiven Rendering-System 700 eingegeben werden können. Jedoch soll diese Liste nicht beschränkend sein:
    • • Physische Abmessungen und andere statische Eigenschaften der Anzeige.
    • • Messungen. Diese Messwerte können für einen Typ von Anzeigefeld vorab gemessen werden oder für ein einzelnes Anzeigefeld gemessen werden:
    • – Die gemessene Antwort des Anzeigefelds – eine Abbildung zwischen den Eingangspegeln aus dem Quellvideoinhalt und den Lichtausgabepegeln des Anzeigefelds für jeden Farbkanal (z. B. RGB-Kanal).
    • – Eigener Weißmesspunkt des Anzeigefelds.
    • – Gemessene Lichtstreuung aus dem Anzeigefeld (trägt zu dem Sockel bei, der in 6A dargestellt ist).
    • – Gemessene Lichtreflexion vom Anzeigefeld (trägt zu dem Sockel bei, der in 6A dargestellt ist).
    • – Gemessene maximale (und minimale) Hintergrundlichtstärke für die Anzeige.
    • • Umgebungsmesswerte, die beispielsweise von einem oder mehreren Sensoren erfasst oder anhand von Daten bestimmt werden, die von dem bzw. den Sensoren erfasst wurden. Eine Vorrichtung, die ein Anzeigefeld beinhaltet, kann auch einen oder mehrere Sensoren beinhalten. Die Sensoren können unter anderem Umgebungslichtsensoren, Farbumgebungslichtsensoren und/oder Kameras beinhalten. Die Lichtsensoren und Kameras können einen oder mehrere rückwärts (auf den Betrachter oder Anwender) gerichtete Sensoren und/oder einen oder mehrere vorwärts (weg vom Betrachter oder Anwender) gerichtete Sensoren beinhalten:
    • – Licht, das aktuell auf das Anzeigefeld fällt. Dies kann für jeden Farbkanal bestimmt werden.
    • – Lichtmenge, die von der Anzeige reflektiert wird. Dies kann für jeden Farbkanal bestimmt werden.
    • – Messwerte (z. B. Helligkeit, Farbe usw.) des Sichtfelds oder des Hintergrunds, auf das bzw. auf den der Betrachter/Anwender blickt.
    • – Der Weißpunkt, an den der Betrachter gewöhnt ist.
    • – Position des bzw. der Betrachter in Bezug auf das Anzeigefeld (z. B. Abstand, Betrachtungswinkel usw.). In manchen Ausführungsformen kann eine auf den Betrachter gerichtete Kamera der Vorrichtung, die das Anzeigefeld beinhaltet, ein Bild des Betrachters aufnehmen, und das Bild kann analysiert werden, um einen Abstand vom Betrachter zur Vorrichtung zu bestimmen. Zum Beispiel kann das Bild des Gesichts des Betrachters analysiert werden, um den Abstand auf Basis des Augenabstands des Betrachters in dem aufgenommenen Bild zu bestimmen, da menschliche Augen meistens einen ungefähr gleichen Abstand haben. Der bestimmte Abstand zum Betrachter kann beispielsweise verwendet werden, um das Sichtfeld zu bestimmen, das vom Anzeigefeld geschnitten wird.
    • • Dynamisch bestimmte Anzeigemesswerte:
    • – Aktuelle Hintergrundlichtstärke des Anzeigefelds.
    • – Aktuelle durchschnittliche Pixelhelligkeit (Pixel, die tatsächlich beleuchtet sind). Dieser Messwert kann beispielsweise verwendet werden, um die Helligkeit des aktuell angezeigten Videoinhalts zu bestimmen. Dies kann für jeden Farbkanal bestimmt werden.
  • Auch wenn dies in 7 nicht dargestellt ist, können in manchen Ausführungsformen zusätzlich zu Anzeigeinformationen 730 und Umgebungsinformationen 740 auch andere Informationen vom umgebungsadaptiven Rendering-System erfasst und verwendet werden, um das Video für die Umgebung zu adaptieren. Zum Beispiel kann das umgebungsadaptive Rendering-System 700 in manchen Ausführungsformen das angezeigte Video auf die Stimmung oder die Betrachtungsabsichten eines Benutzers ausrichten, was als Betrachtungsmodus bezeichnet werden kann. Zum Beispiel können in manchen Ausführungsformen Beleuchtung, Standort, Tageszeit, Biometriewerte und/oder andere Daten erfasst und verwendet werden, um automatisch einen Betrachtungsmodus für den Videoinhalt 720 zu bestimmen. Der bestimmte Betrachtungsmodus kann dann in das Farbwahrnehmungsmodell eingegeben werden, um den Quellvideoinhalt 720 an den Betrachtungsmodus anzupassen. Zum Beispiel können Betrachtungsmodi von einem ruhigen oder entspannten Betrachtungsmodus bis zu einem Kino- oder dynamischen Betrachtungsmodus reichen. In manchen Ausführungsformen kann stattdessen oder zusätzlich dazu eine Benutzereingabe (z. B. über eine Anzeigefeldsteuerung, Fernsteuerung, Smartphone-App usw.) für die Bestimmung oder Anpassung des Betrachtungsmodus für den Videoinhalt 720 verwendet werden. Zum Beispiel kann ein Betrachter in manchen Ausführungsformen einen Schieberegler oder Schalter für einen „Stimmung”- oder „Absicht”-Parameter verstellen, beispielsweise um auf einer diskreten oder kontinuierlichen Skala zwischen einem ganz entspannten „ruhigen” Modus und einem dynamischen „Kino”-Modus, der die höchste Helligkeit aufweist, einen von zwei oder mehr Betrachtungsmodi anzupassen oder auszuwählen.
  • Verschiedene Ausführungsformen eines umgebungsadaptiven Rendering-Systems 700 können verschiedene Bildverarbeitungsalgorithmen und -techniken verwenden, unter anderem Farbskala-Abbildungs- und globale oder lokale Tonabbildungstechniken, um die Rendering-Anpassungen an den Videoinhalt 720 anzulegen. In manchen Ausführungsformen kann zumindest ein Teil der Funktionen des umgebungsadaptiven Renderings 700 unter Verwendung eines oder mehrerer Grafikprozessoren (GPUs) implementiert werden. Zum Beispiel können manche Ausführungsformen einen benutzerdefinierten Shader implementieren, der Anpassungen, die gemäß dem Farbwahrnehmungsmodell bestimmt werden, an den Videoinhalt 720 anlegen kann. In manchen Ausführungsformen kann zumindest ein Teil der Funktionen des umgebungsadaptiven Renderings 700 in einer oder durch andere Hardware implementiert werden, die unter anderem benutzerdefinierte Hardware beinhaltet. Zum Beispiel können in manchen Ausführungsformen eine oder mehrere Farb-Pipes eines Bildsignalprozessors (ISP) verwendet werden, um die Rendering-Anpassungen an den Videoinhalt 720 anzulegen.
  • In manchen Ausführungsformen können eine oder mehrere Farbabbildungstechniken (CLUTs) verwendet werden, um zumindest einen Teil der adaptiven Anpassungen an den Videoinhalt 720 anzulegen. Zum Beispiel können in manchen Ausführungsformen drei 1D (eindimensionale) LUTs in Hardware gewarpt werden, um adaptive Anpassungen an den Videoinhalt 720 anzulegen.
  • Ausführungsformen eines umgebungsadaptiven Rendering-Systems 700 können HDR-Videoinhalt auf Basis der Eigenschaften und Fähigkeiten des Anzeigefelds automatisch für ein Zielanzeigefeld adaptieren.
  • Ausführungsformen eines umgebungsadaptiven Rendering-Systems 700 können Videoinhalt für die Anzeige in verschiedenen Betrachtungsumgebungen dynamisch adaptieren, was eine verbesserte Betrachtung in verschiedenen Umgebungen und/oder unter verschiedenen Umgebungsbedingungen ermöglichen kann. Somit kann das umgebungsadaptive Rendering-System 700 für Anwender mobiler Vorrichtungen ein verbessertes Betrachtungserlebnis ermöglichen, indem es angezeigten Inhalt entsprechend Änderungen in der Umgebung, in der die Betrachter den Inhalt betrachten, automatisch adaptiert.
  • Durch die dynamische Adaptierung eines Anzeigefelds an verschiedene Umgebungen und Umgebungsbedingungen können Ausführungsformen eines umgebungsadaptiven Rendering-Systems 700 in manchen Betrachtungsumgebungen weniger Hintergrundlicht verwenden, wodurch beispielsweise an mobilen Vorrichtungen Leistung eingespart werden kann. In manchen Ausführungsformen kann das Hintergrundlicht in das Farbwahrnehmungsmodell abgebildet werden, wodurch das umgebungsadaptive Rendering-System 700 beispielsweise in die Lage versetzt wird, die Anzeige papierähnlicher wirken zu lassen, wenn sie diese für verschiedene Umgebungen und Umgebungsbedingungen adaptiert. Anders ausgedrückt kann das umgebungsadaptive Rendering-System 700 in der Lage sein, die Anzeige an den Luminanzpegel von Papier in der gleichen Umgebung anzupassen, und auch, den Weißpunkt der Umgebung des Betrachters nachzuverfolgen und sich diesem anzupassen.
  • In manchen Ausführungsformen können Informationen, die vom umgebungsadaptiven Rendering-System 700 gewonnen oder erzeugt werden, zur Vorsteuerung in eine (vorgelagerte) Videoverarbeitungs-Pipeline eingespeist werden und verwendet werden, um die Videoverarbeitung zu beeinflussen, bevor der Videoinhalt vom umgebungsadaptiven Rendering-System 700 verarbeitet wird. Zum Beispiel kann ein umgebungsadaptives Rendering, wie in den 1 bis 3 dargestellt, in oder von einer Anzeige-Pipe- und/oder Anzeige-Backend-Komponente einer Anzeige-Pipeline implementiert werden. Anzeige- und/oder Umgebungsinformationen können in eine oder mehrere vorgelagerte Komponenten oder Stufen der Anzeige-Pipeline (z. B. in einen Decodierer, eine Video-Pipe und/oder eine Bildfrequenzumwandlungsstufe oder in eine Compositing-Komponente, die andere digitale Informationen, beispielsweise Text mit gestreamtem Videoinhalt zusammenführt) eingespeist und verwendet werden, um die Verarbeitung des Videoinhalts an diesen vorgelagerten Komponenten der Anzeige-Pipeline zu beeinflussen.
  • In manchen Ausführungsformen können Anzeige- und/oder Umgebungsinformationen, die vom anzeigeseitigen, umgebungsadaptiven Rendering-System 700 gewonnen werden, wie in 1 dargestellt, in eine nachgelagerte Server-/Codier-Pipeline eingespeist werden und verwendet werden, um die serverseitige Verarbeitung von Videoinhalt zu beeinflussen, bevor der Inhalt zu einer Vorrichtung gestreamt wird, welche das angesteuerte Anzeigefeld beinhaltet. Zum Beispiel können die Anzeige- und/oder Umgebungsinformationen in manchen Ausführungsformen anzeigen, dass die Fähigkeiten des Zielanzeigefelds eine vollständige HDR-Bildgebung unter den gegebenen Umgebungsverhältnissen nicht unterstützen. Als Reaktion darauf kann die Server-Codier-Pipeline den eingegebenen HDR-Inhalt so verarbeiten und codieren, dass er einen kleineren Dynamikbereich aufweist, der von dem Zielanzeigefeld unter den aktuellen Bedingungen angezeigt werden kann. Dies kann beispielsweise Übertragungsbandbreite einsparen, wenn ein angesteuertes Anzeigefeld den vollen Dynamikbereich, der im Quellvideoinhalt verfügbar ist, nicht unterstützen kann.
  • Anzeigeseitige Umwandlung von SDR in HDR
  • Wie ebenfalls in 1 dargestellt ist, können in manchen Ausführungsformen eine oder mehrere Eigenschaften des eingegebenen codierten Video-Streams 112 von der Decodier-/Anzeige-Pipeline 130 für die Anpassung der einen oder der mehreren Videoverarbeitungsfunktionen verwendet werden, um das Video für ein Zielanzeigefeld 140 zu adaptieren. Zum Beispiel kann das Zielanzeigefeld 140 in manchen Ausführungsformen eine HDR-Bildgebung unterstützen. Jedoch kann die Decodier-/Anzeige-Pipeline 130 codierte Videodaten mit einem Standarddynamikbereich (SDR) für die Anzeige auf dem Anzeigefeld 140 empfangen. Üblicherweise wird die SDR-zu-HDR-Verarbeitung durch lineare Skalierung des SDR-Videoinhalts auf die HDR-Zielanzeige durchgeführt. Jedoch weist eine HDR-Bildgebung eine viel höhere Helligkeit auf als eine SDR-Bildgebung, und eine herkömmliche lineare Skalierung von SDR-Videoinhalt ergibt keinen Videoinhalt, der optimal adaptiert ist für den höheren dynamischen Bereich; darüber hinaus kann die lineare Skalierung zu sichtbaren Artefakten führen. Zum Beispiel können Glanzlichteffekte gedämpft werden oder verloren gehen, dunkle Bereiche können verrauscht und Farb- oder Kontrastbanden können sichtbar werden.
  • Um die Qualität von HDR-Videoinhalten, die aus eingegebenem SDR-Videoinhalt erzeugt werden, zu verbessern, kann die Decodier-/Anzeige-Pipeline 130 in manchen Ausführungsformen eine oder mehrere von den Videoverarbeitungsfunktionen anpassen und/oder eine oder mehrere zusätzliche Verarbeitungsfunktionen durchführen, um die decodierte SDR-Videoeingabe für eine verbesserte Anzeige in dem höheren Dynamikbereich des HDR-Zielfeldes 140 in ein HDR-Bildgebungsformat umzuwandeln. Allgemein beschrieben können diese Anpassungen nichtlineare Abbildungen des SDR-Videoinhalts in den HDR-Raum beinhalten, um die Qualität (z. B. die Helligkeit) des Inhalts zu verbessern, wenn er auf dem HDR-Zielanzeigefeld angezeigt wird.
  • 9 ist ein High-Level-Ablaufschema eines Verfahrens zur Durchführung einer SDR-zu-HDR-Umwandlung zur Erzeugung von Anzeige-Videoinhalt, der für eine HDR-Anzeige adaptiert ist, gemäß manchen Ausführungsformen. Wie bei 900 von 9 dargestellt ist, kann eine Decodier-/Anzeige-Pipeline einen codierten SDR-Video-Stream für eine angesteuerte HDR-Anzeige empfangen und decodieren. Wie bei 902 von 9 angegeben ist, kann die Decodier-/Anzeige-Pipeline eine oder mehrere nichtlineare SDR-zu-HDR-Umwandlungstechniken durchführen, um den eingegebenen SDR-Videoinhalt auf HDR-Videoinhalt zu erweitern, der für das HDR-fähige Anzeigefeld adaptiert ist. Wie bei 904 von 9 angegeben ist, kann der HDR-Videoinhalt auf dem HDR-Anzeigefeld angezeigt werden. Die Elemente von 9 werden ausführlicher unter Bezugnahme auf 8 beschrieben.
  • 8 zeigt ein Beispiel für eine Decodier-/Anzeige-Pipeline, die eine SDR-zu-HDR-Umwandlung an einem SDR-Eingangsvideo durchführt, zur Erzeugung von Anzeige-Videoinhalt, der für eine HDR-Anzeige adaptiert ist, gemäß manchen Ausführungsformen. In zumindest manchen Ausführungsformen kann eine Decodier-/Anzeige-Pipeline 810 dafür ausgelegt sein, ein eingegebenes HDR-Video zu verarbeiten, um ein HDR-Anzeigevideo 832 für ein Zielanzeigefeld 840 zu erzeugen. Jedoch kann die Decodier-/Anzeige-Pipeline 810 stattdessen ein eingegebenes SDR-Video 800 empfangen.
  • Wie in 8 dargestellt ist, können Ausführungsformen der Decodier-/Anzeige-Pipeline 810 Inhaltseigenschaften 820 nutzen, die aus dem eingegebenen SDR-Videoinhalt 800 und den Anzeigeeigenschaften 830 des Anzeigefelds 840 bestimmt werden, um das eingegebene SDR-Video 800 in HDR-Video 832 umzuwandeln, das für die Anzeige an einem HDR-fähigen Anzeigefeld 840 ausgegeben wird. In manchen Ausführungsformen kann die Decodier-/Anzeige-Pipeline 810 Videoverarbeitungsfunktionen oder -module beinhalten, die unter anderem Funktionen oder Module beinhalten, die einen Decodierer 812, eine Video-Pipe 814, eine Bildfrequenzumwandlung 816 und eine Anzeigesteuerung 818 betreffen. Inhaltseigenschaften 820 und Anzeigeeigenschaften 830 können an einem oder mehreren dieser Module bereitgestellt werden und für die Adaptierung der jeweiligen Funktion(en) für die Umwandlung von eingegebenem SDR-Video 800 in ausgegebenes HDR-Video 832 verwendet werden.
  • Ein codierter Stream des SDR-Videos 800 (z. B. ein codierter H.264/AVC- oder H.265/HEVC-Video-Stream) kann an einem einer Komponente empfangen werden, die einen Decodierer 812 einer Decodier-/Anzeige-Pipeline 810 darstellt. Der Decodierer 312 kann das eingegebene Video decodieren/dekomprimieren, um einen Videoinhalt zu erzeugen, der in eine Video-Pipe 814 eingespeist wird. Die Video-Pipe 814 kann beispielsweise eine Rausch-/Artefaktreduzierung, Skalierung und Schärfung durchführen. In manchen Ausführungsformen kann entweder der Decodierer 812 oder die Video-Pipe 814 das eingegebene SDR-Video 800 in ein HDR-kompatibles Format umwandeln, beispielsweise durch Umwandlung in ein Format mit erweiterter Bittiefe, um eine HDR-Bildgebung zu unterstützen.
  • Eine Bildfrequenzumwandlung 816 kann durch Erzeugen eines oder mehrerer Video-Zwischenframes zwischen vorhandenen Frames das von der Video-Pipe 814 ausgegebene Video in eine höhere Bildfrequenz umwandeln. Die Umwandlung in eine höhere Bildfrequenz kann beispielsweise dabei helfen, ein Ruckeln zu kompensieren, das in HDR-Video auftreten kann. Die Anzeigesteuerung 818 kann eine Anzeige-Pipe beinhalten, die Videoverarbeitungsaufgaben durchführen kann, die unter anderem eine Skalierung, Farbraumumwandlung(en), eine Farbskala-Abbildung und eine Tonabbildung beinhalten, und ein Anzeige-Backend kann zusätzliche Videoverarbeitungsaufgaben durchführen, die unter anderem Anpassungen der Farbe (Chroma) und Farbdynamik (Luma), Hintergrundlichtanpassungen, Gammakorrektur, Weißpunktkorrektur, Schwarzpunktkorrektur und räumlich-zeitliches Dithering beinhalten, um ein HDR-Anzeigevideo 832 zu erzeugen, das an ein HDR-fähiges Zielanzeigefeld 840 ausgegeben wird.
  • In Ausführungsformen können Inhaltseigenschaften 820 und Anzeigeeigenschaften 830 an einem oder mehreren der Module in der Decodier-/Anzeige-Pipeline 810 bereitgestellt werden und für die Adaptierung der jeweiligen Funktion(en) für die Umwandlung von eingegebenem SDR-Video 800 in ausgegebenes HDR-Video 832 verwendet werden. Verschiedene Verbesserungen können von der Decodier-/Anzeige-Pipeline 810 auf Basis der Eigenschaften durchgeführt werden, die das Anzeigen des Videoinhalts verbessern können, wenn dieser von SDR in den vom Anzeigefeld 840 unterstützten höheren Dynamikbereich umgewandelt wird. Im Folgenden werden Beispiele für Verbesserungen beschrieben, die durchgeführt werden können, wenn SDR-Video in HDR-Video umgewandelt wird, und die nicht beschränkend sein sollen. In manchen Ausführungsformen kann ein Inhaltseigenschaftsmodul 820 als Reaktion auf die Erfassung des Inhalts eines SDR-Videos 800 den Videoinhalt analysieren, um nach Bereichen in Video-Frames zu suchen, die Glanzlichteffekte enthalten. So können Inhaltseigenschaften, die erfasst werden, Glanzlichteffekte in den eingegebenen Video-Frames beinhalten. Die Decodier-/Anzeige-Pipeline 810 kann die Größe von zumindest manchen von den Glanzlichteffekten verringern und/oder die Helligkeit von zumindest einigen von den Glanzlichteffekten verringern, damit die Glanzlichteffekte beeindruckender erscheinen, wenn sie angezeigt werden.
  • In manchen Ausführungsformen können dunkle oder Schattenregionen in dem eingegebene SDR-Videoinhalt 800 erkannt und durch die Decodier-/Anzeige-Pipeline 810 für eine verbesserte HDR-Anzeige automatisch anders verarbeitet werden. Zum Beispiel kann die Decodier-/Anzeige-Pipeline 810 eine stärkere Rauschreduzierung an die erkannten dunklen oder Schattenregionen anlegen, um Rauschen in den dunkleren Regionen des Videoinhalts zu reduzieren, wenn er auf dem HDR-Anzeigefeld 840 angezeigt wird.
  • Als weiteres Beispiel kann die Decodier-/Anzeige-Pipeline 810 Tonkurven, die für die Tonabbildung verwendet werden, anpassen, um die Schattenbereiche zu vertiefen. Die Tonkurven können nichtlineare, beispielsweise S-förmige Tonkurven sein, um Rauschen in den dunklen Regionen zu reduzieren und für einen besseren Kontrast zu sorgen als anhand herkömmlicher linearer Skalierung erhalten werden kann. In manchen Ausführungsformen können die Tonkurven auf Basis einer oder mehrerer erfasster Inhaltseigenschaften und/oder Anzeigeeigenschaften dynamisch ausgewählt werden. In manchen Ausführungsformen kann einer oder können mehrere Messwerte in Bezug auf die Umgebungsverhältnisse (z. B. Messwerte der Umgebungslichtverhältnisse) erfasst werden und für die Bestimmung der Tonkurven verwendet werden. In manchen Ausführungsformen kann eine globale Tonkurve für einen Video-Frame oder eine Abfolge von Frames ausgewählt werden. In manchen Ausführungsformen können die Video-Frames anstelle von oder zusätzlich zu einer globalen Tonkurve in mehrere Regionen unterteilt werden, und lokale Tonkurven können für jede Region dynamisch ausgewählt werden.
  • In manchen Ausführungsformen können Farbübergänge, die durch Farb-Clipping bewirkt werden (z. B. während einer Ton- oder Skala-Abbildung auf der Codiererseite) erkannt werden, und die Decodier-/Anzeige-Pipeline 810 kann versuchen, die korrekte(n) Farbe(n) zu rekonstruieren, um die Farbübergänge zu glätten.
  • In manchen Ausführungsformen kann eine Bittiefenerweiterung von SDR auf HDR (z. B. 8-Bit-SDR auf 10-Bit-HDR) durch die Decodier-/Anzeige-Pipeline 810 unter Verwendung von Techniken durchgeführt werden, die versuchen, Bandenartefakte durch Glätten des Bildinhalts zu vermeiden, wenn er in die größere Bittiefe erweitert ist. Zum Beispiel können in manchen Ausführungsformen statt der Durchführung einer linearen Erweiterung in die erweiterte Bittiefe Datenwerte für eingegebene Pixel analysiert werden, um den Gradienten zu bestimmen, und der Gradient kann verwendet werden, um eine nichtlineare Erweiterung in die erweiterte Bittiefe durchzuführen, um ein glatteres Rendering der erweiterten Bits hervorzubringen als unter Verwendung einer linearen Funktion erreicht werden könnte.
  • Serverseitige, adaptive Videoverarbeitung
  • Wie ebenfalls in 1 dargestellt ist, kann in manchen Ausführungsformen eine adaptive Videoverarbeitung für ein Zielanzeigefeld 140 in oder von einer Server-/Codier-Pipeline 110 implementiert werden. Diese Ausführungsformen können als serverseitige, adaptive Videoverarbeitungssysteme bezeichnet werden.
  • Ausführungsformen eines serverseitigen, adaptiven Videoverarbeitungssystems können beispielsweise verwendet werden, um eine Videowiedergabe an einem HDR-fähigen Anzeigefeld mit hohem Dynamikbereich (HDR) und breiter Farbskala (WCG) in Fällen zu unterstützen, in denen die anzeigeseitige Videoverarbeitungs-Pipeline eine HDR/WCG-Bildgebung nicht unterstützt, den vollen Dynamikbereich und die volle Farbskala des Zielanzeigefelds nicht unterstützt oder auf andere Weise beschränkt ist. Zum Beispiel können Ausführungsformen des serverseitigen, adaptiven Videoverarbeitungssystems verwendet werden, um HDR- und WCG-Video-Streaming auf kleine oder mobile Vorrichtungen oder auf ältere Vorrichtungen, die beschränkte, anzeigeseitige Videoverarbeitungsfähigkeiten haben können, zu unterstützen.
  • 11 ist ein Ablaufschema eines Videoabspielverfahrens gemäß manchen Ausführungsformen, bei dem eine serverseitige Codier-Pipeline Ausgangsvideodaten erzeugt, die für ein Zielanzeigefeld adaptiert sind. Wie bei 1100 von 11 angegeben ist, kann eine Server-/Codier-Pipeline Videoinhalte für ein Zielanzeigefeld abfragen. Zum Beispiel kann die Server-/Codier-Pipeline eingegebenes Video aus einer Videoquelle wie einer Videokamera an einer Vorrichtung oder einem System empfangen, die bzw. das die Server-/Codier-Pipeline beinhaltet, und kann darauf ausgerichtet sein, den Videoinhalt für die Anzeige auf einem bestimmten Zielanzeigefeld zu codieren und zu streamen. Das Zielanzeigefeld kann sich auf der gleichen Vorrichtung oder dem gleichen System wie die Server-/Codier-Pipeline befinden oder sich alternativ dazu auf einer anderen Vorrichtung oder einem anderen System befinden. Das Zielanzeigefeld kann eine Bildgebung mit großem Dynamikbereich (HDR) und mit breiter Farbskala (WCG) unterstützen. Auch wenn dies nicht dargestellt ist, kann die Server-/Codier-Pipeline eine oder mehrere Eigenschaften der eingegebenen Videoinhalte abfragen oder bestimmen. Zum Beispiel kann der Videoinhalt in manchen Ausführungsformen analysiert werden, um beispielsweise die Breite des Dynamikbereichs des Videoinhalts, das Ausmaß von Bewegungen von Frame zu Frame oder Szene zu Szene, Farbumfänge, Glanzlichteffekte, Kontrast, helle und dunkle Regionen usw. zu bestimmen. Diese Inhaltsinformationen können zusammen mit anderen Informationen für die Verarbeitung des Videoinhalts zur Anzeige auf dem Zielanzeigefeld verwendet werden. Wie bei 1102 von 1 angegeben ist, kann die Server-/Codier-Pipeline Anzeigeinformationen und/oder Umgebungsinformationen für das Zielanzeigefeld abfragen. Die Anzeigeinformationen können Anzeigeeigenschaften angeben, die unter anderem eine oder mehrere der Folgenden beinhalten können: gemessene Antwort, Format, Auflösung, Größe, Dynamikbereich, Bittiefe, Hintergrundlichtpegel, Weißpunkt, aktuelle Anzeigesteuerungseinstellungen usw. Die Umgebungsinformationen können unter anderem verschiedene Messwerte in Bezug auf die Lichtverhältnisse und Messwerte in Bezug auf einen Betrachter beinhalten, beispielsweise die Position von Betrachtern in Bezug auf das Zielanzeigefeld, die Größe des Anzeigefelds und den Abstand zum Anzeigefeld. Die gemessenen Werte für die Lichtverhältnisse können beispielsweise Messwerte des Lichtes, das auf das Anzeigefeld fällt, die Stärke von Lichtreflexionen vom Anzeigefeld und Messwerte (z. B. Helligkeit, Farbe, Weißpunkt usw.) in Bezug auf das Sichtfeld (oder den Hintergrund), auf das/den der Betrachter/Anwender blickt, beinhalten. In manchen Ausführungsformen kann eine Vorrichtung, die das Zielanzeigefeld aufweist, einen oder mehrere nach vorn oder hinten gerichtete Sensoren (z. B. Kameras, Lichtsensoren usw.) beinhalten, die verwendet werden können, um Daten aus dem Umgebungsbereich zu gewinnen. Die gewonnenen Daten können analysiert werden, um den einen oder die mehreren Umgebungsmesswerte zu bestimmen, die dann von der Server-/Codier-Pipeline erhalten oder an dieser bereitgestellt werden.
  • Wie bei 1104 von 11 angegeben ist, kann die Server-/Codier-Pipeline den Videoinhalt gemäß den erhaltenen Informationen auf einen Dynamikbereich für das Zielanzeigefeld abbilden. In manchen Ausführungsformen bildet die Server-/Codier-Pipeline den Videoinhalt auf den Dynamikbereich des Zielanzeigefelds ab, wie von den erhaltenen Informationen angegeben, gemäß einer Tonabbildungstechnik. Die Tonabbildungstechnik kann gemäß den erhaltenen Informationen angepasst werden. Zum Beispiel kann der Dynamikbereich der Quelldaten gemäß den Anzeigeinformationen der Bittiefe des Zielanzeigefelds abgebildet werden. Als weiteres Beispiel können Tonkurven- und/oder Übertragungsfunktionen, die für die Tonabbildungstechnik verwendet werden, auf Basis eines oder mehrerer Messwerte, unter anderem aktuell gemessener Werte der Lichtverhältnisse am Anzeigefeld, die von den Umgebungsinformationen angegeben werden, modifiziert oder angepasst werden. In manchen Ausführungsformen kann eine nichtlineare, globale Tonabbildungskurve für einen Video-Frame oder eine Abfolge von Frames, die in der Server-/Codier-Pipeline verarbeitet werden, zumindest zum Teil auf Basis der Anzeige- und/oder Umgebungsinformationen ausgewählt werden. In manchen Ausführungsformen können die Video-Frames anstelle von oder zusätzlich zu einer globalen Tonkurve in mehrere Regionen unterteilt werden, und lokale Tonkurven können für jede Region mindestens zum Teil auf Basis der Anzeige- und/oder Umgebungsinformationen dynamisch ausgewählt werden.
  • Wie bei 1106 von 11 angegeben ist, kann die Server-/Codier-Pipeline den Videoinhalt gemäß den erhaltenen Informationen auf einer Farbskala für das Zielanzeigefeld abzubilden. In manchen Ausführungsformen bildet die Server-/Codier-Pipeline den Videoinhalt auf einer Farbskala des Zielanzeigefelds ab, wie von den erhaltenen Informationen angegeben, gemäß einer Farbskala-Abbildungstechnik. Die Farbskala-Abbildungstechnik kann gemäß den erhaltenen Informationen angepasst werden. Zum Beispiel kann die Farbskala der Quelldaten gemäß den Anzeigeinformationen auf die Bittiefe des Zielanzeigefelds abgebildet werden. Als weiteres Beispiel können Kurven, Übertragungsfunktionen und/oder Zuordnungstabellen gemäß der bestimmten Farbskala ausgewählt werden, der vom Anzeigefeld unterstützt wird, wie in den Anzeigeinformationen angegeben ist. Als weiteres Beispiel können Kurven, Übertragungsfunktionen und/oder Zuordnungstabellen, die für die Skala-Abbildungstechnik verwendet werden, auf Basis eines oder mehrerer Messwerte, unter anderem aktuell gemessener Werte für die Lichtverhältnisse am Anzeigefeld, die von der Umgebung angegeben werden, modifiziert oder angepasst werden.
  • Wie bei 1108 von 11 angegeben ist, kann die Server-/Codier-Pipeline den Videoinhalt codieren und den codierten Videoinhalt an die Decodier-/Anzeige-Pipeline schicken, die mit dem Zielanzeigefeld assoziiert ist. Die Videodaten können beispielsweise durch die Server-/Codier-Pipeline gemäß einem komprimierten Videoformat wie einem H.264/AVC- oder H.265/HEVC-Format für die Ausgabe an das Zielanzeigefeld codiert werden. Der codierte Videoinhalt kann beispielsweise in einen Speicher geschrieben werden, wo er für eine Decodier-/Anzeige-Pipeline, die mit dem Zielanzeigefeld assoziiert ist, zugänglich ist, an der mit dem Zielanzeigefeld assoziierten Decodier-/Anzeige-Pipeline über eine drahtgebundene oder drahtlose Netzverbindung bereitgestellt oder gestreamt werden oder auf andere Weise an die mit dem Zielanzeigefeld assoziierten Decodier-/Anzeige-Pipeline ausgegeben werden.
  • Wie bei 1110 von 11 angegeben ist, wird der Videoinhalt von der Decodier-/Anzeige-Pipeline decodiert und angezeigt. Da eine anzeigefeldspezifische Tonabbildungund Farbskala-Abbildung auf den Dynamikbereich und Farbskala, der jeweils vom Zielanzeigefeld unterstützt wird, auf der Server-/Codierseite durchgeführt wird, kann es sein, dass die Decodier-/Anzeige-Pipeline gar keine Änderungen oder Modifikationen benötigt, um eine HDR- und/oder WCG-Bildgebung zu unterstützen. Man beachte, dass eine Server-/Codier-Pipeline ein Verfahren wie in 11 dargestellt anwenden kann, um den gleichen Videoinhalt auf zwei oder mehr verschiedenen Zielanzeigefeldern gemäß den jeweiligen Eigenschaften und/oder Umgebungen des Anzeigefelds abzubilden. Zum Beispiel kann die Server-/Codier-Pipeline Videoverarbeitungs- und Codierfunktionen gemäß den anzeigespezifischen Informationen zum Adaptieren von Videoinhalt für Zielanzeigefelder zu adaptieren, die verschiedene Bittiefen, Farbräume, Farbumfänge und/oder Dynamikumfänge unterstützen. Man beachte auch, dass die Reihenfolge der Verarbeitung in 11 und in den anderen Ablaufschemata und Ablaufdiagrammen nicht beschränkend sein soll. Zum Beispiel kann in manchen Ausführungsformen des in 11 gezeigten Videowiedergabeverfahrens das Element 1106 (Farbskala-Abbildung) vor dem Element 1104 (Dynamikbereichsabbildung) stattfinden.
  • Die Elemente von 11 werden ausführlicher unter Bezugnahme auf die 1 bis 10 beschrieben.
  • Wie wiederum in 1 dargestellt ist, kann in Ausführungsformen der serverseitigen, adaptiven Videoverarbeitungssysteme eine Server-/Codier-Pipeline 110 Videoinhalt, der von einer Quelle 100 erhalten wird, auf ein Zielanzeigefeld 140 abbilden. Zum Beispiel kann der Videoinhalt ein HDR- und WCG-Videoinhalt sein, der von einem Bildsensor oder einer Kamera erhalten wird. In manchen Ausführungsformen bildet die Server-/Codier-Pipeline 110 beim Abbilden des Videoinhalts auf ein Zielanzeigefeld 140 den Videoinhalt gemäß einer Farbskala-Abbildungstechnik auf einer Farbskala des Zielanzeigefelds 140 ab und bildet den Videoinhalt gemäß einer Tonabbildungstechnik auf einen Dynamikbereich für das Zielanzeigefeld 140 ab. Bei der Durchführung der Abbildung kann die Server-/Codier-Pipeline 110 Videoinhalt, Fähigkeiten und/oder Eigenschaften des Zielanzeigefelds 140 und Informationen über die Umgebung 190 am Anzeigefeld 140, einschließlich unter anderem der Informationen über die Beleuchtung 192 und die Betrachter 180, berücksichtigen.
  • Zumindest manche von den Informationen, die von der Server-/Codier-Pipeline 110 beim Abbilden von Videoinhalt auf ein Zielanzeigefeld 140 verwendet werden können, können von einer Vorrichtung oder einem System 120 erfasst werden, die/das das Zielanzeigefeld 140 und eine Decodier-/Anzeige-Pipeline 130 beinhaltet. Das System 120 kann die erfassten Informationen an einer Vorrichtung oder einem System bereitstellen, die/das die Server-/Codier-Pipeline 110 beinhaltet. Zum Beispiel kann ein System 120, das ein Zielanzeigefeld 140 beinhaltet, auch einen oder mehrere Sensoren 150 (Kameras, Lichtsensoren usw.) beinhalten, die verwendet werden können, um Umgebungsbedingungen, wie Umgebungsbeleuchtung, und Standort des Betrachters zu erkennen. Das System 120 kann beispielsweise Informationen, die aktuelle Umgebungsbedingungen beschreiben, an Vorrichtungen, Systemen oder Servern, die sich an einem anderen Ort befinden, und die die Server-/Codier-Pipeline 110 implementieren, über eine drahtgebundene oder drahtlose Verbindung bereitstellen. Man beachte jedoch, dass eine Server-/Codier-Pipeline 110 und eine Decodier-/Anzeige-Pipeline 130 an ein und derselben Vorrichtung oder ein und demselben System implementiert werden kann.
  • In manchen Ausführungsformen kann das Zielanzeigefeld 140 HDR- und WCG-Bildgebung mit einer Bittiefe (z. B. 10 Bits) unterstützen, und die Server-/Codier-Pipeline 110 kann den Videoinhalt gemäß dem einen oder den mehreren aktuellen Umgebungsfaktoren an dem Zielanzeigefelds 140, beispielsweise einer Umgebungsbeleuchtung 192 und einem Standort der Betrachters 180, auf einen Dynamikbereich und einer Farbskala bei der Bittiefe abzubilden, die vom Anzeigefeld 140 unterstützt wird. Die Server-/Codier-Pipeline 110 codiert den abgebildeten Videoinhalt und sendet den codierten Inhalt an eine Decodier-/Anzeige-Pipeline 130 für das Zielanzeigefeld 140, die den Videoinhalt decodiert und am Zielanzeigefeld 140 anzeigt.
  • Die serverseitige, adaptive Videoverarbeitung kann beispielsweise ein effektives und relativ einfaches Verfahren sein, um HDR-, WCG-Videoinhalt von einem Serversystem über ein Netz oder eine Verbindung zu HDR- und WCG-fähigen Zielsystemen 120 und Anzeigefeldern 140 zur Anzeige zu bekommen, da keine spezielle Abbildung auf der Decodier-/Anzeigeseite 130 nötig sein muss. Da eine anzeigefeldspezifische Tonabbildung und Farbskala-Abbildung auf die Dynamik- und Farbskala, der jeweils vom Zielanzeigefeld 140 unterstützt wird, auf der Server-/Codierseite 110 durchgeführt wird, kann es sein, dass die Decodier-/Anzeige-Pipeline 130 gar keine Änderungen oder Modifikationen benötigt, um eine HDR- und/oder WCG-Bildgebung zu unterstützen. Man beachte auch, dass eine Server-/Codier-Pipeline 110 den gleichen Videoinhalt auf zwei oder mehr verschiedenen Zielanzeigefeldern 140 gemäß den jeweiligen Eigenschaften und/oder Umgebungen des Anzeigefelds 140 abbilden kann.
  • 10 zeigt ein Beispiel für ein Videoabspielsystem, in dem eine serverseitige Codier-Pipeline Ausgangs-Videodaten erzeugt, die für ein Zielanzeigefeld adaptiert sind, gemäß manchen Ausführungsformen. In dem Beispiel für ein Videowiedergabesystem erzeugt eine serverseitige Codier-Pipeline 1000 Ausgabedaten in einem Bereich mit breiter Farbskala (WCG) und hohem Dynamikbereich (HDR), wobei eine Abbildung auf den Anzeigefarbskala- und -dynamikbereich auf der Seite des Servers/der Codierung 1000 zumindest zum Teil gemäß Informationen durchgeführt wird, die von der Seite der Decodierung/Anzeige 1050 her erhalten werden. Das Beispiel für ein Videowiedergabeverfahren und -system kann eine H.265/HEVC-Codierung in WCG und HDR zur Verteilung an mindestens ein Zielanzeigefeld beinhalten, wobei die anzeigeseitige Decodierung und Verarbeitung keine spezielle Skala oder keine spezielle Tonabbildungfür das Zielanzeigefeld erfordert.
  • 10 zeigt ein Modul oder eine Pipeline eines Servers/einer Codierung 1000, das bzw. die eine oder mehrere Komponenten beinhaltet, und ein Modul oder eine Pipeline einer Decodierung/Anzeige 1050, die eine oder mehrere Komponenten beinhaltet. In diesem Beispiel sind eine Pipeline für eine Decodierung/Anzeige 1050 und ein HDR-Zielanzeigefeld 1090 implementiert auf einem System 1040 gezeigt. In manchen Ausführungsformen kann bzw. können der Server/die Codierung 1000 und/oder die Decodierung/Anzeige 1050 auf einem System-on-Chip (SOC) implementiert werden. In manchen Ausführungsformen können der Server/die Codierung 1000 und die Decodierung/Anzeige 1050 in ein und demselben Gerät, System und/oder SOC implementiert werden. In manchen Ausführungsformen können der Server/die Codierung 1000 und die Decodierung/Anzeige 1050 in verschiedenen Geräten, Systemen und/oder SOCs implementiert werden. In manchen Ausführungsformen kann bzw. können eine oder mehrere Pipelines eines Servers/einer Codierung 1000 in einem Gerät oder System implementiert sein. Die Pipelines des Servers/der Codierung 1000 können dafür ausgelegt sein, Video auf einer oder mehreren Geräten oder Systemen, die jeweils mindestens eine Pipeline der Decodierung/Anzeige 1050 und mindestens ein angesteuertes Anzeigefeld 1090 implementieren, zu codieren und zu streamen.
  • In dieser Ausführungsform werden Farbskala-Abbildung und Tonabbildung für ein Zielanzeigefeld 1090 von einer Pipeline eines Servers/einer Codierung 1000 durchgeführt, wobei ein codierter Video-Stream (VES) 1012 in HDR und WCG, wie er von dem Zielanzeigefeld 1090 unterstützt wird, auf der Seite der Codierung 1000 erzeugt und an die Seite der Decodierung 1050 zur Decodierung und Anzeige weitergegeben wird (z. B. an eine HEVC-Decodierkomponente 1052). Die Server-/Codier-Pipeline 1000 kann Anzeigeinformationen 1092 und/oder Umgebungsinformationen 1042 von dem System 1040 erhalten, welches das Zielanzeigefeld 1090 beinhaltet.
  • Der in die Pipeline des Servers/der Codierung 1000 eingegebene Videoinhalt kann beispielsweise im (linearen) CIE 1931 XYZ-Farbraum bei einer Bittiefe von 16 Bits codiert werden. Eine Abbildungskomponente 1002 kann eine elektrooptische 12-Bit-Übertragungsfunktionsoperation (EOTF-Operation) auf das eingegebene lineare XYZ-Video anwenden, um die eingegebenen 16-Bit-Daten auf 12-Bit-Videodaten abzubilden, beispielsweise in einen 12-Bit-RGB-Farbraum. Obwohl dies nicht dargestellt ist, kann die Pipeline des Servers/der Codierung 1000 den eingegebenen Videoinhalt analysieren, um eine oder mehrere Inhaltseigenschaften zu bestimmen, beispielsweise die Breite des Dynamikbereichs des Videoinhalts, das Ausmaß von Bewegungen von Frame zu Frame oder Szene zu Szene, Farbeigenschaften (z. B. Farbumfänge), Glanzlichteffekte, Kontrast, helle und dunkle Regionen usw. Diese Inhaltsinformationen können zusammen mit Anzeigeinformationen 1092 und/oder Umgebungsinformationen für die Verarbeitung des Videoinhalts zur Anzeige auf dem Zielanzeigefeld 1090 verwendet werden.
  • Eine Komponente für feldspezifisches Abbilden 1004 kann dann gemäß den Anzeigeinformationen 1092 und/oder Umgebungsinformationen, die vom System 1040 erhalten werden, die 12-Bit-RGB-Videodaten in einen Farbraum (z. B. 10 Bit RGB) des Zielanzeigefelds 1090 abbilden. Eigenschaften des eingegebenen Videoinhalts können auch für die Abbildung 1004 verwendet werden. Die Abbildung 1004 kann beispielsweise die Durchführung einer Farbskala-Abbildung zum Abbilden der Farbskala des eingegebenen Videoinhalts in der Farbskala des Anzeigefelds 1090 und die Durchführung einer Tonabbildung zum Abbilden des Dynamikbereichs des eingegebenen Videoinhalts in den Dynamikbereich des Anzeigefelds 1090 beinhalten. Die Technik der Farbskala-Abbildung kann gemäß den vom System 1040 erhaltenen Informationen angepasst werden. Zum Beispiel kann die Farbskala der Quelldaten gemäß den Anzeigeinformationen 1092 auf die Bittiefe des Zielanzeigefelds abgebildet werden. Als weiteres Beispiel können Kurven, Übertragungsfunktionen und/oder Zuordnungstabellen gemäß der bestimmten Farbskala ausgewählt werden, der vom Anzeigefeld unterstützt wird, wie in den Anzeigeinformationen 1092 angegeben ist. Als weiteres Beispiel können Kurven, Übertragungsfunktionen und/oder Zuordnungstabellen, die für die Skala-Abbildungstechnik verwendet werden, auf Basis eines oder mehrerer Messwerte, unter anderem aktuell gemessener Werte für die Lichtverhältnisse am Anzeigefeld, die von den Umgebungsinformationen 1042 angegeben werden, modifiziert oder angepasst werden.
  • Die Technik der Tonabbildung kann gemäß den vom System 1040 erhaltenen Informationen angepasst werden. Zum Beispiel kann der Dynamikbereich der Quelldaten gemäß den Anzeigeinformationen 1092 auf die Bittiefe des Zielanzeigefelds abgebildet werden. Als weiteres Beispiel können Tonkurven und/oder Übertragungsfunktionen, die für die Tonabbildungstechnik verwendet werden, auf Basis eines oder mehrerer Messwerte, unter anderem aktuell gemessener Werte der Lichtverhältnisse am Anzeigefeld, die von den Umgebungsinformationen 1042 angegeben werden, modifiziert oder angepasst werden. In manchen Ausführungsformen kann eine nichtlineare, globale Tonabbildungskurve für einen Video-Frame oder eine Abfolge von Frames, die in der Server-/Codier-Pipeline verarbeitet werden, zumindest zum Teil auf Basis der Anzeigeinformationen 1092 und/oder Umgebungsinformationen 1092 ausgewählt werden. In manchen Ausführungsformen können die Video-Frames anstelle von oder zusätzlich zu einer globalen Tonkurve in mehrere Regionen unterteilt werden, und lokale Tonkurven können für jede Region zumindest zum Teil auf Basis der Anzeigeinformationen 1092 und/oder Umgebungsinformationen 1092 dynamisch bestimmt oder auf andere Weise ausgewählt werden.
  • In manchen Ausführungsformen kann eine feldspezifische Abbildung 1004 zumindest zum Teil von einem Bildsignalprozessor (ISP) durchgeführt werden. In manchen Ausführungsformen können eine oder mehrere Komponenten des ISP (z. B. 3D-Farbzuordnungstabellen (CLUTs)) für die Durchführung der feldspezifischen Abbildung 1004 verwendet werden. Jedoch kann die feldspezifische Abbildung 1004 stattdessen oder zusätzlich dazu in einer oder mehreren GPUs durchgeführt werden. In manchen Ausführungsformen kann eine RGB-zu-YCC-1006-Komponente die 16-Bit-RGB-Ausgabe in ein 10-Bit-YCC-Format zum Codieren umwandeln. Eine H.265/HEVC-Codiererkomponente 1010 codiert die 10-Bit-Videodaten, um HEVC VES 1012 in HDR und WCG zu erzeugen, die von dem Zielanzeigefeld 1090 bei einer Bittiefe von 10 Bit unterstützt werden.
  • Bei der Decodierung 1050 decodiert eine HEVC-Decodierkomponente 1052 einen komprimierten HEVC-Video-Stream 1012, um 10-Bit-Daten im YCC-Farbraum zu erzeugen. Eine Superauflösungstechnik 1054 kann an den Daten durchgeführt werden, und die 10-Bit-YCC-Daten können dann für eine abschließende Verarbeitung an eine Anzeige-Pipe 1058 weitergegeben werden, um Anzeigeausgabedaten, beispielsweise 10-Bit-RGB-Daten, mit der Bittiefe, der Farbskala und dem Dynamikbereich des HDR-Zielanzeigefelds 1090 zu erzeugen.
  • Man beachte, dass die verschiedenen Videoformate, Farbräume, Bittiefen usw., die in 10 gezeigt sind, nur als Beispiele angegeben sind und nicht beschränkend sein sollen. Zum Beispiel können andere Farbräume als CIE 1931 XYZ für eingegebenes Video verwendet werden. Als weiteres Beispiel können in manchen Ausführungsformen das Codieren und Decodieren gemäß anderen Codierformaten als dem H.265/HEVC-Format durchgeführt werden. Als weiteres Beispiel kann der Farbraum des Zielanzeigefelds 1090, in den die Server-/Codier-Pipeline 1000 den Videoinhalt abbildet 1004, ein beliebiger von einer Reihe von Farbräumen sein, einschließlich unter anderem verschiedene RGB-, Rec. 709-, P3 DCI D65- und Rec. 2020-Farbräume.
  • Nichtlineare Helligkeitsanpassung der Anzeige
  • Es werden Ausführungsformen von Einrichtungen und Verfahren zur Anpassung der Helligkeit einer Anzeige beschrieben, in denen die durchschnittliche Helligkeit einer Anzeige anhand einer nichtlinearen Funktion, beispielsweise einer stückweise linearen Funktion, herauf- oder herabgesetzt werden kann. Die nichtlineare Skalierung kann automatisch durchgeführt werden, beispielsweise als Reaktion auf eine Umgebungslichtstärke, die von einem oder mehreren Sensoren erfasst wird, wie in 1 dargestellt, aber sie kann auch als Reaktion auf eine Anpassung einer Steuerung 160, wie in 1 dargestellt, beispielsweise über einen Helligkeitsdrehknopf, -schieber oder -tastschalter oder über eine grafische Benutzeroberfläche (GUI) angewendet werden. Die nichtlineare Anpassung der Helligkeit kann global durchgeführt werden, oder sie kann alternativ dazu an lokalen Regionen eines Bildes oder eines Anzeigefelds durchgeführt werden.
  • 14 ist ein Ablaufschema eines nichtlinearen Helligkeitsanpassungsverfahrens gemäß zumindest manchen Ausführungsformen. Wie bei 1400 von 14 angegeben ist, kann der digitale Inhalt (z. B. Videoinhalt) auf dem Zielanzeigefeld angezeigt werden. Man beachte jedoch, dass stattdessen oder außerdem auch anderer digitaler Bildinhalt auf dem Anzeigefeld angezeigt werden kann. Das Anzeigefeld kann den Inhalt auf einer Helligkeitsstufe und Kontraststufe anzeigen. Das Anzeigefeld kann, muss aber nicht, eine Anzeigevorrichtung sein, die für einen hohen Dynamikbereich (HDR) ausgelegt ist, und der digitale Inhalt kann ein HDR-Inhalt sein. Wie bei 1402 von 14 angegeben ist, können Anzeigeinformationen und/oder Umgebungsinformationen für das angesteuerte Anzeigefeld erhalten werden, beispielsweise durch ein Helligkeitsanpassungsmodul des Anzeigefelds oder einer Vorrichtung, die das Feld beinhaltet. In manchen Ausführungsformen können die Anzeigeinformationen eine Angabe einer Helligkeitsstufeneinstellung für das Anzeigefeld beinhalten. In manchen Ausführungsformen kann die Helligkeitsstufe für die Anzeige gemäß einer Anpassung des Benutzers an einer Steuerung, beispielsweise einem physischen Helligkeitsdrehknopf, -schieber oder -tastschalter oder einer Helligkeitssteuerung einer grafischen Benutzeroberfläche (GUI) eingestellt werden. In manchen Ausführungsformen können die Umgebungsinformationen einen oder mehrere Beleuchtungsmesswerte beinhalten, und eine Leuchtdichtestufe für die Anzeige kann gemäß dem/den Umgebungsbeleuchtungsmesswert(en) bestimmt oder angepasst werden. Wie bei 1404 von 14 angegeben ist, kann eine Anpassung für die Helligkeitsstufe der Anzeige gemäß den Informationen bestimmt werden. Wenn der Anwender beispielsweise einen Helligkeitsschieber nach oben oder unten bewegt, kann eine entsprechende Änderung der Helligkeitsstufe gemäß der Bewegung bestimmt werden. Als weiteres Beispiel kann in einem Fall, wo die Beleuchtung dunkler oder heller wird, eine entsprechende Änderung der Helligkeitsstufe gemäß der Änderung der Umgebungsbeleuchtung bestimmt werden. Beispielsweise kann es sein, dass die Anzeigehelligkeit erhöht werden muss, wenn das Umgebungslicht heller wird. Dagegen kann es sein, dass die Anzeigehelligkeit unter gedämpften Lichtverhältnissen verringert werden muss.
  • Wie bei 1406 von 14 angegeben ist, kann die Anzeigehelligkeit dann gemäß einer nichtlinearen Funktion herauf- oder herabgesetzt werden, um die Helligkeitsstufe der Anzeige anzupassen. Zum Beispiel kann in manchen Ausführungsformen die nichtlineare Funktion an das Eingangssignal angelegt werden, um unter Verwendung einer Zuordnungstabelle das Ausgangssignal zu erzeugen, das gemäß der aktuellen Helligkeitsstufe angepasst ist; jedoch können auch andere Techniken verwendet werden. In manchen Ausführungsformen wird das Eingangssignal in die Komponenten Luminanz (Luma) und Chrominanz (Chroma) aufgeteilt, und die nichtlineare Funktion wird an die Luma-Komponente des Signals angelegt. Ein Beispiel für eine nichtlineare Funktion, wie sie an ein Eingangssignal angelegt wird, um ein Ausgangssignal zu erzeugen, ist in 13 dargestellt. Wenn die nichtlineare Funktion angewendet wird, um die Helligkeit herabzusetzen, wird der Kontrast im Ausgangssignal möglicherweise nicht reduziert, so dass der Dynamikbereich und die Lichteffekte bewahrt werden. In manchen Ausführungsformen kann die Anzeigehelligkeit anhand einer globalen, nichtlinearen Funktion global angepasst werden. In manchen Ausführungsformen kann die Anzeigehelligkeit separat für zwei oder mehr Regionen der Anzeige angepasst werden, wobei in verschiedenen Regionen möglicherweise eine jeweils andere, nichtlineare Funktion oder Variante einer nichtlinearen Funktion angelegt wird.
  • Die Elemente von 14 werden ausführlicher unter Bezugnahme auf die 12 und 13 beschrieben.
  • Techniken zur Anpassung der Anzeigehelligkeit setzen die Helligkeit in der Regel mittels einer linearen Funktion herauf oder herab, so dass sowohl die durchschnittliche Helligkeit als auch der Kontrast im gleichen Verhältnis geändert werden. Zum Beispiel zeigt 12 das lineare Eingabe/Ausgabe-Verhältnis einer Anpassung der Helligkeit (Luma) mit einem Skalierungsfaktor von 0,5. Die x-Achse ist das Eingangssignal, und die y-Achse ist das Ausgangssignal, und beide sind auf [0, 1] normalisiert. Die entsprechende lineare Gleichung lautet: y = kx
  • Ein Problem mit einer linearen Helligkeitsanpassung, wie in 12 dargestellt, besteht darin, dass auch der Kontrast verringert wird, wenn die durchschnittliche Helligkeit verringert wird. Infolgedessen wird das angezeigte Bild/Video weniger lebhaft. Ausführungsformen von Einrichtungen und Verfahren zur Anpassung der AnzeigeHelligkeit, wie sie hierin beschrieben werden, können eine nichtlineare (z. B. stückweise lineare) Helligkeitsanpassungsfunktion implementieren, bei der eine Helligkeitsanpassung nur den Durchschnitt ändert, aber den maximalen Dynamikbereich unverändert lässt. Ein nicht-beschränkendes Ausführungsbeispiel einer nichtlinearen Helligkeitsanpassungsfunktion ist in 13 gezeigt, in der die Eingabe-Ausgabe-Beziehung der Helligkeitsanpassungsfunktion (Luma-Anpassungsfunktion) gemäß zumindest manchen Ausführungsformen dargestellt ist. Im Vergleich der 13 mit der geraden Linie in 12 ist die Helligkeitsanpassungsfunktion eine stückweise lineare Funktion mit den Parametern T0 bis T3. In 13 ist T00, ist T1 auf 0,9 eingestellt und ist T2 auf 0,95 eingestellt und ist T31. Man beachte, dass der Gradient von (T0, T1) auf (T1, T2) steigt und wiederum von (T1, T2) auf (T2, T3) steigt. Man beachte jedoch, dass diese Werte Beispiele sind und nicht beschränkend sein sollen. In diesem Beispiel für eine stückweise nichtlineare Funktion, wie in 13 dargestellt, sind die entsprechenden Gleichungen: y = k0x wenn 0 <= x < T, y = k1(x – T1) + k0T, wenn T1 <= x < T2 y = k2(x – T2) + k1(T2 – T1) + k0T1 wenn T2 <= x <= 1
  • Wenn eine nichtlineare Funktion, beispielsweise eine stückweise lineare Funktion, wie sie in 13 dargestellt ist, angewendet wird, um die Helligkeit herabzusetzen, kann es zumindest in manchen Ausführungsformen sein, dass der Kontrast des Ausgangssignals nicht reduziert wird, so dass der Dynamikbereich und Lichteffekte bewahrt werden. Eine lineare Skalierung, wie in 12 dargestellt, kann die Bildqualität negativ beeinflussen. Wenn beispielsweise eine lineare Anpassung durchgeführt wird, wie in 12, dargestellt, wird in der Regel auch der Dynamikbereich herabgesetzt. Statt der Durchführung einer linearen Anpassung, wie in 12 dargestellt, können Ausführungsformen daher nur die durchschnittliche Helligkeit unter Verwendung einer nichtlinearen Skalierungsfunktion herabsetzen, wie in 13 dargestellt, während sie den Kontrast und den Dynamikbereich nicht entsprechend reduzieren, wodurch Lichteffekte bewahrt bleiben. Während 13 eine stückweise lineare Skalierungsfunktion zeigt, können auch andere nichtlineare Funktionen, wie quadratische Funktionen oder Kurven, verwendet werden.
  • Wie oben angegeben kann es sein, dass der Dynamikbereich nicht reduziert wird und Lichteffekte bewahrt werden, wenn eine nichtlineare Funktion, beispielsweise eine stückweise lineare Funktion, wie sie in 13 dargestellt ist, angewendet wird, um die Helligkeit herabzusetzen. Jedoch kann es in manchen Fällen sein, dass der Kontrast ebenso wie die Helligkeit herabgesetzt werden muss; jedoch wird der Kontrast nicht so stark und/oder so schnell herabgesetzt wird wie die Helligkeit, um dazu beizutragen, den Dynamikbereich des angezeigten Bildes zu bewahren. Anders ausgedrückt wird im Gegensatz zu linearen Skalierungstechniken wie sie in 12 dargestellt sind, bei denen die durchschnittliche Helligkeit und der Kontrast im gleichen Verhältnis geändert werden, unter Verwendung von Ausführungsformen nichtlinearer Helligkeitsskalierungstechniken wie sie in 13 dargestellt sind, der Kontrast durch die Anpassung der Helligkeit nicht beeinflusst oder wird als Reaktion auf eine Helligkeitsanpassung anders beeinflusst als die Helligkeit.
  • In manchen Ausführungsformen kann die nichtlineare Skalierung der Helligkeit und möglicherweise auch des Kontrastes automatisch gemäß den hierin beschriebenen umgebungsadaptiven Rendering-Verfahren durchgeführt werden, beispielsweise als Reaktion auf die Änderung der Umgebungslichtstärke, die von einem Sensor oder von Sensoren erfasst wird, wie in 1 dargestellt ist. In manchen Ausführungsformen kann anstelle von oder zusätzlich zu der automatischen Skalierung die nichtlineare Skalierung als Reaktion auf eine Anpassung eines Benutzers an einer Steuerung 160, wie in 1 dargestellt, angewendet werden, beispielsweise über einen Helligkeitsdrehknopf, -schieber oder eine Helligkeitssteuerung an einer grafischen Benutzeroberfläche (GUI).
  • Wie in 13 gezeigt ist, kann in manchen Ausführungsformen eine stückweise lineare Funktion verwendet werden. Jedoch können auch andere Funktionen verwendet werden, beispielsweise eine Kurvenfunktion, eine quadratische Funktion usw. Jedoch kann die allgemeine Form der Kurve in 13 in der Regel unabhängig von der Art der verwendeten Funktion beibehalten werden. Bei dieser Form ist der Gradient am Anfang des Signals langsam oder flach und wird schneller oder steiler. Diese Form kann beispielsweise dabei helfen, Lichteffekte in dem Bild zu bewahren. Man beachte jedoch, dass in manchen Ausführungsformen auch andere allgemeine Kurvenformen verwendet werden können.
  • In manchen Ausführungsformen kann anstelle von oder zusätzlich zu der Verwendung einer globalen nichtlinearen Skalierungsfunktion die nichtlineare Skalierungsfunktion angewendet und in verschiedenen Regionen eines Bildschirms, eines Bildes oder eines Video-Frames variiert werden. In manchen Ausführungsformen können alle Helligkeitswerte in einem Bild global und gemäß der gleichen nichtlinearen Skalierungsfunktion angepasst werden. Jedoch können in manchen Ausführungsformen lokale Helligkeitsanpassungen anstelle von oder zusätzlich zu globalen Anpassungen durchgeführt werden. Bei einer lokalen Anpassung der nichtlinearen Skalierungsfunktion können unterschiedliche nichtlineare Modelle oder Funktionen angewendet werden oder können in unterschiedlichen Bereichen eines Bildes oder einer Anzeige unterschiedlich angelegt werden.
  • Ausführungsformen für Techniken zur Anpassung der Anzeigehelligkeit wie hierin beschrieben können beispielsweise in Vorrichtungen oder Systemen implementiert werden, die eine oder mehrere Anzeigevorrichtungen beinhaltet. Anzeigen oder Anzeigevorrichtungen können Bildschirme oder Anzeigefelder beinhalten, die in andere Vorrichtungen integriert sind, unter anderem in Smartphones, Mobiltelefonen, PDAs, Tablet- oder Pad-Vorrichtungen, multifunktionellen Vorrichtungen, Rechenvorrichtungen, Laptop-Computern, Notebook-Computern, Netbook-Computern, Desktop-Computern usw. Anzeigevorrichtungen können auch Videomonitore, Projektoren oder ganz allgemein jede Vorrichtung beinhalten, die digitale Bilder und/oder digitales Video anzeigen oder projizieren kann. Die Techniken zur Anpassung der Anzeigehelligkeit können beispielsweise für Anzeigen implementiert werden, die unter anderem Anzeigen gemäß der LED-Technologie (Leuchtdiodentechnologie), OLED-Technologie (organische Leuchtdiodentechnologie) oder LCD-Technologie (Flüssigkristallanzeigetechnologie) beinhalten, mit lokaler Dämpfung des Hintergrundlichts.
  • Die nichtlinearen Helligkeitsanpassungsverfahren können beispielsweise in einem Modul oder einer Komponente für eine Helligkeitsanpassung oder in einer anderen Vorrichtung oder Einrichtung implementiert sein. Die 15 bis 19 zeigen nichtbeschränkende Beispiele für Vorrichtungen, in denen Ausführungsformen des Moduls oder der Verfahren für eine nichtlineare Anzeigehelligkeitsanpassung implementiert werden können. Eine Anzeigevorrichtung oder eine Vorrichtung oder ein System, die bzw. das eine Anzeigevorrichtung beinhaltet, können Hardware und/oder Software (z. B. ein Helligkeitsanpassungsmodul) beinhalten, die zumindest manche der Funktionen für eine nichtlineare Anzeigehelligkeitssteuerung, wie hierin beschrieben, implementieren. In manchen Ausführungsformen kann eine Anzeigevorrichtung oder eine Vorrichtung, die ein Anzeigefeld oder einen Bildschirm beinhaltet, eine Anzeige-Pipeline implementieren, die komprimierte Bilder empfängt und verarbeitet (d. h. decodiert), beispielsweise Videobilder für die Anzeige auf dem Feld oder dem Bildschirm, beispielsweise gemäß den hierin beschriebenen adaptiven Videoverarbeitungsverfahren, und eine oder mehrere Komponenten der Anzeige-Pipeline können zumindest manche der hierin beschriebenen Funktionen für eine nichtlineare Anpassung der Anzeigehelligkeit implementieren. In manchen Ausführungsformen kann eine Anzeige-Backend-Komponente einer Anzeige-Pipeline die nichtlineare Anzeigehelligkeitsanpassungsfunktion implementieren. In manchen Ausführungsformen kann die nichtlineare Anzeigehelligkeitsanpassungsfunktion in oder von einem Anpassungsmodul oder einer Anpassungskomponente des Anzeige-Backends implementiert werden. Die 3 und 4 zeigen ein Beispiel für eine Anzeige-Pipeline und ein Anzeige-Backend, welche die hierin beschriebenen, nichtlinearen Anzeigehelligkeitsanpassungsfunktionen implementieren können. In manchen Ausführungsformen kann zumindest ein Teil der hierin beschriebenen Funktionen für eine nichtlineare Anpassung der Helligkeit durch eine oder mehrere Komponenten oder ein oder mehrere Module eines Systems auf einem Chip (SOC) implementiert werden, das in Vorrichtungen verwendet werden kann, die unter anderem Multifunktionsvorrichtungen, Smartphones, Pad- oder Tablet-Vorrichtungen und andere tragbare Rechenvorrichtungen wie Laptop-, Notebook- und Netbook-Computer beinhalten.
  • Beispielvorrichtungen und -Einrichtungen
  • Die 15 bis 19 zeigen nicht-beschränkende Beispiele für Vorrichtungen und Einrichtungen, in oder mit denen Ausführungsformen oder Komponenten der verschiedenen digitalen Video- oder Bildverarbeitungs- und Anzeigeverfahren und -Einrichtungen, wie hierin beschrieben, implementiert werden können. 15 zeigt ein Beispiel für SOC, und 16 zeigt ein Beispiel für die Implementierung eines SOC. 17 zeigt ein Beispiel für Computersysteme, in dem die hierin beschriebenen Verfahren und Einrichtungen implementiert sein können. 18 und 19 zeigen Beispiele für Multifunktionsvorrichtungen, in denen die hierin beschriebenen Verfahren und Einrichtungen implementiert werden können.
  • Beispiel für System-on-Chip (SOC)
  • Unter Bezugnahme auf 15 wird ein Blockschema einer Ausführungsform eines Systems auf einem Chip (SOC) 8000 gezeigt, das in Ausführungsformen verwendet werden kann. Das SOC 8000 ist mit einem Speicher 8800 gekoppelt gezeigt. Wie durch den Namen impliziert, können die Komponenten des SOC 8000 auf einem einzigen Halbleitersubstrat als ein „Chip” einer integrierten Schaltung integriert sein. In manchen Ausführungsformen können die Komponenten auf zwei oder mehr diskreten Chips in einem System implementiert sein. Das SOC 8000 wird jedoch hierein als ein Beispiel verwendet. In der dargestellten Ausführungsform schließen die Komponenten des SOC 8000 einen Komplex einer zentralen Verarbeitungseinheit (CPU) 8020, chipinterne Peripheriekomponenten 8040A bis 8040C (kürzer „Peripherieeinheiten”), eine Speichersteuereinheit (MC) 8030 und eine Kommunikationsstruktur 8010 ein. Die Komponenten 8020, 8030, 8040A bis 8040C können alle mit der Kommunikationsstruktur 8010 gekoppelt sein. Die Speichersteuereinheit 8030 kann während der Verwendung mit dem Speicher 8800 gekoppelt sein, und die Peripherieeinheit 8040B kann während der Verwendung mit einer externen Schnittstelle 8900 gekoppelt sein. In der veranschaulichten Ausführungsform schließt der CPU-Komplex 8020 einen oder mehrere Prozessoren (P) 8024 und einen Cache der Ebene zwei (L2) 8022 ein.
  • Die Peripherieeinheiten 8040A bis 8040B können jeder beliebige Satz zusätzlicher Hardware-Funktionalität sein, die im SOC 8000 eingeschlossen ist. Zum Beispiel können die Peripherieeinheiten 8040A bis 8040B Video-Peripherieeinheiten wie einen Bildsignalprozessor, der dafür ausgelegt ist, Bildaufnahmedaten von einer Kamera oder einem anderen Bildsensor zu verarbeiten, Anzeigesteuerungen, die dafür ausgelegt sind, Videodaten auf einer oder mehreren Anzeigevorrichtungen anzuzeigen, Grafikprozessoren (GPUs), Videocodierer/-decodierer oder Codecs, Skalierer, Rotatoren, Mischer usw. beinhalten. Die Peripherieeinheiten können Audio-Peripherieeinheiten wie Mikrofone, Lautsprecher, Schnittstellen für Mikrofone und Lautsprecher, Audioprozessoren, digitale Signalprozessoren, Mischer usw. beinhalten. Die Peripherieeinheiten können periphere Schnittstellensteuerungen für verschiedene Schnittstellen 8900, die außerhalb des SOC 8000 liegen (z. B. die Peripherieeinheit 8040B), einschließlich Schnittstellen, wie einem Universal Serial Bus (USB), Peripheral Component Interconnect (PCI), einschließlich PCI Express (PCIe), serieller und paralleler Ports usw. beinhalten. Die Peripherieeinheiten können Netz-Peripherieeinheiten wie Medienzugriffssteuerungen (MACs) beinhalten. Jeder beliebige Satz von Hardware kann eingeschlossen sein.
  • Der CPU-Komplex 8020 kann einen oder mehrere CPU-Prozessoren 8024 beinhalten, die als CPU des SOC 8000 dienen. Die CPU des Systems schließt den einen oder die mehreren Prozessoren ein, welche die Hauptsteuersoftware des Systems, wie beispielsweise ein Betriebssystem, ausführen. Allgemein kann durch die CPU während der Verwendung ausgeführte Software die anderen Komponenten des Systems steuern, um die gewünschte Funktionalität des Systems zu verwirklichen. Die Prozessoren 8024 können auch andere Software ausführen, wie beispielsweise Anwendungsprogramme. Die Anwendungsprogramme können Benutzerfunktionalität bereitstellen und können zur Steuerung von Vorrichtungen niedriger Ebene auf dem Betriebssystem beruhen. Dementsprechend können die Prozessoren 8024 auch als Anwendungsprozessoren bezeichnet werden. Der CPU-Komplex 8020 kann ferner weitere Hardware, wie beispielsweise den L2-Cache 8022 und/oder eine Schnittstelle zu den anderen Komponenten des Systems (z. B. eine Schnittstelle zur Kommunikationsstruktur 8010), beinhalten. Allgemein kann ein Prozessor jede beliebige Schaltlogik und oder jeden beliebigen Mikrocode beinhalten, die oder der konfiguriert ist, Anweisungen auszuführen, die in einer durch den Prozessor implementierten Anweisungssatzarchitektur definiert sind. Die Anweisungen und Daten, aufgrund derer der Prozessor als Reaktion auf ein Ausführen der Anweisungen arbeitet, können allgemein im Speicher 8800 gespeichert werden, obwohl bestimmte Anweisungen auch für einen direkten Prozessorzugriff auf Peripherieeinheiten definiert sein können. Prozessoren können Prozessorkerne, die auf einer integrierten Schaltung mit anderen Komponenten als ein System-on-Chip (SOC 8000) implementiert sind, oder andere Ebenen der Integration umfassen. Prozessoren können ferner diskrete Mikroprozessoren, Prozessorkerne und/oder Mikroprozessoren, die in Mehrfachchipmodul-Implementierungen integriert sind, Prozessoren, die als mehrere integrierte Schaltungen implementiert sind, usw. umfassen.
  • Die Speichersteuereinheit 8030 kann allgemein die Schaltlogik zum Empfangen von Speicheroperationen von den anderen Komponenten des SOC 8000 und zum Zugreifen auf den Speicher 8800 beinhalten, um die Speicheroperationen durchzuführen. Die Speichersteuereinheiten 8030 können dafür ausgelegt sein, auf jeden beliebigen Typ von Speicher 8800 zuzugreifen. Zum Beispiel kann der Speicher 8800 ein statischer Speicher mit wahlfreiem Zugriff (SRAM), dynamischer RAM (DRAM), wie beispielsweise synchroner DRAM (SDRAM), einschließlich DRAM mit doppelter Datenübertragungsrate (DDR, DDR2, DDR3 usw.), sein. Versionen mit geringer Leistung/mobile Versionen des DDR DRAM können unterstützt werden (z. B. LPDDR, mDDR usw.). Die Speichersteuereinheit 8030 kann Warteschlangen für Speicheroperationen, zum Ordnen (und potenziellen Umordnen) der Operationen und zum Vorlegen der Operationen für den Speicher 8800 beinhalten. Die Speichersteuereinheit 8030 kann ferner Datenpuffer beinhalten, um Schreibdaten zu speichern, die auf das Schreiben in den Speicher warten, und Lesedaten, die auf die Ausgabe an die Quelle der Speicheroperation warten. In manchen Ausführungsformen kann die Speichersteuereinheit 8030 einen Speicher-Cache beinhalten, um Speicherdaten zu speichern, auf die kürzlich zugegriffen wurde. In SOC-Implementierungen kann der Speicher-Cache zum Beispiel den Energieverbrauch im SOC verringern, indem ein erneuter Zugriff auf Daten aus dem Speicher 8800 vermieden wird, wenn erwartet wird, dass bald erneut auf sie zugegriffen wird. In manchen Fällen kann der Speicher-Cache, im Gegensatz zu privaten Caches, wie beispielsweise dem L2-Cache 8022 oder Caches in den Prozessoren 8024, die nur bestimmten Komponenten dienen, auch als ein System-Cache bezeichnet werden. Zusätzlich muss in manchen Ausführungsformen ein System-Cache nicht innerhalb der Speichersteuereinheit 8030 angeordnet sein.
  • In einer Ausführungsform kann der Speicher 8800 mit dem SOC 8000 in einer Chip-auf-Chip- oder Packung-auf-Packung-Konfiguration gepackt sein. Eine Mehrfachchipmodul-Konfiguration des SOC 8000 und des Speichers 8800 kann ebenfalls verwendet werden. Solche Konfiguration können (hinsichtlich der Datenbeobachtbarkeit) im Vergleich sicherer sein als Übertragungen an andere Komponenten im System (z. B. an die Endpunkte 16A bis 16B). Dementsprechend können sich geschützte Daten unverschlüsselt im Speicher 8800 befinden, wohingegen die geschützten Daten für einen Austausch zwischen dem SOC 8000 und externen Endpunkten verschlüsselt werden können.
  • Die Kommunikationsstruktur 8010 kann jede beliebige Kommunikationsverbindung und jedes beliebige Protokoll zum Kommunizieren zwischen den Komponenten des SOC 8000 sein. Die Kommunikationsstruktur 8010 kann busgestützt sein, einschließlich gemeinsam genutzte Buskonfigurationen, Crossbar-Konfigurationen und hierarchische Busse mit Brücken. Die Kommunikationsstruktur 8010 kann auch paketgestützt sein und hierarchisch mit Brücken, Crossbar, Punkt-zu-Punkt oder andere Verbindungen sein.
  • Man beachte, dass die Anzahl der Komponenten des SOC 8000 (und die Anzahl von Teilkomponenten für die in 15 gezeigten, wie beispielsweise innerhalb des CPU-Komplexes 8020) von Ausführungsform zu Ausführungsform variieren kann. Es kann mehr oder weniger von jeder Komponente/Teilkomponente geben als die in 15 gezeigte Anzahl.
  • 16 ist ein Blockschema einer Ausführungsform eines Systems 9000, das mindestens eine Instanz eines SOC 8000 beinhaltet, die mit einer oder mehreren externen Peripherieeinheiten 9020 und dem externen Speicher 8800 gekoppelt ist. Eine Energieverwaltungseinheit (PMU) 9010 wird bereitgestellt, die dem SOC 8000 die Versorgungsspannungen sowie dem Speicher 8800 und/oder den Peripherieeinheiten 9020 eine oder mehrere Versorgungsspannungen zuführt. In manchen Ausführungsformen kann mehr als eine Instanz des SOC 8000 eingeschlossen sein (und auch mehr als ein Speicher 8800 kann eingeschlossen sein).
  • Die Peripherieeinheiten 9020 können jede gewünschte Schaltlogik beinhalten, abhängig vom Typ des Systems 9000. Zum Beispiel kann in einer Ausführungsform das System 9000 eine mobile Vorrichtung (z. B. ein persönlicher digitaler Assistent (PDA), ein Smartphone usw.) sein, und die Peripherieeinheiten 9020 können Vorrichtungen für verschiedene Typen von drahtloser Kommunikation beinhalten, wie Wi-Fi, Bluetooth, Mobilfunk, globales Positionsbestimmungssystem usw. Die Peripherieeinheiten 9020 können auch zusätzlichen Speicher beinhalten, einschließlich RAM-Speicher, Festspeicher oder Plattenspeicher. Die Peripherieeinheiten 9020 können Benutzerschnittstellen-Vorrichtungen, wie einen Bildschirm, einschließlich von Touchscreens oder Multi-Touchscreens, Tastatur- oder anderen Eingabevorrichtungen, Mikrofonen, Lautsprechern usw., beinhalten. In anderen Ausführungsformen kann das System 9000 ein beliebiger Typ von Computersystem sein (z. B. Desktop-Personal-Computer, Laptop, Workstation, Nettop usw.).
  • Der externe Speicher 8800 kann jeden beliebigen Speichertyp beinhalten. Zum Beispiel kann es sich bei dem externen Speicher 8800 um einen SRAM, einen dynamischen RAM (DRAM), wie einen synchronen DRAM (SDRAM), einen Double Data Rate (DDR, DDR2, DDR3 etc.) SDRAM, RAMBUS DRAM, weniger Leistung verbrauchende Versionen des DDR DRAM (z. B. LPDDR, mDDR usw.) usw. handeln. Der externe Speicher 8800 kann ein oder mehrere Speichermodule beinhalten, an denen die Speichervorrichtungen angebaut sind, beispielsweise einzelreihige Speichermodule (SIMMs), zweireihige Speichermodule (DIMMs) usw. Alternativ dazu kann der externe Speicher 8800 eine oder mehrere Speichervorrichtungen beinhalten, die an dem SOC 8000 in einer Chip-auf-Chip- oder Packung-auf-Packung-Implementierung angebaut sind.
  • Beispiel für ein Computersystem
  • 17 zeigt ein Beispiel für ein Computersystem 2900, das so gestaltet sein kann, dass es eine beliebige oder alle von den oben beschriebenen Ausführungsformen ausführt. In verschiedenen Ausführungsformen kann ein Computersystem 2900 eine von verschiedenen Arten von Vorrichtungen sein, unter anderem ein PC-System, ein Desktop-Computer, ein Laptop, ein Notebook, ein Tablet, ein Slate, ein Pad oder ein Netbook-Computer, ein Mainframe-Computersystem, ein in der Hand zu haltender Computer, eine Workstation, ein Netz-Computer, eine Kamera, eine Settop Box, eine mobile Vorrichtung, eine Anwendervorrichtung, ein Anwendungsserver, eine Speichervorrichtung, ein Videorecorder, eine periphere Vorrichtung, wie ein Switch, ein Modem, ein Router oder ganz allgemein jede Art von Rechner oder elektronischer Vorrichtung.
  • Verschiedene Ausführungsformen wie hierin beschrieben können in einem oder mehreren Computersystemen 2900 ausgeführt werden, die mit verschiedenen anderen Vorrichtungen wechselwirken können. Man beachte, dass gemäß verschiedenen Ausführungsformen jede Komponente, Aktion oder Funktion, die oben mit Bezug auf die 1 bis 16 beschrieben wurde, an einem oder mehreren als Computersystem 2900 von 17 implementierten Computern ausgeführt werden kann. In der dargestellten Ausführungsform weist das Computersystem 2900 einen oder mehrere Prozessoren 2910 auf, die über eine Eingabe/Ausgabe-(E/A)-Schnittstelle 2930 mit einem Systemspeicher 2920 gekoppelt sind. Das Computersystem 2900 beinhaltet ferner eine Netzschnittstelle 2940, die mit einer E/A-Schnittstelle 2930 gekoppelt ist, und eine oder mehrere Eingabe-/Ausgabevorrichtungen oder -komponenten 2950, beispielsweise eine Cursor-Steuerung 2960, eine Tastatur 2970, Anzeige(n) 2980, Kamera(s) 2990 und Sensor(en) 2992, unter anderem Lichtsensoren und Bewegungsdetektoren. In manchen Fällen kann in Betracht gezogen werden, dass Ausführungsformen unter Verwendung eines Einzelinstanz-Computersystems 2900 implementiert werden, während in anderen Ausführungsformen mehrere solcher Systeme oder mehrere Knoten, aus denen das Computersystem 2900 besteht, so konfiguriert sein können, dass sie verschiedene Abschnitte oder Instanzen von Ausführungsformen hosten. Zum Beispie1 können in einer Ausführungsform manche Elemente über einen oder mehrere Knoten des Computersystems 2900 implementiert werden, die sich von den Knoten unterscheiden, die andere Elemente implementieren. In verschiedenen Ausführungsformen kann das Computersystem 2900 ein Einzelprozessorsystem sein, das einen Prozessor 2910 enthält, oder ein Multiprozessorsystem, das mehrere Prozessoren 2910 (z. B. zwei, vier, acht oder eine andere, geeignete Anzahl) enthält. Die Prozessoren 2910 können aus jedem geeigneten Prozessor bestehen, der in der Lage ist, Befehle auszuführen. Zum Beispiel können Prozessoren 2910 in verschiedenen Ausführungsformen Allzweck- oder eingebettete Prozessoren sein, die eine von einer Reihe verschiedener Befehlssatzarchitekturen (ISAs) implementieren, beispielsweise x829, PowerPC, SPARC oder MIPS ISAs, oder eine beliebige andere, geeignete ISA. In Multiprozessorsystemen kann jeder Prozessor 2910 die gleiche ISA implementieren wie die anderen, dies ist aber nicht notwendig. Der Systemspeicher 2920 kann dafür ausgelegt sein, Programmbefehle 2922 und/oder Daten zu speichern, auf die der Prozessor 2910 zugreifen kann. In verschiedenen Ausführungsformen kann der Systemspeicher 2920 unter Verwendung jeder geeigneten Speichertechnologie, wie als statischer Schreib-Lese-Speicher (SRAM), synchroner dynamischer RAM (SDRAM), nicht-flüchtiger/Flash-Speicher oder eine beliebige andere Art von Speicher implementiert werden. In der dargestellten Ausführungsform können Programmbefehle 2922 dafür ausgelegt sein, jede der hierin beschriebenen Funktionen zu implementieren. Außerdem kann der Speicher 2920 beliebige der hierin beschriebenen Informationen oder Datenstrukturen enthalten. In manchen Ausführungsformen können Programmbefehle und/oder Daten auf verschiedenen Arten von für Computer zugänglichen Medien oder auf ähnlichen Medien, die vom Systemspeicher 2920 oder vom Computersystem 2900 getrennt vorliegen, empfangen, versendet oder gespeichert werden. Obwohl das beschriebene Computersystem 2900 die Funktionalität von Funktionsblöcken vorangehender Figuren implementiert, kann jede der hierin beschriebenen Funktionalitäten über solch ein Computersystem implementiert werden.
  • In einer Ausführungsform kann die E/A-Schnittstelle 2930 dafür ausgelegt sein, E/A-Verkehr zwischen dem Prozessor 2910, dem Systemspeicher 2920 und beliebigen peripheren Vorrichtungen in der Vorrichtung, einschließlich der Netzschnittstelle 2940 oder anderer peripherer Schnittstellen, wie Eingabe-/Ausgabevorrichtungen 2950, zu koordinieren. In manchen Ausführungsformen kann die E/A-Schnittstelle 2930 jede nötige Protokoll-, Zeitsteuerungs- oder andere Datenumwandlung durchführen, um Datensignale von einer Komponente (z. B. dem Systemspeicher 2920) in ein Format umzuwandeln, das sich zur Verwendung durch eine andere Komponente (z. B. den Prozessor 2910) eignet. In manchen Ausführungsformen kann die E/A-Schnittstelle 2930 Vorrichtungen unterstützen, die über verschiedene Arten von peripheren Bussen angebracht werden, beispielsweise eine Variante des Peripheral Component Interconnect-Busstandards (PCI-Busstandard) oder des Universal Serial Bus-Standards (USB-Standard). In manchen Ausführungsformen kann die Funktion der E/A-Schnittstelle 2930 auf zwei oder mehr separate Komponenten aufgeteilt sein, beispielsweise eine Nordbrücke und eine Südbrücke. Ebenso können in manchen Ausführungsformen einige oder alle Funktionalitäten der E/A-Schnittstelle 2930, beispielsweise eine Schnittstelle mit einem Systemspeicher 2920, direkt in den Prozessor 2910 eingebaut sein.
  • Die Netzschnittstelle 2940 kann dafür ausgelegt sein, einen Datenaustausch zwischen dem Computersystem 2900 und anderen Vorrichtungen, die an einem Netzwerk 2985 angebracht sind (z. B. am Träger oder an Agentenvorrichtungen) oder zwischen Knoten des Computersystems 2900 zuzulassen. Das Netz 2985 kann in verschiedenen Ausführungsformen eines oder mehrere Netze enthalten, wozu unter anderem Local Area Networks (LANs) (z. B. ein Ethernet- oder Corporate-Network), Wide Area Networks (WANs) (z. B. das Internet), drahtlose Datennetze, andere elektronische Datennetze oder Kombinationen davon gehören. In verschiedenen Ausführungsformen kann die Netzschnittstelle 2940 eine Kommunikation über drahtgebundene oder drahtlose allgemeine Datennetze, wie beispielsweise jede geeignete Art von Ethernet-Netzwerk; über Telekommunikations-/Telefonnetze, wie analoge Telefonnetze oder digitale Faserkommunikationsnetze; über Speichernetzwerke wie Fibre Channel SANS oder über eine beliebige andere Art von Netz und/oder Protokoll unterstützen.
  • Eingabe/Ausgabe-Vorrichtungen 2950 können in manchen Ausführungsformen einen oder mehrere Display-Anschlüsse, Tastaturen, Keypads, Touchpads, Scanner, Sprach- oder optischen Erkennungsvorrichtungen oder beliebigen anderen Vorrichtungen, die sich dafür eignen, Dateneingabe oder -zugriffe durch eines oder mehrere Computersysteme 2900 durchzuführen. Im Computersystem 2900 können mehrere Eingabe/Ausgabe-Vorrichtungen 2950 vorhanden oder auf verschiedene Knoten auf dem Computersystem 2900 verteilt sein. In manchen Ausführungsformen können ähnliche Eingabe/Ausgabe-Vorrichtungen getrennt vom Computersystem 2900 vorliegen und können mit einem oder mehreren Knoten des Computersystems 2900 über eine drahtgebundene oder drahtlose Verbindung, beispielsweise eine Netzschnittstelle 2940, wechselwirken.
  • Wie in 17 dargestellt ist, kann der Speicher 2920 Programmbefehle 2922 enthalten, die von einem Prozessor ausführbar sind, um ein(e) beliebige(s) der oben beschriebenen Elemente oder Aktionen zu implementieren. In einer Ausführungsform können die Programmbefehle die oben beschriebenen Verfahren implementieren. In anderen Ausführungsformen können andere Elemente und Daten enthalten sein. Man beachte, dass Daten jegliche der oben beschriebenen Daten oder Informationen beinhalten können.
  • Der Fachmann wird erkennen, dass das Computersystem 2900 nur zur Erläuterung dient und den Bereich der Ausführungsformen nicht beschränken soll. Insbesondere können das Computersystem und die Vorrichtungen beliebige Kombinationen aus Hardware und Software enthalten, welche die angegebenen Funktionen ausführen können, einschließlich Computern, Netzgeräten, Internetgeräten, PDAs, drahtlosen Telefonen, Pagern usw. Das Computersystem 2900 kann auch mit anderen Vorrichtungen verbunden sein, die nicht dargestellt sind, und kann stattdessen als eigenständiges System arbeiten. Außerdem kann die Funktionalität, die von den dargestellten Komponenten bereitgestellt wird, in manchen Ausführungsformen in weniger Komponenten kombiniert oder in zusätzlichen Komponenten verteilt sein.
  • Ebenso kann in manchen Ausführungsformen die Funktionalität von manchen der dargestellten Komponenten nicht bereitgestellt werden, und/oder es kann eine zusätzliche Funktionalität verfügbar sein.
  • Der Fachmann wird außerdem erkennen, dass zwar wie dargestellt verschiedene Dinge im Speicher gespeichert oder in einer Speichervorrichtung abgelegt sein können, während sie verwendet werden, dass diese Dinge oder Teile davon aber für die Zwecke der Speicherverwaltung und Datenintegrität auch zwischen einem Speicher und anderen Speichervorrichtungen übertragen werden können. Alternativ dazu können in anderen Ausführungsformen einige oder alle von den Software-Komponenten im Speicher oder einer anderen Vorrichtung ausgeführt werden und mit dem dargestellten Computersystem über Inter-Computer-Kommunikation kommunizieren. Einige oder alle von den Systemkomponenten oder Datenstrukturen können auch auf einem für Computer zugänglichen Medium oder einem tragbaren Gegenstand gespeichert werden (z. B. als Befehle oder strukturierte Daten), um von einem geeigneten Laufwerk gelesen zu werden, wofür Beispiele oben beschrieben sind. In manchen Ausführungsformen können Befehle, die auf einem für Computer zugänglichen Medium gespeichert sind, das separat vom Computersystem 2900 vorliegt, über Sendemedien oder -signale, wie elektrische, elektromagnetische oder digitale Signale auf das Computersystem 2900 übertragen werden, über ein Kommunikationsmedium wie ein Netz und/oder eine drahtlose Strecke übermittelt werden. Verschiedene Ausführungsformen können ferner das Empfangen, Verschicken oder Speichern von Befehlen und/oder Daten, die gemäß der obigen Beschreibung implementiert werden, auf einem für Computer zugänglichen Medium beinhalten. Allgemein gesprochen kann ein für Computer zugängliches Medium ein nicht-transitorisches, computerlesbares Speichermedium oder Speichermedium beinhalten, wie magnetische oder optische Medien, z. B. eine Disk oder DVD/CD-ROM, flüchtige oder nicht-flüchtige Medien wie RAM (z. B. SDRAM, DDR, RDRAM, SRAM usw.), ROM usw. In manchen Ausführungsformen kann ein für Computer zugängliches Medium Sendemedien oder -signale beinhalten, wie beispielsweise elektrische, elektromagnetische oder digitale Signale, die über ein Kommunikationsmedium, wie ein Netz und/oder eine drahtlose Strecke übermittelt werden.
  • Beispiele für Multifunktionsvorrichtungen
  • 18 zeigt ein Blockdiagramm einer tragbaren Multifunktionsvorrichtung gemäß manchen Ausführungsformen. In manchen Ausführungsformen handelt es sich bei der Vorrichtung um eine tragbare Kommunikationsvorrichtung, wie etwa ein Mobiltelefon, die auch andere Funktionen enthält, wie etwa PDA-, Kamera-, Videoaufnahme- und/oder -wiedergabe- und/oder Musikwiedergabefunktionen. Beispielhafte Ausführungsformen von tragbaren Multifunktionsvorrichtungen schließen unter anderem die iPhone®-, iPod Touch®- und iPad®-Vorrichtungen von Apple Inc., Cupertino, Kalifornien, ein. Es können auch andere tragbare, elektronische Vorrichtungen, wie etwa Laptops, Mobiltelefone, Smartphones, Pad- oder Tablet-Computer mit berührungsempfindlichen Oberflächen (z. B. Touchscreen-Anzeigen und/oder Touchpads) verwendet werden. Es versteht sich auch, dass es sich in manchen Ausführungsformen bei der Vorrichtung nicht um eine tragbare Kommunikationsvorrichtung handelt, sondern um einen Desktop-Computer mit einer berührungsempfindlichen Oberfläche (z. B. einer Touchscreen-Anzeige und/oder einem Touchpad). In manchen Ausführungsformen ist die Vorrichtung ein Spielecomputer mit Ausrichtungssensoren (z. B. Ausrichtungssensoren in einem Spiele-Controller). In anderen Ausführungsformen ist die Vorrichtung keine tragbare Kommunikationsvorrichtung, sondern ist eine Kamera und/oder eine Videokamera. In der folgenden Besprechung wird eine elektronische Vorrichtung beschrieben, die einen Bildschirm und eine berührungsempfindliche Oberfläche beinhaltet. Es sollte sich jedoch verstehen, dass die elektronische Vorrichtung eine oder mehrere physische Benutzerschnittstellenvorrichtungen, wie etwa eine physische Tastatur, eine Maus und/oder einen Joystick, beinhalten kann.
  • Die Vorrichtung unterstützt in der Regel eine Vielzahl an Anwendungen, wie etwa eine oder mehrere der folgenden: eine Zeichnungsanwendung, eine Präsentationsanwendung, eine Textverarbeitungsanwendung, eine Anwendung zum Erstellen von Websites, eine Anwendung zur Entwicklung von Autorensoftware für Discs, eine Tabellenkalkulationsanwendung, eine Spieleanwendung, eine Telefonanwendung, eine Videokonferenzanwendung, eine E-Mail-Anwendung, eine Instant Messaging-Anwendung, eine Anwendung zu Unterstützung des Trainings, eine Fotoverwaltungsanwendung, eine Anwendung für digitale Kameras, eine Anwendung für digitale Videos, eine Anwendung zum Surfen im Internet, eine Anwendung zur Wiedergabe digitaler Musik und/oder eine Anwendung zur Wiedergabe digitaler Videos.
  • Die verschiedenen Anwendungen, die auf der Vorrichtung ausgeführt werden, können mindestens eine gemeinsame physische Benutzerschnittstellenvorrichtung, wie etwa die berührungsempfindliche Oberfläche, verwenden. Eine oder mehrere Funktionen der berührungsempfindlichen Oberfläche sowie auf der Vorrichtung angezeigte, entsprechende Informationen können von einer Anwendung zur anderen und/oder innerhalb einer jeweiligen Anwendung angepasst und/oder variiert werden. Auf diese Weise kann eine gemeinsame physische Architektur (wie etwa die berührungsempfindliche Oberfläche) der Vorrichtung die verschiedenen Anwendungen mit Benutzerschnittstellen, die für den Benutzer intuitiv und erkennbar sind, unterstützen.
  • Die Vorrichtung 2100 kann einen Speicher 2102 (der eines oder mehrere computerlesbare Speichermedien beinhalten kann), eine Speichersteuerung 2122, eine oder mehrere Verarbeitungseinheiten (CPUs) 2120, eine Schnittstelle für Peripherieeinheiten 2118, eine HF-Schaltung 2108, eine Audioschaltung 2110, Lautsprecher 2111, ein berührungsempfindliches System 2112, ein Mikrofon 2113, ein Eingabe-/Ausgabe-Teilsystem (E/A-Teilsystem) 2106, andere Eingabesteuervorrichtungen 2116 und einen externen Anschluss 2124 beinhalten. Die Vorrichtung 2100 kann einen oder mehrere optische Sensoren oder Kameras 2164 beinhalten. Diese Komponenten können über einen oder mehrere Kommunikationsbusse oder Signalleitungen 2103 kommunizieren.
  • Es sei klargestellt, dass die Vorrichtung 2100 nur ein Beispiel einer tragbaren Multifunktionsvorrichtung ist, und dass die Vorrichtung 2100 mehr oder weniger Komponenten als gezeigt beinhalten kann, zwei oder mehr Komponenten kombinieren kann oder eine andere Konfiguration oder Anordnung der Komponenten beinhalten kann. Die in 18 gezeigten verschiedenen Komponenten können in Hardware, Software oder einer Kombination aus sowohl Hardware als auch Software, einschließlich einer oder mehrerer signalverarbeitender und/oder anwendungsspezifischer, integrierter Schaltungen, implementiert sein.
  • Der Speicher 2102 kann Hochgeschwindigkeitsdirektzugriffsspeicher und auch einen nicht-flüchtigen Speicher, wie etwa eine oder mehrere Magnetdiskettenspeichervorrichtungen, Flash-Speicher-Vorrichtungen oder andere nicht-flüchtige Halbleiterlaufwerkspeichervorrichtungen beinhalten. Der Zugriff auf den Speicher 2102 von anderen Komponenten der Vorrichtung 2100, wie etwa von der CPU 2120 und der Schnittstelle für Peripherieeinheiten 2118, kann von der Speichersteuerung 2122 gesteuert werden.
  • Die Schnittstelle für Peripherieeinheiten 2118 kann dazu verwendet werden, um Eingabe- und Ausgabeperipherieeinheiten der Vorrichtung an die CPU 2120 und den Speicher 2102 zu koppeln. Der eine oder die mehreren Prozessoren 2120 führen verschiedene, im Speicher 2102 gespeicherte Softwareprogramme und/oder Anweisungssätze aus, um verschiedene Funktionen der Vorrichtung 2100 auszuführen und Daten zu verarbeiten.
  • In manchen Ausführungsformen können die Schnittstelle für Peripherieeinheiten 2118, die CPU 2120 und die Speichersteuerung 2122 auf einem einzelnen Chip, wie etwa Chip 2104, implementiert sein. In einigen anderen Ausführungsformen können sie auf separaten Chips implementiert sein.
  • Die HF-Schaltung (Hochfrequenz-Schaltung) 2108 empfängt und sendet HF-Signale, die auch als elektromagnetische Signale bezeichnet werden. Die HF-Schaltung 2108 wandelt elektrische Signale in elektromagnetische Signale bzw. elektromagnetische Signale in elektrische Signale um und kommuniziert mittels der elektromagnetischen Signale mit Kommunikationsnetzwerken und anderen Kommunikationsvorrichtungen. Die HF-Schaltung 2108 kann bekannte Schaltung zum Ausführen dieser Funktionen, einschließlich unter anderem eines Antennensystems, eines HF-Sender-Empfängers, eines oder mehrerer Verstärker, eines Tuners, eines oder mehrerer Oszillatoren, eines digitalen Signalprozessors, eines Codierer-/Decodierer-Chipsatzes (Codec-Chipsatzes), einer Teilnehmeridentitätsmodulkarte (SIM-Karte), Speicher usw. umfassen. Die HF-Schaltung 2108 kann mittels drahtloser Kommunikation wahlweise mit Netzwerken, wie etwa dem Internet, das auch als World Wide Web (WWW) bezeichnet wird, einem Intranet und/oder einem drahtlosen Netzwerk, wie etwa einem Mobiltelefonnetzwerk, einem drahtlosen lokalen Netzwerk (LAN) und/oder einem innerstädtischen Netzwerk (MAN) und anderen Vorrichtungen kommunizieren. Die drahtlose Kommunikation kann beliebige von mehreren Kommunikationsstandards, Kommunikationsprotokollen und -technologien, einschließlich unter anderem des Global System for Mobile Communications (GSM), Enhanced Data GSM Environment (EDGE), High Speed Downlink Packet Access (HSDPA), High Speed Uplink Packet Access (HSUPA), Wideband Code Division Multiple Access (W-CDMA), Code Division Multiple Access (CDMA), Time Division Multiple Access (TDMA), Bluetooth, Wireless Fidelity (Wi-Fi) (z. B. IEEE 802.11a, IEEE 802.11b, IEEE 802.11g und/oder IEEE 802.11n), Voice over Internet Protocol (VoIP), Wi-MAX, einem Protokoll für E-Mails (z. B. Internet Message Access Protocol (IMAP) und/oder Post Office Protocol (POP)), Instant Messaging (z. B. Extensible Messaging and Presence Protocol (XMPP), Session Initiation Protocol for Instant Messaging and Presence Leveraging Extensions (SIMPLE), Instant Messaging and Presence Service (IMPS)), und/oder Short Message Service (SMS), oder jegliches andere, geeignete Kommunikationsprotokoll, einschließlich zum Zeitpunkt der Einreichung dieses Dokuments noch nicht entwickelter Kommunikationsprotokolle verwenden.
  • Die Audioschaltung 2110, die Lautsprecher 2111 und das Mikrofon 2113 stellen eine Audioschnittstelle zwischen einem Benutzer und einer Vorrichtung 2100 bereit. Die Audioschaltung 2110 empfängt Audiodaten von der Peripherieschnittstelle 2118, wandelt die Audiodaten in ein elektrisches Signal um und überträgt die elektrischen Signale an den Lautsprecher 2111. Der Lautsprecher 2111 wandelt die elektrischen Signale in vom Menschen hörbare Schallwellen um. Die Audioschaltung 2110 empfängt auch vom Mikrofon 2113 aus Schallwellen umgewandelte elektrische Signale. Die Audioschaltung 2110 wandelt die elektrischen Signale in Audiodaten um und überträgt die Audiodaten zur Verarbeitung an die Schnittstelle für Peripherieeinheiten 2118. Audiodaten können von der peripheren Schnittstelle 2118 aus dem Speicher 2102 und/oder der HF-Schaltung 2108 abgerufen und/oder dorthin übermittelt werden. In manchen Ausführungsformen beinhaltet die Audioschaltung 2110 auch einen Kopfhöreranschluss. Der Kopfhöreranschluss stellt eine Schnittstelle zwischen der Audioschaltung 2110 und nicht fest eingebauten Eingabe-/Ausgabe-Peripherieeinheiten bereit, wie etwa Nur-Ausgabe-Kopfhörer oder Kopfhörer sowohl mit Ausgabe (z. B. ein Kopfhörer für ein oder beide Ohren) als auch mit Eingabe (z. B. ein Mikrofon).
  • Das E/A-Subsystem 2106 koppelt Eingabe-/Ausgabe-Peripherieeinheiten an der Vorrichtung 2100, wie etwa den Touchscreen 2112, und andere Eingabesteuervorrichtungen 2116 an die Schnittstelle für Peripherieeinheiten 2118. Das E/A-Subsystem 2106 kann eine Anzeigesteuerung 2156 und einen oder mehrere Eingabesteuerungen 2160 für andere Eingabesteuervorrichtungen 2116 beinhalten. Die eine oder die mehreren Eingabesteuerungen 2160 empfangen/senden elektrische Signale von/an andere(n) Eingabesteuerungsvorrichtungen 2116. Die anderen Eingabesteuerungsvorrichtungen 2116 können physische Schalter (z. B. Drucktasten, Wipptaster etc.), Wählscheiben, Schiebeschalter, Joysticks, Klickräder usw. beinhalten. In einigen alternativen Ausführungsformen kann/können die Eingabesteuerung(en) 2160 an eine (oder keine) der folgenden gekoppelt sein: eine Tastatur, eine Infrarotschnittstelle, einen USB-Anschluss und an eine Zeigevorrichtung, wie eine Maus. Der eine oder die mehreren Tasten umfassen wahlweise eine Aufwärts/Abwärts-Taste für die Lautstärkeregelung des Lautsprechers 2111 und/oder des Mikrofons 2113. Die eine oder die mehreren Tasten kann/können eine Drucktaste beinhalten.
  • Der berührungsempfindliche Bildschirm 2112 stellt eine Eingabeschnittstelle und eine Ausgabeschnittstelle zwischen der Vorrichtung und dem Benutzer bereit. Die Anzeigesteuerung 2156 empfängt und/oder sendet elektrische Signale von dem/an den Touchscreen 2112. Der Touchscreen 2112 zeigt dem Benutzer visuelle Ausgaben an. Die visuelle Ausgabe kann wahlweise Grafiken, Text, Icons, Video und eine beliebige Kombination davon (insgesamt als „Grafiken” bezeichnet) beinhalten. In manchen Ausführungsformen können einige oder alle der visuellen Ausgaben den Benutzerschnittstellenobjekten entsprechen.
  • Der Touchscreen 2112 weist eine berührungsempfindliche Oberfläche und einen Sensor oder einen Satz von Sensoren auf, der/die Eingaben vom Benutzer basierend auf haptischem und/oder Tastkontakt annimmt. Der Touchscreen 2112 und die Anzeigesteuerung 2156 (zusammen mit jeglichen damit zusammenhängenden Modulen und/oder Anweisungssätzen im Speicher 2102) erfassen Kontakt (und jegliche Bewegung oder ein Abbrechen des Kontakts) auf dem Touchscreen 2112 und wandeln den erfassten Kontakt in Kommunikation mit den Benutzerschnittstellenobjekten (z. B. ein(en) oder mehrere Softkeys, Icons, Webseiten oder Bilder), die auf dem Touchscreen 2112 angezeigt werden, um. In einer beispielhaften Ausführungsform entspricht ein Kontaktpunkt zwischen dem Touchscreen 2112 und dem Benutzer einem Finger des Benutzers.
  • Der Touchscreen 2112 kann LCD-Technologie (Flüssigkristallanzeigetechnologie), LPD-Technologie (Leuchtpolymervorrichtungstechnologie) oder LED-Technologie (anorganische Leuchtdiodentechnologie) verwenden, wenngleich in anderen Ausführungsformen andere Bildschirmtechnologien verwendet werden können. Der Touchscreen 2112 und die Anzeigesteuerung 2156 können Kontakt und jegliche Bewegung oder ein Abbrechen des Kontakts unter Verwendung einer Reihe bereits bekannter oder noch zu entwickelnder Berührungssensortechnologien erkennen, einschließlich unter anderem kapazitiven, Widerstands-, Infrarot- und akustischen Oberflächenwellentechnologien, sowie anderer Näherungssensoranordnungen oder anderer Elemente zum Bestimmen eines oder mehrerer Kontaktpunkte auf dem Touchscreen 2112. In einer beispielhaften Ausführungsform wird projizierte, auf gegenseitiger Kapazität beruhende Sensortechnologie verwendet, wie diejenige, die im iPhone®, iPod Touch® und iPad® von Apple Inc. in Cupertino, Kalifornien, zu finden ist. Der Touchscreen 2112 kann eine Videoauflösung von mehr als 100 dpi aufweisen. In manchen Ausführungsformen weist der Touchscreen eine Videoauflösung von ungefähr 160 dpi auf. Der Benutzer kann Kontakt mit dem Touchscreen 2112 herstellen, indem er ein beliebiges geeignetes Objekt oder Körperteil, wie etwa einen Eingabestift, einen Finger und dergleichen verwendet. In manchen Ausführungsformen ist die Benutzerschnittstelle dazu ausgelegt, hauptsächlich mit auf Fingern basierenden Kontakten und Handbewegungen zu arbeiten, die aufgrund der größeren Kontaktfläche eines Fingers auf dem Touchscreen weniger akkurat als eine Eingabe mit dem Eingabestift sein können. In manchen Ausführungsformen übersetzt die Vorrichtung die grobe, auf Fingern basierende Eingabe in eine präzise Position des Mauszeigers/Cursors oder in einen Befehl zum Ausführen der vom Benutzer gewünschten Aktionen.
  • In manchen Ausführungsformen kann die Vorrichtung 2100 zusätzlich zum Touchscreen 2112 ein (nicht gezeigtes) Touchpad zum Aktivieren oder Deaktivieren bestimmter Funktionen aufweisen. In manchen Ausführungsformen ist das Touchpad ein berührungsempfindlicher Bereich der Vorrichtung, der im Gegensatz zum Touchscreen keine visuellen Ausgaben anzeigt. Das Touchpad kann eine berührungsempfindliche Oberfläche, die vom Touchscreen 2112 separat ist, oder eine Verlängerung der vom Touchscreen gebildeten, berührungsempfindlichen Oberfläche sein.
  • Die Vorrichtung 2100 beinhaltet auch das Stromversorgungssystem 2162, um die verschiedenen Komponenten mit Strom zu versorgen. Das Stromversorgungssystem 2162 kann ein Stromverwaltungssystem, eine oder mehrere Stromquellen (z. B. Batterie, Wechselstrom (AC)), ein Aufladesystem, eine Stromausfallerfassungsschaltung, einen Stromrichter oder Wechselrichter, eine Energiestatusanzeige (z. B. eine Leuchtdiode (LED)) und beliebige andere Komponenten, die mit der Stromerzeugung, Stromverwaltung und Stromverteilung in tragbaren Vorrichtungen im Zusammenhang stehen, beinhalten.
  • Die Vorrichtung 2100 kann auch eine(n) oder mehrere optische Sensoren oder Kameras 2164 beinhalten. 18 zeigt einen optischen Sensor, der an die optische Sensorsteuerung 2158 im E/A-Subsystem 2106 gekoppelt ist. Der optische Sensor 2164 kann beispielsweise Fototransistoren mit ladungsgekoppelten Bauteilen (CCD) oder mit komplementären Metalloxid-Halbleitern (CMOS) beinhalten. Der optische Sensor 2164 empfängt Licht aus der Umgebung, das durch eine oder mehrere Linsen projiziert wird, und wandelt das Licht in ein Bild darstellende Daten um. Zusammen mit dem Bildgebungsmodul 2143 (das auch als Kameramodul bezeichnet wird) kann der optische Sensor 2164 Standbilder und/oder Videosequenzen aufnehmen. In manchen Ausführungsformen kann mindestens ein optischer Sensor auf der Rückseite der Vorrichtung 2100, entgegengesetzt zur Touchscreen-Anzeige 2112 an der Vorderseite der Vorrichtung, angeordnet sein. In manchen Ausführungsformen kann die Touchscreen-Anzeige als Bildsucher für die Erfassung von Stand- oder Videobildern verwendet werden. In manchen Ausführungsformen kann stattdessen oder zusätzlich dazu mindestens ein optischer Sensor an der Vorderseite der Vorrichtung angeordnet sein.
  • Die Vorrichtung 2100 kann auch einen oder mehrere Näherungssensoren 2166 beinhalten. 18 zeigt den Näherungssensor 2166, der an die Schnittstelle für Peripherieeinheiten 2118 gekoppelt ist. Alternativ dazu kann der Näherungssensor 2166 an die Eingabesteuerung 2160 im E/A-Subsystem 2106 gekoppelt sein. In manchen Ausführungsformen schaltet der Näherungssensor den Touchscreen 2112 aus und deaktiviert ihn, wenn die Multifunktionsvorrichtung in der Nähe des Ohrs des Benutzers platziert wird (z. B. wenn der Benutzer einen Anruf tätigt).
  • Die Vorrichtung 2100 kann auch einen oder mehrere Ausrichtungssensoren 2168 beinhalten. In manchen Ausführungsformen weisen der eine oder die mehreren Ausrichtungssensoren einen oder mehrere Beschleunigungsmesser (z. B. einen oder mehrere lineare Beschleunigungsmesser und/oder einen oder mehrere Rotationsbeschleunigungsmesser) auf. In manchen Ausführungsformen weisen der eine oder die mehreren Ausrichtungssensoren ein oder mehrere Gyroskope auf. In manchen Ausführungsformen weisen der eine oder die mehreren Ausrichtungssensoren ein oder mehrere Magnetometer auf. In manchen Ausführungsformen weisen der eine oder die mehreren Ausrichtungssensoren eines oder mehrere der folgenden auf: ein globales Positionsbestimmungssystem (GPS), ein globales Navigationssatellitensystem (GLONASS) und/oder andere globale Navigationssystemempfänger. GPS, GLONASS und/oder andere globale Navigationssystemempfänger können verwendet werden, um Informationen über den Ort und die Ausrichtung (z. B. Hoch- oder Querformat) der Vorrichtung 2100 zu erhalten. In manchen Ausführungsformen weisen der eine oder die mehreren Ausrichtungssensoren eine beliebige Kombination aus Ausrichtungs- und Rotationssensoren auf. 18 zeigt den einen oder die mehreren, an die Schnittstelle für Peripherieeinheiten 2118 gekoppelten Ausrichtungssensoren 2168. Alternativ dazu können der eine oder die mehreren Ausrichtungssensoren 2168 an die Eingabesteuerung 2160 im E/A-Subsystem 2106 gekoppelt sein. In manchen Ausführungsformen werden Informationen auf der Touchscreen-Anzeige im Hochformat oder im Querformat angezeigt, basierend auf einer Analyse von Daten, die von dem einen oder den mehreren Ausrichtungssensoren empfangen wurden.
  • In manchen Ausführungsformen kann die Vorrichtung 2100 auch einen oder mehrere (nicht dargestellte) Sensoren beinhalten, die unter anderem Umgebungslichtsensoren und Bewegungsdetektoren beinhalten. Diese Sensoren können mit der Schnittstelle für Peripherieeinheiten 2118 oder alternativ dazu mit einer Eingabesteuerung 2160 im E/A-Teilsystem 2106 gekoppelt sein. Zum Beispiel kann die Vorrichtung 2100 in manchen Ausführungsformen mindestens einen nach vorn (vom Anwender weg) gerichteten und mindestens einen nach hinten (zum Anwender hin) gerichteten Lichtsensor beinhalten, die verwendet werden können, um Messwerte der Umgebungsbeleuchtung aus der Umgebung der Vorrichtung 2100 zu gewinnen, um sie für Zwecke der Video- und Bildaufnahme, -verarbeitung und -anzeige zu verwenden. In einigen Ausführungsformen umfassen die im Speicher 2102 gespeicherten Software-Komponenten ein Betriebssystem 2126, ein Kommunikationsmodul 2128, ein Kontakt-/Bewegungsmodul (oder einen Anweisungssatz) 2130, ein Grafikmodul 2132, ein Texteingabemodul 2134, ein Global Positioning System-Modul (GPS-Modul) 2135 und Anwendungen 2136. Ferner speichert der Speicher 2102 in manchen Ausführungsformen einen vorrichtungsbezogenen/globalen internen Zustand 2157.
  • Der vorrichtungsbezogene/globale interne Zustand 2157 beinhaltet eines oder mehrere der Folgenden: einen Anwendungsaktivitätsstatus, der anzeigt welche der Anwendungen gegebenenfalls gerade aktiv sind; einen Bildschirmstatus, der anzeigt, welche Anwendungen, Ansichten oder anderen Informationen verschiedene Bereiche der Touchscreen-Anzeige 2112 belegen; einen Sensorstatus, einschließlich von Informationen, die von den verschiedenen Sensoren und Eingabesteuervorrichtungen 2116 der Vorrichtung erhalten wurden; und Ortsinformationen, die den Standort und/oder die Einstellung der Vorrichtung betreffen.
  • Das Betriebssystem 2126 (z. B. Darwin, RTXC, LINUX, UNIX, OSX, WINDOWS oder ein eingebettetes Betriebssystem wie VxWorks) beinhaltet verschiedene Software-Komponenten und/oder Softwaretreiber zum Steuern und Verwalten der allgemeinen Systemaufgaben (z. B. Speicherverwaltung, Speichervorrichtungssteuerung, Stromverwaltung etc.) und erleichtert die Kommunikation zwischen verschiedenen Hardware- und Software-Komponenten.
  • Das Kommunikationsmodul 2128 erleichtert die Kommunikation mit anderen Vorrichtungen über einen oder mehrere externe Anschlüsse 2124 und beinhaltet auch verschiedene Software-Komponenten zur Handhabung von Daten, die von der HF-Schaltung 2108 und/oder vom externen Anschluss 2124 empfangen wurden. Der externe Anschluss 2124 (z. B. Universal Serial Bus (USB), FIREWIRE etc.) ist dafür ausgelegt, direkt an andere Vorrichtungen oder indirekt über ein Netzwerk (z. B. das Internet, WLAN etc.) gekoppelt zu werden. In manchen Ausführungsformen ist der externe Anschluss eine Stiftleiste (z. B. mit 30 Stiften), die der Stiftleiste mit 30 Stiften, die in Vorrichtungen wie iPod (Markenzeichen von Apple Inc.) verwendet wird, gleich oder ähnlich ist und/oder mit dieser kompatibel ist.
  • Das Kontakt-/Bewegungsmodul 2130 kann einen Kontakt mit dem Touchscreen 2112 (in Verbindung mit der Anzeigesteuerung 2156) und anderen berührungsempfindlichen Vorrichtungen (z. B. einem Touchpad oder einem physischen Klickrad) erfassen. Das Kontakt-/Bewegungsmodul 2130 beinhaltet verschiedene Software-Komponenten zum Ausführen verschiedener Vorgänge, die mit dem Erfassen von Kontakt in Zusammenhang stehen, wie etwa Bestimmen, ob es einen Kontakt gab (z. B. das Erfassen eines Fingerauflege-Ereignisses), Bestimmen, ob der Kontakt bewegt wird, und das Nachverfolgen der Bewegung über der berührungsempfindlichen Oberfläche (z. B. das Erfassen eines oder mehrerer Fingerzieh-Ereignisse), und Bestimmen, ob der Kontakt aufgehört hat (z. B. Erfassen eines Fingeranhebe-Ereignisses oder einer Unterbrechung des Kontakts). Das Kontakt-/Bewegungsmodul 2130 empfängt Kontaktdaten von der berührungsempfindlichen Oberfläche. Das Bestimmen von Bewegung des Kontaktpunkts, die von einer Reihe von Kontaktdaten dargestellt wird, kann das Bestimmen von Schnelligkeit (Größenordnung), Geschwindigkeit (Größenordnung und Richtung) und/oder einer Beschleunigung (einer Veränderung der Größenordnung und/oder der Richtung) des Kontaktpunkts beinhalten. Diese Vorgänge können auf einzelne Kontakte (z. B. Ein-Fingerkontakt) oder auf mehrere gleichzeitige Kontakte (z. B. „Mehrfachberührung”/Kontakt von mehreren Fingern) angewendet werden. In manchen Ausführungsformen erfassen das Kontakt-/Bewegungsmodul 2130 und die Anzeigesteuerung 2156 Kontakt auf einem Touchpad.
  • Das Kontakt-/Bewegungsmodul 2130 kann eine Eingabe durch eine Handbewegung eines Benutzers erfassen. Verschiedene Handbewegungen auf der berührungsempfindlichen Oberfläche weisen unterschiedliche Kontaktmuster auf. Folglich kann eine Handbewegung durch Erfassen eines bestimmten Kontaktmusters erfasst werden. Beispielsweise beinhaltet das Erfassen einer Fingerldopfbewegung das Erfassen eines Fingerauflege-Ereignisses gefolgt vom Erfassen eines Fingeranhebe- bzw. Abhebe-Ereignisses an der gleichen Stelle (oder im Wesentlichen der gleichen Stelle) wie das Fingerauflege-Ereignis (z. B. an der Stelle eines Icons). Als ein weiteres Beispiel beinhaltet das Erfassen einer Fingerwischgeste auf der berührungsempfindlichen Oberfläche das Erfassen eines Fingerauflege-Ereignisses gefolgt vom Erfassen eines oder mehrerer Fingerzieh-Ereignisse und schließlich gefolgt vom Erfassen eines Fingeranhebe- bzw. Abhebe-Ereignisses.
  • Das Grafikmodul 2132 beinhaltet verschiedene Software-Komponenten zum Vorlegen und Anzeigen von Grafiken auf dem Touchscreen 2112 oder einer anderen Anzeige, einschließlich von Komponenten zur Veränderung der Intensität der angezeigten Grafiken. Wie hier verwendet, beinhaltet der Begriff „Grafiken” jegliches Objekt, das einem Benutzer angezeigt werden kann, einschließlich von unter anderem Text, Webseiten, Icons (wie etwa Benutzeroberflächenobjekte einschließlich Softkeys), digitalen Bildern, Video-S, Animationen und dergleichen.
  • In manchen Ausführungsformen speichert das Grafikmodul 2132 Daten, die zu verwendende Grafiken darstellen. Jeder Grafik kann ein entsprechender Code zugewiesen werden. Das Grafikmodul 2132 empfängt von Anwendungen etc. einen oder mehrere Codes, die Grafiken spezifizieren, die, falls erforderlich, zusammen mit Koordinatendaten und anderen Daten zu grafischen Eigenschaften angezeigt werden sollen, und erzeugt dann Bildschirmbilddaten zur Ausgabe an die Anzeigesteuerung 2156.
  • Das Texteingabemodul 2134, bei dem es sich um eine Komponente des Grafikmoduls 2132 handeln kann, stellt Bildschirmtastaturen zur Eingabe von Text bei verschiedenen Anwendungen, bei denen eine Texteingabe erforderlich ist, bereit.
  • Das GPS-Modul 2135 bestimmt den Ort der Vorrichtung und stellt diese Informationen zur Verwendung in verschiedenen Anwendungen bereit (z. B. dem Telefonmodul 2138 zur Verwendung von Wählen auf Ortsbasis, dem Kameramodul 2143 als Bild-/Video-Metadaten, und in Anwendungen, die standortbezogene Dienste anbieten, wie Karten-/Navigationsanwendungen).
  • Anwendungen 2136 können unter anderem eines oder mehrere die folgenden Module (oder Anweisungssätze), oder eine Teilmenge oder eine Übermenge davon beinhalten:
    • • Telefonmodul 2138;
    • • Videokonferenzmodul 2139;
    • • Kameramodul 2143 für Standbilder und/oder Videobilder;
    • • Bildverwaltungsmodul 2144;
    • • Browsermodul 2147;
    • • Suchmodul 2151;
    • • Modul zur Wiedergabe von Videos und Musik 2152, das aus einem Videowiedergabemodul und einem Musikwiedergabemodul bestehen kann; und/oder
    • • Online-Video-Modul 2155.
  • Beispiele für andere Anwendungen 2136, die im Speicher 2102 gespeichert sein können, umfassen unter anderem andere Textverarbeitungsanwendungen, andere Bildbearbeitungsanwendungen, Zeichnungsanwendungen, Präsentationsanwendungen Kommunikations-/Social-Media-Anwendungen, Kartenanwendungen, JAVA-fähige Anwendungen, Verschlüsselung, digitale Rechteverwaltung, Spracherkennung und Stimmreplikation.
  • In Verbindung mit der HF-Schaltung 2108, der Audioschaltung 2110, dem Lautsprecher 2111, dem Mikrofon 2113, dem Touchscreen 2112, der Anzeigesteuerung 2156, dem Kontaktmodul 2130, dem Grafikmodul 2132 und dem Texteingabemodul 2134 kann das Telefonmodul 2138 dazu verwendet werden, eine Zeichenfolge einzugeben, die einer Telefonnummer entspricht, um auf eine oder mehrere Telefonnummern in einem Adressbuch zuzugreifen, um eine eingegebene Telefonnummer abzuändern, eine entsprechende Telefonnummer zu wählen, ein Gespräch zu führen und die Verbindung zu beenden bzw. aufzulegen, wenn das Gespräch zu Ende ist. Wie oben erwähnt, kann die drahtlose Kommunikation beliebige von verschiedenen Kommunikationsstandards, -protokollen und -technologien verwenden.
  • In Verbindung mit der HF-Schaltung 2108, der Audioschaltung 2110, dem Lautsprecher 2111, dem Mikrofon 2113, dem Touchscreen 2112, der Anzeigesteuerung 2156, dem optischen Sensor 2164, der optischen Sensorsteuerung 2158, dem Kontaktmodul 2130, dem Grafikmodul 2132, dem Texteingabemodul 2134, und dem Telefonmodul 2138 umfasst das Videokonferenzmodul 2139 ausführbare Anweisungen zum Einleiten, Führen und Beenden einer Videokonferenz zwischen einem Benutzer und einem oder mehreren anderen Teilnehmern gemäß Benutzeranweisungen.
  • In Verbindung mit dem Touchscreen 2112, der Anzeigesteuerung 2156, dem/den optischen Sensor(en) 2164, der optischen Sensorsteuerung 2158, dem Kontakt-/Bewegungsmodul 2130, dem Grafikmodul 2132 und dem Bildverwaltungsmodul 2144 umfasst das Kameramodul 2143 ausführbare Anweisungen zum Erfassen von Standbildern oder Videos (einschließlich eines Video-Streams) und zum Speichern derselben im Speicher 2102, zum Ändern der Eigenschaften eines Standbilds oder Videos oder zum Löschen eines Standbilds oder Videos aus dem Speicher 2102.
  • In Verbindung mit dem Touchscreen 2112, der Anzeigesteuerung 2156, dem Kontakt-/Bewegungsmodul 2130, dem Grafikmodul 2132, dem Texteingabemodul 2134 und dem Kameramodul 2143 umfasst das Bildverwaltungsmodul 2144 ausführbare Anweisungen zum Anordnen, Verändern (z. B. Bearbeiten) oder zum anderweitigen Verarbeiten, Kennzeichnen, Löschen, Präsentieren (z. B. in einer digitalen Diashow oder einem digitalen Album) und Speichern von Stand- und/oder Videobildern.
  • In Verbindung mit der HF-Schaltung 2108, dem Touchscreen 2112, der Bildschirmsystemsteuerung 2156, dem Kontakt-/Bewegungsmodul 2130, dem Grafikmodul 2132 und dem Texteingabemodul 2134 umfasst das Browsermodul 2147 ausführbare Anweisungen zum Browsen des Internets gemäß Benutzeranweisungen, einschließlich Suchen von, Verknüpfen mit, Empfangen von und Anzeigen von Webseiten oder Teilen davon, sowie Anhängen und anderen, mit Webseiten verknüpften Dateien.
  • In Verbindung mit dem Touchscreen 2112, der Anzeigesystemsteuerung 2156, dem Kontakt-/Bewegungsmodul 2130, dem Grafikmodul 2132 und dem Texteingabemodul 2134 umfasst das Suchmodul 2151 ausführbare Anweisungen zum Suchen nach Text, Musik, Klang, Bildern, Videos und/oder anderen Dateien im Speicher 2102, die einem oder mehreren Suchkriterien entsprechen (z. B. einem oder mehreren vom Benutzer vorgegebenen Suchbegriffen) gemäß Benutzeranweisungen.
  • In Verbindung mit dem Touchscreen 2112, der Anzeigesystemsteuerung 2156, dem Kontakt-/Bewegungsmodul 2130, dem Grafikmodul 2132, der Audioschaltung 2110, dem Lautsprecher 2111, der HF-Schaltung 2108 und dem Browsermodul 2147 umfasst das Modul zur Wiedergabe von Video und Musik 2152 ausführbare Anweisungen, die es dem Benutzer ermöglichen, aufgezeichnete Musik und andere, in einem oder mehreren Dateiformaten, wie etwa MP3- oder AAC-Dateien, gespeicherte Klangdateien herunterzuladen und wiederzugeben, und ausführbare Anweisungen zum Anzeigen, Präsentieren oder anderweitigem Wiedergeben von Videos (z. B. auf dem Touchscreen 2112 oder auf einem externen, über die externe Schnittstelle 2124 verbundenen Bildschirm). In manchen Ausführungsformen kann die Vorrichtung 2100 die Funktionalität eines MP3-Players, wie etwa eines iPods (Markenzeichen von Apple Inc.), umfassen.
  • In Verbindung mit dem Touchscreen 2112, der Anzeigesystemsteuerung 2156, dem Kontakt-/Bewegungsmodul 2130, dem Grafikmodul 2132, der Audioschaltung 2110, dem Lautsprecher 2111, der HF-Schaltung 2108, dem Texteingabemodul 2134 und dem Browsermodul 2147 umfasst das Online-Video-Modul 2155 Anweisungen, die es dem Benutzer ermöglichen, auf Online-Videos zuzugreifen, sie zu durchsuchen, zu empfangen (z. B. durch Streamen und/oder Herunterladen), wiederzugeben (z. B. auf dem Touchscreen oder einem externen, über den externen Anschluss 2124 verbundenen Bildschirm), und auf andere Weise Online-Videos in einem oder mehreren Dateiformaten, wie etwa dem H.264/AVC-Format oder dem H.265/HEVC-Format, zu verwalten.
  • Jedes/jede der vorstehend aufgezeigten Module und Anwendungen entspricht einem Satz von ausführbaren Befehlen zum Ausführen einer oder mehrerer vorstehend beschriebener Funktionen und der in dieser Anmeldung beschriebenen Verfahren (z. B. der computerimplementierten Verfahren und anderer hierin beschriebener, informationsverarbeitender Verfahren). Diese Module (d. h. Sätze an Anweisungen) müssen nicht als separate Software-Programme, Vorgehensweisen oder Module implementiert werden, und somit können verschiedene Teilsätze dieser Module in verschiedenen Ausführungsformen kombiniert oder anderweitig neu angeordnet werden. In manchen Ausführungsformen kann der Speicher 2102 eine Teilmenge der oben aufgezeigten Module und Datenstrukturen speichern. Des Weiteren kann der Speicher 2102 zusätzliche Module und Datenstrukturen speichern, die vorstehend nicht beschrieben wurden.
  • In manchen Ausführungsformen handelt es sich bei der Vorrichtung 2100 um eine Vorrichtung, bei der das Betreiben eines vordefinierten Satzes von Funktionen auf der Vorrichtung ausschließlich durch einen Touchscreen und/oder ein Touchpad ausgeführt wird. Durch Verwenden eines Touchscreens und/oder Touchpads als primäre Eingabesteuerungsvorrichtung für den Betrieb der Vorrichtung 2100, kann die Anzahl der physischen Eingabesteuerungsvorrichtungen (wie etwa Drucktasten, Wählscheiben und dergleichen) auf der Vorrichtung 2100 verringert werden.
  • Der vordefinierte Satz von Funktionen, die ausschließlich durch einen Touchscreen und/oder ein Touchpad ausgeführt werden, kann das Navigieren zwischen Benutzerschnittstellen beinhalten. In manchen Ausführungsformen navigiert das Touchpad, wenn es vom Benutzer berührt wird, die Vorrichtung 2100 von jeglicher Benutzerschnittstelle, die auf der Vorrichtung 2100 angezeigt werden kann, zu einem Haupt-, Home- oder Hauptverzeichnismenü. In manchen Ausführungsformen kann das Touchpad als „Menütaste” bezeichnet werden. In einigen weiteren Ausführungsformen kann die Menütaste eine physische Drucktaste oder eine andere physische Eingabesteuerungsvorrichtung anstelle eines Touchpads sein.
  • 19 veranschaulicht eine tragbare Multifunktionsvorrichtung 2100 mit einem Touchscreen 2112 gemäß manchen Ausführungsformen. Der Touchscreen kann eine oder mehrere Grafiken innerhalb der Benutzerschnittstelle (UI) 2200 anzeigen. In zumindest manchen Ausführungsformen einer Vorrichtung 2100 kann ein Benutzer eine oder mehrere der Grafiken auswählen, indem er eine Handbewegung an den Grafiken ausführt, beispielsweise mit einem oder mehreren Fingern 2202 (in der Figur nicht unbedingt maßstabsgetreu dargestellt) oder einem oder mehreren Eingabestiften 2203 (in der Figur nicht unbedingt maßstabsgetreu dargestellt).
  • Die Vorrichtung 2100 kann auch eine oder mehrere physische Tasten, wie etwa eine „Home”- oder eine Menütaste 2204, beinhalten. Wie zuvor beschrieben, kann die Menütaste 2204 dazu verwendet werden, zu einer beliebigen Anwendung 2136 in einem Satz von Anwendungen, die auf der Vorrichtung 2100 ausführbar sind, zu navigieren. Alternativ dazu ist in manchen Ausführungsformen die Menütaste als ein Softkey in einer GUI implementiert, die auf dem Touchscreen 2112 angezeigt wird.
  • In manchen Ausführungsformen umfasst die Vorrichtung 2100 einen Touchscreen 2112, eine Home- oder Menütaste 2204, eine Drucktaste 2206 zum Ein-/Ausschalten und zum Sperren der Vorrichtung, eine oder mehrere Lautstärkeregelungstaste(n) 2208, einen SIM-Kartenschlitz 2210 (SIM), einen Kopfhöreranschluss 2212 und einen externen Docking-/Auflade-Anschluss 2124. Die Drucktaste 2206 kann dazu verwendet werden, die Vorrichtung ein-/auszuschalten, indem die Taste gedrückt und über einen vordefinierten Zeitraum in der gedrückten Stellung gehalten wird, um die Vorrichtung zu sperren, indem die Taste gedrückt und wieder losgelassen wird, bevor der vordefinierte Zeitraum verstrichen ist, und/oder um die Sperre der Vorrichtung aufzuheben oder einen Entsperrvorgang einzuleiten. In einer alternativen Ausführungsform kann die Vorrichtung 2100 auch gesprochene Eingaben zur Aktivierung oder Deaktivierung einiger Funktionen durch das Mikrofon 2113 akzeptieren.
  • Die Vorrichtung 2100 kann auch eine oder mehrere Kameras 2164 beinhalten. Eine Kamera 2164 kann beispielsweise Fototransistoren mit ladungsgekoppelten Bauteilen (CCD) oder mit komplementären Metalloxid-Halbleitern (CMOS) beinhalten. Eine Kamera 2164 empfangt Licht aus der Umgebung, das durch eine oder mehrere Linsen projiziert wird, und wandelt das Licht in Daten um, die ein Bild oder ein Video-Frame darstellen. In manchen Ausführungsformen kann mindestens eine Kamera 2164 auf der Rückseite der Vorrichtung 2100, entgegengesetzt zur Touchscreen-Anzeige 2112 an der Vorderseite der Vorrichtung, angeordnet sein. In manchen Ausführungsformen kann stattdessen oder zusätzlich dazu mindestens eine Kamera 2164 beispielsweise auf der Vorderseite der Vorrichtung mit der Touchscreen-Anzeige 2112 angeordnet sein, sodass das Bild des Benutzers für Videokonferenzen erhalten werden können, während der Benutzer die anderen Teilnehmer der Videokonferenz auf dem Touchscreen-Anzeige 2112 sieht. In manchen Ausführungsformen kann mindestens eine Kamera 2164 auf der Vorderseite der Vorrichtung 2100 angeordnet sein, und mindestens eine Kamera 2164 kann auf der Rückseite der Vorrichtung 2100 angeordnet sein. In manchen Ausführungsformen kann die Touchscreen-Anzeige 2112 als Bildsucher und/oder Benutzeroberfläche für die Erfassung von Standbildern oder Videosequenzen verwendet werden.
  • Die Vorrichtung 2100 kann Video- und Bildverarbeitungs-Hardware und/oder -Software beinhalten, unter anderem Videocodier- und/oder Videodecodierkomponenten, Codecs, Module oder Pipelines, die verwendet werden können, um Standbilder und/oder Video-Frames oder Videosequenzen, die über die Kamera 2164 oder auf andere Weise erfasst wurden (z. B. über eine Netzwerkschnittstelle) aufzunehmen, zu verarbeiten, umzuwandeln, zu komprimieren, zu dekomprimieren, zu speichern, zu modifizieren, zu senden, anzuzeigen und auf andere Weise zu verwalten und zu manipulieren. In manchen Ausführungsformen kann die Vorrichtung 2100 auch einen oder mehrere Lichtsensoren beinhalten, die verwendet werden können, um Umgebungsbeleuchtungs- oder andere Messwerte aus der Umgebung der Vorrichtung 2100 zur Verwendung für die Video- und Bildaufnahme, -verarbeitung und -anzeige zu gewinnen.
  • Die hierin beschriebenen Verfahren können in Software, Hardware oder einer Kombination davon in verschiedenen Ausführungsformen implementiert werden. Außerdem kann die Reihenfolge der Blöcke der Verfahren geändert werden, und verschiedene Elemente können hinzugefügt, aufgezeichnet, kombiniert, weggelassen, modifiziert werden usw. Verschiedene Modifikationen und Änderungen können vorgenommen werden, wie dies für einen Fachmann, der sich dieser Offenbarung bedient, naheliegen würde. Die verschiedenen, hierin beschriebenen Ausführungsformen sollen veranschaulichend und nicht einschränkend sein. Es sind zahlreiche Variationen, Modifikationen, Erweiterungen und Verbesserungen möglich. Dementsprechend können für Komponenten, die hierin als einzelne Instanz beschrieben sind, mehrere Instanzen bereitgestellt werden. Grenzen zwischen verschiedenen Komponenten, Operationen und Datenspeicherungen sind in gewissem Maß willkürlich, und bestimmte Operationen sind im Kontext spezifischer, veranschaulichender Konfigurationen veranschaulicht. Andere Abbildungen von Funktionalitäten sind denkbar und können in den Umfang der folgenden Ansprüche fallen. Schließlich können Strukturen und Funktionalitäten, die in den Beispielkonfigurationen als diskrete Komponenten dargestellt werden, als eine kombinierte Struktur oder Komponente implementiert werden. Diese und andere Variationen, Modifikationen, Erweiterungen und Verbesserungen können in den Umfang der Ausführungsformen fallen, wie er in den folgenden Ansprüchen definiert ist.

Claims (20)

  1. System, umfassend einen oder mehrere Sensoren, die darauf ausgelegt sind, eine oder mehrere Umgebungsbedingungen zu erfassen; ein Anzeigefeld; und eine Decodier-Pipeline, die auf Folgendes ausgelegt ist: Empfangen codierter Videodaten; Decodieren der codierten Videodaten, um einen Videoinhalt zu erzeugen; Verarbeiten des Videoinhalts gemäß einer oder mehrerer Eigenschaften des Videoinhalts, einer oder mehrerer Eigenschaften des Anzeigefelds und einer oder mehrerer aktueller Umgebungsbedingungen, die von dem einen oder den mehreren Sensoren erfasst werden, um einen Videoinhalt zu erzeugen, der für die Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist; und Ausgeben des verarbeiteten Videoinhalts an das Anzeigefeld, um ihn anzeigen zu lassen.
  2. System nach Anspruch 1, wobei die Decodier-Pipeline dafür ausgelegt ist, den Videoinhalt gemäß einer oder mehrerer Videoverarbeitungstechniken zu verarbeiten, wobei mindestens eine von den Videoverarbeitungstechniken gemäß den aktuellen Umgebungsbedingungen angepasst wird, um den Videoinhalt zu erzeugen, der für eine Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist.
  3. System nach Anspruch 2, wobei die Videoverarbeitungstechniken eine oder mehrere der Folgenden beinhalten: Rauschreduzierung, Artefaktreduzierung, Skalierung, Schärfung, Bildfrequenzumwandlung, Farbraumumwandlung, Farbskala-Anpassung, dynamische Anpassung des Hintergrundlichts, Gammakorrektur des Feldes, Schwarzpunktkorrektur oder Weißpunktkorrektur.
  4. System nach Anspruch 1, wobei die Decodier-Pipeline dafür ausgelegt ist, für die Verarbeitung des Videoinhalts eine Farbskala-Abbildung auf den Videoinhalt anzuwenden, um Farbkomponenten des Videoinhalts in einen Farbraum und eine Bittiefe des Anzeigefelds abzubilden, und wobei die Decodier-Pipeline dafür ausgelegt ist, die Farbskala-Abbildung, die auf den Videoinhalt angewendet wird, gemäß den aktuellen Umgebungsbedingungen anzupassen, um den Videoinhalt zu erzeugen, der für die Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist.
  5. System nach Anspruch 1, wobei die Decodier-Pipeline dafür ausgelegt ist, für die Verarbeitung des Videoinhalts eine Tonabbildung an den Videoinhalt anzulegen, um eine Luminanz des Videoinhalts in einen Farbraum und eine Bittiefe des Anzeigefelds abzubilden, und wobei die Decodier-Pipeline dafür ausgelegt ist, die Tonabbildung, die auf den Videoinhalt angewendet wird, gemäß den aktuellen Umgebungsbedingungen anzupassen, um den Videoinhalt zu erzeugen, der für die Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist.
  6. System nach Anspruch 1, wobei die Decodier-Pipeline zur Verarbeitung des Videoinhalts auf Folgendes ausgelegt ist: Bestimmen eines als Antwort gemessenen Luminanzbereichs für das Anzeigefeld gemäß den Eigenschaften des Anzeigefelds; Bestimmen eines adaptierten Luminanzbereichs des menschlichen Sehens gemäß den aktuellen Umgebungsbedingungen; Abbilden des Videoinhalts auf den als Antwort gemessenen Luminanzbereich, um einen Zwischen-Videoinhalt zu erzeugen; und Abbilden des Zwischen-Videoinhalts auf den adaptierten Luminanzbereich des menschlichen Sehens, um den Videoinhalt zu erzeugen, der für die Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist.
  7. System nach Anspruch 1, wobei die Decodier-Pipeline ferner darauf ausgelegt ist, den Videoinhalt zu analysieren, um die eine oder die mehreren Eigenschaften des Videoinhalts zu bestimmen, wobei die Eigenschaften des Videoinhalts Dynamikbereichs- und Farbeigenschaften des Videoinhalts beinhalten.
  8. System nach Anspruch 1, wobei die Umgebungsbedingungen Messwerte der Umgebungsbeleuchtung und einen Standort einer Person als Betrachter in Bezug auf das Anzeigefeld beinhalten.
  9. System nach Anspruch 1, wobei die Eigenschaften des Anzeigefelds eine oder mehrere gemessene Eigenschaften für das Anzeigefeld beinhalten, wobei die gemessenen Eigenschaften eine oder mehrere der Folgenden beinhalten: gemessene Antwort, eigener Weißpunkt, Durchlässigkeit für Hintergrundlicht, Lichtreflexion oder Hintergrundlichtstärke für das Anzeigefeld.
  10. System nach Anspruch 1, wobei die Eigenschaften des Anzeigefelds eine oder mehrere der Folgenden beinhalten: Farbskala, Dynamikbereich, Bittiefe oder physische Abmessungen des Anzeigefelds.
  11. System nach Anspruch 1, wobei der Videoinhalt ein Videoinhalt mit Standarddynamikbereich (SDR) oder mit höherem Dynamikbereich (HDR) ist, wobei das Anzeigefeld ein einen hohen Dynamikbereich (HDR) unterstützendes Anzeigefeld ist, und wobei der verarbeitete Videoinhalt ein HDR-Videoinhalt ist.
  12. System nach Anspruch 1, ferner eine Codier-Pipeline umfassend, die auf Folgendes ausgelegt ist: Empfangen von Videodaten von einer Videoquelle; Feststellen einer oder mehrerer Eigenschaften eines Zielanzeigefelds; Verarbeiten der Videodaten gemäß einer oder mehrerer Eigenschaften der Videodaten, der einen oder den mehreren Eigenschaften des Zielanzeigefelds und eines oder mehrerer Umgebungsmesswerte, die aktuelle Umgebungsbedingungen an dem Zielanzeigefeld angegeben, um gemäß den aktuellen Umgebungsbedingungen, die von den Umgebungsmesswerten angegeben werden, einen Videoinhalt zu erzeugen, der für die Eigenschaften des Anzeigefelds adaptiert ist; Codieren des adaptierten Videoinhalts gemäß einem komprimierten Videoformat, um codierte Videodaten zu erzeugen; und Ausgeben der codierten Videodaten an eine Codier-Pipeline, die mit dem Zielanzeigefeld assoziiert ist.
  13. System nach Anspruch 1, ferner ein Helligkeitsanpassungsmodul umfassend, das auf Folgendes ausgelegt ist: Gewinnen von Informationen über eine oder mehrere Bedingungen, die sich auf die Helligkeit des Anzeigefelds auswirken; Bestimmen einer Anpassung der Helligkeitsstufe für das Anzeigefeld aus den gewonnenen Informationen; und Skalieren der Helligkeit des Anzeigefelds gemäß einer nichtlinearen Helligkeitsanpassungsfunktion, um die Helligkeitsstufe des Anzeigefelds gemäß den gewonnenen Informationen anzupassen; wobei ein Kontrast des Anzeigefelds durch die nichtlineare Skalierung der Helligkeitdes Anzeigefelds nicht beeinflusst wird.
  14. Verfahren, umfassend: Durchführen der folgenden Schritte durch ein auf einer Vorrichtung implementiertes Decodiermodul: Empfangen codierter Videodaten; Decodieren der codierten Videodaten, um einen Videoinhalt zu erzeugen; Bestimmen einer oder mehrerer Eigenschaften des Videoinhalts; Bestimmen einer oder mehrerer Eigenschaften eines Zielanzeigefelds; Erhalten einer oder mehrerer aktueller Umgebungsbedingungen; Verarbeiten des Videoinhalts gemäß einer oder mehrerer Videoverarbeitungstechniken, wobei die Verarbeitung das Anpassen von mindestens einer der Videoverarbeitungstechniken gemäß den Eigenschaften des Videoinhalts, den Eigenschaften des Anzeigefelds und der aktuellen Umgebungsbedingungen umfasst, um einen Videoinhalt zu erzeugen, der für die Betrachtung auf dem Zielanzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist; und Ausgeben des verarbeiteten Videoinhalts an das Zielanzeigefeld, um ihn anzeigen zu lassen.
  15. Verfahren nach Anspruch 14, wobei die Videoverarbeitungstechniken eine Farbskala-Abbildungstechnik und eine Tonabbildungstechnik beinhalten, die den Videoinhalt in einen Farbraum und eine Bittiefe des Anzeigefelds abbilden, und wobei die Verarbeitung des Videoinhalts eine Anpassung der Farbskala-Abbildung und der Tonabbildung, die auf den Videoinhalt angewendet werden, gemäß den aktuellen Umgebungsbedingungen umfasst, um den Videoinhalt zu erzeugen, der für die Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist.
  16. Verfahren nach Anspruch 14, wobei die Verarbeitung des Videoinhalts umfasst: Abbilden des Videoinhalts auf einen als Antwort gemessenen Luminanzbereich des Zielanzeigefelds, um einen Zwischen-Videoinhalt zu erzeugen; und Abbilden des Zwischen-Videoinhalts auf einen adaptierten Luminanzbereich des menschlichen Sehens gemäß den aktuellen Umgebungsbedingungen, um den Videoinhalt zu erzeugen, der für die Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist.
  17. Verfahren nach Anspruch 14, wobei die Umgebungsbedingungen Messwerte der Umgebungsbeleuchtung und einen Standort einer Person als Betrachter in Bezug auf das Anzeigefeld beinhalten.
  18. Verfahren nach Anspruch 14, wobei der Videoinhalt entweder ein Videoinhalt mit Standarddynamikbereich (SDR) oder ein Videoinhalt mit hohem Dynamikbereich (HDR) ist, wobei das Anzeigefeld ein HDR-fähiges Anzeigefeld ist, und wobei der verarbeitete Videoinhalt ein HDR-Videoinhalt ist.
  19. Einrichtung, umfassend: eine Codier-Pipeline, die darauf ausgelegt ist, eingegebene Videodaten, die mit einem hohen Dynamikbereich dargestellt werden, zu codieren, um codierte Videodaten zu erzeugen; und eine Decodier-Pipeline, die auf Folgendes ausgelegt ist: Decodieren von codierten Videodaten, um einen Videoinhalt zu erzeugen; Erhalten einer oder mehrerer aktueller Umgebungsbedingungen; Verarbeiten des Videoinhalts gemäß einer oder mehrerer Eigenschaften des Videoinhalts, einer oder mehrerer Eigenschaften des Anzeigefelds und den aktuellen Umgebungsbedingungen, um einen Videoinhalt zu erzeugen, der für die Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist; und Ausgeben des verarbeiteten Videoinhalts an das Zielanzeigefeld, um ihn anzeigen zu lassen.
  20. Einrichtung nach Anspruch 19, wobei die Decodier-Pipeline darauf ausgelegt ist, für die Verarbeitung des Videoinhalts den Videoinhalt gemäß den Eigenschaften des Videoinhalts, den Eigenschaften des Anzeigefelds und den aktuellen Umgebungsbedingungen in einen Farbraum und eine Bittiefe des Zielanzeigefelds abzubilden, um den Videoinhalt zu erzeugen, der für die Betrachtung auf dem Anzeigefeld unter den aktuellen Umgebungsbedingungen adaptiert ist.
DE112015000959.0T 2014-02-25 2015-02-25 Adaptive Videoverarbeitung Pending DE112015000959T5 (de)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US201461944484P 2014-02-25 2014-02-25
US61/944,484 2014-02-25
US201461946633P 2014-02-28 2014-02-28
US201461946638P 2014-02-28 2014-02-28
US61/946,633 2014-02-28
US61/946,638 2014-02-28
US14/631,405 2015-02-25
PCT/US2015/017539 WO2015130796A1 (en) 2014-02-25 2015-02-25 Adaptive video processing
US14/631,398 2015-02-25
US14/631,394 2015-02-25
US14/631,394 US10271054B2 (en) 2014-02-25 2015-02-25 Display-side adaptive video processing
US14/631,405 US10264266B2 (en) 2014-02-25 2015-02-25 Non-linear display brightness adjustment
US14/631,398 US10880549B2 (en) 2014-02-25 2015-02-25 Server-side adaptive video processing

Publications (1)

Publication Number Publication Date
DE112015000959T5 true DE112015000959T5 (de) 2016-11-17

Family

ID=53882764

Family Applications (2)

Application Number Title Priority Date Filing Date
DE112015000950.7T Pending DE112015000950T5 (de) 2014-02-25 2015-02-25 Abwärtskompatible Einrichtung und abwärtskompatibles Verfahren zum Bereitstellen von Video mit sowohl Standard- als auch hohem Dynamikbereich
DE112015000959.0T Pending DE112015000959T5 (de) 2014-02-25 2015-02-25 Adaptive Videoverarbeitung

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE112015000950.7T Pending DE112015000950T5 (de) 2014-02-25 2015-02-25 Abwärtskompatible Einrichtung und abwärtskompatibles Verfahren zum Bereitstellen von Video mit sowohl Standard- als auch hohem Dynamikbereich

Country Status (8)

Country Link
US (10) US10812801B2 (de)
EP (2) EP3111644A1 (de)
JP (5) JP6383425B2 (de)
KR (7) KR101898643B1 (de)
CN (7) CN106031172B (de)
AU (5) AU2015223123A1 (de)
DE (2) DE112015000950T5 (de)
WO (3) WO2015130797A1 (de)

Families Citing this family (224)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9955084B1 (en) * 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN110867198B (zh) 2013-06-20 2022-02-25 索尼公司 显示装置
JP2015005878A (ja) * 2013-06-20 2015-01-08 ソニー株式会社 再生装置、再生方法、および記録媒体
US20150228106A1 (en) * 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
JP6383425B2 (ja) 2014-02-25 2018-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ビデオ符号化及び復号のための適応的伝達関数
JP2015195439A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
CN106464966B (zh) * 2014-05-12 2020-12-08 索尼公司 通信装置、通信方法和计算机可读存储介质
US10217438B2 (en) * 2014-05-30 2019-02-26 Apple Inc. User interface and method for directly setting display white point
CN106105177B (zh) * 2014-06-10 2019-09-27 松下知识产权经营株式会社 变换方法及变换装置
CN111901599A (zh) * 2014-06-27 2020-11-06 松下知识产权经营株式会社 再现装置
US10163408B1 (en) * 2014-09-05 2018-12-25 Pixelworks, Inc. LCD image compensation for LED backlighting
JP5995129B2 (ja) 2014-09-22 2016-09-21 パナソニックＩｐマネジメント株式会社 再生方法および再生装置
US9729801B2 (en) * 2014-10-02 2017-08-08 Dolby Laboratories Licensing Corporation Blending images using mismatched source and display electro-optical transfer functions
JP6601729B2 (ja) * 2014-12-03 2019-11-06 パナソニックＩｐマネジメント株式会社 データ生成方法、データ再生方法、データ生成装置及びデータ再生装置
TW201633779A (zh) 2014-12-16 2016-09-16 湯姆生特許公司 將圖像之高動態範圍版本轉換至該圖像之標準動態範圍版本之方法及裝置
US9560330B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with reconfigurable architecture and methods for use therewith
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
US9589313B2 (en) * 2015-01-09 2017-03-07 Vixs Systems, Inc. Dynamic range converter with pipelined architecture and methods for use therewith
US9558538B2 (en) * 2015-01-09 2017-01-31 Vixs Systems, Inc. Dynamic range converter with frame by frame adaptation and methods for use therewith
US9544560B2 (en) * 2015-01-09 2017-01-10 Vixs Systems, Inc. Dynamic range converter with generic architecture and methods for use therewith
US10475361B2 (en) 2015-02-02 2019-11-12 Apple Inc. Adjustable display illumination
KR102423434B1 (ko) * 2015-02-17 2022-07-22 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
BR112017017792A2 (pt) 2015-02-27 2018-04-10 Sony Corporation dispositivos e métodos de transmissão e de recepção.
US20160182853A1 (en) * 2015-03-20 2016-06-23 Mediatek Inc. Dynamic Content Adaptive Frame Rate Conversion
US10109228B2 (en) * 2015-04-10 2018-10-23 Samsung Display Co., Ltd. Method and apparatus for HDR on-demand attenuation control
US10735755B2 (en) * 2015-04-21 2020-08-04 Arris Enterprises Llc Adaptive perceptual mapping and signaling for video coding
JP6476057B2 (ja) * 2015-04-28 2019-02-27 日本放送協会 量子化テーブル補正装置、階調削減装置、及びプログラム
KR102322709B1 (ko) * 2015-04-29 2021-11-08 엘지디스플레이 주식회사 영상 처리 방법 및 영상 처리 회로와 그를 이용한 표시 장치
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
US10136074B2 (en) 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
US10007412B2 (en) * 2015-06-24 2018-06-26 Samsung Electronics Co., Ltd. Tone mastering system with creative intent metadata
US10542289B2 (en) * 2015-07-16 2020-01-21 Dolby Laboratories Licensing Corporation Signal reshaping and coding for HDR and wide color gamut signals
WO2017015564A1 (en) * 2015-07-22 2017-01-26 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
WO2017019818A1 (en) * 2015-07-28 2017-02-02 Vid Scale, Inc. High dynamic range video coding architectures with multiple operating modes
JP6548516B2 (ja) * 2015-08-26 2019-07-24 キヤノン株式会社 画像表示装置、画像処理装置、画像表示装置の制御方法、及び、画像処理装置の制御方法
KR102129541B1 (ko) * 2015-08-28 2020-07-03 애리스 엔터프라이지즈 엘엘씨 높은 동적 범위 및 넓은 컬러 영역 시퀀스들의 코딩에서의 컬러 볼륨 변환들
ES2809710T3 (es) 2015-08-31 2021-03-05 Lg Electronics Inc Aparato de visualización de imágenes
JP6986670B2 (ja) * 2015-09-11 2021-12-22 パナソニックＩｐマネジメント株式会社 映像受信方法及び映像受信装置
US10798422B2 (en) * 2015-10-20 2020-10-06 Intel Corporation Method and system of video coding with post-processing indication
US10715772B2 (en) * 2015-11-09 2020-07-14 Netflix, Inc. High dynamic range color conversion correction
CN106878694B (zh) * 2015-12-10 2018-12-18 瑞昱半导体股份有限公司 高动态范围信号处理系统与方法
EP3364654B1 (de) * 2015-12-15 2021-03-03 Huawei Technologies Co., Ltd. Verarbeitungs-verfahren und -vorrichtung für bilder mit hohem dynamikbereich
JP6559803B2 (ja) * 2015-12-25 2019-08-14 シャープ株式会社 表示装置、表示装置の制御方法、制御プログラム、および記録媒体
US20170186403A1 (en) * 2015-12-28 2017-06-29 Printing Technology Research Institute Method of simulating print color on mobile devices
CN105657539B (zh) * 2015-12-30 2019-05-31 深圳Tcl数字技术有限公司 视频播放方法及装置
JP6237797B2 (ja) * 2016-01-05 2017-11-29 ソニー株式会社 ビデオシステム、ビデオ処理方法、プログラム、およびビデオコンバーター
JP6233424B2 (ja) * 2016-01-05 2017-11-22 ソニー株式会社 撮像システムおよび撮像方法
JP6652301B2 (ja) * 2016-01-27 2020-02-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
KR20170090824A (ko) * 2016-01-29 2017-08-08 삼성전자주식회사 전자장치 및 그 제어방법
US10257394B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
CN108701471A (zh) * 2016-02-26 2018-10-23 索尼公司 信息处理装置、显示装置、信息记录介质、信息处理方法、以及程序
US20170279866A1 (en) * 2016-03-22 2017-09-28 Intel Corporation Adaptation of streaming data based on the environment at a receiver
JP2017175459A (ja) * 2016-03-24 2017-09-28 シャープ株式会社 信号変換装置、信号変換方法、テレビジョン受像機、プログラム、および記録媒体
US10152947B2 (en) 2016-04-06 2018-12-11 Microsoft Technology Licensing, Llc Display brightness updating
WO2017196670A1 (en) * 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
CN107395950B (zh) * 2016-05-16 2021-11-09 西安电子科技大学 媒体数据处理方法和装置及系统
US11223778B2 (en) * 2016-06-27 2022-01-11 Sony Corporation Signal processing device, signal processing method, camera system, video system, and server
US10638105B2 (en) 2016-06-27 2020-04-28 Intel Corporation Method and system of multi-dynamic range multi-layer video blending with alpha channel sideband for video playback
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
US9916638B2 (en) * 2016-07-20 2018-03-13 Dolby Laboratories Licensing Corporation Transformation of dynamic metadata to support alternate tone rendering
US10587818B2 (en) * 2016-08-02 2020-03-10 Magna Electronics Inc. Vehicle vision system with enhanced camera brightness control
JP7081835B2 (ja) 2016-08-09 2022-06-07 コントラスト， インコーポレイテッド 車両制御のためのリアルタイムｈｄｒビデオ
CN106210921B (zh) * 2016-08-12 2019-10-11 深圳创维－Rgb电子有限公司 一种图像效果提升方法及其装置
US10277829B1 (en) 2016-08-12 2019-04-30 Apple Inc. Video capture in low-light conditions
CN106101679B (zh) * 2016-08-23 2018-01-12 青岛海信电器股份有限公司 高动态范围信号的处理方法及处理系统
US10757385B2 (en) * 2016-08-24 2020-08-25 Qualcomm Incorporated Color gamut adaptation with feedback channel
US11153594B2 (en) 2016-08-29 2021-10-19 Apple Inc. Multidimensional quantization techniques for video coding/decoding systems
KR102594201B1 (ko) * 2016-09-22 2023-10-27 삼성디스플레이 주식회사 영상 처리 방법 및 이를 수행하는 표시 장치
US9883112B1 (en) * 2016-09-22 2018-01-30 Pinnacle Imaging Corporation High dynamic range imaging
US20180098041A1 (en) * 2016-09-30 2018-04-05 Sean J. Lawrence Adaptive chroma subsampling based on display brightness
US10631002B2 (en) 2016-09-30 2020-04-21 Qualcomm Incorporated Frame rate up-conversion coding mode
EP3312798A1 (de) * 2016-10-20 2018-04-25 Thomson Licensing Verfahren und systeme zur inversen tonabbildung
CN107995497B (zh) * 2016-10-26 2021-05-28 杜比实验室特许公司 高动态范围视频的屏幕自适应解码
US9942513B1 (en) 2016-10-31 2018-04-10 Cisco Technology, Inc. Automated configuration of behavior of a telepresence system based on spatial detection of telepresence components
JP2018081595A (ja) * 2016-11-17 2018-05-24 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US10218952B2 (en) 2016-11-28 2019-02-26 Microsoft Technology Licensing, Llc Architecture for rendering high dynamic range video on enhanced dynamic range display devices
JP6845946B2 (ja) 2016-12-12 2021-03-24 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ画像のための映像処理曲線を調整するためのシステムおよび方法
JP6822123B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6822121B2 (ja) 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6822122B2 (ja) * 2016-12-19 2021-01-27 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
GB2558000B (en) * 2016-12-21 2020-06-10 Apical Ltd Display control
GB2558236B (en) * 2016-12-22 2021-03-31 Apical Ltd Image data comprising encoded image data and additional data for modification of image
CN106710505A (zh) * 2017-01-16 2017-05-24 努比亚技术有限公司 一种显示装置及方法
CN108320721B (zh) 2017-01-17 2022-05-24 华硕电脑股份有限公司 亮度调节装置及其亮度调节方法
JP6684971B2 (ja) 2017-01-18 2020-04-22 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像を符号化するためのセグメントベース再構成
WO2018136432A1 (en) * 2017-01-18 2018-07-26 Dolby Laboratories Licensing Corporation Segment-based reshaping for coding high dynamic range video
CN106791865B (zh) * 2017-01-20 2020-02-28 杭州当虹科技股份有限公司 基于高动态范围视频的自适应格式转换的方法
US10176561B2 (en) 2017-01-27 2019-01-08 Microsoft Technology Licensing, Llc Content-adaptive adjustments to tone mapping operations for high dynamic range content
US10104334B2 (en) 2017-01-27 2018-10-16 Microsoft Technology Licensing, Llc Content-adaptive adjustment of display device brightness levels when rendering high dynamic range content
CN110301136B (zh) 2017-02-17 2023-03-24 交互数字麦迪逊专利控股公司 在流传输视频中进行选择性感兴趣对象缩放的系统和方法
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
JP7086587B2 (ja) 2017-02-24 2022-06-20 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 復号された画像データから画像データを再構成する方法および装置
EP3591968A4 (de) * 2017-02-28 2020-01-22 Sony Corporation Bildverarbeitungsvorrichtung, und bildverarbeitungsmethode
CN108540781A (zh) * 2017-03-03 2018-09-14 扬智科技股份有限公司 影像信号处理装置与影像信号处理方法
CA3050122C (en) * 2017-03-06 2020-07-28 E Ink Corporation Method and apparatus for rendering color images
KR102628139B1 (ko) 2017-03-07 2024-01-22 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
US10701390B2 (en) 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation
CN106911903A (zh) * 2017-03-15 2017-06-30 四川长虹电器股份有限公司 一种sdr信号转hdr信号效果的画质数据处理方法
EP3566203B1 (de) 2017-03-20 2021-06-16 Dolby Laboratories Licensing Corporation Wahrnehmungs-erhaltung szenenbezogener kontraste und chromatizitäten
WO2018174387A1 (ko) * 2017-03-20 2018-09-27 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치
CN108737877B (zh) 2017-04-21 2020-06-02 华为技术有限公司 图像处理的方法、装置和终端设备
CN108810531B (zh) * 2017-05-03 2019-11-19 腾讯科技（深圳）有限公司 视频编码处理方法、装置及电子设备
US10847118B2 (en) * 2017-05-12 2020-11-24 Apple Inc. Electronic devices with tone mapping engines
US10403214B2 (en) 2017-05-12 2019-09-03 Apple Inc. Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content
US10242628B2 (en) * 2017-05-18 2019-03-26 Dell Products, L.P. Light Emitting Diode (LED) backlight control for reproduction of High Dynamic Range (HDR) content using Standard Dynamic Range (SDR) Liquid Crystal Display (LCD) panels
GB2563413B (en) * 2017-06-14 2021-12-22 Displaylink Uk Ltd Processing display data
GB2563411B (en) * 2017-06-14 2022-10-05 Displaylink Uk Ltd Processing display data
JP7037584B2 (ja) * 2017-06-16 2022-03-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 効率的なエンド・ツー・エンドシングルレイヤー逆ディスプレイマネジメント符号化
US10778978B2 (en) * 2017-08-21 2020-09-15 Qualcomm Incorporated System and method of cross-component dynamic range adjustment (CC-DRA) in video coding
CN107656454A (zh) * 2017-09-21 2018-02-02 深圳市晟达机械设计有限公司 一种高效的小区监控管理系统
KR102444156B1 (ko) * 2017-09-22 2022-09-16 삼성디스플레이 주식회사 표시 장치 및 그 구동방법
US11533450B2 (en) 2017-09-25 2022-12-20 Comcast Cable Communications, Llc Anti-piracy video transmission and display
US10609372B2 (en) 2017-09-29 2020-03-31 Dolby Laboratories Licensing Corporation Up-conversion to content adaptive perceptual quantization video signals
CN107682673B (zh) * 2017-10-09 2019-11-12 成都索贝数码科技股份有限公司 一种基于gpu和视频io卡同时监看4khdr和hdsdr信号的方法
US10972767B2 (en) * 2017-11-01 2021-04-06 Realtek Semiconductor Corp. Device and method of handling multiple formats of a video sequence
KR102413839B1 (ko) * 2017-11-15 2022-06-28 삼성전자 주식회사 컨텐츠 제공장치, 그 제어방법 및 기록매체
CN108024032A (zh) * 2017-11-24 2018-05-11 深圳Tcl新技术有限公司 图像增强处理方法、电视、服务器及计算机可读存储介质
CN108200441B (zh) * 2018-01-22 2020-10-13 海信视像科技股份有限公司 一种图像亮度处理方法及装置、电子设备
CN112419354B (zh) * 2018-01-22 2023-03-14 海信视像科技股份有限公司 一种图像亮度处理方法及装置、电子设备
US10880531B2 (en) * 2018-01-31 2020-12-29 Nvidia Corporation Transfer of video signals using variable segmented lookup tables
JP2019140430A (ja) * 2018-02-06 2019-08-22 船井電機株式会社 再生装置
US11025942B2 (en) * 2018-02-08 2021-06-01 Samsung Electronics Co., Ltd. Progressive compressed domain computer vision and deep learning systems
EP3525463A1 (de) * 2018-02-13 2019-08-14 Koninklijke Philips N.V. System zur handhabung mehrerer hdr-videoformate
ES2724212B2 (es) * 2018-03-02 2021-03-31 Visionapp Solutions S L Metodo implementado en ordenador y sistema para la prevencion del deterioro de la vision causado por el uso prolongado de pantallas electronicas en condiciones de baja iluminacion.
US10609424B2 (en) * 2018-03-09 2020-03-31 Dolby Laboratories Licensing Corporation Single-layer progressive coding for supporting multi-capability HDR composition
WO2019193097A1 (en) * 2018-04-05 2019-10-10 Canon Kabushiki Kaisha Method and apparatus for encapsulating images in a file
US11120725B2 (en) 2018-04-24 2021-09-14 Advanced Micro Devices, Inc. Method and apparatus for color gamut mapping color gradient preservation
TW201946430A (zh) 2018-04-30 2019-12-01 圓剛科技股份有限公司 影像訊號轉換裝置及方法
TWI808970B (zh) 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
TWI808971B (zh) * 2018-04-30 2023-07-21 圓剛科技股份有限公司 影像訊號轉換裝置
TWI811217B (zh) * 2018-04-30 2023-08-11 圓剛科技股份有限公司 影像訊號轉換裝置
US10692467B2 (en) 2018-05-04 2020-06-23 Microsoft Technology Licensing, Llc Automatic application of mapping functions to video signals based on inferred parameters
US20190356891A1 (en) * 2018-05-16 2019-11-21 Synaptics Incorporated High dynamic range (hdr) data conversion and color space mapping
US11030728B2 (en) * 2018-05-29 2021-06-08 Apple Inc. Tone mapping techniques for increased dynamic range
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
JP7171768B2 (ja) * 2018-06-28 2022-11-15 アップル インコーポレイテッド 動画符号化システム
US11115563B2 (en) * 2018-06-29 2021-09-07 Ati Technologies Ulc Method and apparatus for nonlinear interpolation color conversion using look up tables
KR102572432B1 (ko) * 2018-07-03 2023-08-30 삼성전자주식회사 디스플레이장치 및 그 제어방법과 기록매체
CN115606189A (zh) 2018-07-12 2023-01-13 三星电子株式会社（Kr） 渲染用于视觉可及性的内容的方法和装置
CN112470484B (zh) 2018-07-17 2023-09-08 杜比实验室特许公司 用于流式传输视频的方法和设备
US11962819B2 (en) 2018-07-17 2024-04-16 Dolby Laboratories Licensing Corporation Foviation and HDR
US20200045341A1 (en) * 2018-07-31 2020-02-06 Ati Technologies Ulc Effective electro-optical transfer function encoding for limited luminance range displays
US10930022B2 (en) * 2018-08-09 2021-02-23 Nvidia Corporation Motion adaptive rendering using variable rate shading
CN109192145A (zh) * 2018-09-21 2019-01-11 合肥惠科金扬科技有限公司 一种分区调光电路及显示装置
CN112930680A (zh) * 2018-09-26 2021-06-08 杜比实验室特许公司 使用来自未来帧的元数据的投影仪光源调光
CN109167946B (zh) * 2018-09-30 2021-02-19 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
CN109274985B (zh) * 2018-10-12 2020-04-28 腾讯科技（深圳）有限公司 视频转码方法、装置、计算机设备和存储介质
CN109151574B (zh) 2018-10-15 2020-03-24 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备以及存储介质
EP3867899A1 (de) * 2018-10-17 2021-08-25 Corning Incorporated Verfahren zur erreichung von und vorrichtung mit anzeigevorrichtung mit reduziertem energieverbrauch
US10957024B2 (en) 2018-10-30 2021-03-23 Microsoft Technology Licensing, Llc Real time tone mapping of high dynamic range image data at time of playback on a lower dynamic range display
US11503310B2 (en) * 2018-10-31 2022-11-15 Ati Technologies Ulc Method and apparatus for an HDR hardware processor inline to hardware encoder and decoder
WO2020100200A1 (ja) * 2018-11-12 2020-05-22 Eizo株式会社 画像処理システム、画像処理装置、およびコンピュータープログラム
CN109327734B (zh) * 2018-11-27 2020-11-13 成都索贝数码科技股份有限公司 一种基于动态测光的hdr视频下变换到sdr视频的方法
US10860504B2 (en) 2018-12-05 2020-12-08 New Century Technologies Ltd. Peripheral device with embedded video codec functionality
US11587526B2 (en) * 2018-12-20 2023-02-21 Dolby Laboratories Licensing Corporation Luminance adaption to minimize discomfort and improve visibility
EP3672267A1 (de) * 2018-12-20 2020-06-24 InterDigital VC Holdings, Inc. Verfahren zur verarbeitung von audio- und/oder videoinhalten und entsprechendes signal, vorrichtungen, elektronische anordnung, system, computerlesbare programmprodukte und computerlesbare speichermedien
CN111479164A (zh) * 2019-01-23 2020-07-31 上海哔哩哔哩科技有限公司 硬件解码动态分辨率无缝切换方法、装置及存储介质
KR20200095651A (ko) 2019-02-01 2020-08-11 삼성전자주식회사 고 동적 범위 콘텐트를 재생하는 전자 장치 및 그 방법
JP7263053B2 (ja) * 2019-02-28 2023-04-24 キヤノン株式会社 撮像装置、画像処理装置、それらの制御方法、プログラム
US10534948B1 (en) 2019-03-18 2020-01-14 Capital One Services, Llc Optimizing detection of images in relation to targets based on colorspace transformation techniques
US10509991B1 (en) 2019-03-18 2019-12-17 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing infrared light
US10496862B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet light
US10496911B1 (en) 2019-03-18 2019-12-03 Capital One Services, Llc Detection of images in relation to targets based on colorspace transformation techniques and utilizing ultraviolet and infrared light
CN111754412B (zh) * 2019-03-29 2024-04-19 Tcl科技集团股份有限公司 构建数据对的方法、装置及终端设备
US11404025B2 (en) 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
WO2020211769A1 (en) 2019-04-15 2020-10-22 Beijing Bytedance Network Technology Co., Ltd. Clipping parameter derivation in adaptive loop filter
US10523420B1 (en) 2019-04-18 2019-12-31 Capital One Services, Llc Transmitting encoded data along transmission mediums based on colorspace schemes
US10504013B1 (en) 2019-04-24 2019-12-10 Capital One Services, Llc Colorspace encoding multimedia data on a physical page
CN113748426B (zh) * 2019-04-25 2023-06-09 杜比实验室特许公司 实时馈送中的内容感知的pq范围分析仪和色调映射
CN111916031B (zh) * 2019-05-10 2023-03-21 京东方科技集团股份有限公司 显示方法及显示装置
EP3742728B1 (de) * 2019-05-24 2022-09-21 Axis AB Verfahren und bitratensteuergerät zur steuerung der ausgangsbitrate eines videocodierers
EP3977735A4 (de) 2019-05-31 2023-04-05 HFI Innovation Inc. Verfahren und vorrichtung zur verringerung der latenzzeit bei der skalierung von chroma-rückständen
US11115602B2 (en) * 2019-06-11 2021-09-07 Watchguard Video, Inc. Emulating light sensitivity of a target
US10529300B1 (en) 2019-06-20 2020-01-07 Capital One Services, Llc Adaptive image display based on colorspace conversions
US10614635B1 (en) 2019-07-25 2020-04-07 Capital One Services, Llc Augmented reality system with color-based fiducial marker
EP4014503A1 (de) * 2019-08-16 2022-06-22 Apple Inc. Adaptive bilaterale filterung unter verwendung von nachschlagtabellen
US10937385B1 (en) * 2019-08-20 2021-03-02 Apple Inc. Frame replay with bit depth considerations
US10833852B1 (en) 2019-10-03 2020-11-10 Capital One Services, Llc Encoded data along tape based on colorspace schemes
US11159737B2 (en) * 2019-10-14 2021-10-26 Google Llc Exposure change control in low light environments
CN110798689B (zh) * 2019-10-18 2021-01-19 西安交通大学 一种将nv12+格式转换为p010格式的方法
US10715183B1 (en) 2019-10-25 2020-07-14 Capital One Services, Llc Data encoding with error-correcting code pursuant to colorspace schemes
US10867226B1 (en) 2019-11-04 2020-12-15 Capital One Services, Llc Programmable logic array and colorspace conversions
US10762371B1 (en) 2019-11-14 2020-09-01 Capital One Services, Llc Object detection techniques using colorspace conversions
CN110868634B (zh) * 2019-11-27 2023-08-22 维沃移动通信有限公司 一种视频处理方法及电子设备
TWI739227B (zh) * 2019-12-03 2021-09-11 智成電子股份有限公司 避免多餘記憶體存取的系統單晶片模組
US20220366829A1 (en) * 2019-12-05 2022-11-17 Google Llc Dual color management for a multi-pixel density display
US10878600B1 (en) 2019-12-10 2020-12-29 Capital One Services, Llc Augmented reality system with color-based fiducial marker utilizing local adaptive technology
WO2021118556A1 (en) * 2019-12-11 2021-06-17 Google Llc Color calibration of display modules using a reduced number of display characteristic measurements
KR20210083840A (ko) * 2019-12-27 2021-07-07 삼성전자주식회사 다이나믹 톤 메타데이터를 포함하는 영상의 편집을 위한 전자 장치 및 그의 동작 방법
NO346123B1 (en) * 2020-02-05 2022-03-07 Movi Tech As Video decoding method and device enabling improved user interaction with video content
CN111294655B (zh) 2020-02-20 2021-10-22 深圳创维－Rgb电子有限公司 Hdr片源播放方法、装置及存储介质
CN111415393B (zh) * 2020-03-16 2023-08-01 安博思华智能科技有限责任公司 一种调节多媒体黑板显示的方法、装置、介质和电子设备
CN111524077B (zh) * 2020-04-17 2023-11-17 三维六度(北京)文化有限公司 影像资料的修复方法及系统
CN111540324B (zh) * 2020-05-20 2021-12-24 Tcl华星光电技术有限公司 一种显示设备及其像素补偿方法和装置
TWI754970B (zh) * 2020-06-22 2022-02-11 鴻海精密工業股份有限公司 加速啟動函數運算的裝置、方法及存儲介質
US11302036B2 (en) 2020-08-19 2022-04-12 Capital One Services, Llc Color conversion between color spaces using reduced dimension embeddings
CN111970564B (zh) * 2020-08-26 2023-03-24 展讯通信（上海）有限公司 Hdr视频显示处理的优化方法及装置、存储介质、终端
US11425502B2 (en) 2020-09-18 2022-08-23 Cisco Technology, Inc. Detection of microphone orientation and location for directional audio pickup
CN112118437B (zh) * 2020-09-24 2021-08-17 上海松鼠课堂人工智能科技有限公司 虚拟现实的课堂模拟方法和系统
US11769234B2 (en) 2020-10-07 2023-09-26 Qualcomm Incorporated Methods and apparatus for histogram based tone mapping
US11538136B2 (en) * 2020-10-28 2022-12-27 Qualcomm Incorporated System and method to process images of a video stream
CN112351264B (zh) * 2020-11-04 2023-05-23 深圳Tcl数字技术有限公司 显示精度调整方法、装置、终端设备及存储介质
WO2022125892A2 (en) * 2020-12-11 2022-06-16 Contrast, Inc. Dynamic transfer function for reversible encoding
US11115625B1 (en) 2020-12-14 2021-09-07 Cisco Technology, Inc. Positional audio metadata generation
CN112927273A (zh) * 2021-01-28 2021-06-08 北京字节跳动网络技术有限公司 三维视频的处理方法、设备及存储介质
US11470162B2 (en) * 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
US11544826B2 (en) * 2021-04-30 2023-01-03 Realnetworks, Inc. Intelligent metadata service for video enhancement
CN113160342B (zh) * 2021-05-14 2023-08-25 杭州网易智企科技有限公司 基于反馈的编码方法及装置、存储介质、电子设备
CN113489930B (zh) * 2021-06-10 2024-03-19 中央广播电视总台 一种视频信号处理方法、装置及存储介质
US11666823B1 (en) * 2021-06-29 2023-06-06 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11612812B1 (en) 2021-06-29 2023-03-28 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
US11617946B1 (en) 2021-06-29 2023-04-04 Amazon Technologies, Inc. Video game streaming with dynamic range conversion
CN113395551A (zh) * 2021-07-20 2021-09-14 珠海极海半导体有限公司 处理器、npu芯片和电子设备
CN117897953A (zh) * 2021-08-16 2024-04-16 交互数字Ce专利控股有限公司 用于基于观看条件来处理视频内容的系统和方法
CN113676773B (zh) * 2021-08-16 2023-11-14 广州虎牙信息科技有限公司 一种视频播放方法、系统、装置、计算机设备和存储介质
US11606605B1 (en) * 2021-09-30 2023-03-14 Samsung Electronics Co., Ltd. Standard dynamic range (SDR) / hybrid log-gamma (HLG) with high dynamic range (HDR) 10+
US20230127327A1 (en) * 2021-10-22 2023-04-27 Samsung Electronics Co., Ltd. System and method for learning tone curves for local image enhancement
US11734806B2 (en) 2021-11-24 2023-08-22 Roku, Inc. Dynamic tone mapping
CN114363507A (zh) * 2021-12-02 2022-04-15 维沃移动通信有限公司 图像处理方法及装置
CN114422829A (zh) * 2022-01-30 2022-04-29 杭州雾联科技有限公司 一种hdr云视频处理方法、系统及设备
CN114466246A (zh) * 2022-02-14 2022-05-10 维沃移动通信有限公司 一种视频处理方法及其装置
US20230281766A1 (en) * 2022-03-02 2023-09-07 Nvidia Corporation Remastering lower dynamic range content for higher dynamic range displays
CN114727029B (zh) * 2022-03-21 2024-03-22 北京百度网讯科技有限公司 视频的处理方法、装置、电子设备及存储介质

Family Cites Families (150)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1020068A (en) 1909-04-29 1912-03-12 Singer Mfg Co Feeding mechanism for sewing-machines.
US1027105A (en) 1911-01-31 1912-05-21 George Crawford Spring-wheel.
US1021245A (en) 1911-02-16 1912-03-26 Morton Arthur George Detachable hinge for windows.
US1026426A (en) 1911-05-15 1912-05-14 Fred Kestler Cinder-leveler.
US5042077A (en) 1987-10-02 1991-08-20 General Electric Company Method of highlighting subtle contrast in graphical images
US5357278A (en) 1993-01-14 1994-10-18 Sony Electronics, Inc. Integrated linear/non-linear static and controllable dynamic companding
US6141047A (en) * 1993-12-22 2000-10-31 Canon Kabushiki Kaisha Image signal processing apparatus and image pickup device
EP0679020A1 (de) * 1994-04-19 1995-10-25 Eastman Kodak Company Verfahren und Gerät zur eingeschränkten Begrenzung des Tonbereichs
US5815206A (en) 1996-05-03 1998-09-29 Lsi Logic Corporation Method for partitioning hardware and firmware tasks in digital audio/video decoding
US6118820A (en) * 1998-01-16 2000-09-12 Sarnoff Corporation Region-based information compaction as for digital images
US6829301B1 (en) 1998-01-16 2004-12-07 Sarnoff Corporation Enhanced MPEG information distribution apparatus and method
US6560285B1 (en) 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
CA2269651A1 (en) * 1998-05-12 1999-11-12 Lucent Technologies, Inc. Transform domain image watermarking method and system
US6396508B1 (en) 1999-12-02 2002-05-28 Matsushita Electronics Corp. Dynamic low-level enhancement and reduction of moving picture disturbance for a digital display
US7072523B2 (en) 2000-09-01 2006-07-04 Lenovo (Singapore) Pte. Ltd. System and method for fingerprint image enhancement using partitioned least-squared filters
US6762741B2 (en) 2000-12-22 2004-07-13 Visteon Global Technologies, Inc. Automatic brightness control system and method for a display device using a logarithmic sensor
US7062445B2 (en) * 2001-01-26 2006-06-13 Microsoft Corporation Quantization loop with heuristic approach
GB0110748D0 (en) 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
JP4129812B2 (ja) 2001-05-24 2008-08-06 株式会社リコー 画像処理方法，装置および画像形成装置
EP2239725B1 (de) * 2001-06-07 2013-10-23 Genoa Color Technologies Ltd. System und verfahren zur datenumsetzung für anzeigen mit grosser farbpalette
US6757648B2 (en) * 2001-06-28 2004-06-29 Microsoft Corporation Techniques for quantization of spectral data in transcoding
US20030086595A1 (en) * 2001-11-07 2003-05-08 Hui Hu Display parameter-dependent pre-transmission processing of image data
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
US7433532B2 (en) 2002-05-01 2008-10-07 Kestrel Corporation Max entropy optimized retinal camera
US6778183B1 (en) * 2002-07-10 2004-08-17 Genesis Microchip Inc. Method and system for adaptive color and contrast for display devices
US7239422B2 (en) * 2002-12-04 2007-07-03 Eastman Kodak Company Color gamut mapping using a cost function
US7550701B2 (en) 2003-02-25 2009-06-23 Omnivision Cdm Optics, Inc. Non-linear wavefront coding systems and methods
US7254271B2 (en) 2003-03-05 2007-08-07 Seadragon Software, Inc. Method for encoding and serving geospatial or other vector data as images
US20050117799A1 (en) 2003-12-01 2005-06-02 Chiou-Shann Fuh Method and apparatus for transforming a high dynamic range image into a low dynamic range image
GB0402640D0 (en) * 2004-02-06 2004-03-10 Pelikon Ltd Ambient light sensor
US20050219252A1 (en) 2004-03-30 2005-10-06 Buxton Mark J Two-dimensional buffer, texture and frame buffer decompression
US8218625B2 (en) * 2004-04-23 2012-07-10 Dolby Laboratories Licensing Corporation Encoding, decoding and representing high dynamic range images
US20050243176A1 (en) * 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
JP2008501261A (ja) 2004-05-31 2008-01-17 フェーズ・ワン・アクティーゼルスカブ 高速高品質画像処理のための画像圧縮方法
US7457477B2 (en) 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US8050511B2 (en) * 2004-11-16 2011-11-01 Sharp Laboratories Of America, Inc. High dynamic range images from low dynamic range images
KR100596982B1 (ko) 2004-12-15 2006-07-05 삼성전자주식회사 이중 계층 버스 구조, 이중 계층 버스 구조를 가진 시스템온 칩 시스템 및 시스템 온 칩 시스템의 버스 액세스 방법
US7593024B2 (en) 2005-01-15 2009-09-22 International Business Machines Corporation Screen calibration for display devices
US7693304B2 (en) 2005-05-12 2010-04-06 Hewlett-Packard Development Company, L.P. Method and system for image quality calculation
US20070035751A1 (en) * 2005-08-15 2007-02-15 Microsoft Corporation Gamut shape dependent color management system
WO2007026283A2 (en) 2005-08-31 2007-03-08 Koninklijke Philips Electronics, N.V. Ambient lighting derived from video content using adaptive extraction regions
US7809200B2 (en) * 2005-11-15 2010-10-05 Teledyne Licensing, Llc Dynamic range compression of high dynamic range imagery
EP2290983B1 (de) 2006-01-23 2015-09-02 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Hochdynamikbereichscodecs
US8014445B2 (en) 2006-02-24 2011-09-06 Sharp Laboratories Of America, Inc. Methods and systems for high dynamic range video coding
US8194997B2 (en) * 2006-03-24 2012-06-05 Sharp Laboratories Of America, Inc. Methods and systems for tone mapping messaging
KR101368120B1 (ko) * 2006-05-25 2014-02-28 톰슨 라이센싱 가중 인코딩을 위한 방법 및 시스템
US7730043B1 (en) * 2006-06-29 2010-06-01 Adobe Systems Incorporated Incremental batch-mode editing of digital media objects
US8888592B1 (en) * 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
CN101119497A (zh) * 2006-08-04 2008-02-06 广达电脑股份有限公司 图像处理装置及其方法
KR100843088B1 (ko) * 2006-08-16 2008-07-02 삼성전자주식회사 광색역 공간의 영상을 출력하는 장치 및 방법
TWI333383B (en) 2006-09-25 2010-11-11 Ind Tech Res Inst Color adjustment circuit, digital color adjustment device and a multimedia apparatus using the same
US20080112024A1 (en) * 2006-11-09 2008-05-15 Seiko Epson Corporation Image processing apparatus, image processing method, image processing program, recording medium storing image processing program, and image display apparatus
KR101318081B1 (ko) 2006-11-21 2013-10-14 엘지디스플레이 주식회사 액정표시장치와 그 구동방법
CA2570090C (en) 2006-12-06 2014-08-19 Brightside Technologies Inc. Representing and reconstructing high dynamic range images
US7899267B2 (en) 2007-05-23 2011-03-01 Zoran Corporation Dynamic range compensation by filter cascade
US20080316372A1 (en) 2007-06-20 2008-12-25 Ning Xu Video display enhancement based on viewer characteristics
US8330768B2 (en) * 2007-07-27 2012-12-11 Sharp Laboratories Of America, Inc. Apparatus and method for rendering high dynamic range images for standard dynamic range display
US8538197B2 (en) * 2007-08-02 2013-09-17 Sony Corporation Image processing apparatus
US8004538B2 (en) * 2007-09-21 2011-08-23 Global Oled Technology Llc Preferential tone scale for electronic displays
TW200928860A (en) 2007-12-31 2009-07-01 Htc Corp Method and device for adjusting output frame
US9584710B2 (en) 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US8159616B2 (en) 2008-03-27 2012-04-17 Bang & Olufsen A/S Histogram and chrominance processing
EP2297694B1 (de) * 2008-06-13 2014-10-01 Imax Corporation Verfahren und systeme zum verringern oder beseitigen eines wahrgenommenen ghosting bei angezeigten stereoskopischen bildern
EP2144444B1 (de) 2008-07-10 2012-06-27 The University Of Warwick Vorrichtungen und Verfahren zur HDR-Videodatenkomprimierung
JP2010056769A (ja) * 2008-08-27 2010-03-11 Seiko Epson Corp 画像処理装置及び画像処理方法
US8339475B2 (en) 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
EP2200268B1 (de) * 2008-12-22 2012-02-08 Thomson Licensing Verfahren zur Kalibrierung einer Ziel-Farbwiedergabevorrichtung
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
JP5274287B2 (ja) * 2009-02-09 2013-08-28 三菱電機株式会社 表示装置および表示システム
KR101651415B1 (ko) 2009-03-10 2016-08-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 확장된 동적 범위 및 확장된 차수 이미지 신호 변환
EP2406959B1 (de) 2009-03-13 2015-01-14 Dolby Laboratories Licensing Corporation Geschichtete komprimierung von videosignalen mit hohem dynamikumfang, visuellem dynamikumfang und grosser farbpallete
US8325385B2 (en) * 2009-03-27 2012-12-04 Konica Minolta Laboratory U.S.A., Inc. System and methods for processing color data in converting color data from one color space to another color space
JP5566048B2 (ja) 2009-04-28 2014-08-06 キヤノン株式会社 表示装置及びその制御方法
US8483479B2 (en) * 2009-05-11 2013-07-09 Dolby Laboratories Licensing Corporation Light detection, color appearance models, and modifying dynamic range for image display
JP2011022481A (ja) 2009-07-17 2011-02-03 Panasonic Corp 液晶表示装置
US8897377B2 (en) 2009-12-31 2014-11-25 Broadcom Corporation Transcoding multiple media elements for independent wireless delivery
EP2360926A1 (de) * 2010-01-19 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Bildkodierer und Bilddekodierer
WO2011089917A1 (ja) 2010-01-22 2011-07-28 パナソニック株式会社 制御装置、表示装置、眼鏡装置及び映像システム
US8891934B2 (en) * 2010-02-22 2014-11-18 Dolby Laboratories Licensing Corporation Video display control using embedded metadata
US8890793B2 (en) 2010-03-26 2014-11-18 Hong Kong Applied Science and Technology Research Institute, Co. Ltd. Adjusting a brightness level of a backlight of a display device
US8280184B2 (en) 2010-04-01 2012-10-02 Himax Media Solutions, Inc. Image enhancement method and apparatuses utilizing the same
US8493316B2 (en) 2010-04-22 2013-07-23 Qualcomm Incorporated Adjusting backlight intensity based on a progress of a task
US20110292992A1 (en) 2010-05-28 2011-12-01 Microsoft Corporation Automating dynamic information insertion into video
WO2011156074A2 (en) 2010-06-08 2011-12-15 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
EP2591602A1 (de) * 2010-07-06 2013-05-15 Koninklijke Philips Electronics N.V. Erzeugung von bildern mit hohem dynamikbereich aus bildern mit niedrigem dynamikbereich
KR101537510B1 (ko) * 2010-07-22 2015-07-17 돌비 레버러토리즈 라이쎈싱 코오포레이션 디스플레이 관리 서버
US8831345B2 (en) * 2010-08-04 2014-09-09 Nec Corporation Image processing method, image processing apparatus, and image processing program
US8677428B2 (en) * 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
TWI479898B (zh) 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
US8704859B2 (en) * 2010-09-30 2014-04-22 Apple Inc. Dynamic display adjustment based on ambient conditions
EP2445214A1 (de) * 2010-10-19 2012-04-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Videocodierung mithilfe einer temporär kohärenten dynamischen Bereichskartierung
US8462221B2 (en) 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
EP2643809B1 (de) * 2010-11-23 2020-06-24 Dolby Laboratories Licensing Corporation Inhaltsmetadatenerweiterung von bildern mit hohem dynamikbereich
US9024951B2 (en) 2011-02-16 2015-05-05 Apple Inc. Devices and methods for obtaining high-local-contrast image data
WO2012122425A1 (en) 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Bitdepth and color scalable video coding
US8621320B2 (en) * 2011-04-07 2013-12-31 Apple Inc. Per-image forward error correction
WO2012142285A2 (en) * 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
US8971408B2 (en) 2011-04-14 2015-03-03 Dolby Laboratories Licensing Corporation Piecewise cross color channel predictor
TWI513327B (zh) 2011-04-15 2015-12-11 Dolby Lab Licensing Corp 高動態範圍影像的編碼、解碼及表示
EP2702764B1 (de) * 2011-04-25 2016-08-31 Dolby Laboratories Licensing Corporation Nichtlinearer vdr-restquantisierer
EP2702766B1 (de) * 2011-04-28 2017-06-14 Koninklijke Philips N.V. Gerät und verfahren für die kodierung und die dekodierung von hdr bildern
EP2707868B1 (de) * 2011-05-10 2024-04-03 Koninklijke Philips N.V. Erzeugung und verarbeitung von bildsignalen mit hohem dynamischem bereich
JP5833233B2 (ja) * 2011-05-27 2015-12-16 ドルビー ラボラトリーズ ライセンシング コーポレイション 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
US8891863B2 (en) 2011-06-13 2014-11-18 Dolby Laboratories Licensing Corporation High dynamic range, backwards-compatible, digital cinema
US20120324492A1 (en) 2011-06-20 2012-12-20 Microsoft Corporation Video selection based on environmental sensing
US8576445B2 (en) 2011-06-28 2013-11-05 Konica Minolta Laboratory U.S.A., Inc. Method for processing high dynamic range images using tone mapping to extended RGB space
JP5747711B2 (ja) * 2011-07-22 2015-07-15 富士通株式会社 ネットワーク評価装置
US9451292B2 (en) 2011-09-15 2016-09-20 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video
US8988552B2 (en) 2011-09-26 2015-03-24 Dolby Laboratories Licensing Corporation Image formats and related methods and apparatuses
EP2745290A1 (de) 2011-09-27 2014-06-25 Koninklijke Philips N.V. Vorrichtung und verfahren zur dynamischen bereichstransformation von bildern
CN103907343B (zh) * 2011-10-20 2017-05-03 杜比实验室特许公司 用于视频均衡的方法和系统
EP2777252B1 (de) 2011-11-09 2016-02-10 Fraunhofer Gesellschaft zur Förderung der angewandten Forschung e.V. Zwischenschichtvoraussage zwischen schichten mit unterschiedlichem dynamischem erfassungswertebereich
EP3800542B1 (de) 2011-12-06 2021-09-15 Dolby Laboratories Licensing Corporation Vorrichtung und verfahren zur verbesserung des bilddatenaustauschs auf basis einer wahrnehmungsbezogenen luminanznichtlinearität zwischen verschiedenen anzeigefunktionen
US8773543B2 (en) 2012-01-27 2014-07-08 Nokia Corporation Method and apparatus for image data transfer in digital photographing
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
JP5598769B2 (ja) * 2012-04-16 2014-10-01 コニカミノルタ株式会社 色調整方法及び色調整プログラム
US20130308027A1 (en) 2012-05-03 2013-11-21 Aptina Imaging Corporation Systems and methods for generating metadata in stacked-chip imaging systems
US20140092108A1 (en) 2012-05-24 2014-04-03 Popslate Media, Inc. Dynamically Changeable Decorative-Protective Accessory for a Mobile Computing Device
US11089247B2 (en) 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
US9258641B2 (en) * 2012-06-07 2016-02-09 Qbiz, Llc Method and system of audio capture based on logarithmic conversion
US9330606B2 (en) 2012-06-08 2016-05-03 Apple Inc. Electronic device with display brightness control
KR20130141920A (ko) * 2012-06-18 2013-12-27 삼성디스플레이 주식회사 색역 변환 시스템 및 방법
TWI586150B (zh) 2012-06-29 2017-06-01 新力股份有限公司 影像處理裝置及非暫態電腦可讀儲存媒體
WO2014009844A1 (en) * 2012-07-13 2014-01-16 Koninklijke Philips N.V. Improved hdr image encoding and decoding methods and devices
US8821281B2 (en) * 2012-07-17 2014-09-02 International Business Machines Corporation Detection of an orientation of a game player relative to a screen
EP3168809B1 (de) * 2012-08-08 2023-08-30 Dolby Laboratories Licensing Corporation Bildverarbeitung für hdr-bilder
GB2518793A (en) 2012-09-28 2015-04-01 Intel Corp Content based dynamic control methods and systems for display brightness
US9064313B2 (en) * 2012-09-28 2015-06-23 Intel Corporation Adaptive tone map to a region of interest to yield a low dynamic range image
CN103077696B (zh) 2013-01-15 2015-08-12 Opera软件股份公司 用于调节显示屏亮度的方法和设备以及显示系统
JP6005882B2 (ja) * 2013-01-25 2016-10-12 ドルビー ラボラトリーズ ライセンシング コーポレイション グローバルなディスプレイ管理ベースの光変調
US9058667B2 (en) 2013-01-30 2015-06-16 Apple Inc. Detail preserving image transfer operations
JP6309978B2 (ja) * 2013-02-21 2018-04-11 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 改善されたｈｄｒイメージ符号化及び復号化方法、装置
TWI473039B (zh) * 2013-03-05 2015-02-11 Univ Tamkang 影像的動態範圍壓縮與局部對比增強方法及影像處理裝置
GB201304221D0 (en) 2013-03-08 2013-04-24 Univ Warwick High Dynamic Range Imaging Systems
FR3003378A1 (fr) 2013-03-12 2014-09-19 St Microelectronics Grenoble 2 Procede de mappage de tons
TWI639151B (zh) 2013-03-15 2018-10-21 美商傲思丹度科技公司 動態色域顯示系統、方法、及其應用
US20140321561A1 (en) 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
US8866975B1 (en) * 2013-05-02 2014-10-21 Dolby Laboratories Licensing Corporation Backwards-compatible delivery of digital cinema content with higher dynamic range and related preprocessing and coding methods
KR102031580B1 (ko) * 2013-05-10 2019-11-08 엘지디스플레이 주식회사 표시 장치, 표시 장치 제어 방법
CN103391435A (zh) * 2013-07-02 2013-11-13 广东工业大学 一种兼容ldr的hdr图像编码方法及其解码方法
JP6351313B2 (ja) 2013-07-11 2018-07-04 キヤノン株式会社 画像符号化装置、画像復号装置、画像処理装置、並びにそれらの制御方法
US10057633B2 (en) * 2013-07-14 2018-08-21 Lg Electronics Inc. Method and apparatus for transmitting and receiving ultra high-definition broadcasting signal for expressing high-quality color in digital broadcasting system
US10194162B2 (en) 2013-07-18 2019-01-29 Koninklijke Philips N.V. Methods and apparatuses for creating code mapping functions for encoding an HDR image, and methods and apparatuses for use of such encoded images
US20150130967A1 (en) 2013-11-13 2015-05-14 Nvidia Corporation Adaptive dynamic range imaging
US9973723B2 (en) * 2014-02-24 2018-05-15 Apple Inc. User interface and graphics composition with high dynamic range video
JP6383425B2 (ja) 2014-02-25 2018-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ビデオ符号化及び復号のための適応的伝達関数
JP6731722B2 (ja) * 2015-05-12 2020-07-29 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法および表示装置
ES2684432T3 (es) 2015-12-17 2018-10-02 Koninklijke Philips N.V. Codificación de rango dinámico para imágenes y vídeo
US10200687B2 (en) 2017-06-02 2019-02-05 Apple Inc. Sample adaptive offset for high dynamic range (HDR) video compression
US10212456B2 (en) 2017-06-02 2019-02-19 Apple Inc. Deblocking filter for high dynamic range (HDR) video

Also Published As

Publication number Publication date
KR20160110985A (ko) 2016-09-23
JP7429676B2 (ja) 2024-02-08
AU2023200732B2 (en) 2024-01-18
CN106031172B (zh) 2019-08-20
US20150243243A1 (en) 2015-08-27
JP7038021B2 (ja) 2022-03-17
KR102330316B1 (ko) 2021-11-24
US10264266B2 (en) 2019-04-16
US20220408096A1 (en) 2022-12-22
US20210235093A1 (en) 2021-07-29
US10271054B2 (en) 2019-04-23
KR20180102222A (ko) 2018-09-14
AU2021204255A1 (en) 2021-07-22
AU2018208733A1 (en) 2018-08-16
KR101898643B1 (ko) 2018-09-14
AU2020201023B2 (en) 2021-04-01
WO2015130797A1 (en) 2015-09-03
KR102025037B1 (ko) 2019-09-24
KR102654563B1 (ko) 2024-04-05
KR20210143940A (ko) 2021-11-29
CN110365974A (zh) 2019-10-22
KR20220106177A (ko) 2022-07-28
AU2023200732A1 (en) 2023-03-09
CN111526350A (zh) 2020-08-11
KR20200118237A (ko) 2020-10-14
JP2022009011A (ja) 2022-01-14
AU2021204255B2 (en) 2022-11-24
US20190182487A1 (en) 2019-06-13
KR102509533B1 (ko) 2023-03-14
US10880549B2 (en) 2020-12-29
EP3111644A1 (de) 2017-01-04
KR102414567B1 (ko) 2022-06-29
US10212429B2 (en) 2019-02-19
CN111526350B (zh) 2022-04-05
US20150245043A1 (en) 2015-08-27
CN111246050A (zh) 2020-06-05
US10812801B2 (en) 2020-10-20
AU2015223123A1 (en) 2016-09-15
DE112015000950T5 (de) 2016-12-08
EP3829171A1 (de) 2021-06-02
US20150245050A1 (en) 2015-08-27
WO2015130796A1 (en) 2015-09-03
AU2018208733B2 (en) 2020-01-30
CN106031172A (zh) 2016-10-12
CN106233706A (zh) 2016-12-14
CN106030503A (zh) 2016-10-12
WO2015130793A1 (en) 2015-09-03
JP2018207512A (ja) 2018-12-27
JP6383425B2 (ja) 2018-08-29
CN111246050B (zh) 2022-10-28
JP2021010171A (ja) 2021-01-28
JP2024009972A (ja) 2024-01-23
US20210227226A1 (en) 2021-07-22
KR20190109579A (ko) 2019-09-25
US20210037246A1 (en) 2021-02-04
US20150243200A1 (en) 2015-08-27
US20150245044A1 (en) 2015-08-27
CN106233706B (zh) 2020-01-03
KR20230041827A (ko) 2023-03-24
US11445202B2 (en) 2022-09-13
AU2020201023A1 (en) 2020-03-05
JP2017513257A (ja) 2017-05-25
US10986345B2 (en) 2021-04-20
CN116320394A (zh) 2023-06-23
CN106030503B (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
DE112015000959T5 (de) Adaptive Videoverarbeitung
CN107690811B (zh) 呈现和显示高动态范围内容
US9639956B2 (en) Image adjustment using texture mask
DE102015002364A1 (de) Mipmap-komprimierung
DE102015001814A1 (de) Farbkomprimierung unter Verwendung einer selektiven Farbtransformation
CN105306788A (zh) 一种拍照图像的降噪方法和装置
US10868969B1 (en) Method and apparatus for accelerated tonemapping and display
EP3993383A1 (de) Verfahren und vorrichtung zur anpassung der bildqualität und lesbares speichermedium
US11361414B2 (en) Method and system for enhancing image, and computer readable storage medium
CN110874816B (zh) 一种图像处理方法、装置、移动终端及存储介质
CN110225177A (zh) 一种界面调节方法、计算机存储介质及终端设备

Legal Events

Date Code Title Description
R012 Request for examination validly filed