CN112003997B - 使用静止图像的视频颜色映射 - Google Patents

使用静止图像的视频颜色映射 Download PDF

Info

Publication number
CN112003997B
CN112003997B CN202010895323.7A CN202010895323A CN112003997B CN 112003997 B CN112003997 B CN 112003997B CN 202010895323 A CN202010895323 A CN 202010895323A CN 112003997 B CN112003997 B CN 112003997B
Authority
CN
China
Prior art keywords
color
frame
color map
frames
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010895323.7A
Other languages
English (en)
Other versions
CN112003997A (zh
Inventor
洪微
魏力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN112003997A publication Critical patent/CN112003997A/zh
Application granted granted Critical
Publication of CN112003997B publication Critical patent/CN112003997B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及使用静止图像的视频颜色映射。本文描述的技术包括捕获与视频文件相关联的多个帧，捕获与多个帧之一相对应的图像，生成所捕获的图像与多个帧中的对应帧之间的颜色图，其中颜色图基于所捕获的图像的颜色和色调以及对应帧的颜色和色调，基于颜色图对与视频文件相关联的一个或多个所选帧进行色调校正，并且基于颜色图对一个或多个所选帧进行颜色校正。

Description

使用静止图像的视频颜色映射
技术领域
本公开涉及使用静止图像的视频颜色映射。
背景技术
图像可以对应于有时被称为照片文件带多个连续(例如，在时间上)图像中的图像和/或与短视频(有时被称为运动照片和/或微视频)的帧相关联的图像。该图像当与多个连续图像(例如，照片文件带)或短视频(例如，微视频)的帧中的对应图像相比时，可以具有颜色/光照差异。当观看者在图像和多个连续图像(例如，照片文件带)或短视频(例如，微视频)之间切换(例如，在移动设备上观看时)时，这种颜色/光照差异可能会是显著的，从而导致不太令人满意的用户体验。
发明内容
实施方式使用在时间上与视频的帧之一基本相同的时刻捕获的质量校正图像来改善视频帧的视觉质量。为了改善视频帧的视觉质量，可以确定校正图像和视频的对应帧之间的至少一个质量参数差。然后，可以使用至少一个质量参数差来改善视频帧的视觉质量。
总体方面包括：捕获与视频文件相关联的多个帧；捕获与所述多个帧之一相对应的图像；生成在所捕获的图像与所述多个帧中的对应帧之间的颜色图，其中该颜色图基于所捕获到的图像的颜色和色调以及对应帧的颜色和色调；基于颜色图对与视频文件相关联的一个或多个所选帧进行色调校正；以及基于颜色图对所述一个或多个所选帧进行颜色校正。
实施方式可以包括单独的或者彼此任意组合的下述特征中的一个或多个。例如，可以对捕获的图像执行捕获后处理以改善图像的视觉质量。
颜色图可以包括在捕获的图像和对应帧之间的至少一个可校正的质量参数差。
校正所述一个或多个所选帧的色调可以包括将所述一个或多个所选帧的像素、像素块、像素范围或分区中的至少一个与颜色图的像素、像素块、像素范围或分区中的至少一个进行匹配，以及使用颜色图的值执行对所述一个或多个所选帧的色调校正，并且对所述一个或多个所选帧的颜色校正可以包括将所述一个或多个所选帧的像素、像素块、像素范围或分区中的至少一个与颜色图的像素、像素块、像素范围或分区中的至少一个进行匹配，并且颜色映射的值可以被用于执行对所述一个或多个所选帧的颜色校正。
可以将颜色图分区成具有M列和N行的MxN网格，其中每个分区包括指示校正参数的数据，并且校正参数可以包括用于伽马校正的值。
对所述一个或多个所选帧的颜色校正可以包括执行平滑处理以最小化所述一个或多个所选帧中的颜色不连续。
可以在同一实例中捕获图像和图像所对应的帧。
所捕获到的图像可以被分区，并且对应帧可以被分区成分区帧，并且生成颜色图可以包括：确定图像的每个分区与分区帧的对应分区之间的颜色方差，以及确定图像的每个分区与分区帧的对应分区之间的色调方差，并且所确定的颜色方差和所确定的色调方差中的至少一个可以基于辉度差或色度差。
另一个总体方面包括捕获与视频文件相关联的多个帧，捕获与所述多个帧之一相对应的图像，基于图像的颜色和色调以及图像所对应的帧的颜色和色调生成颜色图，生成包括表示颜色图的数据的数据结构，以及将该数据结构作为元数据存储在与视频相关联的报头中。
实施方式可以包括单独的或者彼此任意组合的下述特征中的一个或多个。例如，可以对捕获到的图像执行捕获后处理以改善图像的视觉质量。
该颜色图可以包括图像与该图像对应的帧之间的至少一个可校正的质量参数差。
生成数据结构可以包括将颜色图分区成具有M列和N行的MxN网格，其中每个分区可以包括指示校正参数的数据，并且校正参数可以包括用于伽马校正的值。
所捕获的图像可以被分区，并且图像所对应的帧可以被分区成分区帧，并且生成颜色图可以包括：确定在图像的每个分区与分区帧的对应分区之间的颜色方差，以及确定图像的每个分区与分区帧的对应分区之间的色调方差，其中颜色方差和色调方差中的至少一个基于辉度差或色度差。
另一个总体方面包括：接收包括多个帧的视频文件和包括数据结构的报头，该数据结构包括表示颜色图的数据；选择所述多个帧中的第一帧，该第一帧与表示颜色图的数据相关联；选择所述多个帧中的第二帧，该第二帧是用于颜色校正的目标帧；基于该颜色图对第二帧进行色调校正；以及基于该颜色图对第二帧进行颜色校正。
实施方式可以包括单独或彼此任意组合的下述特征中的一个或者多个。例如，对帧的色调校正可以包括将帧的像素、像素块、像素范围或分区中的至少一个与颜色图的像素、像素块、像素范围或者分区中的至少一个进行匹配，以及使用颜色图的值执行帧的色调校正并且对帧的颜色校正可以包括将帧的像素、像素块、像素范围、或者分区中的至少一个与颜色图的像素、像素块、像素范围或分区中至少一个进行匹配，并且颜色图的值可以被用于执行帧的颜色校正。
可以将颜色图分区成具有M列和N行的MxN网格，其中每个分区可以包括指示校正参数的数据，并且校正参数可以包括用于伽马校正的值。
对第二帧进行颜色校正可以包括执行平滑处理以最小化颜色不连续。
对第二帧进行颜色校正可以包括执行混合处理以最小化颜色不连续。
对第二帧进行颜色校正可以包括使用经训练的卷积神经网络最小化第二帧的分区与颜色图的分区之间的颜色方差。
对第二帧进行颜色校正可以包括使用颜色空间变量的平均值和颜色空间变量的方差值来执行色度校正处理。
附图说明
示例实施方式将从下文给出的详细描述和附图中变得被更充分地理解，其中相似的元件通过相似的附图标记来表示，附图标记仅作为图示被给出并且因此不限制示例实施方式，并且其中：
图1A图示根据示例实施方式的生成视频文件的过程的框图。
图1B图示根据示例实施方式的生成视频文件并渲染视频的过程的框图。
图2图示根据示例实施方式的用于视频文件的数据结构。
图3图示根据示例实施方式的示出视频文件的帧的处理的框图。
图4图示根据示例实施方式的用于渲染视频文件的帧的流程图。
图5A图示根据示例实施方式的用于生成视频文件的流程图。
图5B图示根据示例实施方式的用于生成视频文件的另一流程图。
图6图示根据示例实施方式的用于生成视频的颜色和色调校正帧的流程图。
图7示出根据至少一个示例实施方式的计算机设备和移动计算机设备的示例。
应该注意的是，这些图旨在图示在某些示例实施方式中利用的方法、结果和/或材料的一般特性，并且旨在补充在下面提供的撰写描述。然而，这些附图不是按比例的并且可能不精确地反映任何给定实施方式的精确结构或性能特性，并且不应该被解释为限定或者限制由示例实施方式所包含的值或性质的范围。例如，为了清楚起见可以缩小或者夸大分子、层、区域和/或结构元件的相对厚度和定位。在各个附图中使用类似或相同的附图标记旨在指示存在类似或相同的元件或特征。
具体实施方式
通常，相机对图像执行至少一种类型的捕获后处理以改善图像的视觉质量。可以改善视觉质量的捕获后处理可以包括降噪、稳定、曝光平衡白平衡、颜色降噪、颜色校正、色调缩放、伽马校正等。但是，由于视频捕获期间的处理时间限制，并非所有这些图像捕获后处理操作都可以在视频捕获期间被执行。换句话说，为了以给定的帧速率捕获视频，可能无法执行可以改善视觉质量的耗时的捕获后处理。
因此，本公开解决的至少一个技术问题是图像和视频的对应帧之间的视觉质量上的视差，该视差由对在图像上执行的、在视频的该帧上未执行的捕获后处理操作导致。当设备的用户同时在设备的显示器上显示图像、视频的对应帧和/或视频的其他帧两者时，视觉质量上的视差可能会导致不太令人满意的用户体验。当设备的用户在设备的显示器上显示图像和视频的对应帧和/或视频的其他帧之间循环时，视觉质量上的视差会导致不太令人满意的用户体验。
通过本公开公开的要解决前述技术问题的技术方案包括生成定义图像和视频的对应帧之间的至少一个可校正的质量参数差的颜色图，以及使用该颜色图校正视频的至少一帧。可以将校正的视频的至少一帧存储在存储器中以供将来显示并且/或者可以响应于完成校正来显示校正的视频的至少一帧。
前述技术方案的技术效果是改善与视频相关联的每个帧(或图像)的视觉质量。可以通过使用颜色图来改善视觉质量来推导技术改进。这是对尝试在视频的每个帧上使用捕获后处理的技术的改进，因为公开的技术改进减少对捕获设备(例如，处理能力受限的设备)的处理需求和/或在捕获设备上的捕获期间的操作，因为可以独立于捕获过程执行图像改善操作。
图1A图示根据示例实施方式的生成视频文件的过程的框图。如图1中所示，捕获阶段105包括捕获包括图像5的图像110、捕获包括具有多个帧20的视频10的视频115、计算颜色图125、选择视频帧130、执行颜色校正135以及生成视频文件140。捕获阶段105可以由包括相机(例如，数字相机、数字视频设备、移动电话等)的设备实现。图像5和视频10可以由相机捕获。可以在时间上基本相同的时刻(例如，通过相同的快门事件)捕获多个帧20之一和图像5。
通常，在光照不均匀或光量低的环境中通过相机移动捕获的图像可能会导致图像模糊，或者包括在从像素到像素的颜色、亮度(brightness)和/或色调的随机变化。因此，在示例实施方式中，对图像5执行捕获后处理。捕获后处理可以被配置成改善视觉质量(例如，改善颜色，改善色调等)，减少图像噪声(例如，改善颜色方差，改善色调方差，稳定移动等)。捕获后处理可以使用光学图像稳定(OIS)、人工智能、高动态范围(HDR)技术、HDR+技术、采样、曝光、多图像平均等来改善图像质量5。
例如，HDR+技术可以用短曝光时间进行一连串的图像拍摄，对图像进行算法对准，并用跨所有图像拍摄的该位置处的平均颜色替换结果图像(例如，要存储的图像)中的每个像素。然而，可能不对视频10执行类似的捕获后处理。因此，多个帧20中的对应一个和图像5可以具有不同的视觉质量。此外，图像5可以具有比多个帧20中的对应一个相对更高的视觉质量。结果，图像5可以具有比视频10相对更高的视觉质量。
在示例实施方式中，(例如，经由计算机处理)生成颜色图125。可以基于多个帧20中的对应一个和图像5来生成颜色图。颜色图可以包括多个帧20中的对应一个和图像5之间的颜色和色调方差。例如，可以使用YUV颜色空间来存储多个帧120中的对应一个，并且可以使用YUV颜色空间来存储图像5。因此，颜色图可以包括多个帧120中的对应一个和图像5的Y(辉度)和UV(色度)之间的差。颜色图可以包括逐像素方差、与像素块相关联的值、与多个帧20中的对应一个和/或图像5的分区相关联的值等。可以使用除了YUV颜色空间之外的颜色空间来存储多个帧20和/或图像5。例如，可以使用RGB，Y’UV、YCbCr、YPbPr等颜色空间来存储多个帧20和/或图像5。
在示例实施方式中，图像5可以是在时间上与捕获视频帧(例如，多个帧20之一)基本上相同的时刻(例如，通过相同的快门事件)捕获的颜色校正图像。在示例实施方式中，图像5可以是HDR+图像，而视频10可以是使用MPEG4标准编码的短视频(例如，微视频)，有时被称为MPEG4微视频。因此，可以使用YUV颜色空间来存储图像5和视频10。图像5和/或视频10可以在存储之前被压缩(例如，编码)(例如，作为mp4文件)。尽管参考MPEG4和mp4标准，但是其他图像和视频文件标准也可以用于此处描述的示例实施方式中。尽管参考YUV颜色空间，但是在本文所述的示例实施方式中可以使用其他图像颜色空间(例如，RGB、Y’UV、YCbCr、YPbPr等)。
(例如，经由计算机处理)执行颜色校正135可以包括使用颜色图来对至少一个视频帧执行颜色和/或色调校正。例如，可以在视频10的帧上执行颜色和/或色调校正。在示例实施方式中，可以在多个帧20中的每一个上执行颜色和/或色调校正。在另一示例实施方式中，可以对(例如，从多个帧20中选择的)所选视频帧130执行颜色/色调校正。执行颜色校正135可以包括将所选视频帧130的像素、像素块、像素范围和/或分区中的至少一个与颜色图的像素、像素块、像素范围和/或分区中的至少一个匹配，以及然后使用颜色图的对应值以对视频帧(例如，所选视频帧130)执行颜色和/或色调校正。可以生成视频文件140以包括经颜色和/或色调校正的多个帧20。
在图1A中生成的视频文件140可以是在捕获视频10和图像5的设备处在捕获阶段105期间校正的颜色。但是，可以独立于捕获视频115来执行计算颜色图125、选择视频帧130和执行颜色校正135。换句话说，在对先前捕获的帧20执行颜色校正的同时，可以继续捕获视频115。然后，可以使用任何渲染技术来渲染(经颜色校正的)视频10。
在一些示例实施方式中，可以在渲染设备(例如，移动电话、膝上型计算机、台式计算机等)处执行颜色校正。图1B图示根据示例实施方式的生成视频文件并渲染视频的框图。如图1B中所示，在捕获阶段105期间，基于多个帧20中的对应一个和图像5(例如，经由计算机处理)来生成颜色图125。然而，在该实施方式中，生成视频文件145包括使用视频10和颜色图。
视频文件145可以被编码并(例如，经由有线或无线通信信道)传送到配置成实现渲染阶段150的渲染设备。渲染阶段150可以包括使用解码器155解码编码的视频文件145，从解码的视频文件中选择颜色图160，从解码的视频文件中选择视频帧130，执行颜色校正135，并且显示165经校正的视频。视频文件145的解码可以由解码器155执行，在解码器155处获得颜色图160和重构的多个帧120。可以从重构的多个帧20中选择视频帧130。
(例如，经由计算机处理)执行颜色校正135可以使用颜色图160以对所选视频帧130进行颜色和/或色调校正。可以对重构的多个帧20中的每一个执行颜色和/或色调校正。颜色校正135可以包括将所选视频帧130的像素、像素块、像素范围或分区与颜色图的像素、像素块、像素范围或分区匹配，以及然后使用颜色图的对应值以对视频帧130执行颜色和/或色调校正。可以将经颜色和/或色调校正的视频帧渲染在显示器165上。
图2图示根据示例实施方式的视频文件(例如，生成的视频文件145)的数据结构。如图2中所示，数据结构200包括视频205。视频205包括元数据210。元数据210包括颜色图数据215。颜色图数据215可以包括不同类型的颜色图。例如，颜色图数据215可以包括像素到像素图、块到块图等。如图2中所示，颜色图数据215包括具有数据225、列230和行235的网格颜色图数据220。
视频205可以包括与所计算的颜色图(例如，所计算的颜色图125)相关联的数据。例如，如上所述，可以基于多个帧20中的对应一个和图像5来生成颜色图。颜色图可以包括多个帧20中的对应一个和图像5之间的颜色和色调变化。
元数据210可以包括使用计算颜色图过程(例如，通过计算颜色图125)生成的颜色图数据(例如，颜色图160)。列230和行235指示颜色图被分区成的行数和列数。例如，颜色图可以被分区成M×N网格(例如，4×4网格(参见下面的图3)、3×4网格、4×3网格等)。示例实施方式不限于网格大小。但是，分区太少可以限制颜色校正的有效性，而分区太多可以需要相对大量的处理资源和/或内存并且由于处理错误校正可以在渲染中造成时间延迟。
数据225可以包括一个或多个校正参数。校正参数可以是用于校正色调和/或颜色的值。在示例实施方式中，可以使用伽马校正Ycorrected＝Yγ来校正Y(辉度)，并且可以使用U、V的平均值和U、V的方差值来校正UV(色度)。例如，可以从数据中减去U、V的平均值，并可以基于U、V的方差来缩放结果。因此，(例如，针对MxN网格中的每个分区的)校正参数可以包括伽玛校正值、U、V的平均值和U、V的方差值。
在另一个示例实施方式中，颜色校正矩阵(CCM)可以被用于校正色调和/或颜色。在此实施方式中，3x3 CCM和YUV的点积可以生成经校正的YUV。因此，校正参数(例如，针对M×N网格中的每个分区的)可以包括3×3CCM。可以使用其他技术来校正色调和/或颜色。另外，可以在其他颜色空间中执行颜色校正。例如，前述的3×3CCM可以用于在RGB颜色空间中执行色调和/或颜色校正。在示例实施方式中，可以基于多个帧120中的对应一个和图像5在计算颜色图125块中(例如，经由计算机处理)生成校正参数。
此外，卷积神经网络(CNN)可以被用于校正色调和/或颜色。在该实施方式中，校正参数可以包括CNN架构和与CNN的每个神经元相关联的权重。此外，(例如，基于CNN的)机器学习(ML)算法可以被用于训练CNN(例如，修改权重)以最佳地校正色调和/或颜色。在示例实施方式中，作为权重的校正参数可以改变针对每个分区的颜色配置文件和方差。因此，CNN可以改变颜色配置文件，以最小化每个分区中的颜色配置文件和像素(例如，YUV、RGB等)之间的方差。
在一些实施方式中，直方图匹配和基于点的传递可以在颜色和/或色调校正过程中使用。例如，直方图匹配可以包括修改要进行颜色校正的帧的色调和/或颜色数据，直到与帧相关联的直方图匹配图像的直方图为止。在该实施方式中，直方图可以与匹配的分区相关联。基于点的传递可以包括使用利用移动最小平方的散乱点内插技术。散乱点内插可以包括将高阶多项式应用于帧的色调和/或颜色数据，以便于将帧的数据内插或拟合到图像的色调和/或颜色数据。移动最小平方使用局部多项式，使得在此实施方式中，可以在匹配的分区上实现散乱点内插。
在一些实施方式中，在针对色调和/或颜色校正帧的NxM网格中的两个分区或块之间的边界上可以存在色调和/或颜色的不连续。因此，颜色校正处理可以包括平滑和/或混合处理以去除或最小化色调和/或颜色不连续。例如，可以利用颜色校正135块来实现双线性内插处理。双线性内插处理可以配置成去除或最小化色调和/或颜色不连续。双线性内插可以实现为重采样和/或滤波操作。可以基于网格内的图块(或片段)位置来实现双线性内插。例如，可以将位于网格的一角处的图块映射为封闭颜色。可以基于2种颜色(例如，2种映射的颜色)对位于网格边界处的图块进行线性内插。可以基于4种颜色(例如，4种映射的颜色)对其他图块进行双线性内插。也可以使用其他内插技术。例如，可以使用最近邻、双三次、高阶等内插技术。
图3图示根据示例实施方式的示出视频文件的帧的处理的框图。如图3中所示，图像5和帧20分别被分区成包括16个分区的4×4网格。可以使用行数和列数对分区进行标记。图像5被示为被分区成包括H11、H12、H13、H14、H21、H22、H23、H24、H31、H32、H33、H34、H41、H42、H43和H44的16个分区。帧20被示为被分区成16个分区，其包括S11、S12、S13、S14、S21、S22、S23、S24、S31、S32、S33、S34、S41、S42、S43和S44。每个分区(例如，H11、S11、...、H44、S44)包括至少一个像素。图像5和帧20的像素值(例如，YUV、RGB等)可以用于生成(例如，计算)校正参数305。
网格颜色图数据220被示出为被分区为16个分区，包括P11、P12、P13、P14、P21、P22、P23、P24、P31、P32、P33、P34、P41、P42、P43和P44。每个分区(例如，P11、P12、...、P44)包括对应的校正参数305。视频帧130被示为被分区为16个分区，其包括K11、K12、K13、K14、K21、K22、K23、K24、K31、K32、K33、K34、K41、K42、K43和K44。每一分区(例如，K11、K12、...、K44)包括至少一个像素。至少一个像素可以是未校正的像素。为了处理(例如，颜色和色调校正)视频帧130，可以将分区(例如，分区的像素)与帧20中的分区进行匹配(或者可以在其中找到匹配)。如图3中所示，视频帧130的分区K42与帧20的分区S43匹配。因此，在颜色校正期间，从用于颜色图的网格颜色图数据220的分区P43中选择用于对视频帧130的分区K42进行颜色校正的校正参数305。
图4图示根据示例实施方式的渲染视频文件的帧的流程图。如图4中所示，视频文件140(或视频文件145)被输入到渲染阶段150，其中解码器155对视频文件进行解码。如在上面所讨论的，视频文件145可以包括视频205，该视频205包括可以用于对视频的校正帧进行着色的数据(例如，元数据210)。流程继续到其中选择视频帧的未校正的视频帧405块。所选视频帧是要进行颜色校正的视频帧。
然后，在匹配410块中，将视频帧分区为NxM个分区或块，并且将每个块与多个帧120中的对应于图像5的一个帧(例如，两者均由同一快门事件捕获)中的一个块进行匹配。然后，在参数提取415块中，从视频205中提取(例如，请求和检索)与匹配的块相关联的校正参数。例如，使用相对应的匹配的块的列230和230值从网格颜色图数据220中选择至少一个参数。然后，校正170块使用未校正的视频帧405和如上所述的至少一个参数来生成校正帧。
图5A、图5B和图6是根据示例实施方式的方法的流程图。关于图5A、图5B和图6描述的步骤可以由于执行存储在与装置(例如，被配置成捕获视频和/或渲染视频的计算设备)相关联的存储器中的软件代码而被执行并且由与装置相关联的至少一个处理器执行。然而，可以设想替代的实施方式，诸如体现为诸如专用集成电路(ASIC)的专用处理器的系统。尽管以下描述的步骤被描述为由处理器执行，但是这些步骤不一定由单个处理器执行。换句话说，至少一个处理器可以执行下面关于图5A、图5B以及图6描述的步骤。
图5A图示根据示例实施方式的用于生成视频文件的流程图。如图5A中所示，在步骤S505中，捕获与视频相关联的多个帧。例如，用户操作包括相机(例如，数字相机、数字视频设备、移动电话等)的设备以捕获可以一起存储为视频的多个帧。
在步骤S510中，捕获与多个帧中的至少一个帧相对应的图像。例如，图像可以通过相机捕获。在示例实施方式中，可以在时间上与多个帧120之一基本相同的时刻(例如，通过相同的快门事件)捕获图像5。
在步骤S515中，对图像进行分区。例如，可以将图像分区为分区或块的NxM网格。如上所述，可以将图像5分区为16个分区的4x4网格。
在步骤S520中，对对应的帧进行分区。例如，可以将帧分区为分区或块的NxM网格。如在上面所讨论的，可以将在时间上与图像5基本相同的时刻(例如，通过相同的快门事件)捕获的(多个帧120中的)帧分区为具有16个分区的4×4网格。
在步骤S525中，基于分区的图像和分区的对应帧生成颜色图。例如，可以基于多个帧120中的对应之一和图像5来生成颜色图。颜色图可以包括多个帧120中的对应之一与图像5之间的颜色和色调方差。例如，可以使用YUV颜色空间来存储多个帧120中的对应一个，并且可以使用YUV颜色空间来存储图像5。因此，颜色图可以包括多个帧120中的对应一个和图像5的Y(辉度)和UV(色度)之间的差。颜色图可以包括逐像素方差、与像素块相关联的值、与多个帧120中的对应一个和/或图像5的分区的相关联的值等。可以使用除了YUV颜色空间之外的颜色空间来存储多个帧120和/或图像5。例如，可以使用RGB、Y’UV、YCbCr、YPbPr等颜色空间来存储多个帧120和/或图像5。
在步骤S530中，从视频中选择帧。例如，可以将与视频相关联的多个帧中的每个帧作为目标进行颜色校正。因此，所选的帧可以是多个帧之一。在示例实施方式中，顺序地(或以一些其他顺序)选择多个帧中的每个帧以进行颜色校正。然后，在步骤S535中，所选的帧被分区。例如，可以将所选的帧分区为分区或块的NxM网格。
在步骤S540中，将帧的分区与颜色图的分区进行匹配。例如，为了处理(例如，颜色和色调校正)所选视频帧(例如，视频帧130)，可以将分区(例如，分区的像素)与在时间上与图像基本上相同的时刻(例如，通过相同的快门事件)捕获到的(多个帧120中的)帧的分区进行匹配(或者可以在其中找到匹配)。如上面的图3中所示的，视频帧130的分区K42与帧20的分区S43匹配。然后，在步骤S545中，提取与颜色图的分区相关联的至少一个参数值。继续该示例，在颜色校正期间，从用于颜色图的网格颜色图数据220的分区P43中选择用于视频帧130的颜色校正分区K42的校正参数305。
在步骤S550中，使用至少一个参数值对帧的分区执行颜色校正和色调校正。例如，至少一个参数值可以用于对所选帧执行颜色和/或色调校正。在示例实施方式中，可以使用伽马校正Ycorrected＝Yγ来校正Y(辉度)，并且可以使用U、V的平均值和U、V的方差值来校正UV(色度)。例如，可以从数据中减去U、V的平均值，并且可以基于U、V的方差来缩放结果。因此，至少一个参数值可以包括伽马校正值、U、V的平均值以及U、V的方差值。
如在上面所讨论的，在一个或多个其他示例实施方式中，颜色校正矩阵(CCM)技术、训练的卷积神经网络(CNN)技术、直方图匹配技术和/或基于点的传递技术可以被用于校正色调和/或颜色。另外，如在上面所讨论的，颜色校正处理包括平滑和/或混合处理，以去除或最小化沿着网格中的两个分区之间的边界的色调和/或颜色不连续。尽管参考YUV颜色空间，但是在本文所述的示例实施方式中可以使用其他图像颜色空间(例如，RGB、Y’UV、YCbCr、YPbPr等)颜色空间。
在步骤S555中，使用帧的颜色校正和色调校正分区生成校正帧。例如，可以针对每个分区重复步骤S540至S550，以对所有帧分区进行颜色校正。因此，对帧进行颜色校正。
在步骤S560中，生成包括多个校正帧的视频文件。例如，可以针对多个帧中的每一个重复步骤S530至S555。然后，可以使用多个颜色校正帧来生成视频文件(例如，视频文件140)。
在示例实施方式中，可以在渲染设备(例如，不是捕获设备的设备)上执行颜色校正。在该实施方式中，捕获设备可以执行步骤S505至S525，而不是步骤S530至S560。图5B图示根据示例实施方式的用于生成视频文件的另一流程图。如图5A中所示，在步骤S565中，生成包括视频和颜色图的文件。例如，如上所述，颜色图可以被包括在与视频205相对应的数据结构中。可以将颜色图插入并存储在例如与视频相关联的报头中。在将颜色图作为元数据存储在报头中之前，可以压缩视频205和/或元数据210。
图6图示根据示例实施方式的用于生成视频的颜色和色调校正帧的流程图。如图6中所示，在步骤S605中，接收包括视频和颜色图的文件。例如，文件可以在存储设备(例如，记忆棒、CD-ROM等)上和/或从云设备下载。例如，颜色图可以被包括在包括如上所述的元数据210的数据结构中。图像数据可以例如作为元数据存储在与视频相关联的报头中。
在步骤S610中，对文件进行解码。例如，视频文件140和/或视频文件145可以在将包括元数据210的视频205存储在报头中之前被压缩。因此，可以使用与视频文件140和/或视频文件145被压缩使用的相同的标准来解码/解压缩文件。
在步骤S615中，从视频中选择帧。例如，可以将与视频相关联的多个帧中的每个帧作为目标进行颜色校正。因此，所选的帧可以是多个帧之一。在示例实施方式中，顺序地(或以一些其它顺序)选择多个帧中的每个帧以进行颜色校正。然后，在步骤S620中，所选的帧被分区。例如，可以将所选的帧分区为分区或块的NxM网格。
在步骤S625中，将帧的分区与颜色图的分区匹配。例如，为了处理(例如，颜色和色调校正)所选的视频帧(例如，视频帧130)，可以将分区(例如，分区的像素)与在时间上与图像基本相同的时刻(例如，通过相同的快门事件)捕获的(多个帧120中的)帧中的分区匹配(或者可以在其中找到匹配)。如在上面图3中所示的，视频帧130的分区K42与帧20的分区S43匹配。然后，在步骤S630中，至少提取与颜色图的分区相关联的一个参数值。继续该示例，在颜色校正期间，从用于颜色图的网格颜色图数据220的分区P43中选择用于视频帧130的颜色校正分区K42的校正参数305。
在步骤S635中，使用至少一个参数值对帧的分区执行颜色校正和色调校正。例如，至少一个参数值可以被用于对所选帧执行颜色和/或色调校正。例如，至少一个参数值可以被用于对所选帧执行颜色和/或色调校正。在示例实施方式中，可以使用伽马校正Ycorrected＝Yγ来校正Y(辉度)，并且可以使用U、V的平均值和U、V的方差值来校正UV(色度)。可以从数据中减去U、V的平均值，并且可以基于U、V的方差来缩放结果。因此，至少一个参数值可以包括伽马校正值、U、V的平均值和U、V的方差值。
如在上面所讨论的，在一个或多个其他示例实施方式中，颜色校正矩阵(CCM)技术、训练的卷积神经网络(CNN)技术、直方图匹配技术和/或基于点的传递技术可以被可用于校正色调和/或颜色。另外，如在上面所讨论的，颜色校正处理包括平滑和/或混合处理，以去除或最小化沿着网格中两个分区之间的边界的色调和/或颜色不连续。尽管参考YUV颜色空间，但是在本文所描述的示例实施方式中可以使用其他图像颜色空间(例如RGB、Y’UV、YCbCr、YPbPr等)颜色空间。
在步骤S640中，使用帧的颜色校正和色调校正分区生成校正帧。例如，可以针对每个分区重复步骤S540至S550，以对所有帧分区进行颜色校正。因此，对帧进行颜色校正。
图7示出可以与这里描述的技术一起使用的计算机设备700和移动计算机设备750的示例。计算设备700旨在表示各种形式的数字计算机，诸如膝上型电脑、台式机、工作站、个人数字助理、服务器、刀片服务器、大型机和其它适当的计算机。计算设备750旨在表示各种形式的移动设备，诸如个人数字助理、蜂窝电话、智能电话和其它类似的计算设备。这里示出的组件、其连接和关系及其功能仅仅意在为示例性的，而不意在限制本文档中描述和/或要求保护的发明的实施方式。
计算设备700包括处理器702、存储器704、存储设备706、连接到存储器704和高速扩展端口710的高速接口708以及连接到低速总线714和存储设备706的低速接口712。组件702、704、706、708、710和712中的每一个均使用各种总线来互连，并且可以被酌情安装在公共主板上或者以其它方式安装。处理器702可处理在计算设备700内执行的指令，包括存储在存储器704中或者在存储设备706上以在外部输入/输出设备(诸如耦合到高速接口708的显示器716)上显示用于GUI的图形信息的指令。在其它实施方式中，可以酌情使用多个处理器和/或多个总线以及多个存储器和多种类型的存储器。另外，可以连接多个计算设备700，其中每个设备提供必要操作的部分(例如，作为服务器组、一组刀片服务器或多处理器系统)。
存储器704存储计算设备700内的信息。在一个实施方式中，存储器704是一个或多个易失性存储器单元。在另一实施方式中，存储器704是一个或多个非易失性存储器单元。存储器704还可以是另一形式的计算机可读介质，诸如磁盘或光盘。
存储设备706能够为计算设备700提供大容量存储。在一个实施方式中，存储设备706可以是或者包含计算机可读介质，诸如软盘设备、硬盘设备、光盘设备或磁带设备、闪速存储器或其它类似的固态存储设备或设备的阵列，包括存储区域网络或其它配置中的设备。计算机程序产品可被有形地具体实现在信息载体中。计算机程序产品还可以包含指令，所述指令当被执行时，执行一种或多种方法，诸如上面描述的那些方法。信息载体是计算机或机器可读介质，诸如存储器704、存储设备706或处理器702上的存储器。
高速控制器708管理用于计算设备700的带宽密集操作，而低速控制器712管理较低带宽密集操作。功能的这种分配仅是示例性的。在一个实施方式中，高速控制器708耦合到存储器704、显示器716(例如，通过图形处理器或加速器)，并且耦合到高速扩展端口710，所述高速扩展端口710可以接受各种扩展卡(未示出)。在该实施方式中，低速控制器712耦合到存储设备706和低速扩展端口714。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口例如通过网络适配器耦合到一个或多个输入/输出设备，诸如键盘、指点设备、扫描器或诸如交换机或路由器的联网设备。
如图中所示，可以以许多不同的形式实现计算设备700。例如，它可以作为标准服务器720被实现，或者在一组此类服务器中实现多次。它还可以作为机架服务器系统724的一部分被实现。此外，它可以被实现在诸如膝上型计算机722的个人计算机中。可替选地，来自计算设备700的组件可以与移动设备(未示出)诸如设备750中的其它组件组合。此类设备中的每一个均可以包含计算设备700、750中的一个或多个，并且整个系统可以由彼此通信的多个计算设备700、750组成。
计算设备750包括处理器752、存储器764、诸如显示器754的输入/输出设备、通信接口766和收发器768以及其它组件。设备750还可以被提供有存储设备，诸如微驱动器或其它设备，以提供附加存储。组件750、752、764、754、766和768中的每一个均使用各种总线来互连，并且若干组件可以被酌情安装在公共主板上或者以其它方式安装。
处理器752可执行计算设备750内的指令，包括存储在存储器764中的指令。处理器可作为芯片的芯片组被实现，所述芯片包括单独的和多个模拟和数字处理器。例如，处理器可以提供用于设备750的其它组件的协调，诸如对用户界面、由设备750运行的应用以及由设备750进行的无线通信的控制。
处理器752可以通过耦合到显示器754的控制接口758和显示器接口756来与用户进行通信。显示器754可以是例如TFT LCD(薄膜晶体管液晶显示器)或OLED(有机发光二极管)显示器或其它适当的显示技术。显示接口756可以包括用于驱动显示器754以向用户呈现图形和其它信息的适当的电路。控制接口758可以从用户接收命令并且对它们进行转换以用于提交给处理器752。此外，可以提供与处理器752通信的外部接口762，以使得能实现设备750与其它设备的近区域通信。外部接口762可以例如在一些实施方式中提供用于有线通信，或者在其它实施方式中提供用于无线通信，并且还可以使用多个接口。
存储器764存储计算设备750内的信息。存储器764可作为一个或多个计算机可读介质、一个或多个易失性存储器单元或者一个或多个非易失性存储器单元中的一种或多种被实现。扩展存储器774还可以通过扩展接口772来提供并连接到设备750，所述扩展接口772可以包括例如SIMM(单列直插存储器模块)卡接口。这种扩展存储器774可以为设备750提供额外的存储空间，或者还可以为设备750存储应用或其它信息。具体地，扩展存储器774可以包括用于执行或者补充上述的过程的指令，并且还可以包括安全信息。因此，例如，扩展存储器774可以作为用于设备750的安全模块被提供，并且可以被编程有允许安全地使用设备750的指令。此外，可以经由SIMM卡提供安全应用以及附加信息，诸如以不可破解的方式将识别信息放置在SIMM卡上。
如在下面所讨论的，存储器可以包括例如闪速存储器和/或NVRAM存储器。在一个实施方式中，计算机程序产品被有形地具体实现在信息载体中。计算机程序产品包含指令，所述指令当被执行时，执行一种或多种方法，诸如上述的那些方法。信息载体是可以包括例如通过收发器768或外部接口762接收的数据的计算机或机器可读介质，诸如存储器764、扩展存储器774或处理器752上的存储器。
设备750可以通过通信接口766以无线方式通信，所述通信接口766必要时可以包括数字信号处理电路。通信接口766可以提供用于在各种模式或协议下通信，所述各种模式或协议诸如GSM语音呼叫、SMS、EMS或MMS消息传送、CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信可以例如通过射频收发器768来发生。此外，短距离通信可以例如使用蓝牙、Wi-Fi或其它这种收发器(未示出)来发生。此外，GPS(全球定位系统)接收器模块770可以向设备750提供附加的导航和位置相关无线数据，其可以由在设备750上运行的应用酌情使用。
设备750还可以使用音频编解码器760来可听地通信，所述音频编解码器760可以从用户接收口语信息并将它转换为可用的数字信息。音频编解码器760可以同样地为用户生成可听声音，诸如通过扬声器，例如在设备750的头戴式耳机中。这种声音可以包括来自语音电话呼叫的声音，可以包括录制声音(例如，语音消息、音乐文件等)并且还可以包括由在设备750上操作的应用所生成的声音。
如图中所示，可以以许多不同的形式实现计算设备750。例如，它可以作为蜂窝电话780被实现。它还可以作为智能电话782、个人数字助理或其它类似的移动设备的一部分被实现。
这里描述的系统和技术的各种实施方式可用数字电子电路、集成电路、专门地设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合加以实现。这些各种实施方式可包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括至少一个可编程处理器，其可以是专用的或通用的，耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，并且向存储系统、至少一个输入设备和至少一个输出设备发送数据和指令。这里描述的系统和技术的各种实施方式可作为可组合软件和硬件方面的电路、模块、块或系统被实现和/或一般地在本文中被称为可组合软件和硬件方面的电路、模块、块或系统。例如，模块可以包括在处理器(例如，形成在硅衬底、GaAs衬底等上的处理器)或某个其它可编程数据处理装置上执行的功能/行为/计算机程序指令。
上述示例实施方式中的一些被描述为作为流程图描绘的过程或方法。尽管流程图将操作描述为顺序过程，然而可以并行地、并发地或同时地执行许多操作。此外，可以重新布置操作的次序。这些过程可以在其操作完成时被终止，但是也可以具有未包括在图中的附加步骤。这些过程可以对应于方法、函数、程序、子例程、子程序等。
上面讨论的方法(其中的一些通过流程图来图示)可以通过硬件、软件、固件、中间件、微码、硬件描述语言或其任何组合来实现。当用软件、固件、中间件或微码加以实现时，用于执行必要的任务的程序代码或代码段可以被存储在诸如存储介质的机器或计算机可读介质中。处理器可以执行必要的任务。
本文中公开的具体结构和功能细节仅仅是表示性的以用于描述示例实施方式的目的。然而，示例实施方式被以许多替代形式具体实现，而不应该被解释为限于仅本文中阐述的实施方式。
将会理解的是，尽管可以在本文中使用术语第一、第二等来描述各种元件，然而这些元件不应该受这些术语限制。这些术语仅用于区分一个元件和另一元件。例如，第一元件能被称为第二元件，并且类似地，第二元件能被称为第一元件，而不脱离示例实施方式的范围。如本文中所使用的，术语和/或包括相关列举项目中的一个或多个的任何和所有组合。
将会理解的是，当一个元件被称为连接或者耦合到另一元件时，它可直接地连接或者耦合到另一元件或者可以存在中间元件。相比之下，当一个元件被称为直接地连接或者直接地耦合到另一元件时，不存在中间元件。应该以相似的方式解释用于描述元件之间的关系的其它单词(例如，在…之间对直接地在…之间、相邻对直接地相邻等)。
本文中使用的术语仅用于描述特定实施方式的目的而不旨在限制示例实施方式。如本文中所使用的，除非上下文另外清楚地指示，否则单数形式一(a/an)和该(the)也旨在包括复数形式。应进一步理解的是，术语含、含有、包括和/或包括有当在本文中使用时，指定存在陈述的特征、整数、步骤、操作、元件和/或组件，但是不排除存在或添加一个或多个其它特征、整数、步骤、操作、元件、组件和/或其组。
还应该注意的是，在一些替代实施方式中，所指出的功能/行为可以不按图中指出的次序发生。例如，取决于所涉及的功能性/行为，相继示出的两个图实际上可以被并发地执行或者有时可以被以相反的次序执行。
除非另外定义，否则本文中使用的所有术语(包括技术和科学术语)具有与由示例实施方式所属的领域的普通技术人员所通常理解的相同的含义。应进一步理解的是，除非在本文中明确地如此定义，否则术语(例如，在常用词典中定义的那些术语)应该被解释为具有与其在相关领域的上下文中的含义一致的含义，而不应在理想化或过于正式的意义上进行解释。
上述示例实施方式的各部分和对应的详细描述是按软件或算法以及对计算机存储器内的数据比特的操作的符号表示来呈现的。这些描述和表示是本领域的普通技术人员用来有效地将其工作的实质传达给本领域的其它普通技术人员的描述和表示。算法(当在这里使用该术语时，并且当一般地使用它时)被认为是导致期望结果的步骤的自相一致序列。这些步骤是要求对物理量物的理操纵的那些步骤。通常，尽管不一定，然而这些量采取能够被存储、转移、组合、比较和以其它方式操纵的光学信号、电信号或磁信号的形式。有时主要由于通用的原因，将这些信号称为比特、值、元素、符号、字符、术语、数字等已证明是方便的。
在上述说明性实施方式中，对可以作为程序模块或功能过程被实现的操作(例如，形式为流程图)的行为和符号表示的引用包括执行特定任务或者实现特定抽象数据类型并且可以使用现有结构元件处的现有硬件来描述和/或实现的例程、程序、对象、组件、数据结构等。这种现有硬件可以包括一个或多个中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路、现场可编程门阵列(FPGA)计算机等。
然而，应该记住的是，所有这些和类似的术语都将与适当的物理量相关联并且仅仅是应用于这些量的方便标签。除非另外具体地陈述，或者如从讨论中显而易见的，诸如处理或计算或计算出或确定显示等的术语指代计算机系统或类似的电子计算设备的动作和过程，所述计算机系统或类似的电子计算设备将被表示为计算机系统的寄存器和存储器内的物理电子量的数据操纵并变换成被类似地表示为计算机系统存储器或寄存器或其它此类信息存储、传输或显示设备内的物理量的其它数据。
另外注意的是，示例实施方式的软件实现的方面通常被编码在某种形式的非暂时性程序存储介质上或者实现在某种类型的传输介质上。程序存储介质可以是磁的(例如，软盘或硬盘驱动器)或光学的(例如，紧致盘只读存储器或CD ROM)，并且可以是只读或随机存取的。类似地，传输介质可以是双绞线对、同轴电缆、光纤或为本领域所知的某个其它适合的传输介质。示例实施方式不受任何给定实施方式的这些方面限制。
最后，还应该注意的是，虽然所附权利要求书陈列本文中描述的特征的特定组合，但是本公开的范围不限于此后要求保护的特定组合，而是替代地扩展到包含本文中公开的特征或实施方式的任何组合，而不管此时是否已在所附权利要求中具体地枚举了该特定组合。

Claims (20)

1.一种用于视频颜色映射的方法，包括：
捕获与视频文件相关联的多个帧；
捕获与所述多个帧中的帧相对应的图像；
基于所捕获的图像的颜色和色调以及与所捕获的图像相对应的所述帧的颜色和色调来生成颜色图；
将所述颜色图的部分与来自与所述视频文件相关联的所述多个帧中的所选帧的部分相匹配；
基于所述颜色图的所匹配部分的可校正的质量参数来对所述所选帧进行色调校正；以及
基于所述颜色图的所匹配部分的可校正的质量参数来对所述所选帧进行颜色校正。
2.根据权利要求1所述的方法，进一步包括对所捕获的图像执行捕获后处理，以改善所捕获的图像的视觉质量。
3.根据权利要求1所述的方法，其中，所述颜色图包括指示在所捕获的图像和与所捕获的图像相对应的所述帧之间的差的至少一个可校正的质量参数。
4.根据权利要求1所述的方法，其中：
所述颜色图的所述部分与来自与所述视频文件相关联的多个帧中的所选帧的所述部分的所述匹配包括：将所述所选帧的像素、像素块、像素范围和分区中的至少一个与所述颜色图的像素、像素块、像素范围和分区中的至少一个进行匹配，所述方法进一步包括：
使用所述颜色图的值执行对所述所选帧的所述色调校正，并且
使用所述颜色图的所述值执行对所述所选帧的所述颜色校正。
5.根据权利要求1所述的方法，其中：
所述颜色图被分区成具有M列和N行的MxN网格，
每个分区包括指示校正参数的数据，并且
所述校正参数包括用于伽玛校正的值。
6.根据权利要求1所述的方法，其中，对所述所选帧的所述颜色校正包括执行平滑处理以最小化所述所选帧中的颜色不连续。
7.根据权利要求1所述的方法，其中，所捕获的图像和与所捕获的图像相对应的所述帧是在同一实例中捕获的。
8.根据权利要求1所述的方法，进一步包括：
对所捕获的图像进行分区；和
将与所捕获的图像相对应的所述帧分区成分区帧，
其中生成所述颜色图还包括：
确定所捕获的图像的每个分区与所述分区帧的对应分区之间的颜色方差，
确定所述图像的每个分区与所述分区帧的对应分区之间的色调方差，并且
其中，所确定的颜色方差和所确定的色调方差中的至少一个基于辉度差或色度差。
9.一种用于视频颜色映射的方法，包括：
捕获与视频文件相关联的多个帧；
捕获与所述多个帧中的帧相对应的图像；
基于所捕获图像的颜色和色调以及与所捕获的图像相对应的所述帧的颜色和色调来生成颜色图，其中，所述颜色图被分区有与所述多个帧中的帧的部分相匹配并且包括可校正的质量参数的分区；
生成包括表示所述颜色图的数据和表示所分区的颜色图的数据的数据结构；以及
将所述数据结构作为元数据存储在与所述视频文件相关联的报头中。
10.根据权利要求9所述的方法，进一步包括对所捕获的图像执行捕获后处理以改善所捕获的图像的视觉质量。
11.根据权利要求9所述的方法，其中，所述颜色图包括所捕获的图像和与所捕获的图像相对应的所述帧之间的至少一个可校正的质量参数差。
12.根据权利要求9所述的方法，其中：
生成所述数据结构包括将所述颜色图分区成具有M列和N行的MxN网格，
每个分区包括指示校正参数的数据，以及
所述校正参数包括用于伽玛校正的值。
13.根据权利要求9所述的方法，进一步包括：
分区所捕获的图像；和
将与所捕获的图像相对应的所述帧分区成分区帧，
其中生成所述颜色图还包括：
确定所捕获的图像的每个分区与所述分区帧的对应分区之间的颜色方差，
确定所捕获的图像的每个分区与所述分区帧的对应分区之间的色调方差，
其中，所述颜色方差和所述色调方差中的至少一个基于辉度差或色度差。
14.一种用于视频颜色映射的方法，包括：
接收包括多个帧的视频文件和包括数据结构的报头，所述数据结构包括表示颜色图的数据，其中，所述颜色图基于从所述多个帧中选择的第一帧的颜色和色调以及与所述第一帧相对应的捕获的图像的颜色和色调来生成；
选择所述多个帧中的第二帧，所述第二帧是用于颜色校正的目标帧；
将所述颜色图的部分与所述第二帧的部分相匹配；
基于所述颜色图的所匹配部分的可校正的质量参数来对所述第二帧进行色调校正；以及
基于所述颜色图的所匹配部分的可校正的质量参数来对所述第二帧进行颜色校正。
15.根据权利要求14所述的方法，其中：
所述颜色图的所述部分与所述第二帧的所述部分的所述匹配包括：将所述第二帧的像素、像素块、像素范围和分区中的至少一个与所述颜色图的像素、像素块、像素范围和分区中的至少一个进行匹配，所述方法还包括：
使用所述颜色图的值执行对所述第二帧的色调校正，并且
使用所述颜色图的所述值执行对所述第二帧的颜色校正。
16.根据权利要求14所述的方法，其中：
所述颜色图被分区成具有M列和N行的MxN网格，
所分区的颜色图中的每个分区包括指示校正参数的数据，并且
所述校正参数包括用于伽玛校正的值。
17.根据权利要求14所述的方法，其中，对所述第二帧的颜色校正包括执行平滑处理以最小化颜色不连续。
18.根据权利要求14所述的方法，其中，对所述第二帧的颜色校正包括执行混合处理以最小化颜色不连续。
19.根据权利要求14所述的方法，其中，对所述第二帧的颜色校正包括使用经训练的卷积神经网络最小化所述第二帧的分区与所述颜色图的分区之间的颜色方差。
20.根据权利要求14所述的方法，其中，对所述第二帧的颜色校正包括使用颜色空间变量的平均值和所述颜色空间变量的方差值来执行色度校正处理。
CN202010895323.7A 2019-09-13 2020-08-31 使用静止图像的视频颜色映射 Active CN112003997B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/570,613 2019-09-13
US16/570,613 US11223809B2 (en) 2019-09-13 2019-09-13 Video color mapping using still image

Publications (2)

Publication Number Publication Date
CN112003997A CN112003997A (zh) 2020-11-27
CN112003997B true CN112003997B (zh) 2023-09-08

Family

ID=72474148

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010895323.7A Active CN112003997B (zh) 2019-09-13 2020-08-31 使用静止图像的视频颜色映射

Country Status (3)

Country Link
US (1) US11223809B2 (zh)
EP (1) EP3793183A1 (zh)
CN (1) CN112003997B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11134180B2 (en) * 2019-07-25 2021-09-28 Shenzhen Skyworth-Rgb Electronic Co., Ltd. Detection method for static image of a video and terminal, and computer-readable storage medium
US11223780B1 (en) * 2020-10-23 2022-01-11 Black Sesame Technologies Inc. Two-stage method to merge burst image frames
KR20230055361A (ko) * 2021-10-18 2023-04-25 캐논 가부시끼가이샤 화상 처리 장치, 화상 처리 방법, 및 프로그램을 저장하는 저장 매체

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016167A (en) * 1996-04-12 2000-01-18 Pandora International, Ltd. Method of color correcting digital video data
CN1744675A (zh) * 2004-09-01 2006-03-08 松下电器产业株式会社 图像输入装置
CN102164238A (zh) * 2006-01-10 2011-08-24 松下电器产业株式会社 颜色校正处理装置、动态摄像机颜色校正装置以及使用其的影像检索装置
CN103139522A (zh) * 2013-01-21 2013-06-05 宁波大学 一种多视点图像的处理方法
US8885105B1 (en) * 2013-06-17 2014-11-11 Cyberlink Corp. Systems and methods for performing region-based local contrast enhancement
CN105279485A (zh) * 2015-10-12 2016-01-27 江苏精湛光电仪器股份有限公司 激光夜视下监控目标异常行为的检测方法
JP2016154281A (ja) * 2015-02-20 2016-08-25 池上通信機株式会社 処理対象となる色領域を表示する画像処理装置
CN106797437A (zh) * 2014-09-25 2017-05-31 英特尔公司 使用多个图像的高动态范围图像合成
CN109672874A (zh) * 2018-10-24 2019-04-23 福州大学 一种时空一致的立体视频颜色校正方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030169818A1 (en) * 2002-03-06 2003-09-11 Pere Obrador Video transcoder based joint video and still image pipeline with still burst mode
JP5354980B2 (ja) * 2008-07-10 2013-11-27 キヤノン株式会社 画像処理装置、及び方法、プログラム
US8274544B2 (en) * 2009-03-23 2012-09-25 Eastman Kodak Company Automated videography systems
WO2016133293A1 (ko) * 2015-02-16 2016-08-25 삼성전자 주식회사 메타데이터 기반 영상 처리 방법 및 장치
US9813622B2 (en) * 2015-07-27 2017-11-07 Futurewei Technologies, Inc. Color corrected high resolution imaging
EP3357227A1 (en) * 2015-10-02 2018-08-08 VID SCALE, Inc. Color correction with a lookup table
US10417752B2 (en) * 2017-10-13 2019-09-17 Axis Ab Method of reducing purple fringing in images

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6016167A (en) * 1996-04-12 2000-01-18 Pandora International, Ltd. Method of color correcting digital video data
CN1744675A (zh) * 2004-09-01 2006-03-08 松下电器产业株式会社 图像输入装置
CN102164238A (zh) * 2006-01-10 2011-08-24 松下电器产业株式会社 颜色校正处理装置、动态摄像机颜色校正装置以及使用其的影像检索装置
CN103139522A (zh) * 2013-01-21 2013-06-05 宁波大学 一种多视点图像的处理方法
US8885105B1 (en) * 2013-06-17 2014-11-11 Cyberlink Corp. Systems and methods for performing region-based local contrast enhancement
CN106797437A (zh) * 2014-09-25 2017-05-31 英特尔公司 使用多个图像的高动态范围图像合成
JP2016154281A (ja) * 2015-02-20 2016-08-25 池上通信機株式会社 処理対象となる色領域を表示する画像処理装置
CN105279485A (zh) * 2015-10-12 2016-01-27 江苏精湛光电仪器股份有限公司 激光夜视下监控目标异常行为的检测方法
CN109672874A (zh) * 2018-10-24 2019-04-23 福州大学 一种时空一致的立体视频颜色校正方法

Also Published As

Publication number Publication date
CN112003997A (zh) 2020-11-27
US11223809B2 (en) 2022-01-11
US20210084272A1 (en) 2021-03-18
EP3793183A1 (en) 2021-03-17

Similar Documents

Publication Publication Date Title
CN112003997B (zh) 使用静止图像的视频颜色映射
US10755173B2 (en) Video deblurring using neural networks
US11120769B2 (en) Brightness compensation method and related product
US11803947B2 (en) Brightness and contrast enhancement for video
KR102617258B1 (ko) 이미지 프로세싱 방법 및 장치
JP6615917B2 (ja) 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体
US20190114973A1 (en) Method, system and computer readable storage medium for driving liquid crystal displays
US10165207B2 (en) Image processing apparatus and image processing system
WO2019101005A1 (zh) 像素补偿方法、装置和终端设备
US8878867B2 (en) Transparency information in image or video format not natively supporting transparency
US11869167B2 (en) Method for transmitting reduced depth information and electronic device
US11350068B2 (en) Video tone mapping using a sequence of still images
EP2675171B1 (en) Transparency information in image or video format not natively supporting transparency
CN115567694A (zh) 视频数据处理方法、视频显示方法及装置、电子设备及可读存储介质
WO2017107605A1 (zh) 一种图像细节处理方法和装置、终端、存储介质
EP3619679B1 (en) Chromatic aberration modeling in image compression and enhancement
US10339641B2 (en) Image processing apparatus and method, and decoding apparatus
WO2022046154A1 (en) Lens shading correction to minimize data loss
CN109325992B (zh) 图像绘制方法和装置、计算设备及存储介质
WO2023185706A1 (zh) 影像处理方法、影像处理装置、存储介质
US20240054623A1 (en) Image processing method and system, and device
JP6693269B2 (ja) 映像処理装置、映像処理方法及びプログラム
CN117979017A (zh) 视频处理方法、装置、电子设备和存储介质
CN118101865A (zh) 图像处理装置、方法和电子设备
CN113194267A (zh) 图像处理方法及装置、拍照方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant