CN110996173B - 一种图像数据处理方法、装置及存储介质 - Google Patents

一种图像数据处理方法、装置及存储介质 Download PDF

Info

Publication number
CN110996173B
CN110996173B CN201911311077.XA CN201911311077A CN110996173B CN 110996173 B CN110996173 B CN 110996173B CN 201911311077 A CN201911311077 A CN 201911311077A CN 110996173 B CN110996173 B CN 110996173B
Authority
CN
China
Prior art keywords
color
channel
color channel
initial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911311077.XA
Other languages
English (en)
Other versions
CN110996173A (zh
Inventor
刘恩雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201911311077.XA priority Critical patent/CN110996173B/zh
Publication of CN110996173A publication Critical patent/CN110996173A/zh
Application granted granted Critical
Publication of CN110996173B publication Critical patent/CN110996173B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本申请实施例公开一种图像数据处理方法、装置及存储介质,其中,方法包括获取第一图像中的像素点的像素值,根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,确定颜色通道的初始色差阈值;根据第一颜色空间中的颜色通道获取第一图像的色偏系数;确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,确定颜色通道的目标色差阈值;基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。采用本申请实施例,可以提高色差修正的准确度。

Description

一种图像数据处理方法、装置及存储介质
技术领域
本申请涉及互联网技术领域,尤其涉及一种图像数据处理方法、装置及存储介质。
背景技术
光源、被拍摄物体和图像采集设备是图像形成的三要素。但是,当图像采集设备在不同光源下对同一被拍摄物体进行图像采集的过程中,必然会采集到具备不同颜色偏差程度的色偏图像。
目前,在对这些色偏图像中的某一张图像(例如,图像A)进行色差修正的过程中,可以通过灰度世界算法等对该图像A进行色差修正。然而,由于灰度世界算法需要预先假设该图像A的三个颜色通道的平均值趋于同一灰度值,并将该假设强制应用于该图像A中来修正色差。但是,由于灰度世界算法通常适用于色彩比较丰富的色偏图像,所以,当该用于进行色偏修正的色偏图像(例如,图像B)的色彩并不丰富(比如,该图像B为一些时代比较久远的视频中的图像)时,该灰度世界算法将难以确保色差修正的可靠性,以至于在进行色差修正的过程中,会降低了色差修正的准确度。
发明内容
本申请实施例提供一种图像数据处理方法、装置及存储介质,可以提高色差修正的准确度。
本申请实施例一方面提供了一种图像数据处理方法,方法包括:
获取第一图像中的像素点的像素值,根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,确定颜色通道的初始色差阈值;
根据第一颜色空间中的颜色通道获取第一图像的色偏系数;
确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,确定颜色通道的目标色差阈值;
基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。
其中,该方法还包括:
获取第一视频序列以及第一视频序列中的场景切变标识;
根据第一视频序列中的场景切变标识,对第一视频序列中的视频帧进行场景分割,得到与第一视频序列相关联的关联场景集合;关联场景集合包含第一场景集合;
在关联场景集合中,将第一场景集合中的首个视频帧作为第一图像。
其中,获取第一图像中的像素点的像素值,根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,确定颜色通道的初始色差阈值,包括:
获取第一场景集合中的第一图像,确定第一图像中的像素点的像素值;像素点的像素值是由第一颜色空间中的颜色通道上的初始分量进行组合后所确定的;
根据像素点的像素值在颜色通道上的初始分量,确定颜色通道的颜色直方图;
根据颜色通道的颜色直方图以及与第一图像相关联的裁剪步长,确定颜色通道的初始色差阈值。
其中,根据像素点的像素值在颜色通道上的初始分量,确定颜色通道的颜色直方图,包括:
在第一颜色空间中,根据颜色通道的数量对像素点的像素值进行分离处理,得到像素点的像素值在颜色通道中的每个颜色通道上的初始分量;
根据像素点的像素值在每个颜色通道上的初始分量,确定像素点在每个颜色通道上的颜色直方图。
其中,根据颜色通道的颜色直方图以及与第一图像相关联的裁剪步长,确定颜色通道的初始色差阈值,包括:
根据第一图像的宽度M和第一图像的长度N,确定第一图像中的像素点的总数量;总数量为M×N;M和N均为正整数;
将与第一图像相关联的裁剪步长确定为第一裁剪比例系数,根据第一裁剪比例系数与M×N个像素点,确定与颜色通道相关联的裁剪像素点的裁剪数量;裁剪数量为小于M×N的正整数;
根据颜色通道的颜色直方图、裁剪数量,分别确定颜色通道的第一下边界和颜色通道的第一上边界;
根据颜色通道的第一下边界、颜色通道的第一上边界和第一图像的最优裁剪条件,确定颜色通道的初始色差阈值。
其中,根据每个通道的颜色直方图、裁剪数量,确定颜色通道的第一下边界和第一上边界,包括:
在颜色通道的颜色直方图中,将颜色通道上的初始分量的由小到大的排列顺序确定为第一裁剪顺序,将颜色通道上的初始分量的由大到小的排列顺序确定为第二裁剪顺序;
在颜色通道的颜色直方图中,根据第一裁剪顺序搜索与裁剪数量匹配的n个像素点,将搜索到n个像素点作为第一裁剪像素点,根据与第一裁剪像素点相关联的初始分量确定颜色通道的第一下边界;
在颜色通道的颜色直方图中,根据第二裁剪顺序搜索与裁剪数量匹配的n个像素点,将搜索到n个像素点作为第二裁剪像素点,根据与第二裁剪像素点相关联的初始分量确定颜色通道的第一上边界。
其中,根据颜色通道的第一下边界、颜色通道的第一上边界和第一图像的最优裁剪条件,确定颜色通道的初始色差阈值,包括:
根据颜色通道的第一下边界和颜色通道的第一上边界,分别确定与颜色通道相关联的最小边界距离和总裁剪距离;
若最小边界距离小于最优裁剪条件中的第一阈值,且总裁剪距离大于最优裁剪条件中的第二阈值,则确定颜色通道的第一下边界和颜色通道的第一上边界满足最优裁剪条件;
将颜色通道的第一下边界和颜色通道的第一上边界,作为颜色通道的初始色差阈值。
其中,该方法还包括:
若最小边界距离大于或者等于第一阈值、总裁剪距离小于或者等于第二阈值,则确定颜色通道的第一下边界和颜色通道的第一上边界不满足最优裁剪条件;
将与裁剪步长对应的第一裁剪比例系数增大至第二裁剪比例系数,根据第二裁剪比例系数更新裁剪数量,直到根据更新后的裁剪数量所确定的颜色通道的第二下边界和颜色通道的第二上边界满足最优裁剪条件时,确定颜色通道的初始色差阈值。
其中,根据第一颜色空间中的颜色通道获取第一图像的色偏系数,包括:
根据第一颜色空间和第二颜色空间之间的映射关系,将像素点的像素值由第一颜色空间转换成第二颜色空间;第二颜色空间包含第一色度通道和第二色度通道;
在第一色度通道和第二色度通道所构成的色度平面上,确定与第一图像相关联的等效圆;等效圆的圆心坐标是由与第一图像相关联的第一色度均值和第二色度均值所确定的;等效圆的半径是由第一色度均值对应的第一距离值和第二色度均值对应的第二距离值所确定的;
将圆心坐标到色度平面的原点坐标之间的坐标距离作为第一图像的平均色度,将半径作为第一图像的色度中心距,根据平均色度与色度中心距,确定第一图像的色偏系数。
其中,在第一色度通道和第二色度通道所构成的色度平面上,确定与第一图像相关联的等效圆,包括:
确定像素点的像素值在第一色度通道上的第一色度分量和像素点的像素值在第二色度通道上的第二色度分量;
根据第一色度分量和第一图像的图像尺寸,确定与第一图像相关联的第一均值,根据第一色度分量对应的色度直方图和第一色度分量,确定第一均值对应的第一距离值;
根据第二色度分量和第一图像的图像尺寸,确定与第一图像相关联的第二均值,根据第二色度分量对应的色度直方图和第二色度分量,确定第二均值对应的第二距离值;
在第一色度通道与第二色度通道所构成的色度平面上,将第一均值和第二均值作为与第一图像相关联的圆心坐标,根据第一距离值和第二距离值作为与第一图像相关联的半径,根据圆心坐标和半径,确定与第一图像相关联的等效圆。
其中,确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数、颜色通道的初始色差阈值,确定颜色通道的目标色差阈值,包括:
根据色偏系数变量与阈值占比系数变量之间的映射关系,确定色偏系数对应的阈值占比系数;色偏系数为色偏变量的值,阈值占比系数为阈值占比系数变量的值;
从颜色通道的第一上边界中获取最大初始色差阈值,根据阈值占比系数、最大初始色差阈值、颜色通道的第一上边界,确定颜色通道的目标上边界;
从颜色通道的第一下边界中获取最小初始色差阈值,根据阈值占比系数、最小初始色差阈值、颜色通道的第一下边界,确定颜色通道的目标下边界;
将颜色通道的目标上边界和颜色通道的目标下边界作为颜色通道的目标色差阈值。
其中,该方法还包括:
在第一颜色空间中,对像素点在颜色通道上的目标分量进行组合,得到像素点的修正像素值;颜色通道上的目标分量是通过对颜色通道上的初始分量进行色差修正所得到的;
根据像素点的修正像素值,对第一图像中的对应像素点的像素值进行更新,用更新后的第一图像更新第一场景集合中的首个视频帧。
其中,第一场景集合中还包含第二图像,第二图像为第一场景集合中除第一图像之外的视频帧;
该方法还包括:
根据颜色通道的目标色差阈值,对第二图像中的像素点的像素值进行色差修正,用色差修正后的第二图像更新第一场景集合中的第二图像。
本申请实施例一方面提供了一种图像数据处理装置,装置包括:
初始色差确定模块,用于获取第一图像中的像素点的像素值,根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,确定颜色通道的初始色差阈值;
色偏系数获取模块,用于根据第一颜色空间中的颜色通道获取第一图像的色偏系数;
目标色差确定模块,用于确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,确定颜色通道的目标色差阈值;
第一修正模块,用于基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。
其中,该装置还包括:
切变标识获取模块,用于获取第一视频序列以及第一视频序列中的场景切变标识;
场景分割模块,用于根据第一视频序列中的场景切变标识,对第一视频序列中的视频帧进行场景分割,得到与第一视频序列相关联的关联场景集合;关联场景集合包含第一场景集合;
第一图像确定模块,用于在关联场景集合中,将第一场景集合中的首个视频帧作为第一图像。
其中,初始色差确定模块包括:
像素值确定单元,用于获取第一场景集合中的第一图像,确定第一图像中的像素点的像素值;像素点的像素值是由第一颜色空间中的颜色通道上的初始分量进行组合后所确定的;
颜色直方图确定单元,用于根据像素点的像素值在颜色通道上的初始分量,确定颜色通道的颜色直方图;
初始色差确定单元,用于根据颜色通道的颜色直方图以及与第一图像相关联的裁剪步长,确定颜色通道的初始色差阈值。
其中,颜色直方图确定单元包括:
通道分量子单元,用于在第一颜色空间中,根据颜色通道的数量对像素点的像素值进行分离处理,得到像素点的像素值在颜色通道中的每个颜色通道上的初始分量;
直方图确定子单元,用于根据像素点的像素值在每个颜色通道上的初始分量,确定像素点在每个颜色通道上的颜色直方图。
其中,初始色差确定单元包括:
总数量确定子单元,用于根据第一图像的宽度M和第一图像的长度N,确定第一图像中的像素点的总数量;总数量为M×N;M和N均为正整数;
裁剪数量确定子单元,用于将与第一图像相关联的裁剪步长确定为第一裁剪比例系数,根据第一裁剪比例系数与M×N个像素点,确定与颜色通道相关联的裁剪像素点的裁剪数量;裁剪数量为小于M×N的正整数;
边界确定子单元,用于根据颜色通道的颜色直方图、裁剪数量,分别确定颜色通道的第一下边界和颜色通道的第一上边界;
初始阈值确定子单元,用于根据颜色通道的第一下边界、颜色通道的第一上边界和第一图像的最优裁剪条件,确定颜色通道的初始色差阈值。
其中,边界确定子单元包括:
裁剪顺序确定子单元,用于在颜色通道的颜色直方图中,将颜色通道上的初始分量的由小到大的排列顺序确定为第一裁剪顺序,将颜色通道上的初始分量的由大到小的排列顺序确定为第二裁剪顺序;
第一搜索子单元,用于在颜色通道的颜色直方图中,根据第一裁剪顺序搜索与裁剪数量匹配的n个像素点,将搜索到n个像素点作为第一裁剪像素点,根据与第一裁剪像素点相关联的初始分量确定颜色通道的第一下边界;
第二搜索子单元,用于在颜色通道的颜色直方图中,根据第二裁剪顺序搜索与裁剪数量匹配的n个像素点,将搜索到n个像素点作为第二裁剪像素点,根据与第二裁剪像素点相关联的初始分量确定颜色通道的第一上边界。
其中,初始阈值确定子单元包括:
距离确定子单元,用于根据颜色通道的第一下边界和颜色通道的第一上边界,分别确定与颜色通道相关联的最小边界距离和总裁剪距离;
条件满足子单元,用于若最小边界距离小于最优裁剪条件中的第一阈值,且总裁剪距离大于最优裁剪条件中的第二阈值,则确定颜色通道的第一下边界和颜色通道的第一上边界满足最优裁剪条件;
阈值确定子单元,用于将颜色通道的第一下边界和颜色通道的第一上边界,作为颜色通道的初始色差阈值。
其中,初始阈值确定子单元还包括:
条件不满足子单元,用于若最小边界距离大于或者等于第一阈值、总裁剪距离小于或者等于第二阈值,则确定颜色通道的第一下边界和颜色通道的第一上边界不满足最优裁剪条件;
比例增大子单元,用于将与裁剪步长对应的第一裁剪比例系数增大至第二裁剪比例系数,根据第二裁剪比例系数更新裁剪数量,直到根据更新后的裁剪数量所确定的颜色通道的第二下边界和颜色通道的第二上边界满足最优裁剪条件时,确定颜色通道的初始色差阈值。
其中,色偏系数获取模块包括:
空间转换单元,用于根据第一颜色空间和第二颜色空间之间的映射关系,将像素点的像素值由第一颜色空间转换成第二颜色空间;第二颜色空间包含第一色度通道和第二色度通道;
等效圆确定单元,用于在第一色度通道和第二色度通道所构成的色度平面上,确定与第一图像相关联的等效圆;等效圆的圆心坐标是由与第一图像相关联的第一色度均值和第二色度均值所确定的;等效圆的半径是由第一色度均值对应的第一距离值和第二色度均值对应的第二距离值所确定的;
色偏系数确定单元,用于将圆心坐标到色度平面的原点坐标之间的坐标距离作为第一图像的平均色度,将半径作为第一图像的色度中心距,根据平均色度与色度中心距,确定第一图像的色偏系数。
其中,等效圆确定单元包括:
色度分量确定子单元,用于确定像素点的像素值在第一色度通道上的第一色度分量和像素点的像素值在第二色度通道上的第二色度分量;
第一均值确定子单元,用于根据第一色度分量和第一图像的图像尺寸,确定与第一图像相关联的第一均值,根据第一色度分量对应的色度直方图和第一色度分量,确定第一均值对应的第一距离值;
第二均值确定子单元,用于根据第二色度分量和第一图像的图像尺寸,确定与第一图像相关联的第二均值,根据第二色度分量对应的色度直方图和第二色度分量,确定第二均值对应的第二距离值;
等效圆确定子单元,用于在第一色度通道与第二色度通道所构成的色度平面上,将第一均值和第二均值作为与第一图像相关联的圆心坐标,根据第一距离值和第二距离值作为与第一图像相关联的半径,根据圆心坐标和半径,确定与第一图像相关联的等效圆。
其中,目标色差确定模块包括:
占比系数确定单元,用于根据色偏系数变量与阈值占比系数变量之间的映射关系,确定色偏系数对应的阈值占比系数;色偏系数为色偏变量的值,阈值占比系数为阈值占比系数变量的值;
目标上边界确定单元,用于从颜色通道的第一上边界中获取最大初始色差阈值,根据阈值占比系数、最大初始色差阈值、颜色通道的第一上边界,确定颜色通道的目标上边界;
目标下边界确定单元,用于从颜色通道的第一下边界中获取最小初始色差阈值,根据阈值占比系数、最小初始色差阈值、颜色通道的第一下边界,确定颜色通道的目标下边界;
目标色差确定单元,用于将颜色通道的目标上边界和颜色通道的目标下边界作为颜色通道的目标色差阈值。
其中,该装置还包括:
目标分量组合模块,用于在第一颜色空间中,对像素点在颜色通道上的目标分量进行组合,得到像素点的修正像素值;颜色通道上的目标分量是通过对颜色通道上的初始分量进行色差修正所得到的;
图像更新模块,用于根据像素点的修正像素值,对第一图像中的对应像素点的像素值进行更新,用更新后的第一图像更新第一场景集合中的首个视频帧。
其中,第一场景集合中还包含第二图像,第二图像为第一场景集合中除第一图像之外的视频帧;
该装置还包括:
第二修正模块,用于根据颜色通道的目标色差阈值,对第二图像中的像素点的像素值进行色差修正,用色差修正后的第二图像更新第一场景集合中的第二图像。
本申请实施例一方面提供了一种计算机设备,计算机设备包括:处理器、存储器以及网络接口;
处理器与存储器、网络接口相连,其中,网络接口用于提供数据通信功能,存储器用于存储程序代码,处理器用于调用程序代码,以执行如本申请实施例一方面中的方法。
本申请实施例一方面提供了一种计算机存储介质,计算机存储介质存储有计算机程序,计算机程序包括程序指令,当处理器执行程序指令时执行如本申请实施例一方面中的方法。
本申请实施例在获取到第一图像中的像素点的像素值时,可以根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,初步确定颜色通道的初始色差阈值;进一步的,根据第一颜色空间中的颜色通道获取第一图像的色偏系数;进一步的,确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,最终确定颜色通道的目标色差阈值;进一步的,基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。由此可见,本申请实施例在对第一图像进行色偏修正的过程中,可以通过初步提取到的初始色差阈值和获取到的色偏系数,有效地确定出用于对每个像素点的像素值进行色偏修正的目标色差阈值,进而可以根据最终确定出的目标色差阈值,对颜色通道上的初始分量进行自适应的线性拉伸,以提高色偏修正的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种网络架构的结构示意图;
图2是本申请实施例提供的一种对关联场景集合中的每个图像帧进行色差修正的场景示意图;
图3是本申请实施例提供的一种图像数据处理方法的流程示意图;
图4是本申请实施例提供的一种第一图像的场景示意图;
图5是本申请实施例提供的一种颜色通道的颜色直方图的示意图;
图6是本申请实施例提供的一种确定色偏系数的场景示意图;
图7是本申请实施例提供的一种色偏系数变量与阈值占比系数变量之间的映射关系的示意图;
图8是本申请实施例提供的一种对第一图像进行色差修正的场景示意图;
图9是本申请实施例提供的一种图像数据处理方法的示意图;
图10是本申请实施例对同一场景集合中的每个视频帧进行色差修正的示意图;
图11是本申请实施例提供的一种图像数据处理装置的结构示意图;
图12是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,是本申请实施例提供的一种网络架构的结构示意图。如图1所示的网络架构可以包括业务服务器2000和用户终端集群,用户终端集群可以包括多个用户终端,如图1所示,具体可以包括用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n;如图1所示,用户终端3000a、用户终端3000b、用户终端3000c、…、用户终端3000n可以分别与业务服务器2000进行网络连接,以便于每个用户终端可以通过该网络连接与业务服务器2000之间进行数据交互。
为便于理解,本申请实施例可以在图1所示的多个用户终端中选择一个用户终端作为目标用户终端,该目标用户终端可以包括:智能手机、平板电脑、桌上型电脑等携带图像数据处理功能(例如,视频数据采集功能、视频数据播放功能等)的智能终端。例如,本申请实施例可以将图1所示的用户终端3000a作为目标用户终端,该目标用户终端中可以集成有具备该图像数据处理功能的目标应用。应当理解,集成在该目标用户终端中目标应用可以统称为应用客户端。其中,应用客户端可以包括社交应用、多媒体应用(例如,视频播放应用)、娱乐应用(例如,游戏应用)、虚拟房间应用(例如,直播应用)等具有帧序列(例如,帧动画序列)加载和播放功能的应用。在该目标用户终端中所加载和播放的帧动画序列可以包含第一视频序列、第二视频序列。
其中,第一视频序列可以为该目标用户终端所获取到的由至少一个场景集合进行场景拼接后所得到的视频序列,且每个场景集合中可以包含至少一个视频帧。可以理解的是,本申请实施例可以将至少一个场景集合统称为关联场景集合,并可以将该关联场景集合中的每个视频帧统称为图像帧。其中,本申请实施例可以将该关联场景集合内的每个场景集合中的首个视频帧统称为第一图像,并可以将每个场景集合中除第一图像之外的视频帧统称为第二图像。
应当理解,本申请实施例可以将每个场景集合中携带有场景切变标识的图像帧(即第一图像)称之为突变帧,并可以将与该第一图像属于同一场景集合且未携带场景切变标识的其他图像帧(即第二图像)称之为连续帧。
其中,第二视频序列可以为该目标用户终端通过场景切割规则和色差修正规则对该第一视频序列中的每个图像帧进行色差修正后所得到的。其中,第一视频序列可以包含提前内置在该目标用户终端中的视频数据,还可以包含当前通过网络从业务服务器2000中下载的视频数据,还可以包含调用与该目标应用相关联的拍摄应用所采集到的视频数据,这里将不对第一视频序列的具体获取方式进行限定。可选的,该第二视频序列也可以为业务服务器2000通过场景切割规则和色差修正规则对该第一视频序列中的每个图像帧进行色差修正后所得到的。此时,该业务服务器2000可以用于接收目标用户终端所发送来的第一视频序列,并可以进一步对该第一视频序列中的每个视频帧进行色差修正。
可以理解的是,本申请实施例中所描述的通过场景切割规则实现场景分割的方案,可以适用于所有在网页或者应用客户端(即前述目标应用)中使用帧序列所构成的动画数据(比如,视频A)的应用场景。其中,可以理解的是,本申请实施例中所描述的动画数据可以称之为多媒体数据,该多媒体数据可以为该目标用户终端所获取到的第一视频序列中的每个视频数据,还可以为该目标用户终端所采集到的单个图像的图像数据。这些多媒体数据中可以包含一个或者多个具有运动状态的对象,例如,人、物等运动对象。其中,具体的,这些具有运动状态的对象可以包含但不限于社交应用中的动态头像、游戏应用中的游戏角色、直播应用中的主播等。
可以理解的是,本申请实施例在通过上述场景切割规则对上述第一视频序列进行场景分割之后,可以得到与该第一视频序列相关联的关联场景集合,该关联场景集合中可以包含至少一个场景集合。为便于理解,进一步的,请参见图2,是本申请实施例提供的一种对关联场景集合中的每个图像帧进行色差修正的场景示意图。其中,本申请实施例可以将图2所示的视频序列1称之为第一视频序列,该视频序列1(即第一视频序列)可以为上述图1所示的用户终端3000a所采集到的视频序列。可选的,本申请实施例中的视频序列1(即第一视频序列)也可以为提前内置在该用户终端3000a中的视频序列。可选的,本申请实施例中的视频序列1(即第一视频序列)还可以为该用户终端3000a通过上述网络从上述图1所示的业务服务器2000上所下载的视频序列。为便于理解,本申请实施例以该视频序列1为上述用户终端3000a(即目标用户终端)所采集到的视频序列为例,如图2所示的视频序列1所对应的视频(例如,视频B)可以是由多个场景所对应的场景集合进行场景拼接后所确定的。
其中,一个场景可以对应一个场景集合,且一个场景集合中可以包含至少一个视频帧。可以理解的是,如图2所示,该视频序列1中可以包含多个场景集合。为便于理解,本申请实施例以该视频序列1中包含图2所示的三个场景集合为例,以阐述对这3个场景集合(场景集合100a、场景集合200a、场景集合300a)所构成的视频序列1进行场景分割的具体过程。
其中,本申请实施例所描述的图像数据处理装置(例如,图像数据处理装置4000)可以具备下述至少一个图像数据处理功能,例如,边界检测功能、场景分割功能、色差修正功能、场景拼接功能等。当该目标用户终端中运行有该图像数据处理装置4000时,可以在运行有图像数据处理装置4000的目标用户终端中直接对上述视频序列1进行场景分割和色差修正。
如图2所示,运行有图像数据处理装置4000的目标用户终端在获取到该视频序列1时,可以一并执行上述边界检测功能,以为该视频序列1中的存在场景切变时的相应图像帧设置对应的场景切变标识。进一步的,该目标用户终端可以根据这些场景切变标识对该第一视频序列进行场景分割,以得到图2所示的场景集合100a、场景集合200a和场景集合300a。
其中,场景切变标识是由该目标用户终端对所采集到的视频序列(即初始视频序列)进行边界检测后所确定的,每个场景切变标识可以用于在上述视频序列1中定位到存在场景切变(即镜头突变)的图像帧的位置。所以,本申请实施例可以进一步通过获取到的场景切变标识来区分每个场景集合所对应的场景的切割边界。比如,图2所示的图像10a可以视为场景集合100a的切割边界。又比如,图2所示的图像20a可以视为场景集合200a的切割边界;又比如,图2所示的图像30a可以视为场景集合300a的切割边界。由此可见,本申请实施例可以在该视频序列1(即第一视频序列)中通过场景切变标识确定用于进行场景分割的标识位,从而可以通过标识位准确定位到用于进行场景分割的突变帧的位置。换言之,图2所示的图像10a、图像20a和图像30a均可以为第一视频序列的突变帧。可以理解的是,当该目标用户终端基于该第一视频序列的播放顺序依次进行场景分割的过程中,可以将图像10a视为该场景集合100a的首个视频帧,将图像20a视为该场景集合200a的首个视频帧,将图像30a视为该场景集合300a的首个视频帧。
进一步的,本申请实施例可以将相应场景集合中的首个视频帧统称为第一图像。比如,可以将图像10a称之为场景集合100a中的第一图像,图像20a称之为场景集合200a中的第一图像,图像30a称之为场景集合300a中的第一图像。可以理解的是,由于每个场景集合中均可以包含至少一个视频帧(也可以称之为图像帧),所以,本申请实施例可以将同一场景集合中除第一图像之外的其他视频帧统称为第二图像。
如图2所示,该运行有上述图像数据处理装置4000的目标用户终端在对相应场景集合中的第一图像进行色差修正之后,可以确保相应场景集合中的第一图像恢复正常颜色。为便于理解,本申请实施例以图2的图像30a为例,比如,在图2所示的场景集合300a中的图像30a(即第一图像)的图像色彩整体偏红时,可以通过最终所确定出的目标色差阈值对该图像30a进行色差修正,以使色差修正后的第一图像(例如,图2所示的图像30b)恢复正常的颜色。
由于同一场景集合中的这些视频帧的图像数据在时间上是连续的,所以,处于同一场景集合中的第一图像存在色偏时,在该同一场景集合中的其他视频帧(即第二图像)的色偏程度应该是相同的。所以,为了提高色差修正的效率,本申请实施例可以在对该场景集合300a中的图像30a进行色差修正之后,可以一并利用该图像30a的目标色差阈值,自适应地对该场景集合300a中的其他视频帧进行色差修正,以得到色差修正后的这些视频帧所构成的新的场景集合(即场景集合300b),从而可以确保该场景集合300b中的连续帧之间不会产生不同程度的色彩跳变,进而可以提高同一场景集合中不同视频帧之间的视觉显示效果。
以此类推,本申请实施例也可以通过图2所示的图像10a的目标色差阈值,自适应地对场景集合100a中的其他视频帧一并进行色差修正,以得到色差修正后的这些视频帧所构成的场景集合100b;同理,本申请实施例也可以通过图像20a的目标色差阈值,自适应地对该场景集合200a中的其他视频帧一并进行色差修正,以得到色差修正后的这些视频帧所构成的场景集合200b。可以理解的是,对于第一视频序列的其他场景集合中的每个视频帧进行色差修正的具体过程,可以参见上述对场景集合300a中的每个视频帧进行色差修正的描述,这里将不一一进行列举。
如图2所示,该运行有该图像数据处理装置4000的目标用户终端还可以将图2所示的场景集合100b、场景集合200b、场景集合300b进行场景拼接,以得到图2所示的视频序列2,可以理解的是,该视频序列2可以为上述第二视频序列。进一步的,该目标用户终端在得到上述第二视频序列之后,还可以通过上述业务服务器2000将该第二视频序列上传至相应的网页或者客户端中进行数据共享,这样,与该业务服务器2000相关联的其他用户终端需要点播上述视频B时,可以直接对该第二视频序列进行加载和播放,以提高视频数据的播放效果。
可选的,上述图像数据处理装置4000还可以运行在业务服务器(例如,上述业务服务器2000)中,此时,该业务服务器可以为在上述目标用户终端中所运行的目标应用的后台服务器。在该运行有上述目标应用的目标用户终端采集到第一视频序列时,可以将该第一视频序列给到该运行有图像数据处理装置4000的业务服务器,以使该业务服务器通过上述场景切割规则和色差修正规则对图2所示的视频序列1(即上述第一视频序列)中的每个图像进行色差修正,以得到图2所示的视频序列2(即上述第二视频序列)。
其中,可以理解的是,当该图像数据处理装置4000运行在该业务服务器中时,该业务服务器也可以具备上述图像数据处理装置4000所具备的图像数据处理功能,此时,该运行有该图像数据处理装置4000的业务服务器可以利用其强大的计算资源,快速对获取到的第一视频序列进行场景切割,进而可以利用场景切割后所得到的每个场景集合中的第一图像的目标色差阈值,分别对相应场景集合中的第一图像进行色差修正。同理,该运行有该图像数据处理装置4000的业务服务器还可以利用第一图像的目标色差阈值,自适应地对同一场景集合中的第二图像进行色差修正,以减少同一场景集合中的这些视频帧之间存在色彩跳变的可能。这样,其他用户通过网页或者应用客户端在接入该业务服务器时,可以快速在网页或者应用客户端中播放上述第二视频序列,以提高第二视频序列中的视频数据的显示效果。
可以理解的是,本申请实施例中的第一图像可以为获取到的上述视频B中的每个场景集合中的首个视频帧,可选的,本申请实施例中的第一图像还可以为获取到单个图像。所以,本申请所描述的对上述场景集合300a中的图像30a进行色差修正的具体过程,同样适用于对获取到的单个图像进行色差修正的描述,这里将不再对其进行赘述。
其中,图像数据处理装置4000获取第一图像、对第一图像进行色差修正的具体实现方式可以参见如下图3至图10所对应的实施例。
进一步地,请参见图3,是本申请实施例提供的一种图像数据处理方法的流程示意图。如图3所示,方法至少包括:
步骤S101,获取第一图像中的像素点的像素值,根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,确定颜色通道的初始色差阈值;
具体地,图像数据处理装置在获取到第一图像时,可以从该第一图像中获取每个像素点的像素值。其中,可以理解的是,该第一图像中的每个像素点的像素值可以统称为像素点的像素值。另外,在第一颜色空间所包含的多个颜色通道中,每个颜色通道均为该颜色空间中的一个颜色维度。所以,该第一图像中的这些像素点的像素值均由该第一颜色空间中的每个颜色通道上的初始分量进行组合后所确定的;此时,该图像数据处理装置可以根据每个像素点在相应颜色通道上的初始分量,初略地确定出每个颜色通道的初始色差阈值。
其中,本申请实施例中的图像数据处理装置可以运行在用户终端中,该用户终端可以为上述目标用户终端(例如,上述用户终端3000a)。当该用户终端中运行有该图像数据处理装置时,该用户终端可以具备上述图像数据处理功能,进而可以在该用户终端中对第一图像进行色差修正。可选的,该图像数据处理装置也可以运行在该用户终端对应的业务服务器中,当该业务服务器中运行有该图像数据处理装置时,该业务服务器可以具备上述图像数据处理功能,进而可以在该业务服务器中对第一图像进行色差修正。这里将不对其进行限制。
其中,可以理解的是,本申请实施例中的第一图像可以为上述图2所对应实施例中的第一视频序列的每个场景集合中的首个图像帧。可选的,可以理解的是,本申请实施例中的第一图像还可以单个图片,比如,该第一图像可以为某个用户(例如,用户A)从本地图像库中所选取的单个图片。为便于理解,本申请实施例以该第一图像为单个图片为例,以阐述对该单个图片进行色差修正的具体过程。
进一步的,请参见图4,是本申请实施例提供的一种第一图像的场景示意图。如图4所示的第一图像的图像宽度为宽度1、图像高度为高度1。其中,为便于理解,本申请实施例中的该宽度1可以表示为M,该高度1可以表示为N。可以理解的是,M为单位像素i的整数倍,N为单位像素j的整数倍,所以,在本申请实施例中,该第一图像中的像素点的总数量可以表示为M×N。M和N均可以为正整数。可以理解的是,本申请实施例将不对M和N的具体数量进行限制。
比如,如图4所示的第一图像的像素点的总数量可以为M×N=5×5=25个。为便于理解,本申请实施例从该第一图像中获取到这些像素点时,可以进一步对该第一图像中的这些像素点中的每个像素点设置唯一编号信息,以对该第一图像中的每个像素点进行区别。比如,本申请实施例可以将携带有编号信息(例如,1)的像素点称之为像素点1、将携带有编号信息(例如,2)称之为像素点2.以此类推,本申请实施例可以将携带有相应编号信息(例如,k)的像素点称之为像素点k。可以理解的是,本申请实施例还可以通过像素坐标(i,j)来描述某个像素点(例如,像素点k)在第一图像中的具体位置。
其中,在第一颜色空间中,该第一图像中的这些像素点的像素值均可以由该第一颜色空间中的每个颜色通道上的初始分量进行组合后所确定的。其中,本申请实施例可以将该第一颜色空间所对应的多个颜色通道统称为第一颜色空间中的颜色通道。其中,多个颜色通道具体可以包含第一颜色通道、第二颜色通道和第三颜色通道。可以理解的是,在该第一颜色空间为RGB颜色空间时,该第一颜色通道可以为R通道、第二颜色通道可以为G通道、第三颜色通道可以为B通道。另外,可以理解的是,若该第一图像的颜色空间不为RGB颜色空间,则需要将该第一图像的颜色空间转换为RGB颜色空间。
由于该第一图像中不同像素点还可以用像素坐标(i,j)来进行区别,所以,对于第一图像中的任意一个像素点(例如,像素点k)在该第一颜色空间中的相应颜色通道上的初始分量可以表示为:(R(i,j)、G(i,j)、B(i,j))。其中,i和j所构成的像素坐标可以用于描述该像素点k在第一颜色空间中的相应颜色通道上的初始分量。
为便于理解,本申请实施例以图4所示的像素点23的像素值为例,该像素点23在图4所示的第一图像中的具体位置可以为第3行第5列,此时,该像素点23的像素值在相应颜色通道上的初始分量可以表示为:图4所示的颜色分量1(即(R(3,5))、颜色分量2(即G(3,5))、颜色分量3(即B(3,5))。其中,颜色分量1可以为像素点23在R通道上的初始分量、颜色分量2可以为像素点23在G通道上的初始分量、颜色分量3可以为像素点23在B通道上的初始分量。其中,对于第一图像中其他像素点的像素值在相应颜色通道上的初始分量(例如,R(i,j)、G(i,j)、B(i,j))的取值均可以为颜色等级范围(即0~255)中的任意一个颜色等级。以此类推,该第一图像中的每个像素点的像素值在相应颜色通道上的初始分量,均可以一并参见对像素点23的像素值在相应颜色通道上的初始分量的描述,这里将不一一进行列举。
由此可见,图像数据处理装置在得到每个像素点的像素值时,可以将该第一图像中的这些像素点的像素值在R、G、B通道上进行分离,以得到这些像素点在每个颜色通道上的初始分量。然后,该图像数据处理装置可以根据像素点的像素值在颜色通道上的初始分量,统计得到每个颜色通道的颜色直方图,从而可以根据每个颜色通道的颜色直方图以及与图4所示的第一图像相关联的裁剪步长(例如,s)分别确定这3个颜色通道的上边界和下边界,以便于后续可以根据这3个通道上边界和下边界分别得到相应颜色通道的初始色差阈值。
进一步的,请参见图5,是本申请实施例提供的一种颜色通道的颜色直方图的示意图。其中,为便于理解,本申请实施例以上述第一颜色空间(例如,RGB颜色空间)中的R通道为例,以进一步对确定该R通道的初始色差阈值的具体过程进行阐述。如图5所示的颜色直方图中可以包含第一图像中的每个像素点在该R通道上的初始分量,这些像素点在该R通道上的初始分量可以具体包含图5所示的颜色分量a、颜色分量b、颜色分量c、颜色分量d、...、颜色分量f、颜色分量g、颜色分量i。可以理解的是,该R通道上的初始分量(即该R通道上的每个颜色分量)所对应的颜色等级可以为图5所示的256个颜色等级中的任意一个,其中,颜色等级越高则表示在该RGB色彩空间中的该第一图像中的红色分量所占的比重越大。其中,图5所示的R通道的颜色直方图的高度可以用于表征该R通道上的颜色分量(即初始分量)为某个颜色等级时的像素点的统计数量。
例如,在上述裁剪步长为第一裁剪比例系数(例如,s=0.0002)时,可以根据该第一裁剪比例系数和第一图像中的所有像素点的总数量(例如,M×N=500×50=25000个),确定出与相应颜色通道所关联的裁剪像素点的裁剪数量(例如,n=s×M×N=50个)。其中,可以理解的是,裁剪像素点的裁剪数量可以为小于总数量(即M×N)的正整数。其中,图5的裁剪区域1中的箭头所指示的方向可以为本申请实施例中的第一裁剪顺序,该图像数据处理装置可以在该R通道的颜色直方图中按照从小到大的顺序依次裁剪n(例如,50个)个像素点。例如,若在该第一裁剪顺序上,确定出图5所示的颜色分量a对应的像素点数量和颜色分量b对应的像素点之和为n个,则可以在该R通道的颜色直方图中先去除这n个像素点(该第一裁剪顺序上的n个像素点可以统称为第一裁剪像素点),从而可以将与该第一裁剪像素点相关联的初始分量(例如,图5所示的颜色分量e)确定该R通道的下边界。其中,在上述裁剪步骤为上述第一裁剪比例系数时,可以将基于该第一裁剪比例系数所确定的该R通道的下边界称之为第一下边界。
同理,如图5所示的裁剪区域2中的箭头所指向的方向可以为第二裁剪顺序,该图像数据处理装置可以在该R通道的颜色直方图中按照从大到小的顺序依次裁剪n(例如,50个)个像素点。例如,若在该第二裁剪顺序上,确定出图5所示的颜色分量i对应的像素点数量和颜色分量g对应的像素点之和为n个,则可以在该R通道的颜色直方图中先去除这n个像素点(该第二裁剪顺序上的n个像素点可以统称为第二裁剪像素点),从而可以将与该第二裁剪像素点相关联的初始分量(例如,图5所示的颜色分量f)确定该R通道的上边界。其中,在上述裁剪步骤为上述第一裁剪比例系数时,可以将基于该第一裁剪比例系数所确定的该R通道的上边界称之为第一上边界。
以此类推,本申请实施例也可以根据统计到的G通道的颜色直方图确定出G通道的第一下边界和G通道的第一上边界。以此类推,本申请实施例也可以根据统计到的B通道的颜色直方图确定出B通道的第一下边界和B通道的第一上边界。可以理解的是,该图像数据处理装置得到每个颜色通道的上边界和下边界之后,可以根据每个颜色通道的第一下边界、每个颜色通道的第一上边界和第一图像的最优裁剪条件,确定每个颜色通道的初始色差阈值。
其中,R通道的第一下边界可以表示为Rmin,R通道的第一上边界可以表示为Rmax;G通道的第一下边界可以表示为Gmin,G通道的第一上边界可以表示为Gmax;B通道的第一下边界可以表示为Bmin,B通道的第一上边界可以表示为Bmax。此时,该图像数据处理装置获取每个颜色通道的初始色差阈值的具体过程可以描述为:根据颜色通道的第一下边界和颜色通道的第一上边界,分别确定与颜色通道相关联的最小边界距离和总裁剪距离;进一步的,若最小边界距离小于最优裁剪条件中的第一阈值,且总裁剪距离大于最优裁剪条件中的第二阈值,则确定颜色通道的第一下边界和颜色通道的第一上边界满足最优裁剪条件;进一步的,将颜色通道的第一下边界和颜色通道的第一上边界,作为颜色通道的初始色差阈值。
其中,该图像数据处理装置获取最小边界距离的具体实现方式可以参见下述公式(1):
DisRGBmin=min((Rmax-Rmin),(Gmax-Gmin),(Bmax-Bmin)) 公式(1);
其中,在RGB颜色空间中,DisRGBmin为与上述颜色通道相关联的最小裁剪距离。换言之,本申请实施例中的最小裁剪距离可以用于表征对上述3个通道的颜色直方图进行像素裁剪后所确定的各颜色通道的边界距离中的最小距离值。例如,以上述图5所对应实施例中的R通道的下边界与R通道的上边距为例,本申请实施例可以将该R通道的上边界(即上述公式(1)中的Rmax)与下边界(即上述公式(1)中的Rmin)之间的颜色等级差值统称为该R通道的边界距离。例如,在Rmax=205,Rmin=55时,Rmax-Rmin=205-55=150。同理,本申请实施例可以将上述G通道的上边界(即上述公式(1)中的Gmax)与下边界(即上述公式(1)中的Gmin)之间的颜色等级差值统称为该G通道的边界距离。在Gmax=155,Gmin=60时,Gmax-Gmin=155-60=95。同理,本申请实施例可以将上述B通道的上边界(即上述公式(1)中的Bmax)与下边界(即上述公式(1)中的Bmin)之间的颜色等级差值统称为该B通道的边界距离。在Bmax=160,Gmin=60时,Gmax-Gmin=160-60=100。此时,根据上述公式(1)可以确定这3个颜色通道的边界距离中的最小边界距离可以为DisRGBmin=min(150,95,100)=95。
另外,该图像数据处理装置获取总裁剪距离的具体实现方式可以参见下述公式(2):
Disall=255×3-[(Rmax-Rmin)+(Gmax-Gmin)+(Bmax-Bmin)] 公式(2);
其中,可以理解的是,公式(2)中的Disall可以用于描述这3个通道(即上述颜色通道)的总裁剪距离,即这3个通道的总裁剪距离可以为每个颜色通道的裁剪距离之和。其中,每个颜色通道的裁剪距离可以为最大颜色等级(例如,上述图5所示的255)与相应颜色通道的边界距离之间的差值。例如,以上述图5所示,R通道的裁剪距离(例如,Dis1)可以为:Dis1=255-(Rmax-Rmin)=255-150=105;可以理解的是,每个颜色通道的裁剪距离的取值可以大于或者等于上述两个裁剪顺序上的裁剪像素点之和(即2*n个)。同理,G通道的裁剪距离(例如,Dis2)可以为:Dis2=255-(Gmax-Gmin)=255-95=160;同理,B通道的裁剪距离(例如,Dis3)可以为:Dis3=255-(Bmax-Bmin)=255-100=155;此时,基于上述公式(2),可以确定上述颜色通道的总裁剪距离:Disall=Dis1+Dis2+Dis3=105+160+155=420;
根据上述最小边界距离和上述总裁剪距离与最优裁剪条件中的第一阈值和第二阈值之间的关联关系,可以尽可能地合理地找到上述初始色差阈值。换言之,本申请实施例中的该图像数据处理装置在根据相应裁剪比例系数进行像素点裁剪的过程中,可以确定出合适的裁剪像素点的数量(例如,上述n=50),进而可以避免裁剪掉过多的裁剪像素点,或者裁剪了过少的裁剪像素点,从而可以在对相应颜色通道进行分离之后,可以确保初步提取到的相应颜色通道的初始色差阈值的合理性。
可选的,在上述裁剪步长为上述第一裁剪比例系数时,若上述最小边界距离小于上述第一阈值(例如,90),且总裁剪距离大于第二阈值(例如,3*150=450),则可以判断此时这3个通道的上边界和下边界不满足最优裁剪条件。例如,第一裁剪系数设置过小,会导致确定出的所需裁剪的像素点的裁剪数量过少,从而使得计算得到的上述第一上边界和第一下边界难以满足该最优裁剪条件。
此时,该图像数据处理装置则可以进一步将与裁剪步长对应的第一裁剪比例系数增大至第二裁剪比例系数,根据第二裁剪比例系数更新裁剪数量,直到根据更新后的裁剪数量所确定的颜色通道的第二下边界和颜色通道的第二上边界满足最优裁剪条件时,可以确定满足该最优裁剪条件的上述颜色通道的初始色差阈值,进而也可以继续执行下述步骤S102-步骤S104。其中,该第二下边界和第二上边界的具体确定过程可以参见对上述确定第一下边界和第一上边界的描述,这里将不再继续进行赘述。
步骤S102,根据第一颜色空间中的颜色通道获取第一图像的色偏系数;
具体的,图像数据处理装置可以根据第一颜色空间和第二颜色空间之间的映射关系,将像素点的像素值由第一颜色空间转换成第二颜色空间;其中,第二颜色空间可以包含第一色度通道和第二色度通道;可以理解的是,该第二颜色空间为不同于该第一颜色空间的颜色空间。进一步的,该图像数据处理装置可以在第一色度通道和第二色度通道所构成的色度平面上,确定与第一图像相关联的等效圆;其中,等效圆的圆心坐标是由与第一图像相关联的第一色度均值和第二色度均值所确定的;等效圆的半径是由第一色度均值对应的第一距离值和第二色度均值对应的第二距离值所确定的;进一步的,该图像数据处理装置可以将圆心坐标到色度平面的原点坐标之间的坐标距离作为第一图像的平均色度,将半径作为第一图像的色度中心距,根据平均色度与色度中心距,确定第一图像的色偏系数。
其中,该第二颜色空间可以为LAB颜色空间,该LAB颜色空间可以包含3个维度信息(即3个通道信息)。比如,L通道可以用于描述该第一图像在该LAB颜色空间中所呈现的亮度(亮度的取值范围可以为[0,100]),A通道和B通道可以用于描述该第一图像在该LAB颜色空间中所呈现的色度。其中,本申请实施例可以将该第一图像中的像素点的像素值在A通道上的色度分量称之为第一色度分量,并将该A通道称之为第一色度通道。另外,本申请实施例还可以将该第一图像中的像素点的像素值在B通道上的色度分量称之为第二色度分量,并将该B通道称之为第二色度通道。由于该LAB通道所构成的颜色空间为锥型颜色空间,因此,本申请实施例可以将A通道和B通道所构成的平面称之为色度平面,以便于可以在该色度平面上所确定出的该第一图像的等效圆所在的具体位置,来判断该第一图像整体是否存在色彩偏差。其中,本申请实施例可以通过色偏系数来描述该第一图像整体所呈现的色彩偏差的色偏程度。
为便于理解,进一步的,请参见图6,是本申请实施例提供的一种确定色偏系数的场景示意图。如图6所示,该图像数据处理装置可以根据上述第一颜色空间(例如,RGB颜色空间)和第二颜色空间(例如,LAB颜色空间)之间的映射关系,将上述第一图像中的像素点的像素值由第一颜色空间转换成图6所示的第二颜色空间,以得到这些像素点的像素值在该第二颜色空间中的相应通道上的色度分量;为便于理解,本申请实施例可以在不考虑L通道的取值的情况下,确定出图6所示的与该第一图像相关联的等效圆。此时,在忽略上述L通道的情况下,该第一图像的等效圆可以被投影在图6所示的由A通道和B通道所构成的色度平面上。换言之,该图像数据处理装置可以在上述第一色度通道和上述第二色度通道所构成的色度平面上,确定与上述第一图像相关联的等效圆;
其中,图6所示的等效圆的圆心坐标(例如,(da,db))可以是由与第一图像相关联的第一色度均值(例如,da)和第二色度均值(例如,db)所确定的;等效圆的半径(例如,C)可以是由第一色度均值对应的第一距离值(例如,Ca)和第二色度均值对应的第二距离值(例如,Cb)所确定的;进一步的,该图像数据处理装置可以将该圆心坐标(即(da,db))到色度平面的原点坐标(例如,(Oa,Ob)=(0,0))之间的坐标距离作为第一图像的平均色度(例如,D),并可以将该半径(即C)作为第一图像的色度中心距,从而可以根据平均色度与色度中心距之间的比值,确定该第一图像的色偏系数。
其中,本申请实施例可以根据下述公式(3)-公式(9)确定与第一图像相关联的等效圆,并可以根据确定出的等效圆进一步确定上述第一图像的色偏系数:
Figure GDA0003271238210000231
其中,K为上述第一图像的色偏系数,C为上述色度中心距、D为上述平均色度。
Figure GDA0003271238210000232
Figure GDA0003271238210000233
其中,da是通过对该第一图像中的所有像素点在A通道上的第一色度分量(即a)进行均值计算后所得到的一个色度平均值;其中,M为上述第一图像的图像高度,N为上述第一图像的图像宽度。该第一图像中的像素点的总数量可为上述M×N个。同理,db是通过对该第一图像中的所有像素点在B通道上的第一色度分量(即b)进行均值计算后所得到的另一个色度平均值。在上述公式(4)和公式(5)中,i和j均可以用于描述某个像素点在高度为M、长度为N的第一图像中的具体图像位置。
Figure GDA0003271238210000234
其中,平均色度(即D)为上述图6所示的等效圆的圆心坐标(即上述(da,db))到图6所示的色度平面的原点坐标(例如,(Oa,Ob)=(0,0))的坐标距离值。
Figure GDA0003271238210000241
Figure GDA0003271238210000242
其中,Ca为上述第一色度均值(即da)对应的第一距离值。其中,P(a)为上述第一图像中的像素点在图6所示的A通道上的色度直方图的高度,即本申请实施例通过统计这些像素点在该A通道上的色度直方图,可以快速确定出这些像素点的第一色度分量中的最小第一色度分量和最大第一色度分量,从而可以基于上述公式(6)所描述的:这些第一色度分量分别与上述第一色度均值之间的差值以及对应的第一色度分量的高度得到上述第一距离值(即Ca)。同理,Cb为上述第二色度均值(即db)对应的第二距离值。其中,P(b)为上述第一图像中的像素点在图6所示的B通道上的色度直方图的高度,即本申请实施例通过统计这些像素点在该B通道上的色度直方图,可以快速确定出这些像素点的第二色度分量中的最小第二色度分量和最大第二色度分量,从而可以基于上述公式(7)所描述的:这些第二色度分量分别与上述第二色度均值之间的差值以及对应的第二色度分量的高度得到上述第二距离值(即Cb)。
Figure GDA0003271238210000243
其中,C为图6所示的等效圆的半径。所以,本申请实施例可以根据据上述圆心坐标和上述半径,确定与上述第一图像相关联的等效圆(即图6所示的等效圆)。
步骤S103,确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,确定颜色通道的目标色差阈值;
具体的,图像数据处理装置可以根据色偏系数变量与阈值占比系数变量之间的映射关系,确定色偏系数对应的阈值占比系数;色偏系数为色偏变量的值,阈值占比系数为阈值占比系数变量的值;进一步的,图像数据处理装置可以从颜色通道的第一上边界中获取最大初始色差阈值,根据阈值占比系数、最大初始色差阈值、颜色通道的第一上边界,确定颜色通道的目标上边界;进一步的,图像数据处理装置可以从颜色通道的第一下边界中获取最小初始色差阈值,根据阈值占比系数、最小初始色差阈值、颜色通道的第一下边界,确定颜色通道的目标下边界;进一步的,图像数据处理装置可以将颜色通道的目标上边界和颜色通道的目标下边界作为颜色通道的目标色差阈值。
其中,可以理解的是,本申请实施例在得到上述步骤S102中的色偏系数之后,可以进一步根据色偏系数变量与阈值占比系数变量之间的映射关系,确定上述色偏系数对应的阈值占比系数。为便于理解,进一步的,请参见图7,是本申请实施例提供的一种色偏系数变量与阈值占比系数变量之间的映射关系的示意图。
如图7所示的色偏系数变量的取值可以包含图7所示的k1和k2;另外,如图7所示的阈值占比系数变量的取值可以包含图7所示的p1和p2。其中,图7所示的映射关系图可以用下述公式(10)来表示:
Figure GDA0003271238210000251
其中,p为上述阈值占比系数变量,该阈值占比系数变量的最大值可以为图7所示的P2、该阈值占比系数变量的最小值可以为图7所示的P1。其中,P1和P2的取值均处于0-1之间。其中,k为上述色偏系数变量,该色偏系数变量的值越大,则表明该第一图像在第一颜色空间中的颜色通道上存在色彩偏差的程度越大。所以,在上述公式(10)中,若色偏系数变量对应的色偏系数k小于色偏系数值k1则可以用确定上述第一图像整体不存在色彩偏差。可选的,若色偏系数变量对应的色偏系数k大于色偏系数值k2则可以用确定上述第一图像整体存在较大程度的色彩偏差。可选的,若色偏系数变量对应的色偏系数k大于等于色偏系数值k1且小于等于色偏系数值k2,则可以用确定上述第一图像整体存在较小程度的色彩偏差。
可以理解的是,该图像数据处理装置在确定出色偏系数对应的阈值占比系数时,可以进一步从上述步骤S101所初步确定出的颜色通道的初始色差阈值中确定出最大初始色差阈值和最小初始色差阈值,具体的,可以参见下述公式(11)和公式(12):
MaxRGB=max(RMax,GMax,BMax) 公式(11);
其中,MaxRGB为上述最大初始色差阈值。其中,RMax为上述R通道的上边界(这里的上边界可以为上述第一上边界或者上述第二上边界);GMax为上述G通道的上边界(这里的上边界可以为上述第一上边界或者上述第二上边界);BMax为上述B通道的上边界(这里的上边界可以为上述第一上边界或者上述第二上边界)。本申请实施例可以将R通道的上边界、G通道的上边界和B通道的上边界统称为上述颜色通道的上边界(例如,上述第一上边界)。
MinRGB=min(RMin,GMin,BMin)公式(12);
其中,MinRGB为上述最小初始色差阈值。其中,RMin为上述R通道的下边界(这里的上边界可以为上述第一下边界或者上述第二下边界);GMin为上述G通道的下边界(这里的上边界可以为上述第一下边界或者上述第二下边界);BMin为上述B通道的下边界(这里的上边界可以为上述第一下边界或者上述第二下边界)。本申请实施例可以将R通道的下边界、G通道的下边界和B通道的下边界统称为上述颜色通道的下边界(例如,上述第一下边界)。
其中,最终目标色差阈值的计算公式可以参见下述公式(13)-公式(18):
RMaxrefined=RMax×p+MaxRGB×(1-p) 公式(13)
GMaxrefined=GMax×p+MaxRGB×(1-p) 公式(14)
BMaxrefined=BMax×p+MaxRGB×(1-p) 公式(15)
RMinrefined=RMin×p+MinRGB×(1-p) 公式(16)
GMinrefined=GMin×p+MinRGB×(1-p) 公式(17)
BMinrefined=BMin×p+MinRGB×(1-p) 公式(18)
其中,本申请实施例可以将上述RMaxrefined、GMaxrefined、BMaxrefined确定颜色通道的目标上边界。另外,本申请实施例可以将上述RMinrefined、GMinrefined、BMinrefined确定颜色通道的目标下边界。此时,该图像数据处理装置可以进一步将上述颜色通道的目标上边界和上述颜色通道的目标下边界作为上述颜色通道的目标色差阈值,进而可以执行下述步骤S104,以根据相应颜色通道的目标色差阈值分别对相应颜色通道的初始分量进行色差修正。
步骤S104,基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。
具体的,图像数据处理装置可以根据上述三个通道(即R通道、G通道和B通道)的目标色差阈值,分别对像素点在相应通道上的初始分量进行线性拉伸,以完成对这些像素点在相应颜色通道的色彩偏差的色差修正,从而可以将色差修正后的初始分量分别确定为相应颜色通道上的目标分量。
其中,该图像数据处理装置可以通过下述公式(19)-公式(21)得到相应颜色通道上的目标分量:
Figure GDA0003271238210000271
Figure GDA0003271238210000272
Figure GDA0003271238210000273
其中,Rrefined(i,j)为R通道上的目标分量;其中,Grefined(i,j)为G通道上的目标分量;Brefined(i,j)为B通道上的目标分量;其中,上述i和j可以用于描述某个像素点在上述第一图像中的图像位置,从而可以将i和j所构成的坐标称之为该像素点的像素坐标。
为便于理解,本申请实施例以对R通道上的初始分量。在第一图像中,像素坐标为i和j的像素点(例如,上述图4所对应实施例中的像素点6)在R通道上的初始分量(例如,235)可以表示为上述R(i,j)。若该R(i,j)大于上述公式(13)中的RMaxrefined(例如,200),则可以将该像素点6在R通道上的初始分量修正为255;可选的,若该R(i,j)大于上述公式(16)中的RMinrefined(例如,50),则可以将该像素点6在R通道上的初始分量修正为0;可选的,若该R(i,j)小于或者等于上述RMaxrefined(例如,200),且该R(i,j)大于或者等于上述RMinrefined(例如,50),则可以在该取值区间内根据上述公式(19)进行线性拉伸,以得到该像素点6在上述R通道上的目标分量。同理,对于该第一图像中的其他像素点而言,可以按照上述三种色差修正规则进行自适应的色差修正,以得到其他像素点分别在该R通道上的目标分量。
以此类推,本申请实施例可以得到该第一图像中的这些像素点在上述G通道上的目标分量,并可以得到该第一图像中的这些像素点在上述B通道上的目标分量,这里将不再一一进行列举。
可以理解的是,本申请实施例在得到这些像素点在相应通道上的目标分量之后,可以将这些目标分量进行组合,以重新得到这些像素点的像素值。本申请实施例可以将色差修正后的这些像素点的像素值统称为像素点的修正像素值,进而可以根据像素点的修正像素值,对第一图像中的对应像素点的像素值进行更新。
为便于理解,进一步的,请参见图8,是本申请实施例提供的一种对第一图像进行色差修正的场景示意图。如图8所示,该图像数据处理装置可以基于上述色差修正规则,进一步根据颜色通道的目标色差阈值。比如,对于上述R通而言,该R通道的目标色差阈值可以包含上述R通道的目标上边界和目标下边界),进而可以基于上述公式(19)对图8所示的图像60a中的所有像素点的像素值,在该R通道上的初始分量进行色差修正,以得到R通道上的目标分量。以此类推,该图像数据处理装置可以基于上述公式(20)对这些像素点的像素值在该G通道上的初始分量进行色差修正,以得到G通道上的目标分量;另外,该图像数据处理装置可以基于上述公式(21)对这些像素点的像素值在该B通道上的初始分量进行色差修正,以得到B通道上的目标分量。可以理解的是,该图像数据处理装置在完成对该图像60a中的所有像素点的色差修正之后,可以得到这些像素点的修正像素值,进而可以根据这些像素点的修正像素值,对图8所示的图像60a(即第一图像)中的对应像素点的像素值进行更新,以得到图8所示的图像60b。该图像60b为通过色差修正后的图像。可选的,例如,在上述图2所对应实施例中的视频序列中,该图像60a还可以为某个场景集合中的首个视频帧,这里将不对其进行限定。
在本申请实施例中,图像数据处理装置在获取到第一图像中的像素点的像素值时,可以根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,初步确定颜色通道的初始色差阈值;进一步的,根据第一颜色空间中的颜色通道获取第一图像的色偏系数;进一步的,确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,最终确定颜色通道的目标色差阈值;进一步的,基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。由此可见,本申请实施例在对第一图像进行色偏修正的过程中,可以通过初步提取到的初始色差阈值和获取到的色偏系数,有效地确定出用于对每个像素点的像素值进行色偏修正的目标色差阈值,进而可以根据最终确定出的目标色差阈值,对颜色通道上的初始分量进行自适应的线性拉伸,以提高色偏修正的准确度。
进一步地,请参见图9,是本申请实施例提供的一种图像数据处理方法的示意图。如图9所示,方法可以包含以下步骤:
步骤S201,获取第一视频序列以及第一视频序列中的场景切变标识;
其中,可以理解的是,图像数据处理装置在获取到某个视频(例如,视频B)时,可以进一步得到该视频B中的每个图像帧所构成的视频序列(即上述第一视频序列),可以理解的是,若该图像数据处理装置运行在上述目标应用对应的业务服务器(即上述图1所对应实施例中的业务服务器2000)上,则该业务服务器2000可以获取该第一视频序列中所设置的场景切变标识。
比如,该业务服务器(即业务服务器2000)在得到该视频B之前,可以首先在上述图1所对应实施例中的用户终端3000b(即视频采集终端中)中,对采集所得到的初始视频序列进行边界检测,以通过边界检测为该初始视频序列中的某些视频帧设置场景切变标识,该场景切变标识可以用于表征两个相邻图像帧(例如,图像帧Fi、图像帧Fi+1)之间存在场景的剧烈变化。所以,后续业务服务器在得到第一视频序列时,可以根据相应场景切变标识所对应的图像帧的场景切变标识,快速从该第一视频序列中定位出该第一视频序列中的所有突变帧。其中,可以理解的是,本申请实施例中的突变帧可以为上述关联场景集合中的每个场景集合内的首个视频帧。进一步的,本申请可以将设置有场景切变标识的初始视频序列称之为上述第一视频序列。
其中,在初始视频序列中确定突变帧的具体过程可以为:上述用户终端3000b在得到初始视频序列时,可以将初始视频序列中的每个视频帧所对应的彩色图像转换成单通道的灰度图像,以降低在该用户终端的本地的计算量,从而可以提高边界检测的效率。其中,该用户终端3000b在得到这些彩色图像所对应的灰度图像之后,可以计算得到任意两个相邻图像帧之间的帧差图像,比如,本申请实施例可以将计算所得到的当前灰度图像(例如,Fi)与上一灰度图像(例如,Fi-1)之间的帧差图像作为第一帧差图像,并可以一并将计算所得到的上一灰度图像(即Fi-1)与再上一灰度图像(例如,Fi-2)之间的帧差图像作为第二帧差图像,以根据这两个帧差图像(即第一帧差图像和第二帧差图像)的均值与边界检测条件中的预设阈值之间的关联关系,快速判断当前灰度图像所对应的视频帧是否为突变帧。
步骤S202,根据第一视频序列中的场景切变标识,对第一视频序列中的视频帧进行场景分割,得到与第一视频序列相关联的关联场景集合;
其中,关联场景集合可以包含至少一个场景集合,这里的至少一个场景集合可以包含第一场景集合;可以理解的是,该关键场景集合还可以包含第二场景集合,其中,可以理解的是,本申请实施例中的该第二场景集合的场景不同于该第一场景集合的场景。所以,图像数据处理装置在进行场景分割的过程中,可以基于该第一视频序列中的场景切变标识将该第一视频序列划分为多个场景。
步骤S203,在关联场景集合中,将第一场景集合中的首个视频帧作为第一图像;
其中,可以理解的是,对于每个场景集合而言,均可以将对应场景集合中的首个视频帧作为第一图像。另外,在同一场景集合中,本申请实施例可以将除第一图像之外的其他的时间上连续的视频帧称之为第二图像(也可以称之为连续帧)。
步骤S204,获取第一场景集合中的第一图像,确定第一图像中的像素点的像素值;
其中,像素点的像素值是由第一颜色空间中的颜色通道上的初始分量进行组合后所确定的。
步骤S205,根据像素点的像素值在颜色通道上的初始分量,确定颜色通道的颜色直方图;
步骤S206,根据颜色通道的颜色直方图以及与第一图像相关联的裁剪步长,确定颜色通道的初始色差阈值。
其中,可以理解的是,裁剪步长可以用于帮助该图像数据处理装置确定出需要裁剪的裁剪像素点的数量。其中,可以理解的是,本申请实施例中的裁剪步长所对应的裁剪比例系数可以为一个较小的值。例如,裁剪比例系数可以为0.002、0.05、0.1、0.3等。可以理解的是,裁剪步长越大,所得到的相应通道的初始色差阈值的速度就越大;但所得到的该初始色差阈值的阈值判断就越粗糙;反之,裁剪步长越小,初始色差阈值的阈值判断就更加准确,但循环次数会增加,比如,会不断增加裁剪步长对应的裁剪比例系数,直到根据增加后的裁剪比例系数所确定的上边界和下边界均满足最优裁剪条件时,可以停止循环,进而可以将满足该最优裁剪条件的相应颜色通道的上边界和下边界统称为颜色通道的初始色差阈值。
其中,步骤S204-步骤S206的具体实现方式可以参见上述图3所对应实施例中对步骤S101的描述,这里将不再继续进行赘述。
步骤S207,根据第一颜色空间中的颜色通道获取第一图像的色偏系数;
步骤S208,确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,确定颜色通道的目标色差阈值;
步骤S209,基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正;
步骤S210,在第一颜色空间中,对像素点在颜色通道上的目标分量进行组合,得到像素点的修正像素值;
其中,颜色通道上的目标分量是通过对颜色通道上的初始分量进行色差修正所得到的;
步骤S211,根据像素点的修正像素值,对第一图像中的对应像素点的像素值进行更新,用更新后的第一图像更新第一场景集合中的首个视频帧。
其中,可以理解的是,上述图像数据处理装置在执行完上述步骤S211之后,若第一场景集合中还包含第二图像,且第二图像为第一场景集合中除第一图像之外的视频帧,则可以进一步执行下述步骤S212。
步骤S212,根据颜色通道的目标色差阈值,对第二图像中的像素点的像素值进行色差修正,用色差修正后的第二图像更新第一场景集合中的第二图像。
为便于理解,本申请实施例进一步的,请参见图10,是本申请实施例对同一场景集合中的每个视频帧进行色差修正的示意图。其中,图10所示的场景集合100a可以为上述第一场景集合,该第一场景集合可以为对上述图2所对应实施例中的第一视频序列中进行场景分割后所得到的关联场景集合中的一个场景集合。如图10所示,该场景集合100a中可以包含多个视频帧,多个视频帧具体可以包含图10所示的视频帧101a、视频帧102a、视频帧103a;其中,视频帧101a可以为该场景集合100a(即第一场景集合)中的首个视频帧,所以,本申请实施例可以将该视频帧101a统称为上述第一图像。然后,该图像数据处理装置可以在第一颜色空间中,执行图10所示的步骤S1,以从第一图像中初步提取得到初始色差阈值(即图10所示的初始色差阈值1)。其中,初始色差阈值1的确定过程中,需要不断优化和调整裁剪步长,将满足最优裁剪条件时的色差阈值称之为初步确定出的初始色差阈值。
如图10所示,图像数据处理装置还可以用于执行步骤S2,以计算该第一图像的色偏系数。在得到该第一图像的色偏系数,以及初始色差阈值1之后,可以执行步骤S3,以最终确定出用于对第一图像进行色差修正的目标色差阈值。如图10所示,该图像数据处理装置在执行完上述步骤S3之后,可以进一步执行上述步骤S4,以根据最终确定出的目标色差阈值,对第一图像中的相应像素坐标上的像素点的像素值进行色差修正,以得到图10所示的视频帧101b。该视频帧101b为对第一图像进行色差修正后所得到的视频帧。其中,本申请实施例所描述的对颜色通道上的初始分量进行线性拉伸具体是指,该图像数据处理装置可以根据上述色差修正公式分别对这些像素点的像素之后在相应颜色通道上的初始分量进行色差修正,这里将不再继续进行赘述。
可以理解的是,由于视频帧102a、视频帧103a和该第一图像(即图像帧101a)属于同一场景集合,所以,本申请实施例可以用将图10所示的视频帧102a、视频帧103统称为上述第二图像,可以理解的是,在同一场景集合所对应的场景下,本申请实施例可以用与该第一图像相关联的目标色差阈值,对视频帧102a和视频帧103a一并进行色差修正,以得到图10所示的视频帧102b和视频帧103b。其中,具体的,本申请实施例可以将图10所示的目标色差阈值分别添加到视频帧102a和视频帧103a的帧头,以便于后续可以通过同一目标色差阈值对这两个视频帧进行色差修正。
可以理解的是,对于上述图2所对应实施例中的每个场景集合中的视频帧的色差修正的具体过程,均可以参见本申请实施例中对场景集合1001a中的每个视频帧进行色差修正的描述,这里将不再继续进行赘述。
其中,可以理解的是,第一视频序列可以为上述用户终端3000b所采集到的视频序列。比如,在直播场景下,该第一视频序列还可以为直播应用中的主播用户所录制的视频序列。可选的,该第一视频序列还可以为上述用户终端3000b通过网络从视频应用对于的业务服务器上所下载得到的视频序列。可以理解的是,本申请实施例所描述的第一视频序列具体可以包含上述业务服务器上所存储的通过多次压缩所得到的视频,还可以包含一些年代比较久远的视频(比如,一些年代比较久远的电影等老片)。可以理解的是,本申请实施例之所以需要对这些年代比较久远的视频中的图像帧进行色差修正,是考虑到当时用于对这些视频进行图像处理的技术不够,进而造成这些视频的整体色调上出现了一定程度的色彩偏差,所以,通过对这些视频中的每个视频帧进行色差修正,可以尽可能地对每个视频帧的色彩进行还原,以提高视频数据的播放效果。
在本申请实施例中,图像数据处理装置在获取到第一图像中的像素点的像素值时,可以根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,初步确定颜色通道的初始色差阈值;进一步的,根据第一颜色空间中的颜色通道获取第一图像的色偏系数;进一步的,确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,最终确定颜色通道的目标色差阈值;进一步的,基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。由此可见,本申请实施例在对第一图像进行色偏修正的过程中,可以通过初步提取到的初始色差阈值和获取到的色偏系数,有效地确定出用于对每个像素点的像素值进行色偏修正的目标色差阈值,进而可以根据最终确定出的目标色差阈值,对颜色通道上的初始分量进行自适应的线性拉伸,以提高色偏修正的准确度。
进一步地,请参见图11,是本申请实施例提供的一种图像数据处理装置的结构示意图。图像数据处理装置1可以应用于上述目标用户终端,该目标用户终端可以为上述图1所对应实施例中的用户终端3000a;可选的,该图像数据处理装置还可以应用于上述业务服务器20000。进一步地,该图像数据处理装置1可以包括:初始色差确定模块10,色偏系数获取模块20,目标色差确定模块30和第一修正模块40;进一步的,该图像数据处理装置1还可以包含:切变标识获取模块50、场景分割模块60、第一图像确定模块70、目标分量组合模块80、图像更新模块90、第二修正模块100;
初始色差确定模块10,用于获取第一图像中的像素点的像素值,根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,确定颜色通道的初始色差阈值;
其中,初始色差确定模块10包括:像素值确定单元101、颜色直方图确定单元102、初始色差确定单元103;
像素值确定单元101,用于获取第一场景集合中的第一图像,确定第一图像中的像素点的像素值;像素点的像素值是由第一颜色空间中的颜色通道上的初始分量进行组合后所确定的;
颜色直方图确定单元102,用于根据像素点的像素值在颜色通道上的初始分量,确定颜色通道的颜色直方图;
其中,颜色直方图确定单元102包括:通道分量子单元1021、直方图确定子单元1022;
通道分量子单元1021,用于在第一颜色空间中,根据颜色通道的数量对像素点的像素值进行分离处理,得到像素点的像素值在颜色通道中的每个颜色通道上的初始分量;
直方图确定子单元1022,用于根据像素点的像素值在每个颜色通道上的初始分量,确定像素点在每个颜色通道上的颜色直方图。
其中,通道分量子单元1021、直方图确定子单元1022的具体实现方式可以参见上述图3所对应实施例中对相应颜色通道的颜色直方图的描述,这里将不再继续进行赘述。
初始色差确定单元103,用于根据颜色通道的颜色直方图以及与第一图像相关联的裁剪步长,确定颜色通道的初始色差阈值。
其中,初始色差确定单元103包括:总数量确定子单元1031、裁剪数量确定子单元1032、边界确定子单元1033、初始阈值确定子单元1034;
总数量确定子单元1031,用于根据第一图像的宽度M和第一图像的长度N,确定第一图像中的像素点的总数量;总数量为M×N;M和N均为正整数;
裁剪数量确定子单元1032,用于将与第一图像相关联的裁剪步长确定为第一裁剪比例系数,根据第一裁剪比例系数与M×N个像素点,确定与颜色通道相关联的裁剪像素点的裁剪数量;裁剪数量为小于M×N的正整数;
边界确定子单元1033,用于根据颜色通道的颜色直方图、裁剪数量,分别确定颜色通道的第一下边界和颜色通道的第一上边界;
其中,边界确定子单元1033包括:裁剪顺序确定子单元10331、第一搜索子单元10332、第二搜索子单元10333;
裁剪顺序确定子单元10331,用于在颜色通道的颜色直方图中,将颜色通道上的初始分量的由小到大的排列顺序确定为第一裁剪顺序,将颜色通道上的初始分量的由大到小的排列顺序确定为第二裁剪顺序;
第一搜索子单元10332,用于在颜色通道的颜色直方图中,根据第一裁剪顺序搜索与裁剪数量匹配的n个像素点,将搜索到n个像素点作为第一裁剪像素点,根据与第一裁剪像素点相关联的初始分量确定颜色通道的第一下边界;
第二搜索子单元10333,用于在颜色通道的颜色直方图中,根据第二裁剪顺序搜索与裁剪数量匹配的n个像素点,将搜索到n个像素点作为第二裁剪像素点,根据与第二裁剪像素点相关联的初始分量确定颜色通道的第一上边界。
其中,裁剪顺序确定子单元10331、第一搜索子单元10332、第二搜索子单元10333的具体实现方式可以参见上述图3所对应实施例中对第一上边界和第一下边界的描述,这里将不再继续进行赘述。
初始阈值确定子单元1034,用于根据颜色通道的第一下边界、颜色通道的第一上边界和第一图像的最优裁剪条件,确定颜色通道的初始色差阈值。
其中,初始阈值确定子单元1034包括:距离确定子单元10341、条件满足子单元10342、阈值确定子单元10343、条件不满足子单元10344、比例增大子单元10345;
距离确定子单元10341,用于根据颜色通道的第一下边界和颜色通道的第一上边界,分别确定与颜色通道相关联的最小边界距离和总裁剪距离;
条件满足子单元10342,用于若最小边界距离小于最优裁剪条件中的第一阈值,且总裁剪距离大于最优裁剪条件中的第二阈值,则确定颜色通道的第一下边界和颜色通道的第一上边界满足最优裁剪条件;
阈值确定子单元10343,用于将颜色通道的第一下边界和颜色通道的第一上边界,作为颜色通道的初始色差阈值。
可选的,条件不满足子单元10344,用于若最小边界距离大于或者等于第一阈值、总裁剪距离小于或者等于第二阈值,则确定颜色通道的第一下边界和颜色通道的第一上边界不满足最优裁剪条件;
比例增大子单元10345,用于将与裁剪步长对应的第一裁剪比例系数增大至第二裁剪比例系数,根据第二裁剪比例系数更新裁剪数量,直到根据更新后的裁剪数量所确定的颜色通道的第二下边界和颜色通道的第二上边界满足最优裁剪条件时,确定颜色通道的初始色差阈值。
其中,距离确定子单元10341、条件满足子单元10342、阈值确定子单元10343、条件不满足子单元10344、比例增大子单元10345的具体实现方式可以参见上述对最优裁剪条件的描述,这里将不再继续进行赘述。
其中,总数量确定子单元1031、裁剪数量确定子单元1032、边界确定子单元1033、初始阈值确定子单元1034的具体实现方式可以参见上述图3所对应实施例中对确定初始色差阈值的具体过程的描述,这里将不再继续进行赘述。
其中,像素值确定单元101、颜色直方图确定单元102、初始色差确定单元103的具体实现方式可以参见上述图3所对应实施例中对步骤S101的描述,这里将不再继续进行赘述。
色偏系数获取模块20,用于根据第一颜色空间中的颜色通道获取第一图像的色偏系数;
其中,色偏系数获取模块20包括:空间转换单元201、等效圆确定单元202、色偏系数确定单元203;
空间转换单元201,用于根据第一颜色空间和第二颜色空间之间的映射关系,将像素点的像素值由第一颜色空间转换成第二颜色空间;第二颜色空间包含第一色度通道和第二色度通道;
等效圆确定单元202,用于在第一色度通道和第二色度通道所构成的色度平面上,确定与第一图像相关联的等效圆;等效圆的圆心坐标是由与第一图像相关联的第一色度均值和第二色度均值所确定的;等效圆的半径是由第一色度均值对应的第一距离值和第二色度均值对应的第二距离值所确定的;
其中,等效圆确定单元202包括:色度分量确定子单元2021、第一均值确定子单元2022、第二均值确定子单元2023、等效圆确定子单元2024;
色度分量确定子单元2021,用于确定像素点的像素值在第一色度通道上的第一色度分量和像素点的像素值在第二色度通道上的第二色度分量;
第一均值确定子单元2022,用于根据第一色度分量和第一图像的图像尺寸,确定与第一图像相关联的第一均值,根据第一色度分量对应的色度直方图和第一色度分量,确定第一均值对应的第一距离值;
第二均值确定子单元2023,用于根据第二色度分量和第一图像的图像尺寸,确定与第一图像相关联的第二均值,根据第二色度分量对应的色度直方图和第二色度分量,确定第二均值对应的第二距离值;
等效圆确定子单元2024,用于在第一色度通道与第二色度通道所构成的色度平面上,将第一均值和第二均值作为与第一图像相关联的圆心坐标,根据第一距离值和第二距离值作为与第一图像相关联的半径,根据圆心坐标和半径,确定与第一图像相关联的等效圆。
其中,色度分量确定子单元2021、第一均值确定子单元2022、第二均值确定子单元2023、等效圆确定子单元2024的具体实现方式可以参见上述图3所对应实施例中对等效圆的描述,这里将不再继续进行赘述。
色偏系数确定单元203,用于将圆心坐标到色度平面的原点坐标之间的坐标距离作为第一图像的平均色度,将半径作为第一图像的色度中心距,根据平均色度与色度中心距,确定第一图像的色偏系数。
其中,空间转换单元201、等效圆确定单元202、色偏系数确定单元203的具体实现方式可以参见上述对步骤S102的描述,这里将不再继续进行赘述。
目标色差确定模块30,用于确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,确定颜色通道的目标色差阈值;
其中,目标色差确定模块30包括:占比系数确定单元301、目标上边界确定单元302、目标下边界确定单元303、目标色差确定单元304;
占比系数确定单元301,用于根据色偏系数变量与阈值占比系数变量之间的映射关系,确定色偏系数对应的阈值占比系数;色偏系数为色偏变量的值,阈值占比系数为阈值占比系数变量的值;
目标上边界确定单元302,用于从颜色通道的第一上边界中获取最大初始色差阈值,根据阈值占比系数、最大初始色差阈值、颜色通道的第一上边界,确定颜色通道的目标上边界;
目标下边界确定单元303,用于从颜色通道的第一下边界中获取最小初始色差阈值,根据阈值占比系数、最小初始色差阈值、颜色通道的第一下边界,确定颜色通道的目标下边界;
目标色差确定单元304,用于将颜色通道的目标上边界和颜色通道的目标下边界作为颜色通道的目标色差阈值。
其中,占比系数确定单元301、目标上边界确定单元302、目标下边界确定单元303、目标色差确定单元304的具体实现方式可以参见上述图3所对应实施例中对步骤S103的描述,这里将不再继续进行赘述。
第一修正模块40,用于基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。
可选的,切变标识获取模块50,用于获取第一视频序列以及第一视频序列中的场景切变标识;
场景分割模块60,用于根据第一视频序列中的场景切变标识,对第一视频序列中的视频帧进行场景分割,得到与第一视频序列相关联的关联场景集合;关联场景集合包含第一场景集合;
第一图像确定模块70,用于在关联场景集合中,将第一场景集合中的首个视频帧作为第一图像。
可选的,目标分量组合模块80,用于在第一颜色空间中,对像素点在颜色通道上的目标分量进行组合,得到像素点的修正像素值;颜色通道上的目标分量是通过对颜色通道上的初始分量进行色差修正所得到的;
图像更新模块90,用于根据像素点的修正像素值,对第一图像中的对应像素点的像素值进行更新,用更新后的第一图像更新第一场景集合中的首个视频帧。
其中,第一场景集合中还包含第二图像,第二图像为第一场景集合中除第一图像之外的视频帧;
第二修正模块100,用于根据颜色通道的目标色差阈值,对第二图像中的像素点的像素值进行色差修正,用色差修正后的第二图像更新第一场景集合中的第二图像。
其中,初始色差确定模块10,色偏系数获取模块20,目标色差确定模块30和第一修正模块40的具体实现方式可以参见上述图3所对应实施例中对步骤S101-步骤S103的描述,这里将不再继续进行赘述;进一步的,切变标识获取模块50、场景分割模块60、第一图像确定模块70、目标分量组合模块80、图像更新模块90、第二修正模块100的具体实现方式可以参见上述图9所对应实施例中对步骤S201-步骤S213的描述,这里将不再继续进行赘述。
可以理解的是,本申请实施例中的图像数据处理装置1可执行前文图3或图9所对应实施例中对图像数据处理方法的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
进一步地,请参见图12,是本申请实施例提供的一种计算机设备的结构示意图。如图12所示,该计算机设备1000可以为上述图1所对应实施例中的用户终端3000a,可选的,该计算机设备1000也可以为上述图1所对应实施例中的业务服务器2000,这里将不对其进行具体限制。该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,该计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1004可以是高速RAM存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
其中,该计算机设备1000中的可选用户接口1003还可以包括显示屏(Display)、键盘(Keyboard)。在图12所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以实现:
获取第一图像中的像素点的像素值,根据像素点的像素值在第一颜色空间中的颜色通道上的初始分量,确定颜色通道的初始色差阈值;
根据第一颜色空间中的颜色通道获取第一图像的色偏系数;
确定色偏系数对应的阈值占比系数,从颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据最大初始色差阈值、最小初始色差阈值、阈值占比系数以及颜色通道的初始色差阈值,确定颜色通道的目标色差阈值;
基于颜色通道的目标色差阈值,对像素点的像素值在颜色通道上的初始分量进行色差修正。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3或图9所对应实施例中对图像数据处理方法的描述,也可执行前文图11所对应实施例中对图像数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机存储介质,且计算机存储介质中存储有前文提及的图像数据处理装置1所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图3或图9所对应实施例中对图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (15)

1.一种图像数据处理方法,其特征在于,包括:
获取第一图像中的像素点的像素值,根据所述像素点的像素值在第一颜色空间中的颜色通道上的初始分量,统计得到所述颜色通道的颜色直方图,基于所述颜色通道的颜色直方图确定所述颜色通道的初始色差阈值;所述颜色通道的初始色差阈值包括第一颜色通道的初始色差阈值、第二颜色通道的初始色差阈值和第三颜色通道的初始色差阈值;所述第一颜色通道的初始色差阈值是根据所述第一颜色通道的上边界和下边界所得到的,且所述第一颜色通道的上边界和下边界是根据所述第一颜色通道的颜色直方图所确定的;所述第二颜色通道的初始色差阈值是根据所述第二颜色通道的上边界和下边界所得到的,且所述第二颜色通道的上边界和下边界是根据所述第二颜色通道的颜色直方图所确定的;所述第三颜色通道的初始色差阈值是根据所述第三颜色通道的上边界和下边界所得到的,且所述第三颜色通道的上边界和下边界是根据所述第三颜色通道的颜色直方图所确定的;
根据所述第一颜色空间中的颜色通道获取所述第一图像的色偏系数;
确定所述色偏系数对应的阈值占比系数,从所述颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据所述最大初始色差阈值、所述最小初始色差阈值、所述阈值占比系数以及所述颜色通道的初始色差阈值,确定所述颜色通道的目标色差阈值;所述阈值占比系数是基于所述色偏系数所对应的色偏变量与所述阈值占比系数所对应的阈值占比变量之间的映射关系所确定的;所述最大初始色差阈值为所述第一颜色通道的上边界、所述第二颜色通道的上边界以及所述第三颜色通道的上边界中的最大者;所述最小初始色差阈值为所述第一颜色通道的下边界、所述第二颜色通道的下边界以及所述第三颜色通道的下边界中的最小者;所述颜色通道的目标色差阈值是由所述颜色通道的目标上边界和目标下边界所确定的;所述颜色通道的目标上边界是由所述最大初始色差阈值、所述阈值占比系数以及所述颜色通道的初始色差阈值所确定的;所述颜色通道的目标下边界是由所述最小初始色差阈值、所述阈值占比系数以及所述颜色通道的初始色差阈值所确定的;
基于所述颜色通道的目标色差阈值,对所述像素点的像素值在所述颜色通道上的初始分量进行色差修正。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一视频序列以及所述第一视频序列中的场景切变标识;
根据所述第一视频序列中的场景切变标识,对所述第一视频序列中的视频帧进行场景分割,得到与所述第一视频序列相关联的关联场景集合;所述关联场景集合包含第一场景集合;
在所述关联场景集合中,将所述第一场景集合中的首个视频帧作为第一图像。
3.根据权利要求2所述的方法,其特征在于,所述获取第一图像中的像素点的像素值,根据所述像素点的像素值在第一颜色空间中的颜色通道上的初始分量,统计得到所述颜色通道的颜色直方图,基于所述颜色通道的颜色直方图确定所述颜色通道的初始色差阈值,包括:
获取所述第一场景集合中的所述第一图像,确定所述第一图像中的像素点的像素值;所述像素点的像素值是由第一颜色空间中的颜色通道上的初始分量进行组合后所确定的;
根据所述像素点的像素值在所述颜色通道上的初始分量,确定所述颜色通道的颜色直方图;
根据所述颜色通道的颜色直方图以及与所述第一图像相关联的裁剪步长,确定所述颜色通道的下边界和上边界,基于所述颜色通道的下边界和上边界确定所述颜色通道的初始色差阈值;所述裁剪步长用于在第一裁剪比例系数时,根据所述第一裁剪比例系数和所述第一图像中的所有像素点的总数量,确定与所述颜色通道相关联的裁剪像素点的裁剪数量;所述颜色通道的下边界是在所述颜色通道的颜色直方图中按照指示方向上的第一裁剪顺序依次裁剪与所述裁剪数量相同个数的像素点后所得到的;所述颜色通道的上边界是在所述颜色通道的颜色直方图中按照另一指示方向上的第二裁剪顺序依次裁剪与所述裁剪数量相同个数的像素点后所得到的。
4.根据权利要求3所述的方法,其特征在于,所述根据所述像素点的像素值在所述颜色通道上的初始分量,确定所述颜色通道的颜色直方图,包括:
在所述第一颜色空间中,根据所述颜色通道的数量对所述像素点的像素值进行分离处理,得到所述像素点的像素值在所述颜色通道中的每个颜色通道上的初始分量;
根据所述像素点的像素值在所述每个颜色通道上的初始分量,确定所述像素点在所述每个颜色通道上的颜色直方图。
5.根据权利要求3所述的方法,其特征在于,所述根据所述颜色通道的颜色直方图以及与所述第一图像相关联的裁剪步长,确定所述颜色通道的下边界和上边界,基于所述颜色通道的下边界和上边界确定所述颜色通道的初始色差阈值,包括:
根据所述第一图像的宽度M和所述第一图像的长度N,确定所述第一图像中的像素点的总数量;所述总数量为M×N;所述M和所述N均为正整数;
在与所述第一图像相关联的裁剪步长为第一裁剪比例系数时,根据所述第一裁剪比例系数与所述M×N个像素点,确定与所述颜色通道相关联的裁剪像素点的裁剪数量;所述裁剪数量为小于所述M×N的正整数;
根据所述颜色通道的颜色直方图、所述裁剪数量,分别确定所述颜色通道的第一下边界和所述颜色通道的第一上边界;所述颜色通道的第一下边界为所述颜色通道的下边界,且所述颜色通道的第一下边界是在所述颜色通道的颜色直方图中以最小颜色分量为起点按照由小到大的顺序依次裁剪与所述裁剪数量相同个数的像素点后所得到的;所述颜色通道的第一上边界为所述颜色通道的上边界,且所述颜色通道的第一上边界是在所述颜色通道的颜色直方图中以最大颜色分量为起点按照由大到小的顺序依次裁剪与所述裁剪数量相同个数的像素点后所得到的;所述由小到大的顺序为以最小颜色分量为起点的指示方向上的所述第一裁剪顺序;所述由大到小的顺序为以最大颜色分量为起点的另指示方向上的所述第二裁剪顺序;
根据所述颜色通道的第一下边界、所述颜色通道的第一上边界和所述第一图像的最优裁剪条件,确定所述颜色通道的初始色差阈值。
6.根据权利要求4所述的方法,其特征在于,所述根据所述每个通道的颜色直方图、所述裁剪数量,确定所述颜色通道的第一下边界和第一上边界,包括:
在所述颜色通道的颜色直方图中,将所述颜色通道上的初始分量的由小到大的排列顺序确定为第一裁剪顺序,将所述颜色通道上的初始分量的由大到小的排列顺序确定为第二裁剪顺序;
在所述颜色通道的颜色直方图中,根据所述第一裁剪顺序搜索与所述裁剪数量匹配的n个像素点,将搜索到n个像素点作为第一裁剪像素点,根据与所述第一裁剪像素点相关联的初始分量确定所述颜色通道的第一下边界;
在所述颜色通道的颜色直方图中,根据所述第二裁剪顺序搜索与所述裁剪数量匹配的n个像素点,将搜索到n个像素点作为第二裁剪像素点,根据与所述第二裁剪像素点相关联的初始分量确定所述颜色通道的第一上边界。
7.根据权利要求4所述的方法,其特征在于,所述根据所述颜色通道的第一下边界、所述颜色通道的第一上边界和所述第一图像的最优裁剪条件,确定所述颜色通道的初始色差阈值,包括:
根据所述颜色通道的第一下边界和所述颜色通道的第一上边界,分别确定与所述颜色通道相关联的最小边界距离和总裁剪距离;
若所述最小边界距离小于最优裁剪条件中的第一阈值,且所述总裁剪距离大于所述最优裁剪条件中的第二阈值,则确定所述颜色通道的第一下边界和所述颜色通道的第一上边界满足所述最优裁剪条件;
将所述颜色通道的第一下边界和所述颜色通道的第一上边界,作为所述颜色通道的初始色差阈值。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
若所述最小边界距离大于或者等于所述第一阈值、所述总裁剪距离小于或者等于所述第二阈值,则确定所述颜色通道的第一下边界和所述颜色通道的第一上边界不满足所述最优裁剪条件;
将与所述裁剪步长对应的所述第一裁剪比例系数增大至第二裁剪比例系数,根据所述第二裁剪比例系数更新所述裁剪数量,直到根据更新后的裁剪数量所确定的所述颜色通道的第二下边界和所述颜色通道的第二上边界满足所述最优裁剪条件时,确定所述颜色通道的初始色差阈值。
9.根据权利要求2所述的方法,其特征在于,所述根据所述第一颜色空间中的颜色通道获取所述第一图像的色偏系数,包括:
根据所述第一颜色空间和第二颜色空间之间的映射关系,将所述像素点的像素值由所述第一颜色空间转换成所述第二颜色空间;所述第二颜色空间包含第一色度通道和第二色度通道;
在所述第一色度通道和所述第二色度通道所构成的色度平面上,确定与所述第一图像相关联的等效圆;所述等效圆的圆心坐标是由与所述第一图像相关联的第一色度均值和第二色度均值所确定的;所述等效圆的半径是由所述第一色度均值对应的第一距离值和所述第二色度均值对应的第二距离值所确定的;
将所述圆心坐标到所述色度平面的原点坐标之间的坐标距离作为所述第一图像的平均色度,将所述半径作为所述第一图像的色度中心距,根据所述平均色度与所述色度中心距,确定所述第一图像的色偏系数。
10.根据权利要求9所述的方法,其特征在于,所述在所述第一色度通道和所述第二色度通道所构成的色度平面上,确定与所述第一图像相关联的等效圆,包括:
确定所述像素点的像素值在所述第一色度通道上的第一色度分量和所述像素点的像素值在所述第二色度通道上的第二色度分量;
根据所述第一色度分量和所述第一图像的图像尺寸,确定与所述第一图像相关联的第一均值,根据所述第一色度分量对应的色度直方图和所述第一色度分量,确定所述第一均值对应的第一距离值;
根据所述第二色度分量和所述第一图像的图像尺寸,确定与所述第一图像相关联的第二均值,根据所述第二色度分量对应的色度直方图和所述第二色度分量,确定所述第二均值对应的第二距离值;
在所述第一色度通道与所述第二色度通道所构成的色度平面上,将所述第一均值和所述第二均值作为与所述第一图像相关联的圆心坐标,根据所述第一距离值和所述第二距离值作为与所述第一图像相关联的半径,根据所述圆心坐标和所述半径,确定与所述第一图像相关联的等效圆。
11.根据权利要求5所述的方法,其特征在于,所述确定所述色偏系数对应的阈值占比系数,从所述颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据所述最大初始色差阈值、所述最小初始色差阈值、所述阈值占比系数、所述颜色通道的初始色差阈值,确定所述颜色通道的目标色差阈值,包括:
根据色偏系数变量与阈值占比系数变量之间的映射关系,确定所述色偏系数对应的阈值占比系数;所述色偏系数为所述色偏变量的值,所述阈值占比系数为所述阈值占比系数变量的值;
从所述颜色通道的第一上边界中获取最大初始色差阈值,根据所述阈值占比系数、所述最大初始色差阈值、所述颜色通道的第一上边界,确定所述颜色通道的目标上边界;
从所述颜色通道的第一下边界中获取最小初始色差阈值,根据所述阈值占比系数、所述最小初始色差阈值、所述颜色通道的第一下边界,确定所述颜色通道的目标下边界;
将所述颜色通道的目标上边界和所述颜色通道的目标下边界作为所述颜色通道的目标色差阈值。
12.根据权利要求2所述的方法,其特征在于,所述方法还包括:
在所述第一颜色空间中,对所述像素点在所述颜色通道上的目标分量进行组合,得到所述像素点的修正像素值;所述颜色通道上的目标分量是通过对所述颜色通道上的初始分量进行色差修正所得到的;
根据所述像素点的修正像素值,对所述第一图像中的对应像素点的像素值进行更新,用更新后的第一图像更新所述第一场景集合中的首个视频帧。
13.根据权利要求12所述的方法,其特征在于,所述第一场景集合中还包含第二图像,所述第二图像为所述第一场景集合中除所述第一图像之外的视频帧;
所述方法还包括:
根据所述颜色通道的目标色差阈值,对所述第二图像中的像素点的像素值进行色差修正,用色差修正后的第二图像更新所述第一场景集合中的第二图像。
14.一种图像数据处理装置,其特征在于,包括:
初始色差确定模块,用于获取第一图像中的像素点的像素值,根据所述像素点的像素值在第一颜色空间中的颜色通道上的初始分量,统计得到所述颜色通道的颜色直方图,基于所述颜色通道的颜色直方图确定所述颜色通道的初始色差阈值;所述颜色通道的初始色差阈值包括第一颜色通道的初始色差阈值、第二颜色通道的初始色差阈值和第三颜色通道的初始色差阈值;所述第一颜色通道的初始色差阈值是根据所述第一颜色通道的上边界和下边界所得到的,且所述第一颜色通道的上边界和下边界是根据所述第一颜色通道的颜色直方图所确定的;所述第二颜色通道的初始色差阈值是根据所述第二颜色通道的上边界和下边界所得到的,且所述第二颜色通道的上边界和下边界是根据所述第二颜色通道的颜色直方图所确定的;所述第三颜色通道的初始色差阈值是根据所述第三颜色通道的上边界和下边界所得到的,且所述第三颜色通道的上边界和下边界是根据所述第三颜色通道的颜色直方图所确定的;
色偏系数获取模块,用于根据所述第一颜色空间中的颜色通道获取所述第一图像的色偏系数;
目标色差确定模块,用于确定所述色偏系数对应的阈值占比系数,从所述颜色通道的初始色差阈值中获取最大初始色差阈值和最小初始色差阈值,根据所述最大初始色差阈值、所述最小初始色差阈值、所述阈值占比系数以及所述颜色通道的初始色差阈值,确定所述颜色通道的目标色差阈值;所述阈值占比系数是基于所述色偏系数所对应的色偏变量与所述阈值占比系数所对应的阈值占比变量之间的映射关系所确定的;所述最大初始色差阈值为所述第一颜色通道的上边界、所述第二颜色通道的上边界以及所述第三颜色通道的上边界中的最大者;所述最小初始色差阈值为所述第一颜色通道的下边界、所述第二颜色通道的下边界以及所述第三颜色通道的下边界中的最小者;所述颜色通道的目标色差阈值是由所述颜色通道的目标上边界和目标下边界所确定的;所述颜色通道的目标上边界是由所述最大初始色差阈值、所述阈值占比系数以及所述颜色通道的初始色差阈值所确定的;所述颜色通道的目标下边界是由所述最小初始色差阈值、所述阈值占比系数以及所述颜色通道的初始色差阈值所确定的;
第一修正模块,用于基于所述颜色通道的目标色差阈值,对所述像素点的像素值在所述颜色通道上的初始分量进行色差修正。
15.一种计算机设备,其特征在于,包括:处理器、存储器和网络接口;
所述处理器与存储器、网络接口相连,其中,网络接口用于提供数据通信功能,所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1-13任一项所述的方法。
CN201911311077.XA 2019-12-18 2019-12-18 一种图像数据处理方法、装置及存储介质 Active CN110996173B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911311077.XA CN110996173B (zh) 2019-12-18 2019-12-18 一种图像数据处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911311077.XA CN110996173B (zh) 2019-12-18 2019-12-18 一种图像数据处理方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110996173A CN110996173A (zh) 2020-04-10
CN110996173B true CN110996173B (zh) 2021-11-05

Family

ID=70095548

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911311077.XA Active CN110996173B (zh) 2019-12-18 2019-12-18 一种图像数据处理方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110996173B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592963B (zh) * 2021-07-08 2024-06-04 深圳Tcl新技术有限公司 图像生成方法、装置、计算机设备和计算机可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3502828B2 (ja) * 1999-11-16 2004-03-02 株式会社日本ソフトウエアプロダクツ コンピュータによる画像処理システム
CN103517049A (zh) * 2013-10-15 2014-01-15 上海交通大学 一种自动白平衡的方法及电路
CN104202596A (zh) * 2014-09-17 2014-12-10 西安电子科技大学 一种应用于智能终端的图像色偏检测方法及系统
CN105208362A (zh) * 2015-09-01 2015-12-30 杭州中威电子股份有限公司 基于灰度平衡原理的图像色偏自动校正方法
CN106572343A (zh) * 2015-10-13 2017-04-19 中兴通讯股份有限公司 一种防偏色方法及终端
CN107945128A (zh) * 2017-11-27 2018-04-20 成都医学院 一种基于Retinex的彩色图像增强方法
CN107993214A (zh) * 2017-12-25 2018-05-04 北京航空航天大学 一种在线抗黄色雾霾色偏自修正的上下界支撑图像增强系统
CN108833875A (zh) * 2018-06-27 2018-11-16 上海安威士科技股份有限公司 一种自动白平衡校正方法
CN109785248A (zh) * 2018-12-19 2019-05-21 新绎健康科技有限公司 一种用于对图像颜色进行校正的方法及系统
CN110087053A (zh) * 2019-04-26 2019-08-02 上海交通大学 自动白平衡校正系统以及校正方法
CN110351542A (zh) * 2019-07-04 2019-10-18 深圳市玩瞳科技有限公司 一种针对视频帧的色彩校正方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050122409A1 (en) * 2003-12-08 2005-06-09 Nikon Corporation Electronic camera having color adjustment function and program therefor

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3502828B2 (ja) * 1999-11-16 2004-03-02 株式会社日本ソフトウエアプロダクツ コンピュータによる画像処理システム
CN103517049A (zh) * 2013-10-15 2014-01-15 上海交通大学 一种自动白平衡的方法及电路
CN104202596A (zh) * 2014-09-17 2014-12-10 西安电子科技大学 一种应用于智能终端的图像色偏检测方法及系统
CN105208362A (zh) * 2015-09-01 2015-12-30 杭州中威电子股份有限公司 基于灰度平衡原理的图像色偏自动校正方法
CN106572343A (zh) * 2015-10-13 2017-04-19 中兴通讯股份有限公司 一种防偏色方法及终端
CN107945128A (zh) * 2017-11-27 2018-04-20 成都医学院 一种基于Retinex的彩色图像增强方法
CN107993214A (zh) * 2017-12-25 2018-05-04 北京航空航天大学 一种在线抗黄色雾霾色偏自修正的上下界支撑图像增强系统
CN108833875A (zh) * 2018-06-27 2018-11-16 上海安威士科技股份有限公司 一种自动白平衡校正方法
CN109785248A (zh) * 2018-12-19 2019-05-21 新绎健康科技有限公司 一种用于对图像颜色进行校正的方法及系统
CN110087053A (zh) * 2019-04-26 2019-08-02 上海交通大学 自动白平衡校正系统以及校正方法
CN110351542A (zh) * 2019-07-04 2019-10-18 深圳市玩瞳科技有限公司 一种针对视频帧的色彩校正方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于Lab色度空间的色偏检测技术研究;江志;《中国优秀硕士学位论文全文数据库-信息科技辑》;20141115;全文 *
基于色偏检测及Green通道的白平衡研究;朱鹏;《中国优秀硕士学位论文全文数据库-信息科技辑》;20170315;全文 *
直方图平移的色彩还原算法研究;黄成强,李天,华贺娟;《液晶与显示》;20161031;全文 *

Also Published As

Publication number Publication date
CN110996173A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
KR101802146B1 (ko) 화상처리장치 및 화상처리방법
US8542929B2 (en) Image processing method and apparatus
US20190313071A1 (en) Dynamic chroma key for video background replacement
CN113284073B (zh) 一种图像修复方法、装置及存储介质
CN114266838B (zh) 图像数据处理方法、装置、电子设备及存储介质
EP3550566A2 (en) Conformance of media content to original camera source using optical character recognition
KR101812103B1 (ko) 썸네일이미지 설정방법 및 설정프로그램
CN112954450A (zh) 视频处理方法、装置、电子设备和存储介质
CN112291634B (zh) 视频处理方法及装置
US20130222621A1 (en) Information processing apparatus, terminal apparatus, image capturing apparatus, information processing method, and information provision method for an image capturing apparatus
CN112884665A (zh) 一种动画播放方法、装置、计算机设备及存储介质
CN112565887A (zh) 一种视频处理方法、装置、终端及存储介质
CN110691246B (zh) 视频编码方法、装置及电子设备
CN110996173B (zh) 一种图像数据处理方法、装置及存储介质
CN111654747B (zh) 弹幕显示方法及装置
CN112752110B (zh) 视频呈现方法及装置、计算设备、存储介质
CN112118494B (zh) 一种视频数据处理方法、装置及存储介质
CN112488933A (zh) 一种视频的细节增强方法、装置、移动终端和存储介质
CN114387440A (zh) 一种视频裁剪方法、装置及存储介质
CN113762058A (zh) 一种视频合成方法、装置、计算机设备和存储介质
CN112807689B (zh) 游戏视频处理方法、装置、电子设备和存储介质
KR102101966B1 (ko) 크로마키 합성장치 및 방법
CN114143447B (zh) 图像处理方法、装置及电子设备
CN116091572B (zh) 获取图像深度信息的方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40022550

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant