CN114979607A - 图像处理方法、图像处理器及电子设备 - Google Patents
图像处理方法、图像处理器及电子设备 Download PDFInfo
- Publication number
- CN114979607A CN114979607A CN202110193643.2A CN202110193643A CN114979607A CN 114979607 A CN114979607 A CN 114979607A CN 202110193643 A CN202110193643 A CN 202110193643A CN 114979607 A CN114979607 A CN 114979607A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- current
- difference value
- scene image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 509
- 238000012937 correction Methods 0.000 claims description 16
- 238000011158 quantitative evaluation Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请提供一种图像处理方法、图像处理器及电子设备,其中,从摄像头获取拍摄场景的当前场景图像,据此确定拍摄场景中的参考对象;基于对应当前场景图像的历史场景图像和当前场景图像获取参考对象的图像属性参数的第一变化趋势;根据第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势,根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数进行图像处理,得到处理后图像。可知,只需对待处理图像的局部进行分析,即可得到用于对待处理图像进行图像处理的处理参数,而无需对待处理图像的全局进行分析,以此,能够有效提升图像处理的效率。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、图像处理器及电子设备。
背景技术
目前,电子设备在拍摄时,通常会对原始拍摄的图像进行处理后再进行输出。比如,白平衡是指在任何光源下,将原本材质为白色的物体图像还原为白色,其对在特定光源下拍摄时出现的偏色现象,通过加强对应的补色来进行处理。然而,相关技术中,进行图像处理的效率较低。
发明内容
本申请实施例提供一种图像处理方法、图像处理器及电子设备,可以提高图像处理的效率。
本申请公开一种图像处理方法,包括:
获取拍摄场景的当前场景图像,并根据所述当前场景图像确定针对所述拍摄场景的参考对象;
根据所述参考对象的图像属性参数的第一变化趋势以及所述图像属性参数和处理参数之间预拟合的相关关系,确定用于处理所述历史场景图像的历史处理参数的第二变化趋势,其中,所述第一变化趋势基于当前场景图像和历史场景图像而确定;
根据所述历史处理参数以及所述第二变化趋势确定用于处理所述当前场景图像的当前处理参数;以及
根据所述当前处理参数对所述当前场景图像进行图像处理,得到处理后图像。
本申请还公开一种图像处理器,包括:
数据接口单元,用于获取拍摄场景的当前场景图像;
第一处理单元,用于根据所述当前场景图像确定针对所述拍摄场景的参考对象;
第二处理单元,用于根据所述参考对象的图像属性参数的第一变化趋势以及所述图像属性参数和处理参数之间预拟合的相关关系,确定用于处理所述历史场景图像的历史处理参数的第二变化趋势,其中,所述第一变化趋势基于当前场景图像和历史场景图像而确定;以及根据所述历史处理参数以及所述第二变化趋势确定用于处理所述当前场景图像的当前处理参数;以及
第三处理单元,用于根据所述当前处理参数对所述当前场景图像进行图像处理,得到处理后图像。
本申请还公开一种电子设备,包括:
摄像头,用于采集拍摄场景的当前场景图像;
图像处理器,用于根据所述当前场景图像确定针对所述拍摄场景的参考对象;以及根据所述参考对象的图像属性参数的第一变化趋势以及所述图像属性参数和处理参数之间预拟合的相关关系,确定用于处理所述历史场景图像的历史处理参数的第二变化趋势,其中,所述第一变化趋势基于当前场景图像和历史场景图像而确定;以及根据所述历史处理参数以及所述第二变化趋势确定用于处理所述当前场景图像的当前处理参数;以及
应用处理器,用于根据所述当前处理参数对所述当前场景图像进行图像处理。
本申请还公开一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过加载所述计算机程序执行如本申请提供的图像处理方法。
本申请从摄像头获取拍摄场景的当前场景图像,据此确定拍摄场景中的参考对象;基于对应当前场景图像的历史场景图像和当前场景图像获取参考对象的图像属性参数的第一变化趋势;根据第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势,根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数进行图像处理,得到处理后图像。可知,只需对待处理图像的局部进行分析,即可得到用于对待处理图像进行图像处理的处理参数,而无需对待处理图像的全局进行分析,以此,能够有效提升图像处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的图像处理器的结构示意图。
图2为本申请实施例中选取的参考对象的示例图。
图3为本申请实施例中进行区域分割的一示例图。
图4为本申请实施例中进行区域分割的另一示例图。
图5为本申请实施例中进行区域分割的又一示例图。
图6为本申请实施例提供的电子设备的一结构示意图。
图7为本申请实施例提供的电子设备的另一结构示意图。
图8为本申请实施例提供的图像处理方法的流程示意图。
图9为本申请实施例中进行白平衡处理的流程示意图。
具体实施方式
请参照图1,图1为本申请实施例提供的图像处理器100的第一种结构示意图。该图像处理器100可包括数据接口单元110、第一处理单元120、第二处理单元130和第三处理单元140,其中,
数据接口单元110用于获取拍摄场景的当前场景图像;
第一处理单元120用于根据当前场景图像确定针对拍摄场景的参考对象;
第二处理单元130用于根据参考对象的图像属性参数的第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势,其中,第一变化趋势基于当前场景图像和历史场景图像而确定;以及根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数;以及
第三处理单元140,用于根据当前处理参数对当前场景图像进行图像处理,得到处理后图像。
应当说明的是,本申请所提供的图像处理器100可以配置在具备摄像头和应用处理器的电子设备中,用于对摄像头拍摄的图像进行图像处理。此处对图像处理的类型不做具体限制,比如可以是白平衡处理、锐化处理以及超分处理等。其中,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等具备摄像头的移动式电子设备,也可以是台式电脑、电视等具备摄像头的固定式电子设备。
本申请实施例对电子设备100所配置的摄像头的类型以及数量不做具体限定,可由本领域普通技术人员根据实际需要进行配置,比如,以焦距作为摄像头类型的划分标准,电子设备配置的摄像头包括但不限于标准摄像头、广角摄像头、超广角摄像头以及长焦摄像头等。
通常的,摄像头由多部分组成,主要包括镜头、马达以及图像传感器等。其中,镜头用于将外界的光信号投射至图像传感器;图像传感器用于将镜头投射的光信号进行光电转换,将光信号转换为可用的电信号,得到原始的图像数据;而马达用于驱动镜头移动,从而调整镜头和图像传感器之间的距离,以满足成像公式(或称透镜成像公式、高斯成像公式等),使得成像清晰。
摄像头的拍摄场景可以理解为摄像头在使能后所对准的区域,即摄像头能够将光信号转换为对应图像数据的区域。比如,电子设备在根据用户操作使能摄像头之后,若用户控制电子设备的摄像头对准一包括某物体的区域,则包括该物体的区域即为摄像头的拍摄场景。
本申请实施例中,数据接口单元110用于获取拍摄场景的当前场景图像,用于后续图像处理。比如,数据接口单元110直接从摄像头获取其采集的拍摄场景的当前场景图像。应当说明的是,本申请实施例中对于数据接口单元110 的实体类型不做具体限制,包括但不限于移动产业处理器接口(Mobile Industry Processor Interface,MIPI)以及PCI-E接口等。
为提升图像处理效率,本申请实施例中并不对整幅当前场景图像进行分析以确定处理参数,而是从当前场景图像中选取参考对象来代表当前场景图像进行分析,其中,可以选取一个参考对象,也可以选取多个参考对象。
相应的,在数据接口单元110从摄像头获取到其采集的拍摄场景的当前场景图像之后,第一处理单元120按照配置的对象确定策略,根据当前场景图像确定针对拍摄场景的参考对象。此处对前述对象确定策略的配置不作具体限制,示例性地,选取的参考对象可以是一像素点(如某一物体的顶点,中心点等等),也可以是多个像素点(如某一物体的边缘,整个物体等等)。
比如,请参照图2,可以选取当前场景图像的两个方向的对角线以及两个方向的中心线上的所有像素点作为参考对象。
此外,第二处理单元130还获取到对应当前场景图像的历史场景图像,其中,历史场景图像即摄像头在拍摄得到前述当前场景图像之前对前述拍摄场景所拍摄得到的图像。应当说明的是,此处获取的历史场景图像可以是与当前场景图像连续的,也可以是非连续的,具体可由本领域普通技术人员根据实际需要进行配置。比如,假设当前场景图像为摄像头在t时刻拍摄得到,第二处理单元130可以获取摄像头在t-1时刻拍摄得到的历史场景图像,也可以获取摄像头在t-2时刻拍摄得到的历史场景图像,还可以获取摄像头在t-3时刻拍摄得到的历史场景图像等等。
如上,第二处理单元130在获取到的当前场景图像的历史场景图像之后,进一步获取参考对象的图像属性参数的变化趋势(包括变化的方向和大小),记为第一变换趋势。应当说明的是,对于获取何种图像属性参数的变化趋势,取决于进行的图像处理类型,具体可由本领域技术人员根据实际需要继续配置,比如,当需要进行白平衡处理时,可以获取亮度的变化趋势,也可以获取色温的变化趋势,还可以获取对比度的变化趋势等等。其中,在确定的参考对象仅包括一个像素点时,第二处理单元130可以直接获取该像素点的图像属性参数的变化趋势;在确定的参考对象包括多个像素点时,第二处理单元130可以获取参考对象包括的每一像素点的图像属性参数的变化趋势,然后将获取到的多个变化趋势的平均值作为参考对象的第一变化趋势。
应当说明的是,本申请实施例中预先拟合图像属性参数和处理参数之间的相关关系。示例性地,对于一未处理的样本图像,可以记录其图像属性参数,并根据专家知识确定用于对该样本图像进行图像处理的处理参数,并记录该处理参数,至此,对于一样本图像,将得到其图像属性参数以及处理参数组成的样本数据对。如此,可以根据多个样本图像,相应获取到多个样本数据对,从而可以根据获取到的多个样本数据对拟合得到图像属性参数和处理参数的相关关系。
相应的,在获取到参考对象的图像属性参数的第一变化趋势之后,第二处理单元130进一步根据第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,即可确定用于处理历史场景图像的历史处理参数的变化趋势,记为第二变化趋势。
可以理解的是,由于历史处理参数是已知的,在确定历史处理参数的第二变化趋势之后,即可根据该历史处理参数以及及其第二变化趋势确定用于处理当前场景图像的当前处理参数。之后,即可由第三处理单元140根据确定的当前处理参数对当前场景图像进行图像处理,得到处理后图像。
比如,假设在t0时刻数据接口单元110获取到当前场景图像为摄像头拍摄的第一个图像,由于此时不存在历史场景图像,第二处理单元130通过预设图像处理算法获取针对当前场景图像的当前处理参数,供第三处理单元140进行图像处理;在t1时刻数据接口单元110获取到当前场景图像,此时t0时刻的当前场景图像即为t1时刻当前场景图像的历史场景图像,第一处理单元110将根据t1 时刻的当前场景图像确定参考对象,并利用该参考对象确定t1时刻的历史场景图像的历史处理参数(即根据预设图像处理算法获取的针对t0时刻的当前场景图像的处理参数)的第二变化趋势,进而根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数,供第三处理单元140进行图像处理。
由上可知,本申请提供的图像处理器,通过数据接口单元获取拍摄场景的当前场景图像,通过第一处理单元根据当前场景图像确定拍摄场景中的参考对象,通过第二处理单元根据对应当前场景图像的历史场景图像和当前场景图像,确定参考对象的图像属性参数的第一变化趋势,以及根据第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势,以及根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数,最后通过第三处理单元根据当前处理参数对当前场景图像进行图像处理,得到处理后图像。将本申请提供的图像处理器应用于电子设备时,使得电子设备可以仅对待处理图像的局部进行分析,即可得到用于对待处理图像进行图像处理的处理参数,而无需对待处理图像的全局进行分析,以此,能够有效提升电子设备进行图像处理的效率。
可选地,在一实施例中,第一处理单元120用于将当前场景图像分割为多个区域;以及根据每一区域的图像属性参数,从每一区域中确定出参考对象。
本申请实施例中,为了更准确地确定针对当前场景图像的处理参数,第一处理单元120从当前场景图像的不同区域确定出多个参考对象。
其中,第一处理单元120在数据接口单元110获取到的摄像头采集的拍摄场景的当前场景图像之后,按照预设的分割策略将当前场景图像分割为多个区域。应当说明的,本申请实施例中对于分割策略的配置不做具体限制,可由本领域技术人员根据实际需要进行配置。示例性地,可以将当前场景图像均匀地分割为多个区域,比如,请参照图3,当前场景图像被均匀地分割为四个区域,分别为区域A、区域B、区域C以及区域D;也可以将当前场景图像随机分割为多个区域,比如,请参照图4,当前场景图像被随机地分割为三个区域,分别为区域E、区域F以及区域G;还可以对当前场景图像进行语义分割,将当前场景图像分割为不同类型的多个区域,比如,请参照图5,当前场景图像被分割为多个不同类型的区域,如图5示出的车、人、道路以及植物等区域。
如上,在将分割为多个区域之后,第一处理单元120进一步以各区域的图像属性参数为依据,从每一区域中确定出参考对象。
可选地,在一实施例中,第一处理单元120用于对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值;以及在存在差异值大于或等于预设差异值的区域时,从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,第一预设数量大于第二预设数量。
本申请实施例中,第一处理单元120在从每一区域中确定出参考对象时,首先按照配置的量化评估策略,对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值。此处对量化评估策略的配置不作具体限制,可由本领域技术人员根据实际需要进行配置。
示例性地,以图像属性参数为亮度为例进行说明。针对一区域,第一处理单元120可以对该区域内每一像素点的亮度进行统计,得到不同亮度值分布的像素点的数量;然后计算该区域内所有像素点的亮度平均值,进一步统计出亮度值与亮度平均值差值大于预设差值的像素点的数量;最后计算亮度值与亮度平均值差值大于预设差值(可由本领域技术人员根据实际需要进行取合适值) 的像素点占全部像素点的百分比,作为该区域的差异值。同理,对于其他类型的图像属性参数,也可采用该量化评估策略进行差异值的量化评估。
如上,对于一区域,在量化评估得到其差异值之后,第一处理单元120 进一步识别是否存在差异值大于或等于预设差异值(可由本领域技术人员根据实际需要取合适值)的区域,若存在,则从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,其中第一预设数量大于第二预设数量。
比如,对于一差异值大于或等于预设差异值的区域,第一处理单元120 可以从其中均匀的选取第一预设数量的像素点,对于选取的每一像素点,以其为中心确定一预设范围(可由本领域技术人员根据实际需要进行配置)的区域作为一参考对象。
应当说明的是,以第一预设数量大于第二预设数量为约束,可由本领域技术人员根据实际需要对第一预设数量和第二预设数量进行取值。
如上,图像属性参数和处理参数之间存在相关参数,对于差异值较大的区域,选择相较于差异值较小的区域更多的参考对象,能够更准确地确定当前场景图像整体的处理参数。
可选地,在一实施例中,第一处理单元120用于获取摄像头的运动方向,以及预测摄像头的运动距离;以及针对差异值大于或等于预设差异值的区域,在与运动方向和运动距离匹配的子区域中确定出第一预设数量的参考对象;以及针对差异值小于预设差异值的区域,在与运动方向和运动距离匹配的子区域中确定出确定出第二预设数量的参考对象。
应当说明的是,本申请实施例中,电子设备配置有运动传感器,第一处理单元120根据该运动传感器的感应到的运动数据进行参考对象的选取。
其中,第一处理单元120首先获取到电子设备中配置的运动传感器所感应到的运动方向以及运动速度,作为摄像头的运动方向和运动速度。然后,根据该运动速度以及当前距离下一场景图像(比如,当前场景图像为摄像头在t0 时刻采集的拍摄场景的图像,下一场景图像即为摄像头在t1时刻采集的拍摄场景的图像)的时间差(即t1-t0),预测得到摄像头采集下一场景图像时的运动距离。
如上,在获取到的摄像头的运动方向,并预测到其运动距离之后,针对差异值大于或等于预设差异值的区域,第一处理单元120在与运动方向和运动距离匹配的子区域中确定出第一预设数量的参考对象;针对差异值小于预设差异值的区域,第一处理单元120在与运动方向和运动距离匹配的子区域中确定出确定出第二预设数量的参考对象。
应当说明的是,对于一区域,其中与运动方向和运动距离匹配的子区域即为下一场景图像仍然存在的部分区域,在该部分区域选择参考对象,能够确保此次确定的处理参数可以有效地应用到下一场景图像的处理中。
可选地,在一实施例中,第二处理单元130用于根据多个参考对象对应的第一变化趋势获取当前场景图像的图像属性参数的整体变化趋势;以及根据整体变化趋势以及预拟合的相关关系,预测第二变化趋势。
本申请实施例中,由于确定了多个参考对象,第二处理单元130在根据参考对象的第一变化趋势确定第二变化趋势时,相应根据多个参考对象的第一变化趋势进行确定。
其中,第二处理单元130首先根据多个参考对象各自对应的第一变化趋势获取当前场景图像的图像属性参数的整体变化趋势,然后再根据该整体变化趋势以及预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势。
应当说明的是,本申请实施例中对于第二处理单元130获取前述整体变化趋势的方式不作具体限制,可由本领域技术人员根据实际需要进行配置。比如,可以计算多个第一变化趋势的平均变化趋势,作为当前场景图像的图像属性参数的整体变化趋势,还可以对多个第一变化趋势进行加权处理,将加权结果作为当前场景图像的图像属性参数的整体变化趋势等等。
可选地,在一实施例中,第一处理单元120还用于删除确定出的参考对象中与历史场景图像的历史参考对象不匹配的参考对象。
本申请实施例中,还根据历史选取的参考对象对当前选取的参考对象进行修正。
如上,第一处理单元120在确定出多个参考对象之后,并不直接由第二处理单元130获取这些参考对象的图像属性参数的第一变化趋势,而是先删除当前确定出的多个参考对象中与历史场景图像的历史参考对象不匹配的参考对象后,再由第二处理单元130获取保留的每一参考对象的图像属性参数的第一变化趋势。
比如,对于当前确定出的一参考对象,第一处理单元120根据历史场景图像及其历史参考对象,识别该参考对象是否被连续预设次(可由本领域技术人员根据实际需要取合适值)选取为历史参考对象,是则判定该参考对象与历史场景图像的历史参考对象匹配,否则不匹配。
可选地,在一实施例中,第一处理单元120还用于在不存在差异值大于或等于预设差异值的区域时,识别当前场景图像的视觉显著区域;以及从视觉显著区域中确定出参考对象。
如上,提供了存在差异值大于或等于预设差异值的区域时的对象选取策略,本申请实施例继续提供不存在差异值大于或等于预设差异值的区域时的对象选取策略。
其中,第一处理单元120在不存在差异值大于或等于预设差异值的区域时,通过预训练的显著区域识别模型识别当前场景图像的视觉显著区域,并从该视觉显著区域中确定出参考对象。比如,第一处理单元120可以从视觉显著区域中均匀选取多个像素点,或者随机选取多个像素点,或者选取视觉显著区域的中心像素点,对于选取的像素点,以其为中心确定一预设范围(可由本领域技术人员根据实际需要进行配置)的区域作为一参考对象。
应当说明的是,本申请实施例中对于显著区域识别模型的模型架构以及训练方式不作具体限制,可由本领域技术人员根据实际需要进行选取,比如,可以采用卷积神经网络模型作为训练显著区域识别模型的基础模型,并采用有监督的训练方式进行训练。
可选地,在一实施例中,为提升进行图像处理的准确度,第三处理单元 140用于通过预设图像处理算法获取针对当前场景图像的参考处理参数;以及根据参考处理参数对当前处理参数进行修正,得到修正处理参数;以及根据修正处理参数对当前场景图像进行图像处理。
本申请实施例中,第三处理单元140在第二处理单元130获取到用于对当前场景图像进行图像处理的当前处理参数之后,并不直接根据该当前处理参数对当前场景图像进行图像处理,而是先通过预设图像处理算法获取针对当前场景图像的处理参数,记为参考处理参数;然后根据该参考处理参数对当前处理参数进行修正,将修正后的当前处理参数记为修正处理参数;最后,根据该修正处理参数对当前场景图像进行图像处理。
比如,以对当前场景图像进行白平衡处理为例,第三处理单元140获取到用于对当前场景图像进行白平衡处理的当前白平衡参数之后,并不直接根据该当前白平衡参数对当前场景图像进行白平衡处理,而是先通过预设白平衡算法获取针对当前场景图像的白平衡参数,记为参考白平衡参数;然后根据该参考白平衡参数对当前白平衡参数进行修正,将修正后的当前白平衡参数记为修正白平衡参数;最后,根据该修正白平衡参数对当前场景图像进行白平衡处理。
应当说明的是,本申请实施例中对于第三处理单元140对当前处理参数的修正方式不作具体限制,可由本领域技术人员根据实际需要进行选取。
可选地,在一实施例中,第三处理单元140用于预测当前处理参数对当前场景图像进行图像处理的第一处理准确度;以及预测参考处理参数对当前场景图像进行图像处理的第二处理准确度;以及根据第一处理准确度和第二处理准确度为当前处理参数分配第一权重,为参考处理参数分配第二权重;以及根据第一权重和第二权重对当前处理参数和参考处理参数进行加权处理,得到修正处理参数。
本申请实施例进一步提供一可选地对当前处理参数进行修正的方式。
其中,第三处理单元140分别预测当前处理参数对当前场景图像进行图像处理的第一处理准确度,以及预测参考处理参数对当前场景图像进行图像处理的第二处理准确度;然后根据第一处理准确度和第二处理准确度为当前处理参数分配第一权重,为参考处理参数分配第二权重;最后根据第一权重和第二权重对当前处理参数和参考处理参数进行加权处理,将加权结果作为修正处理参数。
比如,可以按照如下方式进行权重的分配:
W1=a/(a+b);
W2=b/(a+b);
其中,W1内审第一权重,W2表示第二权重,a表示第一处理准确度,b 表示第二处理准确度。
应当说明的是,本申请实施例中对处理准确度的预测方式不作具体限制,可由本领域技术人员根据实际需要进行配置。比如,以白平衡为例,可以从当前场景图像选取一已知颜色的物体区域;对于当前处理参数,采用当前处理参数对该物体区域进行白平衡处理,获取该物体区域在处理后的颜色与其已知颜色的相似度,作为第一处理准确度;对于参考处理参数,采用参考处理参数对该物体区域进行白平衡处理,获取该物体区域在处理后的颜色与其已知颜色的相似度,作为第二处理准确度。
可选地,在一实施例中,图像属性参数包括亮度、对比度和色温中的至少一种,处理参数包括白平衡参数。
示例性地,当采用了亮度、对比度和色温中的至少两个图像属性参数,第二处理单元130可以确定出每一图像属性参数对应的当前白平衡参数,具体可参照以上实施例中相关描述,此处不再赘述;然后根据确定出的至少两个当前白平衡参数获取用于对当前场景图像进行白平衡处理的目标白平衡参数,并根据根据该目标白平衡参数对当前场景图像进行白平衡处理。
其中,本申请实施例对于第二处理单元130获取目标白平衡参数的方式不作具体限制,可由本领域技术人员根据需要进行配置,比如,第二处理单元 130可以直接将获取到的至少两个当前白平衡参数的平均值作为目标白平衡参数,也可以对获取到的至少两个当前白平衡参数进行加权处理,将加权结果作为目标白平衡参数。
可选地,在一实施例中,数据接口单元110还用于将处理后图像传输至应用处理器。
本申请实施例中,数据接口单元110在第三处理单元140完成对当前场景图像的图像处理,得到处理后图像之后,将处理后图像传输至电子设备的应用处理器,由应用处理器作进一步的图像处理,包括但不限于高动态范围处理、虚化处理等处理方式。
请参照图6,本申请还提供一种电子设备200,如图6所示,该电子设备200 包括:
摄像头210,用于采集拍摄场景的当前场景图像;
图像处理器220,用于根据当前场景图像确定针对拍摄场景的参考对象;以及根据参考对象的图像属性参数的第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势,其中,第一变化趋势基于当前场景图像和历史场景图像而确定;以及根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数;以及
应用处理器230,用于根据当前处理参数对当前场景图像进行图像处理。
应当说明的是,本申请实施例中对于电子设备200的实体展现形式不作具体限制,电子设备200的实体展现形式可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备,也可以是台式电脑、电视等固定式电子设备。
本申请实施例对的摄像头210的类型不做具体限定,比如,以焦距作为类型划分标准,摄像头210可以是标准焦距摄像头、广角摄像头、超广角摄像头以及长焦摄像头等。
摄像头210的拍摄场景可以理解为摄像头210在使能后所对准的区域,即摄像头210能够将光信号转换为对应图像数据的区域。比如,电子设备200在根据用户操作使能摄像头210之后,若用户控制电子设备200的摄像头210对准一包括某物体的区域,则包括该物体的区域即为摄像头210的拍摄场景。
本申请实施例中,摄像头210用于采集的拍摄场景的当前场景图像,供后续图像处理。此处对图像处理的类型不做具体限制,比如可以是白平衡处理、锐化处理以及超分处理等。
为提升图像处理效率,本申请实施例中并不对整幅当前场景图像进行分析以确定处理参数,而是从当前场景图像中选取参考对象来代表当前场景图像进行分析,其中,可以选取一个参考对象,也可以选取多个参考对象。
相应的,图像处理器220在摄像头210采集到拍摄场景的当前场景图像之后,按照配置的对象确定策略,根据当前场景图像确定针对拍摄场景的参考对象。此处对前述对象确定策略的配置不作具体限制,示例性地,选取的参考对象可以是一像素点(如某一物体的顶点,中心点等等),也可以是多个像素点 (如某一物体的边缘,整个物体等等)。
比如,请参照图2,可以选取当前场景图像的两个方向的对角线以及两个方向的中心线上的所有像素点作为参考对象。
此外,图像处理器220还获取到对应当前场景图像的历史场景图像,其中,历史场景图像即摄像头210在拍摄得到前述当前场景图像之前对前述拍摄场景所拍摄得到的图像。应当说明的是,此处获取的历史场景图像可以是与当前场景图像连续的,也可以是非连续的,具体可由本领域普通技术人员根据实际需要进行配置。比如,假设当前场景图像为摄像头210在t时刻拍摄得到,图像处理器220可以获取摄像头210在t-1时刻拍摄得到的历史场景图像,也可以获取摄像头210在t-2时刻拍摄得到的历史场景图像,还可以获取摄像头210在t-3时刻拍摄得到的历史场景图像等等。
如上,图像处理器220在获取到的当前场景图像的历史场景图像之后,进一步获取参考对象的图像属性参数的变化趋势(包括变化的方向和大小),记为第一变换趋势。应当说明的是,对于获取何种图像属性参数的变化趋势,取决于进行的图像处理类型,具体可由本领域技术人员根据实际需要继续配置,比如,当需要进行白平衡处理时,可以获取亮度的变化趋势,也可以获取色温的变化趋势,还可以获取对比度的变化趋势等等。其中,在确定的参考对象仅包括一个像素点时,图像处理器220可以直接获取该像素点的图像属性参数的变化趋势;在确定的参考对象包括多个像素点时,图像处理器220可以获取参考对象包括的每一像素点的图像属性参数的变化趋势,然后将获取到的多个变化趋势的平均值作为参考对象的第一变化趋势。
应当说明的是,本申请实施例中预先拟合图像属性参数和处理参数之间的相关关系。示例性地,对于一未处理的样本图像,可以记录其图像属性参数,并根据专家知识确定用于对该样本图像进行图像处理的处理参数,并记录该处理参数,至此,对于一样本图像,将得到其图像属性参数以及处理参数组成的样本数据对。如此,可以根据多个样本图像,相应获取到多个样本数据对,从而可以根据获取到的多个样本数据对拟合得到图像属性参数和处理参数的相关关系。
相应的,在获取到参考对象的图像属性参数的第一变化趋势之后,图像处理器220进一步根据第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,即可确定用于处理历史场景图像的历史处理参数的变化趋势,记为第二变化趋势。
可以理解的是,由于历史处理参数是已知的,在确定历史处理参数的第二变化趋势之后,图像处理器220即可根据该历史处理参数以及及其第二变化趋势确定用于处理当前场景图像的当前处理参数,之后,应用处理器230根据图像处理器220确定的当前处理参数对当前场景图像进行图像处理,得到处理后图像。
比如,假设在t0时刻的当前场景图像为摄像头210拍摄的第一个图像,由于此时不存在历史场景图像,图像处理器220通过预设图像处理算法获取针对当前场景图像的当前处理参数,供应用处理器230进行图像处理;在t1时刻的当前场景图像为摄像头210拍摄的第二个图像,此时t0时刻的当前场景图像即为t1时刻当前场景图像的历史场景图像,图像处理器220将根据t1时刻的当前场景图像确定参考对象,并利用该参考对象确定t1时刻的历史场景图像的历史处理参数(即根据预设图像处理算法获取的针对t0时刻的当前场景图像的处理参数)的第二变化趋势,进而根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数,供应用处理器230进行图像处理。
可选地,在一实施例中,图像处理器220用于将当前场景图像分割为多个区域;以及根据每一区域的图像属性参数,从每一区域中确定出参考对象。
本申请实施例中,为了更准确地确定针对当前场景图像的处理参数,图像处理器220从当前场景图像的不同区域确定出多个参考对象。
其中,图像处理器220在摄像头210采集到拍摄场景的当前场景图像之后,按照预设的分割策略将当前场景图像分割为多个区域。应当说明的,本申请实施例中对于分割策略的配置不做具体限制,可由本领域技术人员根据实际需要进行配置。示例性地,可以将当前场景图像均匀地分割为多个区域,比如,请参照图3,当前场景图像被均匀地分割为四个区域,分别为区域A、区域B、区域C以及区域D;也可以将当前场景图像随机分割为多个区域,比如,请参照图4,当前场景图像被随机地分割为三个区域,分别为区域E、区域F以及区域G;还可以对当前场景图像进行语义分割,将当前场景图像分割为不同类型的多个区域,比如,请参照图5,当前场景图像被分割为多个不同类型的区域,如图5示出的车、人、道路以及植物等区域。
如上,在将分割为多个区域之后,图像处理器220进一步以各区域的图像属性参数为依据,从每一区域中确定出参考对象。
可选地,在一实施例中,图像处理器220用于对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值;以及在存在差异值大于或等于预设差异值的区域时,从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,第一预设数量大于第二预设数量。
本申请实施例中,图像处理器220在从每一区域中确定出参考对象时,首先按照配置的量化评估策略,对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值。此处对量化评估策略的配置不作具体限制,可由本领域技术人员根据实际需要进行配置。
示例性地,以图像属性参数为亮度为例进行说明。针对一区域,图像处理器220可以对该区域内每一像素点的亮度进行统计,得到不同亮度值分布的像素点的数量;然后计算该区域内所有像素点的亮度平均值,进一步统计出亮度值与亮度平均值差值大于预设差值的像素点的数量;最后计算亮度值与亮度平均值差值大于预设差值(可由本领域技术人员根据实际需要进行取合适值)的像素点占全部像素点的百分比,作为该区域的差异值。同理,对于其他类型的图像属性参数,也可采用该量化评估策略进行差异值的量化评估。
如上,对于一区域,在量化评估得到其差异值之后,图像处理器220进一步识别是否存在差异值大于或等于预设差异值(可由本领域技术人员根据实际需要取合适值)的区域,若存在,则从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,其中第一预设数量大于第二预设数量。
比如,对于一差异值大于或等于预设差异值的区域,图像处理器220可以从其中均匀的选取第一预设数量的像素点,对于选取的每一像素点,以其为中心确定一预设范围(可由本领域技术人员根据实际需要进行配置)的区域作为一参考对象。
应当说明的是,以第一预设数量大于第二预设数量为约束,可由本领域技术人员根据实际需要对第一预设数量和第二预设数量进行取值。
如上,图像属性参数和处理参数之间存在相关参数,对于差异值较大的区域,选择相较于差异值较小的区域更多的参考对象,能够更准确地确定当前场景图像整体的处理参数。
可选地,在一实施例中,图像处理器220用于获取摄像头210的运动方向,以及预测摄像头210的运动距离;以及针对差异值大于或等于预设差异值的区域,在与运动方向和运动距离匹配的子区域中确定出第一预设数量的参考对象;以及针对差异值小于预设差异值的区域,在与运动方向和运动距离匹配的子区域中确定出确定出第二预设数量的参考对象。
应当说明的是,本申请实施例中,电子设备200配置有运动传感器(图中未示出),图像处理器220根据该运动传感器的感应到的运动数据进行参考对象的选取。
其中,图像处理器220首先获取到电子设备中配置的运动传感器所感应到的运动方向以及运动速度,作为摄像头210的运动方向和运动速度。然后,根据该运动速度以及当前距离下一场景图像(比如,当前场景图像为摄像头210 在t0时刻采集的拍摄场景的图像,下一场景图像即为摄像头210在t1时刻采集的拍摄场景的图像)的时间差(即t1-t0),预测得到摄像头210采集下一场景图像时的运动距离。
如上,在获取到的摄像头210的运动方向,并预测到其运动距离之后,针对差异值大于或等于预设差异值的区域,图像处理器220在与运动方向和运动距离匹配的子区域中确定出第一预设数量的参考对象;针对差异值小于预设差异值的区域,图像处理器220在与运动方向和运动距离匹配的子区域中确定出确定出第二预设数量的参考对象。
应当说明的是,对于一区域,其中与运动方向和运动距离匹配的子区域即为下一场景图像仍然存在的部分区域,在该部分区域选择参考对象,能够确保此次确定的处理参数可以有效地应用到下一场景图像的处理中。
可选地,在一实施例中,图像处理器220用于根据多个参考对象对应的第一变化趋势获取当前场景图像的图像属性参数的整体变化趋势;以及根据整体变化趋势以及预拟合的相关关系,预测第二变化趋势。
本申请实施例中,由于确定了多个参考对象,图像处理器220在根据参考对象的第一变化趋势确定第二变化趋势时,相应根据多个参考对象的第一变化趋势进行确定。
其中,图像处理器220首先根据多个参考对象各自对应的第一变化趋势获取当前场景图像的图像属性参数的整体变化趋势,然后再根据该整体变化趋势以及预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势。
应当说明的是,本申请实施例中对于图像处理器220获取前述整体变化趋势的方式不作具体限制,可由本领域技术人员根据实际需要进行配置。比如,可以计算多个第一变化趋势的平均变化趋势,作为当前场景图像的图像属性参数的整体变化趋势,还可以对多个第一变化趋势进行加权处理,将加权结果作为当前场景图像的图像属性参数的整体变化趋势等等。
可选地,在一实施例中,图像处理器220用于删除确定出的参考对象中与历史场景图像的历史参考对象不匹配的参考对象。
本申请实施例中,还根据历史选取的参考对象对当前选取的参考对象进行修正。
如上,图像处理器220在确定出多个参考对象之后,并不直接获取这些参考对象的图像属性参数的第一变化趋势,而是先删除当前确定出的多个参考对象中与历史场景图像的历史参考对象不匹配的参考对象后,再获取保留的每一参考对象的图像属性参数的第一变化趋势。
比如,对于当前确定出的一参考对象,图像处理器220根据历史场景图像及其历史参考对象,识别该参考对象是否被连续预设次(可由本领域技术人员根据实际需要取合适值)选取为历史参考对象,是则判定该参考对象与历史场景图像的历史参考对象匹配,否则不匹配。
可选地,在一实施例中,图像处理器220还用于:
在不存在差异值大于或等于预设差异值的区域时,识别当前场景图像的视觉显著区域;
从视觉显著区域中确定出参考对象。
如上,提供了存在差异值大于或等于预设差异值的区域时的对象选取策略,本申请实施例继续提供不存在差异值大于或等于预设差异值的区域时的对象选取策略。
其中,图像处理器220在不存在差异值大于或等于预设差异值的区域时,通过预训练的显著区域识别模型识别当前场景图像的视觉显著区域,并从该视觉显著区域中确定出参考对象。比如,图像处理器220可以从视觉显著区域中均匀选取多个像素点,或者随机选取多个像素点,或者选取视觉显著区域的中心像素点,对于选取的像素点,以其为中心确定一预设范围(可由本领域技术人员根据实际需要进行配置)的区域作为一参考对象。
应当说明的是,本申请实施例中对于显著区域识别模型的模型架构以及训练方式不作具体限制,可由本领域技术人员根据实际需要进行选取,比如,可以采用卷积神经网络模型作为训练显著区域识别模型的基础模型,并采用有监督的训练方式进行训练。
可选地,在一实施例中,应用处理器230用于通过预设图像处理算法获取针对当前场景图像的参考处理参数;以及根据参考处理参数对当前处理参数进行修正,得到修正处理参数;以及根据修正处理参数对当前场景图像进行图像处理。
本申请实施例中,应用处理器230在图像处理器220获取到用于对当前场景图像进行图像处理的当前处理参数之后,并不直接根据该当前处理参数对当前场景图像进行图像处理,而是先通过预设图像处理算法获取针对当前场景图像的处理参数,记为参考处理参数;然后根据该参考处理参数对当前处理参数进行修正,将修正后的当前处理参数记为修正处理参数;最后,根据该修正处理参数对当前场景图像进行图像处理。
比如,以对当前场景图像进行白平衡处理为例,应用处理器230获取到用于对当前场景图像进行白平衡处理的当前白平衡参数之后,并不直接根据该当前白平衡参数对当前场景图像进行白平衡处理,而是先通过预设白平衡算法获取针对当前场景图像的白平衡参数,记为参考白平衡参数;然后根据该参考白平衡参数对当前白平衡参数进行修正,将修正后的当前白平衡参数记为修正白平衡参数;最后,根据该修正白平衡参数对当前场景图像进行白平衡处理。
应当说明的是,本申请实施例中对于应用处理器230对当前处理参数的修正方式不作具体限制,可由本领域技术人员根据实际需要进行选取。
可选地,在一实施例中,应用处理器230用于预测当前处理参数对当前场景图像进行图像处理的第一处理准确度;以及预测参考处理参数对当前场景图像进行图像处理的第二处理准确度;以及根据第一处理准确度和第二处理准确度为当前处理参数分配第一权重,为参考处理参数分配第二权重;以及根据第一权重和第二权重对当前处理参数和参考处理参数进行加权处理,得到修正处理参数。
本申请实施例进一步提供一可选地对当前处理参数进行修正的方式。
其中,应用处理器230分别预测当前处理参数对当前场景图像进行图像处理的第一处理准确度,以及预测参考处理参数对当前场景图像进行图像处理的第二处理准确度;然后根据第一处理准确度和第二处理准确度为当前处理参数分配第一权重,为参考处理参数分配第二权重;最后根据第一权重和第二权重对当前处理参数和参考处理参数进行加权处理,将加权结果作为修正处理参数。
比如,可以按照如下方式进行权重的分配:
W1=a/(a+b);
W2=b/(a+b);
其中,W1内审第一权重,W2表示第二权重,a表示第一处理准确度,b 表示第二处理准确度。
应当说明的是,本申请实施例中对处理准确度的预测方式不作具体限制,可由本领域技术人员根据实际需要进行配置。比如,以白平衡为例,可以从当前场景图像选取一已知颜色的物体区域;对于当前处理参数,采用当前处理参数对该物体区域进行白平衡处理,获取该物体区域在处理后的颜色与其已知颜色的相似度,作为第一处理准确度;对于参考处理参数,采用参考处理参数对该物体区域进行白平衡处理,获取该物体区域在处理后的颜色与其已知颜色的相似度,作为第二处理准确度。
可选地,在一实施例中,图像属性参数包括亮度、对比度和色温中的至少一种,处理参数包括白平衡参数。
示例性地,当采用了亮度、对比度和色温中的至少两个图像属性参数,应用处理器230可以确定出每一图像属性参数对应的当前白平衡参数,具体可参照以上实施例中相关描述,此处不再赘述;然后根据确定出的至少两个当前白平衡参数获取用于对当前场景图像进行白平衡处理的目标白平衡参数,并根据根据该目标白平衡参数对当前场景图像进行白平衡处理。
其中,本申请实施例对于应用处理器230获取目标白平衡参数的方式不作具体限制,可由本领域技术人员根据需要进行配置,比如,应用处理器230 可以直接将获取到的至少两个当前白平衡参数的平均值作为目标白平衡参数,也可以对获取到的至少两个当前白平衡参数进行加权处理,将加权结果作为目标白平衡参数。
请参照图7,本申请还提供一种电子设备300,如图7所示,该电子设备300可以包括摄像头310、存储器320以及处理器330。本领域技术人员可以理解,图7中示出的电子设备300结构并不构成对电子设备300的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,摄像头310由多部分组成,主要包括镜头、马达以及图像传感器等。其中,镜头用于将外界的光信号投射至图像传感器;图像传感器用于将镜头投射的光信号进行光电转换,将光信号转换为可用的电信号,得到原始的图像数据;而马达用于驱动镜头移动,从而调整镜头和图像传感器之间的距离,以满足成像公式(或称透镜成像公式、高斯成像公式等),使得成像清晰。
存储器320可用于存储计算机程序和数据。存储器320存储的计算机程序中包含有可执行代码。计算机程序可以划分为各种功能模块。处理器330通过运行存储在存储器320的计算机程序,从而执行各种功能应用以及数据处理。
处理器330是电子设备300的控制中心,利用各种接口和线路连接整个电子设备300的各个部分,通过运行或执行存储在存储器320内的计算机程序,以及调用存储在存储器320内的数据,执行电子设备300的各种功能和处理数据,从而对电子设备300进行整体控制。
在本申请实施例中,电子设备300中的处理器330会按照如下的顺序,将一个或一个以上的计算机程序对应的可执行代码加载到存储器320中,并由处理器330来执行从而执行如下步骤:
获取摄像头310采集的拍摄场景的当前场景图像,并根据当前场景图像确定针对拍摄场景的参考对象;
根据参考对象的图像属性参数的第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势,其中,第一变化趋势基于当前场景图像和历史场景图像而确定;
根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数;以及
根据当前处理参数对当前场景图像进行图像处理,得到处理后图像。
可选地,在一实施例中,在根据当前场景图像确定针对拍摄场景的参考对象时,处理器330用于执行:
将当前场景图像分割为多个区域;
根据每一区域的图像属性参数,从每一区域中确定出参考对象。
可选地,在一实施例中,在根据每一区域的图像属性参数,从每一区域中确定出参考对象时,处理器330用于执行:
对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值;
在存在差异值大于或等于预设差异值的区域时,从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,第一预设数量大于第二预设数量。
可选地,在一实施例中,在从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象时,处理器330用于执行:
获取摄像头310的运动方向,以及预测摄像头310的运动距离;
针对差异值大于或等于预设差异值的区域,在与运动方向和运动距离匹配的子区域中确定出第一预设数量的参考对象;
针对差异值小于预设差异值的区域,在与运动方向和运动距离匹配的子区域中确定出确定出第二预设数量的参考对象。
可选地,在一实施例中,在根据参考对象的图像属性参数的第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势时,处理器330用于执行:
根据多个参考对象对应的第一变化趋势获取当前场景图像的图像属性参数的整体变化趋势;
根据整体变化趋势以及预拟合的相关关系,确定第二变化趋势。
可选地,在一实施例中,在根据每一区域的图像属性参数,从每一区域中确定出参考对象之后,处理器330还用于执行:
删除确定出的参考对象中与历史场景图像的历史参考对象不匹配的参考对象。
可选地,在一实施例中,处理器330还用于执行:
在不存在差异值大于或等于预设差异值的区域时,识别当前场景图像的视觉显著区域;
从视觉显著区域中确定出参考对象。
可选地,在一实施例中,在根据当前处理参数对当前场景图像进行图像处理时,处理器330用于执行:
通过预设图像处理算法获取针对当前场景图像的参考处理参数;
根据参考处理参数对当前处理参数进行修正,得到修正处理参数;
根据修正处理参数对当前场景图像进行图像处理。
可选地,在一实施例中,在根据参考处理参数对当前处理参数进行修正,得到修正处理参数时,处理器330用于执行:
预测当前处理参数对当前场景图像进行图像处理的第一处理准确度;
预测参考处理参数对当前场景图像进行图像处理的第二处理准确度;
根据第一处理准确度和第二处理准确度为当前处理参数分配第一权重,为参考处理参数分配第二权重;
根据第一权重和第二权重对当前处理参数和参考处理参数进行加权处理,得到修正处理参数。
可选地,在一实施例中,图像属性参数包括亮度、对比度和色温中的至少一种,处理参数包括白平衡参。
请参照图8,本申请还提供一种图像处理方法,如图8所示,该图像处理方法的流程可以包括:
在410中,获取拍摄场景的当前场景图像,并根据当前场景图像确定针对拍摄场景的参考对象;
在420中,根据参考对象的图像属性参数的第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势,其中,第一变化趋势基于当前场景图像和历史场景图像而确定;
在430中,根据历史处理参数以及第二变化趋势确定用于处理当前场景图像的当前处理参数;以及
在440中,根据当前处理参数对当前场景图像进行图像处理,得到处理后图像。
可选地,在一实施例中,根据当前场景图像确定针对拍摄场景的参考对象,包括:
将当前场景图像分割为多个区域;
根据每一区域的图像属性参数,从每一区域中确定出参考对象。
可选地,在一实施例中,根据每一区域的图像属性参数,从每一区域中确定出参考对象,包括:
对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值;
在存在差异值大于或等于预设差异值的区域时,从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,第一预设数量大于第二预设数量。
可选地,在一实施例中,从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,包括:
获取摄像头的运动方向,以及预测摄像头的运动距离;
针对差异值大于或等于预设差异值的区域,在与运动方向和运动距离匹配的子区域中确定出第一预设数量的参考对象;
针对差异值小于预设差异值的区域,在与运动方向和运动距离匹配的子区域中确定出确定出第二预设数量的参考对象。
可选地,在一实施例中,根据参考对象的图像属性参数的第一变化趋势以及图像属性参数和处理参数之间预拟合的相关关系,确定用于处理历史场景图像的历史处理参数的第二变化趋势,包括:
根据多个参考对象对应的第一变化趋势获取当前场景图像的图像属性参数的整体变化趋势;
根据整体变化趋势以及预拟合的相关关系,确定第二变化趋势。
可选地,在一实施例中,在根据每一区域的图像属性参数,从每一区域中确定出参考对象之后,还包括:
删除确定出的参考对象中与历史场景图像的历史参考对象不匹配的参考对象。
可选地,在一实施例中,本申请提供的图像处理方法还包括:
在不存在差异值大于或等于预设差异值的区域时,识别当前场景图像的视觉显著区域;
从视觉显著区域中确定出参考对象。
可选地,根据当前处理参数对当前场景图像进行图像处理,包括:
通过预设图像处理算法获取针对当前场景图像的参考处理参数;
根据参考处理参数对当前处理参数进行修正,得到修正处理参数;
根据修正处理参数对当前场景图像进行图像处理。
可选地,在一实施例中,根据参考处理参数对当前处理参数进行修正,得到修正处理参数,包括:
预测当前处理参数对当前场景图像进行图像处理的第一处理准确度;
预测参考处理参数对当前场景图像进行图像处理的第二处理准确度;
根据第一处理准确度和第二处理准确度为当前处理参数分配第一权重,为参考处理参数分配第二权重;
根据第一权重和第二权重对当前处理参数和参考处理参数进行加权处理,得到修正处理参数。
可选地,在一实施例中,图像属性参数包括亮度、对比度和色温中的至少一种,处理参数包括白平衡参。
应当说明的是,本申请提供的图像处理方法可由以上实施例中提供的图像处理器或者电子设备执行,具体说明请参照以上实施例中的相关说明,此处不再赘述。
请参照图9,以进行的图像处理为白平衡处理为例进行说明:
从摄像头获取到拍摄场景的当前场景图像;
根据该当前场景图像确定针对拍摄场景的参考对象,并根据历史场景图像的历史参考对象对确定出的参考对象进行修正,比如,删除确定出的参考对象中与历史场景图像的历史参考对象不匹配的参考对象;
根据历史场景图像和当前场景图像,获取参考对象的亮度的第一变化趋势,以及获取参考对象的对比度的第二变化趋势;
根据亮度的第一变化趋势以及亮度和白平衡参数之间预拟合的相关关系,预测历史白平衡参数的第三变化趋势,以及根据对比度的第二变化趋势和白平衡参数之间预拟合的相关关系,预测历史白平衡参数的第四变化趋势,根据第三变化趋势和第四变化趋势获取历史白平衡参数的目标变化趋势,比如,取第三变化趋势和第四变化趋势的平均变化趋势,或者对第三变化趋势和第四变化趋势进行加权等;
根据历史白平衡参数及其目标变化趋势预测当前白平衡参数;
根据当前白平衡参数对当前场景图像进行白平衡处理;
对白平衡处理后的当前场景图像进行其他图像处理,包括但不限于高动态范围处理、虚化处理等;
输出处理后图像,比如将该图像用于预览。
以上对本申请实施例提供的图像处理器、电子设备以及图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请。同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (20)
1.一种图像处理方法,其特征在于,包括:
获取拍摄场景的当前场景图像,并根据所述当前场景图像确定针对所述拍摄场景的参考对象;
根据所述参考对象的图像属性参数的第一变化趋势以及所述图像属性参数和处理参数之间预拟合的相关关系,确定用于处理所述历史场景图像的历史处理参数的第二变化趋势,其中,所述第一变化趋势基于当前场景图像和历史场景图像而确定;
根据所述历史处理参数以及所述第二变化趋势确定用于处理所述当前场景图像的当前处理参数;以及
根据所述当前处理参数对所述当前场景图像进行图像处理,得到处理后图像。
2.如权利要求1所述的图像处理方法,其特征在于,所述根据所述当前场景图像确定针对所述拍摄场景的参考对象,包括:
将所述当前场景图像分割为多个区域;
根据每一区域的图像属性参数,从每一区域中确定出所述参考对象。
3.如权利要求2所述的图像处理方法,其特征在于,所述根据每一区域的图像属性参数,从每一区域中确定出所述参考对象,包括:
对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值;
在存在差异值大于或等于预设差异值的区域时,从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,所述第一预设数量大于所述第二预设数量。
4.如权利要求3所述的图像处理方法,其特征在于,所述从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,以及从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,包括:
获取所述摄像头的运动方向,以及预测所述摄像头的运动距离;
针对差异值大于或等于所述预设差异值的区域,在与所述运动方向和运动距离匹配的子区域中确定出所述第一预设数量的参考对象;
针对差异值小于所述预设差异值的区域,在与所述运动方向和运动距离匹配的子区域中确定出确定出所述第二预设数量的参考对象。
5.如权利要求3所述的图像处理方法,其特征在于,所述根据所述参考对象的图像属性参数的第一变化趋势以及所述图像属性参数和处理参数之间预拟合的相关关系,确定用于处理所述历史场景图像的历史处理参数的第二变化趋势,包括:
根据多个参考对象对应的第一变化趋势获取所述当前场景图像的图像属性参数的整体变化趋势;
根据所述整体变化趋势以及所述预拟合的相关关系,确定所述第二变化趋势。
6.如权利要求3所述的图像处理方法,其特征在于,还包括:
在不存在差异值大于或等于预设差异值的区域时,识别所述当前场景图像的视觉显著区域;
从所述视觉显著区域中确定出所述参考对象。
7.如权利要求2所述的图像处理方法,其特征在于,所述根据每一区域的图像属性参数,从每一区域中确定出所述参考对象之后,还包括:
删除确定出的参考对象中与所述历史场景图像的历史参考对象不匹配的参考对象。
8.如权利要求1所述的图像处理方法,其特征在于,所述根据所述当前处理参数对所述当前场景图像进行图像处理,包括:
通过预设图像处理算法获取针对所述当前场景图像的参考处理参数;
根据所述参考处理参数对所述当前处理参数进行修正,得到修正处理参数;
根据所述修正处理参数对所述当前场景图像进行图像处理。
9.如权利要求8所述的图像处理方法,其特征在于,所述根据所述参考处理参数对所述当前处理参数进行修正,得到修正处理参数,包括:
预测所述当前处理参数对所述当前场景图像进行图像处理的第一处理准确度;
预测所述参考处理参数对所述当前场景图像进行图像处理的第二处理准确度;
根据所述第一处理准确度和所述第二处理准确度为所述当前处理参数分配第一权重,为所述参考处理参数分配第二权重;
根据所述第一权重和所述第二权重对所述当前处理参数和所述参考处理参数进行加权处理,得到所述修正处理参数。
10.如权利要求1所述的图像处理方法,其特征在于,所述图像属性参数包括亮度、对比度和色温中的至少一种,所述处理参数包括白平衡参数。
11.一种图像处理器,其特征在于,包括:
数据接口单元,用于获取拍摄场景的当前场景图像;
第一处理单元,用于根据所述当前场景图像确定针对所述拍摄场景的参考对象;
第二处理单元,用于根据所述参考对象的图像属性参数的第一变化趋势以及所述图像属性参数和处理参数之间预拟合的相关关系,确定用于处理所述历史场景图像的历史处理参数的第二变化趋势,其中,所述第一变化趋势基于当前场景图像和历史场景图像而确定;以及根据所述历史处理参数以及所述第二变化趋势确定用于处理所述当前场景图像的当前处理参数;以及
第三处理单元,用于根据所述当前处理参数对所述当前场景图像进行图像处理,得到处理后图像。
12.如权利要求11所述的图像处理器,其特征在于,所述第一处理单元用于将所述当前场景图像分割为多个区域;以及根据每一区域的图像属性参数,从每一区域中确定出所述参考对象。
13.如权利要求12所述的图像处理器,其特征在于,所述第一处理单元用于对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值;以及在存在差异值大于或等于预设差异值的区域时,从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,所述第一预设数量大于所述第二预设数量。
14.如权利要求13所述的图像处理器。其特征在于,所述第一处理单元用于获取所述摄像头的运动方向,以及预测所述摄像头的运动距离;以及针对差异值大于或等于所述预设差异值的区域,在与所述运动方向和运动距离匹配的子区域中确定出所述第一预设数量的参考对象;以及针对差异值小于所述预设差异值的区域,在与所述运动方向和运动距离匹配的子区域中确定出确定出所述第二预设数量的参考对象。
15.如权利要求13所述的图像处理器,其特征在于,所述第一处理单元还用于在不存在差异值大于或等于预设差异值的区域时,识别所述当前场景图像的视觉显著区域;以及从所述视觉显著区域中确定出所述参考对象。
16.如权利要求12所述的图像处理器,其特征在于,所述第一处理单元还用于删除确定出的参考对象中与所述历史场景图像的历史参考对象不匹配的参考对象。
17.一种电子设备,其特征在于,包括:
摄像头,用于采集拍摄场景的当前场景图像;
图像处理器,用于根据所述当前场景图像确定针对所述拍摄场景的参考对象;以及根据所述参考对象的图像属性参数的第一变化趋势以及所述图像属性参数和处理参数之间预拟合的相关关系,确定用于处理所述历史场景图像的历史处理参数的第二变化趋势,其中,所述第一变化趋势基于当前场景图像和历史场景图像而确定;以及根据所述历史处理参数以及所述第二变化趋势确定用于处理所述当前场景图像的当前处理参数;以及
应用处理器,用于根据所述当前处理参数对所述当前场景图像进行图像处理。
18.如权利要求17所述的电子设备,其特征在于,所述图像处理器用于将所述当前场景图像分割为多个区域;以及根据每一区域的图像属性参数,从每一区域中确定出所述参考对象。
19.如权利要求18所述的电子设备,其特征在于,所述图像处理器用于对每一区域中不同位置处的图像属性参数的差异进行量化评估,得到每一区域的差异值;
在存在差异值大于或等于预设差异值的区域时,从差异值大于或等于预设差异值的区域中确定出第一预设数量的参考对象,从差异值小于预设差异值的区域中确定出第二预设数量的参考对象,所述第一预设数量大于所述第二预设数量。
20.一种电子设备,所述电子设备包括处理器和存储器,所述存储器存储有计算机程序,其特征在于,所述处理器通过加载所述计算机程序执行如权利要求1-10任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110193643.2A CN114979607B (zh) | 2021-02-20 | 2021-02-20 | 图像处理方法、图像处理器及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110193643.2A CN114979607B (zh) | 2021-02-20 | 2021-02-20 | 图像处理方法、图像处理器及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114979607A true CN114979607A (zh) | 2022-08-30 |
CN114979607B CN114979607B (zh) | 2024-04-12 |
Family
ID=82954571
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110193643.2A Active CN114979607B (zh) | 2021-02-20 | 2021-02-20 | 图像处理方法、图像处理器及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114979607B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101178876A (zh) * | 2006-11-10 | 2008-05-14 | 精工爱普生株式会社 | 图像显示控制装置 |
CN103200410A (zh) * | 2013-04-01 | 2013-07-10 | 上海富瀚微电子有限公司 | 白平衡控制方法及其装置 |
CN111182217A (zh) * | 2020-01-07 | 2020-05-19 | 徐梦影 | 一种图像白平衡的处理方法和装置 |
CN112004020A (zh) * | 2020-08-19 | 2020-11-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
US20200412942A1 (en) * | 2018-01-05 | 2020-12-31 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Photographing Method and Device, and Related Electronic Apparatus |
-
2021
- 2021-02-20 CN CN202110193643.2A patent/CN114979607B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101178876A (zh) * | 2006-11-10 | 2008-05-14 | 精工爱普生株式会社 | 图像显示控制装置 |
CN103200410A (zh) * | 2013-04-01 | 2013-07-10 | 上海富瀚微电子有限公司 | 白平衡控制方法及其装置 |
US20200412942A1 (en) * | 2018-01-05 | 2020-12-31 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Photographing Method and Device, and Related Electronic Apparatus |
CN111182217A (zh) * | 2020-01-07 | 2020-05-19 | 徐梦影 | 一种图像白平衡的处理方法和装置 |
CN112004020A (zh) * | 2020-08-19 | 2020-11-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114979607B (zh) | 2024-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
US20210264133A1 (en) | Face location tracking method, apparatus, and electronic device | |
WO2020259118A1 (en) | Method and device for image processing, method and device for training object detection model | |
CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
CN110248097B (zh) | 追焦方法、装置、终端设备、计算机可读存储介质 | |
US6226388B1 (en) | Method and apparatus for object tracking for automatic controls in video devices | |
CN110572573B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
US8977056B2 (en) | Face detection using division-generated Haar-like features for illumination invariance | |
CN113837079B (zh) | 显微镜的自动对焦方法、装置、计算机设备和存储介质 | |
CN110650291B (zh) | 目标追焦方法和装置、电子设备、计算机可读存储介质 | |
CN110580428A (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN110349163B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110191287B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110661977B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
JP7272024B2 (ja) | 物体追跡装置、監視システムおよび物体追跡方法 | |
CN110248101B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN109005367B (zh) | 一种高动态范围图像的生成方法、移动终端及存储介质 | |
CN110855957B (zh) | 图像处理方法及装置、存储介质和电子设备 | |
CN109327626A (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
CN115760912A (zh) | 运动目标跟踪方法、装置、设备及计算机可读存储介质 | |
CN110688926B (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN114979607B (zh) | 图像处理方法、图像处理器及电子设备 | |
US11631183B2 (en) | Method and system for motion segmentation | |
CN110399823B (zh) | 主体跟踪方法和装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |