CN114827430B - 一种图像处理方法、芯片及电子设备 - Google Patents

一种图像处理方法、芯片及电子设备 Download PDF

Info

Publication number
CN114827430B
CN114827430B CN202110071214.8A CN202110071214A CN114827430B CN 114827430 B CN114827430 B CN 114827430B CN 202110071214 A CN202110071214 A CN 202110071214A CN 114827430 B CN114827430 B CN 114827430B
Authority
CN
China
Prior art keywords
image
processed
original
processing chip
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110071214.8A
Other languages
English (en)
Other versions
CN114827430A (zh
Inventor
朱文波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110071214.8A priority Critical patent/CN114827430B/zh
Publication of CN114827430A publication Critical patent/CN114827430A/zh
Application granted granted Critical
Publication of CN114827430B publication Critical patent/CN114827430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622Signal amplitude transition in the zone between image portions, e.g. soft edges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268Signal distribution or switching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、多媒体处理芯片、应用处理芯片及电子设备,电子设备包括多媒体处理芯片,以及与多媒体处理芯片连接的应用处理芯片,方法包括:利用多媒体处理芯片,获取原始图像,并基于原始图像确定待处理图像和图像参数;其中,待处理图像包含原始图像中的全部或部分数据;利用多媒体处理芯片,对待处理图像进行图像压缩,得到第一图像,并对原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,预设图像处理方式至少包括图像格式转换;利用应用处理芯片,对预处理后的图像进行图像压缩,得到第二图像,并根据第一图像和图像参数,对第二图像进行修正融合处理,得到修正后的图像。

Description

一种图像处理方法、芯片及电子设备
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种图像处理方法、多媒体处理芯片、应用处理芯片及电子设备。
背景技术
目前,对于手机、平板电脑等具备常规拍摄功能的电子设备,拍摄得到的最终图像的格式通常默认为联合图像专家组(Joint Photographic Experts Group,JPEG)格式,而对于单反相机、无反相机、高端便携机等专业拍摄设备,不仅支持JPEG格式图像,还支持RAW格式图像。
对于电子设备而言,其可以包含多媒体处理芯片和应用处理芯片,多媒体处理芯片通常需要对图像进行预处理之后,将预处理后的图像传输至应用处理芯片,应用处理芯片从而进一步对预处理的图像进行图像压缩处理。
然而,应用处理芯片处理的图像数据是已经经过各种处理和转换之后的数据,在图像信息和精度上会有一定的损失,并且,图像压缩实际上也是对图像数据的一种压缩,减少了图像信息,因此,最终得到的图像在细节方面表现较差,图像效果较差。
发明内容
本申请实施例提供一种图像处理方法、多媒体处理芯片、应用处理芯片及电子设备,利用原始图像相关的图像处理信息,针对原始图像预处理后再图像压缩得到的图像,进行修正融合,提高了图像效果。
本申请实施例的技术方案是这样实现的:
本申请实施例提供了一种图像处理方法,应用于电子设备,所述电子设备包括多媒体处理芯片,以及与所述多媒体处理芯片连接的应用处理芯片,所述方法包括:
利用所述多媒体处理芯片,获取原始图像,并基于所述原始图像确定待处理图像和图像参数;其中,所述待处理图像包含所述原始图像中的全部或部分数据;
利用所述多媒体处理芯片,对所述待处理图像进行图像压缩,得到第一图像,并对所述原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,所述预设图像处理方式至少包括图像格式转换;
利用所述应用处理芯片,对所述预处理后的图像进行图像压缩,得到第二图像,并根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像。
在上述方法中,所述基于所述原始图像确定待处理图像,包括:
将所述原始图像确定为所述待处理图像;
或者,从所述原始图像中选取出部分图像区域,确定为所述待处理图像。
在上述方法中,所述从所述原始图像中选取出部分图像区域,确定为所述待处理图像,包括:
获取所述原始图像对应的对焦参数;
根据所述对焦参数从所述原始图像中确定出对焦区域;
基于所述对焦区域,从所述原始图像中确定出所述待处理图像。
在上述方法中,所述基于所述对焦区域,从所述原始图像中确定出所述待处理图像,包括:
识别所述对焦区域内包括的对象对应的图像区域,确定为所述待处理图像;
或者,获取所述原始图像对应的深度信息;
根据所述深度信息和所述对焦区域,从所述原始图像中选取出焦平面区域,并将所述焦平面区域确定为所述待处理图像。
在上述方法中,所述将所述原始图像中部分图像区域确定为所述待处理图像,包括:
将所述原始图像中,以焦点为中心的预设范围内的图像区域确定为所述待处理图像。
在上述方法中,所述对所述原始图像按照预设图像处理方式进行预处理,包括:
对所述原始图像进行图像优化处理,得到优化后的图像;
将所述优化后的图像从第一图像格式转换为第二图像格式,得到所述预处理后的图像;其中,所述预处理后的图像的数据量小于所述原始图像的数据量。
在上述方法中,所述基于所述原始图像确定图像参数,包括:
在所述待处理图像为所述原始图像中部分图像区域的情况下,获取所述原始图像中所述待处理图像对应的位置信息;
对所述待处理图像包含的对象进行边缘识别,得到修正关键信息;其中,所述修正关键信息包括所述待处理图像包含的对象的边缘信息、亮度信息、不同颜色分量所占的比重中的至少一个;
将所述修正关键信息和所述位置信息确定为所述图像参数。
在上述方法中,所述根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像,包括:
利用所述位置信息,从所述第二图像中确定出目标图像区域;
利用所述第一图像和所述修正关键信息,对所述第二图像中所述目标图像区域包括的对象的边缘进行修正融合处理,得到所述修正后的图像。
本申请实施例提供了一种多媒体处理芯片,包括:
图像信号处理器,以及与所述图像信号处理器连接的神经网络处理器;
所述图像信号处理器和所述神经网络处理器,用于获取原始图像,对所述原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,所述预设图像处理方式至少包括图像格式转换;
所述神经网络处理器,用于基于所述原始图像确定待处理图像和图像参数;其中,所述待处理图像包含所述原始图像中的全部或部分数据;
所述神经网络处理器包括图像压缩器,所述图像压缩器,用于对所述待处理图像进行图像压缩,得到第一图像;
与所述图像信号处理器连接的第一接口,所述第一接口还与应用处理芯片的第二接口连接,所述图像信号处理器,还用于通过第一接口向所述应用处理芯片传输所述图像参数、第一图像和所述预处理后的图像。
在上述多媒体处理芯片中,所述神经网络处理器,具体用于对所述原始图像进行图像优化处理,得到优化后的图像;
所述图像信号处理器,具体用于将所述优化后的图像从第一图像格式转换为第二图像格式,得到所述预处理后的图像;其中,所述预处理后的图像的数据量小于所述原始图像的数据量。
本申请实施例提供了一种应用处理芯片,包括:
应用处理器,以及与多媒体处理芯片的第一接口连接的第二接口,所述第二接口还与所述应用处理器连接;
所述应用处理器,用于通过所述第二接口,接收从所述多媒体处理芯片的所述第一接口输出的图像参数、第一图像和预处理后的图像;对所述预处理后的图像进行图像压缩,得到第二图像,并根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像。
本申请实施例提供了一种电子设备,包括:
多媒体处理芯片,以及与所述多媒体处理芯片连接的应用处理芯片;
所述多媒体处理芯片,用于获取原始图像,并基于所述原始图像确定待处理图像和图像参数;其中,所述待处理图像包含所述原始图像中的全部或部分数据;对所述待处理图像进行图像压缩,得到第一图像,并对所述原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,所述预设图像处理方式至少包括图像格式转换;
所述应用处理芯片,用于对所述预处理后的图像进行图像压缩,得到第二图像,并根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像。
本申请实施例提供了一种图像处理方法、多媒体处理芯片、应用处理芯片及电子设备,电子设备包括多媒体处理芯片,以及与多媒体处理芯片连接的应用处理芯片,方法包括:利用多媒体处理芯片,获取原始图像,并基于原始图像确定待处理图像和图像参数;其中,待处理图像包含原始图像中的全部或部分数据;利用多媒体处理芯片,对待处理图像进行图像压缩,得到第一图像,并对原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,预设图像处理方式至少包括图像格式转换;利用应用处理芯片,对预处理后的图像进行图像压缩,得到第二图像,并根据第一图像和图像参数,对第二图像进行修正融合处理,得到修正后的图像。本申请实施例提供的技术方案,利用原始图像相关的图像处理信息,针对原始图像预处理后再图像压缩得到的图像,进行修正融合,提高了图像效果。
附图说明
图1为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的一种示例性的照片结构示意图;
图3为本申请实施例提供的一种示例性的图像处理过程示意图;
图4为本申请实施例提供的一种多媒体处理芯片和应用处理芯片的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供了一种图像处理方法,通过电子设备实现,该电子设备可以是手机、平板电脑、单反相机等设备,本申请实施例不作限定。具体的,电子设备包括多媒体处理芯片,以及与多媒体处理芯片连接的应用处理芯片。图1为本申请实施例提供的一种图像处理方法的流程示意图。如图1所示,图像处理方法主要包括以下步骤:
S101、利用多媒体处理芯片,获取原始图像,并基于原始图像确定待处理图像和图像参数;其中,待处理图像包含原始图像中的全部或部分数据。
在本申请的实施例中,电子设备的多媒体处理芯片可以获取原始图像,并基于原始图像确定待处理图像和图像参数。
需要说明的是,在本申请的实施例中,原始图像即后续需要进行图像处理的图像,其可以是RAW格式的图像。电子设备可以包括摄像头,摄像头与多媒体处理芯片连接,这样,摄像头可以采集到原始图像,从而将原始图像传输至多媒体处理芯片,即实现了多媒体处理芯片获取原始图像。
可以理解的是,在本申请的实施例中,多媒体处理芯片的算力足够的情况下,其可以直接将原始图像确定为待处理图像,在多媒体处理芯片的算力有限的情况下,可以基于特定的标准,从原始图像中选取出部分图像区域,即从原始图像中分割出部分区域的图像,作为待处理图像。
具体的,在本申请的实施例中,多媒体处理芯片基于原始图像确定待处理图像,包括:将原始图像确定为待处理图像;或者,从原始图像中选取出部分图像区域,确定为待处理图像。
具体的,在本申请的实施例中,多媒体处理芯片从原始图像中选取出部分图像区域,确定为待处理图像,包括:获取原始图像对应的对焦参数;根据对焦参数从原始图像中确定出对焦区域;基于对焦区域,从原始图像中确定出待处理图像。
需要说明的是,在本申请的实施例中,多媒体处理芯片可以直接获取到原始图像对应的对焦参数,从而可以利用对焦参数,从原始图像中划分出对焦区域。对焦区域即采集原始图像时,锁定期望拍摄的对象所在的区域。具体的对焦区域本申请实施例不作限定。
具体的,在本申请的实施例中,多媒体处理芯片基于对焦区域,从原始图像中确定出待处理图像,包括:识别对焦区域内包括的对象对应的图像区域,确定为待处理图像;或者,获取原始图像对应的深度信息;根据深度信息和对焦区域,从原始图像中选取出焦平面区域,并将焦平面区域确定为待处理图像。
可以理解的是,在本申请的实施例中,原始图像中的对焦区域中可以包括一个或多个对象,即人或物,多媒体处理芯片可以将对焦区域的人和物所在的图像区域,确定为待处理图像。此外,多媒体处理芯片还可以获取原始图像整个图像的深度信息,即获取到原始图像中每个像素点对应的深度值,从而从原始图像中选取出深度与对焦区域的深度相同的焦平面区域作为待处理图像。
具体的,在本申请的实施例中,多媒体处理芯片将原始图像中部分图像区域确定为待处理图像,还可以包括:将原始图像中,以焦点为中心的预设范围内的图像区域确定为待处理图像。
可以理解的是,在本申请的实施例中,多媒体处理芯片还可以将原始图像中焦点周围的一定范围的图像区域直接确定为待处理图像。具体的预设范围可以根据实际需求和应用场景预先设置,本申请实施例不作限定。
需要说明的是,在本申请的实施例中,上述仅为示例性的几种从原始图像中选取部分图像区域作为待处理图像的方式,当然,多媒体处理芯片还可以采用其它的方式从原始图像中进行图像区域选取,例如,将原始图像中预设位置处的图像区域确定为待处理图像。具体的确定待处理图像的方式可以根据实际需求和应用场景确定,本申请实施例不作限定。
需要说明的是,在本申请的实施例中,在原始图像为连续帧图像中的一帧图像的情况下,由于相邻的帧图像的图像数据大部分是相同的,因此,多媒体处理芯片也可以将连续帧图像中,原始图像的相邻帧图像或相邻帧图像中的部分图像确定为待处理图像。
在本申请的实施例中,多媒体处理芯片可以基于原始图像确定图像参数,即多媒体处理芯片可以利用参数提取方式对原始图像进行处理,从而得到原始图像的相关参数,作为图像参数。例如,多媒体处理芯片可以对原始中包括的对象进行边缘识别,或者,在待处理图像为原始图像中部分图像区域的情况下,多媒体处理芯片可以仅对待处理图像中包括的对象进行边缘识别,从而得到对象边缘信息。此外,多媒体处理芯片还可以获取有利用进行细节修复参数的平均亮度、对比度等参数。具体的图像参数本申请实施例不作限定。
具体的,在本申请的实施例中,在待处理图像为原始图像中部分图像区域的情况下,多媒体处理芯片基于原始图像确定图像参数,包括:获取原始图像中待处理图像对应的位置信息;对待处理图像包含的对象进行边缘识别,得到修正关键信息;其中,修正关键信息包括待处理图像包含的对象的边缘信息、亮度信息、不同颜色分量所占的比重中的至少一个;将修正关键信息和位置信息确定为图像参数。
可以理解的是,在本申请的实施例中,在待处理图像为原始图像中部分图像区域的情况下,多媒体处理芯片可以获取该图像区域在原始图像中所处的位置,作为图像参数的一部分,这样,在后续进行图像修正融合时,可以进行图像修正融合范围的选择。
需要说明的是,在本申请的实施例中,多媒体处理芯片在获取到连续帧图像的情况下,对于连续的几帧图像来说,背景变化一般不是很剧烈,图像参数存在一定的共性,因此,对于某一帧图像进行图像处理时,也可以之间将相邻帧的图像参数作为该帧图像的图像参数,从而可以在处理效率方面达到更高的水平。
S102、利用多媒体处理芯片,对待处理图像进行图像压缩,得到第一图像,并对原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,预设图像处理方式至少包括图像格式转换。
在本申请的实施例中,电子设备的多媒体处理芯片在获得待处理图像之后,可以对待处理图像进行图像压缩,从而得到第一图像,并对原始图像按照预设图像处理方式进行预处理,得到预处理后的图像,其中,预设图像处理方式至少包括图像格式转换。
需要说明的是,在本申请的实施例中,多媒体处理芯片对待处理图像进行图像压缩的压缩方式,可以是JPEG编码压缩、PNG编码压缩等,可以根据实际需求确定,本申请实施例不作限定。
示例性的,在本申请的实施例中,多媒体处理芯片对待处理图像进行图像压缩的方式可以是JPEG编码,即多媒体处理芯片可以对待处理图像包括的图像数据进行JPEG编码,从而将编码后的图像确定为第一图像。此外,由于待处理图像包含原始图像中的图像数据,多媒体处理芯片对待处理图像进行JPEG编码得到的第一图像,即为基于原始图像的JPEG格式图像。
需要说明的是,在本申请的实施例中,多媒体处理芯片在得到原始图像之后,可以对原始图像按照预设图像处理方式进行预处理,得到预处理后的图像,其中,预设图像处理方式至少包括图像格式转换,当然,也可以包括其它特定的处理方式,本申请实施例不作限定。
具体的,在本申请的实施例中,多媒体处理芯片对原始图像按照预设图像处理方式进行预处理,包括:对原始图像进行图像优化处理,得到优化后的图像;将优化后的图像从第一图像格式转换为第二图像格式,得到预处理后的图像;其中,预处理后的图像的数据量小于原始图像的数据量。
需要说明的是,在本申请的实施例中,多媒体处理芯片可以先对原始图像利用夜景算法、HDR算法、虚化算法、降噪算法、超分辨率算法,以及语义分割算法中的一个或多个进行图像优化处理,从而得到优化后的图像。具体的图像优化方式可以根据实际需求和应用场景设定,本申请实施例不作限定。
需要说明的是,在本申请的实施例中,优化后的图像的格式为第一图像格式,第二图像格式为与第一图像格式不同的图像格式,具体的第一图像格式取决于优化后的图像本身,第二图像格式可以根据实际需求预设,本申请实施例不作限定。
示例性的,在本申请的实施例中,优化后的图像为RAW图像,即第一图像格式为RAW格式,第二图像格式为YUV格式,因此,多媒体处理芯片可以将优化后的图像从RAW格式转换为YUV格式,从而得到YUV格式的图像。
可以理解的是,在本申请的实施例中,多媒体处理芯片对优化后的图像进行图像格式转换,将损失部分图像信息。例如,将RAW格式的图像转换为YUV格式的图像,表征RAW格式图像的像素点的参数多于YUV格式图像的像素点的参数,即在图像格式转换中损失了表征图像信息的参数。
可以理解的是,在本申请的实施例中,多媒体处理芯片对原始图像进行图像优化处理,得到的优化后的图像相比于原始图像将存在信息损失,之后,对优化后的图像进行图像格式转换,得到的预处理后的图像相比于优化后的图像也存在一定的信息损失,也就是说,预处理后的图像相比于原始图像存在较多的信息损失。
S103、利用应用处理芯片,对预处理后的图像进行图像压缩,得到第二图像,并根据第一图像和图像参数,对第二图像进行修正融合处理,得到修正后的图像。
在本申请的实施例中,电子设备的多媒体处理芯片在获得图像参数、第一图像和预处理后的图像之后,应用处理芯片即可利用应用处理芯片,对预处理后的图像进行图像压缩,得到第二图像,并根据第一图像和图像参数,对第二图像进行修正融合处理,得到修正后的图像。
需要说明的是,在本申请的实施例中,应用处理芯片对预处理后的图像进行图像压缩,一方面,预处理后的图像本身相比于原始图像存在信息损失,主要是因为对原始图像进行优化、图像格式转换的原因,另一方面,应用处理芯片对预处理后的图像进行图像压缩本身也存在一定的信息损失,因此,最终得到的第二图像存在较多信息损失,尤其是在边缘等细节方面与原始图像存在较大误差。
可以理解的是,在本申请的实施例中,应用处理芯片对预处理后的图像进行图像压缩的方式可以为JPEG编码,JPEG编码本身就是一种图像压缩方式,因此,应用处理芯片对预处理后的图像进行JPEG编码得到的第二图像,相比于预处理后的的图像存在一定的误差,而预处理后的的图像相比于原始图像也存在一定的误差,因此,实际上第二图像相比于原始图像存在较大的误差。
需要说明的是,在本申请的实施例中,第一图像和第二图像均为图像压缩后得到的图像,区别在于,第一图像是由原始图像进行图像压缩得到的图像,第二图像是原始图像经过预处理后,再进行图像压缩得到的图像,因此,第一图像的图像效果优于第二图像,从而可以利用第一图像结合图像参数,进行第二图像的修正融合,得到图像效果较好的修正后的图像。
示例性,在本申请的实施例中,原始图像可以为RAW格式的图像,多媒体处理芯片可以采用对原始图像进行JPEG编码,得到第一图像,此外,多媒体处理芯片可以对原始图像进行图像优化后,将优化后的图像从RAW格式转换为YUV格式,得到预处理后的图像,最后,应用处理芯片对预处理后的图像进行JPEG编码,得到第二图像。第一图像与第二图像相比,包含更多原始图像中的细节,因此,应用处理芯片可以利用第一图像和图像参数,对第二图像进行修正融合处理,即调整第二图像中的细节,得到的修正后的图像可以有较好的细节表现。
具体的,在本申请的实施例中,在待处理图像为原始图像中部分图像区域的情况下,图像参数包括原始图像中待处理图像对应的位置信息,以及待处理图像包含的对象的修正关键信息,即待处理图像包含的对象的边缘信息、亮度信息、不同颜色分量所占的比重中的至少一个,应用处理芯片根据第一图像和图像参数,对第二图像进行修正融合处理,得到修正后的图像,包括:利用位置信息,从第二图像中确定出目标图像区域;利用第一图像和修正关键信息,对第二图像中目标图像区域包括的对象的边缘进行修正融合处理,得到修正后的图像。
可以理解的是,在本申请的实施例中,对于待处理图像为原始图像中部分图像区域的情况,即第一图像为原始图像中部分图像区域图像压缩得到的图像,因此,应用处理芯片在进行第二图像修正融合时,需要先根据待处理图像在原始图像中的位置信息,确定出第二图像中对应位置的图像区域,从而结合第一图像和修正关键信息,对该图像区域进行修正融合处理。
需要说明的是,在本申请的实施例中,待处理图像也可以是原始图像,因此,应用处理芯片在进行第二图像修正融合时,可以直接根据第一图像和修正关键信息,对整个第二图像进行修正融合处理。具体的修正融合处理的方式可以根据实际需求和应用场景确定,本申请实施例不作限定。
可以理解的是,在本申请的实施例中,通常图像处理之后的图像容易出现图像包含的对象的边缘模糊的问题,因此,应用处理芯片可以着重修正边缘,当然,也可以根据实际需求和应用场景,修正其它特性的图像数据,本申请实施例不作限定。
需要说明的是,在本申请的实施例中,如图2所示,对于一张完整的照片而言,主要由三部分组成,即:标签信息、缩略图和图像主体。上述修正后的图像实际上仅为图像主体,因此,应用处理芯片在获得目标图像之后,还可以进一步生成修正后的图像对应的标签信息和缩略图,从而与修正后的图像组成一张完整照片。其中,标签信息具体可以是图像的宽、高、曝光参数等信息,缩略图与图像主体的区别仅在于尺寸大小的不同。
图3为本申请实施例提供的一种示例性的图像处理过程的示意图。如图3所示,打开相机之后,多媒体处理芯片即可获取原始图像,原始图像为RAW格式的图像,之后,进行图像参数的获取,此外,计算图像深度信息,以及根据对焦参数确定对焦区域,并基于深度信息和对焦区域,确定原始图像中的焦平面区域,作为重点区域,之后,从原始图像中分割出重点区域的图像数据,即得到待处理图像,以进一步进行JPEG编码,得到第一图像,此外,对原始图像进行优化、图像格式转换后,再进行JPEG编码,得到第二图像,根据第一图像和图像参数,对第二图像融合修正,最后,对得到的修正后的图像进行拍照后处理,即生成标签信息和缩略图,与修正后的图像组成完整的照片。
需要说明的是,在本申请的实施例中,在多媒体处理芯片对原始图像进行图像压缩处理时,可以对整幅图像进行处理,当然也可以有选择的对图像的部分内容进行处理,例如根据图像的特点或是对焦参数来确定进行部分JPEG编码处理的重点区域,在处理完成后将处理之后的数据和处理区域的范围送入应用处理芯片。
需要说明的是,在本申请的实施例中,在将图像参数和基于原始图像进行图像压缩处理的第一图像,由多媒体处理芯片传输到应用处理芯片时可以将数据存放在预处理后的图像的同一块缓存区中进行传输,以减少缓存区的数量和管理的难度。
需要说明的是,在本申请的实施例中,电子设备在获取到连续帧图像的情况下,图像的处理也不一定每一帧都在多媒体处理芯片进行处理,例如,进行JPEG编码的图像压缩,可以每隔2~3帧对一帧进行处理,这样可以在一定程度上降低算法处理和数据传输的压力,当然隔帧处理会导致处理效果不够准确,因此可以根据场景和用户需求动态选择是否隔帧处理以及隔帧的参数。
本申请实施例提供了一种图像处理方法,应用于电子设备,电子设备包括多媒体处理芯片,以及与多媒体处理芯片连接的应用处理芯片,方法包括:利用多媒体处理芯片,获取原始图像,并基于原始图像确定待处理图像和图像参数;其中,待处理图像包含原始图像中的全部或部分数据;利用多媒体处理芯片,对待处理图像进行图像压缩,得到第一图像,并对原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,预设图像处理方式至少包括图像格式转换;利用应用处理芯片,对预处理后的图像进行图像压缩,得到第二图像,并根据第一图像和图像参数,对第二图像进行修正融合处理,得到修正后的图像。本申请实施例提供的方法,利用原始图像相关的图像处理信息,针对原始图像预处理后再图像压缩得到的图像,进行修正融合,提高了图像效果。
本申请实施例还提供了一种多媒体处理芯片。如图4所示,多媒体处理芯片1包括:
图像信号处理器10,以及与所述图像信号处理器10连接的神经网络处理器11;
所述图像信号处理器10和所述神经网络处理器11,用于获取原始图像,对所述原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,所述预设图像处理方式至少包括图像格式转换;
所述神经网络处理器11,用于基于所述原始图像确定待处理图像和图像参数;其中,所述待处理图像包含所述原始图像中的全部或部分数据;
所述神经网络处理器11包括图像压缩器110,所述图像压缩器110,用于对所述待处理图像进行图像压缩,得到第一图像;
与所述图像信号处理器10连接的第一接口12,所述第一接口12还与应用处理芯片2的第二接口21连接,所述图像信号处理器10,还用于通过第一接口12向所述应用处理芯片2传输所述图像参数、第一图像和所述预处理后的图像。
在本申请一实施例中,所述神经网络处理器11,具体用于对所述原始图像进行图像优化处理,得到优化后的图像;
所述图像信号处理器10,具体用于将所述优化后的图像从第一图像格式转换为第二图像格式,得到所述预处理后的图像;其中,所述预处理后的图像的数据量小于所述原始图像的数据量。
需要说明的是,在本申请的实施例中,如图4所示,多媒体处理芯片1还可包括:第三接口13、第一系统总线14和第一存储器15。其中,第三接口13可以与外部摄像头3和图像信号处理器10分别连接,从而多媒体处理芯片1能够通过第三接口13接收到摄像头3采集的原始图像,并传输至图像信号处理器10,此外,第一系统总线14可以实现图像信号处理器10、神经网络处理器11和第一存储器15之间的连接,这样,图像信号处理器10可以将原始图像通过第一系统总线14传输至神经网络处理器11,神经网络处理器11从而可以根据原始图像待处理图像的确定、图像参数的提取、待处理图像压缩、以及原始图像优化等处理,从而将得到的图像参数、第一图像和优化后的图像存储至第一存储器15,图像信号处理器10通过读取第一存储器15中的优化后的图像进行图像格式转换,得到预处理后的图像,并将预处理后的图像、第一图像和图像参数传输至应用处理芯片2。
本申请实施例还提供了一种应用处理芯片。如图4所示,应用处理芯片2包括:
应用处理器20,以及与多媒体处理芯片1的第一接口12连接的第二接口21,所述第二接口21还与所述应用处理器20连接;
所述应用处理器20,用于通过所述第二接口21,接收从所述多媒体处理芯片的所述第一接口12输出的图像参数、第一图像和预处理后的图像;对所述预处理后的图像进行图像压缩,得到第二图像,并根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像。
需要说明的是,在本申请的实施例中,如图4所示,应用处理芯片2还包括第二系统总线22和第二存储器23,第二系统总线22可以实现第二接口21、第二存储器23和应用处理器20之间的通信连接。
本申请实施例还提供了一种电子设备。图5为本申请实施例提供的一种电子设备的结构示意图。如图5所示,电子设备包括:多媒体处理芯片1,以及与所述多媒体处理芯片1连接的应用处理芯片2;
所述多媒体处理芯片1,用于获取原始图像,并基于所述原始图像确定待处理图像和图像参数;其中,所述待处理图像包含所述原始图像中的全部或部分数据;对所述待处理图像进行图像压缩,得到第一图像,并对所述原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,所述预设图像处理方式至少包括图像格式转换;
所述应用处理芯片2,用于对所述预处理后的图像进行图像压缩,得到第二图像,并根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像。
需要说明的是,在本申请的实施例中,如图5所示,电子设备还可以包括与多媒体处理芯片1连接的摄像头3,从而将采集到的原始图像传输至多媒体处理芯片1。
需要说明的是,在本申请的实施例中,具体的多媒体处理芯片1和应用处理芯片2的结构和连接关系如图4所示。
本领域内的技术人员应明白,本申请的实施例可提供为方法、芯片、或电子设备。因此,本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。
本申请是参照根据本申请实施例的方法、芯片、和电子设备的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本实用申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种图像处理方法,其特征在于,应用于电子设备,所述电子设备包括多媒体处理芯片,以及与所述多媒体处理芯片连接的应用处理芯片,所述方法包括:
利用所述多媒体处理芯片,获取原始图像,并基于所述原始图像确定待处理图像和图像参数;其中,所述待处理图像包含所述原始图像中的全部或部分数据;
利用所述多媒体处理芯片,对所述待处理图像进行图像压缩,得到第一图像,并对所述原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,所述预设图像处理方式至少包括图像格式转换;
利用所述应用处理芯片,对所述预处理后的图像进行图像压缩,得到第二图像,并根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述原始图像确定待处理图像,包括:
将所述原始图像确定为所述待处理图像;
或者,从所述原始图像中选取出部分图像区域,确定为所述待处理图像。
3.根据权利要求2所述的方法,其特征在于,所述从所述原始图像中选取出部分图像区域,确定为所述待处理图像,包括:
获取所述原始图像对应的对焦参数;
根据所述对焦参数从所述原始图像中确定出对焦区域;
基于所述对焦区域,从所述原始图像中确定出所述待处理图像。
4.根据权利要求3所述的方法,其特征在于,所述基于所述对焦区域,从所述原始图像中确定出所述待处理图像,包括:
识别所述对焦区域内包括的对象对应的图像区域,确定为所述待处理图像;
或者,获取所述原始图像对应的深度信息;
根据所述深度信息和所述对焦区域,从所述原始图像中选取出焦平面区域,并将所述焦平面区域确定为所述待处理图像。
5.根据权利要求2所述的方法,其特征在于,所述将所述原始图像中部分图像区域确定为所述待处理图像,包括:
将所述原始图像中,以焦点为中心的预设范围内的图像区域确定为所述待处理图像。
6.根据权利要求1所述的方法,其特征在于,所述对所述原始图像按照预设图像处理方式进行预处理,包括:
对所述原始图像进行图像优化处理,得到优化后的图像;
将所述优化后的图像从第一图像格式转换为第二图像格式,得到所述预处理后的图像;其中,所述预处理后的图像的数据量小于所述原始图像的数据量。
7.根据权利要求1所述的方法,其特征在于,所述基于所述原始图像确定图像参数,包括:
在所述待处理图像为所述原始图像中部分图像区域的情况下,获取所述原始图像中所述待处理图像对应的位置信息;
对所述待处理图像包含的对象进行边缘识别,得到修正关键信息;其中,所述修正关键信息包括所述待处理图像包含的对象的边缘信息、亮度信息、不同颜色分量所占的比重中的至少一个;
将所述修正关键信息和所述位置信息确定为所述图像参数。
8.根据权利要求7所述的方法,其特征在于,所述根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像,包括:
利用所述位置信息,从所述第二图像中确定出目标图像区域;
利用所述第一图像和所述修正关键信息,对所述第二图像中所述目标图像区域包括的对象的边缘进行修正融合处理,得到所述修正后的图像。
9.一种多媒体处理芯片,其特征在于,包括:
图像信号处理器,以及与所述图像信号处理器连接的神经网络处理器;
所述图像信号处理器和所述神经网络处理器,用于获取原始图像,对所述原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,所述预设图像处理方式至少包括图像格式转换;
所述神经网络处理器,用于基于所述原始图像确定待处理图像和图像参数;其中,所述待处理图像包含所述原始图像中的全部或部分数据;
所述神经网络处理器包括图像压缩器,所述图像压缩器,用于对所述待处理图像进行图像压缩,得到第一图像;
与所述图像信号处理器连接的第一接口,所述第一接口还与应用处理芯片的第二接口连接,所述图像信号处理器,还用于通过第一接口向所述应用处理芯片传输所述图像参数、第一图像和所述预处理后的图像。
10.根据权利要求9所述的多媒体处理芯片,其特征在于,
所述神经网络处理器,具体用于对所述原始图像进行图像优化处理,得到优化后的图像;
所述图像信号处理器,具体用于将所述优化后的图像从第一图像格式转换为第二图像格式,得到所述预处理后的图像;其中,所述预处理后的图像的数据量小于所述原始图像的数据量。
11.一种应用处理芯片,其特征在于,包括:
应用处理器,以及与多媒体处理芯片的第一接口连接的第二接口,所述第二接口还与所述应用处理器连接;
所述应用处理器,用于通过所述第二接口,接收从所述多媒体处理芯片的所述第一接口输出的图像参数、第一图像和预处理后的图像;对所述预处理后的图像进行图像压缩,得到第二图像,并根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像;
所述第一图像是通过所述多媒体处理芯片对待处理图像进行图像压缩得到的;所述待处理图像和所述图像参数是通过所述多媒体处理芯片获取原始图像,并基于所述原始图像确定的;其中,所述待处理图像包含所述原始图像中的全部或部分数据;所述预处理后的图像是通过所述多媒体处理芯片对所述原始图像按照预设图像处理方式进行预处理得到的;其中,所述预设图像处理方式至少包括图像格式转换。
12.一种电子设备,其特征在于,包括:多媒体处理芯片,以及与所述多媒体处理芯片连接的应用处理芯片;
所述多媒体处理芯片,用于获取原始图像,并基于所述原始图像确定待处理图像和图像参数;其中,所述待处理图像包含所述原始图像中的全部或部分数据;对所述待处理图像进行图像压缩,得到第一图像,并对所述原始图像按照预设图像处理方式进行预处理,得到预处理后的图像;其中,所述预设图像处理方式至少包括图像格式转换;
所述应用处理芯片,用于对所述预处理后的图像进行图像压缩,得到第二图像,并根据所述第一图像和所述图像参数,对所述第二图像进行修正融合处理,得到修正后的图像。
CN202110071214.8A 2021-01-19 2021-01-19 一种图像处理方法、芯片及电子设备 Active CN114827430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110071214.8A CN114827430B (zh) 2021-01-19 2021-01-19 一种图像处理方法、芯片及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110071214.8A CN114827430B (zh) 2021-01-19 2021-01-19 一种图像处理方法、芯片及电子设备

Publications (2)

Publication Number Publication Date
CN114827430A CN114827430A (zh) 2022-07-29
CN114827430B true CN114827430B (zh) 2024-05-21

Family

ID=82525311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110071214.8A Active CN114827430B (zh) 2021-01-19 2021-01-19 一种图像处理方法、芯片及电子设备

Country Status (1)

Country Link
CN (1) CN114827430B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
WO2019172723A1 (ko) * 2018-03-08 2019-09-12 삼성전자 주식회사 이미지 센서와 연결된 인터페이스 및 복수의 프로세서들간에 연결된 인터페이스를 포함하는 전자 장치
CN110771159A (zh) * 2018-09-26 2020-02-07 深圳市大疆创新科技有限公司 图像处理系统和图像处理方法
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备
CN111601019A (zh) * 2020-02-28 2020-08-28 北京爱芯科技有限公司 图像数据处理模组及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102386385B1 (ko) * 2017-07-21 2022-04-15 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 압축 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172723A1 (ko) * 2018-03-08 2019-09-12 삼성전자 주식회사 이미지 센서와 연결된 인터페이스 및 복수의 프로세서들간에 연결된 인터페이스를 포함하는 전자 장치
CN111418201A (zh) * 2018-03-27 2020-07-14 华为技术有限公司 一种拍摄方法及设备
CN110771159A (zh) * 2018-09-26 2020-02-07 深圳市大疆创新科技有限公司 图像处理系统和图像处理方法
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN111601019A (zh) * 2020-02-28 2020-08-28 北京爱芯科技有限公司 图像数据处理模组及电子设备

Also Published As

Publication number Publication date
CN114827430A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
EP3471395B1 (en) Method and electronic device for processing raw image acquired through camera by using external electronic device
CN112150399B (zh) 基于宽动态范围的图像增强方法及电子设备
CN109671106B (zh) 一种图像处理方法、装置与设备
CN102257531B (zh) 高动态范围图像组合
US8675984B2 (en) Merging multiple exposed images in transform domain
EP3707671B1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
CN110264473B (zh) 基于多帧图像的图像处理方法、装置及电子设备
EP4254964A1 (en) Image processing method and apparatus, device, and storage medium
CN104918027A (zh) 用于生成数字处理图片的方法、电子装置和服务器
WO2020029679A1 (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
US11393078B2 (en) Electronic device and method for correcting image on basis of image transmission state
CN114827430B (zh) 一种图像处理方法、芯片及电子设备
US10922796B2 (en) Method of presenting wide dynamic range images and a system employing same
CN116437222B (zh) 图像处理方法与电子设备
US20240113891A1 (en) Image processing apparatus and method
CN115330633A (zh) 图像色调映射方法及装置、电子设备、存储介质
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
CN109582811B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP2021118403A (ja) 画像処理装置、その制御方法、プログラム並びに画像処理システム
CN117135468B (zh) 图像处理方法及电子设备
CN114845036B (zh) 电子设备、图像处理器、应用处理器及图像处理方法
WO2023040540A1 (zh) 图像处理芯片、应用处理芯片、电子设备和图像处理方法
US20240062339A1 (en) Photographing system and method of image fusion
CN118247194A (zh) 图像处理方法及装置、计算机可读介质和电子设备
WO2020181540A1 (zh) 一种视频处理方法、装置、编码设备及解码设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant