CN113744139A - 图像处理方法、装置、电子设备及存储介质 - Google Patents
图像处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113744139A CN113744139A CN202010478295.9A CN202010478295A CN113744139A CN 113744139 A CN113744139 A CN 113744139A CN 202010478295 A CN202010478295 A CN 202010478295A CN 113744139 A CN113744139 A CN 113744139A
- Authority
- CN
- China
- Prior art keywords
- image
- target image
- preview
- processing chip
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 386
- 238000003672 processing method Methods 0.000 title claims abstract description 31
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000004590 computer program Methods 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 description 61
- 238000004422 calculation algorithm Methods 0.000 description 32
- 238000001514 detection method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000003705 background correction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004540 process dynamic Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Abstract
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质,其中,图像处理芯片获取多帧预览图像;根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;当检测到所述目标图像满足预设清晰度要求时,对目标图像进行增强处理;将处理后的目标图像发送至所述应用处理芯片,使得应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。以此,电子设备在进行拍照操作时,可以通过图像处理芯片从多帧预览图像中确定出目标图像,并将目标图像发送至应用处理芯片处理之前,先交由图像处理芯片进行增强处理,以提升目标图像的图像质量。
Description
技术领域
本申请涉及图像处理技术领域,特别涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
随着移动终端的发展,采用移动终端进行拍摄越来越普遍,移动终端的拍摄能力也逐渐成为用户的主要关注点。一般的移动终端都具有获取图像的图像传感器,可以进行图像处理的图像处理芯片、以及应用处理芯片。移动终端通过图像处理芯片和应用处理芯片共同对图像传感器获取的图像进行处理,以提高拍摄图像的质量。
但现有的图像处理芯片的处理能力有限,使得移动终端的拍照效果仍然不佳。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备及存储介质,可以提高拍照图像的质量。
第一方面,本申请实施提供了一种图像处理方法,应用于图像处理芯片,所述图像处理芯片用于对图像数据进行处理,并将处理后的图像发送至应用处理芯片,所述图像处理方法包括:
获取多帧预览图像;
根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;
当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;
将处理后的目标图像发送至所述应用处理芯片,使得所述应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。
第二方面,本申请实施例提供了一种图像处理装置,应用于图像处理芯片,所述图像处理芯片用于对图像数据进行处理,并将处理后的图像发送至应用处理芯片,所述图像处理装置包括:
获取模块,用于获取多帧预览图像;
确定模块,用于根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;
处理模块,用于当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;
发送模块,用于将处理后的目标图像发送至所述应用处理芯片,使得所述应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。
第三方面,本申请实施提供了一种存储介质,其上存储有计算机程序,当所述计算机程序在处理器上运行时,使得所述处理器执行本申请任一实施例提供的图像处理方法。
第四方面,本申请实施提供了一种电子设备,包括图像处理芯片和应用处理芯片;
所述图像处理芯片被配置为:
获取多帧预览图像;
根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;
当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;
将处理后的目标图像发送至所述应用处理芯片;
所述应用处理芯片被配置为:
接收所述图像处理芯片发送的处理后的目标图像,并对所述处理后的目标图像进行再次处理。
由上可知,本申请实施例中,图像处理芯片获取多帧预览图像;根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;当检测到所述目标图像满足预设清晰度要求时,对目标图像进行增强处理;将处理后的目标图像发送至所述应用处理芯片,使得应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。以此,电子设备在进行拍照操作时,可以通过图像处理芯片从多帧预览图像中确定出目标图像,并将目标图像发送至应用处理芯片处理之前,先交由图像处理芯片进行增强处理,以提升目标图像的图像质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的电子设备的第一种结构示意图。
图2为本申请实施例提供的图像处理方法的流程示意图。
图3为本申请实施例提供的图像处理方法的另一流程示意图。
图4为本申请实施例提供的图像处理装置的结构示意图。
图5为本申请实施例提供的电子设备的第二种结构示意图。
图6为本申请实施例提供的电子设备的第三种结构示意图。
图7为本申请实施例提供的电子设备的第四种结构示意图。
图8为本申请实施例提供的电子设备的第五种结构示意图。
具体实施例
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
请参阅图1,图1为本申请实施例提供的电子设备的第一种结构示意图。电子设备100可以是便携式设备,诸如蜂窝电话、媒体播放器、平板电脑、或者其他便携式计算设备。
该电子设备100包括摄像头10、图像处理芯片20和应用处理芯片30。
摄像头10中集成有图像传感器,摄像头10通过图像传感器采集预览图像,并将采集到的预览图像发送至图像处理芯片进行处理。图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)图像传感器、电荷藕合器件(ChargeCoupled Device,CCD)图像传感器等。其中,图像传感器采集的预览图像为原始图像数据如RAW数据,该原始图像数据也就是未经过图像处理器处理加工的图像数据。
摄像头10中的图像传感器可以与图像处理芯片20电连接,图像传感器可以采集原始图像数据诸如RAW图像数据,并传输到图像处理芯片20,以供图像处理芯片20进行处理。
图像处理芯片20获取图像传感器采集的预览图像,并对预览图像如RAW数据进行处理,以增强图像数据的质量。
应用处理芯片30与图像处理芯片20电连接,图像处理芯片20在对图像进行增强处理后,可以将增强处理后的图像发送至应用处理芯片30,使得应用处理芯片30可以图像处理芯片20处理后的图像数据进行进一步处理。
在一些实施方式中,所述图像处理芯片20可以被配置为:获取多帧预览图像;根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;将处理后的目标图像发送至所述应用处理芯片;
所述应用处理芯片30可以被配置为:接收所述图像处理芯片发送的处理后的目标图像,并对所述处理后的目标图像进行再次处理。
请参阅图2,图2为本申请实施例提供的图像处理方法的流程示意图。该图像处理方法应用于上述图1所示的图像处理芯片,图像处理芯片20用于对图像数据进行处理,并将处理后的图像发送至应用处理芯片30。具体而言,该图像处理方法包括以下步骤:
101、获取多帧预览图像。
其中,当电子设备的摄像头处于工作状态时,摄像头实时采集预览图像,并将预览图像依次发送至图像处理芯片,图像处理芯片接收摄像头发送的多帧预览图像。
在一些实施方式中,摄像头采集到预览图像后,可以将预览图像发送至图像处理芯片中进行初步处理,并将初步处理后的预览图像存入电子设备的预设存储器中。初步处理主要包括坏点去除、stats统计、线性化等处理。
在一些实施方式中,可以图像处理芯片可以将初步处理后的预览图像缓存至预设存储器的缓冲区中,该缓冲区为先进先出(First Input First Output,FIFO)队列,该FIFO队列可以缓存预设数量的预览图像。图像处理芯片使用先入先出的形式将进行坏点去除、stats统计、线性化等处理后的预览图像存入FIFO队列中。
102、根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像。
其中,每帧预览图像均带有采集该预览图像时的时间戳,摄像头将采集到的预览图像发送至图像处理芯片时,也会将该预览图像对应的时间戳一同发送至图像处理芯片。该时间戳来源于摄像头中的图像传感器的meta信息。
图像处理芯片在接收到的多帧预览图像以及每帧预览图像对应的时间戳,图像处理芯片在接收到拍照指令时,则会根据每帧图像的时间戳从多帧预览图像选取一帧预览图像作为目标图像。
在一些实施方式中,图像处理芯片可以接收拍照指令以及拍照指令对应的拍照时间戳,从多帧预览图像中确定出时间戳与拍照时间戳时间最接近的目标图像作为目标图像。
在一些实施方式中,当图像处理芯片对预览图像进行初步处理,并将初步处理后的预览图像写入所述电子设备的预设存储器中时,根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像,可以包括:
从所述预设存储器中获取每帧预览图像对应的时间戳,根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像。
103、当检测到目标图像满足预设清晰度要求时,对所述目标图像进行增强处理。
其中,图像处理芯片在根据时间戳确定出与拍照时间戳最接近的目标图像后,还需对目标图像进行模糊检测,以确定出该目标图像是否满足预设清晰度要求。
其中,当检测到目标图像满足预设清晰度要求时,图像处理芯片可以对该满足预设清晰度条件的目标图像进行增强处理。
具体的,图像处理处理芯片调用相应的预设算法对目标图像进行增强处理。
例如,采用预设超分辨率(Super-Resolution,SR)神经网络对目标图像进行处理,以提高该图像的分辨率,以及解决视频播放过程中出现颗粒的问题。。或者采用预设降噪(Noise Reduction,NR)神经网络对目标图像进行降噪处理,以消除目标图像中的噪点,提升该图像的质量。又或者采用预设高动态光照渲染(High-Dynamic Range,HDR)神经网络对目标图像进行处理,以提高目标图像的动态范围和图像细节。又或者采用预设Seg-Depth神经网络对目标图像进行处理,以提升图像的质量。又或者采用Detection检测神经网络对目标图像进行对象检测处理,以及采用saliency神经网络对目标图像进行处理,以得到目标图像的显著信息,并对该显著信息进行增强处理,以增强图像的视觉效果。可以理解的是,图像处理芯片可以采用一种或多种预设处理算法对目标图像进行增强处理。
在一些实施方式中,当检测出该目标图像不满足预设清晰度要求时,表示该目标图像为模糊图像,无法将模糊图像作为拍照图像。故需要从其余多帧预览图像中重新选取一帧满足预设清晰度要求的预览图像。
在一些实施方式中,从其余多帧预览图像中重新选取一帧满足预设清晰度要求的预览图像可以包括:对其他的每一预览图像均进行模糊检测,以得到每一预览图像的清晰度信息,根据每一清晰度信息从满足预设清晰度要求的预览图像中确定出清晰度最高的预览图像作为目标图像。从多帧图像中获取清晰度最高的预览图像作为目标图像,以此保证获取的目标图像的图像质量为最佳的。
在一些实施方式中,从其余多帧预览图像中重新选取一帧满足预设清晰度要求的预览图像还可以包括:获取其他预览图像对应的时间戳;根据每一时间戳与所述目标图像的时间戳确定每一预览图像与所述目标图像的接近程度;根据所述接近程度由高到低的顺序,依次检测每一预览图像是否满足预设清晰度要求,直至检测到满足预设清晰度要求的预览图像;将所述满足预设清晰度要求的预览图像更新为目标图像。以此,从多帧图像中获取时间与拍照指令时间最接近的预览图像作为目标图像,以保证获取的目标图像中的目标拍摄对象与拍照指令时的拍摄对象是最接近的。
104、将处理后的目标图像发送至应用处理芯片,使得应用处理芯片对图像处理芯片处理后的目标图像进行再次处理。
其中,图像处理芯片将进行增强处理后的目标图像发送至应用处理芯片,使得应用处理芯片在接收到图像处理芯片发送的目标图像后,再对该目标图像进行进一步的处理,可以更好提升该图像的图像质量。
由上可知,本申请实施例提供的图像处理方法,应用于图像处理芯片,图像处理芯片获取多帧预览图像;根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;当检测到所述目标图像满足预设清晰度要求时,对目标图像进行增强处理;将处理后的目标图像发送至所述应用处理芯片,使得应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。以此,电子设备在进行拍照操作时,可以通过图像处理芯片从多帧预览图像中确定出目标图像,并将目标图像发送至应用处理芯片处理之前,先交由图像处理芯片进行增强处理,以提升目标图像的图像质量。
请参阅图3,图3为本申请实施例提供的图像处理方法的另一流程示意图。该图像处理方法应用于上述图1所示的电子设备,电子设备包括摄像头10、图像处理芯片20和应用处理芯片30。具体而言,该图像处理方法可以以下步骤:
201、获取多帧预览图像。
其中,当电子设备的摄像头处于工作状态时,摄像头实时采集预览图像,并将预览图像依次发送至图像处理芯片,图像处理芯片接收摄像头发送的多帧预览图像。
在一些实施方式中,摄像头采集到预览图像后,可以将预览图像发送至图像处理芯片中进行初步处理,并将初步处理后的预览图像存入电子设备的预设存储器中。初步处理主要包括坏点去除、stats统计、线性化等处理。
在一些实施方式中,可以图像处理芯片可以将初步处理后的预览图像缓存至预设存储器的缓冲区中,该缓冲区为先进先出(First Input First Output,FIFO)队列,该FIFO队列可以缓存预设数量的预览图像。图像处理芯片使用先入先出的形式将进行坏点去除、stats统计、线性化等处理后的预览图像存入FIFO队列中。
202、接收应用处理芯片发送的拍照指令以及拍照指令对应的拍照时间戳。
其中,用户点击拍照按钮进行拍照时,应用处理芯片接收拍照指令以及拍照指令对应的拍照时间戳,并将拍照指令和对应的拍照时间戳转发至图像处理芯片。
203、根据拍照指令从多帧预览图像对应的时间戳中选取与拍照时间戳最接近的目标时间戳,将目标时间戳对应的预览图像作为目标图像。
其中,图像处理芯片在接收到拍照指令后,可以获取每帧图像对应的时间戳。并从多个时间戳中选取与拍照时间戳时间最接近的目标时间戳。可以理解的是,预览图像的时间戳与拍照时间越接近,表明该预览图像与拍照指令对应时的图像最为接近。
例如,图像处理芯片获取有预览图像1、预览图像2···预览图像8共计8帧预览图像。其中预览图像1为最先采集的预览图像,预览图像8为最后采集的预览图像。在采集到预览图像8后之后,电子设备接收到拍照指令,此时最后采集的预览图像8为时间最接近拍照时间的图像,所以预览图像8也是拍照画面最接近用户拍照时的画面的图像。
因此,将时间戳与拍照时间戳时间最接近的目标时间戳对应的预览图像确定为目标图像。使得选取的目标图像对应的画面即为用户拍照时所看到的画面,降低现有挑帧方案所带来的画面误差。并且还能在发生拍照操作的瞬间并确定出目标图像返回至用户,减少拍照时间。
204、对目标图像求二阶导数,以获取目标图像的边缘像素点信息。
205、对每一边缘像素点信息进行方差计算,以得到目标图像的方差值;
206、根据方差值确定目标图像是否满足预设清晰度要求。
其中,图像处理芯片在根据时间戳确定出与拍照时间戳最接近的目标图像后,还需要对该目标图像进行模糊检测,以确定出该目标图像是否满足预设清晰度要求。其中,图像处理芯片可以采用传统计算机视觉(Computer Vision,CV)算法对目标图像进行模糊检测。
可以理解的是,对于图片是否清晰的判断,主要是判断边缘是否分明,如果边缘不清楚,会认为这个图片是模糊的。在这里采用的是对图片求二阶导数,获取边缘像素点信息后,然后对边缘像素点求方差,获取方差值,通过方差的数值判断图片是否模糊。当图像处理芯片检测到方差值大于预设阈值时,确定目标图像满足预设清晰度要求,即确定该图像为清晰图像;图像处理芯片检测到方差值不大于预设阈值时,确定目标图像不满足预设清晰度要求,即确定目标图像为模糊图像。
可以理解的是,虽然本申请将时间戳与拍照时间戳时间最接近的目标时间戳对应的预览图像确定为目标图像,是为了使得选取的目标图像对应的画面即为用户拍照时所看到的画面。但是选取拍照图像最重要的还是图像质量,因此本申请在从多帧预览图像中选取到与拍照时间最接近的目标图像后,还需要对该目标图像进行模糊检测,以确定出该目标图像是否满足预设清晰度要求。只有当该目标图像满足预设清晰度要求后,才能将该目标图像选为拍照图像。当检测出该目标图像不满足预设清晰度要求时,表示该目标图像为模糊图像,无法将还模糊图像作为拍照图像。故需要从其余多帧图像中重新选取一帧满足预设清晰度要求的预览图像。
因此,当检测到目标图像满足预设清晰度要求时,执行步骤211的操作,即对满足预设清晰度要求的目标图像进行增强处理。当检测到目标图像不满足预设清晰度要求时,依次执行步骤207-211的操作。
在一些实施方式中,根据方差值确定目标图像是否满足预设清晰度要求检测方差值是否大于预设阈值可以包括:当检测到方差值大于预设阈值时,确定目标图像满足预设清晰度要求;检测到方差值不大于预设阈值时,确定目标图像不满足预设清晰度要求。
207、当检测到目标图像不满足预设清晰度要求时,获取其他预览图像对应的时间戳。
208、根据每一时间戳与目标图像的时间戳确定每一预览图像与目标图像的接近程度。
209、根据接近程度由高到低的顺序,依次检测其他预览图像是否满足预设清晰度要求,直至检测到满足预设清晰度要求的预览图像。
210、将满足预设清晰度要求的预览图像更新为目标图像。
其中,当检测出该目标图像不满足预设清晰度要求时,表示该目标图像为模糊图像,无法将该模糊图像作为拍照图像。故需要从其余多帧图像中重新选取一帧满足预设清晰度要求的预览图像,尽可能保证拍照图像的图像质量,避免选取的拍照图像为模糊图像,造成模糊图像无法使用的问题。
进一步的,为了使得选取的目标图像对应的画面即为用户拍照时所看到的画面,可以根据每一帧图像的时间戳与目标图像时间戳的接近程度,依次检测每一帧图像是否满足预设清晰度要求,直至检测到预设清晰度要求的预览图像。
例如,图像处理芯片获取有预览图像1、预览图像2···预览图像8共计8帧预览图像。预览图像1~8对应的时间戳信息分别为t1、t2···t8。其中预览图像1为最先采集的预览图像,预览图像8为最后采集的预览图像。
在采集到预览图像8后之后,电子设备接收到拍照指令,此时最后采集的预览图像8为时间最接近拍照时间的图像,所以预览图像8也是拍照画面最接近用户拍照时的画面的图像,因此将预览图像8作为目标图像。
当检测到预览图像8不满足预设清晰度要求时,可以根据每一时间戳与目标图像的时间戳确定每一预览图像与目标图像的接近程度,根据接近程度由高到低的顺序,依次检测其他预览图像是否满足预设清晰度要求。就预览图像1~7而言,可以确定出预览图像7为与目标图像时间戳最接近的图像,而预览图像1为与目标图像时间戳最不接近的图像。
因此,根据接近程度由高到低的顺序,依次检测其他预览图像是否满足预设清晰度要求,即为从预览图像7到预览图像1的顺序,依次检测每一预览图像是否满足预设清晰度要求,直至检测到预设清晰度要求的预览图像。
例如,当检测到预览图像7满足预设清晰度要求时,便将预览图像7更新为目标图像。当检测到预览图像7不满足预设清晰度要求时,根据接近程度检测预览图像6是否满足预设清晰度要求,直至检测到预设清晰度要求的预览图像。
211、对目标图像进行增强处理。
其中,图像处理处理芯片调用相应的预设算法对目标图像进行增强处理。
例如,采用预设超分辨率(Super-Resolution,SR)神经网络对目标图像进行处理,以提高该图像的分辨率,以及解决视频播放过程中出现颗粒的问题。。或者采用预设降噪(Noise Reduction,NR)神经网络对目标图像进行降噪处理,以消除目标图像中的噪点,提升该图像的质量。又或者采用预设高动态光照渲染(High-Dynamic Range,HDR)神经网络对目标图像进行处理,以提高目标图像的动态范围和图像细节。又或者采用预设Seg-Depth神经网络对目标图像进行处理,以提升图像的质量。又或者采用Detection检测神经网络对目标图像进行对象检测处理,以及采用saliency神经网络对目标图像进行处理,以得到目标图像的显著信息,并对该显著信息进行增强处理,以增强图像的视觉效果。可以理解的是,图像处理芯片可以采用一种或多种预设处理算法对目标图像进行增强处理。
212、将处理后的目标图像发送至应用处理芯片,使得应用处理芯片对图像处理芯片处理后的目标图像进行再次处理。
其中,图像处理芯片将进行增强处理后的目标图像发送至应用处理芯片,使得应用处理芯片在接收到图像处理芯片发送的目标图像后,再对该目标图像进行进一步的处理,可以更好提升该图像的图像质量。
在一些实施方式中,图像处理芯片将进行增强处理后的目标图像发送至应用处理芯片中的图像前处理模块(Bayer Processing Segment,BPS),图像前处理模块可以先对目标图像进行去马赛克、zzHDR、PDAF像素校正、镜头阴影校正等处理。进一步的,图像前处理模块再将处理后的目标图像发送至将图像处理器中的其他处理模块进行处理。
其中,BPS模块是用于拍照处理的图像前处理模块,用于raw域图像数据处理,处理包括去马赛克、zzHDR、PDAF像素校正、镜头阴影校正等。
由上可知,本申请实施例提供的图像处理方法,应用于包括图像处理芯片的电子设备。图像处理芯片获取多帧预览图像;所述图像处理芯片中的中央处理器根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;所述中央处理器将所述目标图像发送至图像处理芯片中的数字信号处理器进行检测;所述数字信号处理器检测到所述目标图像满足预设清晰度要求时,将所述目标图像发送至图像处理芯片中的神经网络处理器进行增强处理。以此,电子设备在进行拍照操作时,可以通过图像处理芯片从多帧预览图像中确定出目标图像,并将目标图像发送至应用处理芯片处理之前,目标图像交由图像处理芯片中的神经网络处理器进行增强处理,以提升目标图像的图像质量。
请参阅图4,图4为本申请实施例的图像处理装置的结构示意图。图像处理装置500应用于图1所示的图像处理芯片20,其中,图像处理芯片用于对图像数据进行处理,并将处理后的图像发送至应用处理芯片。具体而言,该图像处理装置包括:获取模块51、确定模块52、处理模块53和发送模块54。
获取模块51,用于获取多帧预览图像。
确定模块52,用于根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像。
处理模块53,用于当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理。
发送模块54,用于将处理后的目标图像发送至所述应用处理芯片,使得所述应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。
在一些实施方式中,确定模块52具体用于:接收所述应用处理芯片发送的拍照指令以及拍照指令对应的拍照时间戳;根据所述拍照指令从多帧预览图像对应的时间戳中选取与拍照时间戳最接近的目标时间戳,将所述目标时间戳对应的预览图像作为目标图像。
在一些实施方式中,图像处理装置还包括:检测模块。
在确定模块52根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像之后,该检测模块用于:对所述目标图像求二阶导数,以获取所述目标图像的边缘像素点信息;对每一边缘像素点信息进行方差计算,以得到所述目标图像的方差值;根据所述方差值确定所述目标图像是否满足预设清晰度要求。
在一些实施方式中,该检测模块还用于:检测所述方差值是否大于预设阈值;当检测到所述方差值大于所述预设阈值时,确定所述目标图像满足预设清晰度要求;所述检测到所述方差值不大于所述预设阈值时,确定所述目标图像不满足预设清晰度要求。
在一些实施方式中,确定模块52在根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像之后,还可以用于:当检测到所述目标图像不满足预设清晰度要求时,从其他预览图像中确定出一帧满足预设清晰度要求的预览图像,并将所述满足预设清晰度要求的预览图像更新为目标图像;对所述目标图像进行增强处理。
在一些实施方式中,从其他预览图像中确定出一帧满足预设清晰度要求的预览图像,并将所述满足预设清晰度要求的预览图像更新为目标图像时,确定模块52具体用于:获取其他预览图像对应的时间戳;根据每一时间戳与所述目标图像的时间戳确定每一预览图像与所述目标图像的接近程度;根据所述接近程度由高到低的顺序,依次检测其他预览图像是否满足预设清晰度要求,直至检测到满足预设清晰度要求的预览图像;将所述满足预设清晰度要求的预览图像更新为目标图像。
在一些实施方式之后,获取模块51还用于:通过所述图像处理芯片对预览图像进行初步处理,并将初步处理后的预览图像写入所述电子设备的预设存储器中。
确定模块52还用于:从所述预设存储器中获取每帧预览图像对应的时间戳,根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像。
由上可知,本申请实施例提供的图像处理装置,可以通过获取模块51获取多帧预览图像;确定模块52根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;处理模块53当检测到所述目标图像满足预设清晰度要求时,对目标图像进行增强处理;发送模块54将处理后的目标图像发送至所述应用处理芯片,使得应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。以此,电子设备在进行拍照操作时,可以通过图像处理芯片从多帧预览图像中确定出目标图像,并将目标图像发送至应用处理芯片处理之前,先交由图像处理芯片进行增强处理,以提升目标图像的图像质量。
在一些实施方式中,请参阅图5,图5为本申请实施例提供的电子设备的第二结构示意图。其中,图像处理芯片可以包括图像信号处理器(Image Signal Processing,ISP)21、神经网络处理器(Neural-network Processing Unit,NPU)22、数字信号处理器(Digital Signal Processing,DSP)23中央处理器24和系统总线25。其中,系统总线25与图像处理芯片20的各个部件电连接,诸如系统总线25与图像信号处理器21、神经网络处理器22、数字信号处理器23、中央处理器24电连接。可以理解的是,本申请实施例所限定的电连接可以理解为两个部件之间的连接关系可以进行数据,诸如两个部件采用导线连接。再比如两个部件采用直接连接,诸如采用焊接的方式将两个部件的焊接点焊接在一起。
基于图5所示的图像处理芯片20而言,该图像处理芯片进行图像处理的过程可以包括如下:图像处理芯片20在接收到多帧预览图像后,中央处理器24可以根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像,并将目标图像发送至数字信号处理器23,数字信号处理器23对目标图像进行模糊检测,检测到目标图像满足预设清晰度要求时,将目标图像发送至图像处理芯片中的神经网络处理器22,神经网络处理器22再对目标图像进行增强处理。最后,神经网络处理器22再将增强处理后的目标图像发送至应用处理芯片20。
中央处理器(Central Processing Unit,CPU)24可以控制图像处理芯片20系统的运作,诸如中断响应、外设参数配置等。
图像信号处理器21用于对图像处理芯片20所获取到的图像数据诸如RAW数据进行优化处理。图像信号处理器21对原始的视频图像数据进行优化处理,可以解决原始图像数据所存在的坏点等问题。再将优化处理后的数据传输到图像处理芯片20中的神经网络处理器22中进行增强处理,可以加快神经网络处理器22的收敛,以提高神经网络处理器22处理一帧图像所用的时间,从而就可以确保神经网络处理器22可以在预设时间段内处理完一帧视频图像数据。该预设时间段诸如为33nm(毫秒)。
图像信号处理器21对原始的视频图像数据进行优化处理可以包括坏点补偿(BadPixel Correction,BPC)、线性化(Linearization)处理、黑电平校正(Black LevelCorrection,BLC)中的至少一个。图像信号处理器21对视频图像数据进行优化处理的算法可以包括黑电平校正算法、坏点补偿算法和线性化处理算法中的至少一个。图像信号处理器21执行黑电平校正算法可以实现对原始的视频图像数据的黑电平校正,图像信号处理器21执行坏点补偿算法可以实现对原始的视频图像数据的坏点补偿,图像信号处理器21执行线性化处理算法可以实现对原始的视频图像数据的线性化处理。
需要说明的是,图像信号处理器21对原始的视频图像数据进行优化处理并不限于此,诸如图像信号处理器21对原始的视频图像数据进行优化处理还可以包括图像裁剪(Crop)处理、图像缩小(Bayerscaler)处理中的至少一个。图像信号处理器21对视频图像数据进行优化处理的算法可以包括图像裁剪算法、图像缩小算法中的至少一个。
其中,神经网络处理器22用于对图像信号处理器21优化处理过的图像数据进行增强处理,其可以运行人工智能训练网络处理图像算法,以在提高处理图像数据效率的情况下提升图像质量。神经网络处理器22处理图像数据的效率高,对图像质量的提升明显。
在一些实施方式中,神经网络处理器22可以为用来处理图像的专用处理器,可以简称为专用处理器。可以在电路排布、编程等硬件配置过程中来进行硬化实现,从而可以保证神经网络处理器22在处理图像数据过程中的稳定性,以及降低神经网络处理器22处理图像数据所需的功耗和时间。可以理解的是,当神经网络处理器22为专用处理器时,其功能为用来处理图像数据,且其不能够处理其他一些数据诸如文本信息。
神经网络处理器22处理图像数据的方式可以是按照行的方式读取数据块,并按照行的方式对数据块进行处理。诸如神经网络处理器22按照多行的方式读取数据块,并按照多行的方式对数据块进行处理。可以理解的是,一帧图像可以具有多行数据块,即神经网络处理器22可以对一帧图像的一部分诸如帧进行处理,其中n为正整数,诸如2、4、5等。当神经网络处理器22对一帧图像未全部处理完,则神经网络处理器22可以内置缓存(全称,OCM)来存储神经网络处理器22在处理一帧图像过程中所处理多行数据块的数据。等待神经网络处理器22对一帧图像处理完成,则神经网络处理器22可以将处理过的数据写入到一存储器诸如多媒体处理芯片200的存储器230。其中,该存储器230可以内置于多媒体处理芯片200内,也可以外置。可以采用存储控制器实现数据的传输。
需要说明的是,神经网络处理器22在数据流的Pipeline中,可以按照预设时间处理完成。预设时间诸如为30fps=33ms(毫秒)。或者说神经网络处理器22处理一帧图像所预设的时间为33ms,从而可以保证神经网络处理器22在快速处理图像数据的基础上,可以实现数据的实时传输。
可以理解的是,若神经网络处理器22为通用处理器,即该神经网络处理器22不仅可以处理图像数据,还可以处理其他数据诸如文本数据。当神经网络处理器22为通用处理器,处理图像方式为:从一存储有图像数据的存储器加载一帧图像,并对该帧图像做相应的算法处理。其中,在该通用神经网络处理器在处理过程中该通用神经网络处理器的卷积层所计算的临时数据往往需要保存到该存储器中。在该通用神经网络处理器处理完成后,将数据存储到该存储器中。由此可见,相对于通用神经网络处理器,本申请一些实施例所限定的神经网络处理器22为专用神经网络处理器,可以加快图像数据的处理速度,保证在预设时间内完成一帧图像的处理。
神经网络处理器22可以对静态图像数据进行处理,诸如用户在拍照模式下所获取到的静态图像数据。神经网络处理器22可以包括处理静态图像数据的算法,诸如静态图像HDR算法、静态图像夜景算法、静态图像虚化算法等。
神经网络处理器22也可以对动态图像数据进行处理,诸如用户在拍摄视频模式下所获取到的视频图像数据。神经网络处理器22可以包括处理视频图像数据的算法,诸如视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法,视频超分算法等。其中,动态图像数据可以包括录制视频的图像数据、视频播放的图像数据。
其中,数字信号处理器23主要用于协助图像信号处理器21和神经网络处理器22。然而,数字信号处理器23也可以对计算量较小的图像数据进行处理。例如,当通过图像处理芯片进行零滞后(zero shutter lag,ZSL)挑帧拍照时,数字信号处理器23可以运算预设通用算法从多帧预览图像中选取一帧合适的目标图像作为拍照图像。预设通用算法可以包括模糊检测算法、图像质量检测算法等。需要说明的是,在一些情况下,神经网络处理器22无法支持一些算法,诸如对于超广角的摄像头,如果需要畸形校正处理,神经网络处理器22可能无法实现,则可以采用数字信号处理器23来进行处理。
需要说明的是,图像处理器所包括的处理器并不限于此,诸如图像处理器仅包括图像信号处理器21和神经网络处理器22。
进一步的,如图5所示的电子设备,应用处理芯片30可以包括应用处理器(Application Processor,AP)31、图像处理器(Image Signal Processing,ISP)32和系统总线33。
应用处理器310是电子设备100的控制中心,利用各种接口和线路连接整个电子设备100的各个部分,通过运行或调用存储在应用处理芯片中存储器内的计算机程序,以及调用存储在存储器内的数据,执行电子设备100的各种功能和处理数据,从而对电子设备100进行整体监控。诸如应用处理器31控制电子设备100的摄像头10中的图像传感器获取原始图像数据,并控制图像处理芯片20对摄像头10中的图像传感器所获取到的原始图像数据进行图像质量增强处理,以得到预处理结果。然后,应用处理器31控制应用处理芯片30的图像处理器32对该预处理结果进行进一步处理,再将图像处理器32所处理的结果作为拍照图像通过电子设备100的显示屏显示出来。
其中,图像处理芯片20和应用处理芯片30可以集成在一电路板上,该电路板可以是电子设备100的主板。需要说明的是,摄像头10中的图像传感器可以图像处理芯片20和应用处理芯片30一起集成在一电路板上当然,摄像头10中的图像传感器也可以与图像处理芯片20和应用处理芯片30所集成的电路板分离设置,而采用导线连接。
请参阅图6,图6为本申请实施例提供的电子设备的第三种结构示意图。图6所示的电子设备100与图5所示的电子设备100的区别在于,图3所示的电子设备中的图像处理芯片还包括第一接口27、第二接口28和互连总线接口26。以及应用处理芯片还包括第三接口35和互连总线接口34。
其中,图像处理芯片20的第一接口27与摄像头10电连接,使得摄像头10可以将图像传感器采集到的预览图像通过第一接口27传输至图像处理芯片20,以供图像处理芯片20内部的图像处理器诸如图像信号处理器21和神经网络处理器22进行处理。
图像处理芯片20的第二接口28可以接收图像信号处理器21对图像数据进行处理的结果,第二接口28也可以接收神经网络处理器22对图像数据进行处理的结果,第二接口28还可以接收数字信号处理器23对图像数据进行处理的结果。比如图像处理芯片20在对图像数据进行预览处理时,可以将预览图像传输到第二接口28。第二接口28可以与应用处理芯片30的第三接口35连接,第三接口35可以与第二接口28采用信号线连接,以将第二接口28所接收到的图像数据诸如预览图像等传输到应用处理芯片,以使得应用处理处理芯片30中的图像处理器32对图像芯片处理后的预览图像进一步进行处理,并将预览图像显示至电子设备的显示屏上。举例来说,当需要进行图像预览时,图像处理芯片可以将所处理的预览图像通过第二接口28传输到应用处理芯片30的第三接口35。
在一些实施方式中,第一接口27、第二接口28和第三接口35可以为移动产业处理器接口(Mobile Industry Processor Interface,MI PI)。第一接口27与摄像头电连接,第一接口27可以接收摄像头10中图像传感器采集的原图像数据如RAW数据,诸如第一接口27可以接收来自图像传感器所获取到的RAW数据。第一接口27接收到图像数据诸如预览图像后可以将该预览推向传输到图像信号处理器21进行处理。第二接口28和第三接口35的电连接可以实现多媒体处理芯片20所处理的结果传输到应用处理芯片30,以供应用处理芯片30的图像处理器32对图像处理芯片20所处理的结果进行进一步处理。
互连总线接口(PeripheralComponent Interconnect Express,PCIE)26和互连总线接口34也可以称为高速外围组件互连接口,其是一种高速串行计算机扩展总线标准的接口。互连总线接口26可以与互连总线接口34采用信号线电连接。互连总线接口26和互连总线接口34之间形成高速数据传输通路,可以用于实时或离线传输一些图像数据,或配置参数数据,传输效率高。
互连总线接口26与互连总线接口34的电连接可以实现图像处理芯片20所处理的结果传输到应用处理芯片30,以供应用处理芯片30的图像处理器32对图像处理芯片20所处理的结果进行进一步处理。例如,图像处理芯片20在接收到拍照指令时,将从多帧预览图像中选取出一帧预览图像作为拍照图像,并将拍照图像发送至图像信号处理器21、数字信号处理器23和神经网络处理器22进行处理后,将处理后的拍照图像通过互连总线接口26发送至应用处理芯片30的互连总线接口34,以实现将拍照图像由图像处理芯片20传输至应用处理芯片30,以供应用处理芯片30中的图像处理器32对目标图像进行进一步处理。
请继续参阅图7,图7为本申请实施例提供的电子设备的第四种结构示意图。如图所示,本申请实施例提供的电子设备100中的图像处理芯片20还包括第一存储器29,应用处理芯片还包括第二存储器36。其中,中央处理器24通过系统总线25与第一存储器29电连接,应用处理器31通过系统总线33与第二存储器36电连接。
第一控制芯片30可以作为电子设备的主控SOC,应用处理器31是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在第二存储器36内的第一计算机程序,以及调用存储在第二存储器36内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
第二存储器36可用于存储第一计算机程序和数据。第二存储器36存储的第一计算机程序中包含有可在应用处理器中执行的指令。第一计算机程序可以组成各种功能模块。应用处理器31通过调用存储在第二存储器36的第一计算机程序,从而执行各种功能应用以及数据处理。
在一些实施方式中,中央处理器24也可以作为电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或调用存储在第一存储器29内的第一计算机程序,以及调用存储在第一存储器29内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
第一存储器29可用于存储第一计算机程序和数据。第一存储器29存储的第一计算机程序中包含有可在应用处理器中执行的指令。第一计算机程序可以组成各种功能模块。中央处理器24通过调用存储在第一存储器29的第一计算机程序,从而执行各种功能应用以及数据处理。
在本实施例中,电子设备中的应用处理器31会按照如下的步骤,将一个或一个以上的第一计算机程序的进程对应的指令加载到第二存储器36中,并由应用处理器31来运行存储在第二存储器36中的第一计算机程序,从而实现各种功能:
在检测到拍照指令时,将拍照指令和拍照指令对应的拍照时间戳发送至图像处理芯片。
或者,电子设备中的应用处理器31会按照如下的步骤,将一个或一个以上的第一计算机程序的进程对应的指令加载到第二存储器36中,并由应用处理器31来运行存储在第二存储器36中的第一计算机程序,从而实现各种功能:
接收图像处理芯片发送的增强处理后的目标图像,对该目标图像进行进一步处理。
在本实施例中,电子设备中的中央处理器24会按照如下的步骤,将一个或一个以上的第一计算机程序的进程对应的指令加载到第一存储器29中,并由中央处理器24来运行存储在第一存储器29中的第一计算机程序,从而实现各种功能:
获取多帧预览图像;
根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;
当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;
将处理后的目标图像发送至所述应用处理芯片,使得所述应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。
在一些实施方式中,所述根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像可以包括:接收所述应用处理芯片发送的拍照指令以及拍照指令对应的拍照时间戳;根据所述拍照指令从多帧预览图像对应的时间戳中选取与拍照时间戳最接近的目标时间戳,将所述目标时间戳对应的预览图像作为目标图像。
需要说明的是,前述图2至图3实施例中的图像处理方法实施例的解释说明也使用于本实施例的电子设备100,其实现原理类似,对此不再赘述
在一些实施例中,请参阅图8,图8为本申请实施例提供的电子设备的第五种结构示意图。电子设备还包括:射频电路401、触控屏402、控制电路403、输入单元404、音频电路405、传感器406、触控电路407以及电源408。其中,第一控制芯片501和第二控制芯片502分别与射频电路401、触控屏402、控制电路403、输入单元404、音频电路405、传感器406、触控电路407以及电源408电性连接。
射频电路401用于收发射频信号,以通过无线通信与网络设备或其他电子设备进行通信。
触控屏402可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口,这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路403与触控屏402电性连接,用于控制触控屏402显示信息。
输入单元404可用于接收输入的数字、字符信息或用户特征信息(例如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中,输入单元404可以包括指纹识别模组。
音频电路405可通过扬声器、传声器提供用户与电子设备之间的音频接口。其中,音频电路405包括麦克风。麦克风与处理器501电性连接。麦克风用于接收用户输入的语音信息。
传感器406用于采集外部环境信息。传感器406可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源408用于给电子设备的各个部件供电。在一些实施例中,电源408可以通过电源管理系统与处理器501逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图8中未示出,电子设备还可以包括蓝牙模块等,在此不再赘述。
由上可知,本申请实施例提供了一种电子设备,包括图像处理芯片和应用处理芯片;所述图像处理芯片被配置为:获取多帧预览图像;根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;将处理后的目标图像发送至所述应用处理芯片;所述应用处理芯片被配置为:接收所述图像处理芯片发送的处理后的目标图像,并对所述处理后的目标图像进行再次处理。以此,电子设备在进行拍照操作时,可以通过图像处理芯片从多帧预览图像中确定出目标图像,并将目标图像发送至应用处理芯片处理之前,先交由图像处理芯片中的神经网络处理器进行增强处理,以提升目标图像的图像质量。
本申请实施例还提供一种存储介质,存储介质中存储有计算机程序,当计算机程序在计算机上运行时,计算机执行上述任一实施例提供的图像处理方法。
需要说明的是,本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储于计算机可读存储介质中,存储介质可以包括但不限于:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁盘或光盘等。
此外,本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块,而是某些实施例还包括没有列出的步骤或模块,或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的图像处理方法、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法,应用于图像处理芯片,其特征在于,所述图像处理芯片用于对图像数据进行处理,并将处理后的图像发送至应用处理芯片,所述图像处理方法包括:
获取多帧预览图像;
根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;
当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;
将处理后的目标图像发送至所述应用处理芯片,使得所述应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。
2.根据权利要求1所述的图像处理方法,其特征在于,根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像,包括:
接收所述应用处理芯片发送的拍照指令以及拍照指令对应的拍照时间戳;
根据所述拍照指令从多帧预览图像对应的时间戳中选取与拍照时间戳最接近的目标时间戳,将所述目标时间戳对应的预览图像作为目标图像。
3.根据权利要求1所述的图像处理方法,其特征在于,根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像之后,还包括:
对所述目标图像求二阶导数,以获取所述目标图像的边缘像素点信息;
对每一边缘像素点信息进行方差计算,以得到所述目标图像的方差值;
根据所述方差值确定所述目标图像是否满足预设清晰度要求。
4.根据权利要求3所述的图像处理方法,其特征在于,根据所述方差值确定所述目标图像是否满足预设清晰度要求,包括:
检测所述方差值是否大于预设阈值;
当检测到所述方差值大于所述预设阈值时,确定所述目标图像满足预设清晰度要求;
所述检测到所述方差值不大于所述预设阈值时,确定所述目标图像不满足预设清晰度要求。
5.根据权利要求1-4任一项所述的图像处理方法,其特征在于,所述根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像之后,还包括:
当检测到所述目标图像不满足预设清晰度要求时,从其他预览图像中确定出一帧满足预设清晰度要求的预览图像,并将所述满足预设清晰度要求的预览图像更新为目标图像;
对所述目标图像进行增强处理。
6.根据权利要求5所述的图像处理方法,其特征在于,所述从其他预览图像中确定出一帧满足预设清晰度要求的预览图像,并将所述满足预设清晰度要求的预览图像更新为目标图像,包括:
获取其他预览图像对应的时间戳;
根据每一时间戳与所述目标图像的时间戳确定每一预览图像与所述目标图像的接近程度;
根据所述接近程度由高到低的顺序,依次检测其他预览图像是否满足预设清晰度要求,直至检测到满足预设清晰度要求的预览图像;
将所述满足预设清晰度要求的预览图像更新为目标图像。
7.根据权利要求1-4任一项所述的图像处理方法,其特征在于,所述图像处理芯片获取多帧预览图像的步骤之后,包括:
通过所述图像处理芯片对预览图像进行初步处理,并将初步处理后的预览图像写入所述电子设备的预设存储器中;
根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像,包括:
从所述预设存储器中获取每帧预览图像对应的时间戳,根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像。
8.一种图像处理装置,应用于图像处理芯片,其特征在于,所述图像处理芯片用于对图像数据进行处理,并将处理后的图像发送至应用处理芯片,所述图像处理装置包括:
获取模块,用于获取多帧预览图像;
确定模块,用于根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;
处理模块,用于当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;
发送模块,用于将处理后的目标图像发送至所述应用处理芯片,使得所述应用处理芯片对所述图像处理芯片处理后的目标图像进行再次处理。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在处理器上运行时,使得所述处理器执行如权利要求1至7任一项所述的图像处理方法。
10.一种电子设备,其特征在于,包括图像处理芯片和应用处理芯片;
所述图像处理芯片被配置为:
获取多帧预览图像;
根据每帧预览图像的时间戳从多帧预览图像中确定出目标图像;
当检测到所述目标图像满足预设清晰度要求时,对所述目标图像进行增强处理;
将处理后的目标图像发送至所述应用处理芯片;
所述应用处理芯片被配置为:
接收所述图像处理芯片发送的处理后的目标图像,并对所述处理后的目标图像进行再次处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010478295.9A CN113744139A (zh) | 2020-05-29 | 2020-05-29 | 图像处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010478295.9A CN113744139A (zh) | 2020-05-29 | 2020-05-29 | 图像处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113744139A true CN113744139A (zh) | 2021-12-03 |
Family
ID=78724930
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010478295.9A Pending CN113744139A (zh) | 2020-05-29 | 2020-05-29 | 图像处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113744139A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114286001A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片 |
CN116048323A (zh) * | 2022-05-27 | 2023-05-02 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101662640A (zh) * | 2009-09-11 | 2010-03-03 | 中兴通讯股份有限公司 | 一种抓取图片的方法及装置 |
EP2665038A1 (fr) * | 2012-05-14 | 2013-11-20 | Purchease | Procédé de production d'image |
CN109286753A (zh) * | 2018-09-29 | 2019-01-29 | 南昌黑鲨科技有限公司 | 图像处理方法、系统及计算机可读存储介质 |
CN111062870A (zh) * | 2019-12-16 | 2020-04-24 | 联想(北京)有限公司 | 一种处理方法及装置 |
-
2020
- 2020-05-29 CN CN202010478295.9A patent/CN113744139A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101662640A (zh) * | 2009-09-11 | 2010-03-03 | 中兴通讯股份有限公司 | 一种抓取图片的方法及装置 |
EP2665038A1 (fr) * | 2012-05-14 | 2013-11-20 | Purchease | Procédé de production d'image |
CN109286753A (zh) * | 2018-09-29 | 2019-01-29 | 南昌黑鲨科技有限公司 | 图像处理方法、系统及计算机可读存储介质 |
CN111062870A (zh) * | 2019-12-16 | 2020-04-24 | 联想(北京)有限公司 | 一种处理方法及装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114286001A (zh) * | 2021-12-28 | 2022-04-05 | 维沃移动通信有限公司 | 图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片 |
CN116048323A (zh) * | 2022-05-27 | 2023-05-02 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
CN116048323B (zh) * | 2022-05-27 | 2023-11-24 | 荣耀终端有限公司 | 图像处理方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109671106B (zh) | 一种图像处理方法、装置与设备 | |
JP7266672B2 (ja) | 画像処理方法および画像処理装置、ならびにデバイス | |
WO2017215501A1 (zh) | 图像降噪处理方法、装置及计算机存储介质 | |
CN111028189A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN112529775A (zh) | 一种图像处理的方法和装置 | |
JP2022505115A (ja) | 画像処理の方法および装置並びにデバイス | |
US11290641B2 (en) | Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme | |
CN110572584A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
WO2021238522A1 (zh) | 多媒体处理芯片、电子设备和图像处理方法 | |
CN110198419A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110717871A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN113810593B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108574803B (zh) | 图像的选取方法、装置、存储介质及电子设备 | |
CN115526787A (zh) | 视频处理方法和装置 | |
CN113744139A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN112422798A (zh) | 拍照方法、装置、电子设备和存储介质 | |
US20230086519A1 (en) | Multimedia processing chip, electronic device, and method for dynamic-image processing | |
CN113744119A (zh) | 多媒体处理芯片和电子设备 | |
CN114143471B (zh) | 图像处理方法、系统、移动终端及计算机可读存储介质 | |
CN110969587A (zh) | 一种图像采集方法、装置及电子设备 | |
CN115546043B (zh) | 视频处理方法及其相关设备 | |
CN113873142B (zh) | 多媒体处理芯片、电子设备和动态图像处理方法 | |
CN117014720A (zh) | 图像拍摄方法、装置、终端、存储介质及产品 | |
CN114298889A (zh) | 图像处理电路和图像处理方法 | |
WO2023185096A1 (zh) | 图像模糊度的确定方法及其相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |