CN113744118A - 多媒体处理芯片、电子设备和图像处理方法 - Google Patents

Abstract

本申请实施例一种多媒体处理芯片、电子设备和图像处理方法，多媒体处理芯片包括：图像信号处理器，被配置为：从一图像的图像数据中统计出状态数据；神经网络处理器，与所述图像信号处理器通信连接，所述神经网络处理器被配置为：处理所述图像数据以对所述图像进行分割，得到多个对象区域；从所述多个对象区域中识别出目标区域；计算出所述目标区域的类型数据；和接口，所述接口被配置为：将所述状态数据和所目标区域的类型数据发送至应用处理芯片。本申请实施例可以节省应用处理芯片的功耗。

Description

多媒体处理芯片、电子设备和图像处理方法

技术领域

本申请涉及电子技术领域，具体涉及一种多媒体处理芯片、电子设备和图像处理方法。

背景技术

电子设备诸如智能手机在采用摄像头拍摄图像时，为了增加摄像头拍摄图像的清晰度，一般会采用自动对焦的方式进行对焦。相关技术中，电子设备的AP端往往采用软件的方式获取预览窗口中每一个拍摄对象的景深信息，然后根据景深信息获取预览窗口中与镜头平面距离最小的拍摄对象，并将其作为拍摄主体进行对焦处理。

发明内容

本申请实施例提供了一种多媒体处理芯片、电子设备和图像处理方法，可以节省应用处理芯片的功耗。

第一方面，本申请实施例提供了一种多媒体处理芯片，包括：

图像信号处理器，被配置为：

从一图像的图像数据中统计出状态数据；

神经网络处理器，与所述图像信号处理器通信连接，所述神经网络处理器被配置为：

处理所述图像数据以对所述图像进行分割，得到多个对象区域；

从所述多个对象区域中识别出目标区域；

计算出所述目标区域的类型数据；和

接口，所述接口被配置为：

将所述状态数据和所述目标区域的类型数据发送至应用处理芯片。

第二方面，本申请实施例提供一种电子设备，包括通信连接的多媒体处理芯片和应用处理芯片；

所述多媒体处理芯片被配置为：

从一图像的图像数据中统计出状态数据；

处理所述图像数据以对所述图像进行分割，得到多个对象区域；

从所述多个对象区域中识别出目标区域；

计算出所述目标区域的类型数据；

将所述状态数据和所述目标区域的类型数据发送至所述应用处理芯片；

所述应用处理芯片被配置为：

接收所述多媒体处理芯片所发送的状态数据和所述目标区域的类型数据；

基于所述状态数据和所述目标区域的类型数据对所述目标区域进行图像处理。

第三方面，本申请实施例提供一种图像处理方法，应用于一电子设备，所述电子设备包括通信连接的多媒体处理芯片和应用处理芯片，所述多媒体处理芯片为如上所述的多媒体处理芯片；所述图像处理方法包括：

通过所述图像信号处理器从一图像的图像数据中统计出状态数据；

通过所述神经网络处理器处理所述图像数据以对所述图像进行分割，得到多个对象区域；

通过所述神经网络处理器从所述多个对象区域中识别出目标区域；

通过所述神经网络处理器计算出所述目标区域的类型数据；

通过所述接口将所述状态数据和所述目标区域的类型数据发送至所述应用处理芯片；

所述应用处理芯片接收所述多媒体处理芯片所发送的状态数据和所述目标区域的类型数据；

所述应用处理芯片基于所述目标区域的类型数据和状态数据对所述目标区域进行图像处理。

本申请实施例可以先由多媒体处理芯片对图像数据进行处理，再由应用处理芯片对多媒体处理芯片处理过的数据进行进一步处理。在对图像数据进行处理过程中，无需应用处理芯片对目标区域进行提取及计算等由多媒体处理芯片进行的处理，可以节省应用处理芯片的功耗。。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本申请实施例提供的电子设备的第一结构示意图。

图2是本申请实施例提供的电子设备的第二结构示意图。

图3是本申请实施例提供的电子设备的第三结构示意图。

图4是本申请实施例提供的图像处理方法的第一流程示意图。

图5是本申请实施例提供的图像处理方法的第二流程示意图。

图6是本申请实施例提供的图像处理方法的第三流程示意图。

具体实施方式

本申请实施例提供一种多媒体处理芯片、电子设备和图像处理方法。电子设备诸如为智能手机、平板电脑等具有图像处理功能的设备，基于该电子设备可以实现自动对焦，以提升图像清晰度。

下面请参阅附图，从本申请实施例所提供的电子设备处理图像数据的角度进行描述。其中附图中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。

请参阅图1，图1为本申请实施例提供的电子设备的第一结构示意图。电子设备20可包括摄像头600、多媒体处理芯片200和应用处理芯片400。摄像头600与多媒体处理芯片200通信连接，多媒体处理芯片200和应用处理芯片400通信连接。其中，通信连接可以理解为电性连接和无线连接。在此以电性连接为例，其中电性连接可以理解为两个元器件通过信号线诸如导线连接，或者两个元器件直接焊接在一起。

其中，摄像头600可以采集图像数据，诸如RAW域数据。摄像头600可以为前置摄像头，也可以为后置摄像头。摄像头600可以包括镜头和图像传感器。其中，图像传感器可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器、电荷藕合器件(Charge Coupled Device，CCD)图像传感器等。摄像头600还可以将其采集到的图像数据传输到多媒体处理芯片200，以供多媒体处理芯片200内部的图像处理器进行处理。

摄像头600可以采集一路图像数据，也可以采集多路图像数据。即电子设备20可以具有一个摄像头采集一路图像数据，电子设备20也可以具有多个摄像头诸如双摄采集多路图像数据。

摄像头600所采集到的图像数据可以称为原始图像数据，也可以称为初始图像数据。可以理解的是，图像数据对应有图像，诸如用户在拍照过程中，摄像头600所采集到的图像数据可以从电子设备的预览窗口进行预览。具体来说，电子设备20启动需要进行采集图像的摄像头600，摄像头600将其所采集到的图像数据先后传输到多媒体处理芯片200和应用处理芯片400，并分别由多媒体处理芯片200和应用处理芯片400对图像数据进行处理，待多媒体处理芯片200和应用处理芯片400对图像数据处理完成后，由应用处理芯片400控制处理后的图像数据显示到电子设备20的显示屏。从而用户可以通过电子设备20的预览窗口预览到图像，可以将其定义为预览图像。其中，图像数据也可以称为图像信息。

其中，图像数据可以为静态图像数据，也可以为动态图像数据。其中静态图像数据诸如为存储于存储器中的图片的数据、电子设备20在拍照模式下所获取到的静态图像数据。其中动态图像数据可以为预览图像的数据、视频录制的数据、视频播放的数据。

多媒体处理芯片200可以对图像数据进行处理，并将其处理结果通过其接口传输到应用处理芯片400，以便于应用处理芯片400再在多媒体处理芯片200的处理结果的基础上进行处理。多媒体处理芯片200对图像数据进行处理可以称为前处理、预处理等，应用处理芯片400对图像数据进行处理可以称为后处理。

本申请一些实施例，应用处理芯片400和多媒体处理芯片200对图像数据进行处理可以是差异化处理。其中，进行差异化处理可以理解为：两者未对图像数据进行相同的处理，诸如多媒体处理芯片200对图像数据进行降噪处理，而应用处理芯片400不再对图像数据进行降噪处理；再比如多媒体处理芯片200对图像数据进行统计处理，而应用处理芯片400不再对图像数据进行统计处理。从而本申请实施例就可以大大节省应用处理芯片400对图像数据进行处理的功耗。可以通过多媒体处理芯片200对图像数据进行专门化处理，以在节省应用处理芯片400功耗的情况下，以提升图像数据的质量。

当然，应用处理芯片400和多媒体处理芯片200对图像数据也可以不进行差异化处理，诸如应用处理芯片400和多媒体处理芯片200均对图像数据进行降噪处理、统计处理等。

多媒体处理芯片200可被配置为：从一图像中获取图像数据，从图像数据中统计出状态数据，处理图像数据以对该图像进行分割诸如语义分割，得到多个对象区域，从多个对象区域中识别出目标区域，计算出目标区域的类型数据，通过其接口将状态数据和目标区域的类型数据发送至应用处理芯片400。其中，该图像可以为动态图像中的一帧图像。

可以理解的是，本申请实施例多媒体处理芯片200可以利用其硬件资源，诸如使用神经网络算法进行有监督的语义分割，实现区分出前景物体以及其他场景，可以将识别出来的前景物体作为目标区域。需要说明的是，也可以将目标区域理解为目标主体，或者说拍摄主体。由此本申请实施例可以通过多媒体处理芯片200实现拍摄主体的确定，相比由应用处理芯片400来进行目标区域的提取，就可以大大节省应用处理芯片400的功耗。

需要说明的是，多媒体处理芯片200对图像数据进行处理的算法并不限于语义分割算法。其还可以通过学习算法，或者说是神经网络算法进行其他处理诸如夜景、HDR、超分辨率、降噪、模糊等。

应用处理芯片400可被配置为：通过其接口接收多媒体处理芯片200所发送的状态数据和目标区域的类型数据，基于状态数据和目标区域的类型数据对目标区域进行图像处理。诸如白平衡处理等。

应用处理芯片400对图像数据进行后处理后可以将其处理过的图像数据存储于电子设备20的存储器中，还可以将其处理过的图像数据显示于电子设备20的显示屏中。可以理解的是，在显示或存储图像之前，应用处理芯片400可以先对RAW域数据进行处理诸如白平衡处理，然后将RAW域数据转换成YUV格式，再对YUV格式的图像数据进行处理。然后再将处理后的图像进行存储和显示。可以理解的是，RAW域数据相比YUV格式数据，RAW域数据保留更多细节，再由多媒体处理芯片200和应用处理芯片400先后对RAW域数据进行处理后可以在更多细节上提升图像质量。相比对先将RAW域数据先转化为YUV格式再处理，可以大大提升图像质量。

请参阅图2，图2为本申请实施例提供的电子设备的第二结构示意图。电子设备20还可以包括显示屏800，显示屏800可以与应用处理芯片400电连接。显示屏800可以显示画面，诸如显示屏800可以显示预览图像、视频录制图像、视频播放图像、照片等画面。需要说明的是，虽然图1和图2未示出，本申请实施例所限定的电子设备20还可以包括其他器件，诸如电池、扬声器、受话器等器件。

本申请实施例应用处理芯片400对图像数据进行后处理的结果，可以存储到电子设备20的存储器中，以及显示在显示屏800上。

下面详细说明本申请实施例多媒体处理芯片200和应用处理芯片400对图像数据的处理。

请参阅图3，图3为本申请实施例提供的电子设备的第三结构示意图。多媒体处理芯片200可以通过其第一接口201与图像传感器600电性连接，多媒体处理芯片200可以通过其第二接口202与应用处理芯片400的第三接口401电性连接。

第一接口201和第二接口202均可以为移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)。第三接口401也可以为移动产业处理器接口。需要说明的是，多媒体处理芯片200和应用处理芯片400的连接方式并不限于此，其也可以采用其他接口连接。诸如多媒体处理芯片200和应用处理芯片400还可以通过高速互联总线接口(PeripheralComponent Interconnect Express，PCIE)和/或低速互联总线接口连接。

多媒体处理芯片200的图像信号处理器(Image Signal Processing，ISP)210与第一接口201电性连接，图像信号处理器210可以从第一接口201获取图像数据，并可以对图像数据进行处理。诸如图像信号处理器210可以对其从第一接口201获取到的图像数据进行统计处理，以从图像数据中统计出状态数据，该状态数据可以包括自动曝光状态数据、自动白平衡状态数据。需要说明的是，状态数据并不限于此，诸如状态数据还包括镜头阴影校正状态数据。

图像信号处理器210在统计出状态数据后可以存储到存储器诸如多媒体处理芯片200的存储器中，也可以直接通过第二接口202传输到第三接口401。需要说明的是，多媒体处理芯片200的存储器可以内置，也可以外置。

图像信号处理器210还可以对其从第一接口201获取到的图像数据进行优化处理，诸如线性化处理、坏点补偿和黑电平校正等优化处理。图像信号处理器210可以将其优化处理后的数据存储到出存储器诸如多媒体处理芯片200的存储器中。图像信号处理器210也可以将其优化处理后的数据直接传输到多媒体处理芯片200的神经网络处理器(Neural-network Processing Unit，NPU)220。

神经网络处理器220可以对第一接口201获取到的图像数据进行处理诸如神经网络算法处理，也可以对图像信号处理器210进行优化处理后的数据进行处理诸如神经网络算法处理。神经网络处理器220处理图像数据的效率高，对图像质量的提升明显。神经网络处理器220对图像数据处理的结果可以通过存储到多媒体处理芯片200的存储器中，然后再通过第二接口202传输到第三接口401。

神经网络处理器220可以运行各种神经网络算法，诸如语义分割算法、HDR算法、降噪算法、超分辨率算法、夜景算法、模糊算法等。神经网络处理器220可以是对RAW域数据进行处理，神经网络处理器220对RAW数据进行处理诸如降噪处理、模糊处理等会改变RAW域的状态数据，神经网络处理器220将其处理结果传输到第三接口401后，应用处理芯片400的图像信号处理器420可以基于图像信号处理器210所统计的状态数据对神经网络处理器220的处理结果进行后处理，诸如白平衡处理。从而可以解决神经网络处理器220对图像数据处理完而形成失真的问题，可以确保应用处理芯片400可以基于状态数据进行正常的后处理，以确保处理后的图像的质量有所提升。

本申请实施例神经网络处理器220可以对动态图像数据诸如预览图像进行处理，多媒体处理芯片200需要实时的将其处理后的图像数据传输到应用处理芯片400。为此，本申请实施例在神经网络处理器220对图像数据进行处理之前先由图像信号处理器210对图像数据进行优化处理，以改善图像数据，神经网络处理器220在对优化处理后的图像数据进行计算时，可以加快神经网络处理器220的收敛速度。从而可以降低神经网络处理器220处理一帧图像数据所需的时间，以实现快速、实时处理图像数据的目的。

其中，图像信号处理器210对图像数据进行优化处理可以包括坏点补偿、线性化处理、黑电平校正。可以理解的是，图像信号处理器210对图像数据进行优化处理并不限于此，诸如还可以包括图像裁剪处理、图像缩小处理等。

本申请实施例神经网络处理器220对图像数据进行处理的位宽可以为第一位宽，诸如14比特(bit)、16比特。本申请实施例应用处理芯片400对图像数据进行处理的位宽可以为第二位宽，诸如为12比特。在神经网络处理器220所处理图像数据的位宽与应用处理芯片400所处理图像数据的位宽不同时，可以由图像信号处理器210对神经网络处理器220处理过的图像数据进行位宽调整处理，以将图像数据的位宽调整与应用处理芯片400所需处理图像数据的位宽相同。然后再将图像数据传输到应用处理芯片400，以加快应用处理芯片400对图像数据的处理速度。

其中，图像信号处理器210和神经网络处理器220可以通过系统总线240电性连接。即图像信号处理器210和系统总线240连接，神经网络处理器220和系统总线240连接。

需要说明的是多媒体处理芯片200的元器件并不限于此，诸如多媒体处理芯片200还可以包括数字信号处理器，数字信号处理器可以与系统总线240连接，其可以从多帧图像中选择出一帧图像作为拍照图像。再比如多媒体处理芯片200还可以包括直接存储访问控制器，其可以实现图像数据的搬移。

多媒体处理芯片200将其处理过的图像数据传输到应用处理芯片400的第三接口401，第三接口401与系统总线430电性连接，系统总线430还与应用处理器(ApplicationProcessor，AP)410、图像信号处理器420电性连接。应用处理器410可以作为电子设备20的控制中心。

应用处理芯片400可以对其接收到的图像数据进行后处理。应用处理芯片400可以被配置为：通过第三接口401接收多媒体处理芯片200所发送的状态数据和目标区域的类型数据；基于状态数据和目标区域的类型数据对目标区域进行图像处理。

应用处理芯片400还可以被配置为：通过第三接口401从多媒体处理芯片200的第二接口202接收目标区域的对焦坐标，将所述对焦坐标配置给摄像头600，以使得摄像头600基于对焦坐标进行对焦。在一些实施例中，第三接口401接收到对焦坐标后，可以由应用处理器410直接配置给摄像头600，由摄像头600基于对焦坐标进行对焦。

应用处理芯片400还可以被配置为：基于自动白平衡状态数据对目标区域进行白平衡处理。在一些实施例中，第三接口401接收到自动白平衡状态数据后，可以先由应用处理器410执行相应的算法计算出白平衡参数，由图像信号处理器420基于白平衡参数对目标区域进行白平衡处理。需要说明的是，也可以由图像信号处理器420执行相应的算法来计算出白平衡参数。当然，还可以由多媒体处理芯片200的控制处理器诸如中央处理器来执行相应的算法计算出白平衡参数。

可以理解的是，应用处理芯片400也可以对其他位置进行白平衡处理。

应用处理芯片400还可以被配置为：基于自动曝光状态数据对所述摄像头600进行配置，以使得摄像头600基于自动曝光状态数据进行曝光。在一些实施例中，第三接口401接收到自动曝光状态参数后，可以由应用处理器410执行相应的算法计算出曝光参数，并将曝光参数配置给摄像头600，以使得摄像头基于该曝光参数进行曝光。可以理解的是，在需要对曝光参数进行补偿时，可以由图像信号处理器420对曝光参数进行补偿，然后由应用处理器410将补偿后的曝光参数配置给摄像头，以使得摄像头600基于补偿后的曝光参数进行曝光。需要说明的是，也可以由多媒体处理芯片200的控制处理器诸如中央处理器来执行相应的算法计算出曝光参数。

应用处理芯片400还可以被配置为：基于镜头阴影校正状态数据对目标区域进行镜头阴影校正。在一些实施例中，第三接口401接收到镜头阴影校正状态数据后，可以先由应用处理器410执行相应的算法计算出镜头阴影校正参数，由图像信号处理器420基于镜头阴影校正参数对目标区域进行镜头阴影校正。需要说明的是，也可以由图像信号处理器420执行相应的算法来计算出镜头阴影校正参数。当然，还可以由多媒体处理芯片200的控制处理器诸如中央处理器来执行相应的算法计算出镜头阴影校正参数。

可以理解的是，应用处理芯片400也可以对其他位置进行镜头阴影校正。

应用处理芯片400还可以被配置为：通过第三接口401从多媒体处理芯片200的第二接口202接收显著区域对焦坐标，将对焦坐标配置给摄像头600，以使得摄像头600基于对焦坐标进行对焦。在一些实施例中，第三接口401接收到对焦坐标后，可以由应用处理器410直接配置给摄像头600，由摄像头600基于对焦坐标进行对焦。

由此，本申请实施例对状态参数的统计可以均由多媒体处理芯片200来完成。且多媒体处理芯片200还可以针对不同的状态参数执行相应的算法以计算出相应的参数，进而应用处理芯片400可以基于相应的参数执行相应的操作。相比由应用处理芯片400来统计状态状态，且执行相应的算法来计算出相应的参数，并基于相应的参数执行相应的操作，就可以节省应用处理芯片400的功耗。

下面从图像数据流向的角度进行详细说明。

请参阅图4，图4为本申请实施例提供的图像处理方法的第一流程示意图，图4可以理解为拍摄主体的确定方法流程示意图。结合图1至图3及以上电子设备20。

4001，通过图像信号处理器210从一图像的图像数据中统计出状态数据。其中，状态数据可以包括自动白平衡状态数据、自动曝光状态数据、镜头阴影校正状态数据等。

4002，通过神经网络处理器220处理图像数据以对图像数据进行分割诸如语义分割，得出多个对象区域。可以理解为对该图像进行分类处理，多个对象区域可以包括人物、树木、汽车等类别。

4003，通过神经网络处理器220从多个对象区域中识别出目标区域。其中，神经网络处理器220从多个对象区域中识别出目标区域的策略可以是以最前面的物体为目标区域，即最靠近镜头的物体为拍摄主体。神经网络处理器220从多个对象区域中识别出目标区域的策略还可以是以人物为主体(不管人物是在最前面或者在某个物体后面)，即将人物识别为目标区域，或者说拍摄主体，可以理解为人像模式。神经网络处理器220从多个对象区域中识别出目标区域的策略还可以是以景物为目标区域(山水、树木、花草等景色)，即将景物识别为目标区域，或者说拍摄主体，可以理解为景色模式。

4004，通过神经网络处理器220计算出目标区域的类型数据。目标区域的类型数据可以为人、景色等。即通过神经网络处理器220计算出目标区域是属于哪一类别。

4005，通过第二接口202将状态数据和目标区域的类型数据发送至应用处理芯片400的第三接口401。

从而应用处理芯片400可以基于该状态数据和目标区域的类型数据对多媒体处理芯片200所处理过的图像数据进行后处理，诸如白平衡处理。

其中，该图像的图像数据可以是由摄像头600采集得到的RAW域数据。该摄像头600所采集的可以是一路图像数据，也可以是多路图像数据。当其采集的图像数据为多路时，多路图像数据可以包括景深数据。神经网络处理器220可以基于景深数据进行虚化处理，诸如视频虚化处理。

可以理解的是，本申请实施例神经网络处理器220对图像数据进行的处理还可以包括降噪、HDR、夜景等处理，在此不再一一举例说明。

需要说明的是，在神经网络处理器220对图像数据进行处理之前可以先由图像信号处理器210对图像数据进行优化处理诸如坏点补偿、线性化处理、黑电平校正等，然后再由神经网络处理器220进行处理，以加快神经网络处理器220的收敛速度。神经网络处理器220对图像数据处理后，若图像数据的位宽与应用处理器400所处理图像数据的位宽不同，则先由图像信号处理器210对神经网络处理器220处理过的图像数据进行位宽调整处理，以使得其调整后的图像数据的位宽与应用处理芯片400所处理图像数据的位宽相同，然后再将位宽调整后的图像数据传输到应用处理芯片400。

请参阅图5，图5为本申请实施例提供的图像处理方法的第二流程示意图，图5可以理解为对焦方法流程示意图。结合图1至图3及以上电子设备20。

5001，通过图像信号处理器210从一图像的图像数据中统计出状态数据。其中，状态数据可以包括自动曝光状态数据、自动白平衡状态数据、镜头阴影校正状态参数等。

5002，通过神经网络处理器220处理图像数据以对图像数据进行分割诸如语义分割，得出多个对象区域。可以理解为对图像进行分类处理，多个对象区域可以包括人物、树木、汽车等类别。

5003，通过神经网络处理器220从多个对象区域中识别出目标区域。其中，神经网络处理器220从多个对象区域中识别出目标区域的策略可以是以最前面的物体为目标区域，即最靠近镜头的物体为拍摄主体。神经网络处理器220从多个对象区域中识别出目标区域的策略还可以是以人物为主体(不管人物是在最前面或者在某个物体后面)，即将人物识别为目标区域，或者说拍摄主体，可以理解为人像模式。神经网络处理器220从多个对象区域中识别出目标区域的策略还可以是以景物为目标区域(山水、树木、花草等景色)，即将景物识别为目标区域，或者说拍摄主体，可以理解为景色模式。

5004，通过神经网络处理器220计算出目标区域的类型数据和属性数据。目标区域的类型数据可以为人、景色等。即通过神经网络处理器220计算出目标区域是属于哪一类别。目标区域的书数据可以为目标区域的尺寸，诸如宽度和高度等数据。

5005，通过神经网络处理器220基于目标区域的属性数据计算出目标区域的对焦坐标。诸如采用opency等算法对目标区域进行像素级别的计算，以得到目标区域的中心坐标点，将其定义为对焦坐标。

5006，通过第二接口202将状态数据、目标区域的类型数据和对焦坐标发送至应用处理芯片400的第三接口401。

5007，通过第三接口401从多媒体处理芯片200接收状态数据、目标区域的类型数据和对焦坐标。

5008，应用处理芯片400基于状态数据、目标区域的类型数据以及对焦坐标对所述目标区域进行图像处理。诸如应用处理芯片400将对焦坐标和目标区域的数据类型配置给摄像头600，以使得摄像头600基于对焦坐标进行对焦。诸如拍摄主体为人物，可以使人看起来更加清晰。

其中，状态数据还可以包括自动曝光状态数据，应用处理芯片400基于自动曝光状态数据计算出曝光参数，并将曝光参数配置给摄像头600，以使摄像头600基于该曝光参数进行曝光。诸如：摄像头600基于曝光参数对目标区域进行第一标准的曝光，以及对其他区域进行第二标准的曝光。

状态数据还可以包括自动白平衡状态数据，应用处理芯片400基于自动白平衡状态数据计算出白平衡参数，并对多媒体处理芯片200所处理过的图像数据进行白平衡处理。诸如应用处理芯片400基于自动白平衡状态数据对目标区域进行第三标准的白平衡处理，以及对其他区域进行第四标准的白平衡处理。从而可以使得目标区域看起来更白更美。

应用处理芯片400对图像处理完成后可以将处理后的图像存储到存储器中，以及由显示屏800显示。

从而本申请实施例多媒体处理芯片200不仅可以对图像数据进行优化处理、降噪、HDR等处理，还可以确定目标区域、计算对焦坐标等。本申请实施例应用处理芯片400无需再对图像数据进行过多的处理，诸如不再进行目标区域的确定、对焦坐标的计算等。相比相关技术中应用处理芯片不仅需要对图像数据进行优化处理、降噪处理等，还需要计算对焦坐标等。由此本申请实施例可以大大节省应用处理芯片400对图像数据进行处理的功耗。

需要说明的是，在神经网络处理器220对图像数据进行处理之前可以先由图像信号处理器210对图像数据进行优化处理诸如坏点补偿、线性化处理、黑电平校正，然后再由神经网络处理器220进行处理，以加快神经网络处理器220的收敛速度。神经网络处理器220对图像数据处理后，若图像数据的位宽与应用处理器400所处理图像数据的位宽不同，则先由图像信号处理器210对神经网络处理器220处理过的图像数据进行位宽调整处理，以使得其调整后的图像数据的位宽与应用处理芯片400所处理图像数据的位宽相同，然后再将位宽调整后的图像数据传输到应用处理芯片400。

请参阅图6，图6为本申请实施例提供的图像处理方法的第三流程示意图，图5可以理解为对焦方法流程示意图。结合图1至图3及以上电子设备20。

6001，通过图像信号处理器210从一图像的图像数据中统计出状态数据。其中，其中，状态数据可以包括自动曝光状态数据、自动白平衡状态数据、镜头阴影校正状态参数等。

6002，通过神经网络处理器220处理图像数据以对图像数据进行分割诸如语义，得出多个对象区域。可以理解为对图像进行分类处理，多个对象区域可以包括人物、树木、汽车等类别。

6003，通过神经网络处理器220从多个对象区域中识别出目标区域。其中，神经网络处理器220从多个对象区域中识别出目标区域的策略可以是以最前面的物体为目标区域，即最靠近镜头的物体为拍摄主体。神经网络处理器220从多个对象区域中识别出目标区域的策略还可以是以人物为主体(不管人物是在最前面或者在某个物体后面)，即将人物识别为目标区域，或者说拍摄主体，可以理解为人像模式。神经网络处理器220从多个对象区域中识别出目标区域的策略还可以是以景物为目标区域(山水、树木、花草等景色)，即将景物识别为目标区域，或者说拍摄主体，可以理解为景色模式。

6004，通过神经网络处理器220计算出目标区域的类型数据。目标区域的类型数据可以为人、景色等。即通过神经网络处理器220计算出目标区域是属于哪一类别。

6005，通过神经网络处理器220从目标区域提取出显著区域。或者说多通过神经网络处理器220从目标区域提取出感兴趣区域，再或者说通过神经网络处理器220从目标区域提取出关注区域。若目标区域为人物时，诸如神经网络处理器220可以从人物中提取人脸以作为显著区域。若目标区域为物体时，神经网络处理器220可以从物体的预设区域诸如中心区域作为显著区域。若目标区域为景物诸如树木时，神经网络处理器220可以从树木的预设区域诸如中心区域作为显著区域，还可以从树木比较集中的区域诸如树叶部分作为显著区域。

6006，通过神经网络处理器220计算出显著区域的属性数据。该显著区域的属性数据可以为目标区域的尺寸，诸如宽度和高度等数据。

6007，通过神经网络处理器220基于显著区域的属性数据计算出显著区域的对焦坐标。诸如采用opency等算法对显著区域进行像素级别的计算，以得到显著区域的中心坐标点，将其定义为对焦坐标。

6008，通过第二接口202将状态数据、目标区域的类型数据和对焦坐标发送至应用处理芯片400的第三接口401。

6009，通过第三接口401从第二接口202接收状态数据、目标区域的类型数据和对焦坐标。

6010，应用处理芯片400基于状态数据、目标区域的类型数据和对焦坐标对多媒体处理芯片200处理过的图像数据进行后处理。诸如应用处理芯片400将对焦坐标和目标区域的数据类型配置给摄像头600，以使得摄像头600基于对焦坐标进行对焦。诸如目标区域为人物，显著区域为人脸，即拍摄主体为人脸，可以使人脸看起来更加清晰。

其中，状态数据还可以包括自动曝光状态数据，应用处理芯片400基于自动曝光状态数据计算出曝光参数，并将曝光参数配置给摄像头600，以使摄像头600基于曝光参数进行曝光。诸如摄像头600基于曝光参数对目标区域进行第一标准的曝光，以及对其他区域进行第二标准的曝光。

状态数据还可以包括自动白平衡状态数据，应用处理芯片400基于自动白平衡状态数据计算出白平衡参数，并对多媒体处理芯片200所处理过的图像数据进行白平衡处理。诸如应用处理芯片400基于自动白平衡状态数据对目标区域进行第三标准的白平衡数处理，以及对其他区域进行第四标准的白平衡数处理。从而可以使得显著区域诸如人脸看起来更白更美。

应用处理芯片400对图像处理完成后可以将处理后的图像存储到存储器中，以及由显示屏800显示。

从而本申请实施例多媒体处理芯片200不仅可以对图像数据进行优化处理、降噪、HDR等处理，还可以确定目标区域、从目标区域找出显著性区域、计算对焦坐标等。本申请实施例应用处理芯片400无需再对图像数据进行过多的处理，诸如不再进行目标区域的确定、显著性区域的提取、对焦坐标的计算等。相比相关技术中应用处理芯片不仅需要对图像数据进行优化处理、降噪处理等，还需要计算对焦坐标等。由此本申请实施例可以大大节省应用处理芯片400对图像数据进行处理的功耗。

需要说明的是，在神经网络处理器220对图像数据进行处理之前可以先由图像信号处理器210对图像数据进行优化处理诸如坏点补偿、线性化处理、黑电平校正，然后再由神经网络处理器220进行处理，以加快神经网络处理器220的收敛速度。神经网络处理器220对图像数据处理后，若图像数据的位宽与应用处理器400所处理图像数据的位宽不同，则先由图像信号处理器210对神经网络处理器220处理过的图像数据进行位宽调整处理，以使得其调整后的图像数据的位宽与应用处理芯片400所处理图像数据的位宽相同，然后再将位宽调整后的图像数据传输到应用处理芯片400。

还需要说明的，6004可以是在执行6006时执行。诸如省去6004，6006，多媒体处理芯片200的神经网络处理器220计算出显著区域的类型数据和属性信息。可以理解的是，显著区域是由目标区域提取得到，显著区域的类型数据和目标区域的类型数据相同。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

以上对本申请实施例所提供的一种多媒体处理芯片、电子设备和图像处理方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种多媒体处理芯片，其特征在于，包括：

图像信号处理器，被配置为：

从一图像的图像数据中统计出状态数据；

神经网络处理器，与所述图像信号处理器通信连接，所述神经网络处理器被配置为：

处理所述图像数据以对所述图像进行分割，得到多个对象区域；

从所述多个对象区域中识别出目标区域；

计算出所述目标区域的类型数据；和

接口，所述接口被配置为：

将所述状态数据和所述目标区域的类型数据发送至应用处理芯片。

2.根据权利要求1所述的多媒体处理芯片，其特征在于，所述神经网络处理器还被配置为：

计算出所述目标区域的属性数据；

基于所述目标区域的属性数据计算出所述目标区域的对焦坐标；

所述接口还被配置为：

将所述目标区域的对焦坐标发送至所述应用处理芯片。

3.根据权利要求1所述的多媒体处理芯片，其特征在于，所述神经网络处理器还被配置为：

从所述目标区域提取出显著区域；

计算出所述显著区域的属性数据；

基于所述显著区域的属性数据计算出所述显著区域的对焦坐标；

所述接口还被配置为：

将所述显著区域的对焦坐标发送至所述应用处理芯片。

4.根据权利要求1至3任一项所述的多媒体处理芯片，其特征在于，所述图像信号处理器还被配置为：

对所述图像数据进行优化处理，以得到优化图像，用于加快所述神经网络处理器的收敛速度；

所述神经网络处理器还被配置为：

处理优化处理后的图像数据以对所述优化图像进行分割，得到多个对象区域。

5.根据权利要求1至3任一项所述的多媒体处理芯片，其特征在于，所述多媒体处理芯片用于处理RAW域数据。

6.一种电子设备，其特征在于，包括通信连接的多媒体处理芯片和应用处理芯片；

所述多媒体处理芯片被配置为：

从一图像的图像数据中统计出状态数据；

处理所述图像数据以对所述图像进行分割，得到多个对象区域；

从所述多个对象区域中识别出目标区域；

计算出所述目标区域的类型数据；

将所述状态数据和所述目标区域的类型数据发送至所述应用处理芯片；

所述应用处理芯片被配置为：

接收所述多媒体处理芯片所发送的状态数据和所述目标区域的类型数据；

基于所述状态数据和所述目标区域的类型数据对所述目标区域进行图像处理。

7.根据权利要求6所述的电子设备，其特征在于，所述电子设备还包括与所述多媒体处理芯片通信连接的摄像头，所述多媒体处理芯片还被配置为：

计算出所述目标区域的属性数据；

基于所述目标区域的属性数据计算出所述目标区域的对焦坐标；

将所述对焦坐标发送至所述应用处理芯片；

所述应用处理芯片还被配置为：

从所述多媒体处理芯片接收所述对焦坐标；

将所述对焦坐标配置给所述摄像头，以使得所述摄像头以所述对焦坐标为对焦中心点进行对焦。

8.根据权利要求6所述的电子设备，其特征在于，所述电子设备还包括与所述多媒体处理芯片通信连接的摄像头，所述多媒体处理芯片还被配置为：

从所述目标区域提取出显著区域；

计算出所述显著区域的属性数据；

基于所述显著区域的属性数据计算出所述显著区域的对焦坐标；

将所述显著区域的对焦坐标发送至所述应用处理芯片；

所述应用处理芯片还被配置为：

从所述多媒体处理芯片接收所述对焦坐标；

将所述对焦坐标配置给所述摄像头，以使得所述摄像头以所述对焦坐标为对焦中心点进行对焦。

9.根据权利要求7或8所述的电子设备，其特征在于，所述状态数据包括自动白平衡状态数据和/或自动曝光状态数据，所述应用处理芯片还被配置为：

基于所述自动白平衡状态数据对所述目标区域或所述显著区域进行白平衡处理；和/或

基于所述自动曝光状态数据对所述摄像头进行配置，以使得所述摄像头基于所述自动曝光状态数据进行曝光。

10.根据权利要求6-9任一项所述的电子设备，其特征在于，所述多媒体处理芯片还被配置为：

在所述图像数据进行分割之前先对所述图像数据进行优化处理；和/或

在所述图像数据进行分割之后对所述图像数据进行位宽调整处理，使得位宽调整后的数据与所述应用处理芯片所处理数据的位宽相同。

11.一种图像处理方法，其特征在于，应用于一电子设备，所述电子设备包括通信连接的多媒体处理芯片和应用处理芯片，所述多媒体处理芯片为如权利要求1所述的多媒体处理芯片；所述图像处理方法包括：

通过所述图像信号处理器从一图像的图像数据中统计出状态数据；

通过所述神经网络处理器处理所述图像数据以对所述图像进行分割，得到多个对象区域；

通过所述神经网络处理器从所述多个对象区域中识别出目标区域；

通过所述神经网络处理器计算出所述目标区域的类型数据；

通过所述接口将所述状态数据和所述目标区域的类型数据发送至所述应用处理芯片；

所述应用处理芯片接收所述多媒体处理芯片所发送的状态数据和所述目标区域的类型数据；

所述应用处理芯片基于所述目标区域的类型数据和状态数据对所述目标区域进行图像处理。

Images