CN111860530A - 电子设备、数据处理方法及相关装置 - Google Patents

Abstract

本申请实施例提供一种电子设备、数据处理方法及相关装置，包括：第一图像传感器、相机串行接口解码器、图像信号处理器、数字信号处理器；数字信号处理器用于通过相机串行接口解码器、轻量图像前端接收来自第一图像传感器采集的第一原始图像数据，以及调用第一图像处理算法对第一原始图像数据进行第一预设处理，得到第一参考图像数据，图像前端用于传输电子设备的第二图像传感器所采集的第二原始图像数据或者传输第一原始图像数据。本申请实施例实现通过两个通道兼容相同或者不同原始图像数据进行预处理。

Description

电子设备、数据处理方法及相关装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种数据处理方法、系统及相关装置。

背景技术

目前利用手机的图像采集功能进行情境感知的厂商越来越多，多数方案是使用一颗传感器Sensor用于抓取图像数据，通过智能传感集线器Sensor HUB接入一颗外置的数字信号处理器(Digital Signal Processor，DSP)进行处理，来实现相关的功能。

有些厂商利用现有ISP架构，如图1A所示，实现基于情景感知的应用功能的电子设备中，图像传感器通过视频前端(Video front-end，VFE)接口连接图像信号处理器(ImageSignal Processor，ISP)的图像前端(Image Front-end，IFE)，ISP的图像处理引擎(ImageProcess Engine，IPE)是降躁及颜色编码方法YUV后处理处理单元，后台进程会截取IFE的图像数据，结合情景感知的应用功能算法处理图像数据得到图像检测结果，并将图像检测结果与应用交互实现特定的应用功能。

发明内容

本申请实施例提供了一种电子设备、数据处理方法及相关装置，以期实现通过两个通道兼容相同或者不同原始图像数据进行预处理。

第一方面，本申请实施例提供一种电子设备，包括第一图像传感器、相机串行接口解码器、图像信号处理器、数字信号处理器，所述图像信号处理器包括轻量图像前端和图像前端，其中，所述第一图像传感器连接所述相机串行接口解码器，所述相机串行接口解码器连接所述图像信号处理器的所述轻量图像前端，所述轻量图像前端连接所述数字信号处理器；

所述数字信号处理器用于通过所述相机串行接口解码器、所述轻量图像前端接收来自所述第一图像传感器采集的第一原始图像数据，以及调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据，所述图像前端用于传输所述电子设备的第二图像传感器所采集的第二原始图像数据，或者，所述图像前端用于传输所述第一图像传感器所采集的所述第一原始图像数据。

第二方面，本申请实施例提供一种数据处理方法，应用于电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器、图像信号处理器、数字信号处理器，所述图像信号处理器包括轻量图像前端和图像前端，其中，所述第一图像传感器连接所述相机串行接口解码器，所述相机串行接口解码器连接所述图像信号处理器的所述轻量图像前端，所述轻量图像前端连接所述数字信号处理器；所述方法包括：

所述第一图像传感器采集第一原始图像数据；

所述数字信号处理器通过所述相机串行接口解码器、所述轻量图像前端接收来自所述第一图像传感器的所述第一原始图像数据；

所述数字信号处理器调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据。

第三方面，本申请实施例提供一种数据处理装置，应用于本申请实施例第一方面任一电子设备，所述装置包括采集单元、接收单元和处理单元，

所述采集单元，用于控制所述第一图像传感器采集第一原始图像数据；

所述接收单元，用于控制所述数字信号处理器通过所述相机串行接口解码器、所述轻量图像前端接收来自所述第一图像传感器的所述第一原始图像数据；

处理单元，用于所述数字信号处理器调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据。

第四方面，本申请实施例提供一种测试设备，包括处理器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述处理器执行，上述程序包括用于执行本申请实施例第二方面任一方法中的步骤的指令。

第五方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。

第六方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第二方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，电子设备的图像信号处理器包括轻量图像前端和图像前端，第一图像传感器连接相机串行接口解码器，相机串行接口解码器连接图像信号处理器的轻量图像前端，轻量图像前端连接数字信号处理器，数字信号处理器能够用于通过相机串行接口解码器、轻量图像前端接收来自第一图像传感器采集的第一原始图像数据，以及调用第一图像处理算法对第一原始图像数据进行第一预设处理，得到第一参考图像数据，图像信号处理器的图像前端则用于传输所述电子设备的第二图像传感器所采集的第二原始图像数据，或者，图像前端用于传输第一图像传感器所采集的第一原始图像数据。如此电子设备在通过图像前端的通道传输第二原始图像数据或者第一原始图像数据的同时，通过轻量图像前端通道传输第一原始图像数据，并支持通过软件算法对第一原始图像数据进行预处理，而通过图像前端的原始图像数据可以通过图像信号处理器中的硬件处理单元实现预处理，通过两个通道实现兼容相同或者不同原始图像数据进行预处理。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是现有的实现基于情景感知的应用功能的电子设备的示意图；

图1B是本申请实施例提供的一种实现基于情景感知的应用功能的电子设备的示意图；

图1C是本申请实施例提供的另一种实现基于情景感知的应用功能的电子设备的示意图；

图2是本申请实施例提供的一种数据传输方法的流程示意图；

图3是本申请实施例提供的一种数据处理装置的功能单元组成框图；

图4是本申请实施例提供的另一种数据处理装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。

(1)常开式传感器(Alawys on sensor，AON)

AON是指被设置用于情景感知(即场景识别)的低功耗图像感应器，在具体产品功能的命名方式中，本申请基于情景感知的应用功能又可以被称为AON功能、情景感知功能等，此处不做唯一限定。

(2)RAW图像数据

RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据，它包含未压缩的原始图像数据，可使用支持该格式的软件调整曝光和白平衡。

(3)MIPI RAW图像数据

MiPi RAW是RAW图像数据的一种，是一种原始RAW，没有经过后面补偿等处理的RAW。

(4)相机串行接口解码器(Camera Serial Interface Decoder，CSID)

CSID是负责图像信号处理器ISP与传感器相连接的接口，具体对传感器的原始数据进行处理以得到RAW图像数据。

(5)图像前端IFE

IFE是ISP中的Mipi RAW图像数据单元。

(6)轻量图像前端IFE_lite

IFE_lite是ISP中的一种轻量的IFE接口。

(7)图像处理引擎(Image Process Engine，IPE)

IPE是ISP中的降躁及颜色编码方法YUV后处理处理单元。YUV是编译true-color颜色空间(color space)的种类，Y'UV,YUV,YCbCr，YPbPr等专有名词都可以称为YUV，彼此有重叠。“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。

(8)拜耳工艺段(Bayer Process Segment，BPS)

BPS是ISP中的用于将RAW图像信号转成RGB格式图像信号的处理单元。

(9)视频前端(Video front-end，VFE)

VFE是指摄像头硬件架构中的用于提供实时处理色彩和空间数据的高级图像处理模块。

(10)神经网络处理器(Neural-network Processing Units，NPU)

NPU是为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现手机等电子设备的智能认知等应用，例如：图像美颜，图像识别，人脸识别，语音识别，文本理解等。

目前，手机等电子设备设置有基于图像采集功能实现基于情境感知的应用功能的架构，该架构存在无法兼容相机常规使用场景的问题，比如用户使用抖音拍摄视频的同时，就无法使用图像传感器进行防偷窥等情境感知。

针对上述问题，本申请实施例提供一种电子设备、数据处理方法及相关装置，下面进行详细说明。

请参考图1B，本申请实施例提供了一种电子设备10，该电子设备10包括第一图像传感器100、相机串行接口解码器200、图像信号处理器300、数字信号处理器400，所述图像信号处理器300包括轻量图像前端310和图像前端320，其中，所述第一图像传感器100连接所述相机串行接口解码器200，所述相机串行接口解码器200连接所述图像信号处理器300的所述轻量图像前端310，所述轻量图像前端310连接所述数字信号处理器400；

所述数字信号处理器400用于通过所述相机串行接口解码器200、所述轻量图像前端310接收来自所述第一图像传感器100采集的第一原始图像数据，以及调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据，所述图像前端320用于传输所述电子设备10的第二图像传感器500所采集的第二原始图像数据，或者，所述图像前端320用于传输所述第一图像传感器100所采集的所述第一原始图像数据。

其中，所述第二图像传感器500在图1B中通过虚线框表示为可选实现方式。

其中，所述第一原始图像数据和所述第二原始图像数据可以是MIPI RAW图像数据，所述第一参考图像数据可以是YUV图像数据。

其中，所述第一图像处理算法用于通过软件算法的方式实现图像信号处理器等同的数据处理效果，即第一预设处理对应的操作，该第一预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。需要注意的是，虽然第一图像传感器100通过图像信号处理器300的轻量图像前端310传输第一原始图像数据，但图像信号处理器300并不会对该第一原始图像数据进行进一步处理，图像信号处理器300仅会对通过图像前端320传输的第二原始图像数据或者第一原始数据进行与第一预设处理相同或不同的处理。并且，由于轻量图像前端310只是负责接口输入，并不做其它的事情，所以它的功耗相对于启用图像前端320传输图像数据(此种情况需要启用图像信号处理器300的其他模块进行图像数据的处理)的现有方案相对更低。

其中，所述第一图像传感器100可以是低功耗图像感应器，所述第二图像传感器500可以是前置摄像头中的图像感应器，所述电子设备通过所述第一图像传感器100实现基于情境感知的应用功能包括以下至少一种：

1.隐私保护，例如社交应用程序APP来了女朋友的新消息，银行发来工资到账新短信，其中的隐私信息不希望他人看到，电子设备通过第一图像传感器100能够检测到陌生人的人眼注视户主手机屏幕时黑屏等。

2.隔空操作，用户正在做饭，将手机放在一旁查看菜谱，这时有重要电话打入，而用户手上满是油污，不便直接操作手机，电子设备通过第一图像传感器100能够检测到用户的隔空手势并执行该隔空手势对应的操作。

3.注视不灭屏，看菜谱或看电子书,常有一页会让人认真地反复阅读,不一会就到了快要自动灭屏的时间，电子设备通过第一图像传感器100能够检测到户主用户仍然注视着屏幕，则不启用自动灭屏功能。

4、躺卧不旋转，用户躺卧导致电子设备的屏幕方向发生变化时，如由竖直方向变为水平方向，电子设备通过第一图像传感器100能够检测到用户人眼注视方向跟随变化，则屏幕不发生旋转。

可以看出，本申请实施例中，电子设备的图像信号处理器包括轻量图像前端和图像前端，第一图像传感器连接相机串行接口解码器，相机串行接口解码器连接图像信号处理器的轻量图像前端，轻量图像前端连接数字信号处理器，数字信号处理器能够用于通过相机串行接口解码器、轻量图像前端接收来自第一图像传感器采集的第一原始图像数据，以及调用第一图像处理算法对第一原始图像数据进行第一预设处理，得到第一参考图像数据，图像信号处理器的图像前端则用于传输所述电子设备的第二图像传感器所采集的第二原始图像数据或者第一原始图像数据。如此电子设备在通过图像前端的通道传输第二原始图像数据或者第一原始图像数据的同时，通过轻量图像前端通道传输第一原始图像数据，并支持通过软件算法对第一原始图像数据进行预处理，同时图像信号处理器中的硬件处理单元支持对通过图像前端的原始图像数据进行预处理，从而实现通过两个通道兼容相同或者不同原始图像数据进行预处理。

在一个可能的示例中，所述第二图像传感器500通过所述相机串行接口解码器200连接所述图像信号处理器的所述图像前端；

所述图像信号处理器用于通过所述相机串行接口解码器200、所述图像前端320接收来自所述第二图像传感器500采集的第二原始图像数据，以及对所述第二原始图像数据进行第二预设处理，得到第二参考图像数据。

其中，所述第二预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。具体取决于电子设备的图像信号处理器的能力，且第一预设处理和第二预设处理可以相同，也可以不同,此处不做唯一限定。

在本可能的示例中，所述图像信号处理器300，还用于向所述数字信号处理器400发送所述第二参考图像数据；

所述数字信号处理器400，还用于接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

其中，所述相机算法包括系统自带的或者第三方推送的各种拍照、录像算法，如美颜算法等。

可见，本示例中，电子设备在支持基于情景感知的应用功能的架构的同时，仍然可以使用图像前端320来完成相机功能。

在本可能的示例中，所述数字信号处理器400，还用于调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果，以及根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

其中，所述第三预设处理包括以下至少一种：人像检测、注视检测、隔空手势检测。

具体实现中，所述根据所述图像检测结果完成目标功能可以是数字信号处理器400与电子设备的应用进行交互，由电子设备执行应用获取图像检测结果后所确定的需要执行的具体操作。

可见，本示例中，电子设备能够通过DSP直接进行基于情景感知的应用功能的实现，无需其他处理器参与，有利于降低功耗。

在一个可能的示例中，如图1C所示，所述电子设备还包括主处理器600，

所述数字信号处理器400，还用于向所述主处理器600发送所述第一参考图像数据；

所述主处理器600，用于接收所述第一参考图像数据，调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果，以及根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

其中，所述主处理器可以是NPU，也可以是传统的中央处理器CPU等，此处不做唯一限定。

可见，本示例中，电子设备能够通过NPU处理DSP的图像检测结果，实现基于情景感知的应用功能。

在本可能的示例中，所述图像信号处理器300，还用于向所述主处理器600发送所述第二参考图像数据；

所述主处理器600，还用于接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

可见，本示例中，电子设备能够在通过主处理器在实现基于情景感知的应用功能的同时，通过主处理器兼容相机功能。

此外，本申请实施例还提出，电子设备可以设置有具有一定数据预处理能力的传感器，此传感器可以内置一颗小的协图像信号处理器ISP，通过该协ISP可以直接输出YUV的数据，这样就可以完全不需要经过相机的原来的ISP，从而达到最大化降低功耗，并且最方便地实现我们所需要的功能。

与图1B一致的，请参阅图2，图2是本申请实施例提供的一种数据处理方法，应用于如图1B所示的电子设备，电子设备包括第一图像传感器、相机串行接口解码器、图像信号处理器、数字信号处理器，所述图像信号处理器包括轻量图像前端和图像前端，其中，所述第一图像传感器连接所述相机串行接口解码器，所述相机串行接口解码器连接所述图像信号处理器的所述轻量图像前端，所述轻量图像前端连接所述数字信号处理器；所述方法包括如下步骤：

步骤201，所述第一图像传感器采集第一原始图像数据；

步骤202，所述数字信号处理器通过所述相机串行接口解码器、所述轻量图像前端接收来自所述第一图像传感器的所述第一原始图像数据；

步骤203，所述数字信号处理器调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据。

其中，所述第一预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。

可以看出，本申请实施例中，电子设备的图像信号处理器包括轻量图像前端和图像前端，第一图像传感器连接相机串行接口解码器，相机串行接口解码器连接图像信号处理器的轻量图像前端，轻量图像前端连接数字信号处理器，数字信号处理器能够用于通过相机串行接口解码器、轻量图像前端接收来自第一图像传感器采集的第一原始图像数据，以及调用第一图像处理算法对第一原始图像数据进行第一预设处理，得到第一参考图像数据，图像信号处理器的图像前端则用于传输所述电子设备的第二图像传感器所采集的第二原始图像数据，或者，图像前端用于传输第一图像传感器所采集的第一原始图像数据。如此电子设备在通过图像前端的通道传输第二原始图像数据或者第一原始图像数据的同时，通过轻量图像前端通道传输第一原始图像数据，并支持通过软件算法对第一原始图像数据进行预处理，而通过图像前端的原始图像数据可以通过图像信号处理器中的硬件处理单元实现预处理，通过两个通道实现兼容相同或者不同原始图像数据进行预处理。

在一个可能的示例中，所述方法还包括：

所述第二图像传感器采集第二原始图像数据；

所述图像信号处理器通过所述相机串行接口解码器、所述图像前端接收来自所述第二图像传感器采集的所述第二原始图像数据；

所述图像信号处理器对所述第二原始图像数据进行第二预设处理，得到第二参考图像数据。

其中，所述第一预设处理或所述第二预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。

其中，所述第一原始图像数据和所述第二原始图像数据可以是MIPI RAW图像数据，所述第一参考图像数据可以是YUV图像数据。

在一个可能的示例中，所述方法还包括：

所述图像信号处理器向所述数字信号处理器发送所述第二参考图像数据；

所述数字信号处理器接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

可见，本示例中，电子设备在支持基于情景感知的应用功能的架构的同时，仍然可以使用图像前端320来完成相机功能。

在一个可能的示例中，所述方法还包括：

所述数字信号处理器调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果；

所述数字信号处理器根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

其中，所述第三预设处理包括以下至少一种：人像检测、注视检测、隔空手势检测。

具体实现中，所述根据所述图像检测结果完成目标功能可以是数字信号处理器400与电子设备的应用进行交互，由电子设备执行应用获取图像检测结果后所确定的需要执行的具体操作。

可见，本示例中，电子设备能够通过DSP直接进行基于情景感知的应用功能的实现，无需其他处理器参与，有利于降低功耗。

在一个可能的示例中，所述电子设备还包括主处理器，所述方法还包括：

所述数字信号处理器向所述主处理器发送所述第一参考图像数据；

所述主处理器接收所述第一参考图像数据，调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果；

所述主处理器根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

其中，所述主处理器可以是NPU，也可以是传统的中央处理器CPU等，此处不做唯一限定。

可见，本示例中，电子设备能够通过NPU处理DSP的图像检测结果，实现基于情景感知的应用功能。

在一个可能的示例中，所述方法还包括：

所述图像信号处理器向所述主处理器发送所述第二参考图像数据；

所述主处理器接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

可见，本示例中，电子设备能够在通过主处理器在实现基于情景感知的应用功能的同时，通过主处理器兼容相机功能。

本申请实施例提供一种数据处理装置，该数据处理装置可以应用于图1B或图1C所示的电子设备10。具体的，数据处理装置用于执行以数据处理方法中测试设备所执行的步骤。本申请实施例提供的数据处理装置可以包括相应步骤所对应的模块。

本申请实施例可以根据上述方法示例对数据处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下，图3示出上述实施例中所涉及的数据处理装置的一种可能的结构示意图。如图3所示，数据处理装置3包括采集单元30、接收单元31和处理单元32，

所述采集单元30，用于控制所述第一图像传感器采集第一原始图像数据；

所述接收单元31，用于控制所述数字信号处理器通过所述相机串行接口解码器、所述轻量图像前端接收来自所述第一图像传感器的所述第一原始图像数据；

所述处理单元32，用于控制所述数字信号处理器调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据。

可见，本示例中，电子设备的图像信号处理器包括轻量图像前端和图像前端，第一图像传感器连接相机串行接口解码器，相机串行接口解码器连接图像信号处理器的轻量图像前端，轻量图像前端连接数字信号处理器，数字信号处理器能够用于通过相机串行接口解码器、轻量图像前端接收来自第一图像传感器采集的第一原始图像数据，以及调用第一图像处理算法对第一原始图像数据进行第一预设处理，得到第一参考图像数据，图像信号处理器的图像前端则用于传输所述电子设备的第二图像传感器所采集的第二原始图像数据或者传输第一原始图像数据。如此电子设备在通过图像前端的通道传输第二原始图像数据或者第一原始图像数据的同时，通过轻量图像前端通道传输第一原始图像数据，并支持通过软件算法对第一原始图像数据进行预处理，而通过图像前端的原始图像数据可以通过图像信号处理器中的硬件处理单元实现预处理，通过两个通道实现兼容相同或者不同原始图像数据进行预处理。

在一个可能的示例中，所述采集单元30，还用于控制所述第二图像传感器采集第二原始图像数据；

所述接收单元31，还用于控制所述图像信号处理器通过所述相机串行接口解码器、所述图像前端接收来自所述第二图像传感器采集的所述第二原始图像数据；

所述处理单元32，还用于控制所述图像信号处理器对所述第二原始图像数据进行第二预设处理，得到第二参考图像数据。

在一个可能的示例中，所述装置还包括第一发送单元，所述第一发送单元，用于控制所述图像信号处理器向所述数字信号处理器发送所述第二参考图像数据；

所述接收单元31，还用于控制所述数字信号处理器接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

在一个可能的示例中，所述处理单元32，还用于控制所述数字信号处理器调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果；

所述处理单元32，还用于控制所述数字信号处理器根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

在一个可能的示例中，所述电子设备还包括主处理器，所述装置还包括第二发送单元，所述第二发送单元，用于控制所述数字信号处理器向所述主处理器发送所述第一参考图像数据；

所述接收单元31还用于控制所述主处理器接收所述第一参考图像数据，调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果；

所述处理单元32还用于控制所述主处理器根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

在一个可能的示例中，所述第二发送单元，还用于控制所述图像信号处理器向所述主处理器发送所述第二参考图像数据；

所述接收单元31，还用于控制所述主处理器接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

在一个可能的示例中，所述第三预设处理包括以下至少一种：人像检测、注视检测、隔空手势检测。

在一个可能的示例中，所述第一预设处理或所述第二预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。当然，本申请实施例提供的数据处理装置包括但不限于上述模块，例如：数据处理装置还可以包括存储单元33。存储单元33可以用于存储该数据处理装置的程序代码和数据。

在采用集成的单元的情况下，本申请实施例提供的数据处理装置的结构示意图如图4所示。在图4中，数据处理装置4包括：处理模块40和通信模块41。处理模块40用于对数据处理装置的动作进行控制管理，例如，采集单元30、接收单元31和处理单元32所执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块41用于支持数据处理装置与其他设备之间的交互。如图4所示，数据处理装置还可以包括存储模块42，存储模块42用于存储数据处理装置的程序代码和数据，例如存储上述存储单元33所保存的内容。

其中，处理模块40可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块41可以是收发器、RF电路或通信接口等。存储模块42可以是存储器。

其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (19)

1.一种电子设备，其特征在于，包括第一图像传感器、相机串行接口解码器、图像信号处理器、数字信号处理器，所述图像信号处理器包括轻量图像前端和图像前端，其中，所述第一图像传感器连接所述相机串行接口解码器，所述相机串行接口解码器连接所述图像信号处理器的所述轻量图像前端，所述轻量图像前端连接所述数字信号处理器；

所述数字信号处理器用于通过所述相机串行接口解码器、所述轻量图像前端接收来自所述第一图像传感器采集的第一原始图像数据，以及调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据，所述图像前端用于传输所述电子设备的第二图像传感器所采集的第二原始图像数据，或者，所述图像前端用于传输所述第一图像传感器所采集的所述第一原始图像数据。

2.根据权利要求1所述的系统，其特征在于，所述相机传感器通过所述相机串行接口解码器连接所述图像信号处理器的所述图像前端；

所述图像信号处理器用于通过所述相机串行接口解码器、所述图像前端接收来自所述第二图像传感器采集的第二原始图像数据，以及对所述第二原始图像数据进行第二预设处理，得到第二参考图像数据。

3.根据权利要求2所述的方法，其特征在于，

所述图像信号处理器，还用于向所述数字信号处理器发送所述第二参考图像数据；

所述数字信号处理器，还用于接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述数字信号处理器，还用于调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果，以及根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

5.根据权利要求2所述的方法，其特征在于，所述电子设备还包括主处理器，

所述数字信号处理器，还用于向所述主处理器发送所述第一参考图像数据；

所述主处理器，用于接收所述第一参考图像数据，调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果，以及根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

6.根据权利要求1或5所述的方法，其特征在于，

所述图像信号处理器，还用于向所述主处理器发送所述第二参考图像数据；

所述主处理器，还用于接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

7.根据权利要求2-6任一项所述的方法，其特征在于，所述第三预设处理包括以下至少一种：人像检测、注视检测、隔空手势检测。

8.根据权利要求2-7任一项所述的方法，其特征在于，所述第一预设处理或所述第二预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。

9.一种数据处理方法，其特征在于，应用于电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器、图像信号处理器、数字信号处理器，所述图像信号处理器包括轻量图像前端和图像前端，其中，所述第一图像传感器连接所述相机串行接口解码器，所述相机串行接口解码器连接所述图像信号处理器的所述轻量图像前端，所述轻量图像前端连接所述数字信号处理器；所述方法包括：

所述第一图像传感器采集第一原始图像数据；

所述数字信号处理器通过所述相机串行接口解码器、所述轻量图像前端接收来自所述第一图像传感器的所述第一原始图像数据；

所述数字信号处理器调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

所述第二图像传感器采集第二原始图像数据；

所述图像信号处理器通过所述相机串行接口解码器、所述图像前端接收来自所述第二图像传感器采集的所述第二原始图像数据；

所述图像信号处理器对所述第二原始图像数据进行第二预设处理，得到第二参考图像数据。

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

所述图像信号处理器向所述数字信号处理器发送所述第二参考图像数据；

所述数字信号处理器接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

12.根据权利要求9-11任一项所述的方法，其特征在于，所述方法还包括：

所述数字信号处理器调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果；

所述数字信号处理器根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

13.根据权利要求10所述的方法，其特征在于，所述电子设备还包括主处理器，所述方法还包括：

所述数字信号处理器向所述主处理器发送所述第一参考图像数据；

所述主处理器接收所述第一参考图像数据，调用第二图像处理算法对所述第一参考图像数据进行第三预设处理，得到图像检测结果；

所述主处理器根据所述图像检测结果完成目标功能，所述目标功能为所述电子设备通过所述第一图像传感器能够实现的功能。

14.根据权利要求9或13所述的方法，其特征在于，所述方法还包括：

所述图像信号处理器向所述主处理器发送所述第二参考图像数据；

所述主处理器接收所述第二参考图像数据，调用相机算法实现所述电子设备的相机功能。

15.根据权利要求10-14任一项所述的方法，其特征在于，所述第三预设处理包括以下至少一种：人像检测、注视检测、隔空手势检测。

16.根据权利要求10-15任一项所述的方法，其特征在于，所述第一预设处理或所述第二预设处理包括以下至少一种：自动曝光控制、镜头衰减补偿、提高亮度、黑电平校正、镜头阴影矫正、坏点校正、颜色插值、自动白平衡、颜色校正。

17.一种数据处理装置，其特征在于，应用于电子设备，所述电子设备包括第一图像传感器、相机串行接口解码器、图像信号处理器、数字信号处理器，所述图像信号处理器包括轻量图像前端和图像前端，其中，所述第一图像传感器连接所述相机串行接口解码器，所述相机串行接口解码器连接所述图像信号处理器的轻量图像前端，所述轻量图像前端连接所述数字信号处理器；所述装置包括采集单元、接收单元和处理单元，

所述采集单元，用于控制所述第一图像传感器采集第一原始图像数据；

所述接收单元，用于控制所述数字信号处理器通过所述相机串行接口解码器、所述轻量图像前端接收来自所述第一图像传感器的所述第一原始图像数据；

所述处理单元，用于控制所述数字信号处理器调用第一图像处理算法对所述第一原始图像数据进行第一预设处理，得到第一参考图像数据。

18.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求9-16任一项所述的方法中的步骤的指令。

19.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求9-16任一项所述的方法。

Images