CN115460333A - 图像信号处理模块、芯片、电子设备及方法 - Google Patents

Abstract

本申请提供一种图像信号处理模块、芯片、电子设备及方法，图像信号处理模块耦合在摄像模块和应用处理模块之间，包括：图像信号处理接口单元，电连接摄像模块，用于接收摄像模块的多通道图像数据，识别多通道图像数据的虚拟通道标识和原始图像数据的目标数据类型，生成指示信号；图像信号处理单元，电连接图像信号处理接口单元，用于接收指示信号和原始图像数据，根据指示信号调用适配工作模式和目标数据类型的配置参数，使用配置参数处理原始图像数据得到参考图像数据；以及向应用处理模块发送参考图像数据。本申请提高图像信号处理模块进行图像数据处理的效率和实时性。

Description

图像信号处理模块、芯片、电子设备及方法

技术领域

本申请属于图像信号处理技术领域，具体涉及一种图像信号处理模块、芯片、电子设备及方法。

背景技术

图像信号处理系统级芯片包括前置图像信号处理器(Pre-Image SignalProcessor，Pre-ISP)和应用处理器，Pre-ISP电连接应用处理器，电子设备的摄像模块连接Pre-ISP和应用处理器，通过该独立的Pre-ISP进行数据处理可以得到更好的图像效果，随着智能手机特别是高端手机对Pre-ISP的要求的提高，Pre-ISP已发展到集成双通道甚至三通道来灵活支撑摄像模块的不同工作模式。

目前，摄像模块的工作模式变更时，需要Pre-ISP调整其流水线Pipeline来适配摄像模块的图像数据，当前解决方案是由应用处理器分别与摄像模块和Pre-ISP进行通信交互来实现调整，该过程耗时较长，难以满足图像数据处理的实时性要求。

发明内容

本申请实施例提供了一种图像信号处理模块、芯片、电子设备及方法，以期在摄像头切换工作模式场景中，减少Pre-ISP重新配置流水线的复杂度，提高图像信号处理模块进行图像数据处理的效率和实时性。

第一方面，本申请实施例提供了一种图像信号处理模块，耦合在摄像模块和应用处理模块之间，包括：

图像信号处理接口单元，电连接所述摄像模块，用于接收所述摄像模块的多通道图像数据，根据所述多通道图像数据中的虚拟通道标识字段识别所述工作模式和原始图像数据的目标数据类型，生成指示信号，所述指示信号用于指示所述摄像模块的工作模式有更新和所述目标数据类型；

所述图像信号处理单元，电连接所述图像信号处理接口单元，用于接收所述指示信号和所述原始图像数据，根据所述指示信号调用适配所述工作模式和所述目标数据类型的配置参数，使用所述配置参数处理所述原始图像数据得到参考图像数据；以及向所述应用处理模块发送所述参考图像数据。

可以看出，本申请实施例中，图像信号处理模块能够通过图像信号处理接口单元来识别摄像模块的工作模式和原始图像数据的目标数据类型，生成指示信号，进而图像信号处理单元根据该指示信号调用适配工作模式和目标数据类型的配置参数，使用配置参数处理原始图像数据得到参考图像数据；以及向应用处理模块发送参考图像数据。可见，图像信号处理模块无需与应用处理模块进行通信交互，直接从接收到的多通道图像数据即可实现流水线的自适应调整，相对于目前通过应用处理器指示调整的方案，Pre-ISP直接由新工作模式的图像数据触发重新配置流水线，无需AP通知，提高图像信号处理模块进行图像数据处理的效率和实时性。

第二方面，本申请实施例提供了一种图像信号处理芯片，包括：

如第一方面任一项所述的图像信号处理模块，以及应用处理模块；

其中，所述图像信号处理模块电连接所述应用处理模块，所述图像信号处理模块还用于电连接摄像模块。

第三方面，本申请实施例提供了一种电子设备，包括：

摄像模块和第二方面任一项所述的图像信号处理芯片；

所述摄像模块电连接所述图像信号处理芯片。

第四方面，本申请实施例提供了一种图像数据处理方法，包括：

采集原始图像数据，生成多通道图像数据；

根据所述多通道图像数据中的虚拟通道标识字段识别所述摄像模块的工作模式和原始图像数据的目标数据类型，生成指示信号；

根据所述指示信号调用适配的配置参数，使用所述配置参数处理所述原始图像数据得到参考图像数据；

根据所述工作模式处理所述参考图像数据得到目标图像数据。

可以看出，本申请实施例中，设备能够生成用于指示虚拟通道标识和目标数据类型的指示信号，并根据指示信号调用适配的配置参数，使用配置参数处理原始图像数据得到参考图像数据，最后根据工作模式处理参考图像数据得到目标图像数据，指示信号传输时长短、数据量低，传输步骤简洁高效，有利于提高设备处理图像数据的效率和实时性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种现有图像信号处理系统级芯片架构中工作模式切换的示意图；

图2a是本申请实施例提供的一种图像信号处理模块100的结构示意图；

图2b是本申请实施例提供的一种图像信号处理接口单元110的结构示意图；

图2c是本申请实施例提供的另一种图像信号处理接口单元110的结构示意图；

图2d是本申请实施例提供的另一种图像信号处理模块100的结构示意图；

图2e是本申请实施例提供的另一种图像信号处理模块100的结构示意图；

图3a是本申请实施例提供的一种图像信号处理芯片10的结构示意图；

图3b是本申请实施例提供的另一种图像信号处理芯片10的结构示意图；

图4是本申请实施例提供的一种电子设备1的结构示意图；

图5a是本申请实施例提供的一种图像数据处理方法的流程示意图；

图5b是本申请实施例提供的一种示例场景中模式切换的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应理解，本申请中涉及的“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请中的“至少一个”指的是一个或多个，多个指的是两个或两个以上。本申请中和/或，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一(项)个”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b或c中的至少一项(个)，可以表示：a，b，c，a和b，a和c，b和c，或a、b和c，其中a、b、c中的每一个本身可以是元素，也可以是包含一个或多个元素的集合。

需要指出的是，本申请实施例中涉及的等于可以与大于连用，适用于大于时所采用的技术方案，也可以与小于连用，适用于与小于时所采用的技术方案，需要说明的是，当等于与大于连用时，不与小于连用；当等于与小于连用时，不与大于连用。本申请实施例中“的(of)”，“相应的(corresponding，relevant)”和“对应的(corresponding)”有时可以混用，应当指出的是，在不强调其区别时，其所要表达的含义是一致的。

首先，对本申请实施例中涉及的部分名词进行解释，以便于本领域技术人员理解。

1、电子设备。本申请实施例中电子设备是一种具有图像信号处理功能的设备，可以称为用户设备(user equipment，UE)、终端(terminal)、终端设备、移动台(mobilestation，MS)、移动终端(mobile terminal，MT)、接入终端设备、车载终端设备、工业控制终端设备、UE单元、UE站、移动站、远方站、远程终端设备、移动设备、UE终端设备、无线通信设备、UE代理或UE装置等。用户设备可以是固定的或者移动的。例如，用户设备可以是手机(mobile phone)、平板电脑(pad)、台式机、笔记本电脑、一体机、车载终端、虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程手术(remote medical surgery)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、蜂窝电话、无绳电话、会话启动协议(session initiationprotocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字助理(personal digital assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、可穿戴设备、未来移动通信网络中的终端设备或者未来演进的公共移动陆地网络(public land mobile network，PLMN)中的终端设备等。在本申请的一些实施例中，用户设备还可以是具有收发功能的装置，例如芯片系统。其中，芯片系统可以包括芯片，还可以包括其它分立器件。

2、Pre-ISP。本申请实施例中Pre-ISP是一种独立于应用处理器的专用ISP，Pre-ISP的主要功能包括自动曝光(Automatic Exposure，AE)、自动对焦(Automatic Focus，AF)、自动白平衡(Automatic White Balance，AWB)、去除图像噪声、镜头暗影校正(LensShading Correction，LSC)、坏点校正(Bad PixelCorrection，BPC)，最后把处理后的原始数据Raw Data(又称为原始图像数据Raw Image Data)传给应用处理器。

3、流水线Pipeline。本申请实施例中流水线是指Pre-ISP中由一系列处理模块组成的数据处理通道(处理模块包括但不限于以下至少一种：坏点校正(Defective PixelConcealment，DPC)模块、黑电平校正(Black Level Correction，BLC)模块、镜头阴影校正(Lens Shading Correction，LSC)模块、RAW域降噪模块(Noise Reduction for RAW，NRRAW)、白平衡增益模块(Auto White Balance Gain，AWB Gain)、RGB差值模块、Gamma校正模块、颜色校正矩阵(Color Correction Matrix，CCM)模块、颜色空间变换(Color SpaceConversion，CSC)模块、颜色降噪(Noise Reduction for Chroma，NR Chroma)模块等)，这些处理模块首尾相连，在几百MHz的时钟驱动下同时高速运转，图像数据不断从一个处理模块转移至下一个处理模块，直到完成所有的算法处理，最终以YUV(“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色)或红绿蓝RGB的形式从流水线的末级流出Pre-ISP。

4、移动产业处理器接口(Mobile Industry Processor Interface，MIPI)。本申请实施例中MIPI是MIPI联盟发起的为移动应用处理器制定的开放标准和规范，用于把手机内部的接口如摄像头、显示屏接口、射频/基带接口等标准化，从而减少手机设计的复杂程度和增加设计灵活性。MIPI联盟下面有不同的工作组WorkGroup，分别定义了一系列的手机内部接口标准，比如摄像头接口CSI标准、显示接口DSI标准、射频接口DigRF标准、麦克风/喇叭接口SLIMbus标准等。统一接口标准使得手机厂商根据需要可以从市面上灵活选择不同的芯片和模组，更改设计和功能时更加快捷方便。

5、CSI-2协议。本申请实施例中CSI-2协议是MIPI规范中发送端(一般是摄像头)和接收端(一般是ISP芯片，如Pre-ISP)之间进行数据传输和控制的规范，从物理上看包含了控制部分和数据传输部分。发送端作为从设备，接收端作为主设备。协议包含了三个层次：物理层、协议层和应用层。其作用为：物理层：定义了物理链路的连接方式。应用层：协议的最上层，和图像数据编解码等处理相关。

协议层：又分为三层(像素打包解包格式，低水平协议，链路管理)，主要关于图像数据打包方式，以及处理多通路图像数据的方式等。像素/字节打包/解包层(Pixel/BytePacking/Unpacking Layer)：MIPI支持多种像素格式图像应用，包括从6位到24位每个像素的数据格式。低水平协议LLP(Low Level Protocol)层：LLP层包括，为串行数据在传输开始(SoT)到传输结束(EoT)之间传输事件，和传输数据到下一层，建立位级和字节级同步的方法。LLP最小数据粒度是一字节。LLP层也包括，每字节中各位数值分布解释，即“端”(Endian)分布。链路管理(Lane Management)层：为了性能不断提升，CSI-2是通道可扩展的。数据通道数目可以是1，2，3，4，这个依赖于应用中的带宽需求。在接口发送端(Sensor)，接口发送端分配(“distributor”功能)输出数据流到一个或更多通道。在接收端(DSP)，接口收集各个通道传输的分散数据并将之合并(“merger”功能)成为重新组合的数据流，恢复原始数据流序。

CSI-2协议层允许多数据流共用一个主机处理器端信号接口。协议层指定多数据流怎样被标记和交叉存取，因此每个数据流可以被正确的重建。

CSI-2协议数据包包括数据标志符：由2位虚拟通道号+6位数据类型构成，CSI-2协议可以通过不同的虚拟通道号和数据类型来标志不同的数据流，虚拟通道允许最多四个数据流交叉传输，比如JPEG数据流中穿插着YUV缩略图数据流。

6、虚拟通道(Virtual Channel，VC)。本申请实施例中虚拟通道是CSI-2协议层的虚拟通道。虚拟通道的目的是为了实现不同的数据流交织成一个数据流传输时在接收端方便实现数据分离。相当于对多通道数据的支持。最大支持4个通道。

7、虚拟通道标识(Identifier，ID)。本申请实施例中虚拟通道标识是虚拟通道的编号。

8、数据交叉。本申请实施例中数据交叉是指不同采集端口采集的数据按照协议层约定的交叉策略混合成一路或者多路数据，该一路或者多路数据中每个采集端口的数据可以通过数据类型或者虚拟通道来进行区分。不同采集端口的数据位于不同的数据类型区或者虚拟通道中，接收端可以从交叉的数据中提取出来。

目前，如图1所示，图像信号处理系统级芯片架构中，在摄像头模式切换过程中，AP首先通知Pre-ISP停止Pre-ISP的流水线(Stop pipeline，图示为①)，其次，AP通知摄像头(图示为Sensor)进入待机状态(SW-Standby，图示为②)，Pre-ISP重新配置自身的流水线(Re-config pipeline for new sensor mode，图示为③)，AP再通知Sensor设置新的工作模式和退出待机状态(图示为④)，随后Sensor会执行恢复(Recovery)、预曝光(pre-shutter)等操作(该过程至少占用2帧传输时长)，最终Sensor才输出新工作模式下的第一帧图像给Pre-ISP。以上整个切换过程会有两帧以上的延迟。

可见，在摄像头切换工作模式场景中，Pre-ISP需要被AP通知重配置流水线，且重新配置的流水线需要等待多帧(摄像模块的预处理耗时)才能够接收到新工作模式的图像数据，使得图像显示端出现明显的卡顿。

针对上述问题，本申请实施例提供一种图像信号处理模块、芯片、电子设备及方法，以期在摄像头切换工作模式场景中，减少Pre-ISP重新配置流水线的复杂度，提高图像信号处理模块进行图像数据处理的效率和实时性。

请参阅图2a，图2a是本申请实施例提供的一种图像信号处理模块100的结构示意图，所述图像信号处理模块100耦合在摄像模块200与应用处理模块300之间，包括：

图像信号处理接口单元110，电连接所述摄像模块200，用于接收所述摄像模块200在工作模式输出的多通道图像数据，根据所述多通道图像数据中的虚拟通道标识字段识别所述工作模式和原始图像数据的目标数据类型，生成指示信号，所述指示信号用于指示所述摄像模块的工作模式有更新和所述目标数据类型；

示例的，所述多通道图像数据为所述摄像模块200输出的至少包含虚拟通道标识、原始图像数据的数据集。所述虚拟通道标识字段是指CSI-2协议中约定的用于指示虚拟通道编号的多个比特位，如六个比特位分别对应虚拟通道1、虚拟通道4、虚拟通道5、虚拟通道8、虚拟通道9、虚拟通道10。

示例的，所述工作模式包括以下任意一种：单次曝光模式、两次曝光模式和三次曝光模式。所述目标数据类包括短曝数据类型、中曝数据类型和长曝数据类型中的任意一种。

其中，CSI-2协议中约定所述单次曝光模式对应虚拟通道1，所述两次曝光模式对应虚拟通道4和虚拟通道5，所述三次曝光模式对应虚拟通道8、虚拟通道9和虚拟通道10。

若所述工作模式包括所述单次曝光模式，则所述目标数据类型包括短曝数据类型，所述短曝数据类型对应曝光时长小于第一时长的图像数据；

若所述工作模式包括所述两次曝光模式，则所述目标数据类型包括短曝数据类型和中曝数据类型中的任意一种，所述中曝数据类型对应曝光时长大于或等于第一时长且小于第二时长的图像数据；

若所述工作模式包括所述三次曝光模式，则所述目标数据类型包括短曝数据类型、中曝数据类型以及长曝数据类型中的任意一种，所述长曝数据类型对应曝光时长大于或等于第二时长且小于第三时长的图像数据。

具体的，图像信号处理接口单元110可以复用CSI-2协议中虚拟通道ID字段的5个比特位的高3位来区分三种曝光模式(例如：000表示单次曝光模式，001表示两次曝光模式，010表示三次曝光模式)，低2位来区分短曝数据类型(编码为00)、中曝数据类型(编码为b01)、长曝数据类型(编码为10)的图像帧。

可见，本示例中，通过指示信号可以直观、准确的表征当前传输的多通道数据对应的工作模式和目标数据类型。

所述图像信号处理单元120，电连接所述图像信号处理接口单元110，用于接收所述指示信号和所述原始图像数据，根据所述指示信号调用适配所述工作模式和所述目标数据类型的配置参数，使用所述配置参数处理所述原始图像数据得到参考图像数据；以及向所述应用处理模块300发送所述参考图像数据。

示例的，所述应用处理模块300用于处理所述参考图像数据得到目标图像数据。

在一些可能的示例中，所述摄像模块200还用于接收应用处理模块300的模式切换信号，根据所述模式切换信号300由当前的第二工作模式切换为所述工作模式。

示例的，所述配置参数包括用于实现以下至少一种处理的参数：黑电平校正BLC、画面对比度调整Degamma、降噪NR、白平衡WB、去马赛克Demosalc、色彩校正CCm、锐化Sharpening、色彩空间转化CSM。

可以看出，本申请实施例中，图像信号处理模块能够通过图像信号处理接口单元来识别摄像模块的工作模式和原始图像数据的目标数据类型，生成指示信号，进而图像信号处理单元根据该指示信号调用适配工作模式和目标数据类型的配置参数，使用配置参数处理原始图像数据得到参考图像数据；以及向应用处理模块发送参考图像数据。可见，图像信号处理模块无需与应用处理模块进行通信交互，直接从接收到的多通道图像数据即可实现流水线的自适应调整，相对于目前通过应用处理器指示调整的方案，Pre-ISP直接由新工作模式的图像数据触发重新配置流水线，无需AP通知，提高图像信号处理模块进行图像数据处理的效率和实时性。

在一些可能的示例中，如图2b所示，所述图像信号处理接口单元110包括用于传输所述多通道图像数据的信号接收端口111。

示例的，所述电信号接收端口111可以包括单个电信号接口。

示例的，所述电信号接收端口111可以包括用于接收第一指示信息的第一电信号接口、以及接收第二指示信息的第二电信号接口、以及接收所述原始图像数据的第三电信号接口，其中，所述第一指示信息用于指示所述工作模式，所述第二指示信息用于指示所述目标数据类型。

例如，所述工作模式可以由CSI-2协议中虚拟通道标识字段的5个比特位的高3位来指示。该3个比特位可以通过单个电信号接收端口111串行传输，或者通过3个电信号接收端口111并行传输，此处不做唯一限定。

可见，本示例中，图像信号处理接口单元支持物理上设置信号接收端口来专门接收多通道图像数据。

在一些可能的示例中，如图2c所示，所述图像信号处理接口单元包括用于发送所述指示信号的信号发送端口112。

在一些可能的示例中，所述指示信号包括第一指示子信号和第二指示子信号；

所述第一指示子信号用于指示所述摄像模块的工作模式有更新；或者，所述第一指示子信号用于指示所述摄像模块的工作模式；或者，所述第一指示子信号用于指示所述摄像模块的工作模式对应的虚拟通道标识；

所述第二指示子信号用于指示所述目标数据类型。

示例的，所述指示信号的指示方式包括以下任意一种：

方式1，指示所述摄像模块的工作模式有更新和目标数据类型。

具体的，工作模式有无更新可以通过1个比特位实现指示，目标数据类型至少通过2个比特位实现差异化指示。总计至少需要3个比特位实现指示。

此种情况下，信号发送端口112的数量可以是1个或者多个如3个。

方式2，指示工作模式和目标数据类型。

具体的，由于工作模式包括以下任意一种：单次曝光模式、两次曝光模式和三次曝光模式，即三种情况，因此工作模式至少需要2个比特位来实现差异化指示，目标数据类型至少通过2个比特位实现差异化指示。总计至少需要4个比特位实现指示。

此种情况下，信号发送端口112的数量可以是1个或者多个如4个。

方式3，指示工作模式对应的虚拟通道标识和目标数据类型。

具体的，工作模式对应的虚拟通道标识参考前述描述，至少需要3个比特位指示，目标数据类型至少通过2个比特位实现差异化指示。总计至少需要5个比特位实现指示。

此种情况下，信号发送端口112的数量可以是1个或者多个如4个。

上述仅为指示信号的举例说明，本申请实施例对指示信号的方式不做限定。

可见，本示例中，图像信号处理接口单元物理上设置专门传输指示信号的电信号接口，从而图像信号处理接口单元在对应的电信号接口传输信号即可实现指示信号的同步。

在一些可能的示例中，如图2d所示，所述图像信号处理模块100还包括第一接口单元130；

所述第一接口单元130，电连接所述摄像模块200和所述图像信号处理接口单元110，用于接收所述摄像模块200的所述多通道图像数据，将所述多通道图像数据由模拟信号转换为数字信号，并向所述图像信号处理接口单元110发送所述多通道图像数据。

示例的，所述第一接口单元130为MIPI接收器，所述第一接口单元130用于将多通道图像数据由模拟信号转换为数据信号。

示例的，所述第一接口单元包括用于传输所述第一指示信息的第一电信号接口，所述第一接口单元还包括用于传输所述第二指示信息的第二电信号接口，所述第一接口单元还包括用于传输所述原始图像数据的第三电信号接口。

可见，本示例中，所述图像信号处理模块100设置第一接口单元130实现模数转换。

在一些可能的示例中，如图2e所示，所述图像信号处理模块100还包括第二接口单元140；

所述第二接口单元140，电连接所述图像信号处理单元120和所述应用处理模块300，用于接收所述图像信号处理单元的所述参考图像数据，并向应用处理模块300发送所述参考图像数据。

示例的，所述第二接口单元140包括MIPI接口，所述第二接口单元140用于将参考图像数据由数据信号转换为模拟信号。

可见，本示例中，图像信号处理模块100设置第二接口单元140实现数模转换。

请参阅图3a，图3a是本申请实施例提供的一种图像信号处理芯片10的结构示意图，包括：

如本申请实施例所述的图像信号处理模块100，以及应用处理模块300；

其中，所述图像信号处理模块100电连接所述应用处理模块300，所述图像信号处理模块100还用于电连接摄像模块200。

在一些可能的示例中，如图3b所示，所述应用处理模块300电连接所述摄像模块200，用于向所述摄像模块200发送模式切换信号；

所述摄像模块200，用于根据所述模式切换信号将工作模式由第二工作模式切换为所述第一工作模式，所述第一工作模式所使用的虚拟通道与所述第二工作模式所使用的虚拟通道不同。

示例的，所述第一工作模式包括使用虚拟通道8、虚拟通道9、虚拟通道10来传输3曝工作模式的多通道数据，所述第二工作模式包括使用虚拟通道4和虚拟通道5来传输2曝工作模式的多通道数据。

示例的，所述摄像模块200包括支持多通道数据传输的互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器等。

可见，本示例中，图像信号处理芯片直接从接收到的多通道图像数据即可实现流水线的自适应调整，相对于目前通过应用处理器指示调整的方案，图像信号处理芯片直接由图像数据触发重新配置流水线，无需AP通知，提高图像信号处理芯片进行图像数据处理的效率和实时性。

请参阅图4，图4是本申请实施例提供的一种电子设备1的结构示意图，包括：

摄像模块200和本申请实施例所述的图像信号处理芯片10；

所述摄像模块200电连接所述图像信号处理芯片10。

示例的，图像信号处理芯片10通过连接图像信号处理接口模块110的接口、连接应用处理模块300的接口分别连接摄像模块200.

可见，本示例中，电子设备的图像信号处理芯片直接从接收到的多通道图像数据实现流水线的自适应调整，相对于目前通过应用处理器指示调整的方案，图像信号处理芯片直接由图像数据触发重新配置流水线，无需AP通知，提高电子设备进行图像数据处理的效率和实时性。

请参阅图5a，图5a是本申请实施例提供的一种图像数据处理方法的流程示意图，应用于电子设备1，包括如下步骤：

步骤501，采集原始图像数据，生成多通道图像数据。

步骤502，根据所述多通道图像数据中的虚拟通道标识字段识别所述工作模式和原始图像数据的目标数据类型，生成指示信号。

步骤503，根据所述指示信号调用适配的配置参数，使用所述配置参数处理所述原始图像数据得到参考图像数据。

步骤504，根据所述工作模式处理所述参考图像数据得到目标图像数据。

举例来说，假设应用处理模块300为应用处理器AP，图像信号处理模块100为Pre-ISP，摄像模块200为sensor，如图5b所示的模式切换过程的流程示意图，包括：

AP首先控制sensor上电，通知sensor设置为2曝工作模式，sensor分别使用虚拟通道4和虚拟通道5来传输2曝工作模式且数据类型为短曝数据类型的第一多通道数据，其中第一多通道数据的虚拟通道标识字段的高3位设置为001，低2位设置为00；

Pre-ISP接收第一多通道数据，解析虚拟通道标识字段，确定2曝工作模式和短曝数据类型，生成第一指示信号，并根据第一指示信号调用适配的第一配置参数，使用第一配置参数处理所述第一多通道数据中的第一图像数据得到第一参考图像数据，向AP发送第一参考图像数据。

AP重新设置sensor为3曝工作模式，sensor分别使用虚拟通道8、虚拟通道9、虚拟通道10来传输3曝工作模式且数据类型为中曝数据类型的第二多通道数据，其中第二多通道数据的虚拟通道标识字段的高3位设置为010，低2位设置为01；

Pre-ISP接收第二多通道数据，解析虚拟通道标识字段，确定3曝工作模式和中曝数据类型，生成第二指示信号，并根据第二指示信号调用适配的第二配置参数，使用第二配置参数处理所述第二多通道数据中的第二图像数据得到第一参考图像数据，向AP发送第一参考图像数据。

在一个可能的实施例中，所述指示信号包括第一指示子信号和第二指示子信号；所述第一指示子信号用于指示所述摄像模块的工作模式有更新；所述第二指示子信号用于指示所述目标数据类型。

在本可能的实施例中，所述指示信号包括第一字段和第二字段；所述第一字段包含至少一个比特位，用于指示所述摄像模块的工作模式有更新；所述第二字段包含至少两个比特位，用于指示所述目标数据类型。

在一个可能的实施例中，所述指示信号包括第一指示子信号和第二指示子信号；所述第一指示子信号用于指示所述摄像模块的工作模式；所述第二指示子信号用于指示所述目标数据类型。

在本可能的实施例中，所述指示信号包括第一字段和第二字段；所述第一字段包含至少两个比特位，用于指示所述摄像模块的工作模式；所述第二字段包含至少两个比特位，用于指示所述目标数据类型。

可见，本示例中，设备支持使用两个字段分别指示第一指示子信号和第二指示子信号，准确性高。

示例的，所述配置参数包括用于实现以下至少一种处理的参数：黑电平校正BLC、画面对比度调整Degamma、降噪NR、白平衡WB、去马赛克Demosalc、色彩校正CCm、锐化Sharpening、色彩空间转化CSM。

可以看出，本申请实施例中，设备能够生成用于指示工作模式和目标数据类型的指示信号，并根据指示信号调用适配的配置参数，使用配置参数处理原始图像数据得到参考图像数据，最后根据工作模式处理参考图像数据得到目标图像数据，指示信号传输时长短、数据量低，传输步骤简洁高效，有利于提高设备处理图像数据的效率和实时性。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应该理解为对本申请的限制。

上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括电子设备。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括电子设备。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。

Claims (14)

1.一种图像信号处理模块，耦合在摄像模块和应用处理模块之间，其特征在于，包括：

图像信号处理接口单元，电连接所述摄像模块，用于接收来自所述摄像模块的多通道图像数据，根据所述多通道图像数据中的虚拟通道标识字段识别所述摄像模块的工作模式和原始图像数据的目标数据类型，生成指示信号，所述指示信号用于指示所述摄像模块的工作模式和所述目标数据类型；

所述图像信号处理单元，电连接所述图像信号处理接口单元，用于接收所述指示信号和所述原始图像数据，根据所述指示信号调用适配所述工作模式和所述目标数据类型的配置参数，使用所述配置参数处理所述原始图像数据得到参考图像数据；以及向所述应用处理模块发送所述参考图像数据。

2.根据权利要求1所述的模块，其特征在于，所述图像信号处理接口单元包括用于传输所述多通道图像数据的信号接收端口。

3.根据权利要求1或2所述的模块，其特征在于，所述图像信号处理接口单元包括用于发送所述指示信号的信号发送端口。

4.根据权利要求3所述的模块，其特征在于，所述指示信号包括第一指示子信号和第二指示子信号；

所述第一指示子信号用于指示所述摄像模块的工作模式有更新；或者，所述第一指示子信号用于指示所述摄像模块的工作模式；或者，所述第一指示子信号用于指示所述摄像模块的工作模式对应的虚拟通道标识；

所述第二指示子信号用于指示所述目标数据类型。

5.根据权利要求1-4任一项所述的模块，其特征在于，所述图像信号处理模块还包括第一接口单元；

所述第一接口单元，电连接所述摄像模块和所述图像信号处理接口单元，用于接收所述摄像模块的所述多通道图像数据，将所述多通道图像数据由模拟信号转换为数字信号，并向所述图像信号处理接口单元发送所述多通道图像数据。

6.根据权利要求1-5任一项所述的模块，其特征在于，所述图像信号处理模块还包括第二接口单元；

所述第二接口单元，电连接所述图像信号处理单元和所述应用处理模块，用于接收所述图像信号处理单元的所述参考图像数据，并向应用处理模块发送所述参考图像数据。

7.一种图像信号处理芯片，其特征在于，包括：

如权利要求1-6任一项所述的图像信号处理模块，以及应用处理模块；

其中，所述图像信号处理模块电连接所述应用处理模块，所述图像信号处理模块还用于电连接摄像模块。

8.根据权利要求7所述的芯片，其特征在于，所述应用处理模块电连接所述摄像模块，用于向所述摄像模块发送模式切换信号；

所述摄像模块，用于根据所述模式切换信号将工作模式由第二工作模式切换为所述第一工作模式，所述第一工作模式所使用的虚拟通道与所述第二工作模式所使用的虚拟通道不同。

9.一种电子设备，其特征在于，包括：

摄像模块和如权利要求7或8所述的图像信号处理芯片；

所述摄像模块电连接所述图像信号处理芯片。

10.一种图像数据处理方法，其特征在于，包括：

采集原始图像数据，生成多通道图像数据；

根据所述多通道图像数据中的虚拟通道标识字段识别所述摄像模块的工作模式和原始图像数据的目标数据类型，生成指示信号；

根据所述指示信号调用适配的配置参数，使用所述配置参数处理所述原始图像数据得到参考图像数据；

根据所述工作模式处理所述参考图像数据得到目标图像数据。

11.根据权利要求10所述的方法，其特征在于，所述指示信号包括第一指示子信号和第二指示子信号；

所述第一指示子信号用于指示所述摄像模块的工作模式有更新；

所述第二指示子信号用于指示所述目标数据类型。

12.根据权利要求11所述的方法，其特征在于，所述指示信号包括第一字段和第二字段；

所述第一字段包含至少一个比特位，用于指示所述摄像模块的工作模式有更新；

所述第二字段包含至少两个比特位，用于指示所述目标数据类型。

13.根据权利要求10所述的方法，其特征在于，所述指示信号包括第一指示子信号和第二指示子信号；所述第一指示子信号用于指示所述摄像模块的工作模式；所述第二指示子信号用于指示所述目标数据类型。

14.根据权利要求13所述的方法，其特征在于，所述指示信号包括第一字段和第二字段；

所述第一字段包含至少两个比特位，用于指示所述摄像模块的工作模式；

所述第二字段包含至少两个比特位，用于指示所述目标数据类型。

Images