CN113596357B - 图像信号处理器、图像信号处理装置及方法、芯片、终端设备 - Google Patents

Abstract

一种图像信号处理器、图像信号处理装置及方法、芯片、终端设备，图像信号处理器包括：分离模块、RAW域处理模块、HDR融合模块；所述域处理模块包括对应短曝光图像数据的第一RAW域处理器、以及对应其他曝光时长图像数据的RAW域处理器；处理器将处理后的短曝光图像数据传输给HDR融合模块，其他RAW域处理器将处理后的曝光图像数据写入外部存储器；HDR融合模块在收到所述第一RAW域处理器传输的短曝光图像数据后，从外部存储器中读取出与短曝光图像数据对应的其他曝光时长的图像数据，并对短曝光图像数据、以及与所述短曝光图像数据对应的其他曝光时长的图像数据进行融合处理，得到HDR图像。本发明方案可以有效减少芯片面积。

Description

图像信号处理器、图像信号处理装置及方法、芯片、终端设备

技术领域

本发明涉及图像信号处理技术领域，具体地涉及一种图像信号处理器、还涉及一种图像信号处理装置及方法，还涉及一种芯片及一种终端设备。

背景技术

在日常生活中，高动态场景较为常见。比如室内场景拍摄窗户旁的人或物体，因为窗外和室内亮度不同，其亮度动态范围有较大差异。此时使用手机进行拍照，很容易出现窗外的物体过曝，而室内的人或物体却因光线不足导致某些细节不可见。在室外场景，逆光环境下也会出现这种问题。

对于高动态场景处理，一般有软件和硬件两种方案。软件处理方案通过逐帧控制曝光参数，产生过曝、正常和欠曝三帧图像，然后进行高动态融合处理，产生高动态图像。这种软件处理方式是按照帧级控制曝光，由于用户手抖或者拍摄范围内的运动物体，很容易出现鬼影，用户体验不佳，仅用于拍照，预览和录像都不能使用。硬件处理方案需要有HDR(High-Dynamic Range，高动态范围)传感器的支持。HDR传感器支持行级和帧级多种曝光，即长曝光、中曝光和短曝光。针对高动态场景，HDR传感器采集不同曝光的图像数据，进行融合，产生高动态图像，亮度高的地方不过曝，亮度低的地方细节依然清晰可见。使用HDR传感器采集的数据及后续处理，可以完美地解决高动态场景拍照及视频录制问题。

针对HDR传感器的图像处理，现有技术中通常采用在线处理方式，需要在片上内存中缓存短曝光图像数据到来之前的所有长曝光和中曝光图像数据，其所占用的片上内存很大。这将导致芯片面积急剧增大，大大增加了ISP(Image Signal Prosessor，图像信号处理器)的硬件成本。

发明内容

本发明实施例一方面提供一种图像信号处理器及一种芯片，实现对HDR传感器采集的图像的处理，节省对片上内存的需求，减小芯片面积。

本发明实施例另一方面还提供一种图像信号处理装置及方法、终端设备，可以有效提升硬件小型化程度，减小硬件占用空间。

为此，本发明实施例提供如下技术方案：

一种图像信号处理器，所述图像信号处理器包括：分离模块、RAW域处理模块、HDR融合模块；所述RAW域处理模块包括对应短曝光图像数据的第一RAW域处理器、以及对应其他曝光时长图像数据的RAW域处理器；

所述分离模块，用于接收HDR传感器输出的图像数据，并对所述图像数据进行分解，将分解得到的不同曝光时长的图像数据传输到对应的RAW域处理器；

所述RAW域处理模块中的各RAW域处理器并行处理各自接收到的图像数据，并且所述第一RAW域处理器将处理后的短曝光图像数据传输给所述HDR融合模块，所述其他RAW域处理器将处理后的曝光图像数据写入外部存储器；

所述HDR融合模块，用于在收到所述第一RAW域处理器传输的短曝光图像数据后，从所述外部存储器中读取出与所述短曝光图像数据对应的其他曝光时长的图像数据，并对所述短曝光图像数据、以及与所述短曝光图像数据对应的其他曝光时长的图像数据进行融合处理，得到HDR图像。

可选地，所述HDR传感器输出的图像数据为行级曝光图像数据，并且每个曝光窗口覆盖一行或多行图像，长中短曝光图像数据以行为单位交织输出；或者所述HDR传感器输出的图像数据为帧级曝光图像数据，并且每个曝光窗口覆盖一行或多行图像,长中短曝光图像数据以帧为单位交织输出。

可选地，不同曝光时间对应的曝光窗口不同。

可选地，所述HDR传感器输出的图像数据为按照曝光时长由长到短依次输出的各曝光时长的图像数据。

可选地，所述HDR传感器输出的图像数据为包含不同曝光时长的图像数据的融合数据；所述分离模块，还用于在对所述图像数据进行分解之前，将所述融合数据解析为不同曝光时长的图像数据。

可选地，所述对应其他曝光时长图像数据的RAW域处理器包括：对应中曝光图像数据的第二RAW域处理器、和/或对应长曝光图像数据的第三RAW域处理器。

一种芯片，包括前面所述的图像信号处理器。

一种图像信号处理装置，包括前面所述的图像信号处理器、以及与所述图像信号处理器位于不同芯片的外部存储器；

所述外部存储器用于存储所述图像信号处理器需要融合的长曝光图像数据和中曝光图像数据。

可选地，所述外部存储器为以下任意一种或多种：DDR SDRAM。

一种终端设备，包括：HDR传感器、传输接口、以及权利要求8至9任一项所述的图像信号处理装置；

所述HDR传感器，用于采集高动态范围的图像数据；

所述传输接口，用于将所述HDR传感器采集的高动态范围的图像数据传送给所述图像信号处理装置；

所述图像信号处理装置，用于对所述高动态范围的图像数据进行融合处理，得到HDR图像。

可选地，所述传输接口包括：MIPI接口、串行接口。

一种图像信号处理方法，所述方法包括：

接收HDR传感器输出的图像数据；

对所述图像数据进行分解，对分解得到的不同曝光时长的图像数据进行并行处理，并将处理后的短曝光图像数据之外的其他曝光时长图像数据写入外部存储器；

在分解得到短曝光图像数据后，从所述外部存储器中读取出对应的其他曝光时长图像数据，对所述短曝光图像数据和所述其他曝光时长图像数据进行融合处理，得到HDR图像。

可选地，所述HDR传感器输出的图像数据为按照曝光时长由长到短依次输出的各曝光时长的图像数据。

可选地，所述HDR传感器输出的图像数据为包含不同曝光时长的图像数据的融合数据；所述方法还包括：对所述图像数据进行分解之前，将所述融合数据解析为不同曝光时长的图像数据。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。

本发明实施例还提供一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。

本发明实施例提供的图像信号处理器及芯片，对HDR传感器采集的图像数据采用在线+离线的硬件架构，所述图像信号处理器无需片上内存，而是采用外部存储器来缓存待处理的图像数据，从而大大节省了芯片内存，降低了硬件成本。

基于上述图像信号器的图像信号处理装置及方法，既可以满足HDR图像处理的需求，也可以有效节省硬件成本。

采用上述图像信号处理装置的终端设备，既可以满足预览、拍照和视频录制场景的性能要求，提升终端设备相机性能，而且还可以大大降低设备成本。

附图说明

图1是本发明实施例提供的图像信号处理器的一种原理框图；

图2是本发明实施例提供的图像信号处理方法的一种流程图；

图3是本发明实施例提供的终端设备的一种结构示意图；

图4是本发明实施例中图像信号处理器对不同曝光图像数据处理的时序示意图。

具体实施方式

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

HDR传感器支持行级和帧级的多种曝光。行级曝光是指，根据当前场景需求，对每行进行不同的曝光，同一时刻有N1行处于长曝，有N2行处于中曝，有N3行处于短曝。在一帧时间内，同时获取了长、中、短三种曝光的图像数据，整体缩短了采集数据时间，大大减弱了鬼影出现的可能性。帧级曝光是指，以帧为单位，按照某种曝光参数完成一帧曝光，然后再更新曝光参数进行下一帧曝光。虽然帧级曝光去鬼影效果弱于行级曝光，但它比软件方式效果也要好很多，也可以用于预览和视频录制。

对于HDR传感器多种曝光数据的处理，现有技术中采用在线模式。以行级曝光为例，当软件配置好三种曝光参数后，启动传感器，传感器开始采集图像。首先，传感器会以行为单位输出长曝光的图像数据，ISP中需要将长曝光图像数据缓存到片上内存中。当完成长曝光后，开始中曝光，中曝光完毕后传感器输出中曝光图像数据；ISP依然需要将中曝光图像数据缓存到片上内存中。紧接着开始短曝光，短曝光完成后，传感器输出短曝光图像数据。此时ISP会将之前缓存的对应行数的长曝光和中曝光图像与短曝光图像进行在线融合，产生HDR图像中该行数据。依次类推，最终产生整幅HDR图像，用于后续的拍照或者视频录制。由于需要片上内存，导致芯片面积急剧增大，不利用集成化及硬件空间较小的应用环境。

针对这种采用片上内存进行数据缓存的硬件结构所存在的问题，本发明实施例提供一种图像信号处理器及一种芯片，还提供一种图像信号处理装置及方法、终端设备，对HDR传感器采集的图像数据采用在线+离线的硬件架构，所述图像信号处理器无需片上内存，而是采用外部存储器来缓存待处理的图像数据，从而节省芯片内存，降低硬件成本。

如图1所示，是本发明实施例图像信号处理器的一种原理框图。

在该实施例中，所述图像信号处理器100包括：分离模块110、RAW域处理模块、HDR融合模块130。其中，所述RAW域处理模块包括对应短曝光图像数据的第一RAW域处理器121、以及对应其他曝光时长图像数据的RAW域处理器；所述对应其他曝光时长图像数据的RAW域处理器可以包括：对应中曝光图像数据的第二RAW域处理器122、和/或对应长曝光图像数据的第三RAW域处理器123。图1中示出了对应三种不同曝光时长图像数据的RAW域处理器，即：用于处理短曝光图像数据的第一RAW域处理器121、用于处理中曝光图像数据的第二RAW域处理器122，以及用于处理长曝光图像数据的第三RAW域处理器123。

需要说明的是，图1中对于所述RAW域处理模块包括的RAW域处理器只是一种举例，不应理解为对所述RAW域处理模块的限定。在实际应用中，有几类曝光的图像数据，就有几个RAW域处理器，每个RAW域处理器对应一类曝光的图像数据。

所述RAW域处理器对接收到的图像数据的处理主要包括但不限于：BPC(Bad PixelCorrect，坏像素校正)、BLC(Black Level Correct，黑电平校正)、LSC(Lens ShadingCorrect，镜头阴影校正)等。当然，在不同的应用中，所述RAW域处理器的功能可以有所不同，对此本发明实施例不做限定。

所述分离模块110用于接收HDR传感器输出的图像数据，并对所述图像数据进行分解，将分解得到的不同曝光时长的图像数据传输到对应的RAW域处理器。比如，图1中，所述分离模块110将分解得到的长曝光图像数据传输给第三RAW域处理器123，将分解得到的中曝光图像数据传输给第二RAW域处理器122，将分解得到的短曝光图像数据传输给第一RAW域处理器121。

所述RAW域处理模块中的各RAW域处理器并行处理各自接收到的图像数据，并且所述第一RAW域处理器121将处理后的短曝光图像数据传输给所述HDR融合模块130，所述其他RAW域处理器将处理后的曝光图像数据写入外部存储器200。所述外部存储器200是指独立于所述图像信号处理器100物理实体而存在的存储器，具体比如可以是SDRAM(SynchronousDynamic Random Access Memory，同步动态随机存储器)、DDR SDRAM(Double Data RateSDRAM，双倍速率SDRAM，简称为DDR)、DDRII(第二代DDR)等。

所述HDR融合模块130用于在收到所述第一RAW域处理器121传输的短曝光图像数据后，从所述外部存储器200中读取出与所述短曝光图像数据对应的其他曝光时长的图像数据，并对所述短曝光图像数据、以及与所述短曝光图像数据对应的其他曝光时长的图像数据进行融合处理，得到HDR图像。

需要说明的是，本发明实施例提供的图像信号处理器100可以处理各种HDR传感器输出的图像数据。比如，所述HDR传感器可以支持行级或帧级两种曝光模式，也就是说，所述HDR传感器输出的图像数据可以为行级曝光图像数据或者帧级曝光图像数据。所述行级曝光是指，根据当前场景需求，对每行进行不同的曝光，比如，同一时刻有N1行处于长曝，有N2行处于中曝，有N3行处于短曝。在一帧时间内，同时获取了长、中、短三种曝光的图像数据。所述帧级曝光是指，以帧为单位，按照某种曝光参数完成一帧曝光，然后再更新曝光参数进行下一帧曝光。另外，每个曝光窗口可以覆盖一行或多行图像、或者覆盖一帧或多帧图像。针对不同时长的暴光，对应的曝光窗口也会不同。

参照图1，下面以行级曝光模式为例，假设HDR传感器支持长、中、短三种曝光。根据当前环境，可以为长、中、短三种曝光设置不同的曝光值。当第N行数据处于长曝光窗口时，中、短曝光等待。直到长曝光窗口曝光结束，第N行开始中曝光；依次类推，中曝光结束后，第N行开始短曝光。

假设长曝光配置曝光时长为L1，中曝光时长为L2，短曝光时长为L3。对于第N行图像，需要等待短曝光结束后，图像信号处理器100中的HDR融合模块130才会对长、中、短三种曝光的图像数据进行融合。当第N行图像完成短曝光时，HDR传感器已经向外部存储器200输出(L2+L3)时长内曝光的长曝光数据和L3时长内曝光的中曝光数据。在HDR融合模块130接收到第N行的短曝光图像数据后，需要从外部存储器200读取出对应第N行的长、中曝光图像数据，然后将长、中、短曝光的三种第N行图像进行融合。具体的融合处理方式可以采用现有技术及未来发展的一些融合技术，对此本发明实施例不做限定。

进一步地，在本发明图像信号处理器的其他具体实施例中，还可包括对应每个RAW域处理器的3A统计模块(未图示)，所述3A是指AE(Automatic Exposure，自动曝光)、AWB(Automatic white balance，自动白平衡)、AF(Automatic Focus，自动对焦)，所述3A统计模块主是从RAW域处理器处理后的图像数据中提取上述这些参数。

另外，在本发明图像信号处理器的其他具体实施例中，还可包括对HDR融合模块130输出的HDR图像做进一步处理的处理模块，比如RAW域处理模块、RGB域处理模块，YUV处理模块，这些不同域的处理模块可以集成为一个处理器，也可以为各自独立的处理器，而且，对于各域处理模块的具体处理内容及处理方式等，本发明实施例不做限定，可以根据具体应用需要来设计。

经过上述不同域处理模块的处理后，最终可产生YUV图像数据，所述YUV图像数据也可以写入所述外部存储器200中，也可以写入其他存储器中，以供后续各种不同应用使用。

在实际应用中，HDR传感器可以采用不同方式传输图像数据，比如：

一种是对不同曝光数据分别传输，每个像素bit位为HDR传感器采集位宽，比如10bit。比如，HDR传感器采集三种曝光的图像数据，并依次传递长、中、短曝光数据。

另一种是HDR传感器内部对多种不同曝光数据进行融合，产生高bit位宽的数据，比如融合后每个像素点为20bit，其中包含长、中、短曝光信息。

相应地，图1中的分离模块110可以针对上面HDR传感器输出的两种形式的图像数据，采用不同方式进行分离处理。具体如下：

对于上述第一种传输方式，分离模块110只需将不同曝光的图像数据按照约定发送到对应的RAW域处理器中即可。

对于上述第二种传输方式，分离模块110需要将高bit位的融合数据解析为分离的不种曝光的RAW数据，分别传输给各自对应的RAW域处理器进行处理。这种做法有两个优点：一是RAW域处理器只需要保持原有的处理位宽即可，比如10bit。它不需要根据HDR传感器输出的融合数据的位宽进行升级，比如升级到20bit。这既保持了流水线上处理位宽的一致性，也节省了RAW域处理器上算法模块的升级成本。二是3A统计模块可以与第一种传输方式保持统一，避免设计两套机制。

在实际应用中，上述图像信号处理器可以作为独立的芯片，也可以作为芯片的一部分。

需要说明的是，本发明实施例提供的图像信号处理器，采用在线(Online)+离线(offline)的架构，与现有的在线(Online)架构相比较，它的带宽会有所增加。

以长、中、短三种曝光的图像数据，在本发明online+offline架构中，多了长、中曝光数据的写入和读出DDR。

下面分别针对本发明online+offline架构及现有online架构，对带宽进行计算，以评估其对所述图像信号处理器工作的影响。

以三曝光的4K视频录制为例，录制帧率设置为30fps。在一帧时间内，即33ms，HDR传感器采集长、中、短三种曝光的3幅4K RAW 10bit图像。所述图像信号处理器需要将长、中两种曝光的2幅4K图像写入DDR，并将其读出。

其带宽情况如下：

33ms中，假设10％的vblank(场消隐)，采集数据有效时间为33*90％＝29.7ms。

一帧内写出数据如下：

长曝光4K RAW10+中曝光4K RAW10+HDR 4K YUV10，具体数据为：

3840*2160*10/8+3840*2160*10/8+3840*2160*1.5*10/8＝34.61MB；

一帧内读入数据如下：

长曝光4K RAW10+中曝光4K RAW10，具体数据为：

3840*2160*10/8+3840*2160*10/8＝19.78MB；

因此，所述图像信号处理器的整体带宽为：

(3840*2160*10/8+3840*2160*10/8+3840*2160*1.5*10/8+3840*2160*10/8+3840*2160*10/8)/29.7*1000＝1831MB/s；

在现有的Online架构中，图像处理器的整体带宽为：

(3840*2160*1.5*10/8)/29.7*1000＝499MB/s。

由上述计算结果可以看出，本发明实施例提供的Online+offline硬件架构的图像信号处理器带宽虽然比现有online架构的图像信号处理器大了很多，但整体带宽并不大，这在手机芯片中是可以接受的。

本发明实施例提供的图像信号处理器及芯片，对HDR传感器采集的图像数据采用在线+离线的硬件架构，所述图像信号处理器无需片上内存，而是采用外部存储器来缓存待处理的图像数据，从而大大节省了芯片内存，降低了硬件成本。

相应地，本发明实施例还提供一种图像信号处理装置，该图像信号处理装置包括图1所述的图像信号处理器100、以及与所述图像信号处理器100位于不同芯片的外部存储器200。其中，所述外部存储器200用于存储所述图像信号处理器需要融合的长曝光图像数据和中曝光图像数据。所述外部存储器200比如可以是SDRAM、DDR、DDRII(第二代DDR)等。

相应地，本发明实施例还提供一种图像信号处理方法，如图2所示，是该方法的一种流程图，包括以下步骤：

步骤S21，接收HDR传感器输出的图像数据。

步骤S22，对所述图像数据进行分解，对分解得到的不同曝光时长的图像数据进行并行处理，并将处理后的短曝光图像数据之外的其他曝光时长图像数据写入外部存储器。

步骤S23，在分解得到短曝光图像数据后，从所述外部存储器中读取出对应的其他曝光时长图像数据，对所述短曝光图像数据和所述其他曝光时长图像数据进行融合处理，得到HDR图像。

在本发明实施例中，所述HDR传感器可以支持行级或帧级两种曝光模式，也就是说，所述HDR传感器输出的图像数据可以为行级曝光图像数据或者帧级曝光图像数据。

另外，所述HDR传感器可以采用不同方式传输图像数据，一种是对不同曝光数据分别传输，另一种是HDR传感器内部对多种不同曝光数据进行融合后传输，具体可参照前面的相应描述。

相应地，对于第二种方式，所述方法在上述步骤S21和步骤S22之间还可包括：将所述融合数据解析为不同曝光时长的图像数据。

本发明实施例提供的图像信号处理装置及方法，既可以满足HDR图像处理的需求，也可以有效节省硬件成本。

基于上述图像信号处理装置，本发明实施例还提供一种终端设备，如图3所示，该终端设备包括：HDR传感器400、传输接口、以及图像信号处理器100、外部存储器200、内存300。其中，所述传输接口包括：MIPI(Mobile Industry Processor Interface，移动产业处理器接口)接口501和串行接口502。其中，MIPI接口501为传感器标准接口，接收并行数据；串行接口502用于将并行数据转换为串行数据输出。

在该实施例中，所述HDR传感器400用于采集高动态范围的图像数据；所述传输接口将所述HDR传感器400采集的高动态范围的图像数据传送给所述图像信号处理器100，图像信号处理器100采用Online+offline的硬件架构，将短曝光图像数据之外的其他曝光图像数据写入外部存储器200，无需片上内存。图像信号处理器100输出YUV图像数据到内存300。需要说明的是，所述内存300与所述外部存储器200可以是同一物理实体，也可以是不同的物理实体。

参照图4，假设图像信号处理器100将HDR传感器400采集的(L2+L3)行的长曝光图像数据，传输到第三RAW域处理器上进行处理，获取3A统计信息，然后写入外部存储器200。同样，L3行的中曝光图像数据，由第二RAW域处理器进行类似处理。当图像处理器100接收到短曝光的第N行图像数据，并由第二RAW域处理器在线完成处理后，图像处理器100从外部存储器200中分别读回长曝光第N行图像数据和中曝光第N行图像数据，与在线处理的短曝光第N行数据进行融合处理，产生HDR图像，供后续算法模块处理。

如图4所示，当第一RAW域处理器处理第一行短曝光图像数据时，其已完成L3行的曝光时间。此时第二RAW域处理器处理L3+1行中曝光图像数据，并将其写入外部存储器200；第三RAW域处理器处理L2+L3+1行长曝光图像数据，也将其写入外部存储器200。HDR融合模块在接收到第一行短曝光图像数据时，图像信号处理器100并行读取外部存储器200中第一行长曝光图像数据和第一行中曝光图像数据，三种曝光数据实时融合，融合后的数据传输到后续模块处理。

需要说明的是，在实际应用中，所述终端设备中可能还有其他芯片需要读取外部存储器200中的数据，为了满足实时处理的需求，外部存储器200可以为所述图像信号处理器100设置较高的优先级。

所述图像信号处理器100既可以支持行级别的多种曝光，也可以支持帧级别的多种曝光，基于上述图像信号处理器100的终端设备，既可以满足预览、拍照和视频录制场景的性能要求，提升终端设备相机性能，而且还可以大大降低设备成本。

需要说明的是，所述终端设备可以是手机、PAD等具有拍照功能的设备。比如，在手机上实现对采集的高动态范围图像数据的实时处理，可以满足ZSL(Zero Shutter Lag，零快门滞后)拍照和视频录制需求。

在具体实施中，上述图像信号处理器可以对应于网络设备中的芯片，例如SoC(System-On-a-Chip，片上系统)、基带芯片、芯片模组等。

在具体实施中，关于上述实施例中描述的各个装置、产品包含的各个模块/单元，其可以是软件模块/单元，也可以是硬件模块/单元，或者也可以部分是软件模块/单元，部分是硬件模块/单元。

例如，对于应用于或集成于芯片的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于芯片模组的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于芯片模组内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现；对于应用于或集成于终端的各个装置、产品，其包含的各个模块/单元可以都采用电路等硬件的方式实现，不同的模块/单元可以位于终端内同一组件(例如，芯片、电路模块等)或者不同组件中，或者，至少部分模块/单元可以采用软件程序的方式实现，该软件程序运行于终端内部集成的处理器，剩余的(如果有)部分模块/单元可以采用电路等硬件方式实现。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述图2对应实施例提供的方法的步骤。

本发明实施例还提供了另一种图像信号处理装置，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图2对应实施例所提供的方法的步骤。

本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述图2对应实施例所提供的方法的步骤。

需要指出的是，本发明实施例中涉及的“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。

在本发明所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (14)

1.一种图像信号处理器，其特征在于，所述图像信号处理器包括：分离模块、RAW域处理模块、HDR融合模块；所述RAW域处理模块包括对应短曝光图像数据的第一RAW域处理器、以及对应其他曝光时长图像数据的RAW域处理器；

所述分离模块，用于接收HDR传感器输出的图像数据，并对所述图像数据进行分解，将分解得到的不同曝光时长的图像数据传输到对应的RAW域处理器；在所述HDR传感器输出的图像数据为包含不同曝光时长的图像数据的融合数据的情况下，在对所述图像数据进行分解之前，将所述融合数据解析为不同曝光时长的图像数据；

所述RAW域处理模块中的各RAW域处理器并行处理各自接收到的图像数据，并且所述第一RAW域处理器将处理后的短曝光图像数据传输给所述HDR融合模块，其他RAW域处理器将处理后的曝光图像数据写入外部存储器；

所述HDR融合模块，用于在收到所述第一RAW域处理器传输的短曝光图像数据后，从所述外部存储器中读取出与所述短曝光图像数据对应的其他曝光时长的图像数据，并对所述短曝光图像数据、以及与所述短曝光图像数据对应的其他曝光时长的图像数据进行融合处理，得到HDR图像。

2.根据权利要求1所述的图像信号处理器，其特征在于，

所述HDR传感器输出的图像数据为行级曝光图像数据，并且每个曝光窗口覆盖一行或多行图像，长中短曝光图像数据以行为单位交织输出；或者

所述HDR传感器输出的图像数据为帧级曝光图像数据，并且每个曝光窗口覆盖一帧或多帧图像,长中短曝光图像数据以帧为单位交织输出。

3.根据权利要求2所述的图像信号处理器，其特征在于，不同曝光时间对应的曝光窗口不同。

4.根据权利要求1所述的图像信号处理器，其特征在于，所述HDR传感器输出的图像数据为按照曝光时长由长到短依次输出的各曝光时长的图像数据。

5.根据权利要求1至4任一项所述的图像信号处理器，其特征在于，所述对应其他曝光时长图像数据的RAW域处理器包括：

对应中曝光图像数据的第二RAW域处理器、和/或对应长曝光图像数据的第三RAW域处理器。

6.一种芯片，其特征在于，包括如权利要求1至5任一项所述的图像信号处理器。

7.一种图像信号处理装置，其特征在于，包括如权利要求1至5任一项图像信号处理器、以及与所述图像信号处理器位于不同芯片的外部存储器；

所述外部存储器用于存储所述图像信号处理器需要融合的长曝光图像数据和中曝光图像数据。

8.根据权利要求7所述的图像信号处理装置，其特征在于，所述外部存储器为以下任意一种或多种：DDR SDRAM。

9.一种终端设备，其特征在于，包括：HDR传感器、传输接口、以及权利要求7至8任一项所述的图像信号处理装置；

所述HDR传感器，用于采集高动态范围的图像数据；

所述传输接口，用于将所述HDR传感器采集的高动态范围的图像数据传送给所述图像信号处理装置；

所述图像信号处理装置，用于对所述高动态范围的图像数据进行融合处理，得到HDR图像。

10.根据权利要求9所述的终端设备，其特征在于，所述传输接口包括：MIPI接口、串行接口。

11.一种图像信号处理方法，其特征在于，所述方法包括：

接收HDR传感器输出的图像数据；

对所述图像数据进行分解，对分解得到的不同曝光时长的图像数据进行并行处理，并将处理后的短曝光图像数据之外的其他曝光时长图像数据写入外部存储器；在所述HDR传感器输出的图像数据为包含不同曝光时长的图像数据的融合数据的情况下，对所述图像数据进行分解之前，将所述融合数据解析为不同曝光时长的图像数据；

在分解得到短曝光图像数据后，从所述外部存储器中读取出对应的其他曝光时长图像数据，对所述短曝光图像数据和所述其他曝光时长图像数据进行融合处理，得到HDR图像。

12.根据权利要求11所述的图像信号处理方法，其特征在于，所述HDR传感器输出的图像数据为按照曝光时长由长到短依次输出的各曝光时长的图像数据。

13.一种计算机可读存储介质，所述计算机可读存储介质为非易失性存储介质或非瞬态存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求11至12中任一项所述方法的步骤。

14.一种电子设备，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序时执行权利要求11至12中任一项所述方法的步骤。

Images