CN117729394B - 单个图像处理模块同时处理多个图像传感器的方法 - Google Patents

Abstract

本发明公开了单个图像处理模块同时处理多个图像传感器的方法，将多个Sensor和ISP模块初始化，同步ISP模块和Sensor的时钟信号后，实现各Sensor间同步输出图像，根据驱动层的数据判断当前帧的通道序号，在ISP模块的自动曝光模块进行亮度统计信息的收集和转换后，并根据预设Sensor的通道序号不同的目标亮度进行计算获取自动曝光调整信息，根据自动曝光调整信息，通过ISP模块的自动曝光模块调整对应Sensor的增益及曝光时间参数。利用单个ISP处理模块处理两路或多路Sensor的数据，减少ISP模块的使用数量，满足小型化、低功耗、低成本的需求。

Description

单个图像处理模块同时处理多个图像传感器的方法

技术领域

本发明涉及摄像头图像处理的技术领域，特别是指一种单个图像处理模块同时处理多个图像传感器的方法。

背景技术

随着单个嵌入式设备需要同时处理摄像头数量越来越多，需要增加与摄像头数量对应的ISP处理模块。ISP处理模块中有自动曝光、自动白平衡、自动对焦等模块，但增加ISP处理模块后，会增加单个嵌入式设备的PCB面积、增加整机功耗，成本上升，无法满足小型化，低功耗、低成本的需求。

有鉴于此，本发明针对现有ISP未臻完善所导致的诸多缺失及不便而深入构思，且积极研究改良试做而开发出本发明。

发明内容

本发明的目的在于克服现有技术的不足，提供一种低功耗、且可降低成本，满足小型化需求的单个图像处理模块同时处理多个图像传感器的方法。

为了达成上述目的，本发明的解决方案是：

单个图像处理模块同时处理多个图像传感器的方法，其包括以下步骤：

步骤一、初始化Sensor参数和时序；

步骤二、ISP模块将Sensor通道序号与RAW数据传入ISP模块的自动曝光模块；

步骤三、根据传入自动曝光模块内不同的Sensor通道序号对应的目标亮度、Sensor增益、Sensor曝光时间循环调整，直到当前RAW画面统计亮度与目标亮度接近，退出自动曝光模块，保存调整后的目标亮度、Sensor增益、Sensor曝光时间；ISP模块的自动曝光模块包括以下步骤：

步骤B1、根据步骤二传入的RAW数据，调用ISP模块的统计信息获取各Sensor当前的RAW画面统计亮度“Sensor实际亮度_n”；

步骤B2、根据Sensor的曝光顺序处理自动曝光，获取自定义曝光参数结构体中的Sensor增益、Sensor曝光时间、曝光系数EV_n以及Sensor的目标亮度；

步骤B3、不同Sensor的画面亮度“Sensor实际亮度_n”，根据步骤B2的Sensor对应转换系数cf₀及曝光系数EV_n，转换至第一个Sensor维度下的画面亮度“Sensor转换亮度_n”，如下：

；

步骤B4、获取当前ISO的目标亮度，根据对应Sensor的自定义曝光参数设定Sensor目标亮度、Sensor增益以及Sensor曝光时间，比较计算换算后的Sensor画面统计亮度“Sensor转换亮度_n”是否接近目标亮度：

判断为否，则将曝光参数组、实际亮度、目标亮度传入ISP模块的自动曝光模块计算结果，获取接近目标亮度需要的Sensor增益（ISO₀）、曝光时间(t₀)，并根据SensorN对应曝光系数EV_n转换为SensorN维度下的Sensor增益（ISO_n）、曝光时间(t_n)，将Sensor增益（ISO_n）、曝光时间(t_n)设置到对应通道的Sensor寄存器中，SensorN表示第N个Sensor，循环步骤B1、B2、B3；

判断为是，保存当前通道的Sensor 目标亮度、Sensor增益以及Sensor曝光时间至对应Sensor的自定义曝光参数；

步骤四、结束自动曝光模块。

进一步，步骤一中，初始化Sensor参数和时序的具体流程为：

步骤A1、初始化Sensor硬件接口、初始化Sensor参数、打开电源IC、给Sensor上电，其中初始化Sensor参数设定Sensor帧率为：接入ISP模块的Sensor完整帧率/接入ISP模块的Sensor数量=各Sensor输出帧率；

步骤A2、Sensor上电后，将ISP模块和Sensor的时钟信号同步至同一个时钟源，此后间隔一个周期同步一次时钟源以保证时钟信号的同步性；

步骤A3、发送同步信号让各Sensor分别间隔固定帧开始曝光输出RAW数据，将各Sensor的RAW数据传至ISP模块。

进一步，步骤二的具体做法是：同步ISP模块和Sensor的时钟信号，通过时分复用的方式间隔N-1帧，分别获取N个Sensor的RAW数据送进ISP模块；

步骤B3中，ISP模块根据Sensor曝光顺序通过时分复用的方式处理自动曝光，第一帧处理Sensor₀的RAW数据，第二帧处理Sensor₁的RAW数据，第三帧处理Sensor₂的RAW数据，依次顺延直到第N个Sensor的RAW数据。

进一步，上述步骤B3中，转换系数cf₀和曝光系数EV_n的公式如下：

上述公式中，下标0或n是指Sensor的序号；F指光圈的f-number；ISO指感光度，取当前ISP模块的ISO数值；A指Sensor面积大小，单位是mm²；t指曝光时间，单位是秒。

进一步，转换增益及曝光时间的公式为：

具体转换方法包括以下步骤：

步骤C1、从ISP模块的曝光计算模块获取Sensor₀维度的Sensor增益和曝光时间，代入EV_n转换公式，计算出曝光系数EV_n；

步骤C2、根据上述公式，计算出SensorN对应的ISO100和最大曝光时间的曝光系数“ISO100 EV_n”；

步骤C3、根据ISO100 EV_n数值判断增益和曝光时间计算方式：

a、当EV_n小于“ISO100 EV_n”时，EV_n、ISO_n等于100代入步骤B3中的 EV_n公式中，求曝光时间，最后获得ISO等于100，曝光时间等于求解值；

b、当EV_n等于“ISO100 EV_n”时，获得ISO等于100，曝光时间等于最大值；

c、当EV_n大于“ISO100 EV_n”时，EV_n、最大曝光时间（t_n）代入步骤B3中的 EV_n公式，求增益（ISO_n）。最后获得增益（ISO_n）等于求解值，曝光时间（t_n）等于最大值。

进一步，步骤B4中，所述ISP模块获取当前ISO的目标亮度的方法包括以下步骤：

步骤D1、根据当前Sensor增益，计算出对应的ISO数值；

步骤D2、根据ISO数值获取目标亮度数组中对应序号；

步骤D3、获取目标亮度数组中对应序号的数值，作为当前Sensor通道序号的对应的目标亮度。

采用上述方案后，本发明单个图像处理模块同时处理多个图像传感器的方法通过一个ISP模块，可同时处理两路或多路图像传感器的数据。即多路图像传感器的RAW数据以及自动曝光统计数据（当前画面亮度、模拟增益、数字增益、曝光时间）传入一个ISP处理芯片中进行处理。从而解决现有技术中，处理多个图像传感器需要嘴硬增加ISP模块的数量，增加单个嵌入式设备的PCB面积、增加整机功耗，成本上升的问题。本发明可以在有限资源情况下，利用单个ISP处理模块处理两路或多路Sensor的数据，减少ISP模块的使用数量，满足小型化、低功耗、低成本的需求。

附图说明

图1为本发明的整体流程图。

图2为本发明初始化Sensor的流程图。

图3为本发明同步时钟信号的流程图。

图4为本发明时分复用帧信号处理示例图。

图5为本发明ISP模块中自动曝光的流程图。

图6为本发明ISP模块获取当前ISO目标亮度的流程图。

具体实施方式

为了进一步解释本发明的技术方案，下面通过具体实施例来对本发明进行详细阐述。

如图1所示，本发明揭示了一种单个图像处理模块同时处理多个图像传感器的方法，其总体思想是：将Sensor（图像传感器）和ISP（图像信号处理）模块初始化，同步ISP模块和Sensor的时钟信号后，实现各Sensor间同步输出图像。分别通过时分复用的方式间隔N-1（N等于Sensor数量）帧，分别获取N个Sensor的RAW数据送进ISP模块。根据驱动层的数据判断当前帧的通道序号，在ISP模块的自动曝光模块进行亮度统计信息的收集和转换后，并根据预设Sensor的通道序号不同的目标亮度进行计算获取自动曝光调整信息，根据自动曝光调整信息，通过ISP模块的自动曝光模块调整对应Sensor的增益（模拟增益、数字增益）及曝光时间参数。

如图1所示，本发明单个图像处理模块同时处理多个图像传感器的方法，具体包括以下步骤：

步骤一、初始化Sensor相关参数和时序；

如图2、图3及图4所示，步骤一中，初始化Sensor参数和时序的具体流程为：

步骤A1、初始化Sensor硬件接口、初始化Sensor参数、打开电源IC、给Sensor上电等操作。其中初始化Sensor参数设定Sensor帧率为：接入ISP模块的Sensor完整帧率/接入ISP模块的Sensor数量=各Sensor输出帧率（如：60fps/3=20fps）；

步骤A2、Sensor上电后，将ISP模块和Sensor的时钟信号同步至同一个时钟源（比如有源晶振），此后间隔一个周期（如：1秒）同步一次时钟源以保证时钟信号的同步性；

步骤A3、发送同步信号让各Sensor分别间隔1帧开始曝光输出RAW数据，如图4所示的“时分复用帧信号处理示例图”，第0帧Sensor₀开始曝光，第一帧Sensor₁开始曝光，第二帧Sensor₂开始曝光，依次顺延直到第N个Sensor。将各Sensor的RAW数据传至ISP模块。

步骤二、ISP模块将Sensor通道序号与RAW数据传入自动曝光模块；

步骤三、根据传入自动曝光模块内不同的Sensor通道序号对应的目标亮度、Sensor增益（模拟增益、数字增益）、Sensor曝光时间循环调整，直到当前RAW画面统计亮度与目标亮度接近，退出自动曝光模块，保存调整后的目标亮度、Sensor增益（模拟增益、数字增益）、Sensor曝光时间；

如图5所示，步骤三中，ISP模块的自动曝光模块包括以下步骤：

步骤B1、根据步骤二传入的RAW数据，调用ISP模块的统计信息获取Sensor当前的RAW画面统计亮度“Sensor实际亮度_n”；

步骤B2、根据步骤A3中的Sensor曝光顺序依序处理自动曝光，如图4的时分复用帧信号处理示例图，第一帧处理Sensor₀的RAW数据，第二帧处理Sensor₁的RAW数据，第三帧处理Sensor₂的RAW数据，依次顺延直到第N个Sensor，获取自定义曝光参数结构体中的Sensor增益、Sensor曝光时间、转换系数EV_n以及Sensor的目标亮度；

步骤B3、不同Sensor的画面亮度“Sensor实际亮度_n”，根据步骤B2的SensorN对应转换系数cf₀、曝光系数EV_n，转换至第一个Sensor维度下的画面亮度“Sensor转换亮度_n”，如下：

步骤B4、获取当前ISO的目标亮度，根据对应Sensor的自定义曝光参数设定Sensor目标亮度、Sensor增益以及Sensor曝光时间。比较计算换算后的Sensor画面统计亮度“Sensor转换亮度_n”是否接近目标亮度：

判断为否，则将曝光参数组、实际亮度、目标亮度传入ISP自动曝光模块计算结果，获取接近目标亮度需要的Sensor增益（ISO0）、曝光时间(t₀)，并根据SensorN对应转换系数EV_n转换为SensorN维度下的Sensor增益（ISO_n）、曝光时间(t_n)。将Sensor增益（ISO_n）、曝光时间(t_n)设置到对应通道的Sensor寄存器中。循环步骤B1、B2、B3；

判断为是，保存当前通道的Sensor 目标亮度、Sensor增益以及Sensor曝光时间至对应Sensor的自定义曝光参数后，结束自动曝光模块流程。

上述步骤B3中，转换系数cf₀及曝光系数EV_n的公式如下：

上述公式中，下标0或n是指Sensor的序号，第0个Sensor或第N个Sensor。如：就是第N个Sensor的光圈F-number；F指光圈的f-number，如F1.4，F2.2等；ISO指感光度，取当前ISP模块的ISO数值；A指Sensor面积大小，单位是mm²；t指曝光时间，单位秒；EV为曝光系数；cf₀为转换系数；

转换增益及曝光时间的公式为：

具体转换方法包括以下步骤：

步骤C1、从ISP模块的曝光计算模块获取Sensor₀维度的Sensor增益（ISO₀）和曝光时间(t₀)，代入步骤B3中的 EVn转换公式，计算出曝光系数EV_n；

步骤C2、根据上述公式，计算出SensorN对应的ISO100和最大曝光时间的曝光系数“ISO100 EV_n”；

步骤C3、根据ISO100 EV_n数值判断增益（ISO_n）和曝光时间(t_n)计算方式：

a、当EV_n小于“ISO100 EV_n”时，EV_n、ISO_n等于100代入步骤S23中的 EV_n公式中，求曝光时间（t_n），最后获得ISO等于100，曝光时间（t_n）等于求解值；

b、当EV_n等于“ISO100 EV_n”时，获得ISO等于100，曝光时间（t_n）等于最大值；

c、当EV_n大于“ISO100 EV_n”时，EV_n、最大曝光时间（t_n）代入步骤B3中的 EV_n公式，求增益（ISO_n）。最后获得增益（ISO_n）等于求解值，曝光时间（t_n）等于最大值。

上述计算方式采用曝光优先，即随着曝光系数（EV）增加，先将曝光时间（t）调整至最大值后，再调整增益（ISO）。

如图6所示，ISP模块获取当前ISO的目标亮度的方法包括以下步骤：

步骤D1、根据当前Sensor增益，计算出对应的ISO数值；

步骤D2、根据ISO数值获取目标亮度数组中对应序号；

步骤D3、获取目标亮度数组中对应序号的数值，作为当前Sensor通道序号的对应的目标亮度。

步骤四、结束自动曝光模块。

本发明还揭示了一种不同Sensor的画面亮度归一到同一个Sensor维度的方法，其包括以下步骤：

步骤G1、采用时分复用的方式间隔N-1帧，分别获取N个Sensor的RAW数据发送至ISP模块，N为Sensor的数量；调用ISP模块的统计信息获取Sensor当前的RAW画面统计亮度“Sensor实际亮度n”；

步骤G2、根据G1中各Sensor的曝光顺序依序处理自动曝光，第一帧处理Sensor0的RAW数据，第二帧处理Sensor1的RAW数据，第三帧处理Sensor2的RAW数据，依次顺延直到第N个Sensor，获取自定义曝光参数结构体中的Sensor增益、Sensor曝光时间、曝光系数EV_n以及Sensor的目标亮度；自定义曝光参数结构体包含：当前Sensor 的cf₀、EV_n、目标亮度；曝光模块更新增益和曝光时间后，根据更新后曝光时间(T₀，T_n)和增益（ISO0，ISO_n），重新计算cf₀、EV_n，并更新到当前Sensor的自定义曝光参数中。

步骤G3、不同Sensor的画面亮度“Sensor实际亮度_n”，根据步骤G2的SensorN对应转换系数cf₀及曝光系数EV_n，转换至第一个Sensor维度下的画面亮度“Sensor转换亮度_n”，如下：

。

其中，转换系数EV_n和cf₀的公式如下：

上述公式中，下标₀或_n是指Sensor的序号，第0个Sensor或第N个Sensor。如：就是第N个Sensor的光圈F-number；F指光圈的f-number，如F1.4，F2.2等；ISO指感光度，取当前ISP模块的ISO数值；A指Sensor面积大小，单位是mm²；t指曝光时间，单位是秒；EV为曝光系数；cf₀为转换系数。

上述实施例和图式并非限定本发明的产品形态和式样，任何所属技术领域的普通技术人员对其所做的适当变化或修饰，皆应视为不脱离本发明的专利范畴。

Claims (2)

1.单个图像处理模块同时处理多个图像传感器的方法，其特征在于，包括以下步骤：

步骤一、初始化Sensor参数和时序；初始化Sensor参数和时序的具体流程为：

步骤A1、初始化Sensor硬件接口、初始化Sensor参数、打开电源IC、给Sensor上电，其中初始化Sensor参数设定Sensor帧率为：接入ISP模块的Sensor完整帧率/接入ISP模块的Sensor数量=各Sensor输出帧率；

步骤A2、Sensor上电后，将ISP模块和Sensor的时钟信号同步至同一个时钟源，此后间隔一个周期同步一次时钟源以保证时钟信号的同步性；

步骤A3、发送同步信号让各Sensor分别间隔固定帧开始曝光输出RAW数据，将各Sensor的RAW数据传至ISP模块

步骤二、ISP模块将Sensor通道序号与RAW数据传入ISP模块的自动曝光模块；具体做法是：同步ISP模块和Sensor的时钟信号，通过时分复用的方式间隔N-1帧，分别获取n个Sensor的RAW数据送进ISP模块；步骤三、根据传入自动曝光模块内不同的Sensor通道序号对应的目标亮度、Sensor增益、Sensor曝光时间循环调整，直到当前RAW画面统计亮度与目标亮度接近，退出自动曝光模块，保存调整后的目标亮度、Sensor增益、Sensor曝光时间；其中， ISP模块根据Sensor曝光顺序通过时分复用的方式处理自动曝光，第一帧处理Sensor₀的RAW数据，第二帧处理Sensor₁的RAW数据，第三帧处理Sensor₂的RAW数据，依次顺延直到第n个Sensor的RAW数据；

ISP模块的自动曝光模块包括以下步骤：

步骤B1、根据步骤二传入的RAW数据，调用ISP模块的统计信息获取各Sensor当前的RAW画面统计亮度“Sensor实际亮度_n”；

步骤B2、根据Sensor的曝光顺序处理自动曝光，获取自定义曝光参数结构体中的Sensor增益、Sensor曝光时间、曝光系数EV_n以及Sensor的目标亮度；

步骤B3、不同Sensor的画面亮度“Sensor实际亮度_n”，根据步骤B2的Sensor对应转换系数cf₀及曝光系数EV_n，转换至第一个Sensor维度下的画面亮度“Sensor转换亮度_n”，如下：

；转换系数cf₀和曝光系数EV_n的公式如下：

上述公式中，下标0或n是指Sensor的序号；F指光圈的f-number；ISO指感光度，取当前ISP模块的ISO数值；A指Sensor面积大小，单位是mm²；t指曝光时间，单位是秒；

转换增益及曝光时间的公式为：

具体转换方法包括以下步骤：

步骤C1、从ISP模块的曝光计算模块获取Sensor₀维度的Sensor增益和曝光时间，代入EV_n转换公式，计算出曝光系数EV_n；

步骤C2、根据上述公式，计算出Sensor_n对应的ISO100和最大曝光时间的曝光系数“ISO100 EV_n”；

步骤C3、根据ISO100 EV_n数值判断增益和曝光时间计算方式：

a、当EV_n小于“ISO100 EV_n”时， ISO_n等于100代入步骤B3中的 EV_n公式中，求曝光时间，最后获得ISO等于100，曝光时间等于求解值；

b、当EV_n等于“ISO100 EV_n”时，获得ISO_n等于100，曝光时间等于最大值；

c、当EV_n大于“ISO100 EV_n”时，最大曝光时间t_n代入步骤B3中的 EV_n公式，求增益ISO_n，最后获得增益ISO_n等于求解值，曝光时间t_n等于最大值；

步骤B4、获取当前ISO的目标亮度，根据对应Sensor的自定义曝光参数设定Sensor 目标亮度、Sensor增益以及Sensor曝光时间，比较计算换算后的Sensor画面统计亮度“Sensor转换亮度_n”是否接近目标亮度：

判断为否，则将曝光参数组、实际亮度、目标亮度传入ISP模块的自动曝光模块计算结果，获取接近目标亮度需要的Sensor增益ISO₀、曝光时间t₀，并根据Sensor_n对应曝光系数EV_n转换为Sensor_n维度下的Sensor增益ISO_n、曝光时间t_n，将Sensor增益ISO_n、曝光时间t_n设置到对应通道的Sensor寄存器中，Sensor_n表示第n个Sensor，循环步骤B1、B2、B3；

判断为是，保存当前通道的Sensor 目标亮度、Sensor增益以及Sensor曝光时间至对应Sensor的自定义曝光参数；

步骤四、结束自动曝光模块。

2.如权利要求1所述的单个图像处理模块同时处理多个图像传感器的方法，其特征在于，步骤B4中，所述ISP模块获取当前ISO的目标亮度的方法包括以下步骤：

步骤D1、根据当前Sensor增益，计算出对应的ISO数值；

步骤D2、根据ISO数值获取目标亮度数组中对应序号；

步骤D3、获取目标亮度数组中对应序号的数值，作为当前Sensor通道序号的对应的目标亮度。