CN110493493A - 全景细节摄像机及获取图像信号的方法 - Google Patents

Abstract

本申请公开了一种全景细节摄像机及获取图像信号的方法，属于计算机视觉技术领域。在本申请中，由于至少第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，因此，细节摄像头可以通过第一预设曝光和第二预设曝光同时采集到包含近红外光信息的第一细节图像信号和包括可见光信息的第二细节图像信号。本申请采集到的第一细节图像信号中红外光信息和第二细节图像信号中的可见光信息均可以包括全部的图像空间信息。如此，后续根据该第一细节图像信号和第二细节图像信号进行处理得到的图像信号的质量较高，从而提高了全景细节摄像机中的细节摄像头拍摄的画面的质量。

Description

全景细节摄像机及获取图像信号的方法

技术领域

本申请涉及计算机视觉技术领域，特别涉及一种全景细节摄像机及获取图像信号的方法。

背景技术

全景细节摄像机是一种同时包括全景摄像头和细节摄像头的摄像机。其中，全景摄像头用于采集大范围拍摄区域的图像信号，细节摄像头用于采集拍摄区域中的部分区域的图像信号。通过全景细节摄像机可以同时采集到拍摄区域的全局图像和局部细节图像，以便于后续根据采集的图像进行目标识别等操作。

发明内容

本申请实施例提供了一种全景细节摄像机及图像处理方法，可以提高全景细节摄像机拍摄的图像的质量。所述技术方案如下：

一方面、提供了一种全景细节摄像机，所述全景细节摄像机包括细节摄像头和全景摄像头；所述细节摄像头包括：细节图像传感器、细节补光器和细节滤光组件，所述细节图像传感器位于所述细节滤光组件的出光侧；所述细节图像传感器，用于通过多次第一类曝光产生并输出第一细节图像信号和第二细节图像信号，其中，所述第一细节图像信号是根据第一预设曝光产生的图像信号，所述第二细节图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次第一类曝光中的其中两次曝光；所述细节补光器包括第一细节补光装置，所述第一细节补光装置用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；所述细节滤光组件包括第一细节滤光片，所述第一细节滤光片使可见光和部分近红外光通过。

在一种可能的实现方式中，所述细节摄像头还包括细节图像处理单元，所述细节图像处理单元用于对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号。

在一种可能的实现方式中，所述细节图像处理单元包括第一细节预处理单元和第一细节图像融合单元；所述第一细节预处理单元用于对所述第一细节图像信号和所述第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号；所述第一细节图像融合单元用于对所述第一预处理细节图像信号和所述第二预处理细节图像信号进行融合，得到所述融合细节图像信号。

在一种可能的实现方式中，所述第一细节预处理单元包括细节联合降噪单元、第一细节图像信号处理ISP单元和第二细节ISP单元；所述细节联合降噪单元用于分别对所述第一细节图像信号和所述第二细节图像信号进行降噪处理，得到第一降噪细节图像信号和第二降噪细节图像信号；所述第一ISP单元用于对所述第一降噪细节图像信号进行处理，得到所述第一预处理细节图像信号，所述第一预处理图像信号为亮度图像信号；所述第二ISP单元用于对所述第二降噪细节图像信号进行处理，得到所述第二预处理细节图像信号，所述第二预处理细节图像信号为色度亮度图像信号。

在一种可能的实现方式中，所述细节联合降噪单元包括细节时域降噪单元或细节空域降噪单元；所述细节时域降噪单元用于根据所述第一细节图像信号和所述第二细节图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一细节图像信号进行时域滤波处理，得到所述第一降噪细节图像信号，根据所述运动估计结果对所述第二细节图像信号进行时域滤波处理，得到所述第二降噪细节图像信号；所述细节空域降噪单元用于根据所述第一细节图像信号和所述第二细节图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一细节图像信号进行空域滤波处理，得到所述第一降噪细节图像信号，根据所述边缘估计结果对所述第二细节图像信号进行空域滤波处理，得到所述第二降噪细节图像信号。

在一种可能的实现方式中，所述细节时域降噪单元包括细节运动估计单元；所述细节运动估计单元用于根据所述第一细节图像信号和第一历史降噪细节图像信号生成第一帧差细节图像信号，根据所述第一细节帧差图像信号和多个第一细节设定帧差阈值确定所述第一细节图像信号中每个像素点的第一细节时域滤波强度，所述第一历史降噪细节图像信号是指对所述第一细节图像信号的前N帧细节图像信号中的任一帧细节图像信号进行降噪后的图像信号，所述N大于或等于1，所述多个第一设定帧差阈值与所述第一帧差细节图像信号中的多个像素点一一对应；所述细节运动估计单元还用于根据所述第二细节图像信号和第二历史降噪细节图像信号生成第二帧差细节图像信号，根据所述第二帧差细节图像信号和多个第二细节设定帧差阈值确定所述第二细节图像信号中每个像素点的第二细节时域滤波强度，所述第二历史降噪细节图像信号是指对所述第二细节图像信号的前N帧细节图像信号中的任一帧细节图像信号进行降噪后的图像信号，所述多个第二细节设定帧差阈值与所述第二帧差细节图像信号中的多个像素点一一对应号；所述细节运动估计单元还用于对每个像素点的第一细节时域滤波强度和第二细节时域滤波强度进行融合，得到每个像素点的联合细节时域滤波强度；或者，所述细节运动估计单元还用于从每个像素点的第一细节时域滤波强度和第二细节时域滤波强度中选择一个细节时域滤波强度作为相应像素点的联合细节时域滤波强度；其中，所述运动估计结果包括每个像素点的第一细节时域滤波强度和/或每个像素点的联合细节时域滤波强度。

在上述针对细节时域降噪单元的一种可能的实现方式中，所述细节时域降噪单元还包括细节时域滤波单元；所述细节时域滤波单元用于根据每个像素点的第一细节时域滤波强度对所述第一细节图像信号进行时域滤波处理，得到所述第一降噪细节图像信号，根据每个像素点的第一细节时域滤波强度对所述第二细节图像信号进行时域滤波处理，得到所述第二降噪细节图像信号；或者，所述细节时域滤波单元用于根据每个像素点的第一细节时域滤波强度对所述第一细节图像信号进行细节时域滤波处理，得到所述第一降噪细节图像信号，根据每个像素点的联合细节时域滤波强度对所述第二细节图像信号进行时域滤波处理，得到所述第二降噪细节图像信号；或者，所述细节时域滤波单元用于根据每个像素点的联合细节时域滤波强度对所述第一细节图像信号进行时域滤波处理，得到所述第一降噪细节图像信号，根据每个像素点的联合细节时域滤波强度对所述第二细节图像信号进行时域滤波处理，得到所述第二降噪细节图像信号。

在上述针对细节时域降噪单元的一种可能的实现方式中，所述第一帧差细节图像信号是指对所述第一细节图像信号和所述第一历史降噪细节图像信号进行作差处理得到的原始帧差细节图像信号；或者，所述第一帧差细节图像信号是指对所述原始帧差细节图像信号进行处理后得到的帧差细节图像信号。

在上述针对细节时域降噪单元的一种可能的实现方式中，每个像素点对应的第一细节设定帧差阈值不同，或者，每个像素点对应的第一细节设定帧差阈值相同。

在上述针对细节时域降噪单元的一种可能的实现方式中，所述多个第一细节设定帧差阈值是根据第一噪声强度细节图像信号中多个像素点的噪声强度确定得到，所述第一噪声强度细节图像信号根据所述第一历史降噪细节图像信号对应的降噪前的细节图像信号和所述第一历史降噪细节图像信号确定得到。

在上述针对细节时域降噪单元的一种可能的实现方式中，所述第二帧差细节图像信号是指对所述第二细节图像信号和所述第二历史降噪细节图像信号进行作差处理得到的原始帧差细节图像信号；或者，所述第二帧差细节图像信号是指对所述原始帧差细节图像信号进行处理后得到的帧差细节图像信号。

在上述针对细节时域降噪单元的一种可能的实现方式中，每个像素点对应的第二细节设定帧差阈值不同，或者，每个像素点对应的第二细节设定帧差阈值相同。

在上述针对细节时域降噪单元的一种可能的实现方式中，所述多个第二细节设定帧差阈值是根据第二噪声强度细节图像信号中多个像素点的噪声强度确定得到，所述第二噪声强度细节图像信号根据所述第二历史降噪细节图像信号对应的降噪前的细节图像信号和所述第二历史降噪细节图像信号确定得到。

在上述针对细节时域降噪单元的一种可能的实现方式中，所述细节空域降噪单元包括细节边缘估计单元；所述细节边缘估计单元用于确定所述第一细节图像信号中每个像素点的第一细节空域滤波强度；所述边缘估计单元还用于确定所述第二细节图像信号中每个像素点的第二细节空域滤波强度；所述细节边缘估计单元还用于对所述第一细节图像信号进行局部信息提取，得到第一细节局部信息，对所述第二细节图像信号进行局部信息提取，得到第二细节局部信息；根据所述第一细节空域滤波强度、所述第二细节空域滤波强度、所述第一细节局部信息和所述第二细节局部信息确定每个像素点对应的联合细节空域滤波强度；其中，所述细节边缘估计结果包括每个像素点的第一细节空域滤波强度和/或联合细节空域滤波强度。

在上述针对细节时域降噪单元的一种可能的实现方式中，所述第一细节局部信息和所述第二细节局部信息包括细节局部梯度信息、细节局部亮度信息和细节局部信息熵中的至少一种。

在另一种可能的实现方式中，所述细节联合降噪单元包括细节时域降噪单元和细节空域降噪单元；所述细节时域降噪单元用于根据所述第一细节图像信号和所述第二细节图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一细节图像信号进行时域滤波，得到第一时域降噪细节图像信号，根据所述运动估计结果对所述第二细节图像信号进行时域滤波，得到第二时域降噪细节图像信号；所述细节空域降噪单元用于根据所述第一时域降噪细节图像信号和所述第二时域降噪细节图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪细节图像信号进行空域滤波，得到所述第一降噪细节图像信号，根据所述边缘估计结果对所述第二时域降噪细节图像信号进行空域滤波，得到所述第二降噪细节图像信号；或者，所述细节空域降噪单元用于根据所述第一细节图像信号和所述第二细节图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一细节图像信号进行空域滤波，得到第一空域降噪细节图像信号，根据所述边缘估计结果对所述第二细节图像信号进行空域滤波，得到第二空域降噪细节图像信号；所述细节时域降噪单元用于根据所述第一空域降噪细节图像信号和所述第二空域降噪细节图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪细节图像信号进行时域滤波，得到所述第一降噪细节图像信号，根据所述运动估计结果对所述第二空域降噪细节图像信号进行时域滤波，得到所述第二降噪细节图像信号。

在上述针对细节时域降噪单元的另一种可能的实现方式中，所述细节空域降噪单元还包括细节空域滤波单元；所述细节空域滤波单元用于根据每个像素点对应的第一细节空域滤波强度对所述第一细节图像信号进行空域滤波处理，得到所述第一降噪细节图像信号，根据每个像素点对应的第一细节空域滤波强度对所述第二细节图像信号进行空域滤波处理，得到所述第二降噪细节图像信号；或者，所述空域滤波单元用于根据每个像素点对应的第一细节空域滤波强度对所述第一细节图像信号进行空域滤波处理，得到所述第一降噪细节图像信号，根据每个像素点对应的联合细节空域滤波强度对所述第二细节图像信号进行空域滤波处理，得到所述第二降噪细节图像信号；或者，所述空域滤波单元用于根据每个像素点对应的联合细节空域滤波强度对所述第一细节图像信号进行空域滤波处理，得到所述第一降噪细节图像信号，根据每个像素点对应的联合细节空域滤波强度对所述第二细节图像信号进行空域滤波处理，得到所述第二降噪细节图像信号。

在上述针对细节时域降噪单元的另一种可能的实现方式中，所述第一细节局部信息和所述细节第二局部信息包括局部梯度信息、局部亮度信息和局部信息熵中的至少一种。

在一种可能的实现方式中，所述第一细节图像融合单元用于从所述第二预处理细节图像信号分离出亮度信号和色度信号，将所述亮度信号与所述第一预处理细节图像信号进行融合，将融合之后的信号与所述色度信号进行融合，得到所述融合细节图像信号。

在一种可能的实现方式中，所述细节图像处理单元包括第二细节预处理单元和第二细节图像融合单元；所述第二细节图像融合单元用于对所述第一细节图像信号和所述第二细节图像信号进行融合，得到初始融合细节图像信号；所述第二细节预处理单元用于对所述初始融合图像信号进行处理，得到所述融合细节图像信号。

在一种可能的实现方式中，所述全景摄像头包括：全景图像传感器、全景补光器和全景滤光组件，所述全景图像传感器位于所述全景滤光组件的出光侧；所述全景图像传感器，用于通过多次第二类曝光产生并输出第一全景图像信号和第二全景图像信号，其中，所述第一全景图像信号是根据第三预设曝光产生的图像信号，所述第二全景图像信号是根据第四预设曝光产生的图像信号，所述第三预设曝光和所述第四预设曝光为所述多次第二类曝光中的其中两次曝光；所述全景补光器包括第一全景补光装置，所述第一全景补光装置用于进行近红外补光，其中，至少在所述第三预设曝光的部分曝光时间段内进行近红外补光，在所述第四预设曝光的曝光时间段内不进行近红外补光；所述全景滤光组件包括第一全景滤光片，所述第一全景滤光片使可见光波段的光和部分近红外光通过。

在一种可能的实现方式中，所述第一全景补光装置的近红外补光的波段范围与所述第一细节补光装置的近红外补光的波段范围不同；通过所述第一全景滤光片的近红外补光的波段范围与通过所述细节摄像头包括的第一细节滤光片的近红外补光的波段范围不同。

在一种可能的实现方式中，所述第一全景补光装置的近红外补光的波段范围的中心点与所述第一细节补光装置的近红外补光的波段范围的中心点之间的差异大于5nm；通过所述第一全景滤光片的近红外补光的波段范围的中心点与通过所述第一细节滤光片的近红外补光的波段范围的中心点之间的差异大于5nm。

在一种可能的实现方式中，所述全景摄像头还包括全景图像处理单元；所述全景图像处理单元用于对所述第一全景图像信号和所述第二全景图像信号进行处理得到融合全景图像信号。在一种可能的实现方式中，所述全景图像处理单元包括第一全景预处理单元和第一全景图像融合单元；所述第一全景预处理单元用于对所述第一全景图像信号和所述第二全景图像信号进行预处理，并输出第一预处理全景图像信号和第二预处理全景图像信号；所述第一全景图像融合单元用于对所述第一预处理全景图像信号和所述第二预处理全景图像信号进行融合，得到所述融合全景图像信号。

在一种可能的实现方式中，所述第一全景预处理单元包括全景联合降噪单元、第一全景图像信号处理ISP单元和第二全景ISP单元；所述全景联合降噪单元用于对所述第一全景图像信号进行降噪处理，得到第一降噪全景图像信号；所述全景联合降噪单元还用于根据所述第一全景图像信号对所述第二全景图像信号进行降噪处理，得到第二降噪全景图像信号；所述第一ISP单元用于对所述第一降噪全景图像信号进行处理，得到所述第一预处理全景图像信号，所述第一预处理图像信号为亮度图像信号；所述第二ISP单元用于对所述第二降噪全景图像信号进行处理，得到所述第二预处理全景图像信号，所述第二预处理全景图像信号为色度亮度图像信号。

在一种可能的实现方式中，所述全景联合降噪单元包括全景时域降噪单元或全景空域降噪单元；所述全景时域降噪单元用于根据所述第一全景图像信号和所述第二全景图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一全景图像信号进行时域滤波处理，得到所述第一降噪全景图像信号，根据所述运动估计结果对所述第二全景图像信号进行时域滤波处理，得到所述第二降噪全景图像信号；所述全景空域降噪单元用于根据所述第一全景图像信号和所述第二全景图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一全景图像信号进行空域滤波处理，得到所述第一降噪全景图像信号，根据所述边缘估计结果对所述第二全景图像信号进行空域滤波处理，得到所述第二降噪全景图像信号。

在一种可能的实现方式中，所述全景时域降噪单元包括全景运动估计单元；所述全景运动估计单元用于根据所述第一全景图像信号和第一历史降噪全景图像信号生成第一帧差全景图像信号，根据所述第一全景帧差图像信号和多个第一全景设定帧差阈值确定所述第一全景图像信号中每个像素点的第一全景时域滤波强度，所述第一历史降噪全景图像信号是指对所述第一全景图像信号的前N帧全景图像信号中的任一帧全景图像信号进行降噪后的图像信号，所述N大于或等于1，所述多个第一设定帧差阈值与所述第一帧差全景图像信号中的多个像素点一一对应；所述全景运动估计单元还用于根据所述第二全景图像信号和第二历史降噪全景图像信号生成第二帧差全景图像信号，根据所述第二帧差全景图像信号和多个第二全景设定帧差阈值确定所述第二全景图像信号中每个像素点的第二全景时域滤波强度，所述第二历史降噪全景图像信号是指对所述第二全景图像信号的前N帧全景图像信号中的任一帧全景图像信号进行降噪后的图像信号，所述多个第二全景设定帧差阈值与所述第二帧差全景图像信号中的多个像素点一一对应号；所述全景运动估计单元还用于对每个像素点的第一全景时域滤波强度和第二全景时域滤波强度进行融合，得到每个像素点的联合全景时域滤波强度；或者，所述全景运动估计单元还用于从每个像素点的第一全景时域滤波强度和第二全景时域滤波强度中选择一个全景时域滤波强度作为相应像素点的联合全景时域滤波强度；其中，所述运动估计结果包括每个像素点的第一全景时域滤波强度和/或每个像素点的联合全景时域滤波强度。

在上述针对全景时域降噪单元的一种可能的实现方式中，所述全景时域降噪单元还包括全景时域滤波单元；所述全景时域滤波单元用于根据每个像素点的第一全景时域滤波强度对所述第一全景图像信号进行时域滤波处理，得到所述第一降噪全景图像信号，根据每个像素点的第一全景时域滤波强度对所述第二全景图像信号进行时域滤波处理，得到所述第二降噪全景图像信号；或者，所述全景时域滤波单元用于根据每个像素点的第一全景时域滤波强度对所述第一全景图像信号进行全景时域滤波处理，得到所述第一降噪全景图像信号，根据每个像素点的联合全景时域滤波强度对所述第二全景图像信号进行时域滤波处理，得到所述第二降噪全景图像信号；或者，所述全景时域滤波单元用于根据每个像素点的联合全景时域滤波强度对所述第一全景图像信号进行时域滤波处理，得到所述第一降噪全景图像信号，根据每个像素点的联合全景时域滤波强度对所述第二全景图像信号进行时域滤波处理，得到所述第二降噪全景图像信号。

在上述针对全景时域降噪单元的一种可能的实现方式中，所述第一帧差全景图像信号是指对所述第一全景图像信号和所述第一历史降噪全景图像信号进行作差处理得到的原始帧差全景图像信号；或者，所述第一帧差全景图像信号是指对所述原始帧差全景图像信号进行处理后得到的帧差全景图像信号。

在上述针对全景时域降噪单元的一种可能的实现方式中，每个像素点对应的第一全景设定帧差阈值不同，或者，每个像素点对应的第一全景设定帧差阈值相同。

在上述针对全景时域降噪单元的一种可能的实现方式中，所述多个第一全景设定帧差阈值是根据第一噪声强度全景图像信号中多个像素点的噪声强度确定得到，所述第一噪声强度全景图像信号根据所述第一历史降噪全景图像信号对应的降噪前的全景图像信号和所述第一历史降噪全景图像信号确定得到。

在上述针对全景时域降噪单元的一种可能的实现方式中，所述第二帧差全景图像信号是指对所述第二全景图像信号和所述第二历史降噪全景图像信号进行作差处理得到的原始帧差全景图像信号；或者，所述第二帧差全景图像信号是指对所述原始帧差全景图像信号进行处理后得到的帧差全景图像信号。

在上述针对全景时域降噪单元的一种可能的实现方式中，每个像素点对应的第二全景设定帧差阈值不同，或者，每个像素点对应的第二全景设定帧差阈值相同。

在上述针对全景时域降噪单元的一种可能的实现方式中，所述多个第二全景设定帧差阈值是根据第二噪声强度全景图像信号中多个像素点的噪声强度确定得到，所述第二噪声强度全景图像信号根据所述第二历史降噪全景图像信号对应的降噪前的全景图像信号和所述第二历史降噪全景图像信号确定得到。

在上述针对全景时域降噪单元的一种可能的实现方式中，所述全景空域降噪单元包括全景边缘估计单元；所述全景边缘估计单元用于确定所述第一全景图像信号中每个像素点的第一全景空域滤波强度；所述边缘估计单元还用于确定所述第二全景图像信号中每个像素点的第二全景空域滤波强度；所述全景边缘估计单元还用于对所述第一全景图像信号进行局部信息提取，得到第一全景局部信息，对所述第二全景图像信号进行局部信息提取，得到第二全景局部信息；根据所述第一全景空域滤波强度、所述第二全景空域滤波强度、所述第一全景局部信息和所述第二全景局部信息确定每个像素点对应的联合全景空域滤波强度；其中，所述全景边缘估计结果包括每个像素点的第一全景空域滤波强度和/或联合全景空域滤波强度。

在上述针对全景时域降噪单元的一种可能的实现方式中，所述第一全景局部信息和所述第二全景局部信息包括全景局部梯度信息、全景局部亮度信息和全景局部信息熵中的至少一种。

在另一种可能的实现方式中，所述全景联合降噪单元包括全景时域降噪单元和全景空域降噪单元；所述全景时域降噪单元用于根据所述第一全景图像信号和所述第二全景图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一全景图像信号进行时域滤波，得到第一时域降噪全景图像信号，根据所述运动估计结果对所述第二全景图像信号进行时域滤波，得到第二时域降噪全景图像信号；所述全景空域降噪单元用于根据所述第一时域降噪全景图像信号和所述第二时域降噪全景图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪全景图像信号进行空域滤波，得到所述第一降噪全景图像信号，根据所述边缘估计结果对所述第二时域降噪全景图像信号进行空域滤波，得到所述第二降噪全景图像信号；或者，所述全景空域降噪单元用于根据所述第一全景图像信号和所述第二全景图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一全景图像信号进行空域滤波，得到第一空域降噪全景图像信号，根据所述边缘估计结果对所述第二全景图像信号进行空域滤波，得到第二空域降噪全景图像信号；所述全景时域降噪单元用于根据所述第一空域降噪全景图像信号和所述第二空域降噪全景图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪全景图像信号进行时域滤波，得到所述第一降噪全景图像信号，根据所述运动估计结果对所述第二空域降噪全景图像信号进行时域滤波，得到所述第二降噪全景图像信号。

在上述针对全景时域降噪单元的另一种可能的实现方式中，所述全景空域降噪单元还包括全景空域滤波单元；所述全景空域滤波单元用于根据每个像素点对应的第一全景空域滤波强度对所述第一全景图像信号进行空域滤波处理，得到所述第一降噪全景图像信号，根据每个像素点对应的第一全景空域滤波强度对所述第二全景图像信号进行空域滤波处理，得到所述第二降噪全景图像信号；或者，所述空域滤波单元用于根据每个像素点对应的第一全景空域滤波强度对所述第一全景图像信号进行空域滤波处理，得到所述第一降噪全景图像信号，根据每个像素点对应的联合全景空域滤波强度对所述第二全景图像信号进行空域滤波处理，得到所述第二降噪全景图像信号；或者，所述空域滤波单元用于根据每个像素点对应的联合全景空域滤波强度对所述第一全景图像信号进行空域滤波处理，得到所述第一降噪全景图像信号，根据每个像素点对应的联合全景空域滤波强度对所述第二全景图像信号进行空域滤波处理，得到所述第二降噪全景图像信号。

在上述针对全景时域降噪单元的另一种可能的实现方式中，所述第一全景局部信息和所述全景第二局部信息包括局部梯度信息、局部亮度信息和局部信息熵中的至少一种。

在一种可能的实现方式中，所述第一全景图像融合单元用于从所述第二预处理全景图像信号分离出亮度信号和色度信号，将所述亮度信号与所述第一预处理全景图像信号进行融合，将融合之后的信号与所述色度信号进行融合，得到所述融合全景图像信号。

在一种可能的实现方式中，所述全景图像处理单元包括第二全景预处理单元和第二全景图像融合单元；所述第二全景图像融合单元用于对所述第一全景图像信号和所述第二全景图像信号进行融合，得到初始融合全景图像信号；所述第二全景预处理单元用于对所述初始融合图像信号进行处理，得到所述融合全景图像信号。

在一种可能的实现方式中，所述第一细节补光装置进行近红外光补光时通过所述第一细节滤光片的近红外光的强度高于所述第一细节补光装置未进行近红外补光时通过所述第一细节滤光片的近红外光的强度。在一种可能的实现方式中，入射到所述第一细节滤光片的近红外光的波段范围为第一参考波段范围，所述第一参考波段范围为650纳米～1100纳米。在一种可能的实现方式中，所述第一细节补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一细节滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

在一种可能的实现方式中，所述第一细节补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者，所述第一细节补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，所述第一细节补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

在一种可能的实现方式中，所述约束条件包括：通过所述第一细节滤光片的近红外光的中心波长与所述第一细节补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，所述波长波动范围为0～20纳米；或者，所述约束条件包括：通过所述第一细节滤光片的近红外光的半带宽小于或等于50纳米。或者，所述约束条件包括：第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述第一细节滤光片的近红外光的波段宽度，所述第二波段宽度是指被所述第一细节滤光片阻挡的近红外光的波段宽度。或者，所述约束条件为：第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。在一种可能的实现方式中，所述设定比例为30％～50％的比例范围内的任一比例。

在一种可能的实现方式中，所述第一预设曝光与所述第二预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。在一种可能的实现方式中，所述第一预设曝光的曝光增益小于所述第二预设曝光的曝光增益。在一种可能的实现方式中，所述第一预设曝光和所述第二预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。在一种可能的实现方式中，所述第一预设曝光的曝光时间等于所述第二预设曝光的曝光时间。

在一种可能的实现方式中，所述细节图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。在一种可能的实现方式中，所述多个感光通道用于感应至少两种不同的可见光波段的光。在一种可能的实现方式中，所述多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种；其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。在一种可能的实现方式中，所述细节图像传感器为红绿蓝RGB传感器、红绿蓝白RGBW传感器，或红白白蓝RCCB传感器，或红黄黄蓝RYYB传感器。

在一种可能的实现方式中，所述细节补光器还包括第二细节补光装置，所述第二细节补光装置用于进行可见光补光；所述第二细节补光装置用于以常亮方式进行可见光补光；或者

所述第二细节补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的部分曝光时间段内存在可见光补光，在所述第二预设曝光的整个曝光时间段内不存在可见光补光；或者，所述第二细节补光装置用于以频闪方式进行可见光补光，其中，至少在所述第一预设曝光的整个曝光时间段内不存在可见光补光，在所述第二预设曝光的部分曝光时间段内存在可见光补光。

在一种可能的实现方式中，所述第一细节补光装置在单位时间长度内的补光次数低于所述图像传感器在所述单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。在一种可能的实现方式中，所述细节图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是所述第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与所述第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外补光的子集。在一种可能的实现方式中，所述细节图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；近红外补光的开始时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻；或者，近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者，近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

在一种可能的实现方式中，所述多次曝光包括奇数次曝光和偶数次曝光；所述第一预设曝光为奇数次曝光中的一次曝光，所述第二预设曝光为偶数次曝光中的一次曝光；或者，所述第一预设曝光为偶数次曝光中的一次曝光，所述第二预设曝光为奇数次曝光中的一次曝光；或者，所述第一预设曝光为指定的奇数次曝光中的一次曝光，所述第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光；或者，所述第一预设曝光为指定的偶数次曝光中的一次曝光，所述第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光；或者，

所述第一预设曝光为第一曝光序列中的一次曝光，所述第二预设曝光为第二曝光序列中的一次曝光；或者，所述第一预设曝光为所述第二曝光序列中的一次曝光，所述第二预设曝光为所述第一曝光序列中的一次曝光。其中，所述多次曝光包括多个曝光序列，所述第一曝光序列和所述第二曝光序列为所述多个曝光序列中的一个曝光序列或者两个曝光序列，每个曝光序列包括N次曝光，所述N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，所述N次曝光包括1次第二预设曝光和N-1次第二预设曝光，所述N为大于2的正整数。

在一种可能的实现方式中，所述第一全景补光装置进行近红外光补光时通过所述第一全景滤光片的近红外光的强度高于所述第一全景补光装置未进行近红外补光时通过所述第一全景滤光片的近红外光的强度。在一种可能的实现方式中，入射到所述第一全景滤光片的近红外光的波段范围为第一参考波段范围，所述第一参考波段范围为650纳米～1100纳米。

在一种可能的实现方式中，所述第一全景补光装置进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过所述第一全景滤光片的近红外光的中心波长和/或波段宽度达到约束条件。

在一种可能的实现方式中，所述第一全景补光装置进行近红外补光的中心波长为750±10纳米的波长范围内的任一波长；或者，所述第一全景补光装置进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，所述第一全景补光装置进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。

在一种可能的实现方式中，所述约束条件包括：通过所述第一全景滤光片的近红外光的中心波长与所述第一全景补光装置进行近红外补光的中心波长之间的差值位于波长波动范围内，所述波长波动范围为0～20纳米；或者，所述约束条件包括：通过所述第一全景滤光片的近红外光的半带宽小于或等于50纳米。或者，所述约束条件包括：第一波段宽度小于第二波段宽度；其中，所述第一波段宽度是指通过所述第一全景滤光片的近红外光的波段宽度，所述第二波段宽度是指被所述第一全景滤光片阻挡的近红外光的波段宽度。或者，所述约束条件为：第三波段宽度小于参考波段宽度，所述第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，所述参考波段宽度为50纳米～150纳米的波段范围内的任一波段宽度。

在一种可能的实现方式中，所述设定比例为30％～50％的比例范围内的任一比例。

在一种可能的实现方式中，所述第三预设曝光与所述第四预设曝光的至少一个曝光参数不同，所述至少一个曝光参数为曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。在一种可能的实现方式中，所述第三预设曝光的曝光增益小于所述第四预设曝光的曝光增益。在一种可能的实现方式中，所述第三预设曝光和所述第四预设曝光的至少一个曝光参数相同，所述至少一个曝光参数包括曝光时间、曝光增益、光圈大小中的一种或多种，所述曝光增益包括模拟增益，和/或，数字增益。在一种可能的实现方式中，所述第三预设曝光的曝光时间等于所述第四预设曝光的曝光时间。

在一种可能的实现方式中，所述全景图像传感器包括多个感光通道，每个感光通道用于感应至少一种可见光波段的光，以及感应近红外波段的光。在一种可能的实现方式中，所述多个感光通道用于感应至少两种不同的可见光波段的光。在一种可能的实现方式中，所述多个感光通道包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种；其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光，W感光通道用于感应全波段的光，C感光通道用于感应全波段的光。在一种可能的实现方式中，所述全景图像传感器为红绿蓝RGB传感器、红绿蓝白RGBW传感器，或红白白蓝RCCB传感器，或红黄黄蓝RYYB传感器。

在一种可能的实现方式中，所述全景补光器还包括第二全景补光装置，所述第二全景补光装置用于进行可见光补光；

所述第二全景补光装置用于以常亮方式进行可见光补光；或者

所述第二全景补光装置用于以频闪方式进行可见光补光，其中，至少在所述第三预设曝光的部分曝光时间段内存在可见光补光，在所述第四预设曝光的整个曝光时间段内不存在可见光补光；或者

所述第二全景补光装置用于以频闪方式进行可见光补光，其中，至少在所述第三预设曝光的整个曝光时间段内不存在可见光补光，在所述第四预设曝光的部分曝光时间段内存在可见光补光。

在一种可能的实现方式中，所述第一全景补光装置在单位时间长度内的补光次数低于所述图像传感器在所述单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次曝光。

在一种可能的实现方式中，所述全景图像传感器采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第四预设曝光的曝光时间段不存在交集，近红外补光的时间段是所述第三预设曝光的曝光时间段的子集，或者，近红外补光的时间段与所述第三预设曝光的曝光时间段存在交集，或者所述第三预设曝光的曝光时间段是近红外补光的子集。

在一种可能的实现方式中，所述全景图像传感器采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第四预设曝光的曝光时间段不存在交集；

近红外补光的开始时刻不早于所述第三预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于所述第三预设曝光中第一行有效图像的曝光结束时刻；

或者，

近红外补光的开始时刻不早于所述第三预设曝光之前的最邻近的第四预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第三预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于所述第三预设曝光中最后一行有效图像的曝光开始时刻且不晚于所述第三预设曝光之后的最邻近的第四预设曝光的第一行有效图像的曝光开始时刻；或者

近红外补光的开始时刻不早于所述第三预设曝光之前的最邻近的第四预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第三预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于所述第三预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第三预设曝光之后的最邻近的第四预设曝光的第一行有效图像的曝光开始时刻。

在一种可能的实现方式中，所述多次曝光包括奇数次曝光和偶数次曝光；

所述第三预设曝光为奇数次曝光中的一次曝光，所述第四预设曝光为偶数次曝光中的一次曝光；或者

所述第三预设曝光为偶数次曝光中的一次曝光，所述第四预设曝光为奇数次曝光中的一次曝光；或者

所述第三预设曝光为指定的奇数次曝光中的一次曝光，所述第四预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光；或者

所述第三预设曝光为指定的偶数次曝光中的一次曝光，所述第四预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光；或者，所述第三预设曝光为第一曝光序列中的一次曝光，所述第四预设曝光为第二曝光序列中的一次曝光；或者，所述第三预设曝光为所述第二曝光序列中的一次曝光，所述第四预设曝光为所述第一曝光序列中的一次曝光；其中，所述多次曝光包括多个曝光序列，所述第一曝光序列和所述第二曝光序列为所述多个曝光序列中的一个曝光序列或者两个曝光序列，每个曝光序列包括N次曝光，所述N次曝光包括1次第三预设曝光和N-1次第四预设曝光，或者，所述N次曝光包括1次第四预设曝光和N-1次第四预设曝光，所述N为大于2的正整数。

另一方面、提供了一种获取图像信号的方法，应用于全景细节摄像机中，所述全景细节摄像机中包括细节摄像头和全景摄像头，所述方法包括：

通过所述细节摄像头中的补光器包括的第一细节补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为所述细节图像传感器的多次第一类曝光中的其中两次曝光；

在所述第一细节补光装置进行近红外外补光的过程中，通过所述细节摄像头中的细节滤光组件包括的第一细节滤光片使可见光波段的光和部分近红外光通过；

在所述第一细节滤光片通过可见光波段的光和近红外光波段的光之后，通过所述细节摄像头中的细节图像传感器进行多次第一类曝光，以产生并输出第一细节图像信号和第二细节图像信号，所述第一细节图像信号是根据所述第一预设曝光产生的图像信号，所述第二细节图像信号是根据所述第二预设曝光产生的图像信号。

在一种可能的实现方式中，所述产生并输出第一细节图像信号和第二细节图像信号之后，还包括：

对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号。

在一种可能的实现方式中，所述对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号，包括：

对所述第一细节图像信号和所述第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号；

对所述第一预处理细节图像信号和所述第二预处理细节图像信号进行融合，得到所述融合图像信号。

在一种可能的实现方式中，所述对所述第一细节图像信号和所述第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号，包括：

对所述第一细节图像信号进行降噪处理，得到第一降噪细节图像信号；

根据所述第一细节图像信号对所述第二细节图像信号进行降噪处理，得到第二降噪细节图像信号；

对所述第一降噪细节图像信号进行处理，得到所述第一预处理细节图像信号，所述第一预处理图像信号为亮度图像信号；

对所述第二降噪细节图像信号进行处理，得到所述第二预处理细节图像信号，所述第二预处理细节图像信号为色度亮度图像信号。

在一种可能的实现方式中，所述第一细节图像融合单元用于从所述第二预处理细节图像信号分离出亮度信号和色度信号，将所述亮度信号与所述第一预处理细节图像信号进行融合，将融合之后的信号与所述色度信号进行融合，得到所述融合细节图像信号。

在一种可能的实现方式中，所述对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号，包括：

对所述第一细节图像信号和所述第二细节图像信号进行融合，得到初始融合细节图像信号；

对所述初始融合图像信号进行处理，得到所述融合细节图像信号。

在一种可能的实现方式中，所述方法还包括：

通过所述全景摄像头中的全景补光器包括的第一全景补光装置进行近红外补光，其中，至少在第三预设曝光的部分曝光时间段内进行近红外补光，在第四预设曝光的曝光时间段内不进行近红外补光，所述第三预设曝光和所述第四预设曝光为全景图像传感器的多次第二类曝光中的其中两次曝光；

在所述第一全景补光装置进行近红外外补光的过程中，通过所述全景摄像头中的全景滤光组件包括的第一全景滤光片使可见光和部分近红外光通过；

在所述第一全景滤光片通过可见光波段的光和近红外光波段的光之后，通过所述全景摄像头中的全景图像传感器进行多次曝光，以产生并输出第一全景图像信号和第二全景图像信号，所述第一全景图像信号是根据所述第三预设曝光产生的图像信号，所述第二全景图像信号是根据所述第四预设曝光产生的图像信号。

在一种可能的实现方式中，所述第一全景补光装置的近红外补光的波段范围与所述第一细节补光装置的近红外补光的波段范围不同；

通过所述第一全景滤光片的近红外补光的波段范围与通过所述细节摄像头包括的第一细节滤光片的近红外补光的波段范围不同。

在一种可能的实现方式中，所述第一全景补光装置的近红外补光的波段范围的中心点与所述第一细节补光装置的近红外补光的波段范围的中心点之间的差异大于5nm；

通过所述第一全景滤光片的近红外补光的波段范围的中心点与通过所述第一细节滤光片的近红外补光的波段范围的中心点之间的差异大于5nm。

在一种可能的实现方式中，所述产生并输出第一全景图像信号和第二全景图像信号之后，还包括：

对所述第一全景图像信号和所述第二全景图像信号进行处理得到融合全景图像信号。

本申请实施例提供的技术方案带来的有益效果是：

在本申请中，由于第一细节图像信号是细节摄像头中的细节图像传感器根据第一预设曝光产生的图像信号，第二细节图像信号是细节图像传感器根据第二预设曝光产生的图像信号，并且至少述第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，因此，细节摄像头可以通过第一预设曝光和第二预设曝光同时采集到包含近红外光信息的第一细节图像信号和包括可见光信息的第二细节图像信号。相对于从采集到包含红外光信息和可见光信息的图像信号中分离出红外光信息和可见光信息，本申请采集到的第一细节图像信号中红外光信息和第二细节图像信号中的可见光信息均可以包括全部的图像空间信息。如此，后续根据该第一细节图像信号和第二细节图像信号进行处理得到的图像信号的质量较高，从而提高了全景细节摄像机中的细节摄像头拍摄的画面的质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种全景细节摄像机的结构示意图。

图2是本申请实施例提供的一种第一细节补光装置进行近红外补光的波长和相对强度之间的关系示意图。

图3是本申请实施例提供的一种第一细节滤光片通过的光的波长与通过率之间的关系的示意图。

图4是本申请实施例提供的另一种全景细节摄像机的结构示意图。

图5是本申请实施例提供的一种RGB传感器的示意图。

图6是本申请实施例提供的一种RGBW传感器的示意图。

图7是本申请实施例提供的一种RCCB传感器的示意图。

图8是本申请实施例提供的一种RYYB传感器的示意图。

图9是本申请实施例提供的一种图像传感器的感应曲线示意图。

图10是本申请实施例提供的一种卷帘曝光方式的示意图。

图11是本申请实施例提供的第一种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。

图12是本申请实施例提供的第二种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。

图13是本申请实施例提供的第三种近红外补光与全局曝光方式中的第一预设曝光和第二预设曝光之间的时序关系示意图。

图14是本申请实施例提供的第一种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。

图15是本申请实施例提供的第二种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。

图16是本申请实施例提供的第三种近红外补光与卷帘曝光方式中第一预设曝光和第二预设曝光之间的时序关系示意图。

图17是本申请实施例提供的一种细节图像处理单元的结构示意图。

图18是本申请实施例提供的一种融合图像信号的过程示意图。

图19是本申请实施例提供的另一种细节图像处理单元的结构示意图。

图20是本申请实施例提供的另一种全景细节摄像机的结构示意图。

图21是本申请实施例提供的一种获取图像信号的方法流程图。

图22是本申请实施例提供的另一种获取图像信号的方法流程图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种全景细节摄像机的结构示意图。如图1所示，该全景细节摄像机100包括细节摄像头1和全景摄像头2。全景摄像头2的拍摄范围大于细节摄像头1的拍摄范围，且细节摄像头1的拍摄范围是全景摄像头2的拍摄范围中的局部范围。

如图1所示，细节摄像头1包括：细节图像传感器1-01、细节补光器1-02和细节滤光组件1-03，细节图像传感器1-01位于细节滤光组件1-03的出光侧；细节图像传感器1-01，用于通过多次第一类曝光产生并输出第一细节图像信号和第二细节图像信号，其中，第一细节图像信号是根据第一预设曝光产生的图像信号，第二细节图像信号是根据第二预设曝光产生的图像信号，第一预设曝光和第二预设曝光为多次第一类曝光中的其中两次曝光；细节补光器1-02包括第一细节补光装置1-021，第一细节补光装置1-021用于进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光；细节滤光组件1-03包括第一细节滤光片1-031，第一细节滤光片1-031使可见光和近红外光通过。

由于第一细节图像信号是细节摄像头中的细节图像传感器根据第一预设曝光产生的图像信号，第二细节图像信号是细节图像传感器根据第二预设曝光产生的图像信号，并且至少述第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，因此，细节摄像头可以通过第一预设曝光和第二预设曝光同时采集到包含近红外光信息的第一细节图像信号和包括可见光信息的第二细节图像信号。相对于从采集到包含红外光信息和可见光信息的图像信号中分离出红外光信息和可见光信息，本申请采集到的第一细节图像信号中红外光信息和第二细节图像信号中的可见光信息均可以包括全部的图像空间信息。如此，后续根据该第一细节图像信号和第二细节图像信号进行处理得到的图像信号的质量较高，从而提高了全景细节摄像机中的细节摄像头拍摄的画面的质量。

因此，在本申请实施例中，如图1所示，细节摄像头1还可以包括细节图像处理单元1-04，细节图像处理单元1-04用于对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号。为了后续便于说明，将细节摄像头包括组件划分为两大部分，细节图像采集单元和细节图像处理单元。其中，细节图像采集单元可以包括图1中的细节图像传感器、细节补光器、细节滤光组件等用于采集图像信号的组件。

其中，图1中的细节图像处理单元可以为位于细节摄像头内，也可以位于细节摄像头的外部。细节图像处理单元可以为细节摄像头的一部分，也可以为独立于细节摄像头的一个器件。当细节图像处理单元位于细节摄像头的外部时，细节图像处理单元可以与细节摄像头进行通信连接，从而可以保证细节摄像头采集的第一细节图像信号和第二细节图像信号能够输入至细节图像处理单元，由细节图像处理单元对两个细节图像信号进行融合。图1中仅仅是举例说明，并不构成对本申请的限定。

下面对细节摄像头中包括的细节图像采集单元和细节图像处理单元分别进行说明。

1、细节图像采集单元

在图1所示的细节摄像头中，第一细节补光装置1-021进行近红外光补光时通过第一细节滤光片1-031的近红外光的强度高于第一细节补光装置1-021未进行近红外补光时通过第一细节滤光片1-031的近红外光的强度。

在本申请实施例中，参见图1，细节摄像头还可以包括细节镜头1-05，此时，细节滤光组件1-03可以位于细节镜头1-05和细节图像传感器1-01之间，且细节图像传感器1-01位于细节滤光组件1-03的出光侧。或者，细节镜头1-05位于细节滤光组件1-03与细节图像传感器1-01之间，且细节图像传感器1-01位于细节镜头1-05的出光侧。作为一种示例，第一细节滤光片1-031可以是滤光薄膜，这样，当细节滤光组件1-03位于细节镜头1-05和细节图像传感器1-01之间时，第一细节滤光片1-031可以贴在细节镜头1-05的出光侧的表面，或者，当细节镜头1-05位于细节滤光组件1-03与细节图像传感器1-01之间时，第一细节滤光片1-031可以贴在细节镜头1-05的入光侧的表面。

作为一种示例，细节补光器1-02可以位于细节摄像头内，也可以位于细节摄像头的外部。细节补光器1-02可以为细节摄像头的一部分，也可以为独立于细节摄像头的一个器件。当细节补光器1-02位于细节摄像头的外部时，细节补光器1-02可以与细节摄像头进行通信连接，从而可以保证细节摄像头中的细节图像传感器1-01的曝光时序与细节补光器1-02包括的第一细节补光装置1-021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。

另外，可以保证细节图像传感器1-01的曝光时序与细节补光器1-02包括的第一细节补光装置1-021的近红外补光时序存在一定的关系，如至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光。

另外，第一细节补光装置1-021为可以发出近红外光的装置，例如近红外补光灯等，第一细节补光装置1-021可以以频闪方式进行近红外补光，也可以以类似频闪的其他方式进行近红外补光，本申请实施例对此不做限定。在一些示例中，当第一细节补光装置1-021以频闪方式进行近红外补光时，可以通过手动方式来控制第一细节补光装置1-021以频闪方式进行近红外补光，也可以通过软件程序或特定设备来控制第一细节补光装置1-021以频闪方式进行近红外补光，本申请实施例对此不做限定。其中，第一细节补光装置1-021进行近红外补光的时间段可以与第一预设曝光的曝光时间段重合，也可以大于第一预设曝光的曝光时间段或者小于第一预设曝光的曝光时间段，只要在第一预设曝光的整个曝光时间段或者部分曝光时间段内进行近红外补光，而在第二预设曝光的曝光时间段内不进行近红外补光即可。

需要说明的是，第二预设曝光的曝光时间段内不进行近红外补光。对于全局曝光方式来说，第二预设曝光的曝光时间段可以是开始曝光时刻和结束曝光时刻之间的时间段。对于卷帘曝光方式来说，第二预设曝光的曝光时间段可以是第二细节图像信号第一行有效图像的开始曝光时刻与最后一行有效图像的结束曝光时刻之间的时间段，但并不局限于此。例如，第二预设曝光的曝光时间段也可以是第二细节图像信号中目标图像对应的曝光时间段，目标图像为第二细节图像信号中与目标对象或目标区域所对应的若干行有效图像，这若干行有效图像的开始曝光时刻与结束曝光时刻之间的时间段可以看作第二预设曝光的曝光时间段。

需要说明的另一点是，由于第一细节补光装置1-021在对外部场景进行近红外补光时，入射到物体表面的近红外光可能会被物体反射，从而进入到第一细节滤光片1-031中。并且由于通常情况下，环境光可以包括可见光和近红外光，且环境光中的近红外光入射到物体表面时也会被物体反射，从而进入到第一细节滤光片1-031中。因此，在进行近红外补光时通过第一细节滤光片1-031的近红外光可以包括第一细节补光装置1-021进行近红外补光时经物体反射进入第一细节滤光片1-031的近红外光，在不进行近红外补光时通过第一细节滤光片1-031的近红外光可以包括第一细节补光装置1-021未进行近红外补光时经物体反射进入第一细节滤光片1-031的近红外光。

也即是，在进行近红外补光时通过第一细节滤光片1-031的近红外光包括第一细节补光装置1-021发出的且经物体反射后的近红外光，以及环境光中经物体反射后的近红外光，在不进行近红外补光时通过第一细节滤光片1-031的近红外光包括环境光中经物体反射后的近红外光。

以细节摄像头中，细节滤光组件1-03位于细节镜头1-05和细节图像传感器1-01之间，且细节图像传感器1-01位于细节滤光组件1-03的出光侧的结构特征为例，细节摄像头采集第一细节图像信号和第二细节图像信号的过程为：在细节图像传感器1-01进行第一预设曝光时，第一细节补光装置1-021进行近红外补光，此时拍摄场景中的环境光和第一补光装置进行近红外补光时被场景中物体反射的近红外光经由细节镜头1-05、第一细节滤光片1-031之后，由细节图像传感器1-01通过第一预设曝光产生第一细节图像信号；在细节图像传感器1-01进行第二预设曝光时，第一细节补光装置1-021不进行近红外补光，此时拍摄场景中的环境光经由细节镜头1-05、第一细节滤光片1-031之后，由细节图像传感器1-01通过第二预设曝光产生第二细节图像信号。

在图像采集的一个帧周期内可以有M个第一预设曝光和N个第二预设曝光，第一预设曝光和第二预设曝光之间可以有多种组合的排序，在图像采集的一个帧周期中，M和N的取值以及M和N的大小关系可以根据实际需求设置，例如，M和N的取值可相等，也可不相同。

另外，由于环境光中的近红外光的强度低于第一细节补光装置1-021发出的近红外光的强度，因此，第一细节补光装置1-021进行近红外补光时通过第一细节滤光片1-031的近红外光的强度高于第一细节补光装置1-021未进行近红外补光时通过第一细节滤光片1-031的近红外光的强度。

其中，第一细节补光装置1-021进行近红外补光的波段范围可以为第二参考波段范围，第二参考波段范围可以为700纳米～800纳米，或者900纳米～1000纳米，这样，可以减轻常见的850纳米的近红灯造成的干扰。另外，入射到第一细节滤光片1-031的近红外光的波段范围可以为第一参考波段范围，第一参考波段范围为650纳米～1100纳米。

由于在进行近红外补光时，通过第一细节滤光片1-031的近红外光可以包括第一细节补光装置1-021进行近红外光补光时经物体反射进入第一细节滤光片1-031的近红外光，以及环境光中的经物体反射后的近红外光。所以此时进入细节滤光组件1-03的近红外光的强度较强。但是，在不进行近红外补光时，通过第一细节滤光片1-031的近红外光包括环境光中经物体反射进入细节滤光组件1-03的近红外光。由于没有第一细节补光装置1-021进行补光的近红外光，所以此时通过第一细节滤光片1-031的近红外光的强度较弱。因此，根据第一预设曝光产生并输出的第一细节图像信号包括的近红外光的强度，要高于根据第二预设曝光产生并输出的第二细节图像信号包括的近红外光的强度。

第一细节补光装置1-021进行近红外补光的中心波长和/或波段范围可以有多种选择，本申请实施例中，为了使第一细节补光装置1-021和第一细节滤光片1-031有更好的配合，可以对第一细节补光装置1-021进行近红外补光的中心波长进行设计，以及对第一细节滤光片1-031的特性进行选择，从而使得在第一细节补光装置1-021进行近红外补光的中心波长为设定特征波长或者落在设定特征波长范围时，通过第一细节滤光片1-031的近红外光的中心波长和/或波段宽度可以达到约束条件。该约束条件主要是用来约束通过第一细节滤光片1-031的近红外光的中心波长尽可能准确，以及通过第一细节滤光片1-031的近红外光的波段宽度尽可能窄，从而避免出现因近红外光波段宽度过宽而引入波长干扰。

其中，第一细节补光装置1-021进行近红外补光的中心波长可以为第一细节补光装置1-021发出的近红外光的光谱中能量最大的波长范围内的平均值，也可以理解为第一细节补光装置1-021发出的近红外光的光谱中能量超过一定阈值的波长范围内的中间位置处的波长。

其中，设定特征波长或者设定特征波长范围可以预先设置。作为一种示例，第一细节补光装置1-021进行近红外补光的中心波长可以为750±10纳米的波长范围内的任一波长；或者，第一细节补光装置1-021进行近红外补光的中心波长为780±10纳米的波长范围内的任一波长；或者，第一细节补光装置1-021进行近红外补光的中心波长为940±10纳米的波长范围内的任一波长。也即是，设定特征波长范围可以为750±10纳米的波长范围、或者780±10纳米的波长范围、或者940±10纳米的波长范围。示例性地，第一细节补光装置1-021进行近红外补光的中心波长为940纳米，第一细节补光装置1-021进行近红外补光的波长和相对强度之间的关系如图2所示。从图2可以看出，第一细节补光装置1-021进行近红外补光的波段范围为900纳米～1000纳米，其中，在940纳米处，近红外光的相对强度最高。

由于在进行近红外补光时，通过第一细节滤光片1-031的近红外光大部分为第一细节补光装置1-021进行近红外补光时经物体反射进入第一细节滤光片1-031的近红外光，因此，在一些实施例中，上述约束条件可以包括：通过第一细节滤光片1-031的近红外光的中心波长与第一细节补光装置1-021进行近红外补光的中心波长之间的差值位于波长波动范围内，作为一种示例，波长波动范围可以为0～20纳米。

其中，通过第一细节滤光片1-031的近红外补光的中心波长可以为第一细节滤光片1-031的近红外光通过率曲线中的近红外波段范围内波峰位置处的波长，也可以理解为第一细节滤光片1-031的近红外光通过率曲线中通过率超过一定阈值的近红外波段范围内的中间位置处的波长。

为了避免通过第一细节滤光片1-031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第一波段宽度可以小于第二波段宽度。其中，第一波段宽度是指通过第一细节滤光片1-031的近红外光的波段宽度，第二波段宽度是指被第一细节滤光片1-031阻挡的近红外光的波段宽度。应当理解的是，波段宽度是指光线的波长所处的波长范围的宽度。例如，通过第一细节滤光片1-031的近红外光的波长所处的波长范围为700纳米～800纳米，那么第一波段宽度为800纳米减去700纳米，即100纳米。换句话说，通过第一细节滤光片1-031的近红外光的波段宽度小于第一细节滤光片1-031阻挡的近红外光的波段宽度。

例如，参见图3，图3为第一细节滤光片1-031可以通过的光的波长与通过率之间的关系的一种示意图。入射到第一细节滤光片1-031的近红外光的波段为650纳米～1100纳米，第一细节滤光片1-031可以使波长位于380纳米～650纳米的可见光通过，以及波长位于900纳米～1100纳米的近红外光通过，阻挡波长位于650纳米～900纳米的近红外光。也即是，第一波段宽度为1000纳米减去900纳米，即100纳米。第二波段宽度为900纳米减去650纳米，加上1100纳米减去1000纳米，即350纳米。100纳米小于350纳米，即通过第一细节滤光片1-031的近红外光的波段宽度小于第一细节滤光片1-031阻挡的近红外光的波段宽度。以上关系曲线仅是一种示例，对于不同的滤光片，能够通过滤光片的近红光波段的波段范围可以有所不同，被滤光片阻挡的近红外光的波段范围也可以有所不同。

为了避免在非近红外补光的时间段内，通过第一细节滤光片1-031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：通过第一细节滤光片1-031的近红外光的半带宽小于或等于50纳米。其中，半带宽是指通过率大于50％的近红外光的波段宽度。

为了避免通过第一细节滤光片1-031的近红外光的波段宽度过宽而引入波长干扰，在一些实施例中，上述约束条件可以包括：第三波段宽度可以小于参考波段宽度。其中，第三波段宽度是指通过率大于设定比例的近红外光的波段宽度，作为一种示例，参考波段宽度可以为50纳米～100纳米的波段范围内的任一波段宽度。设定比例可以为30％～50％中的任一比例，当然设定比例还可以根据使用需求设置为其他比例，本申请实施例对此不做限定。换句话说，通过率大于设定比例的近红外光的波段宽度可以小于参考波段宽度。

例如，参见图3，入射到第一细节滤光片1-031的近红外光的波段为650纳米～1100纳米，设定比例为30％，参考波段宽度为100纳米。从图3可以看出，在650纳米～1100纳米的近红外光的波段中，通过率大于30％的近红外光的波段宽度明显小于100纳米。

由于第一细节补光装置1-021至少在第一预设曝光的部分曝光时间段内提供近红外补光，在第二预设曝光的整个曝光时间段内不提供近红外补光，而第一预设曝光和第二预设曝光为细节图像传感器1-01的多次第一类曝光中的其中两次曝光，也即是，第一细节补光装置1-021在细节图像传感器1-01的部分曝光的曝光时间段内提供近红外补光，在细节图像传感器1-01的另外一部分曝光的曝光时间段内不提供近红外补光。所以，第一细节补光装置1-021在单位时间长度内的补光次数可以低于细节图像传感器1-01在该单位时间长度内的曝光次数，其中，每相邻两次补光的间隔时间段内，间隔一次或多次第一类曝光。

可选地，由于人眼容易将第一细节补光装置1-021进行近红外光补光的颜色与交通灯中的红灯的颜色混淆，所以，参见图4，细节补光器1-02还可以包括第二细节补光装置1-022，第二细节补光装置1-022用于进行可见光补光。这样，如果第二细节补光装置1-022至少在第一预设曝光的部分曝光时间提供可见光补光，也即是，至少在第一预设曝光的部分曝光时间段内进行近红外补光和可见光补光，这两种光的混合颜色可以区别于交通灯中的红灯的颜色，从而避免了人眼将细节补光器1-02进行近红外补光的颜色与交通灯中的红灯的颜色混淆。另外，如果第二细节补光装置1-022在第二预设曝光的曝光时间段内提供可见光补光，由于第二预设曝光的曝光时间段内可见光的强度不是特别高，因此，在第二预设曝光的曝光时间段内进行可见光补光时，还可以提高第二细节图像信号中的可见光的亮度，进而保证图像采集的质量。

在一些实施例中，第二细节补光装置1-022可以用于以常亮方式进行可见光补光；或者，第二细节补光装置1-022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的部分曝光时间段内存在可见光补光，在第二预设曝光的整个曝光时间段内不存在可见光补光；或者，第二细节补光装置1-022可以用于以频闪方式进行可见光补光，其中，至少在第一预设曝光的整个曝光时间段内不存在可见光补光，在第二预设曝光的部分曝光时间段内存在可见光补光。当第二细节补光装置1-022常亮方式进行可见光补光时，不仅可以避免人眼将第一细节补光装置1-021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，还可以提高第二细节图像信号中的可见光的亮度，进而保证图像采集的质量。当第二细节补光装置1-022以频闪方式进行可见光补光时，可以避免人眼将第一细节补光装置1-021进行近红外补光的颜色与交通灯中的红灯的颜色混淆，或者，可以提高第二细节图像信号中的可见光的亮度，进而保证图像采集的质量，而且还可以减少第二细节补光装置1-022的补光次数，从而延长第二细节补光装置1-022的使用寿命。

在一些实施例中，上述多次第一类曝光是指一个帧周期内的多次第一类曝光，也即是，细节图像传感器1-01在一个帧周期内进行多次第一类曝光，从而产生并输出至少一帧第一细节图像信号和至少一帧第二细节图像信号。例如，1秒内包括25个帧周期，细节图像传感器1-01在每个帧周期内进行多次第一类曝光，从而产生至少一帧第一细节图像信号和至少一帧第二细节图像信号，将一个帧周期内产生的第一细节图像信号和第二细节图像信号称为一组图像信号，这样，25个帧周期内就会产生25组细节图像信号。其中，第一预设曝光和第二预设曝光可以是一个帧周期内多次第一类曝光中相邻的两次曝光，也可以是一个帧周期内多次第一类曝光中不相邻的两次曝光，本申请实施例对此不做限定。

第一细节图像信号是第一预设曝光产生并输出的，第二细节图像信号是第二预设曝光产生并输出的，在产生并输出第一细节图像信号和第二细节图像信号之后，可以对第一细节图像信号和第二细节图像信号进行处理。在某些情况下，第一细节图像信号和第二细节图像信号的用途可能不同，所以在一些实施例中，第一预设曝光与第二预设曝光的至少一个曝光参数可以不同。作为一种示例，该至少一个曝光参数可以包括但不限于曝光时间、模拟增益、数字增益、光圈大小中的一种或多种。其中，曝光增益包括模拟增益和/或数字增益。

在一些实施例中。可以理解的是，与第二预设曝光相比，在进行近红外补光时，细节图像传感器1-01感应到的近红外光的强度较强，相应地产生并输出的第一细节图像信号包括的近红外光的亮度也会较高。但是较高亮度的近红外光不利于外部场景信息的获取。而且在一些实施例中，曝光增益越大，细节图像传感器1-01输出的细节图像信号的亮度越高，曝光增益越小，细节图像传感器1-01输出的细节图像信号的亮度越低，因此，为了保证第一细节图像信号包含的近红外光的亮度在合适的范围内，在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益。这样，在第一细节补光装置1-021进行近红外补光时，细节图像传感器1-01产生并输出的第一细节图像信号包含的近红外光的亮度，不会因第一细节补光装置1-021进行近红外补光而过高。

在另一些实施例中，曝光时间越长，细节图像传感器1-01得到的细节图像信号包括的亮度越高，并且外部场景中的运动的对象在细节图像信号中的运动拖尾越长；曝光时间越短，细节图像传感器1-01得到的细节图像信号包括的亮度越低，并且外部场景中的运动的对象在图像信号中的运动拖尾越短。因此，为了保证第一细节图像信号包含的近红外光的亮度在合适的范围内，且外部场景中的运动的对象在第一细节图像信号中的运动拖尾较短。在第一预设曝光和第二预设曝光的至少一个曝光参数不同的情况下，作为一种示例，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间。这样，在第一细节补光装置1-021进行近红外补光时，细节图像传感器1-01产生并输出的第一细节图像信号包含的近红外光的亮度，不会因第一细节补光装置1-021进行近红外补光而过高。并且较短的曝光时间使外部场景中的运动的对象在第一细节图像信号中出现的运动拖尾较短，从而有利于对运动对象的识别。示例性地，第一预设曝光的曝光时间为40毫秒，第二预设曝光的曝光时间为60毫秒等。

值得注意的是，在一些实施例中，当第一预设曝光的曝光增益小于第二预设曝光的曝光增益时，第一预设曝光的曝光时间不仅可以小于第二预设曝光的曝光时间，还可以等于第二预设曝光的曝光时间。同理，当第一预设曝光的曝光时间小于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。

在另一些实施例中，第一细节图像信号和第二细节图像信号的用途可以相同，例如第一细节图像信号和第二细节图像信号都用于智能分析时，为了能使进行智能分析的人脸或目标在运动时能够有同样的清晰度，第一预设曝光与第二预设曝光的至少一个曝光参数可以相同。作为一种示例，第一预设曝光的曝光时间可以等于第二预设曝光的曝光时间，如果第一预设曝光的曝光时间和第二预设曝光的曝光时间不同，会出现曝光时间较长的一路图像信号存在运动拖尾，导致两路图像信号的清晰度不同。同理，作为另一种示例，第一预设曝光的曝光增益可以等于第二预设曝光的曝光增益。

值得注意的是，在一些实施例中，当第一预设曝光的曝光时间等于第二预设曝光的曝光时间时，第一预设曝光的曝光增益可以小于第二预设曝光的曝光增益，也可以等于第二预设曝光的曝光增益。同理，当第一预设曝光的曝光增益等于第二预设曝光的曝光增益时，第一预设曝光的曝光时间可以小于第二预设曝光的曝光时间，也可以等于第二预设曝光的曝光时间。

其中，细节图像传感器1-01可以包括多个感光通道，每个感光通道可以用于感应至少一种可见光波段的光，以及感应近红外波段的光。也即是，每个感光通道既能感应至少一种可见光波段的光，又能感应近红外波段的光，这样，可以保证第一细节图像信号和第二细节图像信号中具有完整的分辨率，不缺失像素值。可选地，该多个感光通道可以用于感应至少两种不同的可见光波段的光。

在一些实施例中，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、Y感光通道、W感光通道和C感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，Y感光通道用于感应黄光波段和近红外波段的光。由于在一些实施例中，可以用W来表示用于感应全波段的光的感光通道，在另一些实施例中，可以用C来表示用于感应全波段的光的感光通道，所以当该多个感光通道包括用于感应全波段的光的感光通道时，这个感光通道可以是W感光通道，也可以是C感光通道。也即是，在实际应用中，可以根据使用需求来选择用于感应全波段的光的感光通道。示例性地，细节图像传感器1-01可以为RGB传感器、RGBW传感器，或RCCB传感器，或RYYB传感器。其中，RGB传感器中的R感光通道、G感光通道和B感光通道的分布方式可以参见图5，RGBW传感器中的R感光通道、G感光通道、B感光通道和W感光通道的分布方式可以参见图6，RCCB传感器中的R感光通道、C感光通道和B感光通道分布方式可以参见图7，RYYB传感器中的R感光通道、Y感光通道和B感光通道分布方式可以参见图8。

在另一些实施例中，有些感光通道也可以仅感应近红外波段的光，而不感应可见光波段的光，这样，可以保证第一细节图像信号中具有完整的分辨率，不缺失像素值。作为一种示例，该多个感光通道可以包括R感光通道、G感光通道、B感光通道、IR感光通道中的至少两种。其中，R感光通道用于感应红光波段和近红外波段的光，G感光通道用于感应绿光波段和近红外波段的光，B感光通道用于感应蓝光波段和近红外波段的光，IR感光通道用于感应近红外波段的光。

示例地，细节图像传感器1-01可以为RGBIR传感器，其中，RGBIR传感器中的每个IR感光通道都可以感应近红外波段的光，而不感应可见光波段的光。

其中，当细节图像传感器1-01为RGB传感器时，相比于其他图像传感器，如RGBIR传感器等，RGB传感器采集的RGB信息更完整，RGBIR传感器有一部分的感光通道采集不到可见光，所以RGB传感器采集的图像的色彩细节更准确。

值得注意的是，细节图像传感器1-01包括的多个感光通道可以对应多条感应曲线。示例性地，参见图9，图9中的R曲线代表细节图像传感器1-01对红光波段的光的感应曲线，G曲线代表细节图像传感器1-01对绿光波段的光的感应曲线，B曲线代表细节图像传感器1-01对蓝光波段的光的感应曲线，W(或者C)曲线代表细节图像传感器1-01感应全波段的光的感应曲线，NIR(Near infrared，近红外光)曲线代表细节图像传感器1-01感应近红外波段的光的感应曲线。

作为一种示例，细节图像传感器1-01可以采用全局曝光方式，也可以采用卷帘曝光方式。其中，全局曝光方式是指每一行有效图像的曝光开始时刻均相同，且每一行有效图像的曝光结束时刻均相同。换句话说，全局曝光方式是所有行有效图像同时进行曝光并且同时结束曝光的一种曝光方式。卷帘曝光方式是指不同行有效图像的曝光时间不完全重合，也即是，一行有效图像的曝光开始时刻都晚于上一行有效图像的曝光开始时刻，且一行有效图像的曝光结束时刻都晚于上一行有效图像的曝光结束时刻。另外，卷帘曝光方式中每一行有效图像结束曝光后可以进行数据输出，因此，从第一行有效图像的数据开始输出时刻到最后一行有效图像的数据结束输出时刻之间的时间可以表示为读出时间。

示例性地，参见图10，图10为一种卷帘曝光方式的示意图。从图10可以看出，第1行有效图像在T1时刻开始曝光，在T3时刻结束曝光，第2行有效图像在T2时刻开始曝光，在T4时刻结束曝光，T2时刻相比于T1时刻向后推移了一个时间段，T4时刻相比于T3时刻向后推移了一个时间段。另外，第1行有效图像在T3时刻结束曝光并开始输出数据，在T5时刻结束数据的输出，第n行有效图像在T6时刻结束曝光并开始输出数据，在T7时刻结束数据的输出，则T3～T7时刻之间的时间即为读出时间。

在一些实施例中，当细节图像传感器1-01采用全局曝光方式进行多次第一类曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与第一预设曝光的曝光时间段存在交集，或者第一预设曝光的曝光时间段是近红外补光的子集。这样，即可实现至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的整个曝光时间段内不进行近红外补光，从而不会对第二预设曝光造成影响。

例如，参见图11，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是第一预设曝光的曝光时间段的子集。参见图12，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，近红外补光的时间段与第一预设曝光的曝光时间段存在交集。参见图13，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，第一预设曝光的曝光时间段是近红外补光的子集。图11至图13仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

在另一些实施例中，当细节图像传感器1-01采用卷帘曝光方式进行多次第一类曝光时，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集。并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。或者，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

例如，参见图14，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于第一预设曝光中第一行有效图像的曝光结束时刻。参见图15，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。参见图16，对于任意一次近红外补光，近红外补光的时间段与最邻近的第二预设曝光的曝光时间段不存在交集，并且，近红外补光的开始时刻不早于第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。图14至图16中，针对第一预设曝光和第二预设曝光，倾斜虚线表示曝光开始时刻，倾斜实线表示曝光结束时刻，针对第一预设曝光，竖直虚线之间表示第一预设曝光对应的近红外补光的时间段，图14至图16仅是一种示例，第一预设曝光和第二预设曝光的排序可以不限于这些示例。

其中，多次第一类曝光可以包括奇数次曝光和偶数次曝光，这样，第一预设曝光和第二预设曝光可以包括但不限于如下几种方式：

第一种可能的实现方式，第一预设曝光为奇数次曝光中的一次曝光，第二预设曝光为偶数次曝光中的一次曝光。这样，多次第一类曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次第一类曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第一预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第二预设曝光。

第二种可能的实现方式，第一预设曝光为偶数次曝光中的一次曝光，第二预设曝光为奇数次曝光中的一次曝光，这样，多次第一类曝光可以包括按照奇偶次序排列的第一预设曝光和第二预设曝光。例如，多次第一类曝光中的第1次曝光、第3个曝光、第5次曝光等奇数次曝光均为第二预设曝光，第2次曝光、第4次曝光、第6次曝光等偶数次曝光均为第一预设曝光。

第三种可能的实现方式，第一预设曝光为指定的奇数次曝光中的一次曝光，第二预设曝光为除指定的奇数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次第一类曝光中的奇数次曝光，也可以为多次第一类曝光中的偶数次曝光。

第四种可能的实现方式，第一预设曝光为指定的偶数次曝光中的一次曝光，第二预设曝光为除指定的偶数次曝光之外的其他曝光中的一次曝光，也即是，第二预设曝光可以为多次第一类曝光中的奇数次曝光，也可以为多次第一类曝光中的偶数次曝光。

第五种可能的实现方式，第一预设曝光为第一曝光序列中的一次曝光，第二预设曝光为第二曝光序列中的一次曝光。

第六种可能的实现方式，第一预设曝光为第二曝光序列中的一次曝光，第二预设曝光为第一曝光序列中的一次曝光。

其中，上述多次第一类曝光包括多个曝光序列，第一曝光序列和第二曝光序列为该多个曝光序列中的同一个曝光序列或者两个不同的曝光序列，每个曝光序列包括N次曝光，该N次曝光包括1次第一预设曝光和N-1次第二预设曝光，或者，该N次曝光包括1次第二预设曝光和N-1次第二预设曝光，N为大于2的正整数。

例如，每个曝光序列包括3次曝光，这3次曝光可以包括1次第一预设曝光和2次第二预设曝光，这样，每个曝光序列的第1次曝光可以为第一预设曝光，第2次和第3次曝光为第二预设曝光。也即是，每个曝光序列可以表示为：第一预设曝光、第二预设曝光、第二预设曝光。或者，这3次曝光可以包括1次第二预设曝光和2次第一预设曝光，这样，每个曝光序列的第1次曝光可以为第二预设曝光，第2次和第3次曝光为第一预设曝光。也即是，每个曝光序列可以表示为：第二预设曝光、第一预设曝光、第一预设曝光。

上述仅提供了六种第一预设曝光和第二预设曝光的可能的实现方式，实际应用中，不限于上述六种可能的实现方式，本申请实施例对此不做限定。

在一些实施例中，细节滤光组件还包括第二细节滤光片和细节切换部件，第一细节滤光片和第二细节滤光片均与细节切换部件连接。细节切换部件，用于将第二细节滤光片切换到细节图像传感器的入光侧，在第二细节滤光片切换到细节图像传感器的入光侧之后，第二细节滤光片使可见光通过，阻挡近红外光，细节图像传感器，用于通过曝光产生并输出第三细节图像信号。

需要说明的是，细节切换部件用于将第二细节滤光片切换到细节图像传感器的入光侧，也可以理解为第二细节滤光片替换第一滤光片在细节图像传感器的入光侧的位置。在第二细节滤光片切换到细节图像传感器的入光侧之后，第一细节补光装可以处于关闭状态也可以处于开启状态。

综上，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一细节补光装置频闪式的补光，使细节图像传感器产生并输出包含近红外亮度信息的第一细节图像信号，以及包含可见光亮度信息的第二细节图像信号，且由于第一细节图像信号和第二细节图像信号均由同一个细节图像传感器获取，所以第一细节图像信号的视点与第二细节图像信号的视点相同，从而通过第一细节图像信号和第二细节图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的细节图像的色彩还原度不佳，可以通过细节图像传感器产生并输出的包含可见光亮度信息的第三细节图像信号，这样即使白天，也可以采集到色彩还原度比较好的细节图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息，提高了全景细节摄像头的使用灵活性，并且还可以方便地与其他图像采集装置进行兼容。

综上，当环境光中的可见光强度较弱时，例如夜晚，可以通过第一细节补光装置1-021频闪式的补光，使细节图像传感器1-01产生并输出包含近红外亮度信息的第一细节图像信号，以及包含可见光亮度信息的第二细节图像信号，且由于第一细节图像信号和第二细节图像信号均由同一个细节图像传感器1-01获取，所以第一细节图像信号的视点与第二细节图像信号的视点相同，从而通过第一细节图像信号和第二细节图像信号可以获取完整的外部场景的信息。在可见光强度较强时，例如白天，白天近红外光的占比比较强，采集的图像的色彩还原度不佳，可以通过细节图像传感器1-01产生并输出的包含可见光亮度信息的第三图像信号，这样即使白天，也可以采集到色彩还原度比较好的图像，也可达到不论可见光强度的强弱，或者说不论白天还是夜晚，均能高效、简便地获取外部场景的真实色彩信息，提高了全景细节摄像头的使用灵活性，并且还可以方便地与其他图像采集装置进行兼容。

2、细节图像处理单元

在本申请实施例中，当第一细节滤光片处于工作状态时，细节图像传感器输出第一细节图像信号和第二细节图像信号。由细节图像处理单元对第一细节图像信号和第二细节图像信号进行处理，得到融合细节图像信号。

由于图像传感器输出的细节图像信号存在噪声信号，因此，细节图像处理单元可以先对第一细节图像信号和第二细节图像信号分别进行预处理，然后再进行融合。细节图像处理单元也可以先对第一细节图像信号和第二细节图像信号进行融合，然后进行后处理。

在一种可能的实现方式中，如图17所示，细节图像处理单元1-04包括第一细节预处理单元1-041和第一细节图像融合单元1-042。第一细节预处理单元用于对第一细节图像信号和第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号。第一细节图像融合单元用于对第一预处理细节图像信号和第二预处理细节图像信号进行融合，得到融合细节图像信号。

如图8所示，第一细节预处理单元1-041包括细节联合降噪单元、第一细节ISP单元和第二细节ISP单元。细节联合降噪单元用于对第一细节图像信号进行降噪处理，得到第一降噪细节图像信号。细节联合降噪单元还用于根据第一细节图像信号对第二细节图像信号进行降噪处理，得到第二降噪细节图像信号。第一ISP单元用于对第一降噪细节图像信号进行处理，得到第一预处理细节图像信号，第一预处理图像信号为亮度图像信号。第二ISP单元用于对第二降噪细节图像信号进行处理，得到第二预处理细节图像信号，第二预处理细节图像信号为色度亮度图像信号。

由于第一细节图像信号是通过进行近红外补光之后得到的图像信号，因此，第一细节图像信号的质量高于第二细节图像信号，也即是，第一细节图像信号的信噪比高于第二细节图像信号。因此，在本申请实施例中，细节联合降噪单元对第一细节图像信号进行降噪处理，得到第一降噪细节图像信号可以通过简单的高斯滤波等方式实现，在此不做详细阐述。

由于第一细节图像信号的信噪比高于第二细节图像信号，因此细节联合降噪单元可以将第一细节图像信号作为参考图，利用第一细节图像信号同第二细节图像信号之间的信息相关性，对第二细节图像信号进行联合滤波，以得到第二降噪细节图像信号。

在一种可能的实现方式中，对于第一细节图像信号中的任一像素点，标记为第一处理像素点，细节联合降噪单元可以确定第一处理像素点同其一定邻域内的多个像素点中每个像素点的距离和差值，以一定规则获取该多个像素点一一对应的多个权重。权重与距离和差值的关系可以为：距离越远，权重取值越小，差值越大，权重取值越小。细节联合降噪单元在第二图像信号中找到与第一处理像素点位置相对应的第二处理像素点，并确定第二处理像素点同其一定邻域内的多个像素点的距离和差值，以一定规则获取多个像素点一一对应的多个权重。利用确定的权重对第二处理像素点邻域内的多个像素点进行加权平均，将加权平均之后的值更新为第二处理像素点的值。对于第一细节图像信号中的所有像素点执行完上述操作之后，即可完成对第二细节图像信号的降噪处理，得到第二降噪细节图像信号。

示例地，上述利用确定的权重对第二处理像素点邻域内的多个像素点进行加权平均，将加权平均之后的值更新为第二处理像素点的值可以通过下述公式表示：

上述公式中，(i,j)表示图像坐标，表示第二处理像素点邻域内的多个像素点的像素值，表示更新后的第二像素点的像素值。

需要说明的是，上述实现方式仅仅是本申请实施例提供的一种用于实现联合降噪的方式，并不构成对本申请实施例提供的联合降噪的方式的限定。也即是，任何可以实现降噪的方式均可以应用在本申请实施例中。

细节联合降噪单元在对第一细节图像信号和第二细节图像信号进行降噪处理，得到第一降噪细节图像信号和第二降噪细节图像信号之后，由第一ISP单元用于对第一降噪细节图像信号进行处理，得到第一预处理细节图像信号，第一预处理图像信号为亮度图像信号。

在一种可能的实现方式中，第一ISP单元用于对第一降噪细节图像信号进行处理的过程可以包括黑电平处理、坏点校正、亮度计算、Gamma校正、降噪以及锐化等过程，以使经过第一ISP单元处理之后的第一预处理图像信号为没有色度信息的亮度图像信号。

另外，第二ISP单元用于对第二降噪细节图像信号进行处理过程可以包括黑电平、坏点校正、白平衡校正、色彩插值、Gamma校正、色彩校正、RGB转YUV(一种图像编码方式)、降噪以及锐化等过程，以使经过第二ISP单元处理之后的第二预处理细节图像信号为同时包括色度信息和亮度信息的色度亮度图像信号。

第一细节预处理单元1-041在得到第一预处理细节图像信号和第二预处理细节图像信号之后，图17中的第一细节图像融合单元1-042可以从第二预处理细节图像信号分离出亮度信号和色度信号，将亮度信号与第一预处理细节图像信号进行融合，将融合之后的信号与色度信号进行融合，得到融合细节图像信号。

在一种可能的实现方式中，如图18所示，第一细节图像融合单元1-042可以将第二预处理细节图像信号中的亮度信号通过低通滤波器进行处理，得到低频信号。将第一预处理细节图像信号通过高通滤波器进行处理，得到高频信号。将低频信号与高频信号相加，得到融合亮度信号。最后将融合亮度信号和第二预处理细节图像信号中的色度信号进行合成，即可得到融合细节图像信号。

需要说明的是，上述实现方式仅仅是本申请实施例提供的一种用于实现图像融合的方式，并不构成对本申请实施例提供的图像融合的方式的限定。也即是，任何可以实现图像融合的方式均可以应用在本申请实施例中。

上述内容用于解释说明细节图像处理单元先对第一细节图像信号和第二细节图像信号分别进行预处理，然后再进行融合。在本申请实施例中，细节图像处理单元也可以先对第一细节图像信号和第二细节图像信号进行融合，然后进行后处理。此时，如图19所示，细节图像处理单元1-04包括第二细节预处理单元1-043和第二细节图像融合单元1-044。第二细节图像融合单元1-044用于对第一细节图像信号和第二细节图像信号进行融合，得到初始融合细节图像信号。第二细节预处理单元1-043用于对初始融合图像信号进行处理，得到融合细节图像信号。

其中，第二细节图像融合单元的具体功能和第一细节图像融合单元的功能相同，不同的是输入至这两个图像融合单元的图像信号不同。在此就不再详细阐述了。第二细节预处理单元1-043的具体功能可以参考上述第一细节预处理单元1-041中的联合降噪处理单元和第二ISP单元的功能。在此同样不再详细阐述。

上述实施例用于解释说明全景细节摄像机中的细节摄像头通过多光谱融合技术拍摄图像的过程。在本申请实施例中，全景细节摄像机中的全景摄像头也可以通过多光谱融合技术拍摄图像，以提高全景摄像头拍摄的画面的质量。

图20是本申请实施例提供的另一种全景细节摄像机的结构示意图。如图20所示，该全景细节摄像机100包括细节摄像头1和全景摄像头2。细节摄像头1的具体结构和图1所示的实施例中的细节摄像头的结构相同，在此不再详细阐述。

其中，全景摄像头2包括：全景图像传感器2-01、全景补光器2-02和全景滤光组件2-03，全景图像传感器2-01位于全景滤光组件2-03的出光侧。全景图像传感器2-01，用于通过多次第二类曝光产生并输出第一全景图像信号和第二全景图像信号，其中，第一全景图像信号是根据第三预设曝光产生的图像信号，第二全景图像信号是根据第四预设曝光产生的图像信号，第三预设曝光和第四预设曝光为多次第二类曝光中的其中两次曝光。全景补光器2-02包括第一全景补光装置2-021，第一全景补光装置2-021用于进行近红外补光，其中，至少在第三预设曝光的部分曝光时间段内进行近红外补光，在第四预设曝光的曝光时间段内不进行近红外补光。全景滤光组件2-03包括第一全景滤光片2-031，第一全景滤光片2-031使可见光波段的光和近红外光波段的光通过。

由于第一全景图像信号是全景摄像头中的全景图像传感器根据第三预设曝光产生的图像信号，第二全景图像信号是全景图像传感器根据第四预设曝光产生的图像信号，并且至少述第三预设曝光的部分曝光时间段内进行近红外补光，在第四预设曝光的曝光时间段内不进行近红外补光，因此，全景摄像头可以通过第三预设曝光和第四预设曝光同时采集到包含近红外光信息的第一全景图像信号和包括可见光信息的第二全景图像信号。相对于从采集到包含红外光信息和可见光信息的图像信号中分离出红外光信息和可见光信息，本申请采集到的第一全景图像信号中红外光信息和第二全景图像信号中的可见光信息均可以包括全部的图像空间信息。如此，后续根据该第一全景图像信号和第二全景图像信号进行处理得到的图像信号的质量较高，从而提高了全景摄像机中的全景摄像头拍摄的画面的质量。

因此，如图20所示，全景摄像头2还可以包括全景节图像处理单元2-04，全景图像处理单元2-04用于对所述第一全景图像信号和所述第二全景图像信号进行处理得到融合全景图像信号。为了后续便于说明，将全景摄像头包括组件划分为两大部分，全景图像采集单元和全景图像处理单元。其中，全景图像采集单元可以包括图20中的全景图像传感器、全景补光器、全景滤光组件等用于采集图像信号的组件。

其中，全景图像采集单元包括的各个组件的具体实现方式和图1中的细节图像采集单元包括的各个组件的实现方式基本相同，在此就不再详细阐述。不同的地方在于：第一全景补光装置的近红外补光的波段范围与细节摄像头包括的第一细节补光装置的近红外补光的波段范围不同。通过第一全景滤光片的近红外补光的波段范围与通过细节摄像头包括的第一细节滤光片的近红外补光的波段范围不同。

在一种可能的实现方式中，第一全景补光装置的近红外补光的波段范围的中心点与第一细节补光装置的近红外补光的波段范围的中心点之间的差异大于5nm。通过第一全景滤光片的近红外补光的波段范围的中心点与通过第一细节滤光片的近红外补光的波段范围的中心点之间的差异大于5nm。

比如，细节摄像头的第一细节补光装置的可以采用波长为750纳米的红外灯。全景摄像头的第一全景补光装置的可以采用波长为810纳米、850纳米或940纳米的红外灯。

上述多次第一类包括曝光和多次第一类曝光仅仅是用于区分细节摄像头中的曝光和全景摄像头中的曝光。也即是，将细节摄像头中的曝光称为第一类曝光，将全景摄像头中的曝光称为第二类曝光。因此，全景摄像头中的第三预设曝光的相关实现方式可以参考细节摄像头中的第一预设曝光的相关实现方式，全景摄像头中的第四预设曝光的相关实现方式可以参考细节摄像头中的第二预设曝光的相关实现方式。

另外，全景图像处理单元的具体实现方式和图1中的细节图像处理单元的实现方式基本相同，在此就同样不再详细阐述。也即是，对于将第一全景图像信号和第二全景图像信号进行融合得到融合全景图像信号的实现方式，可以参考将第一细节图像信号和第二细节图像信号进行融合得到融合细节图像信号的实现方式。

图21是本申请实施例提供的一种获取图像信号的方法的流程图。该方法应用于全景细节摄像机中，其中，全景细节摄像机中包括细节摄像头和全景摄像头，如图21所示，该方法包括如下步骤：

步骤2101：通过细节摄像头中的细节补光器包括的第一细节补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，第一预设曝光和第二预设曝光为细节图像传感器的多次第一类曝光中的其中两次曝光。

步骤2102：通过细节摄像头中的细节滤光组件包括的第一细节滤光片使可见光和部分近红外光通过。

步骤2103：通过细节摄像头中的细节图像传感器进行多次第一类曝光，以产生并输出第一细节图像信号和第二细节图像信号，第一细节图像信号是根据第一预设曝光产生的图像信号，第二细节图像信号是根据第二预设曝光产生的图像信号。

上述步骤2101至步骤2103的实现方式可以参考图1实施例中的细节图像采集单元的实现方式，在此不再一一赘述。

细节摄像头在采集到第一细节图像信号和第二细节图像信号之后，还可以通过下述步骤2104实现对细节图像信号的融合，以得到高质量的细节图像。

步骤2104：对第一细节图像信号和第二细节图像信号进行处理得到融合细节图像信号。

在一些实施例中，对第一细节图像信号和第二细节图像信号进行处理得到融合细节图像信号的实现方式可以为：对第一细节图像信号和第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号；对第一预处理细节图像信号和第二预处理细节图像信号进行融合，得到融合图像信号。

上述对第一细节图像信号和第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号的实现方式可以为：对第一细节图像信号进行降噪处理，得到第一降噪细节图像信号；根据第一细节图像信号对第二细节图像信号进行降噪处理，得到第二降噪细节图像信号；对第一降噪细节图像信号进行处理，得到第一预处理细节图像信号，第一预处理图像信号为亮度图像信号；对第二降噪细节图像信号进行处理，得到第二预处理细节图像信号，第二预处理细节图像信号为色度亮度图像信号。

上述对第一细节图像信号和第二细节图像信号进行预处理的详细实现方式可以参考图17中的细节图像处理单元的相关实现方式，在此同样不再赘述。

另外，对第一预处理细节图像信号和第二预处理细节图像信号进行融合，得到融合图像信号的实现方式可以为：从第二预处理细节图像信号分离出亮度信号和色度信号，将亮度信号与第一预处理细节图像信号进行融合，将融合之后的信号与色度信号进行融合，得到融合细节图像信号。

上述对第一细节图像信号和第二细节图像信号进行预处理的详细实现方式可以参考图17中的细节图像处理单元的相关实现方式，在此同样不再赘述。

在另一些实施例中，对第一细节图像信号和第二细节图像信号进行处理得到融合细节图像信号的实现方式可以为：对第一细节图像信号和第二细节图像信号进行融合，得到初始融合细节图像信号；对初始融合图像信号进行处理，得到融合细节图像信号。

上述对第一细节图像信号和第二细节图像信号进行处理得到融合细节图像信号的详细实现方式可以参考图17中的细节图像处理单元的相关实现方式，在此同样不再赘述。

如图22所示，该方法还可以包括如下步骤：

步骤2201：通过全景摄像头中的全景补光器包括的第一全景补光装置进行近红外补光，其中，至少在第三预设曝光的部分曝光时间段内进行近红外补光，在第四预设曝光的曝光时间段内不进行近红外补光，第三预设曝光和第四预设曝光为全景图像传感器的多次第二类曝光中的其中两次曝光。

步骤2202：通过全景摄像头中的全景滤光组件包括的第一全景滤光片使可见光和部分近红外光通过。

步骤2203：通过全景摄像头中的全景图像传感器进行多次曝光，以产生并输出第一全景图像信号和第二全景图像信号，第一全景图像信号是根据第三预设曝光产生的图像信号，第二全景图像信号是根据第四预设曝光产生的图像信号。

步骤2204：对第一全景图像信号和第二全景图像信号进行处理得到融合全景图像信号。

上述步骤2201至步骤2204的实现方式可以参考图21实施例中的步骤2101至步骤2104的实现方式，在此不再一一赘述。

其中，第一全景补光装置的近红外补光的波段范围与第一细节补光装置的近红外补光的波段范围不同；通过第一全景滤光片的近红外补光的波段范围与通过细节摄像头包括的第一细节滤光片的近红外补光的波段范围不同。

在一些实施例中，第一全景补光装置的近红外补光的波段范围的中心点与第一细节补光装置的近红外补光的波段范围的中心点之间的差异大于5nm；通过第一全景滤光片的近红外补光的波段范围的中心点与通过第一细节滤光片的近红外补光的波段范围的中心点之间的差异大于5nm。

在本申请实施例中，细节摄像头，或者全景摄像头和细节摄像头，可以采集的到包括全部图像空间信息的图像信号，从而提高了全景细节摄像机中的细节摄像头拍摄的画面的质量，或者，同时提高了细节摄像头和全景摄像头拍摄的画面的质量。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (25)

1.一种全景细节摄像机，其特征在于，所述全景细节摄像机包括细节摄像头(1)和全景摄像头(2)；

所述细节摄像头(1)包括：细节图像传感器(1-01)、细节补光器(1-02)和细节滤光组件(1-03)，所述细节图像传感器(1-01)位于所述细节滤光组件(1-03)的出光侧；

所述细节图像传感器(1-01)，用于通过多次第一类曝光产生并输出第一细节图像信号和第二细节图像信号，其中，所述第一细节图像信号是根据第一预设曝光产生的图像信号，所述第二细节图像信号是根据第二预设曝光产生的图像信号，所述第一预设曝光和所述第二预设曝光为所述多次第一类曝光中的其中两次曝光；

所述细节补光器(1-02)包括第一细节补光装置(1-021)，所述第一细节补光装置(1-021)用于进行近红外补光，其中，至少在所述第一预设曝光的部分曝光时间段内进行近红外补光，在所述第二预设曝光的曝光时间段内不进行近红外补光；

所述细节滤光组件(1-03)包括第一细节滤光片(1-031)，所述第一细节滤光片(1-031)使可见光和部分近红外光通过。

2.如权利要求1所述的全景细节摄像机，其特征在于，所述细节摄像头还包括细节图像处理单元(1-04)，所述细节图像处理单元用于对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号。

3.如权利要求2所述的全景细节摄像机，其特征在于，所述细节图像处理单元(1-04)包括第一细节预处理单元(1-041)和第一细节图像融合单元(1-042)；

所述第一细节预处理单元(1-041)用于对所述第一细节图像信号和所述第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号；

所述第一细节图像融合单元(1-042)用于对所述第一预处理细节图像信号和所述第二预处理细节图像信号进行融合，得到所述融合细节图像信号。

4.如权利要求3所述的全景细节摄像机，其特征在于，所述第一细节预处理单元包括细节联合降噪单元、第一细节图像信号处理ISP单元和第二细节ISP单元；

所述细节联合降噪单元用于分别对所述第一细节图像信号和所述第二细节图像信号进行降噪处理，得到第一降噪细节图像信号和第二降噪细节图像信号；

所述第一ISP单元用于对所述第一降噪细节图像信号进行处理，得到所述第一预处理细节图像信号，所述第一预处理图像信号为亮度图像信号；

所述第二ISP单元用于对所述第二降噪细节图像信号进行处理，得到所述第二预处理细节图像信号，所述第二预处理细节图像信号为色度亮度图像信号。

5.如权利要求4所述的全景细节摄像机，其特征在于，所述细节联合降噪单元包括细节时域降噪单元或细节空域降噪单元；

所述细节时域降噪单元用于根据所述第一细节图像信号和所述第二细节图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一细节图像信号进行时域滤波处理，得到所述第一降噪细节图像信号，根据所述运动估计结果对所述第二细节图像信号进行时域滤波处理，得到所述第二降噪细节图像信号；

所述细节空域降噪单元用于根据所述第一细节图像信号和所述第二细节图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一细节图像信号进行空域滤波处理，得到所述第一降噪细节图像信号，根据所述边缘估计结果对所述第二细节图像信号进行空域滤波处理，得到所述第二降噪细节图像信号。

6.如权利要求5所述的全景细节摄像机，其特征在于，所述细节时域降噪单元包括细节运动估计单元；

所述细节运动估计单元用于根据所述第一细节图像信号和第一历史降噪细节图像信号生成第一帧差细节图像信号，根据所述第一细节帧差图像信号和多个第一细节设定帧差阈值确定所述第一细节图像信号中每个像素点的第一细节时域滤波强度，所述第一历史降噪细节图像信号是指对所述第一细节图像信号的前N帧细节图像信号中的任一帧细节图像信号进行降噪后的图像信号，所述N大于或等于1，所述多个第一设定帧差阈值与所述第一帧差细节图像信号中的多个像素点一一对应；

所述细节运动估计单元还用于根据所述第二细节图像信号和第二历史降噪细节图像信号生成第二帧差细节图像信号，根据所述第二帧差细节图像信号和多个第二细节设定帧差阈值确定所述第二细节图像信号中每个像素点的第二细节时域滤波强度，所述第二历史降噪细节图像信号是指对所述第二细节图像信号的前N帧细节图像信号中的任一帧细节图像信号进行降噪后的图像信号，所述多个第二细节设定帧差阈值与所述第二帧差细节图像信号中的多个像素点一一对应号；

所述细节运动估计单元还用于对每个像素点的第一细节时域滤波强度和第二细节时域滤波强度进行融合，得到每个像素点的联合细节时域滤波强度；或者，所述运动估计单元还用于从每个像素点的第一细节时域滤波强度和第二细节时域滤波强度中选择一个细节时域滤波强度作为相应像素点的联合细节时域滤波强度；

其中，所述运动估计结果包括每个像素点的第一细节时域滤波强度和/或每个像素点的联合细节时域滤波强度。

7.如权利要求5所述的全景细节摄像机，其特征在于，所述细节空域降噪单元包括细节边缘估计单元；

所述细节边缘估计单元用于确定所述第一细节图像信号中每个像素点的第一细节空域滤波强度；

所述细节边缘估计单元还用于确定所述第二细节图像信号中每个像素点的第二细节空域滤波强度；

所述细节边缘估计单元还用于对所述第一细节图像信号进行局部信息提取，得到第一细节局部信息，对所述第二细节图像信号进行局部信息提取，得到第二细节局部信息；根据所述第一细节空域滤波强度、所述第二细节空域滤波强度、所述第一细节局部信息和所述第二细节局部信息确定每个像素点对应的联合细节空域滤波强度；

其中，所述边缘估计结果包括每个像素点的第一细节空域滤波强度和/或联合细节空域滤波强度。

8.如权利要求4所述的全景细节摄像机，其特征在于，所述细节联合图像降噪单元包括细节时域降噪单元和细节空域降噪单元；

所述细节时域降噪单元用于根据所述第一细节图像信号和所述第二细节图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一细节图像信号进行时域滤波，得到第一时域降噪细节图像信号，根据所述运动估计结果对所述第二细节图像信号进行时域滤波，得到第二时域降噪细节图像信号；

所述细节空域降噪单元用于根据所述第一时域降噪细节图像信号和所述第二时域降噪细节图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一时域降噪细节图像信号进行空域滤波，得到所述第一降噪细节图像信号，根据所述边缘估计结果对所述第二时域降噪细节图像信号进行空域滤波，得到所述第二降噪细节图像信号；

或者，

所述细节空域降噪单元用于根据所述第一细节图像信号和所述第二细节图像信号进行边缘估计，得到边缘估计结果，根据所述边缘估计结果对所述第一细节图像信号进行空域滤波，得到第一空域降噪细节图像信号，根据所述边缘估计结果对所述第二细节图像信号进行空域滤波，得到第二空域降噪细节图像信号；

所述细节时域降噪单元用于根据所述第一空域降噪细节图像信号和所述第二空域降噪细节图像信号进行运动估计，得到运动估计结果，根据所述运动估计结果对所述第一空域降噪细节图像信号进行时域滤波，得到所述第一降噪细节图像信号，根据所述运动估计结果对所述第二空域降噪细节图像信号进行时域滤波，得到所述第二降噪细节图像信号。

9.如权利要求3或4所述的全景细节摄像机，其特征在于，所述第一细节图像融合单元用于从所述第二预处理细节图像信号分离出亮度信号和色度信号，将所述亮度信号与所述第一预处理细节图像信号进行融合，将融合之后的信号与所述色度信号进行融合，得到所述融合细节图像信号。

10.如权利要求2所述的全景细节摄像机，其特征在于，所述细节图像处理单元(1-04)包括第二细节预处理单元(1-043)和第二细节图像融合单元(1-044)；

所述第二细节图像融合单元(1-043)用于对所述第一细节图像信号和所述第二细节图像信号进行融合，得到初始融合细节图像信号；

所述第二细节预处理单元(1-044)用于对所述初始融合图像信号进行处理，得到所述融合细节图像信号。

11.如权利要求1所述的全景细节摄像机，其特征在于，所述全景摄像头(2)包括：全景图像传感器(2-01)、全景补光器(2-02)和全景滤光组件(2-03)，所述全景图像传感器(2-01)位于所述全景滤光组件(2-03)的出光侧；

所述全景图像传感器(2-01)，用于通过多次第二类曝光产生并输出第一全景图像信号和第二全景图像信号，其中，所述第一全景图像信号是根据第三预设曝光产生的图像信号，所述第二全景图像信号是根据第四预设曝光产生的图像信号，所述第三预设曝光和所述第四预设曝光为所述多次第二类曝光中的其中两次曝光；

所述全景补光器(2-02)包括第一全景补光装置(2-021)，所述第一全景补光装置(2-021)用于进行近红外补光，其中，至少在所述第三预设曝光的部分曝光时间段内进行近红外补光，在所述第四预设曝光的曝光时间段内不进行近红外补光；

所述全景滤光组件(2-03)包括第一全景滤光片(2-031)，所述第一全景滤光片(2-031)使可见光和部分近红外光通过。

12.如权利要求11所述的全景细节摄像机，其特征在于，所述第一全景补光装置的近红外补光的波段范围与所述第一细节补光装置的近红外补光的波段范围不同；

通过所述第一全景滤光片的近红外补光的波段范围与通过所述细节摄像头包括的第一细节滤光片的近红外补光的波段范围不同。

13.如权利要求12所述的全景细节摄像机，其特征在于，所述第一全景补光装置的近红外补光的波段范围的中心点与所述第一细节补光装置的近红外补光的波段范围的中心点之间的差异大于5nm；

通过所述第一全景滤光片的近红外补光的波段范围的中心点与通过所述第一细节滤光片的近红外补光的波段范围的中心点之间的差异大于5nm。

14.如权利要求11所述的全景细节摄像机，其特征在于，所述全景摄像头(2)还包括全景图像处理单元(2-04)；

所述全景图像处理单元(2-04)用于对所述第一全景图像信号和所述第二全景图像信号进行处理得到融合全景图像信号。

15.如权利要求1所述的全景细节摄像机，其特征在于，

所述细节图像传感器(1-01)采用全局曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集，近红外补光的时间段是所述第一预设曝光的曝光时间段的子集，或者，近红外补光的时间段与所述第一预设曝光的曝光时间段存在交集，或者所述第一预设曝光的曝光时间段是近红外补光的子集。

16.如权利要求1所述的全景细节摄像机，其特征在于，

所述细节图像传感器(1-01)采用卷帘曝光方式进行多次曝光，对于任意一次近红外补光，近红外补光的时间段与最邻近的所述第二预设曝光的曝光时间段不存在交集；

近红外补光的开始时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻，近红外补光的结束时刻不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻；

或者，

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光结束时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光开始时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻；或者

近红外补光的开始时刻不早于所述第一预设曝光之前的最邻近的第二预设曝光的最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光中第一行有效图像的曝光开始时刻，近红外补光的结束时刻不早于所述第一预设曝光中最后一行有效图像的曝光结束时刻且不晚于所述第一预设曝光之后的最邻近的第二预设曝光的第一行有效图像的曝光开始时刻。

17.一种获取图像信号的方法，其特征在于，应用于全景细节摄像机中，所述全景细节摄像机中包括细节摄像头和全景摄像头，所述方法包括：

通过所述细节摄像头中的细节补光器包括的第一细节补光装置进行近红外补光，其中，至少在第一预设曝光的部分曝光时间段内进行近红外补光，在第二预设曝光的曝光时间段内不进行近红外补光，所述第一预设曝光和所述第二预设曝光为所述细节图像传感器的多次第一类曝光中的其中两次曝光；

通过所述细节摄像头中的细节滤光组件包括的第一细节滤光片使可见光和部分近红外光通过；

通过所述细节摄像头中的细节图像传感器进行多次第一类曝光，以产生并输出第一细节图像信号和第二细节图像信号，所述第一细节图像信号是根据所述第一预设曝光产生的图像信号，所述第二细节图像信号是根据所述第二预设曝光产生的图像信号。

18.如权利要求17所述的方法，其特征在于，所述产生并输出第一细节图像信号和第二细节图像信号之后，还包括：

对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号。

19.如权利要求18所述的方法，其特征在于，所述对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号，包括：

对所述第一细节图像信号和所述第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号；

对所述第一预处理细节图像信号和所述第二预处理细节图像信号进行融合，得到所述融合图像信号。

20.如权利要求19所述的方法，其特征在于，所述对所述第一细节图像信号和所述第二细节图像信号进行预处理，并输出第一预处理细节图像信号和第二预处理细节图像信号，包括：

分别对所述第一细节图像信号和所述第二细节图像信号进行降噪处理，得到第一降噪细节图像信号和第二降噪细节图像信号；

对所述第一降噪细节图像信号进行处理，得到所述第一预处理细节图像信号，所述第一预处理图像信号为亮度图像信号；

对所述第二降噪细节图像信号进行处理，得到所述第二预处理细节图像信号，所述第二预处理细节图像信号为色度亮度图像信号。

21.如权利要求19或20所述的方法，其特征在于，所述第一细节图像融合单元用于从所述第二预处理细节图像信号分离出亮度信号和色度信号，将所述亮度信号与所述第一预处理细节图像信号进行融合，将融合之后的信号与所述色度信号进行融合，得到所述融合细节图像信号。

22.如权利要求18所述的方法，其特征在于，所述对所述第一细节图像信号和所述第二细节图像信号进行处理得到融合细节图像信号，包括：

对所述第一细节图像信号和所述第二细节图像信号进行融合，得到初始融合细节图像信号；

对所述初始融合图像信号进行处理，得到所述融合细节图像信号。

23.如权利要求17所述的方法，其特征在于，所述方法还包括：

通过所述全景摄像头中的全景补光器包括的第一全景补光装置进行近红外补光，其中，至少在第三预设曝光的部分曝光时间段内进行近红外补光，在第四预设曝光的曝光时间段内不进行近红外补光，所述第三预设曝光和所述第四预设曝光为全景图像传感器的多次第二类曝光中的其中两次曝光；

在所述第一全景补光装置进行近红外外补光的过程中，通过所述全景摄像头中的全景滤光组件包括的第一全景滤光片使可见光和部分近红外光通过；

在所述第一全景滤光片通过可见光波段的光和近红外光波段的光之后，通过所述全景摄像头中的全景图像传感器进行多次曝光，以产生并输出第一全景图像信号和第二全景图像信号，所述第一全景图像信号是根据所述第三预设曝光产生的图像信号，所述第二全景图像信号是根据所述第四预设曝光产生的图像信号。

24.如权利要求23所述的方法，其特征在于，所述第一全景补光装置的近红外补光的波段范围与所述第一细节补光装置的近红外补光的波段范围不同；

通过所述第一全景滤光片的近红外补光的波段范围与通过所述细节摄像头包括的第一细节滤光片的近红外补光的波段范围不同。

25.如权利要求23所述的全景细节摄像机，其特征在于，所述产生并输出第一全景图像信号和第二全景图像信号之后，还包括：

对所述第一全景图像信号和所述第二全景图像信号进行处理得到融合全景图像信号。