CN113329169B - 成像方法、成像控制装置及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种成像方法、成像控制装置及计算机可读存储介质，该成像方法包括：获取第一成像设备调用第一图像程序实时采集的多张第一图像；在根据多张第一图像侦测到第一成像设备的监控视野内出现运动物体时，调整第二成像设备的位置，使得运动物体落在第二成像设备的监控视野内，并驱动第二成像设备与运动物体同步运动；控制第二成像设备调用第二图像程序进行拍摄，得到第二图像；将运动物体出现前的最新第一图像和第二图像进行融合处理；其中，第一成像设备的监控视野大于第二成像设备的监控视野，第一图像程序中的快门时间与第二图像程序中的快门时间的时间差值在预设范围内。本申请所提供的成像方法能够在低照度下保证运动物体的成像亮度。

Description

成像方法、成像控制装置及计算机可读存储介质

技术领域

本申请涉及光学技术领域，特别是涉及一种成像方法、成像控制装置及计算机可读存储介质。

背景技术

为了提升低照度下拍摄画面的亮度，目前行业内常用的技术方案有以下四种方案：第一种方案：增加拍摄镜头的通光量；第二种方案：增加sensor感光面单元面积；第三种方案：通过双sensor方案，颜色采用可见光，画面细节采用红外主动补光，通过双sensor成像并进行融合图像处理；第四种方案：通过拉长曝光时间的图像处理方法，或者多帧融合的方法。

以上第一种方案提升了镜头造价、体积，且对解像及工艺敏感性增强，第二种方案工艺难度增加，造价提升且镜头体积增大，对镜头提出了更高要求，第三种方案对于环境本身可见光亮度不足条件下颜色采集非常有限，第四种方案存在运动物体拖影或模糊问题。

因此亟需一种能够避免上述缺陷的提升低照度下拍摄画面亮度的方法。

发明内容

本申请主要解决的技术问题是提供一种成像方法、成像控制装置及计算机可读存储介质，能够在低照度下保证运动物体的成像亮度。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种成像方法，所述方法包括：获取第一成像设备调用第一图像程序实时采集的多张第一图像；在根据所述多张第一图像侦测到所述第一成像设备的监控视野内出现运动物体时，调整第二成像设备的位置，使得所述运动物体落在所述第二成像设备的监控视野内，并驱动所述第二成像设备与所述运动物体同步运动；控制所述第二成像设备调用第二图像程序进行拍摄，得到第二图像；将所述运动物体出现前的最新所述第一图像和所述第二图像进行融合处理；其中，所述第一成像设备的监控视野大于所述第二成像设备的监控视野，且所述第一图像程序中的快门时间与所述第二图像程序中的快门时间的时间差值在预设范围内。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种成像控制装置，所述成像控制装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。

本申请的有益效果是：本申请的成像方法在侦测到第一成像设备的监控视野内出现运动物体后，驱动第二成像设备与运动物体同步运动，即，第二成像设备与运动物体保持相对静止，因此第二成像设备调用的第二图像程序中的快门时间可以设置与第一图像程序中快门时间接近(由于进行融合处理时，只要用到运动物体出现前的最新第一图像，该第一图像为静态画面，因此为了获取足够的光线，第一图像程序中的快门时间可以设置为较大)，因此第二成像设备拍摄得到的第二图像的亮度能够得到保证，进而最终融合得到的图像的亮度能够得到保证，即本申请中的成像方法能够在低照度下保证运动物体的成像亮度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请成像方法一实施方式的流程示意图；

图2是本申请成像方法另一实施方式的流程示意图；

图3是图2中步骤S240在一应用场景中的流程示意图；

图4是本申请成像方法又一实施方式的流程示意图；

图5是本申请成像控制装置一实施方式的结构示意图；

图6是本申请成像控制装置另一实施方式的结构示意图；

图7是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的成像方法由成像控制装置执行，该成像控制装置可以是任何一种具有图像信息处理能力的装置，例如手机、电脑等，在此不做限制。

参阅图1，图1是本申请成像方法一实施方式的流程示意图，该方法包括：

S110：获取第一成像设备调用第一图像程序实时采集的多张第一图像。

具体地，第一成像设备按照预设规则进行拍摄，例如，第一成像设备每隔2秒进行拍摄而得到一张第一图像。同时第一成像设备在拍摄后，将得到的第一图像实时发送给成像控制装置，从而成像控制装置能够获取到第一成像设备采集的多张第一图像。

S120：在根据多张第一图像侦测到第一成像设备的监控视野内出现运动物体时，调整第二成像设备的位置，使得运动物体落在第二成像设备的监控视野内，并驱动第二成像设备与运动物体同步运动。

具体地，成像控制装置基于前后相邻帧的第一图像之间的数据对比判断第一成像设备的监控视野内是否出现运动物体，若侦测到出现运动物体，则成像控制装置调整第二成像设备的位置，使得成像控制装置的监控视野对准运动物体，使得运动物体落在第二成像设备的监控视野内，而后驱动第二成像设备与运动物体同步运动，即，此时第二成像设备与运动物体保持相对静止。

S130：控制第二成像设备调用第二图像程序进行拍摄，得到第二图像。

具体地，在驱动第二成像设备与运动物体同步运动后，控制第二成像设备调用第二图像程序进行拍摄，得到第二图像。

其中，第一成像设备的监控视野大于第二成像设备的监控视野，使得运动物体在第一成像设备反馈画面中的比例小于在第二成像设备反馈画面中的比例，也即，第二成像设备反馈画面中的运动物体是第一成像设备反馈画面中的运动物体的放大版，从而第二图像能够包括运动物体的更多细节。也就是说，第一图像为清晰大场景图，第二图像为细节图。同时第一图像程序中的快门时间与第二图像程序中的快门时间的时间差值在预设范围内，也就是说，第一图像程序中的快门时间略大于、略小于或者等于第二图像程序中的快门时间，换句话说，第一图像程序中的快门时间与第二图像程序中的快门时间接近。

S140：将运动物体出现前的最新第一图像和第二图像进行融合处理。

具体地，运动物体出现前的最新第一图像不包括运动物体，其所拍摄的画面是静态画面，即背景画面。第二图像为运动物体的细节图，因此将运动物体出现前的最新第一图像和第二图像进行融合处理得到的图像既能包括静态背景，也能包括运动物体。

在现有技术中，针对低照度的情况，为了保证拍摄画面的亮度，可以延长快门时间(快门时间越长，光线越好，光感越强，拍摄出的图像越好)，但是若出现运动物体，延长快门时间会造成图像出现拖影现象，即运动物体的轮廓不清晰。也就是说，在低照度的情况下，若没有出现运动物体，为了保证拍摄画面的亮度，可以延长快门时间，但是当出现运动物体时，为了避免图像出现拖影现象，需要降低快门时间，而减低快门时间后，光线会变弱，拍摄出的图像不佳，即现有技术中无法在低照度下兼顾亮度和不出现拖影。

而在上述实施方式中，由于在侦测到第一成像设备的监控视野内出现运动物体后，驱动第二成像设备与运动物体同步运动，即，第二成像设备与运动物体保持相对静止，因此第二成像设备调用的第二图像程序中的快门时间可以设置与第一图像程序中快门时间接近(由于进行融合处理时，只要用到运动物体出现前的最新第一图像，该第一图像为静态画面，因此为了获取足够的光线，第一图像程序中的快门时间可以设置为较大)，因此第二成像设备拍摄得到的第二图像的亮度能够得到保证，进而最终融合得到的图像的亮度能够得到保证，即上述方法能够在低照度下保证运动物体的成像亮度。

需要说明的是，本申请中第一成像设备与第二成像设备除了监控视野不同外，其余设备参数可以设置为相同。

参阅图2，图2是本申请成像方法另一实施方式的流程示意图，该方法包括：

S210：获取第一成像设备调用第一图像程序实时采集的多张第一图像。

S220：在根据多张第一图像侦测到第一成像设备的监控视野内出现运动物体时，调整第二成像设备的位置，使得运动物体落在第二成像设备的监控视野内。

S230：控制第一成像设备调用第三图像程序进行抓拍，得到多张第三图像。

S240：根据多张第三图像预测运动物体的运动速度以及运动方向。

S250：驱动第二成像设备以运动物体的运动速度沿着运动物体的运动方向运动。

S260：控制第二成像设备调用第二图像程序进行拍摄，得到第二图像。

S270：将运动物体出现前的最新第一图像和第二图像进行融合处理。

其中，第三图像程序中的快门时间小于第一图像程序以及第二图像程序中的快门时间，和/或，第三图像程序中的轮廓照明电流大于第一图像程序以及第二图像程序中的轮廓照明电流。

与上述实施方式不同的是，本实施方式根据第一成像设备调用第三图像程序进行抓拍得到的多张第三图像预测运动物体的运动速度以及运动方向，而后驱动第二成像设备与运动物体同步运动。

具体地，在侦测到第一成像设备的监控视野内出现运动物体时，为了此时拍摄得到的第三图像不出现拖影(即保证第三图像中运动物体的轮廓清晰)，则降低快门时间，和/或，为了能够保证第三图像中运动物体的轮廓清晰可见，增大第二成像设备的轮廓照明电流，最终根据拍摄得到的多张第三图像预测运动物体的运动速度和运动方向。

参阅图3，在一应用场景中，步骤S240根据多张第三图像预测运动物体的运动速度以及运动方向具体包括：

S241：分别提取多张第三图像中运动物体的轮廓。

S242：计算运动物体的轮廓对应的像素点的偏移距离。

S243：根据偏移距离获取运动物体的轮廓的运动速度以及运动方向。

S244：根据运动物体的轮廓的运动速度以及运动方向预测运动物体的运动速度以及运动方向。

具体地，在提取出运动物体的轮廓后，获取任意两张第三图像中运动物体的轮廓对应的像素点的偏移距离L，根据该偏移距离L可以获取运动物体的轮廓的运动方向，并根据如下公式能够计算出运动物体的轮廓的运动速度V：

其中，V为运动物体的轮廓的运动速度，L为运动物体的轮廓对应的像素点的偏移距离，ΔT为两张第三图像之间的时间间隔，其中，L＝n*pixel，n为运动物体的轮廓对应的像素点移动的像素点数量，pixel为像素点大小(像素点的面积或者宽度)。

在得到运动物体的轮廓的运动速度以及运动方向后，利用运动趋势分析预测运动物体的运动速度以及运动方向。

需要说明的是，在其他实施方式中，上述运动物体的轮廓对应的像素点的偏移距离也可以替换为某一参考点对应的像素点的偏移距离。也就是说，此时无需从第三图像中提取轮廓，而是只要提取出参考点即可。

参阅图4，图4是本申请成像方法另一实施方式的流程示意图，该方法包括：

S301：获取第一成像设备调用第一图像程序实时采集的多张第一图像。

S302：在根据多张第一图像侦测到第一成像设备的监控视野内出现运动物体时，调整第二成像设备的位置，使得运动物体落在第二成像设备的监控视野内。

S303：控制第一成像设备调用第三图像程序进行抓拍，得到多张第三图像。

S304：根据多张第三图像预测运动物体的第一运动速度以及第一运动方向。

S305：驱动第二成像设备以运动物体的第一运动速度沿着运动物体的第一运动方向运动。

S306：调整第二成像设备的焦距，使得运动物体在第二成像设备反馈的画面中所占像素的数量达到预设数量。

S307：控制第二成像设备调用第二图像程序进行抓拍，得到多张第四图像。

S308：根据多张第四图像预测运动物体的第二运动速度以及第二运动方向。

S309：驱动第二成像设备以第二运动速度沿着第二运动方向运动。

S310：控制第二成像设备调用第二图像程序进行拍摄，得到第二图像。

S311：将运动物体出现前的最新第一图像和第二图像进行融合处理。

与上述实施方式不同的是，本实施方式为了保证拍摄第二成像设备拍摄得到的图像中包括较多运动物体的细节，使第二成像设备具有合理的监控视野，在控制第二成像设备进行拍摄之前，还会根据第二成像设备反馈的画面对第二成像设备的焦距进行调节，此时调整焦距的标准为：第二成像设备的焦距使得运动物体在第二成像设备反馈的画面中所占像素的数量达到预设数量。

可以理解的是，第二成像设备为可变焦成像设备，例如第二成像设备为光学变焦成像设备，或者，第二成像设备为数字变焦成像设备。

在一应用场景中，预设数量为一固定值，也就是说，此时不管运动物体为人、动物还是车牌，预设数量均为同一值，例如为70个像素；在另一应用场景中，预设数量与运动物体的类型相对应，例如，若运动物体为人，则预设数量为80个像素，若运动物体为车牌，则预测数量为60个像素。

在其他实施方式中，还可以是：调整第二成像设备的焦距，使得运动物体的轮廓在第二成像设备反馈的画面中所占像素的数量达到预设数量。

也就是说，此时只要运动物体的轮廓在第二成像设备反馈的画面中所占像素的数量达到预设数量即可。

同时与上述实施方式不同的地方还有：在驱动第二成像设备与运动物体同步运动后，本实施方式还会进一步校准第二成像设备的位置，具体地，考虑到第二成像设备拍摄的画面中包括更多运动物体的细节，在驱动第二成像设备与运动物体同步运动后，本实施方式还会根据第二成像设备拍摄得到的多张第四图像预测运动物体的运动速度和运动方向，而后驱动第二成像设备以该运动速度沿着该运动方向运动，即进一步校准第二成像设备的位置。

其中，根据多张第四图像预测运动物体的运动速度、运动方向的过程和上述根据多张第三图像预测运动物体的运动速度、运动方向的过程相同，具体可参见上述，在此不再赘述。

同时在本实施方式中，在驱动第二成像设备以第二运动速度沿着第二运动方向运动的同时，还会调整第二图像程序中的快门时间，使得第二成像设备反馈的画面的亮度以及清晰度达到预设要求。

具体地，在第二成像设备以第二运动速度沿着第二运动方向运动的同时，根据第二成像设备画面反馈的亮度以及清晰度对第二图像程序中快门时间进行微调，以保证得到的第二图像的亮度最佳。

同时在本实施方式中，步骤S301之前还包括：标定第一成像设备与第二成像设备，以建立第一成像设备反馈的画面中的坐标与第二成像设备反馈的画面中的坐标之间的对应关系。

具体地，控制第一成像设备与第二成像设备对同一目标对象进行成像，然后将第一成像设备反馈的画面与第二成像设备反馈的画面中同一像素的坐标相对应。

此时调整第二成像设备的位置的步骤，包括：获取运动物体在第一图像中的坐标；根据运动物体在第一图像中的坐标以及第一成像设备反馈的画面中的坐标与第二成像设备反馈的画面中的坐标之间的对应关系，调整第二成像设备的位置。也就是说，此时根据运动物体在第一图像中的坐标以及预先建立的标定关系调整第二成像设备的位置。

在本申请中，为了保证第二成像设备的顺利运动，第二成像设备具有诸如云台的运动装置或者像面运动装置或者防抖模块，本申请中的成像控制装置通过驱动诸如云台的运动装置或者像面运动装置或者防抖模块以驱动第二成像设备运动。

参阅图5，图5是本申请成像控制装置一实施方式的结构示意图。该成像控制装置200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220、通信电路230，存储器220中存储有程序数据，处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式成像方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。

参阅图6，图6是本申请成像控制装置另一实施方式的结构示意图。该成像控制装置300包括第一获取模块310、驱动模块320、第二获取模块330以及融合模块340。

第一获取模块310用于获取第一成像设备调用第一图像程序实时采集的多张第一图像。

驱动模块320与第一获取模块310连接，用于在根据多张第一图像侦测到第一成像设备的监控视野内出现运动物体时，调整第二成像设备的位置，使得运动物体落在第二成像设备的监控视野内，并驱动第二成像设备与运动物体同步运动。

第二获取模块330用于控制第二成像设备调用第二图像程序进行拍摄，得到第二图像。

融合模块340与第二获取模块330连接，用于将运动物体出现前的最新第一图像和第二图像进行融合处理。

其中，第一成像设备的监控视野大于第二成像设备的监控视野，且第一图像程序中的快门时间与第二图像程序中的快门时间的时间差值在预设范围内。

在一实施方式中，驱动模块320具体用于：控制第一成像设备调用第三图像程序进行抓拍，得到多张第三图像；根据多张第三图像预测运动物体的运动速度以及运动方向；驱动第二成像设备以运动速度沿着运动方向运动；其中，第三图像程序中的快门时间小于第一图像程序以及第二图像程序中的快门时间，和/或，第三图像程序中的轮廓照明电流大于第一图像程序以及第二图像程序中的轮廓照明电流。

在一实施方式中，驱动模块320还具体用于：分别提取多张第三图像中运动物体的轮廓；计算运动物体的轮廓对应的像素点的偏移距离；根据偏移距离获取运动物体的轮廓的运动速度以及运动方向；根据运动物体的轮廓的运动速度以及运动方向预测运动物体的运动速度以及运动方向。

在一实施方式中，在第二获取模块330控制第二成像设备调用第二图像程序进行拍摄，得到第二图像之前，驱动模块320还用于：控制第二成像设备调用第二图像程序进行抓拍，得到多张第四图像；根据多张第四图像预测运动物体的运动速度以及运动方向；驱动第二成像设备以运动速度沿着运动方向运动。

在一实施方式中，在第二获取模块330控制第二成像设备调用第二图像程序进行拍摄，得到第二图像之前，驱动模块320还用于：在驱动第二成像设备以运动速度沿着运动方向运动的同时，调整第二图像程序中的快门时间，使得第二成像设备反馈的画面的亮度以及清晰度达到预设要求。

在一实施方式中，在第二获取模块330控制第二成像设备调用第二图像程序进行拍摄，得到第二图像之前，驱动模块320还用于：调整第二成像设备的焦距，使得运动物体在第二成像设备反馈的画面中所占像素的数量达到预设数量。

在一实施方式中，成像控制装置300还包括标定模块，用于在第一获取模块310获取第一成像设备调用第一图像程序实时采集的多张第一图像之前，标定第一成像设备与第二成像设备，以建立第一成像设备反馈的画面中的坐标与第二成像设备反馈的画面中的坐标之间的对应关系。

在一实施方式中，驱动模块320还用于：获取运动物体在第一图像中的坐标；

根据运动物体在第一图像中的坐标以及第一成像设备反馈的画面中的坐标与第二成像设备反馈的画面中的坐标之间的对应关系，调整第二成像设备的位置。

参阅图7，图7是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质400存储有计算机程序410，计算机程序410能够被处理器执行以实现上述任一项方法中的步骤。

其中，计算机可读存储介质400具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序410的装置，或者也可以为存储有该计算机程序410的服务器，该服务器可将存储的计算机程序410发送给其他设备运行，或者也可以自运行该存储的计算机程序410。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种成像方法，其特征在于，所述方法包括：

获取第一成像设备调用第一图像程序实时采集的多张第一图像；

在根据所述多张第一图像侦测到所述第一成像设备的监控视野内出现运动物体时，调整第二成像设备的位置，使得所述运动物体落在所述第二成像设备的监控视野内，并驱动所述第二成像设备与所述运动物体同步运动；

控制所述第二成像设备调用第二图像程序进行拍摄，得到第二图像；

将所述运动物体出现前的最新所述第一图像和所述第二图像进行融合处理；

其中，所述第一成像设备的监控视野大于所述第二成像设备的监控视野，且所述第一图像程序中的快门时间与所述第二图像程序中的快门时间的时间差值在预设范围内。

2.根据权利要求1所述的方法，其特征在于，所述驱动所述第二成像设备与所述运动物体同步运动的步骤，包括：

控制所述第一成像设备调用第三图像程序进行抓拍，得到多张第三图像；

根据所述多张第三图像预测所述运动物体的运动速度以及运动方向；

驱动所述第二成像设备以所述运动速度沿着所述运动方向运动；

其中，所述第三图像程序中的快门时间小于所述第一图像程序以及所述第二图像程序中的快门时间，和/或，所述第三图像程序中的轮廓照明电流大于所述第一图像程序以及所述第二图像程序中的轮廓照明电流。

3.根据权利要求2所述的方法，其特征在于，所述根据所述多张第三图像预测所述运动物体的运动速度以及运动方向的步骤，包括：

分别提取所述多张第三图像中所述运动物体的轮廓；

计算所述运动物体的轮廓对应的像素点的偏移距离；

根据所述偏移距离获取所述运动物体的轮廓的运动速度以及运动方向；

根据所述运动物体的轮廓的运动速度以及运动方向预测所述运动物体的运动速度以及运动方向。

4.根据权利要求1所述的方法，其特征在于，在所述控制所述第二成像设备调用第二图像程序进行拍摄，得到第二图像之前，还包括：

控制所述第二成像设备调用所述第二图像程序进行抓拍，得到多张第四图像；

根据所述多张第四图像预测所述运动物体的运动速度以及运动方向；

驱动所述第二成像设备以所述运动速度沿着所述运动方向运动。

5.根据权利要求4所述的方法，其特征在于，在所述控制所述第二成像设备调用第二图像程序进行拍摄，得到第二图像之前，还包括：

在驱动所述第二成像设备以所述运动速度沿着所述运动方向运动的同时，调整所述第二图像程序中的快门时间，使得所述第二成像设备反馈的画面的亮度以及清晰度达到预设要求。

6.根据权利要求1所述的方法，其特征在于，在所述控制所述第二成像设备调用第二图像程序进行拍摄，得到第二图像之前，还包括：

调整所述第二成像设备的焦距，使得所述运动物体在所述第二成像设备反馈的画面中所占像素的数量达到预设数量。

7.根据权利要求1所述的方法，其特征在于，在所述获取第一成像设备调用第一图像程序实时采集的多张第一图像之前，还包括：

标定所述第一成像设备与所述第二成像设备，以建立所述第一成像设备反馈的画面中的坐标与所述第二成像设备反馈的画面中的坐标之间的对应关系。

8.根据权利要求7所述的方法，其特征在于，所述调整所述第二成像设备的位置的步骤，包括：

获取所述运动物体在所述第一图像中的坐标；

根据所述运动物体在所述第一图像中的坐标以及所述第一成像设备反馈的画面中的坐标与所述第二成像设备反馈的画面中的坐标之间的对应关系，调整所述第二成像设备的位置。

9.一种成像控制装置，其特征在于，所述成像控制装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求1-8任一项所述方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-8任一项所述方法中的步骤。

Images