CN113873144B - 图像抓拍方法、图像抓拍装置及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种图像抓拍方法、图像抓拍装置及计算机可读存储介质，该图像抓拍方法包括：获取对同一场景在同一时刻进行拍摄的多路拍摄参数不同的图像序列，其中每路图像序列均包括多帧图像；基于第一类型参数，在多路图像序列中的第一图像序列中的多帧图像中，确定最优的第一图像；在多路图像序列除第一图像序列之外的图像序列中，分别确定与第一图像对应的至少一个关联图像；基于第二类型参数，在第一图像以及至少一个关联图像中确定最优的第二图像；将第二图像确定为抓拍图像。本申请的图像抓拍方法能够保证图像的抓拍质量。

Description

图像抓拍方法、图像抓拍装置及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像抓拍方法、图像抓拍装置及计算机可读存储介质。

背景技术

在将摄像机用于机动车、非机动车或者人员等结构化抓拍业务时，为了获取最佳抓拍效果，需要利用一定优选方法从连续的视频采集序列中选出尽量完整清晰的目标图片。

在抓拍过程中，监控场景存在的光照差异大、人车混行等外部因素对抓拍的图像效果影响较大，特别是夜间同个场景下人员和车辆运动速度差异较大时，摄像机曝光值等图像参数难以同时兼顾不同的目标对象。

发明内容

本申请提供一种图像抓拍方法、抓拍装置及计算机可读存储介质，能够保证图像的抓拍质量。

本申请实施例第一方面提供一种图像抓拍方法，所述图像抓拍方法包括：获取对同一场景在同一时刻进行拍摄的多路拍摄参数不同的图像序列，其中每路图像序列均包括多帧图像；基于第一类型参数，在多路所述图像序列中的第一图像序列中的多帧图像中，确定最优的第一图像；在多路所述图像序列除所述第一图像序列之外的图像序列中，分别确定与所述第一图像对应的至少一个关联图像；基于第二类型参数，在所述第一图像以及至少一个所述关联图像中确定最优的第二图像；将所述第二图像确定为抓拍图像。

本申请实施例第二方面提供一种图像抓拍装置，所述图像抓拍装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现上述方法中的步骤。

本申请实施例第三方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现上述方法中的步骤。

本申请的有益效果是：本申请的图像抓拍方法中，首先获取多路图像序列，然后在多路图像序列中先后进行两次优选，第一次基于第一类型参数，在多路图像序列中的第一图像序列中，确定最优的第一图像，第二次基于第二类型参数，在第一图像以及与第一图像对应的关联图像中确定最优的第二图像，其中由于多路图像序列的拍摄参数不同，能够反映拍摄场景中的各项因素，因此本申请的方法能够考虑到环境中的各项因素，使抓拍方法与实际环境适应，从而保证抓拍图像的质量。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请图像抓拍方法一实施方式的流程示意图；

图2是对应图1方法的框架示意图；

图3是图1中步骤S120在一应用场景中的流程示意图；

图4是图1中步骤S140在一应用场景中的流程示意图；

图5是本申请图像抓拍装置一实施方式的结构示意图；

图6是本申请图像抓拍装置另一实施方式的结构示意图；

图7是本申请计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

首先说明的是，本申请的图像抓拍方法由图像抓拍装置执行，该图像抓拍装置与摄像头可以集成在一起，此时摄像头除了图像传感器外，还包括执行本申请图像抓拍方法的图像抓拍模块，或者图像抓拍装置也可以与摄像头是两个独立的设备，例如，图像抓拍装置是电脑、手机等任一项具有图像处理能力的装置。

参阅图1，图1是本申请图像抓拍方法一实施方式的流程示意图，该方法包括：

S110：获取对同一场景在同一时刻进行拍摄的多路拍摄参数不同的图像序列，其中每路图像序列均包括多帧图像。

在本实施方式中，对图像传感器同时输出的多路图像数据进行处理，得到多路图像序列，在其他实施方式中，还可以设置多个图像传感器对同一应用场景进行同时拍摄，得到多路图像数据，然后再对多路图像数据进行处理，得到多路图像序列。总而言之，本申请对多路图像序列的获取方法不做限制，只要多路图像序列是对同一应用场景在同一时刻进行拍摄而得到的即可。

在本实施方式中，结合图2，设置图像传感器能够同时输出多路图像数据，例如同时输出两路图像数据、三路图像数据或者更多路图像数据，该多路图像数据是图像传感器在同一时刻对同一场景进行拍摄得到的，也就是说，图像传感器在拍摄后，会同时输出多路图像数据。在一应用场景中，图像传感器为CIS(Contact Image Sensor，接触式图像传感器)图像传感器。在一应用场景中，运用DOL(Digital Overlap)模式、Stagger交叠宽动态模式或者高帧率交替曝光等方式使图像传感器同时输出多路图像数据。

在图像传感器输出多路图像数据后，分别对多路图像数据进行调节处理，得到多路图像序列，其中每路图像序列均包括多帧图像。同时同一路图像序列中的多帧图像的拍摄参数相同，而不同图像序列的拍摄参数不同，例如，图像序列A包括图像A1以及图像A2，图像序列B包括图像B1以及图像B2，其中，图像A1以及图像A2的拍摄参数相同，图像B1以及图像B2的拍摄参数相同，而图像A1与图像B1的拍摄参数不同。

在一应用场景中，多路图像序列中图像的帧数相等，即所有图像序列均包括相同帧数的图像。

在一应用场景中，如图2所示，多个ISP模块分别对多路图像数据进行处理，得到多路图像序列。

在一应用场景中，拍摄参数包括曝光值、增益值中的至少一个，也就是说，不同图像序列的曝光值、增益值中的至少一个不同，例如，有的图像序列的曝光值大，有的图像序列的曝光值小，而有的图像序列的曝光值中等。

S120：基于第一类型参数，在多路图像序列中的第一图像序列中的多帧图像中，确定最优的第一图像。

具体地，此时进行第一次优选，在第一图像序列中确定最优的图像，定义为第一图像。

第一图像序列可以是多路图像序列中的任意一个图像序列，也可以是特定图像序列。

在本实施方式中，第一图像序列是多路图像序列中的特定一个图像序列，在一应用场景中，步骤S110在对多路图像数据进行处理时，按照普遍适用的拍摄参数对其中一路图像数据进行处理，后续步骤S120将该处理得到的图像序列作为第一图像序列。

在实际生活中，本领域的技术人员经过多次的试验，会得到一个满足实际需求的标准拍摄参数范围或者标准拍摄参数，而一般的摄像机如果按照该标准拍摄参数范围或者标准拍摄参数进行设置，则都满足基本的拍摄需求，而普遍适用的拍摄参数就是根据该标准拍摄参数范围或者标准拍摄参数得到的。

在该应用场景中，步骤S110在对多路图像数据进行处理时，除了按照普遍适用的拍摄参数对其中一路图像数据进行处理外，还会围绕该普遍适用的拍摄参数对其他的图像数据进行处理，也就是说，此时第一图像序列对应的拍摄参数相对其他图像序列对应的拍摄参数而言，其是一个折中的参数。

在另一应用场景中，为了保证第一图像序列中的多帧图像上各类目标对象的轮廓清晰，以保证各类目标对象都能被后续检测到，此时将多路图像序列中的一路图像序列进行数字宽动态处理，并将处理得到的图像序列确定为第一图像序列。此时进行数字宽动态处理的一路图像序列可以是多路图像序列中的任意一路图像序列，也可以是特定的图像序列，例如，特定的图像序列是按照普遍适用的拍摄参数对其中一路图像数据进行处理而得到的图像序列。

在另一应用场景中，还可以利用例如真实宽动态技术将多路图像序列中的至少两路图像序列进行融合处理，得到一路图像序列，得到的图像序列即确定为第一图像序列。在一应用场景中，经过融合处理得到的第一图像序列中图像的帧数与多路图像序列中图像的帧数相等。

在本实施方式中，步骤S120为物理层面的优选，此时第一类型参数包括图像中目标对象的目标信息，目标信息包括轮廓、位置、尺寸、速度、角度、从属关系中的至少一种参数。

具体地，此时步骤S120利用例如目标检测算法、分类算法、角度算法等对第一图像序列中的多帧图像分别进行识别，得到图像中各个目标对象的目标信息，例如，目标对象的位置、轮廓、类别(例如是人、是机动车，还是非机动车等)、角度姿态、尺寸、速度、与其他目标之间从属的关系等，然后综合各个目标信息进行判断，在第一图像序列中的多帧图像中，确定最优的图像，即为第一图像。

其中在综合各个目标信息进行判断时，可以结合轮廓的完整性、位置是否居中、尺寸大小、速度快慢、角度正对、是否有从属的目标对象等几个方面，确定一个最优的图像。

在一应用场景中，利用模糊理论中的多因素加权法，将第一类型参数中的各个参数进行模糊量化后再综合决策优选，其中，在优选的过程中，会根据实际需求为第一类型参数中的各个参数设定不同的权重；在另一应用场景中，利用深度学习技术，通过预先采集大量的样本图片进行最优标注，选练出识别最优图像的模型，然后将第一图像序列中的多帧图像都输入到模型中，最后得到最优的第一图像。

S130：在多路图像序列除第一图像序列之外的图像序列中，分别确定与第一图像对应的至少一个关联图像。

具体地，在第一图像序列中确定最优的第一图像后，在多路图像序列中剩余的其他图像序列中，分别确定与第一图像对应的至少一个关联图像。

在本实施方式中，与第一图像对应的关联图像指的是与第一图像的拍摄时间点相同的图像。但是在其他实施方式中，与第一图像对应的关联图像还可以是指与第一图像的大小相等的图像。

在本实施方式中，在步骤S130之前，预先通过例如帧同步机制等方法，将多路图像序列中同一拍摄时间点的图像进行绑定，建立绑定关系，例如，为同一拍摄时间点的图像设置相同的标记，而不同拍摄时间点的图像设置不同的标记，然后在步骤S130中，通过预先建立的绑定关系，查找与第一图像对应的关联图像，例如，查找与第一图像具有相同标记的关联图像。

在本实施方式中，在将多路图像序列中同一拍摄时间点的图像进行绑定时，还可以将同一拍摄时间点的图像中同一目标对象的坐标(具体可以是外接矩形框的坐标)进行绑定，以便后续提取目标对象的子图像，具体可参见下文。

其中有一种情况需要特别说明，若第一图像序列是将至少两路图像序列进行融合处理而得到的，则在多路图像序列除第一图像序列之外的图像序列中，不包括用来融合得到第一图像序列的图像序列。为便于理解，在此举出实例：多路图像序列包括图像序列C、图像序列D、图像序列E、图像序列F以及图像序列G，若融合图像序列C以及图像序列D得到第一图像序列，则在多路图像序列除第一图像序列之外的图像序列只包括图像序列E、图像序列F以及图像序列G，也就是说，此时只会在分别在图像序列E、图像序列F以及图像序列G中确定与第一图像对应的关联图像。

S140：基于第二类型参数，在第一图像以及至少一个关联图像中确定最优的第二图像。

具体地，在确定好第一图像以及关联图像中，进行第二次优选，确定最优的第二图像，后续将第二图像确定为最终抓拍的图像。

此时在进行第二次优选时的评判标准与进行第一次优选时的评判标准不同，在本实施方式中，步骤S140为图像效果层面的优选，此时第二类型参数包括图像的显示效果，图像的显示效果包括曝光程度、信噪比、对比度、色彩饱和度中的至少一种参数。

即此时综合曝光程度、信噪比、对比度、色彩饱和度中的至少一种参数对第一图像以及至少一个关联图像进行评估，然后在第一图像以及至少一个关联图像，确定一个最优图像，即为第二图像。

与第一图像的确定过程类似，此时也可以采用糊理论中的多因素加权法或者采用预先训练好的模型，在第一图像以及至少一个关联图像中，确定最优的第二图像，具体过程可参见上述内容，在此不再赘述。

S150：将第二图像确定为抓拍图像。

在确定第二图像后，将第二图像作为最终的抓拍图像。

在一应用场景中，在将第二图像作为抓拍图像的时候，还会对抓拍图像进行属性识别，包括识别抓拍图像中各类目标对象的对象信息，例如类别、坐标等。

从上述内容可以看出，本申请的图像抓拍方法进行了两次优选，第一次优选为物理层面的优选，先用物理因素选取最优图像，然后再根据图像的显示效果，在同一时间点的不同拍摄参数的图像中选择最佳抓拍图像，可以使最终的抓拍图像适应图像的各项因素，从而可以保证抓拍质量，另外在进行第一次优选时，只需要对第一图像序列进行分析，可以避免多路性能开销。

需要说明的是，本实施方式中第一次优选为物理层面的优选，第二次优选为图像效果的优选，但是本申请并不限制于此，在其他实施方式中，第一次优选也可以是图像效果的优选，第二次优选是物理层面的优选，也就是说，此时第一类型参数包括图像的显示效果，第二类型参数包括图像中目标对象的目标信息。

考虑到同一图像中，不同目标对象的运动速度、光源打在不同目标对象上的亮度不同，本申请在抓拍时，还可以针对不同的目标对象进行不同的抓拍。

结合图3，在一应用场景中，步骤S120确定第一图像的步骤，包括：

S121：从第一图像序列中的多帧图像中分别提取预定目标的第一子图像。

S122：基于第一类型参数，在提取的第一子图像中，确定最优第一子图像。

S123：将最优第一子图像所属的图像确定为第一图像。

具体地，提取的第一子图像可以是目标对象的外接矩形框内的图像，然后基于第一类型参数，在提取的第一子图像中，确定最优第一子图像，然后将最优第一子图像所属的图像确定为第一图像，也就是说，对于该预定目标而言，第一图像在第一类型参数方面是最优的。

可以理解的是，此时对于其他目标而言，第一图像在第一类型参数方面可能不是最优的，也就是说，对应不同的特定目标而言，第一图像可能是不同的图像，则后续最终确定的抓拍图像也会不同。

其中，在提取第一子图像时，可以根据之前建立的坐标绑定关系进行提取，即根据具有绑定关系的坐标，在第一图像序列中的各帧图像中分别提取同一目标对象(具体是预定目标)的第一子图像。

需要说明的是，当未建立坐标之间的绑定关系时，可以分别对第一图像序列中的各帧图像进行目标识别，然后根据识别的结果，进行第一子图像的提取。

结合图4，在另一应用场景中，步骤S140包括：

S141：从第一图像以及至少一个关联图像中分别提取预定目标的第二子图像。

S142：基于第二类型参数，在提取出的第二子图像中，确定最优第二子图像。

S143：将最优第二子图像所属的图像确定为第二图像。

具体地，与上述应用场景相同，提取的第二子图像可以是预定目标的外接矩形框内的图像，此时同样可以根据之前建立的坐标绑定关系进行提取第二子图像的提取，具体与上述第一子图像的提取过程相同，在此不再赘述。

与上述应用场景相同，对于该预定目标而言，第二图像在第二类型参数方面是最优的，但是对于其他目标而言，第二图像在第二类型参数方面可能不是最优的，也就是说，对应不同的特定目标而言，第二图像可能是不同的图像，则最终抓拍图像也会不同。

在又一应用场景中，可以将上述两个应用场景的方法结合起来，此时，步骤S120具体包括：从第一图像序列中的多帧图像中分别提取预定目标的第一子图像；基于第一类型参数，在提取的第一子图像中，确定最优第一子图像；将最优第一子图像所属的图像确定为第一图像，步骤S140包括：从第一图像以及至少一个关联图像中分别提取预定目标的第二子图像；基于第二类型参数，在提取出的第二子图像中，确定最优第二子图像；将最优第二子图像所属的图像确定为第二图像。

此时对于预定目标而言，第一图像在第一类型参数方面是最优的，第二图像在第二类型参数方面是最优的。

当然在其他应用场景中，也可以不针对预定目标进行抓拍，此时步骤S120在确定第一图像时，可以是综合第一图像序列中各帧图像的整体进行第一类型参数的评估，步骤S140在确定第二图像时，也可以是对第一图像以及至少一个关联图像中各帧图像的整体进行第二类型参数的评估，此时对于预定目标而言，第一图像在第一类型参数方面可能不是最优的，但是从图像的整体来看，第一图像在第一类型参数方面是最优的，同样地，对于预定目标而言，第二图像在第二类型参数方面可能不是最优的，但是从图像的整体来看，第二图像在第二类型参数方面是最优的。

参阅图5，图5是本申请图像抓拍装置一实施方式的结构示意图。该图像抓拍装置200包括处理器210、存储器220以及通信电路230，处理器210分别耦接存储器220、通信电路230，存储器220中存储有程序数据，处理器210通过执行存储器220内的程序数据以实现上述任一项实施方式方法中的步骤，其中详细的步骤可参见上述实施方式，在此不再赘述。

本申请的图像抓拍装置200可以与摄像头集成在一起，也可以独立于摄像头之外，当独立于摄像头之外时，可以是电脑、手机等任一项具有图像处理能力的装置。

参阅图6，图6是本申请图像抓拍装置另一实施方式的结构示意图。该图像抓拍装置300包括获取模块310、第一优选模块320、图像确定模块330、第二优选模块340以及抓拍模块350。

获取模块310用于获取对同一场景在同一时刻进行拍摄的多路拍摄参数不同的图像序列，其中每路图像序列均包括多帧图像。

第一优选模块320与获取模块310连接，用于基于第一类型参数，在多路图像序列中的第一图像序列中的多帧图像中，确定最优的第一图像。

图像确定模块330与第一优选模块320连接，用于在多路图像序列除第一图像序列之外的图像序列中，分别确定与第一图像对应的至少一个关联图像。

第二优选模块340与图像确定模块330连接，用于基于第二类型参数，在第一图像以及至少一个关联图像中确定最优的第二图像。

抓拍模块350与第二优选模块340连接，用于将第二图像确定为抓拍图像。

在一实施方式中，拍摄参数包括曝光值、增益值中的至少一个。

在一实施方式中，第一类型参数包括图像中目标对象的目标信息，目标信息包括轮廓、位置、尺寸、速度、角度、从属关系中的至少一种。

在一实施方式中，第二类型参数包括图像的显示效果，图像的显示效果包括曝光程度、信噪比、对比度、色彩饱和度中的至少一种。

在一实施方式中，第一优选模块320具体用于从第一图像序列中的多帧图像中分别提取预定目标的第一子图像；基于第一类型参数，在提取的第一子图像中，确定最优第一子图像；将最优第一子图像所属的图像确定为第一图像。

在一实施方式中，第二优选模块340具体用于从第一图像以及至少一个关联图像中分别提取预定目标的第二子图像；基于第二类型参数，在提取出的第二子图像中，确定最优第二子图像；将最优第二子图像所属的图像确定为第二图像。

在一实施方式中，图像确定模块330具体用于在多路图像序列除第一图像序列之外的图像序列中，分别确定与第一图像拍摄时间点相同的至少一个关联图像。

在一实施方式中，获取模块310具体用于对图像传感器同时输出的多路图像数据进行处理，得到多路图像序列。

本申请的图像抓拍装置300可以与摄像头集成在一起，也可以独立于摄像头之外，当独立于摄像头之外时，可以是电脑、手机等具有图像处理能力的装置。

参阅图7，图7是本申请计算机可读存储介质一实施方式的结构示意图。该计算机可读存储介质400存储有计算机程序410，计算机程序410能够被处理器执行以实现上述任一项方法中的步骤。

其中，计算机可读存储介质400具体可以为U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序410的装置，或者也可以为存储有该计算机程序410的服务器，该服务器可将存储的计算机程序410发送给其他设备运行，或者也可以自运行该存储的计算机程序410。

以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像抓拍方法，其特征在于，所述方法包括：

获取对同一场景在同一时刻进行拍摄的多路拍摄参数不同的图像序列，其中每路图像序列均包括多帧图像；

基于第一类型参数，在多路所述图像序列中的第一图像序列中的多帧图像中，确定最优的第一图像；

在多路所述图像序列除所述第一图像序列之外的图像序列中，分别确定与所述最优的第一图像对应的至少一个关联图像；

基于第二类型参数，在所述最优的第一图像以及至少一个所述关联图像中确定最优的第二图像；

将所述最优的第二图像确定为抓拍图像。

2.根据权利要求1所述的方法，其特征在于，所述拍摄参数包括曝光值、增益值中的至少一个。

3.根据权利要求1所述的方法，其特征在于，所述第一类型参数包括图像中目标对象的目标信息，所述目标信息包括轮廓、位置、尺寸、速度、角度、从属关系中的至少一种。

4.根据权利要求1所述的方法，其特征在于，所述第二类型参数包括图像的显示效果，所述图像的显示效果包括曝光程度、信噪比、对比度、色彩饱和度中的至少一种。

5.根据权利要求1所述的方法，其特征在于，所述基于第一类型参数，在多路所述图像序列中的第一图像序列中的多帧图像中，确定最优的第一图像的步骤，包括：

从所述第一图像序列中的多帧图像中分别提取预定目标的第一子图像；

基于所述第一类型参数，在提取的所述第一子图像中，确定最优第一子图像；

将所述最优第一子图像所属的图像确定为所述最优的第一图像。

6.根据权利要求1所述的方法，其特征在于，所述基于第二类型参数，在所述最优的第一图像以及至少一个所述关联图像中确定最优的第二图像的步骤，包括：

从所述最优的第一图像以及至少一个所述关联图像中分别提取预定目标的第二子图像；

基于所述第二类型参数，在提取出的所述第二子图像中，确定最优第二子图像；

将所述最优第二子图像所属的图像确定为所述最优的第二图像。

7.根据权利要求1所述的方法，其特征在于，所述在多路所述图像序列除所述第一图像序列之外的图像序列中，分别确定与所述最优的第一图像对应的至少一个关联图像的步骤，包括：

在多路所述图像序列除所述第一图像序列之外的图像序列中，分别确定与所述最优的第一图像拍摄时间点相同的至少一个所述关联图像。

8.根据权利要求1所述的方法，其特征在于，所述获取对同一场景在同一时刻进行拍摄的多路拍摄参数不同的图像序列的步骤，包括：

对图像传感器同时输出的多路图像数据进行处理，得到多路所述图像序列。

9.一种图像抓拍装置，其特征在于，所述图像抓拍装置包括处理器、存储器以及通信电路，所述处理器分别耦接所述存储器、所述通信电路，所述存储器中存储有程序数据，所述处理器通过执行所述存储器内的所述程序数据以实现如权利要求1-8任一项所述方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序能够被处理器执行以实现如权利要求1-8任一项所述方法中的步骤。

Images