CN112767409A - 定位前图像处理方法、装置、存储介质、计算机设备 - Google Patents

Abstract

本申请涉及一种定位前图像处理方法、装置、存储介质、计算机设备，该方法包括：采集环境图像，从采集的环境图像中按预设规则选取两帧图片作为目标图片，识别每帧目标图片中的物体，获取每帧目标图片中每个物体的位姿信息，对比两帧目标图片分别获取每个物体的位姿变化信息，根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体，将采集的环境图像的每帧图片中动态物体所在区域标记为不可提取特征点区域。通过本申请使智能设备在自主定位和导航之前预先将采集的图片中的动态物体去除使动态物体所在区域的特征点不可提取，减小了特征点的提取区域，从而减小运算复杂度和运算时间，同时使智能设备自主定位和导航更准确。

Description

定位前图像处理方法、装置、存储介质、计算机设备

技术领域

本申请涉及计算机视觉领域及图像处理技术领域，尤其涉及一种定位前图像处理方法、装置、存储介质、计算机设备。

背景技术

VSLAM(visual simultaneous localization and mapping)基于视觉的同时定位和构图，主要利用摄像头、图像处理、优化等技术来实现机器人、无人车、无人机等智能设备的定位、自主导航，部分VLSAM算法已经成功运行到移动设备上。

但是VSLAM分为前端(特征点提取和匹配)、后端(优化)、建图、回环检测四个部分，其中前端主要进行图像处理，如特征点提取和匹配，需要消耗较多资源，包括时间和内存资源，所以需要较高性能的CPU和较大的内存空间才能保证前端的计算不会影响整个VSLAM的实时性和准确性。同时传统的特征点匹配方法会有误匹配的情况发生，特别是在有运动物体的，如运动的人，猫，狗，运动的车辆，风吹动的窗帘等等。这些情况会极大地影响VSLAM的运行效果，导致结果不正确，误差变大，特别是应用于低性能嵌入式设备中，VSLAM的使用将因此受到极大的局限。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请实施例提供了一种定位前图像处理方法、装置、存储介质、计算机设备。

第一方面，本申请实施例提供了一种定位前图像处理方法，该方法包括：

采集环境图像；

从采集的环境图像中按预设规则选取两帧图片作为目标图片；

识别每帧目标图片中的物体；

获取每帧目标图片中每个物体的位姿信息；

对比两帧目标图片分别获取每个物体的位姿变化信息；

根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体；

将采集的环境图像的每帧图片中动态物体所在区域标记为不可提取特征点区域。

可选地，采集环境图像，包括：

通过智能设备自身的摄像装置采集环境图像；

其中，摄像装置为广角摄像装置。

可选地，识别每帧目标图片中的物体，包括：

将两帧目标图片输入到已经训练好的识别模型进行识别，以识别每帧目标图片中的物体。

可选地，位姿信息包括位置信息；

获取每帧目标图片中每个物体的位姿信息，包括：

使用目标框分别对每帧目标图片中识别到的物体进行框定，

根据每帧目标图片中每个物体对应的目标框计算每个物体的中心点坐标，将每个物体对应的中心点坐标作为对应的位置信息。

可选地，对比两帧目标图片分别获取每个物体的位姿变化信息，包括：

分别将每个物体在两帧目标图片中的中心点坐标进行横坐标和纵坐标对比，得到对应的横坐标变化值和纵坐标变化值。

可选地，根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体，包括：

将横坐标变化值大于等于第一预设值或纵坐标变化值大于等于第二预设值的物体确定为动态物体；

将横坐标变化值小于第一预设值且纵坐标变化值小于第二预设值的物体确定为静态物体。

可选地，该方法还包括：

将两帧目标图片中同一物体进行匹配；

将无法匹配的物体确定为动态物体。

第二方面，本申请实施例提供了一种定位前图像处理装置，该装置包括：

采集模块，用于采集环境图像；

选取模块，用于从采集的环境图像中按预设规则选取两帧图片作为目标图片；

识别模块，用于识别每帧目标图片中的物体；

定位模块，用于获取每帧目标图片中每个物体的位姿信息；

对比模块，用于对比两帧目标图片分别获取每个物体的位姿变化信息；

判断模块，用于根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体；

标记模块，用于将采集的环境图像的每帧图片中动态物体所在区域标记为不可提取特征点区域。

第三方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行前面所述任一项的方法的步骤。

第四方面，本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时执行前面所述任一项的方法的步骤。

本申请实施例提供的上述技术方案与现有技术相比具有如下优点：

本申请实施例提供的该技术方案，通过对比两帧目标图片中的相同物体的位姿信息得到位姿变化信息，通过位姿变换信息确定每个物体是动态物体还是静态物体，从而将动态物体所在区域标记为不可提取特征点区域，使智能设备在自主定位和导航时以静态物体作为定位参照物，定位更准确及时；且在定位前的图像处理环节，只提取静态物体区域的特征点，减小了无效特征点运算增加的额外运算开销，减小了运算复杂度和运算时间，使智能设备的VSLAM算法能成功运行到低性能设备例如嵌入式设备上，使适用范围更广泛。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中计算机设备的内部结构图；

图2为一个实施例中定位前图像处理方法的流程示意图；

图3为一个实施例中定位前图像处理装置的结构框图；

图4为一个实施例中的应用场景图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为一个实施例中计算机设备的内部结构图。参考图1，该计算机设备通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现定位前图像处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行定位前图像处理方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

图2为一个实施例中定位前图像处理方法的流程示意图。参考图2，该方法包括以下步骤：

S100：采集环境图像。

具体地，机器人、无人机、无人车等智能设备在自主定位和导航时会通过自身携带的图像采集装置采集其周围的环境图像，通过对采集的环境图像进行处理可以从环境中选取适当的参照物来定位自身。采集的环境图像可以是一系列图片也可以是连续的视频。

S200：从采集的环境图像中按预设规则选取两帧图片作为目标图片。

具体地，采集的环境图像有很多帧图片，从其中选择两帧作为目标图片来判断哪些是动态物体，哪些是静态物体。选择的两帧目标图片相隔一定时间。

S300：识别每帧目标图片中的物体。

具体地，智能设备采集的环境图像有很多帧图片，可能每秒都有10-25帧，因此从多帧图片内选择两帧图片通过对比可以判断哪些物体是动态物体，哪些物体是静态物体。其中，这些物体都是智能设备周围的物体。智能设备周围的物体是根据具体的运行场景来决定的。例如在居家环境中，物体可以包括人、宠物、椅子、桌子、电视、冰箱、沙发、床等。其中，人和宠物一般为动态物体，其他一般为静态物体。

S400：获取每帧目标图片中每个物体的位姿信息。

具体地，位姿信息包括每帧图片中每个物体的位置信息、姿势信息。静态物体在两帧图片的位置信息或姿势信息是几乎不变或在预设范围内变化的，而动态物体在两帧图片的位置信息或姿势信息有较大变化。位置信息可以为图像坐标系中物体的横坐标和纵坐标，姿势信息可以是同一个物体在不同图片的姿势，例如在第一帧图片里人的姿势是站着，在另外一帧图片里人的姿势是坐着等等。

S500：对比两帧目标图片分别获取每个物体的位姿变化信息。

具体地，两帧图片进行对比，静态物体在两帧图片的位姿变化基本是很小变化的，而动态物体在两帧图片的位姿变化是很大的。

S600：根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体。

S700：将采集的环境图像的每帧图片中动态物体所在区域标记为不可提取特征点区域。

具体地，通过两帧图片可以判断智能设备周围环境中哪些是动态物体，哪些是静态物体，将每帧图片里面的动态物体标记为不可提取特征点区域后，智能设备只需要提取静态物体的特征点进行处理分析即可自主定位。即先去掉图片里面的动态物体后，再以静态物体作为定位的参照物。这样不仅节省了运算量，而且定位更准确。

在一个实施例中，采集环境图像包括：通过智能设备自身的摄像装置采集环境图像；其中，摄像装置为广角摄像装置。

智能设备的周围环境物体可能会很分散，通过广角摄像装置可以在一副图像中拍摄到更多的物体。尽可能减小智能设备找不到静态物体作为定位的参照物的可能。

在一个实施例中，识别每帧所述目标图片中的物体，包括：

将两帧目标图片输入到已经训练好的识别模型进行识别，以识别每帧目标图片中的物体。

具体地，对每帧目标图片进行特征点提取，并输入到识别模型进行识别。例如目标图片有1个人、1把椅子、1张桌子，则通过识别模型后，可以得到识别结果。

训练识别模型时尽可能采用大量图像进行训练，使训练模型能识别尽可能多的物体种类。例如，不同姿势的人的图片，不同的常见动物的图片，具体地，可以根据常用的应用场景中的相同类型的物体进行训练或预先估计特定应用场景的物体进行训练，使识别模型尽可能能识别出该应用场景的各个物体。

在一个实施例中，位姿信息包括位置信息；

获取每帧所述目标图片中每个物体的位姿信息，包括：

使用目标框分别对每帧目标图片中识别到的物体进行框定；

根据每帧目标图片中每个物体对应的目标框计算每个物体的中心点坐标，将每个物体对应的中心点坐标作为对应的位置信息。

具体地，对每帧目标图片中的物体进行框定，每个框的中心点坐标(例如对角线的交点)可以作为对应物体的位置。

在一个实施例中，对比所述两帧目标图片分别获取每个物体的位姿变化信息，包括：

分别将每个物体在两帧目标图片中的中心点坐标进行横坐标和纵坐标对比，得到对应的横坐标变化值和纵坐标变化值。

根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体，包括：

将横坐标变化值大于等于第一预设值或纵坐标变化值大于等于第二预设值的物体确定为动态物体，

将横坐标变化值小于第一预设值且纵坐标变化值小于第二预设值的物体确定为静态物体。

在一个实施例中，将两帧目标图片中同一物体进行匹配，将无法匹配的物体确定为动态物体。

具体地，在对比两帧目标图片分别获取每个物体的位姿变化信息时需要将两帧目标图片中的同一物体进行匹配，当智能设备在其中一帧目标图片中没有摄像到某个物体，而在另一帧目标图片中摄像到了某个物体时，会出现一帧目标图片的某个物体在另外一帧目标图片中匹配不到相同的物体。另一种情景，每帧目标图片中都有至少2个相同类型的物体，例如，一帧图片里面有2只区分不清的猫，另一帧图片里面也有2只区分不清的猫，因此会出现两帧目标图片中有的物体在另一帧目标图片里区分不清该匹配哪个物体，此时，将匹配不到的物体都认为是动态物体。

在一个实施例中，当选取的两帧目标图片判断不出动态物体时，还可以再选一组或多组两两对比的目标图片。

在一个实施例中，可以对两帧目标图片中的每个物体做标记，相同的物体标记相同。

图3为一个实施例中定位前图像处理装置的结构框图。参考图3，该装置包括：

采集模块10，用于采集环境图像。

选取模块20，用于从采集的环境图像中按预设规则选取两帧图片作为目标图片。

识别模块30，用于识别每帧目标图片中的物体。

定位模块40，用于获取每帧目标图片中每个物体的位姿信息。

对比模块50，用于对比两帧目标图片分别获取每个物体的位姿变化信息。

判断模块60，用于根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体。

标记模块70，用于将采集的环境图像的每帧图片中动态物体所在区域标记为不可提取特征点区域。

在一个实施例中，采集模块10具体用于通过智能设备自身的摄像装置采集环境图像；其中，所述摄像装置为广角摄像装置。

在一个实施例中，识别模块30具体用于将两帧目标图片输入到已经训练好的识别模型进行识别，以识别每帧目标图片中的物体。

在一个实施例中，定位模块40包括：

框定模块，用于使用目标框分别对每帧目标图片中识别到的物体进行框定。

坐标定位模块，用于根据每帧目标图片中每个物体对应的目标框计算每个物体的中心点坐标，将每个物体对应的中心点坐标作为对应的位置信息。

对比模块50具体用于分别将每个物体在两帧目标图片中的中心点坐标进行横坐标和纵坐标对比，得到对应的横坐标变化值和纵坐标变化值。

判断模块60具体用于将横坐标变化值大于等于第一预设值或纵坐标变化值大于等于第二预设值的物体确定为动态物体；将横坐标变化值小于第一预设值且纵坐标变化值小于第二预设值的物体确定为静态物体。

在一个实施例中，本申请提供的定位前图像处理装置可以实现为一种计算机程序的形式，计算机程序可在图1所示的计算机设备上运行。计算机设备的存储器中可存储组成该定位前图像处理装置的各个程序模块，比如，图3所示的采集模块10、选取模块20、识别模块30、定位模块40、对比模块50、判断模块60、标记模块70。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的定位前图像处理方法中的步骤。

在一个实施例中，图1所示的计算机设备可以通过如图3所示的定位前图像处理装置中的采集模块10执行采集环境图像。计算机设备可以通过选取模块20执行从采集的环境图像中按预设规则选取两帧图片作为目标图片。计算机设备可以通过识别模块30执行识别每帧目标图片中的物体。计算机设备可以通过定位模块40执行获取每帧目标图片中每个物体的位姿信息。计算机设备可以通过对比模块50执行对比两帧目标图片分别获取每个物体的位姿变化信息。计算机设备可以通过判断模块60执行根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体。计算机设备可以通过标记模块70将采集的环境图像的每帧图片中动态物体所在区域标记为不可提取特征点区域。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：采集环境图像；从采集的环境图像中按预设规则选取两帧图片作为目标图片；识别每帧目标图片中的物体；获取每帧目标图片中每个物体的位姿信息；对比两帧目标图片分别获取每个物体的位姿变化信息；根据每个物体的位姿变化信息确定每个物体为静态物体或动态物体；将采集的环境图像的每帧图片中动态物体所在区域标记为不可提取特征点区域。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图4为一个实施例中的应用场景图。参考图4，在选取的两帧目标图片中识别出3个物体(物体1、物体2、物体3)，同时对每帧目标图片中的物体进行框定，可以计算出每个物体在这两帧目标图片中的位置坐标，对比可知，物体1和物体3在两帧目标图片中的位置坐标不变，而物体2在两帧目标图片中的位置坐标发生了明显的变化，由此确定物体2为动态物体，物体1和物体3为静态物体。

确定静态物体和动态物体后，智能设备会以静态物体作为定位参照物。在智能设备拍摄的其他图片里面直接将动态物体所在区域标记为不可提取特征点区域，使智能设备在自主定位和导航时先去除不可提取特征点的区域，再提取剩余可提取特征点区域的特征点，减小了无效特征点运算带来的额外运算量，从而减小了运算复杂度，节省了处理时间，降低了误匹配的发生，降低了CPU的运算要求，使能广泛应用到低性能设备中(例如：低性能CPU和较小内存的嵌入式设备，基于MCU的扫地机器人)，同时使智能设备的自主定位更加准确、及时，节省了嵌入式设备这类低性能设备的成本，提升了产品竞争力，扩大了VSLAM的应用范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种定位前图像处理方法，其特征在于，所述方法包括：

采集环境图像；

从所述采集的环境图像中按预设规则选取两帧图片作为目标图片；

识别每帧所述目标图片中的物体；

获取每帧所述目标图片中每个物体的位姿信息；

对比所述两帧目标图片分别获取每个物体的位姿变化信息；

根据每个物体的位姿变化信息确定所述每个物体为静态物体或动态物体；

将所述采集的环境图像的每帧图片中所述动态物体所在区域标记为不可提取特征点区域。

2.根据权利要求1所述的方法，其特征在于，所述采集环境图像，包括：

通过智能设备自身的摄像装置采集环境图像；

其中，所述摄像装置为广角摄像装置。

3.根据权利要求2所述的方法，其特征在于，所述识别每帧所述目标图片中的物体，包括：

将所述两帧目标图片输入到已经训练好的识别模型进行识别，以识别每帧目标图片中的物体。

4.根据权利要求3所述的方法，其特征在于，所述位姿信息包括位置信息；

所述获取每帧所述目标图片中每个物体的位姿信息，包括：

使用目标框分别对每帧目标图片中识别到的物体进行框定；

根据每帧目标图片中每个物体对应的目标框计算每个物体的中心点坐标，将每个物体对应的中心点坐标作为对应的位置信息。

5.根据权利要求4所述的方法，其特征在于，所述对比所述两帧目标图片分别获取每个物体的位姿变化信息，包括：

分别将每个物体在所述两帧目标图片中的中心点坐标进行横坐标和纵坐标对比，得到对应的横坐标变化值和纵坐标变化值。

6.根据权利要求5所述的方法，其特征在于，所述根据每个物体的位姿变化信息确定所述每个物体为静态物体或动态物体，包括：

将所述横坐标变化值大于等于第一预设值或纵坐标变化值大于等于第二预设值的物体确定为动态物体；

将所述横坐标变化值小于第一预设值且纵坐标变化值小于第二预设值的物体确定为静态物体。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

将所述两帧目标图片中同一物体进行匹配；

将无法匹配的物体确定为动态物体。

8.一种定位前图像处理装置，其特征在于，所述装置包括：

采集模块，用于采集环境图像；

选取模块，用于从所述采集的环境图像中按预设规则选取两帧图片作为目标图片；

识别模块，用于识别每帧所述目标图片中的物体；

定位模块，用于获取每帧所述目标图片中每个物体的位姿信息；

对比模块，用于对比所述两帧目标图片分别获取每个物体的位姿变化信息；

判断模块，用于根据每个物体的位姿变化信息确定所述每个物体为静态物体或动态物体；

标记模块，用于将所述采集的环境图像的每帧图片中所述动态物体所在区域标记为不可提取特征点区域。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的方法的步骤。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-7任一项所述的方法的步骤。

Images