CN106875444B - 一种目标物定位方法及装置 - Google Patents

Abstract

本发明公开了一种目标物定位方法及装置，用以解决现有技术中目标物的定位不灵活，且定位精度低的问题。在该方法中，根据双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像确定深度图像后，在所述深度图像中筛选出对应的实际位置在当前世界坐标系下的三维坐标处于设定范围的第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，最后在所述标记图中筛选出的目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标即为目标物的三维坐标。由于无需预先存储目标物的特征参数，就可以根据标记图中的目标连通域确定所述目标物的三维坐标，这样可以灵活定位目标物，并且定位精度高。

Description

一种目标物定位方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种目标物定位方法及装置。

背景技术

在一些场景中，有时需要对所述场景中的关键物体进行特写，这就需要准确定位所述关键物体。例如，在教室、会议室等场景中，当有人起立后，通常需要对起立人员进行特写，这就需要准确定位起立人员。

目前，通常利用特征点识别法定位目标物，具体流程为：预先采集特定目标物的特征点的特征参数并存储，将当前场景中的物体的特征点的特征参数与存储的特征参数进行匹配，若匹配成功，则确定匹配成功的物体为所述目标物。

显然，在上述方法中，只有在预先存储的特征参数中包含需定位的目标物的特征参数时，才能准确定位所述目标物。这样，导致了目标物的定位不灵活，且定位精度低。

发明内容

本发明提供一种目标物定位方法及装置，用以解决现有技术中目标物的定位不灵活，且定位精度低的问题。

本发明实施例提供的具体技术方案如下：

第一方面，本发明实施例提供了一种目标物定位方法，包括：

获取双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像，并根据所述两个原始图像确定深度图像；所述深度图像中任一个像素点的灰度值为在所述两个原始图像中目标实际位置对应的像素点之间的水平视差，所述目标实际位置为所述像素点对应在所述目标场景中的实际位置；

确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标；

在所述深度图像中筛选出第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图；其中，所述第一目标像素点对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围；所述标记图中，第二目标像素点的灰度值为第一灰度值，其他像素点的灰度值为第二灰度值，所述第二目标像素点在所述标记图中的位置与所述第一目标像素点在所述深度图像中位置相同；

确定所述标记图中的至少一个连通域；其中，任一个连通域中的任一个像素点与该连通域中的至少一个其他像素点相邻，且与该连通域中的任一个像素点相邻的、灰度值为设定的灰度范围内的像素点均位于该连通域内，所述灰度值范围中包含所述第一灰度值且不包含所述第二灰度值；

在所述至少一个连通域中筛选包含的像素点的个数不小于设定阈值的目标连通域，并将所述目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。

结合第一方面，在第一方面的第一种可能的实现方式中，根据所述两个原始图像确定深度图像，包括：

确定第一原始图像中每个像素点对应的目标实际位置在所述两个原始图像中对应的像素点之间的水平视差，所述第一原始图像为所述两个原始图像中的任一个；

针对所述第一原始图像中每个像素点确定的水平视差执行：将针对该像素点确定的水平视差作为所述深度图像中与该像素点在第一原始图像中位置相同的像素点的灰度值；

根据所述深度图像中每个像素点的灰度值，生成所述深度图像。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标，包括：

根据该像素点的像素坐标和该像素点的灰度值，确定该像素点在相机坐标系下的三维坐标，所述相机坐标系为所述左相机的坐标系或者所述右相机的坐标系；

根据所述相机坐标系下的三维坐标，确定该像素点对应的实际位置在当前世界坐标系下的三维坐标。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第三种可能的实现方式中，所述设定范围为所述目标物在所述目标场景中的实际位置在所述当前世界坐标系中的三维坐标范围。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第四种可能的实现方式中，在所述深度图像中筛选出所述第一目标像素点，包括：

确定在所述目标场景中的至少一个干扰物，并确定所述至少一个干扰物在当前世界坐标系下的三维坐标；

根据所述至少一个干扰物在当前世界坐标系下的三维坐标，确定干扰范围；

根据所述干扰范围，确定所述设定范围，所述设定范围中不包含所述干扰范围；

在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于所述设定范围的像素点；

将筛选出的像素点作为所述第一目标像素点。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第五种可能的实现方式中，根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，包括：

将所述第一灰度值作为所述标记图中与所述第一目标像素点在所述深度图像中位置相同的所述第二目标像素点的灰度值，将所述第二灰度值作为所述标记图中其他像素点的灰度值；

根据所述标记图中每个像素点的灰度值，生成所述标记图。

结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第六种可能的实现方式中，确定所述标记图中的至少一个连通域，包括：

对所述标记图进行去噪处理；

在去噪后的所述标记图中确定包含灰度值在所述灰度范围内的像素点的所述至少一个连通域。

结合第一方面的第六种可能的实现方式，在第一方面的第七种可能的实现方式中，对所述标记图进行去噪处理，包括：

遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第一像素点；

针对每个第一像素点执行如下操作：当确定在以该第一像素点为中心的第一设定像素点范围内存在灰度值不为所述第一灰度值或第三灰度值的像素点时，将该第一像素点的灰度值设置为所述第三灰度值；

重新遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第二像素点；

针对每个第二像素点执行如下操作：

在以该第二像素点为中心的第二设定像素点范围内，筛选出灰度值不为所述第一灰度值的至少一个第三像素点；

将筛选出所述至少一个第三像素点的灰度值设置为第四灰度值，其中，所述第四灰度值包含在所述灰度值范围内。

第二方面，本发明实施例提供了一种目标物定位装置，包括：

获取单元，用于获取双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像；

处理单元，用于：

根据所述两个原始图像确定深度图像；所述深度图像中任一个像素点的灰度值为在所述两个原始图像中目标实际位置对应的像素点之间的水平视差，所述目标实际位置为所述像素点对应在所述目标场景中的实际位置；

确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标；

在所述深度图像中筛选出第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图；其中，所述第一目标像素点对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围；所述标记图中，第二目标像素点的灰度值为第一灰度值，其他像素点的灰度值为第二灰度值，所述第二目标像素点在所述标记图中的位置与所述第一目标像素点在所述深度图像中位置相同；

确定所述标记图中的至少一个连通域；其中，任一个连通域中的任一个像素点与该连通域中的至少一个其他像素点相邻，且与该连通域中的任一个像素点相邻的、灰度值为设定的灰度范围内的像素点均位于该连通域内，所述灰度值范围中包含所述第一灰度值且不包含所述第二灰度值；

在所述至少一个连通域中筛选包含的像素点的个数不小于设定阈值的目标连通域，并将所述目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。

结合第二方面，在第二方面的第一种可能的实现方式中，所述处理单元，在根据所述两个原始图像确定深度图像时，具体用于：

确定第一原始图像中每个像素点对应的目标实际位置在所述两个原始图像中对应的像素点之间的水平视差，所述第一原始图像为所述两个原始图像中的任一个；

针对所述第一原始图像中每个像素点确定的水平视差执行：将针对该像素点确定的水平视差作为所述深度图像中与该像素点在第一原始图像中位置相同的像素点的灰度值；

根据所述深度图像中每个像素点的灰度值，生成所述深度图像。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，所述处理单元，在确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标时，具体用于：

根据该像素点的像素坐标和该像素点的灰度值，确定该像素点在相机坐标系下的三维坐标，所述相机坐标系为所述左相机的坐标系或者所述右相机的坐标系；

根据所述相机坐标系下的三维坐标，确定该像素点对应的实际位置在当前世界坐标系下的三维坐标。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第三种可能的实现方式中，所述设定范围为所述目标物在所述目标场景中的实际位置在所述当前世界坐标系中的三维坐标范围。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第四种可能的实现方式中，所述处理单元，在在所述深度图像中筛选出所述第一目标像素点时，具体用于：

确定在所述目标场景中的至少一个干扰物，并确定所述至少一个干扰物在当前世界坐标系下的三维坐标；

根据所述至少一个干扰物在当前世界坐标系下的三维坐标，确定干扰范围；

根据所述干扰范围，确定所述设定范围，所述设定范围中不包含所述干扰范围；

在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于所述设定范围的像素点；

将筛选出的像素点作为所述第一目标像素点。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第五种可能的实现方式中，所述处理单元，在根据所述第一目标像素点在所述深度图像中的位置分布生成标记图时，具体用于：

将所述第一灰度值作为所述标记图中与所述第一目标像素点在所述深度图像中位置相同的所述第二目标像素点的灰度值，将所述第二灰度值作为所述标记图中其他像素点的灰度值；

根据所述标记图中每个像素点的灰度值，生成所述标记图。

结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第六种可能的实现方式中，所述处理单元，在确定所述标记图中的至少一个连通域时，具体用于：

对所述标记图进行去噪处理；

在去噪后的所述标记图中确定包含灰度值在所述灰度范围内的像素点的所述至少一个连通域。

结合第二方面的第六种可能的实现方式，在第二方面的第七种可能的实现方式中，所述处理单元，在对所述标记图进行去噪处理时，具体用于：

遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第一像素点；

针对每个第一像素点执行如下操作：当确定在以该第一像素点为中心的第一设定像素点范围内存在灰度值不为所述第一灰度值或第三灰度值的像素点时，将该第一像素点的灰度值设置为所述第三灰度值；

重新遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第二像素点；

针对每个第二像素点执行如下操作：

在以该第二像素点为中心的第二设定像素点范围内，筛选出灰度值不为所述第一灰度值的至少一个第三像素点；

将筛选出所述至少一个第三像素点的灰度值设置为第四灰度值，其中，所述第四灰度值包含在所述灰度值范围内。

本发明实施例的技术方案中，根据双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像确定深度图像后，在所述深度图像中筛选出对应的实际位置在当前世界坐标系下的三维坐标处于设定范围的第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，最后将在所述标记图中筛选出的目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。由于本发明实施例中无需预先存储目标物的特征参数，就可以根据标记图中的目标连通域确定所述目标物在图像坐标系下的二维坐标和世界坐标系下的三维坐标，这样可以灵活定位目标物，并且定位精度高。

附图说明

图1为本发明实施例提供的一种目标物定位方法的流程图；

图2为本发明实施例提供的一种标记图的示意图；

图3为本发明实施例提供的另一种标记图的示意图；

图4为本发明实施例提供的再一种标记图的示意图；

图5为本发明实施例提供的一种目标物定位装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例提供一种目标物定位方法及装置，用以解决现有技术中目标物的定位不灵活，且定位精度低的问题。其中，本发明所述方法和装置基于同一发明构思，由于方法及装置解决问题的原理相似，因此装置与方法的实施可以相互参见，重复之处不再赘述。

本发明实施例的技术方案中，根据双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像确定深度图像后，在所述深度图像中筛选出对应的实际位置在当前世界坐标系下的三维坐标处于设定范围的第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，最后将在所述标记图中筛选出的目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。由于本发明实施例中无需预先存储目标物的特征参数，就可以根据标记图中的目标连通域确定所述目标物在图像坐标系下的二维坐标和世界坐标系下的三维坐标，这样可以灵活定位目标物，并且定位精度高。

本发明实施例中，执行目标物定位方法的可以但不限于是处理器，其中，所述处理器可以为双目相机中的处理器，也可以为连接所述双目相机但独立于所述双目相机而单独存在的处理器。在本发明实施例中，均以执行主体为处理器为例进行详细说明。

为了更加清晰地描述本发明实施例的技术方案，下面结合附图，对本发明实施例提供的一种目标物定位方法及装置进行详细说明。

本发明实施例提供的一种目标物定位方法。参阅图1所示，该方法的具体流程包括：

步骤101：处理器获取双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像，并根据所述两个原始图像确定深度图像；

其中，所述深度图像中任一个像素点的灰度值为在所述两个原始图像中目标实际位置对应的像素点之间的水平视差，所述目标实际位置为所述像素点对应在所述目标场景中的实际位置。

本发明实施例中，在利用所述双目相机对所述目标场景进行拍摄之前，用户应将所述双目相机安装到尽量高的位置，也就是使所述双目相机的视场可以覆盖所述目标场景的位置，并且使所述双目相机的基线与地面平行，其中所述双目相机的基线为所述双目相机中所述左相机和所述右相机两个相机镜头之间的连线。安装完毕后，所述双目相机中所述左相机和所述右相机分别针对目标场景进行拍摄，生成两个原始图像。

可选的，所述处理器获取所述双目相机中所述左相机和所述右相机分别针对目标场景拍摄的两个原始图像后，所述处理器根据所述两个原始图像确定所述深度图像，具体方法可以分为以下三个步骤：

a1、所述处理器确定第一原始图像中每个像素点对应的目标实际位置在所述两个原始图像中对应的像素点之间的水平视差，所述第一原始图像为所述两个原始图像中的任一个；

a2、所述处理器针对所述第一原始图像中每个像素点确定的水平视差执行：所述处理器将针对该像素点确定的水平视差作为所述深度图像中与该像素点在第一原始图像中位置相同的像素点的灰度值；

a3、所述处理器根据所述深度图像中每个像素点的灰度值，生成所述深度图像。

可选的，在上述步骤a1中，所述水平视差也可以叫做深度数据，其中，所述处理器确定所述第一原始图像中每个像素点对应的目标实际位置在所述两个原始图像中对应的像素点之间的水平视差的算法可以但不限于是：局部匹配(Boyer-Moore，BM)算法、半全局匹配(Semi-Global Block Matching，SGBM)算法等。

可选的，在根据上述步骤生成所述深度图像后，所述深度图像中的像素点的位置与所述第一原始图像中的像素点的位置一一对应。

步骤102：所述处理器确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标。

可选的，所述处理器确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标，具体方法可以分为以下两个步骤：

b1、所述处理器根据该像素点的像素坐标和该像素点的灰度值，确定该像素点在相机坐标系下的三维坐标，所述相机坐标系为所述左相机的坐标系或者所述右相机的坐标系。

由步骤101可知，所述深度图像中的像素点的位置与所述第一原始图像中的像素点的位置一一对应，且所述第一原始图像为所述两个原始图像中的任一个，在本发明实施例中，以所述第一原始图像为所述左相机拍摄的原始图像为例进行详细说明。

可选的，当所述第一原始图像为所述左相机拍摄的原始图像时，所述相机坐标系为所述左相机的坐标系，即所述相机坐标系以所述左相机的光心为原点，X轴与Y轴分别与所述左相机拍摄的原始图像的X轴与Y轴平行，以所述左相机的光轴为Z轴。此时，每个像素点在所述相机坐标系下的三维坐标(px，py，pz)符合公式一：

其中，在上述公式一中，b为所述双目相机的基线距离；i为该像素点在水平方向上的像素坐标；j为该像素点在垂直方向上的像素坐标；u为所述深度图像的中心像素点在水平方向上的像素坐标；v为所述深度图像的中心像素点在垂直方向上的像素坐标；d为该像素点的灰度值；f为所述左相机的焦距。

b2、所述处理器根据所述相机坐标系下的三维坐标，确定该像素点对应的实际位置在当前世界坐标系下的三维坐标。

可选的，当所述第一原始图像为所述左相机拍摄的原始图像时，所述世界坐标系以参考点为原点，以地面为XZ平面，以所述左相机光心到地面的垂线为Y轴，以所述左相机光轴在地面的投影为Z轴。

所述处理器根据在所述步骤b1中确定的该像素点在所述相机坐标系下的三维坐标(px，py，pz)，确定该像素点对应的实际位置在当前世界坐标系下的三维坐标(pxw，pyw，pzw)，所述三维坐标(pxw，pyw，pzw)符合公式二：

其中，在上述公式一中，θ为所述双目相机的安装俯仰角；h为所述双目相机的安装高度。

可选的，由于所述世界坐标系以地面为XZ平面，所以上述pyw可以看做是相对地面的高度。

步骤103：所述处理器在所述深度图像中筛选出第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图；其中，所述第一目标像素点对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围；所述标记图中第二目标像素点的灰度值为第一灰度值，其他像素点的灰度值为第二灰度值，所述第二目标像素点在所述标记图中的位置与所述第一目标像素点在所述深度图像中位置相同的像素点的灰度值为第一灰度值。

可选的，所述设定范围为所述目标物在所述目标场景中的实际位置在所述当前世界坐标系中的三维坐标范围。

当所述目标物为不同类型的物体时，所述设定范围不同，例如，当所述目标物为起立人员(一般通过识别起立人员的面部识别起立人员)时，由于起立人员的面部分布高度范围在1.3米到2.0米之间，因此所述起立人员的面部在所述目标场景中的实际位置在所述当前世界坐标系中的三维坐标范围为三维坐标中的pyw在1.3和2.0之间的三维坐标范围。再例如，当所述目标物为课桌的桌面时，由于课桌的桌面分布高度范围在0.5米到1.2米之间，因此所述课桌的桌面在所述目标场景中的实际位置在所述当前世界坐标系中的三维坐标范围为三维坐标中的pyw在0.5和1.2之间的三维坐标范围。

可选的，所述处理器在所述深度图像中筛选出所述第一目标像素点，具体方法可以分为以下四个步骤：

c1、所述处理器确定在所述目标场景中的至少一个干扰物，并确定所述至少一个干扰物在当前世界坐标系下的三维坐标。

例如，当所述目标物为起立人员时，根据所述起立人员的面部分布高度可知所述目标场景中的墙壁等较高的物体会对定位所述起立人员造成干扰，因此，需要确定对定位所述起立人员造成干扰的至少一个干扰物，以避免干扰。具体确定在所述目标场景中的至少一个干扰物，并确定所述至少一个干扰物在当前世界坐标系下的三维坐标，具体方法可以为：

所述处理器获取所述双目相机针对不包含起立人员的同一目标场景拍摄的两个目标原始图像，并根据所述两个目标原始图像确定无起立人员的目标深度图像；

所述处理器根据步骤102中的方法确定所述目标深度图像中每个像素点对应的实际位置在所述当前世界坐标系下的三维坐标；

所述处理器参考起立人员的面部分布高度范围，在所述目标深度图像中确定至少一个干扰像素点，所述至少一个干扰像素点对应的实际位置的物体即为所述至少一个干扰物，并确定所述至少一个干扰物在当前世界坐标系下的三维坐标，其中，所述至少一个干扰像素点对应的实际位置在所述当前世界坐标系下的三维坐标中Y坐标pyw1的值在起立人员的高度范围内，例如1.3<pyw1<2.0。

c2、所述处理器根据所述至少一个干扰物在当前世界坐标系下的三维坐标，确定干扰范围。

延用上例，可选的，确定干扰范围的具体方法可以为：

当所述至少一个干扰物的三维坐标中1.3<pyw1<2.0时，所述处理器将所述三维坐标中X坐标pxw1的值作为在目标标记图中对应的像素点的水平方向的像素坐标的值，将所述三维坐标中Z坐标pzw1的值作为在所述目标标记图中对应的像素点的垂直方向的像素坐标的值，从而确定了所述至少一个干扰物在所述目标标记图中的位置；例如，图2为所述目标标记图，在所述目标标记图中，将所述至少一个干扰物在所述目标标记图中的至少一个像素点的灰度值置为255或者与白色接近的其它灰度值，其它像素点的灰度值置为0或者与黑色接近的其他灰度值，因此图2中的至少一个白色像素点即为所述至少一个干扰物在所述目标标记图中的位置；

所述处理器在所述目标标记图中白色像素点集中区域下方画一条折线，则确定所述折线上方区域为所述干扰范围，其中，所述折线的位置如图2中折线的位置所示。

c3、所述处理器根据所述干扰范围，确定所述设定范围，所述设定范围中不包含所述干扰范围。

例如，在所述步骤c2确定所述干扰范围后，所述处理器可直接结合起立人员的身高范围以及所述干扰范围确定所述设定范围，即所述设定范围为所述折线下方区域中的像素点对应的实际位置的三维坐标范围中满足1.3<pyw<2.0的三维坐标范围。

c4、所述处理器在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于所述设定范围的像素点，作为所述第一目标像素点。

可选的，所述处理器根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，具体方法可以为：

所述处理器将所述第一灰度值作为所述标记图中与所述第一目标像素点在所述深度图像中位置相同的所述第二目标像素点的灰度值，将所述第二灰度值作为所述标记图中其他像素点的灰度值；其中，所述第一灰度值与所述第二灰度值差异较大，可以明显区分所述第二目标像素点与其它像素点，所述第一灰度值可以为白色或接近白色的灰度值，例如200；所述所述第二灰度值可以为黑色或接近黑色的灰度值，例如0。

所述处理器根据所述标记图中每个像素点的灰度值，生成所述标记图，所述标记图如图3所示，在所述标记图中接近白色的像素点为所述第二目标像素点，接近黑色的像素点为其它像素点。

步骤104：所述处理器确定所述标记图中的至少一个连通域；其中，任一个连通域中的任一个像素点与该连通域中的至少一个其他像素点相邻，且与该连通域中的任一个像素点相邻的，灰度值为设定的灰度范围内的像素点均位于该连通域内、所述灰度值范围中包含所述第一灰度值且不包含所述第二灰度值。

可选的，所述处理器确定所述标记图中的至少一个连通域，具体方法可以为：

所述处理器对所述标记图进行去噪处理；

所述处理器在去噪后的所述标记图中确定包含灰度值在所述灰度范围内的像素点的所述至少一个连通域。

可选的，所述处理器对所述标记图进行去噪处理，具体可以分为以下：

d1、所述处理器遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第一像素点。其中，假设所述第一灰度值为200。

d2、所述处理器针对每个第一像素点执行如下操作：当确定在以该第一像素点为中心的第一设定像素点范围内存在灰度值不为所述第一灰度值或第三灰度值的像素点时，所述处理器将该第一像素点的灰度值设置为所述第三灰度值。其中，所述第三灰度值为接近白色但与所述灰度值不同的灰度值，且所述灰度值不包含在所述灰度值范围内，假设所述第三灰度值为199。

可选的，若假设该第一像素点的像素坐标为(m，n)，则所述第一设定像素点范围可以为m-3<＝x<＝m+3且n-3<＝y<＝n+3的范围，其中，(x，y)表示所述第一像素点设定范围内的任一个像素点的像素坐标。

d3、所述处理器重新遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第二像素点。

d4、所述处理器针对每个第二像素点执行如下操作：所述处理器在以该第二像素点为中心的第二设定像素点范围内，筛选出灰度值不为所述第一灰度值的至少一个第三像素点；所述处理器将筛选出所述至少一个第三像素点的灰度值设置为第四灰度值，其中，所述第四灰度值包含在所述灰度值范围内，所述第四灰度值为白色或接近白色的灰度值，假设所述第四灰度值为255。

可选的，若假设该第二像素点的像素坐标为(m1，n1)，则所述第二设定像素点范围可以为m1-3<＝x1<＝m1+3且n1-3<＝y1<＝n1+3的范围，其中，(x1，y1)表示所述第二像素点设定范围内的任一个像素点的像素坐标。

通过上述步骤完成了对所述标记图去噪，去噪后的所述标记图如图4所示，从图4中可以看出，相比于图3，图4中的连通域比图3中的连通域平滑，且将图3中的可忽略的小连通域去掉，因此，通过去噪处理，可以使所述标记图中的连通域更加准确，从而使定位的目标物的位置更加精确。

步骤105：所述处理器在所述至少一个连通域中筛选包含的像素点的个数不小于设定阈值的目标连通域，并将所述目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。

可选的，当所述目标物为起立人员时，所述处理器可以根据所述起立人员的面部设定所述设定阈值为50，然后，所述处理器通过传统的方法确定所述至少一个连通域中包含的像素点的个数，将包含的像素点的个数不小于50的连通域确定为所述目标连通域。

可选的，当筛选出所述目标连通域后，所述目标连通域的中心点的像素坐标即为所述所述目标物在图像坐标系中的像素坐标；将其中一个目标连通域记为目标连通域A，所述目标连通域A的中心点的像素坐标(cx,cy)符合以下公式三：

在上述公式三中，p(s,q)表示所述目标连通域A中任一个像素点的像素坐标，N为所述目标连通域A中像素点的个数。

通过上述方法得到所述目标连通域的中心点的像素坐标后，采用步骤102中的确定像素点对应的实际位置在当前世界坐标系下的三维坐标的方法，得到所述目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，即得到了所述目标场景中目标物的三维坐标，从而确定了所述目标物在所述目标场景中的实际位置，这样可以准确定位所述目标物，而针对所述目标物执行后续操作。

例如，所述目标物为起立人员时，确定了所述目标场景中所述起立人员的三维坐标后，就可以结合座位表得到所述起立人员的姓名等信息，可以针对所述起立人员进行对其特写或者与其交流等事宜。

采用发明实施例提供的一种目标物定位方法，处理器根据双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像确定深度图像后，在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围的第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，最后将在所述标记图中筛选出的目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。由于本发明实施例中处理器无需预先存储目标物的特征参数，就可以根据标记图中的目标连通域确定所述目标物在图像坐标系下的二维坐标和世界坐标系下的三维坐标，这样可以灵活定位目标物，并且定位精度高。

基于以上实施例，本发明实施例还提供了一种目标物定位装置，该目标物定位装置具有实现如图1所示的一种目标物定位方法的功能，如图5所示，该目标物定位装置500包括：获取单元501和处理单元502，其中，

所述获取单元501，用于获取双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像；

所述处理单元502，用于：

根据所述两个原始图像确定深度图像；所述深度图像中任一个像素点的灰度值为在所述两个原始图像中目标实际位置对应的像素点之间的水平视差，所述目标实际位置为所述像素点对应在所述目标场景中的实际位置；

确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标；

在所述深度图像中筛选出第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图；其中，所述第一目标像素点对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围；所述标记图中第二目标像素点的灰度值为第一灰度值，其他像素点的灰度值为第二灰度值，所述第二目标像素点在所述标记图中的位置与所述第一目标像素点在所述深度图像中位置相同的像素点的灰度值为第一灰度值；

确定所述标记图中的至少一个连通域；其中，任一个连通域中的任一个像素点与该连通域中的至少一个其他像素点相邻，且与该连通域中的任一个像素点相邻的、灰度值为设定的灰度范围内的像素点均位于该连通域内，所述灰度值范围中包含所述第一灰度值且不包含所述第二灰度值；

在所述至少一个连通域中筛选包含的像素点的个数不小于设定阈值的目标连通域，并将所述目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。

可选的，所述处理单元502，在根据所述两个原始图像确定深度图像时，具体用于：

确定第一原始图像中每个像素点对应的目标实际位置在所述两个原始图像中对应的像素点之间的水平视差，所述第一原始图像为所述两个原始图像中的任一个；

针对所述第一原始图像中每个像素点确定的水平视差执行：将针对该像素点确定的水平视差作为所述深度图像中与该像素点在第一原始图像中位置相同的像素点的灰度值；

根据所述深度图像中每个像素点的灰度值，生成所述深度图像。

可选的，所述处理单元502，在确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标时，具体用于：

根据该像素点的像素坐标和该像素点的灰度值，确定该像素点在相机坐标系下的三维坐标，所述相机坐标系为所述左相机的坐标系或者所述右相机的坐标系；

根据所述相机坐标系下的三维坐标，确定该像素点对应的实际位置在当前世界坐标系下的三维坐标。

可选的，所述设定范围为所述目标物在所述目标场景中的实际位置在所述当前世界坐标系中的三维坐标范围。

可选的，所述处理单元502，在在所述深度图像中筛选出所述第一目标像素点时，具体用于：

确定在所述目标场景中的至少一个干扰物，并确定所述至少一个干扰物在当前世界坐标系下的三维坐标；

根据所述至少一个干扰物在当前世界坐标系下的三维坐标，确定干扰范围；

根据所述干扰范围，确定所述设定范围，所述设定范围中不包含所述干扰范围；

在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于所述设定范围的像素点；

将筛选出的像素点作为所述第一目标像素点。

可选的，所述处理单元502，在根据所述第一目标像素点在所述深度图像中的位置分布生成标记图时，具体用于：

将所述第一灰度值作为所述标记图中与所述第一目标像素点在所述深度图像中位置相同的所述第二目标像素点的灰度值，将所述第二灰度值作为所述标记图中其他像素点的灰度值；

根据所述标记图中每个像素点的灰度值，生成所述标记图。

可选的，所述处理单元502，在确定所述标记图中的至少一个连通域时，具体用于：

对所述标记图进行去噪处理；

在去噪后的所述标记图中确定包含灰度值在所述灰度范围内的像素点的所述至少一个连通域。

可选的，所述处理单元502，在对所述标记图进行去噪处理时，具体用于：

遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第一像素点；

针对每个第一像素点执行如下操作：当确定在以该第一像素点为中心的第一设定像素点范围内存在灰度值不为所述第一灰度值或第三灰度值的像素点时，将该第一像素点的灰度值设置为所述第三灰度值；

重新遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第二像素点；

针对每个第二像素点执行如下操作：

在以该第二像素点为中心的第二设定像素点范围内，筛选出灰度值不为所述第一灰度值的至少一个第三像素点；

将筛选出所述至少一个第三像素点的灰度值设置为第四灰度值，其中，所述第四灰度值包含在所述灰度值范围内。

采用本发明实施例提供的一种目标物定位装置，根据双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像确定深度图像后，在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围的第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，最后将在所述标记图中筛选出的目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。由于本发明实施例中目标物定位装置无需预先存储目标物的特征参数，就可以根据标记图中的目标连通域确定所述目标物在图像坐标系下的二维坐标和世界坐标系下的三维坐标，这样可以灵活定位目标物，并且定位精度高。

综上所述，本发明实施例提供了一种目标物定位方法及装置，在该方法中，处理器根据双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像确定深度图像后，在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围的第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，最后将在所述标记图中筛选出的目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。由于本发明实施例中处理器无需预先存储目标物的特征参数，就可以根据标记图中的目标连通域确定所述目标物在图像坐标系下的二维坐标和世界坐标系下的三维坐标，这样可以灵活定位目标物，并且定位精度高。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (16)

1.一种目标物定位方法，其特征在于，包括：

获取双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像，并根据所述两个原始图像确定深度图像；

确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标；

在所述深度图像中筛选出第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图；其中，所述第一目标像素点对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围；所述标记图中第二目标像素点的灰度值为第一灰度值，其他像素点的灰度值为第二灰度值，所述第二目标像素点在所述标记图中的位置与所述第一目标像素点在所述深度图像中位置相同；

确定所述标记图中的至少一个连通域；其中，任一个连通域中的任一个像素点与该连通域中的至少一个其他像素点相邻，且与该连通域中的任一个像素点相邻的、灰度值为设定的灰度值范围内的像素点均位于该连通域内，所述灰度值范围中包含所述第一灰度值且不包含所述第二灰度值；

在所述至少一个连通域中筛选包含的像素点的个数不小于设定阈值的目标连通域，并将所述目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。

2.如权利要求1所述的方法，其特征在于，根据所述两个原始图像确定深度图像，包括：

确定第一原始图像中每个像素点对应的目标实际位置在所述两个原始图像中对应的像素点之间的水平视差，所述第一原始图像为所述两个原始图像中的任一个；

针对所述第一原始图像中每个像素点确定的水平视差执行：将针对该像素点确定的水平视差作为所述深度图像中与该像素点在第一原始图像中位置相同的像素点的灰度值；

根据所述深度图像中每个像素点的灰度值，生成所述深度图像。

3.如权利要求1或2所述的方法，其特征在于，确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标，包括：

根据该像素点的像素坐标和该像素点的灰度值，确定该像素点在相机坐标系下的三维坐标，所述相机坐标系为所述左相机的坐标系或者所述右相机的坐标系；

根据所述相机坐标系下的三维坐标，确定该像素点对应的实际位置在当前世界坐标系下的三维坐标。

4.如权利要求1或2所述的方法，其特征在于，所述设定范围为所述目标物在所述目标场景中的实际位置在所述当前世界坐标系中的三维坐标范围。

5.如权利要求1或2所述的方法，其特征在于，在所述深度图像中筛选出所述第一目标像素点，包括：

确定在所述目标场景中的至少一个干扰物，并确定所述至少一个干扰物在当前世界坐标系下的三维坐标；

根据所述至少一个干扰物在当前世界坐标系下的三维坐标，确定干扰范围；

根据所述干扰范围，确定所述设定范围，所述设定范围中不包含所述干扰范围；

在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于所述设定范围的像素点；

将筛选出的像素点作为所述第一目标像素点。

6.如权利要求1或2所述的方法，其特征在于，根据所述第一目标像素点在所述深度图像中的位置分布生成标记图，包括：

将所述第一灰度值作为所述标记图中与所述第一目标像素点在所述深度图像中位置相同的所述第二目标像素点的灰度值，将所述第二灰度值作为所述标记图中其他像素点的灰度值；

根据所述标记图中每个像素点的灰度值，生成所述标记图。

7.如权利要求1或2所述的方法，其特征在于，确定所述标记图中的至少一个连通域，包括：

对所述标记图进行去噪处理；

在去噪后的所述标记图中确定包含灰度值在所述灰度范围内的像素点的所述至少一个连通域。

8.如权利要求7所述的方法，其特征在于，对所述标记图进行去噪处理，包括：

遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第一像素点；

针对每个第一像素点执行如下操作：当确定在以该第一像素点为中心的第一设定像素点范围内存在灰度值不为所述第一灰度值或第三灰度值的像素点时，将该第一像素点的灰度值设置为所述第三灰度值；

重新遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第二像素点；

针对每个第二像素点执行如下操作：

在以该第二像素点为中心的第二设定像素点范围内，筛选出灰度值不为所述第一灰度值的至少一个第三像素点；

将筛选出所述至少一个第三像素点的灰度值设置为第四灰度值，其中，所述第四灰度值包含在所述灰度值范围内。

9.一种目标物定位装置，其特征在于，包括：

获取单元，用于获取双目相机中左相机和右相机分别针对目标场景拍摄的两个原始图像；

处理单元，用于：

根据所述两个原始图像确定深度图像；

确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标；

在所述深度图像中筛选出第一目标像素点，并根据所述第一目标像素点在所述深度图像中的位置分布生成标记图；其中，所述第一目标像素点对应的实际位置在所述当前世界坐标系下的三维坐标处于设定范围；所述标记图中，第二目标像素点的灰度值为第一灰度值，其他像素点的灰度值为第二灰度值，所述第二目标像素点在所述标记图中的位置与所述第一目标像素点在所述深度图像中位置相同；

确定所述标记图中的至少一个连通域；其中，任一个连通域中的任一个像素点与该连通域中的至少一个其他像素点相邻，且与该连通域中的任一个像素点相邻的、灰度值为设定的灰度值范围内的像素点均位于该连通域内，所述灰度值范围中包含所述第一灰度值且不包含所述第二灰度值；

在所述至少一个连通域中筛选包含的像素点的个数不小于设定阈值的目标连通域，并将所述目标连通域的中心点对应的实际位置在所述当前世界坐标系下的三维坐标，作为所述目标场景中目标物的三维坐标。

10.如权利要求9所述的装置，其特征在于，所述处理单元，在根据所述两个原始图像确定深度图像时，具体用于：

确定第一原始图像中每个像素点对应的目标实际位置在所述两个原始图像中对应的像素点之间的水平视差，所述第一原始图像为所述两个原始图像中的任一个；

针对所述第一原始图像中每个像素点确定的水平视差执行：将针对该像素点确定的水平视差作为所述深度图像中与该像素点在第一原始图像中位置相同的像素点的灰度值；

根据所述深度图像中每个像素点的灰度值，生成所述深度图像。

11.如权利要求9或10所述的装置，其特征在于，所述处理单元，在确定所述深度图像中的每个像素点对应的实际位置在当前世界坐标系下的三维坐标时，具体用于：

根据该像素点的像素坐标和该像素点的灰度值，确定该像素点在相机坐标系下的三维坐标，所述相机坐标系为所述左相机的坐标系或者所述右相机的坐标系；

根据所述相机坐标系下的三维坐标，确定该像素点对应的实际位置在当前世界坐标系下的三维坐标。

12.如权利要求9或10所述的装置，其特征在于，所述设定范围为所述目标物在所述目标场景中的实际位置在所述当前世界坐标系中的三维坐标范围。

13.如权利要求9或10所述的装置，其特征在于，所述处理单元，在在所述深度图像中筛选出所述第一目标像素点时，具体用于：

确定在所述目标场景中的至少一个干扰物，并确定所述至少一个干扰物在当前世界坐标系下的三维坐标；

根据所述至少一个干扰物在当前世界坐标系下的三维坐标，确定干扰范围；

根据所述干扰范围，确定所述设定范围，所述设定范围中不包含所述干扰范围；

在所述深度图像中筛选出对应的实际位置在所述当前世界坐标系下的三维坐标处于所述设定范围的像素点；

将筛选出的像素点作为所述第一目标像素点。

14.如权利要求9或10所述的装置，其特征在于，所述处理单元，在根据所述第一目标像素点在所述深度图像中的位置分布生成标记图时，具体用于：

将所述第一灰度值作为所述标记图中与所述第一目标像素点在所述深度图像中位置相同的所述第二目标像素点的灰度值，将所述第二灰度值作为所述标记图中其他像素点的灰度值；

根据所述标记图中每个像素点的灰度值，生成所述标记图。

15.如权利要求9或10所述的装置，其特征在于，所述处理单元，在确定所述标记图中的至少一个连通域时，具体用于：

对所述标记图进行去噪处理；

在去噪后的所述标记图中确定包含灰度值在所述灰度范围内的像素点的所述至少一个连通域。

16.如权利要求15所述的装置，其特征在于，所述处理单元，在对所述标记图进行去噪处理时，具体用于：

遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第一像素点；

针对每个第一像素点执行如下操作：当确定在以该第一像素点为中心的第一设定像素点范围内存在灰度值不为所述第一灰度值或第三灰度值的像素点时，将该第一像素点的灰度值设置为所述第三灰度值；

重新遍历所述标记图中每个像素点，筛选出灰度值为所述第一灰度值的至少一个第二像素点；

针对每个第二像素点执行如下操作：

在以该第二像素点为中心的第二设定像素点范围内，筛选出灰度值不为所述第一灰度值的至少一个第三像素点；

将筛选出所述至少一个第三像素点的灰度值设置为第四灰度值，其中，所述第四灰度值包含在所述灰度值范围内。