CN111561906B - 机器人单目测距方法、系统、电子设备和计算机存储介质 - Google Patents

Abstract

本发明公开了一种机器人单目测距方法、系统、电子设备和计算机存储介质。其中，机器人单目测距方法至少可以包括实时获取移动行人目标的图像；根据第一图像，确定移动行人目标当前帧的预测距离；当前帧的预测距离根据前一帧的预测距离以及从前一帧至当前帧移动行人目标的平均步长来确定；根据第二图像和静态图像模型以及移动行人目标当前帧的预测距离，确定移动行人目标当前帧的测量距离；利用卡尔曼滤波器，对当前帧的预测距离和当前帧的测量距离进行融合，得到移动行人目标当前帧的实时目标测量距离。通过本发明，至少部分地解决了如何提高机器人进行单目测距的准确性和高效性的技术问题。

Description

机器人单目测距方法、系统、电子设备和计算机存储介质

技术领域

本公开实施例涉及图像处理技术领域，具体涉及一种机器人单目测距方法、系统、电子设备和计算机存储介质。

背景技术

随着社会经济的发展和科学技术的进步，机器人的智能化尤为关键。

在机器人的应用中，判断出移动行人目标与机器人之间的距离，可以为机器人执行其他任务提供条件。

然而，现有技术因为环境干扰、硬件限制、目标移动等原因而存在距离判断的准确性和有效性低的缺陷。

有鉴于此，特提出本公开。

发明内容

本公开实施例的主要目的在于提供一种机器人单目测距方法、系统、电子设备和计算机存储介质，其至少部分地解决了如何提高机器人进行单目测距的准确性和高效性的技术问题。

为了实现上述目的，根据本公开的第一个方面，提供了以下技术方案：

一种机器人单目测距方法，所述方法至少包括：

实时获取移动行人目标的图像；所述图像包括机器人单目视野未完全覆盖所述移动行人目标的第一图像和所述机器人单目视野完全覆盖所述移动行人目标的第二图像；所述第一图像和所述第二图像均包括移动行人目标身体的关键点；

根据所述第一图像，确定所述移动行人目标当前帧的预测距离；所述当前帧的预测距离根据前一帧的预测距离以及从所述前一帧至所述当前帧所述移动行人目标的平均步长来确定；

根据所述第二图像和静态图像模型以及所述移动行人目标当前帧的预测距离，确定所述移动行人目标当前帧的测量距离；

利用卡尔曼滤波器，对所述当前帧的预测距离和所述当前帧的测量距离进行融合，得到所述移动行人目标当前帧的实时目标测量距离。

进一步地，所述根据所述第一图像，确定所述移动行人目标当前帧的预测距离的步骤，具体包括：

根据所述第一图像，采集所述移动行人目标的标识信息；所述标识信息至少包括所述移动行人目标的属性信息以及关键点之间的位置关系；

确定待用于计算预测距离的关键点及其对应于实际情况下移动行人目标身体上的相应部位；

根据所述移动行人目标的属性信息，确定：待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离；

根据所述移动行人目标的关键点之间的位置关系，以及所述待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离，进行融合，确定所述移动行人目标当前帧的预测距离。

进一步地，所述根据所述第二图像和静态图像模型以及所述移动行人目标当前帧的预测距离，确定所述移动行人目标当前帧的测量距离的步骤，具体包括：

根据所述第二图像，基于位于移动行人目标下肢的关键点，利用所述静态图像模型，得到推测距离；

将所述推测距离与所述移动行人目标当前帧的预测距离进行融合，得到所述移动行人目标当前帧的测量距离。

进一步地，第二图像通过单目图像获取装置获得；

所述根据所述第二图像，基于位于移动行人目标下肢的关键点，利用所述静态图像模型，得到推测距离的步骤，具体包括：

获取所述单目图像获取装置的参数；

根据所述第二图像，基于所述位于移动行人目标下肢的关键点和所述单目图像获取装置的参数，并利用所述静态图像模型，确定移动行人目标中心与所述机器人之间的距离，作为推测距离。

为了实现上述目的，根据本公开的第二个方面，还提供了以下技术方案：

一种机器人单目测距系统，所述系统至少包括：

获取模块，用于实时获取移动行人目标的图像；所述图像包括机器人单目视野未完全覆盖所述移动行人目标的第一图像和所述机器人单目视野完全覆盖所述移动行人目标的第二图像；所述第一图像和所述第二图像均包括移动行人目标身体的关键点；

第一确定模块，用于根据所述第一图像，确定所述移动行人目标当前帧的预测距离；所述当前帧的预测距离根据前一帧的预测距离以及从所述前一帧至所述当前帧所述移动行人目标的平均步长来确定；

第二确定模块，用于根据所述第二图像和静态图像模型以及所述移动行人目标当前帧的预测距离，确定所述移动行人目标当前帧的测量距离；

融合模块，用于利用卡尔曼滤波器，对所述当前帧的预测距离和所述当前帧的测量距离进行融合，得到所述移动行人目标当前帧的实时目标测量距离。

进一步地，所述第一确定模块具体用于：

根据所述第一图像，采集所述移动行人目标的标识信息；所述标识信息至少包括所述移动行人目标的属性信息以及关键点之间的位置关系；

确定待用于计算预测距离的关键点及其对应于实际情况下移动行人目标身体上的相应部位；

根据所述移动行人目标的属性信息，确定：待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离；

根据所述移动行人目标的关键点之间的位置关系，以及所述待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离，进行融合，确定所述移动行人目标当前帧的预测距离。

进一步地，所述第二确定模块具体用于：

根据所述第二图像，基于位于移动行人目标下肢的关键点，利用所述静态图像模型，得到推测距离；

将所述推测距离与所述移动行人目标当前帧的预测距离进行融合，得到所述移动行人目标当前帧的测量距离。

进一步地，第二图像通过单目图像获取装置获得；

所述第二确定模块还具体用于：

获取所述单目图像获取装置的参数；

根据所述第二图像，基于所述位于移动行人目标下肢的关键点和所述单目图像获取装置的参数，并利用所述静态图像模型，确定移动行人目标中心与所述机器人之间的距离，作为推测距离。

为了实现上述目的，根据本公开的第三个方面，还提供了以下技术方案：

一种电子设备，其包括处理器和存储器；其中：

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现第一方面中任意一项所述的方法步骤。

为了实现上述目的，根据本公开的第四个方面，还提供了以下技术方案：

一种计算机可读存储介质，其用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如第一方面中任意一项所述的方法。

与现有技术相比，上述技术方案至少具有以下有益效果：

本公开实施例提供一种机器人单目测距方法、系统、电子设备和计算机存储介质。其中，机器人单目测距方法至少可以包括实时获取移动行人目标的图像；图像包括机器人单目视野未完全覆盖移动行人目标的第一图像和机器人单目视野完全覆盖移动行人目标的第二图像；第一图像和第二图像均包括移动行人目标身体的关键点；根据第一图像，确定移动行人目标当前帧的预测距离；当前帧的预测距离根据前一帧的预测距离以及从前一帧至当前帧移动行人目标的平均步长来确定；根据第二图像和静态图像模型以及移动行人目标当前帧的预测距离，确定移动行人目标当前帧的测量距离；利用卡尔曼滤波器，对当前帧的预测距离和当前帧的测量距离进行融合，得到移动行人目标当前帧的实时目标测量距离。

本公开实施例通过采取上述技术方案，实现了连续对每帧图像进行处理，提高了移动行人目标运动过程中测距的准确性；而且，本公开提供的方法在实现机器人单目测距的任务中可以达到实时测距，整体效率高，从而具有高效性的技术效果。

当然，实施本公开的任一产品不一定需要同时实现以上所述的所有优点。本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其它优点可通过在所写的说明书、权利要求书以及附图中所特别指出的方法来实现和获得。

附图说明

附图作为本公开的一部分，用来提供对本公开的进一步的理解，本公开的示意性实施例及其说明用于解释本公开，但不构成对本公开的不当限定。显然，下面描述中的附图仅仅是一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。在附图中：

图1为根据一示例性实施例示出的机器人单目测距方法的流程示意图；

图2为根据另一示例性实施例示出的机器人单目视野完全覆盖移动行人目标的第二图像示意图；

图3为根据一示例性实施例示出的机器人单目测距系统的结构示意图。

这些附图和文字描述并不旨在以任何方式限制本公开的保护范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念，并且，任一附图中的标记和文字仅仅是为了更清楚地说明本公开，不应视为对本公开保护范围的不当限定。

具体实施方式

下面结合附图以及具体实施例对本公开实施例解决的技术问题、所采用的技术方案以及实现的技术效果进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，并不是全部实施例。基于本申请中的实施例，本领域普通技术人员在不付出创造性劳动的前提下，所获的所有其它等同或明显变型的实施例均落在本公开的保护范围内。本公开实施例可以按照权利要求中限定和涵盖的多种不同方式来具体化。

需要说明的是，在下面的描述中，为了方便理解，给出了许多具体细节。但是很明显，本公开的实现可以没有这些具体细节。

还需要说明的是，在没有明确限定或不冲突的情况下，本公开中的各个实施例及其中的技术特征可以相互组合而形成技术方案。

另外，虽然本文可提供包含特定值的参数的示例，但应了解，参数无需确切等于相应的值，而是在可接受的误差容限或设计约束内近似于相应的值。

为了更好地理解本公开的技术方案，以下结合附图和优选的实施例对本公开进行详细说明，但不作为对本公开的限定。

下面对本公开的应用环境进行简要说明。

对相机进行内参标定，同时可以获取机器人上摄像头距离地面的高度。

不同的相机具有不同的图像像素范围(即成像后的图片大小)，例如，640x480或1280x720等。

为了解决如何提高机器人进行单目测距的准确性和高效性的技术问题，本公开提供一种机器人单目测距方法。如图1所示，该方法主要可以包括以下步骤S100至步骤S130。

S100：实时获取移动行人目标的图像；该图像包括机器人单目视野未完全覆盖移动行人目标的第一图像和机器人单目视野完全覆盖移动行人目标的第二图像；第一图像和所述第二图像均包括移动行人目标身体的关键点。

其中，机器人单目视野是指机器人上摄像头的视野。

在本步骤中，通过移动行人目标的图像可以采集到图像检测位置信息。该图像检测位置信息可以包括移动行人目标的检测矩形框和该检测矩形框的置信度。

移动行人目标身体的关键点主要是指移动行人目标身体的骨骼关键点。

图2示例性地示出了机器人单目视野完全覆盖移动行人目标的第二图像。该第二图像中示出了移动行人目标的检测矩形框和该检测矩形框的置信度。其中，矩形框中示出了移动行人目标的关键点。

如图2所示，0表示鼻子，1表示左眼，2表示右眼，3表示左耳，4表示右耳，5表示左肩，6表示右肩，7表示左肘，8表示右肘，9表示左腕，10表示右腕，11表示左胯，12表示右胯，13表示左膝，14表示右膝，15表示左脚，16表示右脚。这17个关键点可以是按顺序排列的坐标，例如：x0、y0、x1、y1、…，共34个数值。具体而言，0鼻子：(x0,y0)，1左眼：(x1,y1)，2右眼：(x2,y2)…，按顺序排列17个关键点，共有34个坐标数值。

上述移动行人目标身体的关键点信息可以通过深度学习算法等来提取。

在本步骤中，可以根据移动行人目标是否存在超出图像像素范围的关键点坐标，来判断机器人单目视野是否完全覆盖移动行人目标。若存在，则只有部分的移动行人目标的图像信息，机器人单目视野未全部覆盖移动行人目标；若不存在，则机器人单目视野完全覆盖了移动行人目标。

S110：根据第一图像，确定移动行人目标当前帧的预测距离；当前帧的预测距离根据前一帧的预测距离以及从前一帧至当前帧移动行人目标的平均步长来确定。

本步骤主要是利用移动行人目标的局部关键点的图像位置，来判断移动行人目标与机器人之间的距离。

具体而言，在一个可选的实施例中，步骤S110可以包括：

S111：根据第一图像，采集移动行人目标的标识信息；该标识信息至少可以包括移动行人目标的属性信息以及关键点之间的位置关系；

S112：确定待用于计算预测距离的关键点及其对应于实际情况下移动行人目标身体上的相应部位；

S113：根据移动行人目标的属性信息，确定：待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离；

S114：根据移动行人目标的关键点之间的位置关系，以及待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离，进行融合，确定移动行人目标当前帧的预测距离。

在本实施例中，移动行人目标的属性信息可以包括性别、年龄等信息。

在步骤S111中，移动行人目标的关键点之间的位置关系可以是关键点的坐标之间的位置关系。例如，机器人单目检测矩形框内左、右耳朵与左、右肩的坐标之间的位置关系。

在步骤S112中，待用于计算预测距离的关键点可以确定为左、右耳朵关键点和左、右肩关键点。该所确定的关键点对应于实际情况下移动行人目标身体上的相应部位为实际情况下的左、右耳朵和左、右肩。

在步骤S113中，待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离，可以根据移动行人目标的属性信息，针对不同的用户群体进行预设。

移动行人目标的属性信息可以通过深度学习算法等来提取。

为了更好地理解本公开，下面以一优选实施例对本公开进行详细说明。

在本实施例中，关键点确定为左、右耳朵关键点和左、右肩关键点。

Sa1：根据第一图像，采集移动行人目标的标识信息；该标识信息至少可以包括移动行人目标的关键点之间的位置关系和属性信息；

Sa2：确定待用于计算预测距离的左、右耳朵关键点和左、右肩关键点及其对应于实际情况下移动行人目标身体上的左、右耳朵和左、右肩；

Sa3：根据移动行人目标的属性信息，确定：待用于计算预测距离的左、右耳朵关键点和左、右肩关键点、对应于实际情况下、移动行人目标身体上的左、右耳朵和左、右肩之间的垂直距离；

Sa4：利用小孔成像中三角形的相似性，根据移动行人目标的关键点之间的位置关系，以及待用于计算预测距离的左、右耳朵关键点和左、右肩关键点、对应于实际情况下、移动行人目标身体上的左、右耳朵和左、右肩之间的垂直距离，根据下式进行融合，以确定出移动行人目标当前帧的预测距离：

式中，L_up-left表示利用左耳朵与左肩关键点测算的距离；f表示机器人上摄像头的焦距；H表示预设的耳朵与肩之间的垂直距离；h_left表示左耳朵与左肩的垂直距离；L_up-right表示利用右耳朵与右肩关键点测算的距离；h_right表示右耳朵与右肩的垂直距离；L_up表示利用耳朵与肩部关键点确定的移动行人目标当前帧的预测距离。

在前一帧完成距离测量之后，记录此时移动行人目标与机器人之间的距离。在进行当前帧的距离测量时，根据前一帧的预测距离以及从前一帧至当前帧所述移动行人目标的平均步长，来确定当前帧的预测距离。

举例来说，本例以左脚关键点和右脚关键点为例。

可以根据下式确定利用左脚关键点测算出的距离和利用右脚关键点测算出的距离：

式中l_left表示由左脚关键点向机器人单目镜头中心线做垂足，该垂足与镜头中心的距离；L_down-left表示利用左脚关键点测算出的距离；l_right表示由右脚关键点向机器人单目镜头中心线做垂足，该垂足与镜头中心的距离；L_down-right表示利用右脚关键点测算出的距离；u_down-left表示左脚关键点的像素横坐标；u₀表示机器人单目镜头中心点的图像横坐标；d_x表示机器人单目镜头中心点的图像实际像素的宽度；d_y表示机器人单目镜头中心点的图像实际像素的长度；H_robot表示机器人上摄像头的高度；f表示机器人上摄像头的焦距；v_down-left表示左脚关键点的像素纵坐标；v₀表示机器人单目镜头中心点的图像纵坐标；γ表示机器人上摄像头的俯仰角；u_down-right表示右脚关键点的像素横坐标；v_down-right表示右脚关键点的像素纵坐标。

可以根据下式，将两脚关键点之间的距离差，作为步长：

L_step＝|L_down-left-L_down-right|；

式中，L_step表示步长。

式中，

表示前n帧的平均步长。

式中，L_predict表示第(n+1)帧的预测距离；L_n表示第n帧时测算的移动行人目标与机器人之间的预测距离。

S120：根据第二图像和静态图像模型以及移动行人目标当前帧的预测距离，确定移动行人目标当前帧的测量距离。

本步骤在移动行人目标全部出现在机器人单目视野范围内时，利用多部分移动行人目标的关键点位置，以及图像技术，综合判断移动行人目标与机器人之间的距离。

静态图像模型测距的技术构思是：选中图像中的一点，根据呈像关系进行推算。

举例来说，假设以脚跟关键点为选中的一点进行推算，则根据下式可以得到移动行人目标当前帧的测量距离：

式中，L_total表示移动行人目标当前帧的测量距离；L_down表示利用左、右脚关键点测算的移动行人目标中心与机器人之间的距离；L_up表示以耳朵与肩部关键点测算的移动行人目标当前帧的预测距离；α表示加权计算时L_up所占比例；β表示加权计算时L_down所占比例。

在上述实施例中，α、β可以根据实际情况进行设定。通常，α、β可以分别设定为0.5、0.5。当环境遮挡较多时，可以加大α的比例。因为一般地面遮挡可能给脚部关键点位置的输出带来一些波动，所以可以加大L_up的置信度。

在一个优选的实施例中，步骤120具体可以包括：

S122：根据第二图像，基于位于移动行人目标下肢的关键点，利用静态图像模型，得到推测距离；

S124：将推测距离与移动行人目标当前帧的预测距离进行融合，得到移动行人目标当前帧的测量距离。

在一个更优选的实施例中，第二图像通过单目图像获取装置获得；步骤S122具体还可以包括：

Sb2：获取单目图像获取装置的参数；

Sb4：根据第二图像，基于位于移动行人目标下肢的关键点和单目图像获取装置的参数，并利用静态图像模型，确定移动行人目标中心与机器人之间的距离，作为推测距离。

在本实施例中，单目图像获取装置可以是单目摄像头、单目相机等设备。

单目图像获取装置的参数包括但不限于机器人单目镜头中心点的图像横坐标、机器人单目镜头中心点的图像实际像素的宽度、机器人单目镜头中心点的图像实际像素的长度、机器人上摄像头的高度、机器人上摄像头的焦距、机器人单目镜头中心点的图像纵坐标、机器人上摄像头的俯仰角。

式中l_left表示由左脚关键点向机器人单目镜头中心线做垂足，该垂足与镜头中心的距离；L_down-left表示利用左脚关键点测算出的距离；l_right表示由右脚关键点向机器人单目镜头中心线做垂足，该垂足与镜头中心的距离；L_down-right表示利用右脚关键点测算出的距离；u_down-left表示左脚关键点的像素横坐标；u₀表示机器人单目镜头中心点的图像横坐标；d_x表示机器人单目镜头中心点的图像实际像素的宽度；d_y表示机器人单目镜头中心点的图像实际像素的长度；H_robot表示机器人上摄像头的高度；f表示机器人上摄像头的焦距；v_down-left表示左脚关键点的像素纵坐标；v₀表示机器人单目镜头中心点的图像纵坐标；γ表示机器人上摄像头的俯仰角；u_down-right表示右脚关键点的像素横坐标；v_down-right表示右脚关键点的像素纵坐标。

S130：利用卡尔曼滤波器，对当前帧的预测距离和当前帧的测量距离进行融合，得到移动行人目标当前帧的实时目标测量距离。

本步骤的主要技术构思是：在移动行人目标的运动过程中，利用移动行人目标的关键点预测运动位置，结合图像信息进行测算，进行融合，从而得出移动行人目标与机器人之间的距离。在具体实施过程中，可以建立距离集合和步长。对每一帧图像进行测算后，将距离写入距离集合。在进行下一帧图像的测算时，在前一帧中移动行人目标的位置，加上平均步长，从而可以测算得到移动行人目标与机器人之间的预测距离。此时，在根据静态图像模型测算得到移动行人目标与机器人之间的测量距离。最后，对预测距离和测量距离进行融合，得到最终的移动行人目标与机器人之间的目标测量距离，并将其写入距离集合。

其中，卡尔曼滤波是数据处理方法，该方法通过融合预测距离与策略距离，实现对移动行人目标与机器人的最终测算距离的最优估计。

在实际应用中，可以按照步骤Sc1至步骤Sc4来实施卡尔曼滤波。

Sc1：进行以下初始化：将初始时刻设置为0时刻，0时刻系统状态x₀进行初始化设置。初始化误差矩阵P，设置P为：

Sc2：利用连续两帧图像间的时间间隔Δt，状态转移矩阵A以及初始时刻系统状态x₀，计算系统状态预测方程x(1|0)；其中，x(1|0)＝Ax(0|0)。

Sc3：利用对应当前时刻的上一帧的参数，来预测当前的移动行人目标的状态x(k|k-1)。其中，k表示时刻。利用状态转移矩阵A和系统状态预测的状态，计算误差协方差预测方程，来对误差协方差进行预测。

Sc4：以当前时刻系统状态x(k|k-1)中预测得到移动行人目标的坐标，并利用移动行人目标的坐标和机器人在地图中的坐标，得到移动行人目标与机器人的目标测量距离。

为了更好地理解本公开，下面以具体实施例对本公开进行详细说明。

本实施例提供的机器人单目测距方法主要可以包括：步骤S200至步骤S260。

S200：进行相机内参标定，同时获取机器人上摄像头距地面的高度。

S210：利用深度学习算法对移动行人目标进行信息提取，同时获得17个移动行人目标的关键点信息和属性信息。

S220：根据标识信息，判断图像视野是否完全覆盖移动行人目标。

S230：实时获取移动行人目标的图像；所述图像包括机器人单目视野未完全覆盖所述移动行人目标的第一图像和所述机器人单目视野完全覆盖所述移动行人目标的第二图像；所述第一图像和所述第二图像均包括移动行人目标身体的关键点。

其中，针对机器人单目视野(也即图像视野)未完全覆盖移动行人目标的情况，可以利用耳朵和肩部关键点进行距离判断；针对机器人单目视野完全覆盖移动行人目标的情况，可以利用耳朵、肩部、脚部关键点综合进行距离判断。

S240：根据第一图像，确定移动行人目标当前帧的预测距离；当前帧的预测距离根据前一帧的预测距离以及从前一帧至当前帧移动行人目标的平均步长来确定。

S250：根据第二图像和静态图像模型以及移动行人目标当前帧的预测距离，确定移动行人目标当前帧的测量距离。

S260：在移动行人目标连续运动过程中，建立距离和步长集合，利用关键点进行连续运动的距离预测，综合图像测算，通过卡尔曼滤波器，对所述当前帧的预测距离和所述当前帧的测量距离进行融合，得到所述移动行人目标当前帧的实时目标测量距离。

本实施例将移动行人目标身体的关键点，与移动行人目标的属性信息和运动信息相结合，在多点协同计算的基础上，加以滤波平滑处理，实现机器人对移动行人目标准确和高效的距离估测，而且能够能有效规避因环境干扰或目标移动带来的误差较大的问题。

上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述，但是本领域技术人员可以理解，为了实现本实施例的效果，不同的步骤之间不必按照这样的次序执行，其可以同时(并行)执行或以颠倒的次序执行，这些简单的变化都在本公开的保护范围之内。

本公开的各个步骤可以用通用的计算装置来实现，例如，它们可以集中在单个的计算装置上，例如：个人计算机、服务器、工控机、手持设备或便携式设备、平板型设备或者多处理器装置，也可以分布在多个计算装置所组成的网络上，它们可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本公开不限于任何特定的硬件和软件或者其结合。这些功能究竟是以硬件还是以软件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。

另外，本公开提供的方法还可以使用可编程逻辑器件来实现，也可以实施为计算机程序软件或程序模块(其包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件或数据结构等等)，例如根据本公开的实施例可以是一种计算机程序产品，运行该计算机程序产品使计算机执行用于所示范的方法。所述计算机程序产品包括计算机可读存储介质，该介质上包含计算机程序逻辑或代码部分，用于实现所述方法。所述计算机可读存储介质可以是被安装在计算机中的内置介质或者可以从计算机主体上拆卸下来的可移动介质(例如：采用热插拔技术的存储设备)。所述内置介质包括但不限于可重写的非易失性存储器，例如：RAM、ROM、快闪存储器和硬盘。所述可移动介质包括但不限于：光存储介质(例如：CD－ROM和DVD)、磁光存储介质(例如：MO)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置ROM的媒体(例如：ROM盒)。

下面为本公开装置实施例，本公开装置实施例用于执行本公开方法实施例实现的步骤，为了便于说明，仅示出了与本公开实施例相关的部分，具体技术细节未揭示的，请参照本公开方法实施例。

基于与方法实施例相同的技术构思，本公开实施例还提供一种机器人单目测距系统。如图3所示，该系统至少可以包括：获取模块32、第一确定模块34、第二确定模块36和融合模块38。其中，获取模块32用于实时获取移动行人目标的图像；图像包括机器人单目视野未完全覆盖移动行人目标的第一图像和机器人单目视野完全覆盖移动行人目标的第二图像；第一图像和第二图像均包括移动行人目标身体的关键点。第一确定模块34用于根据第一图像，确定移动行人目标当前帧的预测距离；当前帧的预测距离根据前一帧的预测距离以及从前一帧至当前帧移动行人目标的平均步长来确定。第二确定模块36用于根据第二图像和静态图像模型以及移动行人目标当前帧的预测距离，确定移动行人目标当前帧的测量距离。融合模块38用于利用卡尔曼滤波器，对当前帧的预测距离和当前帧的测量距离进行融合，得到移动行人目标当前帧的实时目标测量距离。

在一个可选的实施例中，第一确定模块34具体用于：根据第一图像，采集移动行人目标的标识信息；标识信息至少包括移动行人目标的属性信息以及关键点之间的位置关系；确定待用于计算预测距离的关键点及其对应于实际情况下移动行人目标身体上的相应部位；根据移动行人目标的属性信息，确定：待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离；根据移动行人目标的关键点之间的位置关系，以及待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离，进行融合，确定移动行人目标当前帧的预测距离。

在一个可选的实施例中，第二确定模块36具体用于：根据第二图像，基于位于移动行人目标下肢的关键点，利用静态图像模型，得到推测距离；将推测距离与移动行人目标当前帧的预测距离进行融合，得到移动行人目标当前帧的测量距离。

在一个可选的实施例中，第二图像通过单目图像获取装置获得；第二确定模块36还具体用于：获取单目图像获取装置的参数；根据第二图像，基于位于移动行人目标下肢的关键点和单目图像获取装置的参数，并利用静态图像模型，确定移动行人目标中心与机器人之间的距离，作为推测距离。

其中，术语“模块”可以指代在计算系统上执行的软件对象或例程。可以将本文中所描述的不同模块实现为在计算系统上执行的对象或过程(例如，作为独立的线程)。各个模块既可以采用硬件的方式来实现，也可以采用软件的方式来实现，亦或采用软硬件相结合的方式来实现。在实际应用中，上述各个模块可以由诸如中央处理器、微处理器、数字信号处理器或现场可编程门阵列等来实现。用于实施各个模块的示例性硬件平台可以包括诸如具有兼容操作系统的基于Intel x86的平台、Mac平台、iOS、Android OS等。各个模块之间的耦合或通信连接可以是通过接口来实现，也可以是电性或其他的形式。其中，通信连接包括但不限于2G网络连接、3G网络连接、4G网络连接、5G网络连接、6G网络连接、WiFi连接、WiMax连接、蓝牙连接等。

在本公开各个装置实施例中的各模块可以集成在一个单元中，也可以两个或两个以上的形式集成在一个单元中，还可以独立的物理形式存在。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。

需要说明的是，上述实施例提供的机器人单目测距系统在进行测距时，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本公开实施例中的模块再分解或者组合，例如，上述实施例中的第一确定模块和第二确定模块可以合并为一个确定模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本公开实施例中涉及的模块的名称，仅仅是为了区分各个模块，不视为对本公开保护范围的不当限定。

本领域技术人员可以理解，上述机器人单目测距系统还可以包括一些其他的公知结构，例如处理器、控制器、存储器和总线等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于单核处理器、多核处理器、基于X86架构的处理器、CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，总线可以包括数据总线、地址总线和控制总线。为了不必要地模糊本公开的实施例，这些公知的结构未在图3中示出。

应该理解，图3中的各个模块的数量仅仅是示意性的。根据实际需要，各模块可以具有任意的数量。

基于与方法实施例相同的技术构思，本公开实施例还提供一种电子设备，其包括处理器和存储器。其中，存储器用于存放计算机程序。处理器用于执行所述存储器上所存放的程序时，实现任意一项机器人单目测距方法实施例所述的方法步骤。

上述处理器可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central Processing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器还可以包括AI(ArtificialIntelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

上述存储器可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器所执行。

在一些示例性的实施例中，电子设备还可选地包括：外围设备接口和至少一个外围设备。处理器、存储器和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的电子设备的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。

基于与方法实施例相同的技术构思，本公开实施例还提供一种计算机可读存储介质，其用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行任意一项机器人单目测距方法实施例所述的方法步骤。

该计算机可读存储介质可应用于终端，该计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，该指令、该程序、该代码集或该指令集由处理器加载并执行以实现。

上述计算机可读存储介质可以包括但不限于随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦写可编程只读存储器(EPROM)、电可擦写可编程只读存储器(EEPROM)、闪存(例如，NOR型闪存或NAND型闪存)、内容可寻址存储器(CAM)、聚合物存储器(例如，铁电聚合物存储器)、相变存储器、双向开关半导体存储器、硅-氧化物-氮化硅-氧化硅-硅(Silicon-Oxide-Nitride-Oxide-Silicon，SONOS)存储器、磁卡或者光卡，亦或是其他任意适当类型的计算机可读存储介质。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的计算机可读存储介质的具体工作过程及其解决的技术问题和取得的技术效果，可以参考前述方法实施例中的对应过程及其解决的技术问题和取得的技术效果，在此不再赘述。

以上对本公开实施例所提供的技术方案进行了详细的介绍。虽然本文应用了具体的个例对本公开的原理和实施方式进行了阐述，但是，上述实施例的说明仅适用于帮助理解本公开实施例的原理。在描述上述实施例时，详细描述了各个实施例的区别点，省略了相同的技术内容，各个实施例之间可以相互借鉴，对一个实施例的细节也可以应用于另一个实施例，在此不再赘述。

需要说明的是，本文中涉及到的流程图或框图不仅仅局限于本文所示的形式，其还可以进行其他划分和/或组合。附图中的标记和文字只是为了更清楚地说明本公开，不视为对本公开保护范围的不当限定。

还需要说明的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。

再需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，可将这些词语解释为名称，而不是用于描述或表示特定的顺序或先后次序。应该理解这样使用的数据在适当的情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

“一”或“一个”不排除存在多个的情况。

术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。

还应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本公开的主题而选择的。

本公开并不限于上述实施例，上述实施例是对本公开进行的说明，在不背离本公开实质内容的情况下，本领域普通技术人员可以想到的任何变形、改进或替换均落入本公开的保护范围。

Claims (8)

1.一种机器人单目测距方法，其特征在于，所述方法至少包括：

实时获取移动行人目标的图像；所述图像包括机器人单目视野未完全覆盖所述移动行人目标的第一图像和所述机器人单目视野完全覆盖所述移动行人目标的第二图像；所述第一图像和所述第二图像均包括移动行人目标身体的关键点；

根据所述第一图像，确定所述移动行人目标当前帧的预测距离；根据所述第二图像和静态图像模型以及所述移动行人目标当前帧的预测距离，确定所述移动行人目标当前帧的测量距离；

静态图像模型是选中图像中的一点，以脚跟关键点为选中的一点进行推算，则根据下式得到移动行人目标当前帧的测量距离：

；

式中，

表示移动行人目标当前帧的测量距离；

表示利用左、右脚关键点测算的移动行人目标中心与机器人之间的距离；

表示以耳朵与肩部关键点测算的移动行人目标当前帧的预测距离；

表示加权计算时

所占比例；

表示加权计算时

所占比例；

利用卡尔曼滤波器，对所述当前帧的预测距离和所述当前帧的测量距离进行融合，得到所述移动行人目标当前帧的实时目标测量距离；

所述根据所述第一图像，确定所述移动行人目标当前帧的预测距离的步骤，具体包括：

根据所述第一图像，采集所述移动行人目标的标识信息；所述标识信息至少包括所述移动行人目标的属性信息以及关键点之间的位置关系；

确定待用于计算预测距离的关键点及其对应于实际情况下移动行人目标身体上的相应部位；

根据所述移动行人目标的属性信息，确定：待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离；

根据所述移动行人目标的关键点之间的位置关系，以及所述待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离，进行融合，确定所述移动行人目标当前帧的预测距离。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像和静态图像模型以及所述移动行人目标当前帧的预测距离，确定所述移动行人目标当前帧的测量距离的步骤，具体包括：

根据所述第二图像，基于位于移动行人目标下肢的关键点，利用所述静态图像模型，得到推测距离；

将所述推测距离与所述移动行人目标当前帧的预测距离进行融合，得到所述移动行人目标当前帧的测量距离。

3.根据权利要求2所述的方法，其特征在于，第二图像通过单目图像获取装置获得；

所述根据所述第二图像，基于位于移动行人目标下肢的关键点，利用所述静态图像模型，得到推测距离的步骤，具体包括：

获取所述单目图像获取装置的参数；

根据所述第二图像，基于所述位于移动行人目标下肢的关键点和所述单目图像获取装置的参数，并利用所述静态图像模型，确定移动行人目标中心与所述机器人之间的距离，作为推测距离。

4.一种机器人单目测距系统，其特征在于，所述系统至少包括：

获取模块，用于实时获取移动行人目标的图像；所述图像包括机器人单目视野未完全覆盖所述移动行人目标的第一图像和所述机器人单目视野完全覆盖所述移动行人目标的第二图像；所述第一图像和所述第二图像均包括移动行人目标身体的关键点；

第一确定模块，用于根据所述第一图像，确定所述移动行人目标当前帧的预测距离；第二确定模块，用于根据所述第二图像和静态图像模型以及所述移动行人目标当前帧的预测距离，确定所述移动行人目标当前帧的测量距离；

静态图像模型是选中图像中的一点，以脚跟关键点为选中的一点进行推算，则根据下式得到移动行人目标当前帧的测量距离：

；

式中，

表示移动行人目标当前帧的测量距离；

表示利用左、右脚关键点测算的移动行人目标中心与机器人之间的距离；

表示以耳朵与肩部关键点测算的移动行人目标当前帧的预测距离；

表示加权计算时

所占比例；

表示加权计算时

所占比例；

融合模块，用于利用卡尔曼滤波器，对所述当前帧的预测距离和所述当前帧的测量距离进行融合，得到所述移动行人目标当前帧的实时目标测量距离；所述第一确定模块具体用于：

根据所述第一图像，采集所述移动行人目标的标识信息；所述标识信息至少包括所述移动行人目标的属性信息以及关键点之间的位置关系；

确定待用于计算预测距离的关键点及其对应于实际情况下移动行人目标身体上的相应部位；

根据所述移动行人目标的属性信息，确定：待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离；

根据所述移动行人目标的关键点之间的位置关系，以及所述待用于计算预测距离的关键点对应于实际情况下、移动行人目标身体上的相应部位之间的距离，进行融合，确定所述移动行人目标当前帧的预测距离。

5.根据权利要求4所述的系统，其特征在于，所述第二确定模块具体用于：

根据所述第二图像，基于位于移动行人目标下肢的关键点，利用所述静态图像模型，得到推测距离；

将所述推测距离与所述移动行人目标当前帧的预测距离进行融合，得到所述移动行人目标当前帧的测量距离。

6.根据权利要求5所述的系统，其特征在于，第二图像通过单目图像获取装置获得；

所述第二确定模块还具体用于：

获取所述单目图像获取装置的参数；

根据所述第二图像，基于所述位于移动行人目标下肢的关键点和所述单目图像获取装置的参数，并利用所述静态图像模型，确定移动行人目标中心与所述机器人之间的距离，作为推测距离。

7.一种电子设备，其特征在于，包括处理器和存储器；其中：

所述存储器，用于存放计算机程序；

所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-3中任意一项所述的方法步骤。

8.一种计算机可读存储介质，其特征在于，其用于存储非暂时性计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时，使得所述计算机执行如权利要求1-3中任意一项所述的方法。

Images