CN109981972B - 一种机器人的目标跟踪方法、机器人及存储介质 - Google Patents

Abstract

本申请公开了一种机器人的目标跟踪方法、机器人及存储介质。该方法包括获取预览图像；其中，预览图像为机器人的摄像装置获取的图像；检测目标物体是否位于预览图像的预设区域内；若目标物体不位于预览图像的预设区域内，则调整摄像装置的位置，以使目标物体位于摄像装置获取的预览图像的预设区域内。通过获取预览图像，调整摄像装置的位置使得目标物体的图像始终显示在摄像机中预设区域内，实现对目标物体的实时跟踪。

Description

一种机器人的目标跟踪方法、机器人及存储介质

技术领域

本申请涉及机器人技术领域，具体涉及一种机器人的目标跟踪方法、机器人及存储介质。

背景技术

现在机器人都配备了摄像头来充当机器人的眼睛，使得机器人具备拍照和摄像的功能，当用户释放双手把拍照和摄像工作交给机器人来执行时，拍摄出另用户满意的照片和视频就是一项很大的挑战，构图是奠定一张好照片的基础，通过对目标有效的定位追踪是形成一个好的构图的基础，因此需要对目标进行有效的实时跟踪。

发明内容

本申请主要解决的问题是提供一种机器人的目标跟踪方法、机器人及存储介质，使得目标物体的图像始终显示在摄像机中预设区域内，实现对目标物体的实时跟踪。

为解决上述技术问题，本申请采用的技术方案是提供一种机器人的目标跟踪方法。该方法包括获取预览图像；其中，预览图像为机器人的摄像装置获取的图像；检测目标物体是否位于预览图像的预设区域内；若目标物体不位于预览图像的预设区域内，则调整摄像装置的位置，以使目标物体位于摄像装置获取的预览图像的预设区域内。

为解决上述技术问题，本申请采用的另一技术方案是提供一种目标跟踪机器人。该目标跟踪机器人包括处理器以及与处理器连接的存储器、摄像装置，摄像装置用于拍摄获取图像，存储器用于存储计算机程序，计算机程序在被处理器执行时，用以实现上述的方法。

为解决上述技术问题，本申请采用的另一技术方案是提供一种存储介质，用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述的目标跟踪方法。

通过上述方案，本申请的有益效果是：通过获取预览图像，检测目标物体的图像的位置，将目标物体的图像的位置与预设区域比较，判断目标物体图像是否位于预设区域；如果目标物体的图像不位于预设区域，则通过调整摄像装置的位置使得目标物体的图像始终显示在摄像机中预设区域内，达到摄像机跟随目标物体一起移动的效果，从而实现对目标物体的实时跟踪。另外，在摄像机需要对目标物体进行拍照或者摄像时，能够立即进行，而无需寻找目标物体，加快了拍照和摄像的速度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请提供的机器人的目标跟踪方法第一实施例的流程示意图；

图2是本申请提供的机器人的目标跟踪方法第一实施例中预览图像和预设区域的相对位置示意图；

图3是本申请提供的机器人的目标跟踪方法第一实施例中目标物体、预览图像和预设区域的相对位置示意图；

图4是本申请提供的机器人的目标跟踪方法第二实施例的流程示意图；

图5是本申请提供的机器人的目标跟踪方法第三实施例的流程示意图；

图6是本申请提供的机器人的目标跟踪方法第四实施例的流程示意图；

图7是本申请提供的机器人的目标跟踪方法第四实施例的坐标系示意图；

图8是本申请提供的机器人的目标跟踪方法第五实施例的坐标系示意图；

图9是本申请提供的机器人的目标跟踪方法第六实施例的坐标系示意图；

图10是本申请提供的机器人的目标跟踪方法第七实施例的坐标系示意图；

图11是本申请提供的目标跟踪机器人一实施例的结构意图；

图12是本申请提供的存储介质一实施例的结构意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

参阅图1，图1是本申请提供的机器人的目标跟踪方法第一实施例的流程示意图。该方法包括：

步骤11：获取预览图像。

在目标场景中放置一机器人，用户启动该机器人，用户可以开启该机器人的摄像装置按钮，机器人的摄像装置会对目标场景进行拍摄，同时对出现的目标物体进行检测。

预览图像为机器人的摄像装置获取的图像，如果目标为人脸，则目标物体的图像(图标图像)为人脸图像；如果目标为其他物种或物体，则目标图像为相应的图像，例如：目标为一桌子，则目标图像就为桌子的图像。

步骤12：检测目标物体是否位于预览图像的预设区域内。

预设区域为用户自行设定或系统默认，该预设区域属于摄像机获取的图像的一部分，其位置可以处于摄像机获取的图像的中心或四个角或其他合理位置。预设区域可以为矩形、圆形或椭圆形等任意合理形状；图2所示为其中一种情况，预设区域21位于预览图像20的左上角。

步骤13：若检测目标物体不位于预览图像的预设区域内，则调整摄像装置的位置，以使目标物体位于摄像装置获取的预览图像的预设区域内。

在用机器人的摄像装置进行拍摄时，目标物体未必会恰巧出现在预设区域中，因此需要调整摄像装置的位置，使得目标物体位于预设区域中，调节的方法可以为水平移动摄像装置或竖直移动摄像装置或者两者结合或按照某一角度移动摄像装置。例如，如图3所示，目标图像31位于预设区域32的左侧，此时将摄像装置向左平移一段距离，则可使得目标图像31位于预设区域32内。

区别于现有技术，本实施例提供的机器人的目标跟踪方法，通过获取预览图像，检测目标图像的位置，将目标图像的位置与预设区域比较，判断目标图像是否位于预设区域；如果目标图像不位于预设区域，则通过调整摄像装置的位置使得目标图像始终显示在摄像机中预设区域内，达到摄像机跟随目标物体一起移动的效果，实现对目标物体的实时有效地跟踪。另外，在摄像机需要对目标物体进行拍照或者摄像时，能够立即进行，而无需寻找目标物体，加快了拍照和摄像的速度。

参阅图4，图4是本申请提供的机器人的目标跟踪方法第二实施例的流程示意图。该方法包括：

步骤41：获取预览图像。

步骤42：判断预览图像内是否具有目标物体。

机器人的摄像装置在对目标场景进行拍摄时，拍摄到的图像中，可能不具有目标物体；因此需要检测预览图像中是否具有目标物体，可以使用一些目标检测算法，将图像中的前景和背景分开，从而判断预览图像中是否包含目标物体。例如，摄像装置对一片空地进行拍摄，目标物体为汽车，拍摄时出现在画面中的最多的就是空地，而想拍摄的其实是汽车，因此需要判断所拍摄的图像中是否包含汽车。

步骤43：若预览图像内具有目标物体，则检测目标物体是否位于预览图像的预设区域内。

步骤44：若检测目标物体不位于预览图像的预设区域内，则调整摄像装置的位置，以使目标物体位于摄像装置获取的预览图像的预设区域内。

其中，步骤41、步骤43和步骤44可以具体参考上述步骤11－13，这里不再赘述。

区别于现有技术，本实施例提供的机器人的目标跟踪方法，通过获取预览图像，判断预览图像中是否具有目标物体，实现目标检测，如果预览图像中具有目标物体，则通过检测目标物体的位置来判断目标物体是否处于预设区域内，当目标物体不处于预设区域内时，则通过调整摄像装置的位置实现对目标物体在预览图像中位置的调整，从而实时地跟踪目标物体。

参阅图5，图5是本申请提供的机器人的目标跟踪方法第三实施例的流程示意图。该方法包括：

步骤51：获取预览图像。

步骤52：采用人脸检测算法判断预览图像内是否具有人脸图像。

如果要实现人脸跟踪，首先要判断目标场景中是否有人脸，即需要从拍摄到的预览图像中检测是否具有人脸，检测的方法为利用人脸检测算法。如果在将整个目标场景中检测完后，仍然未检测到人脸，则可发送通知，显示或广播未发现人脸。

人脸检测算法包括基于直方图粗分割和奇异值特征的算法、Adaboost算法、基于面部双眼结构特征的算法等的其中一种。

基于直方图粗分割和奇异值特征的算法是先根据平滑的直方图对图像进行粗分割，再根据一定的灰度空间对人眼进行定位，进而确定出人脸区域。

Adaboost算法的思想是通过对大量正样本和负样本的学习，通过学习的反馈，弱分类器在不知道先验的训练误差的前提下，自适应的调整错误率以及相应的权重，直到强分类器达到预定的性能。

基于面部双眼结构特征的算法首先在原始灰度图像上计算各像素点的梯度方向对称性，然后以梯度方向对称性高的点为特征点，并进一步组合成特征块，通过一种简单的抑制方法，滤去大部分孤立的非人脸部件的特征点，再运用一定的规则对各个特征块进行组合得到候选人脸区域最后对候选人脸进行人脸部件的验证，剔除假脸，得到真正的人脸区域。

在使用了上述的人脸检测算法后，就可以自动判别预览图像中是否包含人脸图像，如果预览图像中包含人脸图像，可将人脸位置和五官标注出来。

步骤53：若预览图像中具有人脸，检测人脸是否位于预览图像的预设区域内。

步骤54：若检测人脸不位于预览图像的预设区域内，调整摄像装置的位置，以使人脸位于摄像装置获取的预览图像的预设区域内。

其中，步骤51、步骤53和步骤54可以具体参考上述步骤11－13，这里不再赘述。

区别于现有技术，本实施例提供的机器人的目标跟踪方法，通过利用人脸检测算法对判断预览图像中是否具有人脸，当预览图像中具有人脸时，移动摄像装置使得人脸始终处于预览图像中的预设区域内，实时跟踪人脸，方便用户观察人脸图像。

参阅图6，图6是本申请提供的机器人的目标跟踪方法第四实施例的流程示意图。

步骤61：获取预览图像。

步骤62：以预览图像的一顶点为原点、以与顶点相邻两边为坐标轴建立坐标系。

为了衡量目标图像与预设区域的位置关系，建立坐标系来描述两者之间的关系，将预览图像的一个顶点作为原点，与顶点相邻的两边作为坐标轴。例如，以预览图像的左上角的顶点作为坐标原点，水平向右方向作为y轴的方向，竖直向下的方向作为x轴的方向，如图7所示，整个坐标区域为[0，1]×[0，1]。

步骤63：确定目标物体在坐标系中的位置坐标。

在检测到目标物体后，即摄像装置获取的预览图像中存在目标物体的图像后，确定目标图像在坐标系中的位置坐标，从而进行步骤64的操作。

步骤64：判断目标物体的位置坐标是否位于预设图像的预设区域内。

目标图像的位置坐标可能不处于预设图像的预设区域中，因此需要判断两者之间的位置关系。

需要判断目标物体的中心点的位置坐标是否位于预览图像的预设区域内或判断目标物体包含的每个点的位置坐标是否位于预览图像的预设区域内。

目标图像的坐标位置还可以是目标左上角的坐标或者其他任意合理坐标；例如，如果目标图像是人脸图像，在检测人脸时可以用矩形框框住人脸，并实时显示人脸左上角的位置和人脸框的大小。

步骤65：若检测目标物体不位于预览图像的预设区域内，调整摄像装置的位置，以使目标物体位于摄像装置获取的预览图像的预设区域内。

其中，步骤61和步骤65可以具体参考上述步骤11和步骤13，这里不再赘述。

区别于现有技术，本实施例提供的机器人的目标跟踪方法，通过建立坐标系，从而确定目标物体在坐标系中的位置，从而判断目标物体是否位于预设区域中，以便调节摄像装置的位置，使得摄像装置可以实时跟踪目标物体。

参阅图8，图8是本申请提供的机器人的目标跟踪方法第五实施例的流程示意图。

步骤81：获取预览图像。

步骤82：以预览图像的一顶点为原点、以与顶点相邻两边为坐标轴建立坐标系。

步骤83：确定目标物体在坐标系中的位置坐标。

步骤84：判断目标物体的位置坐标是否位于预览图像的预设区域内。

其中，步骤81－84可以具体参考上述步骤61－64，这里不再赘述。

步骤85：获取目标物体的位置坐标与预设区域的位置坐标的坐标差。

在目标物体的位置坐标不位于预览图像的预设区域时，需要移动摄像装置，移动的方式取决于目标图像的位置坐标与预设区域的相对位置关系，首先要获取目标图像位置坐标与预设区域的位置坐标的坐标差；其中目标图像位置坐标和预设区域的位置坐标可以是各自区域的左上角或中心等，但是它们的规则应当一致，即如果目标图像位置坐标为目标图像的中心坐标，则预设区域的位置坐标也为预设区域的中心坐标。

步骤86：根据与坐标差对应的方向调整摄像装置的位置，以使目标物体位于摄像装置获取的预览图像的预设区域内。

如果坐标差的横、纵坐标均不为0，则需要在水平方向和竖直方向移动摄像装置；如果坐标差的横、纵坐标值其中之一为0，则只需在竖直方向或水平方向移动摄像装置。可以定义预设区域的坐标减去目标图像坐标为正值时，竖直向上或水平向左移动摄像装置。

例如，目标图像的位置坐标为[0.3，0.6]，预设区域的位置坐标为[0.5，0.5]，则它们之间的坐标差为[0.2，－0.1]，则可以通过竖直向上和水平向右移动移动摄像装置使得目标图像位于预设区域内。

区别于现有技术，本发明通过建立坐标系，确定目标图像在坐标中的位置坐标，从而判断目标图像是否处于预设位置，根据目标图像与预设区域之间坐标位置的差值，调整摄像装置的位置，方便调节摄像装置，使得目标图像始终显示在预设位置，实现目标实时跟踪。

参阅图9，图9是本申请提供的机器人的目标跟踪方法第六实施例的流程示意图。

步骤91：获取预览图像。

步骤92：以预览图像的一顶点为原点、以与顶点相邻两边为坐标轴建立坐标系。

步骤93：确定目标物体在坐标系中的位置坐标。

步骤94：判断目标物体的位置坐标是否位于预览图像的预设区域内。

其中，步骤91－94可以具体参考上述步骤61－64，这里不再赘述。

步骤95：将摄像装置向相应的方向移动一设定距离。

为了使得目标图像移动到预设区域，需要移动摄像装置，可以在相应的方向先移动一个设定距离D1。

步骤96：检测预览图像中的目标物体与预设区域之间的距离变化值。

检测摄像装置按照步骤95的操作移动设定距离D1后目标图像与预设区域之间的距离变化值D2。

步骤97：根据设定距离、距离变化值、以及目标物体与预设区域之间距离，得到摄像装置的调整距离。

根据设定距离D1、距离变化值D2和目标图像与预设区域之间的距离D3，得到调整距离D4，其中D4＝D1＊D3/D2。

步骤98：采用调整距离调整摄像装置的位置。

根据获得的调整距离D4调整摄像装置以使得图像图像位于预设区域内。

可以理解的，摄像机移动也可以移动预设角度，根据移动预设角度后目标图像与预设区域之间距离的变换情况，计算移动单位角度目标图像移动的距离，从而快速得出摄像装置需要再次移动的角度。例如，摄像装置转动1°后，目标图像与预设区域距离缩短了0.2cm，检测到当前目标图像与预设区域距离为6cm，因此还需要再将摄像装置转动30°，才能使得目标图像位于预设区域内。

区别于现有技术，通过在相应方向调整摄像装置的预设距离，获取目标图像与预设区域位置变换情况，从而得到摄像装置移动单位距离时目标图像移动的距离，根据当前目标图像与预设区域的距离，从而直接得到为了使得目标图像位于预设区域内摄像装置再次需要移动的距离，从而快速确定摄像装置移动的距离，实现快速、实时跟踪目标物体。

参阅图10，图10是本申请提供的机器人的目标跟踪方法第七实施例的流程示意图。该方法包括：

步骤101：获取预览图像。

步骤102：检测目标物体是否位于预览图像的预设区域内。

步骤103：若检测目标物体不位于预览图像的预设区域内，调整摄像装置的位置，以使目标物体位于摄像装置获取的预览图像的预设区域内。

其中，步骤101－103可以具体参考上述步骤11－13，这里不再赘述。

步骤104：调整摄像装置的焦距，调整目标物体在预览图像中的大小，以使目标物体边缘距离预设区域的边缘之间的距离小于设定阈值。

在将目标图像锁定在预设区域中后，可以调整摄像装置的焦距，从而调整目标图像的大小，使得目标图像与预设区域之间的距离小于预设阈值，其中目标图像与预设区域之间的距离可以是两个区域之间最小距离或中心距离等。例如，目标图像与预设区域之间的距离为2cm，预设阈值为1.5cm，此时可以通过调整摄像装置的焦距，使得目标图像大小变大，使得调整后的目标图像与预设区域之间的距离小于1.5cm。

区别于现有技术，本实施例提供的机器人的目标跟踪方法，通过获取预览图像，检测目标物体是否位于预览图像的预设区域内，从而调整摄像机的位置，使得目标物体的图像锁定在预设区域中，最后通过调节摄像装置的焦距，改变目标物体的图像的大小，从而缩短目标物体的图像与预设图像之间的距离，实现实时跟踪目标，同时方便用户观察。

参阅图11，图11是本申请提供的目标跟踪机器人一实施例的结构意图。该目标跟踪机器人110包括处理器111以及与处理器111连接的存储器112、摄像装置113，存储器112用于存储计算机程序，摄像装置113用于拍摄获取图像，计算机程序在被处理器111执行时，用以实现上述实施例中的方法。

参阅图12，图12是本申请提供的存储介质一实施例的结构意图。该存储介质120用于存储计算机程序，计算机程序121在被处理器执行时，用于实现以上实施例中的目标跟踪方法。

其中，该存储介质120可以是服务器、U盘、移动硬盘、只读存储器(ROM，Read－OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种机器人的目标跟踪方法，其特征在于，包括：

获取预览图像；其中，所述预览图像为所述机器人的摄像装置获取的图像；

以所述预览图像的一顶点为原点、以与所述顶点相邻两边为坐标轴建立坐标系；

确定目标物体在所述坐标系中的位置坐标；

判断所述目标物体的位置坐标是否位于所述预览图像的预设区域内；

若否，将所述摄像装置向相应的方向移动一设定距离；

检测所述预览图像中的目标物体与所述预设区域之间的距离变化值；

根据所述设定距离、所述距离变化值、以及所述目标物体与所述预设区域之间距离，得到所述摄像装置的调整距离；

采用所述调整距离调整所述摄像装置的位置。

2.根据权利要求1所述的目标跟踪方法，其特征在于，

所述以所述预览图像的一顶点为原点、以与所述顶点相邻两边为坐标轴建立坐标系的步骤之前，包括：

判断所述预览图像内是否具有目标物体；

若是，则执行所述以所述预览图像的一顶点为原点、以与所述顶点相邻两边为坐标轴建立坐标系的步骤。

3.根据权利要求2所述的目标跟踪方法，其特征在于，

所述目标物体为人脸；

所述判断所述预览图像内是否具有目标物体的步骤，具体为：

采用人脸检测算法判断所述预览图像内是否具有人脸图像。

4.根据权利要求1所述的目标跟踪方法，其特征在于，

所述判断所述目标物体的位置坐标是否位于所述预览图像的预设区域内的步骤，包括：

判断所述目标物体的中心点的位置坐标是否位于所述预览图像的预设区域内；或

判断所述目标物体包含的每个点的位置坐标是否位于所述预览图像的预设区域内。

5.根据权利要求1所述的目标跟踪方法，其特征在于，所述方法还包括：

调整所述摄像装置的焦距，调整所述目标物体在所述预览图像中的大小，以使所述目标物体边缘距离所述预设区域的边缘之间的距离小于设定阈值。

6.一种目标跟踪机器人，其特征在于，包括处理器以及与所述处理器连接的存储器、摄像装置，所述摄像装置用于拍摄获取图像，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用以实现如权利要求1-5任一项所述的方法。

7.一种存储介质，用于存储计算机程序，其特征在于，所述计算机程序在被处理器执行时，用于实现如权利要求1-5任一项所述的目标跟踪方法。

Images