CN113673276A - 目标物体识别对接方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种目标物体识别对接方法、装置、电子设备及存储介质。所述方法包括：实时获取环境图像；在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点；根据所述特征点控制智能设备从当前位置运动到目标位置，所述目标位置为所述智能设备对接所述目标物体时所处的位置。通过识别环境图像中的目标物体，并提取所述目标物体的特征点，再利用所述特征点指导智能设备的运动，以达到目标位置对接目标物体，通过特征点指导智能设备的运动降低了图像质量对运动的影响，使得整个控制过程的鲁棒性较好，适用于多种空间对接的场景。

Description

目标物体识别对接方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，更具体地，涉及一种目标物体识别对接方法、装置、电子设备及存储介质。

背景技术

随着科技的发展，自动对接技术得到了广泛的应用，即一个设备自动对接另一个物体，以实现充电，运输等对接后的功能。例如，在工厂车间，仓库或是建筑工地上的货物运输中，经常通过人为的操控车辆等设备，进行货物的运输，随着自动化技术的不断发展，使用智能设备自动化对接运输货物以提升货物的运输效率并降低人力劳动成本。

然而，智能设备自动化对接货物时都运行在固定的导轨上，只能按照预先设置的路线运输货物，对货物的摆放要求较高，且使用的局限性较高，难以适应各种场景下的对接需求。

发明内容

本申请提出了一种目标物体识别对接方法、装置、电子设备及存储介质，以改善上述问题。

第一方面，本申请实施例提供了一种目标物体识别对接方法，该方法包括：实时获取环境图像；在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点；根据所述特征点控制智能设备从当前位置运动到目标位置，所述目标位置为所述智能设备对接所述目标物体时所处的位置。

第二方面，本申请实施例提供了一种目标物体识别对接装置，该装置包括：图像获取模块，用于实时获取环境图像；特征点提取模块，用于在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点；控制模块，用于根据所述特征点控制智能设备从当前位置运动到目标位置，所述目标位置为所述智能设备对接所述目标物体时所处的位置。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如上述应用于电子设备的方法。

第四方面，本申请实施列提供一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请实施例提供的目标物体识别对接方法、装置、电子设备及存储介质，实时获取环境图像，从所述环境图像中识别目标物体，在识别到所述环境图像中的目标物体时，提取所述目标物体的特征点，再根据提取到所述特征点控制智能设备从当前位置运动到目标位置，以实现智能设备在所述目标位置处对接所述目标物体。通过识别环境图像中的目标物体，并提取所述目标物体的特征点，再利用所述特征点指导智能设备的运动，以达到目标位置对接目标物体，通过特征点指导智能设备的运动降低了图像质量对运动的影响，使得整个控制过程的鲁棒性较好，适用于多种空间对接的场景。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了一种适用于本申请实施例提供的目标物体识别对接方法的应用环境示意图。

图2示出了本申请一个实施例提供的目标物体识别对接方法的流程图。

图3示出了本申请另一个实施例提供的目标物体识别对接方法的流程图。

图4示出了在图3所提供的实施例的基础上提供的目标物体识别对接方法的部分步骤的流程图。

图5示出了本申请一个实施例提供的模板特征点的编码示意图。

图6示出了本申请一个实施例提供的对多个直线的交点进行解码的示意图。

图7示出了本申请又一个实施例提供的目标物体识别对接方法的流程图。

图8示出了在图7所提供的实施例的基础上提供的目标物体识别对接方法的部分步骤的流程图。

图9示出了本申请再一个实施例提供的目标物体识别对接方法的流程图。

图10示出了本申请一个实施例提供的目标物体识别对接装置的功能模块图。

图11示出了本申请实施例提出的用于执行根据本申请实施例的目标物体识别对接方法的电子设备的结构框图。

图12示出了本申请实施例提供的用于保存或者携带实现根据本申请实施例的目标物体识别对接方法的程序代码的存储介质。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在工业生产环境中，如生产车间，仓库或建筑工地中通常存在大量的货物需要运输，通常，可以人为的控制叉车运动到承载货物的托盘处，实现叉车与托盘的对接，进而实现叉取托盘实现对货物的运输。

随着自动化工业生产技术的发展，智能设备如智能叉车应运而生，智能叉车可以自行运动到托盘的位置，自动叉取托盘实现货物的运输。在生产车间和仓库等结构化的生产环境中，货物通常是从一个固定的位置运动到另一个固定的位置，预先摆放好货物并设置智能叉车的运动轨迹则可以实现对货物的自动化搬运。当然，也可以是智能叉车识别获取与托盘的相对位置，以实现自动叉取托盘搬运货物。

发明人在研究中发现，在结构化的生产环境中，智能叉车对承载货物的托盘的叉取所采用的方法可以是基于激光的定位技术或是基于视觉的定位技术。

然而，采用基于激光的定位技术时，一维或者二维激光传感器提供的信息不够丰富，智能叉车对承载货物的托盘的检测与识别能力不够，且自动叉取货物的过程中对导航系统的定位精度要求较高，难以适用于建筑工地等环境复杂的非结构化的生产环境中。

在基于视觉的定位技术中，一般是同构建立相机的透视模型来估计智能叉车与承载货物的托盘的相对位姿，根据该相对位姿进行智能叉车的路径规划。然而，基于相机透视模型的位姿估计算法对相机标定的误差以及图像噪声非常敏感，算法的鲁棒性较低，且在该方式中，通常采用开环控制，控制精度较低，无法做到实时地自动纠偏，难以适用于建筑工地等环境复杂的非结构化的生产环境中以及电动车自动换电池装置、AGV小车与充电桩的对接等需要空间对接的场景中。

因此，发明人提出了本申请的目标物体识别对接方法，实时获取环境图像，从所述环境图像中识别目标物体，在识别到所述环境图像中的目标物体时，提取所述目标物体的特征点，再根据提取到所述特征点控制智能设备从当前位置运动到目标位置，以实现智能设备在所述目标位置处对接所述目标物体。通过识别环境图像中的目标物体，并提取所述目标物体的特征点，再利用所述特征点指导智能设备的运动，以达到目标位置对接目标物体，通过特征点指导智能设备的运动降低了图像质量对运动的影响，使得整个控制过程的鲁棒性较好，适用于多种空间对接的场景。

下面将对本申请实施例进行详细的说明。

请参阅图1，示出了一种适用于本申请实施例提供的目标物体识别对接方法的应用环境示意图。该应用环境100包括智能叉车110以及托盘120，其中，所述托盘120为所述目标物体，所述智能叉车110为智能设备。所述智能叉车110包括货叉111，所述托盘120包括插槽121，所述智能叉车110的货叉111插入所述托盘120的插槽121实现对托盘120的移动，所述货叉111的大小可以和所述插槽121的大小对应设置，保证货叉111可以插入所述插槽121，所述货叉111的数量可以和插槽121的数量相同。在所述托盘120上可以放置货物130，当所述智能叉车110的货叉111插入所述托盘120的插槽121时，则可以实现对货物130的运输。

在一些实施方式中，所述智能叉车110上还可以集成有图像采集装置140，具体的，所述图像采集装置140实时采集环境图像，并将采集到所述环境图像传送给所述智能叉车110，以供智能叉车110在识别到所述环境图像中的所述托盘120时，提取所述托盘120的特征点，并根据所述特征点控制自身从当前位置运动到目标位置，使货叉111可以准确的插入所述插槽121中，实现智能叉车110与托盘120的对接。

在另一些实施方式中，所述图像采集装置140可以不集成在所述智能叉车110上，而是作为一个单独的设备固定在所述智能叉车110上。所述应用环境100还可以包括本地服务器/云服务器150，所述智能叉车100和所述图像采集装置140与同一个本地服务器/云服务器150通信连接，图像采集装置140将实时采集的环境图像发送给所述本地服务器/云服务器150，从而所述本地服务器/云服务器150可以实时获取到环境图像，再由本地服务器/云服务器150对获取到的环境图像进行识别，在识别到所述环境图像中的托盘120时，提取所述托盘120的特征点，并根据所述特征点发送控制指令给所述智能叉车110，以指导所述智能叉车110运动到所述目标位置，实现与所述托盘120的对接。

需要说明的是，该目标物体识别对接方法还可以应用于其他需要空间对接的场景中，例如，电动车自动换电池装置，AGV小车与充电桩的对接等，并不局限与上述智能叉车对接托盘的场景。下面仅以智能叉车对接托盘的场景为例进行具体的说明。

请参阅图2，本申请实施例提供了一种目标物体识别对接方法，可以应用于电子设备，所述电子设备可以是智能设备，智能设备的控制器，或是本地服务，云服务器等，基于前述所描述的应用环境对目标物体识别对接方法进行详细的描述，具体的该方法可以包括：

步骤S110，实时获取环境图像。

环境图像是指图像采集装置所拍摄到的图像。其中，所述图像采集装置在智能设备上，可以随着智能设备运动而运动，在一些实施方式中，所述图像采集装置可以是固定安装在所述智能设备上。在另一些实施方式中，所述图像采集装置可以是与所述智能设备集成为一体。

图像采集装置可以实时采集环境图像，并将采集的环境图像发送给电子设备，从而电子设备可以实时获取到环境图像。

在一些实施方式中，所述图像采集装置可以是自动采集环境图像，一采集到所述环境图像，则发送所述环境图像给电子设备，从而所述电子设备可以实时获取到所述环境图像。

在另一些实施方式中，图像采集装置可以是根据电子设备的信号采集环境图像，即电子设备可以产生一个信号驱动所述图像采集装置采集环境图像，图像采集装置在采集到所述环境图像时，将环境图像发送给所述电子设备。作为一种实施方式，电子设备可以是每间隔预设时间产生一个信号；作为另一种实施方式，所述电子设备还可以是检测到所述智能设备的姿态发生变化时，产生一个信号。

步骤S120，在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点。

电子设备在获取到所述环境图像时，可以对所述环境图像进行检测识别，识别所述环境图像中的目标物体，若在环境图像中识别到所述目标物体，则可以提取所述目标物体的特征点。

在电子设备获取到的所述环境图像中，可能并不包括所述目标物体，从而电子设备也就识别不到所述目标物体，从而可以控制智能设备旋转或移动以改变所述图像采集装置采集环境图像的方向，直到所述环境图像中包括所述目标物体。也就是说，在电子设备没有识别到所述环境图像中的目标物体时，可以控制智能设备转向或平移，以改变图像采集装置拍摄角度，从而可以获取到另一方向上的环境图像，并继续识别所述环境图像中的目标物体。

电子设备在识别所述环境图像中的目标物体时，可以是将所述环境图像输入神经网络模型中，利用神经网络模型检测识别所述目标物体，在识别到所述目标物体时，提取所述目标物体的特征点。

在一些实施方式中，在电子设备识别到所述环境图像中的目标物体时，可以对所述环境图像进行处理，如剔除掉所述环境图像中非目标物体的背景部分，以降低背景部分对提取目标物体的特征点的影响，同时也能加快提取目标物体的特征点的速度。

步骤S130，根据所述特征点控制智能设备从当前位置运动到目标位置。

在从所述环境图像中识别到所述目标物体，并提取所述目标物体的特征点之后，可以根据提取到的所述特征点控制智能设备从当前位置运动到目标位置。

其中，所述目标位置是指所述智能设备对接所述目标物体时所处的位置。其中，所述目标位置并非为一个固定位置，而是一个相对位置，即智能设备相对于所述目标物体位置。目标物体处于不同的位置时，目标位置也跟随目标物体的位置变化，但智能设备对接所述目标物体时，智能设备与目标物体之间的相对位置始终是保持不变的。当智能设备处于所述目标位置时，可以准确对接所述目标物体，以进行后续动作。

在提取到所述特征点时，可以通过所述特征点指导智能设备的运动，具体的，可以匹配所述特征点与预设的模板特征点，获取所述特征点与所述模板特征点之间的差异，并根据差异指导所述智能设备的运动，以使所述智能设备可以运动到目标位置，其中，所述模板特征点为所述智能设备预先在所述目标位置时所获取的环境图像中的所述目标物体的特征点。

由于目标位置是一个相对位置，即智能设备相对于所述目标物体的位置，那么，当所述目标物体处于任意位置，所述智能设备处于目标位置时，获取的环境图像中所述目标物体的特征点都是相同的。由此，在此之前，可以预先通过示教的方式指导智能设备运动到目标物体的目标位置，控制智能设备在目标位置处采集环境图像，基于所采取到的环境图像，提取所述环境图像中的目标物体的特征点作为模板特征点，并将所述模板特征点进行存储以供匹配使用。从而，在获取到所述特征点时，可以利用预先存储的所述模板特征点与提取到的所述特征点进行匹配，以指导智能设备运动到目标位置。

在匹配所述特征点与预设的模板特征点时，可以是获取所述特征点与预先存储的所述模板特征点之间的差异。由于智能设备在目标位置处获取的环境图像中的所述目标物体的特征点都是相同的，因此，只有在获取的环境图像中提取到的目标物体的特征点与所述模板特征之间差异小于预设值时，认为所述智能设备已经达到所述目标位置。

从而可以不断从获取到的环境图像中提取目标物体的特征点，并将所述特征点与模板特征点进行匹配，根据所述特征点与所述模板特征点之间的差异指导所述智能设备从当前位置运动到目标位置，直到所述智能设备处于所述目标位置，则可以完成智能设备与目标物体的对接。

本申请提出的目标物体识别对接方法，实时获取环境图像，从所述环境图像中识别目标物体，在识别到所述环境图像中的目标物体时，提取所述目标物体的特征点，再根据提取到所述特征点控制智能设备从当前位置运动到目标位置，以实现智能设备在所述目标位置处对接所述目标物体。通过识别环境图像中的目标物体，并提取所述目标物体的特征点，再利用所述特征点指导智能设备的运动，以达到目标位置对接目标物体，通过特征点指导智能设备的运动降低了图像质量对运动的影响，使得整个控制过程的鲁棒性较好，适用于多种自空间对接的场景。

请参阅图3，本申请另一实施例提供了一种目标物体识别对接方法，在上一实施例的基础上重点描述了识别所述环境图像中的目标物体以及提取目标物体的特征点的过程。具体的，该方法可以包括：

步骤S210，实时获取环境图像。

步骤S210可参照前述实施例对应部分，在此不再赘述。

步骤S220，利用训练好的识别模型检测识别所述环境图像中是否包括所述目标物体；若是，执行步骤S230；若否，执行步骤S210。

在获取到所述环境图像时，所述电子设备可以是对所述环境图像进行检测识别，检测识别所述环境图像中是否包括所述目标物体，若识别到所述目标物体，表明所述环境图像中存在目标物体，则继续执行步骤S230；若没有识别到所述目标物体，表明所述环境图像中不存在目标物体，则可以执行步骤S210，继续获取环境图像。

在对所述环境图像进行检测识别时，可以是利用训练好的识别模型对所述环境图像进行检测识别，其中，所述识别模型用于根据输入的环境图像识别所述环境图像中目标物体。那么在电子设备获取到所述环境图像时，将所述环境图像输入训练好的识别模型检测识别所述环境图像中是否包括所述目标物体。

在使用训练好的识别模型识别所述环境图像中是否包括目标物体之前，需要对所述识别模型进行预先训练。所述识别模型可以是一个神经网络模型，在使用之前，可以预先获取训练图像，基于所述训练图像对所述识别模型进行训练，得到训练好的识别模型。

所述训练图像为所述对多个不同的环境图像中的目标物体的区域进行标注后所得到的图像集，标注有目标物体的区域的多个环境图像输入神经网络模型中，训练所述神经网络模型学习从不同的环境图像中识别目标物体，经过所述训练图像的训练后，使所述神经网络模型具备识别目标物体的能力，从而得到训练好的识别模型。

得到训练好的识别模型后，可以将获取的所述环境图像输入训练好的识别模型中，所述识别模型可以输出与所述环境图像对应的识别结果。

在一些实施方式中，若所述识别模型识别到所述环境图像中的目标物体，可以输出标注有目标物体位置的环境图像，从而电子设备可以根据所述标注有目标物体位置的环境图像进行执行后续动作；在没有识别到所述环境图像中的目标物体时，可以直接输出所述环境图像，从而电子设备可以丢弃所述环境图像，继续获取新的环境图像。

步骤S230，提取所述环境图像中所述目标物体的特征点。

在识别到所述环境图像中包括所述目标物体时，可以对所述环境图像进行处理以提取所述目标物体的特征点。

在一些实施方式中，所述识别模型识别到所述环境图像中的目标物体时，所述电子设备可以是对所述环境图像进行修剪，保留所述环境图像中的目标物体的部分，并剪切掉除目标物体部分以外的背景部分，以降低背景部分对提取目标物体的特征点的影响。

具体的，可参阅图4，示出了提取目标物体的特征点的方法，具体可以包括以下步骤。

步骤S231，对所述环境图像进行图像检测，提取所述目标物体的轮廓以及所述轮廓中的直线。

步骤S232，对所述轮廓中的直线进行拟合，得到多个直线的交点。

在识别到所述环境图像中的目标物体时，可以对所述环境图像进行图像检测，提取所述目标物体的轮廓以及轮廓中的直线。具体的，可以是将所述环境图像转换成HSV空间后，对转换成HSV空间的环境图像进行自适应阈值分割后进行边缘提取如Canny算子，提取所述目标物体的轮廓。

在一些实施方式中，还可以是基于深度学习的实例分割方法，在训练图像中标注目标物体区域，通过端对端的续训练，可以直接获取到所述图像中目标物体的轮廓。

在获取到所述目标物体的轮廓之后，再利用Hough变换提取所述轮廓中的直线。

在提取到所述目标物体的轮廓以及所述轮廓中的直线后，可以对所述轮廓中的直线进行拟合，得到多个直线的交点。所述多个直线的交点，可以认为是目标物体的特征点，但是并不知道每个交点的位置。从而，需要确定每个交点的位置。

步骤S233，按照预设编码规则对所述多个直线的交点进行解码得到所述目标物体的特征点。

预先存储有模板特征点，所述模板特征点所述智能设备预先在所述目标位置时所获取的环境图像中的所述目标物体的特征点，所述模板特征点可以是预先通过示教的方式获取，在预先获取到所述模板特征点后，可以对所述模板特征点中各个特征点进行编码后存储，模板特征点的编码规则为所述预设编码规则。可参阅图5，示出了模板特征点的编码示意图。其编码规则为按照顺时针的顺序对目标物体的轮廓进行编码。图示中以目标物体为托盘为例进行说明，对托盘的轮廓中的每个交点进行编码得到一共有12个交点，每个交点具有一个ID值。可以理解的是，预设编码规则可以是顺时针对交点编码，也可以是逆时针对交点编码，仅需要保持采用一致的编码规则即可。

在得到多个直线的交点之后，按照该预设编码规则对所述多个直线的交点进行解码，即可以得到所述目标物体的特征点。可参阅图6，示出了对所述多个直线的交点进行解码的示意图。在图6中，201为提取到的目标物体的轮廓，202为提取到轮廓中的直线，为了方便叙述，对每一条直线都进行了标记，在对多条直线进行拟合后，可以得到多个直线的交点，具体的，有a与n的交点，n与f的交点，f与m的交点，m与c的交点，c与k的交点，k与e的交点，e与i的交点，i与b的交点，b与h的交点，h与d的交点，d与g的交点，g与a的交点一共12个交点，按照顺时针的顺序对各个交点进行编码后，则可以得到目标物体的特征点203。

在得到所述目标物体的特征点之后，可以得到各个特征点位于所述目标物体的具体位置，从而可以将所述特征点与所述模板特征点进行匹配，以控制所述智能设备从当前位置运动到目标位置。

步骤S240，根据所述特征点控制智能设备从当前位置运动到目标位置。

步骤S240可参照前述实施例对应部分，在此不再赘述。

本申请提出的目标物体识别对接方法，实时获取环境图像，利用神经网络模型从所述环境图像中识别目标物体，在识别到所述环境图像中的目标物体时，通过图像检测提取所述目标物体的特征点，再根据提取到所述特征点控制智能设备从当前位置运动到目标位置，以实现智能设备在所述目标位置处对接所述目标物体。神经网络模型识别环境图像中的目标物体，识别速度和准确度较高，提取所述目标物体的特征点，再利用所述特征点指导智能设备的运动，以达到目标位置对接目标物体，通过特征点指导智能设备的运动降低了图像质量对运动的影响，使得整个控制过程的鲁棒性较好，适用于多种空间对接的场景。

请参阅图7，本申请又一实施例提供了一种目标物体识别对接方法，在上一实施例的基础上重点描述了根据所述特征点控制智能设备的运动的过程。具体的，该方法可以包括：

步骤S310，实时采集环境图像。

步骤S320，在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点。

步骤S310至步骤S320可参照前述实施例对应部分，在此不再赘述。

步骤S330，根据成像模型建立所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的第一关系。

获取的目标物体的特征点是从所述图像采集装置采集到的环境图像中提取到的，图像采集装置具有其对应的成像模型，从而可以根据所述成像模型建立所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之前第一关系。

其中，所述成像模型可以是针孔模型，假设空间中的一点在相机坐标系中的坐标为P(X,Y,Z)，点P在对应的像素坐标系中的坐标为(u，v)。根据针孔模型可以建立得到P点在相机坐标系中的运动速度，即图像采集装置的运动速度W＝(t_x,t_y,t_z,w_x,w_y,w_z)与点P在对应的像素坐标系中的运动速度

之间的关系式为：

其中ρ_u、ρ_v为图像采集装置每个像素点的宽和高，(u,v)为点P对应的在像素坐标系中的坐标，t_x,t_y,t_z分别表示图像采集装置沿着x,y,z三个轴的平移速度分量，w_x,w_y,w_z分别表示图像采集装置绕x,y,z三个轴的旋转角速度，f表示相机的焦距。考虑到智能设备仅在XOY平面内运动，同时也只存在绕Z的旋转运动，关系式(1)可以进一步简化为关系式(2)：

其中，Q为

简写得到。

由上述式子可知，任意一点在相机坐标系中运动速度与该点在像素坐标系中的运动速度之间的关系，通过该关系可以建立所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的第一关系。如前述示例中的目标物体为托盘时，提取到的托盘的特征点为12个，那么任意一个特征点在像素坐标系中的运动速度为

将这12个特征点在像素坐标系中的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的关系式进行堆叠，可以得到以下关系式：

其中，

表示各个特征点在像素坐标系中的运动速度矢量，

表示各个特征点在对应的相机坐标系中的运动速度矢量。由上关系式(3)可以获知，若已知各个特征点在像素坐标系中的运动速度矢量，可以求得各个特征点在对应的相机坐标系中的运动速度矢量，具体的，可以表示为以下关系式即第一关系：

步骤S340，利用反馈控制器以及所述第一关系计算得到所述智能设备从当前位置运动到目标位置的目标运动速度矢量。

在获取到所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的第一关系之后，根据利用反馈控制以及所述第一关系计算得到所述智能设备从当前位置运动到目标位置的目标运动速度矢量。具体的，该方法的详细过程可参阅图8，示出了利用反馈控制器以及所述第一关系计算得到所述智能设备从当前位置运动到目标位置的目标运动速度矢量的过程，具体的，该方法可以包括：

步骤S341，根据所述反馈控制器计算在像素坐标系中所述特征点由当前位置运动到所述目标位置所需要的第一运动速度矢量。

假设目标物体的任一特征点在像素坐标系中的目标位置为M*，而当前位置为M，可以设计一个反馈控制器，计算在像素坐标系中的特征点由当前位置M运动到M*所需要的第一运动速度矢量

其中，所述目标位置M*可以是模板特征点所在的位置，所述当前位置M可以是提取到的目标物体的特征点所在的位置。由于所述特征点的数量可以是多个，那么目标位置M*和当前位置M可以是采用相同的等效规则得到的一个等效位置，例如，可以是目标物体的中心位置。

其中，所述反馈控制器可以是比例积分(Proportional Integral,PI)控制器，或是其他的反馈控制器如比例-积分-微分(Proportion Integration Differentiation，PID)控制器等，具体的，所述反馈控制器可以根据实际的需要进行选择，在此不做具体限定，下面仅以反馈控制器为PI控制器为例进行详细的说明。

利用PI控制器计算任一特征点在从当前位置M运动到目标位置M*的第一运动速度矢量

可见以下关系式(5)：

其中，K_p与K_I分别为PI控制器的比例系数与积分系数，M为特征点在像素坐标系中的当前位置，M*为目标位置，

为特征点在像素平面内从当前位置M运动到目标位置M*的运动速度矢量。

步骤S342，根据所述第一运动速度矢量以及所述第一关系计算得到所述智能设备从当前位置运动到所述目标位置的目标运动速度矢量。

上述关系式(5)为所述第一运动矢量，表示目标物体的任意一个特征点在像素坐标系中从当前位置运动到目标位置的运动速度矢量。为了计算对应的在相机坐标系中，每个特征点从当前位置运动到目标位置的运动速度矢量，可以结合所述第一运动速度矢量即关系式(5)，以及所述第一关系即关系式(4)得到所述智能设备从当前位置运动到所述目标位置的目标运动速度矢量，具体的，可以表示为关系式(6)：

其中，

表示各个特征点在相机坐标系中运动速度，由于图像采集装置跟随所述智能设备的运动而运动，从而

也可以理解为所述智能设备从当前位置运动到目标位置的运动速度矢量。从而在已知特征点在像素坐标系中运动速度矢量时，可以通过关系式(6)计算得到所述智能设备从当前位置运动到目标位置的目标运动速度矢量。

在一些实施方式中，可以是先根据反馈控制器计算根据所述反馈控制器计算在像素坐标系中所述特征点由当前位置运动到所述目标位置所需要的第一运动速度矢量，再根据成像模型建立所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的第一关系，从而也可以得到所述第一关系以及所述第一运动速度矢量。具体的，所述第一关系与所述第一运动速度矢量获得的先后顺序在此不做具体限定。

步骤S350，控制所述智能设备按照所述目标运动速度矢量运动。

目标运动速度矢量为在相机坐标系中，所述智能设备从当前位置运动到目标位置运动速度矢量。其中，所述目标运动速度矢量可以包括目标速度和目标方向，所述目标速度和目标方向可以是根据所述目标运动速度矢量分解得到，可以包括多个目标速度以及对应的目标方向。例如，分解目标运动速度矢量得到两个目标速度，速度1和速度2，得到两个目标方向，方向1和方向2。其中，所述速度1和方向1对应，表明在方向1上以速度1运动，所述速度2和方向2对应，表明在方向2上衣速度2运动，则可以运动到所述目标位置。

从而可以控制所述智能设备按照所述目标运动速度矢量运动，以到达所述目标位置，实现与所述目标物体的对接。

本申请提出的目标物体识别对接方法，实时获取环境图像，利用神经网络模型从所述环境图像中识别目标物体，在识别到所述环境图像中的目标物体时，通过图像检测提取所述目标物体的特征点，再根据成像模型建立所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的第一关系，再利用反馈控制器以及所述第一关系计算得到所述智能设备从当前位置运动到所述目标位置的目标运动速度矢量，再控制所述智能设备按照所述目标运动速度矢量运动，以实现智能设备在所述目标位置处对接所述目标物体。神经网络模型识别环境图像中的目标物体，识别速度和准确度较高，提取所述目标物体的特征点，利用所述特征点以及反馈控制器指导智能设备的运动，以达到目标位置对接目标物体，通过特征点指导智能设备的运动降低了图像质量对运动的影响，使得整个控制过程的鲁棒性较好，适用于多种空间对接的场景。

请参阅图9，本申请再一实施例提供了一种目标物体识别对接方法，在上一实施例的基础上重点描述了匹配特征点以及模板特征点的过程。如图8所示，该方法可以包括：

步骤S410，实时采集环境图像。

步骤S420，在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点。

步骤S410至步骤S420可参照前述实施例对应部分，在此不再赘述。

步骤S430，匹配所述特征点与预设的模板特征点，获取所述特征点与所述模板特征点之间的差异。

步骤S440，判断所述特征点与模板特征点之间的差异是否小于预设值；若是，执行步骤S450；若否，执行步骤S460。

在提取到所述目标物体的特征点时，可以将获取到的所述特征点与预设的模板特征点进行匹配，获取所述特征点与所述模板特征点之间的差异，所述差异可以表现为一个差异值，所述差异值越大，表明所述特征点与所述模板特征点之间的差异越大。

其中，匹配所述目标物体的特征点与预设的模板特征点时，得到的所述目标物体的特征点中每个特征点都具有一个编号，模板特征点中的每个特征点也具有一个编号，可以是确定同一编号的目标物体的特征点是否模板特征点吻合，在所述目标物体的特征点中的每一个特征点均与所述模板特征点完全吻合时，可以认为所述目标物体的特征点与所述模板特征点之间的差异值为0。

在一些实施方式中，可以预先设置有预设值，所述预设值表示所述目标物体的特征点和所述模板特征点吻合的临界差异值。也就是说，差异值在小于所述预设值时，表明目标物体的特征点与所述模板特征点吻合得较好，差异值大于或等于所述预设值时，表明目标物体的特征点与所述模板特征点吻合得较差。

若判定所述特征点与所述模板特征点之间的差异小于预设值时，认为特征点与模板特征点之间的差异较小，两者之间吻合得较好，表明智能设备可以不再继续运动，则可以执行步骤S450。若判定所述特征点与所述模板特征点之间的差异大于或等于预设值时，认为特征点与模板特征点之间的差异较大，两者之间吻合得较差，表明智能设备需要继续运动以减小两者之间的差异，则可以执行步骤S460。

步骤S450，确定所述智能设备位于所述目标位置。

判定所述特征点与所述模板特征点之间的差异小于预设值时，认为特征点与模板特征点之间的差异较小，两者之间吻合得较好，智能设备不需要继续运动，则可以认为所述智能设备已经位于所述目标位置，可以准确对接目标物体。

步骤S460，根据成像模型建立所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的第一关系。

步骤S470，利用反馈控制器以及所述第一关系计算得到所述智能设备从当前位置运动到目标位置的目标运动速度矢量。

步骤S480，控制所述智能设备按照所述目标运动速度矢量运动。

判定所述特征点与所述模板特征点之间的差异大于或等于预设值时，认为特征点与模板特征点之间的差异较大，两者之间吻合得较差，为了减小特征点与所述模板特征点之间的差异，可以控制所述智能设备运动。则可以执行步骤S460至步骤S480。具体的，步骤S460至步骤S480的内容可参照前述实施例中的对应部分，为避免重复，在此不再赘述。

在一些实施方式，在控制所述智能设备按照所述目标运动速度矢量运动的过程中，可以实时获取到环境图像，基于获取到的环境图像，可以实时提取所述环境图像中的目标物体的特征点，从而可以继续将所述特征点与所述模板特征点进行匹配，若在所述智能设备的运动过程中，特征点与模板特征点之间差异值增大，表明智能设备的运动可能出现了错误，从而可以根据实时匹配得到的差异值，实时自动纠偏。

电子设备可以实时获取到环境图像，并提取环境图像中目标物体的特征点，在获取到目标物体的特征点之后，将所述特征点与所述模板特征点匹配获取两者之间的差异，从而指导智能设备的运动。在运动过程中，电子设备仍然在不断从环境图像中提取目标物体的特征点，从而可以不断重复步骤S430至步骤S480，直到从环境图像中提取目标物体的特征点与模板特征点之间的差异值小于预设值，即智能设备运动到所述目标位置。

本申请提出的目标物体识别对接方法，实时获取环境图像，在识别到所述环境图像中的目标物体时，通过图像检测提取所述目标物体的特征点，将所述特征点与预设的模板特征点匹配，获得两者之间的差异，根据两者之间的差异结合成型模型以及反馈控制器，指导所述智能设备的运动，以实现智能设备运动到所述目标位置处对接所述目标物体。通过特征点与所述模板特征点的实时匹配，可以实时获取到两者之间的差异，结合反馈控制器可以在控制所述智能设备的运动过程中实现自动纠偏，通过特征点指导智能设备的运动降低了图像质量对运动的影响，使得整个控制过程的鲁棒性较好，适用于多种空间对接的场景。

请参阅图10，其示出了本申请实施例提供的一种目标物体识别对接装置500，所述目标物体识别对接装置500包括图像获取模块510，特征点提取模块520，以及控制模块530。所述图像获取模块510用于实时获取环境图像；所述特征点提取模块520用于在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点；所述控制模块530用于根据所述特征点控制智能设备从当前位置运动到目标位置，所述目标位置为所述智能设备对接所述目标物体时所处的位置。

进一步的，所述特征点提取模块520还用于利用训练好的识别模型检测识别所述环境图像中是否包括所述目标物体，所述识别模型用于根据输入的环境图像识别所述环境图像中的目标物体；若是，提取所述环境图像中所述目标物体的特征点。

进一步的，所述特征点提取模块520还用于对所述环境图像进行图像检测，提取所述目标物体的轮廓以及所述轮廓中的直线；对所述轮廓中的直线进行拟合，得到多个直线的交点；按照预设编码规则对所述多个直线的交点进行解码得到所述目标物体的特征点。

进一步的，所述目标物体识别对接装置500还包括训练模块，用于预先对多个不同的环境图像中的目标物体的区域进行标注得到训练图像；基于所述训练图像对所述识别模型进行训练，得到训练好的识别模型。

进一步的，所述控制模块530还用于根据成像模型建立所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的第一关系；利用反馈控制器以及所述第一关系计算得到所述智能设备从当前位置运动到目标位置的目标运动速度矢量；控制所述智能设备按照所述目标运动速度矢量运动。

进一步的，所述控制模块530还用于根据所述反馈控制器计算在像素坐标系中所述特征点由当前位置运动到所述目标位置所需要的第一运动速度矢量；根据所述第一运动速度矢量以及所述第一关系计算得到所述智能设备从当前位置运动到所述目标位置的目标运动速度矢量。

进一步的，在提取所述目标物体的特征点之后，所述控制模块530还用于匹配所述特征点与预设的模板特征点，获取所述特征点与所述模板特征点之间的差异，所述模板特征点为所述智能设备预先在所述目标位置时所获取的环境图像中的所述目标物体的特征点；在所述特征点与所述模板特征点之间的差异小于预设值时，确定所述智能设备位于所述目标位置；在所述特征点与所述模板特征点之间的差异大于或等于预设值时，执行根据所述特征点控制智能设备从当前位置运动到目标位置的步骤。

需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本申请提供的目标物体识别对接方法，实时获取环境图像，从所述环境图像中识别目标物体，在识别到所述环境图像中的目标物体时，提取所述目标物体的特征点，再根据提取到所述特征点控制智能设备从当前位置运动到目标位置，以实现智能设备在所述目标位置处对接所述目标物体。通过识别环境图像中的目标物体，并提取所述目标物体的特征点，再利用所述特征点指导智能设备的运动，以达到目标位置对接目标物体，通过特征点指导智能设备的运动降低了图像质量对运动的影响，使得整个控制过程的鲁棒性较好，适用于多种空间对接的场景。

在本申请所提供的几个实施例中，所显示或讨论的模块相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

请参考图11，其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备600可以是智能手机、平板电脑、电子书等能够运行应用程序的电子设备，或是服务器。本申请中的电子设备600可以包括一个或多个如下部件：处理器610、存储器620、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器620中并被配置为由一个或多个处理器610执行，一个或多个程序配置用于执行如前述方法实施例所描述的方法。

处理器610可以包括一个或者多个处理核。处理器610利用各种接口和线路连接整个电子设备600内的各个部分，通过运行或执行存储在存储器620内的指令、程序、代码集或指令集，以及调用存储在存储器620内的数据，执行电子设备600的各种功能和处理数据。可选地，处理器610可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器610可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器610中，单独通过一块通信芯片进行实现。

存储器620可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器620可用于存储指令、程序、代码、代码集或指令集。存储器620可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备600在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

请参考图12，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读存储介质700中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质700可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质700包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质700具有执行上述方法中的任何方法步骤的程序代码710的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码710可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种目标物体识别对接方法，其特征在于，所述方法包括：

实时获取环境图像；

在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点；

根据所述特征点控制智能设备从当前位置运动到目标位置，所述目标位置为所述智能设备对接所述目标物体时所处的位置。

2.根据权利要求1所述的方法，其特征在于，所述在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点，包括：

利用训练好的识别模型检测识别所述环境图像中是否包括所述目标物体，所述识别模型用于根据输入的环境图像识别所述环境图像中的目标物体；

若是，提取所述环境图像中所述目标物体的特征点。

3.根据权利要求2所述的方法，其特征在于，所述提取所述环境图像中所述目标物体的特征点，包括：

对所述环境图像进行图像检测，提取所述目标物体的轮廓以及所述轮廓中的直线；

对所述轮廓中的直线进行拟合，得到多个直线的交点；

按照预设编码规则对所述多个直线的交点进行解码得到所述目标物体的特征点。

4.根据权利要求2所述方法，其特征在于，所述利用训练好的识别模型检测识别所述环境图像中是否包括所述目标物体之前，还包括：

预先对多个不同的环境图像中的目标物体的区域进行标注得到训练图像；

基于所述训练图像对所述识别模型进行训练，得到训练好的识别模型。

5.根据权利要求1所述的方法，其特征在于，所述根据所述特征点控制智能设备从当前位置运动到目标位置，包括：

根据成像模型建立所述特征点在像素坐标系的运动速度矢量与特征点在相机坐标系的运动速度矢量之间的第一关系；

利用反馈控制器以及所述第一关系计算得到所述智能设备从当前位置运动到目标位置的目标运动速度矢量；

控制所述智能设备按照所述目标运动速度矢量运动。

6.根据权利要求5所述的方法，其特征在于，所述利用反馈控制器以及所述第一关系计算得到所述智能设备从当前位置运动到目标位置的目标运动速度矢量，包括：

根据所述反馈控制器计算在像素坐标系中所述特征点由当前位置运动到所述目标位置所需要的第一运动速度矢量；

根据所述第一运动速度矢量以及所述第一关系计算得到所述智能设备从当前位置运动到所述目标位置的目标运动速度矢量。

7.根据权利要求1-6任一项所述的方法，其特征在于，在提取所述目标物体的特征点之后，所述方法还包括：

匹配所述特征点与预设的模板特征点，获取所述特征点与所述模板特征点之间的差异，所述模板特征点为所述智能设备预先在所述目标位置时所获取的环境图像中的所述目标物体的特征点；

在所述特征点与所述模板特征点之间的差异小于预设值时，确定所述智能设备位于所述目标位置；

在所述特征点与所述模板特征点之间的差异大于或等于预设值时，执行根据所述特征点控制智能设备从当前位置运动到目标位置的步骤。

8.一种目标物体识别对接装置，其特征在于，所述装置包括：

图像获取模块，用于实时获取环境图像；

特征点提取模块，用于在识别到所述环境图像中的所述目标物体时，提取所述目标物体的特征点；

控制模块，用于根据所述特征点控制智能设备从当前位置运动到目标位置，所述目标位置为所述智能设备对接所述目标物体时所处的位置。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储器，与所述一个或多个处理器电连接；

一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1至7任一项所述的方法。

10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。

Images