CN114789440B - 基于图像识别的目标对接方法、装置、设备及其介质 - Google Patents

基于图像识别的目标对接方法、装置、设备及其介质 Download PDF

Info

Publication number
CN114789440B
CN114789440B CN202210437107.7A CN202210437107A CN114789440B CN 114789440 B CN114789440 B CN 114789440B CN 202210437107 A CN202210437107 A CN 202210437107A CN 114789440 B CN114789440 B CN 114789440B
Authority
CN
China
Prior art keywords
candidate
target
convolution
mobile robot
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210437107.7A
Other languages
English (en)
Other versions
CN114789440A (zh
Inventor
王雷
陈熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecoflow Technology Ltd
Original Assignee
Ecoflow Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecoflow Technology Ltd filed Critical Ecoflow Technology Ltd
Priority to CN202210437107.7A priority Critical patent/CN114789440B/zh
Publication of CN114789440A publication Critical patent/CN114789440A/zh
Priority to PCT/CN2022/132656 priority patent/WO2023202062A1/zh
Application granted granted Critical
Publication of CN114789440B publication Critical patent/CN114789440B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请适用于图像识别技术领域，提供了一种基于图像识别的目标对接方法、装置、设备及其介质，通过获取移动机器人向目标物移动过程中的环境图像，从环境图像中提取关于目标物的初始特征图，将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，从而确定目标物在环境图像中的目标位置信息并根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。本申请实施例中采用的交叉卷积融合能够进行不同的卷积残差处理以及将不同的卷积残差处理得到的结果进行融合，从而提高了识别精度和识别效率。

Description

基于图像识别的目标对接方法、装置、设备及其介质
技术领域
本申请属于图像识别技术领域，尤其涉及一种基于图像识别的目标对接方法、装置、设备及其介质。
背景技术
随着现代科技的发展，各类小型移动机器人提高了社会的生产水平。例如，各类扫地机器人、拖地机器人、割草机器人等家用设备为人们的家居生活带来方便，各类运输机器人为工厂运输带来更高的效率。
移动机器人工作时，通常先驱动移动机器人到达指定的目的地后，机器人才开始执行一系列的相关作业操作，一般机器人通过识别目标物所在的目标位置来确定目的地。由于目标物通常较小，对目标物的检测识别往往涉及的计算量较大，进而导致对目标物的位置识别速度慢、效率低，并且识别精度不高。由于目标物的定位不准确，移动机器人容易发生偏航，导致无法精准到达目标物所在位置。
发明内容
本申请实施例提供了一种基于图像识别的目标对接方法、装置、设备及其介质，解决目前移动机器人识别目标物位置速度慢、效率低，并且识别精度不高的技术问题。
第一方面，本申请实施例提供了一种基于图像识别的目标对接方法，包括：
获取移动机器人向目标物移动过程中的环境图像；
从环境图像中提取关于目标物的初始特征图；
将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，其中，交叉卷积融合包括对初始特征图进行不同的卷积残差处理以及将不同的卷积残差处理得到的结果进行融合；
根据多个候选位置参数和每个候选位置参数对应的置信度确定目标物在环境图像中的目标位置信息；
根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。
第二方面，本申请实施例提供了一种基于图像识别的目标对接装置，包括：
获取模块，用于获取移动机器人向目标物移动过程中的环境图像；
处理模块，用于从环境图像中提取关于目标物的初始特征图；
处理模块，还用于将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，其中，交叉卷积融合包括对初始特征图进行不同的卷积残差处理以及将不同的卷积残差处理得到的结果进行融合；
处理模块，还用于根据多个候选位置参数和每个候选位置参数对应的置信度确定目标物在环境图像中的目标位置信息；
处理模块，还用于根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
本申请实施例与现有技术相比存在的有益效果是：
本申请实施例提供了一种基于图像识别的目标对接方法及装置，通过获取移动机器人向目标物移动过程中的环境图像，从环境图像中提取关于目标物的初始特征图，将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，从而确定目标物在环境图像中的目标位置信息并根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。本申请实施例中采用的交叉卷积融合能够进行不同的卷积残差处理，不同的卷积残差处理可以提取环境图像中的高层语义信息和低层语义信息，并且将不同的卷积残差处理得到的结果进行融合，能够融合高层语义信息和低层语义信息，提高了对目标物位置信息的识别精度和识别效率，在此基础上，通过提取到的目标位置信息来控制移动机器人的运动状态，可以减少机器人的偏航问题，使得移动机器人精准对接目标物。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中移动机器人的示意图；
图2为本申请实施例提供的基于图像识别的目标对接方法的流程图；
图3为本申请实施例中提取初始特征图的一个示例图；
图4为本申请实施例中进行预设次数交叉卷积融合的示意图；
图5为本申请实施例中仅进行1次交叉卷积融合时步骤203的详细流程图；
图6为本申请实施例中第1次交叉卷积融合的网络结构示例图；
图7为本申请实施例中第i次交叉卷积融合以及候选位置信息提取步骤的处理流程图；
图8为本申请实施例第i次交叉卷积融合的网络结构示例图；
图9为本申请实施例中获取候选位置信息所用的多个卷积层以及相关函数的结构示例图；
图10为本申请实施例中sigmoid函数的示意图；
图11为本申请实施例中特征图1的示例图；
图12为本申请实施例中候选位置信息的示意图；
图13为本申请实施例中确定目标物在环境图像中的目标位置信息的一种实施方式的流程图；
图14为本申请实施例中控制移动机器人运动状态的流程图；
图15为本申请实施例中目标物在环境图像中的示意图之一；
图16为本申请实施例中目标物在环境图像中的示意图之二；
图17为本申请实施例中目标物在环境图像中的示意图之三；
图18为本申请实施例提供的一种控制单元102的内部模块示意图；
图19为本申请实施例提供的终端设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
图1为本申请实施例中移动机器人的示意图。该移动机器人100可以是各类扫地机器人、拖地机器人、送菜机器人、运输机器人、割草机器人等，本申请实施例对移动机器人100的具体类型、功能不作限定。可以理解，本实施例中的移动机器人也还可以包括其他具有自移动功能的设备。
该移动机器人100上设置有摄像头101，用于拍摄移动机器人100周围的环境图像。摄像头101可以是固定的，也可以是非固定、可转动的，本申请实施例对此不作限定。摄像头101拍摄的环境图像可以是彩色图像、黑白图像、红外图像等，本申请实施例对此不作限定。
摄像头101连接移动机器人100内部的控制单元102。该控制单元102还连接移动机器人100的驱动部件，例如移动机器人100的转向轴、转向轮、电机等，用于控制移动机器人100的移动、转向等。
在本申请实施例中，控制单元102可以接收摄像头101拍摄到的环境图像，并根据本申请实施例提供的基于图像识别的目标对接方法处理环境图像，调整移动机器人100的前进方向，使得移动机器人100朝向目标物前进并对接。本申请实施例中的目标物可以是指目标货架、目标充电座或者目标位置等等，本申请实施例对此不作限定。示例性的，当移动机器人100在返航充电场景下，目标物可以是目标充电座，移动机器人100在返航充电过程中朝向目标充电座前进并对接，以实现充电。
以下将对本申请实施例提供的基于图像识别的目标对接方法进行详细的描述。该目标对接方法可以由移动机器人100内部的控制单元102或用于控制移动机器人100的云平台实施，本申请实施例对该目标对接方法的实施主体不作限定。以下以控制单元102作为执行主体进行详细的描述。
图2为本申请实施例提供的基于图像识别的目标对接方法的流程图。该流程包括步骤：
201、获取移动机器人向目标物移动过程中的环境图像。
在本申请实施例中，在移动机器人100向目标物移动过程中，控制单元102可以通过移动机器人100上的摄像头101获取环境图像。可以理解的是，环境图像可以是彩色图像、黑白图像或者是红外图像，本申请实施例对此不作限定。
在移动机器人100返航充电的场景中，控制单元102接收到返航充电指令，该返航充电指令可以是控制单元102在移动机器人100的剩余电量低于预设最低电量阈值时自动生成的返航信息，也可以是手机终端/云平台根据用户操作下发机器人返航至目的地的信息，可以控制移动机器人100向目标充电座移动并通过移动机器人100上的摄像头101获取环境图像。
202、从环境图像中提取关于目标物的初始特征图。
在本申请实施例中，控制单元102可以通过至少一层卷积层从环境图像中提取关于目标物的初始特征图。图3为本申请实施例中提取初始特征图的一个示例图。在本申请实施例中，卷积层规格参数W中的第一项表示卷积核的个数，第二项表示通道数，第三项和第四项表示卷积核的大小，偏置参数B表示表示偏置值，偏置值第一次是随机生成，后续通过梯度进行反向修正。如图3所示，卷积层301的规格参数W为<32×12×3×3>，表示卷积层301采用32个3×3大小的卷积核，对输入通道数是12的图像求卷积运算。卷积层302的规格参数W为<64×32×1×1>，表示采用64个1×1大小的卷积核，对输入通道数是32的图像求卷积运算。此外，Relu(Linear rectification function，线性整流函数)为激活函数，本申请实施例对此不作赘述。在如图3的示例中，控制单元102通过卷积层301和卷积层302对环境图像进行求卷积运算，得到关于目标物的初始特征图。
在实际应用中，控制单元102可以通过一层或多层卷积层对环境图像进行求卷积运算，得到关于目标物的初始特征图。本申请实施例对卷积层的层数不作限定。
203、将初始特征图进行预设次数的交叉卷积融合，以提取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度。
其中，交叉卷积融合用于对初始特征图进行不同的卷积残差处理以及将不同的卷积残差处理得到的结果进行融合，候选位置信息包括目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度。
图4为本申请实施例中进行预设次数交叉卷积融合的示意图。如图4所示，控制单元102可以对初始特征图进行预设次数的交叉卷积融合，从而得到目标物的候选位置信息。在该实施例中，交叉卷积融合具体为将卷积处理得到的卷积识别结果和残差处理得到的残差识别结果进行融合，以得到融合结果，由于卷积次数越多，即卷积层所在的结构越深，此时提取到的是高层语义信息，卷积次数越少，说明卷积层所在的结构越浅，此时提取到的是低层语义信息。同时，由于残差处理通过残差网络中的多个卷积层处理实现，即残差处理得到的语义信息更深，因此，将包含卷积处理得到的低层语义信息的卷积识别结果和残差处理得到的高层语义信息的残差识别结果进行融合，在不需要增加额外的卷积层的情况下，使得特征信息更加丰富，通过轻量网络实现高性能，提高识别精度。
在一些实施例中，控制单元102可以对初始特征图仅进行一次交叉卷积融合。图5为本申请实施例中仅进行1次交叉卷积融合时步骤203的详细流程图。如图5所示，步骤203可以包括以下步骤：
2031、将初始特征图作为第1次交叉卷积融合的输入特征，并进行卷积处理，得到卷积识别结果。
图6为本申请实施例中第1次交叉卷积融合的网络结构示例图。在本申请实施例中，如图6所示，控制单元102可以通过卷积层605对初始特征图进行卷积处理，得到卷积识别结果。
2032、将初始特征图经过残差处理，得到残差识别结果。
在本申请实施例中，如图6所示，控制单元102可以通过卷积层601、卷积层602、卷积层603、卷积层604组成的残差网络对初始特征图进行残差处理，得到残差识别结果。可以理解的是图6中的Add表示恒等映射，该恒等映射与传统残差网络中的恒等映射相同，本申请实施例对此不作赘述。
在本申请实施例中，卷积层601、卷积层602、卷积层603、卷积层604以及对应恒等映射组成的残差网络中，卷积层602、卷积层603以及该恒等映射组成一个残差块。在如图6的示例中，该残差网络包括一个残差块。在实际应用中，根据实际需要，残差网络中的残差块可以包括不止一个，本申请实施例对残差块的数量不做限定。
2033、将卷积识别结果和残差识别结果进行融合，得到融合结果。
在本申请实施例中，如图6所示，控制单元102可以通过合并数组运算(即concat运算)将卷积层605输出的卷积识别结果和卷积层604输出的残差识别结果进行融合，得到融合结果。
2034、从融合结果中获取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度。
在一些实施例中，控制单元102对初始特征图仅进行一次交叉卷积融合，则在进行了一次交叉卷积融合得到融合结果后，可以从融合结果中提取目标物的候选位置信息，其中，候选位置信息包括在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度。
在一些实施例中，控制单元102可以对初始特征图进行多次交叉卷积融合。在进行多次交叉卷积融合的实施例中，第1次交叉卷积融合的处理流程与上述步骤2031、步骤2032和步骤2033类似，本申请实施例对此不作赘述。
在进行多次交叉卷积融合的实施例中，第i次交叉卷积融合的处理流程如图7所示，图7为本申请实施例中第i次交叉卷积融合以及候选位置信息提取步骤的处理流程图，其中，2≤i≤K，K为预设次数。该流程包括：
2035、将第i-1次的融合结果作为第i次的输入特征，并进行卷积处理，得到第i次的卷积识别结果。
图8为本申请实施例第i次交叉卷积融合的网络结构示例图。如图8所示，控制单元102可以将第i-1次的融合结果作为第i次的输入特征，并进行卷积处理，得到第i次的卷积识别结果。
2036、将第i-1次的融合结果经过残差处理，得到第i次的残差识别结果。
如图8所示，控制单元102可以通过卷积层801、卷积层802、卷积层803、卷积层804、卷积层805、卷积层806结合Relu函数以及恒等映射(即图8所示的Add函数，累加函数)组成的残差网络对第i-1次的融合结果进行残差处理，得到第i次的残差识别结果。
在图8中的残差网络中，卷积层802、卷积层803以及对应恒等映射组成一个残差块，卷积层804、卷积层805以及对应恒等映射组成另一个残差块。可见，如图8的示例中的残差网络包括两个残差块。在实际应用中，根据实际需要，残差网络中的残差块数量可以为一个或多个，本申请实施例对残差块的数量不做限定。
2037、将第i次的卷积识别结果和第i次的残差识别结果进行融合，得到第i次的融合结果。
在本申请实施例中，如图8所示，控制单元102可以通过concat运算将卷积层807输出的卷积识别结果和卷积层806输出的残差识别结果进行融合，得到融合结果。
2038、从第i次的融合结果中获取目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度。
在本申请实施例中，根据实际需要，控制单元102可以从任意一次(即第i次)融合结果中获取目标物的候选位置信息。优选地，控制单元102在第K次融合结果中可以获取到目标物的较准确的候选位置信息。因此，在一些实施例中，经过了K次交叉卷积融合之后，控制单元102可以从最后一次(第K次)得到的融合结果中获取目标物的候选位置信息。
以下对控制单元102从融合结果中获取目标物的候选位置信息进行详细的描述。
在本申请实施例中，控制单元102可以通过多个卷积层以及相关激活函数，例如Relu函数(线性修正函数)、Sigmoid函数(S型生长曲线函数)等从融合结果中提取到多个融合特征图，从而得到目标物的候选位置信息，其中，融合特征图包括候选位置信息，候选位置信息包括目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，控制单元102通过多个卷积层以及相关函数从融合结果中提取到多个融合特征图，通过融合特征图能够清楚且准确地表现出目标物在环境图像中的多个候选位置参数以及每个候选位置参数对应的置信度，因此分析这些融合特征图能够更快速更准确地确定目标物的候选位置信息。图9为本申请实施例中获取候选位置信息所用的多个卷积层以及相关函数的结构示例图。如图9所示，融合结果经过卷积层901处理后的结果采用三种处理方式处理。
第一种处理方式为：通过卷积层902、Relu函数和卷积层903处理，并通过sigmoid函数，归一化到0～1之间，从而得到特征图1，如图10所示，图10为本申请实施例中sigmoid函数的示意图，特征图1展示了目标物对应的置信度。特征图1可以用1×1×128×128表示，其中第一个1表示一个图像，第二个1表示1个参数，即每一个像素点是否含有目标物的概率，可以用置信度obj_value表示。128×128表示特征图的大小，该特征图1具有128*128个像素点。图11为本申请实施例中特征图1的示例图。如图11所示，该特征图1具有128*128个像素点，每个像素点上的参数表示该像素点是否含有目标物的概率。
第二种处理方式为：通过卷积层904、Relu函数和卷积层905处理，从而得到特征图2和特征图3。其中，卷积层905的输出可以用1×2×128×128表示。其中，1表示一个图像，2表示有两组128*128的特征图输出，该特征图的值表示x和y大小，用x_value，y_value表示，也就是x_value、y_value的数量均有128个。
第三种处理方式为：通过卷积层906、Relu函数和卷积层907处理，从而得到特征图4和特征图5。其中，卷积层907的输出可以用1×2×128×128表示。其中，1表示一个图像，2表示两组128*128的特征图输出，该特征图的值表示w和h的大小，用w_value，h_value表示，也就是w_value、h_value的数量均有128个。
根据上述处理方式可以得到五张融合特征图，分别是特征图1、特征图2、特征图3、特征图4、特征图5。这五张融合特征图用于表示候选位置信息。图12为本申请实施例中候选位置信息的示意图。图12中，最下方obj_value对应的融合特征图为图9中的特征图1，上方x_value对应的融合特征图为图9中的特征图2，上方y_value对应的特征图为图9中的融合特征图3，中间w_value对应的融合特征图为图9中的特征图4，中间h_value对应的融合特征图为图9中的特征图5。如图12所示，候选位置信息包括目标物在环境图像中的多个候选位置参数，即特征图1、特征图2、特征图3、特征图4中的候选位置参数，分别为x_value表示目标物在环境图像中的x坐标，y_value表示目标物在环境图像中的y坐标，w_value表示目标物在环境图像中的宽度，h_value表示目标物在环境图像中的高度。候选位置信息还包括每个候选位置参数对应的置信度，即特征图1中的置信度参数obj_value。
本申请实施例提供了如图9所示的示例，用于从融合结果中获取关于目标物的候选位置信息。在实际应用中，控制单元102还可以通过其他方式从融合结果中获取关于目标物的候选位置信息，本申请实施例对此不作限定。
可以理解的是，上述的目标物在环境图像中的x坐标可以是指目标物的左上角顶点的x坐标，或者是目标物中心点的x坐标，或者是指定的与目标物具有关联关系的点的坐标，本申请实施例对此不作限定。同理，上述的目标物在环境图像中的y坐标可以是指目标物的左上角顶点的y坐标，或者是目标物中心点的y坐标，或者是指定的与目标物具有关联关系的点的坐标，本申请实施例对此不作限定。
204、根据多个候选位置参数和每个候选位置参数对应的置信度确定目标物在环境图像中的目标位置信息。
在本申请实施例中，控制单元102可以根据每个候选位置参数对应的置信度，从多个候选位置参数筛选到合适的候选位置参数作为目标物在环境图像中的目标位置信息。示例性的，如图12中，obj_value对应的融合特征图的所有置信度参数obj_value中，假设最大的置信度参数为坐标(1,1)对应的融合特征图，则可以从其余四个融合特征图中提取坐标(1,1)对应的候选位置参数作为目标物在环境图像中的目标位置信息。因此，选择置信度参数最大所对应的候选位置参数作为目标物在环境图像中的目标位置信息是一种实施方式。本申请还提供另一种实施方式如下：
图13为本申请实施例中确定目标物在环境图像中的目标位置信息的一种实施方式的流程图。该流程包括：
2041、提取多个融合特征图中相同位置对应的候选位置参数和候选位置参数对应的置信度，并组成关于目标物的候选参数集合。
在本申请实施例中，控制单元102可以提取相同位置对应的候选位置参数和候选位置参数对应的置信度，例如，对于坐标(1,1)的位置，在如图12的五张融合特征图中，每张融合特征图均选取坐标(1,1)位置对应的参数，即x1,1，y1,1，w1,1，h1,1和obj1,1，则可以得到坐标(1,1)位置对应的候选参数集合(x1,1，y1,1，w1,1，h1,1，obj1,1)。因此，本申请实施例中，一个位置对应一个候选参数集合。例如，坐标(1,1)的位置对应候选参数集合为(x1,1，y1,1，w1,1，h1,1，obj1,1)。
以此类推，对于如图12中的候选位置信息，可以提取得到128组候选参数集合(x_value，y_value，w_value，h_value，obj_value)，数据量为128*128*5个数据，可以通过如下公式表示：
其中，x0,0表示坐标(0,0)位置对应的x_value，其他参数以此类推，此处不再赘述。
2042、根据置信度与预设置信阈值的比对结果，从候选参数集合中筛选出目标候选参数集合。
在本申请实施例中，控制单元102可以从所有的候选参数集合中提取对应的置信度，并将每个置信度与预设置信阈值进行比对，从而得到置信度与预设置信阈值的比对结果。可以理解的是，置信度与预设置信阈值的比对结果可以确定比预设置信阈值大的置信度集合、比预设置信阈值小的置信度集合以及等于预设置信阈值的置信度集合。
在一种较优的实施例中，控制单元102可以选择比预设置信阈值大的置信度集合对应的候选参数集合作为目标候选参数集合。示例性的，预设置信阈值设置为0.7，则比0.7大的置信度对应的候选参数集合作为目标候选参数集合。目标候选参数集合通过以下公式可以表示：
在一种情况中，目标候选参数集合为空集合，则说明在当前环境图像中没有发现目标物。则控制单元102可以控制移动机器人100向左或向右旋转，直到检测到环境图像中有目标物。
在其它情况中，目标候选参数集合有1组以上候选参数集合，则可以通过步骤2043确定目标物的目标位置信息。
2043、根据目标候选参数集合中的候选位置参数，确定目标物的目标位置信息。
在一种情况中，目标候选参数集合有1组候选参数集合，则控制单元102可以直接将该组候选参数集合作为目标物的目标位置信息。
在另一种情况中，目标候选参数集合有多组候选参数集合，则控制单元102可以根据预设条件，从目标候选参数集合中选择符合预设条件的候选位置参数作为新的目标候选参数集合，实现进一步筛选。本申请实施例提供较优的实施方式如下：
当候选参数集合中的置信度为最大时，控制单元102将最大置信度对应的候选参数集合确定为目标候选参数集合。示例性的，目标候选参数集合中包括三组候选参数集合，即(x1,1，y1,1，w1,1，h1,1，obj1,1)、(x2,2，y2,2，w2,2，h2,2，obj2,2)和(x3,3，y3,3，w3,3，h3,3，obj3,3)。控制单元102检测到obj1,1、obj2,2、obj3,3中，obj1,1的值最大。则控制单元102可以将obj1,1对应的候选参数集合(x1,1，y1,1，w1,1，h1,1，obj1,1)确定为目标候选参数集合。在该实施方式中，通过将最大置信度对应的候选参数集合确定为目标候选参数集合，能够实现较优的识别精度。
最后，控制单元102可以根据目标候选参数集合中的候选位置参数，确定目标物的目标位置信息。例如，目标候选参数集合为(x1,1，y1,1，w1,1，h1,1，obj1,1)，则可以确定为目标物在环境图像中的x坐标，y1,1为目标物在环境图像中的y坐标，w1,1为目标物在环境图像中的宽度，h1,1为目标物在环境图像中的高度。
在该实施例中，通过候选位置参数对应的置信度来筛选合适的候选位置参数，从而提高识别精度。
205、根据目标位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。
在本申请实施例中，控制单元102确定目标物在环境图像中的目标位置信息后，可以根据该位置信息控制移动机器人的运动状态，以使得移动机器人与目标物对接。其中，运动状态可以包括但不限于运动姿态方向和运动前进时的速度，运动姿态方向可以是向左、向右、正向或者偏移一定角度的方向。具体地，图14为本申请实施例中控制移动机器人运动状态的流程图。该流程包括：
2051、获取环境图像的中心点位置。
在本申请实施例中，控制单元102首先确定环境图像的中心点位置。可以理解的是，控制单元102可以以环境图像中的顶点作为原点建立坐标系，例如以环境图像的左顶点作为原点，从而通过该坐标系描述环境图像的中心点位置。示例性的，如图15所示，环境图像的左上角顶点作为坐标系的原点。每一帧环境图像的宽高为640*480，则环境图像的右上角顶点为(640,0)，左下角顶点为(0,480)右下角顶点为(640,480)，环境图像的中心点位置可以为(640/2，480/2)即(320，240)。
2052、根据目标位置信息计算得到目标物的中心点位置。
在本申请实施例中，控制单元102确定了目标物的x坐标、y坐标以及宽高之后，可以识别到目标物的左上角坐标(x0，y0)和右下角坐标(x1，y1)。示例性的，预先设定位置信息中，x坐标、y坐标为目标物左上角顶点坐标，则x0即为x坐标，y0即为y坐标。则右下角坐标x1等于x坐标加上宽度w，y1为y坐标减去高度h。
控制单元102识别到目标物的左上角坐标(x0，y0)和右下角坐标(x1，y1)后，可以计算得到目标物的中心点位置(Xc，Yc)。目标物的中心点位置(Xc，Yc)可以用公式表示如下：
Xc＝(x0+x1)/2；
Yc＝(y0+y1)/2。
2053、根据目标物的中心点位置与环境图像的中心点位置之间的偏移量，调整移动机器人的运动状态，以使得移动机器人与目标物对接。
在本申请实施例中，控制单元102可以根据目标物的中心点位置与环境图像的中心点位置之间的偏移量，调整移动机器人的运动状态。在本申请实施例中，偏移量的正负可以表示偏移的方向，示例性的，x坐标对应的偏移量为正，则表示偏移方向为右侧，x坐标对应的偏移量为负，则表示偏移方向为左侧。偏移量的大小则可以表示偏移的程度。可以理解的是，偏移量为0则表示没有偏移。因此，控制单元102根据目标物的中心点位置与环境图像的中心点位置之间的偏移量，可以确定目标物距离环境图像中心的偏移方向和偏移大小，从而控制移动机器人向没有偏移的状态运动，从而使得移动机器人与目标物对接。
在该实施例中，通过比较目标物的中心点位置与环境图像的中心点位置，能够准确识别移动机器人与目标物之间的偏移情况，从而根据偏移情况调整移动机器人的运动状态，以使得移动机器人与目标物准确对接。
本申请实施例提供一种具体的实现方式包括以下步骤：根据偏移量确定移动机器人的前进方向和前进距离；根据前进方向调整移动机器人的运动姿态方向；控制移动机器人沿着运动姿态方向运动前进距离，以使移动机器人与目标物对接。其中，若根据偏移量确定偏移方向为左侧，则可以确定移动机器人的前进方向为向左前方前进，若根据偏移量确定偏移方向为右侧，则可以确定移动机器人的前进方向为向右前方前进。而前进距离可以与偏移量的大小正相关。在该实施例中，根据偏移量确定移动机器人的前进方向和前进距离，能够更加精确地控制移动机器人的运动姿态方向和前进距离，提高移动机器人与目标物对接的效果。
示例性的，以移动机器人对接充电座为例，在本示例中移动机器人可以为四足移动机器人，其中，四足包括位于四足机器人左右两侧的两个驱动轮和两个转向轮，其中，驱动轮为具备驱动力的后轮，转向轮为不具备自主动力的前轮，也可以称为从动轮。例如，规格为640*480的摄像头读取的图像的宽高为640*480，可以设置图像的中心点位置为640/2＝320，回充座的高度根据实际物理位置而定，且应在摄像头的视野中，如充电座高度的范围可以是(0～480)，本示例设置充电座的高度为200，当充电座的中心点位置等于320，也就是充电座在图像的正中心，此时驱动四足机器人向前直行，直到接触到充电座。当充电座的中心点位置小于320时，即充电座位于图像中心点的左边时，驱动四足机器人向左移动，具体驱动方式包括：右侧驱动轮开始向右驱动，左侧驱动轮则不予以动力驱动，使得两个转向轮向左转向，达到左转的目的，同时继续保持向左转向的状态，直到充电座的中心点位置等于图像的中心点位置时，停止转向，并向前直行。若充电座的中心点位置大于320，即充电座在图像的右边，控制四足机器人向右移动开始，转向方式同向左转向同理，此处不再赘述。
图15为本申请实施例中目标物在环境图像中的示意图之一。图15中，原点坐标为(0,0)，环境图像顶角坐标为(640,0)，如图15所示，目标物的中心点1502位置在环境图像的中心点1501位置的右侧，则控制单元102可以确定移动机器人的前进方向为向右前方前进，如图15中所示的右向箭头为移动机器人的向右前进方向。
图16为本申请实施例中目标物在环境图像中的示意图之二。图16中，原点坐标为(0,0)，环境图像顶角坐标为(640,0)，如图16所示，目标物的中心点1602位置与环境图像的中心点1601位置重合，则控制单元102可以确定移动机器人的前进方向为向正前方前进，如图16中所示的正向箭头为移动机器人的正前方向。
图17为本申请实施例中目标物在环境图像中的示意图之三。图17中，原点坐标为(0,0)，环境图像顶角坐标为(640,0)，如图17所示，目标物的中心点1702位置在环境图像的中心点1701位置的左侧，则控制单元102可以确定移动机器人的前进方向为向左前方前进，如图17中所示的左向箭头为移动机器人的向左前进方向。
然后控制单元102可以根据前进方向调整移动机器人的运动姿态方向。示例性的，前进方向为向右前方前进，则控制单元102可以调整移动机器人的转向轮向右旋转，从而调整移动机器人的运动姿态方向。前进方向为向左前方前进，则控制单元102可以调整移动机器人的转向轮向左旋转，从而调整移动机器人的运动姿态方向。
可以理解的是，移动机器人的转向轮可以是移动机器人的两个前轮，也可以是移动机器人的两个后轮，本申请实施例对此不作限定。
可以理解的是，经过上述方式调整移动机器人100的运动状态，可以使得移动机器人朝向目标物移动，从而使得移动机器人100与目标物对接。在返航充电场景下，目标物可以是目标充电座，移动机器人100在返航充电过程中朝向目标充电座前进并对接，以实现充电。
图18为本申请实施例提供的一种控制单元102的内部模块示意图。该控制单元102的内部模块包括：
获取模块1801，用于执行或实现如前述图2对应的各个实施例中的步骤201；
处理模块1802，用于执行或实现如前述图2对应的各个实施例中的步骤202、步骤203、步骤204、步骤205。
图19为本申请实施例提供的终端设备的示意图。该终端设备1900可以是上述实施例中的移动机器人100。该终端设备1900包括存储器1902、处理器1901以及存储在存储器1902中并可在处理器1901上运行的计算机程序1903，处理器1901执行计算机程序1903时实现如图2、图5、图7、图13或图14对应的各个实施例的方法。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

Claims (10)

1.一种基于图像识别的目标对接方法，其特征在于，包括：
获取移动机器人向目标物移动过程中的环境图像；
从所述环境图像中提取关于所述目标物的初始特征图；
将所述初始特征图进行预设次数的交叉卷积融合，以提取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度；其中，所述交叉卷积融合包括对所述初始特征图进行卷积处理和残差处理，将所述卷积处理得到的卷积识别结果和所述残差处理得到的残差识别结果进行融合；
根据所述多个候选位置参数和每个所述候选位置参数对应的置信度确定所述目标物在所述环境图像中的目标位置信息；
根据所述目标位置信息控制所述移动机器人的运动状态，以使得所述移动机器人与所述目标物对接。
2.如权利要求1所述的方法，其特征在于，所述将所述初始特征图进行预设次数的交叉卷积融合，以提取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度，包括：
将所述初始特征图作为第1次交叉卷积融合的输入特征，并进行卷积处理，得到卷积识别结果；
将所述初始特征图经过残差处理，得到残差识别结果；
将所述卷积识别结果和残差识别结果进行融合，得到融合结果；
从融合结果中获取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度。
3.如权利要求2所述的方法，其特征在于，所述将所述初始特征图进行预设次数的交叉卷积融合，以提取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度还包括：
将第i-1次的融合结果作为第i次的输入特征，并进行卷积处理，得到第i次的卷积识别结果；
将所述第i-1次的融合结果经过残差处理，得到第i次的残差识别结果；
将所述第i次的卷积识别结果和所述第i次的残差识别结果进行融合，得到第i次的融合结果；
从所述第i次的融合结果中获取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度；
其中，2≤i≤K，K为预设次数。
4.如权利要求2所述的方法，其特征在于，所述融合结果包括所述环境图像对应的多个融合特征图，所述根据所述多个候选位置参数和每个所述候选位置参数对应的置信度确定所述目标物在所述环境图像中的目标位置信息，包括：
提取所述多个融合特征图中相同位置对应的所述候选位置参数和所述候选位置参数对应的所述置信度，并组成关于所述目标物的候选参数集合，其中，一个所述相同位置对应一个所述候选参数集合；
根据所述置信度与预设置信阈值的比对结果，从所述候选参数集合中筛选出目标候选参数集合；
根据所述目标候选参数集合中的所述候选位置参数，确定所述目标物的目标位置信息。
5.如权利要求4所述的方法，其特征在于，所述根据所述置信度与预设置信阈值的比对结果，从所述候选参数集合中筛选出目标候选参数集合，包括：
当所述比对结果的候选参数集合中的置信度为最大时，将最大置信度对应的候选参数集合确定为目标候选参数集合。
6.如权利要求1-5任一项所述的方法，其特征在于，所述根据所述目标位置信息控制所述移动机器人的运动状态，以使得所述移动机器人与所述目标物对接，包括：
获取所述环境图像的中心点位置；
根据所述目标位置信息计算得到所述目标物的中心点位置；
根据所述目标物的中心点位置与所述环境图像的中心点位置之间的偏移量，调整所述移动机器人的运动状态，以使得所述移动机器人与所述目标物对接。
7.如权利要求6所述的方法，其特征在于，所述运动状态包括运动姿态方向，所述根据所述目标物的中心点位置与所述环境图像的中心点位置之间的偏移量，调整所述移动机器人的运动状态，以使得所述移动机器人与所述目标物对接，包括：
根据所述偏移量确定所述移动机器人的前进方向和前进距离；
根据所述前进方向调整所述移动机器人的运动姿态方向；
控制所述移动机器人沿着所述运动姿态方向运动所述前进距离，以使所述移动机器人与所述目标物对接。
8.一种基于图像识别的目标对接装置，其特征在于，包括：
获取模块，用于获取移动机器人向目标物移动过程中的环境图像；
处理模块，用于从所述环境图像中提取关于所述目标物的初始特征图；
所述处理模块，还用于将所述初始特征图进行预设次数的交叉卷积融合，以提取所述目标物在所述环境图像中的多个候选位置参数以及每个所述候选位置参数对应的置信度，其中，所述交叉卷积融合包括对所述初始特征图进行卷积处理和残差处理，将所述卷积处理得到的卷积识别结果和所述残差处理得到的残差识别结果进行融合；
所述处理模块，还用于根据所述多个候选位置参数和每个所述候选位置参数对应的置信度确定所述目标物在所述环境图像中的目标位置信息；
所述处理模块，还用于根据所述目标位置信息控制所述移动机器人的运动状态，以使得所述移动机器人与所述目标物对接。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
CN202210437107.7A 2022-04-22 2022-04-22 基于图像识别的目标对接方法、装置、设备及其介质 Active CN114789440B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210437107.7A CN114789440B (zh) 2022-04-22 2022-04-22 基于图像识别的目标对接方法、装置、设备及其介质
PCT/CN2022/132656 WO2023202062A1 (zh) 2022-04-22 2022-11-17 基于图像识别的目标对接方法、终端设备及其介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210437107.7A CN114789440B (zh) 2022-04-22 2022-04-22 基于图像识别的目标对接方法、装置、设备及其介质

Publications (2)

Publication Number Publication Date
CN114789440A CN114789440A (zh) 2022-07-26
CN114789440B true CN114789440B (zh) 2024-02-20

Family

ID=82460837

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210437107.7A Active CN114789440B (zh) 2022-04-22 2022-04-22 基于图像识别的目标对接方法、装置、设备及其介质

Country Status (2)

Country Link
CN (1) CN114789440B (zh)
WO (1) WO2023202062A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114789440B (zh) * 2022-04-22 2024-02-20 深圳市正浩创新科技股份有限公司 基于图像识别的目标对接方法、装置、设备及其介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109506628A (zh) * 2018-11-29 2019-03-22 东北大学 一种基于深度学习的卡车环境下目标物测距方法
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110032196A (zh) * 2019-05-06 2019-07-19 北京云迹科技有限公司 一种机器人回充方法及装置
CN110660082A (zh) * 2019-09-25 2020-01-07 西南交通大学 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN111598950A (zh) * 2020-04-23 2020-08-28 四川省客车制造有限责任公司 一种基于机器视觉的客车列车自动铰接方法及系统
CN112767443A (zh) * 2021-01-18 2021-05-07 深圳市华尊科技股份有限公司 目标跟踪方法、电子设备及相关产品
CN113989753A (zh) * 2020-07-09 2022-01-28 浙江大华技术股份有限公司 一种多目标检测处理方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163197B (zh) * 2018-08-24 2023-03-10 腾讯科技（深圳）有限公司 目标检测方法、装置、计算机可读存储介质及计算机设备
CN110866526A (zh) * 2018-08-28 2020-03-06 北京三星通信技术研究有限公司 图像分割方法、电子设备及计算机可读存储介质
CN112307853A (zh) * 2019-08-02 2021-02-02 成都天府新区光启未来技术研究院 航拍图像的检测方法、存储介质和电子装置
CN110751134B (zh) * 2019-12-23 2020-05-12 长沙智能驾驶研究院有限公司 目标检测方法、装置、存储介质及计算机设备
CN111136648B (zh) * 2019-12-27 2021-08-27 深圳市优必选科技股份有限公司 一种移动机器人的定位方法、定位装置及移动机器人
CN111694358B (zh) * 2020-06-19 2022-11-08 京东科技信息技术有限公司 运送机器人的控制方法、装置、运送机器人和存储介质
CN113989616A (zh) * 2021-10-26 2022-01-28 北京锐安科技有限公司 一种目标检测方法、装置、设备和存储介质
CN114789440B (zh) * 2022-04-22 2024-02-20 深圳市正浩创新科技股份有限公司 基于图像识别的目标对接方法、装置、设备及其介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109506628A (zh) * 2018-11-29 2019-03-22 东北大学 一种基于深度学习的卡车环境下目标物测距方法
CN109740463A (zh) * 2018-12-21 2019-05-10 沈阳建筑大学 一种车载环境下的目标检测方法
CN110032196A (zh) * 2019-05-06 2019-07-19 北京云迹科技有限公司 一种机器人回充方法及装置
CN110660082A (zh) * 2019-09-25 2020-01-07 西南交通大学 一种基于图卷积与轨迹卷积网络学习的目标跟踪方法
CN111598950A (zh) * 2020-04-23 2020-08-28 四川省客车制造有限责任公司 一种基于机器视觉的客车列车自动铰接方法及系统
CN113989753A (zh) * 2020-07-09 2022-01-28 浙江大华技术股份有限公司 一种多目标检测处理方法及装置
CN112767443A (zh) * 2021-01-18 2021-05-07 深圳市华尊科技股份有限公司 目标跟踪方法、电子设备及相关产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
面向户外增强现实的地理实体目标检测;乔延军;饶锦蒙;王骏星;杜清运;任福;;地理信息世界(05);参见第59-36页 *

Also Published As

Publication number Publication date
WO2023202062A1 (zh) 2023-10-26
CN114789440A (zh) 2022-07-26

Similar Documents

Publication Publication Date Title
JP6842520B2 (ja) 物体検出方法、装置、機器、記憶媒体及び車両
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
US20230154015A1 (en) Virtual teach and repeat mobile manipulation system
CN113108771B (zh) 一种基于闭环直接稀疏视觉里程计的移动位姿估计方法
US11292129B2 (en) Performance recreation system
US11713977B2 (en) Information processing apparatus, information processing method, and medium
JP2005078376A (ja) 対象物検出装置、対象物方法、及びロボット装置
WO2021184359A1 (zh) 目标跟随方法、目标跟随装置、可移动设备和存储介质
CN114789440B (zh) 基于图像识别的目标对接方法、装置、设备及其介质
Utaminingrum et al. Development of computer vision based obstacle detection and human tracking on smart wheelchair for disabled patient
CN116309719A (zh) 目标跟踪方法、装置、计算机设备和存储介质
Nalpantidis et al. Stereovision-based fuzzy obstacle avoidance method
WO2021203368A1 (zh) 图像处理方法、装置、电子设备和存储介质
WO2023036212A1 (zh) 货架定位方法、货架对接方法以及装置、设备、介质
CN110175523B (zh) 一种自移动机器人动物识别与躲避方法及其存储介质
CN113673276A (zh) 目标物体识别对接方法、装置、电子设备及存储介质
CN115930964A (zh) 一种动态环境下的同时定位与三维地图构建方法
CN115272275A (zh) 基于rgb-d相机及神经网络模型的托盘、障碍物检测定位系统和方法
CN115446846A (zh) 一种基于条码识别的图书盘点机器人
Zhou et al. Visual tracking using improved multiple instance learning with co-training framework for moving robot
Tang et al. Online camera-gimbal-odometry system extrinsic calibration for fixed-wing UAV swarms
Song et al. Evolutionary Pose Measurement by Stereo Model Matching.
WO2024077708A1 (zh) 自移动设备的沿边控制方法、介质及自移动设备
CN114915036A (zh) 足式机器人充电控制方法及足式机器人
Zubair et al. Markerless Visual Servoing Using Virtual Face Tag and Image Moment Invariants

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000, 1st Floor, Building E, Jiehe Industrial City, Shuitian Community, Shiyan Street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Zhenghao Innovation Technology Co.,Ltd.

Address before: 518000 workshop A202, Founder science and Technology Industrial Park, north of Songbai highway, Longteng community, Shiyan street, Bao'an District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Zhenghao Innovation Technology Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: 518000 Factory Building 401, Runheng Industrial Plant 1, Fuyuan Road, Zhancheng Community, Fuhai Street, Bao'an District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen Zhenghao Innovation Technology Co.,Ltd.

Address before: 518000, 1st Floor, Building E, Jiehe Industrial City, Shuitian Community, Shiyan Street, Bao'an District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen Zhenghao Innovation Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant