CN117784801B - 跟踪避障方法、装置、设备及存储介质 - Google Patents
跟踪避障方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117784801B CN117784801B CN202410212399.3A CN202410212399A CN117784801B CN 117784801 B CN117784801 B CN 117784801B CN 202410212399 A CN202410212399 A CN 202410212399A CN 117784801 B CN117784801 B CN 117784801B
- Authority
- CN
- China
- Prior art keywords
- person
- information
- image
- type
- obstacle avoidance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims description 46
- 230000006870 function Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 13
- 238000004519 manufacturing process Methods 0.000 abstract description 7
- 238000013136 deep learning model Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- YOBAEOGBNPPUQV-UHFFFAOYSA-N iron;trihydrate Chemical compound O.O.O.[Fe].[Fe] YOBAEOGBNPPUQV-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种跟踪避障方法、装置、设备及存储介质，属于自动化技术领域。本申请通过获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息；基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置；基于所述三维空间的位置，规划避障路径，本申请使得自动割草机的生产成本低。
Description
技术领域
本申请涉及自动化领域，尤其涉及跟踪避障方法、装置、设备及存储介质。
背景技术
随着经济和科技的发展，割草机的使用也变得越来越频繁，但由于割草工作的难度不高但非常消耗体力，自动割草机正逐步代替传统的手动割草机成为主流选择。
在现有技术中，自动割草机使用摄像头获取前方的路线图片，再通过深度学习模型直接识别前方图片上的人物的位置，然后规划并实现避障的操作，但由于深度学习模型直接检测摄像头获取的路线图片上的人物的位置需要消耗非常大的算力，导致自动割草机的生产成本过高。
上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种跟踪避障方法、装置、设备及存储介质，旨在解决自动割草机的生产成本过高的技术问题。
为实现上述目的，本申请提供一种跟踪避障方法，所述跟踪避障方法包括以下步骤：
获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息；
基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置；
基于所述三维空间的位置，规划避障路径。
可选地，所述获取图像信息的步骤，包括：
获取相机拍摄的图像；
将拍摄的图像输入预设的人物预测模型，确定图像中的人物识别信息，其中，所述人物预测模型是基于原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练得到的，所述人物识别信息包含人物的类型和高度信息；
将所述人物识别信息输出为图像信息。
可选地，所述基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置的步骤，包括：
读取图像信息中人物的类型对应的平均身高信息；
基于图像信息中人物的平均身高信息和高度信息，使用预设的人物类型对应的人物距离计算函数计算所述人物与拍摄点的距离信息；
基于所述人物与拍摄点的距离信息，以所述拍摄点为中心，朝向为Z轴，地平面为X轴，确定所述人物在三维空间中的Y轴数据；
将所述三维空间中X轴、Y轴和Z轴的数据组合，并输出为所述人物在三维空间中的位置。
可选地，所述获取图像信息的步骤之前，所述方法包括：
获取图像中人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息；
基于人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息，计算三者之间的函数关系，并输出为人物类型对应的人物距离计算函数。
可选地，所述获取图像信息的步骤之前，所述方法包括：
获取图像训练集的原始图像数据和所述原始图像数据对应的图像识别标签；
基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型。
可选地，所述获取图像训练集的原始图像数据的步骤，包括：
获取图像训练集的原始图像数据；
对各图像训练集的原始图像数据进行对称交换处理，得到目标原始图像数据，以实现原始图像数据的数据扩充。
可选地，所述基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型的步骤，包括：
将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息；
将所述预测人物识别信息与所述原始图像数据对应的图像识别标签进行差异计算，得到第一损失值；
若所述第一损失值未满足预设损失阈值范围指示的误差标准，则返回将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息的步骤，直到所述第一损失值满足预设损失阈值范围指示的误差标准后停止训练，得到具有满足精度条件的人物预测模型。
此外，为实现上述目的，本申请还提供一种跟踪避障装置，所述装置包括：
第一获取模块，用于获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息；
确定模块，用于基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置；
规划模块，用于基于所述三维空间的位置，规划避障路径。
此外，为实现上述目的，本申请还提供一种跟踪避障设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跟踪避障程序，所述跟踪避障程序配置为实现如上所述的跟踪避障方法的步骤。
此外，为实现上述目的，本申请还提供一种存储介质，所述存储介质上存储有跟踪避障程序，所述跟踪避障程序被处理器执行时实现如上所述的跟踪避障方法的步骤。
本申请提供一种跟踪避障方法、装置、设备及存储介质，与相关技术中通过深度学习模型直接识别前方图片上的人物的位置，然后规划并实现避障的操作，导致自动割草机的生产成本过高相比，本申请通过获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息；基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置；基于所述三维空间的位置，规划避障路径，可以理解，本申请使用深度学习模型只确认图像中人物的类型和大小，再使用预设的人物距离计算函数计算人物的位置，由于只确认图像中人物的类型和大小需要的算力大幅低于直接识别人物位置消耗的算力，使得所述跟踪避障方法消耗的算力比传统的跟踪避障方法更低，解决了现有技术中自动割草机的生产成本过高的问题。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的跟踪避障设备的结构示意图；
图2为本申请跟踪避障方法第一实施例的流程示意图；
图3为本申请跟踪避障方法第二实施例的流程示意图；
图4为本申请跟踪避障方法第三实施例的流程示意图；
图5为本申请跟踪避障装置的结构框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
参照图1，图1为本申请实施例方案涉及的硬件运行环境的跟踪避障设备结构示意图。
如图1所示，该跟踪避障设备可以包括：处理器1001，例如中央处理器（CentralProcessing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（WIreless-FIdelity，WI-FI）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM）存储器，也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对跟踪避障设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及跟踪避障程序。
在图1所示的跟踪避障设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请跟踪避障设备中的处理器1001、存储器1005可以设置在跟踪避障设备中，所述跟踪避障设备通过处理器1001调用存储器1005中存储的跟踪避障程序，并执行本申请实施例提供的跟踪避障方法。
本申请实施例提供了一种跟踪避障方法，参照图2，图2为本申请一种跟踪避障方法第一实施例的流程示意图。
需要说明的是，本实施例的方法执行主体为跟踪避障设备，所述跟踪避障设备可以是移动终端或无线控制器等具有数据处理能力的设备，本申请不进行具体的限制。
以下以移动终端为跟踪避障设备进行具体说明。
可以理解的是，在现有技术中，有的自动割草机使用摄像头获取前方的路线图片，再通过深度学习模型直接识别前方图片上的人物的位置，然后规划并实现避障的操作，但由于深度学习模型直接检测摄像头获取的路线图片上的人物的位置需要消耗非常大的算力，导致自动割草机的生产成本过高，还有的自动割草机使用UWB（超宽带技术）实现障碍物定位，但由于UWB的实现需要信号收发装置，虽然不需要消耗过大的算力，但是额外的信号收发装置需要额外的设备导致生产成本过高，本方案只使用摄像头获取前方的路线图片，不需要额外的设备，然后使用深度学习模型只确认图像中人物的类型和大小，再使用预设的人物距离计算函数计算人物的位置，由于只确认图像中人物的类型和大小需要的算力大幅低于直接识别人物位置消耗的算力，使得所述跟踪避障方法消耗的算力比传统的跟踪避障方法更低，解决了现有技术中自动割草机的生产成本过高的问题。
应当说明的是，所述UWB利用纳秒级的非正弦波窄脉冲传输数据，占据的频谱范围很宽，分辨率较高，其中，常用的定位方法是信号强度分析法（RSS）、到达角度定位法（AOA）、到达时间定位法（TOA）和到达时间差定位法（TDOA）。
本实施例中，所述跟踪避障方法包括：
步骤S10：获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息。
在具体实现中，跟踪避障设备获取图像中人物的类型和高度信息，并将所述信息输出为图像信息。
其中，所述获取图像信息的步骤，具体包括：
步骤S11：获取相机拍摄的图像。
在具体实现中，跟踪避障设备获取相机拍摄的RGB图像。
需要说明的是，所述RGB图像由多个色阶单元（RGB单元）组成，“RGB”是英文红色（Red）、绿色（Green）和蓝色（Blue）的首字母，其中，每个色阶单元都由红绿蓝三个颜色的数值组成，所述色阶单元通过RGB数值可以对应显示一种颜色，RGB每种颜色的值的范围是0~255，越靠近0，代表这部分颜色越接近黑色，越靠近255，代表这部分颜色越接近白色，色阶单元可以使用不同数值的红色、绿色和蓝色合成任意一种颜色并且以数值的方式传输记录。
例如，纯黄色由255的红色、255的绿色以及0的蓝色组成，转换成数值则为（R：255，G：255，B：0）；
粉色由255的红色、0的绿色以及255的蓝色组成，转换成数值则为（R：255，G：0，B：255）；
橙色由255的红色、127的绿色以及0的蓝色组成，转换成数值则为（R：255，G：127，B：0）。
步骤S12：将拍摄的图像输入预设的人物预测模型，确定图像中的人物识别信息，其中，所述人物预测模型是基于原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练得到的，所述人物识别信息包含人物的类型和高度信息。
在具体实现中，跟踪避障设备将拍摄的图像输入预设的人物预测模型，确定图像中的人物识别信息。
例如，输入是24个图像（即所述原始图像数据对应的图像识别标签的个数是24），人物预测模型输出节点个数和图像个数统一，输出节点为24个，每个节点的标签为[0，1]，其中0代表当图像是冗余的，1代表当图像素是必须的，所以模型输出为1*24的一个向量，分别由[0，1]组成，原始图像数据是节点输出为1所对应的图像，冗余的部分的图像是节点输出为0所对应的图像，即输入原始24通道数据，输出是一个24维的向量，表征每个图像是否是冗余图像，如果是冗余图像在后续的任务中可以忽略，在进入后续的信号处理时降低了前端的输入数据量，通过原始图像自选择从而达到节省算力的目的。
步骤S13：将所述人物识别信息输出为图像信息。
在具体实现中，跟踪避障设备将所述人物识别信息输出为图像信息。
步骤S20：基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置。
在具体实现中，跟踪避障设备基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置。
其中，所述基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置的步骤，具体包括：
步骤S21：读取图像信息中人物的类型对应的平均身高信息。
在具体实现中，跟踪避障设备读取图像信息中人物的类型对应的平均身高信息。
需要说明的是，所述平均身高信息是预设得到的，所述人物的类型包括儿童、成年男性和成年女性。
步骤S22：基于图像信息中人物的平均身高信息和高度信息，使用预设的人物类型对应的人物距离计算函数计算所述人物与拍摄点的距离信息。
在具体实现中，跟踪避障设备基于图像信息中人物的平均身高信息和高度信息，使用预设的人物类型对应的人物距离计算函数计算所述人物与拍摄点的距离信息。
步骤S23：基于所述人物与拍摄点的距离信息，以所述拍摄点为中心，朝向为Z轴，地平面为X轴，确定所述人物在三维空间中的Y轴数据。
在具体实现中，跟踪避障设备基于所述人物与拍摄点的距离信息，以所述拍摄点为中心，朝向为Z轴，地平面为X轴，确定所述人物在三维空间中的Y轴数据。
可以理解的是，Z轴用于表征朝向，所述朝向为自动割草机的前进方向，X轴用于表征地平面，所述地平面的具体位置可基于需要预设得到，Y轴用于表征人物与自动割草机的距离。
步骤S24：将所述三维空间中X轴、Y轴和Z轴的数据组合，并输出为所述人物在三维空间中的位置。
在具体实现中，跟踪避障设备将所述三维空间中X轴、Y轴和Z轴的数据组合，并输出为所述人物在三维空间中的位置。
步骤S30：基于所述三维空间的位置，规划避障路径。
在具体实现中，跟踪避障设备基于所述三维空间的位置，规划避障路径。
本申请提供一种跟踪避障方法、装置、设备及存储介质，与相关技术中通过深度学习模型直接识别前方图片上的人物的位置，然后规划并实现避障的操作，导致自动割草机的生产成本过高相比，在本实施例中，本申请通过获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息；基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置；基于所述三维空间的位置，规划避障路径，可以理解，本申请使用深度学习模型只确认图像中人物的类型和大小，再使用预设的人物距离计算函数计算人物的位置，由于只确认图像中人物的类型和大小需要的算力大幅低于直接识别人物位置消耗的算力，使得所述跟踪避障方法消耗的算力比传统的跟踪避障方法更低，解决了现有技术中自动割草机的生产成本过高的问题。
本申请第二实施例提供了一种跟踪避障方法，参照图3，所述步骤S10之前，所述跟踪避障方法具体包括步骤A10-A20：
步骤A10：获取图像中人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息。
在具体实现中，跟踪避障设备获取图像中人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息。
步骤A20：基于人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息，计算三者之间的函数关系，并输出为人物类型对应的人物距离计算函数。
在具体实现中，跟踪避障设备基于人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息，计算三者之间的函数关系，并输出为人物类型对应的人物距离计算函数。
在本实施例中，通过获取图像中人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息；基于人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息，计算三者之间的函数关系，并输出为人物类型对应的人物距离计算函数，使得本申请可以使用深度学习模型只确认图像中人物的类型和大小。
本申请第三实施例提供了一种跟踪避障方法，参照图4，所述步骤S10之前，所述跟踪避障方法具体包括步骤B10-B20：
步骤B10：获取图像训练集的原始图像数据和所述原始图像数据对应的图像识别标签。
在具体实现中，跟踪避障设备获取图像训练集的原始图像数据和所述原始图像数据对应的图像识别标签。
例如，图像训练集A为24个原始图像，图像训练集A原始图像数据包括历史时刻X的原始图像数据X1-X24，以及历史时刻Y的原始图像数据Y1-Y24，原始图像数据X1-X24对应的图像识别标签为X1-X15，原始图像数据Y1-Y24对应的图像识别标签为Y1-Y10。
其中，所述获取图像训练集的原始图像数据和所述原始图像数据对应的图像识别标签的步骤，具体包括：
步骤B11：获取图像训练集的原始图像数据。
在具体实现中，跟踪避障设备获取图像训练集的原始图像数据。
步骤B12：对各图像训练集的原始图像数据进行对称交换处理，得到目标原始图像数据，以实现原始图像数据的数据扩充。
在具体实现中，跟踪避障设备对各图像训练集的原始图像数据进行对称交换处理，得到目标原始图像数据，以实现原始图像数据的数据扩充。
可以理解的是，由于原始图像数据比较稀疏，而深度学习网络对于数据需求比较大，在训练过程中采用通道交换的方案，即对称的图像数据进行交换，在不需要额外增加采集时间的情况下，可以将训练数据进行多倍扩充，具体可以将训练数据扩充到原始数据量的4倍。
步骤B20：基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型。
在具体实现中，跟踪避障设备基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型。
其中，所述基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型的步骤，具体包括：
步骤B21：将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息。
在具体实现中，跟踪避障设备将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息，其中，预测人物识别信息是在训练中的模型进行安全检测结果预测得到的，待训练检测模型与人物预测模型相比仅存在精度不同的区别（待训练检测模型精度更低），二者均具备处理原始图像数据的功能。
步骤B22：将所述预测人物识别信息与所述原始图像数据对应的图像识别标签进行差异计算，得到第一损失值。
在具体实现中，跟踪避障设备将所述预测人物识别信息与所述原始图像数据对应的图像识别标签进行差异计算，得到第一损失值。
步骤B23：若所述第一损失值未满足预设损失阈值范围指示的误差标准，则返回将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息的步骤，直到所述第一损失值满足预设损失阈值范围指示的误差标准后停止训练，得到具有满足精度条件的人物预测模型。
在具体实现中，若所述第一损失值未满足预设损失阈值范围指示的误差标准，跟踪避障设备则返回将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息的步骤，直到所述第一损失值满足预设损失阈值范围指示的误差标准后停止训练，得到具有满足精度条件的人物预测模型。
在本实施例中，通过获取图像训练集的原始图像数据和所述原始图像数据对应的图像识别标签；基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型，本申请使得人物预测模型的精度满足自动割草机跟踪避障的需求。
此外，本申请实施例还提出一种跟踪避障装置，参照图5，所述跟踪避障装置包括：
第一获取模块10，用于获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息；
确定模块20，用于基于图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置；
规划模块30，用于基于所述三维空间的位置，规划避障路径。
可选地，所述第一获取模块10包括：
第一获取单元，用于获取相机拍摄的图像；
第一输入单元，用于将拍摄的图像输入预设的人物预测模型，确定图像中的人物识别信息，其中，所述人物预测模型是基于原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练得到的，所述人物识别信息包含人物的类型和高度信息；
输出单元，用于将所述人物识别信息输出为图像信息。
可选地，所述确定模块20包括：
读取单元，用于读取图像信息中人物的类型对应的平均身高信息；
计算单元，用于基于图像信息中人物的平均身高信息和高度信息，使用预设的人物类型对应的人物距离计算函数计算所述人物与拍摄点的距离信息；
确定单元，用于基于所述人物与拍摄点的距离信息，以所述拍摄点为中心，朝向为Z轴，地平面为X轴，确定所述人物在三维空间中的Y轴数据；
组合单元，用于将所述三维空间中X轴、Y轴和Z轴的数据组合，并输出为所述人物在三维空间中的位置。
可选地，所述跟踪避障装置还包括：
第二获取模块，用于获取图像中人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息；
计算模块，用于基于人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息，计算三者之间的函数关系，并输出为人物类型对应的人物距离计算函数。
可选地，所述跟踪避障装置还包括：
第三获取模块，用于获取图像训练集的原始图像数据和所述原始图像数据对应的图像识别标签；
训练模块，用于基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型。
可选地，所述第三获取模块包括：
第二获取单元，用于获取图像训练集的原始图像数据；
处理单元，用于对各图像训练集的原始图像数据进行对称交换处理，得到目标原始图像数据，以实现原始图像数据的数据扩充。
可选地，所述训练模块包括：
第二输入单元，用于将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息；
差异计算单元，用于将所述预测人物识别信息与所述原始图像数据对应的图像识别标签进行差异计算，得到第一损失值；
返回单元，用于若所述第一损失值未满足预设损失阈值范围指示的误差标准，则返回将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息的步骤，直到所述第一损失值满足预设损失阈值范围指示的误差标准后停止训练，得到具有满足精度条件的人物预测模型。
本申请跟踪避障装置的具体实施方式与上述跟踪避障方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种存储介质，且所述存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的跟踪避障方法的步骤。
本申请存储介质具体实施方式与上述跟踪避障方法各实施例基本相同，在此不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还 包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、 方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光 盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (7)
1.一种跟踪避障方法，其特征在于，所述跟踪避障方法包括以下步骤：
获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息；
所述获取图像信息的步骤，包括：
获取相机拍摄的图像；
将拍摄的图像输入预设的人物预测模型，确定图像中的人物识别信息，其中，所述人物预测模型是基于原始图像数据和所述原始图像数据对应的人物识别标签，对预设的待训练预测模型进行迭代训练得到的，所述人物识别信息包含人物的类型和高度信息；
将所述人物识别信息输出为图像信息；
所述获取图像信息的步骤之前，所述方法包括：
获取图像中人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息；
基于人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息，计算三者之间的函数关系，并输出为人物类型对应的人物距离计算函数；
基于所述图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置；
所述基于所述图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置的步骤，包括：
读取所述图像信息中人物的类型对应的平均身高信息；
基于所述图像信息中人物的平均身高信息和高度信息，使用预设的人物类型对应的人物距离计算函数，计算所述人物与拍摄点的距离信息；
基于所述人物与拍摄点的距离信息，以所述拍摄点为中心，朝向为Z轴，地平面为X轴，确定所述人物在三维空间中的Y轴数据；
将所述三维空间中X轴、Y轴和Z轴的数据组合，并输出为所述人物在三维空间中的位置；
基于所述三维空间的位置，规划避障路径。
2.如权利要求1所述的跟踪避障方法，其特征在于，所述获取图像信息的步骤之前，所述方法包括：
获取图像训练集的原始图像数据和所述原始图像数据对应的图像识别标签；
基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型。
3.如权利要求2所述的跟踪避障方法，其特征在于，所述获取图像训练集的原始图像数据的步骤，包括：
获取图像训练集的原始图像数据；
对各图像训练集的原始图像数据进行对称交换处理，得到目标原始图像数据，以实现原始图像数据的数据扩充。
4.如权利要求2所述的跟踪避障方法，其特征在于，所述基于所述原始图像数据和所述原始图像数据对应的图像识别标签，对预设的待训练预测模型进行迭代训练，得到具有满足精度条件的像素预测模型的步骤，包括：
将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息；
将所述预测人物识别信息与所述原始图像数据对应的图像识别标签进行差异计算，得到第一损失值；
若所述第一损失值未满足预设损失阈值范围指示的误差标准，则返回将原始图像数据输入至所述预设待训练预测模型，得到预测人物识别信息的步骤，直到所述第一损失值满足预设损失阈值范围指示的误差标准后停止训练，得到具有满足精度条件的人物预测模型。
5.一种跟踪避障装置，其特征在于，所述装置包括：
第一获取模块，用于获取图像信息，其中，所述图像信息包括图像中人物的类型和高度信息；
所述第一获取模块包括：
第一获取单元，用于获取相机拍摄的图像；
第一输入单元，用于将拍摄的图像输入预设的人物预测模型，确定图像中的人物识别信息，其中，所述人物预测模型是基于原始图像数据和所述原始图像数据对应的人物识别标签，对预设的待训练预测模型进行迭代训练得到的，所述人物识别信息包含人物的类型和高度信息；
输出单元，用于将所述人物识别信息输出为图像信息；
第二获取模块，用于获取图像中人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息；
计算模块，用于基于人物的类型对应的身高信息和图像中人物的高度信息以及所述人物与拍摄点的距离信息，计算三者之间的函数关系，并输出为人物类型对应的人物距离计算函数；
确定模块，用于基于所述图像信息中人物的类型和高度信息以及人物类型对应的人物距离计算函数，确定所述人物在三维空间中的位置；
所述确定模块包括：
读取单元，用于读取图像信息中人物的类型对应的平均身高信息；
计算单元，用于基于图像信息中人物的平均身高信息和高度信息，使用预设的人物类型对应的人物距离计算函数计算所述人物与拍摄点的距离信息；
确定单元，用于基于所述人物与拍摄点的距离信息，以所述拍摄点为中心，朝向为Z轴，地平面为X轴，确定所述人物在三维空间中的Y轴数据；
组合单元，用于将所述三维空间中X轴、Y轴和Z轴的数据组合，并输出为所述人物在三维空间中的位置；
规划模块，用于基于所述三维空间的位置，规划避障路径。
6.一种跟踪避障设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跟踪避障程序，所述跟踪避障程序配置为实现如权利要求1至4中任一项所述的跟踪避障方法的步骤。
7.一种存储介质，其特征在于，所述存储介质上存储有跟踪避障程序，所述跟踪避障程序被处理器执行时实现如权利要求1至4中任一项所述的跟踪避障方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410212399.3A CN117784801B (zh) | 2024-02-27 | 2024-02-27 | 跟踪避障方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410212399.3A CN117784801B (zh) | 2024-02-27 | 2024-02-27 | 跟踪避障方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117784801A CN117784801A (zh) | 2024-03-29 |
| CN117784801B true CN117784801B (zh) | 2024-05-28 |
Family
ID=90394916
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410212399.3A Active CN117784801B (zh) | 2024-02-27 | 2024-02-27 | 跟踪避障方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117784801B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942474A (zh) * | 2019-11-27 | 2020-03-31 | 炬星科技（深圳）有限公司 | 机器人目标跟踪方法、设备及存储介质 |
| CN115761700A (zh) * | 2022-11-30 | 2023-03-07 | 江铃汽车股份有限公司 | 行人距离计算方法、系统、计算机及可读存储介质 |
| CN116258740A (zh) * | 2021-12-01 | 2023-06-13 | 常州星宇车灯股份有限公司 | 基于多摄像头像素融合的车载前视多目标跟踪方法 |
| CN116486366A (zh) * | 2022-01-24 | 2023-07-25 | 株式会社丰田自动织机 | 人检测系统的图像处理装置 |
| CN117576664A (zh) * | 2024-01-17 | 2024-02-20 | 锐驰激光(深圳)有限公司 | 障碍物面积计算方法、装置、设备及存储介质 |
-
2024
- 2024-02-27 CN CN202410212399.3A patent/CN117784801B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942474A (zh) * | 2019-11-27 | 2020-03-31 | 炬星科技（深圳）有限公司 | 机器人目标跟踪方法、设备及存储介质 |
| CN116258740A (zh) * | 2021-12-01 | 2023-06-13 | 常州星宇车灯股份有限公司 | 基于多摄像头像素融合的车载前视多目标跟踪方法 |
| CN116486366A (zh) * | 2022-01-24 | 2023-07-25 | 株式会社丰田自动织机 | 人检测系统的图像处理装置 |
| CN115761700A (zh) * | 2022-11-30 | 2023-03-07 | 江铃汽车股份有限公司 | 行人距离计算方法、系统、计算机及可读存储介质 |
| CN117576664A (zh) * | 2024-01-17 | 2024-02-20 | 锐驰激光(深圳)有限公司 | 障碍物面积计算方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117784801A (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及系统 | |
| CN106291517A (zh) | 基于位置与视觉信息优化的室内云机器人角度定位方法 | |
| EP3937077B1 (en) | Lane marking detecting method, apparatus, electronic device, storage medium, and vehicle | |
| CN112060079B (zh) | 机器人及其碰撞检测方法和装置 | |
| US11724721B2 (en) | Method and apparatus for detecting pedestrian | |
| JP2021051737A (ja) | オブジェクト位置分析 | |
| CN117576664A (zh) | 障碍物面积计算方法、装置、设备及存储介质 | |
| CN115761392A (zh) | 激光雷达目标检测模型训练方法、检测方法及装置 | |
| CN112327828A (zh) | 路径规划方法、装置及计算机可读存储介质 | |
| CN117784801B (zh) | 跟踪避障方法、装置、设备及存储介质 | |
| CN111563934A (zh) | 单目视觉里程计尺度确定方法和装置 | |
| CN112415524A (zh) | 机器人及其定位导航方法和装置 | |
| CN109831737B (zh) | 一种基于置信度的蓝牙定位方法、装置、设备和系统 | |
| CN115952248A (zh) | 终端设备的位姿处理方法、装置、设备、介质及产品 | |
| CN113960999B (zh) | 移动机器人重定位方法、系统及芯片 | |
| Wang et al. | Flexible localization and identification system based on RFID and vision tracking technologies | |
| EP4366339A1 (en) | Method for constructing indoor map and related apparatus | |
| CN114048333B (zh) | 一种多源融合语音交互式室内定位方法、终端及存储介质 | |
| TWI843116B (zh) | 移動物體檢測方法、裝置、電子設備及存儲介質 | |
| US20230288526A1 (en) | Beacon map construction method, device, and computer-readable storage medium | |
| TWI803334B (zh) | 深度估計模型優化與物體距離檢測方法及相關設備 | |
| CN117537803B (zh) | 机器人巡检语义-拓扑地图构建方法、系统、设备及介质 | |
| CN113324998B (zh) | 一种用于钛合金棒材的生产质检监管系统 | |
| US20230410338A1 (en) | Method for optimizing depth estimation model, computer device, and storage medium | |
| Lin | Implementation and evaluation of marker-based visual localization for mobile robots |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |