CN118192613A - 一种ai机器人动态避障方法及系统 - Google Patents
一种ai机器人动态避障方法及系统 Download PDFInfo
- Publication number
- CN118192613A CN118192613A CN202410588359.9A CN202410588359A CN118192613A CN 118192613 A CN118192613 A CN 118192613A CN 202410588359 A CN202410588359 A CN 202410588359A CN 118192613 A CN118192613 A CN 118192613A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- crowd
- area
- obstacle avoidance
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000003993 interaction Effects 0.000 claims abstract description 66
- 230000004927 fusion Effects 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000005457 optimization Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000005265 energy consumption Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 34
- 238000004590 computer program Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004037 social stress Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及机器人导航技术领域,公开了一种AI机器人动态避障方法及系统,包括:获取人群区域的行人密度;基于所述行人密度以及人机共融压力进行特征联合得到联合特征,具体包括以下步骤:得到融合特征;对人群区域中的行人赋予行人权重;确定人群区域中的最优行人密度,将最优行人密度与融合特征进行拼接得到联合特征;根据人群区域中的联合特征获取人群区域中行人重要指数;根据人群与AI机器人互动特征构建状态值函数得到最优避障策略。根据最优密度值调整其运动速度和方向,以最大程度地减少避障所需的时间和能量消耗,同时能够更好地适应不同场景和需求,通过调整避障策略,以维持适当的行人密度,确保行人的舒适度和安全性。
Description
技术领域
本发明涉及机器人导航技术领域,尤其涉及一种AI机器人动态避障方法及系统。
背景技术
在机器人与人类社会深度融合的时代背景下,AI机器人的避障能力成为了一个至关重要的研究方向,随着技术的进步,越来越多的研究者开始关注机器人在复杂环境中的行为优化,特别是在与行人互动的过程中如何安全、高效地避障,成为了当前研究的热点之一,尤其在密集的人群环境中,机器人的避障能力直接关系到其是否能够顺利完成任务并与人类和谐共存;传统的避障策略主要依赖于静态障碍物检测与避让,但在复杂多变的人群环境中,这些策略往往显得力不从心。
近年来,研究人员开始将互动值、社会性压力以及行人重要指数等要素引入状态值函数中,通过优化这些要素来得到最优避障策略。这种方法不仅考虑了机器人的物理避障需求,还兼顾了与人类互动的社会性要求,使得机器人在避障的同时,能够尽可能地减少对周围人群的影响,提高互动的舒适度。
然而,即便在考虑了互动值、社会性压力和行人重要指数等因素后,现有技术仍面临着一些挑战,特别是在行人密度较高的区域,机器人如何找到一条既能有效避障又能保持合适密度的路径,成为了一个亟待解决的问题,高密度的人群环境不仅增加了机器人避障的难度,还可能导致机器人与人群之间的互动变得复杂和混乱。
因此,亟需一种AI机器人动态避障方法及系统,以实现更加精准地控制AI机器人在人群中的移动轨迹,针对不同行人密度的人群区域采取不同的避障策略。
发明内容
为了解决上述技术问题,本发明提供了一种AI机器人动态避障方法及系统,以实现更加精准地控制AI机器人在人群中的移动轨迹,针对不同行人密度的人群区域采取不同的避障策略。
本发明提供了一种AI机器人动态避障方法,包括:
步骤S1,获取人群区域的行人密度;
步骤S2,基于所述行人密度以及人机共融压力进行特征联合得到联合特征,具体包括以下步骤:
步骤S21,利用多层感知机对人群区域中行人所受AI机器人施加的人机共融压力进行特征处理,基于特征处理后的人机共融压力对互动值特征进行加权处理得到融合特征;
步骤S22,对人群区域中的行人赋予行人权重;
步骤S23,根据人群区域中的所述行人密度和人群区域中的行人权重确定人群区域中的最优行人密度;
步骤S24,将人群区域中的最优行人密度与融合特征进行拼接得到联合特征;
步骤S3,根据人群区域中的联合特征获取人群区域中行人重要指数;
步骤S4,基于人群区域中行人重要指数获取人群与AI机器人互动特征,根据人群与AI机器人互动特征构建状态值函数,对状态值函数进行最优化得到最优避障策略。
进一步地,所述步骤S1中获取人群区域的行人密度,具体包括以下步骤:
步骤S11,获取目标区域图像;
步骤S12,对所述目标区域图像进行预处理;
步骤S13,对预处理后的所述目标区域图像中的人群区域进行提取;
步骤S14,对所述人群区域进行图像分割以及语义分割获得人群区域类型;
步骤S15,利用行人检测算法对不同人群区域类型中的行人进行检测得到行人信息;
步骤S16,基于行人信息提取特征数据,所述特征数据包括行人数量、行人尺寸优化数据、行人分布数据;
步骤S17,基于行人信息对不同人群区域类型中的行人密度进行标定,得到目标数据;
步骤S18,将行人数量、行人尺寸优化数据、行人分布数据以及目标数据作为支持向量回归模型的训练集对其训练,获得训练好的支持向量回归模型;
步骤S19,通过AI机器人提取待预测人群区域实时的特征数据,将所述特征数据输入至训练好的支持向量回归模型中,输出待预测人群区域的行人密度。
进一步地,所述人群区域类型根据人群区域内行人像素数量与人群区域的像素总数的比值对所述人群区域类型进行划分,包括:高密集人群区域、中密集人群区域、稀疏人群区域。
进一步地,所述高密集人群区域是指人群区域内所有行人像素数量总和与人群区域的像素总数的比值大于3/4的区域;
所述中密集人群区域是指人群区域内所有行人像素数量总和与所述人群区域的像素总数的比值大于等于1/2且小于3/4之间的区域;
所述稀疏人群区域是指人群区域内所有行人像素数量总和与所述人群区域的像素总数的比值达到小于1/4之间的区域。
进一步地,所述步骤S23中,的最优行人密度的计算公式为:
;
式中,代表第h个人群区域类型中的最优行人密度,/>代表第h个人群区域类型中的行人密度,/>代表第h个人群区域类型中的行人权重。
进一步地,所述人机共融压力是指AI机器人在人群区域内避障导航过程中施加给行人的压力;
所述步骤S21利用多层感知机对人群区域类型中每个行人所受机器人施加的人机共融压力进行特征处理,基于特征处理后的人机共融压力对互动值的特征进行加权处理得到融合特征,具体包括:对人群区域中每个行人所受AI机器人施加的人机共融压力进行特征处理后由Sigmoid函数计算得到互动值的权重,根据互动值的权重以及人机共融压力对互动值的特征进行加权处理得到融合特征。
所述步骤S3中根据人群区域类型中的联合特征获取行人重要指数,具体包括:将所述联合特征输入至MLP网络中,获取行人重要指数,行人重要指数的计算公式为:
;
其中,代表第h个人群区域类型中第i个行人的行人重要指数,/>代表具有ReLU激活函数的MLP网络,/>代表第h个人群区域类型中的最优行人密度,/>为MLP网络的权重参数,/>代表第h个人群区域类型中的融合特征。
进一步地,所述步骤S4中基于人群区域类型中行人重要指数获取人群与AI机器人互动特征,具体包括:根据行人重要指数与互动值进行线性加权求和获得人群与AI机器人互动特征,人群与AI机器人互动特征的计算函数为:
;
上述函数中,代表t时刻人群与AI机器人的互动特征,/>代表第h个人群区域类型中第i个行人的行人重要指数,/>代表机器人与第h个类型区域中第i个行人的互动对,n代表第h个人群区域类型中行人的最大数量。
进一步地,所述状态值函数为:
;
其中,代表状态值函数,/>代表具有ReLU激活函数的MLP函数,/>表示t时刻机器人的状态,/>代表t时刻人群与AI机器人的互动特征,/>代表MIP网络的权重参数。
本发明实施例具有以下技术效果:
本发明将人群区域划分为高密集人群区域、中密集人群区域和稀疏人群区域,并为高密集人群区域、中密集人群区域和稀疏人群区域中的行人赋予不同的行人权重,根据行人权重和人群区域的行人密度计算得到最优密度值,在行人重要指数计算、人群与AI机器人互动特征的计算以及状态值函数中考虑了人群区域中行人的最优密度值,帮助AI机器人更好地理解和适应其工作环境中的行人分布和期望互动效果,AI机器人可以根据最优密度值调整其运动速度和方向,以最大程度地减少避障所需的时间和能量消耗,同时能够更好地适应不同场景和需求,通过调整避障策略,以维持适当的行人密度,确保行人的舒适度和安全性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例1提供的一种AI机器人动态避障方法的流程图;
图2是本发明实施例2提供的一种AI机器人动态避障方法系统的结构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行清楚、完整的描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例,都属于本发明所保护的范围。
实施例1
图1是本发明实施例1提供的一种AI机器人动态避障方法的流程图。参见图1,具体包括:
步骤S1,获取人群区域的行人密度,具体包括以下步骤:
步骤S11,获取目标区域图像;
尤其在行人密度比较高的目标区域,比如,商业区、公共交通枢纽、密集住宅区、大型活动现场等,将无人机与AI机器人的控制系统相集成,当AI机器人巡航过程中,无人机可以在目标区域的上方获取目标区域图像,无人机将目标区域图像数据传输给AI机器人的处理单元,用于后续的行人密度预测;
其中,目标区域图像清晰显示人群分布和流动情况,可以拍摄若干张图像以覆盖整个目标区域。
步骤S12,对所述目标区域图像进行预处理;
所述预处理包括消除噪声、增强图像对比度,使得目标区域的人群区域更加突出,具体实现方法可以通过滤波、直方图均衡化等图像处理技术实现,具体实现过程不再详细赘述。
步骤S13,对预处理后的所述目标区域图像中的人群区域进行提取;
利用图像处理技术对预处理后的所述目标区域图像中的人群区域进行提取,由于图像处理技术为一种成熟技术,可以采用颜色分割、边缘检测、阈值处理等图像处理方法实现,具体来说根据人群与背景的颜色差异、纹理特征将人群区域从背景中分离出来;
步骤S14,对所述人群区域进行图像分割以及语义分割获得人群区域类型,基于提取到的人群区域的颜色、纹理特征将人群区域图像划分为多个不同的区域,为每个人群区域图像分配语义标签,获得人群区域的人群标签和背景标签,统计每个人群区域的像素总数以及属于群众标签的像素数量,当人群区域内群众标签的像素数量与人群区域的像素总数的比值大于等于3/4时,本实施例将该人群区域定义为高密度人群区域,当人群区域内群众标签的像素数量与人群区域的像素总数的比值大于等于1/2且小于3/4时,本实施例将该人群区域定义为中密度人群区域,当人群区域内群众标签的像素数量与人群区域的像素总数的比值小于1/4之间时,本实施例将该人群区域定义为稀疏人群区域。
步骤S15,利用行人检测算法对不同人群区域类型中的行人进行检测得到行人信息;
行人检测算法在应用不同人群区域类型中,主要目的是为了检测并提取出行人的相关信息,行人信息主要包括行人位置与数量、行人姿态与动作、行人尺寸与比例、行人特征描述、行人轨迹与路径等。
步骤S16,基于行人信息提取特征数据,所述特征数据包括行人数量、行人尺寸优化数据、行人分布数据;
行人数量直接通过行人检测算法直接测得;
行人分布数据包括每个人群区域类型中每个行人的中心坐标,用于标识和定位人群区域图像中每个行人的位置,还包括每个人群区域类型中每个行人的边界框,每个行人边界框包括x、y轴坐标以及边界框内部的像素数量;
行人尺寸优化数据包括对行人尺度变化差进行优化得到的行人高度、行人宽度,行人尺度变化差是指在不同视角、不同距离或不同分辨率下行人在人群区域图像中表现出的尺寸差异,对于包含不同尺度行人的人群区域,直接统计行人数量会受到行人尺度变化差的影响,为此,本实施例通过将人群区域图像调整为多个不同的尺寸,并将不同尺寸的图像输入检测模型中,以获取丰富的尺度信息,将不同尺度的检测结果进行融合筛选出最佳的检测结果,根据最佳的检测结果获取当前图像的行人高度和行人宽度。
步骤S17,基于行人信息对不同人群区域类型中的行人密度进行标定,得到目标数据;
通过对人群区域类型中的所有行人边界框内的像素数量进行统计,根据人群区域内所有行人边界框内的像素数量与人群区域像素总数得到标定的行人密度,即目标数据,目标数据的计算公式为:
;
式中,代表第h个人群区域类型中的行人密度,/>代表第h个人群区域类型中所有行人边界框内的像素数量,/>代表第h个人群区域类型中人群区域像素总数。
步骤S18,将行人数量、行人尺寸优化数据、行人分布数据以及目标数据作为支持向量回归模型的训练集对其训练,获得训练好的支持向量回归模型。
步骤S19,将AI机器人提取待预测人群区域实时的特征数据输入至训练好的支持向量回归模型中,输出待预测人群区域的行人密度;
AI机器人将当前所在人群区域类型中的采集到的特征数据输入至训练好的支持向量回归模型中,输出当前人群区域类型的行人密度;
特征数据包括人群区域中的行人数量、行人尺寸优化数据、行人分布数据中一种或多种,具体提取方式仍通过行人检测算法获取行人信息,基于行人信息获取上述特征数据。
步骤S2,基于每个人群区域类型中的所述行人密度以及人机共融压力进行特征联合得到联合特征,具体包括以下步骤:
步骤S21,利用多层感知机对人群区域类型中每个行人所受AI机器人施加的人机共融压力Y进行特征处理,基于特征处理后的人机共融压力Y对互动值特征进行加权处理得到融合特征,具体包括:对人群区域类型中每个行人所受AI机器人施加的人机共融压力Y进行特征处理后,由Sigmoid函数计算得到互动值/>的权重/>,根据互动值的权重/>以及人机共融压力Y对互动值特征/>进行加权处理得到融合特征/>;
其中,所述人机共融压力是指行人受到AI机器人以及其他行人所施加的压力,行人与AI机器人的互动过程的计算公式为:
;
式中,代表行人受到AI机器人以及其他行人所施加的压力,k为压力系数;
本实施例通过深度强化学习网络模型对AI机器人的避障策略进行设计;
其中,所述人机共融压力是指机器人在人群区域内避障导航过程中施加给行人的压力;互动值包含AI机器人和行人状态,还包括两者的互动信息,将状态信息与互动信息进行融合得到本实施例中的互动值;将互动值/>输入MLP网络结构中并利用多层感知机提取互动值特征/>,
;
其中,为AI机器人在t时刻的状态,/>为在t时刻AI机器人观测到的第i个行人的状态,/>为具有ReLU非线性激活函数的MLP,/>为该MLP的网络权重参数;
步骤S22,对每个人群区域类型中的行人赋予行人权重;
在高密度人群区域行人数量众多,行动空间有限,AI机器人避障的难度和重要性显著增加,为了确保行人的安全和顺畅通行,为此,本实施例将高密度人群区域内的行人权重赋值为0.6,AI机器人需要更加敏锐地识别和避让行人,AI机器人通过最优密度值指定避障策略时,优先考虑高密集区域的行人分布和动态,从而制定更加有效的避障策略;中密度人群区域虽然不如高密度区域那么拥挤,但行人数量仍然较多,AI机器人避障的需求依然较高,为此,本实施例为中密度人群区域的行人权重赋值为0.3,确保AI机器人在保障通行效率的同时,也能较好地照顾到行人的安全和舒适度;在稀疏人群区域行人数量较少,行动空间相对宽敞,AI机器人避障的难度较低,因此,本实施例将稀疏人群区域内的行人权重赋值为0.1。
步骤S23,根据每个人群区域类型中的所述行人密度和每个人群区域类型中的行人权重确定每个人群区域类型中的最优行人密度,最优行人密度的计算公式为:
;
式中,代表第h个人群区域类型中的最优行人密度,/>代表第h个人群区域类型中的行人密度,/>代表第h个人群区域类型中的行人权重。
步骤S24,将人群区域类型中的最优行人密度与融合特征/>进行拼接得到联合特征;
步骤S3,根据人群区域类型中的联合特征获取行人重要指数,具体包括:将联合特征输入至MLP网络中,获取行人重要指数,行人重要指数的计算公式为:
;
其中,代表第h个人群区域类型中第i个行人的行人重要指数,/>代表具有ReLU激活函数的MLP网络,/>代表第h个人群区域类型中的最优行人密度,/>为MLP网络的权重参数,/>代表第h个人群区域类型中的融合特征;
行人重要指数是指人群区域内行人对AI机器人的重要程度,用于帮助AI机器人更好地理解和评估其周围环境中行人的重要性和潜在影响,行人重要指数的取值范围在0-1之间,将行人重要指数用于获取后续的互动特征。
步骤S4,基于人群区域类型中行人重要指数获取人群与AI机器人互动特征,根据人群与AI机器人互动特征构建状态值函数,对状态值函数进行最优化得到最优避障策略;
基于不同人群区域类型中行人重要指数获取人群与AI机器人互动特征,具体包括:根据行人重要指数与互动值进行线性加权求和获得人群与AI机器人互动特征,人群与AI机器人互动特征的计算函数为:
;
上述函数中,代表第h个人群区域类型中t时刻人群与AI机器人的互动特征,代表第h个人群区域类型中第i个行人的行人重要指数,/>代表将第h个人群区域类型中互动特征输入MLP网络中获取的人机互动特征对;
所述状态值函数为:
;
其中,代表状态值函数,/>代表具有ReLU激活函数的MLP函数,/>表示t时刻机器人的状态,/>代表第h个人群区域类型中t时刻人群与AI机器人的互动特征,/>代表MLP网络的权重参数,/>代表第h个人群区域类型中的最优行人密度;
为了得到AI机器人的最优策略,可以利用值迭代或策略梯度优化等方法来优化状态值函数,在迭代过程中,可以逐步更新状态值函数,使其收敛到最优解;而在策略梯度优化中,可以通过梯度上升的方式来更新策略参数,使得策略能够逐步接近于最优策略。
本发明分别在联合特征以及状态值函数中分别考虑了人群区域行人的最优密度值,最优密度值能够反映环境中行人的分布和期望的互动效果,状态值函数在强化学习中用来评估每个状态长期回报的函数,在现有人机共融压力、行人重要指数的基础上还考虑了最优密度值,能够更加准确反映环境状态,从而有效知道AI机器人做出更好的决策方案;
为了能够有效利用状态值函数找到AI机器人的最优避障策略,本发明使用的算法为SARL*+Social Stress 算法,在导航成功率、碰撞率、导航超时率、人机共融压力进行定量分析,能够使得AI机器人在动态行人环境下高效并使行人安全且舒适型需求得到满足,并且泛化性能更好,能够更好的应对更为复杂的行人环境,验证了算法的有效性。
实施例2
图2是本发明实施例2提供的一种AI机器人动态避障系统的结构图。参照图2,本实施例还公开了一种AI机器人动态避障系统,包括以下模块:
行人密度获取模块:用于获取人群区域的行人密度;
联合特征获取模块:与行人密度获取模块,基于每个人群区域类型中的行人密度以及人机共融压力进行特征联合得到联合特征;
行人重要指数获取模块:与联合特征获取模块连接,根据人群区域类型中的联合特征获取人群区域类型中行人重要指数;
人群与AI机器人互动特征及最优避障策略获取模块:与行人重要指数获取模块连接,基于人群区域类型中行人重要指数获取人群与AI机器人互动特征,用于根据人群与AI机器人互动特征构建状态值函数,对状态值函数进行最优化得到最优避障策略。
实施例3
本实施例还公开一种电子设备,电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行所述程序指令,以实现上文所说明的本申请任意实施例的一种AI机器人动态避障方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如初始外参、阈值等各种内容。
在一个示例中,电子设备还可以包括:输入装置和输出装置,这些组件通过总线系统和/或其他形式的连接机构互连。该输入装置可以包括例如键盘、鼠标等等。该输出装置可以向外部输出各种信息,包括预警提示信息、制动力度等。该输出装置可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外,本申请的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本申请任意实施例所提供的一种AI机器人动态避障方法的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外,本申请的实施例还可以是计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本申请任意实施例所提供的一种AI机器人动态避障方法的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
需要说明的是,本发明所用术语仅为了描述特定实施例,而非限制本申请范围。如本发明说明书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素,而且还包括没有明确列出的其它要素,或者是还包括为这种过程、方法或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。
还需说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。除非另有明确的规定和限定,术语“安装”、“相连”、“连接”等应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案。
Claims (10)
1.一种AI机器人动态避障方法,其特征在于,包括:
步骤S1,获取人群区域的行人密度;
步骤S2,基于所述行人密度以及人机共融压力进行特征联合得到联合特征,具体包括以下步骤:
步骤S21,利用多层感知机对人群区域中行人所受AI机器人施加的人机共融压力进行特征处理,基于特征处理后的人机共融压力对互动值特征进行加权处理得到融合特征;
步骤S22,对人群区域中的行人赋予行人权重;
步骤S23,根据人群区域中的所述行人密度和人群区域中的行人权重确定人群区域中的最优行人密度;
步骤S24,将人群区域中的最优行人密度与融合特征进行拼接得到联合特征;
步骤S3,根据人群区域中的联合特征获取人群区域中行人重要指数;
步骤S4,基于人群区域中行人重要指数获取人群与AI机器人互动特征,根据人群与AI机器人互动特征构建状态值函数,对状态值函数进行最优化得到最优避障策略。
2.根据权利要求1所述的一种AI机器人动态避障方法,其特征在于,所述步骤S1中获取人群区域的行人密度,具体包括以下步骤:
步骤S11,获取目标区域图像;
步骤S12,对所述目标区域图像进行预处理;
步骤S13,对预处理后的所述目标区域图像中的人群区域进行提取;
步骤S14,对所述人群区域进行图像分割以及语义分割获得人群区域类型;
步骤S15,利用行人检测算法对不同人群区域类型中的行人进行检测得到行人信息;
步骤S16,基于行人信息提取特征数据,所述特征数据包括行人数量、行人尺寸优化数据、行人分布数据;
步骤S17,基于行人信息对不同人群区域类型中的行人密度进行标定,得到目标数据;
步骤S18,将行人数量、行人尺寸优化数据、行人分布数据以及目标数据作为支持向量回归模型的训练集对其训练,获得训练好的支持向量回归模型;
步骤S19,通过AI机器人提取待预测人群区域实时的特征数据,将所述特征数据输入至训练好的支持向量回归模型中,输出待预测人群区域的行人密度。
3.根据权利要求2所述的一种AI机器人动态避障方法,其特征在于,根据人群区域内行人像素数量与人群区域的像素总数的比值对所述人群区域类型进行划分,包括:高密集人群区域、中密集人群区域、稀疏人群区域。
4.根据权利要求3所述的一种AI机器人动态避障方法,其特征在于,所述高密集人群区域是指人群区域内所有行人像素数量总和与人群区域的像素总数的比值大于3/4的区域;
所述中密集人群区域是指人群区域内所有行人像素数量总和与所述人群区域的像素总数的比值大于等于1/2且小于3/4之间的区域;
所述稀疏人群区域是指人群区域内所有行人像素数量总和与所述人群区域的像素总数的比值小于1/4的区域。
5.根据权利要求1所述的一种AI机器人动态避障方法,其特征在于,所述步骤S23中,最优行人密度的计算公式为:
;
式中,代表第h个人群区域类型中的最优行人密度,/>代表第h个人群区域类型中的行人密度,/>代表第h个人群区域类型中的行人权重。
6.根据权利要求1所述的一种AI机器人动态避障方法,其特征在于,所述人机共融压力是指AI机器人在人群区域内避障导航过程中施加给行人的压力;
所述步骤S21利用多层感知机对人群区域类型中每个行人所受机器人施加的人机共融压力进行特征处理,基于特征处理后的人机共融压力对互动值的特征进行加权处理得到融合特征,具体包括:对人群区域中每个行人所受AI机器人施加的人机共融压力进行特征处理后由Sigmoid函数计算得到互动值的权重,根据互动值的权重以及人机共融压力对互动值的特征进行加权处理得到融合特征。
7.根据权利要求1所述的一种AI机器人动态避障方法,其特征在于,所述步骤S3中根据人群区域类型中的联合特征获取行人重要指数,具体包括:将所述联合特征输入至MLP网络中,获取行人重要指数,行人重要指数的计算公式为:
;
其中,代表第h个人群区域类型中第i个行人的行人重要指数,/>代表具有ReLU激活函数的MLP网络,/>代表第h个人群区域类型中的最优行人密度,/>为MLP网络的权重参数,代表第h个人群区域类型中的融合特征。
8.根据权利要求1所述的一种AI机器人动态避障方法,其特征在于,所述步骤S4中基于人群区域类型中行人重要指数获取人群与AI机器人互动特征,具体包括:根据行人重要指数与互动值进行线性加权求和获得人群与AI机器人互动特征,人群与AI机器人互动特征的计算函数为:
;
上述函数中,代表第h个人群区域类型中t时刻人群与AI机器人的互动特征,/>代表第h个人群区域类型中第i个行人的行人重要指数,/>代表机器人与第h个类型区域中第i个行人的互动对,n代表第h个人群区域类型中行人的最大数量。
9.根据权利要求1所述的一种AI机器人动态避障方法,其特征在于,所述状态值函数为:
;
其中,代表状态值函数,/>代表具有ReLU激活函数的MLP函数,/>表示t时刻机器人的状态,/>代表t时刻人群与AI机器人的互动特征,/>代表MIP网络的权重参数。
10.一种AI机器人动态避障系统,用于执行权利要求1-9任一所述的一种AI机器人动态避障方法,其特征在于,包括以下模块:
行人密度获取模块:用于获取人群区域的行人密度;
联合特征获取模块:与行人密度获取模块,基于每个人群区域类型中的行人密度以及人机共融压力进行特征联合得到联合特征;
行人重要指数获取模块:与联合特征获取模块连接,根据人群区域类型中的联合特征获取人群区域类型中行人重要指数;
人群与AI机器人互动特征及最优避障策略获取模块:与行人重要指数获取模块连接,基于人群区域类型中行人重要指数获取人群与AI机器人互动特征,用于根据人群与AI机器人互动特征构建状态值函数,对状态值函数进行最优化得到最优避障策略。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410588359.9A CN118192613A (zh) | 2024-05-13 | 2024-05-13 | 一种ai机器人动态避障方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410588359.9A CN118192613A (zh) | 2024-05-13 | 2024-05-13 | 一种ai机器人动态避障方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118192613A true CN118192613A (zh) | 2024-06-14 |
Family
ID=91400187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410588359.9A Pending CN118192613A (zh) | 2024-05-13 | 2024-05-13 | 一种ai机器人动态避障方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118192613A (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860162A (zh) * | 2020-06-17 | 2020-10-30 | 上海交通大学 | 一种视频人群计数系统及方法 |
CN112731919A (zh) * | 2020-12-01 | 2021-04-30 | 汕头大学 | 一种基于人群密度估计的指引机器人方法及系统 |
CN113721633A (zh) * | 2021-09-09 | 2021-11-30 | 南京工业大学 | 一种基于行人轨迹预测的移动机器人路径规划方法 |
CN113759933A (zh) * | 2021-09-18 | 2021-12-07 | 中国民航大学 | 一种载人机器人自适应动态窗口轨迹规划方法 |
CN113935510A (zh) * | 2021-08-24 | 2022-01-14 | 深圳大学 | 一种人群分布预测方法、装置、设备及存储介质 |
CN115797873A (zh) * | 2023-02-06 | 2023-03-14 | 泰山学院 | 一种人群密度检测方法、系统、设备、存储介质及机器人 |
CN116453033A (zh) * | 2022-01-04 | 2023-07-18 | 航天图景(北京)科技有限公司 | 一种视频监控场景下高精度低算量的人群密度估计方法 |
CN117232522A (zh) * | 2023-09-12 | 2023-12-15 | 西安交通大学 | 基于时空交互图和危险区域的机器人人群导航方法及系统 |
CN117873092A (zh) * | 2024-01-12 | 2024-04-12 | 河南大学 | 一种基于生物神经策略的移动机器人动态避障方法 |
-
2024
- 2024-05-13 CN CN202410588359.9A patent/CN118192613A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111860162A (zh) * | 2020-06-17 | 2020-10-30 | 上海交通大学 | 一种视频人群计数系统及方法 |
CN112731919A (zh) * | 2020-12-01 | 2021-04-30 | 汕头大学 | 一种基于人群密度估计的指引机器人方法及系统 |
CN113935510A (zh) * | 2021-08-24 | 2022-01-14 | 深圳大学 | 一种人群分布预测方法、装置、设备及存储介质 |
CN113721633A (zh) * | 2021-09-09 | 2021-11-30 | 南京工业大学 | 一种基于行人轨迹预测的移动机器人路径规划方法 |
CN113759933A (zh) * | 2021-09-18 | 2021-12-07 | 中国民航大学 | 一种载人机器人自适应动态窗口轨迹规划方法 |
CN116453033A (zh) * | 2022-01-04 | 2023-07-18 | 航天图景(北京)科技有限公司 | 一种视频监控场景下高精度低算量的人群密度估计方法 |
CN115797873A (zh) * | 2023-02-06 | 2023-03-14 | 泰山学院 | 一种人群密度检测方法、系统、设备、存储介质及机器人 |
CN117232522A (zh) * | 2023-09-12 | 2023-12-15 | 西安交通大学 | 基于时空交互图和危险区域的机器人人群导航方法及系统 |
CN117873092A (zh) * | 2024-01-12 | 2024-04-12 | 河南大学 | 一种基于生物神经策略的移动机器人动态避障方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Liu et al. | Video object detection for autonomous driving: Motion-aid feature calibration | |
Li et al. | Deep neural network for structural prediction and lane detection in traffic scene | |
Liu et al. | Vehicle-related scene understanding using deep learning | |
US11960294B2 (en) | Self-supervised attention learning for depth and motion estimation | |
KR20190029083A (ko) | 신경망 학습 방법 및 이를 적용한 장치 | |
CN111368634B (zh) | 基于神经网络的人头检测方法、系统及存储介质 | |
CN113039555A (zh) | 通过使用基于注意力的神经网络在视频剪辑中进行动作分类 | |
Hu et al. | Vehicle trajectory prediction considering aleatoric uncertainty | |
CN111325318A (zh) | 神经网络的训练方法、神经网络的训练装置和电子设备 | |
JP7233572B2 (ja) | エクスプレイナブルセルフフォーカスされたアテンションを利用して行動予測を遂行する方法及び装置 | |
CN112818873A (zh) | 车道线检测方法、系统及电子设备 | |
US20220381914A1 (en) | Systems and methods for sparse convolution of unstructured data | |
CN114266889A (zh) | 图像识别方法及其装置、可读介质和电子设备 | |
Muthalagu et al. | Vehicle lane markings segmentation and keypoint determination using deep convolutional neural networks | |
Kolluri et al. | Intelligent multimodal pedestrian detection using hybrid metaheuristic optimization with deep learning model | |
CN116654022B (zh) | 基于多重交互的行人轨迹预测方法、系统、设备和介质 | |
Zhao et al. | Improving autonomous vehicle visual perception by fusing human gaze and machine vision | |
JP7321983B2 (ja) | 情報処理システム、情報処理方法、プログラムおよび車両制御システム | |
Ding et al. | An improved probabilistic spiking neural network with enhanced discriminative ability | |
CN118192613A (zh) | 一种ai机器人动态避障方法及系统 | |
Zhang et al. | SASAN: Shape-adaptive set abstraction network for point-voxel 3D Object detection | |
CN115309164A (zh) | 基于生成对抗网络的人机共融移动机器人路径规划方法 | |
Cultrera et al. | Explaining autonomous driving with visual attention and end-to-end trainable region proposals | |
CN113361422A (zh) | 一种基于角度空间损失承数的人脸识别方法 | |
Mohandoss et al. | Visual attention for behavioral cloning in autonomous driving |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |