CN114550297B - 一种行人的意图分析方法及系统 - Google Patents

一种行人的意图分析方法及系统 Download PDF

Info

Publication number
CN114550297B
CN114550297B CN202210174925.2A CN202210174925A CN114550297B CN 114550297 B CN114550297 B CN 114550297B CN 202210174925 A CN202210174925 A CN 202210174925A CN 114550297 B CN114550297 B CN 114550297B
Authority
CN
China
Prior art keywords
pedestrian
data
intention
image data
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210174925.2A
Other languages
English (en)
Other versions
CN114550297A (zh
Inventor
袁潮
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhuohe Technology Co Ltd
Original Assignee
Beijing Zhuohe Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhuohe Technology Co Ltd filed Critical Beijing Zhuohe Technology Co Ltd
Priority to CN202210174925.2A priority Critical patent/CN114550297B/zh
Publication of CN114550297A publication Critical patent/CN114550297A/zh
Application granted granted Critical
Publication of CN114550297B publication Critical patent/CN114550297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请提供的一种行人的意图分析方法及系统,该方法包括:获取行人图像数据;根据所述行人图像数据,提取局部地图数据;将所述行人图像数据输入第一意图分析模型,获取行人动作编码;将所述局部地图数据输入第二意图分析模型,获取局部环境编码;将所述行人动作编码及所述局部环境编码融合,获取行人意图数据;获取行车速度数据;基于所述行车速度数据及所述行人意图数据获得意图分析结果。通过该方法能够获取更准确的行人意图分析结果。

Description

一种行人的意图分析方法及系统
技术领域
本申请涉及意图分析领域,更具体地,涉及一种行人的意图分析方法及系统。
背景技术
近年来,行人的意图分析是自动驾驶领域的核心任务,一直以来受到社会各界的追捧,是计算机视觉领域中一个极具研究价值和挑战性的热门课题。
然而,现有行人意图分析技术中,通常采用基于运动学模型的预测方法和基于数据驱动的预测方法,该方法无法充分融合不同模态的信息且融合效率较低,由此得到的通用意图分析模型难以为动态变化的行人提供准确的意图预测。
并且,受行人主观意图的影响,行人行走轨迹具有较强的不确定性,使得传统的意图分析方法具有一定的局限性。
发明内容
本发明实施例的目的在于提供一种行人的意图分析方法及系统,保留局部环境细节,将行车速度数据与行人意图数据结合,获取更准确的行人意图分析结果。具体技术方案如下:
在本发明实施例的第一方面,提供一种行人的意图分析方法,包括:S110、获取行人图像数据;S120、根据所述行人图像数据,提取局部地图数据;S130、将所述行人图像数据输入第一意图分析模型,获取行人动作编码;S140、将所述局部地图数据输入第二意图分析模型,获取局部环境编码;S150、将所述行人动作编码及所述局部环境编码融合,获取行人意图数据;S160、获取行车速度数据;S170、基于所述行车速度数据及所述行人意图数据获得意图分析结果。
可选地,所述S110、获取行人图像数据,包括:采集目标车辆前方当前时刻图像,以获取所述行人图像数据。
可选地,所述S120、根据所述行人图像数据,提取局部地图数据,包括:S121、将所述行人图像数据进行边界框处理,获取所述行人图像数据的坐标;S122、根据预设规则扩展所述行人图像数据的边界框,获取扩展边界框的坐标;S123、根据所述扩展边界框的坐标提取局部地图数据。
可选地,所述S130、将所述行人图像数据输入第一意图分析模型,获取行人动作编码,包括:S131、编码所述图像数据,获得编码后的图像数据;S132、将编码后的图像数据输入双向长短时记忆网络,解码输出行人动作编码。
可选地,所述S140、将所述局部地图数据输入第二意图分析模型,获取局部环境编码,包括:S141、采用图像识别技术,确定所述局部地图数据中的多个目标;S142、对所述多个目标进行边界框处理,分别获取每一目标的目标边界框;S143、提取每一目标的目标边界框的左上角和右下角顶点,并对各个顶点进行分组;S144、将分组后的顶点输入高效神经网络,获取局部环境编码。
可选地,所述S150、将所述行人动作编码及所述局部环境编码融合,获取行人意图数据,包括:S151、将所述行人动作编码及所述局部环境编码进行拼接,获取复合编码序列;S152、将所述复合编码序列输入双向长短时记忆网络,输出复合编码向量;S153、将所述复合编码向量输入全连接层,获取行人意图数据。
可选地,所述S160、获取行车速度数据,包括:采集目标车辆当前时刻速度数据。
可选地,所述行人意图数据,包括:快速穿过、低速穿过及等待。
可选地,所述S170、基于所述行车速度数据及所述行人意图数据获得意图分析结果,包括:根据如下公式确定意图分析结果:
Figure BDA0003519845280000031
其中,v是行车速度数据;Th是行车速度阈值;s是行人意图数据,s=0表示等待意图,s=1表示低速穿过意图,s=2表示快速穿过意图;R是意图分析结果。
在本发明实施例的又一方面,提供一种行人的意图分析系统,包括:图像数据获取模块,用于获取行人图像数据;地图数据提取模块,用于根据所述行人图像数据,提取局部地图数据;行人动作编码模块,用于将所述行人图像数据输入第一意图分析模型,获取行人动作编码;局部环境编码模块,用于将所述局部地图数据输入第二意图分析模型,获取局部环境编码;行人意图数据获取模块,用于将所述行人动作编码及所述局部环境编码融合,获取行人意图数据;行车速度获取模块,用于获取行车速度数据;意图分析模块,用于基于所述行车速度数据及所述行人意图数据获得意图分析结果。
可选地,所述图像数据获取模块具体用于:采集目标车辆前方当前时刻图像,以获取所述行人图像数据。
可选地,所述地图数据提取模块具体用于:S121、将所述行人图像数据进行边界框处理,获取所述行人图像数据的坐标;S122、根据预设规则扩展所述行人图像数据的边界框,获取扩展边界框的坐标;S123、根据所述扩展边界框的坐标提取局部地图数据。
可选地,所述行人动作编码模块具体用于:S131、编码所述图像数据,获得编码后的图像数据;S132、将编码后的图像数据输入双向长短时记忆网络,解码输出行人动作编码。
可选地,所述局部环境编码模块具体用于:S141、采用图像识别技术,确定所述局部地图数据中的多个目标;S142、对所述多个目标进行边界框处理,分别获取每一目标的目标边界框;S143、提取每一目标的目标边界框的左上角和右下角顶点,并对各个顶点进行分组;S144、将分组后的顶点输入高效神经网络,获取局部环境编码。
可选地,所述行人意图数据获取模块具体用于:S151、将所述行人动作编码及所述局部环境编码进行拼接,获取复合编码序列;S152、将所述复合编码序列输入双向长短时记忆网络,输出复合编码向量;S153、将所述复合编码向量输入全连接层,获取行人意图数据。
可选地,所述行车速度获取模块具体用于:采集目标车辆当前时刻速度数据。
可选地,所述行人意图数据,包括:快速穿过、低速穿过及等待。
可选地,所述意图分析模块具体用于:根据如下公式确定意图分析结果:
Figure BDA0003519845280000051
其中,v是行车速度数据;Th是行车速度阈值;s是行人意图数据,s=0表示等待意图,s=1表示低速穿过意图,s=2表示快速穿过意图;R是意图分析结果。
有益效果:
(1)本申请首先,根据行人图像数据,通过边界框扩展的方法,提取局部地图数据;然后,根据局部地图数据中的多个目标所对应的目标边界框,提取左上角和右下角顶点,对各个顶点分组,将分组后的顶点输入高效神经网络,获取局部环境编码;通过该方案获取的局部环境编码,保留了局部环境细节,能够更准确地分析行人所在的局部环境。
(2)本申请通过行人图像数据和局部环境数据的信息融合,结合双向长短时记忆网络和全连接层,获取行人意图数据,提高计算性能和预测准确度。
(3)由于行人的意图会随着当前车辆行驶速度而发生变化,因此本申请进一步获取行车速度数据,将行车速度数据与行人意图数据结合,获取更准确的行人意图分析结果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种行人的意图分析方法的流程示意图;
图2是本申请实施例提供的局部环境编码的流程示意图;
图3是本申请实施例提供的获取行人意图数据的流程示意图;
图4是本申请实施例提供的一种行人的意图分析系统的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
相关技术中,行人的意图分析是自动驾驶领域的核心任务,一直以来受到社会各界的追捧,是计算机视觉领域中一个极具研究价值和挑战性的热门课题。然而,现有行人意图分析技术中,通常采用基于运动学模型的预测方法和基于数据驱动的预测方法,该方法无法充分融合不同模态的信息且融合效率较低,由此得到的通用意图分析模型难以为动态变化的行人提供准确的意图预测。并且,受行人主观意图的影响,行人行走轨迹具有较强的不确定性,使得传统的意图分析方法具有一定的局限性。
为此,本申请实施例提供了行人的意图分析方法,通过获取行人图像数据;根据所述行人图像数据,提取局部地图数据;将所述行人图像数据输入第一意图分析模型,获取行人动作编码;将所述局部地图数据输入第二意图分析模型,获取局部环境编码;将所述行人动作编码及所述局部环境编码融合,获取行人意图数据;获取行车速度数据;基于所述行车速度数据及所述行人意图数据获得意图分析结果。通过该方法获取更准确的行人意图分析结果。
其中,该行人的意图分析方法及系统具体可以集成在电子设备中,该电子设备可以为终端、服务器等设备。其中,终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(Personal Computer,PC)等设备;服务器可以是单一服务器,也可以是由多个服务器组成的服务器集群。
在一些实施例中,该行人的意图分析方法及系统还可以集成在多个电子设备中,比如,该行人的意图分析方法及系统可以集成在多个服务器中,由多个服务器来实现本申请的行人的意图分析方法及系统。
可以理解的是,本实施例的该行人的意图分析方法及系统可以是在终端上执行的,也可以是在服务器上执行,还可以由终端和服务器共同执行的。以上举例不应理解为对本申请的限制。
图1示出了本申请实施例提供的一种行人的意图分析方法的流程示意图,请参考图1,一种行人的意图分析方法包括如下步骤:
S110、获取行人图像数据。
其中,行人图像数据可以是目标范围内行人的图像数据。在一种实施方式中,可以采集目标车辆前方当前时刻图像,以获取所述行人图像数据。
可选地,可以通过图像传感器对行车前方当前时刻图像进行采集,并使用无线通信技术将数据上传到服务器,同时为了便于直观的感受区域点的实时图像信息,还可以应用USB Camara对行人图像数据进行捕获并上传至服务器,服务器接收相关数据并存储。
需要说明的是,行人图像数据可以采用实时采样方式或等效时间采样方式获取,在此不做具体限定。
S120、根据所述行人图像数据,提取局部地图数据。
可选地,在该步骤之前,可以对所述行人图像数据进行预处理,如降噪、灰度化处理等。
在一种实施方式中,步骤S120可以具体包括以下步骤:
S121、将所述行人图像数据进行边界框处理,获取所述行人图像数据的坐标。
其中,可以将行人图像数据的坐标表示为(xlt1,ylt1,xrb1,yrb1),xlt1、ylt1、xrb1及yrb1分别代表边界框的左上角、右上角、左下角及右下角。
S122、根据预设规则扩展所述行人图像数据的边界框,获取扩展边界框的坐标。
其中,可以将扩展边界框的坐标表示为(xlt2,ylt2,xrb2,yrb2),xlt2、ylt2、xrb2及yrb2分别代表扩展边界框的左上角、右上角、左下角及右下角。
可选地,可以根据如下公式扩展边界框:
Figure BDA0003519845280000091
Figure BDA0003519845280000092
Figure BDA0003519845280000093
Figure BDA0003519845280000094
其中,k是扩展倍数。
S123、根据所述扩展边界框的坐标(xlt2,ylt2,xrb2,yrb2)提取局部地图数据。
可选地,可以对扩展边界框中的图像等比例缩放,当图像缩放至预设大小时,填充非图像区域的像素值,进而利用卷积神经网络提取当前局部地图数据。其中,填充的像素值可以是0。
S130、将所述行人图像数据输入第一意图分析模型,获取行人动作编码。
可选地,所述第一意图分析模型可以是深度神经网络中的一种模型,也可以是深度神经网络中的多种模型构成的组合模型。
在一种实施方式中,步骤S130可以具体包括以下步骤:
S131、编码所述图像数据,获得编码后的图像数据。
其中,可以采用多个独立的VGG-16或VGG-19网络作为编码器,同时利用ImageNet预训练该网络。
S132、将编码后的图像数据输入双向长短时记忆网络,解码输出行人动作编码。
其中,可以引入双向长短时记忆网络挖掘行人图像数据的关联关系。在网络训练过程中,可以引入图像数据当前时刻的实测值作为已知信息,双向长短时记忆网络学习包含实测值的隐藏变量;在解码过程中,可以将实测值与编码器的输出拼接,输入双向长短时记忆网络进行时序处理,将处理后的结果输入解码器,解码器输出当前时刻的预测值。
可选地,可以进一步根据当前时刻的预测值与实测值之间的重构误差评估该网络预测的精确度。
S140、将所述局部地图数据输入第二意图分析模型,获取局部环境编码。
可选地,所述第二意图分析模型可以是深度神经网络中的一种模型,也可以是深度神经网络中的多种模型构成的组合模型。
在后续实施例中将详细介绍局部环境编码的方法流程,这里不再赘述。
S150、将所述行人动作编码及所述局部环境编码融合,获取行人意图数据。
在一种实施方式中,行人意图数据可以是行人的意图类别,具体可以包括快速穿过、低速穿过及等待。
在后续实施例中将详细介绍获取行人意图数据的方法流程,这里不再赘述。
S160、获取行车速度数据。
在一种实施方式中,可以采集采集目标车辆当前时刻速度数据。
可选地,具体采集方式可以是GPS,同时使用无线通信技术将数据上传到服务器,服务器接收相关数据并存储。
需要说明的是,行车速度数据可以采用实时采样方式或等效时间采样方式获取,在此不做具体限定。
S170、基于所述行车速度数据及所述行人意图数据获得意图分析结果。
在一种实施方式中,若行人意图数据包括快速穿过、低速穿过及等待,则可以根据如下公式确定意图分析结果:
Figure BDA0003519845280000111
其中,v是行车速度数据;Th是行车速度阈值;s是行人意图数据,s=0表示等待意图,s=1表示低速穿过意图,s=2表示快速穿过意图;R是意图分析结果。
需要说明的是,行车速度阈值可以依据不同路况(如高速公路、城市公路)、不同时段(如早高峰、晚高峰)等灵活设置,在此不做具体限定。
由上可知,本申请实施例可以将行车速度数据与行人意图数据结合,获取更准确的行人意图分析结果。
图2是本申请实施例提供的局部环境编码的流程示意图,具体包括以下步骤:
S141、采用图像识别技术,确定所述局部地图数据中的多个目标。
其中,可以采用AlexNet、VGG-16或ResNet深度神经网络根据局部地图数据识别其中的多个目标,例如,当识别到建筑物时,则确定其为遮挡物。
S142、对所述多个目标进行边界框处理,分别获取每一目标的目标边界框。
其中,可以预设半径r,将处于r内的顶点作为正样本,以此为依据生成有效的目标边界框。
可选地,可以预设从下至上的框架,首先检测目标点,再根据目标点确定目标边界框。
S143、提取每一目标的目标边界框的左上角和右下角顶点,并对各个顶点进行分组。
其中,可以通过嵌入式向量为每个顶点分组。具体地,可以将目标边界框的左上角和右下角顶点处理为嵌入式向量,通过嵌入式向量使同一目标的顶点对距离最短。
可选地,模型可以训练Lpull损失函数使同一目标的顶点进行分组,同时还可以训练Lpush损失函数使不同目标的顶点分离。
S144、将分组后的顶点输入高效神经网络,获取局部环境编码。
其中,可以根据如下公式编码局部环境数据:
σ=f(S,W2)
式中,f(·)表示训练后的高效神经网络;S表示分组后的顶点;W2表示网络的可学习参数。
通过本实施方式编码的局部环境,保留了局部环境细节,能够更准确地分析行人所在的局部环境。
图3是本申请实施例提供的获取行人意图数据方法的流程示意图,具体包括以下步骤:
S151、将所述行人动作编码及所述局部环境编码进行拼接,获取复合编码序列。
其中,可以采用直接拼接的方法将行人动作编码及所述局部环境编码拼接起来,获取复合编码序列,表示为I。
S152、将所述复合编码序列输入双向长短时记忆网络,输出复合编码向量。
其中,可以将复合编码序列I输入双向长短时记忆网络,双向长短时记忆网络的输出作为复合结果:
O=BiLSTM(I,W1)
式中,BiLSTM(·)表示训练后的双向长短时记忆网络;W1表示网络的可学习参数;O表示复合编码向量,维度可以是64或32。
通过该方式输出的复合编码向量,能够挖掘不同编码信息的深度关联,从而提高行人意图识别的准确性。
S153、将所述复合编码向量输入全连接层,获取行人意图数据。
其中,可以通过全连接层处理复合编码向量,降低其维度,以获取行人意图数据。
通过本实施方式获取的行人意图数据,能够提高计算性能和预测准确度。
为实现上述方法类实施例,本实施例还提供一种行人的意图分析系统,图4示出了本申请实施例提供的一种行人的意图分析系统的结构示意图,所述系统包括:
图像数据获取模块410,用于获取行人图像数据;
地图数据提取模块420,用于根据所述行人图像数据,提取局部地图数据;
行人动作编码模块430,用于将所述行人图像数据输入第一意图分析模型,获取行人动作编码;
局部环境编码模块440,用于将所述局部地图数据输入第二意图分析模型,获取局部环境编码;
行人意图数据获取模块450,用于将所述行人动作编码及所述局部环境编码融合,获取行人意图数据;
行车速度获取模块460,用于获取行车速度数据;
意图分析模块470,用于基于所述行车速度数据及所述行人意图数据获得意图分析结果。
可选地,所述图像数据获取模块具体用于:采集目标车辆前方当前时刻图像,以获取所述行人图像数据。
可选地,所述地图数据提取模块具体用于:S121、将所述行人图像数据进行边界框处理,获取所述行人图像数据的坐标;S122、根据预设规则扩展所述行人图像数据的边界框,获取扩展边界框的坐标;S123、根据所述扩展边界框的坐标提取局部地图数据。
可选地,所述行人动作编码模块具体用于:S131、编码所述图像数据,获得编码后的图像数据;S132、将编码后的图像数据输入双向长短时记忆网络,解码输出行人动作编码。
可选地,所述局部环境编码模块具体用于:S141、采用图像识别技术,确定所述局部地图数据中的多个目标;S142、对所述多个目标进行边界框处理,分别获取每一目标的目标边界框;S143、提取每一目标的目标边界框的左上角和右下角顶点,并对各个顶点进行分组;S144、将分组后的顶点输入高效神经网络,获取局部环境编码。
可选地,所述行人意图数据获取模块具体用于:S151、将所述行人动作编码及所述局部环境编码进行拼接,获取复合编码序列;S152、将所述复合编码序列输入双向长短时记忆网络,输出复合编码向量;S153、将所述复合编码向量输入全连接层,获取行人意图数据。
可选地,所述行车速度获取模块具体用于:采集目标车辆当前时刻速度数据。
可选地,所述行人意图数据,包括:快速穿过、低速穿过及等待。
可选地,所述意图分析模块具体用于:根据如下公式确定意图分析结果:
Figure BDA0003519845280000161
其中,v是行车速度数据;Th是行车速度阈值;s是行人意图数据,s=0表示等待意图,s=1表示低速穿过意图,s=2表示快速穿过意图;R是意图分析结果
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置中模块/单元/子单元/组件的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
综上所述,本申请提供的一种行人的意图分析方法及系统,获取行人图像数据;根据所述行人图像数据,提取局部地图数据;将所述行人图像数据输入第一意图分析模型,获取行人动作编码;将所述局部地图数据输入第二意图分析模型,获取局部环境编码;将所述行人动作编码及所述局部环境编码融合,获取行人意图数据;获取行车速度数据;基于所述行车速度数据及所述行人意图数据获得意图分析结果。通过该方法获取更准确的行人意图分析结果。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-On ly Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种行人的意图分析方法,其特征在于,包括:
S110、获取行人图像数据;
S120、根据所述行人图像数据,提取局部地图数据;
S130、将所述行人图像数据输入第一意图分析模型,获取行人动作编码;
S140、将所述局部地图数据输入第二意图分析模型,获取局部环境编码;
所述S140、将所述局部地图数据输入第二意图分析模型,获取局部环境编码,包括:
S141、采用图像识别技术,确定所述局部地图数据中的多个目标;
S142、对所述多个目标进行边界框处理,分别获取每一目标的目标边界框;
S143、提取每一目标的目标边界框的左上角和右下角顶点,并对各个顶点进行分组;
S144、将分组后的顶点输入高效神经网络,获取局部环境编码;
S150、将所述行人动作编码及所述局部环境编码融合,获取行人意图数据;
S160、获取行车速度数据;
S170、基于所述行车速度数据及所述行人意图数据获得意图分析结果;
所述行人意图数据,包括:快速穿过、低速穿过及等待;并根据如下公式确定意图分析结果:
Figure FDA0003794825810000021
其中,v是行车速度数据;Th是行车速度阈值;s是行人意图数据,s=0表示等待意图,s=1表示低速穿过意图,s=2表示快速穿过意图;R是意图分析结果;其中所述行车速度阈值是依据不同路况和不同时段设置的。
2.根据权利要求1所述的方法,其特征在于,所述S110、获取行人图像数据,包括:采集目标车辆前方当前时刻图像,以获取所述行人图像数据。
3.根据权利要求1所述的方法,其特征在于,所述S120、根据所述行人图像数据,提取局部地图数据,包括:
S121、将所述行人图像数据进行边界框处理,获取所述行人图像数据的坐标;
S122、根据预设规则扩展所述行人图像数据的边界框,获取扩展边界框的坐标;
S123、根据所述扩展边界框的坐标提取局部地图数据。
4.根据权利要求1所述的方法,其特征在于,所述S130、将所述行人图像数据输入第一意图分析模型,获取行人动作编码,包括:
S131、编码所述图像数据,获得编码后的图像数据;
S132、将编码后的图像数据输入双向长短时记忆网络,解码输出行人动作编码。
5.根据权利要求1所述的方法,其特征在于,所述S150、将所述行人动作编码及所述局部环境编码融合,获取行人意图数据,包括:
S151、将所述行人动作编码及所述局部环境编码进行拼接,获取复合编码序列;
S152、将所述复合编码序列输入双向长短时记忆网络,输出复合编码向量;
S153、将所述复合编码向量输入全连接层,获取行人意图数据。
6.根据权利要求1所述的方法,其特征在于,所述S160、获取行车速度数据,包括:
采集目标车辆当前时刻速度数据。
7.一种行人的意图分析系统,其特征在于,包括:
图像数据获取模块,用于获取行人图像数据;
地图数据提取模块,用于根据所述行人图像数据,提取局部地图数据;
行人动作编码模块,用于将所述行人图像数据输入第一意图分析模型,获取行人动作编码;
局部环境编码模块,用于将所述局部地图数据输入第二意图分析模型,获取局部环境编码;
所述局部环境编码模块具体用于:
S141、采用图像识别技术,确定所述局部地图数据中的多个目标;
S142、对所述多个目标进行边界框处理,分别获取每一目标的目标边界框;
S143、提取每一目标的目标边界框的左上角和右下角顶点,并对各个顶点进行分组;
S144、将分组后的顶点输入高效神经网络,获取局部环境编码;行人意图数据获取模块,用于将所述行人动作编码及所述局部环境编码融合,获取行人意图数据;
行车速度获取模块,用于获取行车速度数据;
意图分析模块,用于基于所述行车速度数据及所述行人意图数据获得意图分析结果;
所述行人意图数据,包括:快速穿过、低速穿过及等待;并根据如下公式确定意图分析结果:
Figure FDA0003794825810000041
其中,v是行车速度数据;Th是行车速度阈值;s是行人意图数据,s=0表示等待意图,s=1表示低速穿过意图,s=2表示快速穿过意图;R是意图分析结果;其中所述行车速度阈值是依据不同路况和不同时段设置的。
CN202210174925.2A 2022-02-25 2022-02-25 一种行人的意图分析方法及系统 Active CN114550297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210174925.2A CN114550297B (zh) 2022-02-25 2022-02-25 一种行人的意图分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210174925.2A CN114550297B (zh) 2022-02-25 2022-02-25 一种行人的意图分析方法及系统

Publications (2)

Publication Number Publication Date
CN114550297A CN114550297A (zh) 2022-05-27
CN114550297B true CN114550297B (zh) 2022-09-27

Family

ID=81680349

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210174925.2A Active CN114550297B (zh) 2022-02-25 2022-02-25 一种行人的意图分析方法及系统

Country Status (1)

Country Link
CN (1) CN114550297B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115240402B (zh) * 2022-07-13 2023-04-07 北京拙河科技有限公司 一种观光车调度方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435503A (zh) * 2020-10-30 2021-03-02 江苏大学 一种辨识高危行人意图的智能汽车主动避撞方法
CN113392725A (zh) * 2021-05-26 2021-09-14 苏州易航远智智能科技有限公司 基于视频数据的行人过街意图识别方法
CN113807298A (zh) * 2021-07-26 2021-12-17 北京易航远智科技有限公司 行人过街意图预测方法、装置、电子设备及可读存储介质
WO2022022721A1 (zh) * 2020-07-31 2022-02-03 商汤集团有限公司 轨迹预测方法、装置、设备、存储介质及程序
CN114550215A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 一种基于迁移学习的目标检测方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018132608A2 (en) * 2017-01-12 2018-07-19 Mobileye Vision Technologies Ltd. Navigation based on occlusion zones
AU2018267541A1 (en) * 2017-11-20 2019-06-06 Ashok Krishnan Systems and methods of training vehicles
US11682272B2 (en) * 2020-07-07 2023-06-20 Nvidia Corporation Systems and methods for pedestrian crossing risk assessment and directional warning
CN112329682B (zh) * 2020-11-16 2024-01-26 常州大学 一种基于穿越动作和交通场景上下文因素的行人穿越马路意图识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022022721A1 (zh) * 2020-07-31 2022-02-03 商汤集团有限公司 轨迹预测方法、装置、设备、存储介质及程序
CN112435503A (zh) * 2020-10-30 2021-03-02 江苏大学 一种辨识高危行人意图的智能汽车主动避撞方法
CN113392725A (zh) * 2021-05-26 2021-09-14 苏州易航远智智能科技有限公司 基于视频数据的行人过街意图识别方法
CN113807298A (zh) * 2021-07-26 2021-12-17 北京易航远智科技有限公司 行人过街意图预测方法、装置、电子设备及可读存储介质
CN114550215A (zh) * 2022-02-25 2022-05-27 北京拙河科技有限公司 一种基于迁移学习的目标检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PIE: A Large-Scale Dataset and Models for Pedestrian Intention Estimation and Trajectory Prediction;Amir Rasouli等;《2019 IEEE/CVF International Conference on Computer Vision (ICCV)》;20200227;第6261-6270页 *
基于动作预测与环境条件的行人过街意图识别;杨彪等;《汽车工程》;20210725;第43卷(第7期);第1066-1076页 *
基于图卷积和LSTM网络的行人通行意图预测方法;许晓君;《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》;20210215(第2期);第C034-717页 *

Also Published As

Publication number Publication date
CN114550297A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111126258B (zh) 图像识别方法及相关装置
CN113128348B (zh) 一种融合语义信息的激光雷达目标检测方法及系统
CN111179300A (zh) 障碍物检测的方法、装置、系统、设备以及存储介质
Cui et al. 3D semantic map construction using improved ORB-SLAM2 for mobile robot in edge computing environment
CN108122245B (zh) 一种目标行为描述方法、装置和监控设备
CN114445430A (zh) 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN111292366A (zh) 一种基于深度学习和边缘计算的视觉行车测距算法
CN114550297B (zh) 一种行人的意图分析方法及系统
CN111724443B (zh) 基于生成式对抗网络的统一场景视觉定位方法
CN111950702A (zh) 一种神经网络结构确定方法及其装置
CN114049356A (zh) 一种结构表观裂缝检测方法、装置及系统
CN115375781A (zh) 一种数据处理方法及其装置
Yebes et al. Learning to automatically catch potholes in worldwide road scene images
Tran et al. Pp-linknet: Improving semantic segmentation of high resolution satellite imagery with multi-stage training
Guo et al. A domain‐adaptive method with cycle perceptual consistency adversarial networks for vehicle target detection in foggy weather
CN110909656A (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN114943870A (zh) 线特征提取模型的训练方法及装置、点云匹配方法及装置
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
CN116413740B (zh) 一种激光雷达点云地面检测方法及装置
CN115565148B (zh) 道路图像的检测方法、装置、存储介质和电子装置
CN116823884A (zh) 多目标跟踪方法、系统、计算机设备及存储介质
CN113344121B (zh) 训练招牌分类模型和招牌分类的方法
CN117011692A (zh) 一种道路识别的方法以及相关装置
CN111062311B (zh) 一种基于深度级可分离卷积网络的行人手势识别与交互方法
CN112614156A (zh) 一种多目标跟踪网络模型的训练方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant