CN111091581A - 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 - Google Patents

基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 Download PDF

Info

Publication number
CN111091581A
CN111091581A CN201811245178.7A CN201811245178A CN111091581A CN 111091581 A CN111091581 A CN 111091581A CN 201811245178 A CN201811245178 A CN 201811245178A CN 111091581 A CN111091581 A CN 111091581A
Authority
CN
China
Prior art keywords
input data
information
discriminator
pedestrian
synthesizing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811245178.7A
Other languages
English (en)
Other versions
CN111091581B (zh
Inventor
张连城
郭正东
毛继明
董芳芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811245178.7A priority Critical patent/CN111091581B/zh
Publication of CN111091581A publication Critical patent/CN111091581A/zh
Application granted granted Critical
Publication of CN111091581B publication Critical patent/CN111091581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提出一种基于生成对抗网络的行人轨迹模拟方法、装置和存储介质。该方法包括:将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹;合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据;合成真实行人轨迹和第二交通路网信息,以获得第二输入数据;将所述第一输入数据和所述第二输入数据分别输入判别器;如果所述判别器能够区分所述第一输入数据与所述第二输入数据,则调整所述生成器的参数后,重新执行生成步骤和判别器输入步骤,直至所述判别器无法区分所述第一输入数据与所述第二输入数据。本发明实施例可以模拟出符合真实场景的行人轨迹,提高仿真场景的真实度和仿真测试的准确性。

Description

基于生成对抗网络的行人轨迹模拟方法、装置和存储介质
技术领域
本发明涉及自动驾驶仿真技术领域,尤其涉及一种基于生成对抗网络的行人轨迹模拟方法、装置和存储介质。
背景技术
从统计学意义上来讲,自动驾驶车辆需要在完备路网行驶2亿英里才能保证其性能超越人类,这种目标在实际场景中是难以实现的。通过仿真才能加速实现这一目标。在仿真模拟中,需要为自动驾驶车辆构建仿真场景,其中包括行人轨迹。现阶段,通过实地采样获取完备的场景分布集合是异常困难的。此外,利用实地采样获得的场景一般更适用于采集地,换了其他地方的场景可能不一样,仿真得到的结果可能不准确。
发明内容
本发明实施例提供一种基于生成对抗网络的行人轨迹模拟方法、装置和存储介质,以解决现有技术中的一个或多个技术问题。
第一方面,本发明实施例提供了一种基于生成对抗网络的行人轨迹模拟方法,包括:
将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹;
合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据;合成真实行人轨迹和第二交通路网信息,以获得第二输入数据;将所述第一输入数据和所述第二输入数据分别输入判别器;
如果所述判别器能够区分所述第一输入数据与所述第二输入数据,则调整所述生成器的参数后,重新执行生成步骤和判别器输入步骤,直至所述判别器无法区分所述第一输入数据与所述第二输入数据。
在一种实施方式中,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹,包括:
根据所述生成器的卷积网络,提取所述第一地图信息中的地图特征;
将所述地图特征和所述第一红绿灯信息作为隐含态初始值,输入所述生成器的长短期记忆网络;
从所述地图信息中随机选取一个点作为所述随机定位点;
将所述随机定位点输入所述长短期记忆网络,以生成所述生成行人轨迹。
在一种实施方式中,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据,包括:
合成所述生成行人轨迹和所述第一地图信息,以生成区域生成行人轨迹;
合成所述区域生成行人轨迹和所述第一红绿灯信息,以获得所述第一输入数据。
在一种实施方式中,所述第二交通路网信息包括第二地图信息和第二红绿灯信息,合成真实行人轨迹和第二交通路网信息,以获得第二输入数据,包括:
合成所述真实行人轨迹和所述第二地图信息,以生成区域真实行人轨迹;
合成所述区域真实行人轨迹和所述第二红绿灯信息,以获得所述第二输入数据。
第二方面,本发明实施例提供了一种基于生成对抗网络的行人轨迹模拟装置,包括:
生成模块,用于将将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹;
判别器输入模块,用于合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据;合成真实行人轨迹和第二交通路网信息,以获得第二输入数据;将所述第一输入数据和所述第二输入数据分别输入判别器;
调整模块,用于如果所述判别器能够区分所述第一输入数据与所述第二输入数据,则调整所述生成器的参数后,控制所述生成模块重新执行生成步骤和控制所述判别器输入模块重新执行判别器输入步骤,直至所述判别器无法区分所述第一输入数据与所述第二输入数据。
在一种实施方式中,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,所述生成模块包括:
提取子模块,用于根据所述生成器的卷积网络,提取所述第一地图信息中的地图特征;
第一输入子模块,用于将所述地图特征和所述第一红绿灯信息作为隐含态初始值,输入所述生成器的长短期记忆网络;
随机选取子模块,用于从所述地图信息中随机选取一个点作为所述随机定位点;
第二输入子模块,用于将所述随机定位点输入所述长短期记忆网络,以生成所述生成行人轨迹。
在一种实施方式中,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,所述判别器输入模块包括:
第一合成子模块,用于合成所述生成行人轨迹和所述第一地图信息,以生成区域生成行人轨迹;
第二合成子模块,用于合成所述区域生成行人轨迹和所述第一红绿灯信息,以获得所述第一输入数据。
在一种实施方式中,所述第二交通路网信息包括第二地图信息和第二红绿灯信息,所述判别器输入模块包括:
第三合成子模块,用于合成所述真实行人轨迹和所述第二地图信息,以生成区域真实行人轨迹;
第四合成子模块,用于合成所述区域真实行人轨迹和所述第二红绿灯信息,以获得所述第二输入数据。
第三方面,本发明实施例提供了一种基于生成对抗网络的行人轨迹模拟装置,所述装置的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,所述装置的结构中包括处理器和存储器,所述存储器用于存储支持所述装置执行上述方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述装置还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种计算机可读存储介质,用于存储基于生成对抗网络的行人轨迹模拟装置所用的计算机软件指令,其包括用于执行上述方法所涉及的程序。
上述技术方案可以在仿真场景中模拟出符合真实场景的行人轨迹,以提高仿真结果的真实度和仿真测试的准确性。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示出了根据本发明实施例的基于生成对抗网络的行人轨迹模拟方法的流程图。
图2示出了根据本发明实施例的一种实施方式的基于生成对抗网络的行人轨迹模拟方法的流程图。
图3示出了根据本发明实施例的另一种实施方式的基于生成对抗网络的行人轨迹模拟方法的流程图。
图4示出了根据本发明实施例的基于生成对抗网络的行人轨迹模拟方法的应用示意图。
图5示出了根据本发明实施例的基于生成对抗网络的行人轨迹模拟装置的结构框图。
图6示出了根据本发明实施例的基于生成对抗网络的行人轨迹模拟装置的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出了根据本发明实施例的基于生成对抗网络的行人轨迹模拟方法的流程图。如图1所示,该方法可以包括以下步骤:
步骤S100,将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹;
步骤S200,合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据;合成真实行人轨迹和第二交通路网信息,以获得第二输入数据;
步骤S300,将所述第一输入数据和所述第二输入数据分别输入判别器,如果所述判别器能够区分所述第一输入数据与所述第二输入数据,则调整所述生成器的参数后,重新执行步骤S100和步骤S200,直至所述判别器无法区分所述第一输入数据与所述第二输入数据。
在自动驾驶仿真测试时,需要为测试车辆提供模拟(仿真)场景,其中包括模拟(仿真)的行人轨迹。利用模拟器(simulator)可以得到模拟的行人轨迹。但是,基于模拟器获得的行人轨迹通常是理想状态的完美数据,与现实世界差别较大。例如:利用模拟器获得的行人轨迹为笔直的直线段,这与现实世界的行人轨迹有很大的区别。
为了提高模拟(仿真)场景的真实度,可以基于生成对抗网络(GAN,GenerativeAdversarial Networks)生产行人轨迹。其中,GAN是一种深度学习模型,通常包括生成器(Generator)和判别器(Discriminator)。
本发明实施例中,可以将随机定位点和第一交通路网信息输入生成器;生成器根据其自身定义的参数,产生生成行人轨迹。基于生成行人轨迹中每一个像素点的位置以及第一交通路网信息中每一个像素点的位置,合成生成行人轨迹和第一交通路网信息;合成后得到的数据即为第一输入数据。
通过实地采样真实场景的图像或视频,可以获得第二交通路网信息以及真实场景中的真实行人轨迹。基于真实行人轨迹中每一个像素点的位置以及第二交通路网信息中每一个像素点的位置,合成真实行人轨迹和第二交通路网信息;合成后得到的数据即为第二输入数据(真实数据)。
进一步地,将第一输入数据和第二输入数据分别输入判别器;判别器根据其自身定义的参数,区分第一输入数据和第二输入数据,进而输出判别值。判别值的取值范围可以为[0,1],即通过0到1之间的数据来表征第一输入数据是否接近第二输入数据。
例如:判别器输出判别值接近0或1,表征判别器能够区分第一输入数据和第二输入数据,即第一输入数据不是真实的;判别器输出判别值接近0.5,表征判别器已无法区分第一输入数据和第二输入数据,即第一输入数据是真实的。其中,判别器输出的判别值越趋向于0或1,表征第一输入数据与第二输入数据之间的区别越大。
本发明实施例中,可以把将随机定位点和第一交通路网信息输入生成器至判别器输出判别值为一轮迭代过程。在第一轮迭代过程中,判别器输出的判别值可能在0或1附近,即第一输入数据不是真实的,则调整生成器和判别器的参数,进入第二轮迭代过程。
在经过多轮调整参数和迭代过程后,判别器输出判别值在0.5附近,说明判别器已无法区分第一输入数据和第二输入数据,则认为此时的生成器所输出的生成行人轨迹是真实的。
需要说明的是,在每轮迭代过程中,输入的第一交通路网信息可以相同,也可以不同;输入的第二交通路网信息可以相同,也可以不同。但在同一轮迭代过程中,输入生成器的第一交通路网信息应与输入判别器的第一交通路网信息相同。
本发明实施例,基于GAN可以生成与模拟(仿真)场景对应的行人轨迹,进而提高仿真场景的真实度和自动驾驶仿真测试的准确性。
在一种可能的实施方式中,第一交通路网信息可以包括与第一地图对应的第一地图信息和第一红绿灯信息。如图2所示,步骤S100可以包括:
步骤S110,根据所述生成器的卷积网络,提取所述第一地图信息中的地图特征;
步骤S120,将所述地图特征和所述红绿灯信息作为隐含态初始值,输入所述生成器的长短期记忆网络;
步骤S130,从所述地图信息中随机选取一个点作为所述随机定位点;
步骤S140,将所述随机定位点输入所述长短期记忆网络,以生成所述生成行人轨迹。
本发明实施例中,生成器可以包括卷积网络(CNN,Convolution Neural Network)和长短期记忆网络(LSTM,Long-Short Term Memory)。调整生成器的参数,可以包括调整卷积网络的参数和长短期记忆网络的参数。
利用卷积网络可以从第一地图信息中提取特征向量,作为地图特征。长短期记忆网络是一种时间递归神经网络(RNN,Recurrent Neutral Network),能够学习长期依赖关系。将地图特征和第一红绿灯信息作为长短期记忆网络的隐含态初始值;随机选取第一地图上的一个点作为长短期记忆网络的输入值;进而,长短期记忆网络可以输出生成行人轨迹。
在一种可能的实施方式中,如图3所示,步骤S200可以包括:
步骤S210,合成所述生成行人轨迹和所述第一地图信息,以生成区域生成行人轨迹;
步骤S220,合成所述区域生成行人轨迹和所述第一红绿灯信息,以获得所述第一输入数据。
本发明实施例中,可以基于生成行人轨迹中每一个像素点的位置以及第一地图中每一个像素点的位置,合成生成行人轨迹和第一地图信息,以获得区域生成行人轨迹。区域生成行人轨迹可以表征生成行人轨迹在第一地图上的地理位置关系和时间映射关系。
可以基于区域生成行人轨迹中每一个像素点的位置和第一红绿灯在第一地图中的位置,合成区域生成行人轨迹和第一红绿灯信息,以获得第一输入数据。该第一输入数据可以表征区域生成行人轨迹与第一地图以及第一红绿灯的地理位置关系和时间映射关系,进而提高最终生成的行人轨迹的真实度。
在一种可能的实施方式中,通过实地采样真实场景的图像或视频,可以获得第二地图和第二红绿灯,进而获得第二地图信息和第二红绿灯信息。如图3所示,步骤S200可以包括:
步骤S230,合成所述真实行人轨迹和所述第二地图信息,以生成区域真实行人轨迹;
步骤S240,合成所述区域真实行人轨迹和所述第二红绿灯信息,以获得所述第二输入数据;将所述第一输入数据和所述第二输入数据分别输入判别器。
本发明实施例中,可以基于真实行人轨迹中每一个像素点的位置以及第二地图中每一个像素点的位置,合成真实行人轨迹和第二地图信息,以获得区域真实行人轨迹。区域真实行人轨迹可以表征真实行人轨迹在第二地图上的地理位置关系和时间映射关系。
可以基于区域真实行人轨迹中每一个像素点的位置和第二红绿灯在第二地图中的位置,合成区域真实行人轨迹和第二红绿灯信息,以获得第二输入数据。该第二输入数据可以表征区域真实行人轨迹与第二地图以及第二红绿灯的地理位置关系和时间映射关系,进而提高最终生成的行人轨迹的真实度。
在一种示例中,如图4所示,第一交通路网信息可以包括与第一地图对应的第一地图信息和第一红绿灯信息。第二交通路网信息可以包括第二地图信息和第二红绿灯信息。
生成器的卷积网络从第一地图信息中提取地图特征;将提取到的地图特征、随机定位点和第一红绿灯信息输入长期记忆网络,以得到生成行人轨迹。合成生成行人轨迹和第一地图信息,可以生成区域生成行人轨迹;合成区域生成行人轨迹和第一红绿信息,可以获得第一输入数据。
合成真实行人轨迹和第二地图信息,可以生成区域真实行人轨迹;合成区域真实行人轨迹和第二红绿灯信息,可以获得第二输入数据(真实数据)。
判别器的卷积网络提取第一输入数据和第二输入数据,并分辨第一输入数据和第二输入数据,进而输出判别值。
在经过多轮迭代过程和不断调整生成器和判别器的参数后,判别器输出判别值在0.5附近,说明判别器已无法区分第一输入数据和第二输入数据,则认为此时的生成器所输出的生成行人轨迹是真实的。
本发明实施例,基于GAN可以为模拟(仿真)场景添加与其对应的模拟行人轨迹。在模拟过程中,通过将行人轨迹与地图信息及红绿灯信息进行合成,可以提高模拟(仿真)场景的真实度,进而提高自动驾驶仿真测试的准确性。
图5示出了根据本发明实施例的基于生成对抗网络的行人轨迹模拟装置的结构框图。如图5所示,该装置可以包括:
生成模块100,用于将将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹;
判别器输入模块200,用于合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据;合成真实行人轨迹和第二交通路网信息,以获得第二输入数据;将所述第一输入数据和所述第二输入数据分别输入判别器;
调整模块300,用于如果所述判别器能够区分所述第一输入数据与所述第二输入数据,则调整所述生成器的参数后,控制所述生成模块重新执行生成步骤和控制所述判别器输入模块新执行判别器输入步骤,直至所述判别器无法区分所述第一输入数据与所述第二输入数据。
在一种实施方式中,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,生成模块100可以包括:
提取子模块,用于根据所述生成器的卷积网络,提取所述第一地图信息中的地图特征;
第一输入子模块,用于将所述地图特征和所述第一红绿灯信息作为隐含态初始值,输入所述生成器的长短期记忆网络;
随机选取子模块,用于从所述地图信息中随机选取一个点作为所述随机定位点;
第二输入子模块,用于将所述随机定位点输入所述长短期记忆网络,以生成所述生成行人轨迹。
在一种实施方式中,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,判别器输入模块200可以包括:
第一合成子模块,用于合成所述生成行人轨迹和所述第一地图信息,以生成区域生成行人轨迹;
第二合成子模块,用于合成所述区域生成行人轨迹和所述第一红绿灯信息,以获得所述第一输入数据。
在一种实施方式中,判别器输入模块200可以包括:
第三合成子模块,用于合成所述真实行人轨迹和所述第二地图信息,以生成区域真实行人轨迹;
第四合成子模块,用于合成所述区域真实行人轨迹和所述第二红绿灯信息,以获得所述第二输入数据。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述,在此不再赘述。
图6示出了根据本发明实施例的基于生成对抗网络的行人轨迹模拟装置的结构框图。如图6所示,该装置包括:存储器910和处理器920,存储器910内存储有可在处理器920上执行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的基于生成对抗网络的行人轨迹模拟方法。所述存储器910和处理器920的数量可以为一个或多个。
该装置还包括:
通信接口930,用于与外界设备进行通信,进行数据交互传输。
存储器910可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent Interconnect)总线或扩展工业标准体系结构(EISA,Extended IndustryStandard Component)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于生成对抗网络的行人轨迹模拟方法,其特征在于,包括:
将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹;
合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据;合成真实行人轨迹和第二交通路网信息,以获得第二输入数据;将所述第一输入数据和所述第二输入数据分别输入判别器;
如果所述判别器能够区分所述第一输入数据与所述第二输入数据,则调整所述生成器的参数后,重新执行生成步骤和判别器输入步骤,直至所述判别器无法区分所述第一输入数据与所述第二输入数据。
2.根据权利要求1所述的方法,其特征在于,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹,包括:
根据所述生成器的卷积网络,提取所述第一地图信息中的地图特征;
将所述地图特征和所述第一红绿灯信息作为隐含态初始值,输入所述生成器的长短期记忆网络;
从所述地图信息中随机选取一个点作为所述随机定位点;
将所述随机定位点输入所述长短期记忆网络,以生成所述生成行人轨迹。
3.根据权利要求1所述的方法,其特征在于,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据,包括:
合成所述生成行人轨迹和所述第一地图信息,以生成区域生成行人轨迹;
合成所述区域生成行人轨迹和所述第一红绿灯信息,以获得所述第一输入数据。
4.根据权利要求3所述的方法,其特征在于,所述第二交通路网信息包括第二地图信息和第二红绿灯信息,合成真实行人轨迹和第二交通路网信息,以获得第二输入数据,包括:
合成所述真实行人轨迹和所述第二地图信息,以生成区域真实行人轨迹;
合成所述区域真实行人轨迹和所述第二红绿灯信息,以获得所述第二输入数据。
5.一种基于生成对抗网络的行人轨迹模拟装置,其特征在于,包括:
生成模块,用于将将随机定位点和第一交通路网信息输入生成器,以生成与所述第一交通路网信息相对应的生成行人轨迹;
判别器输入模块,用于合成所述生成行人轨迹和所述第一交通路网信息,以获得第一输入数据;合成真实行人轨迹和第二交通路网信息,以获得第二输入数据;将所述第一输入数据和所述第二输入数据分别输入判别器;
调整模块,用于如果所述判别器能够区分所述第一输入数据与所述第二输入数据,则调整所述生成器的参数后,控制所述生成模块重新执行生成步骤和控制所述判别器输入模块重新执行判别器输入步骤,直至所述判别器无法区分所述第一输入数据与所述第二输入数据。
6.根据权利要求5所述的装置,其特征在于,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,所述生成模块包括:
提取子模块,用于根据所述生成器的卷积网络,提取所述第一地图信息中的地图特征;
第一输入子模块,用于将所述地图特征和所述第一红绿灯信息作为隐含态初始值,输入所述生成器的长短期记忆网络;
随机选取子模块,用于从所述地图信息中随机选取一个点作为所述随机定位点;
第二输入子模块,用于将所述随机定位点输入所述长短期记忆网络,以生成所述生成行人轨迹。
7.根据权利要求5所述的装置,其特征在于,所述第一交通路网信息包括第一地图信息和第一红绿灯信息,所述判别器输入模块包括:
第一合成子模块,用于合成所述生成行人轨迹和所述第一地图信息,以生成区域生成行人轨迹;
第二合成子模块,用于合成所述区域生成行人轨迹和所述第一红绿灯信息,以获得所述第一输入数据。
8.根据权利要求7所述的装置,其特征在于,所述第二交通路网信息包括第二地图信息和第二红绿灯信息,所述判别器输入模块包括:
第三合成子模块,用于合成所述真实行人轨迹和所述第二地图信息,以生成区域真实行人轨迹;
第四合成子模块,用于合成所述区域真实行人轨迹和所述第二红绿灯信息,以获得所述第二输入数据。
9.一种基于生成对抗网络的行人轨迹模拟装置,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至4中任一项所述的方法。
CN201811245178.7A 2018-10-24 2018-10-24 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 Active CN111091581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811245178.7A CN111091581B (zh) 2018-10-24 2018-10-24 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811245178.7A CN111091581B (zh) 2018-10-24 2018-10-24 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质

Publications (2)

Publication Number Publication Date
CN111091581A true CN111091581A (zh) 2020-05-01
CN111091581B CN111091581B (zh) 2023-06-16

Family

ID=70391675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811245178.7A Active CN111091581B (zh) 2018-10-24 2018-10-24 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN111091581B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259176A (zh) * 2023-02-17 2023-06-13 安徽大学 一种基于意图随机性影响策略的行人轨迹预测方法

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070050816A (ko) * 2005-11-12 2007-05-16 에스케이 주식회사 교통정보 수집 단말, 이를 이용한 교통정보 제공 시스템 및그 방법
WO2009059766A1 (en) * 2007-11-06 2009-05-14 Tele Atlas North America Inc. Method and system for the use of probe data from multiple vehicles to detect real world changes for use in updating a map
KR20090126149A (ko) * 2008-06-03 2009-12-08 포스데이타 주식회사 교통흐름 시뮬레이션 시스템
CN106198049A (zh) * 2016-07-15 2016-12-07 百度在线网络技术(北京)有限公司 真实车辆在环测试系统和方法
CN106934107A (zh) * 2017-02-20 2017-07-07 北京百度网讯科技有限公司 交通出行场景构建方法、装置、设备及存储介质
CN107045816A (zh) * 2017-06-23 2017-08-15 西安天圆光电科技有限公司 基于ar眼镜和数据手套的空战对抗训练模拟装置及方法
US20170316127A1 (en) * 2016-04-29 2017-11-02 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for constructing testing scenario for driverless vehicle
WO2018002910A1 (en) * 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学(武汉) 一种智能辅助驾驶方法及系统
GB201803599D0 (en) * 2018-03-06 2018-04-18 Morpheus Labs Ltd Behaviour models for autonomous vehicle simulators
CN108122245A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN108229434A (zh) * 2018-02-01 2018-06-29 福州大学 一种车辆识别与细致重构的方法
CN108290540A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于自主驱动车辆的内部安全系统
US10031526B1 (en) * 2017-07-03 2018-07-24 Baidu Usa Llc Vision-based driving scenario generator for autonomous driving simulation
CN108520155A (zh) * 2018-04-11 2018-09-11 大连理工大学 基于神经网络的车辆行为模拟方法
CN108564129A (zh) * 2018-04-24 2018-09-21 电子科技大学 一种基于生成对抗网络的轨迹数据分类方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070050816A (ko) * 2005-11-12 2007-05-16 에스케이 주식회사 교통정보 수집 단말, 이를 이용한 교통정보 제공 시스템 및그 방법
WO2009059766A1 (en) * 2007-11-06 2009-05-14 Tele Atlas North America Inc. Method and system for the use of probe data from multiple vehicles to detect real world changes for use in updating a map
KR20090126149A (ko) * 2008-06-03 2009-12-08 포스데이타 주식회사 교통흐름 시뮬레이션 시스템
CN108290540A (zh) * 2015-11-04 2018-07-17 祖克斯有限公司 用于自主驱动车辆的内部安全系统
US20170316127A1 (en) * 2016-04-29 2017-11-02 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for constructing testing scenario for driverless vehicle
WO2018002910A1 (en) * 2016-06-28 2018-01-04 Cognata Ltd. Realistic 3d virtual world creation and simulation for training automated driving systems
CN106198049A (zh) * 2016-07-15 2016-12-07 百度在线网络技术(北京)有限公司 真实车辆在环测试系统和方法
CN108122245A (zh) * 2016-11-30 2018-06-05 华为技术有限公司 一种目标行为描述方法、装置和监控设备
CN106934107A (zh) * 2017-02-20 2017-07-07 北京百度网讯科技有限公司 交通出行场景构建方法、装置、设备及存储介质
CN107045816A (zh) * 2017-06-23 2017-08-15 西安天圆光电科技有限公司 基于ar眼镜和数据手套的空战对抗训练模拟装置及方法
US10031526B1 (en) * 2017-07-03 2018-07-24 Baidu Usa Llc Vision-based driving scenario generator for autonomous driving simulation
CN107590438A (zh) * 2017-08-16 2018-01-16 中国地质大学(武汉) 一种智能辅助驾驶方法及系统
CN108229434A (zh) * 2018-02-01 2018-06-29 福州大学 一种车辆识别与细致重构的方法
GB201803599D0 (en) * 2018-03-06 2018-04-18 Morpheus Labs Ltd Behaviour models for autonomous vehicle simulators
CN108520155A (zh) * 2018-04-11 2018-09-11 大连理工大学 基于神经网络的车辆行为模拟方法
CN108564129A (zh) * 2018-04-24 2018-09-21 电子科技大学 一种基于生成对抗网络的轨迹数据分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AGRIM GUPTA ET AL.: "Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks", 《HTTPS://ARXIV.ORG/ABS/1803.10892》, pages 1 - 10 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116259176A (zh) * 2023-02-17 2023-06-13 安徽大学 一种基于意图随机性影响策略的行人轨迹预测方法
CN116259176B (zh) * 2023-02-17 2024-02-06 安徽大学 一种基于意图随机性影响策略的行人轨迹预测方法

Also Published As

Publication number Publication date
CN111091581B (zh) 2023-06-16

Similar Documents

Publication Publication Date Title
CN111091739B (zh) 自动驾驶场景的生成方法、装置和存储介质
CN111079533B (zh) 无人车驾驶决策方法、无人车驾驶决策装置及无人车
CN109255181B (zh) 一种基于多模型的障碍物分布仿真方法、装置以及终端
CN111142402B (zh) 仿真场景构建方法、装置和终端
CN115616937B (zh) 自动驾驶仿真测试方法、装置、设备和计算机可读介质
CN111553242B (zh) 用于预测驾驶行为的生成对抗网络的训练方法和电子设备
CN113160272A (zh) 目标跟踪方法、装置、电子设备及存储介质
CN110069997B (zh) 场景分类方法、装置及电子设备
CN110427998A (zh) 模型训练、目标检测方法及装置、电子设备、存储介质
CN111091581B (zh) 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质
CN116776288A (zh) 一种智能驾驶感知模型的优化方法、装置及存储介质
CN116341648A (zh) 自动驾驶车辆环境感知能力训练方法、装置、设备及介质
CN111177878A (zh) 衍生仿真场景筛选方法、装置和终端
CN111090269B (zh) 基于生成对抗网络的传感器模拟方法、装置和存储介质
CN116340140A (zh) 检查方法、电子检查系统、计算机可读介质和应用平台
CN111175055B (zh) 自动驾驶分布式协同仿真方法、装置以及终端
CN115346184A (zh) 一种车道信息检测方法、终端及计算机存储介质
CN112417236B (zh) 训练样本获取方法、装置、电子设备及存储介质
CN112016571B (zh) 一种基于注意力机制的特征提取方法、装置及电子设备
CN114049764A (zh) 一种基于卷积长短时记忆神经网络的交通仿真方法及系统
CN117540555A (zh) 交通流场景仿真方法、装置、电子设备及存储介质
CN114170421B (zh) 图像检测方法、装置、设备及存储介质
CN111123734A (zh) 用于无人车的复杂场景测试方法、装置及存储介质
CN113421191B (zh) 图像处理方法、装置、设备及存储介质
CN113313079B (zh) 一种车辆属性识别模型的训练方法、系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant