CN111460683A - 一种行人在环仿真系统及其测试方法 - Google Patents

一种行人在环仿真系统及其测试方法 Download PDF

Info

Publication number
CN111460683A
CN111460683A CN202010314020.1A CN202010314020A CN111460683A CN 111460683 A CN111460683 A CN 111460683A CN 202010314020 A CN202010314020 A CN 202010314020A CN 111460683 A CN111460683 A CN 111460683A
Authority
CN
China
Prior art keywords
pedestrian
motion
host
pedestrian target
simulation system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010314020.1A
Other languages
English (en)
Inventor
陈君毅
张灵童
周堂瑞
邢星宇
熊璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010314020.1A priority Critical patent/CN111460683A/zh
Publication of CN111460683A publication Critical patent/CN111460683A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及一种行人在环仿真系统及其测试方法，其中，系统包括位于运动区域内的多个行人目标，行人目标佩戴有VR眼镜及跟踪器，VR眼镜与PC主机连接，PC主机实时构建包含行人目标模型的仿真虚拟环境，VR眼镜则显示该仿真虚拟环境；PC主机连接有计算机，计算机连接有运动捕捉单元，运动捕捉单元获取行人目标的运动图像，计算机则从运动图像中提取行人目标的动作数据，并将该运动数据传输给PC主机；PC主机还与驾驶员在环仿真系统相连接，以接收车辆行驶数据。与现有技术相比，本发明采用真实的行人目标，通过实时采集及解析运动图像、将行人目标的运动数据实时更新至仿真虚拟环境中，能有效提高测试效率，并保证测试结果的可靠性。

Description

一种行人在环仿真系统及其测试方法
技术领域
本发明涉及自动驾驶测试技术领域，尤其是涉及一种行人在环仿真系统及其测试方法。
背景技术
在智能汽车先进技术验证环节，实车测试往往具有成本较高，安全性较低等因素，通过模拟真实的车辆测试环境，能够较大程度的提高测试效率，降低测试成本，目前存在的自动驾驶汽车在环仿真环境中，其他交通参与者的行为往往是人为加入的，如非机动车的行驶轨迹，行人的举止行为，行人的运动轨迹等等，以行人为例，作为实际行车环境中数量较多的参与者，在现有的在环仿真系统中，行人的运动轨迹和行为动作都是预先人为设定好的，其真实性较差，而为了弥补这一缺陷，往往需要在仿真测试之前对交通参与者的模型参数进行反复设置和标定，以保证仿真测试结果能够接近于实际，这无疑在一定程度上会增大仿真测试的工作量、降低仿真测试的效率。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种行人在环仿真系统及其测试方法。
本发明的目的可以通过以下技术方案来实现：一种行人在环仿真系统，包括位于运动区域内的多个行人目标，所述行人目标佩戴有VR眼镜及跟踪器，所述VR眼镜与PC主机连接，所述PC主机用于实时构建包含行人目标模型的仿真虚拟环境，所述VR眼镜用于显示该仿真虚拟环境；
所述PC主机连接有计算机，所述计算机连接有运动捕捉单元，所述运动捕捉单元用于获取行人目标的运动图像，所述计算机用于从运动图像中提取行人目标的动作数据，并将该运动数据传输给PC主机；
所述PC主机还与驾驶员在环仿真系统相连接，以接收来自驾驶员在环仿真系统输出的车辆行驶数据。
进一步地，所述运动捕捉单元包括安装于运动区域的多个摄像头，所述摄像头用于采集包含跟踪器的行人目标图像。
进一步地，所述摄像头的帧率大于或等于60帧/秒。
进一步地，所述行人目标的动作数据具体为跟踪器的三维空间坐标数据以及行人目标的运动轨迹。
进一步地，所述VR眼镜通过视频线与PC主机连接。
进一步地，所述PC主机通过串口通信协议与计算机连接。
进一步地，所述运动区域具体为封闭的实验场地。
进一步地，所述跟踪器佩戴在行人目标的关节位置。
一种行人在环仿真系统测试方法，包括以下步骤：
S1、根据运动区域的空间数据、行人目标的运动数据以及来自驾驶员在环仿真系统输出的车辆行驶数据，PC主机实时构建包含行人目标模型的仿真虚拟环境，并将该仿真虚拟环境实时传输给VR眼镜；
S2、VR眼镜将仿真虚拟环境实时显示给行人目标，行人目标按照测试要求完成人车交互动作；
S3、运动捕捉单元实时拍摄行人目标的运动图像，并将该运动图像传输给计算机；
S4、计算机对运动图像进行处理，以提取得到行人目标的运动数据，并将该运动数据传输给PC主机，其中，运动数据包括跟踪器的三维空间坐标数据以及行人目标的运动轨迹；
S5、PC主机实时接收来自驾驶员在环仿真系统输出的车辆行驶数据，结合行人目标的运动数据，以更新仿真虚拟环境，并将更新后的仿真虚拟环境实时传输给VR眼镜，其中，更新后的仿真虚拟环境中包含能够复现行人目标动作与位置的行人目标模型；
S6、重复步骤S2～S5，直至测试结束。
进一步地，所述步骤S4中计算机根据运动学标记算法，通过智能补偿点云信息，以解算得到运动图像中跟踪器的三维空间坐标数据。
与现有技术相比，本发明具有以下优点：
一、本发明通过让真实的行人目标佩戴VR眼镜，使行人目标能够在仿真虚拟环境中进行人车交互测试，利用运动捕捉单元以及佩戴在行人目标关节位置的跟踪器，使行人目标在运动区域的动作位置变化能够被实时准确捕捉，最终通过计算机解析三维空间坐标与运动轨迹、PC主机实时构建仿真虚拟环境，使得在环仿真测试的交通环境更加真实，能够获得真实的行人目标测试数据，从而保证后续测试结果与实际更为一致。
二、本发明中PC主机所构建的仿真虚拟环境中包含行人目标模型，且通过实时获取测试过程中行人目标的动作与位置变化，以实时更新行人目标模型，相比于传统方法，能够有效避免测试前期过程中需要对交通参与者模型的参数及行为动作进行反复设定，从而降低前期工作量、大大提升了测试效率。
附图说明
图1为本发明的系统结构示意图；
图2为本发明的方法流程示意图；
图3为实施例中行人在环仿真系统示意图；
图中标记说明：1、VR眼镜，2、跟踪器，3、PC主机，4、计算机，5、运动捕捉单元，6、驾驶员在环仿真系统。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
实施例
如图1所示，一种行人在环仿真系统，包括佩戴在行人目标身上的VR眼镜1和跟踪器2，行人目标在限定的运动区域内根据测试要求进行人车交互动作，VR眼镜1通过视频线与PC主机3相连接，PC主机3分别与计算机4以及现有的驾驶员在环仿真系统6相连接，计算机4还与运动捕捉单元5连接，其中，PC主机3用于实现仿真虚拟环境的搭建与更新，保障现有驾驶员在环仿真系统和本发明行人在环仿真系统的通信连接，以及与VR眼镜1之间的传输通信；
运动捕捉单元5用于实现对行人目标身上跟踪器2运动姿态的图像记录，实现对行人目标的动作行为采集、运动轨迹的记录，实现与PC主机3之间的数据传输，使采集得到的跟踪器2的坐标与行人目标模型相结合，从而在仿真环境中还原出真实的行人目标行为，具体的，运动捕捉单元5包括多个视频捕捉设备(如摄像头)，以实时记录行人目标的运动图像；
计算机4接收来自运动捕捉单元5的图像数据，使用运动学标记点算法将记录的信息传输至PC主机3中，在PC主机3中实现与行人目标模型的结合，最终实现人物动作在仿真环境中的还原，具体的，计算机4通过对运动图像进行解析处理，能够得到不同时间计量单位上不同跟踪器的三维空间坐标以及行人目标的运动轨迹；
VR眼镜1能够实时接收来自PC主机3构建的仿真虚拟环境，从而给行人目标提供完整的3D仿真场景。
本实施例中，PC主机3利用现有的在线实时仿真软件构建仿真虚拟环境，该仿真虚拟环境中包含与实际测试相对应的行人目标模型。
将上述行人在环仿真系统应用于实际，其具体的测试流程如图2所示：
S1、根据运动区域的空间数据、行人目标的运动数据以及来自驾驶员在环仿真系统6输出的车辆行驶数据，PC主机3实时构建包含行人目标模型的仿真虚拟环境，并将该仿真虚拟环境实时传输给VR眼镜1；
S2、VR眼镜1将仿真虚拟环境实时显示给行人目标，行人目标按照测试要求完成人车交互动作；
S3、运动捕捉单元5实时拍摄行人目标的运动图像，并将该运动图像传输给计算机；
S4、计算机4对运动图像进行处理，以提取得到行人目标的运动数据，并将该运动数据传输给PC主机，其中，运动数据包括跟踪器2的三维空间坐标数据以及行人目标的运动轨迹，计算机4根据运动学标记算法，通过智能补偿点云信息，以解算得到运动图像中跟踪器2的三维空间坐标数据；
S5、PC主机3实时接收来自驾驶员在环仿真系统输出的车辆行驶数据，结合行人目标的运动数据，以更新仿真虚拟环境，并将更新后的仿真虚拟环境实时传输给VR眼镜1，其中，更新后的仿真虚拟环境中包含能够复现行人目标动作与位置的行人目标模型；
S6、重复步骤S2～S5，直至测试结束。
本实施例中，如图3所示，运动区域为正方形的封闭区域，该运动区域内设有四个行人目标Agent，该运动区域的四个角落均安装有摄像头camera，以保证能够全面采集行人目标Agent的运动图像，摄像头camera分别连接至计算机，计算机还与PC主机相连接，行人目标Agent均佩戴有与PC主机相连接的VR设备。
在一个封闭的实验室中，行人目标被要求佩戴VR眼镜，使行人目标进行沉浸式体验，以参与到有自动驾驶汽车的交通流中，真实的驾驶员则在驾驶员在环仿真系统中完成对自动驾驶汽车的驾驶操作。行人目标的所有动作将会被摄像头捕捉到，经计算机处理后，处理后的数据传输至PC主机中，经过PC主机更新后的仿真虚拟环境通过视频线传输至VR眼镜中。
具体的工作原理为：
步骤1：将在线实时仿真软件构建出来的仿真虚拟环境通过PC主机以视频线传输的形式发送至VR设备，在VR设备中显示仿真场景；
步骤2：行人目标根据VR设备显示的仿真虚拟环境以及测试要求，完成相应的人车交互动作；
步骤3：在行人目标按照指示完成步骤2中人车交互动作的同时，运动捕捉单元采集行人目标动作及轨迹的运动图像：
3.1、为了保证实时性要求，运动捕捉单元中摄像头的帧率不低于60帧/秒；
3.2、采集得到的信息经计算机处理，以得到有行人目标群身上跟踪器的空间位置坐标以及轨迹信息，通过坐标系转化，转化至仿真虚拟环境中的坐标位置；
步骤4：将采集到的数据信息与在线实时仿真软件中建立的行人目标模型相结合，并将其作为动态元素中加入软件中；
步骤5：在线实时仿真软件实现仿真虚拟环境更新；
步骤6：在线实时仿真软件将更新后的仿真虚拟环境通过视频线传输至VR眼镜中，以实现闭环测试。
综上所述，本发明提出了一种面向智能混合交通的行人在环仿真系统及其测试方法，能够有效提高自动驾驶汽车测试时的测试效率及测试结果的可靠性。

Claims (10)

1.一种行人在环仿真系统，其特征在于，包括位于运动区域内的多个行人目标，所述行人目标佩戴有VR眼镜(1)及跟踪器(2)，所述VR眼镜(1)与PC主机(3)连接，所述PC主机(3)用于实时构建包含行人目标模型的仿真虚拟环境，所述VR眼镜(1)用于显示该仿真虚拟环境；
所述PC主机(3)连接有计算机(4)，所述计算机(4)连接有运动捕捉单元(5)，所述运动捕捉单元(5)用于获取行人目标的运动图像，所述计算机(4)用于从运动图像中提取行人目标的动作数据，并将该运动数据传输给PC主机(3)；
所述PC主机(3)还与驾驶员在环仿真系统(6)相连接，以接收来自驾驶员在环仿真系统(6)输出的车辆行驶数据。
2.根据权利要求1所述的一种行人在环仿真系统，其特征在于，所述运动捕捉单元(5)包括安装于运动区域的多个摄像头，所述摄像头用于采集包含跟踪器(2)的行人目标图像。
3.根据权利要求2所述的一种行人在环仿真系统，其特征在于，所述摄像头的帧率大于或等于60帧/秒。
4.根据权利要求1所述的一种行人在环仿真系统，其特征在于，所述行人目标的动作数据具体为跟踪器(2)的三维空间坐标数据以及行人目标的运动轨迹。
5.根据权利要求1所述的一种行人在环仿真系统，其特征在于，所述VR眼镜(1)通过视频线与PC主机(3)连接。
6.根据权利要求1所述的一种行人在环仿真系统，其特征在于，所述PC主机(3)通过串口通信协议与计算机(4)连接。
7.根据权利要求1所述的一种行人在环仿真系统，其特征在于，所述运动区域具体为封闭的实验场地。
8.根据权利要求1所述的一种行人在环仿真系统，其特征在于，所述跟踪器(2)佩戴在行人目标的关节位置。
9.一种应用如权利要求1所述行人在环仿真系统的测试方法，其特征在于，包括以下步骤：
S1、根据运动区域的空间数据、行人目标的运动数据以及来自驾驶员在环仿真系统(6)输出的车辆行驶数据，PC主机(3)实时构建包含行人目标模型的仿真虚拟环境，并将该仿真虚拟环境实时传输给VR眼镜(1)；
S2、VR眼镜(1)将仿真虚拟环境实时显示给行人目标，行人目标按照测试要求完成人车交互动作；
S3、运动捕捉单元(5)实时拍摄行人目标的运动图像，并将该运动图像传输给计算机(4)；
S4、计算机(4)对运动图像进行处理，以提取得到行人目标的运动数据，并将该运动数据传输给PC主机(3)，其中，运动数据包括跟踪器(2)的三维空间坐标数据以及行人目标的运动轨迹；
S5、PC主机(3)实时接收来自驾驶员在环仿真系统(6)输出的车辆行驶数据，结合行人目标的运动数据，以更新仿真虚拟环境，并将更新后的仿真虚拟环境实时传输给VR眼镜(1)，其中，更新后的仿真虚拟环境中包含能够复现行人目标动作与位置的行人目标模型；
S6、重复步骤S2～S5，直至测试结束。
10.根据权利要求9所述的一种测试方法，其特征在于，所述步骤S4中计算机(4)根据运动学标记算法，通过智能补偿点云信息，以解算得到运动图像中跟踪器(2)的三维空间坐标数据。
CN202010314020.1A 2020-04-20 2020-04-20 一种行人在环仿真系统及其测试方法 Pending CN111460683A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010314020.1A CN111460683A (zh) 2020-04-20 2020-04-20 一种行人在环仿真系统及其测试方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010314020.1A CN111460683A (zh) 2020-04-20 2020-04-20 一种行人在环仿真系统及其测试方法

Publications (1)

Publication Number Publication Date
CN111460683A true CN111460683A (zh) 2020-07-28

Family

ID=71684696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010314020.1A Pending CN111460683A (zh) 2020-04-20 2020-04-20 一种行人在环仿真系统及其测试方法

Country Status (1)

Country Link
CN (1) CN111460683A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201709348D0 (en) * 2017-06-13 2017-07-26 Kompetenzzentrum-Das Virtuelle Fahrzeug Method and process for co-simulation with virtual testing of real environments with pedestrian interaction
CN206627782U (zh) * 2017-03-31 2017-11-10 北京经纬恒润科技有限公司 一种车用控制器的硬件在环仿真测试系统
DE102017107396A1 (de) * 2017-04-06 2018-10-11 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
CN108646586A (zh) * 2018-03-20 2018-10-12 重庆邮电大学 一种智能网联汽车在环仿真、测试验证系统与方法
US20180322230A1 (en) * 2017-05-08 2018-11-08 Baidu Online Network Technology (Beijing) Co., Ltd. Driverless vehicle simulation test method and apparatus, device and readable medium
CN108877374A (zh) * 2018-07-24 2018-11-23 长安大学 基于虚拟现实与驾驶模拟器的车辆队列仿真系统和方法
CN109657355A (zh) * 2018-12-20 2019-04-19 安徽江淮汽车集团股份有限公司 一种车辆道路虚拟场景的仿真方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206627782U (zh) * 2017-03-31 2017-11-10 北京经纬恒润科技有限公司 一种车用控制器的硬件在环仿真测试系统
DE102017107396A1 (de) * 2017-04-06 2018-10-11 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Testverfahren und Testvorrichtung für Fahrerassistenzsysteme
US20180322230A1 (en) * 2017-05-08 2018-11-08 Baidu Online Network Technology (Beijing) Co., Ltd. Driverless vehicle simulation test method and apparatus, device and readable medium
GB201709348D0 (en) * 2017-06-13 2017-07-26 Kompetenzzentrum-Das Virtuelle Fahrzeug Method and process for co-simulation with virtual testing of real environments with pedestrian interaction
CN108646586A (zh) * 2018-03-20 2018-10-12 重庆邮电大学 一种智能网联汽车在环仿真、测试验证系统与方法
CN108877374A (zh) * 2018-07-24 2018-11-23 长安大学 基于虚拟现实与驾驶模拟器的车辆队列仿真系统和方法
CN109657355A (zh) * 2018-12-20 2019-04-19 安徽江淮汽车集团股份有限公司 一种车辆道路虚拟场景的仿真方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张瀚;徐科军;赵明;高学海;刘晓丽;: "机器人视觉伺服控制半物理仿真系统的研制", 系统仿真学报, no. 01 *
苏杨;郑利辉;刘俊民;: "基于VR技术的体育健美操仿真系统设计与实现", 电子设计工程, no. 20 *

Similar Documents

Publication Publication Date Title
CN110047150B (zh) 一种基于增强现实的复杂设备操作运行在位仿真系统
CN105678748A (zh) 三维监控系统中基于三维重构的交互式标定方法和装置
CN105429989A (zh) 虚拟现实设备的模拟旅游方法及系统
CN110139031B (zh) 一种基于惯性感知的视频防抖系统及其工作方法
WO2023093217A1 (zh) 数据标注方法、装置、计算机设备、存储介质和程序
CN107241572A (zh) 学员实训视频追踪评价系统
CN112557058B (zh) 一种自动驾驶测试系统
CN109242887A (zh) 一种基于多摄像机和imu的实时人体上肢动作捕捉方法
CN110977981A (zh) 一种机器人虚拟现实同步系统及同步方法
CN107066975A (zh) 基于深度传感器的视频识别与跟踪系统及其方法
CN115346413A (zh) 一种基于虚实融合的装配指导方法及系统
CN111947650A (zh) 基于光学追踪与惯性追踪的融合定位系统及方法
CN109931889B (zh) 基于图像识别技术的偏差检测系统及方法
CN207898959U (zh) 一种稳定的基于虚拟现实混合的仿真实验室
CN111563689B (zh) 一种飞行器操作评分方法及系统
CN112001050B (zh) 设备调试管控方法、装置、电子设备及可读存储介质
CN111460683A (zh) 一种行人在环仿真系统及其测试方法
CN112862973A (zh) 一种基于故障现场的实时远程培训方法及系统
CN112419827A (zh) 一种基于mr混合现实技术智能制造实训系统
CN112069873A (zh) 一种基于LeapMotion手势识别的屏幕控制系统及方法
CN114184127B (zh) 一种基于单相机无标靶的建筑物全局位移监测方法
CN116129043A (zh) 用于融合现实场景的通用三维模型及其构建方法
CN116152945A (zh) 一种基于ar技术的矿下巡检系统及方法
CN112828895B (zh) 机器人仿真系统
CN115938178A (zh) 基于混合现实技术的汽车零部件装配教学方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination