CN115798260A - 一种行人和车辆动态预判方法、装置和存储介质 - Google Patents

一种行人和车辆动态预判方法、装置和存储介质 Download PDF

Info

Publication number
CN115798260A
CN115798260A CN202211411114.6A CN202211411114A CN115798260A CN 115798260 A CN115798260 A CN 115798260A CN 202211411114 A CN202211411114 A CN 202211411114A CN 115798260 A CN115798260 A CN 115798260A
Authority
CN
China
Prior art keywords
vehicle
pedestrian
judging
data set
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211411114.6A
Other languages
English (en)
Inventor
霍义涛
赵艳丽
叶松
颜永涛
李力
向文
姜慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Idtech Co ltd
Original Assignee
Wuhan Idtech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Idtech Co ltd filed Critical Wuhan Idtech Co ltd
Priority to CN202211411114.6A priority Critical patent/CN115798260A/zh
Publication of CN115798260A publication Critical patent/CN115798260A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Traffic Control Systems (AREA)

Abstract

本发明涉及动态识别方法，具体涉及一种行人和车辆动态预判方法、装置和存储介质，所述方法包括：所述终端根据图像设备的捕捉操作获取的图像信息生成原始数据集，所述原始数据集包括行人数据集和车辆数据集；将所述行人数据集输入行人预判模型获取行人数据集对应的行人预判轨迹；将所述车辆数据集输入车辆预判模型获取车辆数据集对应的车辆预判轨迹；对所述行人预判轨迹和车辆预判轨迹进行轨迹模型拟合，判断行人和车辆的碰撞预判结果。本发明通过路口覆盖式的检测方式及标准时空坐标系的设置，将提高特殊路口如学校、园区、商城等行人和车辆碰撞预判结果的准确度和全面度，从而保障特殊路段的道路公共安全。

Description

一种行人和车辆动态预判方法、装置和存储介质
技术领域
本发明涉及动态识别方法，具体涉及一种行人和车辆动态预判方法、装置和存储介质。
背景技术
随着城市的不断发展，城市道路的车辆越来越多，从而引发众多行人和车辆的安全问题。而在复杂十字路口、人流量密集的学校、园区和商城等路段，车辆与行人之间的碰撞情况更加频发，对交通和道路安全造成比较大的影响。为了提高复杂路口和人流量密集路段的道路安全和交通畅通，应在行人和车辆碰撞前提前预判，预先处理，从而在一定程度上避免行人和车辆相撞事故的发生。
专利号CN112487905B公开了一种车辆周边行人危险等级预测方法及系统，通过车载传感器采集车辆周边的图像信息，通过行人相对车辆位置p＝(x,y)、相对车辆移动速度v＝(vx,vy)、估计碰撞时间TTC，并通过机器模型对行人轨迹进行拟合，采用聚类分析对应行人不同的危险等级，进而根据特征参数识别行人的危险等级。通过行人危险等级的识别，避免行人和车辆相撞。
实际上，大多数车辆或行人预判模型都是通过车载传感器对行人轨迹进行预判，确认车辆与行人是否存在相撞风险，但对于复杂路口或者人流密集路段，车载传感器接受的信号源十分繁杂，无法全面分析计算，存在较大的误判风险。同时，车载传感器易受行人、车辆和环境等障碍物的遮挡，获取的图像信息十分有限，进而导致提取的数据信息过于片面，无法较好的适应复杂路口或人流密集的路段，预判的全面性较差。另外，受限于具体的车辆装载情况，以及行进速度，车辆在预判过程中由于传感采集设备的坐标处于持续变化中，采集处理后获取的数据信息的系统误差较大，且车载预判系统受限于具体实施的车辆，其网络交互性、实时传输性不强，从而使训练获取的模型无法实时更新，在预判精确度上也存在一定的风险。
发明内容
本发明针对现有技术中行人或车辆轨迹识别单一、数据采集全面性不强、实时性差和精度低的技术问题，提供了一种行人和车辆动态预判方法、装置和存储介质，用于适配复杂的十字路口和人流密集的路段，进而提高特殊场景的预判实时度和准确度。
第一方面，本发明提供了一种行人和车辆动态预判方法，所述方法应用于终端，所述方法包括：
所述终端根据图像设备的捕捉操作获取的图像信息生成原始数据集，所述原始数据集包括行人数据集和车辆数据集；所述行人数据集包括行人形态参数、行人轨迹参数和第一时间参数；所述车辆数据集包括：车辆形态参数、车辆轨迹参数和第二时间参数；
将所述行人数据集输入行人预判模型获取行人数据集对应的行人预判轨迹，将所述车辆数据集输入车辆预判模型获取车辆数据集对应的车辆预判轨迹，对所述行人预判轨迹和车辆预判轨迹进行轨迹模型拟合，判断行人和车辆的碰撞预判结果，所述碰撞预判结果包括碰撞或不碰撞；所述行人预判模型和车辆预判模型均为根据多个相应的数据集样本、相应的预判轨迹和对应的碰撞预判结果训练得到的模型；所述数据集样本中每个数据集样本包括一次捕捉操作生成的与行人预判模型相关的行人形态参数、行人轨迹参数和第一时间参数，或一次捕捉操作生成的与车辆预判模型相关的车辆形态参数、车辆轨迹参数和第二时间参数，所述行人数据集和车辆数据集属于特征数据，所述碰撞预判结果属于标签数据。
具体的，上述行人数据集和车辆数据集主要通过设置在复杂十字路口或人流密集路段的图像设备进行采集处理。通过俯瞰覆盖式的图像获取方式，获取的图像信息足够全面，且能为经过该路口的每一辆车和每一个行人提供一个数据标签，而不必局限于车载传感器平面式和四周片面获取的方式，从而使碰撞预判结果更全面和准确。例如车载传感器在车辆行驶过程中，获取该车当前四周方向的行人信息后，由于四周当前行人的遮挡，无法获取当前行人盲区后行人的轨迹信息，若该盲区后行人加速超越当前行人，行进至车辆前方时，由于该盲区后行人在超越之前无相关轨迹数据记录，从而导致现有技术无法对该盲区后行人与该车辆的相撞进行提前预判，从而易导致行人和车辆碰撞危险的发生。值得理解的是，不止当前行人存在信息获取盲区，该车辆四周的当前车辆遮挡和当前环境障碍物遮挡也会导致现有技术的信息获取盲区，如常见的“鬼探头”、“违规超车”、“随意穿插”等，由于这些行为致使行人轨迹变化时间短、变化快、遮挡多、轨迹捕捉不连续，现有技术无法及时识别和预判，导致碰撞预判结果准确度低、不够全面。另外，车载传感器在捕捉过程中，车辆在移动，行人也在移动，车载传感器仅能通过不断回传的数据信息判断行人和车辆的相对位置变化，局限性和系统误差较大，进而存在判别精确不够的问题。
而在本发明提供的实施例中，由于所述图像设备架设于路口固定的位置，将根据路面情况建立一个标准的空间坐标系(x，y)，从而所述行人预判模型和车辆预判模型可以使用相同的标准空间坐标系(x，y)，独立生成行人预判轨迹和车辆预判轨迹，使两种模型在生成预判轨迹过程中互不干扰，又能通过同一标准空间坐标系的进行轨迹拟合，进而解决行人和车辆相对位移时的干扰、消除系统误差，提高碰撞预判结果的准确度和可靠度。因此，所述终端具备针对特殊应用场景的分析和处理能力，适用性强。
值得说明的是，本发明采用图像设备生成原始数据集，理论上图像设备属于传感装置的一种，若换用雷达、激光等传感器生成原始数据集也应适于本发明提供的行人和车辆动态预判方法。
在第一方面的又一实施例提供的行人和车辆动态预判方法中，所述行人形态参数包括性别、年龄、身高和运行状态，所述运行状态至少包括与步行、跑步、自行车和电动车以及分别对应的驻足状态、起身状态、避让状态、超越状态或稳定状态中的一项；行人轨迹参数包括第一空间坐标、第一速度和第一方向。
具体的，行人行进轨迹主要取决于行进速度和行进方向，但由于行人在行动过程中速度和方向的不确定因素较多，致使行人轨迹预判的准确性受不确定因素的影响较大。而本发明在行人数据集中主要设置了行人形态参数、行人轨迹参数和第一时间参数三组特征数据对行人在行进过程的速度和方向进行判别。其中，所述行人形态参数包括性别、年龄、身高和运行状态。实际上，男女性别的差异将带来运行速度的一些差异、不同的年龄段也将决定其行进速度的差异，不同身高又将带来不同的步幅。所述运行状态包括步行、跑步、自行车和电动车以及分别对应的驻足状态、起始状态、超越状态、避让状态和稳定状态。由于，复杂路口或人流密集路段行人状态十分复杂，且轨迹变化影响因素众多，本发明至少引入常规的步行、跑步、自行车和电动车四种运行状态，并为每个运行状态赋予至少驻足状态、起始状态、避让状态、超越状态和稳定状态五种状态预期，从而全面模拟行人可能的运行方式，使行人轨迹预判更加准确。值得说明的是，本发明将平衡车等归于电动车一类，若平衡车在路口出现次数频繁时，也可单独新增平衡车运动状态。
所述行人轨迹参数则包括第一空间坐标、第一速度和第一方向，由于本发明引入了一个标准空间坐标系，行人轨迹参数在该标准空间坐标系的基础上，加入了时间、速度和角度参考，从而形成(x人，y人，a人，v人，s人)行人轨迹坐标系，并以行人的第一空间坐标、第一速度、第一方向和第一时间参数的变化拟合行人在(x人，y人，a人，v人，s人)在行人轨迹坐标系的运行轨迹。
其中，所述第一空间坐标为(x人，y人)，x人为行人X轴坐标，y人为行人Y轴坐标，a人为第一方向(所述第一方向以X轴正向或Y轴正向作为为0°起始角进行参考构建)，v人为第一速度，s人为第一时间参数。
在第一方面的又一实施例中，所述行人数据集和行人数据样本集均至少包括：第一权重、第二权重和第三权重；所述第一权重用于约束所述行人形态参数对行人预判轨迹和碰撞预判结果的影响程度；所述第二权重用于约束所述行人运行状态对行人预判轨迹和碰撞预判结果的影响程度；所述第三权重用于约束所述第一时间参数对行人预判轨迹和碰撞预判结果的影响程度。
具体的，不同场景下行人的组成是不同的，如在商场附近的路段主要以年轻人居多，而年轻人在行走过程又具备速度快、运行状态多样的特征(多以电动车、自行车、步行为主)；如在学校周边，根据小学、中学和高中等不同的情形，如以老、中、少行人混合为主，中学则以中、少混合为主，高中则基本以少年为主；如在车站附近则以混合形式为主。因此，所述行人数据集和行人数据样本集均至少包括：第一权重、第二权重和第三权重。
进一步的，初始时使第一权重配比最高，随着所述行人预判模型使用时间的推移，逐步使用该路段的行人结构，所述第一权重的配比将逐步降低，而更好的适应不同路口，并在机器学习对行人预判模型训练更新下，得到匹配不同应用场景的行人预判模型，提高行人预判轨迹和碰撞预判结果的准确度。
在第一方面的又一实施例中，所述行人数据集和行人数据样本集均至少包括：第一修正参数、第二修正参数、第三修正参数和第四修正参数；所述第一修正参数用于约束性别对所述第一速度的影响程度，所述第二修正参数用于约束年龄对所述第一速度的影响程度，所述第三修正参数用于约束身高对所述第一速度的影响程度，所述第四修正参数用于约束所述运行状态对所述第一速度的影响程度；所述第一修正参数、第二修正参数、第三修正参数和第四修正参数随所述终端使用时长的增加而调整。
具体的，本发明根据运行状态设置有相应的速度取值区间，如步行速度为0m/s-1.5m/s，跑步速度0m/s-2.5m/s，自行车速度0m/s-3.5m/s，电动车速度0m/s-4.3m/s，但在轨迹预判过程中，受限于行人的性别、年龄、身高和运行状态等信息，每个人的速度并不一致。如对于小孩而言，同样步行的状态下，其峰值速度无法达到1.5m/s，因此需要进行修正。同理，在步行过程中，驻足打电话或吃东西时，速度为0m/s；起始准备步行时，起始速度仅0.6m/s，稳定行进时达到1.5m/s；避让其他行人、车辆或其他障碍物时，速度将相应降低至0.8m/s，或直接降低至驻足状态。显然，所述第一速度受影响的因素众多，为了保证行人预判速度的准确性，相应设置了所述第一修正参数Ssex用于约束性别对所述第一速度的影响程度、第二修正参数Sage用于约束年龄对所述第一速度的影响程度、第三修正参数Sh用于约束身高对所述第一速度的影响程度和第四修正参数Sco用于约束运行状态对所述第一速度的影响程度，通过这些修正参数的修正，能够更好的对行人的所述第一速度进行预判，从而提高所述行人预判轨迹和碰撞预判结果的准确度。
在第一方面的又一实施例中，所述车辆形态参数包括转向信息、加减速信息和运行信息，所述运行信息包括停车、超车和正常驾驶的一项；车辆轨迹参数包括第二空间坐标、第二速度和第二方向。
具体的，车辆相较于丰富多变的行人而言，其机动性和变化程度相对弱一些。因此，本发明在车辆构建车辆预判模型时，主要考虑车辆转向信息和加减速信息对车辆所述第二速度和第二方向的影响。其中，车辆预判模型也相应包括车辆轨迹坐标系为(x车，y车，a车，v车，s车)，通过车辆轨迹坐标系处理计算所述车辆预判轨迹。所述转向信息主要根据转向信号灯和车轮倾转角进行获取，加减速信息主要根据刹车灯和红绿灯信息获取。而车辆还包含运行信息，用以确定车辆的停车、超车和正常驾驶状态。
其中，所述第二空间坐标为(x车，y车)，x车为车辆X轴坐标，y车为车辆Y轴坐标，a车为第二方向(所述第二方向以X轴正向或Y轴正向作为为0°起始角进行参考构建，并于行人的0°起始角保持一致)，v车为第二速度，s车为第二时间参数。
进一步的，所述终端与路口设置的红绿灯具备通信功能，可准确获取路口的红绿灯信息。
在第一方面的又一实施例中，所述车辆数据集和车辆数据样本集均至少包括：第四权重、第五权重和第六权重；所述第四权重用于约束所述车辆形态参数对车辆预判轨迹和碰撞预判结果的影响程度；所述第五权重用于约束所述车辆运行状态对车辆预判轨迹和碰撞预判结果的影响程度；所述第六权重用于约束所述第二时间参数对车辆预判轨迹和碰撞预判结果的影响程度。
具体的，所述车辆数据集和相应的数据样本集的第四权重、第五权重和第六权重相较于行人而言，权重主要根据所述车辆预判模型的使用时长进行调整，并根据车辆预判轨迹和碰撞预判结果对权重系数优化调整，进而提高车辆预判轨迹和碰撞预判结果的准确度。
在第一方面的又一实施例中，所述终端与车辆自载传感器具备通信功能；所述车辆自载传感器根据对车辆自身信息的采集生成车辆自载数据集，并传输至所述终端，所述终端将车辆自载数据集输入车辆预判模型获取车辆自载预判轨迹，并将车辆预判轨迹和车辆自载预判轨迹进行轨迹融合，从而提高车辆预判轨迹和碰撞预判结果的准确度。
具体的，随着智能驾驶技术的发展，越来越多的车辆安装有智能辅助程序。相较于行人的特征信息无法通过智能程序获取的缺陷而言，车辆的特征信息可以通过车载智能辅助程序获取。因此，本方法在所述终端与车辆之间包括数据传输接口，通过数据传输接口的作用，实现车辆与所述终端之间信息的连通。
进一步的，所述车辆预判模型还包括原始权重和参考权重，原始权重用于约束图像设备根据捕捉操作生成的车辆数据集对车辆预判轨迹和碰撞预判结果的影响程度，参考权重用于约束车辆自载传感器根据对车辆自身信息的采集生成的车辆自载数据集对车辆预判轨迹和碰撞预判结果的影响程度。
进一步的，初始时，两者的权重相同，随着时间的推移，原始权重随着机器训练获取的结果越来越准确，而逐步升高，进而提升所述终端根据捕捉操作得到的车辆预判轨迹和风险碰撞结果的准确度。
在第一方面的又一实施例中，在车辆自载传感器生成车辆自载数据集时，能够具备更丰富的车辆形态参数，除包括与所述图像设备生成的车辆数据集含有的转向信息、加减速信息和运行信息外，还包括胎压信息、挡位信息、刹车信息和油门信息，所述刹车信息用于约束所述运行信息，胎压信息、挡位信息和油门信息用于约束加减速信息。本发明通过所述终端与车辆之间的数据实时交互提升了车辆预判模型获取的车辆预判轨迹和碰撞预判结果的准确度。
进一步的，所述终端还可将获取的行人预判轨迹、车辆预判轨迹和碰撞预判结果发送给具体的车辆，辅助车辆进行风险预判。
第二方面，本发明提供了一种行人和车辆动态预判装置，所述装置包括：
生成单元，用于终端根据图像设备捕捉操作获取的图像信息生成原始数据集，所述原始数据集包括行人数据集和车辆数据集；所述行人数据集包括行人形态参数、行人轨迹参数和第一时间参数；所述车辆数据集包括：车辆形态参数、车辆轨迹参数和第二时间参数；
确定单元，用于将所述行人数据集输入行人预判模型获取行人数据集对应的行人预判轨迹，将所述车辆数据集输入车辆预判模型获取车辆数据集对应的车辆预判轨迹，对所述行人预判轨迹和车辆预判轨迹进行轨迹模型拟合，判断行人和车辆的碰撞预判结果，所述碰撞预判结果包括碰撞或不碰撞；所述行人预判模型和车辆预判模型均为根据多个相应的数据集样本、相应的预判轨迹和对应的碰撞预判结果训练得到的模型；所述数据集样本中每个数据集样本包括一次捕捉操作生成的与行人预判模型相关的行人形态参数、行人轨迹参数和第一时间参数，或一次捕捉操作生成的与车辆预判模型相关的车辆形态参数、车辆轨迹参数和第二时间参数；所述行人数据集和车辆数据集属于特征数据，所述碰撞预判结果属于标签数据。
具体的，所述装置至少包括生成单元和确定单元，生成单元用于根据图像设备的捕捉操作生成原始数据集，而确定单位则根据原始数据集和原始数据集样本数据确定行人和车辆的碰撞预判结果。
在第二方面的又一实施例中，所述装置还包括第一获取单元、第一训练单元。
所述第一获取单元，用于获取所述多个行人数据集或行人数据集样本、车辆数据集或车辆数据集样本，以及根据相应数据集或数据集样本获取行人预判轨迹、车辆预判轨迹和碰撞预判结果。
所述第一训练单元，用于根据多个行人数据集或行人数据集样本、车辆数据集或车辆数据集样本、行人预判轨迹、车辆预判轨迹和碰撞预判结果训练得到行人预判模型和车辆预判模型。
实际上，在本实施例中，所述装置自身具备训练模型的能力，其行人预判模型和车辆预判模型以及两者模型轨迹的模拟均通过自身训练获得。
在第二方面的又一实施例中，所述装置还包括服务器和云端设备。
所述服务器至少包括第二获取单元、第二训练单元和发送单元。
所述第二获取单元，用于获取所述多个行人数据集或行人数据集样本、车辆数据集或车辆数据集样本，以及根据相应数据集或数据集样本获取行人预判轨迹、车辆预判轨迹和碰撞预判结果。
所述第二训练单元，用于根据多个行人数据集或行人数据集样本、车辆数据集或车辆数据集样本、行人预判轨迹、车辆预判轨迹和碰撞预判结果训练得到行人预判模型和车辆预判模型。
所述发送单元，用于向所述终端发送行人预判模型和车辆预判模型。
具体的，当所述装置在某个城市布置较多时，若单一通过自身训练显然难以满足实际的使用需求。这时可以通过服务器的作用，训练初始的行人预判模型和车辆预判模型以及通过两者模型拟合获取的碰撞预判结果。从而将训练的初始行人预判模型和车辆预判模型发送至相应的装置布置的路口，同时服务器根据不同装置反馈的数据信息，对初始的行人预判模型和车辆预判模型进行更新升级，从而提升所述装置的准确度。
所述云端设备，用于提供云端服务。
具体的，云端设备主要用于支持车辆自身设备和所述终端的实时交互需求。当车辆行驶至装载所述终端的路口时，其车载的应用程序或手机等外接移动端可以通过云端设备打包发送车辆形态参数给所述终端，所述终端则将行人预判轨迹、车辆预判轨迹和碰撞预判结果通过云端设备传送给车载的应用程序或手机等外界移动端，用于智能辅助车辆运行，从而有效实现所述终端与车辆的智能联动，有效控制行人与车辆碰撞的发生。
第三方面，本发明提供一种终端，所述终端包括至少一个处理器、通信接口和存储器，所述通信接口用于发送和/或接收数据，所述存储器用于存储计算机程序，所述至少一个处理器用于调用至少一个存储器中存储的计算机程序，该终端可执行第一方面或者第一方面的任一实施例所描述的方法。
需要说明的是，上述第五方面所描述的终端所包含的处理器，可以是专门用于执行这些方法的处理器(便于区别称为专用处理器)，也可以是通过调用计算机程序来执行这些方法的处理器，例如通用处理器。可选的，至少一个处理器还可以既包括专用处理器也包括通用处理器。
可选的，上述计算机程序可以存在存储器中。示例性的，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(Read Only Memory，ROM)，其可以与处理器集成在同一块器件上，也可以分别设置在不同的器件上，本发明实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
在一种可能的实施方式中，上述至少一个存储器位于上述终端之外。
在又一种可能的实施方式中，上述至少一个存储器位于上述终端之内。
在又一种可能的实施方式之中，上述至少一个存储器的部分存储器位于上述终端之内，另一部分存储器位于上述终端之外。
本发明中，处理器和存储器还可能集成于一个器件中，即处理器和存储器还可以被集成在一起。
第四方面，本发明提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在处理器上运行时，实现上述第一方面或第一方面的任一实施例所描述的方法。
可选的，该计算机程序产品可以为一个软件安装包，在需要使用前述方法的情况下，可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。
附图说明
以下将结合附图和优选实施例来对本发明进行进一步详细描述，但是本领域技术人员将领会的是，这些附图仅是出于解释优选实施例的目的而绘制的，并且因此不应当作为对本发明范围的限制。此外，除非特别指出，附图仅示意在概念性地表示所描述对象的组成或构造并可能包含夸张性显示，并且附图也并非一定按比例绘制。
图1本发明实施例提供的一种实现行人和车辆动态预判方法的架构示意图；
图2本发明实施例提供的一种行人和车辆动态预判方法的流程示意图；
图3本发明实施例提供的一种实现行人和车辆动态预判方法的服务器架构示意图；
图4本发明实施例提供的一种实现行人和车辆动态预判方法的云端设备架构示意图；
图5本发明实施例提供的一种实现行人和车辆动态预判方法的又一流程示意图；
图6本发明实施例提供的一种实现行人和车辆动态预判方法的碰撞预判装置示意图；
图7本发明实施例提供的一种实现行人和车辆动态预判方法的碰撞训练装置示意图；
图8本发明实施例提供的一种实现行人和车辆动态预判方法的终端；
图9本发明实施例提供的一种实现行人和车辆动态预判方法的服务器；
图10本发明实施例提供的一种实现行人和车辆动态预判方法的云端设备。
具体实施方式
下面结合附图1至10，对本发明作详细的说明。
本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本发明实施例应用的系统架构进行介绍。需要说明的是，本发明描述的系统架构及业务场景是为了更加清楚的说明本发明的技术方案，并不构成对于本发明提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本发明提供的技术方案对于类似的技术问题，同样适用。
参见图1所示，图1为本发明实施例提供的一种实现行人和车辆动态预判方法的架构示意图，包括图像设备101和终端102。
其中，图像设备101根据路口特性进行覆盖式布置，实现对经过该段路口所有行人和车辆的图像采集。即图像设备101采用两组及以上的物理实体构成，从而实现对应用路段图像信息的采集。值得说明的是，为了适应白天和夜晚的需要，图像设备101可以是附带红外摄像的高清摄像头；或者将图像设备101替换成其他可获取行人和车辆信息的设备，如雷达、传感器等。
终端102是一个具有数据接受和处理能力的计算设备，可以接受从图像设备101传输的数据信息，并该数据信息进行处理。一般而言，终端102会将图像设备101捕捉操作获取的图像信息转换成原始数据集，也即行人数据集和车辆数据集，并将行人数据集和车辆数据集输入相应的行人预判模型和车辆预判模型中获取对应的行人预判轨迹和车辆预判轨迹，最后将所有的预判轨迹在标准空间坐标系进行轨迹拟合，从而获取碰撞预判结果。
值得说明的是，为了优化终端102的运算处理能力，通过图像信息生成原始数据集的处理操作，可以直接在图像设备101中完成，图像设备101向终端102直接输入处理完毕的原始数据集。
对于行人数据集而言，包括行人形态参数{Ssex，Sage，Sh，Sco}、行人轨迹参数{x人，y人，v人，a人}和第一时间参数s人，行人预判模型根据输入多组行人数据集或行人数据集样本，生成随第一时间s人往后推移的一系列行人预判轨迹坐标(x人1，y人1，a人1，v人1，s人1)、(x人2，y人2，a人2，v人2，s人2)、……、(x人i，y人i，a人i，v人i，s人i)、……，通过一系列轨迹坐标得到行人预判轨迹。
其中，在行人预判模型中，包括单位时间s单位，相邻的第一时间之间相差一个单位时间s单位。x人i为行人在i*s单位时间之后的预判x坐标，y人i为行人在i*s单位时间之后的预判y坐标，a人i为行人在i*s单位时间之后的预判角度，v人i为行人在i*s单位时间之后的预判第一速度，s人i为行人在i*s单位时间之后的第一时间参数，s人i＝s人+i*s单位。
除此之外，终端101还将存储行人实际的轨迹信息，用于终端101在长时间使用后的训练和更新。
对于车辆数据集而言，包括车辆形态参数{Sch，Ssd，Scc}、车辆轨迹参数{x车，y车，V2，a车}和第二时间参数s车，车辆预判模型根据输入多组车辆数据集或车辆数据集样本，生成随第二时间s车往后推移的一系列车辆预判轨迹坐标(x车1，y车1，a车1，v车1，s车1)、(x车2，y车2，a车2，v车2，s车2)、……、(x车i，y车i，a车i，v车i，s车i)、……，通过一系列轨迹坐标得到行人预判轨迹。
其中，Sch为转向信息，Ssd为加减速信息，Scc为运行信息。同时，在车辆预判模型中，包括与行人预判模型相同的单位时间s单位，相邻的第二时间之间相差一个单位时间s单位。x车i为车辆在i*s单位时间之后的预判x坐标，y车i为车辆在i*s单位时间之后的预判y坐标，a车i为车辆在i*s单位时间之后的预判角度，v车i为车辆在i*s单位时间之后的预判第二速度，s车i为车辆在i*s单位时间之后的第二时间参数，s车i＝s车+i*s单位。
除此之外，终端101还将存储行人实际的轨迹信息，用于终端101在长时间使用后的训练和更新。
终端101布置在相应路口后，将根据路口的环境，生成一个标准空间坐标系(x，y)，行人预判模型和车辆预判模型将根据标准空间坐标系生成相应的行人预判轨迹和车辆预判轨迹，进而将一系列(x人i，y人i，a人i，s人i)组成的轨迹和一系列(x车i，y车i，a车i，s车i)组成的轨迹在终端101中进行轨迹拟合，从而通过标准空间坐标系的绝对参考消除行人与行人、车辆与之车辆之间在进行轨迹拟合过程中的系统误差。
值得理解的是，终端101在标准空间坐标系模拟的不止是单一行人和单一车辆的碰撞预判结果。而是将经过设置有终端101路口的所有行人和车辆分别给予一个相应的数据标签。如行人根据性别、身高、年龄和衣服等特征进行区分，给定不同的数据标签，车辆根据车牌、颜色、车型等特征进行区分，给定不同的数据标签。
即行人数据集或行人数据样本集包括经过该段路口的所有行人数据标签{行人1，行人2，行人3，……}，每个行人数据标签下包括对应的行人形态参数{Ssex，Sage，Sh，Sco}、行人轨迹参数{x人，y人，v人，a人}和第一时间参数s人，进而生成所有行人数据标签下所有行人预判轨迹；车辆数据集或车辆数据样本集包括经过该段路口所有车辆数据标签{车辆1，车辆2，车辆3，……}，每个车辆数据标签下包括对应的车辆形态参数{Sch，Ssd，Scc}、车辆轨迹参数{x车，y车，V2，a车}和第二时间参数s车，进而生成所有车辆数据标签下所有车辆预判轨迹。通过经过终端101设置路口的行人和车辆的全轨迹预判，使碰撞预判结果的影响因素均在处理计算范围中，从而使行人预判轨迹、车辆预判轨迹和碰撞预判结果准确度和全面度更高。
参见图2所示，图2为本发明实施例提供的一种行人和车辆动态预判方法的流程示意图。
终端101将根据步骤S210和S211获取每个行人数据标签下生成的行人数据集对应的行人预判轨迹，根据步骤S220和S221获取每个车辆数据标签下生成的车辆数据集对应的车辆预判轨迹，最后根据步骤S230将所有行人预判轨迹和车辆预判轨迹在标准空间坐标系(x，y)中进行预判轨迹拟合，判断行人或车辆的碰撞预判结果。
在又一可能的实施例中，在根据步骤S230获取碰撞预判结果之前，终端101将为每个行人数据标签和车辆数据标签的处理分配优先级。
具体的，在复杂的学校、园区或商城等特殊应用场景的路口，终端101在某一时段获取的行人数据标签和车辆数据标签的体量将十分之大。如在学校上、下学高峰期间或商城周末逛街高峰期间。为使终端101的数据处理能力得到优化，在终端101内置有优先级系统。该优先集系统至少包括第一优先级和第二优先级。所述第一优先级用于及时处理即将发生碰撞的行人和车辆的数据信息；所述第二优先级用于对行人预判轨迹、车辆预判轨迹和碰撞预判结果进行常规处理。
其中，所述第一优先级根据行人和车辆的距离判定，当行人和车辆距离在10m以内(包括10m)，该行人和车辆对提升至第一优先级，优选进行处理；当行人和车辆距离大于10m时，该行人和车辆对为第二优先级。
进一步的，第一优先级和第二优先级均包括优先级系数，用于对不同优先集内行人和车辆数据对的梳理。以第一优先级为例，虽然同样处于10m以内可能产生碰撞的状态，但不同的车辆角度和行人状态产生的风险是不一致的。
因此，所述终端101包括优先级系数计算公式：N＝na*nb*nc*1。其中，N为最终的优先级系数，na为相对车辆角度系数，nb为行人状态系数，nc为行人年龄系数，各系数参考见下表。
表1
n<sub>a</sub>
车辆正前方-50°至50° 2
车辆正前方50°至150°；-150°至-50° 1.5
车辆正前方150°至-150° 1
表2
n<sub>b</sub>
电动车 2
自行车 1.5
跑步 1.25
步行 1
表3
n<sub>c</sub>
小孩 2
老人 1.5
少年 1.25
中青年 1
实际上，虽然行人和车辆之间的距离越近，危险程度越高，但处于车辆不同位置其结果却存在很大差异，以表1为例，车辆正前方-50°至50°危险系数最高，第一个是在正前方时车主容易产生紧张情绪出现误判，另外在车辆两侧的视野盲区将导致车主提前预知的概率降低，从而易导致碰撞事故的发生；而在车辆正前方50°至150°；-150°至-50°，即车侧面时，风险相较于正前方和盲区时较低，一般只有在车主未观看后视镜或突然转向时发生；而在车辆正前方150°至-150°，即车尾时，风险最低。
值得理解的是，角度只用于参考车前、车身和车尾的三个状态，根据车辆大小、体型等进行调整，如对于大型货车而言，视野盲区较大，对于车前角度的定义应该更大。
在表2中，主要定义行人不同的行进方式对危险的影响，由于现今外送业务的发达，众多电动车在行进过程中轨迹变化大、速度快，极易影响车主判断，从而导致碰撞事故发生，其优先级最高，而其他行进方式则根据速度依次降低。
在表3中，主要定义行人所处人生阶段的危险等级系数，由于小孩的心智尚未成熟，且好动，在监护人疏于看管的情况下，易产生事故，其优先级最高，其次是行动迟缓的老人和较易冲动的少年，从而根据行人年龄状态对风险等级进行预设。
最后，以三者乘积获取在当前优先级状态下的优先系数，从而能更好的防止碰撞事故的产生。例如，当数据标签对{行人x1，车辆y}、{行人x2，车辆y}、{行人x3，车辆y}的距离均在10m以内，为第一优先级，具体的状态见下表4所示。{行人x1，车辆y}的优先级系数N1＝2*1*1＝2；{行人x2，车辆y}的优先级系数N2＝1.5*2*2＝6；{行人x3，车辆y}的优先级系数N3＝1*1.5*1.5＝2.25，则在同属于第一优先级情况下，终端对数据标签对{行人x2，车辆y}最先处理，其次是数据标签对{行人x3，车辆y}，最后是数据标签对{行人x1，车辆y}，从而可以有效应对人流量较大导致终端101运行载荷较大时，行人和车辆碰撞预判结果产生延迟或偏差的问题，及时对优先级和优先级系数较高的行人和车辆数据标签对进行处理和预警，降低行人和车辆碰撞事故的发生。
表4
相对车辆正前方的角度(°) 运行状态 年龄
{行人<sub>x1</sub>，车辆<sub>y</sub>} 30 步行 25
{行人<sub>x2</sub>，车辆<sub>y</sub>} 80 电动车 10
{行人<sub>x3</sub>，车辆<sub>y</sub>} -160 自行车 65
在又一可能的实施例中，见表5所示，行人数据集包括第一权重、第二权重和第三权重，用于分别约束行人形态参数、行人运行状态和第一时间参数对于行人预判轨迹以及碰撞预判结果的影响程度。在初始时，第一权重最高，并随着时间的推移逐步降低。
表5
使用时长 第一权重 第二权重 第三权重
半年 60％ 20％ 20％
一年 50％ 25％ 25％
两年 40％ 30％ 30％
三年 30％ 35％ 35％
具体的，通过权重的配比用于行人预判模型在不断训练学习过程中提升所述行人预判轨迹和碰撞预判结果的准确度。在初始使用时，行人预判模型对经过该路段的行人形态参数录入较少，判断准确度不高，初始以60％的权重约束其对行人预判轨迹和碰撞预判结果的影响，从而提高终端101的广泛性。而随着终端101使用时间的推移，行人预判模型记录足够多的行人形态参数信息后，对该路段经过的行人的行进方式、年龄结构组成等逐渐适应，其权重也随之下降，从而提升终端101对特殊场景的准确度，以分别应对学校、园区、商城、复杂十字路段等不同的特殊路口，使终端101针对不同特殊路段的行人预判轨迹和碰撞预判结果更准确，针对性更强。
值得一提的是，在又一可能的实施例中，当终端101应用路段的碰撞次数过多时，第二权重会相应提升，从而提升行人轨迹参数对行人预判轨迹和碰撞预判结果影响，在一定程度上提高行人预判轨迹和碰撞预判结果的准确度。
在又一可能的实施例中，本发明提供的行人形态参数的修正系数，用于对行人预判轨迹可能存在的速度变化和方向变化进行修正。
所述行人数据集或行人数据样本集包括标准稳定速度表，其中，行人形态参数{男，25，170}对应的标准稳定速度为1.5m/s。具体的，经过路口的行人体量较大，不同性别、年龄、身高和运行状态形成组合很多，为了降低这些不确定因素对行人预判轨迹和碰撞预判结果的影响，行人预判模型将根据修正公式V稳i＝Ssexi*Sagei*Shi*Scoi*100％*V标获取不同数据标签下行人的稳定速度，其中V稳i为经过修正的行人数据标签为{行人i}的稳定速度，Ssexi为行人数据标签为{行人i}的性别，Sagei为行人数据标签为{行人i}的年龄，Shi为行人数据标签为{行人i}的身高，Scoi为行人数据标签为{行人i}的运行状态，V标为标准运行速度。表6为部分修正参数对照表，例如当{行人i}的行人形态参数为{男，35，180，步行}时，V稳i＝1*0.95*1.1*1*100％*1.5m/s＝1.5675m/s；当{行人j}的行人形态参数为{女，15，160，电动车}时，V稳j＝0.9*0.9*0.9*2*100％*1.5m/s＝1.187m/s。
表6
性别 S<sub>sex</sub> 年龄 S<sub>age</sub> 身高 S<sub>h</sub> 运行状态 S<sub>co</sub>
男 1 35 0.95 180 1.1 步行 1
女 0.9 15 0.9 160 0.9 电动车 2
进一步的，Sco除了包括步行、跑步、自行车等，还包括驻足状态、避让状态等，即Sco＝{V方式，V状态}，V状态将对求得V稳i速度产生影响。本技术方案根据V状态设置有影响系数，其中驻足状态为0，起身状态为0.3，避让状态为0.7，超越状态为1.25，稳定状态为1。例如当{行人j}处于避让状态时，其对应的第一速度将预计根据公式计算降低至V避j＝1.187m/s*0.75＝0.89025m/s。
进一步的，Sco＝{V方式，V避让}在相应的速度表种还包括转向角a修信息，用于约束避让状态对所述第一方向的影响程度。
值得说明的是，终端101还能根据不同行人预判轨迹对行人即将产生的避让状态和避让角度进行预判，从而使行人预判轨迹的动态更加准确。
在又一可能的实施例中，车辆数据集包括第四权重、第五权重和第六权重，用于分别约束车辆形态参数、车辆运行状态和第二时间参数对于车辆预判轨迹以及碰撞预判结果的影响程度。其中，初始时权重分别为35％，35％和30％，随着车辆预判模型使用时长的增加，第五权重的比例逐步增加，用于适应该路口车辆的驾驶情形。
表7
使用时长 第一权重 第二权重 第三权重
半年 35％ 35％ 30％
一年 30％ 40％ 30％
两年 25％ 45％ 40％
三年 25％ 50％ 25％
在又一可能的实施例中，行人预判模型和车辆预判模型可采用卷积神经网络(Convolutional NeuralNetwork，CNN)、长短期记忆人工神经网络(Long-Short TermMemory，LSTM)等基础网络模型。卷积神经网络通常包括：输入层、卷积层(ConvolutionLayer)、池化层(Poolinglayer)、全连接层(Fully Connected Layer，FC)和输出层。一般来说，卷积神经网络的第一层是输入层，最后一层是输出层。卷积层(Convolution Layer)是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。池化层(Pooling layer)，通常在卷积层之后会得到维度很大的特征，将特征切成几个区域，取其最大值或平均值，得到新的、维度较小的特征。全连接层(Fully-Connected layer),把所有局部特征结合变成全局特征，用来计算最后每一类的得分。长短期记忆人工神经网络(Long-Short Term Memory，LSTM)通常包括输入层、隐含层以及输出层。其中，输入层由至少一个输入节点组成；当LSTM网络为单向网络时，隐含层仅包括前向隐含层，当LSTM网络为双向网络时，隐含层包括前向隐含层以及后向隐含层。对于每个输入节点分别与前向隐含层节点以及后向隐含层节点连接，用于分别向前向隐含层节点以及后向隐含层节点输出输入数据，每个隐含层中的隐含节点分别与输出节点连接，用于向输出节点输出自己的计算结果，输出节点根据隐含层的输出节点进行计算，并输出数据。
参见图3所示，本发明实施例提供的一种实现行人和车辆动态预判方法的服务器架构示意图。
具体的，随着终端101的布置逐步增多，单一依靠终端101进行模型训练和更新，将导致不同终端101之间的交互性和实时性不够。本发明还提供了一种服务器架构的示意图，初始时服务器103根据行人数据集样本和车辆数据集样本训练相应的行人预判模型和车辆预判模型，然后将训练好的模型分发至不同位置的终端102a、102b和102c等，这些终端经过长时间的使用，又将实时的行人数据集和车辆数据集反馈至服务器103，服务器103将对不同终端传输过来的数据不断进行重复训练，获取更完善的行人预判模型和车辆预判模型，又分发给不同的终端102a、102b和102c等，实现对行人预判模型和车辆预判模型的更新维护，使终端102a、102b和102c的碰撞预判结果的准确度更高。同时，使整个组织架构更加优化、处理速度更快。
参见图4所示，本发明实施例提供的一种实现行人和车辆动态预判方法的云端设备架构示意图。
具体的，为了提升车辆105与终端102之间的交互体验，引入云端设备104。当终端102在进行车辆预判轨迹的处理时，将接受车辆105自载的传感器获取的信息生成车辆数据集，由于图像设备101受限于外部信息获取的方式，无法获取车辆105内部的数据信息，而车辆105可以通过云端设备104的作用将其自身的信息上传至终端102。相较于之前单一信息获取的方式，终端102将可获取更加丰富的车辆形态参数。本发明中通过通过车辆105获取的车辆形态参数为{S转向，S加减速，S运行，S胎压，S挡位，S刹车，S油门}，并按获取的车辆形态参数进行车辆轨迹预判，再将终端102根据图像设备101生成的车辆数据集获取的车辆预判轨迹a和根据车辆自载传感器上传的车辆数据集获取的车辆预判轨迹b通过权重进行轨迹融合处理，进而使车辆预判轨迹的准确度更高。
值得理解的是，终端102或服务器103可以内置两套不同的车辆预判模型，一套用于图像设备生成的车辆数据集放入相应的车辆预判模型获取车辆预判轨迹，另一套用于车辆自载传感器生成的车辆数据集放入相应的车辆预判模型获取车辆预判轨迹。
另外，当终端102生成相应的车辆预判轨迹和碰撞预判结果后，还将通过云端设备104上传至车辆105中，从而车辆可以根据终端102上传的信息及时调整自己的行车速度和行车角度，避免车辆与行人碰撞的发生，进而提高车辆的智能化程度、降低碰撞风险。
参见图5所示，本发明实施例提供的一种实现行人和车辆动态预判方法的又一流程示意图。
具体的，云端设备在接受车辆自载传感器生成的车辆数据集后，通过步骤S301发送给终端，终端通过步骤S302将图像设备生成的行人数据集和车辆数据集以及车辆自载传感器生成的车辆数据集发送给服务器，服务器通过步骤S303和S304对数据进行接收，并分别放入相应的行人预判模型和车辆预判模型中进行训练，获取更新后的行人预判模型和车辆预判模型，并分发给终端，终端接受经服务器训练更新后的行人预判模型和车辆预判模型。通过上述实施方式，终端的行人预判模型和车辆预判模型将联动云端设备和服务器进行实时更新，从而提高获取的行人预判轨迹和车辆预判轨迹的准确度。
上述详细阐述了本发明实施例的方法，下面提供了本发明实施例的装置。
参见图6所示，图6是本发明实施例提供一种基于机器学习的误触判断装置40的结构示意图，该装置40可以为前面提及的终端或者终端中的器件，该装置40可以包括生成单元401和确定单元402，其中，各个单元的详细描述如下。
具体的，生成单元401，用于所述终端根据图像设备捕捉操作获取的图像信息生成原始数据集，所述原始数据集包括行人数据集和车辆数据集。其中，生成单元401可以集成于终端中，或者直接集成于图像设备。
确定单元402，用于将所述行人数据集输入行人预判模型获取对应的行人预判轨迹；将所述车辆数据集输入车辆预判模型获取对应的车辆预判轨迹；根据所述行人预判模型和车辆预判模型获取的行人预判轨迹和车辆预判轨迹进行轨迹拟合，判断行人和车辆的碰撞预判结果，所述碰撞预判结果包括碰撞或不碰撞；所述数据集属于特征数据，所述碰撞预判结果属于标签数据。其中，确定单元402主要设置于终端。
在又一可能的实施方式中，所述装置40还包括：接收单元，用于接收服务器发送的所述行人预判模型和车辆预判模型。在本装置40中，所述终端的误触判断模型是由所述服务器发送的，具体的，由于所述终端自身无法进行模型训练，则由所述服务器将已训练好的模型发送给所述终端，可选的，所述终端将自身触控屏幕产生的原始数据集返回给所述服务器，以用于更新所述误触判断模型。
在又一可能的实施方式中，所述装置40还包括：
第一获取单元，用于获取所述多个行人数据集样本、车辆数据集样本，以及相应数据集样本得到的行人预判轨迹、车辆预判轨迹和碰撞预判结果；
所述第一训练单元，用于根据多个行人数据集样本、车辆数据集样本、行人预判估计、车辆预判轨迹和碰撞预判结果训练得到行人预判模型、车辆预判模型。
在本装置40中，所述终端自身具备训练模型的能力。
参见图7所示，图7是本发明实施例提供一种基于机器学习的碰撞训练装置50的结构示意图，该装置50可以为前面提及的服务器或者服务器中的器件，该装置50可以包括第二获取单元501、第二训练单元502和发送单元503，其中，各个单元的详细描述如下。
所述第二获取单元501，用于获取所述多个行人数据集样本、车辆数据集样本，以及相应数据集样本得到的行人预判轨迹、车辆预判轨迹和碰撞预判结果。
所述第二训练单元502，用于根据多个行人数据集样本、车辆数据集样本、行人预判估计、车辆预判轨迹和碰撞预判结果训练得到行人预判模型、车辆预判模型。
所述发送单元503，用于向所述终端发送行人预判模型和车辆预判模型。
具体的，碰撞训练装置用于行人预判装置和车辆预判装置的训练，以及分发，从而提高碰撞预判结果的准确度。
参见图8所示，图8是本发明实施例提供的一种终端60的结构示意图，所述终端60包括：处理器601、通信接口602及存储器603。其中，处理器601、通信接口602及存储器603可通过总线或其他方式连接，本发明实施例以通过总线连接为例。
其中，处理器601是终端60的计算核心以及控制核心，其可以解析终端60内的各类指令以及终端60的各类数据，例如：该处理器601可为中央处理器(Central ProcessingUnit，CPU)，可以在终端60内部结构之间传输各类交互数据，等等。通信接口602可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)，受处理器601的控制可以用于收发数据；通信接口602还可以用于所述终端60内部信令或者指令的传输以及交互。存储器603(Memory)是所述终端60中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器603既可以包括所述终端60的内置存储器，当然也可以包括所述终端60所支持的扩展存储器。存储器603提供存储空间，该存储空间存储了所述终端60的操作系统，该存储空间还存储了处理器执行相应操作所需的程序代码或指令，可选的，该存储空间还可以存储该处理器执行该相应操作后产生的相关数据。
参见图9所示，图9是本发明实施例提供的一种服务器70的结构示意图，所述服务器70包括：处理器701、通信接口702及存储器703。其中，处理器701、通信接口702及存储器703可通过总线或其他方式连接，本发明实施例以通过总线连接为例。
其中，处理器701是服务器70的计算核心以及控制核心，其可以解析服务器70内的各类指令以及服务器70的各类数据，例如：该处理器701可为中央处理器(CentralProcessing Unit，CPU)，可以在服务器70内部结构之间传输各类交互数据，等等。通信接口702可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)，受处理器701的控制可以用于收发数据；通信接口702还可以用于服务器70内部信令或者指令的传输以及交互。存储器703(Memory)是服务器70中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器703既可以包括服务器70的内置存储器，当然也可以包括服务器70所支持的扩展存储器。存储器703提供存储空间，该存储空间存储了服务器70的操作系统，可包括但不限于：Android系统、iOS系统、Windows Phone系统等等，本发明对此并不作限定，该存储空间还存储了处理器执行相应操作所需的程序代码或指令，可选的，该存储空间还可以存储该处理器执行该相应操作后产生的相关数据。
参见图10所示，图10是本发明实施例提供的一种云端设备80的结构示意图，所述服务器80包括：处理器801、通信接口802及存储器803。其中，处理器801、通信接口802及存储器803可通过总线或其他方式连接，本发明实施例以通过总线连接为例。
本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述计算机程序当被处理器执行时使所述处理器实现图2和图5所述实施例中终端所执行的操作，或者实现图2和图5所述实施例中服务器所执行的操作。
本发明实施例还提供一种计算机程序产品，当所述计算机程序产品在处理器上运行时，实现图2和图5所述实施例中终端所执行的操作，或者实现图2和图5所述实施例中服务器所执行的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过程序来指令相关的硬件来完成，该的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质。
以上对本发明进行了详细介绍，本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明及核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种行人和车辆动态预判方法，其特征在于，所述方法应用于终端，所述方法包括：
所述终端根据图像设备的捕捉操作获取的图像信息生成原始数据集，所述原始数据集包括行人数据集和车辆数据集；所述行人数据集包括行人形态参数、行人轨迹参数和第一时间参数；所述车辆数据集包括：车辆形态参数、车辆轨迹参数和第二时间参数；
将所述行人数据集输入行人预判模型获取行人数据集对应的行人预判轨迹，将所述车辆数据集输入车辆预判模型获取车辆数据集对应的车辆预判轨迹，对所述行人预判轨迹和车辆预判轨迹进行轨迹模型拟合，判断行人和车辆的碰撞预判结果，所述碰撞预判结果包括碰撞或不碰撞；所述行人预判模型和车辆预判模型均为根据多个相应的数据集样本、相应的预判轨迹和对应的碰撞预判结果训练得到的模型；所述数据集样本中每个数据集样本包括一次捕捉操作生成的与行人预判模型相关的行人形态参数、行人轨迹参数和第一时间参数，或一次捕捉操作生成的与车辆预判模型相关的车辆形态参数、车辆轨迹参数和第二时间参数，所述行人数据集和车辆数据集属于特征数据，所述碰撞预判结果属于标签数据。
2.如权利要求1所述的行人和车辆动态预判方法，其特征在于，所述行人形态参数包括性别、年龄、身高和运行状态，所述运行状态至少包括与步行、跑步、自行车和电动车以及分别对应的驻足状态、起身状态、避让状态、超越状态或稳定状态中的一项；行人轨迹参数包括第一空间坐标、第一速度和第一方向。
3.如权利要求2所述的行人和车辆动态预判方法，其特征在于，所述行人数据集和行人数据样本集均至少包括：第一权重、第二权重和第三权重；
所述第一权重用于约束所述行人形态参数对行人预判轨迹和碰撞预判结果的影响程度；所述第二权重用于约束所述行人运行状态对行人预判轨迹和碰撞预判结果的影响程度；所述第三权重用于约束所述第一时间参数对行人预判轨迹和碰撞预判结果的影响程度。
4.如权利要求2所述的行人和车辆动态预判方法，其特征在于，所述行人数据集和行人数据样本集均至少包括：第一修正参数、第二修正参数、第三修正参数和第四修正参数；
所述第一修正参数用于约束性别对所述第一速度的影响程度，所述第二修正参数用于约束年龄对所述第一速度的影响程度，所述第三修正参数用于约束身高对所述第一速度的影响程度，所述第四修正参数用于约束所述运行状态对所述第一速度的影响程度；
所述第一修正参数、第二修正参数、第三修正参数和第四修正参数随所述终端使用时长的增加而调整。
5.如权利要求1所述的行人和车辆动态预判方法，其特征在于，所述车辆形态参数包括转向信息、加减速信息和运行信息，所述运行信息包括停车、超车和正常驾驶的一项；车辆轨迹参数包括第二空间坐标、第二速度和第二方向。
6.如权利要求5所述的行人和车辆动态预判方法，其特征在于，所述车辆数据集和车辆数据样本集均至少包括：第四权重、第五权重和第六权重；
所述第四权重用于约束所述车辆形态参数对车辆预判轨迹和碰撞预判结果的影响程度；所述第五权重用于约束所述车辆运行状态对车辆预判轨迹和碰撞预判结果的影响程度；所述第六权重用于约束所述第二时间参数对车辆预判轨迹和碰撞预判结果的影响程度。
7.如权利要求1-6任一项所述的行人和车辆动态预判方法，其特征在于，所述终端与车辆自载传感器具备通信功能；
所述车辆自载传感器根据对车辆自身信息的采集生成车辆自载数据集，并传输至所述终端，所述终端将车辆自载数据集输入车辆预判模型获取车辆自载预判轨迹，并将车辆预判轨迹和车辆自载预判轨迹进行轨迹融合。
8.一种行人和车辆动态预判装置，其特征在于，所述装置包括：
生成单元，用于终端根据图像设备捕捉操作获取的图像信息生成原始数据集，所述原始数据集包括行人数据集和车辆数据集；所述行人数据集包括行人形态参数、行人轨迹参数和第一时间参数；所述车辆数据集包括：车辆形态参数、车辆轨迹参数和第二时间参数；
确定单元，用于将所述行人数据集输入行人预判模型获取行人数据集对应的行人预判轨迹，将所述车辆数据集输入车辆预判模型获取车辆数据集对应的车辆预判轨迹，对所述行人预判轨迹和车辆预判轨迹进行轨迹模型拟合，判断行人和车辆的碰撞预判结果，所述碰撞预判结果包括碰撞或不碰撞；所述行人预判模型和车辆预判模型均为根据多个相应的数据集样本、相应的预判轨迹和对应的碰撞预判结果训练得到的模型；所述数据集样本中每个数据集样本包括一次捕捉操作生成的与行人预判模型相关的行人形态参数、行人轨迹参数和第一时间参数，或一次捕捉操作生成的与车辆预判模型相关的车辆形态参数、车辆轨迹参数和第二时间参数；所述行人数据集和车辆数据集属于特征数据，所述碰撞预判结果属于标签数据。
9.一种终端，其特征在于，所述终端包括至少一个处理器、通信接口和存储器，所述通信接口用于发送和/或接收数据，所述存储器用于存储计算机程序，所述至少一个处理器用于调用至少一个存储器中存储的计算机程序，以实现如权利要求1-7任一项所述的行人和车辆动态预判方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在处理器上运行时，实现如权利要求1-7任一项所述的行人和车辆动态预判方法。
CN202211411114.6A 2022-11-11 2022-11-11 一种行人和车辆动态预判方法、装置和存储介质 Pending CN115798260A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211411114.6A CN115798260A (zh) 2022-11-11 2022-11-11 一种行人和车辆动态预判方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211411114.6A CN115798260A (zh) 2022-11-11 2022-11-11 一种行人和车辆动态预判方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN115798260A true CN115798260A (zh) 2023-03-14

Family

ID=85436916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211411114.6A Pending CN115798260A (zh) 2022-11-11 2022-11-11 一种行人和车辆动态预判方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN115798260A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117389293A (zh) * 2023-10-31 2024-01-12 广州天海翔航空科技有限公司 巡检无人机飞行控制管理方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117389293A (zh) * 2023-10-31 2024-01-12 广州天海翔航空科技有限公司 巡检无人机飞行控制管理方法及系统
CN117389293B (zh) * 2023-10-31 2024-05-24 广州天海翔航空科技有限公司 巡检无人机飞行控制管理方法及系统

Similar Documents

Publication Publication Date Title
US11941873B2 (en) Determining drivable free-space for autonomous vehicles
US12039436B2 (en) Stereo depth estimation using deep neural networks
JP7160262B2 (ja) 自律走行に関する走行情報のフレームワークとバッチ調整との結合
CN112825136B (zh) 自主机器应用中使用radar传感器检测障碍物的深度神经网络
US11493920B2 (en) Autonomous vehicle integrated user alert and environmental labeling
CN111133447B (zh) 适于自主驾驶的对象检测和检测置信度的方法和系统
Ma et al. Artificial intelligence applications in the development of autonomous vehicles: A survey
CN111919225B (zh) 使用模拟环境对自主机器进行培训、测试和验证
US11055544B2 (en) Electronic device and control method thereof
US20190311614A1 (en) Real-Time Traffic Monitoring with Connected Cars
CN113044059A (zh) 用于车辆的安全系统
JP2022516288A (ja) 階層型機械学習ネットワークアーキテクチャ
CN111133448A (zh) 使用安全到达时间控制自动驾驶车辆
CN107450529A (zh) 用于自动驾驶车辆的改进的物体检测
CN110352153A (zh) 自主车辆中用于障碍物躲避的安全程序分析
CN110892451A (zh) 检测车辆的驾驶事件的电子装置和方法
US11537819B1 (en) Learned state covariances
Rosenbloom et al. The travel and mobility needs of older people now and in the future
EP4149808A1 (en) Scenario identification for validation and training of machine learning based models for autonomous vehicles
US11203348B2 (en) System and method for predicting and interpreting driving behavior
CN113205088B (zh) 障碍物图像展示方法、电子设备和计算机可读介质
JP2020042553A (ja) 移動体支援システム及び移動体支援方法
CN115705060A (zh) 让行场景中自主车辆的行为规划
CN115798260A (zh) 一种行人和车辆动态预判方法、装置和存储介质
US20230196749A1 (en) Training Neural Networks for Object Detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination