CN116665154B - 针对夜间道路行人交通事件的感知及预警方法 - Google Patents

针对夜间道路行人交通事件的感知及预警方法 Download PDF

Info

Publication number
CN116665154B
CN116665154B CN202310926388.7A CN202310926388A CN116665154B CN 116665154 B CN116665154 B CN 116665154B CN 202310926388 A CN202310926388 A CN 202310926388A CN 116665154 B CN116665154 B CN 116665154B
Authority
CN
China
Prior art keywords
early warning
pedestrian
information
vehicle
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310926388.7A
Other languages
English (en)
Other versions
CN116665154A (zh
Inventor
任传祥
付芳芳
尹唱唱
万永健
任英伟
刘丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University of Science and Technology
Original Assignee
Shandong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University of Science and Technology filed Critical Shandong University of Science and Technology
Priority to CN202310926388.7A priority Critical patent/CN116665154B/zh
Publication of CN116665154A publication Critical patent/CN116665154A/zh
Application granted granted Critical
Publication of CN116665154B publication Critical patent/CN116665154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled

Abstract

本发明公开一种针对夜间道路行人交通事件的感知及预警方法，涉及交通运输领域，首先进行行人交通事件感知：通过采集路段的热红外图像，并对图像处理识别出行人目标的位置及密度；然后对行人交通事件预警：在检测到路段的行人交通事件后，对将进入该路段的车辆进行预警，采用两次预警策略：第一次预警根据识别的行人交通事件以及行人密度划分预警等级，生成行人交通事件预警信息；若第一次预警后，驾驶员并未采取措施，则进行第二次预警，第二次预警根据车辆的制动距离和驾驶员的反应时间以及可能存在的车辆盲区进行预警。本方案能够在视线不足的情况下，使得驾驶员及时的预知前方道路的行人分布情况，以此来减少交通事故的发生，提高行车安全。

Description

针对夜间道路行人交通事件的感知及预警方法
技术领域
本发明属于交通运输领域，具体涉及一种针对夜间道路行人交通事件的感知及预警方法。
背景技术
随着我国经济的发展，机动车数量迅速增加。这一方面为人们带来了工作和生活上的便利，另一方面也造成了的交通事故的不断发生。特别是夜间时段，对于驾驶员来说，行车路上车辆相对较少，车速相较于白天会有所提高。然而，夜间视线不如白天开阔，尽管汽车本身拥有照明设备，且路灯也能够达到一定的照明程度，但没有白天效果好，使得驾驶员能见距离缩短，对路面状况观察受阻。而且，夜间驾驶易使驾驶员处于疲劳状态，若前方有行人突然出现，很容易避之不及，发生交通事故。所以在夜间行车由于客观及主观的影响，致使非安全区的范围扩大，驾驶员判断交通事件的时间变长，留给做出决策的时间变短，在种种因素的作用下，一旦前方突发交通事件，将会带来严重的危害。
交通事件是指道路上实时发生的对道路通行有影响的事件，如道路上突然出现的大量行人，势必会干扰正常的道路通行。就目前的社会发展状况来看，人们对于夜间外出的需求不断增大，例如夜间工人上下班、学生放学以及健身人群等。一旦人们对交通安全麻痹大意，极易成为交通事件，也增大了夜间交通安全的隐患。目前，虽然出现了一些有助于减少夜间交通安全的系统或设施，比如交通事件智慧检测系统，可以实现对行人事件、违法停车、逆行事件等交通事件的识别，但其并不能对交通事件发生做出有效的预警；再比如，用于人行道夜间通行的智能交通灯，其在有行人通过人行横道时，可以通过立柱式的交通灯来提示车辆道路有行人，但若行人在道路的其他区域，则其不再适用。进一步的，这些系统并没有将夜间路段出现大量行人作为一个交通事件考虑在内。基于此，亟待提出一种针对夜间道路行人交通事件的感知及预警方法。
发明内容
本发明提出一种针对夜间道路行人交通事件的感知及预警方法，通过采集道路的热红外图像，对道路上的行人及其位置进行识别，进而根据行人所处的位置划分道路行人交通事件，基于道路上行人密度以及不同行人交通事件的划分，对进入该道路路段的车辆给出预警，使得车辆能够及时、有效的掌握道路状况，从而可以有效避免夜间行车出现交通事故，提高行车安全。
本发明是采用以下的技术方案实现的：一种针对夜间道路行人交通事件的感知及预警方法，基于感知及预警系统实现，所述感知及预警系统包括路侧子系统和车内子系统，路侧子系统包括第一微控制模块以及与第一微控制模块相连的热红外模块，车内子系统包括第二微控制器以及与第二微控制器相连的速度采集模块、定位模块和显示模块，路侧子系统和车内子系统通过无线方式通讯；
所述路侧子系统利用热红外模块对行人图像进行检测，通过第一微控制模块识别出行人所处的道路位置，计算不同道路位置的行人密度，并根据行人所处的道路位置划分行人交通事件的类型，确定不同行人交通事件的预警信息；车内子系统根据路侧子系统检测的行人交通事件及对应的预警信息，结合定位模块和速度采集模块采集的信息，经第二微控制器进行预警分析处理，并以车载屏幕显示以及语音播报的方式对车辆做出相应的预警提示；
所述感知及预警方法包括以下步骤：
步骤A、行人交通事件感知：通过热红外模块采集路段热红外图像，并对图像进行处理，识别出行人目标的位置及密度，确定行人交通事件，将所有行人均分布于人行道定义为行人交通事件零；所有行人均分布于非机动车道定义为行人交通事件Ⅰ；所有行人均分布于机动车道定义为行人交通事件Ⅱ；将行人分布于非机动车道和机动车道定义为行人交通事件Ⅲ；
步骤B、行人交通事件预警：在检测到道路路段的行人交通事件后，对将进入该路段的车辆进行预警，采用两次预警策略：
第一次预警根据识别的行人交通事件以及行人密度划分预警等级，生成行人交通事件预警信息，以对驾驶员进行预警；
若第一次预警后，驾驶员并未采取措施，则进行第二次预警，第二次预警根据车辆的制动距离和驾驶员的反应时间以及可能存在的车辆盲区进行预警。
进一步的，所述步骤A中，在进行行人目标的位置及密度识别时：
首先对运动目标检测：所述运动目标包括但不限于行人、机动车和非机动车，首先采用帧间差分法对包含行人、车辆的运动目标进行检测；
然后行人目标识别及行人密度计算：首先结合运动目标的面积、形状复杂度和速度对行人目标进行识别，然后结合像素点特征对行人位置进行识别，最后结合统计的行人目标数计算行人密度。
进一步的，所述步骤B中，第一次预警针对三类行人交通事件设计Ⅲ级预警、Ⅱ级 预警、Ⅰ级预警三个预警等级，Ⅲ级预警＜Ⅱ级预警＜Ⅰ级预警，在车辆进入路段的路侧子系 统的通信范围内时，即对车辆进行第一次预警：选取行人密度作为行人交通事件第一次预 警等级的划分依据，据此设置了不同区域的行人密度阈值，对非机动车道区域的行人密度 设置了两个阈值、，且＜，对机动车道区域的行人设置两个阈值、，且＜；
（1）对于行人交通事件Ⅰ：
若路侧子系统检测的该路段行人密度满足：，则触发Ⅲ级预警，并生 成行人交通事件预警信息，包括预警显示信息和预警语音信息：
预警显示信息为“非机动车道区域有行人，请注意观察”，并以绿色字体显示；
若路侧子系统检测该路段行人密度满足：＜＜，则触发Ⅱ级预警，并 生成行人交通事件预警信息，包括预警显示信息和预警语音信息，预警显示信息为“非机动 车道区域行人较密集，请注意降低车速”，并以黄色字体显示；
若路侧子系统检测该路段行人密度满足：，则触发Ⅰ级预警，并生成行 人交通事件预警信息，包括预警显示信息和预警语音信息，预警显示信息为“非机动车道区 域行人密集，请注意减速慢行”，并以橙色字体显示；
（2）对于行人交通事件Ⅱ：
若路侧子系统检测该路段行人密度满足：，则触发Ⅲ级预警，并生成行 人交通事件预警信息，包括预警显示信息和预警语音信息；预警显示信息为“机动车道区域 有行人，请注意减速慢行并鸣笛示警”，并以绿色字体显示；
若路侧子系统检测该路段行人密度满足：＜＜，则触发Ⅱ级预警，并生 成行人交通事件预警信息，包括预警显示信息和预警语音信息；预警显示信息为“机动车道 区域行人较多，请注意减速避让并鸣笛示警”，并以黄色字体显示；
若路侧子系统检测该路段行人密度满足：，则触发Ⅰ级预警，并生成行 人交通事件预警信息，包括预警显示信息和预警语音信息；预警显示信息为“机动车道区域 行人多，请注意停车避让”，并以橙色字体显示。
（3）对于行人交通事件Ⅲ
若路侧子系统检测到路段非机动车道区域和机动车道区域行人密度均为低密 度，即，且，则触发Ⅲ级预警，并生成行人交通事件预警信息，包括预警 显示信息和预警语音信息；预警显示信息为“非机动车道及机动车道区域有行人，请注意减 速慢行，观察路况，并鸣笛示警”，并以绿色字体显示；
若路侧子系统检测以下几种情况：（a）＜＜，＜＜；（b），＜＜；（c）＜＜，时，则触发Ⅱ级预警，并生成行人 交通事件预警信息，包括预警显示信息和预警语音信息；预警显示信息为“非机动车道及机 动车道区域行人较多，请注意减速避让，谨慎驾驶，并鸣笛示警”，并以黄色字体显示；
若路侧子系统检测到路段非机动车道区域或机动车道区域行人密度其一为高 密度，即，或，则触发Ⅰ级预警，并生成行人交通事件预警信息，包括预警 显示信息和预警语音信息；预警显示信息为“非机动车道及机动车道区域行人多，请注意停 车避让”，并以橙色字体显示。
进一步的，所述步骤B中，车辆接收到第一次预警信息后，若驾驶员没有根据预警信息做出相应的措施，此时需要进行第二次预警，原理如下：
当第二次预警距离L小于等于车辆与行人最小距离时，若此时车内子系统中检测的车辆速度相较于第一次预警时进行减速，此时，不对车辆做出第二次预警；
当第二次预警距离L小于等于车辆与行人最小距离时，若此时车内子系统中检测的车辆速度相较于第一次预警时没有减速，此时，应对车辆进行第二次预警：
进行第二次预警时，具体策略如下：
对于行人交通事件Ⅰ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息，预警显示信息为“请立即减速”，预警语音信息为“请立即减速，否则将会记录”，车辆通过车内子系统收到预警信息后，在显示模块上以红色加粗字体闪烁显示“请立即减速”；同时，通过语音模块进行语音播报“请立即减速，否则将会记录”；
对于行人交通事件Ⅱ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息，预警显示信息为“请立即减速避让”，预警语音信息为“请立即减速避让，否则将会记录”，车辆通过车内子系统收到预警信息后，在显示模块上以红色加粗字体闪烁显示“请立即减速避让”；同时，通过语音模块进行语音播报“请立即减速避让，否则将会记录”；
对于行人交通事件Ⅲ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息，预警显示信息为“请立即停车避让”，预警语音信息为“请立即停车避让，否则将会记录”，车辆通过车内子系统收到预警信息后，在显示模块上以红色加粗字体闪烁显示“请立即停车避让”；同时，通过语音模块进行语音播报“请立即停车避让，否则将会记录”。
与现有技术相比，本发明的优点和积极效果在于：
本方案针对的是夜间道路行人交通事件的感知及预警，首先利用热红外视频检测技术检测夜间在该路段出现的行人，识别行人所处的位置，计算不同位置下的行人密度，并根据行人所处的位置对行人交通事件进行识别；然后，结合行人交通事件对进入该路段的车辆进行第一次预警，之后若驾驶员并未根据预警信息采取措施，则对车辆做出第二次预警。当突然出现大量行人属于交通事件，会影响正常的交通流并造成交通拥堵，存在潜在的事故风险，本方案能够在视线不足的情况下，使得驾驶员及时的预知前方道路的行人分布情况，以此来减少交通事故的发生，提高行车安全。
附图说明
图1是本发明实施例运动目标检测原理示意图；
图2为本发明实施例行人目标识别流程示意图；
图3为本发明实施例所述预警方法流程示意图；
图4为本发明实施例所选定路段的状态示意图；
图5为本发明实施例所述系统的原理框图，其中，（a）为路侧行人交通事件感知子系统；（b）为车内行人交通事件预警子系统。
具体实施方式
为了能够更加清楚地理解本发明的上述目的、特征和优点，下面结合附图及实施例对本发明做进一步说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例。
实施例1、本实施例提出一种针对夜间道路行人交通事件的感知及预警系统，包括路侧行人交通事件感知子系统（以下简称路侧子系统）和车内行人交通事件预警子系统（以下简称车内子系统）。该系统可以在夜间检测交通事件多发路段是否有行人交通事件发生，并根据所发生的交通事件，在一定距离外对进入该路段的车辆做出预警。
所述路侧子系统设置在道路一侧，利用热红外视频检测技术检测夜间在该路段出现的行人，并通过对热红外视频图像的处理，识别出行人所处的道路位置，计算不同道路位置的行人密度，根据行人所处的道路位置划分行人交通事件的类型，然后根据行人交通事件的类型生成行人交通事件预警信息，并在一定距离内向进入该路段的车辆发送该预警信息。
所述车内子系统安装在车内，在接收到行人交通事件预警信息后，以车载屏幕显示以及语音播报并行的方式对驾驶员做出预警，以提醒驾驶员注意前方行人，从而避免车辆与行人交通事故的发生，提高夜间在交通事件多发路段的行车安全，具体的，如图5所示：
1、路侧行人交通事件感知子系统
路侧子系统包括第一微控制模块、热红外模块、第一通信模块、第一存储模块、第一电源模块。其功能主要是识别路段上的行人交通事件，生成行人交通事件预警信息，并将该预警信息传输给车内子系统。
第一微控制模块是路侧子系统的核心，负责整个系统的工作。系统工作后，微控制模块获得由热红外模块采集到的热红外图像，通过进一步处理将行人从图像中识别出来，并计算不同位置下的行人密度，根据行人所处的位置识别行人交通事件。然后，根据计算出的行人密度判断预警等级，生成行人交通事件预警信息，并通过通信模块将预警信息发送至车内子系统。
热红外模块采用红外热成像技术，能够实现对夜间道路状况热红外图像的采集。其波长为2.0~1000μm，覆盖了人体温度在37°左右发出的波长10μm左右的红外线。故通过该热红外模块可以在夜间准确的检测到行人。
第一通信模块采用无线通信技术，功能是将第一微控制模块生成的行人交通事件预警信息传送给车内子系统；并在第二次预警时，接收由车内子系统传送来的车辆相关信息。第一存储模块主要存储热红外模块采集的热红外图像、路段的背景图像、行人交通事件预警信息等，此外，设置的行人密度阈值也存储在该模块中。第一电源模块采用太阳能供电，将太阳能转化为电能并具有储电功能。太阳能供电能够做到低碳环保、安全可靠、方便安装等优点。
2、车内行人交通事件预警子系统
车内子系统包括第二微控制模块、速度采集模块、定位模块、第二通信模块、显示模块、语音模块、第二存储模块和第二电源模块。该子系统的主要功能是接收来自路侧子系统的行人交通事件预警信息，并根据该信息通过显示模块显示和语音模块提醒的方式对驾驶员进行预警。同时，通过第二通信模块将车辆的位置和速度传送给路侧子系统。
第二微控制模块是整个车内子系统的核心，其主要功能是在接收路侧子系统生成的行人交通事件预警信息，并将该预警信息在显示模块上显示，通过语音模块进行语音播报，并将定位模块采集到的车辆位置信息和速度采集模块采集到的车辆速度信息通过第二通信模块传送给路侧子系统。
第二通信模块采用无线通信技术与第一通信模块通信，以接收路侧子系统传送来的行人交通事件预警信息，并在第二次预警时，将车辆相关信息传送给路侧子系统。语音模块与显示模块一起安装在车辆内，显示模块用以显示从路侧子系统接收到的行人交通事件预警信息，并按照事件的严重程度辅以字体不同颜色进行显示，语音模块则对行人交通事件预警信息进行语音播报，起到加强预警的作用。
第二存储模块的主要功能是存储路侧子系统传送来的行人交通事件预警信息，以及由速度采集模块采集的车辆速度信息、由定位模块采集到的车辆位置信息。第二电源模块为车内子系统提供电能。
本实施例所述系统根据所发生的行人交通事件类型，对进入该路段的车辆做出不同预警，若路侧子系统检测到路段无行人存在，则不会产生预警信息，也不会向进入该路段的车辆发送预警信息，车内子系统不工作，车辆可正常通行。若路侧子系统检测到路段有行人存在，则进一步的识别行人所处的位置，计算不同位置下的行人密度，并根据行人所处的位置划分行人交通事件类型，根据路段的实际情况设置触发不同预警时的行人密度阈值，并根据该阈值对进入路段的车辆做出不同等级的第一次预警。而且，若在第一次预警后，车辆并没有采取相应措施，则对车辆进行第二次预警。
实施例2，基于实施例1提出的针对夜间道路行人交通事件的感知及预警系统，本实施例提出一种对应的感知及预警方法，结合图3所示，具体包括以下步骤：
步骤A、行人交通事件感知
行人交通事件感知由路侧子系统完成，通过热红外模块采集路段热红外图像，对其进行处理，并识别出图像中的行人，进而对其进行判断，实现行人交通事件的感知。
1、热红外图像预处理
热红外模块采集的路段热红外图像，通常情况下在成像时受到许多因素的影响，从而产生噪声。因此，需要预先对热红外图像进行降噪处理。本系统采用中值滤波方法对热红外图像进行降噪，其将每个像素点的灰度值设置为以该点为中心的领域窗口内的所有图像灰度值的平均值，以实现像素的平滑，从而达到降噪的目的，中值滤波方法降噪的计算公式为：
（1）其中，f(x,y)为原图像，g(x,y)降噪后的图像，m为包含当 前像素在内的领域窗口像素总个数。
2、运动目标检测
在实际中，热红外模块采集到的路段热红外图像可能包含了多个运动目标，例如机动车、非机动车、行人等，需要先将这些运动目标检测出来，进而实现行人目标的检测。本系统采用帧间差分法对包含行人等的运动目标进行检测，其原理如图1所示，具体步骤如下：
设在视频图像序列中的第k帧图像为，其对应像素点的灰度值记为， 其中；第k-1帧图像设为，其对应像素点的灰度值记为，其中；进一步的，将两帧图像对应像素点的灰度值相 减，并取绝对值，即可得到差分图像：
（2）
设定阈值T，对像素点进行二值化处理，将大于阈值T的像素灰度设为极大值，将 小于阈值T的像素灰度设为灰度极小值，从而得到二值化图像：
（3）其中，灰度值为255的点即为运动目标，灰度值为0 的点即视为背景点。
进一步的对二值化图像进行连通性分析，可得到含有完整运动目标的图像。
3、行人识别
（1）行人目标识别
通过上一步的运动目标检测，能够检测出热红外图像中所包含的运动目标。这些运动目标除了包含行人，还可能有机动车、非机动车等干扰。因此，应将行人目标从这些干扰中识别出来。图像中的这些运动目标具有各自的特征，这为行人目标识别提供了条件。基于此，本实施例基于目标面积、目标形状复杂度和目标速度三个特征对行人目标进行识别，具体流程如图2所示。
行人目标面积（用A表示）。正常情况下，图像中目标的面积与实际中目标的面积 成等比放大或缩小，但也会由于距离以及拍摄角度的问题而对比例造成一定的影响。设图 像中行人目标的面积范围为，若目标面积在该范围内，则判定为行人；否则为其 他。
目标形状复杂度（用C表示）。在面积一定的情况下，周长越长表明目标形状越复杂。故可用周长和面积的比值关系来检测目标物体的复杂程度。形状复杂度通常采用运动目标周长的平方与其面积的比值进行计算，公式为：
（4）式中，P —— 运动目标周长 A —— 目标物体的面积
图像中行人目标的形状复杂度范围为，若在该范围内，则判定为行人； 否则为其他。
目标速度（用表示）。行人在单位时间内行走时跨步的次数一般在80~150次/ min之间。根据调查资料显示，我国行人步幅平均值约63.7cm。则根据步速（m/s）=步频（次/ s）×步幅（cm/次），可计算出行人的步速。
图像中行人目标的速度范围为，若在该范围内，则判定为行人；否则为 其他。
为了提高识别精度，基于上述的三个目标特征，采用“三分之二”投票方法对目标特征进行投票，实现对行人目标的识别。即每个特征拥有一票，当“投票结果为行人”得到两票及以上时，则判定该运动目标为行人目标。
（2）行人位置识别
进一步的，通过热成像图像及识别出来的行人目标对行人在道路路段上的位置进行识别，具体方法如下：
获取路段背景图像
用摄像机获取路段背景图像，并将其存储在路侧子系统的存储器；路段背景图像只包含该路段的人行道、非机动车道、机动车道及周围环境；
特征提取
对路段背景图像的人行道、非机动车道、机动车道以及机动车道的车辆分道线进行颜色特征提取，并标记其像素点；
图像分割
根据提取的人行道、非机动车道、机动车道以及机动车道的车辆分道线颜色特征进行图像分割，得到人行道、非机动车道、机动车道，并分别标记为人行道区域、非机动车道区域、机动车道区域，除此之外的部分标记为其他区域；
对热红外图像行人位置识别
首先，将热红外图像映射到背景图像，具体步骤为：先在热红外图像和背景图像中选择共同的参考点，然后将两类图像中其他点基于参考点进行一一对应，从而实现热红外图像到背景图像的映射。
然后，识别热红外图像中行人的脚部轮廓，通过计算得到行人脚部轮廓中点的像素点，并以该中点表示行人。进一步的，标记该中点的像素点位置，并对其进行遍历，具体操作如下：
1）在热红外图像中，以计算得到的行人的脚部轮廓中点作为标记，判断该中点像素点所在的像素值范围。如果在人行道区域内，则该像素点标记为属于人行道，即该行人在人行道内。由于行人在人行道内时属于正常的交通行为，不对正常的交通流产生影响，故可忽略。
2）在热红外图像中，以计算得到的行人的脚部轮廓中点作为标记，判断该中点像素点所在的像素值范围。如果在非机动车道区域内，则该像素点标记为属于非机动车道，即该行人在非机动车道内；
3）在热红外图像中，以计算得到的行人的脚部轮廓中点作为标记，判断该中点像素点所在的像素值范围。如果在机动车道区域内，则该像素点标记为属于机动车道。即该行人在机动车道内；
4）在热红外图像中，以计算得到的行人的脚部轮廓中点作为标记，判断该中点像素点所在的像素值范围。如果不在人行道、非机动车道、机动车道像素值范围内，则该像素点标记为属于道路之外的其他区域，即该行人在其他区域内。由于行人在其他区域时并非交通参与者，不对正常的交通产生影响，故可忽略。
（3）行人密度计算
进一步的，根据行人所处的位置，对检测到的行人目标进行分别统计计数，从而得到路段不同位置区域的行人数量。之后，可以进一步的计算出不同位置区域的行人密度，其计算公式为：
（5） 其中， —— 行人密度 N —— 人数 M —— 面积。
然后，基于公式（5）即可得到该路段非机动车道内的行人密度和机动车道内 的行人密度。
4、行人交通事件识别
行人交通事件的准确识别体现在行人准确识别，以及行人交通事件准确划分。在进行行人准确识别时需要对道路上行人目标识别、行人具体位置识别以及行人密度计算。其中，行人在道路上的位置识别是行人交通事件准确识别的一个难点，涉及到热红外图像中的行人在实际道路中位置的对应，具体解决方法为将热红外图像映射到背景图像，并通过选择共同的参考点，实现行人在实际道路中位置的对应。
正常情况下，行人应行走于道路的人行道。若行人从人行道进入至道路其他区域，则会造成安全隐患，成为行人交通事件。故该发明通过识别行人所处的位置，进一步的对行人交通事件进行识别。通过该方式进行行人交通事件识别，能够避免诸如深度学习等复杂算法识别行人交通事件需要大量的数据进行训练的过程，可以提高系统的工作效率并且具有较好的准确度。
根据上述步骤可以得到行人及其在道路上的位置。行人所处的位置可能会出现以下几种情况：行人在人行道上、行人在非机动道上、行人在机动车道上、行人在其他区域。据此本发明给出如下行人交通事件的不同类别：
若所有行人均分布于人行道，此情况下行人属于正确通行，不存在安全隐患。对于驾驶员来说，行人在人行道正常行驶，只要车辆也保持车道正常行驶，将不存在车辆与行人的安全问题。此情况无需给驾驶员进行警示，但为了能够与接下来定义的行人交通事件相协调，将此情况定义为行人交通事件零。
若所有行人均分布于非机动车道，此情况下，行人进入非机动车道已属于违规行为，存在着安全隐患。而对于驾驶员来说，行人在临近机动车道的非机动车道通行，随时存在行人由非机动车道进入机动车道的可能。此情况，有必要给驾驶员进行警示，将其定义为行人交通事件Ⅰ。
若行人均分布于机动车道，此情况下，行人进入机动车道属于违规行为，存在着明显的安全隐患，对于行人来说处于危险的状态；而对于驾驶员来说，这也是一个危险的交通情况，必须特别注意这些行人，谨慎驾驶车辆，以保证安全。此情况，必须给驾驶员进行警示，将其定义为行人交通事件Ⅱ。
若行人分布于非机动车道和机动车道，此时对于行人来说处于一个非常危险状态，而对于驾驶员来说，也是一个非常危险的交通情况，必须注意这些行人，安全驾驶车辆，以保证驾驶安全。此情况，必须给驾驶员进行警示，将其定义为行人交通事件Ⅲ。
步骤B、行人交通事件预警
基于行人交通事件进行预警时，预警等级的划分是一个难点和关键点，若划分不准确，则不能起到应有的预警作用，会出现过度预警给驾驶员带来心理上的压力；或预警不足造成驾驶员误判而带来安全隐患甚至严重交通事故。本实施例根据行人的位置以及道路上行人的密度来划分不同的预警等级，这种划分方式综合考虑了行人所处的位置以及数量，能够准确的反应行人交通事件的等级，并进一步的设计了两次预警，加强了预警效果。
在检测到道路路段的行人交通事件后，对将进入该路段的车辆进行预警，以提前警示驾驶员，避免发生与行人的交通事故。为此，本发明设计了双预警策略，即进行两次预警。第一次预警根据识别的行人交通事件以及行人密度划分预警等级，生成行人交通事件预警信息，并对驾驶员进行预警。若第一次预警后，驾驶员并未采取措施，则进行第二次预警。第二次预警根据车辆的制动距离和驾驶员的反应时间以及可能存在的车辆盲区进行预警。
1、第一次预警
第一次预警针对三类行人交通事件设计了三个预警等级，分别为Ⅲ级预警、Ⅱ级预警、Ⅰ级预警，其预警的严重程度为：Ⅲ级预警＜Ⅱ级预警＜Ⅰ级预警。在车辆进入路段的路侧子系统的通信范围内时，即对车辆进行第一次预警。
在前面的“行人交通事件感知”中，通过行人识别与行人密度计算，已得出路段人 行道区域、非机动车道区域、机动车道区域的行人密度。行人密度反应的是行人的密集程 度，行人越密集，如发生交通事故则造成的危害越大，因此选取行人密度作为行人交通事件 第一次预警等级的划分依据。据此设置了不同区域的行人密度阈值，对非机动车道区域的 行人密度设置了两个阈值、，并且＜。对机动车道区域的行人设置两个了阈值 、，并且＜。
（1）对于行人交通事件Ⅰ
行人交通事件Ⅰ中，所有行人均分布于非机动车道，此情况存在着安全隐患。对于驾驶员来说，行人在临近机动车道的非机动车道通行，随时存在行人由非机动车道进入机动车道的可能。此情况，有必要给驾驶员进行警示。
若路侧子系统检测的该路段行人密度满足：，则触发Ⅲ级预警，并生 成行人交通事件预警信息，包括预警显示信息和预警语音信息。
预警显示信息为“非机动车道区域有行人，请注意观察”，预警语音信息为“非机动车道区域有行人，请注意观察”。然后，向将进入该路段的车辆发送该预警信息，车辆通过车内子系统收到预警信息后，在显示模块上用绿色字体显示“非机动车道区域有行人，请注意观察”；同时，通过语音模块进行语音播报“非机动车道区域有行人，夜间行车，请注意观察”。
若路侧子系统检测该路段行人密度满足：＜＜，则触发Ⅱ级预警，并 生成行人交通事件预警信息，包括预警显示信息和预警语音信息。
预警显示信息为“非机动车道区域行人较密集，请注意降低车速”，预警语音信息为“非机动车道区域行人较密集，夜间行车，请注意降低车速”。然后，向将进入该路段的车辆发送预警信息，车辆通过车内子系统收到预警信息后，在显示模块上以黄色字体显示“非机动车道区域行人较密集，请注意降低车速”；同时，通过语音模块进行语音播报“非机动车道区域行人较密集，夜间行车，请注意降低车速”。
若路侧子系统检测该路段行人密度满足：，则触发Ⅰ级预警，并生成行 人交通事件预警信息，包括预警显示信息和预警语音信息。
预警显示信息为“非机动车道区域行人密集，请注意减速慢行”，预警语音信息为“非机动车道区域行人密集，夜间行车，请注意减速慢行”。然后，向将进入该路段的车辆发送预警信息，车辆通过车内子系统收到预警信息后，在显示模块上以橙色字体显示“非机动车道区域行人密集，请注意减速慢行”；同时，通过语音模块进行语音播报“非机动车道区域行人密集，夜间行车，请注意减速慢行”。
（2）对于行人交通事件Ⅱ
行人交通事件Ⅱ中，行人均分布于机动车道，此情况对于行人来说处于危险的状态；对于驾驶员来说，这也是一个危险的交通情况，必须给驾驶员进行警示。
若路侧子系统检测该路段行人密度满足：，则触发Ⅲ级预警，并生成行 人交通事件预警信息，包括预警显示信息和预警语音信息。
预警显示信息为“机动车道区域有行人，请注意减速慢行并鸣笛示警”，预警语音信息为“机动车道区域有行人，夜间行车，请注意减速慢行并鸣笛示警”。然后，向将进入该路段的车辆发送预警信息，车辆通过车内子系统收到预警信息后，在显示模块上以绿色字体显示“机动车道区域有行人，请注意减速慢行并鸣笛示警”；同时，通过语音模块进行语音播报“机动车道区域有行人，夜间行车，请注意减速慢行并鸣笛示警”。
若路侧子系统检测该路段行人密度满足：＜＜，则触发Ⅱ级预警，并生 成行人交通事件预警信息，包括预警显示信息和预警语音信息。
预警显示信息为“机动车道区域行人较多，请注意减速避让并鸣笛示警”，预警语音信息为“机动车道区域行人较多，夜间行车，请注意减速避让并鸣笛示警”。然后，向将进入该路段的车辆发送预警信息，车辆通过车内子系统收到预警信息后，在显示模块上以黄色字体显示“机动车道区域行人较多，请注意减速避让并鸣笛示警”；同时，通过语音模块进行语音播报“机动车道区域行人较多，夜间行车，请注意减速避让并鸣笛示警”。
若路侧子系统检测该路段行人密度满足：，则触发Ⅰ级预警，并生成行 人交通事件预警信息，包括预警显示信息和预警语音信息。
预警显示信息为“机动车道区域行人多，请注意停车避让”，预警语音信息为“机动车道区域行人多，夜间行车，请注意停车避让”。然后，向将进入该路段的车辆发送预警信息，车辆通过车内子系统收到预警信息后，在显示模块上以橙色字体显示“机动车道区域行人多，请注意停车避让”；同时，通过语音模块进行语音播报“机动车道区域行人多，夜间行车，请注意停车避让”。
（3）对于行人交通事件Ⅲ
行人交通事件Ⅲ中，行人分布于非机动车道和机动车道，此时对于行人来说处于一个非常危险状态，而对于驾驶员来说，也是一个非常危险的交通情况，必须给驾驶员进行警示。
若路侧子系统检测到路段非机动车道区域和机动车道区域行人密度均为低密 度，即，且，则触发Ⅲ级预警，并生成行人交通事件预警信息，包括预警 显示信息和预警语音信息。
预警显示信息为“非机动车道及机动车道区域有行人，请注意减速慢行，观察路况，并鸣笛示警”，预警语音信息为“非机动车道及机动车道区域有行人，夜间行车，请注意减速慢行，观察路况，并鸣笛示警”。然后，向将进入该路段的车辆发送预警信息，车辆通过车内子系统收到预警信息后，在显示模块上以绿色字体显示“非机动车道及机动车道区域有行人，请注意减速慢行，观察路况，并鸣笛示警”；同时，通过语音模块进行语音播报“非机动车道及机动车道区域有行人，夜间行车，请注意减速慢行，观察路况，并鸣笛示警”。
若路侧子系统检测到路段非机动车道区域行人密度和机动车道区域行人密度 均为较高密度，或其一为低密度，即出现以下几种情况：（a）＜＜，＜＜； （b），＜＜；（c）＜＜，。则触发Ⅱ级预警，并生成行人 交通事件预警信息，包括预警显示信息和预警语音信息。
预警显示信息为“非机动车道及机动车道区域行人较多，请注意减速避让，谨慎驾驶，并鸣笛示警”，预警语音信息为“非机动车道及机动车道区域行人较多，夜间行车，请注意减速避让，谨慎驾驶，并鸣笛示警”。然后，向将进入该路段的车辆发送预警信息，车辆通过车内子系统收到预警信息后，在显示模块上以黄色字体显示“非机动车道及机动车道区域行人较多，请注意减速避让，谨慎驾驶，并鸣笛示警”；同时，通过语音模块进行语音播报“非机动车道及机动车道区域行人较多，夜间行车，请注意减速避让，谨慎驾驶，并鸣笛示警”。
若路侧子系统检测到路段非机动车道区域或机动车道区域行人密度其一为高 密度，即，或，则触发Ⅰ级预警，并生成行人交通事件预警信息，包括预警 显示信息和预警语音信息。
预警显示信息为“非机动车道及机动车道区域行人多，请注意停车避让”，预警语音信息为“非机动车道及机动车道区域行人多，夜间行车，请注意停车避让”。然后，向将进入该路段的车辆发送预警信息，车辆通过车内子系统收到预警信息后，在显示模块上以橙色字体显示“非机动车道及机动车道区域行人多，请注意停车避让”；同时，通过语音模块进行语音播报“非机动车道及机动车道区域行人多，夜间行车，请注意停车避让”。
2、第二次预警
车辆接收到第一次预警信息后，若驾驶员没有根据预警信息做出相应的措施，则交通安全隐患仍会继续存在。故在第一次预警的基础上，设计了第二次预警。
（1）第二次预警距离
第二次预警距离较第一次预警来说距行人交通事件发生点更近，但仍在一定的安全距离内。考虑到车辆的制动性能直接影响到交通安全，故在第二次预警时对于距离的规定以车辆的制动距离为依据，并在此基础上考虑到驾驶员的反应时间，以及大型机动车可能存在的盲区距离。
设系统对于车辆的第二次预警距离为L，车辆制动距离为，基于驾驶员反应时间 的距离为，基于大型机动车视野盲区的距离为。驾驶员从接到包含减速的预警信息，做 出判断，再到执行减速需要一定的时间。一般来说，完成判断所用时间约1.5s，作用时间约 为1s，因此，从感知、判断、开始制动到制动减速发生效力全部时间总和约为2.5~3s，此处采 用3s计算。此外由于大型机动车存在视野盲区，且根据相关规定行人应与大型机动车保持2 米以上的安全距离，故此处为安全起见采用其2倍，即4m作为安全距离。则得到系统对车辆 第二次预警距离L的计算公式为：
（6）其中：—— 车辆制动距离；—— 基于驾驶员反应时间的 距离；—— 基于大型机动车视野盲区的距离，其值为4m。
L1和L2的计算公式分别为：
（7）
（8） 其中：V —— 车辆行驶速度； —— 轮胎与路面之间的附着系 数； i —— 道路纵坡度（%），上坡为正，下坡为负。
（2）车辆与行人之间距离的计算
在第二次预警时，需要计算车辆到行人的距离，此处以车辆到行人之间的最短距离表示，路侧子系统识别到的行人的位置以及车内子系统中的定位模块所采集的车辆位置并非在统一坐标系下的位置，本实施例对车辆的经纬度坐标进行转换，进一步的计算行人与车辆的距离，具体如下：
路侧子系统识别到行人目标及行人位置后，建立以背景图像左上角第一个像素 点为坐标原点，水平向右方向为x轴，垂直向下方向为y轴直角坐标系，并以行人脚部轮廓的 中点作为行人在该直角坐标系中的位置，由此可得到行人的坐标，设为，其中。
计算车辆的位置坐标时，需预先选取2个背景图像中的参考点，设为其中一个为 原点，令其为，另外一个则设为，并测得参考点对应的经纬度坐标为和。则根据车内子系统的定位模块测得的车辆经纬度可以计算得到车辆 在图像中的位置坐标，设车辆的经纬度坐标，则该车辆对应图像中的坐标（, ） 计算如下：
（9）
（10）
则进一步的，可以计算出路段中车辆与行人的最小距离，计算公式为：
（11）
（3）预警策略
是否进行第二次预警由第二次预警距离、车辆与行人的最小距离，以及第一次预警后驾驶员所采取的措施决定：
当第二次预警距离L小于等于车辆与行人最小距离时，若此时车内子系统中的通信模块所上传的车辆的速度相较于第一次预警时的车辆速度有所降低，则说明在第一次预警后，驾驶员采取了一定的措施。此时，不对车辆做出第二次预警。
当第二次预警距离L小于等于车辆与行人最小距离时，若此时车内子系统中的通信模块所上传的车辆的速度与第一次预警时的车辆速度相同或有所提高，则说明在第一次预警后，驾驶员并未采取一定的措施。此时，应对车辆进行第二次预警。
进行第二次预警时，具体策略如下：
对于行人交通事件Ⅰ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息。预警显示信息为“请立即减速”，预警语音信息为“请立即减速，否则将会记录”。车辆通过车内子系统收到预警信息后，在显示模块上以红色加粗字体闪烁显示“请立即减速”；同时，通过语音模块进行语音播报“请立即减速，否则将会记录”。
对于行人交通事件Ⅱ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息。预警显示信息为“请立即减速避让”，预警语音信息为“请立即减速避让，否则将会记录”。车辆通过车内子系统收到预警信息后，在显示模块上以红色加粗字体闪烁显示“请立即减速避让”；同时，通过语音模块进行语音播报“请立即减速避让，否则将会记录”。
对于行人交通事件Ⅲ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息。预警显示信息为“请立即停车避让”，预警语音信息为“请立即停车避让，否则将会记录”。车辆通过车内子系统收到预警信息后，在显示模块上以红色加粗字体闪烁显示“请立即停车避让”；同时，通过语音模块进行语音播报“请立即停车避让，否则将会记录”。
案例：假设选定路段如图4所示，设该路段长1km，为双向两车道，每个车道宽3.5m， 非机动车道宽1.5m。在道路两边有A、B两个工厂，预警装置放置在A、B工厂中间位置，设通信 范围为200m。根据实际情况，将该路段的非机动车道密度阈值设为0.25人/、设为 0.67人/，机动车道密度阈值设为0.011人/、设为 0.032人/。
（1）若图中汽车在夜间进入该路段后，路侧子系统识别到道路上无行人存在，则车内子系统不工作，该车辆可正常通行。
（2）若图中汽车在夜间进入该路段，设时速为50公里/小时，假设此时路侧子系统 识别到非机动车道区域内行人数量为50人，则进一步计算密度得到=0.042人/，即＜。则路侧子系统将在车辆进入通信范围内时触发Ⅲ级预警，并生成行人交通事件 预警信息，包括预警显示信息和预警语音信息。预警显示信息为“非机动车道区域有行人， 请注意观察路况”；预警语音信息为“非机动车道区域有行人，夜间行车，请注意观察路况”。 然后，向将进入该路段的车辆发送该预警信息；车辆接收到预警信息后，通过车内显示模块 显示“非机动车道区域有行人，请注意观察路况”，并辅以绿色字体。同时进行语音播报“非 机动车道区域有行人，夜间行车，请注意观察路况”。
此后，路侧子系统对车辆的位置和速度进行实时检测，即通过通信模块与车内子 系统的交互获取车辆的位置和速度，并计算第二次预警的距离和车辆与行人的最小距离。 当车辆与行人的最小距离等于第二次预警距离，即168m（=0.7，i=0）时。若此时车辆的行驶 速度有所下降，则不进行第二次预警。否则应对车辆进行第二次预警，生成行人交通事件预 警信息，并通过通信模块传输给车辆，在车内子系统的显示模块以红色加粗字体闪烁显示 “请立即减速”字样，同时语音模块播报“请立即减速，否则将会记录”。
（3）若图中汽车在夜间进入路段，设时速为50公里/小时，假设此时路侧子系统识 别到机动车道区域行人数量为50人，则进一步计算密度得到=0.018人/，即＜ ＜。则路侧子系统将在车辆进入通信范围内时触发Ⅱ级预警，并生成行人交通事件预警 信息，包括预警显示信息和预警语音信息。预警显示信息为“机动车道区域行人较多，请注 意减速避让并鸣笛示警”；预警语音信息为“机动车道区域行人较多，夜间行车，请注意减速 避让并鸣笛示警”。然后，向将进入该路段的车辆发送该预警信息；车辆接收到预警信息后， 通过车内显示模块显示“机动车道区域行人较多，请注意减速避让并鸣笛示警”，并辅以黄 色字体。同时进行语音播报“机动车道区域行人较多，夜间行车，请注意减速避让并鸣笛示 警”。
此后，路侧子系统对车辆的位置和速度进行实时检测，即通过通信模块与车内子 系统的交互获取车辆的位置和速度，并计算第二次预警的距离和车辆与行人的最小距离。 当车辆与行人的最小距离等于第二次预警距离，即168m（=0.7，i=0）时。若此时车辆的行驶 速度有所下降，则不进行第二次预警。否则应对车辆进行第二次预警，生成行人交通事件预 警信息，并通过通信模块传输给车辆，在车内子系统的显示模块以红色加粗字体闪烁显示 “请立即减速避让”字样，同时语音模块播报“请立即减速避让，否则将会记录”。
（4）若图中汽车在夜间进入路段，设时速为50公里/小时，假设路侧子系统识别到 机动车道区域行人数量为100人，非机动车道区域行人数量为30人，则进一步计算密度得到=0.036人/，=0.025人/，即＞，＜。则路侧子系统将在车辆进入 通信范围内时触发Ⅰ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音 信息。预警显示信息为“非机动车道及机动车道区域行人多，请注意停车避让”；预警语音信 息为“非机动车道及机动车道区域行人多，夜间行车，请注意停车避让”。然后，向将进入该 路段的车辆发送该预警信息；车辆接收到预警信息后，通过车内显示模块显示“非机动车道 及机动车道区域行人多，请注意停车避让”，并辅以黄色字体。同时进行语音播报“非机动车 道及机动车道区域行人多，夜间行车，请注意停车避让”。
此后，路侧子系统对车辆的位置和速度进行实时检测，即通过通信模块与车内子 系统的交互获取车辆的位置和速度，并计算第二次预警的距离和车辆与行人的最小距离。 当车辆与行人的最小距离等于第二次预警距离，即168m（=0.7，i=0）时。若此时车辆的行驶 速度有所下降，则不进行第二次预警。否则应对车辆进行第二次预警，生成行人交通事件预 警信息，并通过通信模块传输给车辆，在车内子系统的显示模块以红色加粗字体闪烁显示 “请立即停车避让”字样，同时语音模块播报“请立即停车避让，否则将会记录”。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (8)

1.针对夜间道路行人交通事件的感知及预警方法，基于感知及预警系统实现，其特征在于，所述感知及预警系统包括路侧子系统和车内子系统，路侧子系统包括第一微控制模块以及与第一微控制模块相连的热红外模块，车内子系统包括第二微控制器以及与第二微控制器相连的速度采集模块、定位模块和显示模块，路侧子系统和车内子系统通过无线方式通讯；
所述路侧子系统利用热红外模块对行人图像进行检测，通过第一微控制模块识别出行人所处的道路位置，计算不同道路位置的行人密度，并根据行人所处的道路位置划分行人交通事件的类型，确定不同行人交通事件的预警信息；车内子系统根据路侧子系统检测的行人交通事件及对应的预警信息，结合定位模块和速度采集模块采集的信息，经第二微控制器进行预警分析处理，并以车载屏幕显示以及语音播报的方式对车辆做出相应的预警提示；
所述感知及预警方法包括以下步骤：
步骤A、行人交通事件感知：通过热红外模块采集路段的热红外图像，并对图像进行处理，识别出行人目标的位置及密度，确定行人交通事件，将所有行人均分布于人行道定义为行人交通事件零；所有行人均分布于非机动车道定义为行人交通事件Ⅰ；所有行人均分布于机动车道定义为行人交通事件Ⅱ；将行人分布于非机动车道和机动车道定义为行人交通事件Ⅲ；
步骤B、行人交通事件预警：在检测到道路路段的行人交通事件后，对将进入该路段的车辆进行预警，采用两次预警策略：
第一次预警根据识别的行人交通事件以及行人密度划分预警等级，生成行人交通事件预警信息对驾驶员进行预警；即第一次预警针对三类行人交通事件设计Ⅲ级预警、Ⅱ级预警、Ⅰ级预警三个预警等级，Ⅲ级预警＜Ⅱ级预警＜Ⅰ级预警，在车辆进入路段的路侧子系统的通信范围内时，即对车辆进行第一次预警：选取行人密度作为行人交通事件第一次预警等级的划分依据，据此设置不同区域的行人密度阈值，对非机动车道区域的行人密度设置阈值ρA、ρB，且ρA＜ρB，对机动车道区域的行人设置阈值ρC、ρD，且ρC＜ρD；
(1)对于行人交通事件Ⅰ：
①若路侧子系统检测的该路段行人密度满足：ρ非机≤ρA，则触发Ⅲ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息，预警显示信息为“非机动车道区域有行人，请注意观察”，并以绿色字体显示；
②若路侧子系统检测该路段行人密度满足：ρA＜ρ非机＜ρB，则触发Ⅱ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息，预警显示信息为“非机动车道区域行人较密集，请注意降低车速”，并以黄色字体显示；
③若路侧子系统检测该路段行人密度满足：ρ非机≥ρB，则触发Ⅰ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息，预警显示信息为“非机动车道区域行人密集，请注意减速慢行”，并以橙色字体显示；
(2)对于行人交通事件Ⅱ：
①若路侧子系统检测该路段行人密度满足：ρ机≤ρC，则触发Ⅲ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息，预警显示信息为“机动车道区域有行人，请注意减速慢行并鸣笛示警”，并以绿色字体显示；
②若路侧子系统检测该路段行人密度满足：ρC＜ρ机＜ρD，则触发Ⅱ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息，预警显示信息为“机动车道区域行人较多，请注意减速避让并鸣笛示警”，并以黄色字体显示；
③若路侧子系统检测该路段行人密度满足：ρ机≥ρD，则触发Ⅰ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息；预警显示信息为“机动车道区域行人多，请注意停车避让”，并以橙色字体显示；
(3)对于行人交通事件Ⅲ
①若路侧子系统检测到ρ非机≤ρA，且ρ机≤ρC，则触发Ⅲ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息；预警显示信息为“非机动车道及机动车道区域有行人，请注意减速慢行，观察路况，并鸣笛示警”，并以绿色字体显示；
②若路侧子系统检测到出现以下几种情况：(a)ρA＜ρ非机＜ρB，ρC＜ρ机＜ρD；(b)ρ非机≤ρA，ρC＜ρ机＜ρD；(c)ρA＜ρ非机＜ρB，ρ机≤ρC，则触发Ⅱ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息；预警显示信息为“非机动车道及机动车道区域行人较多，请注意减速避让，谨慎驾驶，并鸣笛示警”，并以黄色字体显示；
③若路侧子系统检测到ρ非机≥ρB，或ρ机≥ρD，则触发Ⅰ级预警，并生成行人交通事件预警信息，包括预警显示信息和预警语音信息；预警显示信息为“非机动车道及机动车道区域行人多，请注意停车避让”，并以橙色字体显示；
若第一次预警后，驾驶员并未采取措施，则进行第二次预警，第二次预警根据车辆的制动距离和驾驶员的反应时间以及可能存在的车辆盲区进行预警。
2.根据权利要求1所述的针对夜间道路行人交通事件的感知及预警方法，其特征在于：所述步骤A中，在对图像进行处理时，首先对热红外图像进行降噪处理，将每个像素点的灰度值设置为以该点为中心的领域窗口内的所有图像灰度值的平均值，以实现像素的平滑。
3.根据权利要求2所述的针对夜间道路行人交通事件的感知及预警方法，其特征在于：所述步骤A中，在进行行人目标的位置及密度识别时，具体采用以下方式：
(1)运动目标检测：所述运动目标包括但不限于行人、机动车和非机动车，采用帧间差分法对包含行人、车辆的运动目标进行检测；
(2)行人目标识别及行人密度计算：首先结合运动目标的面积、形状复杂度和速度对行人目标进行识别，然后结合像素点特征对行人位置进行识别，最后结合统计的行人目标数计算行人密度。
4.根据权利要求3所述的针对夜间道路行人交通事件的感知及预警方法，其特征在于：所述步骤A中，在对行人位置进行识别时，具体采用以下方式：
(1)获取路段背景图像：用摄像机获取路段背景图像，路段背景图像只包含该路段的人行道、非机动车道、机动车道及周围环境；
(2)特征提取：对路段背景图像的人行道、非机动车道、机动车道以及机动车道的车辆分道线进行颜色特征提取，并标记其像素点；
(3)图像分割：根据提取的人行道、非机动车道、机动车道以及机动车道的车辆分道线颜色特征进行图像分割，得到人行道、非机动车道、机动车道，并分别标记为人行道区域、非机动车道区域、机动车道区域，除此之外的部分标记为其他区域；
(4)对热红外图像行人位置识别：将热红外图像映射到背景图像，先在热红外图像和背景图像中选择共同的参考点，然后将两类图像中其他点基于参考点进行一一对应，然后，识别热红外图像中行人的脚部轮廓，通过计算得到行人脚部轮廓中点的像素点，并以该中点表示行人，标记该中点的像素点位置，并对其进行遍历。
5.根据权利要求3所述的针对夜间道路行人交通事件的感知及预警方法，其特征在于：所述步骤A中，在对行人密度进行计算时，根据行人所处的位置，对检测到的行人目标进行分别统计计数，从而得到路段不同位置区域的行人数量，进而得到该路段非机动车道内的行人密度ρ非机和机动车道内的行人密度ρ机。
6.根据权利要求1所述的针对夜间道路行人交通事件的感知及预警方法，其特征在于：所述步骤B中，车辆接收到第一次预警信息后，若驾驶员没有根据预警信息做出相应的措施，此时依据第二次预警距离L与车辆与行人之间的距离确定预警策略：
①当第二次预警距离L小于等于车辆与行人最小距离时，若此时车内子系统中检测的车辆速度相较于第一次预警时进行减速，此时，不对车辆做出第二次预警；
②当第二次预警距离L小于等于车辆与行人最小距离时，若此时车内子系统中检测的车辆速度相较于第一次预警时没有减速，此时，应对车辆进行第二次预警：
进行第二次预警时，具体策略如下：
对于行人交通事件Ⅰ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息，预警显示信息为“请立即减速”，并以红色加粗字体闪烁显示；
对于行人交通事件Ⅱ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息，预警显示信息为“请立即减速避让”，并以红色加粗字体闪烁显示；
对于行人交通事件Ⅲ：由路侧子系统向车内子系统发送预警信息，包括预警显示信息和预警语音信息，预警显示信息为“请立即停车避让”，并以红色加粗字体闪烁显示。
7.根据权利要求1所述的针对夜间道路行人交通事件的感知及预警方法，其特征在于：所述步骤B中，在进行第二次预警时，第二次预警距离L采用以下方式确定：
在第二次预警时对于距离的规定以车辆的制动距离为依据，并在此基础上考虑到驾驶员的反应时间，以及大型机动车可能存在的盲区距离：设系统对于车辆的第二次预警距离为L，车辆制动距离为L1，基于驾驶员反应时间的距离为L2，基于大型机动车视野盲区的距离为L3，得到系统对车辆第二次预警距离L的计算公式为：
L＝L1+L2+L3
L2＝3V
其中：L1为车辆制动距离；L2为基于驾驶员反应时间的距离；L3为基于大型机动车视野盲区的距离；V为车辆行驶速度；为轮胎与路面之间的附着系数；i为道路纵坡度，上坡为正，下坡为负。
8.根据权利要求1所述的针对夜间道路行人交通事件的感知及预警方法，其特征在于：所述步骤B中，在进行第二次预警时，以车辆到行人之间的最短距离表示：
①路侧子系统识别到行人目标及行人位置后，建立以背景图像左上角第一个像素点为坐标原点，水平向右方向为x轴，垂直向下方向为y轴直角坐标系，并以行人脚部轮廓的中点作为行人在该直角坐标系中的位置，由此可得到行人的坐标，设为其中i＝1,2,…,n；
②计算车辆的位置坐标时，需预先选取2个背景图像中的参考点，设为其中一个为原点，令其为另外一个则设为/>并测得参考点对应的经纬度坐标为/>和/>则根据车内子系统的定位模块测得的车辆经纬度可以计算得到车辆在图像中的位置坐标，设车辆的经纬度坐标/>则该车辆对应图像中的坐标(xv,yv)计算如下：
则进一步的，计算出路段中车辆与行人的最小距离，计算公式为：
CN202310926388.7A 2023-07-27 2023-07-27 针对夜间道路行人交通事件的感知及预警方法 Active CN116665154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310926388.7A CN116665154B (zh) 2023-07-27 2023-07-27 针对夜间道路行人交通事件的感知及预警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310926388.7A CN116665154B (zh) 2023-07-27 2023-07-27 针对夜间道路行人交通事件的感知及预警方法

Publications (2)

Publication Number Publication Date
CN116665154A CN116665154A (zh) 2023-08-29
CN116665154B true CN116665154B (zh) 2023-10-20

Family

ID=87722708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310926388.7A Active CN116665154B (zh) 2023-07-27 2023-07-27 针对夜间道路行人交通事件的感知及预警方法

Country Status (1)

Country Link
CN (1) CN116665154B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011251A (ja) * 2003-06-20 2005-01-13 Mazda Motor Corp 車両用情報提供装置
US9449506B1 (en) * 2016-05-09 2016-09-20 Iteris, Inc. Pedestrian counting and detection at a traffic intersection based on location of vehicle zones
CN108133438A (zh) * 2017-12-01 2018-06-08 深圳前海数创人工智能有限公司 基于人流密度的突发事件预警短信精准发布系统及方法
CN109086673A (zh) * 2018-07-05 2018-12-25 燕山大学 一种基于人群密度和行人速度的人群安全程度评估方法
CN109360426A (zh) * 2018-11-23 2019-02-19 湖南车路协同智能科技有限公司 一种超速安全预警方法、装置、系统和可读存储介质
CN210377838U (zh) * 2019-08-27 2020-04-21 深圳榕亨实业集团有限公司 一种基于通用交通数据采集源的车路协同安全预警系统
CN111354156A (zh) * 2020-03-09 2020-06-30 长安大学 一种行人/骑行者风险监测预警装置及预警方法
CN111445691A (zh) * 2020-04-03 2020-07-24 卢思语 一种隐蔽路口行人检测识别预警方法和系统
CN214671100U (zh) * 2021-03-29 2021-11-09 山东科技大学 一种路边停车车辆出位预警装置
CN114662583A (zh) * 2022-03-15 2022-06-24 北京金山云网络技术有限公司 应急事件防控调度方法、装置、电子设备和存储介质
KR102494493B1 (ko) * 2022-09-30 2023-01-31 오상곤 교차로에서 우회전 차량에 대한 보행자의 위험 감지 및 알림 시스템
CN115861973A (zh) * 2022-12-28 2023-03-28 北京星云互联科技有限公司 一种道路异常状态检测方法、系统、电子设备和存储介质
CN115892029A (zh) * 2022-10-20 2023-04-04 长安大学 一种基于驾驶人注意力评估的汽车智能盲区监测及预警系统
CN116129675A (zh) * 2023-01-17 2023-05-16 中信科智联科技有限公司 一种人车冲突预警方法、装置及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130187792A1 (en) * 2012-01-19 2013-07-25 Mark Egly Early warning system for traffic signals and conditions
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN108230752B (zh) * 2018-01-26 2019-10-25 山东省交通规划设计院 智能交通安全预警方法、云服务器、随车终端及系统
CN112188435A (zh) * 2020-09-25 2021-01-05 腾讯科技（深圳）有限公司 基于etc系统的车辆通信方法、装置、介质及电子设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005011251A (ja) * 2003-06-20 2005-01-13 Mazda Motor Corp 車両用情報提供装置
US9449506B1 (en) * 2016-05-09 2016-09-20 Iteris, Inc. Pedestrian counting and detection at a traffic intersection based on location of vehicle zones
CN108133438A (zh) * 2017-12-01 2018-06-08 深圳前海数创人工智能有限公司 基于人流密度的突发事件预警短信精准发布系统及方法
CN109086673A (zh) * 2018-07-05 2018-12-25 燕山大学 一种基于人群密度和行人速度的人群安全程度评估方法
CN109360426A (zh) * 2018-11-23 2019-02-19 湖南车路协同智能科技有限公司 一种超速安全预警方法、装置、系统和可读存储介质
CN210377838U (zh) * 2019-08-27 2020-04-21 深圳榕亨实业集团有限公司 一种基于通用交通数据采集源的车路协同安全预警系统
CN111354156A (zh) * 2020-03-09 2020-06-30 长安大学 一种行人/骑行者风险监测预警装置及预警方法
CN111445691A (zh) * 2020-04-03 2020-07-24 卢思语 一种隐蔽路口行人检测识别预警方法和系统
CN214671100U (zh) * 2021-03-29 2021-11-09 山东科技大学 一种路边停车车辆出位预警装置
CN114662583A (zh) * 2022-03-15 2022-06-24 北京金山云网络技术有限公司 应急事件防控调度方法、装置、电子设备和存储介质
KR102494493B1 (ko) * 2022-09-30 2023-01-31 오상곤 교차로에서 우회전 차량에 대한 보행자의 위험 감지 및 알림 시스템
CN115892029A (zh) * 2022-10-20 2023-04-04 长安大学 一种基于驾驶人注意力评估的汽车智能盲区监测及预警系统
CN115861973A (zh) * 2022-12-28 2023-03-28 北京星云互联科技有限公司 一种道路异常状态检测方法、系统、电子设备和存储介质
CN116129675A (zh) * 2023-01-17 2023-05-16 中信科智联科技有限公司 一种人车冲突预警方法、装置及设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Safety Alert Systems Using Dedicated Short Range Communication for on Road Vehicles;Daniel J. Jerry;《2018 International CET Conference on Control, Communication, and Computing (IC4)》;全文 *
城市道路交通事故预警系统;李洪奇;周倩倩;辛盈;刘艳芳;赵艳红;;计算机工程与设计(第06期);全文 *
李洪奇 ; 周倩倩 ; 辛盈 ; 刘艳芳 ; 赵艳红 ; .城市道路交通事故预警系统.计算机工程与设计.2020,(第06期),全文. *

Also Published As

Publication number Publication date
CN116665154A (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
CN110264783B (zh) 基于车路协同的车辆防碰撞预警系统及方法
CN110549941B (zh) 一种基于实时信息的行人碰撞分级预警方法
CN108919256B (zh) 四维实景交通仿真车辆超速全程跟踪检测报警系统及方法
CN102723001B (zh) 弯道转向车速安全状态预警的速度反馈标志系统的实现方法
CN103072537B (zh) 一种基于红外图像处理的汽车防撞安全保护方法
CN110400478A (zh) 一种路况通知方法及装置
CN108053689B (zh) 一种避免车辆碰撞弱势交通参与者的安全预警方法
CN106530831A (zh) 一种高威胁车辆监测预警系统及方法
CN102785660A (zh) 车辆防碰撞预警装置
CN105719486A (zh) 公路急转弯车辆通行智能警示控制系统及方法
CN106740839B (zh) 一种汽车车距检测预警装置及预警方法
CN110264742B (zh) 一种适用于高速公路的车载信息监测装置及其警示方法
CN106114502A (zh) 一种智能汽车辅助系统
CN113147733B (zh) 雨雾沙尘天气汽车智能限速系统及方法
CN112180605A (zh) 一种基于增强现实的辅助驾驶系统
CN110428662A (zh) 基于毫米波的右侧防撞智能预警管理系统及工作方法
CN112216111A (zh) 一种基于微波雷达和视频图像的车速车距预警系统及方法
CN112150848A (zh) 一种基于传感器检测的高速公路恶劣天气自动预警提示方法
CN108510749A (zh) 交通监测装置及方法
CN114155707A (zh) 一种智能交通安全行驶视觉警示系统和方法
CN112140995A (zh) 一种基于网络云端的智能汽车安全驾驶系统
CN206049559U (zh) 一种基于计算机技术的车辆辅助驾驶系统
Sisiopiku Variable speed control: technologies and practice
CN108510754A (zh) 违规驾驶行为警示装置与方法
CN107798883A (zh) 基于物联网和压力感应的城市道路交通预警系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant