CN117157687A - 交通信号状态检测方法、装置及存储介质 - Google Patents
交通信号状态检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN117157687A CN117157687A CN202280005197.0A CN202280005197A CN117157687A CN 117157687 A CN117157687 A CN 117157687A CN 202280005197 A CN202280005197 A CN 202280005197A CN 117157687 A CN117157687 A CN 117157687A
- Authority
- CN
- China
- Prior art keywords
- traffic
- behavior information
- traffic signal
- detection result
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000006399 behavior Effects 0.000 claims description 183
- 230000008447 perception Effects 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及自动驾驶技术领域，尤其涉及一种交通信号状态检测方法、装置及存储介质。所述方法包括：获取目标路口的交通行为信息，目标路口为车辆行驶方向的交通信号灯所处的路口，交通行为信息指示至少一个交通参与者的行为；根据交通行为信息，确定交通信号的状态检测结果，交通信号包括交通信号灯或者交警的手势信号，状态检测结果指示交通信号的状态。本申请实施例通过目标路口的交通行为信息反向预测出关联交通信号的状态，可以避免相关技术中仅依靠交通信号图像感知来实现交通信号状态检测的情况，提高了交通信号状态检测的准确率。
Description
本申请涉及自动驾驶技术领域，尤其涉及一种交通信号状态检测方法、装置及存储介质。
交通信号状态检测是指对交通信号的状态进行检测，如常规的红绿灯形式的交通信号灯，交通信号状态检测可以是检测红绿灯中的红灯、绿灯、黄灯的亮暗状态。交通信号状态检测可为判断路口通行状态，决策机动车驾驶方式提供依据，在自动驾驶、导航(行车提示)等方面具有较为深入的应用，尤其是对提升自动驾驶机动车在道路上的可靠驾驶具有重要意义。
目前交通信号状态检测主要是基于图像识别技术，一般而言，在实际的道路场景中采集的交通信号图像具有复杂的背景，且感兴趣的交通信号区域只占很少的一部分，属于一种小目标检测问题，检测精度低。此外，在一些极端情况下由于环境复杂的光线变化影响(如逆光、背光、雾霾、夜晚、树叶遮挡等光线变化影响)，基于图像识别技术实现的交通信号状态检测，往往存在识别准确率较低的问题；因此如何提升交通信号状态检测的准确率，一直是本领域技术人员急切解决的问题。
发明内容
有鉴于此，本申请实施例提出了一种交通信号状态检测方法、装置及存储介质，通过对目标路口的交通行为信息分析交通信号的状态检测结果，可以提高交通信号状态检测的准确率。
第一方面，本申请的实施例提供了一种交通信号状态检测方法，所述方法包括：
获取目标路口的交通行为信息，所述目标路口为车辆行驶方向的交通信号灯所处的路口，所述交通行为信息指示至少一个交通参与者的行为；
根据所述交通行为信息，确定所述交通信号的状态检测结果，所述交通信号包括所述交通信号灯或者交警的手势信号，所述状态检测结果指示所述交通信号的状态。
在该实现方式中，获取目标路口的交通行为信息，目标路口为车辆行驶方向的交通信号灯所处的路口，交通行为信息指示至少一个交通参与者的行为；根据交通行为信息，确定交通信号的状态检测结果，交通信号包括交通信号灯或者交警的手势信号，状态检测结果指示交通信号的状态，即通过目标路口的交通行为信息反向预测出关联交通信号的状态，可以避免相关技术中仅依靠交通信号图像感知来实现交通信号状态检测的情况，提高了交通信号状态检测的准确率。
在一种可能的实现方式中，所述交通行为信息包括n个所述交通参与者各自对应的行为信息，所述n为正整数，所述根据所述交通行为信息，确定所述交通信号的状态检测结果，包括：
对于每个所述交通参与者，根据所述交通参与者的行为信息确定对应的检测结果，所述检测结果指示预测的所述交通信号的状态；
根据n个所述交通参与者各自对应的所述检测结果，确定所述交通信号的所述状态检测结果。
在该实现方式中，对于每个交通参与者，根据交通参与者的行为信息确定对应的检测结果，检测结果指示预测的交通信号的状态，从而可以根据确定出的n个交通参与者各自对应的检测结果，确定交通信号的状态检测结果，提高了交通信号的状态检测结果的可信度。
在另一种可能的实现方式中，所述根据所述交通参与者的行为信息确定对应的检测结果，包括：
根据所述交通参与者的行为信息，基于预设映射关系确定对应的所述检测结果，所述预设映射关系包括预设的所述交通参与者的行为信息与所述检测结果之间的对应关系。
在该实现方式中，为根据交通参与者的行为信息确定对应的检测结果提供了一种可能的确定方式，即预设交通参与者的行为信息与所述检测结果之间的对应关系，基于该预设映射关系可以确定行为信息对应的检测结果，进一步提高了后续交通信号的状态检测结果的可信度。
在另一种可能的实现方式中，所述根据所述交通参与者的行为信息确定对应的检测结果，包括：
根据所述交通参与者的行为信息，调用预先训练的路口交通行为模型输出得到对应的所述检测结果，所述路口交通行为模型为采用多个样本行为信息对神经网络进行训练得到的模型。
在该实现方式中，为根据交通参与者的行为信息确定对应的检测结果提供了另一种可能的确定方式，即预先训练路口交通行为模型，基于该模型可以确定行为信息对应的检测结果，进一步提高了后续交通信号的状态检测结果的可信度。
在另一种可能的实现方式中，所述状态检测结果包括所述交通信号的目标状态对应的置信度，所述目标状态为所述交通信号的多个状态中的至少一个。
在该实现方式中，状态检测结果包括交通信号的目标状态对应的置信度，目标状态为交通信号的多个状态中的至少一个，比如交通信号的目标状态为红灯或黄灯，即在确定红灯或黄灯对应的置信度，也就可以推断出绿灯对应的置信度，保证了对交通信号的多个状态的检测效果。
在另一种可能的实现方式中，所述方法还包括：
获取所述车辆行驶方向的待检测图像；
根据所述待检测图像确定感知结果，所述感知结果指示感知的所述交通信号的状态；
当所述感知结果满足预设启动条件时，执行获取目标路口的交通行为信息的步骤。
在该实现方式中，获取车辆行驶方向的待检测图像，根据待检测图像确定感知结果，感知结果指示感知的交通信号的状态，当感知结果满足预设启动条件时，执行获取目标路口的交通行为信息的步骤，即通过传统的图像识别技术反馈感知结果，若感知结果满足预设启动条件则启用基于路口交通行为的交通信号状态检测方法，解决了相关技术中交通信号状态检测的极端情况(交通灯位于视野盲区、相机成像问题、夜晚等场景)下的交通信号状态无法检测的问题，使得无人驾驶在感知红绿灯检测极端情况下正常行驶成为可能，丰富了无人驾驶在路口场景下的可行驶场景。
在另一种可能的实现方式中，所述预设启动条件包括：
所述感知结果的精度小于预设精度阈值；和/或，
所述感知结果的精度小于预设精度阈值且所述目标路口处的所述交通参与者的数量大于预设数量阈值。
在该实现方式中，预设启动条件包括两种可能的条件，一种可能的启动条件为：感知结果的精度小于预设精度阈值；另一种可能的启动条件为感知结果的精度小于预设精度阈值且目标路口处的交通参与者的数量大于预设数量阈值，其中“感知结果的精度小于预设精度阈值”表示通过传统的图像识别技术所反馈的交通信号状态无法识别或者置信度极低，“目标路口处的交通参与者的数量大于预设数量阈值”表示需要一定数量的交通参与者的行为信息作为输入参数，保证了最终得到的状态检测结果的可信度。
在另一种可能的实现方式中，所述交通行为信息包括n个所述交通参与者各自对应的行为信息，所述行为信息包括位置、速度和方向中的至少一种信息，所述n为正整数。
在该实现方式中，交通行为信息包括n个交通参与者各自对应的行为信息，行为信息包括位置、速度和方向中的至少一种信息，即通过对n个交通参与者各自对应的行为进行路口交通行为的分析，为后续基于路口交通行为分析得到交通信号的状态提供前提条件。
第二方面，本申请的实施例提供了一种交通信号状态检测装置，所述装置包括：
获取单元，用于获取目标路口的交通行为信息，所述目标路口为车辆行驶方向的交通信号所处的路口，所述交通行为信息指示至少一个交通参与者的行为；
确定单元，用于根据所述交通行为信息，确定所述交通信号的状态检测结果，所述状态检测结果指示所述交通信号的状态。
在一种可能的实现方式中，所述交通行为信息包括n个所述交通参与者各自对应的行为信息，所述n为正整数，所述确定单元，还用于：
对于每个所述交通参与者，根据所述交通参与者的行为信息确定对应的检测结果，所述检测结果指示预测的所述交通信号的状态；
根据n个所述交通参与者各自对应的所述检测结果，确定所述交通信号的所述状态检测结果。
在另一种可能的实现方式中，所述确定单元，还用于：
根据所述交通参与者的行为信息，基于预设映射关系确定对应的所述检测结果，所述预设映射关系包括预设的所述交通参与者的行为信息与所述检测结果之间的对应 关系。
在另一种可能的实现方式中，所述确定单元，还用于：
根据所述交通参与者的行为信息，调用预先训练的路口交通行为模型输出得到对应的所述检测结果，所述路口交通行为模型为采用多个样本行为信息对神经网络进行训练得到的模型。
在另一种可能的实现方式中，所述状态检测结果包括所述交通信号的目标状态对应的置信度，所述目标状态为所述交通信号的多个状态中的至少一个。
在另一种可能的实现方式中，所述装置还包括：启动单元；所述启动单元，用于：
获取所述车辆行驶方向的待检测图像；
根据所述待检测图像确定感知结果，所述感知结果指示感知的所述交通信号的状态；
当所述感知结果满足预设启动条件时，执行获取目标路口的交通行为信息的步骤。
在另一种可能的实现方式中，所述预设启动条件包括：
所述感知结果的精度小于预设精度阈值；和/或，
所述感知结果的精度小于预设精度阈值且所述目标路口处的所述交通参与者的数量大于预设数量阈值。
在另一种可能的实现方式中，所述交通行为信息包括n个所述交通参与者各自对应的行为信息，所述行为信息包括位置、速度和方向中的至少一种信息，所述n为正整数。
第三方面，本申请的实施例提供了一种交通信号状态检测装置，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令时实现上述第一方面或第一方面的任意一种可能的实现方式所提供的方法。
第四方面，本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述的方法。
第五方面，本申请的实施例提供了一种计算机程序产品，所述计算机程序产品在计算机上运行时，所述计算机执行上述第一方面或第一方面的任意一种可能的实现方式所提供的方法。
第六方面，本申请的实施例提供了一种车载设备，所述车载设备包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令时实现第一方面或第一方面的任意一种可能的实现方式所提供的方法。
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出了本申请一个示例性实施例提供的电子设备的结构示意图。
图2示出了本申请一个示例性实施例提供的交通信号状态检测方法的流程图。
图3示出了本申请另一个示例性实施例提供的交通信号状态检测方法的流程图。
图4示出了本申请一个示例性实施例提供的交通信号状态检测方法涉及的场景示意图。
图5示出了本申请一个示例性实施例提供的交通信号状态检测装置的框图。
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
首先，对本申请涉及的应用场景进行介绍。
本申请实施例提供的方法、装置可应用于智能汽车、新能源汽车等领域。下面仅以本申请实施例提供的方法的执行主体为电子设备为例进行说明。请参考图1，其示出了本申请一个示例性实施例提供的电子设备的结构示意图。该电子设备可以应用于自动驾驶(Autonomous Driving，AD)或高级驾驶辅助系统(Advance Driver Assistance System，ADAS)嵌入式平台。
电子设备可以包括车辆21，车辆21可以是具有无线通信功能的车辆，其中，无线通信功能可设置于该车辆21的车载终端、车载模组、车载单元、芯片(系统)或其他部件或组件。本申请的实施例中的车辆21可以处于自动驾驶状态，即车辆21完全自主驾驶，无需驾驶员的控制或仅需驾驶员的少量控制。
车辆21还可以上设置至少一个传感器22，包括相机、车载雷达(如毫米波雷达、激光雷达(英文：Laser Radar)、超声波雷达等)、雨量传感器、车姿传感器(如陀螺仪)、惯性测量单元(inertial measurement unit，IMU)、全球导航卫星系统(global navigation satellite system，GNSS)等。上述传感器22可以设置在一个车辆21上，也可以设置在多个车辆21上。
车辆21上还可以设置有自动驾驶系统23，自动驾驶系统23可用于根据传感器采集的数据，生成用于应对路面情况的自动驾驶策略，并根据生成的策略实现车辆21的自动驾驶。
在本申请实施例中，车辆21用于通过至少一个传感器22进行障碍物感知、融合和预测，得到目标路口的交通行为信息，交通行为信息指示至少一个交通参与者的行为。车辆21还用于通过自动驾驶系统23根据交通行为信息，确定交通信号的状态检测结果，交通信号包括交通信号灯或者交警的手势信号，状态检测结果指示交通信号 的状态。
车辆21上还可以设置有人机界面(human machine interface，HMI)24，人机界面24可用于通过视觉图标方式、语音播报方式对确定出的交通信号的状态检测结果进行输出，以提醒相关驾乘人员。人机界面24还可用于通过视觉图标、语音播报方式对当前的路面情况以及自动驾驶系统23对车辆21采取的策略进行播报。
在一种可能的实现方式中，本申请实施例的电子设备还可以包括服务器20，服务器20可以作为车载计算单元位于上述车辆21上，也可以位于云端，可以是实体设备，也可以是虚拟设备如虚拟机、容器等，具有无线通信功能，比如服务器20为多个地点的服务器(空间上解耦)资源池化后提供的虚拟设备。其中，无线通信功能可设置于该服务器20的芯片(系统)或其他部件或组件。服务器20和车辆21可以通过无线连接的方式进行通信，例如可以通过2G/3G/4G/5G等移动通信技术，以及Wi-Fi、蓝牙、调频(frequency modulation，FM)、数传电台、卫星通信等无线通信方式进行通信，例如在测试中，服务器20可承载于车辆21上并与车辆21通过无线连接的方式进行通信，通过车辆21和服务器20之间的通信，服务器20可以收集一个或多个车辆21上、或是设置在道路上或其他地方的传感器采集到的数据进行计算，并将计算结果回传给对应的车辆21。
下面，采用几个示例性实施例对本申请实施例提供的交通信号状态检测方法的进行介绍。
请参考图2，其示出了本申请一个示例性实施例提供的交通信号状态检测方法的流程图，本实施例以该方法用于图1所示的电子设备中来举例说明。该方法包括以下几个步骤。
步骤201，获取目标路口的交通行为信息，目标路口为车辆行驶方向的交通信号灯所处的路口，交通行为信息指示至少一个交通参与者的行为。
可选地，电子设备对感知单元的感知结果进行融合，得到目标路口的交通行为信息，其中感知单元至少包括相机和车载雷达，车载雷达包括毫米波雷达、激光雷达和超声波雷达中的至少一个，感知单元还可以包括雨量传感器、车姿传感器、惯性测量单元、全球导航卫星系统中的至少一个。
可选地，电子设备实时或者每隔预设时间间隔获取目标路口的交通行为信息。预设时间间隔为默认设置的，或者为自定义设置的，本申请实施例对此不加以限定。
可选地，交通行为信息包括n个交通参与者各自对应的行为信息，n为正整数。交通参与者的行为信息指示该交通参与者的行为，行为信息包括位置、速度和方向中的至少一种信息。
示意性的，n个交通参与者的类型包括车辆和/或人类，车辆包括机动车和/或非机动车，本申请实施例对交通参与者的类型不加以限定。
比如，电子设备获取目标路口的交通行为信息，交通行为信息指示5个交通参与者各自对应的行为，即交通参与者1的行为：南北方向停止；交通参与者2的行为：东西方向准备左转弯；交通参与者3的行为：南北方向停止；交通参与者4的行为：东西方向左转弯；交通参与者5的行为：东西直行。
步骤202，根据交通行为信息，确定交通信号的状态检测结果，交通信号包括交通信号灯或者交警的手势信号，状态检测结果指示交通信号的状态。
可选地，电子设备根据交通行为信息，确定交通信号的状态检测结果，包括：对于每个交通参与者，根据交通参与者的行为信息确定对应的检测结果，检测结果指示预测的交通信号的状态；根据n个交通参与者各自对应的检测结果，确定交通信号的状态检测结果。
对于每个交通参与者，电子设备根据交通参与者的行为信息，确定该交通参与者当前位置所关联的交通信号的检测结果，关联的交通信号即为影响该交通参与者行驶的交通信号。
可选地，对于每个交通参与者，电子设备根据交通参与者的行为信息确定对应的检测结果，包括但不限于如下两种可能的实现方式。
在一种可能的实现方式中，根据交通参与者的行为信息，基于预设映射关系确定对应的检测结果，预设映射关系包括预设的交通参与者的行为信息与检测结果之间的对应关系。
可选地，预设映射关系包括预设的多个行为信息与多个检测结果之间的对应关系。比如，以行为信息对应的交通参与者均在南侧路口的直行车道上，所关联的交通信号为北侧的红绿灯为例，预设映射关系包括：当行为信息指示交通参与者南北方向停止时，对应的检测结果为红灯或黄灯；当行为信息指示东西方向准备左转弯时，对应的检测结果为红灯或黄灯；当行为信息指示南北方向停止时，对应的检测结果为红灯或黄灯。本申请实施例对此不加以限定。
在另一种可能的实现方式中，根据交通参与者的行为信息，调用预先训练的路口交通行为模型输出得到对应的检测结果，路口交通行为模型为采用多个样本行为信息对神经网络进行训练得到的模型。
可选地，电子设备获取预先训练完成的路口交通行为模型，将交通参与者的行为信息输入至路口交通行为模型中输出得到检测结果。
电子设备获取预先训练完成的路口交通行为模型，包括但不限于如下两种可能的实现方式。在一种可能的实现方式中，电子设备预先训练并存储路口交通行为模型。电子设备获取自身存储的路口交通行为模型。在另一种可能的实现方式中，服务器预先训练并存储路口交通行为模型，电子设备从服务器中获取路口交通行为模型。
路口交通行为模型为采用样本行为信息和正确检测结果对神经网络进行训练得到的模型。即路口交通行为模型是根据样本行为信息和正确检测结果所确定的。其中，正确检测结果指示预先标注的交通信号的正确状态。比如，神经网络为多任务的卷积神经网络(Convolutional Neural Network，CNN)。本申请实施例对神经网络的类型不加以限定。
路口交通行为模型用于将输入的交通参与者的行为信息转化为检测结果，检测结果指示预测的交通信号的状态。
路口交通行为模型用于表示交通参与者的行为信息与检测结果之间的相关关系。
路口交通行为模型为预设的数学模型，该路口交通行为模型包括交通参与者的行为信息与检测结果之间的模型系数。模型系数可以为固定值，也可以是随时间动态修 改的值，还可以是随着使用场景动态修改的值。
可选地，电子设备根据n个交通参与者各自对应的检测结果，确定交通信号的状态检测结果。其中，交通信号包括车辆行驶方向的交通信号灯或者目标路口处的交警的手势信号，状态检测结果指示交通信号的状态。
可选地，交通信号为交通信号灯的情况下，交通信号的状态检测结果包括第一检测结果或第二检测结果，第一检测结果指示交通信号灯的状态为红灯或黄灯，第二检测结果指示交通信号灯的状态为绿灯。
可选地，交通信号为交警的手势信号的情况下，交通信号的状态检测结果指示交警的手势信号的状态为停车、左转、右转、直行中的一种。
可选地，电子设备根据n个交通参与者各自对应的检测结果，确定交通信号的状态检测结果，包括但不限于如下两种可能的实现方式。
在一种可能的实现方式中，电子设备根据n个检测结果各自所指示的交通信号的状态确定目标状态，目标状态为在上述的n个交通信号的状态中出现次数最多的状态，从而确定交通信号的状态检测结果，状态检测结果指示交通信号的目标状态。
比如，5个交通参与者各自对应的检测结果中4个检测结果指示交通信号的状态为红灯或黄灯，1个检测结果指示交通信号的状态为绿灯，则确定交通信号的状态检测结果：交通信号灯的状态为红灯或黄灯。
在另一种可能的实现方式中，电子设备根据n个交通参与者各自对应的检测结果和预配置的权重，确定交通信号的目标状态对应的置信度，目标状态为交通信号的多个状态中的至少一个；在目标状态对应的置信度大于第一置信度阈值的情况下，确定交通信号的状态检测结果，状态检测结果指示交通信号的目标状态。
可选地，第一置信度阈值是默认设置的，或者是自定义设置的。本申请实施例对此不加以限定。
可选地，交通参与者的权重是默认设置的，或者是自定义设置的。示意性的，交通参与者的权重是根据交通参与者的类型设置的，即不同类型的交通参与者设置不同大小的权重，比如，行人的权重为1，非机动车的权重为2，小汽车的权重为3，小型客车和卡车的权重为4，大型客车和卡车的权重为5。本申请实施例对此不加以限定。
示意性的，电子设备根据n个交通参与者各自对应的检测结果和预配置的权重w
i，通过如下公式确定交通信号的目标状态对应的置信度p
r：
其中，p
i表示第i个交通参与者对应的检测结果指示交通信号为目标状态的概率大小，比如，交通信号的目标状态为红灯或黄灯，若第i个交通参与者对应的检测结果指示红灯或黄灯，则p
i为1，若第i个交通参与者对应的检测结果指示绿灯，则p
i为0。
可选地，电子设备在确定出交通信号的状态检测结果后，以预设方式状态输出交通信号的状态检测结果，以提醒相关驾乘人员测结果，比如预设方式包括视觉图标方式和/或语音播报方式。本申请实施例对此不加以限定。
综上所述，本申请实施例通过获取目标路口的交通行为信息，目标路口为车辆行驶方向的交通信号灯所处的路口，交通行为信息指示至少一个交通参与者的行为；根 据交通行为信息，确定交通信号的状态检测结果，交通信号包括交通信号灯或者交警的手势信号，状态检测结果指示交通信号的状态，即通过目标路口的交通行为信息反向预测出关联交通信号的状态，可以避免相关技术中仅依靠交通信号图像感知来实现交通信号状态检测的情况，提高了交通信号状态检测的准确率。
请参考图3，其示出了本申请另一个示例性实施例提供的交通信号状态检测方法的流程图，本实施例以该方法用于图1所示的电子设备中来举例说明。该方法包括以下几个步骤。
步骤301，获取车辆行驶方向的待检测图像。
可选地，电子设备通过摄像头采集车辆行驶方向的光学图像，经过感光传感器、模数转换器的预处理得到数字图像信号即待检测图像。
可选地，待检测图像是实时或者每隔预设时间间隔获取的。其中，预设时间间隔为默认设置的，或者自定义设置的，本申请实施例对此不加以限定。
步骤302，根据待检测图像确定感知结果，感知结果指示感知的交通信号的状态。
可选地，电子设备根据待检测图像，采用图像识别技术进行图像识别得到感知结果，感知结果指示感知的交通信号的状态。
示意性的，感知结果包括交通信号的第一状态，第一状态为交通信号的多个状态中的至少一个。
步骤303，当感知结果满足预设启动条件时，获取目标路口的交通行为信息。
可选地，预设启动条件包括：感知结果的精度小于预设精度阈值；和/或，感知结果的精度小于预设精度阈值且目标路口处的交通参与者的数量大于预设数量阈值。
在一种可能的实现方式中，在感知结果的精度大于或等于预设精度阈值的情况下，确定交通信号的状态检测结果为第一状态；在感知结果的精度小于预设精度阈值的情况下，表示无法正常检测到交通信号或者检测精度极低，即仅依靠图像识别来实现交通信号状态检测的置信度极低，此时启用基于路口交通行为的交通信号状态检测方法，即执行获取目标路口的交通行为信息的步骤。
其中，预设精度阈值是默认设置的，或者是自定义设置的。本申请实施例对此不加以限定。示意性的，感知结果的精度为第一状态对应的置信度，预设精度阈值为第二置信度阈值。
为了保证了最终得到的状态检测结果的可信度，需要一定数量的交通参与者的行为信息作为输入参数，因此在另一种可能的实现方式中，在感知结果的精度小于预设精度阈值且目标路口处的交通参与者的数量大于预设数量阈值的情况下，启用基于路口交通行为的交通信号状态检测方法，即执行获取目标路口的交通行为信息的步骤。
其中，预设数量阈值是默认设置的，或者是自定义设置的。可选地，预设数量阈值与目标路口的大小和/或车道的数量相关，预设数量阈值为一个经验值，比如目标路口为一个双向三车道的路口，则预设数量阈值为50。本申请实施例对此不加以限定。
步骤304，对于每个交通参与者，根据交通参与者的行为信息确定对应的检测结果，检测结果指示预测的交通信号的状态。
步骤305，根据n个交通参与者各自对应的检测结果，确定交通信号的状态检测 结果。
可选地，交通信号状态检测结果包括交通信号的目标状态对应的置信度，目标状态为交通信号的多个状态中的至少一个。
需要说明的是，电子设备根据交通参与者的行为信息确定对应的检测结果，以及根据n个交通参与者各自对应的检测结果，确定交通信号的状态检测结果的过程可类比参考上述实施例中的相关细节，在此不再赘述。
在一个示意性的例子中，以待检测的交通信号为交通信号灯为例，如图4所示。此时路口的所有交通参与者为5个，获取本车的车辆行驶方向的待检测图像，确定待检测图像的感知结果，在感知结果的精度小于预设精度阈值(表示通过传统的图像识别技术所反馈的交通信号状态无法识别或者置信度极低)且路口处的交通参与者的数量大于预设数量阈值(表示需要一定数量的交通参与者的行为信息作为输入参数，才可以保证最终得到的状态检测结果的可信度)的情况下，启用基于路口交通行为的交通信号状态检测方法。即本车将相机、激光雷达和毫米波雷达等感知单元的感知结果进行融合，得到该路口场景下的所有交通参与者(比如机动车、非机动车、行人等)的位置、速度和方向等一些信息，结合预测单元和高精度地图等信息获取该路口场景下的交通行为信息，交通行为信息指示该路口场景下的所有交通参与者的行为，分别为：交通参与者1的行为：南北方向停止；交通参与者2的行为：东西方向准备左转弯；交通参与者3的行为：南北方向停止；交通参与者4的行为：东西方向左转弯；交通参与者5的行为：东西方向直行。通过路口的所有交通参与者的行为信息确定本车当前位置所关联的交通信号灯的状态，关联的交通信号灯即为影响本车行驶的交通信号灯。比如，本车在南侧路口的直行车道上，此时的关联交通信号灯为北侧的交通信号灯。如表一所示，由交通参与者1的行为可以推断出路口南北阻塞，关联的交通信号灯状态为红灯或黄灯；由交通参与者2的行为可以推断出路口东西畅通，关联的交通信号灯状态为红灯或黄灯；由交通参与者3的行为可以推断出路口南北阻塞，关联的交通信号灯状态为红灯或黄灯；由交通参与者4的行为可以推断出路口东西畅通，关联的交通信号灯状态为红灯或黄灯；由交通参与者5的行为可以推断出路口东西畅通，关联的交通信号灯状态为红灯或黄灯。基于表一所示的5个交通参与者各自对应的检测结果，最终确定出交通信号灯为的状态为红灯或黄灯。
表一
综上所述，本申请实施例通过传统的图像识别技术反馈感知结果，若感知结果满足预设启动条件则启用基于路口交通行为的交通信号状态检测方法，解决了相关技术 中交通信号状态检测的极端情况(交通灯位于视野盲区、相机成像问题、夜晚等场景)下的交通信号状态无法检测的问题，使得无人驾驶在感知红绿灯检测极端情况下正常行驶成为可能，丰富了无人驾驶在路口场景下的可行驶场景。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图5，其示出了本申请一个示例性实施例提供的交通信号状态检测装置的框图。该装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或者一部分。该装置可以包括：获取单元510和确定单元520。
获取单元510，用于获取目标路口的交通行为信息，目标路口为车辆行驶方向的交通信号所处的路口，交通行为信息指示至少一个交通参与者的行为；
确定单元520，用于根据交通行为信息，确定交通信号的状态检测结果，状态检测结果指示交通信号的状态。
在一种可能的实现方式中，交通行为信息包括n个交通参与者各自对应的行为信息，n为正整数，确定单元520，还用于：
对于每个交通参与者，根据交通参与者的行为信息确定对应的检测结果，检测结果指示预测的交通信号的状态；
根据n个交通参与者各自对应的检测结果，确定交通信号的状态检测结果。
在另一种可能的实现方式中，确定单元520，还用于：
根据交通参与者的行为信息，基于预设映射关系确定对应的检测结果，预设映射关系包括预设的交通参与者的行为信息与检测结果之间的对应关系。
在另一种可能的实现方式中，确定单元520，还用于：
根据交通参与者的行为信息，调用预先训练的路口交通行为模型输出得到对应的检测结果，路口交通行为模型为采用多个样本行为信息对神经网络进行训练得到的模型。
在另一种可能的实现方式中，交通信号状态检测结果包括交通信号的目标状态对应的置信度，目标状态为交通信号的多个状态中的至少一个。
在另一种可能的实现方式中，该装置还包括：启动单元；启动单元，用于：
获取车辆行驶方向的待检测图像；
根据待检测图像确定感知结果，感知结果指示感知的交通信号的状态；
当感知结果满足预设启动条件时，执行获取目标路口的交通行为信息的步骤。
在另一种可能的实现方式中，预设启动条件包括：
感知结果的精度小于预设精度阈值；和/或，
感知结果的精度小于预设精度阈值且目标路口处的交通参与者的数量大于预设数量阈值。
在另一种可能的实现方式中，交通行为信息包括n个交通参与者各自对应的行为信息，行为信息包括位置、速度和方向中的至少一种信息，n为正整数。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模 块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例提供了一种交通信号状态检测装置，该装置包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令时实现上述由电子设备执行的方法。
本申请的实施例提供了一种车载设备，车载设备包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令时实现上述由电子设备执行的方法。
本申请实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当计算机可读代码在电子设备的处理器中运行时，电子设备中的处理器执行上述由电子设备执行的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述由电子设备执行的方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory，EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(Local Area Network，LAN)或广域网(Wide Area Network，WAN)—连接到用户计算机，或者，可以连接到外 部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application Specific Integrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对 于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (12)
- 一种交通信号状态检测方法，其特征在于，所述方法包括：获取目标路口的交通行为信息，所述目标路口为车辆行驶方向的交通信号灯所处的路口，所述交通行为信息指示至少一个交通参与者的行为；根据所述交通行为信息，确定所述交通信号的状态检测结果，所述交通信号包括所述交通信号灯或者交警的手势信号，所述状态检测结果指示所述交通信号的状态。
- 根据权利要求1所述的方法，其特征在于，所述交通行为信息包括n个所述交通参与者各自对应的行为信息，所述n为正整数，所述根据所述交通行为信息，确定所述交通信号的状态检测结果，包括：对于每个所述交通参与者，根据所述交通参与者的行为信息确定对应的检测结果，所述检测结果指示预测的所述交通信号的状态；根据n个所述交通参与者各自对应的所述检测结果，确定所述交通信号的所述状态检测结果。
- 根据权利要求2所述的方法，其特征在于，所述根据所述交通参与者的行为信息确定对应的检测结果，包括：根据所述交通参与者的行为信息，基于预设映射关系确定对应的所述检测结果，所述预设映射关系包括预设的所述交通参与者的行为信息与所述检测结果之间的对应关系。
- 根据权利要求2所述的方法，其特征在于，所述根据所述交通参与者的行为信息确定对应的检测结果，包括：根据所述交通参与者的行为信息，调用预先训练的路口交通行为模型输出得到对应的所述检测结果，所述路口交通行为模型为采用多个样本行为信息对神经网络进行训练得到的模型。
- 根据权利要求2至4任一所述的方法，其特征在于，所述状态检测结果包括所述交通信号的目标状态对应的置信度，所述目标状态为所述交通信号的多个状态中的至少一个。
- 根据权利要求1至5任一所述的方法，其特征在于，所述方法还包括：获取所述车辆行驶方向的待检测图像；根据所述待检测图像确定感知结果，所述感知结果指示感知的所述交通信号的状态；当所述感知结果满足预设启动条件时，执行获取目标路口的交通行为信息的步骤。
- 根据权利要求6所述的方法，其特征在于，所述预设启动条件包括：所述感知结果的精度小于预设精度阈值；和/或，所述感知结果的精度小于预设精度阈值且所述目标路口处的所述交通参与者的数量大于预设数量阈值。
- 根据权利要求1至7任一所述的方法，其特征在于，所述交通行为信息包括n个所述交通参与者各自对应的行为信息，所述行为信息包括位置、速度和方向中的至少一种信息，所述n为正整数。
- 一种交通信号状态检测装置，其特征在于，所述装置包括：获取单元，用于获取目标路口的交通行为信息，所述目标路口为车辆行驶方向的交通信号所处的路口，所述交通行为信息指示至少一个交通参与者的行为；确定单元，用于根据所述交通行为信息，确定所述交通信号的状态检测结果，所述状态检测结果指示所述交通信号的状态。
- 一种交通信号状态检测装置，其特征在于，所述装置包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令时实现权利要求1-8任意一项所述的方法。
- 一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-8任意一项所述的方法。
- 一种计算机程序产品，其特征在于，所述计算机程序产品在计算机上运行时，所述计算机执行如权利要求1-8任意一项所述的方法。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2022/084764 WO2023184468A1 (zh) | 2022-04-01 | 2022-04-01 | 交通信号状态检测方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117157687A true CN117157687A (zh) | 2023-12-01 |
Family
ID=88198842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202280005197.0A Pending CN117157687A (zh) | 2022-04-01 | 2022-04-01 | 交通信号状态检测方法、装置及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117157687A (zh) |
| WO (1) | WO2023184468A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107507432A (zh) * | 2017-09-25 | 2017-12-22 | 南京律智诚专利技术开发有限公司 | 一种大数据分析动态交通信号系统 |
| CN110544388A (zh) * | 2019-09-12 | 2019-12-06 | 东软睿驰汽车技术（沈阳）有限公司 | 一种显示交通信号灯的方法和装置 |
| CN110660256B (zh) * | 2019-10-22 | 2021-04-27 | 北京地平线机器人技术研发有限公司 | 一种信号灯状态的估计方法及装置 |
| CN112071064A (zh) * | 2020-09-17 | 2020-12-11 | 苏州交驰人工智能研究院有限公司 | 基于相反规则车道进行交通信号状态推测的方法及装置 |
-
2022
- 2022-04-01 WO PCT/CN2022/084764 patent/WO2023184468A1/zh unknown
- 2022-04-01 CN CN202280005197.0A patent/CN117157687A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023184468A1 (zh) | 2023-10-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111626208B (zh) | 用于检测小目标的方法和装置 | |
| CN113741485A (zh) | 车路协同自动驾驶的控制方法、装置、电子设备及车辆 | |
| CN110796007B (zh) | 场景识别的方法与计算设备 | |
| CN112738171B (zh) | 车辆的控制方法、装置、系统、设备及存储介质 | |
| US20210281968A1 (en) | Information processing apparatus, vehicle, computer-readable storage medium, and information processing method | |
| US20230047404A1 (en) | Driver assistance system and method | |
| CN113734203B (zh) | 一种智能驾驶的控制方法、装置、系统及存储介质 | |
| CN113205088B (zh) | 障碍物图像展示方法、电子设备和计算机可读介质 | |
| CN110647801A (zh) | 设置感兴趣区域的方法、装置、存储介质及电子设备 | |
| CN115339453B (zh) | 车辆换道决策信息生成方法、装置、设备和计算机介质 | |
| CN116783462A (zh) | 一种自动驾驶系统的性能测试方法 | |
| CN114882464B (zh) | 多任务模型训练方法、多任务处理方法、装置及车辆 | |
| RU2767838C1 (ru) | Способы и системы для формирования обучающих данных для обнаружения горизонта и плоскости дороги | |
| CN112896160B (zh) | 交通标志信息获取方法及相关设备 | |
| CN117157687A (zh) | 交通信号状态检测方法、装置及存储介质 | |
| CN115092186A (zh) | 一种车辆自动驾驶方法及装置、电子设备、存储介质 | |
| CN115205311A (zh) | 图像处理方法、装置、车辆、介质及芯片 | |
| CN112526477B (zh) | 用于处理信息的方法和装置 | |
| CN114998861A (zh) | 车辆与障碍物的距离检测方法及装置 | |
| JP2022056153A (ja) | 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム | |
| CN113771845A (zh) | 预测车辆轨迹的方法、装置、车辆和存储介质 | |
| US20230024799A1 (en) | Method, system and computer program product for the automated locating of a vehicle | |
| CN114179834B (zh) | 车辆停靠方法、装置、电子设备、介质及自动驾驶车辆 | |
| CN114379588B (zh) | 进站状态检测方法、装置、车辆、设备和存储介质 | |
| CN115019278B (zh) | 一种车道线拟合方法、装置、电子设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |