CN112258878A - 行车预警系统、行车预警方法及使用所述方法的电子装置 - Google Patents

行车预警系统、行车预警方法及使用所述方法的电子装置 Download PDF

Info

Publication number
CN112258878A
CN112258878A CN201910777533.3A CN201910777533A CN112258878A CN 112258878 A CN112258878 A CN 112258878A CN 201910777533 A CN201910777533 A CN 201910777533A CN 112258878 A CN112258878 A CN 112258878A
Authority
CN
China
Prior art keywords
vehicle
matrix
electronic device
driving
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910777533.3A
Other languages
English (en)
Other versions
CN112258878B (zh
Inventor
范家铨
叶启祥
何孟佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN112258878A publication Critical patent/CN112258878A/zh
Application granted granted Critical
Publication of CN112258878B publication Critical patent/CN112258878B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/012—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from other sources than vehicle or roadside beacons, e.g. mobile networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供一种行车预警系统、行车预警方法及使用所述方法的电子装置。行车预警方法包括：取得前方交通工具的行车轨迹；根据行车轨迹产生行车轨迹矩阵；以及根据危险等级发出警示信息。

Description

行车预警系统、行车预警方法及使用所述方法的电子装置
技术领域
本发明是有关于一种预警系统和方法，且特别是有关于一种行车预警系统、行车预警方法及使用所述方法的电子装置。
背景技术
目前，新上市的车辆大多配备了多种类型的行车辅助设备，其中又以追撞缓冲(forward collision mitigation，FCM)系统以及自适应巡航控制(adaptive cruisecontrol，ACC)系统最为普及。ACC系统能够通过安装于车辆前方的距离感测器取得车辆与前车的距离。当所述距离过小时，ACC系统可例如通过控制制动系统来减低车辆的速度，从而使车辆与前车保持安全的距离。然而，ACC系统并无法辅助驾驶来判断前方或侧面的车辆是否正进行危险驾驶。
发明内容
有鉴于此，本发明提供一种行车预警系统、行车预警方法及使用所述方法的电子装置，可用以辅助驾驶判断前方或侧面的车辆是否正进行危险驾驶或具有危险驾驶纪录。
本发明的行车预警方法，适用于交通工具中的本地电子装置。行车预警方法包括：取得前方交通工具的行车轨迹；根据行车轨迹产生行车轨迹矩阵；以及根据行车轨迹矩阵对应的危险等级发出警示信息。
本发明的行车预警系统，包括本地电子装置以及远程电子装置。本地电子装置取得前方交通工具的行车轨迹，根据行车轨迹产生行车轨迹矩阵，并且上传行车轨迹矩阵至远程电子装置，其中远程电子装置根据行车轨迹矩阵以及神经网络判断前方交通工具的危险等级，并且根据危险等级发出警示信息或危险等级至本地电子装置。
本发明的用于行车预警的电子装置，包括收发器、输出装置、数据收集装置以及处理器。处理器耦接收发器、输出装置以及数据收集装置。处理器经配置以执行：通过数据收集装置取得前方交通工具的行车轨迹；根据行车轨迹产生行车轨迹矩阵；通过收发器上传行车轨迹矩阵，并且接收对应于前方交通工具的危险等级或警示信息；以及通过输出装置输出危险等级或警示信息。
基于上述，本发明的行车预警方法可使交通工具通过前方交通工具的行车轨迹辨识出前方交通工具的危险等级，从而在危险等级过高时发出警示信息给交通工具的驾驶，提醒驾驶与前方交通工具保持适当的距离。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1根据本发明的实施例示出使用行车预警系统的交通工具的示意图。
图2根据本发明的实施例示出本地电子装置的示意图。
图3根据本发明的实施例示出远程电子装置的示意图。
图4A根据本发明的实施例示出侦测区域的示意图。
图4B根据本发明的实施例示出前方交通工具的行车轨迹的示意图。
图5根据本发明的实施例示出由神经网络将行车轨迹矩阵转换为特征矩阵(feature map)的示意图。
图6根据本发明的实施例示出由神经网络对特征矩阵进行池化(pooling)和平坦化(flattening)的示意图。
图7根据本发明的实施例示出由神经网络判断前方交通工具是否正进行危险驾驶的示意图。
图8A根据本发明的实施例示出对应于危险行车轨迹之卷积核的示意图。
图8B根据本发明的实施例示出对应于正常行车轨迹之卷积核的示意图。
图9根据本发明的实施例示出一种行车预警方法的流程图。
图10根据本发明的实施例示出一种行车预警方法的流程图。
具体实施方式
为了使本发明的内容可以被更容易地理解，以下特举实施例做为本发明确实能够据以实施的范例。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件/步骤，是代表相同或类似部件。
图1根据本发明的实施例示出使用行车预警系统10的交通工具300的示意图。行车预警系统10包括本地电子装置100以及远程电子装置200，其中本地电子装置100可安装于交通工具300之中。本地电子装置100可上传前方交通工具400的相关信息至远程电子装置200。远程电子装置200可根据由本地电子装置100所上传以及由安装于其他交通工具中的其他本地电子装置所上传的前方交通工具400的相关信息来判断前方交通工具400的危险等级。若前方交通工具400的危险等级超出阈值，则行车预警系统10可指示交通工具300的驾驶前方交通工具400正进行危险驾驶。
图2根据本发明的实施例示出本地电子装置100的示意图。本地电子装置100包括处理器110、存储介质120、收发器130、数据收集装置140以及输出装置150。
处理器110例如是中央处理单元(central processing unit，CPU)，或是其他可编程的通用或专用的微控制单元(micro control unit，MCU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可编程控制器、专用集成电路(application specific integrated circuit，ASIC)、图形处理器(graphics processingunit，GPU)、算数逻辑单元(arithmetic logic unit，ALU)、复杂可编程逻辑器件(complexprogrammable logic device，CPLD)、现场可编程门阵列(field programmable gatearray，FPGA)或其他类似元件或上述元件的组合。处理器110耦接存储介质120、收发器130、数据收集装置140以及输出装置150。
存储介质120例如是任何型态的固定式或可移动式的随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、闪存(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似元件或上述元件的组合，而用于储存可由本地电子装置100或处理器110执行的多个模组或各种应用程序。
收发器130以无线方式传送或接收信号。收发器130还可以执行例如低噪声放大、阻抗匹配、混频、向上或向下频率转换、滤波、放大以及类似的操作。本地电子装置100可通过收发器130与远程电子装置200进行通讯。
数据收集装置140包括安装于交通工具300前方的摄影机141。摄影机141用以捕获位于交通工具300前方之前方交通工具400的影像。在实施例中，数据收集装置140还包括全球定位系统(global positioning system，GPS)装置142。全球定位系统装置142用以取得交通工具300或前方交通工具400的地理位置信息。
输出装置150例如是显示器(例如：抬头显示器或液晶显示器)或扬声器，本发明不限于此。当行车预警系统10判断位于交通工具300之前方交通工具400的危险等级超出阈值时，本地电子装置100的处理器110可通过输出装置150显示或播放警示信息，以指示交通工具300的驾驶保持与前方交通工具400之间的距离。
图3根据本发明的实施例示出远程电子装置200的示意图。远程电子装置200例如是云端服务器，并可包括处理器210、存储介质220以及收发器230。
处理器210例如是中央处理单元，或是其他可编程的通用或专用微控制单元、微处理器、数字信号处理器、可编程控制器、专用集成电路、图形处理器、算数逻辑单元、复杂可编程逻辑器件、现场可编程门阵列或其他类似元件或上述元件的组合。处理器210耦接存储介质220以及收发器230。
存储介质220例如是任何型态的固定式或可移动式的随机存取存储器、只读存储器、闪存、硬盘、固态硬盘或类似元件或上述元件的组合，而用于储存可由远程电子装置200或处理器210执行的多个模组或各种应用程序。存储介质220还可储存用以辨识交通工具是否正进行危险驾驶的神经网络221。在本实施例中，神经网络221为卷积神经网络(convolutional neural network，CNN)，但本发明不限于此。
收发器230以无线方式传送或接收信号。收发器230还可以执行例如低噪声放大、阻抗匹配、混频、向上或向下频率转换、滤波、放大以及类似的操作。远程电子装置200可通过收发器230与本地电子装置100进行通讯。
本地电子装置100可安装于交通工具300中。本地电子装置100的处理器110可通过摄影机141来取得前方交通工具400的行车轨迹。具体来说，处理器110可通过影像处理技术从摄影机141所取得的影像中识别出前方交通工具400的车牌影像，并且通过摄影机141的侦测区域来持续地追踪所述车牌影像，从而产生对应于前方交通工具400的行车轨迹。
图4A根据本发明的实施例示出侦测区域40的示意图。在本实施例中，摄影机141的侦测区域40包括五个车道，分别为车道B1、车道B2、车道B3、车道B4和车道B5。处理器110可根据交通工具的车牌影像在侦测区域40中的位置来判断所述交通工具所在的车道。举例来说，若交通工具对应于车牌影像41，则处理器110可响应于车牌影像41位于车道B3内而判断所述交通工具位于车道B3内。若交通工具对应于车牌影像42，则处理器可响应于车牌影像42的大部分都位于车道B5内而判断所述交通工具位于车道B5内。需注意的是，侦测区域40中的车道数量可与交通工具300所在地的实际车道数量相同或相异，本发明不限于此。
在实施例中，处理器110可响应于交通工具的车牌影像不在侦测区域40内而判断最接近车牌影像的车道为所述交通工具所在的车道。举例来说，若交通工具对应于车牌影像43，则处理器110可响应于车牌影像43不在侦测区域40内而判断所述交通工具位于最接近车牌影像43的车道B1内。
图4B根据本发明的实施例示出前方交通工具400之行车轨迹的示意图，其中行车轨迹指出由较早的时间点T1至较晚的时间点T5期间，前方交通工具400所位于的车道。本地电子装置100的处理器110可通过摄影机141的侦测区域40侦测前方交通工具400在不同时间点所位于的车道(即：车道B1、B2、B3、B4以及B5)而取得如图4B所示之前方交通工具400的行车轨迹。具体来说，在时间点T1时，处理器110根据摄影机141所捕获的影像判断前方交通工具400位在车道B3。基于类似的方法，处理器110可判断：在时间点T2时，前方交通工具400从车道B3切换到车道B4。在时间点T3时，前方交通工具400从车道B4切换到车道B5。在时间点T4时，前方交通工具400从车道B5切换到车道B4。在时间点T5时，前方交通工具400从车道B4切换到车道B3。假设时间点T1～T5是一短的时间段，则前方交通工具400之行车轨迹指出前方交通工具400在短时间内多次切换车道。换句话说，前方交通工具400正进行危险驾驶。
在取得前方交通工具400的行车轨迹后，本地电子装置100的处理器110可根据行车轨迹产生行车轨迹矩阵。接着，本地电子装置100可通过收发器130将行车轨迹矩阵上传至远程电子装置200，从而远程电子装置200得以根据行车轨迹矩阵判断前方交通工具400的危险等级。行车轨迹矩阵关联于多个时间点以及前方交通工具400在所述多个时间点所在的车道。举例来说，如图4B所示的行车轨迹可被处理器110转换为如图5所示的行车轨迹矩阵51。在本实施例中，行车轨迹矩阵51的第i列(row)对应于图4B的时间点T(|i-(m+1)|)，且行车轨迹矩阵51的第j行(column)对应于图4B的车道B(j)，其中m代表行车轨迹矩阵51的列数(即：m＝5)。举例来说，在时间点T1时，前方交通工具400位于车道B3。因此，处理器110在行车轨迹矩阵51的第5列(对应于时间点T1)第3行(对应于车道B3)填入代表前方交通工具400所在的“1”，并且对行车轨迹矩阵51的第5列的其他行进行填零(zerofill)。
行车轨迹矩阵51的尺寸可被动态地调整。若行车预警系统10想要远程电子装置200根据更长期的信息来判断前方交通工具400的危险等级，则本地电子装置100的处理器110可增加行车轨迹矩阵51的列，使得行车轨迹矩阵51关联于更多的时间点。换句话说，处理器110可将用于取样行车轨迹矩阵51中的元素的时间窗格加大。相对来说，若行车预警系统10想要远程电子装置200根据更短期的信息来判断前方交通工具400的危险等级，则本地电子装置100的处理器110可减少行车轨迹矩阵51的列，使得行车轨迹矩阵51关联于更少的时间点。换句话说，处理器110可将用于取样行车轨迹矩阵51中的元素的时间窗格减小。举例来说，处理器110可减少行车轨迹矩阵51的列以将行车轨迹矩阵51调整为如表1所示的4×5的行车轨迹矩阵。如此，则行车轨迹矩阵51仅包括时间点T2～T5的信息，而不包括最早的时间点T1的信息。
表1
0 0 1 0 0
0 0 0 1 0
0 0 0 0 1
0 0 0 1 0
另一方面，行车轨迹矩阵51的行数即为侦测区域40包括的车道数量。换句话说，当侦测区域40的预设尺寸不同时，处理器110所产生行车轨迹矩阵51的行数也会不同。
在产生完行车轨迹矩阵51后，本地电子装置100的处理器110可通过收发器130将行车轨迹矩阵51连同相关信息上传至远程电子装置200，其中所述相关信息可包括前方交通工具400的车牌信息、对应行车轨迹矩阵51所关联之时间点的时间戳记、交通工具300或前方交通工具400的地理位置信息，以及本地电子装置100的识别码等信息。由于远程电子装置200可接收来自不同本地电子装置所上传的数据，因此远程电子装置200需通过本地电子装置100的识别码来判断行车轨迹矩阵51的上传者为本地电子装置100。为了保护前方交通工具400的隐私，前方交通工具400之的车牌信息需要以杂凑值的形式呈现。本地电子装置100的处理器110需根据前方交通工具400之车牌影像建立对应的杂凑值。本地电子装置100可通过将所述杂凑值上传至远程电子装置200以在不侵犯前方交通工具400之隐私的情况下指出前方交通工具400的身分。
远程电子装置200的处理器210可通过收发器230接收行车轨迹矩阵51以及前述的相关信息。接着，处理器210可根据行车轨迹矩阵51以及神经网络221判断前方交通工具400的危险等级。更具体来说，除了行车轨迹矩阵51之外，处理器210更根据对应于前方交通工具400但不同于行车轨迹矩阵51的其他行车轨迹矩阵来判断前方交通工具400的危险等级。所述其他行车轨迹矩阵例如是由安装于不同于交通工具300之交通工具中的本地电子装置所上传。
处理器210可根据行车轨迹矩阵51以及神经网络221判断前方交通工具400是否正进行危险驾驶。图5根据本发明的实施例示出由神经网络221将行车轨迹矩阵51转换为特征矩阵53的示意图。神经网络221的卷积层(convolution layer)可利用卷积核(convolutionkernel)52对行车轨迹矩阵51进行卷积以产生特征矩阵53。卷积核52例如是代表危险行车轨迹的其中之一种态样的矩阵，但本发明不限于此。举例来说，卷积核52可以是代表正常(安全)行车轨迹的其中之一种态样的矩阵。在本实施例中，特征矩阵53的第(i，j)个元素C(i，j)，如公式(1)所示：
Figure BDA0002175543460000071
其中“m”为卷积核52的列数(即：m＝3)，“n”为卷积核52的行数(即：n＝3)，“A(x，y)”代表行车轨迹矩阵51的第(x，y)个元素，并且“B(x，y)”代表卷积核52的第(x，y)个元素。
在取得特征矩阵53后，神经网络221可降低特征矩阵53的维度以使计算过程更有效率。图6根据本发明的实施例示出由神经网络221对特征矩阵53进行池化和平坦化的示意图。神经网络221的池化层(pooling layer)可对特征矩阵53实施最大池化(max pooling)以降低特征矩阵53的维度。举例来说，池化层可将特征矩阵53区分成数个子区域，分别为子区域61、子区域62、子区域63以及子区域64。接着，池化层可取出每个子区域中的最大数值以产生维度较低的特征矩阵54。在将特征矩阵54输入至神经网络221的全连接层之前，神经网络221可对特征矩阵54实施平坦化(flattening)，以产生一维特征矩阵55。
图7根据本发明的实施例示出由神经网络221判断前方交通工具400是否正进行危险驾驶的示意图。神经网络221可将一维特征矩阵55输入至全连接层，藉以利用全连接层的判断结果将前方交通工具400的行车轨迹分类为危险行车轨迹或正常行车轨迹，进而计算出前方交通工具400的危险等级。于另一实施例中，全连接层中有多层的多个神经元，全连接层藉由每个神经元分类一维特征矩阵55其为危险驾驶轨迹或是正常驾驶轨迹。在一个实施例中，每个神经元可判断一维特征矩阵55与危险驾驶轨迹或是正常驾驶轨迹的相似程度，并给予相似分数，并经由相似分数而分类，在这个实施例中，全连接层中的多个神经元可事先训练为自一维特征矩阵55抽取相关特征而判断前方交通工具400的行车轨迹是否与危险驾驶轨迹相像的神经元，在另一实施例中，多个神经元可事先训练为自一维特征矩阵55抽取相关特征而判断前方交通工具400的行车轨迹是否与正常驾驶轨迹相像的神经元。
值得注意的是，一维特征矩阵55仅对应于单一个卷积核52。换句话说，神经网络221仅能根据一维特征矩阵55识别出单一种危险行车轨迹。若要使神经网络221的判断结果更加准确，则神经网络221需要利用代表不同危险行驶轨迹的态样的卷积核来对行车轨迹矩阵51进行卷积，以产生多个相对应的一维特征矩阵。
图8A根据本发明的实施例示出对应于危险行车轨迹之卷积核的示意图。举例来说，神经网络221可利用如图8A所示的对应于危险行车轨迹的多个卷积核81中的两个来对行车轨迹矩阵51进行卷积以分别产生一维特征矩阵551以及一维特征矩阵552。图8B根据本发明的实施例示出对应于正常行车轨迹之卷积核的示意图。在一个实施例中，神经网络221可利用如8B所示的对应于正常行车轨迹的多个卷积核82中的三个来对行车轨迹矩阵51进行卷积以分别产生一维特征矩阵55、一维特征矩阵551以及一维特征矩阵552。
神经网络221可根据由不同的本地电子装置(包括本地电子装置100以及与本地电子装置100具有相同功能的其他本地电子装置)所上传的多个行车轨迹矩阵来产生分别对应于所述多个行车轨迹矩阵的多个判断结果。而后，神经网络221可根据所述多个判断结果来计算前方交通工具400的危险等级。换句话说，神经网络221是根据由不同交通工具所观察到之前方交通工具400的多个行车轨迹来判断前方交通工具400的危险等级。神经网络221可根据公式(2)来计算前方交通工具400的危险等级。
Figure BDA0002175543460000091
其中DL为危险等级，DT为对应于危险行车轨迹之判断结果的数量，并且DN为所有判断结果的数量(包括对应于危险行车轨迹或正常行车轨迹的判断结果)。
举例来说，假设除了接收由交通工具300中的本地电子装置100所上传的行车轨迹矩阵51外，远程电子装置200还接收了由其他交通工具中的本地电子装置所上传的行车轨迹矩阵，则远程电子装置200可通过神经网络221产生分别对应于不同行车轨迹矩阵的多个判断结果，如表2所示。
表2
时间戳记 行车轨迹矩阵的上传者 目标身分 判断结果
09:09 交通工具C 前方交通工具400 危险行车轨迹
09:10 交通工具A 前方交通工具400 危险行车轨迹
09:11 交通工具B 前方交通工具400 危险行车轨迹
09:12 交通工具C 前方交通工具400 正常行车轨迹
09:13 交通工具300 前方交通工具400 危险行车轨迹
远程电子装置200的处理器210可根据预设的时间窗口来决定用以计算危险等级的判断结果的数量。举例来说，假设时间窗口被预设为“3”，则处理器210根据最新上传的三个判断结果(即：分别对应于时间戳记09：11、09：12以及09：13的判断结果)来计算前方交通工具400的危险等级DL，如公式(3)所示。
Figure BDA0002175543460000101
其中“2”代表分别对应于时间戳记09：11和09：13的判断结果(即：对应于危险行车轨迹的判断结果)的数量，并且“3”代表分别对应于时间戳记09：11至09：13的判断结果的数量。
远程电子装置200的处理器210可基于危险等级DL超过阈值(例如：50％)而通过收发器230发送警示信息给本地电子装置100。在实施例中，远程电子装置200的处理器210可通过收发器230发送危险等级DL给本地电子装置100。
在实施例中，时间窗口内可能包括对应于相同上传者的判断结果。举例来说，若时间窗口被预设为「5」，则时间窗口中对应于时间戳记09：09和09：12的上传者均为交通工具C，其中对应于时间戳记09：09的判断结果根据由交通工具C较早上传的行车轨迹矩阵计算而得，并且对应于时间戳记09：12的判断结果是根据交通工具C较晚上传的行车轨迹矩阵计算而得。在这种情况下，处理器210会将较早上传的行车轨迹矩阵或其对应的判断结果视为无效的数据，而优先以产生时间点较晚的行车轨迹矩阵计算危险等级。因此，在计算前方交通工具400的危险等级之前，处理器210会先判断时间窗口中对应于09:09的判断结果为无效的数据。据此，处理器210将仅根据四个判断结果(即：分别对应于时间戳记09：10、09：11、09：12和09：13的判断结果)来计算危险等级。
在实施例中，远程电子装置200的存储介质220可预存关于前方交通工具400的历史驾驶纪录。当远程电子装置200的处理器210需要计算前方交通工具400的危险等级时，处理器210可根据历史驾驶纪录计算危险等级，使得所计算的危险等级更加准确。另一方面，处理器210也可以直接从前方交通工具400的历史驾驶纪录判断前方交通工具400的危险等级。如此，可省略计算危险等级的流程，而使处理器210更加快速地判断出前方交通工具400的危险等级。
在实施例中，在远程电子装置200自本地电子装置100接收到对应于前方交通工具400的地理位置信息后，远程电子装置200可响应于前方交通工具400对应的所述地理位置信息具有关联于前方交通工具400的危险驾驶纪录而通过收发器230发出警示信息至本地电子装置100。而后，本地电子装置100的处理器110可通过输出装置150输出警示信息以提示驾驶注意前方交通工具400。换句话说，行车预警系统10可根据前方交通工具400的危险等级或危险驾驶记录等多种因素来判断是否发出警示信息。在实施例中，处理器110会基于危险等级的不同而使用不同的方式输出警示信息。举例来说，若危险等级较高(例如：高于75％)，则输出装置150可发出红色的灯号来提示驾驶注意前方交通工具400。若危险等级较低(例如：介于25％至75％之间)，则输出装置150可发出黄色的灯号来提示驾驶注意前方交通工具400。
图9根据本发明的实施例示出一种行车预警方法的示意图，其中所述行车预警方法可由如图1所示的行车预警系统10、本地电子装置100或远程电子装置200中的至少其中之一实施。在步骤S901中，由本地电子装置取得前方交通工具的行车轨迹。在步骤S902中，由本地电子装置根据行车轨迹产生行车轨迹矩阵。在步骤S903中，由远程电子装置根据行车轨迹矩阵以及神经网络判断前方交通工具的危险等级。在步骤S904中，由远程电子装置根据危险等级发出警示信息或危险等级至本地电子装置。
图10根据本发明的实施例示出一种行车预警方法的流程图，其中所述行车预警方法可由如图2所示的本地电子装置100实施。在步骤S101中，取得前方交通工具的行车轨迹。在步骤S102中，根据行车轨迹产生行车轨迹矩阵。在步骤S103中，根据行车轨迹对应的危险等级发出警示信息。
综上所述，本发明的行车预警方法可使交通工具通过影像辨识技术准确地判断前方交通工具的行车轨迹，并将与行车轨迹相关的信息上传至远程电子装置(例如：云端服务器)。远程电子装置可通过神经网络以及所述信息来判断前方交通工具的危险等级，并且在危险等级过高时发出警示信息给交通工具的驾驶，提醒驾驶与前方交通工具保持适当的距离。行车轨迹相关的信息可以简易的用矩阵的形式呈现。如此，不仅交通工具中的本地电子装置与远程电子装置可以更快的速率交换行车轨迹相关的信息，远程电子装置也可以使用较少的运算量而快速地计算出危险等级。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作些许的改动与润饰，故本发明的保护范围当视后附的权利要求书所界定的为准。
[符号说明]
10：行车预警系统
100：本地电子装置
110、210：处理器
120、220：存储介质
130、230：收发器
140：数据收集装置
141：摄影机
142：全球定位系统装置
150：输出装置
200：远程电子装置
221：神经网络
300：交通工具
40：侦测区域
41、42、43：车牌影像
400：前方交通工具
51：行车轨迹矩阵
52、81、82：卷积核
53：特征矩阵
54：池化后的特征矩阵
55、551、552：一维特征矩阵
61、62、63、64：子区域
B1、B2、B3、B4、B5：车道
T1、T2、T3、T4、T5：时间点
S101、S102、S103、S104、S901、S902、S903、S904：步骤

Claims (20)

1.一种行车预警方法，适用于交通工具中的本地电子装置，包括：
取得前方交通工具的行车轨迹；
根据所述行车轨迹产生行车轨迹矩阵；以及
根据所述行车轨迹矩阵对应的危险等级发出警示信息。
2.根据权利要求1所述的行车预警方法，其中所述行车轨迹矩阵关联于多个时间点以及所述前方交通工具在所述多个时间点时所在的车道。
3.根据权利要求1所述的行车预警方法，还包括：
由远程电子装置根据所述行车轨迹矩阵判断所述前方交通工具的所述危险等级，包括：
用卷积核对所述行车轨迹矩阵进行卷积，以产生特征矩阵；
根据所述特征矩阵计算所述危险等级；以及
传送所述危险等级或所述警示信息至所述本地电子装置。
4.根据权利要求2所述的行车预警方法，其中取得所述前方交通工具的所述行车轨迹的步骤包括：
响应于所述前方交通工具的车牌影像不在侦测区域之中而判断最接近所述车牌影像的车道为所述前方交通工具所在的第一车道。
5.根据权利要求3所述的行车预警方法，其中由所述远程电子装置根据所述行车轨迹矩阵判断所述前方交通工具的所述危险等级的步骤还包括：
取得对应于所述前方交通工具的第二行车轨迹矩阵；以及
根据所述行车轨迹矩阵、所述第二行车轨迹矩阵以及神经网络判断所述前方交通工具的所述危险等级。
6.根据权利要求5所述的行车预警方法，其中根据所述行车轨迹矩阵、所述第二行车轨迹矩阵以及所述神经网络判断所述前方交通工具的所述危险等级的步骤包括：
由所述神经网络产生分别对应于多个行车轨迹矩阵的多个判断结果，其中所述多个行车轨迹矩阵包括所述行车轨迹矩阵以及所述第二行车轨迹矩阵，并且所述第二行车轨迹矩阵对应于不同于所述交通工具的第二交通工具；
计算对应于危险行车轨迹的判断结果的数量以作为所述危险等级的分子；以及
计算所述多个判断结果的数量以作为所述危险等级的分母。
7.根据权利要求5所述的行车预警方法，其中根据所述行车轨迹矩阵、所述第二行车轨迹矩阵以及所述神经网络判断所述前方交通工具的所述危险等级的步骤包括：
响应于所述行车轨迹矩阵以及所述第二行车轨迹矩阵于相同的所述交通工具产生，优先以产生时间点较晚的所述行车轨迹矩阵或所述第二行车轨迹矩阵计算所述危险等级。
8.根据权利要求1所述的行车预警方法，还包括：
响应于所述前方交通工具对应的地理位置信息具有关联的危险驾驶纪录而发出所述警示信息。
9.根据权利要求1所述的行车预警方法，还包括：
取得所述前方交通工具的车牌影像；
建立对应于所述车牌影像的杂凑值；以及
将所述杂凑值上传至远程电子装置以辨识所述前方交通工具。
10.根据权利要求1所述的行车预警方法，其中取得所述前方交通工具的所述行车轨迹的步骤包括：
追踪所述前方交通工具的车牌影像以产生所述行车轨迹。
11.一种行车预警系统，包括：
本地电子装置；以及
远程电子装置，其中
所述本地电子装置取得前方交通工具的行车轨迹，根据所述行车轨迹产生行车轨迹矩阵，并且上传所述行车轨迹矩阵至远程电子装置，其中
所述远程电子装置根据所述行车轨迹矩阵以及神经网络判断所述前方交通工具的危险等级，并且根据所述危险等级发出警示信息或所述危险等级至所述本地电子装置。
12.根据权利要求11所述的行车预警系统，其中所述远程电子装置用卷积核对所述行车轨迹矩阵进行卷积，以产生特征矩阵，根据所述特征矩阵计算所述危险等级，并且传送所述危险等级或所述警示信息至所述本地电子装置。
13.根据权利要求12所述的行车预警系统，其中所述远程电子装置取得对应于所述前方交通工具的第二行车轨迹矩阵，并且根据所述行车轨迹矩阵、所述第二行车轨迹矩阵以及所述神经网络判断所述前方交通工具的所述危险等级。
14.根据权利要求11所述的行车预警系统，其中所述本地电子装置取得所述前方交通工具的车牌影像，建立对应于所述车牌影像的杂凑值，将所述杂凑值上传至所述远程电子装置以辨识所述前方交通工具，并且响应于所述前方交通工具对应的地理位置信息具有关联的危险驾驶纪录而发出所述警示信息。
15.一种用于行车预警的电子装置，包括：
收发器；
输出装置；
数据收集装置；以及
处理器，耦接所述收发器、所述输出装置以及所述数据收集装置，其中所述处理器经配置以执行：
通过所述数据收集装置取得前方交通工具的行车轨迹；
根据所述行车轨迹产生行车轨迹矩阵；
通过所述收发器上传所述行车轨迹矩阵，并且接收对应于所述前方交通工具的危险等级或警示信息；以及
通过所述输出装置输出所述危险等级或所述警示信息。
16.根据权利要求15所述的电子装置，其中所述行车轨迹矩阵关联于多个时间点以及所述前方交通工具在所述多个时间点时所在的车道。
17.根据权利要求16所述的电子装置，其中所述处理器响应于所述前方交通工具的车牌影像不在侦测区域之中而判断最接近所述车牌影像的车道为所述前方交通工具所在的第一车道。
18.根据权利要求15所述的电子装置，其中所述处理器响应于所述前方交通工具对应的地理位置信息具有关联的危险驾驶纪录而通过所述输出装置发出所述警示信息。
19.根据权利要求15所述的电子装置，其中所述处理器更经配置以执行：
通过所述数据收集装置取得所述前方交通工具的车牌影像；
建立对应于所述车牌影像的杂凑值；以及
通过所述收发器将所述杂凑值上传至远程电子装置以辨识所述前方交通工具。
20.根据权利要求15所述的电子装置，其中所述处理器通过所述数据收集装置追踪所述前方交通工具的车牌影像以产生所述行车轨迹。
CN201910777533.3A 2019-07-22 2019-08-22 行车预警系统、行车预警方法及使用所述方法的电子装置 Active CN112258878B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108125821A TWI705016B (zh) 2019-07-22 2019-07-22 行車預警系統、行車預警方法及使用所述方法的電子裝置
TW108125821 2019-07-22

Publications (2)

Publication Number Publication Date
CN112258878A true CN112258878A (zh) 2021-01-22
CN112258878B CN112258878B (zh) 2022-03-01

Family

ID=74091477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910777533.3A Active CN112258878B (zh) 2019-07-22 2019-08-22 行车预警系统、行车预警方法及使用所述方法的电子装置

Country Status (3)

Country Link
US (1) US10991252B2 (zh)
CN (1) CN112258878B (zh)
TW (1) TWI705016B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11383733B2 (en) * 2020-01-31 2022-07-12 Mitac Digital Technology Corporation Method and system for detecting a dangerous driving condition for a vehicle, and non-transitory computer readable medium storing program for implementing the method
FR3131260A1 (fr) * 2021-12-24 2023-06-30 Renault Dispositif et procédé d’évaluation d’un système d’aide à la conduite pour véhicule automobile, le système d’aide à la conduite mettant en œuvre un réseau neuronal artificiel

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102896A1 (en) * 2002-11-27 2004-05-27 Thayer Peter A. Method and apparatus for providing information pertaining to vehicles located along a predetermined travel route
CN1916991A (zh) * 2005-08-18 2007-02-21 通用汽车环球科技运作公司 一种检测车辆碰撞并预测行驶路线的系统和方法
CN102295004A (zh) * 2011-06-09 2011-12-28 中国人民解放军国防科学技术大学 一种车道偏离预警方法
CN102963359A (zh) * 2011-08-31 2013-03-13 罗伯特·博世有限公司 用于汽车的车道监控方法和车道监控系统
CN103871242A (zh) * 2014-04-01 2014-06-18 北京工业大学 一种驾驶行为综合评价系统与方法
CN103942960A (zh) * 2014-04-22 2014-07-23 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
CN104200689A (zh) * 2014-08-28 2014-12-10 长城汽车股份有限公司 一种道路预警方法及装置
CN104751678A (zh) * 2013-12-31 2015-07-01 中国移动通信集团公司 一种对故障车辆引发的交通冲突进行监测的方法和设备
WO2015102275A1 (ko) * 2013-12-31 2015-07-09 경희대학교 산학협력단 차선변경 경보 장치
CN106184220A (zh) * 2016-06-30 2016-12-07 南京航空航天大学 一种基于车辆定位轨迹的车道内异常驾驶检测方法
CN106553655A (zh) * 2016-12-02 2017-04-05 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
CN106794840A (zh) * 2014-11-27 2017-05-31 日立汽车系统株式会社 车辆行驶控制装置
CN107341441A (zh) * 2017-05-16 2017-11-10 开易（北京）科技有限公司 应用于高级驾驶辅助系统内的行人碰撞警告系统及方法
CN107672551A (zh) * 2017-09-20 2018-02-09 杭州奥腾电子股份有限公司 一种前车防撞预警系统及其控制方法
CN107798749A (zh) * 2016-09-07 2018-03-13 国民技术股份有限公司 车辆及其识别系统、方法及智能管理系统
CN107826118A (zh) * 2017-11-01 2018-03-23 南京阿尔特交通科技有限公司 一种判别异常驾驶行为的方法及装置
CN107862268A (zh) * 2017-10-30 2018-03-30 深圳市易成自动驾驶技术有限公司 环视车道线识别方法、装置及计算机可读存储介质
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法
WO2019098216A1 (ja) * 2017-11-17 2019-05-23 アイシン・エィ・ダブリュ株式会社 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
KR20190067578A (ko) * 2017-12-07 2019-06-17 (주)캠시스 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
JP2019109666A (ja) * 2017-12-18 2019-07-04 日産自動車株式会社 運転支援方法及び運転支援装置
CN110033621A (zh) * 2019-05-22 2019-07-19 北京经纬恒润科技有限公司 一种危险车辆检测方法、装置及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966074A (en) * 1996-12-17 1999-10-12 Baxter; Keith M. Intruder alarm with trajectory display
US7904187B2 (en) * 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
EP2085279B1 (en) * 2008-01-29 2011-05-25 Ford Global Technologies, LLC A system for collision course prediction
EP3141926B1 (en) * 2015-09-10 2018-04-04 Continental Automotive GmbH Automated detection of hazardous drifting vehicles by vehicle sensors
US10460600B2 (en) * 2016-01-11 2019-10-29 NetraDyne, Inc. Driver behavior monitoring
DE102016000943B4 (de) * 2016-01-28 2023-09-07 Zf Automotive Germany Gmbh Steuerungssystem und Steuerungsverfahren zum Ermitteln einer Wahrscheinlichkeit einer bevorstehenden Kollision eines Fahrzeugs
CN107862287A (zh) * 2017-11-08 2018-03-30 吉林大学 一种前方小区域物体识别及车辆预警方法
WO2019099413A1 (en) * 2017-11-14 2019-05-23 AWARE Technologies Systems and methods for moving object predictive locating, reporting, and alerting
US11189171B2 (en) * 2018-03-13 2021-11-30 Nec Corporation Traffic prediction with reparameterized pushforward policy for autonomous vehicles
CN108597251A (zh) * 2018-04-02 2018-09-28 昆明理工大学 一种基于车联网的交通路口分布式车辆碰撞预警方法
TWM570495U (zh) * 2018-08-31 2018-11-21 關貿網路股份有限公司 行車環境風險預測與告警系統
CN109375245B (zh) * 2018-11-08 2023-04-25 中交第一公路勘察设计研究院有限公司 基于高精度定位的风险短临预警车载终端

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040102896A1 (en) * 2002-11-27 2004-05-27 Thayer Peter A. Method and apparatus for providing information pertaining to vehicles located along a predetermined travel route
CN1916991A (zh) * 2005-08-18 2007-02-21 通用汽车环球科技运作公司 一种检测车辆碰撞并预测行驶路线的系统和方法
CN102295004A (zh) * 2011-06-09 2011-12-28 中国人民解放军国防科学技术大学 一种车道偏离预警方法
CN102963359A (zh) * 2011-08-31 2013-03-13 罗伯特·博世有限公司 用于汽车的车道监控方法和车道监控系统
CN104751678A (zh) * 2013-12-31 2015-07-01 中国移动通信集团公司 一种对故障车辆引发的交通冲突进行监测的方法和设备
WO2015102275A1 (ko) * 2013-12-31 2015-07-09 경희대학교 산학협력단 차선변경 경보 장치
CN103871242A (zh) * 2014-04-01 2014-06-18 北京工业大学 一种驾驶行为综合评价系统与方法
CN103942960A (zh) * 2014-04-22 2014-07-23 深圳市宏电技术股份有限公司 一种车辆变道检测方法及装置
CN104200689A (zh) * 2014-08-28 2014-12-10 长城汽车股份有限公司 一种道路预警方法及装置
CN106794840A (zh) * 2014-11-27 2017-05-31 日立汽车系统株式会社 车辆行驶控制装置
CN106184220A (zh) * 2016-06-30 2016-12-07 南京航空航天大学 一种基于车辆定位轨迹的车道内异常驾驶检测方法
CN107798749A (zh) * 2016-09-07 2018-03-13 国民技术股份有限公司 车辆及其识别系统、方法及智能管理系统
CN106553655A (zh) * 2016-12-02 2017-04-05 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
CN107341441A (zh) * 2017-05-16 2017-11-10 开易（北京）科技有限公司 应用于高级驾驶辅助系统内的行人碰撞警告系统及方法
CN107672551A (zh) * 2017-09-20 2018-02-09 杭州奥腾电子股份有限公司 一种前车防撞预警系统及其控制方法
CN107862268A (zh) * 2017-10-30 2018-03-30 深圳市易成自动驾驶技术有限公司 环视车道线识别方法、装置及计算机可读存储介质
CN107826118A (zh) * 2017-11-01 2018-03-23 南京阿尔特交通科技有限公司 一种判别异常驾驶行为的方法及装置
WO2019098216A1 (ja) * 2017-11-17 2019-05-23 アイシン・エィ・ダブリュ株式会社 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
KR20190067578A (ko) * 2017-12-07 2019-06-17 (주)캠시스 오버랩 촬영 영역을 가지는 이종 카메라를 이용한 충돌 경고 장치 및 방법
CN108229338A (zh) * 2017-12-14 2018-06-29 华南理工大学 一种基于深度卷积特征的视频行为识别方法
JP2019109666A (ja) * 2017-12-18 2019-07-04 日産自動車株式会社 運転支援方法及び運転支援装置
CN110033621A (zh) * 2019-05-22 2019-07-19 北京经纬恒润科技有限公司 一种危险车辆检测方法、装置及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张文韬等: "基于BP-HMM的驾驶盲区危险等级预警模型研究", 《电子技术》 *
张焕炯: "《安全通信论》", 31 October 2013 *
惠通: "基于轨迹和卷积神经网络的人体行为识别方法", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Also Published As

Publication number Publication date
US20210027630A1 (en) 2021-01-28
CN112258878B (zh) 2022-03-01
TWI705016B (zh) 2020-09-21
TW202103993A (zh) 2021-02-01
US10991252B2 (en) 2021-04-27

Similar Documents

Publication Publication Date Title
US11586213B2 (en) Trajectory representation in behavior prediction systems
EP4152204A1 (en) Lane line detection method, and related apparatus
US20200317124A1 (en) Intelligent ultrasonic system and rear collision warning apparatus for vehicle
JP6731819B2 (ja) 移動体軌道予測システム
EP3032454B1 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US20200193177A1 (en) Method for multilane detection using a convolutional neural network
CN112417967A (zh) 障碍物检测方法、装置、计算机设备和存储介质
US20150029012A1 (en) Vehicle rear left and right side warning apparatus, vehicle rear left and right side warning method, and three-dimensional object detecting device
US20200156632A1 (en) Agent prioritization for autonomous vehicles
CN112258878B (zh) 行车预警系统、行车预警方法及使用所述方法的电子装置
CN112133089A (zh) 一种基于周围环境与行为意图的车辆轨迹预测方法、系统及装置
US9892329B2 (en) Animal type determination device
JP2020046706A (ja) 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
Dey et al. VESPA: A framework for optimizing heterogeneous sensor placement and orientation for autonomous vehicles
CN112706785B (zh) 一种自动驾驶车辆行驶环境认知目标选择方法、装置及存储介质
JP6038422B1 (ja) 車両判定装置、車両判定方法及び車両判定プログラム
CN112699711B (zh) 车道线检测方法、装置、存储介质及电子设备
CN113734191A (zh) 人工地虚造传感器数据以发起用于自动驾驶车辆的安全动作
US20230202497A1 (en) Hypothesis inference for vehicles
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
US20230127465A1 (en) System and method for approaching vehicle detection
US10562450B2 (en) Enhanced lane negotiation
TWI844149B (zh) 車輛狀態偵測方法、裝置及電腦可讀存儲介質
JP7380705B2 (ja) 情報生成装置、情報生成方法、及びコンピュータプログラム
WO2022082574A1 (zh) 一种车道线检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant