CN111016929A - 对关于车辆变更车道的危险发出警报的方法及装置 - Google Patents

对关于车辆变更车道的危险发出警报的方法及装置 Download PDF

Info

Publication number
CN111016929A
CN111016929A CN201910937157.XA CN201910937157A CN111016929A CN 111016929 A CN111016929 A CN 111016929A CN 201910937157 A CN201910937157 A CN 201910937157A CN 111016929 A CN111016929 A CN 111016929A
Authority
CN
China
Prior art keywords
blind area
sub
vehicle
available space
proportion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910937157.XA
Other languages
English (en)
Other versions
CN111016929B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111016929A publication Critical patent/CN111016929A/zh
Application granted granted Critical
Publication of CN111016929B publication Critical patent/CN111016929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/18—Propelling the vehicle
    • B60Y2300/18008—Propelling the vehicle related to particular drive situations
    • B60Y2300/18166—Overtaking, changing lanes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及对车辆变更车道的危险发出警报的方法，所述方法包括(a)获取到正在行驶的车辆拍摄的后方图像的情况下，警报装置利用学习的卷积神经网络(CNN，Convolutional Neural Network)对后方图像进行分割以获取对应于后方图像的分割图像的步骤；(b)警报装置参照分割图像确认盲区的可用空间比例，可用空间比例是盲区中不存在客体的道路区域的盲区相对于整个区域的比例的步骤；以及(c)可用空间比例为预设的临界值以下的情况下，警报装置向车辆的驾驶员发出关于车道变更的警报的步骤。

Description

对关于车辆变更车道的危险发出警报的方法及装置
技术领域
本发明涉及对车辆变更车道的危险发出警报的方法及利用其的警报装置，更具体来讲，涉及对所述车辆的所述车道变更的所述危险发出警报的方法及利用其的装置，其中所述方法的特征在于，包括：，(a)获取到正在行驶的车辆拍摄的至少一个后方图像的情况下，利用学习的卷积神经网络(CNN，Convolutional Neural Network)分割所述后方图像以获取对应于所述后方图像的分割图像的步骤；(b)参照所述分割图像确认至少一个盲区(blind spot)上的至少一个可用空间比例(free space ratio)，其中所述可用空间比例是所述盲区中不存在客体的道路区域相对于整个所述盲区的比例的步骤；以及(c)所述可用空间比例为至少一个预设的临界值以下的情况下，向所述车辆的驾驶员发出关于车道变更的所述危险的警报的步骤。
背景技术
一般来讲，为了使得驾驶员在驾驶车辆的过程中变更车道的情况下观察侧面及后边以确保视野，车辆的两侧安装有侧方后视镜且车内前面中央部安装有车内后视镜。
侧方后视镜安装在车辆的两侧面以用于确保侧面及后方视野，但是存在无法确认向侧面靠近行驶的车辆或其他一些客体的盲区。
因此具有当驾驶员在未确认到贴近正在行驶的车辆的侧面从后方跟过来的其他车辆的状态变更车道的情况下，可能发生与在盲区行驶的其他车辆发生碰撞事故的问题。
为了防止这些问题，有在侧方后视镜的一侧部分设置用于驾驶员观测盲区的凸面镜的情况。
但是，即使在侧方后视镜安装凸面镜等，但为了变更车辆车道仍需要驾驶员肉眼确认盲区，因此驾驶员的驾驶疲劳度增大，并且发生驾驶员的头部位置改变的情况下也存在用凸面镜确认不到的盲区的问题。
为了防止这些问题，近来出现了一种将通过安装在车辆后面的传感器感测靠近盲区或位于盲区的车辆等得到的信息提供给驾驶员以防止驾驶员在未察觉到盲区的车辆的状态下变更车道引发事故的盲区监控系统。
尤其，利用视觉传感器的盲区监控系统一般适用基于影像信息检测出几种特性的算法。
这种算法具有受外部环境、客体的外形及系统构成影响的有限的检测率，若想准确地检测则需要经过多次影像处理作业，因此运算量非常大。因此实时检测由于有限的处理资源而在难以适用于内置型系统。
不仅如此，在利用视觉传感器的车辆的检测方法中作为主要问题之一，CNN(Convolutional Neural Network)中区域生成网络(RPN，Region Proposal Network)是速度慢的原因。为了从特征图提取至少一个后补，RPN判断滑动窗口在所有位置是否都含有至少一个后补。全连接层(Fully Connected Layer)判断至少一个后补是否为车辆，但是后补中大部分彼此重叠且运算方面耗费大量时间，这对提高检测率几乎起不到任何帮助。
又一利用视觉传感器检测车辆的例子有光流(optical flow)技术，是用运动向量表示影像像素的运动的方法。然而，利用光流技术的车辆识别算法的运算处理量非常多，因此具有无法实时检测车辆的问题。
发明内容
技术问题
本发明的目的是解决如上所述的所有问题。
本发明的另一目的是使得能够轻易地检测出位于盲区的车辆。
本发明的又一目的是使得能够和车辆的行驶环境无关地检测出位于盲区车辆。
本发明的又一目的是提供一种用于检测位于盲区的车辆的运算的数据量少的算法。
本发明的又一目的是使得能够利用通过CNN(Convolutional Neural N etwork)获取的分割图像准确地检测位于盲区的车辆。
本发明的又一目的是使得能够利用通过CNN获取的分割图像检测盲区中不存在车辆的道路区域的简单的方法准确地检测出位于盲区的车辆。
技术方案
用于达成如上所述的本发明的目的且实现下述本发明的特征性效果的本发明的特征性构成如下。
根据本发明的一个方面的对车辆变更车道的危险发出警报的方法，其特征在于，包括：(a)获取到正在行驶的车辆拍摄的至少一个后方图像的情况下，警报装置利用学习的卷积神经网络(CNN，Convolutional Neural Ne twork)分割所述后方图像以获取对应于所述后方图像的分割图像的步骤；(b)所述警报装置参照所述分割图像确认至少一个盲区(blind spot)的至少一个可用空间比例(free space ratio)，所述可用空间比例为所述盲区中不存在客体的道路区域相对于所述盲区的整个区域的比例的步骤；以及(c)所述可用空间比例为至少一个预设的临界值以下的情况下，所述警报装置向所述车辆的驾驶员发出关于车道变更的所述危险的警报的步骤。
根据一个实施例的方法，其特征在于，所述盲区包括向远离所述车辆的后方的方向按距离设定的第一子盲区(sub-blind spot)至第n子盲区，对所述第一子盲区至所述第n子盲区分别设定分别作为关于所述可用空间比例的临界值的第一临界值至第n临界值，在所述(c)步骤中，所述警报装置根据具有第k临界值以下的所述可用空间比例的第k子盲区与所述车辆之间的距离相应地向所述驾驶员发出不同的警报。
根据一个实施例的方法，其特征在于，(i)将所述第k子盲区的所述可用空间比例为所述第k临界值以下且第k-1子盲区的所述可用空间比例为100％的情况设为第一情况，(ii)将所述第k子盲区的所述可用空间比例为所述第k临界值以下且第k-1子盲区的所述可用空间比例为所述第k-1临界值以下的情况设为第二情况，(iii)将所述第k子盲区的所述可用空间比例为100％且第k-1子盲区的所述可用空间比例为所述第k-1临界值以下的情况设为第三情况的情况下，所述警报装置在所述第二情况及所述第三情况下向驾驶员警报客体比所述第一情况下更接近于所述车辆。
根据一个实施例的方法，其特征在于，所述第k子盲区的所述可用空间比例超过所述第k临界值且在设定成比所述第k临界值大的值的第k'临界值以下的状态下，当第k+1子盲区的所述可用空间比例为第k+1临界值以下的情况下，所述警报装置根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出不同的警报。
根据一个实施例的方法，其特征在于，所述警报装置参照所述第一子盲区至所述第n子盲区各自的所述可用空间比例的各变化率获取所述第一子盲区至所述第n子盲区内的所述客体的移动信息，所述警报装置参照获取的所述客体的所述移动信息，根据所述第k子盲区与所述车辆之间的距离相应地向所述驾驶员发出警报。
根据一个实施例的方法，其特征在于，所述第k+1子盲区的所述可用空间比例从在第k+1临界值以下的状态下向增大的方向变化，所述第k子盲区的所述可用空间比例向减小的方向变化的情况下，所述警报装置判断为所述客体在从所述第k+1子盲区向所述第k子盲区移动，所述第k-1子盲区的所述可用空间比例从在第k-1临界值以下的状态下向增大的方向变化，所述第k子盲区的所述可用空间比例向减小的方向变化的情况下，所述警报装置判断为所述客体在从所述第k-1子盲区向所述第k子盲区移动，所述警报装置还参照所述第k子盲区的所述客体的所述移动方向，根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
根据一个实施例的方法，其特征在于，所述警报装置参照所述第k子盲区的所述可用空间比例的变化率以确认所述客体的速度或加速度，参照所述客体的所述速度或所述加速度，根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
根据一个实施例的方法，其特征在于，通过确认所述客体的所述速度或所述加速度，判断结果为所述客体在向所述车辆靠近的情况下，当所述第k子盲区的所述可用空间比例在设定成比所述第k临界值大的值的第k"临界值以下时，所述警报装置根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
根据一个实施例的方法，其特征在于，所述后方图像为在第t帧获取的后方图像的情况下，在所述(c)步骤中，所述警报装置分别利用(i)作为从所述第t帧的所述后方图像确认的所述盲区的所述可用空间比例的第t比例与(ii)作为从第t-1帧的所述后方图像至第t-i帧的所述后方图像确认的所述盲区的所述可用空间比例的第t-1比例至第t-i比例，确认对应于所述车辆的行驶方向的所述客体的相对移动方向，参照所述客体的所述相对移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
根据一个实施例的方法，其特征在于，所述警报装置分析从所述第t-i比例到所述第t比例的增加率，当所述增加率为负(-)的值的情况下判断为所述客体从所述盲区的外部向内部的方向发生了移动，所述增加率为正(+)的值的情况下判断为所述客体从所述盲区的所述内部向所述外部的方向发生了移动，所述警报装置还参照判断的所述客体的移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
根据一个实施例的方法，其特征在于，所述警报装置参照关于所述第t-i比例至所述第t比例中哪个比例从100％变化到小于100％的信息，对从所述第t-i帧至所述第t帧中选择的特定帧的所述分割图像进行分析，所述警报装置判断所述客体位于所述盲区的区域是邻近所述车辆的区域还是远离所述车辆的区域以确认向所述盲区的所述客体的进入位置后，参照所述客体的向所述盲区的所述进入位置与所述客体的所述移动方向确认相对于所述车辆的所述客体的相对移动方向，所述警报装置还参照相对于所述车辆的所述客体的所述相对移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
根据一个实施例的方法，其特征在于，在所述(a)步骤中，所述警报装置对所述后方图像进行至少一次卷积运算生成作为下采样的特征图的至少一个特征图，对所述下采样的特征图适用至少一次深度卷积运算以分割所述后方图像内的所述道路区域与所述客体。
根据本发明的另一实施例的对车辆变更车道的危险发出警报的警报装置，其特征在于，包括：通信部，其获取正在行驶的车辆拍摄的至少一个后方图像；以及处理器，其执行(I)利用学习的卷积神经网络(CNN，Co nvolutional Neural Network)分割所述后方图像以获取对应于所述后方图像的分割图像的过程、(II)参照所述分割图像确认至少一个盲区(blind spot)的至少一个可用空间比例(free space ratio)，所述可用空间比例为所述盲区中不存在客体的道路区域相对于所述盲区的整个区域的比例的过程、(I II)所述可用空间比例为至少一个预设的临界值以下的情况下，所述警报装置向所述车辆的驾驶员发出关于车道变更的所述危险的警报的过程。
根据一个实施例的警报装置，其特征在于，所述盲区包括向远离所述车辆的后方的方向按距离设定的第一子盲区(sub-blind spot)至第n子盲区，对所述第一子盲区至所述第n子盲区分别设定分别作为关于所述可用空间比例的临界值的第一临界值至第n临界值，在所述(III)过程中，所述处理器根据具有第k临界值以下的所述可用空间比例的第k子盲区与所述车辆之间的距离相应地向所述驾驶员发出不同的警报。
根据一个实施例的警报装置，其特征在于，(i)将所述第k子盲区的所述可用空间比例为所述第k临界值以下且第k-1子盲区的所述可用空间比例为100％的情况设为第一情况，(ii)将所述第k子盲区的所述可用空间比例为所述第k临界值以下且第k-1子盲区的所述可用空间比例为所述第k-1临界值以下的情况设为第二情况，(iii)将所述第k子盲区的所述可用空间比例为100％且第k-1子盲区的所述可用空间比例为所述第k-1临界值以下的情况设为第三情况的情况下，所述处理器在所述第二情况及所述第三情况下向驾驶员警报客体比所述第一情况下更接近于所述车辆。
根据一个实施例的警报装置，其特征在于，所述第k子盲区的所述可用空间比例超过所述第k临界值且在设定成比所述第k临界值大的值的第k'临界值以下的状态下，当第k+1子盲区的所述可用空间比例为第k+1临界值以下的情况下，所述处理器根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出不同的警报。
根据一个实施例的警报装置，其特征在于，所述处理器参照所述第一子盲区至所述第n子盲区各自的所述可用空间比例的各变化率获取所述第一子盲区至所述第n子盲区内的所述客体的移动信息，所述处理器参照获取的所述客体的所述移动信息，根据所述第k子盲区与所述车辆之间的距离相应地向所述驾驶员发出警报。
根据一个实施例的警报装置，其特征在于，所述第k+1子盲区的所述可用空间比例从在第k+1临界值以下的状态下向增大的方向变化，所述第k子盲区的所述可用空间比例向减小的方向变化的情况下，所述处理器判断为所述客体在从所述第k+1子盲区向所述第k子盲区移动，所述第k-1子盲区的所述可用空间比例从在第k-1临界值以下的状态下向增大的方向变化，所述第k子盲区的所述可用空间比例向减小的方向变化的情况下，所述处理器判断为所述客体在从所述第k-1子盲区向所述第k子盲区移动，所述处理器还参照所述第k子盲区的所述客体的所述移动方向，根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
根据一个实施例的警报装置，其特征在于，所述处理器参照所述第k子盲区的所述可用空间比例的变化率以确认所述客体的速度或加速度，参照所述客体的所述速度或所述加速度，根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
根据一个实施例的警报装置，其特征在于，通过确认所述客体的所述速度或所述加速度，判断结果为所述客体在向所述车辆靠近的情况下，当所述第k子盲区的所述可用空间比例在设定成比所述第k临界值大的值的第k"临界值以下时，所述处理器根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
根据一个实施例的警报装置，其特征在于，所述后方图像为在第t帧获取的后方图像的情况下，在所述(III)步骤中，所述处理器分别利用(i)作为从所述第t帧的所述后方图像确认的所述盲区的所述可用空间比例的第t比例与(ii)作为从第t-1帧的所述后方图像至第t-i帧的所述后方图像确认的所述盲区的所述可用空间比例的第t-1比例至第t-i比例，确认对应于所述车辆的行驶方向的所述客体的相对移动方向，参照所述客体的所述相对移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
根据一个实施例的警报装置，其特征在于，所述处理器分析从所述第t-i比例到所述第t比例的增加率，当所述增加率为负(-)的值的情况下判断为所述客体从所述盲区的外部向内部的方向发生了移动，所述增加率为正(+)的值的情况下判断为所述客体从所述盲区的所述内部向所述外部的方向发生了移动，所述处理器还参照判断的所述客体的移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
根据一个实施例的警报装置，其特征在于，所述处理器参照关于所述第t-i比例至所述第t比例中哪个比例从100％变化到小于100％的信息，对从所述第t-i帧至所述第t帧中选择的特定帧的所述分割图像进行分析，所述处理器判断所述客体位于所述盲区的区域是邻近所述车辆的区域还是远离所述车辆的区域以确认向所述盲区的所述客体的进入位置后，参照所述客体的向所述盲区的所述进入位置与所述客体的所述移动方向确认相对于所述车辆的所述客体的相对移动方向，所述处理器还参照相对于所述车辆的所述客体的所述相对移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
根据一个实施例的警报装置，其特征在于，在所述(I)步骤中，所述处理器对所述后方图像进行至少一次卷积运算生成作为下采样的特征图的至少一个特征图，对所述下采样的特征图适用至少一次深度卷积运算以分割所述后方图像内的所述道路区域与所述客体。
技术效果
本发明具有能够利用神经网络算法(Neural Network Algorithm)准确地检测出位于盲区的车辆的效果。
并且，本发明具有能够与车辆的行驶环境无关地准确检测出位于盲区的车辆的另一效果。
并且，本发明具有利用通过CNN获取的分割图像，从而能够用少量的数据运算量检测出位于盲区的车辆的又一效果。
并且，本发明具有不受背景的运动与影像噪声影响且能够实时用少量的运算量检测出位于盲区的车辆的又一效果。
并且，本发明具有能够用检测出盲区中不存在车辆的道路区域的简单的方法准确地检测出位于盲区的车辆的又一效果。
附图说明
为了用于说明本发明的实施例而所附的以下附图只是本发明的实施例中的部分而已，本发明所属技术领域的一般技术人员(以下“普通技术人员”)在未经过创造性劳动的情况下可基于这些附图得到其他附图。
图1简要地示出本发明的一个实施例的车道变更警报系统；
图2简要地示出具有本发明的一个实施例的车道变更警报系统的车辆；
图3简要地示出本发明的一个实施例的车道变更警报方法；
图4简要地示出本发明的一个实施例的车辆获取的后方图像；
图5简要地示出本发明的一个实施例的对车辆的后方图像进行分割生成的分割图像；
图6简要地示出本发明的一个实施例的分割后方图像的CNN；
图7a及图7b简要地示出本发明的一个实施例的盲区中随着时间变化的客体的移动状态；
图8简要地示出本发明的一个实施例的对各盲区提供的多个子盲区(Sub-Blindspot)内的状态；
图9a、图9b及图9c简要地示出图8的盲区中客体的移动状态。
附图标记说明
10：视觉传感器 100：车道变更警报装置，
110：通信部 120：处理器，
200：车辆 BS：盲区
具体实施方式
参见示出能够实施本发明的特定实施例的附图对本发明进行如下详细说明以明确本发明的目的、技术方案及优点。通过详细说明这些实施例使得本领域普通技术人员足以实施本发明。
并且，在本发明的具体说明及权利要求中，“包括”这一术语及其变形并非将其他技术特征、附加物、构成要素或步骤除外。显而易见地，普通技术人员能够从本说明书获知本发明的其他目的、优点及特性中的一部分，并且一部分可从本发明的实施获知。以下例示及附图作为实例提供，目的并非限定本发明。
尤其，本发明包括本说明书所示实施例的所有可能的组合。应理解本发明的多种实施例虽然互异，但不必相互排斥。例如，此处记载的特定形状、结构及特性在一个实施例中在不超出本发明的精神及范围的前提下可通过其他实施例实现。并且，应理解可在不超出本发明的精神及范围的前提下对各公开的实施例内的个别构成要素的位置或配置进行变更。因此，后述的详细说明不是用于限定性含义，对本发明的范围来讲，适当说明的情况下仅限于与该权利要求的保护范围等同的所有范围及所附权利要求。附图中类似的附图标记在各个方面表示相同或类似的功能。
本发明所述的各种图像可包括铺装或非铺装道路相关图像，该情况下可想到道路环境中可能出现的物体(例如，汽车、人、动物、植物、物品、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此，本发明所述的各种图像还可以是与道路无关的图像(例如，非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内相关的图像)，该情况下，可想到非铺装道路、胡同、空地、大海、湖泊、河流、山川、草地、沙漠、天空、室内环境中可能出现的物体(例如，汽车、人、动物、植物、物品、建筑物、飞机或无人机之类的飞行器、其他障碍物)，但并不局限于此。
以下，为了使得本发明所属技术领域的普通技术人员能够轻易地实施本发明，参见关于本发明的优选实施例的附图进行具体说明。
首先，图1简要地示出本发明的一个实施例的车道变更警报系统，参见图1，车道变更警报系统可包括警报装置100及车辆200。
首先，警报装置100用于检测出位于或邻近车辆200的盲区的客体，即，其他车辆，可通过分析从视觉传感器10(例如摄像头)获取的车辆200的后方图像判别车辆200的盲区是否存在客体。
并且，参照从警报装置100发送的信息与转向系统(Steering System)的信息防止车辆200向盲区侧变更车道或警报装置100向车辆200的驾驶员告知盲区中存在客体。尤其，车辆为自动驾驶车辆的情况下，车辆200能够参照位于盲区的客体的信息及行驶环境判断是否能够安全地变更车道。
并且，警报装置100可包括(i)在车辆行驶过程中获取通过摄像头等视觉传感器10拍摄的车辆的后方图像的通信部110、(ii)对获取的后方图像进行分析判断车辆200的盲区中有无客体，并根据情况向驾驶员发出警报的处理器120。在此，视觉传感器10安装在车辆200的任意位置拍摄至少一个车辆200的后方图像，可包括电荷耦合器(CCD，ChargeCoupled De vice)、互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)或图像采集装置等光学传感器。
并且，处理器120(i)利用学习的卷积神经网络(CNN，Convolutional NeuralNetwork)对后方图像进行分割以获取对应于后方图像的分割图像，(ii)参照分割图像确认预定盲区的至少一个可用空间比例，所述可用空间比例是盲区中不存在客体的道路区域的盲区相对于整个区域的比例，(iii)可用空间比例为预设的临界值以下的情况下对车辆的驾驶员发出关于车道变更的危险的警报。
以下参见图3具体说明如上构成的本发明的一个实施例的车辆的盲区存在某个客体从而欲变更车道的情况下用于告知有事故危险的车道变更警报方法。
首先，如图4所示，通过通信部获取到安装在车辆上的视觉传感器拍摄的至少一个后方图像的情况下(S10)，警报装置的处理器从后方图像获取道路区域与客体区域被分离的如图5所示的分割图像(S20)。
在此，警报装置可利用基于CNN(Convolutional Neural Network)的分割方法获取对应于后方图像的分割图像。
并且，基于CNN的分割方法可采用完全卷积网络(FCN，Fully ConvolutionalNetwork)、深度卷积神经网络(Deconvolutional Network)、扩张卷积(DilatedConvolution)等，但本发明不限于此，可使用能够对图像进行语义分割(SemanticSegmentation)的方法或逻辑。
作为一例，如图6所示，适用包括卷积网络及深度卷积神经网络的编码器-解码器(Encoder-Decoder)构成。更具体来讲，警报装置可通过包含于编码器的多个卷积层下采样(Down-sampling)后方图像后，通过包含于解码器的多个深度卷积层上采样(Up-sampling)下采样的后方图像以生成对应于后方图像的分割图像。
并且，为了从客体(例如观测到的特定车辆)区分出道路区域，可以将道路与特定车辆以外的其他客体全部处理为背景。
之后，警报装置可参照分割图像确认预定的盲区的可用空间比例(S30)。在此，参见图5，可用空间比例可以是盲区(BS)中不存在客体的道路区域的盲区(BS)相对于整个区域的比例。
之后，可用空间比例为预设的临界值以下的情况下，警报装置可判断为盲区存在客体并向驾驶员发出关于车道变更的危险的警报(S40)。
作为一例，判断为车辆的盲区存在客体的情况下，警报装置可将客体的位置信息发送给车辆的控制部以防止车辆向客体所在的盲区方向变更车道。在此，参照转向系统的信息，当驾驶员欲变更车道时，车道的盲区存在客体的情况下车辆的控制单元可通过警报系统向驾驶员告知盲区存在客体，使得能够预防伴随车道变更的危险状况。并且，车辆为自动驾驶车辆的情况下可参照关于盲区有无客体的信息及行驶环境使得车辆能够安全变更车道。并且，盲区可分别形成于车辆的两侧，因此警报装置可对两侧的盲区分别确认可用空间比例以判断各盲区是否存在任意客体。
另外，对上述参照盲区的可用空间比例判断盲区中有无客体的方法进行更具体的说明。
首先，后方图像为从第t帧获取的后方图像的情况下，警报装置可利用(i)从第t帧中的后方图像确认的盲区的可用空间比例即第t比例及(ii)从第t-1帧中的后方图像至第t-i帧中的后方图像确认的盲区的可用空间比例即第t-1比例至第t-i比例确认对应于车辆的行驶方向的客体的相对移动方向，参照客体的相对移动方向向驾驶员发出关于车道变更的危险的警报。
作为一例，参见图7a及图7b，警报装置分析从第t-i比例到第t比例的增加率，当增加率如图7a是负(-)值的情况下判断为客体从盲区的外部移动到了盲区的内部，当增加率如图7b是正(+)值的情况下可判断为客体从盲区的内部移动到了盲区的外部，警报装置还可以参照判断的客体的移动方向向驾驶员发出关于车道变更的危险的警报。
即，参照客体的移动方向，当客体向靠近车辆的方向移动的情况下警报装置向驾驶员发出警报，客体向远离车辆的方向车辆移动的情况下即使客体位于盲区内也可以不向驾驶员发出警报。作为一例，向与车辆的行驶方向相反的方向移动的其他车辆存在于盲区的情况下，由于对车道变更的危险低，因此警报装置可以不向驾驶员发出警报。
在此，警报装置可以参照第t-i比例至第t比例从100％变化到不足100％的信息分析从第t-i帧至第t帧中选择的特定帧中的分割图像判断客体位于盲区的区域为邻近车辆的区域还是远离车辆的区域，以此确认向盲区的客体的进入位置，参照客体向盲区的进入位置及客体的移动方向确认对车辆的移动方向的客体的相对移动方向，还参照客体对车辆的相对移动方向向驾驶员发出关于车道变更的危险的警报。
作为一例，当如图7a从第t-i帧到第t帧为止客体向下方进入盲区的情况下可用空间比例逐渐减小，当在第t帧可用空间比例变成预设的临界值以下的情况下，警报装置可判断为客体在向靠近车辆的方向移动而向驾驶员发出警报。而当如图7b从第t-i帧到第t帧为止客体向上方进入盲区区域的情况下可用空间比例逐渐增大，当在第t帧可用空间比例变成预设的临界值以上的情况下，警报装置可判断为客体向远离车辆的方向移动而不向驾驶员发出警报。
以上例示性地对判断客体的相对移动方向的方法的几种情况进行了说明，但本发明不限于此，可设定各种情况下对客体的相对移动方向的判断基准。
之后，参见图8，盲区(BS)可包括向远离车辆的后方的方向按距离设定的第1子盲区BS1至第n子盲区BSn，第1子盲区BS1至第n子盲区BSn分别可设定为关于可用空间比例的预设的临界值即第1临界值至第n临界值。在此，警报装置可根据具有第k临界值以下的可用空间比例的第k子盲区BSk与车辆之间的距离相应地向驾驶员发出不同的警报。
即，可用空间比例为预设的临界值以下的子盲区中的一个位于邻近车辆的距离的情况下，警报装置可向驾驶员告知盲区存在其他车辆且在向驾驶员的车辆靠近。
作为一例，(i)如图9a所示，将第k子盲区BSk的可用空间比例为第k临界值以下且第k-1子盲区BSk-1的所述可用空间比例为100％的情况设为第一情况，(ii)如图9b所示，将第k子盲区BSk的可用空间比例为第k临界值以下且第k-1子盲区BSk-1的可用空间比例为第k-1临界值以下的情况设为第二情况，(iii)如图9c所示，将第k子盲区BSk的可用空间比例为100％且第k-1子盲区BSk-1的可用空间比例为第k-1临界值以下的情况设为第三情况的情况下，警报装置在第二情况及第三情况下向驾驶员告知客体比第一情况下更接近于车辆。
并且，第k子盲区BSk的可用空间比例超过第k临界值且在设定成比第k临界值大的值的第k'临界值以下的状态下，当第k+1子盲区BSk+1的可用空间比例为第k+1临界值以下的情况下，警报装置可根据第k子盲区与车辆之间的距离向驾驶员发出不同的警报。
即，如图9b所示，即使是第k-1子盲区BSk-1的可用空间比例比作为用于发出警报的基准的第k-1临界值大的情况，但只要是客体从第k子盲区BSk向第k-1盲区BSk-1移动的(例如客体向车辆靠近)状态，警报装置可利用设定成比第k临界值更大的第k'临界值判断为客体位于第k-1子盲区BSk-1并向驾驶员发出警报。
并且，警报装置可参照第1子盲区至第n子盲区各自的可用空间比例的各变化率获取第1子盲区至第n子盲区内的客体的移动信息，参照获取的客体的移动信息根据第k子盲区及车辆之间的距离向驾驶员发出警报。
作为一例，第k+1子盲区的可用空间比例从在第k+1临界值以下的状态向增大的方向变化，第k盲区的可用空间比例向减小的方向变化的情况下，警报装置可判断为客体在从第k+1子盲区向第k子盲区移动。并且，在第k-1子盲区的可用空间比例为第k-1临界值以下的状态下向增大的方向变化，第k子盲区的可用空间比例向减小的方向变化的情况下，警报装置可判断客体在从第k-1子盲区向第k子盲区移动。并且，警报装置还可以参照第k子盲区的客体的移动方向，根据第k子盲区及车辆之间的距离向驾驶员发出警报。即，警报装置可比较盲区的可用空间比例变化的方向与车辆的行驶方向确认客体的移动方向，客体的移动方向为与车辆的行驶方向相反的方向的情况下即使盲区存在客体，警报装置也可以不向驾驶员发出警报。
不仅如此，警报装置可参照第k子盲区的可用空间比例的变化率确认客体的速度或加速度，可以还参照客体的速度或加速度，根据第k子盲区与车辆之间的距离向驾驶员发出警报。
作为一例，确认客体的速度或加速度，判断结果为客体在快速向车辆靠近车辆的情况下，第k子盲区的可用空间比例在被设定为比第k临界值大的值的第k"临界值以下的状态下，警报装置可根据第k子盲区与车辆之间的距离向驾驶员发出警报。即，即使是第k子盲区的可用空间比例比第k临界值大的状态，只要判断出位于第k子盲区的客体在快速向车辆靠近的情况下，警报装置可向驾驶员告知位于第k盲区的客体在快速向驾驶员的车辆靠近。
并且，以上说明的本发明的实施例可实现为能够通过多种计算机构成要素执行的程序命令的形态存储在计算机可读存储介质中。所述计算机可读存储介质可包括程序指令、数据文件、数据结构等或其组合。存储在所述计算机可读存储介质中的程序指令可以是为本发明而专门设计和构成的，但也可以是计算机软件领域的技术人员公知使用的。计算机可读存储介质例如可以是硬盘、软盘及磁带之类的磁介质、CD-ROM、DVD之类的光存储介质、软光盘(floptical disk)之类的磁-光介质(magneto-optical media)及ROM、RAM、闪速存储器等为了存储和执行程序命令而专门构成的硬件装置。并且，程序命令不仅包括通过编译器得到的机器代码，还包括能够通过解释器由计算机运行的高级语言代码。所述硬件装置可构成为为了执行本发明的处理而作为一个以上的软件模块工作，反之相同。
以上通过本发明的具体构成要素等特定事项与限定的实施例及附图进行了说明，但是其目的只是用于帮助更全面的理解，本发明并不限定于上述实施例，本发明所属领域的普通技术人员可根据以上记载想到多种修改及变更。
因此，本发明的思想不应局限于以上说明的实施例，而是所述权利要求范围及与该权利要求范围等同或等价变形的所有一切都属于本发明思想的范畴。

Claims (24)

1.一种对车辆变更车道的危险发出警报的方法，其特征在于，包括：
a：获取到正在行驶的车辆拍摄的至少一个后方图像的情况下，警报装置利用学习的卷积神经网络分割所述后方图像以获取对应于所述后方图像的分割图像的步骤；
b：所述警报装置参照所述分割图像确认至少一个盲区的至少一个可用空间比例，所述可用空间比例为所述盲区中不存在客体的道路区域相对于所述盲区的整个区域的比例的步骤；以及
c：所述可用空间比例为至少一个预设的临界值以下的情况下，所述警报装置向所述车辆的驾驶员发出关于车道变更的所述危险的警报的步骤。
2.根据权利要求1所述的方法，其特征在于：
所述盲区包括向远离所述车辆的后方的方向按距离设定的第一子盲区至第n子盲区，
对所述第一子盲区至所述第n子盲区分别设定分别作为关于所述可用空间比例的临界值的第一临界值至第n临界值，
在所述c步骤中，
所述警报装置根据具有第k临界值以下的所述可用空间比例的第k子盲区与所述车辆之间的距离相应地向所述驾驶员发出不同的警报。
3.根据权利要求2所述的方法，其特征在于：
i：将所述第k子盲区的所述可用空间比例为所述第k临界值以下且第k-1子盲区的所述可用空间比例为100％的情况设为第一情况，ii：将所述第k子盲区的所述可用空间比例为所述第k临界值以下且第k-1子盲区的所述可用空间比例为所述第k-1临界值以下的情况设为第二情况，iii：将所述第k子盲区的所述可用空间比例为100％且第k-1子盲区的所述可用空间比例为所述第k-1临界值以下的情况设为第三情况的情况下，所述警报装置在所述第二情况及所述第三情况下向驾驶员警报客体比所述第一情况下更接近于所述车辆。
4.根据权利要求2所述的方法，其特征在于：
所述第k子盲区的所述可用空间比例超过所述第k临界值且在设定成比所述第k临界值大的值的第k'临界值以下的状态下，当第k+1子盲区的所述可用空间比例为第k+1临界值以下的情况下，所述警报装置根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出不同的警报。
5.根据权利要求2所述的方法，其特征在于：
所述警报装置参照所述第一子盲区至所述第n子盲区各自的所述可用空间比例的各变化率获取所述第一子盲区至所述第n子盲区内的所述客体的移动信息，
所述警报装置参照获取的所述客体的所述移动信息，根据所述第k子盲区与所述车辆之间的距离相应地向所述驾驶员发出警报。
6.根据权利要求5所述的方法，其特征在于：
所述第k+1子盲区的所述可用空间比例从在第k+1临界值以下的状态下向增大的方向变化，所述第k子盲区的所述可用空间比例向减小的方向变化的情况下，所述警报装置判断为所述客体在从所述第k+1子盲区向所述第k子盲区移动，
所述第k-1子盲区的所述可用空间比例从在第k-1临界值以下的状态下向增大的方向变化，所述第k子盲区的所述可用空间比例向减小的方向变化的情况下，所述警报装置判断为所述客体在从所述第k-1子盲区向所述第k子盲区移动，
所述警报装置还参照所述第k子盲区的所述客体的所述移动方向，根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
7.根据权利要求2所述的方法，其特征在于：
所述警报装置参照所述第k子盲区的所述可用空间比例的变化率以确认所述客体的速度或加速度，参照所述客体的所述速度或所述加速度，根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
8.根据权利要求7所述的方法，其特征在于：
通过确认所述客体的所述速度或所述加速度，判断结果为所述客体在向所述车辆靠近的情况下，当所述第k子盲区的所述可用空间比例在设定成比所述第k临界值大的值的第k"临界值以下时，所述警报装置根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
9.根据权利要求1所述的方法，其特征在于：
所述后方图像为在第t帧获取的后方图像的情况下，
在所述c步骤中，
所述警报装置分别利用i：作为从所述第t帧的所述后方图像确认的所述盲区的所述可用空间比例的第t比例与ii：作为从第t-1帧的所述后方图像至第t-i帧的所述后方图像确认的所述盲区的所述可用空间比例的第t-1比例至第t-i比例，确认对应于所述车辆的行驶方向的所述客体的相对移动方向，参照所述客体的所述相对移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
10.根据权利要求9所述的方法，其特征在于：
所述警报装置分析从所述第t-i比例到所述第t比例的增加率，当所述增加率为负(-)的值的情况下判断为所述客体从所述盲区的外部向内部的方向发生了移动，所述增加率为正(+)的值的情况下判断为所述客体从所述盲区的所述内部向所述外部的方向发生了移动，
所述警报装置还参照判断的所述客体的移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
11.根据权利要求10所述的方法，其特征在于：
所述警报装置参照关于所述第t-i比例至所述第t比例中哪个比例从100％变化到小于100％的信息，对从所述第t-i帧至所述第t帧中选择的特定帧的所述分割图像进行分析，
所述警报装置判断所述客体位于所述盲区的区域是邻近所述车辆的区域还是远离所述车辆的区域以确认向所述盲区的所述客体的进入位置后，参照所述客体的向所述盲区的所述进入位置与所述客体的所述移动方向确认相对于所述车辆的所述客体的相对移动方向，
所述警报装置还参照相对于所述车辆的所述客体的所述相对移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
12.根据权利要求1所述的方法，其特征在于：
在所述a步骤中，
所述警报装置对所述后方图像进行至少一次卷积运算生成作为下采样的特征图的至少一个特征图，对所述下采样的特征图适用至少一次深度卷积运算以分割所述后方图像内的所述道路区域与所述客体。
13.一种对车辆变更车道的危险发出警报的警报装置，其特征在于，包括：
通信部，其获取正在行驶的车辆拍摄的至少一个后方图像；以及
处理器，其执行I：利用学习的卷积神经网络分割所述后方图像以获取对应于所述后方图像的分割图像的过程、II：参照所述分割图像确认至少一个盲区的至少一个可用空间比例，所述可用空间比例为所述盲区中不存在客体的道路区域相对于所述盲区的整个区域的比例的过程、III：所述可用空间比例为至少一个预设的临界值以下的情况下，所述警报装置向所述车辆的驾驶员发出关于车道变更的所述危险的警报的过程。
14.根据权利要求13所述的警报装置，其特征在于：
所述盲区包括向远离所述车辆的后方的方向按距离设定的第一子盲区至第n子盲区，
对所述第一子盲区至所述第n子盲区分别设定分别作为关于所述可用空间比例的临界值的第一临界值至第n临界值，
在所述III过程中，
所述处理器根据具有第k临界值以下的所述可用空间比例的第k子盲区与所述车辆之间的距离相应地向所述驾驶员发出不同的警报。
15.根据权利要求14所述的警报装置，其特征在于：
i：将所述第k子盲区的所述可用空间比例为所述第k临界值以下且第k-1子盲区的所述可用空间比例为100％的情况设为第一情况，ii：将所述第k子盲区的所述可用空间比例为所述第k临界值以下且第k-1子盲区的所述可用空间比例为所述第k-1临界值以下的情况设为第二情况，iii：将所述第k子盲区的所述可用空间比例为100％且第k-1子盲区的所述可用空间比例为所述第k-1临界值以下的情况设为第三情况的情况下，所述处理器在所述第二情况及所述第三情况下向驾驶员警报客体比所述第一情况下更接近于所述车辆。
16.根据权利要求14所述的警报装置，其特征在于：
所述第k子盲区的所述可用空间比例超过所述第k临界值且在设定成比所述第k临界值大的值的第k'临界值以下的状态下，当第k+1子盲区的所述可用空间比例为第k+1临界值以下的情况下，所述处理器根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出不同的警报。
17.根据权利要求14所述的警报装置，其特征在于：
所述处理器参照所述第一子盲区至所述第n子盲区各自的所述可用空间比例的各变化率获取所述第一子盲区至所述第n子盲区内的所述客体的移动信息，
所述处理器参照获取的所述客体的所述移动信息，根据所述第k子盲区与所述车辆之间的距离相应地向所述驾驶员发出警报。
18.根据权利要求17所述的警报装置，其特征在于：
所述第k+1子盲区的所述可用空间比例从在第k+1临界值以下的状态下向增大的方向变化，所述第k子盲区的所述可用空间比例向减小的方向变化的情况下，所述处理器判断为所述客体在从所述第k+1子盲区向所述第k子盲区移动，
所述第k-1子盲区的所述可用空间比例从在第k-1临界值以下的状态下向增大的方向变化，所述第k子盲区的所述可用空间比例向减小的方向变化的情况下，所述处理器判断为所述客体在从所述第k-1子盲区向所述第k子盲区移动，
所述处理器还参照所述第k子盲区的所述客体的所述移动方向，根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
19.根据权利要求14所述的警报装置，其特征在于：
所述处理器参照所述第k子盲区的所述可用空间比例的变化率以确认所述客体的速度或加速度，参照所述客体的所述速度或所述加速度，根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
20.根据权利要求19所述的警报装置，其特征在于：
通过确认所述客体的所述速度或所述加速度，判断结果为所述客体在向所述车辆靠近的情况下，当所述第k子盲区的所述可用空间比例在设定成比所述第k临界值大的值的第k"临界值以下时，所述处理器根据所述第k子盲区与所述车辆之间的所述距离相应地向所述驾驶员发出警报。
21.根据权利要求13所述的警报装置，其特征在于：
所述后方图像为在第t帧获取的后方图像的情况下，
在所述III步骤中，
所述处理器分别利用i：作为从所述第t帧的所述后方图像确认的所述盲区的所述可用空间比例的第t比例与ii：作为从第t-1帧的所述后方图像至第t-i帧的所述后方图像确认的所述盲区的所述可用空间比例的第t-1比例至第t-i比例，确认对应于所述车辆的行驶方向的所述客体的相对移动方向，参照所述客体的所述相对移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
22.根据权利要求21所述的警报装置，其特征在于：
所述处理器分析从所述第t-i比例到所述第t比例的增加率，当所述增加率为负(-)的值的情况下判断为所述客体从所述盲区的外部向内部的方向发生了移动，所述增加率为正(+)的值的情况下判断为所述客体从所述盲区的所述内部向所述外部的方向发生了移动，
所述处理器还参照判断的所述客体的移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
23.根据权利要求22所述的警报装置，其特征在于：
所述处理器参照关于所述第t-i比例至所述第t比例中哪个比例从100％变化到小于100％的信息，对从所述第t-i帧至所述第t帧中选择的特定帧的所述分割图像进行分析，
所述处理器判断所述客体位于所述盲区的区域是邻近所述车辆的区域还是远离所述车辆的区域以确认向所述盲区的所述客体的进入位置后，参照所述客体的向所述盲区的所述进入位置与所述客体的所述移动方向确认相对于所述车辆的所述客体的相对移动方向，
所述处理器还参照相对于所述车辆的所述客体的所述相对移动方向向所述驾驶员发出关于所述车道变更的所述危险的警报。
24.根据权利要求13所述的警报装置，其特征在于：
在所述I步骤中，
所述处理器对所述后方图像进行至少一次卷积运算生成作为下采样的特征图的至少一个特征图，对所述下采样的特征图适用至少一次深度卷积运算以分割所述后方图像内的所述道路区域与所述客体。
CN201910937157.XA 2018-10-04 2019-09-29 对关于车辆变更车道的危险发出警报的方法及装置 Active CN111016929B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/151,760 2018-10-04
US16/151,760 US10300851B1 (en) 2018-10-04 2018-10-04 Method for warning vehicle of risk of lane change and alarm device using the same

Publications (2)

Publication Number Publication Date
CN111016929A true CN111016929A (zh) 2020-04-17
CN111016929B CN111016929B (zh) 2023-04-07

Family

ID=66636359

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910937157.XA Active CN111016929B (zh) 2018-10-04 2019-09-29 对关于车辆变更车道的危险发出警报的方法及装置

Country Status (5)

Country Link
US (1) US10300851B1 (zh)
EP (1) EP3657382A1 (zh)
JP (1) JP6872260B2 (zh)
KR (1) KR102224818B1 (zh)
CN (1) CN111016929B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115092056A (zh) * 2022-06-30 2022-09-23 泽景(西安)汽车电子有限责任公司 一种路况信息展示方法、装置、电子设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11282225B2 (en) 2018-09-10 2022-03-22 Mapbox, Inc. Calibration for vision in navigation systems
US10776673B2 (en) * 2019-01-31 2020-09-15 StradVision, Inc. Learning method and learning device for sensor fusion to integrate information acquired by radar capable of distance estimation and information acquired by camera to thereby improve neural network for supporting autonomous driving, and testing method and testing device using the same
US11010641B2 (en) * 2019-03-14 2021-05-18 Mapbox, Inc. Low power consumption deep neural network for simultaneous object detection and semantic segmentation in images on a mobile computing device
CN110930733B (zh) * 2019-11-29 2021-07-30 腾讯科技（深圳）有限公司 车道切换风险处理方法、装置、存储介质和计算机设备
CN110956851B (zh) * 2019-12-02 2020-11-24 清华大学 一种智能网联汽车协同调度换道方法
WO2021149095A1 (ja) * 2020-01-20 2021-07-29 三菱電機株式会社 移動支援装置、移動支援学習装置、及び、移動支援方法
US11527154B2 (en) * 2020-02-20 2022-12-13 Toyota Motor North America, Inc. Wrong way driving prevention
US11603094B2 (en) 2020-02-20 2023-03-14 Toyota Motor North America, Inc. Poor driving countermeasures
US11535246B2 (en) * 2020-03-30 2022-12-27 Denso Corporation Systems and methods for providing a warning to an occupant of a vehicle
CN111462488B (zh) * 2020-04-01 2021-09-10 北京工业大学 一种基于深度卷积神经网络和交叉口行为特征模型的交叉口安全风险评估方法
CN111524389B (zh) * 2020-04-16 2023-11-10 腾讯科技（深圳）有限公司 车辆驾驶方法和装置
CN112669335A (zh) * 2021-01-27 2021-04-16 东软睿驰汽车技术（沈阳）有限公司 车辆感知方法、装置、电子设备以及机器可读存储介质
CN117082338B (zh) * 2023-05-26 2024-07-26 北京瀚海京盛技术发展有限公司 一种基于大数据的视频分析监控系统

Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005778A1 (en) * 2000-05-08 2002-01-17 Breed David S. Vehicular blind spot identification and monitoring system
US20060290482A1 (en) * 2005-06-23 2006-12-28 Mazda Motor Corporation Blind-spot detection system for vehicle
JP2007008287A (ja) * 2005-06-29 2007-01-18 Mazda Motor Corp 車両の後側方警報システム
US20070126565A1 (en) * 2005-10-27 2007-06-07 Daimlerchrysler Ag Process for monitoring blind angle in motor vehicles
US20120133547A1 (en) * 2010-11-29 2012-05-31 Freescale Semiconductor, Inc. Automotive Radar System and Method for Using Same
CN102632839A (zh) * 2011-02-15 2012-08-15 汽车零部件研究及发展中心有限公司 一种基于后视图像认知的车载盲区预警系统及方法
US20150194057A1 (en) * 2014-01-03 2015-07-09 Hyundai Mobis Co., Ltd. Apparatus for assisting in lane change and operating method thereof
CN104786933A (zh) * 2015-03-04 2015-07-22 江苏大学 一种全景影像驾驶辅助装置及方法
CN204978416U (zh) * 2015-09-22 2016-01-20 天津市茂宏科技有限公司 一种智能车辆盲区监测系统和车辆
CN105774809A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种行车盲区提示的方法和装置
CN106251701A (zh) * 2016-09-14 2016-12-21 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
US20170015312A1 (en) * 2015-07-13 2017-01-19 Magna Electronics Inc. Parking assist system for vehicle
CN106926779A (zh) * 2017-03-09 2017-07-07 吉利汽车研究院（宁波）有限公司 一种车辆变道辅助系统
CN106945605A (zh) * 2016-01-06 2017-07-14 北京京东尚科信息技术有限公司 车辆盲区监控系统及控制方法
CN107128245A (zh) * 2017-04-10 2017-09-05 江苏车视杰电子有限公司 一种车辆盲区预警系统
CN107487333A (zh) * 2016-06-13 2017-12-19 福特全球技术公司 盲区检测系统和方法
CN107564334A (zh) * 2017-08-04 2018-01-09 武汉理工大学 一种停车场车辆盲区危险预警系统及方法
CN107953830A (zh) * 2017-12-04 2018-04-24 广东工业大学 一种大型客车盲区检测警报系统及其检测警报方法
CN108010383A (zh) * 2017-09-29 2018-05-08 北京车和家信息技术有限公司 基于行驶车辆的盲区检测方法、装置、终端及车辆
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783403B2 (en) * 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
JP3942289B2 (ja) * 1998-11-09 2007-07-11 本田技研工業株式会社 車両監視装置
JP4151137B2 (ja) * 1998-12-16 2008-09-17 株式会社豊田自動織機 車両における障害物検出装置及び車両
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
JP2008040736A (ja) * 2006-08-04 2008-02-21 Aisin Aw Co Ltd 車両検出装置、および車両検出方法
JP2008112349A (ja) * 2006-10-31 2008-05-15 Alpine Electronics Inc 移動物体検知装置
DE102007059735A1 (de) * 2006-12-12 2008-07-24 Cognex Corp., Natick Stereo-Sichtsystem für Fahrzeuge zur Erkennung seitlich liegender Hindernisse
EP3594853A3 (en) * 2007-05-03 2020-04-08 Sony Deutschland GmbH Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
US7859432B2 (en) * 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
KR100908076B1 (ko) 2008-03-25 2009-07-15 대성전기공업 주식회사 차량용 측, 후방 감지 장치
US8269652B2 (en) * 2009-04-02 2012-09-18 GM Global Technology Operations LLC Vehicle-to-vehicle communicator on full-windshield head-up display
US8633810B2 (en) * 2009-11-19 2014-01-21 Robert Bosch Gmbh Rear-view multi-functional camera system
US9586525B2 (en) * 2011-11-28 2017-03-07 Robert Bosch Gmbh Camera-assisted blind spot detection
US9139135B2 (en) * 2012-09-07 2015-09-22 Musaid A. ASSAF System and method that minimizes hazards of blind spots while driving
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control
DE102014212478A1 (de) * 2014-06-27 2015-12-31 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Erstellung eines Umfeldmodells eines Fahrzeugs
KR101692628B1 (ko) * 2014-12-24 2017-01-04 한동대학교 산학협력단 관심영역을 이용하여 차량의 후방 좌우 옆 차선 영역을 감지하는 방법 및 이를 이용한 차량용 영상 모니터링 시스템
JP6722051B2 (ja) 2016-06-10 2020-07-15 株式会社Ｓｏｋｅｎ 物体検出装置、及び物体検出方法
KR20180065527A (ko) * 2016-12-08 2018-06-18 경창산업주식회사 차량 후측방 경고 장치 및 이를 이용한 경고 방법
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备

Patent Citations (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020005778A1 (en) * 2000-05-08 2002-01-17 Breed David S. Vehicular blind spot identification and monitoring system
US20060290482A1 (en) * 2005-06-23 2006-12-28 Mazda Motor Corporation Blind-spot detection system for vehicle
JP2007008287A (ja) * 2005-06-29 2007-01-18 Mazda Motor Corp 車両の後側方警報システム
US20070126565A1 (en) * 2005-10-27 2007-06-07 Daimlerchrysler Ag Process for monitoring blind angle in motor vehicles
US20120133547A1 (en) * 2010-11-29 2012-05-31 Freescale Semiconductor, Inc. Automotive Radar System and Method for Using Same
CN102632839A (zh) * 2011-02-15 2012-08-15 汽车零部件研究及发展中心有限公司 一种基于后视图像认知的车载盲区预警系统及方法
US20150194057A1 (en) * 2014-01-03 2015-07-09 Hyundai Mobis Co., Ltd. Apparatus for assisting in lane change and operating method thereof
CN105774809A (zh) * 2014-12-26 2016-07-20 中国移动通信集团公司 一种行车盲区提示的方法和装置
CN104786933A (zh) * 2015-03-04 2015-07-22 江苏大学 一种全景影像驾驶辅助装置及方法
US20170015312A1 (en) * 2015-07-13 2017-01-19 Magna Electronics Inc. Parking assist system for vehicle
CN204978416U (zh) * 2015-09-22 2016-01-20 天津市茂宏科技有限公司 一种智能车辆盲区监测系统和车辆
CN106945605A (zh) * 2016-01-06 2017-07-14 北京京东尚科信息技术有限公司 车辆盲区监控系统及控制方法
CN107487333A (zh) * 2016-06-13 2017-12-19 福特全球技术公司 盲区检测系统和方法
CN106251701A (zh) * 2016-09-14 2016-12-21 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
CN106926779A (zh) * 2017-03-09 2017-07-07 吉利汽车研究院（宁波）有限公司 一种车辆变道辅助系统
CN107128245A (zh) * 2017-04-10 2017-09-05 江苏车视杰电子有限公司 一种车辆盲区预警系统
CN107564334A (zh) * 2017-08-04 2018-01-09 武汉理工大学 一种停车场车辆盲区危险预警系统及方法
CN108010383A (zh) * 2017-09-29 2018-05-08 北京车和家信息技术有限公司 基于行驶车辆的盲区检测方法、装置、终端及车辆
US10089743B1 (en) * 2017-10-05 2018-10-02 StradVision, Inc. Method for segmenting an image and device using the same
CN107953830A (zh) * 2017-12-04 2018-04-24 广东工业大学 一种大型客车盲区检测警报系统及其检测警报方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115092056A (zh) * 2022-06-30 2022-09-23 泽景(西安)汽车电子有限责任公司 一种路况信息展示方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111016929B (zh) 2023-04-07
JP6872260B2 (ja) 2021-05-19
EP3657382A1 (en) 2020-05-27
KR20200038847A (ko) 2020-04-14
US10300851B1 (en) 2019-05-28
JP2020077393A (ja) 2020-05-21
KR102224818B1 (ko) 2021-03-09

Similar Documents

Publication Publication Date Title
CN111016929B (zh) 对关于车辆变更车道的危险发出警报的方法及装置
EP3466764B1 (en) Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
KR102098140B1 (ko) 자동차의 블라인드 스팟 모니터링 방법 및 이를 이용한 블라인드 스팟 모니터
US8040227B2 (en) Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device
US20190188498A1 (en) Image Processing Method For Recognizing Ground Marking And System For Detecting Ground Marking
US11010622B2 (en) Infrastructure-free NLoS obstacle detection for autonomous cars
JP6416293B2 (ja) 自動車に接近する対象車両を自動車のカメラシステムにより追跡する方法、カメラシステムおよび自動車
EP1988505B1 (en) Method and system for initializing templates of moving objects
US20180075748A1 (en) Pedestrian recognition apparatus and method
EP3690722A1 (en) Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
KR101663574B1 (ko) 야간 환경에서의 운전자 보조 시스템을 위한 위험 보행자 검출 방법 및 시스템
EP3690728B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
EP3699886A2 (en) Method and device for warning blind spot cooperatively based on v2v communication with fault tolerance and fluctuation robustness in extreme situation
US11436839B2 (en) Systems and methods of detecting moving obstacles
EP2741234B1 (en) Object localization using vertical symmetry
US10635917B1 (en) Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
EP3842307A1 (en) System and method for providing vehicle safety distance and speed alerts under slippery road conditions
US20170031017A1 (en) Vehicle type radar system, and method for removing an uninterested target
CN106405539B (zh) 车辆雷达系统以及用于去除一非感兴趣目标的方法
Karaduman et al. Interactive risky behavior model for 3-car overtaking scenario using joint Bayesian network
Ben Romdhane et al. A lane detection and tracking method for driver assistance system
Baek et al. Robust vehicle detection and tracking method for blind spot detection system by using vision sensors
KR102039814B1 (ko) 측후방 차량 검출 방법 및 그 장치
Sawant et al. Detection of Lane and Speed Breaker Warning System for Vehicles Using Machine Learning
Kenue Vision-based algorithms for near-host object detection and multilane sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant