CN109624850B - 监视车辆的盲点的方法及使用该方法的盲点监视器 - Google Patents

监视车辆的盲点的方法及使用该方法的盲点监视器 Download PDF

Info

Publication number
CN109624850B
CN109624850B CN201811168140.4A CN201811168140A CN109624850B CN 109624850 B CN109624850 B CN 109624850B CN 201811168140 A CN201811168140 A CN 201811168140A CN 109624850 B CN109624850 B CN 109624850B
Authority
CN
China
Prior art keywords
vehicle
blind spot
boxes
monitored
bounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811168140.4A
Other languages
English (en)
Other versions
CN109624850A (zh
Inventor
金镕重
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN109624850A publication Critical patent/CN109624850A/zh
Application granted granted Critical
Publication of CN109624850B publication Critical patent/CN109624850B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/025—Rear-view mirror arrangements comprising special mechanical means for correcting the field of view in relation to particular driving conditions, e.g. change of lane; scanning mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种使用盲点监视器对监视车辆的盲点进行监视的方法。所述方法包括以下步骤：盲点监视器(a)在以下条件下从后视频图像中获取特征映射：获取关于盲点中的参考车辆的视频图像，创建参考车辆的参考框，以及将参考框设定为建议框；(b)通过池化获取特征映射上的用于建议框的特征向量，将特征向量输入到完全连接层，获取分类和回归信息；以及(c)通过参照分类信息选择建议框，通过使用回归信息获取用于建议框的边界框，确定与边界框中的每一个相对应的被监视车辆的姿势，确定偶然车辆是否位于监视车辆的盲点中。

Description

监视车辆的盲点的方法及使用该方法的盲点监视器
技术领域
本发明涉及一种监视车辆盲点的方法及使用该方法的盲点监视器；更具体而言，涉及如下的方法及使用该方法的盲点监视器：(a)如果从处于驾驶状态的监视车辆获取后视频图像，则从后视频图像获取至少一个特征映射，(b)获取与位于后视频图像中的一个或多个对象相对应的m个建议框，(c)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算，获取特征向量，特征向量的每一个对应于m个建议框中的每一个，(d)将与m个建议框中的每一个相对应的特征向量的每一个输入到第一FC层，以获取(d-1)与m个建议框中的每一个相对应的第一种类(class)中的每一者的第一分类分数中的每一个，以确认对象是否是被监视车辆，以及(d-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认对象的姿势，(e)通过参照第一分类分数，在m个建议框中选择具有超过某一阈值的概率而被视为包括被监视车辆的n个建议框，(f)通过参照与n个建议框中的每一个相对应的回归信息，获得n个边界框，n个边界框中的每一个对应于n个建议框中的每一个，(g)通过参照第二分类分数，确定与n个边界框中的至少一部分边界框中的每一个相对应的被监视车辆的姿势，以及(h)通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势，确定偶然车辆是否位于监视车辆的盲点中。
背景技术
对象车辆的每一侧具有侧视镜，并且在其舱室的前部中央具有后视镜，用于驾驶员改变车道所需的侧面和后面的良好视野。
虽然侧视镜用于观察其每一侧和后面，但是对象车辆具有驾驶员不能看到附近车辆或与其非常接近的任何其他对象的盲点。
这已经成为一个问题，因为如果驾驶员在没有看到附近车辆的情况下改变车道，则可能与在盲点中的附近车辆发生事故。
为了防止这样的问题，驾驶员有时将凸面镜放置在侧视镜的角部上，这使得驾驶员能够看到盲点。
然而，即使将凸面镜加到侧视镜上时，驾驶员也必须用自己的眼睛看到盲点来改变车道，这给驾驶员带来了更大的压力，并且可能存在即使驾驶员改变自己的头部位置通过凸面镜仍然无法看到的一部分盲点。
为了防止这种情况，最近提出了一种盲点监视系统，其旨在通过利用位于监视车辆后部的传感器向驾驶员提供关于位于盲点或接近盲点的被监视车辆的检测的信息来防止在驾驶员改变车道时发生事故。特别地，使用视觉传感器的盲点监视系统通常采用能够基于视觉信息检测对象的各种算法。
然而，这些算法可能显示出受外部环境、对象形状以及系统结构限制的受限的检测率。由于准确的检测需要许多视觉处理，所以计算负担非常重。因此，由于有限的处理资源，在嵌入式系统中实时检测可能是困难的。
作为使用视觉传感器检测被监视车辆的一个示例，存在一种通过运动矢量表示视觉像素的移动的光流方法。然而，使用光流方法识别被监视车辆的算法很大程度上依赖于背景状态和视觉噪声的变化，并且需要巨大的计算负荷，因此，不容易进行被监视车辆的实时检测。
此外，以往的使用视觉传感器的盲点监视系统存在错误警报的问题，因为系统对位于盲点中的被监视车辆给出无意识警告，而没有考虑监视车辆和被监视车辆的驾驶环境。
例如，在弯道上跟随监视车辆在同一车道的被监视车辆被错误地检测为位于盲点中，并且在车道的相对侧沿相反方向行驶的被监视车辆也被错误地检测为位于盲点中。
发明内容
本发明的一个目的是解决所有的上述问题。
本发明的另一个目的是容易地检测位于盲点中的偶然车辆。
本发明的又一个目的是检测位于盲点中的偶然车辆而无需考虑驾驶环境。
本发明的又一个目的是提供一种算法，该算法对于检测位于盲点中的偶然车辆需要较少的计算。
本发明的又一个目的是实时检测位于盲点中的偶然车辆，而无需考虑背景状态和视觉噪声的变化。
本发明的又一个目的是使用卷积神经网络(CNN)精确地检测位于盲点中的偶然车辆。
本发明的再一个目的是根据监视车辆和被监视车辆的驾驶环境检测位于盲点中的偶然车辆。
根据本发明的一个方面，提供一种监视车辆的盲点的方法，包括以下步骤：(a)如果从处于驾驶状态的监视车辆获取后视频图像，则盲点监视器从后视频图像获取或支持另一装置从后视频图像获取至少一个特征映射；(b)盲点监视器执行或支持另一装置执行以下处理：(i)获取与位于后视频图像中的一个或多个对象相对应的m个建议框，(ii)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算，获取特征向量，特征向量中的每一个对应于m个建议框中的每一个，(iii)将与m个建议框中的每一个相对应的特征向量中的每一个输入到第一FC层中，以获取(iii-1)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认对象是否是被监视车辆，以及(iii-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认对象的姿势；(c)盲点监视器执行或支持另一装置执行以下处理：(i)通过参照第一分类分数，在m个建议框中选择具有超过某一阈值的概率而被视为包括被监视车辆的n个建议框，(ii)通过参照与n个建议框中的每一个相对应的回归信息，获取n个边界框，n个边界框中的每一个对应于n个建议框中的每一个，(iii)通过参照第二分类分数，确定与n个边界框中的至少一部分边界框中的每一个相对应的被监视车辆的姿势，以及(iv)通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势，确定偶然车辆是否位于监视车辆的盲点中。
根据本发明的另一方面，提供了一种监视车辆的盲点的盲点监视器，包括：通信部，用于获取或支持另一装置获取后视频图像或其对应的至少一个特征映射，其中从处于驾驶状态的监视车辆获取后视频图像；处理器，用于执行或支持另一装置执行以下处理：(i)通过使用从通信部获取的特征映射或通过对从通信部获取的后视频图像映射应用一个或多个卷积运算计算出的特征映射，获取与位于后视频图像中的一个或多个对象相对应的m个建议框，(ii)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算，获取特征向量，特征向量的每一个对应于m个建议框中的每一个，(iii)将与m个建议框中的每一个相对应的特征向量的每一个输入到第一FC层中，以获取(iii-1)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认对象是否是被监视车辆，以及(iii-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认对象的姿势；(iv)通过参照第一分类分数，在m个建议框中选择具有超过某一阈值的概率而被视为包括被监视车辆的n个建议框，(v)通过参照与n个建议框中的每一个相对应的回归信息，获取n个边界框，n个边界框中的每一个对应于n个建议框中的每一个，(vi)通过参照第二分类分数，确定与n个边界框中的至少一部分边界框中的每一个相对应的被监视车辆的姿势，以及(vii)通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势，确定偶然车辆是否位于监视车辆的盲点中。
根据本发明的再一方面，提供了一种监视车辆的盲点的方法，包括以下步骤：(a)如果从处于驾驶状态的监视车辆获取后视频图像，则盲点监视器从后视频图像获取或支持另一装置从后视频图像获取至少一个特征映射；(b)盲点监视器执行或支持另一装置执行以下处理：(i)获取与位于后视频图像中的一个或多个对象相对应的m个建议框，(ii)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算，获取特征向量，特征向量的每一个对应于m个建议框中的每一个，(iii)将与m个建议框中的每一个相对应的特征向量的每一个输入到第一FC层中，以获取(iii-1)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认对象是否是被监视车辆，以及(iii-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认对象的姿势；(c)盲点监视器执行或支持另一装置执行以下处理：(i)通过参照第一种类中的每一者的第一分类分数，在m个建议框中，将特定建议框确定为包括被监视车辆，(ii)通过参照第二种类中的每一者的第二分类分数，在特定建议框中选择被确定为包括姿势与监视车辆的行驶方向对应的至少一个特定被监视车辆的i个建议框，(iii)通过参照与i个建议框中的每一个相对应的回归信息，获取与i个建议框中的每一个相对应的i个边界框中的每一个，以及(iv)确定在i个边界框中是否存在位于监视车辆的盲点中的至少一个边界框，由此确定至少一个偶然车辆是否位于盲点中。
根据本发明的又一方面，提供一种监视车辆的盲点的盲点监视器，包括：通信部，用于获取或支持另一装置获取后视频图像或其对应的至少一个特征映射，其中从处于驾驶状态的监视车辆获取后视频图像；处理器，用于执行或支持另一装置执行以下处理：(i)通过使用从通信部获取的特征映射或通过对从通信部获取的后视频图像映射应用一个或多个卷积运算计算出的特征映射，获取与位于后视频图像中的一个或多个对象相对应的m个建议框，(ii)通过对特征映射上的与m个建议框相对应的每个区域应用池化运算，获取特征向量，特征向量的每一个对应于m个建议框中的每一个，以及(iii)将与m个建议框中的每一个相对应的特征向量的每一个输入到FC层中，以获取(iii-1)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认对象是否是被监视车辆，以及(iii-2)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认对象的姿势；(iv)通过参照第一种类的每一者的第一分类分数，在m个建议框中，将特定建议框确定为包括被监视车辆，(v)通过参照第二种类的每一者的第二分类分数，在特定建议框中选择被确定为包括姿势与监视车辆的行驶方向对应的至少一个特定被监视车辆的i个建议框，以及(vi)通过参照与i个建议框中的每一个相对应的回归信息，获取与i个建议框中的每一个相对应的i个边界框的每一个，以及(vii)确定i个边界框中是否存在位于监视车辆的盲点中的至少一个边界框，由此确定至少一个偶然车辆是否位于盲点中。
另外，还提供可被计算机读取的用于存储计算机程序以执行本发明的方法的可记录介质。
附图说明
用于说明本发明的示例实施例的以下的附图仅是本发明的示例实施例的一部分，本领域的技术人员可以在不付出创造性劳动的情况下基于附图获得其他图。
图1是示意性示出根据本发明的一个示例实施例的盲点监视系统的框图；
图2是示意性示出具有根据本发明的一个示例实施例的盲点监视系统的监视车辆的图；
图3是示意性示出根据本发明的一个示例实施例的执行盲点监视的卷积神经网络的框图；
图4是示意性示出根据本发明的一个示例实施例的盲点监视方法的框图；
图5是示意性示出关于根据本发明的一个示例实施例的在执行盲点监视中使用的被监视车辆姿势的每一种类的图；
图6是示例性示出根据本发明的一个示例实施例的执行盲点监视的处理的图；
图7A和7B是示例性示出根据本发明的一个示例实施例的根据监视车辆的驾驶环境的盲点监视的图。
具体实施方式
下面参考示作可实施本发明的具体实施例示例的附图和图示对本发明进行详细说明，以使本发明的目的、技术方案和优点变得清楚。这些实施例被充分详细地描述，以使本领域技术人员能够实施本发明。
此外，在本发明的详细说明和权利要求中，术语“包括”及其变型不旨在排除其他的技术特征、添加物、部件或步骤。本发明的其他目的、益处和特征将部分地通过说明书并且部分地通过本发明的实施例披露给本领域的技术人员。下面的实施例和附图将提供作为示例，但它们不旨在限制本发明。
此外，本发明涵盖本说明书中指出的示例实施例的所有可能的组合。应该理解的是，本发明的各种实施例虽然不同，但不一定是相互排斥的。例如，在不脱离本发明的精神和范围的情况下，可以在其他实施例中实施本文结合一个实施例描述的特定特征、结构或特性。另外，应该理解的是，在不脱离本发明的精神和范围的情况下，可以修改每个公开的实施例中的各元件的位置或布置。因此，以下的详细描述不应被视为具有限制意义，本发明的范围仅由所附权利要求限定，并与权利要求的等同物的全部范围一起被适当地解释。在附图中，在所有的图中相同的附图标记表示相同或相似的功能。
为了使本领域技术人员容易地实施本发明，在下面参照附图对本发明的示例实施例进行详细说明。
首先，图1是示意性示出根据本发明的一个示例实施例的盲点监视系统的框图。参照图1，盲点监视系统可以包括盲点监视器(BSM)100和监视车辆200。作为参考，盲点监视器100可以安装在监视车辆200上，但是不限于此。此外，通过参考图1，视觉传感器10(例如相机)被示出为与盲点监视器100通信，然而，其可以包括在盲点监视器100或监视车辆200中。
盲点监视器100可以检测位于监视车辆的盲点或接近盲点的另一车辆，即被监视车辆。作为示例，盲点监视器100可以通过使用相机分析从监视车辆获取的至少一个后视频图像来确定偶然车辆是否位于盲点中。
然后，通过参照关于转向系统的信息以及从盲点监视器100发送的信息，可以防止监视车辆200在朝向偶然车辆被确定为所位于的盲点的方向上改变车道，或者可以允许警报系统警告驾驶员偶然车辆处于盲点中的事实。特别地，在监视车辆200是自主车辆的情况下，可以通过参照关于驾驶环境的信息和关于从盲点监视器100接收到的盲点中的偶然车辆的信息来确定是否在驾驶的同时改变车道。
此外，盲点监视器100可以包括通信部110和处理器120，通信部110使用视觉传感器10从处于驾驶状态的监视车辆200获取后视频图像，处理器120通过分析所获取的后视频图像来确定偶然车辆是否在处于驾驶状态的监视车辆200的盲点中。在此，在图2中可以看到，安装在监视车辆200的任意位置上的视觉传感器10可以捕获其后视图的视频，并且可以包括光学传感器，例如电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)或图像捕获装置。
根据本发明的一个示例实施例，处理器120可以执行以下处理：(i)从所获取的后视频图像中获取至少一个特征映射，(ii)获取与后视频图像中的至少一个对象相对应的m个建议框，(iii)对特征映射上的与m个建议框相对应的每个区域应用池化运算，以及(iv)获取与m个建议框中的每一个相对应的特征向量的每一个。进一步，处理器120可以将与m个建议框中的每一个相对应的特征向量的每一个输入到第一FC层中，以获取(i)与m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认对象是否是被监视车辆，(ii)与m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认对象的姿势。之后，处理器120可以执行以下处理：(i)通过参照第一分类分数，在m个建议框中选择具有超过某一阈值的概率而被视为包括被监视车辆的n个建议框，(ii)通过参照与n个建议框中的每一个相对应的车辆的回归信息，获取n个边界框，n个边界框中的每一个对应于n个建议框中的每一个，(iii)通过参照第二分类分数，确定与n个边界框中的至少一部分边界框中的每一个相对应的被监视车辆的姿势，以及(iv)通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势，确定偶然车辆是否位于监视车辆200的盲点中。也就是说，通过参照n个边界框中的至少一部分边界框和被监视车辆的姿势，盲点中的被监视车辆可以被分类为偶然车辆或者不为偶然车辆。在此，第一种类可以用于确定被检测的对象是什么。例如，第一种可以包括车辆类、行人类、摩托车类和犬类等。此外，车辆的回归信息可以是与通过回归获得的第一种类中的车辆类相对应的信息。
在下面通过参照图3和图4来更具体地说明用于监视偶然车辆是否位于监视车辆的盲点中的方法。
首先，通过参照图3，在步骤S10中，盲点监视器100的通信部110可以经由通信部110从处于驾驶状态的监视车辆200上安装的视觉传感器10中获取监视车辆200的后视频图像，并且盲点监视器100的处理器120可以从所获取的后视频图像中获取至少一个特征映射。
作为一个示例，在步骤S21中，处理器120可以执行或支持另一装置执行以下处理：(i)将后视频图像输入到卷积层中，该卷积层能够对后视频图像应用至少一个卷积运算，然后(ii)经由卷积层获取特征映射。
在此，在填充(pad)设定为零的条件下，处理器120可以通过以预定步幅滑动的滤波器对后视频图像或其相对应的特征映射应用或支持另一装置应用卷积运算。填充用于调整卷积层的输出的大小，步幅是滤波器移位的量。换言之，处理器120可以对从其中获取的后视频图像或其相应的特征映射应用卷积运算以减小它们的大小。与此相反，在填充设定在某个非零值的情况下执行卷积的条件下，处理器120可以执行以下处理：(i)获取大小与后视频图像的大小相同的至少一个特征映射，(ii)通过应用池化运算来缩小所获取的特征映射的大小，以及(iii)通过重复卷积和池化来创建具有至少一个预定大小的至少一个附加特征映射。
作为参考，处理器120可以在从视觉传感器10获取的每个后视频图像的整个区域上或者在与设定为后视频图像上的盲点的区域相对应的一部分图像上使用卷积层执行卷积。
处理器120可以获取与后视频图像中的对象相对应的m个建议框。作为一个示例，在步骤S22中，处理器120可以输入或支持另一装置输入特征映射到区域建议网络(RPN)中，以获取与后视频图像中的对象相对应的m个建议框。
在下文中，在步骤S23中，处理器120可以执行以下处理：(i)将池化运算应用于特征映射上的与m个建议框相对应的每个区域，以及(ii)获取与m个建议框中的每一个相对应的特征向量中的每一个。
作为一个示例，处理器120可以执行以下处理：(i)将特征映射的与m个建议框中的每一个相对应的每个部分输入到感兴趣区域(ROI)池化层中，(ii)对所述每个部分应用最大池化或平均池化运算，从而获取与m个建议框中的每一个相对应的特征向量中的每一个。
进一步，在步骤S25中，处理器120可以输入或支持另一装置输入特征向量的每一个到步骤S24中的第一FC层中，以获取第一种类中的每一者的第一分类分数中的每一个。
进一步，在步骤S27中，处理器120可以获取第二种类中的每一者的第二分类分数中的每一个。在此，第二种类可以用于确定被监视车辆的姿势，该被监视车辆的姿势可以对应于从监视车辆200看到的被监视车辆的视图。
作为一个示例，通过参照图5，第二种类的细节可以如下示出。从监视车辆200看到的被监视车辆的视图可以是(a)的情况下的后面、(b)的情况下的右后面、(c)的情况下的右面、(d)的情况下的右前面、(e)的情况下的前面、(f)的情况下的左前面、(g)的情况下的左面以及(h)的情况下的左后面。
除此之外，在步骤S26中，处理器120可以通过经由第二FC层对特征向量应用回归运算来获取与m个建议框中的每一个相对应的第一种类中的每一者的回归信息。
接下来，通过参照图4，当在图3中在步骤S200中获取用于检测被监视车辆的第一分类分数和第一种类中的每一者的回归信息以及用于确定被监视车辆的姿势的第二分类分数的条件下，处理器120可以执行以下处理：(i)在步骤S300中，通过参照第一分类分数和第一种类中的每一者的回归信息，确定位于监视车辆200的盲点中的被监视车辆，以及(ii)通过参照根据第二分类分数推断出的位于盲点中的被监视车辆的姿势，确定偶然车辆是否位于监视车辆200的盲点中。
具体地，处理器120可以执行以下处理：(i)通过参照第一分类分数在m个建议框中选择n个建议框，(ii)通过参照与n个建议框中的每一个相对应的车辆的回归信息，获取n个边界框，n个边界框中的每一个对应于n个建议框中的每一个，以及(iii)检测位于后视频图像中的被监视车辆。
此外，具体地，在步骤S300中，处理器120可以确定与位于后视频图像中的被监视车辆相对应的n个边界框中的盲点中的k个边界框。在步骤S400，如果k个边界框中的至少一个中的被监视车辆的姿势对应于监视车辆正在行驶的方向，则处理器120可以确定偶然车辆位于盲点中。
详细地，参照图6，处理器120可以执行以下处理：(i)通过参照第一分类分数和车辆的回归信息来检测位于监视车辆200的盲点中的被监视车辆310和320，(ii)确定检测到的被监视车辆310和320的姿势。例如，如果被监视车辆的姿势对应于如图5的(d)、(e)或(f)中的前面、左前面或右前面，则处理器120可以确定被监视车辆310正行驶在与监视车辆200相同的方向上，因此确定被监视车辆310为位于盲点中的偶然车辆。与此相反，如果被监视车辆320的姿势对应于如图5的(a)、(b)、(c)、(g)或(h)中的后面、右后面、右面、左面或左后面，则处理器120可以确定被监视车辆320正行驶在与监视车辆200不同的方向上，因此确定被监视车辆310为不是偶然车辆。换句话说，虽然被监视车辆位于盲点中，但是处理器120可以确定被监视车辆不是偶然车辆，因为被监视车辆正行驶在与监视车辆200相反的方向上。
进一步，如果(i)k个边界框中的第一边界框被确定为位于远离(apartfrom)监视车辆200的左后区域中形成的盲点中，并且(ii)被监视车辆的视图对应于前面或左前面，则处理器120可以确定偶然车辆不位于盲点中。类似地，如果(i)k个边界框中的第二边界框被确定为位于远离监视车辆200的右后方区域中形成的盲点中，并且(ii)被监视车辆的视图对应于前面或右前面，则处理器120可以确定偶然车辆不位于盲点中。
换句话说，如图7A所示，如果处于驾驶状态的监视车辆200在左弯道路上并且被监视车辆300在同一车道上跟随监视车辆200，则被监视车辆300可以被确定为位于监视车辆200的左后区域中的盲点中。然而，由于从图7B中可以看出被监视车辆300的姿势对应于如图5中的(e)或(f)中的前面或左前面，因此处理器120可以执行确认被监视车辆300不是偶然车辆的处理。
类似地，如果处于驾驶状态的监视车辆200在右弯道路上并且被监视车辆在同一车道上跟随监视车辆200，则被监视车辆可被确定为位于监视车辆200的右后方区域中形成的盲点中。然而，由于被监视车辆的姿势对应于如图5的(d)或(e)的右前面或前面，因此处理器120可以执行确认被监视车辆300不是偶然车辆的处理。
处理器120还可以执行或支持另一装置执行以下处理：(i)计算第一重叠率(n个边界框中的成对重叠率)，然后将n个边界框中的被确认为具有等于或大于第一阈值的第一重叠率的特定边界框确定为对应于单个相同的被监视车辆，(ii)计算第二重叠率(特定边界框以及它们的各个相对应的建议框之中的成对重叠率)，然后将具有第二重叠率中的最大比率的某个边界框确定为包括单个相同的被监视车辆。
作为一个示例，(i)可以计算与第二边界框重叠的第一边界框的第一重叠率，以及(ii)如果计算出的第一重叠率等于或大于第一阈值，则可以计算与第一建议框重叠的第一边界框的第二重叠率和与第二建议框重叠的第二边界框的第三重叠率。然后，如果第二重叠率被确定为大于第三重叠率，则第一边界框可以被确定为包括被监视车辆。
这里，可以通过将与第一边界框和第二边界框的交集相对应的区域除以与第一边界框和第二边界框的并集(union)相对应的区域来计算第一重叠率。此外，可以通过将与第一边界框和第一建议框的交集相对应的区域除以与第一边界框和第一建议框的并集相对应的区域来计算第二重叠率。此外，可以通过将与第二边界框和第二建议框的交集相对应的区域除以与第二边界框和第二建议框的并集相对应的区域来计算第三重叠率。
作为另一示例，处理器120可以执行以下处理：(i)计算第一重叠率，以及(ii)将n个边界框中的被确认为具有小于第二阈值的第一重叠率的特定边界框确定为包括各个被监视车辆。这里，第一阈值和第二阈值可以彼此相同与彼此不同。
同时，如上所述，通过参照第一分类分数和车辆的回归信息，将被监视车辆确定为位于监视车辆200的盲点中，然后，通过参照被监视车辆的姿势，将被监视车辆确定为位于盲点中的偶然车辆。然而，作为另一示例，可以通过参照第一分类分数和第二分类分数，将被监视车辆确定为在与监视车辆200相同的方向上行驶，然后，通过参照关于行驶在相同方向上的被监视车辆的车辆的回归信息，将被监视车辆确定为位于盲点中的偶然车辆。
换句话说，处理器120可以执行以下处理：(i)通过参照第一分类分数，在m个提议框中将特定建议框确定为包括被监视车辆，(ii)通过参照第二分类分数，在特定建议框中选择被确定为包括姿势与监视车辆200的行进方向对应的至少一个被监视车辆的i个建议框。然后，处理器120可以执行以下处理：(i)通过参照与i个建议框中的每一个相对应的车辆的回归信息，获取与i个建议框中的每一个相对应的i个边界框中的每一个，以及(ii)确定在i个边界框中是否存在位于监视车辆的盲点中的至少一个边界框，从而确定至少一个偶然车辆是否位于盲点中。
接下来，参照图4，通过将关于位于盲点中的偶然车辆的信息发送到控制单元，处理器120可以支持监视车辆200的控制单元以防止监视车辆200在朝向偶然车辆被确定为所位于的盲点的方向上改变车道。
在此，如果驾驶员想要改变车道并且偶然车辆被检测为位于驾驶员想要移动到的车道上的盲点中，则通过参照关于监视车辆200的转向系统的信息，监视车辆200的控制单元可以允许警报系统警告驾驶员偶然车辆位于盲点中的事实，并且可以允许驾驶员避免可能由于改变车道而引起的危险情况。此外，如果监视车辆200是自主车辆，则控制单元可以通过参照关于驾驶环境的信息和关于偶然车辆是否位于盲点中的信息允许自主车辆安全地改变车道。
在上文中，针对单侧说明了对盲点中的偶然车辆的确认的处理，然而，可以通过对监视车辆200的另一侧的车道中的盲点进行相同的步骤来执行在两侧的每个盲点中的偶然车辆的确认。
同时，盲点监视器可以包括CNN，CNN能够通过使用预先调整的至少一个卷积参数、至少一个第一分类参数、至少一个第二分类参数以及至少一个回归参数执行卷积、第一分类、第二分类和回归的操作。
此外，盲点监视器可以分成几个装置以执行其功能，然而，为了方便，本说明书描述实现为单个装置的盲点监视器。
根据本发明的盲点监视器可以包括卷积层、RPN和FC层等的一部分。
本发明具有通过使用CNN准确地检测位于盲点中的偶然车辆的效果。
本发明具有准确地检测位于盲点中的偶然车辆而不考虑监视车辆的驾驶环境的另一效果。
本发明还具有通过较少的计算实时地检测位于盲点中的偶然车辆而不考虑背景状态和视觉噪声的变化的另一效果。
本发明还具有根据监视车辆和被监视车辆的驾驶环境检测位于盲点中的偶然车辆的又一效果。
本发明还具有通过使用能够同时执行车辆检测和姿势分类的单个检测网络而以最少的计算过滤相反方向的车道上的车辆而不需要车道检测的另一效果，这与导致更多计算和因缺失的车道引起不准确检测的过滤车道方向相反方向上的车道中的车辆的以往的方法相反。
如上所述的本发明的实施例可以通过可记录到计算机可读介质的各种计算机装置以可执行程序命令的形式实施。计算机可读介质可以单独地或组合地包括程序命令、数据文件和数据结构。记录到介质的程序命令可以是为本发明专门设计的部件，或者可以对于计算机软件领域的技术人员可用。计算机可读介质包括诸如硬盘、软盘和磁带的磁介质、诸如CD-ROM和DVD的光学介质、诸如光盘的磁光介质、以及诸如ROM、RAM和专门设计用于存储和执行程序命令的闪存的硬件装置。程序命令不仅包括由编译器生成的机器语言代码，还包括由计算机执行的可被解释器等使用的高级代码。上述的硬件装置可以不仅仅用作用于执行本发明的动作的软件模块，在相反的情况下它们能够同样使用。
如上所述，已经通过诸如详细的部件、有限的实施例和附图的特定事项对本发明进行了说明。它们仅仅是为了帮助更全面地理解本发明。然而，本领域技术人员将理解的是，在不背离下面的权利要求书中限定的本发明的精神和范围的情况下，可以从说明书中进行各种改变和变更。
因此，本发明的思想不应局限于所说明的实施例，下面的专利权利要求以及包括与专利权利要求等同或等效的变化的所有内容都属于本发明的思想范畴。

Claims (24)

1.一种监视车辆的盲点的方法，包括以下步骤：
(a)如果从处于驾驶状态的监视车辆获取后视频图像，则盲点监视器从所述后视频图像获取或支持另一装置获取至少一个特征映射；
(b)所述盲点监视器执行或支持另一装置执行以下处理：(i)获取与位于所述后视频图像中的一个或多个对象相对应的m个建议框，(ii)通过对所述特征映射上的与所述m个建议框相对应的每个区域应用池化运算，获取特征向量，所述特征向量中的每一个对应于所述m个建议框中的每一个，(iii)将与所述m个建议框中的每一个相对应的所述特征向量中的每一个输入到第一FC层中，以获取(iii-1)与所述m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认所述对象是否是被监视车辆，以及(iii-2)与所述m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认所述对象的姿势；(c)所述盲点监视器执行或支持另一装置执行以下处理：(i)通过参照所述第一分类分数，在所述m个建议框中选择具有超过某一阈值的概率而被视为包括所述被监视车辆的n个建议框，(ii)通过参照与所述n个建议框中的每一个相对应的回归信息，获取n个边界框，所述n个边界框中的每一个对应于所述n个建议框中的每一个，(iii)通过参照所述第二分类分数，确定与所述n个边界框中的至少一部分边界框中的每一个相对应的所述被监视车辆的姿势，以及(iv)通过参照所述n个边界框中的至少一部分边界框和所述被监视车辆的姿势，确定偶然车辆是否位于所述监视车辆的盲点中，以及
(d)如果所述偶然车辆被确定为位于盲点中，则所述盲点监视器通过将关于所述偶然车辆的信息发送到控制单元，支持所述控制单元以防止所述监视车辆在朝向所述偶然车辆所位于的盲点的方向上改变车道，
其中，在步骤(b)中，所述盲点监视器执行或支持另一装置执行以下处理：将与所述m个建议框中的每一个相对应的所述特征向量中的每一个输入到第二FC层中，从而通过经由所述第二FC层对所述特征向量应用回归运算，进一步获取(iii-3)与所述m个建议框中的每一个相对应的所述第一种类中的每一者的回归信息。
2.根据权利要求1所述的方法，其中，在步骤(c)中，所述盲点监视器执行或支持另一装置执行以下处理：(i)在n个边界框中选择被确定为位于所述监视车辆的盲点中的k个边界框，然后(ii)如果所述k个边界框中的至少一个边界框中的所述被监视车辆的姿势对应于所述监视车辆行进的方向，则确定所述偶然车辆位于盲点中。
3.根据权利要求2所述的方法，其中，如果从所述监视车辆看到的所述被监视车辆的视图是前面、左前面或右前面，则所述盲点监视器确定或支持另一装置确定所述被监视车辆在与所述监视车辆相同的方向上行驶。
4.根据权利要求3所述的方法，其中，如果满足(i)第一条件，所述k个边界框中的第一边界框被确定为位于远离所述监视车辆的左后区域中形成的盲点中，并且从所述监视车辆看到的所述被监视车辆的视图包括所述前面或所述左前面，或者(ii)第二条件，所述k个边界框中的第二边界框被确定为位于远离所述监视车辆的右后区域中形成的盲点中，并且从所述监视车辆看到的所述被监视车辆的视图包括所述前面或所述右前面，则所述盲点监视器确定或支持另一装置将所述偶然车辆确定为不位于所述监视车辆的盲点中。
5.根据权利要求1所述的方法，其中，在步骤(c)中，所述盲点监视器执行或支持另一装置执行以下处理：(i)计算第一重叠率，所述第一重叠率是所述n个边界框中的成对重叠率，(ii)将所述n个边界框中的被确认为具有等于或大于第一阈值的所述第一重叠率的特定边界框确定为对应于单个相同的被监视车辆，(iii)计算第二重叠率，所述第二重叠率是所述特定边界框以及它们的各个相对应的建议框之中的成对重叠率，以及(iv)将具有所述第二重叠率中的最大比率的某个边界框确定为包括所述单个相同的被监视车辆。
6.根据权利要求1所述的方法，其中，在步骤(c)中，所述盲点监视器执行或支持另一装置执行以下处理：(i)计算表示所述n个边界框之中的成对重叠率的第一重叠率；以及(ii)将所述n个边界框中的被确认为具有小于第二阈值的所述第一重叠率的特定边界框确定为包括各个被监视车辆。
7.根据权利要求1所述的方法，其中，在步骤(a)中，所述盲点监视器应用或支持另一装置对所述后视频图像应用卷积运算从而获取所述特征映射。
8.根据权利要求7所述的方法，其中，在填充设定为零的条件下，所述盲点监视器应用或支持另一装置通过以预定步幅滑动的滤波器对所述后视频图像或其相应的特征映射应用卷积运算。
9.根据权利要求1所述的方法，其中，在步骤(a)中，所述盲点监视器应用或支持另一装置对与所述盲点相对应的所述后视频图像的一部分应用卷积运算，从而获取所述特征映射。
10.一种监视车辆的盲点的盲点监视器，包括：
通信部，用于获取或支持另一装置获取后视频图像或其对应的至少一个特征映射，其中从处于驾驶状态的监视车辆获取所述后视频图像；
处理器，用于执行或支持另一装置执行以下处理：(i)通过使用从所述通信部获取的特征映射或通过对从所述通信部获取的后视频图像映射应用一个或多个卷积运算计算出的特征映射，获取与位于所述后视频图像中的一个或多个对象相对应的m个建议框，(ii)通过对所述特征映射上的与所述m个建议框相对应的每个区域应用池化运算，获取特征向量，所述特征向量的每一个对应于所述m个建议框中的每一个，(iii)将与所述m个建议框中的每一个相对应的所述特征向量的每一个输入到第一FC层中，以获取(iii-1)与所述m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认所述对象是否是被监视车辆，以及(iii-2)与所述m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认所述对象的姿势，(iv)通过参照所述第一分类分数，在所述m个建议框中选择具有超过某一阈值的概率而被视为包括所述被监视车辆的n个建议框，(v)通过参照与所述n个建议框中的每一个相对应的回归信息，获取n个边界框，所述n个边界框中的每一个对应于所述n个建议框中的每一个，(vi)通过参照所述第二分类分数，确定与所述n个边界框中的至少一部分边界框中的每一个相对应的所述被监视车辆的姿势，以及(vii)通过参照所述n个边界框中的至少一部分边界框和所述被监视车辆的姿势，确定偶然车辆是否位于所述监视车辆的盲点中，
其中，在处理(iii)中，所述处理器执行或支持另一装置执行以下处理：将与所述m个建议框中的每一个相对应的所述特征向量中的每一个输入到第二FC层中，从而通过经由所述第二FC层对所述特征向量应用回归运算，进一步获取(iii-3)与所述m个建议框中的每一个相对应的所述第一种类中的每一者的回归信息，并且
其中，所述处理器进一步执行以下处理：如果所述偶然车辆被确定为位于盲点中，则通过将关于所述偶然车辆的信息发送到控制单元，支持所述控制单元以防止所述监视车辆在朝向所述偶然车辆所位于的盲点的方向上改变车道。
11.根据权利要求10所述的盲点监视器，其中，在处理(vi)和(vii)中，所述处理器执行或支持另一装置执行以下处理：在所述n个边界框中选择被确定为位于所述监视车辆的盲点中的k个边界框，然后，如果所述k个边界框中的至少一个边界框中的所述被监视车辆的姿势对应于所述监视车辆行进的方向，则确定所述偶然车辆位于盲点中。
12.根据权利要求11所述的盲点监视器，其中，如果从所述监视车辆看到的所述被监视车辆的视图是前面、左前面或右前面，则所述处理器确定或支持另一装置确定所述被监视车辆在与所述监视车辆相同的方向上行驶。
13.根据权利要求12所述的盲点监视器，其中，如果满足(i)第一条件，所述k个边界框中的第一边界框被确定为位于远离所述监视车辆的左后区域中形成的盲点中，并且从所述监视车辆看到的所述被监视车辆的视图包括所述前面或所述左前面，或者(ii)第二条件，所述k个边界框中的第二边界框被确定为位于远离所述监视车辆的右后区域中形成的盲点中，并且从所述监视车辆看到的所述被监视车辆的视图包括所述前面或所述右前面，则所述处理器确定或支持另一装置将所述偶然车辆确定为不位于所述监视车辆的盲点中。
14.根据权利要求10所述的盲点监视器，其中，在处理(v)和(vi)之间，所述处理器执行或支持另一装置执行以下处理：计算第一重叠率，所述第一重叠率是所述n个边界框中的成对重叠率；将所述n个边界框中的被确认为具有等于或大于第一阈值的所述第一重叠率的特定边界框确定为对应于单个相同的被监视车辆；计算第二重叠率，所述第二重叠率是所述特定边界框以及它们的各个相对应的建议框之中的成对重叠率；以及将具有所述第二重叠率中的最大比率的某个边界框确定为包括所述单个相同的被监视车辆。
15.根据权利要求10所述的盲点监视器，其中，在处理(v)中，所述处理器执行或支持另一装置执行以下处理：计算表示所述n个边界框之中的成对重叠率的第一重叠率；以及将所述n个边界框中的被确认为具有小于第二阈值的所述第一重叠率的特定边界框确定为包括各个被监视车辆。
16.根据权利要求10所述的盲点监视器，其中，所述处理器应用或支持另一装置对所述后视频图像应用卷积运算从而获取所述特征映射。
17.根据权利要求16所述的盲点监视器，其中，在填充设定为零的条件下，所述处理器应用或支持另一装置通过以预定步幅滑动的滤波器对所述后视频图像或其相应的特征映射应用卷积运算。
18.根据权利要求10所述的盲点监视器，其中，所述处理器应用或支持另一装置对与所述盲点相对应的所述后视频图像的一部分应用卷积运算，从而获取所述特征映射。
19.一种监视车辆的盲点的方法，包括以下步骤：
(a)如果从处于驾驶状态的监视车辆获取后视频图像，则盲点监视器从所述后视频图像获取或支持另一装置获取至少一个特征映射；
(b)所述盲点监视器执行或支持另一装置执行以下处理：(i)获取与位于所述后视频图像中的一个或多个对象相对应的m个建议框，(ii)通过对所述特征映射上的与所述m个建议框相对应的每个区域应用池化运算，获取特征向量，所述特征向量的每一个对应于所述m个建议框中的每一个，(iii)将与所述m个建议框中的每一个相对应的特征向量的每一个输入到FC层中，以获取(iii-1)与所述m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认所述对象是否是被监视车辆，以及(iii-2)与所述m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认所述对象的姿势；
(c)所述盲点监视器执行或支持另一装置执行以下处理：(i)通过参照所述第一种类中的每一者的第一分类分数，在所述m个建议框中，将特定建议框确定为包括所述被监视车辆，(ii)通过参照所述第二种类中的每一者的第二分类分数，在所述特定建议框中选择被确定为包括姿势与所述监视车辆的行驶方向对应的至少一个特定被监视车辆的i个建议框，(iii)通过参照与所述i个建议框中的每一个相对应的回归信息，获取与所述i个建议框中的每一个相对应的i个边界框中的每一个，以及(iv)确定在所述i个边界框中是否存在位于所述监视车辆的盲点中的至少一个边界框，由此确定至少一个偶然车辆是否位于盲点中，以及
(d)如果所述偶然车辆被确定为位于盲点中，则所述盲点监视器通过将关于所述偶然车辆的信息发送到控制单元，支持所述控制单元以防止所述监视车辆在朝向所述偶然车辆所位于的盲点的方向上改变车道，
其中，在步骤(b)中，所述盲点监视器执行或支持另一装置执行以下处理：将与所述m个建议框中的每一个相对应的特征向量中的每一个输入到所述FC层中，从而通过经由所述FC层对所述特征向量应用回归运算，进一步获取(iii-3)与所述m个建议框中的每一个相对应的所述第一种类中的每一者的回归信息。
20.根据权利要求19所述的方法，其中，在步骤(c)中，如果从所述监视车辆看到的所述被监视车辆的视图包括前面、左前面或右前面，则所述盲点监视器确定或支持另一装置确定所述被监视车辆在与所述监视车辆相同的方向上行驶。
21.根据权利要求20所述的方法，其中，如果满足(i)第一条件，所述i个边界框中的第一边界框被确定为位于远离所述监视车辆的左后区域中形成的盲点中，并且从所述监视车辆看到的所述被监视车辆的视图包括所述前面或所述左前面，或者(ii)第二条件，所述i个边界框中的第二边界框被确定为位于远离所述监视车辆的右后区域中形成的盲点中，并且从所述监视车辆看到的所述被监视车辆的视图包括所述前面或所述右前面，则所述盲点监视器确定或支持另一装置将所述偶然车辆确定为不位于所述监视车辆的盲点中。
22.一种监视车辆的盲点的盲点监视器，包括：
通信部，用于获取或支持另一装置获取后视频图像或其对应的至少一个特征映射，其中从处于驾驶状态的监视车辆获取所述后视频图像；
处理器，用于执行或支持另一装置执行以下处理：(i)通过使用从所述通信部获取的特征映射或通过对从所述通信部获取的后视频图像映射应用一个或多个卷积运算计算出的特征映射，获取与位于所述后视频图像中的一个或多个对象相对应的m个建议框，(ii)通过对所述特征映射上的与所述m个建议框相对应的每个区域应用池化运算，获取特征向量，所述特征向量的每一个对应于所述m个建议框中的每一个，(iii)将与所述m个建议框中的每一个相对应的所述特征向量中的每一个输入到FC层中，以获取(iii-1)与所述m个建议框中的每一个相对应的第一种类中的每一者的第一分类分数中的每一个，以确认所述对象是否是被监视车辆，以及(iii-2)与所述m个建议框中的每一个相对应的第二种类中的每一者的第二分类分数中的每一个，以确认所述对象的姿势；(iv)通过参照所述第一种类的每一者的第一分类分数，在所述m个建议框中，将特定建议框确定为包括所述被监视车辆，(v)通过参照所述第二种类的每一者的第二分类分数，在所述特定建议框中选择被确定为包括姿势与所述监视车辆的行驶方向对应的至少一个特定被监视车辆的i个建议框，(vi)通过参照与所述i个建议框中的每一个相对应的回归信息，获取与所述i个建议框中的每一个相对应的i个边界框中的每一个，以及(vii)确定所述i个边界框中是否存在位于所述监视车辆的盲区中的至少一个边界框，由此确定至少一个偶然车辆是否位于盲点中，
其中，在处理(iii)中，所述处理器执行或支持另一装置执行以下处理：将与所述m个建议框中的每一个相对应的特征向量中的每一个输入到所述FC层中，从而通过经由所述FC层对所述特征向量应用回归运算，进一步获取(iii-3)与所述m个建议框中的每一个相对应的所述第一种类中的每一者的回归信息，
其中，所述处理器进一步执行以下处理：如果所述偶然车辆被确定为位于盲点中，则通过将关于所述偶然车辆的信息发送到控制单元，支持所述控制单元以防止所述监视车辆在朝向所述偶然车辆所位于的盲点的方向上改变车道。
23.根据权利要求22所述的盲点监视器，其中，在步骤(v)中，如果从所述监视车辆看到的所述被监视车辆的视图包括前面、左前面或右前面，则所述处理器确定或支持另一装置确定所述被监视车辆在与所述监视车辆相同的方向上行驶。
24.根据权利要求23所述的盲点监视器，其中，如果满足：第一条件，所述i个边界框中的第一边界框被确定为位于远离所述监视车辆的左后区域中形成的盲点中，并且从所述监视车辆看到的所述被监视车辆的视图包括所述前面或所述左前面；或者第二条件，所述i个边界框中的第二边界框被确定为位于远离所述监视车辆的右后区域中形成的盲点中，并且从所述监视车辆看到的所述被监视车辆的视图包括所述前面或所述右前面，则所述处理器确定或支持另一装置将所述偶然车辆确定为不位于所述监视车辆的盲点中。
CN201811168140.4A 2017-10-05 2018-10-08 监视车辆的盲点的方法及使用该方法的盲点监视器 Active CN109624850B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/725,394 US9947228B1 (en) 2017-10-05 2017-10-05 Method for monitoring blind spot of vehicle and blind spot monitor using the same
US15/725,394 2017-10-05

Publications (2)

Publication Number Publication Date
CN109624850A CN109624850A (zh) 2019-04-16
CN109624850B true CN109624850B (zh) 2022-04-08

Family

ID=61872578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811168140.4A Active CN109624850B (zh) 2017-10-05 2018-10-08 监视车辆的盲点的方法及使用该方法的盲点监视器

Country Status (5)

Country Link
US (1) US9947228B1 (zh)
EP (1) EP3467698B1 (zh)
JP (1) JP6704971B2 (zh)
KR (1) KR102098140B1 (zh)
CN (1) CN109624850B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10353388B2 (en) * 2016-10-17 2019-07-16 X Development Llc Drop-off location planning for delivery vehicle
WO2020039838A1 (ja) * 2018-08-22 2020-02-27 日立オートモティブシステムズ株式会社 画像処理装置および画像処理方法
US10311338B1 (en) * 2018-09-15 2019-06-04 StradVision, Inc. Learning method, learning device for detecting lanes on the basis of CNN and testing method, testing device using the same
CN109460820A (zh) * 2018-09-28 2019-03-12 深圳百诺国际生命科技有限公司 一种神经网络训练方法、装置、计算机设备和存储介质
US10474930B1 (en) * 2018-10-05 2019-11-12 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US10984262B2 (en) 2018-10-08 2021-04-20 StradVision, Inc. Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US10311321B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device using regression loss and testing method, testing device using the same
US10509987B1 (en) 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10635915B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for warning blind spot cooperatively based on V2V communication with fault tolerance and fluctuation robustness in extreme situation
US11518465B2 (en) 2019-03-27 2022-12-06 Gentex Corporation Motorcycle providing visual light warning to detected vehicles to notify detected vehicles of presence of motorcycle
US11420621B2 (en) 2019-03-31 2022-08-23 Gm Cruise Holdings Llc Autonomous vehicle maneuvering based upon risk associated with occluded regions
CN110245263B (zh) * 2019-05-15 2021-08-20 北京奇艺世纪科技有限公司 一种聚合方法、装置、电子设备及存储介质
CN110458225A (zh) * 2019-08-08 2019-11-15 北京深醒科技有限公司 一种车辆检测和姿态分类联合识别方法
KR102155054B1 (ko) * 2019-11-28 2020-09-11 국민대학교산학협력단 인공지능을 활용한 주변차량 컷인 의도 예측 방법
DE112020006572T5 (de) * 2020-01-20 2022-12-08 Mitsubishi Electric Corporation Bewegungsassistenzvorrichtung, Bewegungsassistenzlernvorrichtung und Bewegungsassistenzverfahren
KR102368441B1 (ko) 2020-05-28 2022-02-28 쌍용자동차 주식회사 사각지대경고장치를 결합한 사각지대 감시장치 및 방법
US11501538B2 (en) * 2020-08-24 2022-11-15 Verizon Connect Development Limited Systems and methods for detecting vehicle tailgating
KR20220026938A (ko) * 2020-08-26 2022-03-07 현대모비스 주식회사 차량의 후측방 경고 시스템 및 방법
CN112633258B (zh) * 2021-03-05 2021-05-25 天津所托瑞安汽车科技有限公司 一种目标确定方法及装置、电子设备、计算机可读存储介质
KR102345798B1 (ko) * 2021-03-18 2022-01-04 (주)에이아이매틱스 교차로 꼬리물기 인지 및 영상 저장 장치
CN113386669A (zh) * 2021-07-13 2021-09-14 虹软科技股份有限公司 一种辅助驾驶系统及车辆
US20240124028A1 (en) * 2022-10-14 2024-04-18 Aurora Operations, Inc Autonomous vehicle blind spot management

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942527A (zh) * 2013-01-18 2014-07-23 通用汽车环球科技运作有限责任公司 利用眼镜分类器的眼睛离开道路分类
US9141883B1 (en) * 2015-05-11 2015-09-22 StradVision, Inc. Method, hard negative proposer, and classifier for supporting to collect hard negative images using a similarity map
CN106407931A (zh) * 2016-09-19 2017-02-15 杭州电子科技大学 一种新型深度卷积神经网络运动车辆检测方法
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177214B1 (en) * 2014-04-10 2015-11-03 Xerox Corporation Method and apparatus for an adaptive threshold based object detection
KR20160096460A (ko) * 2015-02-05 2016-08-16 삼성전자주식회사 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법
CN106548127B (zh) * 2015-09-18 2022-11-04 松下电器（美国）知识产权公司 图像识别方法
US20170124409A1 (en) * 2015-11-04 2017-05-04 Nec Laboratories America, Inc. Cascaded neural network with scale dependent pooling for object detection
KR102592076B1 (ko) * 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
CN105667397B (zh) * 2015-12-30 2018-10-16 深圳佑驾创新科技有限公司 汽车后视系统及方法
KR20170086899A (ko) * 2016-01-19 2017-07-27 연세대학교 산학협력단 다중 카메라를 이용한 이륜차 검출 방법 및 그 장치
US9802599B2 (en) * 2016-03-08 2017-10-31 Ford Global Technologies, Llc Vehicle lane placement
JP6690312B2 (ja) * 2016-03-09 2020-04-28 株式会社Ｊｖｃケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
CN107180220B (zh) * 2016-03-11 2023-10-31 松下电器（美国）知识产权公司 危险预测方法
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera
CN105975941B (zh) * 2016-05-31 2019-04-12 电子科技大学 一种基于深度学习的多方向车型检测识别系统
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942527A (zh) * 2013-01-18 2014-07-23 通用汽车环球科技运作有限责任公司 利用眼镜分类器的眼睛离开道路分类
US9141883B1 (en) * 2015-05-11 2015-09-22 StradVision, Inc. Method, hard negative proposer, and classifier for supporting to collect hard negative images using a similarity map
CN106407931A (zh) * 2016-09-19 2017-02-15 杭州电子科技大学 一种新型深度卷积神经网络运动车辆检测方法
CN106599773A (zh) * 2016-10-31 2017-04-26 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
传感器感知盲区条件下智能汽车主动制动系统控制研究;袁朝春等;《农业机械学报》(第02期);全文 *

Also Published As

Publication number Publication date
EP3467698B1 (en) 2023-02-22
EP3467698A1 (en) 2019-04-10
JP2019071057A (ja) 2019-05-09
CN109624850A (zh) 2019-04-16
US9947228B1 (en) 2018-04-17
KR102098140B1 (ko) 2020-04-08
KR20190039648A (ko) 2019-04-15
JP6704971B2 (ja) 2020-06-03

Similar Documents

Publication Publication Date Title
CN109624850B (zh) 监视车辆的盲点的方法及使用该方法的盲点监视器
CN109606263B (zh) 对监视车辆的盲点进行监视的方法及使用该方法的盲点监视器
JP6872260B2 (ja) 自動車の車線変更に対する危険を警報する方法及びこれを利用した警報装置
JP4355341B2 (ja) 深度データを用いたビジュアルトラッキング
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
JP3897305B2 (ja) 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体
KR102082254B1 (ko) 차량 인식 시스템
JP2020052647A (ja) 物体検出装置、物体検出方法、物体検出用コンピュータプログラム及び車両制御システム
JP2022036726A (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
JP3952305B2 (ja) 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体
WO2019068699A1 (en) METHOD FOR CLASSIFYING AN OBJECT POINT AS STATIC OR DYNAMIC, DRIVER ASSISTANCE SYSTEM, AND MOTOR VEHICLE
CN117015792A (zh) 有凹图像放大用于自动驾驶生成物体检测标签的系统和方法
JP3888055B2 (ja) オプティカルフローを利用した列車前方異常検出装置
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
JP2007280387A (ja) 物体移動の検出方法及び検出装置
US20210049382A1 (en) Non-line of sight obstacle detection
JP2021092996A (ja) 計測システム、車両、計測方法、計測装置及び計測プログラム
KR101531313B1 (ko) 차량 하부의 물체 탐지장치 및 방법
EP4125063A1 (en) Methods and systems for occupancy class prediction and methods and systems for occlusion value determination
JP6868996B2 (ja) 障害物検知システム及び建設機械
US11417115B2 (en) Obstacle recognition device
US20240300508A1 (en) Data transmitter and method for data transmission
JP2021135957A (ja) 物体検知装置、物体検知方法、及び、プログラム
KR101292115B1 (ko) 차량용 영상 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant