CN111008552A - 用于监测车辆盲区的方法和装置 - Google Patents

用于监测车辆盲区的方法和装置 Download PDF

Info

Publication number
CN111008552A
CN111008552A CN201910949100.1A CN201910949100A CN111008552A CN 111008552 A CN111008552 A CN 111008552A CN 201910949100 A CN201910949100 A CN 201910949100A CN 111008552 A CN111008552 A CN 111008552A
Authority
CN
China
Prior art keywords
target vehicle
test
information
observation target
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910949100.1A
Other languages
English (en)
Other versions
CN111008552B (zh
Inventor
金桂贤
金镕重
金寅洙
金鹤京
南云铉
夫硕焄
成明哲
吕东勋
柳宇宙
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111008552A publication Critical patent/CN111008552A/zh
Application granted granted Critical
Publication of CN111008552B publication Critical patent/CN111008552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Automation & Control Theory (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种用于监测基准车辆的一个以上盲区的CNN的学习方法，包括以下步骤：在输入与来自所述基准车辆的检测器的输出对应的训练数据时，学习装置使线索信息提取层使用包含在所述训练数据中的关于观察对象车辆的类别信息及位置信息，从而输出关于所述观察对象车辆的线索信息；使盲区确认用FC层使用所述线索信息来执行神经网络运算，从而输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的判断结果；以及使损失层参考所述判断结果和与所述判断结果对应的GT来生成损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的参数。

Description

用于监测车辆盲区的方法和装置
技术领域
本发明涉及一种用于监测基准车辆的一个以上盲区的CNN(ConvolutionalNeural Network)的学习方法，更详细而言，涉及一种如下的学习方法和利用它的测试方法以及学习装置和测试装置，该学习方法为用于监测所述基准车辆的所述盲区的所述CNN的所述学习方法，包括以下步骤：(a)在输入与来自所述基准车辆的检测器的至少一个输出对应的训练数据的情况下，使线索信息提取层使用包含在所述训练数据中的关于观察对象车辆的类别信息及位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上线索信息；(b)使盲区确认用FC(Fully Connected，全连接)层使用关于所述观察对象车辆的所述线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的判断结果；以及(c)使损失层参考所述判断结果和与此对应的GT(Ground Truth，地面真值)来生成一个以上损失值，从而经由利用所述损失值的反向传播而学习所述盲区确认用FC层的一个以上参数。
背景技术
一般而言，为了在驾驶员驾驶车辆的过程中改变车道时能够通过观察侧方及后方而确保视野，在车辆的两侧设置有侧视镜，在车内前面中央部设置有后视镜。
侧视镜设置在车辆的两侧面上而被利用为确保侧方及后方视野，但具有无法确认靠近侧面的车辆或物体的盲区。
因此，具有在驾驶员未能确认紧贴在行驶中的车辆的侧面跟随的其他车辆而变更车道的情况下，有可能与在盲区中行驶的其他车辆发生接触事故的问题。
为了防止这种问题，还具有将表面形成为曲面的凸镜附着在侧视镜的一侧上以使驾驶员能够观测盲区的情况。
但是，由于在侧视镜上设置有凸镜等的情况下，驾驶员也为了变更车辆的车道而需要用肉眼确认盲区，因此发生增加驾驶员的驾驶疲劳度并且存在根据驾驶员的位置也无法用附着有凸镜的侧视镜确认的盲区的问题。
为了防止该问题，近年来提出了现有的盲区监测系统，该盲区监测系统将通过利用安装在车辆的后面上的传感器感测到靠近盲区或位于盲区的车辆等的信息提供给驾驶员，从而防止有可能因驾驶员在没有注意到位于盲区的车辆或靠近盲区的车辆等的情况下变更车道而发生的事故。
特别是，在利用视觉传感器的现有的盲区监测系统中，以视频信息为基础检测位于视频信息内的车辆，并且利用检测出的车辆的信息来判断车辆是否位于盲区。
为此，在利用现有的视觉传感器的盲区监测系统中，需要利用用于检测位于视频信息内的车辆的车辆检测器的输出信号来判断车辆是否位于盲区的逻辑(logic)。
但是，具有需要另行设计根据在利用现有的视觉传感器的盲区监测系统中使用的车辆检测器来判断车辆是否位于盲区的逻辑的问题。
此外，在设计利用现有的视觉传感器的盲区监测系统中使用的车辆检测器之后，需要设计按照设计出的车辆检测器的输出特性来判断车辆是否位于盲区的逻辑，因此具有在盲区监测系统开发方面消耗很多时间的问题。
发明内容
技术问题
本发明的目的是解决上述所有问题。
本发明的另一目的是提供一种能够与用于检测车辆的检测器的种类无关地应用的盲区监测系统。
本发明的又一目的是能够与检测器的种类无关地利用来自检测器的输出信号来判断车辆是否位于盲区。
本发明的又一目的是提供一种能够根据需要交换检测器的盲区监测系统。
本发明的又一目的是能够使盲区监测系统开发所需要的时间最小化。
技术方案
为了达到如上所述的本发明的目的并实现后述的本发明的特征效果，本发明的特征结构如下所述。
根据本发明的一方面，提供一种用于监测基准车辆的一个以上盲区的CNN(Convolutional Neural Network，卷积神经网络)的学习方法，包括：步骤a：在输入与来自所述基准车辆的检测器的至少一个输出对应的训练数据时，学习装置使线索信息提取层使用包含在所述训练数据中的关于观察对象车辆的类别信息及位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上线索信息；步骤b：所述学习装置使盲区确认用全连接FC层使用关于所述观察对象车辆的所述线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的判断结果；以及步骤c：所述学习装置使损失层参考所述判断结果和与所述判断结果对应的真实值GT来生成一个以上损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的一个以上参数。
在一实施例中，所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述线索信息为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
在一实施例中，关于所述观察对象车辆的所述线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述类别信息；(ii)关于所述观察对象车辆的所述位置信息；(iii)与感兴趣区域ROI大小对应的所述观察对象车辆的大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
在一实施例中，所述线索信息提取层将(i)左侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点与所述盲区的所述外侧面之间的所述距离信息，并且除了所述距离信息之外进一步输出相对位置信息以区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧。
根据本发明的另一方面，提供一种用于监测基准车辆的一个以上盲区的CNN的测试方法，包括：步骤a：在利用学习装置(i)使线索信息提取层使用与包含在来自所述基准车辆的检测器的至少一个输出对应的训练数据中的关于观察对象车辆的学习用类别信息及学习用位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上学习用线索信息，(ii)使盲区确认用全连接FC层使用关于所述观察对象车辆的所述学习用线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区内的学习用判断结果，(iii)使损失层参考所述学习用判断结果和与所述学习用判断结果对应的真实值GT来生成一个以上损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的一个以上参数的状态下，当从用于检测位于由所述基准车辆拍摄到的测试图像内的所述观察对象车辆的所述检测器获取关于所述观察对象车辆的测试用类别信息及测试用位置信息时，测试装置使所述线索信息提取层使用关于所述观察对象车辆的所述测试用类别信息及所述测试用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的一个以上测试用线索信息；以及步骤b：所述测试装置使所述盲区确认用FC层使用关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的测试用判断结果。
在一实施例中，所述检测器为基于R-CNN(Region-based Convolutional NeuralNetwork，基于区域的卷积神经网络)的车辆检测器，包括：一个以上卷积层，其从所述测试图像生成测试用特征图；区域建议网络(Region Proposal Network，RPN)，其从所述测试用特征图获得关于所述观察对象车辆的测试用感兴趣区域ROI；池化层，其通过对所述测试用特征图内的与所述测试用ROI对应的区域进行池化而生成测试用特征向量；至少一个车辆检测用FC层，其对所述测试用特征向量执行一次以上FC运算以生成一个以上FC输出值；分类层，其参考所述FC输出值来输出关于所述观察对象车辆的所述测试用类别信息；以及回归层，其参考所述FC输出值来输出关于所述观察对象车辆的所述测试用位置信息。
在一实施例中，所述测试装置使所述CNN接收通过连接由所述线索信息提取层生成的关于所述观察对象车辆的所述测试用线索信息和由所述检测器的所述池化层生成的所述测试用特征向量而得到的值以作为所述盲区确认用FC层的输入。
在一实施例中，所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
在一实施例中，关于所述观察对象车辆的所述测试用线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述测试用类别信息；(ii)关于所述观察对象车辆的所述测试用位置信息；(iii)与ROI大小对应的所述观察对象车辆的测试用大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
在一实施例中，所述线索信息提取层将(i)左侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点与所述盲区的所述外侧面之间的所述测试用距离信息，并且除了所述测试用距离信息之外进一步输出测试用相对位置信息以区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧。
在一实施例中，所述测试装置的所述基准车辆与所述学习装置的所述基准车辆不同。
根据本发明的又一方面，提供一种用于检测基准车辆的一个以上盲区的CNN的学习装置，包括：通信部，其用于接收与来自所述基准车辆的检测器的至少一个输出信号对应的训练数据；以及处理器，其执行以下过程：(I)使线索信息提取层使用包含在所述训练数据中的关于观察对象车辆的类别信息及位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上线索信息；(II)使盲区确认用全连接FC层使用关于所述观察对象车辆的所述线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的判断结果；以及(III)使损失层参考所述判断结果和与所述判断结果对应的真实值GT来生成一个以上损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的一个以上参数。
在一实施例中，所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述线索信息为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
在一实施例中，关于所述观察对象车辆的所述线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述类别信息；(ii)关于所述观察对象车辆的所述位置信息；(iii)与感兴趣区域ROI大小对应的所述观察对象车辆的大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
在一实施例中，所述线索信息提取层将(i)左侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点与所述盲区的所述外侧面之间的所述距离信息，并且除了所述距离信息之外进一步输出相对位置信息以区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧。
根据本发明的又一方面，提供一种用于监测基准车辆的一个以上盲区的CNN的测试装置，包括：通信部，在利用学习装置(i)使线索信息提取层使用与包含在来自所述基准车辆的检测器的至少一个输出对应的训练数据中的关于观察对象车辆的学习用类别信息及学习用位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上学习用线索信息，(ii)使盲区确认用全连接FC层使用关于所述观察对象车辆的所述学习用线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区内的学习用判断结果，(iii)使损失层参考所述学习用判断结果和与所述学习用判断结果对应的真实值GT来生成一个以上损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的一个以上参数的状态下，所述通信部从检测由所述基准车辆拍摄到的测试图像内的所述观察对象车辆的所述车辆检测器接收关于所述观察对象车辆的测试用类别信息及测试用位置信息；以及处理器，所述处理器执行以下过程：(I)使所述线索信息提取层使用关于所述观察对象车辆的所述测试用类别信息及所述测试用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的一个以上测试用线索信息；以及(II)使所述盲区确认用FC层使用关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的测试用判断结果。
在一实施例中，所述检测器为基于R-CNN(Region-based Convolutional NeuralNetwork，基于区域的卷积神经网络)的车辆检测器，包括：一个以上卷积层，其从所述测试图像生成测试用特征图；区域建议网络(Region Proposal Network，RPN)，其从所述测试用特征图获得关于所述观察对象车辆的测试用感兴趣区域ROI；池化层，其通过对所述测试用特征图内的与所述测试用ROI对应的区域进行池化而生成测试用特征向量；至少一个车辆检测用FC层，其对所述测试用特征向量执行一次以上FC运算以生成一个以上FC输出值；分类层，其参考所述FC输出值来输出关于所述观察对象车辆的所述测试用类别信息；以及回归层，其参考所述FC输出值来输出关于所述观察对象车辆的所述测试用位置信息。
在一实施例中，所述处理器使所述CNN接收通过连接由所述线索信息提取层生成的关于所述观察对象车辆的所述测试用线索信息和由所述检测器的所述池化层生成的所述测试用特征向量而得到的值以作为所述盲区确认用FC层的输入。
在一实施例中，所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
在一实施例中，关于所述观察对象车辆的所述测试用线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述测试用类别信息；(ii)关于所述观察对象车辆的所述测试用位置信息；(iii)与ROI大小对应的所述观察对象车辆的测试用大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
在一实施例中，所述线索信息提取层将(i)左侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点与所述盲区的所述外侧面之间的所述测试用距离信息，并且除了所述测试用距离信息之外进一步输出测试用相对位置信息以区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧。
在一实施例中，所述测试装置的所述基准车辆与所述学习装置的所述基准车辆不同。
除此之外，进一步提供一种用于记录计算机程序的计算机可读记录介质，所述计算机可读记录介质用于执行本发明的方法。
有益效果
本发明可提供一种能够与用于检测车辆的检测器的种类无关地应用的盲区监测系统。
本发明能够与检测器的种类无关地利用来自检测器的输出信号来判断车辆是否位于盲区。
本发明由于在盲区监测系统中未设计其他逻辑的情况下也能够根据需要交换检测器，因此能够使盲区监测系统的维护费用最小化。
由于本发明能够应用到所有检测器，因此无需与各个检测器对应地设计用于判断车辆是否位于盲区的逻辑，由此能够使盲区监测系统开发所需的时间最小化。
附图说明
为了说明本发明的实施例而所附的以下附图只是本发明的实施例中的一部分，本发明所属技术领域的具有普通知识的人员“以下，称为“本领域普通技术人员”在未实现发明工作的情况下可以以该附图为基础得到其他图。
图1是示意性地图示用于本发明的一实施例所涉及的基准车辆的盲区监测的学习装置的图。
图2是示意性地图示用于本发明的一实施例所涉及的盲区监测的学习方法的图。
图3是示意性地图示在用于本发明的一实施例所涉及的盲区监测的学习方法中关于观察对象车辆的线索信息中的观察对象车辆的位置的图。
图4是示意性地图示在用于本发明的一实施例所涉及的盲区监测的学习方法中关于观察对象车辆的线索信息中的观察对象车辆的中心点与盲区的外侧面之间的距离信息的图。
图5是示意性地图示在用于本发明的一实施例所涉及的盲区监测的学习方法中盲区确认用FC层的结构的图。
图6是示意性地图示用于本发明的一实施例所涉及的盲区监测的测试装置的图。
图7是示意性地图示用于本发明的一实施例所涉及的盲区监测的测试方法的图。
图8是示意性地图示在用于本发明的一实施例所涉及的盲区监测的测试装置中利用的检测器的图。
图9是示意性地图示用于本发明的另一实施例所涉及的盲区监测的学习装置的图。
图10示意性地图示用于本发明的另一实施例所涉及的盲区监测的学习方法的图。
图11是示意性地图示用于本发明的另一实施例所涉及的盲区监测的测试装置的图。
图12是示意性地图示用于本发明的另一实施例所涉及的盲区监测的测试方法的图。
具体实施方式
后述的对本发明的详细说明参照为了明确本发明的目的、技术方案和优点而作为示例图示能够实施本发明的具体实施例的附图。详细说明这些实施例，使得本领域普通技术人员能够实施本发明。
此外，在本发明的详细说明及权利要求中，“包括”这一词语及其变形并非用来去除其他技术特征、附加物、结构要素或步骤。对于本领域普通技术人员而言，能够部分地从本发明的说明书以及部分地本发明的实施中显然得知本发明的其他目的、优点及特性。以下示例及附图作为实例提供，并不是用来限定本发明。
本发明中提到的各种图像可包括与铺装或未铺装的道路相关的图像，在该情况下能够假定出现在道路环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机或无人机等的飞行器以及其他障碍物)，但本发明并不一定限定于此，本发明中提到的各种图像还可以是与道路无关的图像(例如，与非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内相关联的图像)，在该情况下能够假定有可能出现在非铺装道路、小巷、空地、海洋、湖泊、河流、山脉、森林、沙漠、天空、室内环境中的物体(例如，车辆、人类、动物、植物、物体、建筑物、如飞机和无人机等的飞行器以及其他障碍物)，但并不一定限定于此。
此外，本发明包括本说明书中表示的实施例的所有可能组合。应理解为本发明的多种实施例虽然彼此不同但没必要相互排斥。例如，在此记载的特定形状、结构及特性与一实施例相关联，在不脱离本发明的精神及范围的情况下可以以其他实施例实现。此外，应理解为在不脱离本发明的精神及范围的情况下能够变更各个公开实施例内的个别结构要素的位置或布置。因此，后述的详细说明不应视为限定性含义，在适当说明的情况下，本发明的范围仅由所附的权利要求和与该权利要求所主张的内容均等的所有范围来限定。在附图中，相似的附图标记在各个方面上指代相同或相似的功能。
下面，参照附图对本发明的优选实施例进行详细说明，使得本发明所属技术领域的普通技术人员能够容易实施本发明。
图1是示意性地图示用于本发明的一实施例所涉及的基准车辆的盲区监测的学习装置100的图，参照图1，所述学习装置100可包括通信部110和处理器120。
首先，所述通信部110能够接收与来自所述基准车辆的检测器的至少一个输出信号对应的训练数据。即，所述通信部110能够将来自后述的所述检测器的所述输出信息作为输入信号(即，所述训练数据)接收。
此时，所述训练数据为位于与来自所述检测器的输入视频对应的图像上的关于观察对象车辆的信息，可包括关于如所述观察对象车辆等的客体的类别信息和关于所述观察对象车辆位于图像内的区域的位置信息。此外，所述训练数据可以存储在数据库130中，在所述数据库130中能够与所述训练数据对应地存储有关于各个所述观察对象车辆的类别信息以及所述位置信息的GT(ground truth，真实值)。
接着，所述处理器120可执行以下过程：第1过程，使所述线索信息提取层使用包含在所述训练数据中的关于所述观察对象车辆的所述类别信息及所述位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上线索信息；第2过程，使盲区确认用FC(全连接)层使用关于所述观察对象车辆的所述线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的判断结果；和第3过程，使损失层以所述判断结果和与其对应的GT为参考来生成一个以上损失值，从而通过反向传播所述损失值来学习所述盲区确认用FC层的一个以上参数。
此时，本发明的一实施例所涉及的所述学习装置100为计算装置，只要是搭载处理器并具有运算能力的任何装置则能够用作本发明所涉及的学习装置100。此外，在图1中只表示一个学习装置100，但并不限定于此，所述学习装置100也可以分成多个来执行功能。
参照图2进行说明，则利用由如此构成的本发明的实施例构造的所述学习装置来监测所述基准车辆的所述盲区的学习方法如下所述。
首先，在输入与来自所述基准车辆的检测器的所述输出信号对应的所述训练数据的情况下，所述学习装置100使所述线索信息提取层121使用包含在所述训练数据中的关于所述观察对象车辆的所述类别信息及所述位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的所述线索信息。
此时，所述检测器检测位于由视觉传感器获取的图像内的所述观察对象车辆，可由用于检测作为推断为所述观察对象车辆位于所述图像内的区域的ROI(感兴趣区域)的假设生成步骤(hypothesis generation stage)和用于判断检测出的所述ROI是否包括所述观察对象车辆的假设确认步骤(hypothesis verification stage)构成。并且，所述假设生成步骤可由利用光流的基于运动的方案(motion-based scheme)和利用车辆的影子、角落、水平及垂直边缘、对称、颜色、车灯、立体相机、多个特征等的基于形状的方案(appearance-based scheme)等实现，所述假设确认步骤可由利用模板匹配的基于相关关系的方案(correlation-based scheme)、利用特征及分类器(classifier)的基于学习的方案(learning-based scheme)等实现。特别是，在所述基于学习的方案中可应用如CNN的基于深度学习的算法、或者决策树(decision tree)、SVM(Support Vector Machine，支持向量机)、AdaBoost、KNN(K最近邻)等的基于浅层学习(shallow learning)的算法。
并且，关于所述观察对象车辆的所述线索信息可包含以下信息中的至少一部分：(i)关于观察对象车辆的所述类别信息、(ii)关于所述观察对象车辆的所述位置信息、(iii)与所述ROI大小对应的所述观察对象车辆的大小信息、(iv)所述观察对象车辆的纵横比(aspect ratio)信息以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
此时，关于所述观察对象车辆的所述类别信息可以是用于将所述观察对象车辆分类为汽车、摩托车等的类别信息。
此外，参照图3，所述观察对象车辆的所述位置信息可以是与所述观察对象车辆位于所述图像内的区域对应的位置信息。作为一例，与所述观察对象车辆对应的边界框的位置信息可包括所述图像内的所述边界框的左上角(TOP_LEFT)坐标和右下角(BOTTOM_RIGHT)坐标。此外，可包括所述边界框的中心(CENTER)坐标，但也可以通过利用所述边界框的所述左上角坐标和所述右下角坐标的运算来获取该中心坐标。
此外，参照图4，将(i)左侧盲区(BS-L)的外边界与所述观察对象车辆的所述中心点之间的距离及(ii)右侧盲区(BS-R)的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点C与所述盲区的所述外侧面S之间的所述距离信息L，为了划分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧，可进一步包含相对位置信息，作为一例可进一步包括(+)或(-)。
接着，所述学习装置100使所述盲区确认用FC层122使用关于所述观察对象车辆的所述线索信息来执行所述神经网络运算，从而输出所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的所述判断结果。
此时，参照图5，所述盲区确认用FC层122可由神经网络构成，该神经网络通过以关于所述观察对象车辆的所述线索信息为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。在图5中图示了输入信息的个数为四个(输入1、输入2、输入3、输入4)，但这只是为了方便说明，所述输入信息的个数可被设定为与由所述线索信息提取层121生成的所述线索信息对应。此外，在图5中用一个层图示了隐藏层，但并不限定于此，该隐藏层可包括多个层
接着，所述学习装置100能够使所述损失层123以从所述盲区确认用FC层122输出的所述判断结果和与其对应的GT为参考来生成所述损失值，从而通过反向传播所述损失值来学习所述盲区确认用FC层122。
所述线索信息提取层121、所述盲区确认用FC层122及所述损失层123可以包括在一个计算装置中，或者可以分别包括在彼此不同的计算装置中，并且也可以通过在计算装置内执行如上所述的操作的算法来实现。
图6是示意性地图示用于本发明的一实施例所涉及的基准车辆的盲区监测的测试装置200的图，所述测试装置的所述基准车辆可以与前述的所述学习装置的基准车辆相同或也可以不相同，参照图6，所述测试装置200可包括通信部210和处理器220。
首先，所述通信部210能够从检测位于由所述基准车辆拍摄到的测试图像内的观察对象车辆的检测器20中接收关于所述观察对象车辆的测试用类别信息及测试用位置信息。
接着，所述处理器220可执行以下过程：第1过程，使所述线索提取层使用关于所述观察对象车辆的所述测试用类别信息及所述测试用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的一个以上测试用线索信息；和第2过程，使所述盲区确认用FC层使用关于所述观察对象车辆的所述测试用线索信息或处理该测试用线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的测试用判断结果。
下面，为了区分上述的学习方法和测试方法而使用词语“学习用”及“测试用”。
此时，针对盲区确认用FC层，利用参照图1至图5进行说明的所述学习方法且通过所述学习装置来学习一个以上参数，对所述学习方法进行简略说明则如下所述。能够利用所述学习装置，(i)在输入与来自所述基准车辆的所述检测器20的至少一个输出信号对应的所述训练数据的情况下，使所述线索信息提取层使用包含在所述训练数据中的关于所述观察对象车辆的学习用类别信息及学习用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的一个以上学习用线索信息；(ii)使所述盲区确认用FC层使用关于所述观察对象车辆的所述学习用线索信息来执行所述预定神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的学习用判断结果，(iii)使所述损失层以所述学习用判断结果和与其对应的GT为参考来生成一个以上损失值，从而通过反向传播所述损失值来学习所述盲区确认用FC层的所述参数。
并且，本发明的一实施例所涉及的所述测试装置200为计算装置，只要是搭载处理器并具有运算能力的装置则能够用作本发明所涉及的测试装置200。此外，在图6中只表示一个测试装置200，但并不限定于此，所述测试装置200也可以分成多个来执行功能。
参照图7，则利用本发明的一实施例所涉及的所述盲区监测的所述测试装置来进行所述盲区监测的测试方法如下所述。
首先，在执行所述测试方法之前，利用所述学习装置，(i)使所述线索信息提取层221使用包含在与来自所述检测器20的所述输出信号对应的所述训练数据中的关于所述观察对象车辆的所述学习用类别信息及所述学习用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的所述学习用线索信息；(ii)使所述盲区确认用FC层222使用所述学习用线索信息来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区内的所述学习用判断结果；(iii)使所述损失层以所述学习用判断结果和与其对应的GT为参考来生成所述损失值，从而通过反向传播所述损失值来学习所述盲区确认用FC层222的所述参数的状态下，所述检测器20检测位于由所述基准车辆拍摄到的测试图像内的所述观察对象车辆，并且输出关于检测出的所述观察对象车辆的所述测试用类别信息及所述测试用位置信息。
此时，所述检测器20检测位于由视觉传感器获取的图像内的所述观察对象车辆，可由用于检测作为推断为所述观察对象车辆位于所述图像内的区域的ROI的假设生成步骤和用于判断检测出的所述ROI是否包括所述观察对象车辆的假设确认步骤构成。并且，所述假设生成步骤可由利用光流的基于运动的方案和利用车辆的影子、角落、水平及垂直边缘、对称、颜色、车灯、立体相机、多个特征等的基于形状的方案等实现，所述假设确认步骤可由利用模板匹配的基于相关关系的方案、利用特征及分类器的基于学习的方案等实现。特别是，在所述基于学习的方案中可应用如CNN的基于深度学习的算法、或者决策树、SVM、AdaBoost、KNN等的基于浅层学习的算法。
作为一例，参照图8，所述检测器20为基于R-CNN的车辆检测器，可包括：卷积层21，从所述测试图像获取测试用特征图；RPN 22，从所述测试用特征图生成关于所述观察对象车辆的测试用ROI；池化层23，通过对所述测试用特征图内的与所述测试用ROI对应的区域进行池化而生成测试用特征向量；至少一个车辆检测用FC层24，通过对所述测试用特征向量执行至少一次FC运算而生成一个以上FC输出值；分类(classification)层25，参考所述FC输出值而输出关于所述观察对象车辆的所述测试用类别信息；以及回归(regression)层26，参考所述FC输出值而输出所述观察对象车辆的所述测试用位置信息。此时，虽然将所述卷积层21和所述车辆检测用FC层24分别作为一个层来进行说明，但并不限定于此，也可以分别由多个层形成。此外，所述测试用特征图也可以作为与所述卷积层21的信道深度对应的一个以上特征图输出。
于是，所述测试装置200使所述线索信息提取层221使用关于所述观察对象车辆的所述测试用类别信息及所述测试用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的所述测试用线索信息。
此时，关于所述观察对象车辆的所述测试用线索信息可包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述测试用类别信息；(ii)关于所述观察对象车辆的所述测试用位置信息；(iii)与测试用ROI大小对应的所述观察对象车辆的测试用大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的测试用距离信息。
并且，所述观察对象车辆的测试用类别信息可以是用于将所述观察对象车辆分类为汽车、摩托车等的类别信息。
此外，如参照图3进行说明的那样，所述观察对象车辆的所述测试用位置信息可以是与观察对象车辆位于所述测试图像内的区域对应的位置信息。作为一例，作为与所述观察对象车辆对应的边界框的位置信息，可包含所述测试图像内的所述边界框的左上角坐标和右下角坐标。此外，可包含所述边界框的中心坐标，但该中心坐标可通过利用所述边界框的所述左上角坐标和右下角坐标的运算来获取。
此外，如参照图4进行说明的那样，将(i)左侧盲区(BS-L)的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区(BS-R)的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点C与所述盲区的所述外侧面S之间的所述测试用距离信息L，并且为了区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧，可进一步包含测试用相对位置信息，作为一例可进一步包含(+)或(-)。
接着，所述测试装置200使所述盲区确认用FC层222使用关于所述观察对象车辆的所述测试用线索信息或处理该线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的测试用判断结果。
此时，处理所述测试用线索信息而得到的值可以是利用由所述线索信息提取层221输出的关于所述观察对象车辆的所述测试用线索信息和由所述检测器20的所述池化层23输出的所述测试用特征向量来进行连接(concatenating)而得到的值，连接所述测试用线索信息和所述测试用特征向量的特征连接层也可以位于所述盲区确认用FC层222的前端。
此外，如参照图5进行说明的那样，所述盲区确认用FC层222可由所述神经网络构成，该神经网络通过以关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
所述线索信息提取层221及所述盲区确认用FC层222可以包括在一个计算装置中，或者可以包括在各个彼此不同的计算装置中，并且也可以通过在计算装置内执行如上所述的操作的算法来实现。
图9是示意性地图示用于本发明的另一实施例所涉及的基准车辆的盲区监测的学习装置300的图，参照图9，所述学习装置300可包括通信部310和处理器320。
首先，所述通信部310可接收与由所述基准车辆拍摄到的视频图像对应的训练数据。
此时，所述训练数据可以存储在数据库330中，在所述数据库330中能够与所述训练数据对应地存储有关于各个观察对象车辆的类别信息以及位置信息的GT(真实值)。
接着，所述处理器320可执行以下过程：第1过程，使所述基准车辆的检测器30输出关于所述观察对象车辆的所述类别信息及所述位置信息；第2过程，使线索信息提取层使用关于所述观察对象车辆的所述类别信息及所述位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上线索信息，并且使盲区确认用FC层使用关于所述观察对象车辆的所述线索信息或处理该线索信息而得到的值来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述盲区中的一个盲区的判断结果；和第3过程，使第1损失层以所述判断结果和与其对应的第1GT为参考来生成一个以上盲区损失值，从而通过反向传播所述盲区损失值来学习盲区确认用FC层的一个以上参数，并且使第2损失层以关于所述观察对象车辆的所述类别信息及所述位置信息和与其对应的第2GT为参考来生成一个以上车辆检测损失值，从而通过反向传播所述车辆检测损失值来学习所述检测器的一个以上参数。
此时，本发明的另一实施例所涉及的所述学习装置300为计算装置，只要是搭载处理器并具有运算能力的任何装置则能够用作本发明所涉及的学习装置300。此外，在图9中只表示一个学习装置300，但并不限定于此，所述学习装置300也可以分成多个来执行功能。
参照图10进行说明，则利用由如此构成的本发明的另一实施例构造的所述学习装置来检测所述基准车辆的所述盲区的学习方法则如下所述。
首先，在输入与由所述基准车辆拍摄到的所述视频对象对应的训练图像的情况下，所述检测器30输出包含在所述训练图像中的关于所述观察对象车辆的所述类别信息及所述位置信息。
此时，车辆检测器30检测位于由视觉传感器获取的图像内的所述观察对象车辆，可由用于检测作为推断为所述观察对象车辆位于所述图像内的区域的ROI的假设生成步骤和用于判断检测出的所述ROI是否包括所述观察对象车辆的假设确认步骤构成。并且，所述假设生成步骤可由利用光流的基于运动的方案和利用车辆的影子、角落、水平及垂直边缘、对称、颜色、车灯、立体相机、多个特征等的基于形状的方案等实现，所述假设确认步骤可由利用模板匹配的基于相关关系的方案、利用特征及分类器的基于学习的方案等实现。特别是，在所述基于学习的方案中可应用如CNN的基于深度学习的算法、或者决策树、SVM、AdaBoost、KNN等的基于浅层学习的算法。
作为一例，与参照图8进行说明的检测器相似地，所述检测器30为基于R-CNN的车辆检测器，可包括：卷积层31，从所述测试图像中获取特征图；RPN32，从所述特征图中生成关于所述观察对象车辆的所述ROI；池化层33，通过对所述特征图内的与所述ROI对应的区域进行池化而生成特征向量；至少一个车辆检测用FC层34，通过对所述特征向量执行至少一次FC(fully connected)运算而生成一个以上FC输出值；分类层35，参考所述FC输出值而输出关于所述观察对象车辆的类别信息；以及回归层36，参考所述FC输出值而输出所述观察对象车辆的所述位置信息。此时，所述卷积层31和所述车辆检测用FC层34可分别由至少一个层形成。
接着，所述学习装置300使所述线索信息提取层321使用关于所述观察对象车辆的所述类别信息及所述位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的所述线索信息。
此时，关于所述观察对象车辆的所述线索信息可包含(i)关于所述观察对象车辆的所述类别信息、(ii)关于所述观察对象车辆的所述位置信息、(iii)与所述ROI大小对应的所述观察对象车辆的大小信息、(iv)所述观察对象车辆的纵横比信息以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息中的至少一部分。
并且，关于所述观察对象车辆的所述类别信息可以是用于将所述观察对象车辆分类为汽车、摩托车等的类别信息。
此外，如参照图3进行说明的那样，所述观察对象车辆的所述位置信息可以是与在所述图像内所述观察对象所处的区域对应的位置信息。作为一例，作为与所述观察对象车辆对应的边界框的位置信息，可包含所述图像内的所述边界框的左上角坐标和右下角坐标。此外，可包含所述边界框的中心坐标，但该中心坐标可通过利用所述边界框的所述左上角坐标和所述右下角坐标的运算来获取。
此外，如参照图4进行说明的那样，将(i)左侧盲区(BS-L)的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区(BS-R)的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点C与所述盲区的所述外侧面S之间的所述距离信息L，并且为了区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧，可进一步包含相对位置信息，作为一例可进一步包含(+)或(-)。
接着，所述学习装置300能够使所述盲区确认用FC层322使用关于所述观察对象车辆的所述线索信息或处理该线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的所述判断结果。
此时，处理所述线索信息而得到的值可以是通过连接由所述线索提取层321输出的关于所述观察对象车辆的所述线索信息和由所述检测器30的所述池化层33输出的所述特征向量而得到的值，连接所述线索信息和所述特征向量的特征连接层340也可以位于所述盲区确认用FC层322的前端。
此外，如参照图5进行说明的那样，所述盲区确认用FC层322也可以由神经网络构成，该神经网络通过以关于所述观察对象车辆的所述线索信息或处理该线索信息而得到的值为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
接着，所述学习装置300能够使所述第1损失层323以(i)关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的所述判断结果以及(ii)与其对应的所述第1GT为参考来获取所述盲区损失值，从而通过反向传播所述盲区损失值来学习所述盲区确认用FC层322的所述参数，并且使所述第2损失层324以关于所述观察对象车辆的所述类别信息及所述位置信息和与其对应的所述第2GT为参考来获取所述车辆检测损失值，从而通过反向传播所述车辆检测损失值来学习所述检测器30的所述参数。
此时，所述车辆检测损失值可包含关于所述观察对象车辆的一个以上类别损失值和一个以上位置损失值，所述学习装置300能够通过反向传播所述类别损失值和所述位置损失值来学习所述检测器30的所述车辆检测用FC层34的一个以上参数或所述卷积层31的一个以上参数。此外，虽然未图示，但所述学习装置300也可以以由所述检测器30的所述RPN32生成的所述ROI和与所述训练图像对应的ROI GT为参考来获取一个以上ROI损失值，并且通过反向传播该ROI损失值来学习所述RPN 32的一个以上参数。
所述线索信息提取层321及所述盲区确认用FC层322可以包括在一个计算装置中，或者可以分别包括在彼此不同的计算装置中，并且也可以通过在计算装置内执行如上所述的操作的算法来实现。此外，所述第1损失层323及所述第2损失层324可以包括在一个计算装置中，或者可以分别包括在彼此不同的计算装置中，并且也可以通过在计算装置内执行如上所述的操作的算法来实现。
图11是示意性地图示用于本发明的另一实施例所涉及的基准车辆的盲区监测的测试装置400的图，所述测试装置的所述基准车辆可以与前述的所述学习装置的基准车辆相同或也可以不相同，参照图11，所述测试装置400可包括通信部410和处理器420。
首先，所述通信部410能够从检测位于由所述基准车辆拍摄到的测试图像内的观察对象车辆的检测器40中接收关于所述观察对象车辆的测试用类别信息及测试用位置信息。
此时，所述检测器40检测位于由视觉传感器获取的图像内的所述观察对象车辆，可由用于检测作为推断为所述观察对象车辆位于所述图像内的区域的ROI的假设生成步骤和用于判断检测出的所述ROI是否包括所述观察对象车辆的假设确认步骤构成。并且，所述假设生成步骤可由利用光流的基于运动的方案和利用车辆的影子、角落、水平及垂直边缘、对称、颜色、车灯、立体相机、多个特征等的基于形状的方案等实现，所述假设确认步骤可由利用模板匹配的基于相关关系的方案、利用特征及分类器的基于学习的方案等实现。特别是，在所述基于学习的方案中可应用如CNN的基于深度学习的算法、或者决策树、SVM、AdaBoost、KNN等的基于浅层学习的算法。
作为一例，如参照图8所描述的那样，所述检测器40为基于R-CNN的车辆检测器，可包括：所述卷积层，从所述测试图像中获取测试用特征图；所述RPN，从所述测试用特征图中生成关于所述观察对象车辆的测试用ROI；所述池化层，通过对所述测试用特征图内的与所述测试用ROI对应的区域进行池化而生成测试用特征向量；所述车辆检测用FC层，通过对所述测试用特征向量执行一次以上的FC(fully connected)运算而生成一个以上FC输出值；所述分类层，参考所述FC输出值而输出关于所述观察对象车辆的所述测试用类别信息；以及回归层，参考所述FC输出值而输出所述观察对象车辆的所述测试用位置信息。此时，虽然将所述卷积层和所述车辆检测用FC层分别作为一个层来进行说明，但并不限定于此，也可以分别由多个层形成。此外，所述测试用特征图也可以作为与所述卷积层41的信道深度对应的一个以上特征图输出。
接着，处理器420能够执行以下过程：第1过程，使所述线索信息提取层使用关于所述观察对象车辆的所述测试用类别信息及所述测试用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的一个以上测试用线索信息；和第2过程，使所述盲区确认用FC层使用关于所述观察对象车辆的所述测试用线索信息或处理该测试用线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的测试用判断结果。
下面，为了区分上述的学习方法和测试方法而使用词语“学习用”及“测试用”。
此时，针对所述检测器40和所述盲区确认用FC层，利用参照图9和图10进行说明的学习方法且通过所述学习装置来学习参数，对所述学习方法进行简略说明则如下所述。在所述检测器40输出包含在与由所述基准车辆拍摄到的视频图像对应的训练图像中的关于所述观察对象车辆的学习用类别信息及学习用位置信息的情况下，所述学习装置能够(i)使所述线索信息提取层使用关于所述观察对象车辆的所述学习用类别信息及所述学习用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的一个以上学习用线索信息，(ii)使所述盲区确认用FC层使用关于所述观察对象车辆的所述学习用线索信息或处理该线索信息而得到的值执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的学习用判断结果；(iii)使所述第1损失层以所述学习用判断结果和与其对应的所述第1GT为参考来生成一个以上盲区损失值，从而通过反向传播所述盲区损失值来学习所述盲区确认用FC层的参数，并且使所述第2损失层将所述学习用类别信息及所述学习用位置信息和与其对应的所述第2GT相比较来生成一个以上车辆检测损失值，从而通过反向传播所述车辆检测损失值来学习所述检测器的参数。
并且，本发明的另一实施例所涉及的所述测试装置400为计算装置，只要是搭载处理器并具有运算能力的任何装置则能够用作本发明所涉及的测试装置400。此外，在图11中只表示一个测试装置400，但并不限定于此，所述测试装置400也可以分成多个来执行功能。
参照图12进行说明，则利用由如此构成的本发明的另一实施例构造的所述测试装置来监测所述基准车辆的所述盲区的测试方法如下所述。
首先，在所述检测器40输出包含在与由所述基准车辆拍摄到的所述视频图像对应的所述训练图像中的关于所述观察对象车辆的所述学习用类别信息及所述学习用位置信息的情况下，所述学习装置能够(i)使所述线索信息提取层421使用关于所述观察对象车辆的所述学习用类别信息及所述学习用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的所述学习用线索信息；(ii)使所述盲区确认用FC层422使用所述学习用线索信息或处理该学习用线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的所述学习用判断结果；(iii)使所述第1损失层以所述学习用判断结果和与其对应的所述第1GT为参考来生成所述盲区损失值，从而通过反向传播所述盲区损失值来学习所述盲区确认用FC层422的所述参数，并且使所述第2损失层以所述学习用类别信息及所述学习用位置信息和与其对应的所述第2GT为参考来生成所述车辆检测损失值，从而通过反向传播所述车辆检测损失值来学习所述检测器40的所述参数的状态下，所述检测器40检测位于由所述基准车辆拍摄到的测试图像内的所述观察对象车辆，输出关于检测出的所述观察对象车辆的测试用类别信息及测试用位置信息。
此时，所述检测器40检测位于由视觉传感器获取的图像内的所述观察对象车辆，可由用于检测作为推断为所述观察对象车辆位于所述图像内的区域的ROI的假设生成步骤和用于判断检测出的所述ROI是否包括所述观察对象车辆的假设确认步骤构成。并且，所述假设生成步骤可由利用光流的基于运动的方案和利用车辆的影子、角落、水平及垂直边缘、对称、颜色、车灯、立体相机、多个特征等的基于形状的方案等实现，所述假设确认步骤可由利用模板匹配的基于相关关系的方案、利用特征及分类器的基于学习的方案等实现。特别是，在所述基于学习的方案中可应用如CNN的基于深度学习的算法、或者决策树、SVM、AdaBoost、KNN等的基于浅层学习的算法。
作为一例，所述检测器40为基于R-CNN的车辆检测器，可包括：所述卷积层41，从所述测试图像获取测试用特征图；所述RPN 42，从所述测试用特征图生成关于所述观察对象车辆的所述测试用ROI；所述池化层43，通过对所述测试用特征图内的与所述测试用ROI对应的区域进行池化而生成测试用特征向量；所述车辆检测用FC层44，通过对所述测试用特征向量执行FC运算而生成一个以上FC输出值；所述分类层45，参考所述FC输出值而输出关于所述观察对象车辆的所述测试用类别信息；以及所述回归层46，参考所述FC输出值而输出关于所述观察对象车辆的所述测试用位置信息。此时，虽然所述卷积层41和所述车辆检测用FC层44分别作为一个层来进行说明，但并不限定于此，也可以分别由多个层形成。
于是，所述测试装置400使所述线索信息提取层421使用关于所述观察对象车辆的所述测试用类别信息及所述测试用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的所述测试用线索信息。
此时，关于所述观察对象车辆的所述测试用线索信息可包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述测试用类别信息；(ii)关于所述观察对象车辆的测试用位置信息；(iii)与测试用ROI大小对应的所述观察对象车辆的测试用大小信息；(iv)所述观察对象车辆的测试用纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的测试用距离信息。
并且，关于所述观察对象车辆的所述测试用类别信息可以是用于将所述观察对象车辆分类为汽车、摩托车等的类别信息。
此外，如参照图3进行说明的那样，所述观察对象车辆的所述测试用位置信息可以是与观察对象车辆位于所述测试图像内的区域对应的位置信息。作为一例，作为与所述观察对象车辆对应的边界框的位置信息，可包含所述测试图像内的所述边界框的左上角坐标和右下角坐标。此外，可包含所述边界框的中心坐标，但该中心坐标可通过利用所述边界框的所述左上角坐标和右下角坐标的运算来获取。
此外，如参照图4进行说明的那样，将(i)左侧盲区(BS-L)的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区(BS-R)的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点C与所述盲区的所述外侧面S之间的所述测试用距离信息L，并且为了区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧，可进一步包含测试用相对位置信息，作为一例可进一步包含(+)或(-)。
接着，所述测试装置400使所述盲区确认用FC层422使用关于所述观察对象车辆的所述测试用线索信息或处理该测试用线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的所述测试用判断结果。
此时，处理所述测试用线索信息而得到的值可以是利用由所述线索信息提取层421输出的关于所述观察对象车辆的所述测试用线索信息和由所述检测器40的所述池化层43输出的所述测试用特征向量来进行连接(concatenating)而得到的值，连接所述测试用线索信息和所述测试用特征向量的特征连接层440也可以位于所述盲区确认用FC层422的前端。
此外，如参照图5进行说明的那样，所述盲区确认用FC层422可由所述神经网络构成，该神经网络通过以关于所述观察对象车辆的所述测试用线索信息或处理该测试用线索信息而得到的值为输入的所述多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的一个结果值。
所述线索信息提取层421及所述盲区确认用FC层422可以包括在一个计算装置中，或者可以包括在各个彼此不同的计算装置中，并且也可以通过在计算装置内执行如上所述的操作的算法来实现。
此外，以上说明的本发明所涉及的实施例可以以能够通过各种计算机结构要素执行的程序命令的形态实现，并且存储在计算机可读记录介质中。所述计算机可读记录介质可以单独或组合包含程序命令、数据文件、数据结构等。存储在所述计算机可读记录介质中的程序命令是为本发明而特别设计并构成的，但也可以是计算机软件领域的技术人员公知而能够使用的程序命令。计算机可读记录介质的例子包含如硬盘、软盘及磁带的磁介质、如CD-ROM、DVD的光记录介质、如软式光盘(floptical disk)的磁光介质(magneto-opticalmedia)、以及如ROM、RAM、快闪存储器等的为了存储及执行程序命令而特别构成的硬件装置。作为程序命令的例子不仅包含如由编译器生成的机器代码，还包含使用解释器等能够由计算机运行的高级语言代码。为了执行本发明所涉及的处理，所述硬件装置可被构成为以一个以上软件模块实现操作，反之也同样。
以上，通过如具体结构要素等的特定事项和限定的实施例及附图对本发明进行了说明，但这只是为了有助于本发明的更全面的理解而提供的，本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员基于这种记载可进行各种修改及变形。
因此，本发明的思想并非由上述说明的实施例限定，权利要求书及与该权利要求书均等或等价变形的所有内容属于本发明的思想范畴。

Claims (22)

1.一种用于监测基准车辆的一个以上盲区的卷积神经网络CNN的学习方法，包括：
步骤a：在输入与来自所述基准车辆的检测器的至少一个输出对应的训练数据时，学习装置使线索信息提取层使用包含在所述训练数据中的关于观察对象车辆的类别信息及位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上线索信息；
步骤b：所述学习装置使盲区确认用全连接FC层使用关于所述观察对象车辆的所述线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的判断结果；以及
步骤c：所述学习装置使损失层参考所述判断结果和与所述判断结果对应的真实值GT来生成一个以上损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的一个以上参数。
2.根据权利要求1所述的学习方法，其中，
所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述线索信息为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
3.根据权利要求1所述的学习方法，其中，
关于所述观察对象车辆的所述线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述类别信息；(ii)关于所述观察对象车辆的所述位置信息；(iii)与感兴趣区域ROI大小对应的所述观察对象车辆的大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
4.根据权利要求3所述的学习方法，其中，
所述线索信息提取层将(i)左侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点与所述盲区的所述外侧面之间的所述距离信息，并且除了所述距离信息之外进一步输出相对位置信息以区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧。
5.一种用于监测基准车辆的一个以上盲区的卷积神经网络CNN的测试方法，包括：
步骤a：在利用学习装置(i)使线索信息提取层使用与包含在来自所述基准车辆的检测器的至少一个输出对应的训练数据中的关于观察对象车辆的学习用类别信息及学习用位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上学习用线索信息，(ii)使盲区确认用全连接FC层使用关于所述观察对象车辆的所述学习用线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区内的学习用判断结果，(iii)使损失层参考所述学习用判断结果和与所述学习用判断结果对应的真实值GT来生成一个以上损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的一个以上参数的状态下，当从用于检测位于由所述基准车辆拍摄到的测试图像内的所述观察对象车辆的所述检测器获取关于所述观察对象车辆的测试用类别信息及测试用位置信息时，测试装置使所述线索信息提取层使用关于所述观察对象车辆的所述测试用类别信息及所述测试用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的一个以上测试用线索信息；以及
步骤b：所述测试装置使所述盲区确认用FC层使用关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的测试用判断结果。
6.根据权利要求5所述的测试方法，其中，
所述检测器为基于R-CNN(Region-based ConvolutionalNeuralNetwork，基于区域的卷积神经网络)的车辆检测器，包括：
一个以上卷积层，其从所述测试图像生成测试用特征图；
区域建议网络(Region ProposalNetwork，RPN)，其从所述测试用特征图获得关于所述观察对象车辆的测试用感兴趣区域ROI；
池化层，其通过对所述测试用特征图内的与所述测试用ROI对应的区域进行池化而生成测试用特征向量；
至少一个车辆检测用FC层，其对所述测试用特征向量执行一次以上FC运算以生成一个以上FC输出值；
分类层，其参考所述FC输出值来输出关于所述观察对象车辆的所述测试用类别信息；以及
回归层，其参考所述FC输出值来输出关于所述观察对象车辆的所述测试用位置信息。
7.根据权利要求6所述的测试方法，其中，
所述测试装置使所述CNN接收通过连接由所述线索信息提取层生成的关于所述观察对象车辆的所述测试用线索信息和由所述检测器的所述池化层生成的所述测试用特征向量而得到的值以作为所述盲区确认用FC层的输入。
8.根据权利要求5所述的测试方法，其中，
所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
9.根据权利要求5所述的测试方法，其中，
关于所述观察对象车辆的所述测试用线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述测试用类别信息；(ii)关于所述观察对象车辆的所述测试用位置信息；(iii)与ROI大小对应的所述观察对象车辆的测试用大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
10.根据权利要求9所述的测试方法，其中，
所述线索信息提取层将(i)左侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点与所述盲区的所述外侧面之间的所述测试用距离信息，并且除了所述测试用距离信息之外进一步输出测试用相对位置信息以区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧。
11.根据权利要求5所述的测试方法，其中，
所述测试装置的所述基准车辆与所述学习装置的所述基准车辆不同。
12.一种用于监测基准车辆的一个以上盲区的卷积神经网络CNN的学习装置，包括：
通信部，其用于接收与来自所述基准车辆的检测器的至少一个输出信号对应的训练数据；以及
处理器，其执行以下过程：(I)使线索信息提取层使用包含在所述训练数据中的关于观察对象车辆的类别信息及位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上线索信息；(II)使盲区确认用全连接FC层使用关于所述观察对象车辆的所述线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的判断结果；以及(III)使损失层参考所述判断结果和与所述判断结果对应的真实值GT来生成一个以上损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的一个以上参数。
13.根据权利要求12所述的学习装置，其中，
所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述线索信息为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
14.根据权利要求12所述的学习装置，其中，
关于所述观察对象车辆的所述线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述类别信息；(ii)关于所述观察对象车辆的所述位置信息；(iii)与感兴趣区域ROI大小对应的所述观察对象车辆的大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
15.根据权利要求14所述的学习装置，其中，
所述线索信息提取层将(i)左侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点与所述盲区的所述外侧面之间的所述距离信息，并且除了所述距离信息之外进一步输出相对位置信息以区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧。
16.一种用于监测基准车辆的一个以上盲区的卷积神经网络CNN的测试装置，包括：
通信部，在利用学习装置(i)使线索信息提取层使用与包含在来自所述基准车辆的检测器的至少一个输出对应的训练数据中的关于观察对象车辆的学习用类别信息及学习用位置信息来执行预定运算，从而输出关于所述观察对象车辆的一个以上学习用线索信息，(ii)使盲区确认用全连接FC层使用关于所述观察对象车辆的所述学习用线索信息来执行一个以上神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区内的学习用判断结果，(iii)使损失层参考所述学习用判断结果和与所述学习用判断结果对应的真实值GT来生成一个以上损失值，从而通过反向传播所述损失值而学习所述盲区确认用FC层的一个以上参数的状态下，所述通信部从检测由所述基准车辆拍摄到的测试图像内的所述观察对象车辆的所述车辆检测器接收关于所述观察对象车辆的测试用类别信息及测试用位置信息；以及
处理器，所述处理器执行以下过程：(I)使所述线索信息提取层使用关于所述观察对象车辆的所述测试用类别信息及所述测试用位置信息来执行所述预定运算，从而输出关于所述观察对象车辆的一个以上测试用线索信息；以及(II)使所述盲区确认用FC层使用关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值来执行所述神经网络运算，从而输出关于所述观察对象车辆是否位于所述基准车辆的所述盲区中的一个盲区内的测试用判断结果。
17.根据权利要求16所述的测试装置，其中，
所述检测器为基于R-CNN(Region-based Convolutional Neural Network，基于区域的卷积神经网络)的车辆检测器，包括：
一个以上卷积层，其从所述测试图像生成测试用特征图；
区域建议网络(Region Proposal Network，RPN)，其从所述测试用特征图获得关于所述观察对象车辆的测试用感兴趣区域ROI；
池化层，其通过对所述测试用特征图内的与所述测试用ROI对应的区域进行池化而生成测试用特征向量；
至少一个车辆检测用FC层，其对所述测试用特征向量执行一次以上FC运算以生成一个以上FC输出值；
分类层，其参考所述FC输出值来输出关于所述观察对象车辆的所述测试用类别信息；以及
回归层，其参考所述FC输出值来输出关于所述观察对象车辆的所述测试用位置信息。
18.根据权利要求17所述的测试装置，其中，
所述处理器使所述CNN接收通过连接由所述线索信息提取层生成的关于所述观察对象车辆的所述测试用线索信息和由所述检测器的所述池化层生成的所述测试用特征向量而得到的值以作为所述盲区确认用FC层的输入。
19.根据权利要求16所述的测试装置，其中，
所述盲区确认用FC层包括神经网络，所述神经网络通过以关于所述观察对象车辆的所述测试用线索信息或处理所述测试用线索信息而得到的值为输入的多层感知器来输出关于所述观察对象车辆是否位于所述盲区中的一个盲区内的结果值。
20.根据权利要求16所述的测试装置，其中，
关于所述观察对象车辆的所述测试用线索信息包含以下信息中的至少一部分：(i)关于所述观察对象车辆的所述测试用类别信息；(ii)关于所述观察对象车辆的所述测试用位置信息；(iii)与ROI大小对应的所述观察对象车辆的测试用大小信息；(iv)所述观察对象车辆的纵横比信息；以及(v)所述观察对象车辆的中心点与所述盲区的外侧面之间的距离信息。
21.根据权利要求20所述的测试装置，其中，
所述线索信息提取层将(i)左侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离以及(ii)右侧盲区的外边界与所述观察对象车辆的所述中心点之间的距离中的较小值判断为所述观察对象车辆的所述中心点与所述盲区的所述外侧面之间的所述测试用距离信息，并且除了所述测试用距离信息之外进一步输出测试用相对位置信息以区分所述观察对象车辆的所述中心点位于所述盲区的所述外侧面的外侧还是内侧。
22.根据权利要求16所述的测试装置，其中，
所述测试装置的所述基准车辆与所述学习装置的所述基准车辆不同。
CN201910949100.1A 2018-10-08 2019-10-08 用于监测车辆盲区的方法和装置 Active CN111008552B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/153,972 US10984262B2 (en) 2018-10-08 2018-10-08 Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
US16/153,972 2018-10-08

Publications (2)

Publication Number Publication Date
CN111008552A true CN111008552A (zh) 2020-04-14
CN111008552B CN111008552B (zh) 2023-09-05

Family

ID=67874278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910949100.1A Active CN111008552B (zh) 2018-10-08 2019-10-08 用于监测车辆盲区的方法和装置

Country Status (5)

Country Link
US (1) US10984262B2 (zh)
EP (1) EP3637309A1 (zh)
JP (1) JP6869561B2 (zh)
KR (1) KR102349906B1 (zh)
CN (1) CN111008552B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239912A (zh) * 2021-07-13 2021-08-10 天津所托瑞安汽车科技有限公司 Bsd图像有效区域的确定方法、设备和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021149095A1 (ja) * 2020-01-20 2021-07-29 三菱電機株式会社 移動支援装置、移動支援学習装置、及び、移動支援方法
US11462021B2 (en) * 2021-01-13 2022-10-04 GM Global Technology Operations LLC Obstacle detection and notification for motorcycles

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040085196A1 (en) * 2002-10-30 2004-05-06 Ford Global Technologies, Inc. Blind spot warning system for an automotive vehicle
US20040233048A1 (en) * 2001-05-16 2004-11-25 Luna Francesc Daura Device for detecting the presence of objects in a blind angle of a motor vehicle
US20110242318A1 (en) * 2010-03-31 2011-10-06 Hon Hai Precision Industry Co., Ltd. System and method for monitoring blind spots of vehicles
US20170169313A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
US20170294128A1 (en) * 2016-04-12 2017-10-12 Denso International America, Inc. Methods and systems for blind spot monitoring with dynamic detection range
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US9947228B1 (en) * 2017-10-05 2018-04-17 StradVision, Inc. Method for monitoring blind spot of vehicle and blind spot monitor using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6413949B1 (en) * 1995-06-07 2002-07-02 D-Pharm, Ltd. Prodrugs with enhanced penetration into cells
JP5620147B2 (ja) * 2010-05-24 2014-11-05 株式会社豊田中央研究所 可動物予測装置及びプログラム
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
IL231862A (en) * 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US10115025B2 (en) * 2016-06-13 2018-10-30 Ford Global Technologies, Llc Detecting visibility of a vehicle to driver of other vehicles
CN106251701B (zh) * 2016-09-14 2018-11-06 郑州轻工业学院 基于旋转变焦多摄像头的车辆后视监测报警系统及方法
JP2018081357A (ja) * 2016-11-14 2018-05-24 トヨタ自動車株式会社 運転支援装置
US20190155291A1 (en) * 2016-12-23 2019-05-23 Faraday&Future Inc. Methods and systems for automated driving system simulation, validation, and implementation
WO2019048034A1 (en) * 2017-09-06 2019-03-14 Swiss Reinsurance Company Ltd. ELECTRONIC TRACKING AND RECORDING IDENTIFICATION SYSTEM FOR TELEMATIC DEVICES, AND CORRESPONDING METHOD THEREOF
DE112019000070T5 (de) * 2018-01-07 2020-03-12 Nvidia Corporation Führen von fahrzeugen durch fahrzeugmanöver unter verwendung von modellen für maschinelles lernen

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040233048A1 (en) * 2001-05-16 2004-11-25 Luna Francesc Daura Device for detecting the presence of objects in a blind angle of a motor vehicle
US20040085196A1 (en) * 2002-10-30 2004-05-06 Ford Global Technologies, Inc. Blind spot warning system for an automotive vehicle
US20110242318A1 (en) * 2010-03-31 2011-10-06 Hon Hai Precision Industry Co., Ltd. System and method for monitoring blind spots of vehicles
US20170169313A1 (en) * 2015-12-14 2017-06-15 Samsung Electronics Co., Ltd. Image processing apparatus and method based on deep learning and neural network learning
US20170294128A1 (en) * 2016-04-12 2017-10-12 Denso International America, Inc. Methods and systems for blind spot monitoring with dynamic detection range
US9934440B1 (en) * 2017-10-04 2018-04-03 StradVision, Inc. Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
US9947228B1 (en) * 2017-10-05 2018-04-17 StradVision, Inc. Method for monitoring blind spot of vehicle and blind spot monitor using the same
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239912A (zh) * 2021-07-13 2021-08-10 天津所托瑞安汽车科技有限公司 Bsd图像有效区域的确定方法、设备和存储介质

Also Published As

Publication number Publication date
JP2020061139A (ja) 2020-04-16
JP6869561B2 (ja) 2021-05-12
EP3637309A1 (en) 2020-04-15
KR102349906B1 (ko) 2022-01-12
KR20200040187A (ko) 2020-04-17
US10984262B2 (en) 2021-04-20
CN111008552B (zh) 2023-09-05
US20200108773A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
CN111008553B (zh) 用于监测车辆盲区的方法和装置
US10366310B2 (en) Enhanced camera object detection for automated vehicles
US10878288B2 (en) Database construction system for machine-learning
KR102108953B1 (ko) 센서 품질 저하에 강인한 딥러닝 기반 카메라, 라이더 센서 융합 인지 방법 및 시스템
KR102099265B1 (ko) 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법
CN111008552B (zh) 用于监测车辆盲区的方法和装置
KR20160137247A (ko) 횡단보도 인식 결과를 이용한 안내 정보 제공 장치 및 방법
Barea et al. Vehicle detection and localization using 3d lidar point cloud and image semantic segmentation
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
US10635917B1 (en) Method and device for detecting vehicle occupancy using passenger's keypoint detected through image analysis for humans' status recognition
JP7135665B2 (ja) 車両制御システム、車両の制御方法及びコンピュータプログラム
US11335099B2 (en) Proceedable direction detection apparatus and proceedable direction detection method
CN110879961A (zh) 利用车道模型的车道检测方法和装置
JP6903352B2 (ja) 非最大値抑制を学習する併合ネットワークを利用した異種センサ融合のための学習方法及び学習装置｛ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ ａｎｄ ｌｅａｒｎｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ｈｅｔｅｒｏｇｅｎｅｏｕｓ ｓｅｎｓｏｒ ｆｕｓｉｏｎ ｂｙ ｕｓｉｎｇ ｍｅｒｇｉｎｇ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｌｅａｒｎｓ ｎｏｎ−ｍａｘｉｍｕｍ ｓｕｐｐｒｅｓｓｉｏｎ｝
US20220171975A1 (en) Method for Determining a Semantic Free Space
Jeong et al. Efficient lidar-based in-water obstacle detection and segmentation by autonomous surface vehicles in aquatic environments
Fries et al. Real-time unsupervised feature model generation for a vehicle following system
Prahara et al. Vehicle pose estimation for vehicle detection and tracking based on road direction
Raaijmakers et al. Circle detection in single-layer laser scans for roundabout perception
Liu Development of a vision-based object detection and recognition system for intelligent vehicle
US11915436B1 (en) System for aligning sensor data with maps comprising covariances
Ran et al. Vision-based object detection and recognition system for intelligent vehicles
KR20230128202A (ko) 차량 영상 처리 장치 및 그 방법
Rateke et al. Systematic Literature Re-view for Region-based Road Detection
Priya et al. Vehicle Detection Using Gabor Filter

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant