CN110827197A - 一种基于深度学习检测和识别车辆环视目标的方法和装置 - Google Patents
一种基于深度学习检测和识别车辆环视目标的方法和装置 Download PDFInfo
- Publication number
- CN110827197A CN110827197A CN201910949614.7A CN201910949614A CN110827197A CN 110827197 A CN110827197 A CN 110827197A CN 201910949614 A CN201910949614 A CN 201910949614A CN 110827197 A CN110827197 A CN 110827197A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- around
- view image
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000013135 deep learning Methods 0.000 title claims abstract description 24
- 240000004050 Pentaglottis sempervirens Species 0.000 claims abstract description 33
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims abstract description 33
- 238000001514 detection method Methods 0.000 claims abstract description 32
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 7
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 241001300198 Caperonia palustris Species 0.000 claims description 4
- 235000000384 Veronica chamaedrys Nutrition 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习检测和识别车辆环视目标的方法及装置，属于驾驶辅助领域，该方法包括：将各鱼眼图像进行缩小，并将预设的环视图像拼接参数表中的参数进行缩小化；将各缩小的鱼眼图像通过缩小化的环视图像拼接参数表，以查找表的方式映射出环视鸟瞰图像，并对环视鸟瞰图像进行采样得到采样图像，将采样图像转成多通道数据后，通过分类网络识别出不同的目标类型，由检测网络提取各目标类型中的目标的特征，然后由分割网络根据各目标类型中的目标的特征提取复制各目标的边界；由小目标检测网络根据各目标的边界分辨出所有目标，然后获取各目标的识别信息，以识别出车辆环视目标。可以提高目标识别的准确率。
Description
技术领域
本发明属于驾驶辅助领域，更具体地，涉及一种基于深度学习检测和识别车辆环视目标的方法和装置。
背景技术
环视是指通过多个摄像头，如车辆前后左右各1个或多个摄像头拍摄车辆周围的图像，再合成一副完整的，以第三人称视角从车辆顶部的鸟瞰图像。
现有环视的实现原理是多个摄像头所拍的鱼眼画面通过图像转换算法，将多路图像进行去畸变、拼接及融合，成为一副鸟瞰图像，再在显示器上显示出该图像，由驾驶员查看显示的鸟瞰图像来自行判断是否有碰撞危险。
然而，现有技术或产品没有对鸟瞰图像进行自动或智能目标检测功能，需要通过驾驶员人眼查看环视图像。由于受到驾驶员精神状态的影响，容易出现对车辆环视目标的误判、漏判及碰撞危险查看不及时等问题。另外现有技术或产品没有自动报警提醒，容易让驾驶员在驾驶时因精神紧张而本能的忽视周围的危险情况。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种基于深度学习检测和识别车辆环视目标的方法和装置，由此解决现有识别环视目标需要通过驾驶员人眼查看环视图像，而存在的容易对车辆环视目标的误判、漏判、碰撞危险查看不及时及忽视危险情况等的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种基于深度学习检测和识别车辆环视目标的方法，包括：
(1)获取环视摄像头拍摄的鱼眼图像及预设的环视图像拼接参数表，将各所述鱼眼图像进行缩小，并将所述预设的环视图像拼接参数表中的参数进行缩小化，以与缩小的各鱼眼图像一致；
(2)将各缩小的鱼眼图像通过缩小化的环视图像拼接参数表，以查找表的方式映射出一幅完整的拼接好的环视鸟瞰图像，并对所述环视鸟瞰图像进行采样得到目标分辨率的采样图像，将所述目标分辨率的采样图像转成多通道数据；
(3)将所述多通道数据通过分类网络后识别出不同的目标类型，将各所述目标类型送入检测网络，由所述检测网络提取各所述目标类型中的目标的特征，然后由分割网络根据各所述目标类型中的目标的特征提取复制各目标的边界；
(4)由小目标检测网络根据各目标的边界分辨出所有目标，然后获取各目标的识别信息，以识别出车辆环视目标。
优选地，在步骤(1)之前，所述方法还包括：
由环视摄像头拍摄的鱼眼图像拼接得到环视鸟瞰图像，通过各所述鱼眼图像和拼接完成后的所述环视鸟瞰图像对比，找出各所述鱼眼图像与所述环视鸟瞰图像的像素变换的映射关系；
根据所述映射关系得到预设的环视图像拼接参数表，其中，所述预设的环视图像拼接参数表中包括各所述鱼眼图像中的每个像素所映射的拼接后的所述环视鸟瞰图像中的横纵坐标及像素值。
优选地，在步骤(3)之前，所述方法还包括：
对于拼接后的环视鸟瞰图像，使用深度学习方式对神经网络进行训练，以根据检测目标得到神经网络权重值及其网络参数。
优选地，所述方法还包括：
根据各目标的识别信息，得到相应的报警信息以及各目标的目标识别框的坐标，其中，所述目标识别框用于标识对应目标。
优选地，所述方法还包括：
将所述目标识别框的坐标转换成显示分辨率下的坐标，以将所述目标识别框在所述环视鸟瞰图像中进行标注，并将所述报警信息在所述环视鸟瞰图像中进行标注，将有标注信息的环视鸟瞰图像进行显示，同时向驾驶员提示报警信息。
按照本发明的另一方面，提供了一种基于深度学习检测和识别车辆环视目标的装置，包括：
压缩模块，用于获取环视摄像头拍摄的鱼眼图像及预设的环视图像拼接参数表，将各所述鱼眼图像进行缩小，并将所述预设的环视图像拼接参数表中的参数进行缩小化，以与缩小的各鱼眼图像一致；
预处理模块，用于将各缩小的鱼眼图像通过缩小化的环视图像拼接参数表，以查找表的方式映射出一幅完整的拼接好的环视鸟瞰图像，并对所述环视鸟瞰图像进行采样得到目标分辨率的采样图像，将所述目标分辨率的采样图像转成多通道数据；
神经网络模块，用于将所述多通道数据通过分类网络后识别出不同的目标类型，将各所述目标类型送入检测网络，由所述检测网络提取各所述目标类型中的目标的特征，然后由分割网络根据各所述目标类型中的目标的特征提取复制各目标的边界，由小目标检测网络根据各目标的边界分辨出所有目标；
识别模块，用于获取各目标的识别信息，以识别出车辆环视目标。
优选地，所述装置还包括：拼接参数预设模块；
所述拼接参数预设模块，用于由环视摄像头拍摄的鱼眼图像拼接得到环视鸟瞰图像，通过各所述鱼眼图像和拼接完成后的所述环视鸟瞰图像对比，找出各所述鱼眼图像与所述环视鸟瞰图像的像素变换的映射关系；根据所述映射关系得到预设的环视图像拼接参数表，其中，所述预设的环视图像拼接参数表中包括各所述鱼眼图像中的每个像素所映射的拼接后的所述环视鸟瞰图像中的横纵坐标及像素值。
优选地，所述装置还包括：网络参数预设模块；
所述网络参数预设模块，用于对于拼接后的环视鸟瞰图像，使用深度学习方式对神经网络进行训练，以根据检测目标得到神经网络权重值及其网络参数。
优选地，所述装置还包括：环视目标识别与报警模块；
所述环视目标识别与报警模块，用于根据各目标的识别信息，得到相应的报警信息以及各目标的目标识别框的坐标，其中，所述目标识别框用于标识对应目标。
优选地，所述装置还包括：标注模块；
所述标注模块，用于将所述目标识别框的坐标转换成显示分辨率下的坐标，以将所述目标识别框在所述环视鸟瞰图像中进行标注，并将所述报警信息在所述环视鸟瞰图像中进行标注，将有标注信息的环视鸟瞰图像进行显示，同时向驾驶员提示报警信息。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
(1)本发明使用深度学习技术对车辆周围的环视目标进行检测，具有识别准确度高、稳定性高及识别快速等优点，避免了驾驶员人眼查看环视图像所存在的误判、漏判及查看不及时等问题。
(2)本发明通过对深度学习所使用的神经网络(如卷积神经网络CNN、深度神经网络DNN或二值神经网络BNN等)进行训练，能智能的识别出各种环视目标，如其他机动车辆、摩托车、电动车、行人、车道线及标识牌等。
(3)本发明不仅可以在显示器上对检测出的目标标注识别框，标注位置、距离及碰撞危险程度等信息来提醒驾驶员，也能通过语音或LED方式提醒驾驶员，从而避免了驾驶员为了判断周围目标而导致分心增加驾驶危险的情况。
(4)本发明采用流水线工作方式，具有工作效率高，稳定可靠、易于实现等特点。
附图说明
图1是本发明实施例提供的一种摄像头布置示意图；
图2是本发明实施例提供的一种各摄像头所拍摄的鱼眼图像示意图；
图3是本发明实施例提供的一种获取环视鸟瞰图像的示意图；
图4是本发明实施例提供的一种基于深度学习检测和识别车辆环视目标的方法流程示意图；
图5是本发明实施例提供的一种基于深度学习检测和识别车辆环视目标的装置示意图；
图6是本发明实施例提供的一种基于深度学习的图像检测显示效果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
在实现本发明的方法之前，需要进行以下操作：
1、在车辆四周前后左右各安装至少1个摄像头。如图1所示，在本发明实施例中以6个摄像头为例：图1中，中间阴影部分为安装车辆，黑色小正方形为6个180度鱼眼摄像头，分别在车辆的前后各装1个摄像头，左右各装2个摄像头，图中半圆为每个摄像头的最大拍摄区域，虚线框为车辆四周的环视目标检测区域。每个摄像头所拍的鱼眼图像如图2所示。
2、如图3所示，在服务器电脑端上使用目前其他环视产品中的现有技术，如去鱼眼畸变、拼接、融合及3D变换，将6个图像拼接成一幅完整的环视鸟瞰图像。
如图4所示是本发明实施例提供的一种基于深度学习检测和识别车辆环视目标的方法流程示意图，在图4所示的方法中，包括以下步骤：
S1：获取环视摄像头拍摄的鱼眼图像及预设的环视图像拼接参数表，将各鱼眼图像进行缩小，并将预设的环视图像拼接参数表中的参数进行缩小化，以与缩小的各鱼眼图像一致；
其中，预设的环视图像拼接参数表可以通过以下方式获取：
通过各个原始鱼眼图像和拼接完成后的环视图像对比，找出它们的像素变换的映射关系，做成一张环视图像拼接参数表，每个表都包括原始鱼眼图像的每个像素所映射的拼接后完整图像的X、Y坐标、像素值。这样当产生每个原始鱼眼图像后，则可根据鱼眼图像的像素后直接查表，得到拼接图像的相应像素的位置。无需再次使用现有的图像转换算法，从而降低实现复杂度，提高运行速度。当该表生成好后，可以将其保存到可插拔存储设备中(如SD卡、U盘、移动硬盘等)。
S2：将各缩小的鱼眼图像通过缩小化的环视图像拼接参数表，以查找表的方式映射出一幅完整的拼接好的环视鸟瞰图像，并对环视鸟瞰图像进行采样得到目标分辨率的采样图像，将目标分辨率的采样图像转成多通道数据；
S3：将多通道数据通过分类网络后识别出不同的目标类型，将各目标类型送入检测网络，由检测网络提取各目标类型中的目标的特征，然后由分割网络根据各目标类型中的目标的特征提取复制各目标的边界；
其中，网络参数可以通过以下方式获取：
针对3D鸟瞰图像，在服务器上使用深度学习方式进行训练，以根据检测目标得到合适的神经网络权重值及其网络参数。
在本发明实施例中，所采用的神经网络可以是：如卷积神经网络(ConvolutionalNeural Networks，CNN)，深度神经网络(Deep Neural Networks，DNN)，二值神经网络(Binary Neural Network，BNN)等，具体采用何种网络模型，本发明实施例不做唯一性限定。当神经网络权重和参数生成好后，可以将其保存到便携存储设备中(如SD卡、U盘、移动硬盘等)。
S4：由小目标检测网络根据各目标的边界分辨出所有目标，然后获取各目标的识别信息，以识别出车辆环视目标。
如图5所示是本发明实施例提供的一种基于深度学习检测和识别车辆环视目标的装置示意图，该装置的实现过程具体为：
1、把环视摄像头(在本发明实施例中，采用的是6个摄像头，但本发明并不限于6个，只要能构成环视效果的任意多个摄像头均可)和保存有参数的便携存储设备接入到接收模块1中。当上电后，模块1接收到多个摄像头的鱼眼图像，并从便携存储设备中读出环视图像拼接参数、神经网络权重和参数，将它们保存到本地的存储模块1-1中。
2、当模块1存好后，则启动模块2，由于在环视产品中一般摄像头的分辨率为720p到1080p，而本发明实施例中需要将环视鸟瞰图送到显示器显示出来，一般显示器分辨率为720p到1080p，因此需将环视鸟瞰图像缩小后显示。为避免后续操作的多路分辨率过大导致图像处理帧数降低，同时也没必要处理大的图像，因此在模块2时则对6个摄像头拍摄的鱼眼图像进行缩小，使其在拼接到一起时其分辨率会略大于显示时的分辨率大小。而且由于其所保存的拼接参数为原始鱼眼图像的拼接参数表，也要同时做对应的参数表缩小化，使之和缩小的每个鱼眼图像相一致。缩小的图像和参数表同样会保存在本地存储模块2-1中。当模块2工作完成后，则启动模块3，模块3通过在本地存储模块2-1中，把各个缩小的鱼眼图像通过所存储的缩小化的拼接参数表，以查找表的方式映射出一幅完整的拼接好的3D鸟瞰图像并存入模块3-1中。
3、在模块4中进行深度学习预处理操作，如对模块3-1所存的环视图像进行采样，得到分辨率为640×360的采样图像，在本发明实施例中，采样分辨率大小取决于采用的神经网络形态和检测目标大小，并将采样图像转成R、G、B三个通道或者跟颜色相关的多个通道的数据，并存入模块4-1中，用于深度学习神经网络处理。
4、当模块4完成后，则启动模块5，进行分类网络处理，采用的网络并不限定某种网络，如卷积神经网络CNN、深度神经网络DNN、二值神经网络BNN等。分类网络是一类网络的统称，采样图像通过该类网络后能将采样图像里的不同类型的物体区分出来，归属不同的类型，如车辆类型、行人类型及标识牌类型等。常用网络有VGG、ResNet、MobileNet等，具体采用何种类型的网络，本发明实施例不做唯一性限定。模块5-1则缓存该网络的运算数据。
5、当该网络运算完成后，将该网络运算结果送入下一模块6，即进行检测网络运算，检测网络是一类网络的统称，该类网络能将分类后的图像数据进行检测，能把具体的物体特征提取出来，如通过该类网络后，能把某个特征目标检测出来，如采样图像里的车辆类型的数据，经过该类网络则提取出具体的物体像素区域的数值结果。常用的检测网络有SSD、YOLO等。具体采用何种类型的网络，本发明实施例不做唯一性限定。其网络的运算缓存到模块6-1中。
6、模块6网络运行结果送到模块7中运行分割网络，提取复制图像的边界，如转弯车道线、各种动作的大人小孩老人、不同形状的标识牌等。通过分割网络可以精确定义每个像素，一般是由常见网络形态修改而成，如Segnet、FCN等。具体采用何种类型的网络，本发明实施例不做唯一性限定。同样计算中间数据换成到模块7-1中。
7、当分割网络运行完成后，其运算结果会送入小目标(即远处目标)检测网络模块8中。该模块是对前面各种网络的改进，通过继续增加不同的卷积、池化、上采样等层数和类型，来分辨出采样图像的小目标(几个像素级)。所增加的网络层数和类型取决于不同网络形态和特性，本发明实施例不做唯一性限定。同时运算中间数据缓存到模块8-1中。
8、当模块8网络把运算结果送给模块9时，模块9则分析前面深度学习所得出的图像检测目标位置、到本车的距离、目标形状、大小及运动状态等信息，由此产生出相应的报警策略(如距离近的优先报警、弱势群体(如行人和骑行者)优先报警等)，目标识别框坐标(采样图像的像素坐标)、类型、颜色、距离数值及危险程度等。并将该报警信息和目标识别信息发送给模块10。其中模块9-1缓存其运算过程数据。
9、模块10根据模块9的相关信息，从模块3-1中读取原始的3D鸟瞰图像并缓存到模块10-1中，再把模块9提供的目标识别框的坐标转换成显示分辨率下的坐标，和其他报警信息，都标注在模块10-1中的图像。这样模块10-1中所存的要显示的图像就包括有识别框、距离信息、类型、距离及危险程度等识别信息的识别图像，并将其送到显示器显示出来，同时，也将报警信息通过报警器表示出来(如声音报警、LED闪烁报警等)。显示效果如图6所示。
10、控制模块0用于协调和控制每个模块的动作，使其能协同并同步以流水线形式工作，提高了可靠性和检测速度。数据互联总线模块11则提供了各个功能模块和存储模块之间的交互访问、确保数据传输顺利及避免存储模块读写访问冲突。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
上述根据本发明的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于深度学习检测和识别车辆环视目标的方法，其特征在于，包括：
(1)获取环视摄像头拍摄的鱼眼图像及预设的环视图像拼接参数表，将各所述鱼眼图像进行缩小，并将所述预设的环视图像拼接参数表中的参数进行缩小化，以与缩小的各鱼眼图像一致；
(2)将各缩小的鱼眼图像通过缩小化的环视图像拼接参数表，以查找表的方式映射出一幅完整的拼接好的环视鸟瞰图像，并对所述环视鸟瞰图像进行采样得到目标分辨率的采样图像，将所述目标分辨率的采样图像转成多通道数据；
(3)将所述多通道数据通过分类网络后识别出不同的目标类型，将各所述目标类型送入检测网络，由所述检测网络提取各所述目标类型中的目标的特征，然后由分割网络根据各所述目标类型中的目标的特征提取复制各目标的边界；
(4)由小目标检测网络根据各目标的边界分辨出所有目标，然后获取各目标的识别信息，以识别出车辆环视目标。
2.根据权利要求1所述的方法，其特征在于，在步骤(1)之前，所述方法还包括：
由环视摄像头拍摄的鱼眼图像拼接得到环视鸟瞰图像，通过各所述鱼眼图像和拼接完成后的所述环视鸟瞰图像对比，找出各所述鱼眼图像与所述环视鸟瞰图像的像素变换的映射关系；
根据所述映射关系得到预设的环视图像拼接参数表，其中，所述预设的环视图像拼接参数表中包括各所述鱼眼图像中的每个像素所映射的拼接后的所述环视鸟瞰图像中的横纵坐标及像素值。
3.根据权利要求2所述的方法，其特征在于，在步骤(3)之前，所述方法还包括：
对于拼接后的环视鸟瞰图像，使用深度学习方式对神经网络进行训练，以根据检测目标得到神经网络权重值及其网络参数。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据各目标的识别信息，得到相应的报警信息以及各目标的目标识别框的坐标，其中，所述目标识别框用于标识对应目标。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述目标识别框的坐标转换成显示分辨率下的坐标，以将所述目标识别框在所述环视鸟瞰图像中进行标注，并将所述报警信息在所述环视鸟瞰图像中进行标注，将有标注信息的环视鸟瞰图像进行显示，同时向驾驶员提示报警信息。
6.一种基于深度学习检测和识别车辆环视目标的装置，其特征在于，包括：
压缩模块，用于获取环视摄像头拍摄的鱼眼图像及预设的环视图像拼接参数表，将各所述鱼眼图像进行缩小，并将所述预设的环视图像拼接参数表中的参数进行缩小化，以与缩小的各鱼眼图像一致；
预处理模块，用于将各缩小的鱼眼图像通过缩小化的环视图像拼接参数表，以查找表的方式映射出一幅完整的拼接好的环视鸟瞰图像，并对所述环视鸟瞰图像进行采样得到目标分辨率的采样图像，将所述目标分辨率的采样图像转成多通道数据；
神经网络模块，用于将所述多通道数据通过分类网络后识别出不同的目标类型，将各所述目标类型送入检测网络，由所述检测网络提取各所述目标类型中的目标的特征，然后由分割网络根据各所述目标类型中的目标的特征提取复制各目标的边界，由小目标检测网络根据各目标的边界分辨出所有目标；
识别模块，用于获取各目标的识别信息，以识别出车辆环视目标。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：拼接参数预设模块；
所述拼接参数预设模块，用于由环视摄像头拍摄的鱼眼图像拼接得到环视鸟瞰图像，通过各所述鱼眼图像和拼接完成后的所述环视鸟瞰图像对比，找出各所述鱼眼图像与所述环视鸟瞰图像的像素变换的映射关系；根据所述映射关系得到预设的环视图像拼接参数表，其中，所述预设的环视图像拼接参数表中包括各所述鱼眼图像中的每个像素所映射的拼接后的所述环视鸟瞰图像中的横纵坐标及像素值。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：网络参数预设模块；
所述网络参数预设模块，用于对于拼接后的环视鸟瞰图像，使用深度学习方式对神经网络进行训练，以根据检测目标得到神经网络权重值及其网络参数。
9.根据权利要求6所述的装置，其特征在于，所述装置还包括：环视目标识别与报警模块；
所述环视目标识别与报警模块，用于根据各目标的识别信息，得到相应的报警信息以及各目标的目标识别框的坐标，其中，所述目标识别框用于标识对应目标。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：标注模块；
所述标注模块，用于将所述目标识别框的坐标转换成显示分辨率下的坐标，以将所述目标识别框在所述环视鸟瞰图像中进行标注，并将所述报警信息在所述环视鸟瞰图像中进行标注，将有标注信息的环视鸟瞰图像进行显示，同时向驾驶员提示报警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910949614.7A CN110827197A (zh) | 2019-10-08 | 2019-10-08 | 一种基于深度学习检测和识别车辆环视目标的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910949614.7A CN110827197A (zh) | 2019-10-08 | 2019-10-08 | 一种基于深度学习检测和识别车辆环视目标的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110827197A true CN110827197A (zh) | 2020-02-21 |
Family
ID=69548670
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910949614.7A Pending CN110827197A (zh) | 2019-10-08 | 2019-10-08 | 一种基于深度学习检测和识别车辆环视目标的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827197A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111862210A (zh) * | 2020-06-29 | 2020-10-30 | 辽宁石油化工大学 | 一种基于环视相机的目标物检测定位方法及装置 |
| CN111959511A (zh) * | 2020-08-26 | 2020-11-20 | 腾讯科技（深圳）有限公司 | 车辆控制方法及装置 |
| CN112132829A (zh) * | 2020-10-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、装置、电子设备和存储介质 |
| CN112419154A (zh) * | 2020-11-26 | 2021-02-26 | 三一专用汽车有限责任公司 | 可行驶区域检测方法、装置、设备和计算机可读存储介质 |
| CN112836821A (zh) * | 2021-02-04 | 2021-05-25 | 武汉极目智能技术有限公司 | 一种用于自动驾驶的卷积神经网络计算量压缩方法 |
| CN113283273A (zh) * | 2020-04-17 | 2021-08-20 | 上海锐明轨交设备有限公司 | 基于视觉技术的前方障碍物实时检测方法及系统 |
| CN113609945A (zh) * | 2021-07-27 | 2021-11-05 | 深圳市圆周率软件科技有限责任公司 | 一种图像检测方法和车辆 |
| CN113657316A (zh) * | 2021-08-23 | 2021-11-16 | 平安科技（深圳）有限公司 | 移动交通违章监测方法、系统、电子设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012172923A1 (ja) * | 2011-06-16 | 2012-12-20 | アイシン精機株式会社 | 車両周辺監視装置 |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| US20140293001A1 (en) * | 2013-04-01 | 2014-10-02 | Delphi Technologies, Inc. | Birds-eye view parking assist system and method |
| JP2016097896A (ja) * | 2014-11-25 | 2016-05-30 | アイシン精機株式会社 | 画像表示制御装置 |
| CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 一种全景辅助泊车系统、装置及全景图像显示方法 |
| CN105976324A (zh) * | 2016-05-19 | 2016-09-28 | 温州大学城市学院 | 一种车载图像拼接方法 |
| CN106875339A (zh) * | 2017-02-22 | 2017-06-20 | 长沙全度影像科技有限公司 | 一种基于长条形标定板的鱼眼图像拼接方法 |
| CN106961583A (zh) * | 2017-03-28 | 2017-07-18 | 深圳市车车安信息技术有限公司 | 双摄像头实景智能行车方法及系统 |
| CN107256535A (zh) * | 2017-06-06 | 2017-10-17 | 斑马信息科技有限公司 | 全景环视图像的显示方法及装置 |
| CN109624854A (zh) * | 2018-12-03 | 2019-04-16 | 浙江明航智能科技有限公司 | 一种适用于特种车辆的360°全景辅助可视系统 |
-
2019
- 2019-10-08 CN CN201910949614.7A patent/CN110827197A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012172923A1 (ja) * | 2011-06-16 | 2012-12-20 | アイシン精機株式会社 | 車両周辺監視装置 |
| US20140293001A1 (en) * | 2013-04-01 | 2014-10-02 | Delphi Technologies, Inc. | Birds-eye view parking assist system and method |
| CN103617606A (zh) * | 2013-11-26 | 2014-03-05 | 中科院微电子研究所昆山分所 | 用于辅助驾驶的车辆多视角全景生成方法 |
| JP2016097896A (ja) * | 2014-11-25 | 2016-05-30 | アイシン精機株式会社 | 画像表示制御装置 |
| CN105894549A (zh) * | 2015-10-21 | 2016-08-24 | 乐卡汽车智能科技（北京）有限公司 | 一种全景辅助泊车系统、装置及全景图像显示方法 |
| CN105976324A (zh) * | 2016-05-19 | 2016-09-28 | 温州大学城市学院 | 一种车载图像拼接方法 |
| CN106875339A (zh) * | 2017-02-22 | 2017-06-20 | 长沙全度影像科技有限公司 | 一种基于长条形标定板的鱼眼图像拼接方法 |
| CN106961583A (zh) * | 2017-03-28 | 2017-07-18 | 深圳市车车安信息技术有限公司 | 双摄像头实景智能行车方法及系统 |
| CN107256535A (zh) * | 2017-06-06 | 2017-10-17 | 斑马信息科技有限公司 | 全景环视图像的显示方法及装置 |
| CN109624854A (zh) * | 2018-12-03 | 2019-04-16 | 浙江明航智能科技有限公司 | 一种适用于特种车辆的360°全景辅助可视系统 |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTIAN HÄNE,ETC: "3D visual perception for self-driving cars using a multi-camera system: Calibration, mapping, localization, and obstacle detection", vol. 68, pages 14 - 27, XP055757407, DOI: 10.1016/j.imavis.2017.07.003 * |
| 任家敏: "基于全景图像的室内物体分类检测", pages 138 - 2198 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113283273A (zh) * | 2020-04-17 | 2021-08-20 | 上海锐明轨交设备有限公司 | 基于视觉技术的前方障碍物实时检测方法及系统 |
| CN113283273B (zh) * | 2020-04-17 | 2024-05-24 | 上海锐明轨交设备有限公司 | 基于视觉技术的前方障碍物实时检测方法及系统 |
| CN111862210A (zh) * | 2020-06-29 | 2020-10-30 | 辽宁石油化工大学 | 一种基于环视相机的目标物检测定位方法及装置 |
| CN111862210B (zh) * | 2020-06-29 | 2023-05-12 | 辽宁石油化工大学 | 一种基于环视相机的目标物检测定位方法及装置 |
| CN111959511A (zh) * | 2020-08-26 | 2020-11-20 | 腾讯科技（深圳）有限公司 | 车辆控制方法及装置 |
| CN111959511B (zh) * | 2020-08-26 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 车辆控制方法及装置 |
| CN112132829A (zh) * | 2020-10-23 | 2020-12-25 | 北京百度网讯科技有限公司 | 车辆信息的检测方法、装置、电子设备和存储介质 |
| CN112419154A (zh) * | 2020-11-26 | 2021-02-26 | 三一专用汽车有限责任公司 | 可行驶区域检测方法、装置、设备和计算机可读存储介质 |
| CN112836821A (zh) * | 2021-02-04 | 2021-05-25 | 武汉极目智能技术有限公司 | 一种用于自动驾驶的卷积神经网络计算量压缩方法 |
| CN113609945A (zh) * | 2021-07-27 | 2021-11-05 | 深圳市圆周率软件科技有限责任公司 | 一种图像检测方法和车辆 |
| CN113609945B (zh) * | 2021-07-27 | 2023-06-13 | 圆周率科技(常州)有限公司 | 一种图像检测方法和车辆 |
| CN113657316A (zh) * | 2021-08-23 | 2021-11-16 | 平安科技（深圳）有限公司 | 移动交通违章监测方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827197A (zh) | 一种基于深度学习检测和识别车辆环视目标的方法和装置 | |
| CN109435852B (zh) | 一种针对大型卡车的全景式辅助驾驶系统及方法 | |
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| CN109460699B (zh) | 一种基于深度学习的驾驶员安全带佩戴识别方法 | |
| US10783382B2 (en) | Systems and methods for buffer-free lane detection | |
| US20180211121A1 (en) | Detecting Vehicles In Low Light Conditions | |
| WO2017171659A1 (en) | Signal light detection | |
| CN111191611B (zh) | 基于深度学习的交通标志标号识别方法 | |
| KR20120072020A (ko) | 자율주행 시스템의 주행정보 인식 방법 및 장치 | |
| CN110532903B (zh) | 一种交通灯图像处理的方法和设备 | |
| US11250279B2 (en) | Generative adversarial network models for small roadway object detection | |
| TWI726278B (zh) | 行車偵測方法、車輛及行車處理裝置 | |
| JP2011216051A (ja) | 信号灯識別プログラムおよび信号灯識別装置 | |
| CN110276258A (zh) | 一种识别车辆外观的方法及系统 | |
| CN104662560A (zh) | 一种视频图像处理方法及系统 | |
| JP2003162798A (ja) | 障害物監視装置及びプログラム | |
| US8229170B2 (en) | Method and system for detecting a signal structure from a moving video platform | |
| CN115965934A (zh) | 一种停车位检测方法及装置 | |
| US20120189161A1 (en) | Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus | |
| KR101620425B1 (ko) | 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법 | |
| WO2024067732A1 (zh) | 神经网络模型的训练方法、车辆视图的生成方法和车辆 | |
| KR20140104516A (ko) | 차선 인식 방법 및 장치 | |
| CN112749664A (zh) | 一种手势识别方法、装置、设备、系统及存储介质 | |
| CN112001266A (zh) | 一种大型无人运输车监控方法及系统 | |
| CN102722724B (zh) | 具有目标识别功能的车载夜视系统及其目标标识方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |