CN106960210A - 目标检测的方法和装置 - Google Patents
目标检测的方法和装置 Download PDFInfo
- Publication number
- CN106960210A CN106960210A CN201710180206.0A CN201710180206A CN106960210A CN 106960210 A CN106960210 A CN 106960210A CN 201710180206 A CN201710180206 A CN 201710180206A CN 106960210 A CN106960210 A CN 106960210A
- Authority
- CN
- China
- Prior art keywords
- target
- image information
- pseudo
- depth
- camera device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 238000004422 calculation algorithm Methods 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 24
- 238000013135 deep learning Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 8
- 239000013589 supplement Substances 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 241000201976 Polycarpon Species 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008033 biological extinction Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Abstract
本发明提供了一种目标检测的方法和装置，涉及图像识别的技术领域，该方法包括：获取摄像装置采集的图像信息；对图像信息中包含的至少一个目标进行分析，以在至少一个目标中确定伪目标；确定至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离。本发明缓解了现有的图像识别技术由于无法准确识别伪目标导致的除伪目标之外的其他目标与摄像装置之间的距离的测量精度较差的技术问题，达到了准确确定除伪目标之外的其他目标与摄像装置之间的距离的技术效果。
Description
技术领域
本发明涉及图像识别的技术领域，尤其是涉及一种目标检测的方法和装置。
背景技术
图像识别对于人类来说并不困难，通过对图像中不同颜色模块的感知很容易定位并分类出其中的目标物体。但是，随着科技的发展，人们期待机器也同样具有图像识别的功能，以便使机器能更加智能化，协助人类探索自然或服务于人们的生活，例如，服务于盲人的生活，帮助盲人识别物体。
然而机器识别图像，首先面对的是RGB像素矩阵，其很难从图像中直接得到狗和猫这样的抽象概念并定位其位置，虽然在众多科研工作者的努力之下，现有技术对一些特定目标的检测，比如人脸、盲道、路牌，已经有非常成熟的技术。但是，当图像中多个物体和杂乱的背景遮挡而重叠在一起时，机器的目标检测则更加困难，容易将伪目标作为目标进行识别，尤其是伪目标还会给目标定位带来干扰，从而存在目标及其距离识别错误率高的问题。
发明内容
有鉴于此，本发明的目的在于提供一种目标检测的方法和装置，以缓解现有的图像识别技术由于无法准确识别伪目标导致的除伪目标之外的其他目标与摄像装置之间的距离的测量精度较差的技术问题。
第一方面，本发明实施例提供了一种目标检测的方法，包括：
获取摄像装置采集的图像信息，其中，所述图像信息为所述摄像装置可视区域内的图像信息；
对所述图像信息中包含的至少一个目标进行分析，以在所述至少一个目标中确定伪目标；
确定所述至少一个目标中除所述伪目标之外的任意一个目标与所述摄像装置的距离。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，对所述图像信息中包含的至少一个目标进行分析，以在所述至少一个目标中确定伪目标，包括：
通过基于图像训练集的深度学习技术对所述图像信息进行识别，得到所述图像信息中每个目标的属性信息，其中，所述属性信息包括：类别信息和位置信息；
通过立体匹配算法对所述图像信息进行处理，以得到所述图像信息的深度图；
根据每个所述目标的位置信息，从所述图像信息的深度图中提取出每个所述目标的深度图；
根据每个所述目标的深度图，从所述至少一个目标中选出所述伪目标。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，根据每个所述目标的深度图，从所述至少一个目标中选出所述伪目标，包括：
基于每个所述目标的深度图确定每个所述目标的至少一个景深差值；
将每个所述目标的至少一个景深差值与预设景深差值作比较；
确定大于预设景深差值的景深差值对应的目标为所述伪目标。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，通过基于图像训练集的深度学习技术对所述图像信息进行识别，得到所述图像信息中每个目标的属性信息，包括：
通过神经网络模型，将所述图像训练集中的图像进行特征提取，建立图像类别数据库，其中，所述图像类别数据库中包括多种物体的类别特征；
采用BING特征算法，对每个所述图像信息进行特征提取，得到至少一个目标特征；
将每个所述目标特征与所述类别特征进行匹配，并根据匹配结果确定所述图像信息中包含的目标的类别信息。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述图像训练集至少包括以下之一：Imagenet数据集、CoPhIR数据集、自建数据集，其中，所述自建数据集包括增补图像，所述增补图像为用于反应交通和/或平安城市的图像。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，确定所述至少一个目标中除所述伪目标之外的任意一个目标与所述摄像装置的距离，包括：
计算所述至少一个目标中除所述伪目标之外的任意一个目标在所述目标的深度图中的全部像素点的景深值的平均值，得到景深均值，并将所述景深均值作为所述目标与所述摄像装置之间的距离。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述立体匹配算法采用SGBM算法。
结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第七种可能的实施方式，其中，，所述摄像装置包括：双目摄像装置和/或三目摄像装置。
第二方面，本发明实施例还提供一种目标检测的装置，包括：图像信息获取模块，用于获取摄像装置采集的图像信息，其中，所述图像信息为所述摄像装置可视区域内的图像信息；
图像信息分析模块，用于对所述图像信息中包含的至少一个目标进行分析，以在所述至少一个目标中确定伪目标；
目标距离确定模块，用于确定所述至少一个目标中除所述伪目标之外的任意一个目标与所述摄像装置的距离。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述装置还包括信息输出模块，所述信息输出模块用于将所述至少一个目标中除所述伪目标之外的任意一个目标与所述摄像装置的距离输出。
本发明实施例带来了以下有益效果：
首先在获取了摄像装置采集的图像信息后，通过对图像信息中包含的至少一个目标进行分析而确定伪目标，实现了对伪目标检测的目的；最后确定出至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离，从而过滤掉了至少一个目标中的伪目标，避免了伪目标给目标定位带来的干扰，实现了目标及其距离的精确检测。
因而，本发明缓解了现有的图像识别技术由于无法准确识别伪目标导致的除伪目标之外的其他目标与摄像装置之间的距离的测量精度较差的技术问题，达到了准确确定除伪目标之外的其他目标与摄像装置之间的距离的技术效果。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种目标检测的方法的流程图；
图2为对图像信息中包含的至少一个目标进行分析，以在至少一个目标中确定伪目标的流程图；
图3为根据每个目标的深度图，从至少一个目标中选出伪目标的流程图；
图4为通过基于图像训练集的深度学习技术对图像信息进行识别，得到图像信息中每个目标的属性信息的流程图；
图5为基于BING特征算法，得到图像信息中每个目标的属性信息的流程图；
图6为本发明实施例二提供的一种目标检测的装置的结构示意图。
图标：61-图像信息获取模块；62-图像信息分析模块；63-目标距离确定模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前图像识别技术中，机器的目标检测容易将伪目标作为目标进行识别，存在由于无法准确识别伪目标导致的除伪目标之外的其他目标与摄像装置之间的距离的测量精度较差的技术问题，基于此，本发明实施例提供的一种目标检测的方法和装置，可以缓解由于无法准确识别伪目标导致的除伪目标之外的其他目标与摄像装置之间的距离的测量精度较差的技术问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种目标检测的方法进行详细介绍。
实施例一：
本发明实施例提供的一种目标检测的方法，如图1所示，包括：
步骤S102，获取摄像装置采集的图像信息，其中，图像信息为摄像装置可视区域内的图像信息。
具体地，该图像可以是图片，也可以是视频帧图像。
步骤S104，对图像信息中包含的至少一个目标进行分析，以便在至少一个目标中确定伪目标。
具体地，即对图像中包含的全部目标都进行分析，确定每个目标是否为伪目标。需要说明的是，这里的伪目标，指目标不是一个完整的物体，可以是三维中间中的多个物体前后放置后投影在同一副平面图像中而组成的类似一个完整物体的目标。
步骤S106，确定至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离。
具体地，将在图像中包含的目标中，滤掉伪目标之后，得到剩余目标，再计算每个剩余目标与摄像装置的距离。
本发明实施例中的目标检测的方法，首先在获取了摄像装置采集的图像信息后，通过对图像信息中包含的至少一个目标进行分析而确定伪目标，实现了对伪目标检测的目的；最后确定出至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离，从而过滤掉了至少一个目标中的伪目标，避免了伪目标给目标定位带来的干扰，实现了目标及其距离的精确检测。
因而，本发明缓解了现有的图像识别技术由于无法准确识别伪目标导致的除伪目标之外的其他目标与摄像装置之间的距离的测量精度较差的技术问题，达到了准确确定除伪目标之外的其他目标与摄像装置之间的距离的技术效果。
本发明实施例的一个可选实施方式中，如图2所示，对图像信息中包含的至少一个目标进行分析，以在至少一个目标中确定伪目标，包括：
步骤S201，通过基于图像训练集的深度学习技术对图像信息进行识别，得到图像信息中每个目标的属性信息，其中，属性信息包括：类别信息和位置信息。
需要说明的是，基于图像训练集的深度学习技术，即指深度学习技术中用来对图像信息进行识别的类别特征，是从图像训练集中提取出来的，图像训练集包含有大量的各类图像。
此外，每个目标的位置信息，指每个目标的图像区域在摄像装置采集的整个图像中的位置，每个目标的类别信息及位置信息的获取方法为：在图像中利用滑动窗口进行不同尺度的区域提取，然后使用深度学习训练好的目标模型对每个区域进行分类，得到类别和置信度，从而获取到图像中目标的类别和其所在区域的位置，其中，目标模型为包括类别特征的模型。
步骤S203，通过立体匹配算法对图像信息进行处理，以得到图像信息的深度图。
具体地，图像信息的深度图，即指图像中各个像素点的景深分布图。
步骤S205，根据每个目标的位置信息，从图像信息的深度图中提取出每个目标的深度图。
具体地，将每个目标的图像区域在摄像装置采集的整个图像中的位置坐标，映射到图像信息的深度图中，从而找出图像信息的深度图中的每个目标的深度图区域。
步骤S207，根据每个目标的深度图，从至少一个目标中选出伪目标。
传统方法中，更多的是基于固定的期望检测的目标设计识别方案，如导盲眼镜系统会基于红绿灯、障碍物、路况设计独立模块进行目标识别，每个识别模块的算法独立设计，对多种期望检测的目标需要设计多个识别模块，每个识别模块缺少灵活的通用性和扩展性。此外，以上每个识别模块都是算法人员根据当前使用环境中的待识别目标的特定特征进行设计，没有考虑到不同地域中的所有同类目标，例如，针对红绿灯的识别模块可能只是根据当前使用环境中的圆形红绿灯的特征进行设计，但对于其他地区的箭头灯、文字灯等，不再适用，即缺乏普适性。
相比于传统方法，本发明实施例的可选实施方式中使用的基于图像训练集的深度学习技术，由于图像训练集包含有大量的各类图像，从而从图像训练集中提取出来的类别特征更加全面、更加准确，增多了识别的种类，提升了识别的效果，缓解了传统方法中针对特定目标独立提取识别特征而带来的普适性较差的技术问题。
可选地，图像训练集至少包括以下之一：Imagenet数据集、CoPhIR数据集、自建数据集，其中，自建数据集包括增补图像，增补图像为用于反应交通和/或平安城市的图像。
Imagenet数据集、CoPhIR数据集都是现有的数据集，其中，ImageNet数据集是拥有超过1500万张带标签的高分辨率图像，这些图像分属于大概22000个类别；而CoPhIR数据集拥有1亿600万张图像。鉴于生活环境中设备的快更新速率和多样复杂性，自建数据集重新收集图片而组建，自建数据集主要包括用于反应交通和/或平安城市的图像。
本发明实施例的一个可选实施方式中，如图3所示，根据每个目标的深度图，从至少一个目标中选出伪目标，包括：
步骤S302，基于每个目标的深度图确定每个目标的至少一个景深差值。
具体地，为检测的精确性，可以是每个目标的深度图中的每个像素点，求取其与其它像素点的景深差值，从而求出多个景深差值；但是，若考虑到检测速率，可以选取间隔多个像素点的两个像素点，求取这两个像素点之间的景深差值。
步骤S304，将每个目标的至少一个景深差值与预设景深差值作比较。
步骤S306，确定大于预设景深差值的景深差值对应的目标为伪目标。
具体地，若某一景深差值大于预设景深差值，则将这一景深差值求取使基于的目标确定为伪目标。
通过基于图像训练集的深度学习技术对图像信息进行识别，得到图像信息中每个目标的属性信息的步骤中，目标识别的错误多数来源于多目标重叠投影到镜头所产生的在图像平面的重合遮挡，鉴于此，本发明实施例的可选实施方式中，将大于预设景深差值的景深差值对应的目标作为伪目标，即有效的识别出了重叠遮挡产生的伪目标。
本发明实施例的可选实施方式中，通过每个目标的深度图获得了每个目标的图像信息的维度数据，进而通过对维度数据的判断分析，有效提升了识别的准确率。
本发明实施例的一个可选实施方式中，如图4所示，通过基于图像训练集的深度学习技术对图像信息进行识别，得到图像信息中每个目标的属性信息，包括：
步骤S401，通过神经网络模型，将图像训练集中的图像进行特征提取，建立图像类别数据库，其中，图像类别数据库中包括多种物体的类别特征。
在深度学习领域，很多网络可以实现目标分类，如VGG NET、GoogLeNet、ResNet等，可选地，本发明实施例采用了GoogLeNet，具体地，在深度上，采用了更深的网络层次，在不同深度处增加了两个loss来保证梯度回传消失现象；在宽度上，增加了多种核1x1、3x3、5x5及直接max pooling，同时增加了inception结构，即在3x3、5x5、max pooling后分别加上了1x1的卷积核，以降低feature map厚度。
步骤S403，采用BING特征算法，对每个图像信息进行特征提取，得到至少一个目标特征。
步骤S405，将每个目标特征与类别特征进行匹配，并根据匹配结果确定图像信息中包含的目标的类别信息。
BING(Binarized Normed Gradients)特征算法，,即二值化标准梯度算法。一般对于训练好的分类器，都会通过滑动窗口的方式做目标检测和识别分类，在移动领域的识别，采用BING特征算法，即二值化标准梯度算法，提高了检测速度，将搜索的窗口减少到原来的0.2％左右，极大提升了目标预检测的速度。
图5所示为基于BING特征算法，得到图像信息中每个目标的属性信息的流程图，包括：
步骤S501，通过每个目标的图像区域在摄像装置采集的整个图像中的位置，在图像信息中获得目标窗口图像和非目标窗口图像，其中，目标窗口图像作为正样本，非目标窗口图像作为负样本；
步骤S503，构建不同尺度的正样本图像和不同尺度的负样本图像；
步骤S505，将所有正样本图像和负样本图像都重构成8像素*8像素的图像；
步骤S507，利用重构后的所有尺度的正样本图像、所有尺度的正样本图像的水平翻转图像、所有负样本图像计算BING特征，将BING特征通过SVW训练，获得初始第一阶段模板，其中第一阶段模板中含有表征目标的目标特征；
步骤S509，基于初始第一阶段模板，计算不同尺度第一阶段模板对初始第一阶段模板的系数与偏移量，其中，这里第一阶段模板的尺度和正样本图像的尺度一一对应；
步骤S511，基于不同尺度第一阶段模板对初始第一阶段模板的系数与偏移量，对于每个目标的不同尺度模板，将其中的目标特征与图像类别数据库中的类别特征进行匹配，确定和每个目标的所有尺度模板匹配度最高的类别特征所表征的类别即目标的类别信息。
本发明实施例的一个可选实施方式中，确定至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离，包括：
计算至少一个目标中除伪目标之外的任意一个目标在目标的深度图中的全部像素点的景深值的平均值，得到景深均值，并将景深均值作为目标与摄像装置之间的距离。
现有的导盲领域中，目标测距基本是基于超声波实现，仅仅将最接近的物体视为目标，并测出其距离。本发明实施例中，首先是目标的检测和识别，然后根据每个目标独立计算距离信息，距离是作为目标的属性之一，用户可从中选择性的获取感兴趣的目标距离自己的距离，更为灵活和实用。
本发明实施例的一个可选实施方式中，立体匹配算法采用SGBM算法，SGBM算法作为一种全局匹配算法，立体匹配的效果明显好于局部匹配算法，包括以下步骤：图像梯度计算步骤、代价计算步骤、动态规划步骤和后处理步骤，具体地：
图像梯度计算步骤为：
对原始图像做水平Sobel变换，表示如下：
Sobel(x,y)＝2[P(x+1,y)-P(x-1,y)]+P(x+1,y-1)-P(x-1,y-1)+P(x+1,y+1)-P(x-1,y+1)
其中，P为像素值，x和y为图像的横坐标和纵坐标,Sobel(x,y)表示梯度信息。
以如下映射函数f对Sobel变换后的图像做重映射
其中，P为像素值；filter为常数参数，默认取值为15。
代价计算步骤为：
首选对于图像梯度计算步骤中的梯度信息经过基于采样的方法得到的梯度代价；
其次原图像经过基于采样的方法得到的SAD代价。
动态规划步骤为：
以如下公式计算，默认4条路径
Lr(p,d)＝C(p,d)+min(Lr(p-r,d),
Lr(p-r,d-1)+P1,Lr(p-r,d+1)+P1,
其中P1和P2为常数参数；Lr(p,d)表示沿从左到右方向，当目前像素p的视差取值为d时的最小代价值；C(p,d)为当前像素p和移动d之后的像素q之间，经过半个像素插值后，寻找的两个像素点灰度或者RGB差值的最小值；i、k为序列标号。
后处理步骤为：
首先，进行唯一性检测，深度窗口范围内最低代价是次低代价的(1+uniquenessRatio/100)倍时，最低代价对应的深度值才是该像素点的深度，否则该像素点的深度为0。其中uniquenessRatio为视差唯一性百分比，可选地，计算中为了得到满足实际需要的深度值计算精度值，uniquenessRatio取值范围为5-15。
其次，以如下插值公式做亚像素插值,Sp为取值，d为坐标，max表示取极大值，denom2为中间计算结果：
最后，进行左右一致性检测，误差阈值默认为1。
本发明实施例的一个可选实施方式中，摄像装置包括：双目摄像装置和/或三目摄像装置。
在摄像装置采集图像信息时，单目相机的问题在于不利于获取深度信息，对于阴影、光照、误检等问题缺少有效的二次过滤；而深度相机虽然可以为系统提供三维景深信息，但无论是基于激光结构光还是TOF相机，都存在分辨率偏小、检测距离和范围偏小、深度相机和RGB相机难以同步等问题，常规范围为0.5米到3米，更远处需要更大的功率，相应的深度信息精度随之下降。而双目摄像装置和三目摄像装置可实现图像处理前的多幅不同角度图像的数据同步，双镜头或三镜头分辨率一致，检测距离较远，功耗较低。
实施例二：
本发明实施例提供的一种目标检测的装置，如图6所示，该装置包括：
图像信息获取模块61，用于获取摄像装置采集的图像信息，其中，图像信息为摄像装置可视区域内的图像信息；
图像信息分析模块62，用于对图像信息中包含的至少一个目标进行分析，以在至少一个目标中确定伪目标；
目标距离确定模块63，用于确定至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离。
首先在图像信息获取模块61获取了摄像装置采集的图像信息后，图像信息分析模块62通过对图像信息中包含的至少一个目标进行分析而确定伪目标，实现了对伪目标检测的目的；最后目标距离确定模块63确定出至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离，从而过滤掉了至少一个目标中的伪目标，避免了伪目标给目标定位带来的干扰，实现了目标及其距离的精确检测。
因而，本发明缓解了现有的图像识别技术由于无法准确识别伪目标导致的除伪目标之外的其他目标与摄像装置之间的距离的测量精度较差的技术问题，达到了准确确定除伪目标之外的其他目标与摄像装置之间的距离的技术效果。
可选地，摄像装置包括：双目摄像装置和/或三目摄像装置。
可选地，图像信息分析模块62，包括：
目标属性确定模块，用于通过基于图像训练集的深度学习技术对图像信息进行识别，得到图像信息中每个目标的属性信息，其中，属性信息包括：类别信息和位置信息。
图像训练集可以至少包括以下之一：Imagenet数据集、CoPhIR数据集、自建数据集，其中，自建数据集包括增补图像，增补图像为用于反应交通和/或平安城市的图像。
图像信息的深度图计算模块，用于通过立体匹配算法对图像信息进行处理，以得到图像信息的深度图。
立体匹配算法可以采用SGBM算法。
目标深度图提取模块，用于根据每个目标的位置信息，从图像信息的深度图中提取出每个目标的深度图。
伪目标筛选模块，用于根据每个目标的深度图，从至少一个目标中选出伪目标。
可选地，伪目标筛选模块根据每个目标的深度图，从至少一个目标中选出伪目标，包括：
基于每个目标的深度图确定每个目标的至少一个景深差值；
将每个目标的至少一个景深差值与预设景深差值作比较；
确定大于预设景深差值的景深差值对应的目标为伪目标。
可选地，目标属性确定模块通过基于图像训练集的深度学习技术对所述图像信息进行识别，得到所述图像信息中每个目标的属性信息，包括：
通过神经网络模型，将所述图像训练集中的图像进行特征提取，建立图像类别数据库，其中，所述图像类别数据库中包括多种物体的类别特征；
采用BING特征算法，对每个所述图像信息进行特征提取，得到至少一个目标特征；
将每个所述目标特征与所述类别特征进行匹配，并根据匹配结果确定所述图像信息中包含的目标的类别信息。
可选地，目标距离确定模块63确定至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离，包括计算至少一个目标中除伪目标之外的任意一个目标在目标的深度图中的全部像素点的景深值的平均值，得到景深均值，并将景深均值作为目标与摄像装置之间的距离。
本发明实施例的一个可选实施方式中，装置还包括信息输出模块，其中，
信息输出模块用于将至少一个目标中除伪目标之外的任意一个目标与摄像装置的距离输出。
本发明实施例的可选实施方式提供的目标检测的装置可安装在眼镜框架上，盲人戴上后可以有效识别周围的物体并感知到周围不同物体距自己的距离。
本发明实施例所提供的目标检测的方法和装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种目标检测的方法，其特征在于，包括：
获取摄像装置采集的图像信息，其中，所述图像信息为所述摄像装置可视区域内的图像信息；
对所述图像信息中包含的至少一个目标进行分析，以在所述至少一个目标中确定伪目标；
确定所述至少一个目标中除所述伪目标之外的任意一个目标与所述摄像装置的距离。
2.根据权利要求1所述的方法，其特征在于，对所述图像信息中包含的至少一个目标进行分析，以在所述至少一个目标中确定伪目标，包括：
通过基于图像训练集的深度学习技术对所述图像信息进行识别，得到所述图像信息中每个目标的属性信息，其中，所述属性信息包括：类别信息和位置信息；
通过立体匹配算法对所述图像信息进行处理，以得到所述图像信息的深度图；
根据每个所述目标的位置信息，从所述图像信息的深度图中提取出每个所述目标的深度图；
根据每个所述目标的深度图，从所述至少一个目标中选出所述伪目标。
3.根据权利要求2所述的方法，其特征在于，根据每个所述目标的深度图，从所述至少一个目标中选出所述伪目标，包括：
基于每个所述目标的深度图确定每个所述目标的至少一个景深差值；
将每个所述目标的至少一个景深差值与预设景深差值作比较；
确定大于预设景深差值的景深差值对应的目标为所述伪目标。
4.根据权利要求2所述的方法，其特征在于，通过基于图像训练集的深度学习技术对所述图像信息进行识别，得到所述图像信息中每个目标的属性信息，包括：
通过神经网络模型，将所述图像训练集中的图像进行特征提取，建立图像类别数据库，其中，所述图像类别数据库中包括多种物体的类别特征；
采用BING特征算法，对每个所述图像信息进行特征提取，得到至少一个目标特征；
将每个所述目标特征与所述类别特征进行匹配，并根据匹配结果确定所述图像信息中包含的目标的类别信息。
5.根据权利要求2所述的方法，其特征在于，所述图像训练集至少包括以下之一：Imagenet数据集、CoPhIR数据集、自建数据集，其中，所述自建数据集包括增补图像，所述增补图像为用于反应交通和/或平安城市的图像。
6.根据权利要求2所述的方法，其特征在于，确定所述至少一个目标中除所述伪目标之外的任意一个目标与所述摄像装置的距离，包括：
计算所述至少一个目标中除所述伪目标之外的任意一个目标在所述目标的深度图中的全部像素点的景深值的平均值，得到景深均值，并将所述景深均值作为所述目标与所述摄像装置之间的距离。
7.根据权利要求2所述的方法，其特征在于，所述立体匹配算法采用SGBM算法。
8.根据权利要求1所述的方法，其特征在于，所述摄像装置包括：双目摄像装置和/或三目摄像装置。
9.一种目标检测的装置，其特征在于，包括：
图像信息获取模块，用于获取摄像装置采集的图像信息，其中，所述图像信息为所述摄像装置可视区域内的图像信息；
图像信息分析模块，用于对所述图像信息中包含的至少一个目标进行分析，以在所述至少一个目标中确定伪目标；
目标距离确定模块，用于确定所述至少一个目标中除所述伪目标之外的任意一个目标与所述摄像装置的距离。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括信息输出模块，其中，
所述信息输出模块用于将所述至少一个目标中除所述伪目标之外的任意一个目标与所述摄像装置的距离输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710180206.0A CN106960210B (zh) | 2017-03-23 | 2017-03-23 | 目标检测的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710180206.0A CN106960210B (zh) | 2017-03-23 | 2017-03-23 | 目标检测的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106960210A true CN106960210A (zh) | 2017-07-18 |
| CN106960210B CN106960210B (zh) | 2019-11-22 |
Family
ID=59470308
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710180206.0A Expired - Fee Related CN106960210B (zh) | 2017-03-23 | 2017-03-23 | 目标检测的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106960210B (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241955A (zh) * | 2018-11-08 | 2019-01-18 | 联想(北京)有限公司 | 识别方法和电子设备 |
| CN109579081A (zh) * | 2018-12-06 | 2019-04-05 | 邱迪 | 可伸缩金属支架驱动平台 |
| CN109631776A (zh) * | 2018-12-27 | 2019-04-16 | 南京航空航天大学 | 一种高压输电线路导线结冰厚度自动测量方法 |
| CN110008951A (zh) * | 2019-03-14 | 2019-07-12 | 深兰科技（上海）有限公司 | 一种目标检测方法及装置 |
| CN110188811A (zh) * | 2019-05-23 | 2019-08-30 | 西北工业大学 | 基于赋范梯度特征与卷积神经网络的水下目标检测方法 |
| CN110246180A (zh) * | 2019-05-17 | 2019-09-17 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的教师位置检测方法及系统 |
| CN110287991A (zh) * | 2019-05-22 | 2019-09-27 | 平安科技（深圳）有限公司 | 植物类生药真伪验证方法、装置、计算机设备及存储介质 |
| CN110342134A (zh) * | 2019-07-23 | 2019-10-18 | 珠海市一微半导体有限公司 | 一种基于双目视觉的垃圾分类识别系统及其方法 |
| CN110658916A (zh) * | 2019-09-18 | 2020-01-07 | 中国人民解放军海军航空大学 | 目标跟踪方法和系统 |
| CN111428649A (zh) * | 2020-03-26 | 2020-07-17 | 自然资源部国土卫星遥感应用中心 | 一种风力发电设施遥感智能提取方法 |
| CN112987008A (zh) * | 2021-02-09 | 2021-06-18 | 上海眼控科技股份有限公司 | 一种相对深度测量方法、装置、设备及存储介质 |
| CN113781182A (zh) * | 2021-09-22 | 2021-12-10 | 拉扎斯网络科技（上海）有限公司 | 行为识别方法、装置、电子设备、存储介质及程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101877131A (zh) * | 2009-04-28 | 2010-11-03 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种目标识别方法、装置及目标识别系统 |
| CN105427336A (zh) * | 2015-12-31 | 2016-03-23 | 青岛歌尔声学科技有限公司 | 一种基于双目视频的测距方法和装置 |
| CN105528587A (zh) * | 2015-12-29 | 2016-04-27 | 生迪智慧科技有限公司 | 目标检测的方法及装置 |
| CN105627932A (zh) * | 2015-12-31 | 2016-06-01 | 零度智控（北京）智能科技有限公司 | 一种基于双目视觉的测距方法及装置 |
-
2017
- 2017-03-23 CN CN201710180206.0A patent/CN106960210B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101877131A (zh) * | 2009-04-28 | 2010-11-03 | 青岛海信数字多媒体技术国家重点实验室有限公司 | 一种目标识别方法、装置及目标识别系统 |
| CN105528587A (zh) * | 2015-12-29 | 2016-04-27 | 生迪智慧科技有限公司 | 目标检测的方法及装置 |
| CN105427336A (zh) * | 2015-12-31 | 2016-03-23 | 青岛歌尔声学科技有限公司 | 一种基于双目视频的测距方法和装置 |
| CN105627932A (zh) * | 2015-12-31 | 2016-06-01 | 零度智控（北京）智能科技有限公司 | 一种基于双目视觉的测距方法及装置 |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109241955B (zh) * | 2018-11-08 | 2022-04-19 | 联想(北京)有限公司 | 识别方法和电子设备 |
| CN109241955A (zh) * | 2018-11-08 | 2019-01-18 | 联想(北京)有限公司 | 识别方法和电子设备 |
| CN109579081A (zh) * | 2018-12-06 | 2019-04-05 | 邱迪 | 可伸缩金属支架驱动平台 |
| CN109631776A (zh) * | 2018-12-27 | 2019-04-16 | 南京航空航天大学 | 一种高压输电线路导线结冰厚度自动测量方法 |
| CN110008951A (zh) * | 2019-03-14 | 2019-07-12 | 深兰科技（上海）有限公司 | 一种目标检测方法及装置 |
| CN110008951B (zh) * | 2019-03-14 | 2020-12-15 | 深兰科技（上海）有限公司 | 一种目标检测方法及装置 |
| CN110246180A (zh) * | 2019-05-17 | 2019-09-17 | 福州瑞芯微电子股份有限公司 | 一种基于深度学习的教师位置检测方法及系统 |
| CN110287991A (zh) * | 2019-05-22 | 2019-09-27 | 平安科技（深圳）有限公司 | 植物类生药真伪验证方法、装置、计算机设备及存储介质 |
| CN110287991B (zh) * | 2019-05-22 | 2023-12-19 | 平安科技（深圳）有限公司 | 植物类生药真伪验证方法、装置、计算机设备及存储介质 |
| CN110188811A (zh) * | 2019-05-23 | 2019-08-30 | 西北工业大学 | 基于赋范梯度特征与卷积神经网络的水下目标检测方法 |
| CN110342134A (zh) * | 2019-07-23 | 2019-10-18 | 珠海市一微半导体有限公司 | 一种基于双目视觉的垃圾分类识别系统及其方法 |
| CN110342134B (zh) * | 2019-07-23 | 2023-06-09 | 珠海一微半导体股份有限公司 | 一种基于双目视觉的垃圾分类识别系统及其方法 |
| CN110658916A (zh) * | 2019-09-18 | 2020-01-07 | 中国人民解放军海军航空大学 | 目标跟踪方法和系统 |
| CN111428649B (zh) * | 2020-03-26 | 2021-02-09 | 自然资源部国土卫星遥感应用中心 | 一种风力发电设施遥感智能提取方法 |
| CN111428649A (zh) * | 2020-03-26 | 2020-07-17 | 自然资源部国土卫星遥感应用中心 | 一种风力发电设施遥感智能提取方法 |
| CN112987008A (zh) * | 2021-02-09 | 2021-06-18 | 上海眼控科技股份有限公司 | 一种相对深度测量方法、装置、设备及存储介质 |
| CN113781182A (zh) * | 2021-09-22 | 2021-12-10 | 拉扎斯网络科技（上海）有限公司 | 行为识别方法、装置、电子设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106960210B (zh) | 2019-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106960210B (zh) | 目标检测的方法和装置 | |
| CN105046235B (zh) | 车道线的识别建模方法和装置、识别方法和装置 | |
| CN111723786B (zh) | 一种基于单模型预测的安全帽佩戴检测方法及装置 | |
| CN102236794B (zh) | 3d场景中3d对象的识别和姿态确定 | |
| CN106647742B (zh) | 移动路径规划方法及装置 | |
| CN108734143A (zh) | 一种巡检机器人的基于双目视觉的输电线路在线检测方法 | |
| CN105513354A (zh) | 基于视频的城市道路交通拥堵检测系统 | |
| CN105608417B (zh) | 交通信号灯检测方法及装置 | |
| Laumer et al. | Geocoding of trees from street addresses and street-level images | |
| CN109583324A (zh) | 一种基于单点多盒检测器的指针仪表读数自动识别方法 | |
| CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
| CN107397658B (zh) | 一种多尺度全卷积网络及视觉导盲方法和装置 | |
| CN106355604A (zh) | 图像目标跟踪方法与系统 | |
| CN104463240B (zh) | 一种仪表定位方法及装置 | |
| CN106296814A (zh) | 公路养护检测与可视化交互方法和系统 | |
| CN108846333A (zh) | 标志牌地标数据集生成及车辆定位方法 | |
| CN109063643A (zh) | 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法 | |
| CN105930852A (zh) | 一种气泡图像识别方法 | |
| CN110345924A (zh) | 一种距离获取的方法和装置 | |
| CN105160285A (zh) | 基于立体视觉的自动人体跌倒识别方法及系统 | |
| CN110930384A (zh) | 基于密度信息的人群计数方法、装置、设备以及介质 | |
| CN107481243A (zh) | 基于羊只俯视图的羊只体尺检测方法 | |
| CN104123569B (zh) | 一种基于有监督学习的视频人数信息统计方法 | |
| CN116258820B (zh) | 大规模城市点云数据集与建筑单体化构建方法及相关装置 | |
| CN108399413B (zh) | 一种图片拍摄区域识别及地理定位方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191122 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |