CN107463933A - 一种图像目标检测方法 - Google Patents

一种图像目标检测方法 Download PDF

Info

Publication number
CN107463933A
CN107463933A CN201710606584.0A CN201710606584A CN107463933A CN 107463933 A CN107463933 A CN 107463933A CN 201710606584 A CN201710606584 A CN 201710606584A CN 107463933 A CN107463933 A CN 107463933A
Authority
CN
China
Prior art keywords
image
concavo
view data
segmentation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710606584.0A
Other languages
English (en)
Inventor
余程鹏
徐纪卫
郑宇欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zong Hui (shanghai) Robotics Co Ltd
Original Assignee
Zong Hui (shanghai) Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zong Hui (shanghai) Robotics Co Ltd filed Critical Zong Hui (shanghai) Robotics Co Ltd
Priority to CN201710606584.0A priority Critical patent/CN107463933A/zh
Publication of CN107463933A publication Critical patent/CN107463933A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像目标检测方法，所述方法包括：获取3D图像数据；利用3D点云数据中的深度信息对所述3D图像数据进行图像分割；从分割出的区域提取样本2D图像数据。相较于现有技术，本发明的方法过程简单、识别计算量小、识别正确率高。

Description

一种图像目标检测方法
技术领域
本发明涉及电子技术领域，具体涉及一种图像目标检测方法。
背景技术
随着计算机技术的不断发展，计算机图像识别技术被越来越广泛的应用的生产生活中。
随着计算机图像识别技术应用的不断深化，计算机图像识别的目标也从简单的单一物体图像转变为具有多个物体的复杂图像。相对于针对单一物体图像的识别，针对复杂图像的识别并不仅仅是对单纯的图像分类与识别，而是首先要从复杂图像中检测出待识别目标。
在现有技术中，目标检测除了需要识别图片中包含的物体，还要确定该物体在图片中的区域。因此，现有技术的目标检测算法相应的计算量非常大，消耗的时间也比较长。
发明内容
本发明提供了一种图像目标检测方法，所述方法包括：
获取3D图像数据；
利用3D点云数据中的深度信息对所述3D图像数据进行图像分割；
从分割出的区域提取样本2D图像数据。
在一实施例中，采用基于凸凹性的LCCP算法进行图像分割。
在一实施例中，采用基于凸凹性的LCCP算法进行图像分割，包括：
基于超体聚类的过分割；
在超体聚类的基础上再聚类。
在一实施例中，在超体聚类的基础上再聚类，包括：
对于过分割的点云计算不同的块之间凹凸关系；
根据不同的块之间凹凸关系采用区域增长算法将小区域聚类成较大的物体。
在一实施例中，对于过分割的点云计算不同的块之间凹凸关系，其中，通过扩展凸面准则和理智准则判据来判断所述凹凸关系。
在一实施例中，根据不同的块之间凹凸关系采用区域增长算法将小区域聚类成较大的物体，其中，只允许区域跨越凸边增长。
本发明还提出了一种图像识别方法，所述方法包括：
采用如本发明所述图像目标检测方法获取所述样本2D图像数据；
对所述样本2D图像数据进行分类识别。
在一实施例中，所述方法还包括：
将所述3D图像数据转化为2D图像数据，并标注识别结果。
在一实施例中，根据分割区域在所述2D图像数据中产生检测框，并标注所述识别结果。
本发明还提出了一种存储介质，其特征在于，所述存储介质上存储有可实现如本发明所述方法流程的程序代码。
相较于现有技术，本发明的方法过程简单、识别计算量小、识别正确率高。
本发明的其它特征或优点将在随后的说明书中阐述。并且，本发明的部分特征或优点将通过说明书而变得显而易见，或者通过实施本发明而被了解。本发明的目的和部分优点可通过在说明书、权利要求书以及附图中所特别指出的步骤来实现或获得。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
图1、图4以及图5是根据本发明不同实施例的方法流程图；
图2是根据本发明一实施例的凸凹关系CC判据示意图；
图3是根据本发明一实施例的凸凹关系SC判据示意图；
图6是应用本发明一实施例的硬件系统数据流示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此本发明的实施人员可以充分理解本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程并依据上述实现过程具体实施本发明。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
随着计算机图像识别技术应用的不断深化，计算机图像识别的目标也从简单的单一物体图像转变为具有多个物体的复杂图像。相对于针对单一物体图像的识别，针对复杂图像的识别并不仅仅是对单纯的图像分类与识别，而是首先要从复杂图像中检测出待识别目标。
在现有技术中，目标检测除了需要识别图片中包含的物体，还要确定该物体在图片中的区域。因此，现有技术的目标检测算法相应的计算量非常大，消耗的时间也比较长。
针对现有技术存在的问题，本发明提出了一种图像目标检测方法。接下来基于附图详细描述根据本发明实施例的方法的详细流程，附图的流程图中示出的步骤可以在包含诸如一组计算机可执行指令的计算机系统中执行。虽然在流程图中示出了各步骤的逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，在一实施例中，图像目标检测方法的执行流程包括：
获取3D图像数据(S110)；
利用3D点云数据中的深度信息对获取到的3D图像数据进行图像分割(S120)；
从分割出的区域提取样本2D图像数据(S130)。
具体的，在一实施例中，在步骤S110中，通过立体摄像头所采集到3D图像数据进行目标检测，所采用的立体摄像头可以是基于双目、结构光或者是TOF成像原理的。
本发明的方法利用3D图像的深度信息先进行图像分割，然后再对每个分割出的物体进行分类识别。相比于现有技术中的基于卷积神经网络(Convolutional NeuralNetwork，CNN)的图像分割方法所采用的先特征提取，再进行分类和区域回归的方法，实际需要分类的区域大大减小，因此降低了计算量、提高了实时性。另外，相较于现有技术，本发明的方法的物体分割更加准确，因此分类识别的准确率也得到了提高。综上，相较于现有技术，本发明的方法过程简单、识别计算量小、识别正确率高。
进一步的，在一实施例中，在步骤S120中，采用基于凸凹性的局部凸连接打包(Locally Convex Connected Patches，LCCP)算法进行图像分割。
具体的，步骤S120所采用的LCCP算法包括：
基于超体聚类的过分割；
在超体聚类的基础上再聚类。
其中：
1.基于超体聚类的过分割
超体聚类与结晶过程类似，实际上是一种特殊的区域生长算法，和无限制的生长不同，超体聚类首先需要规律的布置区域生长“晶核”(Seed)。晶核在空间中实际上是均匀分布的,通过指定晶核距离、粒子距离以及最小晶粒，然后控制结晶过程，就能将整个空间划分开了。结晶过程的本质就是不断吸纳相似的粒子。所谓“相似”可由以下公式定义：
式中的Dc表示颜色上的差异，Dn表示法线上的差异，Ds代表点距离上的差异，ω*表示一系列权重，用于控制结晶形状。
在晶核周围寻找一圈，D最小的体素被认为是最相似的粒子，所有的晶核同时开始生长，因此可是使用GPU的并行能力对算法进行加速。
2.在超体聚类的基础上再聚类
点云完成超体聚类之后，对于过分割的点云计算不同的块之间凹凸关系。
具体的，在一实施例中，凹凸关系通过扩展凸面准则(Extended ConvexityCriterion，CC)和理智准则(Sanity criterion，SC)判据来进行判断。其中CC利用相邻两片中心连线向量与法向量夹角来判断两片是凹是凸。如图2所示，分别为相邻两片中心向量，其连线向量为分别为相邻两片法向量。如图2右图所示，α1>α2则凹凸关系为凹；如图2左图所示，α2>α1则凹凸关系为凸。
如果相邻两面中，有一个面是单独的，cc判据是无法将其分开的。举个简单的例子，两本厚度不同的书并排放置，视觉算法应该将两本书分割开。如果是台阶，则视觉算法应该将台阶作为一个整体。本质上就是因为厚度不同的书存在表面奇点(surface-singularities)。为此需要引入SC判据，来对此进行区分。
具体的，在一实施例中，SC判据如图3所示。分别为相邻两片中心向量，其连线向量为分别为相邻两片法向量，即与相邻两面的法向量同时垂直。θ角指的是和之间的夹角，相邻两面是否真正联通，是否存在单独面，与θ角有关，θ角越大，则两面真的形成凸关系的可能性就越大。
在标记完各个小区域的凹凸关系后，根据不同的块之间凹凸关系采用区域增长算法将小区域聚类成较大的物体，从而最终完成对图像的分割。具体的，在一实施例中，聚类依据的准则是只允许区域跨越凸边增长。
进一步的，在一实施例中，在步骤S130中，从分割出的区域提取样本2D图像数据，并进行归一化处理。具体的，在一实施例中，样本2D图像数据统一转换成m*n格式的2D图片。
基于本发明提出的图像目标检测方法，本发明还提出了一种图像识别方法。具体的，如图4所示，即首先采用本发明提出的图像目标检测方法获取样本2D图像数据(S410～S430)；然后对样本2D图像数据进行分类识别(S440)。
具体的，在一实施例中，在步骤S440中，采用卷积神经网络(CNN)对样本2D图像数据进行分类识别。卷积神经网络主要由多个卷积层，池化层作为特征提取层，最后再加上一到两层的全连接层组成的前馈反向传播网络。CNN存在许多不同的网络构型，本发明的实施例可以选择主流模型中的任意一种。
进一步的，如图5所示，在一实施例中，方法还包括：
将3D图像数据转化为2D图像数据(S550)，并标注识别结果(S560)。
具体的，在一实施例中，在步骤S560中，根据步骤S520确定的分割区域在2D图像数据中产生检测框，针对检测框标注识别结果。
进一步的，本发明还提出了一种存储介质。具体的，该存储介质上存储有可执行本发明所述的图像目标检测和/或图像识别方法流程的程序代码。
以一个具体的应用环境为例，在一实施例中，采用一个Intel Realsense 3D摄像头采集图像数据，并通过英伟达(Nvidia)公司的Tegra TK1平台完成对3D图像的目标检测，系统的处理框图如图6所示。
图6所示系统中，3D摄像头的所产生的深度图像分辨率为640*480@60fps，RGB图像分辨率为1080p@30fps，因此，当采集到3D图像数据时，首先将深度信息与RGB信息进行对齐。
然后将对齐后的3D点云数据进行滤波处理，去除明显离群点。由于本相机所产生的点云数据比较密集，过多的点云数量会对后续分割工作带来困难，因此体素格滤波器再次进行滤波，可以达到向下采样同时不破坏点云本身几何结构的功能。
滤波后的3D点云数据通过LCCP算法进行图像分割处理，在进行超体聚类时，使用GPU对算法进行了并行加速处理，提高了图像分割的速度。
分割好的目标数据进行归一化处理，统一转换为224*224的图片，对于小于64*64分割区域，将其数据直接丢弃，不进行归一化处理。
将归一化处理后得到的2D图像数据送入CNN分类器进行识别，此处的CNN采用VGGnet-19网络结构。
最后将原始的3D图像转换为2D图像(3Dto2D映射)，并将识别结果和分割结果在2D图像中标注处理，然后输出到显示屏。
虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。本发明所述的方法还可有其他多种实施例。在不背离本发明实质的情况下，熟悉本领域的技术人员当可根据本发明做出各种相应的改变或变形，但这些相应的改变或变形都应属于本发明的权利要求的保护范围。

Claims (10)

1.一种图像目标检测方法，其特征在于，所述方法包括：
获取3D图像数据；
利用3D点云数据中的深度信息对所述3D图像数据进行图像分割；
从分割出的区域提取样本2D图像数据。
2.根据权利要求1所述的方法，其特征在于，采用基于凸凹性的LCCP算法进行图像分割。
3.根据权利要求2所述的方法，其特征在于，采用基于凸凹性的LCCP算法进行图像分割，包括：
基于超体聚类的过分割；
在超体聚类的基础上再聚类。
4.根据权利要求3所述的方法，其特征在于，在超体聚类的基础上再聚类，包括：
对于过分割的点云计算不同的块之间凹凸关系；
根据不同的块之间凹凸关系采用区域增长算法将小区域聚类成较大的物体。
5.根据权利要求4所述的方法，其特征在于，对于过分割的点云计算不同的块之间凹凸关系，其中，通过扩展凸面准则和理智准则判据来判断所述凹凸关系。
6.根据权利要求4所述的方法，其特征在于，根据不同的块之间凹凸关系采用区域增长算法将小区域聚类成较大的物体，其中，只允许区域跨越凸边增长。
7.一种图像识别方法，其特征在于，所述方法包括：
采用如权利要求1～6中任一项所述方法获取所述样本2D图像数据；
对所述样本2D图像数据进行分类识别。
8.根据权利要求7所述的方法，其特征在于，所述方法还包括：
将所述3D图像数据转化为2D图像数据，并标注识别结果。
9.根据权利要求8所述的方法，其特征在于，根据分割区域在所述2D图像数据中产生检测框，并标注所述识别结果。
10.一种存储介质，其特征在于，所述存储介质上存储有可实现如权利要求1～9中任一项所述方法流程的程序代码。
CN201710606584.0A 2017-07-24 2017-07-24 一种图像目标检测方法 Pending CN107463933A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710606584.0A CN107463933A (zh) 2017-07-24 2017-07-24 一种图像目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710606584.0A CN107463933A (zh) 2017-07-24 2017-07-24 一种图像目标检测方法

Publications (1)

Publication Number Publication Date
CN107463933A true CN107463933A (zh) 2017-12-12

Family

ID=60543958

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710606584.0A Pending CN107463933A (zh) 2017-07-24 2017-07-24 一种图像目标检测方法

Country Status (1)

Country Link
CN (1) CN107463933A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734120A (zh) * 2018-05-15 2018-11-02 百度在线网络技术（北京）有限公司 标注图像的方法、装置、设备和计算机可读存储介质
CN109145969A (zh) * 2018-08-03 2019-01-04 百度在线网络技术（北京）有限公司 三维物体点云数据的处理方法、装置、设备及介质
CN109166145A (zh) * 2018-08-10 2019-01-08 中国农业大学 一种基于聚类分割的果树叶片生长参数提取方法及系统
CN109816682A (zh) * 2019-01-22 2019-05-28 西南交通大学 一种基于凹凸性的腕臂系统分割与参数检测方法
CN109859208A (zh) * 2019-01-03 2019-06-07 北京化工大学 基于凹凸性和rsd特征的场景分割与目标建模方法
CN110275153A (zh) * 2019-07-05 2019-09-24 上海大学 一种基于激光雷达的水面目标检测与跟踪方法
CN111179312A (zh) * 2019-12-24 2020-05-19 北京欣奕华科技有限公司 基于3d点云和2d彩色图像相结合的高精度目标跟踪方法
CN112800890A (zh) * 2021-01-18 2021-05-14 上海大学 一种基于表面法向量的道路障碍检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298995A (zh) * 2014-05-06 2015-01-21 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
CN105389592A (zh) * 2015-11-13 2016-03-09 华为技术有限公司 一种图像识别方法和装置
EP3156944A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104298995A (zh) * 2014-05-06 2015-01-21 深圳市唯特视科技有限公司 基于三维点云的三维人脸识别装置及方法
EP3156944A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
CN105389592A (zh) * 2015-11-13 2016-03-09 华为技术有限公司 一种图像识别方法和装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GUPTA等: "Perceptual organization and recognition of indoor scenes from RGB-D images"", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
IRONSTARK: "PCL—低层次视觉—点云分割（基于凹凸性）", 《网页在线公开：HTTPS://WWW.CNBLOGS.COM/IRONSTARK/P/5027269.HTML》 *
IRONSTARK: "PCL—低层次视觉—点云分割（超体聚类）", 《网页在线公开：HTTPS://WWW.CNBLOGS.COM/IRONSTARK/P/5013968.HTML》 *
PAPON J等: "Voxel Cloud Connectivity Segmentation - Supervoxels for Point Clouds", 《2013 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
STEIN S C: "Object Partitioning Using Local Convexity", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734120B (zh) * 2018-05-15 2022-05-10 百度在线网络技术（北京）有限公司 标注图像的方法、装置、设备和计算机可读存储介质
CN108734120A (zh) * 2018-05-15 2018-11-02 百度在线网络技术（北京）有限公司 标注图像的方法、装置、设备和计算机可读存储介质
CN109145969A (zh) * 2018-08-03 2019-01-04 百度在线网络技术（北京）有限公司 三维物体点云数据的处理方法、装置、设备及介质
CN109145969B (zh) * 2018-08-03 2020-07-28 百度在线网络技术（北京）有限公司 三维物体点云数据的处理方法、装置、设备及介质
CN109166145A (zh) * 2018-08-10 2019-01-08 中国农业大学 一种基于聚类分割的果树叶片生长参数提取方法及系统
CN109166145B (zh) * 2018-08-10 2020-12-11 中国农业大学 一种基于聚类分割的果树叶片生长参数提取方法及系统
CN109859208A (zh) * 2019-01-03 2019-06-07 北京化工大学 基于凹凸性和rsd特征的场景分割与目标建模方法
CN109816682A (zh) * 2019-01-22 2019-05-28 西南交通大学 一种基于凹凸性的腕臂系统分割与参数检测方法
CN109816682B (zh) * 2019-01-22 2022-12-06 西南交通大学 一种基于凹凸性的腕臂系统分割与参数检测方法
CN110275153A (zh) * 2019-07-05 2019-09-24 上海大学 一种基于激光雷达的水面目标检测与跟踪方法
CN111179312A (zh) * 2019-12-24 2020-05-19 北京欣奕华科技有限公司 基于3d点云和2d彩色图像相结合的高精度目标跟踪方法
CN111179312B (zh) * 2019-12-24 2023-07-21 北京欣奕华科技有限公司 基于3d点云和2d彩色图像相结合的高精度目标跟踪方法
CN112800890B (zh) * 2021-01-18 2022-10-11 上海大学 一种基于表面法向量的道路障碍检测方法
CN112800890A (zh) * 2021-01-18 2021-05-14 上海大学 一种基于表面法向量的道路障碍检测方法

Similar Documents

Publication Publication Date Title
CN107463933A (zh) 一种图像目标检测方法
CN109978955A (zh) 一种联合激光点云与图像的高效标注方法
CN104134234B (zh) 一种全自动的基于单幅图像的三维场景构建方法
CN106033621B (zh) 一种三维建模的方法及装置
CN107369161A (zh) 一种基于改进欧式聚类的散乱工件点云分割方法
CN108734120A (zh) 标注图像的方法、装置、设备和计算机可读存储介质
Mao et al. Development of power transmission line defects diagnosis system for UAV inspection based on binocular depth imaging technology
WO2012111236A1 (ja) 画像識別装置およびプログラム
CN103870834B (zh) 基于分层分割的滑动窗搜索方法
CN104537689B (zh) 基于局部对比显著性联合特征的目标跟踪方法
CN104657968B (zh) 车载三维激光点云立面分类及轮廓线提取自动化方法
CN103954970B (zh) 一种地形要素采集方法
CN106504277A (zh) 一种改进的icp点云自动配准方法
CN106560835A (zh) 一种路牌识别方法及装置
CN103971379B (zh) 基于单摄像机等效双目立体视觉模型的泡沫立体特征提取方法
CN109255808A (zh) 基于倾斜影像的建筑物纹理提取方法和装置
Nayak et al. A modified triangle box-counting with precision in error fit
CN106327576B (zh) 一种城市场景重建方法及系统
CN108267748A (zh) 一种全方位三维点云地图生成方法及系统
CN105719250A (zh) 基于简单背景的图像修复方法、系统及拍摄终端
CN106652037A (zh) 一种人脸贴图处理方法及装置
CN103986905B (zh) 一种三维环境下基于线路特征的视频空间实时漫游方法
CN109697428A (zh) 基于rgb_d和深度卷积网络的无人机识别定位系统
CN110223356A (zh) 一种基于能量生长的单目相机全自动标定方法
CN104008374B (zh) 一种矿井图像中基于条件随机场的矿工检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171212

WD01 Invention patent application deemed withdrawn after publication