CN108399432A - 物体检测方法和装置 - Google Patents

物体检测方法和装置 Download PDF

Info

Publication number
CN108399432A
CN108399432A CN201810169247.4A CN201810169247A CN108399432A CN 108399432 A CN108399432 A CN 108399432A CN 201810169247 A CN201810169247 A CN 201810169247A CN 108399432 A CN108399432 A CN 108399432A
Authority
CN
China
Prior art keywords
image
module
training sample
point set
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810169247.4A
Other languages
English (en)
Inventor
王毕才
吕廷迅
谭勇
袁翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Fruit Xiaomei Network Technology Co Ltd
Original Assignee
Chengdu Fruit Xiaomei Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Fruit Xiaomei Network Technology Co Ltd filed Critical Chengdu Fruit Xiaomei Network Technology Co Ltd
Priority to CN201810169247.4A priority Critical patent/CN108399432A/zh
Publication of CN108399432A publication Critical patent/CN108399432A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本申请公开一种物体检测方法和装置，其中方法包括：训练样本获得步骤：将物体的图像和弱光背景图像输入到循环生成对抗网络中，生成所述物体在弱光背景下的训练样本图像；模型训练步骤：利用所述训练样本图像训练物体检测模型，使所述物体检测模型能够识别所述训练样本图像中的所述物体；和物体检测步骤：将待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的物体。利用该方法和装置，能够得到不同光照条件下，尤其是弱光条件下的物体图像，从而为后续模型提供充足的训练样本，从而使得物体检测模型对该类图像的识别成功率升高。

Description

物体检测方法和装置
技术领域
本申请涉及图像处理领域，特别是涉及一种物体检测方法和装置。
背景技术
通常，现有的智能无人售货架通过高速镜头对购买者的动作进行摄像或者拍照，通过对拍摄图像的内容进行分析，从而判断用户购买了哪些商品。在整个购买流程中，物体检测识别是关键环节。然而，当柜体内部光线环境变暗，例如，柜体内光线随着外部环境变暗而变暗，或者柜体内安装的照明设备的损坏会导致物体光照的不均匀，或者用户购买物体是对物体进行了遮挡等，导致后续算法不能正确识别图像中物体的特征，从而影响了物体的检测结果。因此，传统的物体检测识别算法在这种复杂光线场景条件下识别成功率较低，结算时容易出现错误，致使用户购买体验变差。
发明内容
本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。
根据本申请的一个方面，提供了一种物体检测方法，该方法包括：
训练样本获得步骤：将物体的图像和弱光背景图像输入到循环生成对抗网络(Cycle-Generative Adversarial Networks,CycleGAN)中，生成所述物体在弱光背景下的训练样本图像；
模型训练步骤：利用所述训练样本图像训练物体检测模型，使所述物体检测模型能够识别所述训练样本图像中的所述物体；和
物体检测步骤：将待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的物体。
用该方法，能够得到不同光照条件下，尤其是弱光条件下的物体图像，从而为后续模型提供充足的训练样本，从而使得物体检测模型对该类图像的识别成功率升高。
可选地，所述训练样本获得步骤包括：
第一图像生成步骤：基于所述物体的图像和弱光背景图像生成所述物体在弱光背景下的第一图像；
第一图像判断步骤：对所述第一图像进行判断，如果所述第一图像符合要求，则结束训练，得到所述训练样本，如果所述第一图像不符合要求，则执行第一鉴别步骤；
第一鉴别步骤：对所述第一图像进行鉴别，如果所述第一图像满足第一鉴别要求，则执行第二图像生成步骤；
第二图像生成步骤：将所述第一图像还原，生成第二图像，其中，所述第二图像的光照背景接近所述物体的图像的光照背景；和
第二鉴别步骤：对所述第二图像进行鉴别，如果所述第二图像满足第二鉴别要求，则将所述第二图像作为所述物体的图像重新执行所述第一图像生成步骤。
可选地，所述待检测图像通过如下步骤获得：
图像处理步骤：将原图像进行尺度不变特征变换(Scale-Invariant FeatureTransform,SIFT)处理，得到第一特征点集合；
目标图像处理步骤：将目标图像进行尺度不变特征变换处理，得到第二特征点集合；
特征点匹配步骤：将所述第一特征点集合的特征点和所述第二特征点集合的特征点进行匹配，得到第三特征点集合，所述第三特征点集合包括所述第一特征点集合中与所述第二特征点集合的特征点匹配的特征点；和
待检测图像生成步骤：将所述原图像除去与所述第三特征点集合对应的图像部分，得到所述待检测图像。
可选地，所述物体检测模型为卷积神经网络(Convolutional Neural Networks,CNN)模型。
根据本申请的另一个方面，还提供了一种物体检测装置，包括：
训练样本获得模块，其配置成将物体的图像和弱光背景图像输入到循环生成对抗网络中，生成所述物体在弱光背景下的训练样本图像；
模型训练模块，其配置成利用所述训练样本图像训练物体检测模型，使所述物体检测模型能够识别所述训练样本图像中的所述物体；和
物体检测模块，其配置成将待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的物体。
采用该装置，能够得到不同光照条件尤其是弱光条件下的训练样本，从而能够使得模型对弱光图像的识别成功率升高。
可选地，所述训练样本获得模块包括：
第一图像生成模块，其配置成基于所述物体的图像和弱光背景图像生成所述物体在弱光背景下的第一图像；
第一图像判断模块，其配置成对所述第一图像生成模块生成的所述第一图像进行判断，如果所述第一图像符合要求，则结束训练，得到所述训练样本，如果所述第一图像不符合要求，则执行第一鉴别模块；
第一鉴别模块，其配置成对所述第一图像生成模块生成的所述第一图像进行鉴别，如果所述第一图像满足第一鉴别要求，则执行第二图像生成模块；
第二图像生成模块，其配置成将所述第一图像生成模块生成的所述第一图像还原，生成第二图像，其中，所述第二图像的光照背景接近所述物体的图像的光照背景；和
第二鉴别模块，其配置成对所述第二图像生成模块生成的所述第二图像进行鉴别，如果所述第二图像满足第二鉴别要求，则将所述第二图像作为所述物体的图像重新执行所述第一图像生成模块。
可选地，所述待检测图像通过如下模块获得：
图像处理模块，其配置成将原图像进行尺度不变特征变换处理，得到第一特征点集合；
目标图像处理模块，其配置成将目标图像进行尺度不变特征变换处理，得到第二特征点集合；
特征点匹配模块，其配置成将所述图像处理模块得到的所述第一特征点集合中的特征点和所述目标图像处理模块得到的所述第二特征点集合中的特征点进行匹配，得到第三特征点集合，所述第三特征点集合包括所述第一特征点集合中与所述第二特征点集合的特征点匹配的特征点；和
待检测图像生成模块，其配置成将所述原图像除去与所述特征点匹配模块得到的所述第三特征点集合对应的图像部分，得到所述待检测图像。
根据本申请的另一个方面，还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述的方法。
根据本申请的另一个方面，还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述的方法。
根据本申请的另一个方面，还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
附图说明
后文将参照附图以示例性而非限制性的方式详细描述本申请的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
图1是根据本申请的物体检测方法的一个实施例的流程图；
图2是根据本申请的CycleGAN的原理图；
图3是根据本申请的训练样本获得步骤的一个实施例的流程图；
图4是根据本申请的物体检测装置的一个实施例的框图；
图5是根据本申请的训练样本获得模块的一个实施例的框图。
具体实施方式
根据下文结合附图对本申请的具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述以及其他目的、优点和特征。
根据本申请的一个方面，如图1所示，提供了一种物体检测方法，该方法包括：S1训练样本获得步骤：将物体的图像和弱光背景图像输入到循环生成对抗网络中，生成所述物体在弱光背景下的训练样本图像。
该物体可以是无人售货架中待售的商品。弱光背景图像可以是现有的数据库中的标准图像，也可以是通过各种方式收集的弱光背景图片。实际上，获得不同光照条件下的商品图像需要花费大量的时间和人力成本。采用该方法，能够得到不同光照条件下，尤其是弱光条件下的物体图像，从而为后续模型提供充足的训练样本。采用足够多的弱光条件下的图像进行模型训练，能够使得模型对该类图像的识别成功率升高。
该方法还包括：S2模型训练步骤：利用所述训练样本图像训练物体检测模型，使所述物体检测模型能够识别所述训练样本图像中的所述物体。
采用该方法能够对图像中的物体进行识别，例如，如果训练样本图像是某种特定物体的图像，例如，罐装可口可乐、瓶装可口可乐、袋装薯片、碗装方便面等，则通过物体检测模型能够识别图像中物体的种类，例如，该物体具体是哪种货物。
该方法还包括：S3物体检测步骤：将待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的物体。
通过该步骤，能够检测到用户从无人售货架中取出的物体，进而判断用户购买了何种物体。
在所述训练样本获得步骤中，采用CycleGAN生成训练图片。CycleGAN可以在没有成对训练数据的情况下，实现图像风格的转换。也就是说，CycleGAN能够在源域和目标域之间，无须建立训练数据间一对一的映射，就可实现风格的迁移。该对抗网络通过对源域图像进行两步变换：首先尝试使用生成器(generator)网络将源域图像映射到目标域，并且通过与生成器匹配的鉴别器(discriminator)进行鉴别。再使用生成器返回源域得到二次生成图像，再通过通过与生成器匹配的鉴别器进行鉴别，从而消除了在目标域中图像配对的要求，提高该生成图像的质量。参见图2，给出了CycleGAN的原理图。其中A表示物品图片，B表示光照图片，算法让物品图片A尽量学习B图片风格，进而生成带不同B风格的A图片。在该网络中，试图让图片A空间的图片学习B空间的图片的风格。CycleGAN包括第一映射。首先获取输入图像作为Real A，通过生成器G_AB将A空间的图像映射到B空间。也就是将Real A转换为B类风格的图片Fake B。将Fake B通过鉴别器D_B,来判别Fake B是否为真实图片，由此构成对抗生成网络。CycleGAN还包括第二映射，它可以将B类图片转换为A类图片。也就是说，将A的图片转换到B空间后，应该还可以转换回来。如果鉴别器D_B认为Fake B是真实图片，则将Fake B作为Real B输入到第二个映射中，通过生成器G_BA将B空间的图片转换为A空间的Fake A。将Fake A通过鉴别器D_A，来判别Fake A是否为真实图片，如果鉴别通过，将FakeA作为Real A输入第一映射中，进行下一次的循环。按照以上步骤进行训练学习得到的网络模型，能够生成大量弱光环境下物品训练样本。
在一个可选的实施方案中，参见图3，所述训练样本获得步骤包括：
S11第一图像生成步骤：基于所述物体的图像和第一光强背景图像生成所述物体在第一光强背景下的第一图像；
S12第一图像判断步骤：对所述第一图像进行判断，如果所述第一图像符合要求，则结束训练，得到所述训练样本，如果所述第一图像不符合要求，则执行第一鉴别步骤；
S13第一鉴别步骤：对所述第一图像进行鉴别，如果所述第一图像满足第一鉴别要求，则执行第二图像生成步骤；
S14第二图像生成步骤：将所述第一图像还原，生成第二图像，其中，所述第二图像的光照背景接近所述物体的图像的光照背景；和
S15第二鉴别步骤：对所述第二图像进行鉴别，如果所述第二图像满足第二鉴别要求，则将所述第二图像作为所述物体的图像重新执行所述第一图像生成步骤。
可选地，判断S12中所述第一图像符合要求的步骤可以包括：如果所述第一图像满足迭代循环次数，则符合要求。优选地，循环次数为10万次。
可选地，判断S12中所述第一图像符合要求的步骤可以包括：如果所述第一图像小于或者等于误差阈值，则符合要求。优选地，误差阈值为0.02。
在另一个可选的实施方案中，所述训练样本获得步骤包括：
S11第一图像生成步骤：基于所述物体的图像和第一光强背景图像生成所述物体在第一光强背景下的第一图像；
S12第一鉴别步骤：对所述第一图像进行鉴别，如果所述第一图像满足第一鉴别要求，则执行第二图像生成步骤；
S13第二图像生成步骤：将所述第一图像还原，生成第二图像，其中，所述第二图像的光照背景接近所述物体的图像的光照背景；和
S14第二鉴别步骤：对所述第二图像进行鉴别，如果所述第二图像满足第二鉴别要求，则将所述第二图像作为所述物体的图像重新执行所述第一图像生成步骤。
S15循环检测步骤：如果步骤S11到S14的循环次数满足预定值，则结束循环，将最新的第一图像作为训练样本。
优选地，第一光强背景图像是弱光背景图像。可以理解的是，第一光强背景可以是任意光强的背景。通过该步骤，能够得到大量在不同光照条件下的样本。例如，如果想要训练物体检测模型识别弱光环境下的物体，则采用弱光背景图像训练模型，如果想要训练物体检测模型识别强光环境下的物体，则采用强光背景图像训练模型。
在得到训练样本后，利用所述训练样本图像训练物体检测模型，使所述物体检测模型能够识别所述训练样本图像中的所述物体。例如，将大量弱光背景下的罐装可乐的图像输入物体检测模型，对该模型进行训练，让该模型学习弱光背景下可乐的检测识别，使所述物体检测模型能够识别所述训练样本图像中的所述物体。
物体检测模型训练完成后，该模型中存储了各种物体的特征参数和检测策略。以后在使用该模型时，如果待检测图像中显示的物体的特征参数与该模型中存储的第一物体的特征参数相符合，则认为该待检测图像中显示有第一物体。
在一个可选的实施方案中，所述待检测图像通过如下步骤获得：
图像处理步骤：将原图像进行尺度不变特征变换处理，得到第一特征点集合；
目标图像处理步骤：将目标图像进行尺度不变特征变换处理，得到第二特征点集合；
特征点匹配步骤：将所述第一特征点集合的特征点和所述第二特征点集合的特征点进行匹配，得到第三特征点集合，所述第三特征点集合包括所述第一特征点集合中与所述第二特征点集合的特征点匹配的特征点；和
待检测图像生成步骤：将所述原图像除去与所述第三特征点集合对应的图像部分，得到所述待检测图像。
可选地，除去的方式可以有很多种。在一个实施例中，可以在原图像中将原图像和目标图像中重合的物体用纯色进行填充，例如，白色或者黑色。在一个实施例中，可以在原图像中剪裁掉原图像与目标图像重合的部分。
SIFT算法在不同的尺度空间上提取特征点，计算特征点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述的问题。SIFT算法所提取的特征点都是十分突出的，不会因光照、仿射变换和噪声等因素发生变换的“稳定”的特征点，例如，角点、边缘点、暗区的亮点以及亮区的暗点等。匹配的过程就是对比这些特征点的过程。
在一个优选的实施方式中，对于无人售货柜中货架上的物品进行SIFT特征提取和匹配的具体步骤可以包括：
1.生成高斯差分(Difference of Gaussian,DOG)金字塔，构建尺度空间。
此步骤通过对原始图像进行尺度变换，获得图像多尺度下的尺度空间表示序列，对这些序列进行尺度空间主轮廓的提取，并以该主轮廓作为一种特征向量，实现边缘、角点检测不同分辨率上的关键点提取；
2.空间极值点检测。
此步骤通过将原始图像的每一个像素点和它所有相邻的像素点比较，提取DOG函数的极值点。
3.稳定关键点的精确定位。
在该步骤中，去除第2步中检测到的DOG函数的极值点中不稳定的极值点和错误的极值点，并且定位在下采样图像中提取的极值点对应在原始图像中的确切位置。
4.稳定关键点方向信息分配。
该步骤通过求每个DOG函数极值点的梯度，使得关键点对图像角度和旋转具有不变性。将梯度方向直方图中纵坐标最大的项代表的方向分配给当前关键点作为主方向。
5.关键点描述。
此步骤对关键点周围像素区域分块，例如，可以分成2*2或者4*4块，取8个方向，计算块内的梯度直方图，生成具有独特性的向量，将该向量作为此区域图像信息的一种抽象表述。
6.特征点匹配。
通过计算两组特征点的128维的关键点的欧式距离。欧式距离越小，则相似度越高，当欧式距离小于设定的阈值时，可以判定为匹配成功。
依据上述步骤，分别对物品拿出前后的图片进行特征点匹配，得到物品差异图片，作为深度神经网络的输入，进行检测识别。
本发明采用的特征点匹配算法除了SIFT算法外，特征点还可以采用DoH(Determinant of Hessian，海森行列式)或BRIEF(Binary Robust IndependentElementary Features，简单二进制强大的独立基本特征)算法等提取。同时在物品光照图片获取方面，也可以通过在柜体内部手动部署不同光照场景，通过高速摄像头来实现样本采集。在一个可选的实施方案中，所述待检测图像为由传感器获得。S3物体检测步骤可以包括：
S31检测步骤：分别将第一待检测图像和第二待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的第一物体集合和第二物体集合。可选地，该第一物体集合可以包括至少一个物体。该第二物体集合可以包括至少一个物体，或者可以是空集。
物体检测步骤还包括：S32判断步骤：将第一物体集合与第二物体集合作差，得到第三物体集合。
采用该方法得到的第三物体集合中的物体，可以被认为是客户从无人售货柜中取出准备购买的商品。
具体的，用户购买商品前后，利用传感器分别对无人售货架进行拍摄得到的第一图像和第二图像。对于第一图像，通过S3物体检测步骤，得到用户购买商品前货架上存在的物体，这些物体组成第一物体集合。用户购买商品后，再对无人售货架进行拍摄，得到第二图像，将该第二图像作为待检测图像执行S3物体检测步骤，得到用户购买商品前货架上存在的物体，这些物体组成第二物体集合。通过购买前后物体的差别，即第三物体集合中的物体，判断用户购买的物体。
可选地，所述物体检测模型为卷积神经网络(CNN)模型。可以理解的是，该物体检测模型也可以是其他类型的能够检测物体的模型，例如，全卷积网络(FCN)、SSD(SingleShot MultiBox Detector，单发多盒探测器)算法、Yolo(You Only Look Once，只看一次)算法等。
根据本申请的另一个方面，还提供了一种物体检测装置，参见图4，该装置包括：
训练样本获得模块1，其配置成将物体的图像和弱光背景图像输入到循环生成对抗网络(CycleGAN)中，生成所述物体在弱光背景下的训练样本图像。
采用该装置，能够得到不同光照条件下，尤其是弱光条件下的物体图像，从而为后续模型提供充足的训练样本。采用足够多的弱光条件下的图像进行模型训练，能够使得模型对该类图像的识别成功率升高。
可选地，该装置还包括模型训练模块2，其配置成利用所述训练样本图像训练物体检测模型，使所述物体检测模型能够识别所述训练样本图像中的所述物体。
采用该装置能够得到物体检测模型。例如，在用户用无人售货柜购物时，该物体检测模型能够对用户购买的商品进行识别。
可选地，该装置还包括物体检测模块3，其配置成将待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的物体。
采用该装置能够对图像中的物体进行识别，例如，在用户用无人售货柜购物时，对用户购买的商品进行识别。
可选地，在一个可选的实施方案中，所述训练样本获得模块1包括：
第一图像生成模块11，其配置成基于所述物体的图像和弱光背景图像生成所述物体在弱光背景下的第一图像；
第一鉴别模块12，其配置成对所述第一图像生成模块生成的所述第一图像进行鉴别，如果所述第一图像满足第一鉴别要求，则执行第二图像生成模块；
第二图像生成模块13，其配置成将所述第一图像生成模块的所述第一图像还原，生成第二图像，其中，所述第二图像的光照背景接近所述物体的图像的光照背景；
第二鉴别模块14，其配置成对所述第二图像生成模块13生成的所述第二图像进行鉴别，如果所述第二图像满足第二鉴别要求，则将所述第二图像作为所述物体的图像重新执行所述第一图像生成模块；和
循环次数检测模块15，其配置成如果从第一图像生成模块11到第二鉴别模块14的循环次数满足预定值，则结束循环，将最新的第一图像作为训练样本。
可选地，在另一个可选的实施方案中，所述训练样本获得模块包括：
第一图像生成模块11，其配置成基于所述物体的图像和弱光背景图像生成所述物体在弱光背景下的第一图像；
第一图像判断模块12，其配置成对所述第一图像生成模块11生成的所述第一图像进行判断，如果所述第一图像符合要求，则结束训练，得到所述训练样本，如果所述第一图像不符合要求，则执行第一鉴别模块；
第一鉴别模块13，其配置成对所述第一图像生成模块11生成的所述第一图像进行鉴别，如果所述第一图像满足第一鉴别要求，则执行第二图像生成模块；
第二图像生成模块14，其配置成将所述第一图像生成模块11生成的所述第一图像还原，生成第二图像，其中，所述第二图像的光照背景接近所述物体的图像的光照背景；和
第二鉴别模块15，其配置成对所述第二图像生成模块14生成的所述第二图像进行鉴别，如果所述第二图像满足第二鉴别要求，则将所述第二图像作为所述物体的图像重新执行所述第一图像生成模块。
可选地，所述待检测图像通过如下模块获得：
图像处理模块，其配置成将原图像进行尺度不变特征变换处理，得到第一特征点集合；
目标图像处理模块，其配置成将目标图像进行尺度不变特征变换处理，得到第二特征点集合；
特征点匹配模块，其配置成将所述图像处理模块得到的所述第一特征点集合中的特征点和所述目标图像处理模块得到的所述第二特征点集合中的特征点进行匹配，得到第三特征点集合，所述第三特征点集合包括所述第一特征点集合中与所述第二特征点集合的特征点匹配的特征点；和
待检测图像生成模块，其配置成将所述原图像除去与所述特征点匹配模块33得到的所述第三特征点集合对应的图像部分，得到所述待检测图像。
在一个可选的实施方案中，所述待检测图像待检测图像通过传感器获得。
在一个可选的实施方案中，物体检测模块3包括：
检测模块31，其配置成分别将第一待检测图像和第二待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的第一物体集合和第二物体集合。可选地，该第一物体集合可以包括至少一个物体。该第二物体集合可以包括至少一个物体，或者可以是空集。
物体检测模块3还包括判断模块32，其配置成将检测模块31得到的第一物体集合与第二物体集合作差，得到第三物体集合。
可选地，所述物体检测模型为卷积神经网络(CNN)模型。可以理解的是，该物体检测模型也可以是其他类型的能够检测物体的模型，例如，全卷积网络(FCN)、SSD算法、Yolo算法等。
本申请实施例还提供了一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现上述的方法。
本申请实施例还提供了一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现上述的方法。
本申请实施例还提供了一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行上述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、获取其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令处理器完成，所述的程序可以存储于计算机可读存储介质中，所述存储介质是非短暂性(英文：non-transitory)介质，例如随机存取存储器，只读存储器，快闪存储器，硬盘，固态硬盘，磁带(英文：magnetic tape)，软盘(英文：floppy disk)，光盘(英文：optical disc)及其任意组合。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种物体检测方法，包括：
训练样本获得步骤：将物体的图像和弱光背景图像输入到循环生成对抗网络(CycleGAN)中，生成所述物体在弱光背景下的训练样本图像；
模型训练步骤：利用所述训练样本图像训练物体检测模型，使所述物体检测模型能够识别所述训练样本图像中的所述物体；和
物体检测步骤：将待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的物体。
2.根据权利要求1所述的方法，其特征在于，所述训练样本获得步骤包括：
第一图像生成步骤：基于所述物体的图像和弱光背景图像生成所述物体在弱光背景下的第一图像；
第一图像判断步骤：对所述第一图像进行判断，如果所述第一图像符合要求，则结束训练，得到所述训练样本，如果所述第一图像不符合要求，则执行第一鉴别步骤；
第一鉴别步骤：对所述第一图像进行鉴别，如果所述第一图像满足第一鉴别要求，则执行第二图像生成步骤；
第二图像生成步骤：将所述第一图像还原，生成第二图像，其中，所述第二图像的光照背景接近所述物体的图像的光照背景；和
第二鉴别步骤：对所述第二图像进行鉴别，如果所述第二图像满足第二鉴别要求，则将所述第二图像作为所述物体的图像重新执行所述第一图像生成步骤。
3.根据权利要求1所述的方法，其特征在于，所述待检测图像通过如下步骤获得：
图像处理步骤：将原图像进行尺度不变特征变换(SIFT)处理，得到第一特征点集合；
目标图像处理步骤：将目标图像进行尺度不变特征变换处理，得到第二特征点集合；
特征点匹配步骤：将所述第一特征点集合的特征点和所述第二特征点集合的特征点进行匹配，得到第三特征点集合，所述第三特征点集合包括所述第一特征点集合中与所述第二特征点集合的特征点匹配的特征点；和
待检测图像生成步骤：将所述原图像除去与所述第三特征点集合对应的图像部分，得到所述待检测图像。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述物体检测模型为卷积神经网络(CNN)模型。
5.一种物体检测装置，包括：
训练样本获得模块，其配置成将物体的图像和弱光背景图像输入到循环生成对抗网络(CycleGAN)中，生成所述物体在弱光背景下的训练样本图像；
模型训练模块，其配置成利用所述训练样本图像训练物体检测模型，使所述物体检测模型能够识别所述训练样本图像中的所述物体；和
物体检测模块，其配置成将待检测图像输入训练后的所述物体检测模型，检测所述待检测图像中的物体。
6.根据权利要求5所述的装置，其特征在于，所述训练样本获得模块包括：
第一图像生成模块，其配置成基于所述物体的图像和弱光背景图像生成所述物体在弱光背景下的第一图像；
第一图像判断模块，其配置成对所述第一图像生成模块生成的所述第一图像进行判断，如果所述第一图像符合要求，则结束训练，得到所述训练样本，如果所述第一图像不符合要求，则执行第一鉴别模块；
第一鉴别模块，其配置成对所述第一图像生成模块生成的所述第一图像进行鉴别，如果所述第一图像满足第一鉴别要求，则执行第二图像生成模块；
第二图像生成模块，其配置成将所述第一图像生成模块生成的所述第一图像还原，生成第二图像，其中，所述第二图像的光照背景接近所述物体的图像的光照背景；和
第二鉴别模块，其配置成对所述第二图像生成模块生成的所述第二图像进行鉴别，如果所述第二图像满足第二鉴别要求，则将所述第二图像作为所述物体的图像重新执行所述第一图像生成模块。
7.根据权利要求5或6所述的装置，其特征在于，所述待检测图像通过如下模块获得：
图像处理模块，其配置成将原图像进行尺度不变特征变换(SIFT)处理，得到第一特征点集合；
目标图像处理模块，其配置成将目标图像进行尺度不变特征变换处理，得到第二特征点集合；
特征点匹配模块，其配置成将所述图像处理模块得到的所述第一特征点集合中的特征点和所述目标图像处理模块得到的所述第二特征点集合中的特征点进行匹配，得到第三特征点集合，所述第三特征点集合包括所述第一特征点集合中与所述第二特征点集合的特征点匹配的特征点；和
待检测图像生成模块，其配置成将所述原图像除去与所述特征点匹配模块得到的所述第三特征点集合对应的图像部分，得到所述待检测图像。
8.一种计算机设备，包括存储器、处理器和存储在所述存储器内并能由所述处理器运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的方法。
9.一种计算机可读存储介质，优选为非易失性可读存储介质，其内存储有计算机程序，所述计算机程序在由处理器执行时实现如权利要求1至4中任一项所述的方法。
10.一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码由计算机设备执行时，导致所述计算机设备执行如权利要求1至4中任一项所述的方法。
CN201810169247.4A 2018-02-28 2018-02-28 物体检测方法和装置 Pending CN108399432A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810169247.4A CN108399432A (zh) 2018-02-28 2018-02-28 物体检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810169247.4A CN108399432A (zh) 2018-02-28 2018-02-28 物体检测方法和装置

Publications (1)

Publication Number Publication Date
CN108399432A true CN108399432A (zh) 2018-08-14

Family

ID=63091390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810169247.4A Pending CN108399432A (zh) 2018-02-28 2018-02-28 物体检测方法和装置

Country Status (1)

Country Link
CN (1) CN108399432A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377520A (zh) * 2018-08-27 2019-02-22 西安电子科技大学 基于半监督循环gan的心脏图像配准系统及方法
CN109711472A (zh) * 2018-12-29 2019-05-03 北京沃东天骏信息技术有限公司 训练数据生成方法和装置
CN109815943A (zh) * 2019-03-18 2019-05-28 北京石油化工学院 一种危化品仓储堆垛图片样本生成方法及系统
CN109840502A (zh) * 2019-01-31 2019-06-04 深兰科技（上海）有限公司 一种基于ssd模型进行目标检测的方法及设备
CN109886974A (zh) * 2019-01-28 2019-06-14 北京易道博识科技有限公司 一种印章去除方法
CN109902636A (zh) * 2019-03-05 2019-06-18 上海扩博智能技术有限公司 商品识别模型训练方法、系统、设备及存储介质
CN110211181A (zh) * 2019-05-15 2019-09-06 深圳前海达闼云端智能科技有限公司 视觉定位的方法、装置、存储介质和电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN107679465A (zh) * 2017-09-20 2018-02-09 上海交通大学 一种基于生成网络的行人重识别数据生成和扩充方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133601A (zh) * 2017-05-13 2017-09-05 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107220929A (zh) * 2017-06-23 2017-09-29 深圳市唯特视科技有限公司 一种使用循环一致对抗网络的非成对图像转化方法
CN107679465A (zh) * 2017-09-20 2018-02-09 上海交通大学 一种基于生成网络的行人重识别数据生成和扩充方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张贵英: "基于机器学习的样本多样性算法研究", 《物联网技术》 *
陶雪焦: "图像序列中特征点的检测提取及匹配跟踪研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109377520A (zh) * 2018-08-27 2019-02-22 西安电子科技大学 基于半监督循环gan的心脏图像配准系统及方法
CN109377520B (zh) * 2018-08-27 2021-05-04 西安电子科技大学 基于半监督循环gan的心脏图像配准系统及方法
CN109711472A (zh) * 2018-12-29 2019-05-03 北京沃东天骏信息技术有限公司 训练数据生成方法和装置
CN109711472B (zh) * 2018-12-29 2021-07-13 北京沃东天骏信息技术有限公司 训练数据生成方法和装置
CN109886974A (zh) * 2019-01-28 2019-06-14 北京易道博识科技有限公司 一种印章去除方法
CN109840502A (zh) * 2019-01-31 2019-06-04 深兰科技（上海）有限公司 一种基于ssd模型进行目标检测的方法及设备
CN109840502B (zh) * 2019-01-31 2021-06-15 深兰科技（上海）有限公司 一种基于ssd模型进行目标检测的方法及设备
CN109902636A (zh) * 2019-03-05 2019-06-18 上海扩博智能技术有限公司 商品识别模型训练方法、系统、设备及存储介质
CN109815943A (zh) * 2019-03-18 2019-05-28 北京石油化工学院 一种危化品仓储堆垛图片样本生成方法及系统
CN109815943B (zh) * 2019-03-18 2021-02-09 北京石油化工学院 一种危化品仓储堆垛图片样本生成方法及系统
CN110211181A (zh) * 2019-05-15 2019-09-06 深圳前海达闼云端智能科技有限公司 视觉定位的方法、装置、存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN108399432A (zh) 物体检测方法和装置
Song et al. Crest: Convolutional residual learning for visual tracking
Dwibedi et al. Cut, paste and learn: Surprisingly easy synthesis for instance detection
Zhang et al. Shadow remover: Image shadow removal based on illumination recovering optimization
CN104978709B (zh) 描述符生成方法及装置
Schmidt et al. COMPARATIVE ASSESSMENT OF POINT FEATURE DETECTORS AND DESCRIPTORS IN THE CONTEXT OF ROBOT NAVIGATION.
Fendri et al. Fusion of thermal infrared and visible spectra for robust moving object detection
CN108416902A (zh) 基于差异识别的实时物体识别方法和装置
CN106981077A (zh) 基于dce和lss的红外图像和可见光图像配准方法
CN108932721A (zh) 一种用于巡检机器人的红外图像分割与融合方法
Al-asadi et al. Object detection and recognition by using enhanced speeded up robust feature
Sosnowski et al. Image processing in thermal cameras
Hsu et al. Human body motion parameters capturing using kinect
Moon Bringing inputs to shared domains for 3D interacting hands recovery in the wild
Zhou et al. Recognizing black point in wheat kernels and determining its extent using multidimensional feature extraction and a naive Bayes classifier
Rana et al. Learning-based adaptive tone mapping for keypoint detection
Pedersen et al. Shape index descriptors applied to texture-based galaxy analysis
Schmidt et al. Comparative assessment of point feature detectors in the context of robot navigation
Dixit et al. Adaptive clustering-based approach for forgery detection in images containing similar appearing but authentic objects
Chermak et al. HDR imaging for feature tracking in challenging visibility scenes
Lenc et al. A few things one should know about feature extraction, description and matching
Mentzer et al. Self-calibration of wide baseline stereo camera systems for automotive applications
Bandyopadhyay et al. Identifications of concealed weapon in a Human Body
Zhou Using vector quantization of Hough Transform for circle detection
Miramontes-Jaramillo et al. Real-time tracking based on rotation-invariant descriptors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180814