CN110276260B - 一种基于深度摄像头的商品检测方法 - Google Patents

一种基于深度摄像头的商品检测方法 Download PDF

Info

Publication number
CN110276260B
CN110276260B CN201910429812.0A CN201910429812A CN110276260B CN 110276260 B CN110276260 B CN 110276260B CN 201910429812 A CN201910429812 A CN 201910429812A CN 110276260 B CN110276260 B CN 110276260B
Authority
CN
China
Prior art keywords
image
depth
commodity
camera
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910429812.0A
Other languages
English (en)
Other versions
CN110276260A (zh
Inventor
颜成钢
陈靖文
刘武
刘鑫晨
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Hangzhou Dianzi University
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Hangzhou Dianzi University
Priority to CN201910429812.0A priority Critical patent/CN110276260B/zh
Publication of CN110276260A publication Critical patent/CN110276260A/zh
Application granted granted Critical
Publication of CN110276260B publication Critical patent/CN110276260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度摄像头的商品检测方法，本发明包括以下步骤：1)利用深度摄像头获取摆放在结算台上的商品的深度信息及商品的深度图像。2)将深度信息转为灰度图像，从而使得灰度信息可视化；3)对去除背景噪声后的灰度图像进行图像增强；4)图像分割，设置合适的阈值将灰度图像转为二值图像，背景为黑色，感兴趣的商品区域为白色。5)边缘检测，对感兴趣的商品区域进行轮廓检测，找到商品的边缘轮廓，根据轮廓生成所需的包围盒信息。本发明无需提前采集大量数据训练检测模型，通过利用深度信息，基于传统图像处理方法即可获得商品的检测结果，节约成本，提高效率。

Description

一种基于深度摄像头的商品检测方法
技术领域
本发明属于计算机视觉领域，特别地，本发明涉及一种基于深度摄像头的商品检测方法。
背景技术
物体检测是计算机视觉中的经典问题，从传统的人工设计特征加浅层分类器的框架，到基于深度学习的端到端的检测框架，物体检测的精度越来越高。
传统的物体检测技术算法通常包含三个部分：检测窗口的选择，特征的设计，分类器的设计。检测窗口的选择需要遍历整张图片，提取所有可能的候选框，这个过程计算量极大且效率很低。特征设计上有多种提取特征的方式，但是单独一种特征并不能很好的完成检测任务，往往需要多种特征的组合表达来完成高精度的检测。特征组合的设计选取需要进行大量实验，耗费大量人力和时间。传统的分类器有支持向量机，决策树等，要根据设计的特征选取合适的分类器。
随着深度学习的发展，基于深度神经网络的端到端的物体检测框架出现，使物体检测的精度有了很大提升。与传统的检测技术相比，基于深度神经网络的物体检测框架借助深度神经网络强大的特征表达能力，可以从图片中提取到更有利于物体检测的特征；在检测窗口的选择上不再采用穷举法的方式，而是采用某种方式“提取”出一些候选窗口，在获得对待检测目标可接受的召回率的前提下，将候选窗口的数量控制在几千个或者几百个，如Faster R-CNN，通过区域提取网络(RPN)，在卷积特征图上使用滑动窗口，预测出k 个区域提案。现在使用最多的框架有Faster R-CNN，SSD，YOLO等， SSD框架速度快，但准确率不高，Faster R-CNN可以获得较高的准确率，但速度较慢，YOLO对于小物体的检测很不准确。基于深度神经网络的物体检测框架虽然解决了传统物体检测框架中存在的繁琐速度慢等问题，但是这些框架需要大量的已标注的训练数据才能达到较好的检测精度，采集和标注数据不但耗费大量人力和精力，而且十分昂贵。并且对于一些场景很难获取大量的图像数据。
发明内容
本发明的目的是在智能零售的结算场景中，无需提前采集大量数据训练检测模型，通过利用深度信息，基于传统图像处理方法即可获得商品的检测结果，节约成本，提高效率。该方法利用深度摄像头进行数据的采集，能够同时获取RGB图像与深度信息，利用传统的图像处理方法，阈值处理，图像增强滤波等对深度信息进行处理得到商品的包围盒信息。
本发明提出的一种基于深度摄像头的商品检测方法，其检测的过程包括以下步骤：
步骤1、商品图像获取；
首先将商品有间隔的放置在结算台面上；
然后通过俯视的双目摄像头进行图像采集，其中俯视的深度摄像头距离结算台面高度为h厘米，深度摄像头的深度镜头对准结算台中心，利用深度摄像头获取摆放在结算台上的商品的深度信息及商品的深度图像；
步骤2、商品检测
2-1.将深度信息转为灰度图像，从而使得灰度信息可视化；
读取商品深度信息，利用直方图计算函数对商品深度信息的分布进行统计；商品深度信息的有效深度值范围为[α1,α2]，将其均匀分为k个区间，通过直方图计算函数得到信息中的深度值落在每个区间的数量，数量最多的第i个区间为背景；根据直方图计算函数统计的结果，设置全局阈值H1＝(α2-α1)/k*i，将深度信息转为灰度图像I1；
2-2.对灰度图像I1进行图像增强，得到灰度图像I2；
2-3.对灰度图像I2进行图像滤波，得到灰度图像I3；
2-4.对灰度图像I3进行图像分割，得到二值图像I4；利用直方图函数对灰度图像I3的灰度值分布进行统计，找到介于背景和商品之间的一个灰度值作为图像分割的全局阈值H2，利用灰度阈值分割法对图像进行分割，
Figure RE-GDA0002153434810000031
2-5.对二值图像I4进行边缘检测，根据找到的边缘轮廓得到包围盒的左上角坐标(x，y)以及包围盒的长宽参数w、h；
2-6.由于深度摄像头和RGB摄像头处于不同位置，有部分偏移，所以从深度信息上得到的包围盒不能直接作为RGB图像上的包围盒；根据双目摄像头自带的偏移量参数；计算深度摄像头和RGB摄像头之间包围盒的偏移量，将根据深度信息得到的包围盒转换到RGB图像上。
本发明的特点及有益效果：
本发明实现了一种基于深度摄像头的商品检测方法，对零售场景下的快速结算有较大意义。本发明中的方法利用传统图像处理方法对原始深度信息进行处理，无需大量已标注的训练数据，无需训练即可得到较好的商品检测结果。
此技术可以在普通PC机或工作站等硬件系统上实现。
附图说明
图1为本发明方法总体流程图；
图2为深度摄像头环境搭建示意图；
图3为商品检测具体步骤流程图；
图4为商品检测流程实例图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
本发明提出的基于深度摄像头的商品检测方法，如图1所示，包括以下三个步骤：
步骤1、商品图像获取。
首先将商品有间隔的放置在结算台面上；
然后通过俯视的双目摄像头进行图像采集，其中俯视的深度摄像头距离结算台面高度为h厘米，深度摄像头的深度镜头对准结算台中心，示意图如图2所示。
最后保存深度摄像头获取的信息，含商品深度信息的文件以及其深度图像。
步骤2、商品检测
2-1.读取包含商品深度信息的文件，利用直方图计算函数对商品深度信息的分布进行统计。商品深度信息的文件中的有效深度值范围为[α1,α2]，将其均匀分为k个区间，通过直方图计算函数得到文件中的深度值落在每个区间的数量，数量最多的第i个区间为背景。根据直方图计算函数统计的结果，设置全局阈值 H1＝(α2-α1)/k*i，将深度信息转为灰度图像I1。
2-2.对灰度图像I1进行图像增强，得到灰度图像I2，与I1相比，I2中的商品边界更加明显，有利于进行分割，但同时增加了噪声。
2-3.对灰度图像I2进行图像滤波，得到灰度图像I3。滤波方法根据灰度图像12中出现的噪声类型进行选择，例如出现椒盐噪声则选择中值滤波方法。
2-4.对灰度图像I3进行图像分割，得到二值图像I4。利用直方图函数对灰度图像I3的灰度值分布进行统计，找到介于背景和商品之间的一个灰度值作为图像分割的全局阈值H2，利用灰度阈值分割法对图像进行分割，
Figure RE-GDA0002153434810000041
2-5.对二值图像I4进行边缘检测，根据找到的边缘轮廓得到包围盒的左上角坐标(x，y)以及包围盒的长宽参数w、h。
2-6.由于深度摄像头和RGB摄像头处于不同位置，有部分偏移，所以从深度信息上得到的包围盒不能直接作为RGB图像上的包围盒。根据双目摄像头自带的偏移量参数。计算深度摄像头和RGB摄像头之间包围盒的偏移量，将根据深度信息得到的包围盒转换到RGB图像上。
实现本实施例方法的硬件PC配置：
CPU：Intel(R)Core(TM)i5-7200U CPU@2.50GHz
内存：8G
操作系统：Windows 10。

Claims (1)

1.一种基于深度摄像头的商品检测方法，其特征在于包括以下步骤：
步骤1、商品图像获取；
首先将商品有间隔的放置在结算台面上；
然后通过俯视的双目摄像头进行图像采集，其中俯视的深度摄像头距离结算台面高度为h厘米，深度摄像头的深度镜头对准结算台中心，利用深度摄像头获取摆放在结算台上的商品的深度信息即深度图像；
步骤2、商品检测
2-1.将深度信息转为灰度图像，从而使得灰度信息可视化；
读取商品深度信息，利用直方图计算函数对商品深度信息的分布进行统计；商品深度信息的有效深度值范围为[α1，α2]，将其均匀分为k个区间，通过直方图计算函数得到信息中的深度值落在每个区间的数量，数量最多的第i个区间为背景；根据直方图计算函数统计的结果，设置全局阈值H1＝(α2-α1)/k*i，将深度信息转为灰度图像I1；
2-2.对灰度图像I1进行图像增强，得到灰度图像I2；
2-3.对灰度图像I2进行图像滤波，得到灰度图像I3；
2-4.对灰度图像I3进行图像分割，得到二值图像I4；利用直方图函数对灰度图像I3的灰度值分布进行统计，找到介于背景和商品之间的一个灰度值作为图像分割的全局阈值H2，利用灰度阈值分割法对图像进行分割，
Figure FDA0003014265730000011
2-5.对二值图像I4进行边缘检测，根据找到的边缘轮廓得到包围盒的左上角坐标(x，y)以及包围盒的长宽参数w、h；
2-6.由于深度摄像头和RGB摄像头处于不同位置，有部分偏移，所以从深度信息上得到的包围盒不能直接作为RGB图像上的包围盒；根据双目摄像头自带的偏移量参数；计算深度摄像头和RGB摄像头之间包围盒的偏移量，将根据深度信息得到的包围盒转换到RGB图像上。
CN201910429812.0A 2019-05-22 2019-05-22 一种基于深度摄像头的商品检测方法 Active CN110276260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910429812.0A CN110276260B (zh) 2019-05-22 2019-05-22 一种基于深度摄像头的商品检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910429812.0A CN110276260B (zh) 2019-05-22 2019-05-22 一种基于深度摄像头的商品检测方法

Publications (2)

Publication Number Publication Date
CN110276260A CN110276260A (zh) 2019-09-24
CN110276260B true CN110276260B (zh) 2021-06-08

Family

ID=67960155

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429812.0A Active CN110276260B (zh) 2019-05-22 2019-05-22 一种基于深度摄像头的商品检测方法

Country Status (1)

Country Link
CN (1) CN110276260B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860371A (zh) * 2020-07-24 2020-10-30 浙江星星冷链集成股份有限公司 一种商品种类、数量及纯净度检测的方法及其冰柜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123529A (zh) * 2013-04-25 2014-10-29 株式会社理光 人手检测方法及系统
CN106991686A (zh) * 2017-03-13 2017-07-28 电子科技大学 一种基于超像素光流场的水平集轮廓跟踪方法
CN107767456A (zh) * 2017-09-22 2018-03-06 福州大学 一种基于rgb‑d相机的物体三维重建方法
CN108470178A (zh) * 2018-02-07 2018-08-31 杭州电子科技大学 一种结合深度可信度评价因子的深度图显著性检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5055214B2 (ja) * 2007-10-19 2012-10-24 キヤノン株式会社 画像処理装置、画像処理方法
CN102999906A (zh) * 2012-11-16 2013-03-27 深圳市旭东数字医学影像技术有限公司 图像的分割方法及系统
CN103942832B (zh) * 2014-04-11 2016-07-06 浙江大学 一种基于在线结构分析的室内场景实时重建方法
KR101940718B1 (ko) * 2015-09-04 2019-01-22 한국전자통신연구원 Ｒｇｂ-ｄ 영상 기반 사람 영역 추출 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123529A (zh) * 2013-04-25 2014-10-29 株式会社理光 人手检测方法及系统
CN106991686A (zh) * 2017-03-13 2017-07-28 电子科技大学 一种基于超像素光流场的水平集轮廓跟踪方法
CN107767456A (zh) * 2017-09-22 2018-03-06 福州大学 一种基于rgb‑d相机的物体三维重建方法
CN108470178A (zh) * 2018-02-07 2018-08-31 杭州电子科技大学 一种结合深度可信度评价因子的深度图显著性检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Robust object detection by cuboid matching with local plane optimization in indoor RGB-D images;Lin Guo，and etc;《2017 IEEE Visual Communications and Image Processing (VCIP)》;20180301;第1-4页 *
融合Kinect与GVF Snake的手势轮廓提取方法;陈解元等;《科学技术与工程》;20150930;第15卷(第27期);第54-58页 *

Also Published As

Publication number Publication date
CN110276260A (zh) 2019-09-24

Similar Documents

Publication Publication Date Title
CN109961049B (zh) 一种复杂场景下香烟品牌识别方法
CN108446617B (zh) 抗侧脸干扰的人脸快速检测方法
CN110334706B (zh) 一种图像目标识别方法及装置
CN110543837B (zh) 一种基于潜在目标点的可见光机场飞机检测方法
CN105184763B (zh) 图像处理方法和装置
WO2018145470A1 (zh) 一种图像检测方法和装置
CN109636824B (zh) 一种基于图像识别技术的多目标计数方法
Chen et al. A novel color edge detection algorithm in RGB color space
WO2021109697A1 (zh) 字符分割方法、装置以及计算机可读存储介质
CN105678213B (zh) 基于视频特征统计的双模式蒙面人事件自动检测方法
CN105740945A (zh) 一种基于视频分析的人群计数方法
Alkoffash et al. A survey of digital image processing techniques in character recognition
CN104408429A (zh) 一种视频代表帧提取方法及装置
CN103295013A (zh) 一种基于成对区域的单幅图像阴影检测方法
CN110866896A (zh) 基于k-means与水平集超像素分割的图像显著性目标检测方法
CN110415208A (zh) 一种自适应目标检测方法及其装置、设备、存储介质
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
Valliammal et al. Hybrid image segmentation algorithm for leaf recognition and characterization
CN106570510A (zh) 一种超市商品识别方法
CN110263794B (zh) 基于数据增强的目标识别模型的训练方法
CN111754538B (zh) Usb表面缺陷检测的阈值分割方法
Galsgaard et al. Circular hough transform and local circularity measure for weight estimation of a graph-cut based wood stack measurement
CN110827312A (zh) 一种基于协同视觉注意力神经网络的学习方法
CN114049499A (zh) 用于连续轮廓的目标对象检测方法、设备及存储介质
CN105404868A (zh) 一种基于交互平台的复杂背景中文本的快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant