CN110363703A - 基于深度摄像头的货架监控方法 - Google Patents
基于深度摄像头的货架监控方法 Download PDFInfo
- Publication number
- CN110363703A CN110363703A CN201910644996.2A CN201910644996A CN110363703A CN 110363703 A CN110363703 A CN 110363703A CN 201910644996 A CN201910644996 A CN 201910644996A CN 110363703 A CN110363703 A CN 110363703A
- Authority
- CN
- China
- Prior art keywords
- shelf
- point cloud
- depth camera
- cloud information
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000006243 chemical reaction Methods 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011946 reduction process Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于深度摄像头的货架监控方法，包含以下步骤：获取深度摄像头和真实世界的坐标转换矩阵；预设货架的入口区域，客户的手臂经过入口区域以拿起货架上的商品；通过深度摄像头拍摄货架一定区域以实时获取第一点云信息；根据坐标转换对第一点云信息进行坐标转换；对转换后的第一点云信息进行预处理；根据预处理后的第一点云信息分析判断客户的行为。本发明的有益之处在于提供的基于深度摄像头的货架监控方法采用深度摄像头监控货架，根据深度摄像头获取到的点云信息判断货架的入口区域的点云情况来分析客户的行为，提高计算速度，识别精度以及位置估计的准确度。
Description
技术领域
本发明涉及一种基于深度摄像头的货架监控方法。
背景技术
现有技术中，线下零售商店一般通过rgb摄像头获取客户的图像信息，从图像信息中对客人的行为进行识别。这种方法因rgb摄像头多采用深度学习的方法，故计算量偏大、计算速度较慢，同时，由于从图像中判断人的动作，通常基于边缘信息，很容易受到干扰，判断不够准确，并且因为从二维图像估算三维的坐标，由于透视关系无法获取准确位置，故位置偏差较大。
发明内容
本发明提供了一种基于深度摄像头的货架监控方法，采用如下的技术方案：
一种基于深度摄像头的货架监控方法，包含以下步骤：
获取深度摄像头和真实世界的坐标转换矩阵；
预设货架的入口区域，客户的手臂经过入口区域以拿起货架上的商品；
通过深度摄像头拍摄货架一定区域以实时获取第一点云信息；
根据坐标转换对第一点云信息进行坐标转换；
对转换后的第一点云信息进行预处理；
根据预处理后的第一点云信息分析判断客户的行为。
进一步地，获取深度摄像头和真实世界的坐标转换矩阵的具体方法为：
通过深度摄像头拍摄货架一定区域以获取第二点云信息；
根据第二点云信息计算地面的位置；
根据深度摄像头和地面之间的夹角计算坐标转换矩阵。
进一步地，根据第二点云信息获取地面的具体方法为：
对第二点云信息采用随机抽样方法拟合平面得到地面。
进一步地，预设货架的入口区域的具体方法是：
将货架前方的距离货架上用于摆放商品的位置一定距离范围内的区域设为入口区域。
进一步地，根据预处理后的第一点云信息分析判断客户的行为的具体方法为：
设定入口区域的点云阈值；
当根据第一点云信息判断入口区域的点的个数超过预设的点云阈值时判定客户对货架上的商品进行操作。
进一步地，预设货架的入口区域的具体方法为：
将货架划分为多个摆放位，每个摆放位用于摆放对应种类的商品；
每个摆放位前方的距离摆放位上用于摆放商品的位置一定距离范围内的区域设为第一入口区域；
多个第一入口区域组成入口区域。
进一步地，根据预处理后的第一点云信息分析判断客户的行为的具体方法为：
设定第一入口区域的点云阈值；
当根据第一点云信息判断某个第一入口区域的点的个数超过预设的点云阈值时判定客户对第一入口区域所对应的摆放位上的商品进行操作。
进一步地，对转换后的第一点云信息进行预处理的具体方法是：
对第一点云信息进行降噪处理。
进一步地，对第一点云信息进行球形滤波。
进一步地，对第一点云信息进行球形滤波时选取的半径为8-12mm。
本发明的有益之处在于提供的基于深度摄像头的货架监控方法采用深度摄像头监控货架，根据深度摄像头获取到的点云信息判断货架的入口区域的点云情况来分析客户的行为，提高计算速度，识别精度以及位置估计的准确度。
附图说明
图1是本发明的基于深度摄像头的货架监控方法的流程图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍。
如图1所示为本发明的一种基于深度摄像头的货架监控方法，用于监控商场中的客户对货架中的商品的操作行为，比如拿起或放下货架上的商品。该基于深度摄像头的货架监控方法包含以下步骤：S1：获取深度摄像头和真实世界的坐标转换矩阵。S2：预设货架的入口区域，客户的手臂穿过入口区域以拿起货架上的商品。S3：通过深度摄像头拍摄货架一定区域以实时获取第一点云信息。S4：根据坐标转换对第一点云信息进行坐标转换。S5：对转换后的第一点云信息进行预处理。S6：根据预处理后的第一点云信息分析判断客户的行为。
对于S1：获取深度摄像头和真实世界的坐标转换矩阵。
深度摄像头的坐标体系与真实世界的坐标体系不同，为了更好的监控客户的行为，需要将深度摄像头的坐标体系转换成真实世界的坐标体系。具体方法为：通过深度摄像头拍摄货架一定区域以获取第二点云信息，根据第二点云信息计算地面的位置，根据深度摄像头和地面之间的夹角计算坐标转换矩阵。具体而言，通过深度摄像头拍摄货架正前方一定范围，以使得摄像头能够拍摄到货架和货架前方的地面，且地面占据的拍摄画面的比例较大，一般占据整个拍摄画面范围的60％以上，以便于后续过程中的拟合平面。根据深度摄像头拍摄到的第二点云信息采用随机抽样方法拟合平面得到地面，拟合平面的过程如下：首先随机抽取一些点估计一个平面记为平面模型a，用平面模型a去测试所有的其它点，将适用于该平面模型a的点记为局内点，测试完成后，根据测试得到的局内点重新估计一个平面模型b(譬如使用最小二乘法)，再重复测试过程，每次测试结束后都用测试得到的新的局内点重新估计一个新的平面模型，当重复一定次数后得到的平面模型即为地面。最后再根据深度摄像头和拟合得到的地面之间的夹角来计算得到坐标转换矩阵。
对于S2：预设货架的入口区域，客户的手臂穿过入口区域以拿起货架上的商品。
根据货架上摆放商品的位置，从系统中预设货架的入口区域，客户拿起或放下商品时，手臂部分需要经过该入口区域，该入口区域对应着深度摄像头所监控的区域中一部分，当预设好该入口区域时，根据第一点云信息中对应该入口区域的点云的情况可以判定客户的行为。当没有客户拿取商品时，深度摄像头采集到的点云信息中，对应该入口区域的点的数量几乎为0，当客户的手臂经过入口区域拿取或放下商品时，深度摄像头采集到的点云信息中，对应该入口区域的点的数量激增。
具体而言，可以将货架前方的距离货架上用于摆放商品的位置一定距离范围内的区域设为入口区域。同时，可以理解的是，同一货架上可以摆放不同的商品，因此，为了判断客户拿取的商品的种类，还可以对入口区域进行划分。具体地，将货架划分为多个摆放位，每个摆放位用于摆放对应的不同种类的商品。每个摆放位前方的距离摆放位上用于摆放商品的位置一定距离范围内的区域设为第一入口区域，多个第一入口区域组成入口区域。
对于S3：通过深度摄像头拍摄货架一定区域以实时获取第一点云信息。
经过步骤S2后，通过深度摄像头拍摄货架一定区域以实时获取第一点云信息，此处的一定区域与步骤S1中的拍摄第二点云信息的区域相同。
对于S4：根据坐标转换对第一点云信息进行坐标转换。
根据步骤S1计算得到的坐标转换矩阵对拍摄到的第一点云信息进行坐标转换，将第一点云信息从深度摄像头的坐标体系与真实世界的坐标体系。
对于S5：对转换后的第一点云信息进行预处理。
深度摄像头采集到的信息存在噪声，为了减小噪声对后期判断客户行为的影响，可以对第一点云信息进行降噪处理。在本发明中，通过球形滤波的方法对第一点云信息进行噪声过滤处理，使用球型滤波，搜索第一点云信息中的每一个点，设定一个半径，以每个点为中心，在该半径范围内没有其他任何点，则判断该点为噪声点，删除该点。其中，球形滤波的半径选取的范围为8-12mm，在本发明中，选取10mm。
对于S6：根据预处理后的第一点云信息分析判断客户的行为。
具体而言，当将货架前方的距离货架上用于摆放商品的位置一定距离范围内的区域设为入口区域时，在系统中设定入口区域和其对应的点云阈值，当第一点云信息中对应该入口区域的点的个数超过预设的点云阈值时，系统判定客户对货架上的商品进行拿取或放下的操作。
另一种情况下，将货架划分为多个摆放位，每个摆放位用于摆放对应的不同种类的商品，每个摆放位前方的距离摆放位上用于摆放商品的位置一定距离范围内的区域设为第一入口区域，多个第一入口区域组成入口区域。在系统中设定每一个第一入口区域、对应该第一入口区域的摆放位所摆放的商品的信息和该第一入口区域对应的点云阈值，当第一点云信息中对应某个第一入口区域的点的个数超过预设的点云阈值时，系统判定客户对货架上的该第一入口区域对应的摆放位上的某一确定类型的商品被客户拿起或放下。
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (10)
1.一种基于深度摄像头的货架监控方法，其特征在于，包含以下步骤：
获取深度摄像头和真实世界的坐标转换矩阵；
预设货架的入口区域，客户的手臂经过所述入口区域以拿起货架上的商品；
通过深度摄像头拍摄货架一定区域以实时获取第一点云信息；
根据所述坐标转换对所述第一点云信息进行坐标转换；
对转换后的所述第一点云信息进行预处理；
根据预处理后的所述第一点云信息分析判断客户的行为。
2.根据权利要求1所述的基于深度摄像头的货架监控方法，其特征在于，
获取深度摄像头和真实世界的坐标转换矩阵的具体方法为：
通过深度摄像头拍摄货架一定区域以获取第二点云信息；
根据所述第二点云信息计算地面的位置；
根据所述深度摄像头和所述地面之间的夹角计算所述坐标转换矩阵。
3.根据权利要求2所述的基于深度摄像头的货架监控方法，其特征在于，
根据所述第二点云信息获取地面的具体方法为：
对所述第二点云信息采用随机抽样方法拟合平面得到所述地面。
4.根据权利要求1所述的基于深度摄像头的货架监控方法，其特征在于，
预设货架的入口区域的具体方法是：
将货架前方的距离货架上用于摆放商品的位置一定距离范围内的区域设为入口区域。
5.根据权利要求4所述的基于深度摄像头的货架监控方法，其特征在于，
根据预处理后的所述第一点云信息分析判断客户的行为的具体方法为：
设定所述入口区域的点云阈值；
当根据所述第一点云信息判断所述入口区域的点的个数超过预设的点云阈值时判定客户对货架上的商品进行操作。
6.根据权利要求1所述的基于深度摄像头的货架监控方法，其特征在于，
预设货架的入口区域的具体方法为：
将货架划分为多个摆放位，每个所述摆放位用于摆放对应种类的商品；
每个所述摆放位前方的距离所述摆放位上用于摆放商品的位置一定距离范围内的区域设为第一入口区域；
多个所述第一入口区域组成所述入口区域。
7.根据权利要求6所述的基于深度摄像头的货架监控方法，其特征在于，
根据预处理后的所述第一点云信息分析判断客户的行为的具体方法为：
设定所述第一入口区域的点云阈值；
当根据所述第一点云信息判断某个所述第一入口区域的点的个数超过预设的点云阈值时判定客户对所述第一入口区域所对应的所述摆放位上的商品进行操作。
8.根据权利要求1所述的基于深度摄像头的货架监控方法，其特征在于，
对转换后的所述第一点云信息进行预处理的具体方法是：
对所述第一点云信息进行降噪处理。
9.根据权利要求8所述的基于深度摄像头的货架监控方法，其特征在于，
对所述第一点云信息进行球形滤波。
10.根据权利要求9所述的基于深度摄像头的货架监控方法，其特征在于，
对所述第一点云信息进行球形滤波时选取的半径为8-12mm。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910644996.2A CN110363703B (zh) | 2019-07-17 | 2019-07-17 | 基于深度摄像头的货架监控方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910644996.2A CN110363703B (zh) | 2019-07-17 | 2019-07-17 | 基于深度摄像头的货架监控方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110363703A true CN110363703A (zh) | 2019-10-22 |
| CN110363703B CN110363703B (zh) | 2023-06-16 |
Family
ID=68220305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910644996.2A Active CN110363703B (zh) | 2019-07-17 | 2019-07-17 | 基于深度摄像头的货架监控方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110363703B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126257A (zh) * | 2019-12-23 | 2020-05-08 | 上海商汤智能科技有限公司 | 行为检测方法及装置 |
| CN113643282A (zh) * | 2021-08-31 | 2021-11-12 | 歌尔光学科技有限公司 | 一种工件涂胶轨迹生成方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012113661A (ja) * | 2010-11-26 | 2012-06-14 | Fujitsu Ltd | 情報処理装置、および価格設定方法 |
| CN105479461A (zh) * | 2016-01-26 | 2016-04-13 | 先驱智能机械（深圳）有限公司 | 控制方法、控制装置及机械手系统 |
| CN109241877A (zh) * | 2018-08-20 | 2019-01-18 | 北京旷视科技有限公司 | 一种轨迹识别系统、方法、装置及其计算机存储介质 |
| CN109523691A (zh) * | 2018-12-10 | 2019-03-26 | 深圳市思拓通信系统有限公司 | 一种无人超市货架监控装置 |
| CN109977886A (zh) * | 2019-03-29 | 2019-07-05 | 京东方科技集团股份有限公司 | 货架空置率计算方法及装置、电子设备、存储介质 |
-
2019
- 2019-07-17 CN CN201910644996.2A patent/CN110363703B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012113661A (ja) * | 2010-11-26 | 2012-06-14 | Fujitsu Ltd | 情報処理装置、および価格設定方法 |
| CN105479461A (zh) * | 2016-01-26 | 2016-04-13 | 先驱智能机械（深圳）有限公司 | 控制方法、控制装置及机械手系统 |
| CN109241877A (zh) * | 2018-08-20 | 2019-01-18 | 北京旷视科技有限公司 | 一种轨迹识别系统、方法、装置及其计算机存储介质 |
| CN109523691A (zh) * | 2018-12-10 | 2019-03-26 | 深圳市思拓通信系统有限公司 | 一种无人超市货架监控装置 |
| CN109977886A (zh) * | 2019-03-29 | 2019-07-05 | 京东方科技集团股份有限公司 | 货架空置率计算方法及装置、电子设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 史雨艳: "基于计算机视觉的物流塔货位定位方法研究" * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111126257A (zh) * | 2019-12-23 | 2020-05-08 | 上海商汤智能科技有限公司 | 行为检测方法及装置 |
| CN111126257B (zh) * | 2019-12-23 | 2023-08-11 | 上海商汤智能科技有限公司 | 行为检测方法及装置 |
| CN113643282A (zh) * | 2021-08-31 | 2021-11-12 | 歌尔光学科技有限公司 | 一种工件涂胶轨迹生成方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110363703B (zh) | 2023-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms | |
| EP3667557B1 (en) | Method and device for tracking an object | |
| CN111210477B (zh) | 一种运动目标的定位方法及系统 | |
| US20200293766A1 (en) | Interaction behavior detection method, apparatus, system, and device | |
| CN105809954B (zh) | 交通事件检测方法以及系统 | |
| CN107220647B (zh) | 一种叶片交叉条件下作物中心点定位方法及系统 | |
| CN111062918B (zh) | 一种基于计算机视觉的异常检测方法及装置 | |
| CN109308460A (zh) | 物品检测方法、系统及计算机可读存储介质 | |
| CN106991418A (zh) | 飞虫检测方法、装置及终端 | |
| CN110363703A (zh) | 基于深度摄像头的货架监控方法 | |
| CN116402863B (zh) | 一种建筑施工监控数据智能分析及预警系统 | |
| CN117437271B (zh) | 基于人工智能的三维目标测量方法 | |
| CN101299274B (zh) | 一种移动固定目标的检测方法及系统 | |
| CN115144399B (zh) | 一种基于机器视觉的装配质量检测方法及装置 | |
| CN115619710A (zh) | 基于分步跟踪检测的物品数量统计方法、装置及设备 | |
| CN114155557B (zh) | 定位方法、装置、机器人及计算机可读存储介质 | |
| CN112991327B (zh) | 基于机器视觉的钢格网焊接系统、方法和终端设备 | |
| CN110929668A (zh) | 一种基于无人货架的商品检测方法和装置 | |
| CN112614176A (zh) | 一种带式传送机物料体积测量方法、装置及存储介质 | |
| CN112906439A (zh) | 一种基于目标追踪和行为检测的客流分析方法和系统 | |
| CN115690590A (zh) | 作物生长异常监测方法、装置、设备及存储介质 | |
| CN109636268A (zh) | 一种货品监控系统 | |
| CN115629621A (zh) | 一种基于视觉跟踪和生物特征的跟随机器人及跟随方法 | |
| CN104132650A (zh) | 采用最大轮廓矩形法检测果树树叶稀密程度的方法 | |
| CN113395480B (zh) | 一种作业监测方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |