CN107507240A - 空手和手持物品的判断方法 - Google Patents
空手和手持物品的判断方法 Download PDFInfo
- Publication number
- CN107507240A CN107507240A CN201610420461.3A CN201610420461A CN107507240A CN 107507240 A CN107507240 A CN 107507240A CN 201610420461 A CN201610420461 A CN 201610420461A CN 107507240 A CN107507240 A CN 107507240A
- Authority
- CN
- China
- Prior art keywords
- threshold value
- empty
- entropy
- colour
- skin
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明是一种空手和手持物品的判断方法，按照如下步骤进行：摄像装置根据环境亮度自动调用预设的拍摄条件；连续拍摄多帧手部进出购物车时的实时照片；将前后间隔5张的照片做比对；利用肤色椭圆模型对实时照片进行数据处理获得肤色二值图；获得肤色二值图的质心坐标，判断质心坐标是否在图像内，如果不在为空手，如果在则进入下一步骤；设置图像ROI,裁剪质心以下区域图像做处理，计算每个轮廓面积，获得最大轮廓面积，判断最大轮廓面积是否大于阈值；根据最大轮廓面积是否大于阈值进行对应计算熵，通过熵与阈值的比较判断是否空手。
Description
技术领域
本发明涉及一种空手和手持物品的判断方法，具体来讲是一种空手和手持物品的判断方法。属于机器视觉及图像处理技术领域。
背景技术
超市智能购物车的一个主要功能就是能够识别顾客的手以及其手上是否拿有货物，现有的肤色检测方法主要是以人脸为主的检测方法，为了了保证人脸部分尽可能多的被包含在测光区域中， 必须增加人脸框的大小， 这样或多或少的在人脸测光区域中包含了背景和头发的数据， 由于背景的亮度信息在不同场景和光照条件下变化较大， 并且加之头发和眼睛颜色的影响，导致基于人脸为主的测光非常的不稳定，极大的影响了测光的效果。
发明内容
本发明所要解决的技术问题是，提供一种空手和手持物品的判断方法。
本发明解决以上技术问题的技术方案：
一种空手和手持物品的判断方法， 按照如下步骤进行：
（1）摄像装置根据环境亮度自动调用预设的拍摄条件；
（2）连续拍摄多帧手部进出购物车时的实时照片；
（3）将第n张照片和第n+5张照片做帧差，将第n+10张照片和第n+5张照片做帧差，将两个帧差结果做与操作，其中n为正整数；
（4）利用肤色椭圆模型对实时照片进行数据处理获得肤色二值图；
（5）获得肤色二值图的质心坐标，判断质心坐标是否在图像内，如果不在为空手，如果在则进入下一步骤；
（6）设置图像ROI,裁剪质心以下区域图像做处理，计算每个轮廓面积，获得最大轮廓面积，判断最大轮廓面积是否大于阈值；
（7）根据最大轮廓面积是否大于阈值进行对应计算熵，通过熵与阈值的比较判断是否空手。
本发明进一步限定的技术方案为：
进一步的，步骤（1）包括如下具体分步骤：
（1.1）预拍步骤，在摄像装置启动拍摄前，先自行拍摄一张环境图片；
（1.2）计算该张环境图片平均亮度A；
（1.3）当平均亮度A与上限阈值B关系为A-B＞0，则进入步骤（1.4），当平均亮度A与下限阈值C关系为A-C＜0，则进入步骤（1.5），当平均亮度A与上限阈值B、下限阈值C之间的关系为C ≤A≤B，则进入步骤（1.6）；
（1.4）根据预设方案调低摄像装置的进光量同时增加曝光时间，拍摄照片；
（1.5）根据预设方案调高摄像装置的进光量同时增加曝光时间，拍摄照片；
（1.6）根据预设方案，直接拍摄照片。
进一步的，步骤（4）包括如下具体分步骤：
（4.1）将实时照片由RGB空间转换到YCrCb空间，并分为Y、Cr、Cb三个通道；
（4.2）将色度Cr、Cb进行非线性变换；
（4.3）根据亮度Y对图像进行肤色初次判断，并将图像转化为二值图；
（4.4）将当前帧的肤色检测结果与背景帧的肤色检测结果做相减运算和腐蚀，去除噪声以及一些小的不连续边界点，最终得到肤色检测图。
进一步的，步骤（4.3）具体为：大于预设亮度阈值1的，且对应的非线性变换后的Cr点值和Cb点值在固定区域1内，置为255，其余置为0；对小于某一亮度阈值的，再根据判断Cr点值、Cb点值是否在固定区域2内，是则置为255，否则置为0。
进一步的，步骤（7）具体为：
（7.1） 如果最大轮廓面积大于阈值，且轮廓个数等于1，则计算肤色质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.2）如果最大轮廓面积大于阈值，且轮廓个数等于2，则分别计算两轮廓肤色质心并比较两质心y值大小，以y值较小的质心点为基准计算该质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.3）如果最大轮廓面积大于阈值，且轮廓个数大于2个，计算最大轮廓质心点坐标，肤色质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.4）如果最大轮廓面积小于阈值，且轮廓个数等于1，则计算肤色质心以下S通道图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.5）如果最大轮廓面积小于阈值，且轮廓个数等于2，则分别计算两轮廓肤色质心并比较两质心y值大小，以y值较小的质心点为基准计算该质心以下S通道图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手。
总之，本发明通过运动检测、肤色检测以及手和商品的判断这几个步骤来最终精确得到手部是否持有商品的判断；该方法不会对用户产生额外的负担和要求，整个判断过程全自动进行，非常简单方便。
附图说明
图1是本发明公开的空手带物判断方法的流程结构示意图。
具体实施方式
实施例1
一种空手和手持物品的判断方法， 按照如下步骤进行：
（1）摄像装置根据环境亮度自动调用预设的拍摄条件；
步骤（1）包括如下具体分步骤：
（1.1）预拍步骤，在摄像装置启动拍摄前，先自行拍摄一张环境图片；
（1.2）计算该张环境图片平均亮度A；
（1.3）当平均亮度A与上限阈值B关系为A-B＞0，则进入步骤（1.4），当平均亮度A与下限阈值C关系为A-C＜0，则进入步骤（1.5），当平均亮度A与上限阈值B、下限阈值C之间的关系为C ≤A≤B，则进入步骤（1.6）；
（1.4）根据预设方案调低摄像装置的进光量同时增加曝光时间，拍摄照片；
（1.5）根据预设方案调高摄像装置的进光量同时增加曝光时间，拍摄照片；
（1.6）根据预设方案，直接拍摄照片。
（2）连续拍摄多帧手部进出购物车时的实时照片；
（3）将第n张照片和第n+5张照片做帧差，将第n+10张照片和第n+5张照片做帧差，将两个帧差结果做与操作，其中n为正整数；
（4）利用肤色椭圆模型对实时照片进行数据处理获得肤色二值图；
步骤（4）包括如下具体分步骤：
（4.1）将实时照片由RGB空间转换到YCrCb空间，并分为Y、Cr、Cb三个通道；
（4.2）将色度Cr、Cb进行非线性变换；
（4.3）根据亮度Y对图像进行肤色初次判断，并将图像转化为二值图；
（4.4）将当前帧的肤色检测结果与背景帧的肤色检测结果做相减运算和腐蚀，去除噪声以及一些小的不连续边界点，最终得到肤色检测图。
（5）获得肤色二值图的质心坐标，判断质心坐标是否在图像内，如果不在为空手，如果在则进入下一步骤；
（6）设置图像ROI,裁剪质心以下区域图像做处理，计算每个轮廓面积，获得最大轮廓面积，判断最大轮廓面积是否大于阈值；
（7）根据最大轮廓面积是否大于阈值进行对应计算熵，通过熵与阈值的比较判断是否空手。
步骤（7）具体为：
（7.1） 如果最大轮廓面积大于阈值，且轮廓个数等于1，则计算肤色质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.2）如果最大轮廓面积大于阈值，且轮廓个数等于2，则分别计算两轮廓肤色质心并比较两质心y值大小，以y值较小的质心点为基准计算该质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.3）如果最大轮廓面积大于阈值，且轮廓个数大于2个，计算最大轮廓质心点坐标，肤色质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.4）如果最大轮廓面积小于阈值，且轮廓个数等于1，则计算肤色质心以下S通道图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.5）如果最大轮廓面积小于阈值，且轮廓个数等于2，则分别计算两轮廓肤色质心并比较两质心y值大小，以y值较小的质心点为基准计算该质心以下S通道。
除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。
Claims (5)
1.一种空手和手持物品的判断方法，其特征在于：按照如下步骤进行：
摄像装置根据环境亮度自动调用预设的拍摄条件；
连续拍摄多帧手部进出购物车时的实时照片；
将第n张照片和第n+5张照片做帧差，将第n+10张照片和第n+5张照片做帧差，将两个帧差结果做与操作，其中n为正整数；
利用肤色椭圆模型对实时照片进行数据处理获得肤色二值图；
获得肤色二值图的质心坐标，判断质心坐标是否在图像内，如果不在为空手，如果在则进入下一步骤；
设置图像ROI,裁剪质心以下区域图像做处理，计算每个轮廓面积，获得最大轮廓面积，判断最大轮廓面积是否大于阈值；
根据最大轮廓面积是否大于阈值进行对应计算熵，通过熵与阈值的比较判断是否空手。
2.根据权利要求1所述的空手和手持物品的判断方法，其特征在于：步骤（1）包括如下具体分步骤：
（1.1）预拍步骤，在摄像装置启动拍摄前，先自行拍摄一张环境图片；
（1.2）计算该张环境图片平均亮度A；
（1.3）当平均亮度A与上限阈值B关系为A-B＞0，则进入步骤（1.4），当平均亮度A与下限阈值C关系为A-C＜0，则进入步骤（1.5），当平均亮度A与上限阈值B、下限阈值C之间的关系为C ≤A≤B，则进入步骤（1.6）；
（1.4）根据预设方案调低摄像装置的进光量同时增加曝光时间，拍摄照片；
（1.5）根据预设方案调高摄像装置的进光量同时增加曝光时间，拍摄照片；
（1.6）根据预设方案，直接拍摄照片。
3.根据权利要求1所述的空手和手持物品的判断方法，其特征在于：步骤（4）包括如下具体分步骤：
（4.1）将实时照片由RGB空间转换到YCrCb空间，并分为Y、Cr、Cb三个通道；
（4.2）将色度Cr、Cb进行非线性变换；
（4.3）根据亮度Y对图像进行肤色初次判断，并将图像转化为二值图；
（4.4）将当前帧的肤色检测结果与背景帧的肤色检测结果做相减运算和腐蚀，去除噪声以及一些小的不连续边界点，最终得到肤色检测图。
4.根据权利要求3所述的空手和手持物品的判断方法，其特征在于：步骤（4.3）具体为：大于预设亮度阈值1的，且对应的非线性变换后的Cr点值和Cb点值在固定区域1内，置为255，其余置为0；对小于某一亮度阈值的，再根据判断Cr点值、Cb点值是否在固定区域2内，是则置为255，否则置为0。
5.根据权利要求1所述的空手和手持物品的判断方法，其特征在于：步骤（7）具体为：
（7.1） 如果最大轮廓面积大于阈值，且轮廓个数等于1，则计算肤色质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.2）如果最大轮廓面积大于阈值，且轮廓个数等于2，则分别计算两轮廓肤色质心并比较两质心y值大小，以y值较小的质心点为基准计算该质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.3）如果最大轮廓面积大于阈值，且轮廓个数大于2个，计算最大轮廓质心点坐标，肤色质心以下置位图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.4）如果最大轮廓面积小于阈值，且轮廓个数等于1，则计算肤色质心以下S通道图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手；
（7.5）如果最大轮廓面积小于阈值，且轮廓个数等于2，则分别计算两轮廓肤色质心并比较两质心y值大小，以y值较小的质心点为基准计算该质心以下S通道图像的信息熵，如果熵大于阈值，则手持商品，如果熵小于等于阈值，则空手。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610420461.3A CN107507240A (zh) | 2016-06-13 | 2016-06-13 | 空手和手持物品的判断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610420461.3A CN107507240A (zh) | 2016-06-13 | 2016-06-13 | 空手和手持物品的判断方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107507240A true CN107507240A (zh) | 2017-12-22 |
Family
ID=60678305
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610420461.3A Pending CN107507240A (zh) | 2016-06-13 | 2016-06-13 | 空手和手持物品的判断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107507240A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109353397A (zh) * | 2018-09-20 | 2019-02-19 | 北京旷视科技有限公司 | 商品管理方法、装置和系统及存储介质及购物车 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880865A (zh) * | 2012-09-28 | 2013-01-16 | 东南大学 | 基于肤色与形态特征的动态手势识别方法 |
| CN103279750A (zh) * | 2013-06-14 | 2013-09-04 | 清华大学 | 基于肤色范围的驾驶员手持电话行为检测方法 |
| US20140161309A1 (en) * | 2012-12-07 | 2014-06-12 | Chunghwa Picture Tubes, Ltd. | Gesture recognizing device and method for recognizing a gesture |
| CN104766225A (zh) * | 2015-04-14 | 2015-07-08 | 广州智瞳信息科技有限公司 | 一种可识别卖场非正常购物行为的自助购物装置及方法 |
-
2016
- 2016-06-13 CN CN201610420461.3A patent/CN107507240A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102880865A (zh) * | 2012-09-28 | 2013-01-16 | 东南大学 | 基于肤色与形态特征的动态手势识别方法 |
| US20140161309A1 (en) * | 2012-12-07 | 2014-06-12 | Chunghwa Picture Tubes, Ltd. | Gesture recognizing device and method for recognizing a gesture |
| CN103279750A (zh) * | 2013-06-14 | 2013-09-04 | 清华大学 | 基于肤色范围的驾驶员手持电话行为检测方法 |
| CN104766225A (zh) * | 2015-04-14 | 2015-07-08 | 广州智瞳信息科技有限公司 | 一种可识别卖场非正常购物行为的自助购物装置及方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109353397A (zh) * | 2018-09-20 | 2019-02-19 | 北京旷视科技有限公司 | 商品管理方法、装置和系统及存储介质及购物车 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20170076142A1 (en) | Feature detection and masking in images based on color distributions | |
| US9478054B1 (en) | Image overlay compositing | |
| CN104636759B (zh) | 一种获取图片推荐滤镜信息的方法及图片滤镜信息推荐系统 | |
| CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
| CN106326823B (zh) | 一种获取图片中头像的方法和系统 | |
| WO2014036813A1 (zh) | 图像特征的提取方法及装置 | |
| CN105681775B (zh) | 一种白平衡方法和装置 | |
| CN106210522B (zh) | 一种图像处理方法、装置、移动终端及可读存储介质 | |
| CN106161962B (zh) | 一种图像处理方法及终端 | |
| CN105608699B (zh) | 一种图像处理方法及电子设备 | |
| CN108876753A (zh) | 使用引导图像对合成长曝光图像进行可选增强 | |
| CN103440633B (zh) | 一种数字图像自动祛除斑点的方法 | |
| CN107172354A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN110730381A (zh) | 基于视频模板合成视频的方法、装置、终端及存储介质 | |
| CN113128373B (zh) | 基于图像处理的色斑评分方法、色斑评分装置及终端设备 | |
| CN109919030A (zh) | 黑眼圈类型识别方法、装置、计算机设备和存储介质 | |
| CN106412420B (zh) | 一种互动拍照实现方法 | |
| Lee et al. | Correction of the overexposed region in digital color image | |
| CN105187721A (zh) | 一种快速提取人像特征的证照相机及方法 | |
| CN104735357A (zh) | 一种自动拍照的方法和装置 | |
| KR101344851B1 (ko) | 영상처리장치 및 영상처리방법 | |
| CN114187166A (zh) | 图像处理方法、智能终端及存储介质 | |
| CN107491718A (zh) | 不同亮度环境下进行人手肤色检测的方法 | |
| WO2022111269A1 (zh) | 视频的细节增强方法、装置、移动终端和存储介质 | |
| US9323981B2 (en) | Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Room 1101, 31 Guangju Road, Jianye District, Nanjing City, Jiangsu Province Applicant after: NANJING YIMAO INFORMATION TECHNOLOGY Co.,Ltd. Address before: 210000 National Leading Talents Pioneering Park, Qinhuai District, Nanjing City, Jiangsu Province, 19 (in Nanjing Design Center) Applicant before: NANJING YIMAO INFORMATION TECHNOLOGY Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171222 |