CN109063534A - 一种基于图像的购物识别和表意方法 - Google Patents
一种基于图像的购物识别和表意方法 Download PDFInfo
- Publication number
- CN109063534A CN109063534A CN201810517429.6A CN201810517429A CN109063534A CN 109063534 A CN109063534 A CN 109063534A CN 201810517429 A CN201810517429 A CN 201810517429A CN 109063534 A CN109063534 A CN 109063534A
- Authority
- CN
- China
- Prior art keywords
- faceid
- face
- label
- tracking
- label face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012790 confirmation Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 3
- 238000004801 process automation Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于图像的购物识别和表意方法，采用逻辑设计架构，通过多帧比对方式，实现人脸识别进行匹配，能够提高人脸识别准确率；然后针对匹配成功的用户，通过背景重建和前景物体提取，得到的物体图片进行训练和识别，使得物体特征更加明显识别效果更好，同时在识别的过程中，可以去除背景的干扰，如此对用户所持物品进行识别，最后通过对用户示意动作的识别，完成物品的购买操作，整个过程自动化实现，高效快捷。
Description
技术领域
本发明涉及一种基于图像的购物识别和表意方法，属于图像识别技术领域。
背景技术
购物是现实生活中必不可少的环节，随着科技技术水平的创新，传统意义上的现金交易方式，正逐渐向移动终端购物方式转变，即人们现在仅携带一部手机之类的移动终端，即可完成购物操作，但是对于如此盛行、且便捷的购物体验来说，还是必须存以买卖双方均在场为前提实现，如此，购物过程中的交互依旧需要耗费不少时间，尤其遇到排队情况，时间会更长。
发明内容
本发明所要解决的技术问题是提供一种应用图像识别技术，能够准确实现无人值守购物操作过程的基于图像的购物识别和表意方法。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于图像的购物识别和表意方法，基于商品柜位置固定图像捕获装置所获的图像帧，实现无人值守式的购物过程，其特征在于，包括实时执行如下步骤：
步骤A. 基于各视频帧中各人脸的特征向量，针对各视频帧中、不同特征向量所对应的人脸进行faceID标号，且相同特征向量所对应人脸的faceID标号相同，然后进入步骤B；
步骤B. 分别针对各faceID标号的人脸，判断faceID标号人脸所在连续视频帧的帧数是否达到预设人脸匹配视频帧数目，是则将该faceID标号人脸标记为待处理faceID标号人脸，否则删除该faceID标号人脸；完成针对各faceID标号的人脸的操作后，进入步骤C；
步骤C. 获得各个待处理faceID标号人脸分别相对数据库、所对应的匹配结果，然后进入步骤D；
步骤D. 判断是否存在匹配结果为数据库注册人的待处理faceID标号人脸，是则将该各个待处理faceID标号人脸均作为追踪faceID标号人脸，并进入步骤E；否则判定商品柜前无具有购物权限的人；
步骤E. 分别针对各个追踪faceID标号人脸，基于faceID标号，以及在视频帧中的坐标位置，针对各个追踪faceID标号人脸进行视频跟踪；
同时，基于对追踪faceID标号人脸的视频跟踪，实现追踪faceID标号人脸手持商品的识别，然后进入步骤F；
步骤F. 针对手持商品的追踪faceID标号人脸的头部示意动作进行识别，获得对应该追踪faceID标号人脸的示意动作，进而确认是否对手持商品进行购买。
作为本发明的一种优选技术方案：所述预设人脸匹配视频帧数目小于视频流1秒内的帧数。
作为本发明的一种优选技术方案：所述步骤C中，分别针对各个待处理faceID标号人脸，做如下操作，获得各个待处理faceID标号人脸分别相对数据库、所对应的匹配结果；
首先，分别针对待处理faceID标号人脸所对应连续预设人脸匹配视频帧数目视频帧中的人脸，获得人脸特征向量与数据库中预存各注册人人脸特征向量的匹配结果；
然后，基于该待处理faceID标号人脸所对应预设人脸匹配视频帧数目的匹配结果，选择最多数量的匹配结果，作为该待处理faceID标号人脸相对数据库、所对应的匹配结果。
作为本发明的一种优选技术方案：所述待处理faceID标号人脸相对数据库、所对应的匹配结果包括数据库注册人，或者未知身份人。
作为本发明的一种优选技术方案：所述步骤E中，分别针对各个追踪faceID标号人脸，基于faceID标号，以及在视频帧中的坐标位置，判断若相邻视频帧中，相同faceID标号人脸坐标位置彼此间距离小于预设跟踪距离，则完成该faceID标号人脸的视频跟踪；
若相邻视频帧中，相同faceID标号人脸坐标位置彼此间距离大于或等于预设跟踪距离，则该faceID标号人脸跟踪丢失，则基于时序，针对相邻中第二视频帧上、该faceID标号人脸，按步骤B至步骤C的方法，完成相对数据库的匹配。
作为本发明的一种优选技术方案：所述步骤E中，基于对追踪faceID标号人脸的视频跟踪，执行如下步骤E1至步骤E2，实现追踪faceID标号人脸手持商品的识别；
步骤E1. 基于背景重建算法，针对追踪faceID标号人脸所对应其手持商品的连续视频帧，进行背景建模，进而获得该连续视频帧中的连续前景视频帧，然后进入步骤E2；
步骤E2. 基于HSL色度空间，提取连续前景视频帧中商品的特征向量，然后采用经过训练的预设分类器，完整针对商品的识别。
作为本发明的一种优选技术方案，所述步骤E1包括如下步骤：
步骤E1-1. 针对追踪faceID标号人脸所对应其手持商品的连续视频帧，针对各视频帧中每一个像素位置的R、G、B进行统计，即获得各个像素位置分别对应该连续视频帧的R、G、B三色的直方图，然后进入步骤E1-2；
步骤E1-2. 分别针对各个像素位置，将像素位置所对应的R、G、B三色直方图，分别经过高斯拟合，并分别提取该R、G、B三色高斯拟合曲线的中心点，作为该像素位置的背景R、G、B三色，获得该像素位置的背景RGB值，进而分别获得各个像素位置的背景RGB值，然后进入步骤E1-3；
步骤E1-3. 针对各个像素位置的背景RGB值，进行统计与高斯拟合，进而获得该追踪faceID标号人脸所对应其手持商品连续视频帧的背景建模，然后进入步骤E1-4；
步骤E1-4. 分别获得该追踪faceID标号人脸所对应其手持商品连续视频帧，与背景建模的差，即为该追踪faceID标号人脸所对应其手持商品连续视频帧中的连续前景视频帧。
作为本发明的一种优选技术方案，所述步骤E2中，采用如下步骤E2-1至步骤E2-3，获得连续前景视频帧中商品的特征向量；
步骤E2-1. 统计连续前景视频帧中白色和黑色的像素数，并去除连续前景视频帧中的白色像素和黑色像素，更新连续前景视频帧，然后进入步骤E2-2；
步骤E2-2. 获取连续前景视频帧所对应的HSL色度空间表示，进而获得连续前景视频帧中所有像素点的H色度直方图和S色度直方图，然后进入步骤E2-3；
步骤E2-3. 将所获H色度直方图和S色度直方图，结合连续前景视频帧中白色和黑色的像素数，构建连续前景视频帧中商品的特征向量。
作为本发明的一种优选技术方案：所述步骤F中，所述示意动作包括头部示意动作、表情示意动作、手部示意动作中的一种或几种。
作为本发明的一种优选技术方案，所述步骤F中，基于示意动作为头部示意动作，包括如下步骤：
步骤F1. 针对追踪faceID标号人脸所对应其手持商品的连续视频帧，记录各视频帧中追踪faceID标号人脸的中心坐标，然后进入步骤F2；
步骤F2. 针对所获各视频帧中追踪faceID标号人脸的中心坐标，采用DTW算法，获知追踪faceID标号人脸的头部示意动作，判断是否为点头动作，进而确认是否对手持商品进行购买；以及判断是否为摇头动作，进而确认是否对手持商品不进行购买，其中若为摇头动作，即为不购买确认。
本发明所述一种基于图像的购物识别和表意方法采用以上技术方案与现有技术相比，具有以下技术效果：本发明设计的基于图像的购物识别和表意方法，采用逻辑设计架构，通过多帧比对方式，实现人脸识别进行匹配，能够提高人脸识别准确率；然后针对匹配成功的用户，通过背景重建和前景物体提取，得到的物体图片进行训练和识别，使得物体特征更加明显识别效果更好，同时在识别的过程中，可以去除背景的干扰，如此对用户所持物品进行识别，最后通过对用户示意动作的识别，完成物品的购买操作，整个过程自动化实现，高效快捷。
附图说明
图1是本发明所设计基于图像的购物识别和表意方法的流程示意图；
图2是本发明所设计基于图像的购物识别和表意方法中高斯曲线拟合示意图；
图3是本发明所设计基于图像的购物识别和表意方法中DTW算法所获曲线示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
如图1所示，本发明设计了一种基于图像的购物识别和表意方法，基于商品柜位置固定图像捕获装置所获的图像帧，实现无人值守式的购物过程，应用到具体的实际操作当中，具体包括实时执行如下步骤：
步骤A. 基于各视频帧中各人脸的特征向量，针对各视频帧中、不同特征向量所对应的人脸进行faceID标号，且相同特征向量所对应人脸的faceID标号相同，然后进入步骤B。
步骤B. 分别针对各faceID标号的人脸，判断faceID标号人脸所在连续视频帧的帧数是否达到预设人脸匹配视频帧数目，是则将该faceID标号人脸标记为待处理faceID标号人脸，否则删除该faceID标号人脸；完成针对各faceID标号的人脸的操作后，进入步骤C。
实际应用中，针对预设人脸匹配视频帧数目，设计小于视频流1秒内的帧数，具体诸如采用20帧作为预设人脸匹配视频帧数目，即判断faceID标号人脸所在连续视频帧的帧数是否达到20帧，是则将该faceID标号人脸标记为待处理faceID标号人脸，否则删除该faceID标号人脸。
步骤C. 获得各个待处理faceID标号人脸分别相对数据库、所对应的匹配结果，然后进入步骤D。
上述步骤C中，对于其中所涉及到的数据库，可以采取统一录入方式，录入过程需要被录入人员正脸对着摄像头，然后缓慢往上下左右四个方向（不超过30度）摇动头部，该过程会对多帧图像进行人脸特征提取，再将多个特征模板存入数据库当中，并建立被录入人员身份信息与特征模板的映射关系。
对于步骤C中的匹配操作过程，具体分别针对各个待处理faceID标号人脸，做如下操作，获得各个待处理faceID标号人脸分别相对数据库、所对应的匹配结果；
首先，分别针对待处理faceID标号人脸所对应连续预设人脸匹配视频帧数目视频帧中的人脸，获得人脸特征向量与数据库中预存各注册人人脸特征向量的匹配结果；
然后，基于该待处理faceID标号人脸所对应预设人脸匹配视频帧数目的匹配结果，选择最多数量的匹配结果，作为该待处理faceID标号人脸相对数据库、所对应的匹配结果。
上述步骤C中，对于待处理faceID标号人脸相对数据库的匹配结果来说，会存在两类匹配结果，一类是数据库注册人，另一类是未知身份人。
步骤D. 判断是否存在匹配结果为数据库注册人的待处理faceID标号人脸，是则将该各个待处理faceID标号人脸均作为追踪faceID标号人脸，并进入步骤E；否则判定商品柜前无具有购物权限的人。
步骤E. 分别针对各个追踪faceID标号人脸，基于faceID标号，以及在视频帧中的坐标位置，针对各个追踪faceID标号人脸进行视频跟踪，具体的，判断若相邻视频帧中，相同faceID标号人脸坐标位置彼此间距离小于预设跟踪距离，则完成该faceID标号人脸的视频跟踪；若相邻视频帧中，相同faceID标号人脸坐标位置彼此间距离大于或等于预设跟踪距离，则该faceID标号人脸跟踪丢失，则基于时序，针对相邻中第二视频帧上、该faceID标号人脸，按步骤B至步骤C的方法，完成相对数据库的匹配。
这里，对于各个追踪faceID标号人脸在视频帧中的坐标位置，由于图像帧为固定图像捕获装置所捕获，即针对所捕获图像帧，设以相同的x轴与y轴，构建坐标系，进而获得各个追踪faceID标号人脸在图象帧所对应坐标系中的坐标位置。
同时，基于对追踪faceID标号人脸的视频跟踪，执行如下步骤E1至步骤E2，实现追踪faceID标号人脸手持商品的识别，然后进入步骤F。
步骤E1. 基于背景重建算法，针对追踪faceID标号人脸所对应其手持商品的连续视频帧，进行背景建模，进而获得该连续视频帧中的连续前景视频帧，然后进入步骤E2。
因为光线等影响，任何图片都存在白噪声，本方案的背景指颜色稳定或变化较小的像素值统计结果，因此设计如下基于背景重建算法，针对追踪faceID标号人脸所对应其手持商品的连续视频帧，进行背景建模，进而获得该连续视频帧中的连续前景视频帧。
上述步骤E1具体包括如下步骤E1-1至步骤E1-4：
步骤E1-1. 针对追踪faceID标号人脸所对应其手持商品的连续视频帧，针对各视频帧中中每一个像素位置的R、G、B进行统计，即获得各个像素位置分别对应该连续视频帧的R、G、B三色的直方图，然后进入步骤E1-2。
步骤E1-2. 分别针对各个像素位置，将像素位置所对应的R、G、B三色直方图，分别经过高斯拟合，如图2所示，并分别提取该R、G、B三色高斯拟合曲线的中心点，作为该像素位置的背景R、G、B三色，获得该像素位置的背景RGB值，进而分别获得各个像素位置的背景RGB值，然后进入步骤E1-3。
步骤E1-3. 针对各个像素位置的背景RGB值，进行统计与高斯拟合，进而获得该追踪faceID标号人脸所对应其手持商品连续视频帧的背景建模，然后进入步骤E1-4。
步骤E1-4. 分别获得该追踪faceID标号人脸所对应其手持商品连续视频帧，与背景建模的差，即为该追踪faceID标号人脸所对应其手持商品连续视频帧中的连续前景视频帧。
步骤E2. 由于不同光照条件下同一物品的RGB值不稳定，因此，基于HSL色度空间，采用如下步骤E2-1至步骤E2-3，提取连续前景视频帧中商品的特征向量；然后采用经过训练的预设分类器，完整针对商品的识别。
步骤E2-1. 统计连续前景视频帧中白色和黑色的像素数，并去除连续前景视频帧中的白色像素和黑色像素，更新连续前景视频帧，然后进入步骤E2-2。
步骤E2-2. 获取连续前景视频帧所对应的HSL色度空间表示，进而获得连续前景视频帧中所有像素点的H色度直方图和S色度直方图，然后进入步骤E2-3。
步骤E2-3. 将所获H色度直方图和S色度直方图，结合连续前景视频帧中白色和黑色的像素数，构建连续前景视频帧中商品的特征向量。
步骤F. 针对手持商品的追踪faceID标号人脸的头部示意动作进行识别，获得对应该追踪faceID标号人脸的示意动作，进而确认是否对手持商品进行购买。实际应用中，示意动作为头部示意动作、表情示意动作、手部示意动作等，通过上述示意动作，进而确认是否对手持商品进行购买。
对于头部示意动作的应用，执行如下操作：
针对手持商品的追踪faceID标号人脸的头部示意动作进行识别，确认该追踪faceID标号人脸的头部示意动作是否为点头动作，进而确认是否对手持商品进行购买；以及确认该追踪faceID标号人脸的头部示意动作是否为摇头动作，进而确认是否对手持商品不进行购买。
上述步骤F对于头部示意动作的具体实际应用，具体包括如下步骤：
步骤F1. 针对追踪faceID标号人脸所对应其手持商品的连续视频帧，记录各视频帧中追踪faceID标号人脸的中心坐标，然后进入步骤F2。
步骤F2. 针对所获各视频帧中追踪faceID标号人脸的中心坐标，采用DTW算法，获得如图3所示的曲线示意图，获知追踪faceID标号人脸的头部示意动作，判断是否为点头动作，进而确认是否对手持商品进行购买，其中若为点头动作，即为购买确认；以及判断是否为摇头动作，进而确认是否对手持商品不进行购买，其中若为摇头动作，即为不购买确认。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (10)
1.一种基于图像的购物识别和表意方法，基于商品柜位置固定图像捕获装置所获的图像帧，实现无人值守式的购物过程，其特征在于，包括实时执行如下步骤：
步骤A. 基于各视频帧中各人脸的特征向量，针对各视频帧中、不同特征向量所对应的人脸进行faceID标号，且相同特征向量所对应人脸的faceID标号相同，然后进入步骤B；
步骤B. 分别针对各faceID标号的人脸，判断faceID标号人脸所在连续视频帧的帧数是否达到预设人脸匹配视频帧数目，是则将该faceID标号人脸标记为待处理faceID标号人脸，否则删除该faceID标号人脸；完成针对各faceID标号的人脸的操作后，进入步骤C；
步骤C. 获得各个待处理faceID标号人脸分别相对数据库、所对应的匹配结果，然后进入步骤D；
步骤D. 判断是否存在匹配结果为数据库注册人的待处理faceID标号人脸，是则将该各个待处理faceID标号人脸均作为追踪faceID标号人脸，并进入步骤E；否则判定商品柜前无具有购物权限的人；
步骤E. 分别针对各个追踪faceID标号人脸，基于faceID标号，以及在视频帧中的坐标位置，针对各个追踪faceID标号人脸进行视频跟踪；
同时，基于对追踪faceID标号人脸的视频跟踪，实现追踪faceID标号人脸手持商品的识别，然后进入步骤F；
步骤F. 针对手持商品的追踪faceID标号人脸的头部示意动作进行识别，获得对应该追踪faceID标号人脸的示意动作，进而确认是否对手持商品进行购买。
2.根据权利要求1所述一种基于图像的购物识别和表意方法，其特征在于：所述预设人脸匹配视频帧数目小于视频流1秒内的帧数。
3.根据权利要求1所述一种基于图像的购物识别和表意方法，其特征在于：所述步骤C中，分别针对各个待处理faceID标号人脸，做如下操作，获得各个待处理faceID标号人脸分别相对数据库、所对应的匹配结果；
首先，分别针对待处理faceID标号人脸所对应连续预设人脸匹配视频帧数目视频帧中的人脸，获得人脸特征向量与数据库中预存各注册人人脸特征向量的匹配结果；
然后，基于该待处理faceID标号人脸所对应预设人脸匹配视频帧数目的匹配结果，选择最多数量的匹配结果，作为该待处理faceID标号人脸相对数据库、所对应的匹配结果。
4.根据权利要求1或3所述一种基于图像的购物识别和表意方法，其特征在于：所述待处理faceID标号人脸相对数据库、所对应的匹配结果包括数据库注册人，或者未知身份人。
5.根据权利要求1所述一种基于图像的购物识别和表意方法，其特征在于：所述步骤E中，分别针对各个追踪faceID标号人脸，基于faceID标号，以及在视频帧中的坐标位置，判断若相邻视频帧中，相同faceID标号人脸坐标位置彼此间距离小于预设跟踪距离，则完成该faceID标号人脸的视频跟踪；
若相邻视频帧中，相同faceID标号人脸坐标位置彼此间距离大于或等于预设跟踪距离，则该faceID标号人脸跟踪丢失，则基于时序，针对相邻中第二视频帧上、该faceID标号人脸，按步骤B至步骤C的方法，完成相对数据库的匹配。
6.根据权利要求1所述一种基于图像的购物识别和表意方法，其特征在于：所述步骤E中，基于对追踪faceID标号人脸的视频跟踪，执行如下步骤E1至步骤E2，实现追踪faceID标号人脸手持商品的识别；
步骤E1. 基于背景重建算法，针对追踪faceID标号人脸所对应其手持商品的连续视频帧，进行背景建模，进而获得该连续视频帧中的连续前景视频帧，然后进入步骤E2；
步骤E2. 基于HSL色度空间，提取连续前景视频帧中商品的特征向量，然后采用经过训练的预设分类器，完整针对商品的识别。
7.根据权利要求6所述一种基于图像的购物识别和表意方法，其特征在于，所述步骤E1包括如下步骤：
步骤E1-1. 针对追踪faceID标号人脸所对应其手持商品的连续视频帧，针对各视频帧中中每一个像素位置的R、G、B进行统计，即获得各个像素位置分别对应该连续视频帧的R、G、B三色的直方图，然后进入步骤E1-2；
步骤E1-2. 分别针对各个像素位置，将像素位置所对应的R、G、B三色直方图，分别经过高斯拟合，并分别提取该R、G、B三色高斯拟合曲线的中心点，作为该像素位置的背景R、G、B三色，获得该像素位置的背景RGB值，进而分别获得各个像素位置的背景RGB值，然后进入步骤E1-3；
步骤E1-3. 针对各个像素位置的背景RGB值，进行统计与高斯拟合，进而获得该追踪faceID标号人脸所对应其手持商品连续视频帧的背景建模，然后进入步骤E1-4；
步骤E1-4. 分别获得该追踪faceID标号人脸所对应其手持商品连续视频帧，与背景建模的差，即为该追踪faceID标号人脸所对应其手持商品连续视频帧中的连续前景视频帧。
8.根据权利要求6所述一种基于图像的购物识别和表意方法，其特征在于，所述步骤E2中，采用如下步骤E2-1至步骤E2-3，获得连续前景视频帧中商品的特征向量；
步骤E2-1. 统计连续前景视频帧中白色和黑色的像素数，并去除连续前景视频帧中的白色像素和黑色像素，更新连续前景视频帧，然后进入步骤E2-2；
步骤E2-2. 获取连续前景视频帧所对应的HSL色度空间表示，进而获得连续前景视频帧中所有像素点的H色度直方图和S色度直方图，然后进入步骤E2-3；
步骤E2-3. 将所获H色度直方图和S色度直方图，结合连续前景视频帧中白色和黑色的像素数，构建连续前景视频帧中商品的特征向量。
9.根据权利要求1所述一种基于图像的购物识别和表意方法，其特征在于，所述步骤F中，所述示意动作包括头部示意动作、表情示意动作、手部示意动作中的一种或几种。
10.根据权利要求9所述一种基于图像的购物识别和表意方法，其特征在于，所述步骤F中，基于示意动作为头部示意动作，包括如下步骤：
步骤F1. 针对追踪faceID标号人脸所对应其手持商品的连续视频帧，记录各视频帧中追踪faceID标号人脸的中心坐标，然后进入步骤F2；
步骤F2. 针对所获各视频帧中追踪faceID标号人脸的中心坐标，采用DTW算法，获知追踪faceID标号人脸的头部示意动作，判断是否为点头动作，进而确认是否对手持商品进行购买；以及判断是否为摇头动作，进而确认是否对手持商品不进行购买，其中若为摇头动作，即为不购买确认。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810517429.6A CN109063534B (zh) | 2018-05-25 | 2018-05-25 | 一种基于图像的购物识别和表意方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810517429.6A CN109063534B (zh) | 2018-05-25 | 2018-05-25 | 一种基于图像的购物识别和表意方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109063534A true CN109063534A (zh) | 2018-12-21 |
| CN109063534B CN109063534B (zh) | 2022-07-22 |
Family
ID=64819744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810517429.6A Expired - Fee Related CN109063534B (zh) | 2018-05-25 | 2018-05-25 | 一种基于图像的购物识别和表意方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109063534B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977906A (zh) * | 2019-04-04 | 2019-07-05 | 睿魔智能科技（深圳）有限公司 | 手势识别方法及系统、计算机设备及存储介质 |
| CN110378215A (zh) * | 2019-06-12 | 2019-10-25 | 北京大学 | 基于第一人称视角购物视频的购物分析方法 |
| CN111291646A (zh) * | 2020-01-20 | 2020-06-16 | 北京市商汤科技开发有限公司 | 一种人流量统计方法、装置、设备及存储介质 |
| WO2021097826A1 (zh) * | 2019-11-22 | 2021-05-27 | 连云港伍江数码科技有限公司 | 信息确认方法、装置、计算机设备和存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605969A (zh) * | 2013-11-28 | 2014-02-26 | Tcl集团股份有限公司 | 一种人脸录入的方法及装置 |
| CN104598869A (zh) * | 2014-07-25 | 2015-05-06 | 北京智膜科技有限公司 | 基于人脸识别装置的智能广告推送方法 |
| CN105590097A (zh) * | 2015-12-17 | 2016-05-18 | 重庆邮电大学 | 暗视觉条件下双摄像头协同实时人脸识别安防系统及方法 |
| US20170068946A1 (en) * | 2015-09-08 | 2017-03-09 | Sk Planet Co., Ltd. | User equipment, service providing device, pos terminal, payment system including the same, control method thereof, and non-transitory computer-readable storage medium storing computer program recorded thereon |
| CN106650670A (zh) * | 2016-12-27 | 2017-05-10 | 北京邮电大学 | 活体人脸视频的检测方法及装置 |
| CN106845385A (zh) * | 2017-01-17 | 2017-06-13 | 腾讯科技（上海）有限公司 | 视频目标跟踪的方法和装置 |
| CN107423693A (zh) * | 2017-07-05 | 2017-12-01 | 河北汉光重工有限责任公司 | 一种基于背景重构的目标侦测方法 |
| CN107463922A (zh) * | 2017-08-17 | 2017-12-12 | 北京小度信息科技有限公司 | 信息显示方法、信息匹配方法、对应的装置和电子设备 |
| CN108039010A (zh) * | 2018-01-08 | 2018-05-15 | 深圳正品创想科技有限公司 | 一种防盗方法、装置及无人商店 |
-
2018
- 2018-05-25 CN CN201810517429.6A patent/CN109063534B/zh not_active Expired - Fee Related
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605969A (zh) * | 2013-11-28 | 2014-02-26 | Tcl集团股份有限公司 | 一种人脸录入的方法及装置 |
| CN104598869A (zh) * | 2014-07-25 | 2015-05-06 | 北京智膜科技有限公司 | 基于人脸识别装置的智能广告推送方法 |
| US20170068946A1 (en) * | 2015-09-08 | 2017-03-09 | Sk Planet Co., Ltd. | User equipment, service providing device, pos terminal, payment system including the same, control method thereof, and non-transitory computer-readable storage medium storing computer program recorded thereon |
| CN105590097A (zh) * | 2015-12-17 | 2016-05-18 | 重庆邮电大学 | 暗视觉条件下双摄像头协同实时人脸识别安防系统及方法 |
| CN106650670A (zh) * | 2016-12-27 | 2017-05-10 | 北京邮电大学 | 活体人脸视频的检测方法及装置 |
| CN106845385A (zh) * | 2017-01-17 | 2017-06-13 | 腾讯科技（上海）有限公司 | 视频目标跟踪的方法和装置 |
| CN107423693A (zh) * | 2017-07-05 | 2017-12-01 | 河北汉光重工有限责任公司 | 一种基于背景重构的目标侦测方法 |
| CN107463922A (zh) * | 2017-08-17 | 2017-12-12 | 北京小度信息科技有限公司 | 信息显示方法、信息匹配方法、对应的装置和电子设备 |
| CN108039010A (zh) * | 2018-01-08 | 2018-05-15 | 深圳正品创想科技有限公司 | 一种防盗方法、装置及无人商店 |
Non-Patent Citations (3)
| Title |
|---|
| QIN CAI等: "3d deformable face tracking with a commodity depth camera", 《ECCV"10: PROCEEDINGS OF THE 11TH EUROPEAN CONFERENCE ON COMPUTER VISION CONFERENCE ON COMPUTER VISION: PART III》 * |
| 牛德姣等: "实时视频图像中的人脸检测与跟踪", 《计算机应用》 * |
| 袁路妍: "无人值守智能商业融合平台技术框架设计", 《物流技术》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977906A (zh) * | 2019-04-04 | 2019-07-05 | 睿魔智能科技（深圳）有限公司 | 手势识别方法及系统、计算机设备及存储介质 |
| CN109977906B (zh) * | 2019-04-04 | 2021-06-01 | 睿魔智能科技（深圳）有限公司 | 手势识别方法及系统、计算机设备及存储介质 |
| CN110378215A (zh) * | 2019-06-12 | 2019-10-25 | 北京大学 | 基于第一人称视角购物视频的购物分析方法 |
| CN110378215B (zh) * | 2019-06-12 | 2021-11-02 | 北京大学 | 基于第一人称视角购物视频的购物分析方法 |
| WO2021097826A1 (zh) * | 2019-11-22 | 2021-05-27 | 连云港伍江数码科技有限公司 | 信息确认方法、装置、计算机设备和存储介质 |
| CN111291646A (zh) * | 2020-01-20 | 2020-06-16 | 北京市商汤科技开发有限公司 | 一种人流量统计方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109063534B (zh) | 2022-07-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109063534A (zh) | 一种基于图像的购物识别和表意方法 | |
| CN111797653B (zh) | 基于高维图像的图像标注方法和装置 | |
| US11908052B2 (en) | System and method for digital makeup mirror | |
| Winlock et al. | Toward real-time grocery detection for the visually impaired | |
| Biswas et al. | Gesture recognition using microsoft kinect® | |
| CN103824059B (zh) | 一种基于视频图像序列的人脸表情识别方法 | |
| CN102687171B (zh) | 人物检索装置及人物检索方法 | |
| TW202101371A (zh) | 視訊流的處理方法和裝置 | |
| CN104268583B (zh) | 基于颜色区域特征的行人重识别方法及系统 | |
| CN102081918B (zh) | 一种视频图像显示控制方法及视频图像显示器 | |
| Hatem et al. | A survey of feature base methods for human face detection | |
| CN110263681A (zh) | 面部表情的识别方法和装置、存储介质、电子装置 | |
| Zhu et al. | Multi-drone-based single object tracking with agent sharing network | |
| CN103617420A (zh) | 基于图像特征匹配的商品快速识别方法及系统 | |
| CN108898063A (zh) | 一种基于全卷积神经网络的人体姿态识别装置及方法 | |
| Nie et al. | Single/cross-camera multiple-person tracking by graph matching | |
| Atharifard et al. | Robust component-based face detection using color feature | |
| CN109446978B (zh) | 基于凝视卫星复杂场景的飞机动目标跟踪方法 | |
| Galiyawala et al. | Person retrieval in surveillance video using height, color and gender | |
| CN107909020A (zh) | 一种基于滤波器设计的光流向量微表情发生阶段检测方法 | |
| CN101996317B (zh) | 人体上标记物的识别方法及装置 | |
| CN105069816A (zh) | 一种进出口人流量统计的方法及系统 | |
| Serrano-Cuerda et al. | Robust human detection and tracking in intelligent environments by information fusion of color and infrared video | |
| CN109961016A (zh) | 面向智能家居场景的多手势精准分割方法 | |
| CN114613006A (zh) | 一种远距离手势识别方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220722 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |