CN112215167B - 一种基于图像识别的智能商店控制方法和系统 - Google Patents
一种基于图像识别的智能商店控制方法和系统 Download PDFInfo
- Publication number
- CN112215167B CN112215167B CN202011097700.9A CN202011097700A CN112215167B CN 112215167 B CN112215167 B CN 112215167B CN 202011097700 A CN202011097700 A CN 202011097700A CN 112215167 B CN112215167 B CN 112215167B
- Authority
- CN
- China
- Prior art keywords
- target
- target person
- key points
- commodities
- shop
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000006399 behavior Effects 0.000 claims abstract description 83
- 230000003993 interaction Effects 0.000 claims abstract description 25
- 230000005484 gravity Effects 0.000 claims abstract description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 39
- 210000004247 hand Anatomy 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013499 data model Methods 0.000 claims description 6
- 210000000707 wrist Anatomy 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims 2
- 241000531116 Blitum bonus-henricus Species 0.000 claims 1
- 235000008645 Chenopodium bonus henricus Nutrition 0.000 claims 1
- 230000002452 interceptive effect Effects 0.000 abstract description 5
- 230000009471 action Effects 0.000 abstract description 3
- 230000001960 triggered effect Effects 0.000 abstract description 3
- 230000006698 induction Effects 0.000 abstract 1
- 230000001680 brushing effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0025—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement consisting of a wireless interrogation device in combination with a device for optically marking the record carrier
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/20—Individual registration on entry or exit involving the use of a pass
- G07C9/27—Individual registration on entry or exit involving the use of a pass with central registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于图像识别的智能商店控制方法，涉及无人零售系统技术领域，解决了现有技术中无人商店只能识别区域内一人，不能实现对多人进行跟踪，以及识别动作和商品的准确度不高，给商家造成损失和影响用户体验度的问题；通过给每个进入商店的目标人物匹配唯一编码，并实时跟踪所述目标人物，通过识别人体关键点检测目标人物与货架之间的交互行为，触发购物事件后，通过图像识别、货架的预设商品类型和重力感应结果确定目标商品，最后汇总目标商品进行自动扣款；实现了同时跟踪无人商店内多个目标人物，准确识别交互行为中的目标商品和用户全程自动购物体验的目的。
Description
技术领域
本发明涉及无人商店技术领域，具体涉及一种基于图像识别的智能商店控制方法和系统。
背景技术
随着科技的发展和自动化、智能化设备的普及，人工劳动力也逐渐减少，在生活中，很多传统超市已经逐渐往智能化方向发展，比如，用到了智能结账的设备，但这种设备仍然需要工作人员在旁指导或协助，无法实现完全智能化，因此也出现了很多无人超市或无人商店，逐渐替代传统模式的超市或商店。
目前，在无人商店领域的技术还不够成熟，很多无人商店对于用户在无人商店内的动作或操作的识别准确率不高，若商店内购物人数增多，则不能实现对应购物人的跟踪，因此不得不限制进出人数；而且，对于购物人在商店内选购商品时，识别商品的误差较大，会给商家造成损失，还会影响用户体验度；也有一些通过多个独立的货架上进行商品识别来分别进行购物，实现无人商店购物的方案，但这种方案必须采用高成本的智能货架，整体成本大，且不能合并购物，会产生多个订单，也会影响用户体验度。
因此，本发明针对上述问题，提出了一种基于图像识别的智能商店控制方法和系统。
发明内容
本发明的目的在于：针对现有技术中的缺陷，提供一种基于图像识别的智能商店控制方法和系统，以解决现有技术中无人商店只能识别区域内一人，不能实现对多人进行跟踪，以及识别动作和商品的准确度不高，给商家造成损失和影响用户体验度的问题，达到不限制进出无人商店的人数，提高用户体验度的目的。
本发明采用的技术方案如下：
第一方面，本发明提供一种基于图像识别的智能商店控制方法，包括以下多个非顺序执行步骤：
匹配进入商店的目标人物的唯一编码；
利用深度学习算法检测所述目标人物的人体关键点，并根据所述唯一编码，利用跨摄像头跟踪算法在空间坐标中对所述目标人物的人体关键点进行实时跟踪；
利用行为识别算法实时检测所述目标人物的人体关键点与货架的交互行为，提取所述交互行为中的有效行为数据；
根据货架的预设商品类型和重力感应结果，利用图像识别算法识别所述有效行为数据中的目标商品，对识别到的所有目标商品进行汇总并自动扣款。
优选地，所述商店的进出门处设置有二维码扫描器和闸机，内部及进出门处设置有多个摄像头，所述的匹配进入商店的目标人物的唯一编码，包括以下步骤：
对所述多个摄像头进行联合标定，以保证所有摄像头采集画面在同一个空间坐标中；
当所述商店进出门处设置的摄像头检测到目标人物，获取到请求匹配二维码的操作信息后，发送二维码到所述目标人物的电子终端，并为所述目标人物匹配唯一编码；
由所述二维码扫描器扫描二维码后，根据扫描结果开启闸机，目标人物进入商店。
优选地，为所述目标人物匹配唯一编码，包括：
遍历商店进出门处设置的摄像头检测到的目标人物数量；
若只有一人，则直接通过时间窗口算法绑定所述二维码与所述唯一编码；
若多于一人，则判断所述商店进出门处设置的摄像头识别到的人体关键点的手部数量，若等于1，则通过时间窗口算法绑定所述二维码与所述唯一编码，若大于1，则提醒拿开其他人的手并重新识别，直到识别到的人体关键点的手部数量等于1。
优选地，所述人体关键点包括头、左手腕、右手腕、左手、右手、左肩膀、右肩膀和脖子。
优选地，所述的利用深度学习算法检测所述目标人物的人体关键点，并根据所述唯一编码，利用跨摄像头跟踪算法在空间坐标中对所述目标人物的人体关键点进行实时跟踪，包括以下步骤：
通过采集top-down视角的数据对人体姿态估计算法进行训练，获得人体数据模型；
利用所述人体数据模型，根据每个摄像头的监测画面检测所述目标人物的人体关键点，获得二维坐标中的人体标定数据；
利用双目相机三角化法，根据获取的多个摄像头的二维坐标中的人体标定数据反解出三维空间坐标中的所述目标人物的人体关键点坐标；
根据所述唯一编码，利用跨摄像头跟踪算法在三维空间坐标中的对所述目标人物的人体关键点进行实时跟踪。
优选地，所述的利用行为识别算法实时检测所述目标人物的人体关键点与货架的交互行为，提取所述交互行为中的有效行为数据，包括以下步骤：
在三维空间坐标中标定商店内所有货架的位置；
通过在三维空间坐标中实时跟踪到的人体关键点，计算货架位置与人体关键点的手部坐标的空间关系；
根据所述空间关系判断所述目标人物的人体关键点与货架是否存在交互行为，当存在交互行为时，结合所述货架的重力感应结果过滤掉无效行为数据，获取有效行为数据。
优选地，所述商店内的每个货架上均设置有重力感应器，所述的根据货架的预设商品类型和重力感应结果，利用图像识别算法识别所述有效行为数据中的目标商品，包括以下步骤：
对所述有效行为数据中的货架在三维空间坐标中的位置，对应该货架的预设商品类型，提取出所述有效行为数据中商品涉及类型的多个商品；
根据货架上重力感应器感应到的重力数据和提取出的多个商品的参数信息，筛选得到所述有效行为数据中商品对应参数的可能商品；
利用图像识别算法识别所述有效行为数据中的商品，获取商品的图像信息；
计算所述可能商品与所述商品的图像信息是否为同一商品的概率值，并判断所述概率值是否达到预设门限制，根据判断结果对应确认所述有效行为数据的目标商品。
优选地，根据判断结果对应确定所述有效行为数据的目标商品，包括：
当所述概率值达到预设门限制时，则自动确认当前商品为所述有效行为数据的目标商品；
当所述概率值未达到预设门限制时，将所述摄像头采集到视频数据、三维间坐标中的人体关键点数据、得到的所述有效行为数据中商品的参数信息和图像信息均发送给远程中心，通过人工远程进行确认与修正，并返回最终确定的所述有效行为数据的目标商品。
优选地，所述的对识别到的所有目标商品进行汇总并自动扣款，包括以下步骤：
在三维空间坐标中，当判断所述目标人物的位置为离开商店时，对所述目标人物在所述商店中所有有效行为数据的目标商品进行汇总，并通过微信或支付宝的免密支付功能实现自动扣款。
第二方面，本发明提供一种基于图像识别的智能商店控制系统，包括：
多个摄像头，设置在所述商店内，用于利用深度学习算法检测目标人物的人体关键点；
二维码扫描器，设置在所述商店的进出门处，用于扫描二维码；
闸机，与所述二维码扫描器连接，设置在所述商店的进出门处，用于根据所述二维码扫描器的扫描结果启动；
服务器，与所述多个摄像头和所述闸机连接，其包括存储器和控制器，所述存储器上存储有计算机程序，所述计算机程序在被所述控制器执行时能够控制所述系统实现如上述的一种基于图像识别的智能商店控制方法。
采用上述技术方案后，本发明的有益效果体现在：
1.本发明的一种基于图像识别的智能商店控制方法和系统，通过给每个进入商店的目标人物匹配唯一编码，并实时跟踪所述目标人物，通过识别人体关键点检测目标人物与货架之间的交互行为，触发购物事件后，通过图像识别、货架的预设商品类型和重力感应结果确定目标商品，最后汇总目标商品进行自动扣款；实现了同时跟踪无人商店内多个目标人物，准确识别交互行为中的目标商品，减少商家损失，还实现了用户全程自动购物体验的目的，提高了用户购物体验度，且整体造价成本较低，可直接对传统零售店进行改造，且改造效率较高。
2.本发明的一种基于图像识别的智能商店控制方法中，利用图像识别算法识别所述有效行为数据中的商品，获取商品的图像信息，采用纯视觉的商品识别方法，对货架没有限制，无需使用成本高的智能货架，也能识别出交互行为中涉及的商品，大大减小了成本。
3.本发明的一种基于图像识别的智能商店控制方法中，计算所述可能商品与所述商品的图像信息是否为同一商品的概率值，并判断所述概率值是否达到预设门限制，根据判断结果对应确认所述有效行为数据的目标商品，多方面进行确定，可提高识别结果的准确率。
4.本发明的一种基于图像识别的智能商店控制方法中，对所述目标人物在所述商店中所有有效行为数据的目标商品进行汇总，并通过微信或支付宝的免密支付功能实现自动扣款，用户购物体验度更好，真正实现“拿了就走”的购物模式，无需增加刷脸或者刷二维码进行验证和付款的流程。
5.本发明的一种基于图像识别的智能商店控制系统，所述商店的进出门处设置有二维码扫描器和闸机，相比于滑动门，可以有效防止尾随等违规行为，所述系统是一个通过计算机视觉、深度学习算法、分布式技术等构建的系统，给购物者提供全自动的购物体验。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
图1为本发明实施例一提供的一种基于图像识别的智能商店控制方法的流程示意图；
图2为本发明实施例一提供的一种基于图像识别的智能商店控制方法中步骤3检测交互行为的三维空间立体示意图。
具体实施方式
下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
实施例一
本实施例提供了一种基于图像识别的智能商店控制方法，所述商店的进出门处设置有二维码扫描器和闸机，内部及进出门处设置有多个摄像头，商店内的每个货架上均设置有重力感应器，所述方法如图1所示，包括以下步骤：
步骤1：匹配进入商店的目标人物的唯一编码；
步骤1.1：对所述多个摄像头进行联合标定，以保证所有摄像头采集画面在同一个空间坐标中，联合标定后如果改变相机位置，需要重新进行联合标定；
步骤1.2：当所述商店进出门处设置的摄像头检测到目标人物，获取到请求匹配二维码的操作信息后，发送二维码到所述目标人物的电子终端，并为所述目标人物匹配唯一编码，比如，在支付宝小程序、微信小程序或者App中申请获得二维码；
其中，为所述目标人物匹配唯一编码包括：
步骤1.2.1：遍历商店进出门处设置的摄像头检测到的目标人物数量；
步骤1.2.2：若只有一人，则直接通过时间窗口算法绑定所述二维码与所述唯一编码；
步骤1.2.3：若多于一人，则判断所述商店进出门处设置的摄像头识别到的人体关键点的手部数量，若等于1，则通过时间窗口算法绑定所述二维码与所述唯一编码，若大于1，则提醒拿开其他人的手并重新识别，直到识别到的人体关键点的手部数量等于1；所述人体关键点包括头、左手腕、右手腕、左手、右手、左肩膀、右肩膀和脖子；
步骤1.3：由所述二维码扫描器扫描二维码后，根据扫描结果开启闸机，目标人物进入商店，闸机相比于滑动门，可以有效防止尾随等违规行为；
步骤2：利用深度学习算法检测所述目标人物的人体关键点，并根据所述唯一编码，利用跨摄像头跟踪算法在空间坐标中对所述目标人物的人体关键点进行实时跟踪；
步骤2.1：通过采集top-down视角的数据对人体姿态估计算法进行训练，优化识别效果，获得用于识别摄像头采集画面中的目标人物及人体关键点的人体数据模型；
步骤2.2：利用所述人体数据模型，根据每个摄像头的监测画面检测所述目标人物的人体关键点，获得二维坐标中的人体标定数据；
步骤2.3：利用双目相机三角化法，根据获取的多个摄像头的二维坐标中的人体标定数据反解出三维空间坐标中的所述目标人物的人体关键点坐标；
步骤2.4：根据所述唯一编码，利用跨摄像头跟踪算法在三维空间坐标中的对所述目标人物的人体关键点进行实时跟踪，即使商店内又多个目标人物，由于各自的唯一编码不同，因此，在三维空间坐标中跟踪时不会造成错乱的情况；
步骤3：利用行为识别算法实时检测所述目标人物的人体关键点与货架的交互行为，如图2所示，提取所述交互行为中的有效行为数据；
步骤3.1：在三维空间坐标中标定商店内所有货架的位置，实际标定时，先测量货架在商店的实际空间的位置后，对应转换为三维空间坐标中的相应位置，保持一致可以减小识别所述目标人物与货架之间交互行为的误差；
步骤3.2：通过在三维空间坐标中实时跟踪到的人体关键点，计算货架位置与人体关键点的手部坐标的空间关系，其中，所述空间关系包括目标人物的手部关键点与货架之间相互靠近、远离或相交；
步骤3.3：根据所述空间关系判断所述目标人物的人体关键点与货架是否存在交互行为，当存在交互行为时，结合所述货架的重力感应结果过滤掉无效行为数据，获取有效行为数据，其中，所述无效行为数据包括晃一下货架上的商品或者拿起商品后放回去的相互抵消的行为；
步骤4：根据货架的预设商品类型和重力感应结果，利用图像识别算法识别所述有效行为数据中的目标商品，对识别到的所有目标商品进行汇总并自动扣款；
步骤4.1：根据所述有效行为数据中的货架在三维空间坐标中的位置，对应该货架的预设商品类型，提取出所述有效行为数据中商品涉及类型的多个商品，如果直接对整个商店内的商品进行识别，计算量很大，因此只对应提取出所述交互行为涉及的货架上的商品，甚至可以缩小至该货架对应某层的商品，具体根据实际情况设定，这样可以减小计算量，提高商品识别的速度，比如，该货架存储的商品类型包括A商品、B商品、C商品和D商品，则对应在数据库中提取出上述商品；
步骤4.2：根据货架上重力感应器感应到的重力数据和提取出的多个商品的参数信息，筛选得到所述有效行为数据中商品对应参数的可能商品；比如，货架上的商品中，包括100g的A商品和B商品，200g的C商品和D商品，若重力感应器感应到交互行为后，减小的重力为100g，则判断货架上对应重力参数为100g的A商品和B商品为所述交互行为数据中的可能商品，这样又缩小了商品的范围，甚至可以缩小至具体的商品；
步骤4.3：利用图像识别算法识别所述有效行为数据中的商品，获取商品的图像信息，交互行为事件触发，随即进行图像识别，采用纯视觉的商品识别方法，对货架没有限制，无需使用成本高的智能货架，也能识别出交互行为中涉及的商品；
步骤4.4：计算所述可能商品与所述商品的图像信息是否为同一商品的概率值，并判断所述概率值是否达到预设门限制，根据判断结果对应确认所述有效行为数据的目标商品，多方面进行确定，可提高识别结果的准确率；
其中，根据判断结果对应确定所述有效行为数据的目标商品，包括：
当所述概率值达到预设门限制时，则自动确认当前商品为所述有效行为数据的目标商品；
当所述概率值未达到预设门限制时，将所述摄像头采集到视频数据、三维空间坐标中的人体关键点数据、得到的所述有效行为数据中商品的参数信息和图像信息均发送给远程中心，通过人工远程进行确认与修正，并返回最终确定的所述有效行为数据的目标商品，人工辅助能大大提高商品识别的综合准确率；
步骤4.5：在三维空间坐标中，当判断所述目标人物的位置为离开商店时，对所述目标人物在所述商店中所有有效行为数据的目标商品进行汇总，并通过微信或支付宝的免密支付功能实现自动扣款，同时还可以生成进行订单推送给用户，用户购物体验度更好，真正实现“拿了就走”的购物模式，无需增加刷脸或者刷二维码进行验证和付款的流程。
本实施例提供的一种基于图像识别的智能商店控制方法，通过给每个进入商店的目标人物匹配唯一编码，并实时跟踪所述目标人物，通过识别人体关键点检测目标人物与货架之间的交互行为，触发购物事件后，通过图像识别、货架的预设商品类型和重力感应结果确定目标商品，最后汇总目标商品进行自动扣款；实现了同时跟踪无人商店内多个目标人物，准确识别交互行为中的目标商品，减少商家损失，还实现了用户全程自动购物体验的目的，提高了用户购物体验度，且整体造价成本较低，可直接对传统零售店进行改造，且改造效率较高。
实施例二
在上述实施例的基础上，提供了一种基于图像识别的智能商店控制系统，包括：
多个摄像头，设置在所述商店内，用于利用深度学习算法检测目标人物的人体关键点；
二维码扫描器，设置在所述商店的进出门处，用于扫描二维码；
闸机，与所述二维码扫描器连接，设置在所述商店的进出门处，用于根据所述二维码扫描器的扫描结果启动；
服务器，与所述多个摄像头和所述闸机连接，其包括存储器和控制器，所述存储器上存储有计算机程序，所述计算机程序在被所述控制器执行时能够控制所述系统实现如实施例一所述的一种基于图像识别的智能商店控制方法。
上述方法步骤的具体实施例过程可参见实施例一，本实施例在此不再重复赘述。
本实施例提供的一种基于图像识别的智能商店控制系统，所述商店的进出门处设置有二维码扫描器和闸机，相比于滑动门，可以有效防止尾随等违规行为，所述系统是一个通过计算机视觉、深度学习算法、分布式技术等构建的系统，给购物者提供了全自动的购物体验。
需要说明的是，由于说明书附图不得着色和涂改，所以本发明附图中部分区别明显的地方比较难以显示，若有必要，可提供彩色图片。
最后应说明的是，以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (8)
1.一种基于图像识别的智能商店控制方法，其特征在于，包括以下步骤：
匹配进入商店的目标人物的唯一编码；
利用深度学习算法检测所述目标人物的人体关键点，并根据所述唯一编码，利用跨摄像头跟踪算法在空间坐标中对所述目标人物的人体关键点进行实时跟踪；
利用行为识别算法实时检测所述目标人物的人体关键点与货架的交互行为，提取所述交互行为中的有效行为数据；
根据货架的预设商品类型和重力感应结果，利用图像识别算法识别所述有效行为数据中的目标商品，对识别到的所有目标商品进行汇总并自动扣款；
所述商店的进出门处设置有二维码扫描器和闸机，内部及进出门处设置有多个摄像头，所述的匹配进入商店的目标人物的唯一编码，包括以下步骤：
对所述多个摄像头进行联合标定，以保证所有摄像头采集画面在同一个空间坐标中；
当所述商店进出门处设置的摄像头检测到目标人物，获取到请求匹配二维码的操作信息后，发送二维码到所述目标人物的电子终端，并为所述目标人物匹配唯一编码；
由所述二维码扫描器扫描二维码后，根据扫描结果开启闸机，目标人物进入商店；
为所述目标人物匹配唯一编码，包括：
遍历商店进出门处设置的摄像头检测到的目标人物数量；
若只有一人，则直接通过时间窗口算法绑定所述二维码与所述唯一编码；
若多于一人，则判断所述商店进出门处设置的摄像头识别到的人体关键点的手部数量，若等于1，则通过时间窗口算法绑定所述二维码与所述唯一编码，若大于1，则提醒拿开其他人的手并重新识别，直到识别到的人体关键点的手部数量等于1。
2.根据权利要求1所述的一种基于图像识别的智能商店控制方法，其特征在于，所述人体关键点包括头、左手腕、右手腕、左手、右手、左肩膀、右肩膀和脖子。
3.根据权利要求1所述的一种基于图像识别的智能商店控制方法，其特征在于，所述的利用深度学习算法检测所述目标人物的人体关键点，并根据所述唯一编码，利用跨摄像头跟踪算法在空间坐标中对所述目标人物的人体关键点进行实时跟踪，包括以下步骤：
通过采集top-down视角的数据对人体姿态估计算法进行训练，获得人体数据模型；
利用所述人体数据模型，根据每个摄像头的监测画面检测所述目标人物的人体关键点，获得二维坐标中的人体标定数据；
利用双目相机三角化法，根据获取的多个摄像头的二维坐标中的人体标定数据反解出三维空间坐标中的所述目标人物的人体关键点坐标；
根据所述唯一编码，利用跨摄像头跟踪算法在三维空间坐标中的对所述目标人物的人体关键点进行实时跟踪。
4.根据权利要求1所述的一种基于图像识别的智能商店控制方法，其特征在于，所述的利用行为识别算法实时检测所述目标人物的人体关键点与货架的交互行为，提取所述交互行为中的有效行为数据，包括以下步骤：
在三维空间坐标中标定商店内所有货架的位置；
通过在三维空间坐标中实时跟踪到的人体关键点，计算货架位置与人体关键点的手部坐标的空间关系；
根据所述空间关系判断所述目标人物的人体关键点与货架是否存在交互行为，当存在交互行为时，结合所述货架的重力感应结果过滤掉无效行为数据，获取有效行为数据。
5.根据权利要求1所述的一种基于图像识别的智能商店控制方法，其特征在于，所述商店内的每个货架上均设置有重力感应器，所述的根据货架的预设商品类型和重力感应结果，利用图像识别算法识别所述有效行为数据中的目标商品，包括以下步骤：
对所述有效行为数据中的货架在三维空间坐标中的位置，对应该货架的预设商品类型，提取出所述有效行为数据中商品涉及类型的多个商品；
根据货架上重力感应器感应到的重力数据和提取出的多个商品的参数信息，筛选得到所述有效行为数据中商品对应参数的可能商品；
利用图像识别算法识别所述有效行为数据中的商品，获取商品的图像信息；
计算所述可能商品与所述商品的图像信息是否为同一商品的概率值，并判断所述概率值是否达到预设门限制，根据判断结果对应确认所述有效行为数据的目标商品。
6.根据权利要求5所述的一种基于图像识别的智能商店控制方法，其特征在于，根据判断结果对应确定所述有效行为数据的目标商品，包括：
当所述概率值达到预设门限制时，则自动确认当前商品为所述有效行为数据的目标商品；
当所述概率值未达到预设门限制时，将所述摄像头采集到视频数据、三维间坐标中的人体关键点数据、得到的所述有效行为数据中商品的参数信息和图像信息均发送给远程中心，通过人工远程进行确认与修正，并返回最终确定的所述有效行为数据的目标商品。
7.根据权利要求1所述的一种基于图像识别的智能商店控制方法，其特征在于，所述的对识别到的所有目标商品进行汇总并自动扣款，包括以下步骤：
在三维空间坐标中，当判断所述目标人物的位置为离开商店时，对所述目标人物在所述商店中所有有效行为数据的目标商品进行汇总，并通过微信或支付宝的免密支付功能实现自动扣款。
8.一种基于图像识别的智能商店控制系统，其特征在于，包括：
多个摄像头，设置在商店内，用于利用深度学习算法检测目标人物的人体关键点；
二维码扫描器，设置在所述商店的进出门处，用于扫描二维码；
闸机，与所述二维码扫描器连接，设置在所述商店的进出门处，用于根据所述二维码扫描器的扫描结果启动；
服务器，与所述多个摄像头和所述闸机连接，其包括存储器和控制器，所述存储器上存储有计算机程序，所述计算机程序在被所述控制器执行时能够控制所述系统实现如权利要求1至7中任意一项所述的一种基于图像识别的智能商店控制方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011097700.9A CN112215167B (zh) | 2020-10-14 | 2020-10-14 | 一种基于图像识别的智能商店控制方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011097700.9A CN112215167B (zh) | 2020-10-14 | 2020-10-14 | 一种基于图像识别的智能商店控制方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112215167A CN112215167A (zh) | 2021-01-12 |
| CN112215167B true CN112215167B (zh) | 2022-12-20 |
Family
ID=74054180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011097700.9A Active CN112215167B (zh) | 2020-10-14 | 2020-10-14 | 一种基于图像识别的智能商店控制方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215167B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113158845A (zh) * | 2021-04-02 | 2021-07-23 | 歌尔光学科技有限公司 | 手势识别方法、头戴显示设备及非易失性存储介质 |
| CN113065492A (zh) * | 2021-04-12 | 2021-07-02 | 北京滴普科技有限公司 | 云边协同自动点货方法、装置、系统及其存储介质 |
| TWI779567B (zh) * | 2021-04-21 | 2022-10-01 | 國立勤益科技大學 | 商店人體姿態估計系統及其方法 |
| CN115249356B (zh) * | 2022-09-21 | 2023-02-03 | 浙江莲荷科技有限公司 | 识别方法、装置、设备及存储介质 |
| CN117058626B (zh) * | 2023-10-12 | 2024-01-02 | 四川汉唐云分布式存储技术有限公司 | 基于智慧数据分析的安全监测系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1722070A (zh) * | 2004-07-14 | 2006-01-18 | 义隆电子股份有限公司 | 在触控板上控制卷轴卷动的方法 |
| CN107291367A (zh) * | 2017-06-21 | 2017-10-24 | 广东小天才科技有限公司 | 一种橡皮擦的使用方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10380814B1 (en) * | 2016-06-27 | 2019-08-13 | Amazon Technologies, Inc. | System for determining entry of user to an automated facility |
| CN106127866B (zh) * | 2016-06-29 | 2019-03-29 | 北京明生宏达科技有限公司 | 检票方法和通道管理设备 |
| CN207182369U (zh) * | 2017-08-04 | 2018-04-03 | 湖州靖源信息技术有限公司 | 一种无人超市系统 |
| CN108332829A (zh) * | 2017-12-18 | 2018-07-27 | 上海云拿智能科技有限公司 | 基于重量监测的货品感知系统及货品感知方法 |
| CN110490697A (zh) * | 2019-08-01 | 2019-11-22 | 广州织点智能科技有限公司 | 无人便利店结算方法、装置、计算机及存储介质 |
| CN111127174A (zh) * | 2020-01-06 | 2020-05-08 | 鄂尔多斯市东驿科技有限公司 | 智能化无人超市控制系统 |
-
2020
- 2020-10-14 CN CN202011097700.9A patent/CN112215167B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1722070A (zh) * | 2004-07-14 | 2006-01-18 | 义隆电子股份有限公司 | 在触控板上控制卷轴卷动的方法 |
| CN107291367A (zh) * | 2017-06-21 | 2017-10-24 | 广东小天才科技有限公司 | 一种橡皮擦的使用方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112215167A (zh) | 2021-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112215167B (zh) | 一种基于图像识别的智能商店控制方法和系统 | |
| US11501523B2 (en) | Goods sensing system and method for goods sensing based on image monitoring | |
| US10943128B2 (en) | Constructing shopper carts using video surveillance | |
| US20210406990A1 (en) | Associating shoppers together | |
| US11023908B2 (en) | Information processing apparatus for performing customer gaze analysis | |
| CN108320404A (zh) | 基于神经网络的商品识别方法、装置、自助收银台 | |
| CN108830251A (zh) | 信息关联方法、装置和系统 | |
| TWI778030B (zh) | 店鋪裝置、店鋪管理方法及程式 | |
| US20150039458A1 (en) | Method and system for automated retail checkout using context recognition | |
| JP7225434B2 (ja) | 情報処理システム | |
| WO2019038968A1 (ja) | 店舗装置、店舗システム、店舗管理方法、プログラム | |
| EP3901841A1 (en) | Settlement method, apparatus, and system | |
| CN111222870A (zh) | 结算方法、装置和系统 | |
| CN114898249A (zh) | 用于购物车内商品数量确认的方法、系统及存储介质 | |
| CN110647825A (zh) | 无人超市物品确定方法、装置、设备及存储介质 | |
| EP3629276A1 (en) | Context-aided machine vision item differentiation | |
| JP7054760B2 (ja) | 物体認識システム、位置情報取得方法、及びプログラム | |
| Utsumi et al. | Multi-camera hand pose recognition system using skeleton image | |
| EP3474183A1 (en) | System for tracking products and users in a store | |
| CN116524584A (zh) | 用于检测人摔倒、人的拾取或放回行为的检测方法和设备 | |
| JP7267483B2 (ja) | 物体認識システム、位置情報取得方法、及びプログラム | |
| KR20230042803A (ko) | 상품 추적 시스템, 상품 추적 방법 및 상품 추적 방법을 실행시키도록 기록매체에 저장된 컴퓨터 프로그램 | |
| US20230342746A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| WO2019023929A1 (zh) | 一种酒店购物方法 | |
| CN110659957A (zh) | 无人便利店购物方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230928 Address after: 200443 Room 2833, Zone B, 1-2, No. 6395 Hutai Road, Baoshan District, Shanghai Patentee after: Shanghai Beitaman Intelligent Technology Co.,Ltd. Address before: 200086 room 703, 887 Zhoujiazui Road, Hongkou District, Shanghai Patentee before: Shanghai aigou Intelligent Technology Co.,Ltd. |
|
| TR01 | Transfer of patent right |