CN113744473A - 一种基于3d结构光的人脸识别系统及方法 - Google Patents
一种基于3d结构光的人脸识别系统及方法 Download PDFInfo
- Publication number
- CN113744473A CN113744473A CN202111011972.7A CN202111011972A CN113744473A CN 113744473 A CN113744473 A CN 113744473A CN 202111011972 A CN202111011972 A CN 202111011972A CN 113744473 A CN113744473 A CN 113744473A
- Authority
- CN
- China
- Prior art keywords
- secret
- face
- commodity
- feature
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/30—Individual registration on entry or exit not involving the use of a pass
- G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
- G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C9/00—Individual registration on entry or exit
- G07C9/10—Movable barriers with registering means
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/12—Cash registers electronically operated
Abstract
本发明公开了一种基于3D结构光的人脸识别系统及方法，包括：终端设备，用于对用户进行身份注册及密态人脸特征采集，并基于密态人脸特征生成特征码，将特征码和密态人脸特征发送至云服务器和进口验证端；进口验证端，接收终端设备所发送的特征码进行存储；云服务器，接收终端设备所发送的特征码和密态人脸特征进行存储，并向商品验证端发送与该特征码相匹配的密态人脸特征；商品验证端，接收云服务器所发送的密态人脸特征进行存储，并将正/负价格信息与匹配的密态人脸特征发送至出口验证端；出口验证端，接收商品验证端发送的正/负价格信息及与其匹配的密态人脸特征，并进行结算；该基于3D结构光的人脸识别系统及方法能够避免在结算时出现堵塞。
Description
技术领域
本发明涉及一种基于3D结构光的人脸识别系统及方法。
背景技术
结构光是一组由投影仪和摄像头组成的系统结构。用投影仪投射特定的光信息到物体表面后及背景后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。
3D结构光技术的基本原理是，通过近红外激光器，将具有一定结构特征的光线投射到被拍摄物体上，再由专门的红外摄像头进行采集。这种具备一定结构的光线，会因被摄物体的不同深度区域，而采集不同的图像相位信息，然后通过运算单元将这种结构的变化换算成深度信息，以此来获得三维结构。简单来说就是，通过光学手段获取被拍摄物体的三维结构，再将获取到的信息进行更深入的应用。
基于此，3D结构光目前经常用于安防、支付及门禁等实际应用场景中，为了保证用户数据的安全性，通常会采用人脸识别系统来对当前场景中的用户对象进行身份识别。
目前，部分人脸识别系统已经应用于商场中，而这种人脸识别系统，一般应用于自助结账售货机上，用户将各个商品的条形码自行扫描后选择人脸识别进行结算，这种人脸识别系统在应用时，一旦客户量较大，存在着容易堵塞的情况。
发明内容
针对现有技术中的不足，本发明的目的是提供一种能够避免在结算时出现堵塞的基于3D结构光的人脸识别系统及方法。
本发明解决其技术问题所采用的技术方案是：
一种基于3D结构光的人脸识别系统，包括：
终端设备，用于对用户进行身份注册及密态人脸特征采集，并基于密态人脸特征生成特征码，将特征码和密态人脸特征发送至云服务器和进口验证端；
进口验证端，接收终端设备所发送的特征码进行存储，并将特征码发送至云服务器，包括有输入单元和进口闸机单元；
云服务器，接收终端设备所发送的特征码和密态人脸特征进行存储，并向商品验证端发送与该特征码相匹配的密态人脸特征；
商品验证端，接收云服务器所发送的密态人脸特征进行存储，并将正/负价格信息与匹配的密态人脸特征发送至出口验证端，包括有轨迹单元、第一人脸识别单元和价格单元；
出口验证端，接收商品验证端发送的正/负价格信息及与其匹配的密态人脸特征，并进行结算，包括有结算单元、第二人脸识别单元和出口闸门单元。
作为优选，还包括匹配单元，用于根据用户的特征码，从云服务器中存储的若干用户的密态人脸特征中寻找与该特征码对应的密态人脸特征进行匹配。
作为优选，还包括删除单元，用于根据商品验证端和出口验证端的密态人脸特征删除，当出口验证端完成结算后，删除商品验证端和出口验证端中对应的密态人脸特征。
作为优选，所述的终端设备包括有移动智能终端和固定智能终端，该移动智能终端和固定智能终端为具有图像采集、数据采集和数据传输功能的人机交互设备。
作为优选，所述第一人脸识别单元和第二人脸识别单元采用摄像头结合红外结构光收发器采集得到密态人脸特征。
作为优选，所述的输入单元包括有特征码读取单元和特征码输入单元，特征码读取单元通过NFC通信读取特征码验证卡上的特征码，特征码输入单元通过触摸屏直接输入特征码。
本发明所要解决的另一技术问题为提供一种基于3D结构光的人脸识别方法，包括：
终端设备对用户进行身份注册及密态人脸特征采集，并基于密态人脸特征生成特征码；
将密态人脸特征和特征码匹配后发送至云服务器和进口验证端；
进口验证端根据用户输入的特征码与生成的特征码进行匹配，并判断是否打开进口闸机单元；
当判断打开闸机时，云服务器向商品验证端发送与输入的特征码相匹配的密态人脸特征；
商品验证端在商品货架处进行用户的人脸特征采集，当采集成功时，打开货架，并进行商品取出或放入轨迹的判断；
根据商品的取出或放入轨迹，发送对应的正/负价格信息至出口验证端；
出口验证端进行用户的人脸特征采集，当采集成功时，匹配该密态人脸特征名下的正/负价格信息，并进行统计结算；
在结算成功后，打开出口闸机单元。
作为优选，当出口闸机单元打开后，删除单元发送删除命令使商品验证端和出口验证端内存储的密态人脸特征进行删除。
作为优选，商品取出或放入轨迹的判断方法为：
以侧面视角进行视频图像信息的采集，并基于视频图像信息分成九宫格，给每一区域赋值为零；
当打开货架时，进行扫描，当九宫格区域获取到商品样本时，使该区域赋值增加一，当九宫格区域失去商品样本时，使该区域赋值归零；
基于九宫格区域的赋值变化趋势，判断商品样本是取出/放入动作。
作为优选，用于无人售货商场。
本发明的有益效果是：
相比于传统的商场在最后阶段进行一一结算，本方案采用了预先计算的方式，经由在货架阶段进行商品正/负价格的收集，并将收集结果发送至出口端，最终经由出口端进行统算，避免了传统商场堵塞在出口端阶段进行结算的缺陷，即使在客流量较大的时候，也能够快速的进行结算，同时，该技术也更便于无人售货的普及使用。
具体实施方式
下面结合具体实施例对本发明作进一步说明，以使本领域技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例
一种基于3D结构光的人脸识别系统，包括：
终端设备，用于对用户进行身份注册及密态人脸特征采集，并基于密态人脸特征生成特征码，将特征码和密态人脸特征发送至云服务器和进口验证端；
进口验证端，接收终端设备所发送的特征码进行存储，并将特征码发送至云服务器，包括有输入单元和进口闸机单元；
云服务器，接收终端设备所发送的特征码和密态人脸特征进行存储，并向商品验证端发送与该特征码相匹配的密态人脸特征；
商品验证端，接收云服务器所发送的密态人脸特征进行存储，并将正/负价格信息与匹配的密态人脸特征发送至出口验证端，包括有轨迹单元、第一人脸识别单元和价格单元；
出口验证端，接收商品验证端发送的正/负价格信息及与其匹配的密态人脸特征，并进行结算，包括有结算单元、第二人脸识别单元和出口闸门单元。
还包括匹配单元，用于根据用户的特征码，从云服务器中存储的若干用户的密态人脸特征中寻找与该特征码对应的密态人脸特征进行匹配。
还包括删除单元，用于根据商品验证端和出口验证端的密态人脸特征删除，当出口验证端完成结算后，删除商品验证端和出口验证端中对应的密态人脸特征。
所述的终端设备包括有移动智能终端和固定智能终端，该移动智能终端和固定智能终端为具有图像采集、数据采集和数据传输功能的人机交互设备。
所述第一人脸识别单元和第二人脸识别单元采用摄像头结合红外结构光收发器采集得到密态人脸特征。
所述的输入单元包括有特征码读取单元和特征码输入单元，特征码读取单元通过NFC通信读取特征码验证卡上的特征码，特征码输入单元通过触摸屏直接输入特征码。
一种基于3D结构光的人脸识别方法，包括：
终端设备对用户进行身份注册及密态人脸特征采集，并基于密态人脸特征生成特征码；
将密态人脸特征和特征码匹配后发送至云服务器和进口验证端；
进口验证端根据用户输入的特征码与生成的特征码进行匹配，并判断是否打开进口闸机单元；
当判断打开闸机时，云服务器向商品验证端发送与输入的特征码相匹配的密态人脸特征；
商品验证端在商品货架处进行用户的人脸特征采集，当采集成功时，打开货架，并进行商品取出或放入轨迹的判断；
根据商品的取出或放入轨迹，发送对应的正/负价格信息至出口验证端；
出口验证端进行用户的人脸特征采集，当采集成功时，匹配该密态人脸特征名下的正/负价格信息，并进行统计结算；
在结算成功后，打开出口闸机单元。
当出口闸机单元打开后，删除单元发送删除命令使商品验证端和出口验证端内存储的密态人脸特征进行删除。
商品取出或放入轨迹的判断方法为：
以侧面视角进行视频图像信息的采集，并基于视频图像信息分成九宫格，给每一区域赋值为零；
当打开货架时，进行扫描，当九宫格区域获取到商品样本时，使该区域赋值增加一，当九宫格区域失去商品样本时，使该区域赋值归零；
基于九宫格区域的赋值变化趋势，判断商品样本是取出/放入动作。
基于商品取出或放入轨迹判断的特点，在本方案中，商品验证端设置于货架的侧面位置，且货架上商品为分层设置，每层对应一轨迹单元，同时，货架上的商品采用盒装保证，对应轨迹单元的一侧贴标有商品识别特征，当该商品结算后，云服务器发送命令使该商品识别特征从轨迹单元中删除，当新商品入库时，云服务器发送命令使该商品识别单元重新录入轨迹单元中的存储芯片内。
本方案可用于无人售货商场，特别是无人售货商场的进出口及商品货架处。
在本方案中，也可采用TOF技术来替换3D结构光技术进行人脸识别，但由于应用场景的因素，采用3D结构光技术更适用于无人售货商场这种偏静态的场景环境。
本发明的有益效果是：
相比于传统的商场在最后阶段进行一一结算，本方案采用了预先计算的方式，经由在货架阶段进行商品正/负价格的收集，并将收集结果发送至出口端，最终经由出口端进行统算，避免了传统商场堵塞在出口端阶段进行结算的缺陷，即使在客流量较大的时候，也能够快速的进行结算，同时，该技术也更便于无人售货的普及使用。
本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。
Claims (10)
1.一种基于3D结构光的人脸识别系统，其特征在于，包括：
终端设备，用于对用户进行身份注册及密态人脸特征采集，并基于密态人脸特征生成特征码，将特征码和密态人脸特征发送至云服务器和进口验证端；
进口验证端，接收终端设备所发送的特征码进行存储，并将特征码发送至云服务器，包括有输入单元和进口闸机单元；
云服务器，接收终端设备所发送的特征码和密态人脸特征进行存储，并向商品验证端发送与该特征码相匹配的密态人脸特征；
商品验证端，接收云服务器所发送的密态人脸特征进行存储，并将正/负价格信息与匹配的密态人脸特征发送至出口验证端，包括有轨迹单元、第一人脸识别单元和价格单元；
出口验证端，接收商品验证端发送的正/负价格信息及与其匹配的密态人脸特征，并进行结算，包括有结算单元、第二人脸识别单元和出口闸门单元。
2.根据权利要求1所述的基于3D结构光的人脸识别系统，其特征在于：还包括匹配单元，用于根据用户的特征码，从云服务器中存储的若干用户的密态人脸特征中寻找与该特征码对应的密态人脸特征进行匹配。
3.根据权利要求1所述的基于3D结构光的人脸识别系统，其特征在于：还包括删除单元，用于根据商品验证端和出口验证端的密态人脸特征删除，当出口验证端完成结算后，删除商品验证端和出口验证端中对应的密态人脸特征。
4.根据权利要求1所述的基于3D结构光的人脸识别系统，其特征在于：所述的终端设备包括有移动智能终端和固定智能终端，该移动智能终端和固定智能终端为具有图像采集、数据采集和数据传输功能的人机交互设备。
5.根据权利要求1所述的基于3D结构光的人脸识别系统，其特征在于：所述第一人脸识别单元和第二人脸识别单元采用摄像头结合红外结构光收发器采集得到密态人脸特征。
6.根据权利要求1所述的基于3D结构光的人脸识别系统，其特征在于：所述的输入单元包括有特征码读取单元和特征码输入单元，特征码读取单元通过NFC通信读取特征码验证卡上的特征码，特征码输入单元通过触摸屏直接输入特征码。
7.一种基于3D结构光的人脸识别方法，其特征在于，包括：
终端设备对用户进行身份注册及密态人脸特征采集，并基于密态人脸特征生成特征码；
将密态人脸特征和特征码匹配后发送至云服务器和进口验证端；
进口验证端根据用户输入的特征码与生成的特征码进行匹配，并判断是否打开进口闸机单元；
当判断打开闸机时，云服务器向商品验证端发送与输入的特征码相匹配的密态人脸特征；
商品验证端在商品货架处进行用户的人脸特征采集，当采集成功时，打开货架，并进行商品取出或放入轨迹的判断；
根据商品的取出或放入轨迹，发送对应的正/负价格信息至出口验证端；
出口验证端进行用户的人脸特征采集，当采集成功时，匹配该密态人脸特征名下的正/负价格信息，并进行统计结算；
在结算成功后，打开出口闸机单元。
8.根据权利要求7所述的基于3D结构光的人脸识别方法，其特征在于：当出口闸机单元打开后，删除单元发送删除命令使商品验证端和出口验证端内存储的密态人脸特征进行删除。
9.根据权利要求7所述的基于3D结构光的人脸识别方法，其特征在于，商品取出或放入轨迹的判断方法为：
以侧面视角进行视频图像信息的采集，并基于视频图像信息分成九宫格，给每一区域赋值为零；
当打开货架时，进行扫描，当九宫格区域获取到商品样本时，使该区域赋值增加一，当九宫格区域失去商品样本时，使该区域赋值归零；
基于九宫格区域的赋值变化趋势，判断商品样本是取出/放入动作。
10.根据权利要求7-9中任一项所述的基于3D结构光的人脸识别方法，其特征在于，用于无人售货商场。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111011972.7A CN113744473B (zh) | 2021-08-31 | 2021-08-31 | 一种基于3d结构光的人脸识别系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111011972.7A CN113744473B (zh) | 2021-08-31 | 2021-08-31 | 一种基于3d结构光的人脸识别系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113744473A true CN113744473A (zh) | 2021-12-03 |
| CN113744473B CN113744473B (zh) | 2022-08-23 |
Family
ID=78734247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111011972.7A Active CN113744473B (zh) | 2021-08-31 | 2021-08-31 | 一种基于3d结构光的人脸识别系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113744473B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006134081A (ja) * | 2004-11-05 | 2006-05-25 | Toshiba Corp | 入場管理システム、入場制御端末、及び入場管理方法 |
| CN102254281A (zh) * | 2011-07-12 | 2011-11-23 | 广州日滨科技发展有限公司 | 一种自动汽车租赁系统及租赁方法 |
| CN103259800A (zh) * | 2013-05-29 | 2013-08-21 | 苏州福丰科技有限公司 | 基于人脸识别的互联网登录系统及其方法 |
| CN107067510A (zh) * | 2017-03-27 | 2017-08-18 | 杭州赛狐科技有限公司 | 一种无人值守超市购物系统 |
| CN108198315A (zh) * | 2018-01-31 | 2018-06-22 | 深圳正品创想科技有限公司 | 一种身份验证方法以及身份验证装置 |
| CN108280649A (zh) * | 2018-02-24 | 2018-07-13 | 广州逗号智能零售有限公司 | 支付方法及装置 |
| CN108288163A (zh) * | 2018-02-08 | 2018-07-17 | 东莞市藕丝人工智能科技有限公司 | 一种基于视频采集的快速人脸结算方法 |
| CN109801438A (zh) * | 2019-01-18 | 2019-05-24 | 创新奇智(南京)科技有限公司 | 一种基于人脸识别和语音交互的智能售货柜 |
| CN111339929A (zh) * | 2020-02-25 | 2020-06-26 | 浙江大华技术股份有限公司 | 一种无人超市的零售系统 |
| CN111612988A (zh) * | 2020-06-03 | 2020-09-01 | 圆通速递有限公司 | 一种无人值守驿站的人脸识别自助取件系统 |
| CN211669651U (zh) * | 2020-04-13 | 2020-10-13 | 北京杉地科技有限公司 | 一种基于3d结构光摄像机的人脸识别设备 |
-
2021
- 2021-08-31 CN CN202111011972.7A patent/CN113744473B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006134081A (ja) * | 2004-11-05 | 2006-05-25 | Toshiba Corp | 入場管理システム、入場制御端末、及び入場管理方法 |
| CN102254281A (zh) * | 2011-07-12 | 2011-11-23 | 广州日滨科技发展有限公司 | 一种自动汽车租赁系统及租赁方法 |
| CN103259800A (zh) * | 2013-05-29 | 2013-08-21 | 苏州福丰科技有限公司 | 基于人脸识别的互联网登录系统及其方法 |
| CN107067510A (zh) * | 2017-03-27 | 2017-08-18 | 杭州赛狐科技有限公司 | 一种无人值守超市购物系统 |
| CN108198315A (zh) * | 2018-01-31 | 2018-06-22 | 深圳正品创想科技有限公司 | 一种身份验证方法以及身份验证装置 |
| CN108288163A (zh) * | 2018-02-08 | 2018-07-17 | 东莞市藕丝人工智能科技有限公司 | 一种基于视频采集的快速人脸结算方法 |
| CN108280649A (zh) * | 2018-02-24 | 2018-07-13 | 广州逗号智能零售有限公司 | 支付方法及装置 |
| CN109801438A (zh) * | 2019-01-18 | 2019-05-24 | 创新奇智(南京)科技有限公司 | 一种基于人脸识别和语音交互的智能售货柜 |
| CN111339929A (zh) * | 2020-02-25 | 2020-06-26 | 浙江大华技术股份有限公司 | 一种无人超市的零售系统 |
| CN211669651U (zh) * | 2020-04-13 | 2020-10-13 | 北京杉地科技有限公司 | 一种基于3d结构光摄像机的人脸识别设备 |
| CN111612988A (zh) * | 2020-06-03 | 2020-09-01 | 圆通速递有限公司 | 一种无人值守驿站的人脸识别自助取件系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113744473B (zh) | 2022-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6764547B1 (ja) | カメラを用いた追跡及び許可延長システム | |
| CN108491799B (zh) | 一种基于图像识别的智能售货柜商品管理方法及系统 | |
| CN110009836A (zh) | 基于高光谱摄像技术的深度学习的系统及方法 | |
| JP2020115344A6 (ja) | 自律店舗追跡システム | |
| CN101160576B (zh) | 用于测量零售商店陈列情况的方法和系统 | |
| KR20210055038A (ko) | 자율 매장 추적 시스템 | |
| CN108198315A (zh) | 一种身份验证方法以及身份验证装置 | |
| CN108597233A (zh) | 停车位推荐方法、装置及计算机可读存储介质 | |
| US20150278812A1 (en) | Biometric matching system using input biometric sample | |
| CN108235771A (zh) | 基于云端的自助购物方法和系统、电子设备、程序产品 | |
| EP3447742A1 (en) | Network interactive system for selecting object for sale | |
| JP2022548730A (ja) | 自動ユーザー識別用電子デバイス | |
| CN111178860A (zh) | 无人便利店的结算方法、装置、设备及存储介质 | |
| CN112651386B (zh) | 一种身份信息的确定方法、装置及设备 | |
| CN113128898A (zh) | 售货机管理方法及装置、电子设备和存储介质 | |
| CN110473321A (zh) | 无人便利店进门识别方法、装置、电子设备及存储介质 | |
| CN111222870A (zh) | 结算方法、装置和系统 | |
| CN110490697A (zh) | 无人便利店结算方法、装置、计算机及存储介质 | |
| CN110136326A (zh) | 一种售货柜控制方法及装置 | |
| CN108875690A (zh) | 无人零售商品识别系统 | |
| CN113744473B (zh) | 一种基于3d结构光的人脸识别系统及方法 | |
| US20190362299A1 (en) | Customer tracking and inventory management in a smart store | |
| CN114255377A (zh) | 一种智能货柜的差异商品检测分类方法 | |
| RU2714901C1 (ru) | Способ и система распознавания образов из видеопотока | |
| CN108876239A (zh) | 一种在智能柜中预约投放商品的方法、智能柜及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |