CN111507256A - 一种用于柜台信息采集的人脸识别系统 - Google Patents

一种用于柜台信息采集的人脸识别系统 Download PDF

Info

Publication number
CN111507256A
CN111507256A CN202010301459.0A CN202010301459A CN111507256A CN 111507256 A CN111507256 A CN 111507256A CN 202010301459 A CN202010301459 A CN 202010301459A CN 111507256 A CN111507256 A CN 111507256A
Authority
CN
China
Prior art keywords
information
unit
module
voice
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010301459.0A
Other languages
English (en)
Inventor
余成伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Boyuan Technology Co ltd
Original Assignee
Sichuan Boyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Boyuan Technology Co ltd filed Critical Sichuan Boyuan Technology Co ltd
Priority to CN202010301459.0A priority Critical patent/CN111507256A/zh
Publication of CN111507256A publication Critical patent/CN111507256A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/02—Banking, e.g. interest calculation or account maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/13—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Electromagnetism (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Toxicology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Collating Specific Patterns (AREA)

Abstract

本发明公开了一种用于柜台信息采集的人脸识别系统，涉及银行业务处理领域领域，包括控制器、人脸识别单元、语音识别单元、证件读取单元、聋哑人输入信息处理单元、语音监控单元、启停单元和二维码识别单元，人脸识别单元采集用户人脸图像信息，所述语音识别单元采集用户的语音信息，所述证件读取单元采集用户的身份证件信息，所述二维码识别单元读取用户移动终端上的专属二维码信息，人脸识别单元、语音识别单元、证件读取单元和二维码识别单元分别与控制器连接，控制器将所述人脸识别单元、语音识别单元、证件读取单元和二维码识别单元采集的各项信息通过无线传输单元发送至后台服务器，能够建立客户群并适用于与聋哑人进行交流。

Description

一种用于柜台信息采集的人脸识别系统
技术领域
本发明涉及银行业务处理领域，具体为一种用于柜台信息采集的人脸识别系统。
背景技术
银行办理业务的时候，相关技术中，柜面采集仪功能单一，只适用于正常人的信息采集和业务办理，对于聋哑人群体来说，到银行办理业务时困难的，由于银行工作人员不精通手语导致交流出现障碍，并且现有的技术在业务办理过程中，并不能实时对银行工作人员的服务态度进行监控，导致出现客户投诉以后没有证据证明事情的真实经过。
发明内容
本发明的目的在于克服现有技术的不足，提供一种用于柜台信息采集的人脸识别系统。
本发明的目的是通过以下技术方案来实现的：
一种用于柜台信息采集的人脸识别系统，包括控制器、人脸识别单元、语音识别单元、证件读取单元、聋哑人输入信息处理单元、语音监控单元、启停单元和二维码识别单元，所述人脸识别单元采集用户人脸图像信息，所述语音识别单元采集用户的语音信息，所述证件读取单元采集用户的身份证件信息，所述二维码识别单元读取用户移动终端上的专属二维码信息，所述人脸识别单元、语音识别单元、证件读取单元和二维码识别单元分别与控制器连接，所述控制器将所述人脸识别单元、语音识别单元、证件读取单元和二维码识别单元采集的各项信息通过无线传输单元发送至后台服务器，
人脸识别单元采集用户人脸图像信息，语音识别单元采集用户的语音信息，证件读取单元采集用户的身份证件信息，在智能柜台获取APP下载方式，在移动终端安装相应的APP，并利用手机号进行注册登录，获取专属的带有个人信息的二维码，用户的人脸图像信息、语音信息、身份证件信息和移动终端APP上的二维码信息通过无线传输单元发送至后台服务器，后台服务器将用户的人脸图像信息、语音信息、身份证件信息和移动终端APP上的二维码信息进行整合，建立用户个人信息数据库并进行存储；
所述聋哑人输入信息处理单元包括：
聋哑人文本输入模块，用于聋哑人输入文本信息，并将文本信息发送至语音合成模块；
手势识别处理模块，用于对聋哑人的手语手势进行图像提取，转换成文本信息，将文本信息发送至语音合成模块；
语音合成模块，其分别与聋哑人文本输入模块及手势识别处理模块的输出端连接，用于将接收的文本信息转换为语音进行播报；
手势识别处理模块包括：
手势拾取模块，其用于对聋哑人的手语手势进行图像提取，并发送至第一图像识别模块；
第一图像识别模块，其与手势拾取模块的输出端连接，接收手势拾取模块提取的手势图像，调用图像标识存储器中的数据，对手势图像的分类标识进行识别，并对后续接收的手势图像进行归类；
图像标识存储器，其与第一图像识别模块连接，用于存储图像分类标识；
第二图像识别模块，其与第一图像识别模块的输出端连接，接收第一图像识别模块识别出的手势图像的分类标识，并根据此分类标识在文本-图像存储器指定存储区域对手势图像进行识别，并将手势图像对应的文本信息输出至所述语音合成模块；
文本-图像存储器，其与第二图像识别模块连接，对手语手势图像进行分类存储，并查找各分类标识下的手势图像对应的文本信息；
所述语音监控单元包括：采集模块，用于通过麦克风阵列采集原始语音数据，每一所述原始语音数据对应一麦克风阵列标识和采集时间；
预处理模块，用于对所述原始语音数据进行数据预处理，获取目标语音数据；
声纹提取模块，用于采用MFCC算法对所述目标语音数据进行声纹特征提取，获取目标声纹特征；
语音识别模块，用于采用预先训练的语音识别模型对所述目标声纹特征进行识别，获取与所述目标声纹特征对应的目标文字数据；
敏感词识别模块，用于采用敏感词识别模型对所述目标文字数据进行识别，获取识别结果；
敏感文字数据获取模块，用于若所述识别结果为所述目标文字数据包含敏感词，则在所述目标文字数据中对所述敏感词进行突出处理，获取敏感文字数据；
柜台人员信息获取模块，用于基于所述麦克风阵列标识和所述采集时间查询值班安排表，获取对应的柜台人员信息；
存储模块，用于将所述敏感文字数据和所述柜台人员信息关联存储在数据库中；
所述启停单元包括红外检测模块、启停开关，所述红外检测模块的输出端与所述控制器的输入端连接，所述控制器的输出端与所述启停开关的信号端连接。
优选的，所述语音识别单元包括语音滤波模块、与语音滤波模块连接的背景噪声去除模块、与背景噪声去除模块连接的语音放大模块，语音滤波模块允许300～3000Hz的音频信号通过，背景噪声去除模块去除背景噪声，语音放大模块对音频信号进行放大处理。
优选的，所述人脸识别单元包括摄像单元、照片存储单元、图像显示单元和报警单元；所述人脸识别单元包括两个输入端和两个输出端，所述摄像单元与所述人脸识别单元的第一输入端相连接，所述照片存储单元与所述人脸识别单元的第二输入端相连接，所述图像显示单元与所述人脸识别单元的第一输出端相连接，所述报警单元与所述人脸识别单元的第二输出端相连接。
优选的，所述证件读取单元包括触摸屏、生物识别模块、读取模块，所述触摸屏、所述生物识别模块、所述读取模块均与所述处理器电性连接，所述触摸屏用于录入并显示相关数据，所述生物识别模块用于实现自然人的身份认证，所述读取模块用于自然人的证件信息的读取和识别。
优选的，所述二维码识别单元包括色彩信息数量获取单元，用于对识别到的二维码识别图形所包含的全部色彩信息个数；
二维码版本数确定单元，用于对获得的二维码图像的黑白二值化图像信息的全部色彩信息个数；
图形分割单元，对二值化色彩图形进行区域分割，从而将图形中包含的数据信息以及纠错码字按照QR码标准分为块区1，块区2…块区n，再依次排列开来，从而将对整个二维码的识别分解为单块区；
识别单元，用于对1-n的块区按照QR码的国标规则解码成二进制，而后对应对应得二维码基数单色块所包含的芯片色彩信息的数量B，就可将单个块区包含信息转化为二进制，再按顺序拼接1-n的块区信息并保存于寄存器单元内；
寄存器单元，用于保存识别后的二维码信息；
二维码信息传输单元、用于当收到外部提取二维码请求时，通过对外数据交互接口将寄存器内识别后的二维码信息送出，外部对该信息按标准的编码字符集将二维码信息还原。。
优选的，还包括报警单元，所述报警单元与所述人脸识别单元连接，所述后台服务器内存储有公安备案的犯罪人员人脸信息，当人脸识别单元检测到与犯罪人员的人脸信息相一致时，启动报警单元进行报警。
优选的，还包括指纹采集识别单元，所述指纹识别采集单元包括用于采集用户指纹的指纹采集器，所述控制器与所述指纹采集器连接，用于将所述用户指纹与预存指纹进行比较，并将比较结果发送至后台服务器，以便进行身份确认。
优选的，所述控制器内设置有AS608指纹算法芯片。。
本发明的有益效果是：
1、本发明通过设置人脸识别单元采集用户人脸图像信息，语音识别单元采集用户的语音信息，证件读取单元采集用户的身份证件信息，在智能柜台获取APP下载方式，在移动终端安装相应的APP，并利用手机号进行注册登录，获取专属的带有个人信息的二维码，用户的人脸图像信息、语音信息、身份证件信息和移动终端APP上的二维码信息通过无线传输单元发送至后台服务器，后台服务器将用户的人脸图像信息、语音信息、身份证件信息和移动终端APP上的二维码信息进行整合，建立用户个人信息数据库并进行存储，从而实现客户群的建立。
2、本发明通过设置聋哑人输入信息处理单元，包括聋哑人文本输入模块，用于聋哑人输入文本信息，并将文本信息发送至语音合成模块手势识别处理模块，用于对聋哑人的手语手势进行图像提取，转换成文本信息，将文本信息发送至语音合成模块；语音合成模块，其分别与聋哑人文本输入模块及手势识别处理模块的输出端连接，用于将接收的文本信息转换为语音进行播报，手势识别处理模块包括手势拾取模块，其用于对聋哑人的手语手势进行图像提取，并发送至第一图像识别模块；第一图像识别模块，其与手势拾取模块的输出端连接，接收手势拾取模块提取的手势图像，调用图像标识存储器中的数据，对手势图像的分类标识进行识别，并对后续接收的手势图像进行归类；图像标识存储器，其与第一图像识别模块连接，用于存储图像分类标识；第二图像识别模块，其与第一图像识别模块的输出端连接，接收第一图像识别模块识别出的手势图像的分类标识，并根据此分类标识在文本-图像存储器指定存储区域对手势图像进行识别，并将手势图像对应的文本信息输出至所述语音合成模块；文本-图像存储器，其与第二图像识别模块连接，对手语手势图像进行分类存储，并查找各分类标识下的手势图像对应的文本信息，能够使得银行的工作人员在面对聋哑人的时候，也可以在不精通手语的情况下和这些客户进行交流，便于业务的进行。
3、本发明通过设置语音监控单元包括：采集模块，用于通过麦克风阵列采集原始语音数据，每一所述原始语音数据对应一麦克风阵列标识和采集时间；预处理模块，用于对所述原始语音数据进行数据预处理，获取目标语音数据；声纹提取模块，用于采用MFCC算法对所述目标语音数据进行声纹特征提取，获取目标声纹特征；语音识别模块，用于采用预先训练的语音识别模型对所述目标声纹特征进行识别，获取与所述目标声纹特征对应的目标文字数据；敏感词识别模块，用于采用敏感词识别模型对所述目标文字数据进行识别，获取识别结果；敏感文字数据获取模块，用于若所述识别结果为所述目标文字数据包含敏感词，则在所述目标文字数据中对所述敏感词进行突出处理，获取敏感文字数据；柜台人员信息获取模块，用于基于所述麦克风阵列标识和所述采集时间查询值班安排表，获取对应的柜台人员信息；存储模块，用于将所述敏感文字数据和所述柜台人员信息关联存储在数据库中，能够对柜台人员的业务办理中与客户的交流过程记录下来，监控柜台人员是否用语不当。
附图说明
图1为本发明的系统结构示意图；
图2为本发明的聋哑人输入信息处理单元示意图；
图3为本发明的手势识别单元示意图；
图4为本发明的语音监控单元示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
一种用于柜台信息采集的人脸识别系统，包括控制器、人脸识别单元、语音识别单元、证件读取单元、聋哑人输入信息处理单元、语音监控单元、启停单元和二维码识别单元，所述人脸识别单元采集用户人脸图像信息，所述语音识别单元采集用户的语音信息，所述证件读取单元采集用户的身份证件信息，所述二维码识别单元读取用户移动终端上的专属二维码信息，所述人脸识别单元、语音识别单元、证件读取单元和二维码识别单元分别与控制器连接，所述控制器将所述人脸识别单元、语音识别单元、证件读取单元和二维码识别单元采集的各项信息通过无线传输单元发送至后台服务器，
人脸识别单元采集用户人脸图像信息，语音识别单元采集用户的语音信息，证件读取单元采集用户的身份证件信息，在智能柜台获取APP下载方式，在移动终端安装相应的APP，并利用手机号进行注册登录，获取专属的带有个人信息的二维码，用户的人脸图像信息、语音信息、身份证件信息和移动终端APP上的二维码信息通过无线传输单元发送至后台服务器，后台服务器将用户的人脸图像信息、语音信息、身份证件信息和移动终端APP上的二维码信息进行整合，建立用户个人信息数据库并进行存储；
所述聋哑人输入信息处理单元包括：
聋哑人文本输入模块，用于聋哑人输入文本信息，并将文本信息发送至语音合成模块；
手势识别处理模块，用于对聋哑人的手语手势进行图像提取，转换成文本信息，将文本信息发送至语音合成模块；
语音合成模块，其分别与聋哑人文本输入模块及手势识别处理模块的输出端连接，用于将接收的文本信息转换为语音进行播报；
手势识别处理模块包括：
手势拾取模块，其用于对聋哑人的手语手势进行图像提取，并发送至第一图像识别模块；
第一图像识别模块，其与手势拾取模块的输出端连接，接收手势拾取模块提取的手势图像，调用图像标识存储器中的数据，对手势图像的分类标识进行识别，并对后续接收的手势图像进行归类；
图像标识存储器，其与第一图像识别模块连接，用于存储图像分类标识；
第二图像识别模块，其与第一图像识别模块的输出端连接，接收第一图像识别模块识别出的手势图像的分类标识，并根据此分类标识在文本-图像存储器指定存储区域对手势图像进行识别，并将手势图像对应的文本信息输出至所述语音合成模块；
文本-图像存储器，其与第二图像识别模块连接，对手语手势图像进行分类存储，并查找各分类标识下的手势图像对应的文本信息；
所述语音监控单元包括：采集模块，用于通过麦克风阵列采集原始语音数据，每一所述原始语音数据对应一麦克风阵列标识和采集时间；
预处理模块，用于对所述原始语音数据进行数据预处理，获取目标语音数据；
声纹提取模块，用于采用MFCC算法对所述目标语音数据进行声纹特征提取，获取目标声纹特征；
语音识别模块，用于采用预先训练的语音识别模型对所述目标声纹特征进行识别，获取与所述目标声纹特征对应的目标文字数据；
敏感词识别模块，用于采用敏感词识别模型对所述目标文字数据进行识别，获取识别结果；
敏感文字数据获取模块，用于若所述识别结果为所述目标文字数据包含敏感词，则在所述目标文字数据中对所述敏感词进行突出处理，获取敏感文字数据；
柜台人员信息获取模块，用于基于所述麦克风阵列标识和所述采集时间查询值班安排表，获取对应的柜台人员信息；
存储模块，用于将所述敏感文字数据和所述柜台人员信息关联存储在数据库中；
所述启停单元包括红外检测模块、启停开关，所述红外检测模块的输出端与所述控制器的输入端连接，所述控制器的输出端与所述启停开关的信号端连接。
需要说明的是，所述语音识别单元包括语音滤波模块、与语音滤波模块连接的背景噪声去除模块、与背景噪声去除模块连接的语音放大模块，语音滤波模块允许300～3000Hz的音频信号通过，背景噪声去除模块去除背景噪声，语音放大模块对音频信号进行放大处理。
其中，所述人脸识别单元包括摄像单元、照片存储单元、图像显示单元和报警单元；所述人脸识别单元包括两个输入端和两个输出端，所述摄像单元与所述人脸识别单元的第一输入端相连接，所述照片存储单元与所述人脸识别单元的第二输入端相连接，所述图像显示单元与所述人脸识别单元的第一输出端相连接，所述报警单元与所述人脸识别单元的第二输出端相连接。
另外，所述证件读取单元包括触摸屏、生物识别模块、读取模块，所述触摸屏、所述生物识别模块、所述读取模块均与所述处理器电性连接，所述触摸屏用于录入并显示相关数据，所述生物识别模块用于实现自然人的身份认证，所述读取模块用于自然人的证件信息的读取和识别。
需要说明的是，所述二维码识别单元包括色彩信息数量获取单元，用于对识别到的二维码识别图形所包含的全部色彩信息个数；
二维码版本数确定单元，用于对获得的二维码图像的黑白二值化图像信息的全部色彩信息个数；
图形分割单元，对二值化色彩图形进行区域分割，从而将图形中包含的数据信息以及纠错码字按照QR码标准分为块区1，块区2…块区n，再依次排列开来，从而将对整个二维码的识别分解为单块区；
识别单元，用于对1-n的块区按照QR码的国标规则解码成二进制，而后对应对应得二维码基数单色块所包含的芯片色彩信息的数量B，就可将单个块区包含信息转化为二进制，再按顺序拼接1-n的块区信息并保存于寄存器单元内；
寄存器单元，用于保存识别后的二维码信息；
二维码信息传输单元、用于当收到外部提取二维码请求时，通过对外数据交互接口将寄存器内识别后的二维码信息送出，外部对该信息按标准的编码字符集将二维码信息还原。。
进一步的，还包括报警单元，所述报警单元与所述人脸识别单元连接，所述后台服务器内存储有公安备案的犯罪人员人脸信息，当人脸识别单元检测到与犯罪人员的人脸信息相一致时，启动报警单元进行报警。
进一步的，还包括指纹采集识别单元，所述指纹识别采集单元包括用于采集用户指纹的指纹采集器，所述控制器与所述指纹采集器连接，用于将所述用户指纹与预存指纹进行比较，并将比较结果发送至后台服务器，以便进行身份确认。
其中，所述控制器内设置有AS608指纹算法芯片。
以上所述仅是本发明的优选实施方式，应当理解所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (8)

1.一种用于柜台信息采集的人脸识别系统，其特征在于，包括控制器、人脸识别单元、语音识别单元、证件读取单元、聋哑人输入信息处理单元、语音监控单元、启停单元和二维码识别单元，所述人脸识别单元采集用户人脸图像信息，所述语音识别单元采集用户的语音信息，所述证件读取单元采集用户的身份证件信息，所述二维码识别单元读取用户移动终端上的专属二维码信息，所述人脸识别单元、语音识别单元、证件读取单元、聋哑人输入信息处理单元、语音监控单元、启停单元和二维码识别单元分别与控制器连接，所述控制器将所述人脸识别单元、语音识别单元、证件读取单元、聋哑人输入信息处理单元、语音监控单元、启停单元和二维码识别单元采集的各项信息通过无线传输单元发送至后台服务器，
人脸识别单元采集用户人脸图像信息，语音识别单元采集用户的语音信息，证件读取单元采集用户的身份证件信息，在智能柜台获取APP下载方式，在移动终端安装相应的APP，并利用手机号进行注册登录，获取专属的带有个人信息的二维码，用户的人脸图像信息、语音信息、身份证件信息和移动终端APP上的二维码信息通过无线传输单元发送至后台服务器，后台服务器将用户的人脸图像信息、语音信息、身份证件信息和移动终端APP上的二维码信息进行整合，建立用户个人信息数据库并进行存储；
所述聋哑人输入信息处理单元包括：
聋哑人文本输入模块，用于聋哑人输入文本信息，并将文本信息发送至语音合成模块；
手势识别处理模块，用于对聋哑人的手语手势进行图像提取，转换成文本信息，将文本信息发送至语音合成模块；
语音合成模块，其分别与聋哑人文本输入模块及手势识别处理模块的输出端连接，用于将接收的文本信息转换为语音进行播报；
手势识别处理模块包括：
手势拾取模块，其用于对聋哑人的手语手势进行图像提取，并发送至第一图像识别模块；
第一图像识别模块，其与手势拾取模块的输出端连接，接收手势拾取模块提取的手势图像，调用图像标识存储器中的数据，对手势图像的分类标识进行识别，并对后续接收的手势图像进行归类；
图像标识存储器，其与第一图像识别模块连接，用于存储图像分类标识；
第二图像识别模块，其与第一图像识别模块的输出端连接，接收第一图像识别模块识别出的手势图像的分类标识，并根据此分类标识在文本-图像存储器指定存储区域对手势图像进行识别，并将手势图像对应的文本信息输出至所述语音合成模块；
文本-图像存储器，其与第二图像识别模块连接，对手语手势图像进行分类存储，并查找各分类标识下的手势图像对应的文本信息；
所述语音监控单元包括：采集模块，用于通过麦克风阵列采集原始语音数据，每一所述原始语音数据对应一麦克风阵列标识和采集时间；
预处理模块，用于对所述原始语音数据进行数据预处理，获取目标语音数据；
声纹提取模块，用于采用MFCC算法对所述目标语音数据进行声纹特征提取，获取目标声纹特征；
语音识别模块，用于采用预先训练的语音识别模型对所述目标声纹特征进行识别，获取与所述目标声纹特征对应的目标文字数据；
敏感词识别模块，用于采用敏感词识别模型对所述目标文字数据进行识别，获取识别结果；
敏感文字数据获取模块，用于若所述识别结果为所述目标文字数据包含敏感词，则在所述目标文字数据中对所述敏感词进行突出处理，获取敏感文字数据；
柜台人员信息获取模块，用于基于所述麦克风阵列标识和所述采集时间查询值班安排表，获取对应的柜台人员信息；
存储模块，用于将所述敏感文字数据和所述柜台人员信息关联存储在数据库中；
所述启停单元包括红外检测模块、启停开关，所述红外检测模块的输出端与所述控制器的输入端连接，所述控制器的输出端与所述启停开关的信号端连接。
2.根据权利要求1所述的一种用于柜台信息采集的人脸识别系统，其特征在于，所述语音识别单元包括语音滤波模块、与语音滤波模块连接的背景噪声去除模块、与背景噪声去除模块连接的语音放大模块，语音滤波模块允许300～3000Hz的音频信号通过，背景噪声去除模块去除背景噪声，语音放大模块对音频信号进行放大处理。
3.根据权利要求1所述的一种用于柜台信息采集的人脸识别系统，其特征在于，所述人脸识别单元包括摄像单元、照片存储单元、图像显示单元和报警单元；所述人脸识别单元包括两个输入端和两个输出端，所述摄像单元与所述人脸识别单元的第一输入端相连接，所述照片存储单元与所述人脸识别单元的第二输入端相连接，所述图像显示单元与所述人脸识别单元的第一输出端相连接，所述报警单元与所述人脸识别单元的第二输出端相连接。
4.根据权利要求1述的一种用于柜台信息采集的人脸识别系统，其特征在于，所述证件读取单元包括触摸屏、生物识别模块、读取模块，所述触摸屏、所述生物识别模块、所述读取模块均与所述处理器电性连接，所述触摸屏用于录入并显示相关数据，所述生物识别模块用于实现自然人的身份认证，所述读取模块用于自然人的证件信息的读取和识别。
5.根据权利要求1所述的一种用于柜台信息采集的人脸识别系统，其特征在于，所述二维码识别单元包括色彩信息数量获取单元，用于对识别到的二维码识别图形所包含的全部色彩信息个数；
二维码版本数确定单元，用于对获得的二维码图像的黑白二值化图像信息的全部色彩信息个数；
图形分割单元，对二值化色彩图形进行区域分割，从而将图形中包含的数据信息以及纠错码字按照QR码标准分为块区1，块区2…块区n，再依次排列开来，从而将对整个二维码的识别分解为单块区；
识别单元，用于对1-n的块区按照QR码的国标规则解码成二进制，而后对应对应得二维码基数单色块所包含的芯片色彩信息的数量B，就可将单个块区包含信息转化为二进制，再按顺序拼接1-n的块区信息并保存于寄存器单元内；
寄存器单元，用于保存识别后的二维码信息；
二维码信息传输单元、用于当收到外部提取二维码请求时，通过对外数据交互接口将寄存器内识别后的二维码信息送出，外部对该信息按标准的编码字符集将二维码信息还原。
6.根据权利要求1所述的一种用于柜台信息采集的人脸识别系统，其特征在于，还包括报警单元，所述报警单元与所述人脸识别单元连接，所述后台服务器内存储有公安备案的犯罪人员人脸信息，当人脸识别单元检测到与犯罪人员的人脸信息相一致时，启动报警单元进行报警。
7.根据权利要求1所述的一种用于柜台信息采集的人脸识别系统，其特征在于，还包括指纹采集识别单元，所述指纹识别采集单元包括用于采集用户指纹的指纹采集器，所述控制器与所述指纹采集器连接，用于将所述用户指纹与预存指纹进行比较，并将比较结果发送至后台服务器，以便进行身份确认。
8.根据权利要求7所述的一种用于柜台信息采集的人脸识别系统，其特征在于，所述控制器内设置有AS608指纹算法芯片。
CN202010301459.0A 2020-04-16 2020-04-16 一种用于柜台信息采集的人脸识别系统 Pending CN111507256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010301459.0A CN111507256A (zh) 2020-04-16 2020-04-16 一种用于柜台信息采集的人脸识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010301459.0A CN111507256A (zh) 2020-04-16 2020-04-16 一种用于柜台信息采集的人脸识别系统

Publications (1)

Publication Number Publication Date
CN111507256A true CN111507256A (zh) 2020-08-07

Family

ID=71874357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010301459.0A Pending CN111507256A (zh) 2020-04-16 2020-04-16 一种用于柜台信息采集的人脸识别系统

Country Status (1)

Country Link
CN (1) CN111507256A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270567A (zh) * 2020-10-30 2021-01-26 深圳市易阳新媒体科技有限公司 一种广告投放受众群体数据分析系统及装置
CN115208942A (zh) * 2022-07-19 2022-10-18 中国银行股份有限公司 银行业务信息处理方法、装置及业务系统
CN117475443A (zh) * 2023-12-27 2024-01-30 环球数科集团有限公司 一种基于aigc的图像分割及重组系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546938A (zh) * 2011-12-27 2012-07-04 广东步步高电子工业有限公司 利用前置摄像头智能捕捉人脸图像实现安全防护的手机
CN102831375A (zh) * 2012-04-17 2012-12-19 章云芳 兼具二维码识别的图像信号处理器及其二维码识别方法
CN105957514A (zh) * 2016-07-11 2016-09-21 吉林宇恒光电仪器有限责任公司 一种便携式聋哑人交流设备
CN106600772A (zh) * 2016-12-05 2017-04-26 苏州维盟韵联网络科技有限公司 一种门禁验证方法及门禁终端
CN106778441A (zh) * 2017-01-12 2017-05-31 西安科技大学 一种图形图像智能识别系统及其识别方法
CN109087648A (zh) * 2018-08-21 2018-12-25 平安科技（深圳）有限公司 柜台语音监控方法、装置、计算机设备及存储介质
CN109349834A (zh) * 2018-12-21 2019-02-19 广西科技大学 一种基于arm的声控调节高度智能桌椅的装置及其调节智能桌椅高度的方法
CN110033544A (zh) * 2019-04-19 2019-07-19 湖南飞思洛克科技有限公司 智能门锁控制方法和人脸识别智能门锁
CN110119964A (zh) * 2019-05-10 2019-08-13 赵东 一种客群识别智能柜台、系统、方法及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546938A (zh) * 2011-12-27 2012-07-04 广东步步高电子工业有限公司 利用前置摄像头智能捕捉人脸图像实现安全防护的手机
CN102831375A (zh) * 2012-04-17 2012-12-19 章云芳 兼具二维码识别的图像信号处理器及其二维码识别方法
CN105957514A (zh) * 2016-07-11 2016-09-21 吉林宇恒光电仪器有限责任公司 一种便携式聋哑人交流设备
CN106600772A (zh) * 2016-12-05 2017-04-26 苏州维盟韵联网络科技有限公司 一种门禁验证方法及门禁终端
CN106778441A (zh) * 2017-01-12 2017-05-31 西安科技大学 一种图形图像智能识别系统及其识别方法
CN109087648A (zh) * 2018-08-21 2018-12-25 平安科技（深圳）有限公司 柜台语音监控方法、装置、计算机设备及存储介质
CN109349834A (zh) * 2018-12-21 2019-02-19 广西科技大学 一种基于arm的声控调节高度智能桌椅的装置及其调节智能桌椅高度的方法
CN110033544A (zh) * 2019-04-19 2019-07-19 湖南飞思洛克科技有限公司 智能门锁控制方法和人脸识别智能门锁
CN110119964A (zh) * 2019-05-10 2019-08-13 赵东 一种客群识别智能柜台、系统、方法及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270567A (zh) * 2020-10-30 2021-01-26 深圳市易阳新媒体科技有限公司 一种广告投放受众群体数据分析系统及装置
CN115208942A (zh) * 2022-07-19 2022-10-18 中国银行股份有限公司 银行业务信息处理方法、装置及业务系统
CN115208942B (zh) * 2022-07-19 2024-03-19 中国银行股份有限公司 银行业务信息处理方法、装置及业务系统
CN117475443A (zh) * 2023-12-27 2024-01-30 环球数科集团有限公司 一种基于aigc的图像分割及重组系统
CN117475443B (zh) * 2023-12-27 2024-03-05 环球数科集团有限公司 一种基于aigc的图像分割及重组系统

Similar Documents

Publication Publication Date Title
CN109086669B (zh) 人脸识别身份验证方法、装置、电子设备
Derawi et al. Fingerprint recognition with embedded cameras on mobile phones
CN111507256A (zh) 一种用于柜台信息采集的人脸识别系统
CN104361276B (zh) 一种多模态生物特征身份认证方法及系统
KR101629224B1 (ko) 생체 특징에 기반한 인증 방법, 장치 및 시스템
EP2667329A1 (en) Authorized party authentication template learning system and authorized party authentication template learning method
CN106850648B (zh) 身份验证方法、客户端和服务平台
CN104834849A (zh) 基于声纹识别和人脸识别的双因素身份认证方法及系统
CN111339806B (zh) 唇语识别模型的训练方法、活体识别方法及装置
CN112148922A (zh) 会议记录方法、装置、数据处理设备及可读存储介质
CN112509586A (zh) 电话信道声纹识别方法及装置
CN110929244A (zh) 数字化身份识别方法、装置、设备及存储介质
CN110765851A (zh) 一种注册方法及装置、设备
CN105138886B (zh) 机器人生物体征识别系统
CN114218543A (zh) 一种基于多场景表情识别的加密解锁系统及方法
CN107452166A (zh) 一种基于声纹识别的图书馆借书方法及装置
CN111611437A (zh) 一种防止人脸声纹验证替换攻击的方法及装置
KR20180006016A (ko) 얼굴인식 기반의 미아 찾기 방법 및 이를 이용한 미아 찾기 시스템
CN111291912A (zh) 一种使用人证核验的取号方法、取号机及取号系统
CN103443772A (zh) 基于多模态信息的人口统计分析的系统和方法
CN204576520U (zh) 基于声纹识别和人脸识别的双因素身份认证装置
CN110908718A (zh) 人脸识别激活语音导航方法、系统、存储介质及设备
CN103700151A (zh) 一种晨跑签到方法
CN213601611U (zh) 具有声纹识别功能的执法仪
CN110110572A (zh) 一种基于二维码的离线生物识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200807