CN117495384B - 一种基于ai人脸识别技术的ktv刷脸支付方法 - Google Patents
一种基于ai人脸识别技术的ktv刷脸支付方法 Download PDFInfo
- Publication number
- CN117495384B CN117495384B CN202311471234.XA CN202311471234A CN117495384B CN 117495384 B CN117495384 B CN 117495384B CN 202311471234 A CN202311471234 A CN 202311471234A CN 117495384 B CN117495384 B CN 117495384B
- Authority
- CN
- China
- Prior art keywords
- user
- data
- gesture
- abnormal
- facial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000005516 engineering process Methods 0.000 title claims abstract description 13
- 230000001680 brushing effect Effects 0.000 title claims abstract description 7
- 230000002159 abnormal effect Effects 0.000 claims abstract description 160
- 230000001815 facial effect Effects 0.000 claims abstract description 145
- 238000012795 verification Methods 0.000 claims abstract description 34
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 claims abstract description 30
- 210000001508 eye Anatomy 0.000 claims abstract description 28
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 230000000694 effects Effects 0.000 claims abstract description 17
- 210000001097 facial muscle Anatomy 0.000 claims abstract description 9
- 239000013598 vector Substances 0.000 claims description 49
- 230000036544 posture Effects 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 29
- 230000006399 behavior Effects 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 24
- 238000012544 monitoring process Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 19
- 210000003128 head Anatomy 0.000 claims description 16
- 230000008921 facial expression Effects 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 13
- 238000012706 support-vector machine Methods 0.000 claims description 13
- 238000013475 authorization Methods 0.000 claims description 12
- 208000028752 abnormal posture Diseases 0.000 claims description 11
- 235000013361 beverage Nutrition 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 238000012300 Sequence Analysis Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000002955 isolation Methods 0.000 claims description 4
- 235000011888 snacks Nutrition 0.000 claims description 4
- 206010000117 Abnormal behaviour Diseases 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000008520 organization Effects 0.000 claims description 3
- 230000002265 prevention Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims 3
- 230000005856 abnormality Effects 0.000 claims 1
- 230000008961 swelling Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 7
- 230000006403 short-term memory Effects 0.000 description 5
- 238000010200 validation analysis Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 208000002111 Eye Abnormalities Diseases 0.000 description 3
- 238000002790 cross-validation Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 208000030533 eye disease Diseases 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 208000024813 Abnormality of the eye Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 206010036067 polydipsia Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/38—Payment protocols; Details thereof
- G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
- G06Q20/401—Transaction verification
- G06Q20/4014—Identity check for transactions
- G06Q20/40145—Biometric identity checks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Computer Security & Cryptography (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请提供一种基于AI人脸识别技术的KTV刷脸支付方法，包括：通过KTV环境中的摄像头捕捉用户的行为和脸部特征；使用ResNet模型对捕获的脸部特征进行解析，特别针对眼睛、脸部红肿区域；使用基于ResNet模型的表情识别，评估酒精是否影响了用户的面部肌肉活动；通过姿态分析，检测用户的姿态是否与常规姿态存在差异；综合面部特征和姿态分析的结果，判断用户是否处于醉酒状态；若用户处于醉酒状态，暂时锁定高价KTV项目的支付功能，并为用户标记一个异常交易安全标签；对于带有异常交易安全标签的用户购买常规项目时，采用双重验证，包括面部识别和输入密码，确保支付安全。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种基于AI人脸识别技术的KTV刷脸支付方法。
背景技术
随着KTV行业的不断发展和普及，用户在享受KTV带来的娱乐和社交体验时，确实面临着一些问题和风险。首先，酒精的摄入是一个不可忽视的问题。在KTV环境中，用户往往会在享受音乐、唱歌的同时摄入酒精，而过度饮酒可能会对他们的行为和判断力产生负面影响。在醉酒状态下，用户可能会做出不理智的决策，包括选择支付高价项目，这可能会导致不必要的支出和后续争议。这种状况不仅可能损害用户的经济利益，还可能影响他们与其他人之间的关系。如何准确检测用户是否醉酒，这个是一个问题，传统方式通过服务人员判断客户是否醉酒，但用户在KTV房间内可能并不希望服务人员打扰，而且，服务人员判断用户是否醉酒存在很大的主观因素，不一定符合每个客户的标准。另一方面，KTV场所中高价项目的存在也给一些恶意用户提供了可乘之机。他们可能会冒充他人或尝试盗刷他人的支付信息，以获取不正当的利益。这种情况下，用户在支付后可能无法享受到所支付的服务，从而造成经济损失。此外，虽然面部识别技术的发展为身份验证提供了便利和安全保障，但在KTV场所，仅依赖面部识别可能不足以确保用户的身份和支付安全。另外，如何及时获取用户已经清醒，为用户解锁高价支付服务，并再次提供服务，这也是个问题，判断不准确可能导致无法提供给用户需要的服务或令客户在醉酒状态下购买了不需要的服务。
发明内容
本发明提供了一种基于AI人脸识别技术的KTV刷脸支付方法，主要包括：
通过KTV环境中的摄像头捕捉用户的行为和脸部特征；使用ResNet模型对捕获的脸部特征进行解析，特别针对眼睛、脸部红肿区域；使用基于ResNet模型的表情识别，评估酒精是否影响了用户的面部肌肉活动；通过姿态分析，检测用户的姿态是否与常规姿态存在差异；综合面部特征和姿态分析的结果，判断用户是否处于醉酒状态；若用户处于醉酒状态，暂时锁定高价KTV项目的支付功能，并为用户标记一个异常交易安全标签；对于带有异常交易安全标签的用户购买常规项目时，采用双重验证，包括面部识别和输入密码，确保支付安全；持续监测用户姿态和面部特征，评估用户的状态，若判断用户已恢复正常状态，解锁高价支付功能，为用户提供服务。
作为优选方案，所述通过KTV环境中的摄像头捕捉用户的行为和脸部特征，包括：
获取用户授权同意后，使用KTV的摄像头捕捉用户的姿态和脸部图像；使用SIFT，从用户的姿态和脸部图像提取特征；分析用户的姿态特征，识别用户当前的活动状态，将姿态数据与脸部特征数据整合；将脸部特征和姿态特征经过AES加密后存入数据库，并删除原始图像数据。
作为优选方案，所述使用ResNet模型对捕获的脸部特征进行解析，特别针对眼睛、脸部红肿区域，包括：
获取包含脸部特征的图像数据，包括正常状态和异常状态的脸部红肿或眼睛异常，对获取的图像数据进行预处理，包括图像清晰度、亮度和对比度的调整；建立数据库，用于存储脸部图像数据和相应的参照特征，将经过预处理的图像数据导入数据库，并与相应的参照特征进行关联，建立索引和组织结构，提高查询和匹配的效率；使用ResNet模型，将获取的图像数据分为训练集和测试集，确保数据的随机性和均匀性；使用训练集对ResNet模型进行训练，通过反向传播算法优化模型的参数；使用交叉验证评估模型的性能，使用测试集对训练好的模型进行测试；使用训练好的ResNet模型对新的脸部图像进行特征提取，得到与红肿和眼睛状态相关的特征向量，在数据库中查找与提取的特征向量相似度高于预设相似度的参照特征向量；对比提取的特征向量与参照特征向量，检测是否存在脸部红肿或其他异常，根据对比结果，将特征数据分类为正常或异常两类；将分类结果反馈给ResNet模型，根据实际应用效果，调整和优化模型参数；使用ResNet模型的输出作为特征，对分类为异常的特征数据进行进一步的分析，通过计算特征的激活值，评估异常的严重度，包括红肿程度、眼睛状况，根据评估的异常程度，对异常特征进行解析；根据解析生成一个关于脸部状态的完整报告，包括异常种类、异常程度。
作为优选方案，所述使用基于ResNet模型的表情识别，评估酒精是否影响了用户的面部肌肉活动，包括：
在用户授权同意下，获取用户面部表情数据，包括酒精影响前后的样本，标记数据，指示样本是否受到酒精影响；对面部表情数据进行预处理，包括裁剪、归一化和去除噪声，将预处理后的数据整理为数据集；使用ResNet模型，在ResNet模型的顶层添加分类器来识别用户是否受到酒精影响；使用获取的数据集对ResNet模型进行训练，包括有酒精影响和无酒精影响的样本，使用二元交叉熵，进行分类训练；使用验证数据集来评估ResNet模型的性能，包括准确率、召回率、F1分数；根据特征权重提取关键特征，分析ResNet模型输出的面部肌肉活动数据，确定酒精影响的关键特征；基于关键特征对ResNet模型进行优化，调整网络架构、增加数据量、进行数据增强；重新运行优化后的ResNet模型，对用户表情进行再次识别，根据验证结果对算法进行最终调整。
作为优选方案，所述通过姿态分析，检测用户的姿态是否与常规姿态存在差异，包括：
在用户授权同意下，获取用户的姿态数据并实时监控，建立实时用户姿态数据集；对获取的用户姿态数据进行预处理，包括数据清洗、去噪、归一化；利用卷积神经网络对预处理后的用户姿态数据进行特征提取，获取姿态特征；对提取的特征进行分类，分为常规姿态模式、异常姿态模式；建立历史姿态数据集，包括用户常规姿态和异常姿态的历史数据；将实时用户姿态数据的特征与常规姿态模式历史数据的特征进行对比，若实时数据特征与常规姿态模式特征相似度小于预设相似度，则标记为待核实数据；使用孤立森林对待核实数据进行分析，判断其是否为异常姿态，若被判断为异常姿态，则与已知的异常姿态模式进行对比，若异常姿态与已知的异常姿态模式相似度大于预设相似度，将其记录异常姿态模式；还包括：通过不断更新异常姿态模式数据库，完善异常姿态的识别模型；通过对姿态数据的时序分析，检测身体姿态的稳定性，判断是否存在身体晃动或不稳定，判断用户是否处于异常状态。
所述通过不断更新异常姿态模式数据库，完善异常姿态的识别模型，具体包括：
获取异常姿态模式数据库，存储已知的异常姿态模式。针对待核实数据，使用孤立森林算法进行分析，判断其是否为异常姿态。使用孤立森林获取异常值，计算每个数据点的孤立度si，si表示该数据点与其他数据点的平均距离。其中n是数据点的总数，dist(Di，Dj)表示数据点Di与Dj之间的距离。若待核实数据被判断为异常姿态，使用余弦相似度将其与已知的异常姿态模式进行对比。若待核实数据的异常姿态与已知的异常姿态模式的相似度大于预设的相似度阈值，将其记录为新的异常姿态模式，并将其添加到已知的异常姿态模式数据库中。
所述通过对姿态数据的时序分析，检测身体姿态的稳定性，判断是否存在身体晃动或不稳定，判断用户是否处于异常状态，具体包括：
在用户授权同意下，在KTV房间内通过摄像头连续获取客户的身体姿态数据，包括头部、躯干、手臂和腿部的姿态。以连续的时间序列数据的形式处理客户的身体姿态数据，每个时间点的数据包括各个关节的角度、位置和速度。对姿态数据进行时序分析，检测身体姿态的稳定性。计算头部、手臂部和腿部角度的变化率，检测身体躯干倾斜或摇晃。若头部、手臂部和腿部变化率超过预设变化率，或者身体躯干存在平衡问题，判断客户是否处于异常状态。
作为优选方案，所述综合面部特征和姿态分析的结果，判断用户是否处于醉酒状态，包括：
在用户授权同意下，使用摄像头获取用户的面部图像和姿态数据，对面部图像进行人脸检测和面部特征提取，获取眼睛、嘴巴、脸部表情特征；对获取的姿态数据进行预处理，包括数据清洗、去噪和归一化；使用卷积神经网络分析面部特征，包括检测眼睛的开合程度、嘴巴的表情、脸部颜色的变化；建立一个面部特征向量，其中包括多个特征的值；利用卷积神经网络分析用户的姿态，检测用户的身体姿态，包括站立、坐着、走动；建立一个姿态特征向量，包括不同姿态的标识；将面部特征向量和姿态特征向量合并成一个综合特征向量；使用已知的醉酒和非醉酒状态的数据集来训练支持向量机，支持向量机学习如何将综合特征向量与用户是否醉酒状态相关联；在实时监控中，获取用户的面部特征和姿态数据，生成综合特征向量；使用训练好的支持向量机来判断用户是否处于醉酒状态，输入综合特征向量，支持向量机输出类别标签，表示用户是否醉酒。
作为优选方案，所述若用户处于醉酒状态，暂时锁定高价KTV项目的支付功能，并为用户标记一个异常交易安全标签，包括：
得到用户同意后，获取用户在KTV场所的行为数据，包括消费记录、预订信息、使用时长，整理和清洗数据；使用长短期记忆网络，对用户行为数据进行训练和学习，建立监测模型，识别异常的用户行为模式；基于训练好的长短期记忆网络，识别出频繁购买或预定KTV项目的异常行为，提高对用户的风险监控级别；综合面部特征和姿态分析的结果，判断被提升风险级别的用户是否处于醉酒状态；若预测结果显示用户处于醉酒状态，自动触发风险防控措施，包括直接暂时锁定与KTV相关的高价支付功能，并为用户标记一个异常交易安全标签；对标记异常交易安全标签的用户进行持续的醉酒状态监测；还包括：获取用户在KTV内的消费频率和消费金额，若用户购买金额或频率异常，检测用户是否醉酒。
所述获取用户在KTV内的消费频率和消费金额，若用户购买金额或频率异常，检测用户是否醉酒，具体包括：
通过KTV内部的支付系统获取用户在KTV内的消费数据，包括消费频率、消费金额和消费项目。分析用户的消费行为，包括每次的消费金额、购买项目类型和购买频率，建立每位用户的消费模式，即消费阈值和频率阈值。若发现消费金额高于预设消费阈值或消费频率高于预设频率阈值，推测用户醉酒。设定醉酒预警标准，包括消费金额超出阈值或购买次数超出阈值，且检测到异常消费与身体姿态异常时，触发醉酒预警。
作为优选方案，所述对于带有异常交易安全标签的用户购买常规项目时，采用双重验证，包括面部识别和输入密码，确保支付安全，包括：
用户首次进入KTV场所时，进行身份注册，用户提供个人信息，包括姓名、手机号码、身份证号，同时设置支付密码；当用户在购买点歌和饮料项目时，检测用户是否带有异常交易安全标签的用户；若用户带有异常交易安全标签，用户在购买常规项目包括果盘、饮料或小吃时，进行面部扫描，验证其身份；面部扫描验证通过后，输入支付密码；在面部识别和支付密码验证均通过后，带有异常交易安全标签的用户完成点歌或购买饮料项目的交易；还包括：用户在KTV购买项目时，使用面部识别验证确定用户是否具有异常交易安全标签，并使用不同措施确保安全。
所述用户在KTV购买项目时，使用面部识别验证确定用户是否具有异常交易安全标签，并使用不同措施确保安全，具体包括：
获取用户授权同意后，首次进入KTV的客户进行面部识别注册，整理KTV用户的面部图像或面部特征信息，并存储在数据库中，与用户的个人信息和交易历史记录相关联。用户在KTV的购买项目时，经用户授权同意后，使用摄像头捕获用户的面部图像或特征信息，将捕获的面部图像或特征信息与数据库中存储的信息进行比对，进行面部识别验证。若用户的面部图像或特征信息匹配成功，检查用户是否具有异常交易安全标签。若用户未具有异常交易安全标签，正常处理购买请求，并提供相应的服务。若用户具有异常交易安全标签，判断购买项目是高价项目还是常规项目，若购买常规项目，进行双重验证，要求用户输入密码。若购买高价值项目，将暂停支付，并记录此次交易尝试。
作为优选方案，所述持续监测用户姿态和面部特征，评估用户的状态，若判断用户已恢复正常状态，解锁高价支付功能，为用户提供服务，包括：
获取用户授权同意后，使用摄像头获取用户的姿态和面部特征数据，处理用户的姿态和面部特征数据；将用户的姿态和面部特征数据与预设的正常状态的指标或模型进行对比，若相似度高于预设相似度，判断用户的状态已恢复正常；当用户状态被判断为正常时，获取高价支付功能是否处于锁定状态，如果检测到高价支付功能处于锁定状态，执行解锁操作；获取用户在锁定期间的高价服务请求记录，将解锁期间的用户高价服务请求发送给客户进行确认，若客户确认，则继续提供高价服务。
本发明实施例提供的技术方案可以包括以下有益效果：
本发明公开了一种基于KTV环境中摄像头捕捉用户行为和脸部特征的技术。通过分析用户的脸部特征和姿态，有效地检测醉酒状态，尤其是通过脸部红肿区域和表情识别的方式。当用户被判断处于醉酒状态时，支付功能会被暂时锁定，从而防止醉酒用户不理智地进行高价项目的支付，防止不必要的支出和争议，同时提高了支付安全性。
为带有异常交易安全标签的用户实施双重验证，包括面部识别和输入密码，增加了用户身份验证的严密性，确保只有授权用户可以进行高价项目的购买，持续监测用户的姿态和面部特征，评估用户的状态，一旦用户被判断已经恢复正常状态，高价支付功能将被解锁，为用户提供正常服务，维持服务质量和用户体验。
此专利提高KTV场所的管理效率，减少不必要的支出，增强支付安全性，保护用户的权益，以及提高整体用户体验，解决酒精对用户行为和支付安全的潜在影响，从而创造更安全和可控的娱乐环境。
附图说明
图1为本发明的一种基于AI人脸识别技术的KTV刷脸支付方法的流程图。
图2为本发明的一种基于AI人脸识别技术的KTV刷脸支付方法的示意图。
图3为本发明的一种基于AI人脸识别技术的KTV刷脸支付方法的又一示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
本实施例一种基于AI人脸识别技术的KTV刷脸支付方法具体可以包括：
步骤S101，通过KTV环境中的摄像头捕捉用户的行为和脸部特征。
获取用户授权同意后，使用KTV的摄像头捕捉用户的姿态和脸部图像。使用SIFT，从用户的姿态和脸部图像提取特征。分析用户的姿态特征，识别用户当前的活动状态，将姿态数据与脸部特征数据整合。将脸部特征和姿态特征经过AES加密后存入数据库，并删除原始图像数据。例如，当用户授权同意后，通过KTV的摄像头开始捕捉用户的姿态和脸部图像。使用SIFT算法从这些图像中提取特征。对于姿态特征，提取用户身体的姿势、动作以及他们在唱歌或跳舞时的手势。对于脸部特征，提取眼睛的睁开程度、嘴巴的张开程度以及脸部的表情。接下来，使用特征来分析用户的姿态，判断用户当前是否在唱歌或跳舞。如果用户的嘴巴张开且正在做出一些手势，判断他们正在唱歌。如果用户的身体正在动且手在舞动，判断他们正在跳舞。识别出用户的活动状态，将姿态数据与脸部特征数据整合在一起，使用AES加密后存入数据库并删除原始的图像数据。
步骤S102，使用ResNet模型对捕获的脸部特征进行解析，特别针对眼睛、脸部红肿区域。
获取包含脸部特征的图像数据，包括正常状态和异常状态的脸部红肿或眼睛异常，对获取的图像数据进行预处理，包括图像清晰度、亮度和对比度的调整。建立数据库，用于存储脸部图像数据和相应的参照特征，将经过预处理的图像数据导入数据库，并与相应的参照特征进行关联，建立索引和组织结构，提高查询和匹配的效率。使用ResNet模型，将获取的图像数据分为训练集和测试集，确保数据的随机性和均匀性。使用训练集对ResNet模型进行训练，通过反向传播算法优化模型的参数。使用交叉验证评估模型的性能，使用测试集对训练好的模型进行测试。使用训练好的ResNet模型对新的脸部图像进行特征提取，得到与红肿和眼睛状态相关的特征向量，在数据库中查找与提取的特征向量相似度高于预设相似度的参照特征向量。对比提取的特征向量与参照特征向量，检测是否存在脸部红肿或其他异常，根据对比结果，将特征数据分类为正常或异常两类。将分类结果反馈给ResNet模型，根据实际应用效果，调整和优化模型参数。使用ResNet模型的输出作为特征，对分类为异常的特征数据进行进一步的分析，通过计算特征的激活值，评估异常的严重度，包括红肿程度、眼睛状况，根据评估的异常程度，对异常特征进行解析。根据解析生成一个关于脸部状态的完整报告，包括异常种类、异常程度。例如，获取包含脸部特征的1000张正常状态的脸部图像和100张异常状态的脸部图像，异常状态包括红肿和眼睛异常。对于模糊的图像，提高清晰度，使得人脸特征更加明确，对于过暗或过亮的图像，调整亮度和对比度。将预处理后的图像数据导入数据库，并与相应的参照特征进行关联，对于一张正常状态的脸部图像，提取脸部特征并存储在数据库中，作为该图像的参照特征。对于一张异常状态的脸部图像，提取脸部特征并存储在数据库中。将收集到的图像数据分为训练集和测试集，将70％的图像数据作为训练集，30％的图像数据作为测试集。使用训练集对ResNet模型进行训练，通过反向传播算法优化模型的参数。使用交叉验证评估性能，并使用测试集进行测试，验证模型的准确性和可靠性。使用训练好的ResNet模型对新的脸部图像进行特征提取时，得到与红肿和眼睛状态相关的特征向量。提取的特征向量包含红肿区域的大小和位置信息，以及眼睛状态的异常程度。在数据库中查找与提取的特征向量相似度高于预设相似度的参照特征向量，判断是否存在脸部红肿或其他异常。对比提取的特征向量与参照特征向量时，使用数值进行比较。预设相似度为8，如果提取的特征向量与某个参照特征向量的相似度为9，则判断脸部图像存在异常，将分类结果反馈给ResNet模型，并根据实际应用效果调整和优化模型参数。如果模型的准确率较低，通过调整模型的学习率或增加训练数据提高准确率。使用ResNet模型的输出作为特征时，对分类为异常的特征数据进行进一步的分析。计算特征的激活值来评估异常的严重度，特征的激活值越高，表示异常程度越严重。最终，根据特征的解析生成一个关于脸部状态的完整报告，包括异常种类和异常程度，某个人的脸部出现了红肿现象，并评估其红肿程度为中度。
步骤S103，使用基于ResNet模型的表情识别，评估酒精是否影响了用户的面部肌肉活动。
在用户授权同意下，获取用户面部表情数据，包括酒精影响前后的样本，标记数据，指示样本是否受到酒精影响。对面部表情数据进行预处理，包括裁剪、归一化和去除噪声，将预处理后的数据整理为数据集。使用ResNet模型，在ResNet模型的顶层添加分类器来识别用户是否受到酒精影响。使用获取的数据集对ResNet模型进行训练，包括有酒精影响和无酒精影响的样本，使用二元交叉熵，进行分类训练。使用验证数据集来评估ResNet模型的性能，包括准确率、召回率、F1分数。根据特征权重提取关键特征，分析ResNet模型输出的面部肌肉活动数据，确定酒精影响的关键特征。基于关键特征对ResNet模型进行优化，调整网络架构、增加数据量、进行数据增强。重新运行优化后的ResNet模型，对用户表情进行再次识别，根据验证结果对算法进行最终调整。例如，在用户授权同意下，获取1000个用户的面部表情样本，其中500个样本是在酒精影响下进行记录的，另外500个样本是没有饮酒的情况下记录的。对这些样本进行预处理，包括裁剪、归一化和去除噪声处理。在进行预处理后，使用ResNet模型作为基础模型，将其顶层添加适当的分类器来识别用户是否受到酒精影响。将数据集分为训练集和验证集，其中80％的样本用于训练模型，20％的样本用于评估模型性能。使用二元交叉熵作为损失函数进行分类训练。在训练过程中，ResNet模型在验证集上达到了准确率为90％、召回率为85％和F1分数为87。为了进一步分析ResNet模型输出的面部肌肉活动数据，进行特征重要性分析。通过分析ResNet模型输出的特征权重，发现眼部肌肉活动是酒精影响的关键特征。ResNet模型输出的特征权重显示，眨眼频率和眼球运动幅度是判断用户是否受到酒精影响的重要指标。基于关键特征的分析结果，对ResNet模型进行优化。调整网络架构，增加数据量，并进行数据增强来改善模型性能。经过优化后，重新运行了ResNet模型，并对用户的表情进行再次识别。最终，根据验证结果，对算法进行了最终调整。调整后的ResNet模型在验证集上的准确率提高到95％、召回率提高到90％和F1分数提高到92。这表明ResNet模型对于识别用户是否受到酒精影响的性能得到了显著提升。
步骤S104，通过姿态分析，检测用户的姿态是否与常规姿态存在差异。
在用户授权同意下，获取用户的姿态数据并实时监控，建立实时用户姿态数据集。对获取的用户姿态数据进行预处理，包括数据清洗、去噪、归一化。利用卷积神经网络对预处理后的用户姿态数据进行特征提取，获取姿态特征。对提取的特征进行分类，分为常规姿态模式、异常姿态模式。建立历史姿态数据集，包括用户常规姿态和异常姿态的历史数据。将实时用户姿态数据的特征与常规姿态模式历史数据的特征进行对比，若实时数据特征与常规姿态模式特征相似度小于预设相似度，则标记为待核实数据。使用孤立森林对待核实数据进行分析，判断其是否为异常姿态，若被判断为异常姿态，则与已知的异常姿态模式进行对比，若异常姿态与已知的异常姿态模式相似度大于预设相似度，将其记录异常姿态模式。例如，在用户授权同意下，在KTV房间内使用摄像头获取客人的姿态数据，包括客人的站立、走动、坐姿姿态。对获取的姿态数据进行预处理，包括数据清洗、去噪和归一化。使用卷积神经网络对预处理后的姿态数据进行特征提取，卷积神经网络可以捕捉客人的关键姿态特征，如站立、坐着、倾斜。将提取的特征进行分类，将客人的姿态分为常规姿态模式和异常姿态模式，醉酒的客人会展示出不稳定、摇摆或倒地的异常姿态。建立历史姿态数据集，包括正常状态下的客人姿态和已知的醉酒客人的历史数据，数据集用于训练和比较。对实时客人姿态数据的特征与历史数据中的特征进行比较，计算相似度。如果实时数据的特征与常规姿态模式的特征相似度小于某个阈值，则将其标记为待核实数据。使用孤立森林或其他异常检测算法对待核实数据进行分析，判断其是否为异常姿态。若被判断为异常姿态，将其与已知的醉酒客人的异常姿态模式进行比较，如果异常姿态与已知的醉酒客人相似度大于预设相似度阈值，将其记录为异常姿态模式，即醉酒模式。
通过不断更新异常姿态模式数据库，完善异常姿态的识别模型。
获取异常姿态模式数据库，存储已知的异常姿态模式。针对待核实数据，使用孤立森林算法进行分析，判断其是否为异常姿态。使用孤立森林获取异常值，计算每个数据点的孤立度si，si表示该数据点与其他数据点的平均距离。其中n是数据点的总数，dist(Di，Dj)表示数据点Di与Dj之间的距离。若待核实数据被判断为异常姿态，使用余弦相似度将其与已知的异常姿态模式进行对比。若待核实数据的异常姿态与已知的异常姿态模式的相似度大于预设的相似度阈值，将其记录为新的异常姿态模式，并将其添加到已知的异常姿态模式数据库中。例如，用户A的身体姿态数据为＝[0.2,0.3,0.25,0.15]。使用孤立森林算法分析后，得到孤立度si为0.5。设定的阈值为0.1，由于si大于0.1，用户A的姿态被标记为异常。现有的异常姿态模式数据库中有一个异常姿态模式：
A1＝[0.4,0.2,0.3,0.1]。使用余弦相似度来比较用户A的姿态数据和异常姿态模式，余弦相似度Sim(A,A1)＝0.94，将相似度阈值设置为0.9，用户A的异常姿态被记录为新的异常姿态模式，添加到异常姿态模式数据库中。
通过对姿态数据的时序分析，检测身体姿态的稳定性，判断是否存在身体晃动或不稳定，判断用户是否处于异常状态。
在用户授权同意下，在KTV房间内通过摄像头连续获取客户的身体姿态数据，包括头部、躯干、手臂和腿部的姿态。以连续的时间序列数据的形式处理客户的身体姿态数据，每个时间点的数据包括各个关节的角度、位置和速度。对姿态数据进行时序分析，检测身体姿态的稳定性。计算头部、手臂部和腿部角度的变化率，检测身体躯干倾斜或摇晃。若头部、手臂部和腿部变化率超过预设变化率，或者身体躯干存在平衡问题，判断客户是否处于异常状态。例如，在用户授权同意下，在KTV房间内通过摄像头连续获取客户的身体姿态数据。每秒钟采集一次数据，并对头部、手臂部和腿部的角度进行跟踪和分析。在某一时间点，得到了以下数据，头部角度10°、手臂部角度20°、腿部角度15°。前一时间点的数据为，头部角度8°、手臂部角度18°、腿部角度14°。根据以上数据，计算各个关节的角度变化率，头部角度变化率＝(10°-8°)/1秒＝2°/秒、手臂部角度变化率＝(20°-18°)/1秒＝2°/秒、腿部角度变化率＝(15°-14°)/1秒＝1°/秒。预设头部、手臂部和腿部角度的最大变化率为3°/秒，判断客户是否醉酒。头部、腿部和手臂部的角度变化率都在预设范围内，因此可以判断客户没有醉酒。此外，还可以通过分析身体躯干的平衡情况来判断客户是否醉酒。通过摄像头获取到了客户躯干的倾斜角度为5°。预设身体躯干的最大倾斜角度为3°，则判断客户存在平衡问题，客户处于异常状态。
步骤S105，综合面部特征和姿态分析的结果，判断用户是否处于醉酒状态。
在用户授权同意下，使用摄像头获取用户的面部图像和姿态数据，对面部图像进行人脸检测和面部特征提取，获取眼睛、嘴巴、脸部表情特征。对获取的姿态数据进行预处理，包括数据清洗、去噪和归一化。使用卷积神经网络分析面部特征，包括检测眼睛的开合程度、嘴巴的表情、脸部颜色的变化。建立一个面部特征向量，其中包括多个特征的值。利用卷积神经网络分析用户的姿态，检测用户的身体姿态，包括站立、坐着、走动。建立一个姿态特征向量，包括不同姿态的标识。将面部特征向量和姿态特征向量合并成一个综合特征向量。使用已知的醉酒和非醉酒状态的数据集来训练支持向量机，支持向量机学习如何将综合特征向量与用户是否醉酒状态相关联。在实时监控中，获取用户的面部特征和姿态数据，生成综合特征向量。使用训练好的支持向量机来判断用户是否处于醉酒状态，输入综合特征向量，支持向量机输出类别标签，表示用户是否醉酒。例如，在用户授权同意下，使用摄像头获取用户面部图像和姿态数据，并对面部图像进行人脸检测和特征提取。得到一个面部特征向量，其中包括眼睛的开合程度、嘴巴的表情以及脸部颜色的变化。用户的眼睛开合程度用0到1的值表示，其中0表示眼睛完全闭合，1表示眼睛完全张开，得到眼睛开合程度特征值为0.8。用户的嘴巴表情可以用一个0到1的值表示，其中0表示嘴巴闭合，1表示嘴巴张开，得到嘴巴表情特征值为0.5。脸部颜色的变化可以用一个从-1到1的值表示，其中-1表示脸部颜色变暗，1表示脸部颜色变亮，得到了一个脸部颜色变化特征值为-0.3。此外，还对获取的姿态数据进行预处理，包括数据清洗、去噪和归一化。得到了一个姿态特征向量，其中包括用户的姿态标识，站立、坐着、走动。得到了一个姿态标识特征值为2，表示用户正在走动。将面部特征向量和姿态特征向量合并成一个综合特征向量，假设得到了一个综合特征向量为[0.8,0.5,-0.3,2]。使用已知的醉酒和非醉酒状态的数据集来训练支持向量机，学习如何将综合特征向量与用户是否醉酒状态相关联。支持向量机学习到了一个决策边界，将综合特征向量分类为醉酒和非醉酒状态。在实时监控中，获取综合特征向量[0.8,0.5,-0.3,2]，将其输入到训练好的支持向量机中，支持向量机输出类别标签为非醉酒，表示用户不处于醉酒状态。
步骤S106，若用户处于醉酒状态，暂时锁定高价KTV项目的支付功能，并为用户标记一个异常交易安全标签。
得到用户同意后，获取用户在KTV场所的行为数据，包括消费记录、预订信息、使用时长，整理和清洗数据。使用长短期记忆网络，对用户行为数据进行训练和学习，建立监测模型，识别异常的用户行为模式。基于训练好的长短期记忆网络，识别出频繁购买或预定KTV项目的异常行为，提高对用户的风险监控级别。综合面部特征和姿态分析的结果，判断被提升风险级别的用户是否处于醉酒状态。若预测结果显示用户处于醉酒状态，自动触发风险防控措施，包括直接暂时锁定与KTV相关的高价支付功能，并为用户标记一个异常交易安全标签。对标记异常交易安全标签的用户进行持续的醉酒状态监测。例如，在用户同意分享他们的行为数据，包括消费记录、预订信息、使用时长后，获取到用户A的以下信息，消费记录总额500元、预订次数2次、使用时长5小时、单次平均消费250元。使用长短期记忆网络对用户行为数据进行训练，建立监测模型，学到正常用户的行为模式。使用基于长短期记忆网络模型识别到用户A消费行为异常，用户A此次消费500元，超过平均消费金额的2倍，用户A的风险监控级别提高为高。检测用户A的面部表情和姿态，分析结果显示用户A的眼睛睁开程度降低，面部表情不稳定，身体姿态不协调。综合长短期记忆网络模型和面部分析结果，判断用户A可能处于醉酒状态。自动锁定用户A与KTV相关的高价值支付功能，禁止消费超过100元的项目，禁止继续购买酒水，避免用户A进一步过度消费。用户A被标记为高风险用户，并附带异常交易安全标签，用户A持续接受醉酒状态监测，确保他的安全和健康。
获取用户在KTV内的消费频率和消费金额，若用户购买金额或频率异常，检测用户是否醉酒。
通过KTV内部的支付系统获取用户在KTV内的消费数据，包括消费频率、消费金额和消费项目。分析用户的消费行为，包括每次的消费金额、购买项目类型和购买频率，建立每位用户的消费模式，即消费阈值和频率阈值。若发现消费金额高于预设消费阈值或消费频率高于预设频率阈值，推测用户醉酒。设定醉酒预警标准，包括消费金额超出阈值或购买次数超出阈值，且检测到异常消费与身体姿态异常时，触发醉酒预警。例如，KTV的支付系统记录了用户A在过去30天内的消费数据，包括消费频率、消费金额和消费项目。根据这些数据，对用户A的消费行为进行分析。用户A在过去30天内共消费了10次，平均每周消费2次。消费金额分别为50元、80元、100元、60元、70元、90元、120元、110元、80元和130元。根据这些数据，计算用户A的每次消费金额的平均值，建立用户A的消费阈值。用户A的消费阈值为每次消费金额的平均值的两倍。用户A的每次消费金额的平均值为90元，则用户A的消费阈值为180元。检测到用户A的消费金额高于180元时，推测用户A的消费行为异常，用户A的消费金额偏离了正常的消费模式，可能是因为醉酒导致的。分析用户A的购买项目类型和购买频率，用户A在过去30天内购买的项目类型包括酒水、小吃和歌曲点播，购买频率分别为15次、10次和30次，计算用户A在每个项目类型上的平均消费次数，建立用户A的购买模式。用户A的消费次数阈值为平均购买次数的两倍。用户A购买酒水的平均次数为1.5次，则用户A的购买酒水消费次数阈值3次。当检测到用户A购买酒水次数超过3次，推测用户A的购买行为异常，检测用户A身体姿态，显示用户A的眼睛睁开程度降低，面部红肿程度高，躯干不平衡，触发醉酒预警。
步骤S107，对于带有异常交易安全标签的用户购买常规项目时，采用双重验证，包括面部识别和输入密码，确保支付安全。
用户首次进入KTV场所时，进行身份注册，用户提供个人信息，包括姓名、手机号码、身份证号，同时设置支付密码。当用户在购买点歌和饮料项目时，检测用户是否带有异常交易安全标签的用户。若用户带有异常交易安全标签，用户在购买常规项目包括果盘、饮料或小吃时，进行面部扫描，验证其身份。面部扫描验证通过后，输入支付密码。在面部识别和支付密码验证均通过后，带有异常交易安全标签的用户完成点歌或购买饮料项目的交易。例如，用户购买饮料项目时，根据综合面部特征和姿态分析的结果，判断用户是否处于醉酒状态，若评估认为用户处于醉酒状态，则用户带有一个异常交易安全标签。用户A在系统中注册时提供了以下信息，姓名张三、手机号码13912345678、身份证号123456789012345678、支付密码123456。用户A的眼睛睁开程度降低，面部表情不稳定，身体姿态不协调，系统判断为醉酒状态，标记异常交易安全标签。当用户A购买饮料时，要求用户进行面部扫描和支付密码验证。用户A进行面部扫描后，通过面部识别验证用户的身份。面部扫描验证通过后，用户A输入支付密码123456进行支付密码验证。如果面部识别和支付密码验证均通过，用户A可以顺利完成购买饮料项目的交易。
用户在KTV购买项目时，使用面部识别验证确定用户是否具有异常交易安全标签，并使用不同措施确保安全。
获取用户授权同意后，首次进入KTV的客户进行面部识别注册，整理KTV用户的面部图像或面部特征信息，并存储在数据库中，与用户的个人信息和交易历史记录相关联。用户在KTV的购买项目时，经用户授权同意后，使用摄像头捕获用户的面部图像或特征信息，将捕获的面部图像或特征信息与数据库中存储的信息进行比对，进行面部识别验证。若用户的面部图像或特征信息匹配成功，检查用户是否具有异常交易安全标签。若用户未具有异常交易安全标签，正常处理购买请求，并提供相应的服务。若用户具有异常交易安全标签，判断购买项目是高价项目还是常规项目，若购买常规项目，进行双重验证，要求用户输入密码。若购买高价值项目，将暂停支付，并记录此次交易尝试。例如，一个名叫小李的客户首次来到KTV，经过他的授权同意，启动面部识别功能，经过面部图像采集和分析，确认小李的身份并注册他的面部特征信息，与他个人的信息和交易历史记录相关联。当小李站在点歌台前，经过小李授权同意后，捕获他的面部图像或特征信息，并进行与数据库中的信息比对，面部识别验证成功，检查他的交易安全标签。如果没有异常交易安全标签，小李只需确认购买项目和金额，系统就会立即完成支付并开始提供服务，他可以购买他喜欢的饮料，系统会自动下单并安排服务员配送。如果小李具有异常交易安全标签，此时因醉酒带有异常交易记录标签，要求他进行双重验证，小李需要输入密码或，以确保他的购买行为是理智的。如果小李试图购买昂贵的酒水或包房服务，系统将暂停支付，记录此次交易尝试并通知KTV工作人员。
步骤S108，持续监测用户姿态和面部特征，评估用户的状态，若判断用户已恢复正常状态，解锁高价支付功能，为用户提供服务。
获取用户授权同意后，使用摄像头获取用户的姿态和面部特征数据，处理用户的姿态和面部特征数据。将用户的姿态和面部特征数据与预设的正常状态的指标或模型进行对比，若相似度高于预设相似度，判断用户的状态已恢复正常。当用户状态被判断为正常时，获取高价支付功能是否处于锁定状态，如果检测到高价支付功能处于锁定状态，执行解锁操作。获取用户在锁定期间的高价服务请求记录，将解锁期间的用户高价服务请求发送给客户进行确认，若客户确认，则继续提供高价服务。例如，获取用户授权同意后，摄像头在KTV房间内捕获客户的面部特征和姿态数据，包括脸部表情、眼睛开合程度、头部倾斜角度等。实时分析客户的面部数据，同时检测客户的身体姿态。将客户的面部特征和姿态数据与正常状态进行比对，客户保持直立坐姿、双眼睁开、脸部表情自然，相似度高于预设相似度阈值90％，认为客户的状态已经恢复正常。系统查询客户的高价支付状态，如果客户的高价支付功能处于锁定状态，系统自动解锁。系统记录在锁定期间客户的高价服务请求，客户下单了一瓶进口酒。客户在房间内的触摸屏上查看解锁期间的高价服务请求列表，如果客户愿意继续享受高价服务，确认请求，一旦客户确认请求，安排服务员送进口酒。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于AI人脸识别技术的KTV刷脸支付方法，其特征在于，所述方法包括：
通过KTV环境中的摄像头捕捉用户的行为和脸部特征；使用ResNet模型对捕获的脸部特征进行解析，特别针对眼睛、脸部红肿区域；使用基于ResNet模型的表情识别，评估酒精是否影响了用户的面部肌肉活动；通过姿态分析，检测用户的姿态是否与常规姿态存在差异；综合面部特征和姿态分析的结果，判断用户是否处于醉酒状态；若用户处于醉酒状态，暂时锁定高价KTV项目的支付功能，并为用户标记一个异常交易安全标签；对于带有异常交易安全标签的用户购买常规项目时，采用双重验证，包括面部识别和输入密码，确保支付安全；持续监测用户姿态和面部特征，评估用户的状态，若判断用户已恢复正常状态，解锁高价支付功能，为用户提供服务；
所述通过KTV环境中的摄像头捕捉用户的行为和脸部特征，包括：
获取用户授权同意后，采用KTV的摄像头捕捉用户的姿态和脸部图像；通过SIFT算法对捕获的用户姿态和脸部图像数据进行特征提取；得到的姿态数据与脸部特征数据进行整合处理；将整合后的数据通过AES加密方法进行安全存储，并确保删除原始图像数据，保护用户隐私；
所述使用基于ResNet模型的表情识别，评估酒精是否影响了用户的面部肌肉活动，包括：
在得到用户授权同意后，获取用户面部表情数据，包括酒精影响前后的样本数据，并对数据进行预处理整理为数据集；通过在ResNet模型顶层添加分类器，判断用户是否受到酒精影响；使用预处理后的数据集对ResNet模型进行训练，包括分类训练以区分酒精影响状态；通过模型训练得到的数据进行关键特征提取，对ResNet模型的输出进行分析，确定酒精影响的关键表情特征；根据提取的特征对ResNet模型进行优化，以提高识别酒精影响的准确性；重新运行优化后的模型，对用户的表情数据进行再次识别，并根据实际识别结果对模型进行最终的调整优化；
所述通过姿态分析，检测用户的姿态是否与常规姿态存在差异，包括：
获取用户授权后，获取姿态数据以建立实时姿态数据集；对所述数据集中的数据进行预处理，包括数据清洗、去噪和归一化；通过卷积神经网络，对所述预处理后的数据进行特征提取，并将所得特征进行分类，得到常规或异常姿态模式；通过将所述特征与历史常规姿态特征对比，若所述特征的相似度小于预设阈值，则确定该数据为待核实数据；利用孤立森林算法分析所述待核实数据，若判断为异常，则将数据记录在异常姿态模式数据库中；还包括：通过不断更新异常姿态模式数据库，完善异常姿态的识别模型；通过对姿态数据的时序分析，检测身体姿态的稳定性，判断是否存在身体晃动或不稳定，判断用户是否处于异常状态；
所述通过不断更新异常姿态模式数据库，完善异常姿态的识别模型，具体包括：
获取异常姿态模式数据库，存储已知的异常姿态模式；针对待核实数据，使用孤立森林算法进行分析，判断其是否为异常姿态；使用孤立森林获取异常值，计算每个数据点的孤立度si，si表示该数据点与其他数据点的平均距离；其中n是数据点的总数，dist(Di，Dj)表示数据点Di与Dj之间的距离；若待核实数据被判断为异常姿态，使用余弦相似度将其与已知的异常姿态模式进行对比；若待核实数据的异常姿态与已知的异常姿态模式的相似度大于预设的相似度阈值，将其记录为新的异常姿态模式，并将其添加到已知的异常姿态模式数据库中；
所述通过对姿态数据的时序分析，检测身体姿态的稳定性，判断是否存在身体晃动或不稳定，判断用户是否处于异常状态，具体包括：在用户授权同意下，在KTV房间内通过摄像头连续获取客户的身体姿态数据，包括头部、躯干、手臂和腿部的姿态；以连续的时间序列数据的形式处理客户的身体姿态数据，每个时间点的数据包括各个关节的角度、位置和速度；对姿态数据进行时序分析，检测身体姿态的稳定性；计算头部、手臂部和腿部角度的变化率，检测身体躯干倾斜或摇晃；若头部、手臂部和腿部变化率超过预设变化率，或者身体躯干存在平衡问题，判断客户是否处于异常状态；
所述综合面部特征和姿态分析的结果，判断用户是否处于醉酒状态，包括：
经用户授权，获取面部图像及姿态数据；对所述面部图像进行处理，提取眼睛、嘴巴和面部表情特征；对所述姿态数据进行预处理，包括数据清洗、去噪和归一化；通过卷积神经网络分析所述面部特征和姿态特征，并建立面部特征向量和姿态特征向量；将两个特征向量合并成综合特征向量；使用支持向量机模型，根据所述综合特征向量确定用户是否处于醉酒状态；在实时监控过程中，获取用户的当前面部特征和姿态数据，生成实时综合特征向量，并利用训练好的支持向量机模型判断用户状态，从而确定用户是否醉酒；
所述若用户处于醉酒状态，暂时锁定高价KTV项目的支付功能，并为用户标记一个异常交易安全标签，包括：
在用户同意的情况下，获取用户在KTV的行为数据，包括消费记录、预订信息及使用时长；对所述数据进行整理和清洗；采用长短期记忆网络对清洗后的用户行为数据建立监测模型，并训练模型以识别异常行为模式；结合面部特征与姿态分析结果，确定被提升风险级别的用户是否醉酒；若所述模型预测用户醉酒，则触发风险防控措施，包括锁定KTV项目的支付功能，并为用户账户增加异常交易安全标签；继续对标记的用户进行醉酒状态监测；还包括：获取用户在KTV内的消费频率和消费金额，若用户购买金额或频率异常，检测用户是否醉酒；
所述获取用户在KTV内的消费频率和消费金额，若用户购买金额或频率异常，检测用户是否醉酒，具体包括：通过KTV内部的支付系统获取用户在KTV内的消费数据，包括消费频率、消费金额和消费项目；分析用户的消费行为，包括每次的消费金额、购买项目类型和购买频率，建立每位用户的消费模式，即消费阈值和频率阈值；若发现消费金额高于预设消费阈值或消费频率高于预设频率阈值，推测用户醉酒；设定醉酒预警标准，包括消费金额超出阈值或购买次数超出阈值，且检测到异常消费与身体姿态异常时，触发醉酒预警；
所述对于带有异常交易安全标签的用户购买常规项目时，采用双重验证，包括面部识别和输入密码，确保支付安全，包括：
获取用户首次进入KTV场所时的身份注册信息，包括姓名、手机号码和身份证号，并通过用户设置的支付密码来获取用户身份；通过身份信息，判断用户在购买点歌、饮料或小吃项目时是否带有所述异常交易安全标签；若用户带有异常交易安全标签，则采用面部识别技术来获取用户的面部特征，并确定是否与所述注册信息中的面部特征匹配；若匹配，则要求用户输入所述支付密码来完成交易；还包括：用户在KTV购买项目时，使用面部识别验证确定用户是否具有异常交易安全标签，并使用不同措施确保安全；
所述用户在KTV购买项目时，使用面部识别验证确定用户是否具有异常交易安全标签，并使用不同措施确保安全，具体包括：获取用户授权同意后，首次进入KTV的客户进行面部识别注册，整理KTV用户的面部图像或面部特征信息，并存储在数据库中，与用户的个人信息和交易历史记录相关联；用户在KTV的购买项目时，经用户授权同意后，使用摄像头捕获用户的面部图像或特征信息，将捕获的面部图像或特征信息与数据库中存储的信息进行比对，进行面部识别验证；若用户的面部图像或特征信息匹配成功，检查用户是否具有异常交易安全标签；若用户未具有异常交易安全标签，正常处理购买请求，并提供相应的服务；若用户具有异常交易安全标签，判断购买项目是高价项目还是常规项目，若购买常规项目，进行双重验证，要求用户输入密码；若购买高价值项目，将暂停支付，并记录此次交易尝试；
所述持续监测用户姿态和面部特征，评估用户的状态，若判断用户已恢复正常状态，解锁高价支付功能，为用户提供服务，包括：
获取用户授权后，采用摄像头采集用户的姿态和面部特征数据；通过处理所述数据，与预设的正常状态指标或模型进行对比，得到一个相似度指标；若所得相似度指标高于预设值，则判断用户的状态已恢复正常；在所述用户状态恢复正常的情况下，若高价支付功能处于锁定状态，则进行解锁；确定解锁后，获取用户在锁定期间的高价服务请求记录，并通过客户的确认来决定是否继续提供所述高价服务；确保在用户状态正常的前提下，提供安全有效的高价值服务。
2.根据权利要求1所述的方法，其中，所述使用ResNet模型对捕获的脸部特征进行解析，特别针对眼睛、脸部红肿区域，包括：
获取用户脸部图像数据，对图像数据进行预处理以调整图像清晰度、亮度和对比度；在数据库系统中针对处理后的图像数据建立索引和组织结构，确保提高数据检索和匹配的效率；通过分割数据为训练集和测试集，确保数据的随机性和均匀性；采用训练集数据对ResNet模型进行参数训练，确保模型优化；得到经过模型训练的特征提取结果，并与数据库中已有的参照特征进行匹配，用于脸部状态异常检测；将匹配检测结果用于模型的进一步优化，并基于此生成脸部状态报告。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311471234.XA CN117495384B (zh) | 2023-11-07 | 2023-11-07 | 一种基于ai人脸识别技术的ktv刷脸支付方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311471234.XA CN117495384B (zh) | 2023-11-07 | 2023-11-07 | 一种基于ai人脸识别技术的ktv刷脸支付方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117495384A CN117495384A (zh) | 2024-02-02 |
| CN117495384B true CN117495384B (zh) | 2024-04-26 |
Family
ID=89679630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311471234.XA Active CN117495384B (zh) | 2023-11-07 | 2023-11-07 | 一种基于ai人脸识别技术的ktv刷脸支付方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117495384B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118537664B (zh) * | 2024-07-26 | 2024-10-11 | 山东商都恒昌清真肉类有限公司 | 基于图像分析结合机器学习的肉牛胴体质量评级方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103824068A (zh) * | 2014-03-19 | 2014-05-28 | 上海看看智能科技有限公司 | 人脸支付认证系统及方法 |
| CN105393252A (zh) * | 2013-04-18 | 2016-03-09 | 数字标记公司 | 生理数据采集和分析 |
| CN110751051A (zh) * | 2019-09-23 | 2020-02-04 | 江苏大学 | 一种基于机器视觉的异常驾驶行为检测方法 |
| CN111222410A (zh) * | 2019-11-28 | 2020-06-02 | 江苏励维逊电气科技有限公司 | 一种基于人脸识别的店商消费行为分析引导营销系统 |
| WO2021031522A1 (zh) * | 2019-08-16 | 2021-02-25 | 创新先进技术有限公司 | 一种支付方法及装置 |
| CN112528259A (zh) * | 2020-12-23 | 2021-03-19 | 平安普惠企业管理有限公司 | 身份验证方法、装置、计算机设备和存储介质 |
| CN112633580A (zh) * | 2020-12-28 | 2021-04-09 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的酒驾车辆预警方法、装置、设备和介质 |
| CN114218543A (zh) * | 2021-11-29 | 2022-03-22 | 华南理工大学 | 一种基于多场景表情识别的加密解锁系统及方法 |
| CN115393830A (zh) * | 2022-08-26 | 2022-11-25 | 南通大学 | 一种基于深度学习与面部特征的疲劳驾驶检测方法 |
| CN115828175A (zh) * | 2022-12-14 | 2023-03-21 | 电子科技大学长三角研究院(衢州) | 一种用于更新深度回归林叶节点的重采样方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4000031A1 (en) * | 2019-08-05 | 2022-05-25 | Genesispro PTE. Ltd. | A transaction processing system and a transaction method based on facial recognition |
-
2023
- 2023-11-07 CN CN202311471234.XA patent/CN117495384B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105393252A (zh) * | 2013-04-18 | 2016-03-09 | 数字标记公司 | 生理数据采集和分析 |
| CN103824068A (zh) * | 2014-03-19 | 2014-05-28 | 上海看看智能科技有限公司 | 人脸支付认证系统及方法 |
| WO2021031522A1 (zh) * | 2019-08-16 | 2021-02-25 | 创新先进技术有限公司 | 一种支付方法及装置 |
| CN110751051A (zh) * | 2019-09-23 | 2020-02-04 | 江苏大学 | 一种基于机器视觉的异常驾驶行为检测方法 |
| CN111222410A (zh) * | 2019-11-28 | 2020-06-02 | 江苏励维逊电气科技有限公司 | 一种基于人脸识别的店商消费行为分析引导营销系统 |
| CN112528259A (zh) * | 2020-12-23 | 2021-03-19 | 平安普惠企业管理有限公司 | 身份验证方法、装置、计算机设备和存储介质 |
| CN112633580A (zh) * | 2020-12-28 | 2021-04-09 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的酒驾车辆预警方法、装置、设备和介质 |
| CN114218543A (zh) * | 2021-11-29 | 2022-03-22 | 华南理工大学 | 一种基于多场景表情识别的加密解锁系统及方法 |
| CN115393830A (zh) * | 2022-08-26 | 2022-11-25 | 南通大学 | 一种基于深度学习与面部特征的疲劳驾驶检测方法 |
| CN115828175A (zh) * | 2022-12-14 | 2023-03-21 | 电子科技大学长三角研究院(衢州) | 一种用于更新深度回归林叶节点的重采样方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于人工智能的人脸识别技术在支付场景下的应用及隐患思考;沈宸宇;殷美;;科技创新导报;20180111(第02期);全文 * |
| 基于警务实战应用的蜻蜓眼人像大平台创新和应用;吴岷;罗忆;;警察技术;20170707(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117495384A (zh) | 2024-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11216642B2 (en) | Simultaneous multi-factor authentication systems and methods for payment transactions | |
| US20190251571A1 (en) | Transaction verification system | |
| US20140347479A1 (en) | Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response | |
| US20220122051A1 (en) | Method and system for securing transactions in a point of sale | |
| Bolle et al. | Guide to biometrics | |
| CN117495384B (zh) | 一种基于ai人脸识别技术的ktv刷脸支付方法 | |
| US20140363058A1 (en) | Systems And Methods For Uniquely Identifying An Individual | |
| CN107958435A (zh) | 安检系统及配置安检设备的方法 | |
| US20040052418A1 (en) | Method and apparatus for probabilistic image analysis | |
| US20070260883A1 (en) | Personal digital key differentiation for secure transactions | |
| US11496471B2 (en) | Mobile enrollment using a known biometric | |
| US11531743B2 (en) | Systems and methods for enhancing biometric matching accuracy | |
| US20080025572A1 (en) | Augmented Biometric Authorization System And Method | |
| WO2015025249A2 (en) | Methods, systems, apparatuses, circuits and associated computer executable code for video based subject characterization, categorization, identification, tracking, monitoring and/or presence response | |
| CN108564420A (zh) | 一种智能零售系统网络 | |
| CN110533427A (zh) | 一种基于物联网和可信身份认证的无人烟草售卖方法 | |
| US20090321515A1 (en) | Vending Machine for Alcohol with Means to Verify | |
| CN110008976A (zh) | 一种网络行为分类方法和装置 | |
| US20220277311A1 (en) | A transaction processing system and a transaction method based on facial recognition | |
| US20240331390A1 (en) | Frictionless Authentication and Monitoring | |
| US7219236B2 (en) | Administering a security system | |
| JP3590285B2 (ja) | 生体情報認識装置およびその方法 | |
| CN114005550A (zh) | 基于远程问诊的行为监控方法、装置及设备 | |
| CN112150733B (zh) | 银行卡误操作处理方法、装置及设备 | |
| Lott | Biometrics: modernising customer authentication for financial services and payments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |