CN110188073A - 活体检测日志解析的方法、装置、存储介质及计算机设备 - Google Patents
活体检测日志解析的方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN110188073A CN110188073A CN201910319427.0A CN201910319427A CN110188073A CN 110188073 A CN110188073 A CN 110188073A CN 201910319427 A CN201910319427 A CN 201910319427A CN 110188073 A CN110188073 A CN 110188073A
- Authority
- CN
- China
- Prior art keywords
- data
- sample
- test log
- daily record
- log
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
- G06F16/1815—Journaling file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/40—Spoof detection, e.g. liveness detection
- G06V40/45—Detection of the body part being alive
Abstract
本发明提供了一种活体检测日志解析的方法、装置、存储介质及计算机设备,其中,该方法包括:获取活体检测的测试日志,并确定测试日志的日志格式;根据测试日志的日志格式确定相应的解析方式,并通过解析方式对测试日志进行解析处理,确定测试日志中每条日志数据的解析结果;确定日志数据的每个子数据分别所对应的数据字段,并根据数据字段与数据库的表字段之间的对应关系,将子数据存储至数据库的相应位置处;对数据库中存储的数据进行统计,生成测试日志的测试结果。该方法可以针对多样本、多模型采集,通过配置数据与字段之间的映射关系实现快速解析日志,快速统计并确定测试结果,极大提升了效率,节省了时间。
Description
技术领域
本发明涉及日志解析技术领域,特别涉及一种活体检测日志解析的方法、装置、存储介质及计算机设备。
背景技术
活体检测是在一些身份验证场景确定对象真实生理特征的方法,比如在人脸识别应用中,活体检测能通过眨眼、张嘴、摇头、点头等组合动作,使用人脸关键点定位和人脸追踪等技术,验证用户是否为真实活体本人操作。
目前,活体检测技术在测试过程中需覆盖多个模型(比如xfaceM1模型、Ace模型、xface线上模型等),且需与业内同行做竞品分析,导致测试活体检测时,活体检测的样本数量一般从几万到几十万不等,样本数量比较大,无法像常规版本测试一样通过纯手工方式进行结果统计,测试效率较低。
发明内容
为解决上述技术问题,本发明提供一种活体检测日志解析的方法、装置、存储介质及计算机设备。
根据本发明的第一个方面,提供一种活体检测日志解析的方法,包括:
获取活体检测的测试日志,并确定所述测试日志的日志格式;
根据所述测试日志的日志格式确定相应的解析方式,并通过所述解析方式对所述测试日志进行解析处理,确定所述测试日志中每条日志数据的解析结果,所述解析结果包含所述日志数据中的一个或多个子数据;
确定所述日志数据的每个子数据分别所对应的数据字段,并根据所述数据字段与数据库的表字段之间的对应关系,将所述子数据存储至所述数据库的相应位置处;
对所述数据库中存储的数据进行统计,生成所述测试日志的测试结果。
根据本发明的第二个方面,提供一种活体检测日志解析的装置,包括:
获取模块,用于获取活体检测的测试日志,并确定所述测试日志的日志格式;
解析模块,用于根据所述测试日志的日志格式确定相应的解析方式,并通过所述解析方式对所述测试日志进行解析处理,确定所述测试日志中每条日志数据的解析结果,所述解析结果包含所述日志数据中的一个或多个子数据;
处理模块,用于确定所述日志数据的每个子数据分别所对应的数据字段,并根据所述数据字段与数据库的表字段之间的对应关系,将所述子数据存储至所述数据库的相应位置处;
统计模块,用于对所述数据库中存储的数据进行统计,生成所述测试日志的测试结果。
根据本申请的第三个方面,提供一种计算机可读存储介质,其上存储有计算机可读指令,该计算机可读指令被处理器执行时实现活体检测日志解析的步骤。
根据本申请的第四个方面,提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现活体检测日志解析的步骤。
本发明实施例提供的一种活体检测日志解析的方法,针对不同模型不同格式的测试日志,采用相应的解析方式确定每条日志数据中子数据的字段,并将日志数据存储到统一的数据库中,进而可以确定不同模型测试日志的测试结果。该方式可以针对多样本、多模型采集,通过配置数据与字段之间的映射关系实现快速解析日志,快速统计并确定测试结果,极大提升了效率,节省了时间。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的一种活体检测日志解析方法的流程示意图;
图2为本发明实施例提供的活体检测日志解析方法中,确定日志数据的每个子数据分别所对应的数据字段的方法流程示意图;
图3为本发明实施例提供的活体检测日志解析方法中,确定测试日志的测试结果的方法流程示意图;
图4为本发明实施例提供的一种活体检测日志解析装置的结构示意图;
图5为本发明实施例提供的用于执行活体检测日志解析方法的计算机设备的结构示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明实施例提供的一种活体检测日志解析的方法,参见图1所示,包括:
步骤101:获取活体检测的测试日志,并确定测试日志的日志格式。
活体检测是在一些身份验证场景确定对象真实生理特征的方法,在进行活体检测时会生成相应的测试日志,该测试日志中包含活体检测的测试结果,比如判断结果中存在人脸。本发明实施例中,测试日志可能是不同的格式;测试日志的日志格式包括txt文件格式、pos文件格式、log文件格式等,或者测试日志中的数据为json(JavaScript ObjectNotation,JS对象简谱)格式。具体的,活体检测技术在测试过程中需覆盖多个模型(比如xfaceM1模型、Ace模型、xface线上模型等),不同的模型可能会返回不同格式的测试日志,不同日志格式的测试日志以不同的方式记录,比如有的模型返回的是json格式的测试日志,有的是返回以其他分隔符(如逗号、空格等)组合的测试日志。此外,还可抓取非规范的测试日志中的数据,并格式化成指定样式输出,比如txt文件格式、pos文件格式等。
步骤102:根据测试日志的日志格式确定相应的解析方式,并通过解析方式对测试日志进行解析处理,确定测试日志中每条日志数据的解析结果,解析结果包含日志数据中的一个或多个子数据。
本发明实施例中,不同的测试日志可能采用不同的日志格式,故可能需要不同的解析方式,具体选用哪种解析方式可根据实际情况而定。每个测试日志中包含一条或多条日志数据,每条日志数据中包含该项测试的具体信息,该日志数据具体可以分为一个或多个子数据。例如,不同日志格式的测试日志中的日志数据可能采用不同的分隔符,此时需要采用不同的解析方式来识别分隔符,进而可以正确地对日志数据进行解析。
一般情况下,非json格式的测试日志中的日志数据包含分隔符(如逗号、空格等),一条以逗号为分隔符的非json格式的日志数据具体如下:
“M1,M1_Living_Detect_Score:,-0.398854,VID20180628164054_525.jpg,/home/_live/A4Paper_2121/VID20180628164054_525.jpg”。
一条以逗号为分隔符的json格式的日志数据具体可以如下:
{"errorcode":"5","errormsg":"人脸比对失败,图片内容为空,请重新上传!","file":"bfd65b633536f0e-A.jpeg,bfd65b633536f0e-B.TIF","ref_thres":"42.000000","similarity":"0"}。
步骤103:确定日志数据的每个子数据分别所对应的数据字段,并根据数据字段与数据库的表字段之间的对应关系,将子数据存储至数据库的相应位置处。
本发明实施例中,日志数据的每个子数据对应一个字段,即数据字段;该数据字段与数据库中的表字段是一一对应的关系。比如日志数据中包含socre字段,数据库表字段中也会设有socre字段,二者是一一对应的。例如,上述非json格式的日志数据中:“-0.398854”对应数据库表字段的score字段,“/home/_live/A4Paper_2121/VID20180628164054_525.jpg”对应数据库表字段的path字段等。通过确定子数据与数据库表字段之间的对应关系,可以实现日志数据的字段入库,即将子数据存储到数据库中的相应位置。
步骤104:对数据库中存储的数据进行统计,确定测试日志的测试结果。
本发明实施例中,通过上述过程可以将不同模型的测试日志中的日志数据以格式化的形式存储到统一的数据库中,方便统计测试日志中的日志数据,进而可以快速统计得到相应的测试结果。
本发明实施例提供的一种活体检测日志解析的方法,针对不同模型不同格式的测试日志,采用相应的解析方式确定每条日志数据中子数据的字段,并将日志数据存储到统一的数据库中,进而可以确定不同模型测试日志的测试结果。该方式可以针对多样本、多模型采集,通过配置数据与字段之间的映射关系实现快速解析日志,快速统计并确定测试结果,极大提升了效率,节省了时间。
本发明另一实施例提供一种活体检测日志解析的方法,该方法包括上述实施例中的步骤101-104,其实现原理以及技术效果参见图1对应的实施例。同时,由于日志数据包含多个子数据,不同的子数据对应不同的数据字段,有的数据字段具有特殊的格式,比如路径字段(即path字段),该子数据的数据字段可以比较容易被识别出;但是不同的子数据可能具有相同或相似的形式,比如日志数据在该测试日志中的序号是数字形式,而样本分值(即score字段)也是数字形式,传统识别方式(比如正则表达式)可能识别率较低。本发明实施例中,通过预先确定标准日志数据中字段的顺位来确定日志数据每个子数据的数据字段,具体的,参见图2所示,步骤103“确定日志数据的每个子数据分别所对应的数据字段”,包括:
步骤1031:确定标准日志数据,标准日志数据为根据测试日志的日志格式所确定的日志数据、或者从测试日志中选取的符合日志格式的日志数据。
本发明实施例中,预先确定每个日志格式所对应的标准日志数据。具体的,该标准日志数据只需要满足该日志格式即可,或者,该标准日志数据即为测试日志中的一项日志数据。例如,以上述非json格式的日志数据为例说明,该格式的日志数据为测试日志中的一个子数据,其包含五个子数据,分别是“M1”、“M1_Living_Detect_Score:”、“-0.398854”、“VID20180628164054_525.jpg”、“/home/_live/A4Paper_2121/VID20180628164054_525.jpg”,可以将该子数据直接作为非json格式的标准日志数据。
步骤1032:确定标准日志数据所包含的标准子数据,以及每个标准子数据在标准日志数据中的顺位,并为每个顺位的标准子数据设置相应的标准字段。
本发明实施例中,标准子数据指的是该标准日志数据中所包含的子数据,标准日志数据所包含多个标准子数据,不同的标准子数据在该标准日志数据中具有不同的位置,即不同的顺位;如上述的非json格式的日志数据,其中的子数据“M1”为第一顺位,子数据“-0.398854”为第三顺位,以此类推。同时,在确定标准子数据的同时,确定每个标准子数据的标准字段,即一个标准子数据具有唯一的顺位和唯一的标准字段,从而可以形成顺位与字段之间的对应关系。如上例,子数据“M1”为图像名称字段,子数据“-0.398854”为样本分值字段,故第一顺位对应图像名称字段,第三顺位对应样本分值字段;其他顺位与此类似,此处不做赘述。其中,在选取其中一个标准日志数据后,可以采用更多方式、更加准确地确定该标准日志数据中每个标准子数据对应的标准字段,且一个标准日志数据所增加的处理量极少,可以忽略不计。
步骤1033:确定日志数据的子数据在日志数据中的顺位,并将子数据的顺位对应的标准字段作为子数据的数据字段。
本实施例中,由于日志数据与该标准日志数据是相同日志格式的测试日志中的数据,故普通的日志数据与该标准日志数据在相同的顺位上的子数据应该具有相同字段,即具有相同的顺位与字段之间的对应关系。如上例所示,第三顺位的子数据对应标准字段“样本分值字段”,则该测试日志中,每条日志数据的第三顺位的子数据的字段均为样本分值字段。本发明实施例中,通过预先确定标准日志数据中字段的顺位来确定日志数据每个子数据的数据字段,从而可以在不过多增加工作量的情况下准确地确定子数据的数据字段,方便后续的统计处理过程。
此外,在确定标准字段的同时,也可以在数据库中创建与该标准字段对应的表字段,后续批量将子数据存储到数据库中时不需要再配置数据库的表字段。例如,先调用的一组日志数据(即标准日志数据)为{d1,d2,d3},三个子数据分别对应字段k1、k2、k3,则将三个字段k1、k2、k3作为数据库的三个表字段,后续再解析其他日志数据时,将解析出来的子数据分别对应三个字段k1、k2、k3进行存储即可,不需要解析日志数据中每个子数据所对应的字段。
在上述实施例的基础上,通过正样本通过率和/或负样本误识率生成测试结果。具体的,参见图3所示,上述步骤104“确定测试日志的测试结果”,包括:
步骤1041:确定测试日志中每个日志数据的样本属性,样本属性包括正样本和负样本。
本发明实施例中,日志数据的样本属性是可以预先确定,即可以预先确定该条日志数据是正样本还是负样本;也可以在步骤101中获取活体检测的测试日志时确定每个日志数据对应正样本还是负样本。可选的,在活体检测过程中,若日志数据对应的图像为一次成像的图像,如高清照(相机直接采集,微信H5场景)、标清照(sdk采集,app场景)等,则该日志数据为正样本;其中,一般高清照分辨率大于640*480,标清照分辨率≤640*480。若该日志数据对应的图像为翻拍成像的图像,如手机/pad翻拍、A4纸翻拍、铜版纸翻拍、折纸面具翻拍等,则该日志数据为负样本;其中,A4纸、铜版纸翻拍,就是用A4纸或铜版纸将照片打印出来后,再翻拍;折纸面具翻拍指的是用铜版纸打印后,将人脸眼睛嘴巴扣显出来后,再进行翻拍。
步骤1042:根据测试日志中的n个正样本和/或m个负样本确定测试日志的统计参数,统计参数包括正样本通过率和/或负样本误识率;正样本通过率为样本分值大于第一活体阈值的正样本数量与n的比值,负样本误识率为样本分值大于第二活体阈值的负样本数量与m的比值;样本分值对应日志数据中的一个数据字段。
本发明实施例中,测试日志中包含多个日志数据,即一般包含多个正样本和/或多个负样本,本实施例中根据n个正样本和/或m个负样本确定测试日志的统计参数,即确定正样本通过率和/或负样本误识率。同时,日志数据中有一个数据字段为样本分值字段,如上述非json格式的日志数据中的“-0.398854”等。样本分值(即score分)是图片进行活体检测的一个分数,是否能为负数跟采用的模型或算法有关,比如M1模型的score分可以为正数或负数。一般来讲,针对正样本,score分越高,代表通过率越高;针对负样本,score分越高,代表误识率越高。其中,样本通过率为样本分值大于第一活体阈值的正样本数量与n的比值,负样本误识率为样本分值大于第二活体阈值的负样本数量与m的比值。
其中,在步骤1042中,确定统计参数中的负样本误识率包括:
步骤A1:根据正样本的样本分值的大小对n个正样本进行倒序排列,确定倒序排列的正样本中第n0个正样本的样本分值,并将第n0个正样本的样本分值作为第二活体阈值;其中,n0=f(n×Rt0),Rt0为预设的标准正样本通过率,f()表示取整函数。
步骤A2:将样本分值大于第二活体阈值的负样本数量与负样本总数量m的比值作为负样本误识率。
本发明实施例中,预先设置标准正样本通过率Rt0,进而可以确定该标准正样本通过率在总的正样本n中所对应的位置,即n0。其中,函数f()表示取整函数,其具体可以是返回不大于目标值的最大整数的函数INT(),也可以是四舍五入函数、五舍六入函数等,本实施例对此不做限定。其中,n0表示在n个正样本中,存在n0个正样本是满足该标准正样本通过率Rt0。
同时,根据正样本的样本分值的大小对n个正样本进行倒序排列,即可确定倒序排列后第n0个正样本是哪一个样本,进而将该样本的样本分值作为第二活体阈值。例如,正样本共1000个,即n=1000,并按照样本分值倒序排列,即按照样本分值从小到大的顺序排列;若预设标准正样本通过率为90%,则n0=900,此时即可将倒序排列后第900个正样本的样本分值(比如是0.6)作为第二活体阈值。之后,即可确定与该标准正样本通过率对应的负样本误识率,即样本分值大于该第二活体阈值(比如0.6)的负样本数量与负样本总数量m的比值。
对于不同的测试日志,若采用相同的标准正样本通过率,则负样本误识率越高,活体检测算法越差;同时,负样本误识率越高,说明第二活体阈值越小,正样本通过率也越低,同样说明活体检测算法越差。因此,利用标准正样本通过率来确定负样本误识率,可以基于正样本通过率和负样本误识率双重标准更加全面地评价活体检测算法的性能。
可选的,可以设置多个标准正样本通过率,比如90%、95%、98%等,此时可以依次确定相应的第二活体阈值,比如0.6、0.8.、0.95等,进而确定相应的负样本误识率。一般情况下,标准正样本通过率越高,所确定的负样本误识率越低,
同理,确定统计参数中的正样本通过率包括:
步骤B1:根据负样本的样本分值的大小对m个负样本进行倒序排列,确定倒序排列的负样本中第m0个负样本的样本分值,并将第m0个负样本的样本分值作为第一活体阈值;其中,m0=m×Rf0,Rf0为预设的标准负样本误识率。
步骤B2:将样本分值大于第一活体阈值的正样本数量与正样本总数量n的比值作为正样本通过率。
同样的,本实施例中通过标准负样本误识率来确定正样本通过率,与上述步骤A1-A2类似,其也可以基于正样本通过率和负样本误识率双重标准更加全面地评价活体检测算法的性能。
步骤1043:根据统计参数生成测试日志的测试结果。
本发明实施例中,在确定统计参数后即可生成该测试日志的测试结果,即可以确定活体检测算法的优劣。一般情况下,正样本识别率越高、说明活体检测算法越好,负样本误识率越低、说明活体检测算法越好。
在上述实施例的基础上,本实施例通过设置有效数据列数来剔除无用或错误的日志数据,具体的,上述步骤102“对测试日志进行解析处理,确定测试日志中每条日志数据的解析结果”包括:
步骤C1:根据测试日志的日志格式确定测试日志的有效数据列数,有效数据列数为测试日志中的每个日志数据应当包含的子数据的数量。
步骤C2:对测试日志进行解析处理,确定解析处理后日志数据所包含的子数据数量,在日志数据所包含的子数据数量与有效数据列数不一致时,剔除日志数据;在日志数据所包含的子数据数量与有效数据列数一致时,确定日志数据的解析结果。
本发明实施例中,测试日志中的每条日志数据会包含多项子数据,一个子数据对应一个数据字段,由于不同数据字段的子数据在数据库中以“列”的形式存储,故本实施例中对测试日志设置有效数据列数,用于表示该测试日志中每条日志数据包含多少项子数据;若测试日志中的某条日志数据的列数(字段数)与有效数据列数不一致,说明该条数据可能存在问题或识别错误,此时可以重新识别或剔除该条错误的日志数据,避免该错误的日志数据对后续的解析结果造成不利影响,避免导致解析结果不准确。
在上述实施例的基础上,在将日志数据存储到数据库中时,可以全字段入库,即日志数据中每个字段对应的子数据均存储到数据库中。此外,日志数据中可能存在部分字段对测试结果没有影响,例如图片名称字段等,此时可以剔除在确定测试日志的测试结果时不需要的数据字段。具体的,本实施例中步骤103“将子数据存储至数据库的相应位置处”,包括:
将在确定测试日志的测试结果时不需要的数据字段标记为无效数据字段,其余的数据字段为有效数据字段;将有效数据字段对应的子数据存储至数据库的相应位置处。
本发明实施例中,“不需要的数据字段”指的是不需要的整个字段,比如“图片名称”这一字段。此外,该“不需要的数据字段”也可以指的是某个数据字段所对应的一部分。具体的,在某些情况下,一个数据字段会对应多种数据,即对应多种子数据;在确定测试结果时,该数据字段下某些子数据是有用的,而有些子数据是无用的,则该无用的子数据也可认为是需要提出的数据。例如,json格式的测试日志会有错误编码字段(error_code),统计时需要计算error_code为0,且有样本分值(score分)的日志数据;即error_code不为零的子数据为无用的数据。通过剔除无用的数据,使得后续可以基于较少的样本确定测试结果,可以减少处理量。
本发明实施例提供的一种活体检测日志解析的方法,针对不同模型不同格式的测试日志,采用相应的解析方式确定每条日志数据中子数据的字段,并将日志数据存储到统一的数据库中,进而可以确定不同模型测试日志的测试结果。该方式可以针对多样本、多模型采集,通过配置数据与字段之间的映射关系实现快速解析日志,快速统计并确定测试结果,极大提升了效率,节省了时间。利用标准正样本通过率来确定负样本误识率,可以基于正样本通过率和负样本误识率双重标准更加全面地评价活体检测算法的性能。
以上详细介绍了活体检测日志解析的方法流程,该方法也可以通过相应的装置实现,下面详细介绍该装置的结构和功能。
本发明实施例提供的一种活体检测日志解析的装置,参见图4所示,包括:
获取模块41,用于获取活体检测的测试日志,并确定所述测试日志的日志格式;
解析模块42,用于根据所述测试日志的日志格式确定相应的解析方式,并通过所述解析方式对所述测试日志进行解析处理,确定所述测试日志中每条日志数据的解析结果,所述解析结果包含所述日志数据中的一个或多个子数据;
处理模块43,用于确定所述日志数据的每个子数据分别所对应的数据字段,并根据所述数据字段与数据库的表字段之间的对应关系,将所述子数据存储至所述数据库的相应位置处;
统计模块44,用于对所述数据库中存储的数据进行统计,生成所述测试日志的测试结果。
在上述实施例的基础上,所述处理模块43确定所述日志数据的每个子数据分别所对应的数据字段,包括:
确定标准日志数据,所述标准日志数据为根据所述测试日志的日志格式所确定的日志数据、或者从所述测试日志中选取的符合所述日志格式的日志数据;
确定所述标准日志数据所包含的标准子数据,以及每个标准子数据在所述标准日志数据中的顺位,并为每个顺位的标准子数据设置相应的标准字段;
确定所述日志数据的子数据在所述日志数据中的顺位,并将所述子数据的顺位对应的标准字段作为所述子数据的数据字段。
在上述实施例的基础上,所述统计模块44包括:
样本确定单元,用于确定所述测试日志中每个日志数据的样本属性,所述样本属性包括正样本和负样本;
参数确定单元,用于根据所述测试日志中的n个正样本和/或m个负样本确定所述测试日志的统计参数,所述统计参数包括正样本通过率和/或负样本误识率;所述正样本通过率为样本分值大于第一活体阈值的正样本数量与n的比值,所述负样本误识率为样本分值大于第二活体阈值的负样本数量与m的比值;所述样本分值对应所述日志数据中的一个数据字段;
统计单元,用于根据所述统计参数生成所述测试日志的测试结果。
在上述实施例的基础上,所述参数确定单元确定所述测试日志的统计参数,包括:
根据正样本的样本分值的大小对n个正样本进行倒序排列,确定倒序排列的正样本中第n0个正样本的样本分值,并将第n0个正样本的样本分值作为第二活体阈值;其中,n0=f(n×Rt0),Rt0为预设的标准正样本通过率,f()表示取整函数;
将样本分值大于所述第二活体阈值的负样本数量与负样本总数量m的比值作为负样本误识率。
在上述实施例的基础上,所述参数确定单元确定所述测试日志的统计参数,包括:
根据负样本的样本分值的大小对m个负样本进行倒序排列,确定倒序排列的负样本中第m0个负样本的样本分值,并将第m0个负样本的样本分值作为第一活体阈值;其中,m0=f(m×Rf0),Rf0为预设的标准负样本误识率,f()表示取整函数;
将样本分值大于所述第一活体阈值的正样本数量与正样本总数量n的比值作为正样本通过率。
在上述实施例的基础上,所述解析模块42对所述测试日志进行解析处理,确定所述测试日志中每条日志数据的解析结果,包括:
根据所述测试日志的日志格式确定所述测试日志的有效数据列数,所述有效数据列数为所述测试日志中的每个日志数据应当包含的子数据的数量;
对所述测试日志进行解析处理,确定解析处理后日志数据所包含的子数据数量,在日志数据所包含的子数据数量与所述有效数据列数不一致时,剔除所述日志数据;在日志数据所包含的子数据数量与所述有效数据列数一致时,确定所述日志数据的解析结果。
在上述实施例的基础上,所述处理模块43将所述子数据存储至所述数据库的相应位置处,包括:
将在生成所述测试日志的测试结果时不需要的数据字段标记为无效数据字段,其余的数据字段为有效数据字段;
将所述有效数据字段对应的子数据存储至所述数据库的相应位置处。
本发明实施例提供的一种活体检测日志解析的装置,针对不同模型不同格式的测试日志,采用相应的解析方式确定每条日志数据中子数据的字段,并将日志数据存储到统一的数据库中,进而可以确定不同模型测试日志的测试结果。该方式可以针对多样本、多模型采集,通过配置数据与字段之间的映射关系实现快速解析日志,快速统计并确定测试结果,极大提升了效率,节省了时间。利用标准正样本通过率来确定负样本误识率,可以基于正样本通过率和负样本误识率双重标准更加全面地评价活体检测算法的性能。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质存储有计算机可执行指令,其包含用于执行上述活体检测日志解析的方法的程序,该计算机可执行指令可执行上述任意方法实施例中的方法。
其中,所述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD))等。
图5示出了本发明的另一个实施例的一种计算机设备的结构框图。所述计算机设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算机设备的具体实现做限定。
该计算机设备1100包括至少一个处理器(processor)1110、通信接口(Communications Interface)1120、存储器(memory array)1130和总线1140。其中,处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网元通信,其中网元包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU,或者是专用集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于可执行的指令。存储器1130可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块,并且所述块可按一定的规则组合成虚拟卷。存储器1130存储的指令可被处理器1110执行,以使处理器1110能够执行上述任意方法实施例中的方法。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种活体检测日志解析的方法,其特征在于,包括:
获取活体检测的测试日志,并确定所述测试日志的日志格式;
根据所述测试日志的日志格式确定相应的解析方式,并通过所述解析方式对所述测试日志进行解析处理,确定所述测试日志中每条日志数据的解析结果,所述解析结果包含所述日志数据中的一个或多个子数据;
确定所述日志数据的每个子数据分别所对应的数据字段,并根据所述数据字段与数据库的表字段之间的对应关系,将所述子数据存储至所述数据库的相应位置处;
对所述数据库中存储的数据进行统计,生成所述测试日志的测试结果。
2.根据权利要求1所述的方法,其特征在于,所述确定所述日志数据的每个子数据分别所对应的数据字段,包括:
确定标准日志数据,所述标准日志数据为根据所述测试日志的日志格式所确定的日志数据、或者从所述测试日志中选取的符合所述日志格式的日志数据;
确定所述标准日志数据所包含的标准子数据,以及每个标准子数据在所述标准日志数据中的顺位,并为每个顺位的标准子数据设置相应的标准字段;
确定所述日志数据的子数据在所述日志数据中的顺位,并将所述子数据的顺位对应的标准字段作为所述子数据的数据字段。
3.根据权利要求1所述的方法,其特征在于,所述生成所述测试日志的测试结果,包括:
确定所述测试日志中每个日志数据的样本属性,所述样本属性包括正样本和负样本;
根据所述测试日志中的n个正样本和/或m个负样本确定所述测试日志的统计参数,所述统计参数包括正样本通过率和/或负样本误识率;所述正样本通过率为样本分值大于第一活体阈值的正样本数量与n的比值,所述负样本误识率为样本分值大于第二活体阈值的负样本数量与m的比值;所述样本分值对应所述日志数据中的一个数据字段;
根据所述统计参数生成所述测试日志的测试结果。
4.根据权利要求3所述的方法,其特征在于,所述确定所述测试日志的统计参数,包括:
根据正样本的样本分值的大小对n个正样本进行倒序排列,确定倒序排列的正样本中第n0个正样本的样本分值,并将第n0个正样本的样本分值作为第二活体阈值;其中,n0=f(n×Rt0),Rt0为预设的标准正样本通过率,f()表示取整函数;
将样本分值大于所述第二活体阈值的负样本数量与负样本总数量m的比值作为负样本误识率。
5.根据权利要求3所述的方法,其特征在于,所述确定所述测试日志的统计参数,包括:
根据负样本的样本分值的大小对m个负样本进行倒序排列,确定倒序排列的负样本中第m0个负样本的样本分值,并将第m0个负样本的样本分值作为第一活体阈值;其中,m0=f(m×Rf0),Rf0为预设的标准负样本误识率,f()表示取整函数;
将样本分值大于所述第一活体阈值的正样本数量与正样本总数量n的比值作为正样本通过率。
6.根据权利要求1-5任一所述的方法,其特征在于,所述对所述测试日志进行解析处理,确定所述测试日志中每条日志数据的解析结果,包括:
根据所述测试日志的日志格式确定所述测试日志的有效数据列数,所述有效数据列数为所述测试日志中的每个日志数据应当包含的子数据的数量;
对所述测试日志进行解析处理,确定解析处理后日志数据所包含的子数据数量,在日志数据所包含的子数据数量与所述有效数据列数不一致时,剔除所述日志数据;在日志数据所包含的子数据数量与所述有效数据列数一致时,确定所述日志数据的解析结果。
7.根据权利要求1-5任一所述的方法,其特征在于,所述将所述子数据存储至所述数据库的相应位置处,包括:
将在生成所述测试日志的测试结果时不需要的数据字段标记为无效数据字段,其余的数据字段为有效数据字段;
将所述有效数据字段对应的子数据存储至所述数据库的相应位置处。
8.一种活体检测日志解析的装置,其特征在于,包括:
获取模块,用于获取活体检测的测试日志,并确定所述测试日志的日志格式;
解析模块,用于根据所述测试日志的日志格式确定相应的解析方式,并通过所述解析方式对所述测试日志进行解析处理,确定所述测试日志中每条日志数据的解析结果,所述解析结果包含所述日志数据中的一个或多个子数据;
处理模块,用于确定所述日志数据的每个子数据分别所对应的数据字段,并根据所述数据字段与数据库的表字段之间的对应关系,将所述子数据存储至所述数据库的相应位置处;
统计模块,用于对所述数据库中存储的数据进行统计,生成所述测试日志的测试结果。
9.一种计算机可读存储介质,其上存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机可读指令,其特征在于,所述处理器执行所述计算机可读指令时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910319427.0A CN110188073A (zh) | 2019-04-19 | 2019-04-19 | 活体检测日志解析的方法、装置、存储介质及计算机设备 |
PCT/CN2019/103199 WO2020211248A1 (zh) | 2019-04-19 | 2019-08-29 | 活体检测日志解析的方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910319427.0A CN110188073A (zh) | 2019-04-19 | 2019-04-19 | 活体检测日志解析的方法、装置、存储介质及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110188073A true CN110188073A (zh) | 2019-08-30 |
Family
ID=67714897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910319427.0A Pending CN110188073A (zh) | 2019-04-19 | 2019-04-19 | 活体检测日志解析的方法、装置、存储介质及计算机设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110188073A (zh) |
WO (1) | WO2020211248A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112559333A (zh) * | 2020-12-10 | 2021-03-26 | 武汉联影医疗科技有限公司 | 日志生产方法、装置、计算机设备和存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113810160B (zh) * | 2021-09-17 | 2023-07-04 | 北京京航计算通讯研究所 | 一种多元网络设备智能接入系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160294649A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for implementing target model configuration metadata for a log analytics system |
CN106682097A (zh) * | 2016-12-01 | 2017-05-17 | 北京奇虎科技有限公司 | 一种处理日志数据的方法和装置 |
WO2017198227A1 (zh) * | 2016-05-19 | 2017-11-23 | 中兴通讯股份有限公司 | 一种交互式网络电视系统及用户数据实时获取方法 |
CN109324996A (zh) * | 2018-10-12 | 2019-02-12 | 平安科技(深圳)有限公司 | 日志文件处理方法、装置、计算机设备及存储介质 |
CN109325009A (zh) * | 2018-09-19 | 2019-02-12 | 亚信科技(成都)有限公司 | 日志解析的方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8924398B2 (en) * | 2011-03-23 | 2014-12-30 | Bmc Software, Inc. | Log-based DDL generation |
CN103593442B (zh) * | 2013-11-15 | 2017-08-01 | 北京国双科技有限公司 | 日志数据的去重方法及装置 |
CN109117440B (zh) * | 2017-06-23 | 2021-06-22 | 中移动信息技术有限公司 | 一种元数据信息获取方法、系统和计算机可读存储介质 |
CN108363791A (zh) * | 2018-02-13 | 2018-08-03 | 沈阳东软医疗系统有限公司 | 一种数据库的数据同步方法和装置 |
-
2019
- 2019-04-19 CN CN201910319427.0A patent/CN110188073A/zh active Pending
- 2019-08-29 WO PCT/CN2019/103199 patent/WO2020211248A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160294649A1 (en) * | 2015-04-03 | 2016-10-06 | Oracle International Corporation | Method and system for implementing target model configuration metadata for a log analytics system |
WO2017198227A1 (zh) * | 2016-05-19 | 2017-11-23 | 中兴通讯股份有限公司 | 一种交互式网络电视系统及用户数据实时获取方法 |
CN106682097A (zh) * | 2016-12-01 | 2017-05-17 | 北京奇虎科技有限公司 | 一种处理日志数据的方法和装置 |
CN109325009A (zh) * | 2018-09-19 | 2019-02-12 | 亚信科技(成都)有限公司 | 日志解析的方法及装置 |
CN109324996A (zh) * | 2018-10-12 | 2019-02-12 | 平安科技(深圳)有限公司 | 日志文件处理方法、装置、计算机设备及存储介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112559333A (zh) * | 2020-12-10 | 2021-03-26 | 武汉联影医疗科技有限公司 | 日志生产方法、装置、计算机设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2020211248A1 (zh) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210295114A1 (en) | Method and apparatus for extracting structured data from image, and device | |
EP1388804A2 (en) | Method and system for face detection using pattern classifier | |
JP5772442B2 (ja) | 画像処理装置及び画像処理プログラム | |
TW201732789A (zh) | 磁片的故障預測方法和裝置 | |
CN110489424B (zh) | 一种表格化信息提取的方法、装置、存储介质及电子设备 | |
CN112711578B (zh) | 用于云计算业务的大数据去噪方法及云计算金融服务器 | |
CN110188073A (zh) | 活体检测日志解析的方法、装置、存储介质及计算机设备 | |
CN111753744A (zh) | 用于票据图像分类的方法、装置、设备及可读存储介质 | |
CN111507332A (zh) | 车辆vin码检测方法与设备 | |
CN112818162A (zh) | 图像检索方法、装置、存储介质和电子设备 | |
CN114078008A (zh) | 异常行为检测方法、装置、设备及计算机可读存储介质 | |
JP2015069256A (ja) | 文字識別システム | |
CN115035347A (zh) | 图片识别方法、装置及电子设备 | |
Altun et al. | SKETRACK: stroke-based recognition of online hand-drawn sketches of arrow-connected diagrams and digital logic circuit diagrams | |
CN111738290B (zh) | 图像检测方法、模型构建和训练方法、装置、设备和介质 | |
CN110929285B (zh) | 一种隐私数据的处理方法及装置 | |
CN111598099A (zh) | 图像文本识别性能的测试方法、装置、测试设备及介质 | |
CN112926577B (zh) | 一种医疗票据图像结构化方法和装置、计算机可读介质 | |
CN110827261B (zh) | 图像质量检测方法及装置、存储介质及电子设备 | |
CN115309705A (zh) | 一种自动识别城市信息模型平台基础数据元素的数据集成分类系统及其分类方法 | |
CN111291208B (zh) | 前端页面元素的命名方法、装置及电子设备 | |
CN114328174A (zh) | 一种基于对抗学习的多视图软件缺陷预测方法及系统 | |
CN110826616B (zh) | 信息处理方法及装置、电子设备、存储介质 | |
CN114331665A (zh) | 用于预定申请人的信用判定模型的训练方法、装置和电子设备 | |
CN110399453A (zh) | 征信报告处理方法及装置、电子设备和非暂态存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |