CN117311916A - 用于身份鉴别的数据处理方法、系统、设备和存储介质 - Google Patents
用于身份鉴别的数据处理方法、系统、设备和存储介质 Download PDFInfo
- Publication number
- CN117311916A CN117311916A CN202311606636.6A CN202311606636A CN117311916A CN 117311916 A CN117311916 A CN 117311916A CN 202311606636 A CN202311606636 A CN 202311606636A CN 117311916 A CN117311916 A CN 117311916A
- Authority
- CN
- China
- Prior art keywords
- data
- task
- information
- storing
- task information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 65
- 230000006399 behavior Effects 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims abstract description 24
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000004590 computer program Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 12
- 239000012634 fragment Substances 0.000 claims description 10
- 238000012163 sequencing technique Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 abstract description 11
- 238000002955 isolation Methods 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/466—Transaction processing
- G06F9/467—Transactional memory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及数据处理技术领域,公开了一种用于身份鉴别的数据处理方法、系统、设备和存储介质,包括获取身份鉴别的任务信息;响应于任务信息为行为数据任务信息,对所述行为数据任务信息进行解密,并从解密后的所述行为数据任务信息中提取任务类型和任务数据;若所述任务类型为数据写入任务,则将所述任务数据存储至内存数据库,并在存储完成后,将所述任务数据从内存数据库存储至消息队列;对消息队列中的所述任务数据进行数据处理,并存储至分析数据库。通过本发明提供的数据处理方法,使数据分析处理不影响事务处理能力,实现了良好的工作负载隔离,从而保证了身份鉴别的处理效率和鉴别数据的安全性。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种用于身份鉴别的数据处理方法、系统、设备和存储介质。
背景技术
近几年有不少基于身份鉴权技术的大规模应用得到普及,最典型的包括有疫苗的注射登记、高校新生入学时的迎新身份核验、老生返校时的身份核验报到等。当前的做法是对该类应用采用联机事务处理(OLTP)的方式进行,优先确保数据写入性能。
现有方法所存在的问题在于,一方面,对于实时产生的行为数据,如果要进行查询统计分析,会影响数据读写的性能;另一方面,对于实时产生的生物特征数据即非结构化数据以及伴随产生的行为数据,都属于个人信息的敏感数据。如果要进行保存,往往不做任何的安全处理,直接写入数据库,存在安全隐患。非结构化数据的存取也会影响整体的性能。因此,目前亟需一种在大规模身份鉴别应用场景下,能够兼顾事务处理与数据分析两者的性能和时效的数据处理方法,来保证身份鉴别的处理效率和鉴别数据的安全性。
发明内容
为了解决上述技术问题,本发明提供了一种用于身份鉴别的数据处理方法、系统、设备和存储介质,以能够解决现有方法无法解决数据读写性能和安全性的问题,达到提高数据处理效率和保证数据安全性技术效果。
第一方面,本发明提供了一种用于身份鉴别的数据处理方法,所述方法包括:
获取身份鉴别的任务信息,所述任务信息包括行为数据任务信息和生物数据任务信息;
响应于任务信息为行为数据任务信息,对所述行为数据任务信息进行解密,并从解密后的所述行为数据任务信息中提取任务类型和任务数据;
若所述任务类型为数据写入任务,则将所述任务数据存储至内存数据库,并在存储完成后,将所述任务数据从内存数据库存储至消息队列;
对消息队列中的所述任务数据进行数据处理,并存储至分析数据库。
进一步地,将所述任务数据存储至内存数据库的步骤包括:
按照人员编码和预设分桶数据量,对所述任务数据进行分桶存储,并在存储完成后,设置对应的状态标志位。
进一步地,所述将所述任务数据从内存数据库存储至消息队列的步骤包括:
采用分布式消息中间件的异步处理方法,将所述任务数据从内存数据库存储至消息队列。
进一步地,所述对消息队列中的所述任务数据进行数据处理,并存储至分析数据库的步骤包括:
根据人员编码和时间,对所述任务数据进行二级分片,得到分片数据;
将不同的分片数据对应存储至分析数据库的不同数据节点。
进一步地,在并从解密后的所述行为数据任务信息中提取任务类型和任务数据的步骤之后,还包括:
若所述任务类型为数据读取任务,则将所述任务数据作为查询条件,从所述分析数据库的不同数据节点中提取对应的分片数据;
将各个分片数据进行合并和排序,得到对应的行为数据。
进一步地,在所述获取身份鉴别的任务信息的步骤之后,还包括:
响应于任务信息为生物数据任务信息,从所述生物数据任务信息中提取任务类型和任务数据;
若所述任务类型为图像写入类型,则将所述任务数据进行切片和排序,并根据排序序列和随机数,生成索引矩阵;
根据所述随机数,对切片后的所述任务数据进行加密,并存储至分布式文件数据库。
进一步地,在所述从所述生物数据任务信息中提取任务类型和任务数据的步骤之后,还包括:
若所述任务类型为图像读取类型,则将所述任务数据作为查询条件,从所述分布式文件数据库中提取对应的切片图像;
根据所述索引矩阵对所述切片图像进行解密和排序,得到对应的生物数据。
第二方面,本发明提供了一种用于身份鉴别的数据处理系统,所述系统包括:
信息获取模块,用于获取身份鉴别的任务信息,所述任务信息包括行为数据任务信息和生物数据任务信息;
信息解密模块,用于响应于任务信息为行为数据任务信息,对所述行为数据任务信息进行解密,并从解密后的所述行为数据任务信息中提取任务类型和任务数据;
第一存储模块,用于若所述任务类型为数据写入任务,则将所述任务数据存储至内存数据库,并在存储完成后,将所述任务数据从内存数据库存储至消息队列;
第二存储模块,用于对消息队列中的所述任务数据进行数据处理,并存储至分析数据库。
第三方面,本发明实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
本发明提供了一种用于身份鉴别的数据处理方法、系统、计算机设备和存储介质。本发明通过消息中间件中消息发送和消息接收的异步机制,保障了身份鉴别事务处理步骤的性能,并采用分布式分片处理机制,保证了个人行为数据分析的实时性和性能,提高了行为数据分析的实时性和包含生物特征数据在内个人信息敏感数据的安全性。
附图说明
图1是本发明实施例中数据处理方法的流程示意图;
图2是本发明实施例中数据处理方法的另一种流程示意图;
图3是本发明实施例中数据处理系统的结构示意图;
图4是本发明实施例中计算机设备的内部结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明第一实施例提出的一种用于身份鉴别的数据处理方法,包括步骤S10~S40:
步骤S10,获取身份鉴别的任务信息,所述任务信息包括行为数据任务信息和生物数据任务信息;
步骤S20,响应于任务信息为行为数据任务信息,对所述行为数据任务信息进行解密,并从解密后的所述行为数据任务信息中提取任务类型和任务数据;
步骤S30,若所述任务类型为数据写入任务,则将所述任务数据存储至内存数据库,并在存储完成后,将所述任务数据从内存数据库存储至消息队列;
步骤S40,对消息队列中的所述任务数据进行数据处理,并存储至分析数据库。
目前,针对大规模的身份鉴定,常用的做法是采用联机事务处理OLTP的方式进行,来优先确保数据写入的性能,但是在这种方式下,对于实时产生的行为数据,如果要进行查询统计分析,会影响数据读写的性能,这里的行为数据指的是在进行身份鉴定时伴随产生的用户行为数据,比如身份基础信息、身份隐私数据、身份状态数据和身份鉴别记录等相关数据。在大规模的身份鉴定场景下,会产生大量的行为数据,这些用户的行为数据需要进行存储,同时对于存储的行为数据还需要数据分析来进行身份鉴定,因此,为了使数据分析不影响事务处理,即不影响数据读写的性能,本发明提供了一种将事务处理和数据分析之间数据分离但算力资源共用的数据处理方法。
在本实施例中,首先获取身份鉴别的相关任务信息,如果该任务是行为数据分析的任务信息,由于身份鉴别会涉及个人信息的敏感数据,为了保证数据的安全性,当任务下发时,对于行为数据任务会进行加密传输,当收到加密的行为数据任务信息时,需要先进行解密来提取对应的任务类型和任务数据。
在一个优选的实施例中,任务信息的加解密采用的是ASC码位移计算的方式进行,即定义一个32位的密钥,把消息分为32块,每块消息进行根据密钥相同位置的ASC码进行位移计算,完成计算后组合成一个加密后的字符串;解码方式一样,把接收到的消息同样分为32块,根据密钥进行反向位移,具体步骤如下:
密钥:Key=[k1,k2,…,k32]
数据分片:Str=[s1,s2,…,s32]
加密后数据:v1[i]=asc(s1[i])-asc(k1[i]),其中,asc是对数据取ASC码,s1[i]是数据分片s1中第i个数据值,v1[i]是加密后第i个数据值。则s1数据加密后的v1=v1[1]+…+v[i]+…+v[L],L为s1的长度;
加密后内容v=v1+v2+…+v32。
在解密之后,得到的任务信息格式为:MsgTypeOperationData,其中,MsgType表示任务类型,OperationData表示任务数据。设定MsgType=1表示数据写入任务,MsgType=2表示数据读取任务。当接收到数据写入任务时,OperationData中的内容即为需要存储的行为数据。
在本实施例中,对于数据写入任务,其行为数据的存储采用二次缓存的存储方式,其中,采用高速的内存数据库对行为数据进行第一次缓存,即在接收到数据写入任务后,生成内存数据库写入线程,将任务数据存储到内存数据库中,本实施例中,采用分桶存储的方式进行内存数据库的写入,具体的说,按照人员编码进行分桶存储,桶的容量根据预设的数据量进行切分得到,比如可以切分为16/32/64等不同的桶,并且还设置了一个状态标志位SuccFlag来表示存储状态,该状态标志位一开始设置为0,表示未完成,当写入逻辑正常执行而未出现异常,则设置SuccFlag为1,表示写入成功。写入线程则根据状态标志位来判断内存数据库的写入是否成功。本实施例在接收到任务信息后,优先完成高速内存数据的写入,在这个过程没有其他操作影响,所以使行为数据的写入性能得到了保证。
内存数据库写入后,设置状态标记为1,表示写入成功,此时需要对内存中的数据进行二次缓存,如果失败,则重试,重试三次后返回签到失败信息。当判断写入成功后,将任务信息中的OperationData内容写入到消息队列中,在本实施例中,采用分布式消息中间件的异步处理方法,将任务数据写入分布式的消息队列,通过异步处理的方式,使写入消息中间件的性能损耗不影响成功消息的返回,从而优先保证身份鉴别数据信息的处理。在一个优选的实施例中,消息中间件可以采用kafka分布式消息中间件,进行分布式性能扩展,分布式的中间件一秒可以完成几十万次的行为数据写入,从而保证了分析数据写入的实时性。
在本实施例中,在收到任务信息的同时会启动消息处理进程,消息处理进程收到消息队列的数据后,会进行数据处理,并将处理后的任务数据存储至分析数据库,以供身份鉴别使用。其中,在数据存储步骤中的数据处理主要是数据分片处理,数据分片处理是把数据根据人员编码和时间进行二级分片,然后将不同分片数据存储到不同的数据节点,其具体步骤如下所示:
①计算人员编码Hash码
设人员编码为Sid,计算Sid的Hash码:
按顺序取Sid字符,如第I位为Sid[i],对Sid[i]取Unicode值为u[i],设h为Sid的Hash码,初始化为0,如Sid长度为len,则循环len次,最后结果就为Sid的Hash码,即Hash码计算公式为:
h=31*h+u[i]
②对Hash码按分片数量取模
取模公式为:mod=h%num
其中,num为分片数量,num的值可以根据数据量进行灵活设置,比如num可以取16/32/64等不同值,在此并不做具体限制。根据mod不同,数据被初步分为不同的分片。
③根据时间进行二次分片
计算时间的年、月、日、小时,把时间转换为yyyyMMddHH格式。按上述的Hash码计算公式和分片取模公式进行数据二次分片,即数据根据上面算法可以分为num*小时等数量的不同分片。
④分片存储
在进行二次分片后,得到各个分片数据,然后将不同的分片数据对应存储至分析数据库的不同数据节点。
对于数据读取任务,即当MsgType=2时,将OperationData中的内为查询条件,设定格式为:get fields from tables where dt=yyyyMMddHH and id=xxxxxxxxx,数据检索获取where条件中的dt和id条件,通过上面的二级分片索引,可以快速定位到不同的数据分片中,查询到符合条件的数据,由于查询到的是分片数据,因此还需要根据分片步骤对各个分片数据进行合并,合并后数据按时间先后进行排序,相同时间再按id大小进行排序,排序方法统一使用快速排序法,将排序后的数据作为读取到的行为数据返回至任务发送方,具体的合并和排序步骤可以参考常规方法步骤,在此将不再重复说明。
本实施例提供了针对行为数据分析的事务处理步骤,其中身份鉴别事务处理的事务包含身份基础信息写入,身份隐私数据写入,身份状态数据改变,身份鉴别记录写入等事务,在本实施例中,这些事务直接写入分布式内存数据库,在写入完成前不做其他操作,从而保证了数据写入性能,完成身份鉴别事务数据的写入后,操作消息被发到消息中间件,就完成了数据写入的整个操作,本发明通过消息中间件中消息发送和消息接收的异步机制,保障了身份鉴别事务处理步骤的性能。因为消息是准实时发送,因此当接收到消息后,立即处理数据在分析数据库上写入操作,整个过程基本是毫秒级别,并且由于分析数据库采用分布式分片处理机制,从而兼顾了个人行为数据分析的实时性和性能。本发明提供的数据处理方法,使数据分析处理不影响事务处理能力,从而实现了良好的工作负载隔离,提高了数据处理效率。
进一步地,在身份鉴别过程中,除了产生行为数据之外,还会伴生有用户的生物特征数据,比如人脸图像、指纹图像和虹膜图像等,由于生物特征数据涉及到个人隐私数据,因此,本发明提供了一种优选的实施例来对生物特征数据进行处理,以避免数据泄露导致的隐私泄露。具体步骤如下所示:
响应于任务信息为生物数据任务信息,从所述生物数据任务信息中提取任务类型和任务数据;
若所述任务类型为图像写入类型,则将所述任务数据进行切片和排序,并根据排序序列和随机数,生成索引矩阵;
根据所述随机数,对切片后的所述任务数据进行加密,并存储至分布式文件数据库;
若所述任务类型为图像读取类型,则将所述任务数据作为查询条件,从所述分布式文件数据库中提取对应的切片图像;
根据所述索引矩阵对所述切片图像进行解密和排序,得到对应的生物数据。
在本实施例中,如果接收到的任务是针对生物特征数据的处理,其处理步骤与行为数据有所区别,具体的说,对于生物特征数据的写入任务,由于生物特征数据为图像数据,因此,在本实施例中需要对图像数据进行加密保存,需要说明的是,本实施例的数据处理步骤中涉及到的具体数值只作为优选数据作举例说明而非限制,其数值的设计需要根据实际数据量的大小进行调整,后续将不再一一赘述。
对于图像数据的处理采用切片加密的方式,首先,生成图像的索引矩阵,具体生成步骤为:将图像进行分切,比如将图像按x/y方向各分16份,则图像被分为了16*16=256份数据;对于切分图像根据先横向再纵向的方法排序,获得图像序号集Sn=[0,1,2,…,255],然后随机打乱图像顺序,记录随机打乱后的当前顺序记录Rn=[0,1,2,…,255];按照序列数量随机生成相同数量的随机数,比如在本实施例中随机生成256个0到10的随机数,Rid=[r1,r2,…,r256],根据当前顺序、正常顺序和随机数,生成对应的索引矩阵V=[Rn,Sn,Rid]。
其次,对切片后的图像进行加密,具体加密步骤为:对第i个图像分片P[i],对每个像素点的颜色值跟对应的随机数Rid[i]进行按位异或计算,结果如果大于255,则减于255,这样就获得[0,255]以内的值,将新获得的值替换这个像素点的值,这样就得到加密后的图像分片Pe[i]。
最后,将各个图像分片存储到分布式文件数据库中,完成生物特征数据的加密存储。
对于生物特征数据的读取任务,则通过索引条件从分布式文件数据库中查询到各个图像分片后,根据加密时的索引矩阵,对图像进行解密,由于Sn和Rn的对应关系在生成随机顺序记录Rn时已经做了记录,比如对应的二维矩阵样例格式可以记录为:[[Sn[1],Sn[2],……,Sn[255]],[Rn[1],Rn[2],……,Rn[255]]]
因此,可以根据上述二维矩阵中Sn和Rn的对应关系对解密后的图像分片进行还原,从而得到完整的生物特征数据图像。本实施例中通过对生物特征数据进行加密处理,有效提高了个人信息中敏感数据的安全性。
下面结合图2,对本发明提供的数据处理方法进行详细描述,对于身份鉴别的行为数据分析任务,通过专门的接口服务对任务加密后进行任务下发,在接收到加密的任务信息后,先进行任务解密,提取任务消息,如果任务消息中的任务类型为数据写入任务,则首先写入高速的内存数据库,从而保证数据写入的性能,在写入成功后,采用分布式消息中间件的方式,通过异步处理机制,将消息写入分布式消息队列,通过分布式性能扩展,保证了数据写入的实时性,最后则通过对数据进行二级分片处理后,将数据写入分析数据库,由于分析数据库采用分布式分片处理机制,从而兼顾了个人行为数据分析的实时性和性能。对于数据读取任务,则根据任务信息中的查询条件,从分析数据库中的不同数据节点中提取对应的分片数据,对分片数据进行合并和排序,得到行为数据。
对于身份鉴别产生的生物特征数据图像,如果是图像写入任务,则先对图像进行切片,对于切片的图像构建索引矩阵,并进行加密后,写入分布式文件数据库中,如果是图像读取任务,则根据查询条件从分布式文件数据库提取切片图像后,根据索引矩阵,对切片图像进行解密和还原,最终得到完整的生物特征数据图像。本发明通过对生物特征数据进行特殊的加密处理,保证了个人隐私数据的安全性,
本实施例提供的一种用于身份鉴别的数据处理方法,本发明通过高速的内存数据库保证了数据写入的性能,通过消息中间件中消息发送和消息接收的异步机制,保证了身份鉴别事务处理的实时性,并且通过对行为数据和生物特征数据不同的处理步骤,提高了个人敏感信息数据的安全性。通过本发明提供的数据处理方法,使数据分析处理不影响事务处理能力,实现了良好的工作负载隔离,从而提高了身份鉴别的数据处理效率,保证了身份鉴别信息的安全性。
请参阅图3,基于同一发明构思,本发明第二实施例提出的一种用于身份鉴别的数据处理系统,包括:
信息获取模块10,用于获取身份鉴别的任务信息,所述任务信息包括行为数据任务信息和生物数据任务信息;
信息解密模块20,用于响应于任务信息为行为数据任务信息,对所述行为数据任务信息进行解密,并从解密后的所述行为数据任务信息中提取任务类型和任务数据;
第一存储模块30,用于若所述任务类型为数据写入任务,则将所述任务数据存储至内存数据库,并在存储完成后,将所述任务数据从内存数据库存储至消息队列;
第二存储模块40,用于对消息队列中的所述任务数据进行数据处理,并存储至分析数据库。
本发明实施例提出的用于身份鉴别的数据处理系统的技术特征和技术效果与本发明实施例提出的方法相同,在此不予赘述。上述用于身份鉴别的数据处理系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
此外,本发明实施例还提出一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
请参阅图4,一个实施例中计算机设备的内部结构图,该计算机设备具体可以是终端或服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示器和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现用于身份鉴别的数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域普通技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算设备可以包括比途中所示更多或更少的部件,或者组合某些部件,或者具有相同的部件布置。
此外,本发明实施例还提出一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
综上,本发明实施例提出的用于身份鉴别的数据处理方法、系统、设备和存储介质,所述方法通过获取身份鉴别的任务信息,所述任务信息包括行为数据任务信息和生物数据任务信息;响应于任务信息为行为数据任务信息,对所述行为数据任务信息进行解密,并从解密后的所述行为数据任务信息中提取任务类型和任务数据;若所述任务类型为数据写入任务,则将所述任务数据存储至内存数据库,并在存储完成后,将所述任务数据从内存数据库存储至消息队列;对消息队列中的所述任务数据进行数据处理,并存储至分析数据库。本发明通过高速的内存数据库保证了数据写入的性能,通过消息中间件中消息发送和消息接收的异步机制,保证了身份鉴别事务处理的实时性,并且通过对行为数据和生物特征数据不同的处理步骤,提高了个人敏感信息数据的安全性。通过本发明提供的数据处理方法,使数据分析处理不影响事务处理能力,实现了良好的工作负载隔离,从而提高了身份鉴别的数据处理效率,保证了身份鉴别信息的安全性。
本说明书中的各个实施例均采用递进的方式描述,各个实施例直接相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。需要说明的是,上述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种优选实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和替换,这些改进和替换也应视为本申请的保护范围。因此,本申请专利的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种用于身份鉴别的数据处理方法,其特征在于,包括:
获取身份鉴别的任务信息,所述任务信息包括行为数据任务信息和生物数据任务信息;
响应于任务信息为行为数据任务信息,对所述行为数据任务信息进行解密,并从解密后的所述行为数据任务信息中提取任务类型和任务数据;
若所述任务类型为数据写入任务,则将所述任务数据存储至内存数据库,并在存储完成后,将所述任务数据从内存数据库存储至消息队列;
对消息队列中的所述任务数据进行数据处理,并存储至分析数据库。
2.根据权利要求1所述的用于身份鉴别的数据处理方法,其特征在于,所述将所述任务数据存储至内存数据库的步骤包括:
按照人员编码和预设分桶数据量,对所述任务数据进行分桶存储,并在存储完成后,设置对应的状态标志位。
3.根据权利要求1所述的用于身份鉴别的数据处理方法,其特征在于,所述将所述任务数据从内存数据库存储至消息队列的步骤包括:
采用分布式消息中间件的异步处理方法,将所述任务数据从内存数据库存储至消息队列。
4.根据权利要求1所述的用于身份鉴别的数据处理方法,其特征在于,所述对消息队列中的所述任务数据进行数据处理,并存储至分析数据库的步骤包括:
根据人员编码和时间,对所述任务数据进行二级分片,得到分片数据;
将不同的分片数据对应存储至分析数据库的不同数据节点。
5.根据权利要求4所述的用于身份鉴别的数据处理方法,其特征在于,在并从解密后的所述行为数据任务信息中提取任务类型和任务数据的步骤之后,还包括:
若所述任务类型为数据读取任务,则将所述任务数据作为查询条件,从所述分析数据库的不同数据节点中提取对应的分片数据;
将各个分片数据进行合并和排序,得到对应的行为数据。
6.根据权利要求1所述的用于身份鉴别的数据处理方法,其特征在于,在所述获取身份鉴别的任务信息的步骤之后,还包括:
响应于任务信息为生物数据任务信息,从所述生物数据任务信息中提取任务类型和任务数据;
若所述任务类型为图像写入类型,则将所述任务数据进行切片和排序,并根据排序序列和随机数,生成索引矩阵;
根据所述随机数,对切片后的所述任务数据进行加密,并存储至分布式文件数据库。
7.根据权利要求6所述的用于身份鉴别的数据处理方法,其特征在于,在所述从所述生物数据任务信息中提取任务类型和任务数据的步骤之后,还包括:
若所述任务类型为图像读取类型,则将所述任务数据作为查询条件,从所述分布式文件数据库中提取对应的切片图像;
根据所述索引矩阵对所述切片图像进行解密和排序,得到对应的生物数据。
8.一种用于身份鉴别的数据处理系统,其特征在于,所述系统包括:
信息获取模块,用于获取身份鉴别的任务信息,所述任务信息包括行为数据任务信息和生物数据任务信息;
信息解密模块,用于响应于任务信息为行为数据任务信息,对所述行为数据任务信息进行解密,并从解密后的所述行为数据任务信息中提取任务类型和任务数据;
第一存储模块,用于若所述任务类型为数据写入任务,则将所述任务数据存储至内存数据库,并在存储完成后,将所述任务数据从内存数据库存储至消息队列;
第二存储模块,用于对消息队列中的所述任务数据进行数据处理,并存储至分析数据库。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311606636.6A CN117311916B (zh) | 2023-11-29 | 2023-11-29 | 用于身份鉴别的数据处理方法、系统、设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311606636.6A CN117311916B (zh) | 2023-11-29 | 2023-11-29 | 用于身份鉴别的数据处理方法、系统、设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117311916A true CN117311916A (zh) | 2023-12-29 |
CN117311916B CN117311916B (zh) | 2024-03-22 |
Family
ID=89255626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311606636.6A Active CN117311916B (zh) | 2023-11-29 | 2023-11-29 | 用于身份鉴别的数据处理方法、系统、设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117311916B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005227830A (ja) * | 2004-02-10 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 画像サーバとプログラム |
CN110287248A (zh) * | 2019-05-24 | 2019-09-27 | 视联动力信息技术股份有限公司 | 一种数据读写方法和系统 |
EP3832405A1 (fr) * | 2019-12-06 | 2021-06-09 | Tissot S.A. | Montre comportant un système de contrôle d'accès biometrique à une donnée confidentielle |
CN113010289A (zh) * | 2021-03-17 | 2021-06-22 | 杭州遥望网络科技有限公司 | 一种任务调度方法、装置和系统 |
CN116016117A (zh) * | 2022-12-27 | 2023-04-25 | 山西合力创新科技股份有限公司 | 网络设备运维数据采集方法、系统、电子设备及存储介质 |
-
2023
- 2023-11-29 CN CN202311606636.6A patent/CN117311916B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005227830A (ja) * | 2004-02-10 | 2005-08-25 | Matsushita Electric Ind Co Ltd | 画像サーバとプログラム |
CN110287248A (zh) * | 2019-05-24 | 2019-09-27 | 视联动力信息技术股份有限公司 | 一种数据读写方法和系统 |
EP3832405A1 (fr) * | 2019-12-06 | 2021-06-09 | Tissot S.A. | Montre comportant un système de contrôle d'accès biometrique à une donnée confidentielle |
CN113010289A (zh) * | 2021-03-17 | 2021-06-22 | 杭州遥望网络科技有限公司 | 一种任务调度方法、装置和系统 |
CN116016117A (zh) * | 2022-12-27 | 2023-04-25 | 山西合力创新科技股份有限公司 | 网络设备运维数据采集方法、系统、电子设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
罗孟儒,等: "电子资源利用行为数据获取模式比较研究", 图书馆学研究, no. 18, pages 63 - 68 * |
邱红锴: "电及能效信息采集系统嵌入式实时数据库关键技术研究", 中国优秀硕士学位论文全文数据库信息科技辑(月刊), no. 02, pages 138 - 1132 * |
Also Published As
Publication number | Publication date |
---|---|
CN117311916B (zh) | 2024-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2272021B1 (en) | Secure data cache | |
EP1292064B1 (en) | Data storage apparatus | |
US8631203B2 (en) | Management of external memory functioning as virtual cache | |
KR101405720B1 (ko) | 암호화 속성을 이용하는 가속 크립토그래피 | |
CN111694840A (zh) | 数据同步方法、装置、服务器及存储介质 | |
CN104995621A (zh) | 服务器装置、隐匿检索程序、记录介质以及隐匿检索系统 | |
CN110457945A (zh) | 名单查询的方法、查询方设备、服务方设备及存储介质 | |
CN104239820A (zh) | 一种安全存储设备 | |
CN101727558B (zh) | 一种计算机密码清除方法、计算机和服务器 | |
CN106682521B (zh) | 基于驱动层的文件透明加解密系统及方法 | |
CN111796936A (zh) | 请求处理方法、装置、电子设备及介质 | |
CN112084474A (zh) | 一种企业档案管理方法、系统、存储介质和电子设备 | |
JPH11272681A (ja) | 個人情報の記録方法およびその記録媒体 | |
CN117311916B (zh) | 用于身份鉴别的数据处理方法、系统、设备和存储介质 | |
Khashan et al. | Secure Stored Images Using Transparent Crypto Filter Driver. | |
CN114756887A (zh) | 一种敏感信息块在文件中的加密存储方法及装置 | |
CN116305294A (zh) | 数据泄露溯源方法、装置、电子设备及存储介质 | |
Craiger et al. | Law enforcement and digital evidence | |
Snyder et al. | Cloudsweeper: enabling data-centric document management for secure cloud archives | |
CN115718766A (zh) | 一种多数据库数据的共享管理方法、系统及存储介质 | |
CN115567212A (zh) | 文件处理方法、装置、计算机设备和计算机可读存储介质 | |
CN111984605A (zh) | 小文件管理方法、电子设备及存储装置 | |
WO2023132046A1 (ja) | 判定方法、情報処理装置および判定プログラム | |
CN116938594B (zh) | 一种基于高速加密技术的多层次身份验证系统 | |
CN116599666B (zh) | 密码字典生成方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |