CN115061939B - 数据集安全测试方法、装置及存储介质 - Google Patents
数据集安全测试方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115061939B CN115061939B CN202210772774.0A CN202210772774A CN115061939B CN 115061939 B CN115061939 B CN 115061939B CN 202210772774 A CN202210772774 A CN 202210772774A CN 115061939 B CN115061939 B CN 115061939B
- Authority
- CN
- China
- Prior art keywords
- test
- data
- model
- relay server
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3692—Test management for test results analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3696—Methods or tools to render software testable
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例涉及人工智能领域,并提供数据集安全测试方法、装置及存储介质,方法包括接收中继服务器发送的模型测试请求;获取与模型测试请求对应的数据样本集和测试模型镜像;基于数据样本集对测试模型镜像进行模型测试,得到样本测试结果集;若确定样本测试结果集中存在误拒样本,基于误拒样本确定误拒样本集;将误拒样本集存储至预设的第一存储区域;若接收到中继服务器发送的第一数据下载请求,基于第一数据下载请求在第一存储区域中获取误拒样本集并发送至中继服务器。本方案使得业务服务器中除了第一存储区域以外的其他区域中存储数据均不能被下载只能被查看,提高了业务服务器中所存储数据集以及测试模型数据的安全性。
Description
技术领域
本申请实施例涉及计算机视觉技术领域,尤其涉及一种数据集安全测试方法、装置及存储介质。
背景技术
在计算机视觉的算法场景下,用于测试模型的数据集安全是一个尤其需要关注的问题。在对现有技术的研究和实践过程中,本申请实施例的发明人发现,若将数据集全部存储于公共服务器上,则任何用户都能随意访问和下载这些数据集,若其中有一些数据集属于敏感数据集或者是不能随意下载类型的数据集,也因为存放在公共服务器上使得数据集安全性极低。
发明内容
本申请实施例提供了一种数据集安全测试方法、装置及存储介质,能够将用于测试模型的数据集均存储于业务服务器,将模型测试及样本测试结果集也均存储于业务服务器,当用户需查看样本测试结果集中的误拒样本集时,需要发送第一数据下载请求在业务服务器中验证,在验证通过的情况下才能具有权限下载误拒样本集进行查看,提高了业务服务器中所存储数据集的安全性。
第一方面中,从业务服务器的角度介绍本申请实施例提供的一种数据集安全测试方法,应用于数据集安全测试系统中的业务服务器,所述数据集安全测试系统还包括至少一个终端设备和中继服务器,所述业务服务器中存储有至少一个用于测试模型的数据集,所述方法包括:
接收所述中继服务器发送的模型测试请求;其中,所述模型测试请求在所述终端设备中生成并发送至所述中继服务器,所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称;
获取与所述模型测试请求对应的数据样本集和测试模型镜像;
基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集;
若确定所述样本测试结果集中存在误拒样本,基于误拒样本确定误拒样本集;其中,所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同;
将所述误拒样本集存储至预设的第一存储区域;
从所述中继服务器接收到来自所述终端设备的第一数据下载请求后,基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器;其中,所述第一数据下载请求通过所述中继服务器验证。
第二方面中,具有实现对应于上述第一方面提供的数据集安全测试方法的功能。所述功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。
一种可能的设计中,所述装置包括:
收发模块和处理模块;
所述收发模块,用于接收中继服务器发送的模型测试请求;其中,所述模型测试请求在终端设备中生成并发送至中继服务器,所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称;
所述处理模块,用于获取与所述模型测试请求对应的数据样本集和测试模型镜像;基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集;
所述处理模块,还用于若确定所述样本测试结果集中存在误拒样本,基于误拒样本确定误拒样本集;其中,所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同;将所述误拒样本集存储至预设的第一存储区域;
所述收发模块,还用于若接收到所述中继服务器发送的第一数据下载请求,基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器;其中,所述第一数据下载请求在所述终端设备中生成并发送至所述中继服务器,且通过所述中继服务器验证。
第三方面中,本申请实施例又一方面提供了一种数据集安全测试装置,其包括至少一个连接的处理器、存储器和收发器,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面中提供的方法。
第四方面中,本申请实施例又一方面提供了一种计算机设备,其包括至少一个连接的处理器、存储器和收发器,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中的计算机程序来执行上述第一方面中提供的方法。
本申请实施例又一方面提供了一种计算机可读存储介质,其包括指令,当其在计算机上运行时,使得计算机执行上述第一方面中提供的方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面中提供的方法。
相较于现有技术,本申请实施例提供的方案中,在人工智能的模型数据集测试等场景,当业务服务器接收到中继服务器发送的模型测试请求后,业务服务器响应该模型测试请求并在业务服务器中获取对应的数据样本集和测试模型镜像,获取完成后在业务服务器基于数据样本集对测试模型镜像进行模型测试得到样本测试结果集。由于在样本测试结果集中存在误拒样本,所以在业务服务器中获取样本测试结果集所有的误拒样本可组成误拒样本集并转存至作为解除了下载限制的第一存储区域。第一存储区域中的误拒样本集可供具有合法访问权限的中继服务器获取第一存储区域中的所述误拒样本集并转发至终端设备。因为业务服务器中除了第一存储区域是解除了数据下载限制,其他区域存储的数据或模型均不能下载但只能被查看,所以能够提高业务服务器中在第一存储区域之外其他存储区域所存储数据集以及测试模型数据的安全性。
附图说明
图1为本申请实施例提供的一种数据集安全测试系统的示意图;
图2为本申请实施例中数据集安全测试方法的一种流程示意图;
图3为本申请实施例中数据集安全测试方法中数据集安全测试系统UI界面的示意图;
图4a为本申请实施例中数据集安全测试中业务服务器的一种结构示意图;
图4b为本申请实施例中数据集安全测试系统的一种结构示意图;
图5为本申请实施例中服务器的一种结构示意图;
图6为本申请实施例中服务终端的一种结构示意图;
图7为本申请实施例中服务器的一种结构示意图。
具体实施方式
本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本申请实施例中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请实施例中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请实施例方案的目的。
本申请实施例供了一种数据集安全测试方法、装置及存储介质,可用于数据集安全测试系统中的业务服务器,例如当业务服务器接收到中继服务器发送的模型测试请求后,基于模型测试请求获取对应的数据样本集和测试模型镜像并进行模型测试得到样本测试结果集。之后在业务服务器中获取所述样本测试结果集中的误拒样本集并转存至预设的第一存储区域,以供具有合法的第一数据下载请求所对应中继服务器获取第一存储区域中的所述误拒样本集。本申请实施例以业务服务器是服务器为例,当业务服务器是服务终端,可参考服务器的实施例,不作赘述。
本申请实施例的方案可基于人工智能技术实现,具体来说涉及人工智能技术中的计算机视觉技术技术领域领域,下面将分别进行介绍。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、人脸识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
一些实施方式中,本申请实施例可应用于如图1所示的一种数据集安全测试系统1,所述数据集安全测试系统1包括至少一个终端设备10、中继服务器20和业务服务器30,所述终端设备10和中继服务器20之间可以进行数据交互,所述中继服务器20和所述业务服务器30之间可以进行数据交互。其中,所述业务服务器30中存储有至少一个数据集,且该数据集是可不被终端设备10和中继服务器20随意下载的数据集,若所述终端设备10需要下载数据集基于测试模型镜像测试后得到样本测试结果集中的误拒样本集,需要终端设备10所发送的第一数据下载请求经过业务服务器30的验证后才能从业务服务器30中的第一存储区域中下载并查看误拒样本集。
所述业务服务器30为用于隔离存储数据集的隔离服务器,存储于业务服务器30中的数据集不能被终端设备10随意下载(除了具备管理员权限的终端设备10外)。若终端设备10在可访问业务服务器30的IP白名单内(可访问业务服务器30的IP白名单是存储于中继服务器20),则终端设备10能基于中继服务器20访问业务服务器30,之后终端设备10不仅能查看业务服务器30中的数据集,也能向业务服务器30中发送数据集以更新业务服务器30中的数据集。当然,终端设备10若在访问业务服务器30的IP白名单内也能向业务服务器30中发送测试模型以更新业务服务器30中的测试模型。而且,终端设备10若在访问业务服务器30的IP白名单内也能控制获取业务服务器30中的数据集对其中的测试模型进行测试。
其中,所述业务服务器30至少由以下四个部分组成:
A1)磁盘,业务服务器30中的数据集均存储于磁盘区域,以确保数据集的数据安全;
A2)后端服务,即Web Service,其可以拉取下述镜像仓库中存储的测试模型镜像以及拉取磁盘中的数据集输入至测试模型镜像进行模型测试,得到样本测试结果集;
A3)镜像仓库,具体是Docker镜像仓库,其可以存储测试模型镜像,所存储的测试模型镜像可以被后端服务拉取以进行模型测试;
A4)数据库,具体是MySQL数据库,其可以存储用户账号信息,当终端设备10需基于中继服务器20访问业务服务器30时,终端设备10的IP地址通过中继服务器20的IP白名单验证时,还需要对终端设备10的登录账号信息在数据库中存储的用户账号数据集中做进一步登录账号验证,当终端设备10的登录账号信息存在于数据库的用户账号数据集中则终端设备10可以基于中继服务器20正常访问业务服务器30并查看数据集,或是基于数据集对测试模型进行模型测试。
所述中继服务器20作为中继服务器20,其作用是负载均衡、限流、鉴权及查看操作记录;因限制了终端设备10不能直接访问业务服务器30,故只能通过中继服务器20作为中继服务器20来实现终端设备10对业务服务器30的访问。在多个终端设备10在同一时间段都具有访问业务服务器30的需求时,此时可通过中继服务器20对多个终端设备10中对应的访问数量做一个限制,只允许部分终端设备10能基于中继服务器20访问到业务服务器30。而且终端设备10在需经过中继服务器20访问业务服务器30时,中继服务器20也会对终端设备10的IP地址是否属于预设的IP地址白名单进行验证,只有在终端设备10的IP地址是属于IP地址白名单时,才能正常经过中继服务器20访问到业务服务器30。所述中继服务器20针对每一个终端设备10基于中继服务器20请求访问业务服务器30的访问记录进行保存,得到终端设备10基于中继服务器20请求访问业务服务器30的访问日志。
所述终端设备10则属于测试人员使用的前端用户端,在终端设备10上对应部署了与数据集安全测试系统对应的用户交互界面,具体可参考图3所示的数据集安全测试系统UI界面,在该数据集安全测试系统UI界面上至少包括用户管理组件,数据集使用界面和数据集管理界面。
其中,需要特别说明的是,本申请涉及的服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统。
本申请实施例涉及的服务终端,该服务终端可以包括:智能手机、平板电脑、笔记本电脑、桌上型电脑、智能电视、智能音箱、个人数字助理(英文全称:Personal DigitalAssistant,英文简称:PDA)、台式计算机、智能手表等携带多媒体数据处理功能(例如,视频数据播放功能、音乐数据播放功能)的智能终端,但并不局限于此。
为解决业务服务器中数据集的存储安全问题,本申请实施例主要提供以下技术方案:
当业务服务器接收到中继服务器发送的模型测试请求后,业务服务器响应该模型测试请求并在业务服务器中获取对应的数据样本集和测试模型镜像,获取完成后在业务服务器基于数据样本集对测试模型镜像进行模型测试得到样本测试结果集。由于在样本测试结果集中存在误拒样本,所以在业务服务器中获取样本测试结果集所有的误拒样本可组成误拒样本集并转存至作为解除了下载限制的第一存储区域。第一存储区域中的误拒样本集可供具有合法访问权限的中继服务器获取第一存储区域中的所述误拒样本集并转发至终端设备。
下面,将结合几个实施例对本申请技术方案进行详细的介绍说明。
参照图2,以下介绍本申请实施例所提供的一种数据集安全测试方法,本申请实施例包括:
201、终端设备向中继服务器发送模型测试请求。
其中,所述模型测试请求在所述终端设备中生成并发送至所述中继服务器,所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称。
相应的,中继服务器接收所述终端设备发送的模型测试请求。
在本申请实施例中,当终端设备需要基于业务服务器中的指定数据集对指定测试模型镜像进行测试时,需要先在终端设备中生成模型测试请求,具体可采用run指令,在该run指令中指定了本次访问所指向的数据集路径、测试模型路径和测试模型镜像名称,然后终端设备将该模型测试请求发送至中继服务器。
当中继服务器接收到了终端设备发送的模型测试请求时,则表示终端设备有通过中继服务器访问业务服务器的需求,在中继服务器对所述模型测试请求放行后即可发送至业务服务器,以进行后续的数据通讯。可见,基于业务服务器对模型测试请求的检测,可以快速响应以启动模型测试。
202、中继服务器向业务服务器发送模型测试请求。
如图3的用户管理组件中,用户若点击了登录按钮则输入登录账号信息以基于中继服务器访问业务服务器;用户若点击了用户信息管理按钮则可以对用户登录账号信息中的用户密码进行修改;用户若点击了操作日志按钮则可以查看到业务服务器中存储的数据集操及测试模型的操作日志(一般是具有管理员权限的用户才可点击操作日志按钮查看操作日志)。
继续参考如图3的数据集使用界面,当用户点击了模型服务管理按钮则在终端设备验证通过能基于中继服务器访问业务服务器时能对业务服务器中的测试模型镜像进行启动模型服务(即将测试模型镜像以http服务或grpc服务的形式启动,以供数据集访问,来达到检测数据集的目的)、停止模型服务、编辑模型服务(即可以测试模型镜像的模型参数进行自定义编辑)和删除模型服务;当用户点击了分析模型结果按钮,则可以对本次选中参与模型测试的数据集输入至测试模型镜像后输出的测试结果,还能对测试结果进行一些分析,主要是统计测试结果中统计得到的模型准确率、召回率、拒绝率等指标,来判断模型的效果等;当用户点击了查看结果按钮后,则可对测试模型镜像基于数据集进行测试后的测试结果的可视化展现,如将模型表现不好的数据进行展示;当用户点击了结果比对按钮时,则不同版本的数据集输入同一测试模型镜像后对应不同的测试结果之间进行比较,或者是将同一数据集输入至不同测试模型镜像后对应不同的测试结果之间进行比较。
继续参考如图3的数据集管理界面,当用户点击了数据集查看按钮,则可以基于中继服务器访问业务服务器中已存储的数据集,还可展示前所有数据集的情况概览,以及每个数据的描述列表,并可以进入数据集详情页,查看当前数据集的标签分布、数量、图片属性等;当用户点击了数据集更新按钮,则可基于中继服务器访问业务服务器中已存储的数据集并对数据集进行更新操作;当用户点击了数据集删除按钮,则可基于中继服务器访问业务服务器中已存储的数据集并对选中的数据集进行删除操作;当用户点击了数据集添加按钮,则可基于中继服务器访问业务服务器中并上传新的数据集至业务服务器中进行保存。
当中继服务器接收到了终端设备发送的模型测试请求时,则表示终端设备有访问通过中继服务器访问业务服务器的需求,在中继服务器对所述模型测试请求放行后即可发送至业务服务器,以进行后续的数据通讯。其中,所述模型测试请求具体可采用run指令,在该run指令中指定了本次访问所指向的数据集路径、测试模型路径和测试模型镜像名称。可见,基于业务服务器对模型测试请求的检测,可以快速响应以启动模型测试。
203、业务服务器获取与所述模型测试请求对应的数据样本集和测试模型镜像。
在本申请实施例中,当在所述业务服务器中获取到所述模型测试请求后,可以先对所述模型测试请求进行解析,然后基于详细的解析信息去更准确的获取对应的数据样本集和测试模型镜像。
因在所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称,故一些实施方式中,所述获取与所述模型测试请求对应的数据样本集和测试模型镜像,包括:
解析获取所述模型测试请求中的测试模型路径和测试模型镜像名称;
基于所述测试模型路径和所述测试模型镜像名称在镜像仓库中获取测试模型镜像;
基于所述模型测试请求中的数据集路径在磁盘中获取数据样本集。
在本申请实施例中,由于业务服务器中具体是在镜像仓库(如Docker镜像仓库)中存储若干个测试模型镜像,故当业务服务器接收到了模型测试请求并解析得到了其中所具体包括的数据集路径、测试模型路径和测试模型镜像名称时,可先根据所述测试模型路径和所述测试模型镜像名称在镜像仓库中获取测试模型镜像,从而获取到了作为目标测试模型的测试模型镜像。之后还可根据所述模型测试请求中的数据集路径在磁盘中获取数据样本集,从而获取到了作为目标数据集的数据样本集。
其中,为了有效记录业务服务器中针对测试模型镜像的操作记录,具体可在从镜像仓库中获取测试模型镜像时生成一条获取测试模型镜像的操作日志,并将该操作日志存储于业务服务器的数据库(如MySQL数据库)中。而且为了确保磁盘中数据集的数据安全,基于所述模型测试请求中的数据集路径在磁盘中获取数据样本集后,并不是直接将数据样本集发送至后端服务,而是将数据样本集的数据集路径通知后端服务即可。
204、业务服务器基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集。
在本申请实施例中,当已获取到了所述数据样本集和所述测试模型镜像之后,则具体将所述数据样本集作为所述测试模型镜像的输入,进行具体的模型测试运算,得到最终的样本测试结果集。其中,所述数据样本集中的一条数据样本输入至测试模型镜像中输出一条对应的样本测试结果,若该条样本测试结果与对应的数据样本的数据标注结果相同,表示该条数据样本是正常样本;而若该条样本测试结果与对应的数据样本的数据标注结果不相同,表示该条数据样本是误拒样本,误拒样本则是可重点查看的数据,以进一步分析其输入至测试模型镜像不能被正常输出数据标注结果的原因。可见,由于是基于用户的模型测试请求来选定数据样本集和测试模型镜像,使得整个测试过程能依照用户的实际需求进行。
一些实施方式中,在所述业务服务器获取与所述模型测试请求对应的数据样本集和测试模型镜像之后,所述业务服务器基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集之前,所述业务服务器体还可以执行下述操作:
将所述测试模型镜像部署于后端服务;
将所述数据样本集在所述磁盘中的数据集路径发送至所述后端服务。
在本申请实施例中,由于业务服务器中的镜像仓库和数据库仅具有存储功能,所以业务服务器在基于所述模型测试请求获取了测试模型镜像和数据样本集后,是先将所述测试模型镜像部署于后端服务,且该从镜像仓库中获取测试模型镜像并部署至后端服务的操作会生成一条操作日志并存储于数据库中,所生成的一条操作日志是为了记录从镜像仓库中获取测试模型镜像并部署于后端服务,确保每一操作均会被记录在数据库中以便于后续具有管理员权限的用户在数据库中回溯查看操作记录。之后再将所述数据样本集在所述磁盘中的数据集路径发送至所述后端服务,以避免直接将数据样本集的原始数据拉取至后端服务,能确保数据样本集(也即数据集)的数据安全。
一些实施方式中,在所述业务服务器获取与所述模型测试请求对应的数据样本集和测试模型镜像之后,所述业务服务器基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集之前,所述业务服务器体还可以执行下述操作:
所述业务服务器获取所述测试模型镜像的测试模型类型;
若所述测试模型类型为SDK测试类型,将所述数据样本集输入至所述测试模型镜像对应的封装包;
若所述测试模型类型为API测试类型,获取所述测试模型镜像的API接口并启动所述API接口,将所述数据样本集输入至所述API接口。
在本申请实施例中,在业务服务器的镜像仓库中至少部署有SDK测试类型或API测试类型的测试模型镜像。其中,SDK测试类型(SDK的全称是Software DevelopmentKit,表示软件开发工具包)的测试模型镜像可以理解为一个特定的软件包,其可提供多种服务并且能提供多个API接口(API的全称是Application Programming Interface,表示应用程序编程接口);API测试类型的测试模型镜像可以为一个测试函数的开放接口,将数据样本集输入至测试函数的开放接口即可进行模型测试。
因SDK测试类型的测试模型镜像和API测试类型的测试模型镜像在业务服务器的启动服务的方式不同,故下面对两者的启动方式分别做详细说明:
当用户操作终端设备基于代理服务器成功访问到业务服务器时,若用户选定针对数据样本集以SDK测试类型的测试模型镜像进行测试时,是业务服务器中的后端服务先在镜像仓库中拉取封装包形式的测试模型镜像,然后业务服务器再获取所述数据样本集在所述磁盘中的数据集路径并对所述后端服务进行通知。在所述后端服务成功部署了封装包形式的测试模型镜像并已知了所述数据样本集在所述磁盘中的数据集路径后,即可开启模型测试过程。
当用户操作终端设备基于代理服务器成功访问到业务服务器时,若用户选定针对数据样本集以API测试类型的测试模型镜像进行测试时,是业务服务器中的后端服务先在镜像仓库中拉取API测试类型的测试模型镜像,然后在后端服务中启动该API测试类型的测试模型镜像,最后业务服务器获取所述数据样本集在所述磁盘中的数据集路径并对所述后端服务进行通知。其中,之所以在先启动API测试类型的测试模型镜像,是因为API测试类型的测试模型镜像类似于一个进程,需要先启动后才能进行后续的模型测试。同样的,在所述后端服务成功部署了API测试类型的测试模型镜像并已知了所述数据样本集在所述磁盘中的数据集路径后,即可开启模型测试过程。当本次在API测试类型的测试模型镜像完成模型测试后,可以将API测试类型的测试模型镜像关闭(类似于关闭进程的操作),并在下一次再有数据样本集需输入至API测试类型的测试模型镜像,重复上述操作即可。
205、业务服务器若确定所述样本测试结果集中存在误拒样本,基于误拒样本确定误拒样本集;其中,所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同。
在本申请实施例中,所述样本测试结果集中会存在正常样本和误拒样本,因误拒样本被筛选出来后能进一步分析其导致样本测试结果与对应的数据样本的数据标注结果不相同的原因,故在业务服务器获取到样本测试结果集后能从中快速基于样本测试结果与数据标注结果不同的判断标准筛选出所有的误拒样本以组成误拒样本集。
206、业务服务器将所述误拒样本集存储至预设的第一存储区域。
其中,该第一存储区域中是业务服务器中解除了下载限制的特定区域,即业务服务器中的缓存区域。例如当终端设备后续有下载误拒样本集的需求时,若已将误拒样本集存储在了业务服务器中的缓存区域,这一区域因被解除了下载限制,故业务服务器能快速将误拒样本集从业务服务器中的缓存区域发送至终端设备。
在本申请实施例中,因业务服务器的磁盘中的所有数据集均不能直接被下载至其他节点(如终端设备或中继服务器)中进行查看,为了解锁这一部分数据的下载限制,可以将磁盘中筛选得到的误拒样本集先进行复制,然后将其粘贴存储于业务服务器中的所述第一存储区域。因该第一存储区域中是业务服务器中解除了下载限制的特定区域,故终端设备可以基于中继服务器作为代理从第一存储区域下载到所述误拒样本集。在业务服务器中除了第一存储区域以外的其他区域中的数据均不能被其他节点下载,通过这一专用下载区域的设置,确保了业务服务器中的数据安全。
207、业务服务器从所述中继服务器接收到来自所述终端设备的第一数据下载请求后,基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器。
其中,所述第一数据下载请求在所述终端设备中生成并发送至所述中继服务器,且通过所述中继服务器验证。
若所述中继服务器接收到所述终端设备发送的第一数据下载请求,且所述第一数据下载请求通过验证,所述中继服务器将所述第一数据下载请求发送至所述业务服务器。
在本申请实施例中,中继服务器可以对终端设备的第一数据下载请求进行验证,判断终端设备是否具备下载误拒样本集的权限。当所述终端设备有下载权限时,才能由中继服务器将所述第一数据下载请求发送至所述业务服务器。可见,基于中继服务器作为数据安全的第一道防护屏障,可有效拦截无权限的终端设备发送的任何数据下载请求。
一些实施方式中,所述若所述中继服务器接收到所述终端设备发送的第一数据下载请求,且所述第一数据下载请求通过验证,所述中继服务器将所述第一数据下载请求发送至所述业务服务器,包括:
所述中继服务器获取IP地址白名单;
若确定所述第一数据下载请求中的IP地址属于所述IP地址白名单,判定所述第一数据下载请求通过验证,且所述中继服务器将所述第一数据下载请求发送至所述业务服务器。
在本申请实施例中,因为在中继服务器中可以预设与终端设备相关的IP地址白名单,在该IP地址白名单中设置了至少一个IP地址,当所述第一数据下载请求中附带的IP地址属于IP地址白名单,则表示中继服务器可放行该第一数据下载请求并由所述中继服务器将所述第一数据下载请求发送至所述业务服务器,从而触发从第一存储区域下载误拒样本集的操作。当所述第一数据下载请求中附带的IP地址不属于IP地址白名单,则表示中继服务器不可放行该第一数据下载请求,直接由中继服务器拦截该第一数据下载请求即可。
当业务服务器已将误拒样本集存储至第一存储区域后,需要检测是否有中继服务器向其发送第一数据下载请求。由于中继服务器是作为代理节点且不能自主发出第一数据下载请求,故是先在终端设备中由用户的操作触发生成第一数据下载请求,且在该第一数据下载请求中至少包括误拒样本集路径,该第一数据下载请求先由终端设备发送至中继服务器,中继服务器再将所述第一数据下载请求发送至业务服务器。当业务服务器接收到所述第一数据下载请求,基于所述第一数据下载请求在所述第一存储区域中检索获取所述误拒样本集,并将所述误拒样本集发送至所述中继服务器,最终中继服务器再将所述误拒样本集发送至终端设备进行数据原文的查看和进一步分析。由于终端设备只是从业务服务器的第一存储区域中获取所述误拒样本集,并不能从业务服务器的其他区域获取到任何数据,确保了业务服务器中数据集的数据安全。
一些实施方式中,所述基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器,包括:
后端服务接收所述第一数据下载请求,并解析获取所述第一数据下载请求中的误拒样本集路径;
若确定所述样本集路径属于所述第一存储区域,将所述误拒样本集发送至所述中继服务器。
在本申请实施例中,具体是在业务服务器的后端服务先获取所述第一数据下载请求中的误拒样本集路径,然后将误拒样本集路径与第一存储区域的数据路径进行比对,若判定所述样本集路径属于所述第一存储区域,则表示该第一数据下载请求是合法的下载请求,可以由业务服务器将所述误拒样本集发送至所述中继服务器后,再由中继服务器将所述误拒样本集发送至终端设备进行数据原文的查看和进一步分析。
当业务服务器接收到了所述第一数据下载请求后,在所述第一存储区域中基于所述第一数据下载请求获取对应的所述误拒样本集,因该误拒样本集未被设置下载限制,故可以将其发送至所述中继服务器。
208、所述中继服务器将所述误拒样本集发送至所述终端设备。
在本申请实施例中,由于所述终端设备是以中继服务器为中继服务器访问业务服务器,故所述误拒样本集是不能直接被发送至所述终端设备,而是以所述中继服务器作为中间节点先接收所述误拒样本集,然后再由所述中继服务器将所述误拒样本集发送至所述终端设备,从而实现完整的误拒样本集下载流程。
可见,通过本方案,在人工智能的模型数据集测试等场景,当业务服务器接收到中继服务器发送的模型测试请求后,基于模型测试请求获取对应的数据样本集和测试模型镜像并进行模型测试得到样本测试结果集。之后在业务服务器中获取所述样本测试结果集中的误拒样本集并转存至预设的第一存储区域,以供具有合法的第一数据下载请求所对应中继服务器获取第一存储区域中的所述误拒样本集并转发至终端设备。由于业务服务器中除了第一存储区域以外的其他区域中存储数据均不能被下载只能被查看,提高了业务服务器中所存储数据集以及测试模型数据的安全性。
参阅图4a和图4b,图4a为本申请实施例中数据集安全测试系统中业务服务器的一种结构示意图,图4b为本申请实施例中数据集安全测试系统的一种结构示意图。如图4a所示的一种数据集安全测试系统1中业务服务器30的结构示意图,其可应用于人工智能的模型数据集测试等场景。本申请实施例中的数据集安全测试系统1中业务服务器30能够实现对应于上述图2所对应的实施例中业务服务器30所执行的数据集安全测试方法的步骤。数据集安全测试系统实现的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,所述模块可以是软件和/或硬件。如图4a所示所述业务服务器30具体包括收发模块31和处理模块32,收发模块31和处理模块32功能实现可参考图2所对应的实施例中所执行的操作,此处不作赘述。
一些实施方式中,所述业务服务器30包括收发模块31和处理模块32;
所述收发模块31,用于接收所述中继服务器发送的模型测试请求;其中,所述模型测试请求在所述终端设备中生成并发送至所述中继服务器,所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称;
所述处理模块32,用于获取与所述模型测试请求对应的数据样本集和测试模型镜像;基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集;
所述处理模块32,还用于若确定所述样本测试结果集中存在误拒样本,基于误拒样本确定误拒样本集;其中,所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同;将所述误拒样本集存储至预设的第一存储区域;
所述收发模块31,还用于从所述中继服务器接收到来自所述终端设备的第一数据下载请求后,基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器;其中,所述第一数据下载请求通过所述中继服务器验证。
可见,通过本方案,在人工智能的模型数据集测试等场景,当业务服务器接收到中继服务器发送的模型测试请求后,基于模型测试请求获取对应的数据样本集和测试模型镜像并进行模型测试得到样本测试结果集。之后在业务服务器中获取所述样本测试结果集中的误拒样本集并转存至预设的第一存储区域,以供具有合法的第一数据下载请求所对应中继服务器获取第一存储区域中的所述误拒样本集并转发至终端设备。由于业务服务器中除了第一存储区域以外的其他区域中存储数据均不能被下载只能被查看,提高了业务服务器中所存储数据集以及测试模型数据的安全性。
上面从模块化功能实体的角度对本申请实施例中的数据集安全测试系统进行了描述,下面从硬件处理的角度分别对本申请实施例中的人脸识别装置进行描述。
需要说明的是,在本申请实施例各实施例(包括图4a和图4b所示的各实施例)中所有的收发模块对应的实体设备可以为收发器,所有的处理模块对应的实体设备可以为处理器。当其中一种装置具有如图4a和图4b所示的结构时,处理器、收发器和存储器实现前述对应该装置的装置实施例提供的所述收发模块和所述处理模块相同或相似的功能,图5中的存储器存储处理器执行上述人脸识别方法时需要调用的计算机程序。
图4a所示的装置可以具有如图5所示的结构,当图4b所示的系统具有如图5所示的结构时,图5中的处理器能够实现前述对应该装置的装置实施例提供的所述处理模块相同或相似的功能,图5中的收发器能够实现前述对应该装置的装置实施例提供的所述收发模块相同或相似的功能,图5中的存储器存储处理器执行上述人脸识别方法时需要调用的计算机程序。在本申请实施例图4a或图4b所示的实施例中的所述收发模块所对应的实体设备可以为输入输出接口,所述处理模块对应的实体设备可以为处理器。
本申请实施例还提供了另一种终端设备,如图6所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该终端设备可以为包括手机、平板电脑、个人数字助理(英文全称:Personal Digital Assistant,英文简称:PDA)、销售终端(英文全称:Point of Sales,英文简称:POS)、车载电脑等任意终端设备,以终端为手机为例:
图6示出的是与本申请实施例提供的终端设备相关的手机的部分结构的框图。参考图6,手机包括:射频(英文全称:Radio Frequency,英文简称:RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(英文全称:wirelessfidelity,英文简称:WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解,图6中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
下面结合图6对手机的各个构成部件进行具体的介绍:
RF电路610可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器680处理;另外,将设计上行的数据发送给基站。通常,RF电路610包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称:LowNoise Amplifier,英文简称:LNA)、双工器等。此外,RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(英文全称:Global System of Mobile communication,英文简称:GSM)、通用分组无线服务(英文全称:General Packet Radio Service,英文简称:GPRS)、码分多址(英文全称:Code Division Multiple Access,英文简称:CDMA)、宽带码分多址(英文全称:Wideband Code Division Multiple Access,英文简称:WCDMA)、长期演进(英文全称:LongTerm Evolution,英文简称:LTE)、电子邮件、短消息服务(英文全称:Short MessagingService,英文简称:SMS)等。
存储器620可用于存储软件程序以及模块,处理器680通过运行存储在存储器620的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器620可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元630可包括触控面板631以及其他输入设备632。触控面板631,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板631上或在触控面板631附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板631可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器680,并能接收处理器680发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631,输入单元630还可以包括其他输入设备632。具体地,其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641,可选的,可以采用液晶显示器(英文全称:LiquidCrystal Display,英文简称:LCD)、有机发光二极管(英文全称:Organic Light-EmittingDiode,英文简称:OLED)等形式来配置显示面板641。进一步的,触控面板631可覆盖显示面板641,当触控面板631检测到在其上或附近的触摸操作后,传送给处理器680以确定触摸事件的类型,随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中,触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输出功能,但是在某些实施例中,可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器650,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板641的亮度,接近传感器可在手机移动到耳边时,关闭显示面板641和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路660、扬声器661,传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号,传输到扬声器661,由扬声器661转换为声音信号输出;另一方面,传声器662将收集的声音信号转换为电信号,由音频电路660接收后转换为音频数据,再将音频数据输出处理器680处理后,经RF电路610以发送给比如另一手机,或者将音频数据输出至存储器620以便进一步处理。
Wi-Fi属于短距离无线传输技术,手机通过Wi-Fi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图6示出了W-iFi模块670,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变申请的本质的范围内而省略。
处理器680是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器620内的软件程序和/或模块,以及调用存储在存储器620内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器680可包括一个或多个处理单元;优选的,处理器680可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器680中。
手机还包括给各个部件供电的电源690(比如电池),电源可以通过电源管理系统与处理器680逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
在本申请实施例中,该手机所包括的处理器680还具有控制执行以上由图2所示的数据集安全测试方法的流程图。
图7是本申请实施例提供的一种服务器结构示意图,该服务器720可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(英文全称:centralprocessing units,英文简称:CPU)722(例如,一个或一个以上处理器)和存储器732,一个或一个以上存储应用程序742或数据744的存储介质730(例如一个或一个以上海量存储设备)。其中,存储器732和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器722可以设置为与存储介质730通信,在服务器720上执行存储介质730中的一系列指令操作。
服务器720还可以包括一个或一个以上电源726,一个或一个以上有线或无线网络接口750,一个或一个以上输入输出接口758,和/或,一个或一个以上操作系统741,例如Windows Server,Mac OS X,Unix,Linux,FreeBSD等等。
上述实施例中由服务器所执行的步骤可以基于该图7所示的服务器720的结构。例如上述实施例中由图2所示的服务器的步骤可以基于该图7所示的服务器结构。例如,所述处理器7202通过调用存储器732中的指令,执行以下操作:
通过输入输出接口758接收中继服务器发送的模型测试请求;其中,所述模型测试请求在终端设备中生成并发送至中继服务器,所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称;
获取与所述模型测试请求对应的数据样本集和测试模型镜像;基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集;
若确定所述样本测试结果集中存在误拒样本,基于误拒样本确定误拒样本集;其中,所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同;将所述误拒样本集存储至预设的第一存储区域;
通过输入输出接口758从所述中继服务器接收到来自所述终端设备的第一数据下载请求后,基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器;其中,所述第一数据下载请求通过所述中继服务器验证。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本申请实施例各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机计算机程序时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上对本申请实施例所提供的技术方案进行了详细介绍,本申请实施例中应用了具体个例对本申请实施例的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请实施例的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请实施例的限制。
Claims (8)
1.一种数据集安全测试方法,应用于数据集安全测试系统中的业务服务器,所述安全测试系统包括中继服务器和至少一个终端设备,其特征在于,所述业务服务器中存储有至少一个用于测试模型的数据集,所述方法包括:
从所述中继服务器接收来自所述终端设备的模型测试请求;其中,所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称;
获取与所述模型测试请求对应的数据样本集和测试模型镜像;
基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集;
若确定所述样本测试结果集中存在误拒样本,基于误拒样本确定误拒样本集;其中,所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同;
将所述误拒样本集存储至预设的第一存储区域;
从所述中继服务器接收到来自所述终端设备的第一数据下载请求后,基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器;其中,所述第一数据下载请求通过所述中继服务器验证;
所述第一数据下载请求在所述终端设备中生成并发送至所述中继服务器,且通过所述中继服务器验证;若所述中继服务器接收到所述终端设备发送的第一数据下载请求,且所述第一数据下载请求通过验证,所述中继服务器将所述第一数据下载请求发送至所述业务服务器;
所述若所述中继服务器接收到所述终端设备发送的第一数据下载请求,且所述第一数据下载请求通过验证,所述中继服务器将所述第一数据下载请求发送至所述业务服务器,包括:
所述中继服务器获取IP地址白名单;
若确定所述第一数据下载请求中的IP地址属于所述IP地址白名单,判定所述第一数据下载请求通过验证,且所述中继服务器将所述第一数据下载请求发送至所述业务服务器。
2.根据权利要求1所述的方法,其特征在于,所述获取与所述模型测试请求对应的数据样本集和测试模型镜像,包括:
解析获取所述模型测试请求中的测试模型路径和测试模型镜像名称;
基于所述测试模型路径和所述测试模型镜像名称在镜像仓库中获取测试模型镜像;
基于所述模型测试请求中的数据集路径在磁盘中获取数据样本集。
3.根据权利要求2所述的方法,其特征在于,所述获取与所述模型测试请求对应的数据样本集和测试模型镜像之后,所述基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集之前,所述方法还包括:
将所述测试模型镜像部署于后端服务;
将所述数据样本集在所述磁盘中的数据集路径发送至所述后端服务。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述获取与所述模型测试请求对应的数据样本集和测试模型镜像之后,所述基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集之前,所述方法还包括:
获取所述测试模型镜像的测试模型类型;
若所述测试模型类型为SDK测试类型,将所述数据样本集输入至所述测试模型镜像对应的封装包;
若所述测试模型类型为API测试类型,获取所述测试模型镜像的API接口并启动所述API接口,将所述数据样本集输入至所述API接口。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器,包括:
后端服务接收所述第一数据下载请求,并解析获取所述第一数据下载请求中的误拒样本集路径;
若确定所述样本集路径属于所述第一存储区域,将所述误拒样本集发送至所述中继服务器。
6.一种数据集安全测试装置,其特征在于,所述数据集安全测试装置包括收发模块及处理模块;
所述收发模块,用于接收中继服务器发送的模型测试请求;其中,所述模型测试请求在终端设备中生成并发送至中继服务器,所述模型测试请求中包括数据集路径、测试模型路径和测试模型镜像名称;业务服务器中存储有至少一个用于测试模型的数据集;
所述处理模块,用于获取与所述模型测试请求对应的数据样本集和测试模型镜像;基于所述数据样本集对所述测试模型镜像进行模型测试,得到样本测试结果集;
所述处理模块,还用于若确定所述样本测试结果集中存在误拒样本,基于误拒样本确定误拒样本集;其中,所述误拒样本集中每一误拒样本对应的样本测试结果与数据标注结果不同;将所述误拒样本集存储至预设的第一存储区域;
所述收发模块,还用于从所述中继服务器接收到来自所述终端设备的第一数据下载请求后,基于所述第一数据下载请求在所述第一存储区域中获取所述误拒样本集并发送至所述中继服务器;其中,所述第一数据下载请求通过所述中继服务器验证;
所述第一数据下载请求在所述终端设备中生成并发送至所述中继服务器,且通过所述中继服务器验证;若所述中继服务器接收到所述终端设备发送的第一数据下载请求,且所述第一数据下载请求通过验证,所述中继服务器将所述第一数据下载请求发送至所述业务服务器;
所述若所述中继服务器接收到所述终端设备发送的第一数据下载请求,且所述第一数据下载请求通过验证,所述中继服务器将所述第一数据下载请求发送至所述业务服务器,包括:
所述中继服务器获取IP地址白名单;
若确定所述第一数据下载请求中的IP地址属于所述IP地址白名单,判定所述第一数据下载请求通过验证,且所述中继服务器将所述第一数据下载请求发送至所述业务服务器。
7.一种数据集安全测试装置,其特征在于,所述装置包括:
至少一个处理器、存储器和收发器;
其中,所述存储器用于存储计算机程序,所述处理器用于调用所述存储器中存储的计算机程序来执行如权利要求1-5中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,其包括指令,当其在计算机上运行时,使得计算机执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210772774.0A CN115061939B (zh) | 2022-06-30 | 2022-06-30 | 数据集安全测试方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210772774.0A CN115061939B (zh) | 2022-06-30 | 2022-06-30 | 数据集安全测试方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115061939A CN115061939A (zh) | 2022-09-16 |
CN115061939B true CN115061939B (zh) | 2023-08-01 |
Family
ID=83203730
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210772774.0A Active CN115061939B (zh) | 2022-06-30 | 2022-06-30 | 数据集安全测试方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115061939B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115525554B (zh) * | 2022-09-27 | 2024-01-30 | 北京瑞莱智慧科技有限公司 | 模型的自动化测试方法、系统及存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113419951A (zh) * | 2021-06-22 | 2021-09-21 | 平安银行股份有限公司 | 人工智能模型优化方法、装置、电子设备及存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106790343B (zh) * | 2016-11-03 | 2020-05-19 | 深圳市元征软件开发有限公司 | 一种资源下载方法、及服务器 |
CN109582583A (zh) * | 2018-12-14 | 2019-04-05 | 平安健康保险股份有限公司 | 软件测试方法、装置、计算机设备和存储介质 |
CN109857475B (zh) * | 2018-12-27 | 2020-06-16 | 深圳云天励飞技术有限公司 | 一种框架管理的方法及装置 |
US10885099B1 (en) * | 2019-08-07 | 2021-01-05 | Capital One Services, Llc | Systems and methods for presenting image classification results |
CN110851359B (zh) * | 2019-11-07 | 2023-10-27 | 网易(杭州)网络有限公司 | 应用程序测试方法、装置及服务器 |
CN113590304A (zh) * | 2021-02-07 | 2021-11-02 | 腾讯科技(深圳)有限公司 | 一种业务数据处理方法、装置、计算机设备及存储介质 |
CN113158169A (zh) * | 2021-03-30 | 2021-07-23 | 北京大米科技有限公司 | 一种基于Hadoop集群的验证方法、装置、存储介质及电子设备 |
CN114091015A (zh) * | 2021-11-25 | 2022-02-25 | 山东亿云信息技术有限公司 | 一种基于数据安全沙箱的数据处理方法及系统 |
-
2022
- 2022-06-30 CN CN202210772774.0A patent/CN115061939B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113419951A (zh) * | 2021-06-22 | 2021-09-21 | 平安银行股份有限公司 | 人工智能模型优化方法、装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN115061939A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20160241589A1 (en) | Method and apparatus for identifying malicious website | |
CN111262887B (zh) | 基于对象特征的网络风险检测方法、装置、设备及介质 | |
CN107329985B (zh) | 一种页面的收藏方法、装置和移动终端 | |
CN106126174B (zh) | 一种场景音效的控制方法、及电子设备 | |
WO2019061040A1 (zh) | 一种文件管理方法及装置 | |
CN110020293B (zh) | 多媒体数据展示方法、装置及存储介质 | |
CN107766358B (zh) | 一种页面分享的方法及相关装置 | |
CN112148579B (zh) | 一种用户界面的测试方法和装置 | |
CN111078556B (zh) | 应用测试方法及装置 | |
CN109857297A (zh) | 信息处理方法及终端设备 | |
US10298590B2 (en) | Application-based service providing method, apparatus, and system | |
CN115061939B (zh) | 数据集安全测试方法、装置及存储介质 | |
CN110069407B (zh) | 一种应用程序的功能测试方法和装置 | |
CN106020945B (zh) | 快捷项添加方法及装置 | |
CN109542511A (zh) | 一种应用安装包的检测方法、装置及移动设备 | |
CN115589432A (zh) | 消息推送管理方法、装置、介质及设备 | |
CN110399721A (zh) | 一种软件识别方法和服务器以及客户端 | |
WO2014180134A1 (en) | Method for analyzing spyware and computer system | |
US11567822B2 (en) | Method of monitoring closed system, apparatus thereof and monitoring device | |
CN114490307A (zh) | 一种单元测试方法、装置及存储介质 | |
US20140337975A1 (en) | Method for analyzing spyware and computer system | |
CN114422274B (zh) | 一种基于云原生的多场景漏洞检测方法、装置及存储介质 | |
CN115525554B (zh) | 模型的自动化测试方法、系统及存储介质 | |
CN115565215B (zh) | 一种人脸识别算法切换方法、装置及存储介质 | |
CN107317919B (zh) | 一种通讯消息的回复方法、装置和移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |