CN113222074A - 评估目标检测模型的方法及装置 - Google Patents
评估目标检测模型的方法及装置 Download PDFInfo
- Publication number
- CN113222074A CN113222074A CN202110663425.0A CN202110663425A CN113222074A CN 113222074 A CN113222074 A CN 113222074A CN 202110663425 A CN202110663425 A CN 202110663425A CN 113222074 A CN113222074 A CN 113222074A
- Authority
- CN
- China
- Prior art keywords
- sample
- countermeasure
- probability
- attack
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000004590 computer program Methods 0.000 claims abstract description 13
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 10
- 238000011156 evaluation Methods 0.000 claims abstract description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000013136 deep learning model Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本公开提供了一种评估目标检测模型的方法、装置、电子设备、存储介质以及计算机程序产品，涉及人工智能技术领域，尤其涉及人工智能安全技术领域。具体实现方案为：分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对每个对抗样本集中每个对抗样本的输出结果；根据与每个对抗样本集对应的阈值和对抗样本集中每个对抗样本的输出结果，确定每个对抗样本所对应的攻击是否成功，并统计对抗样本集的攻击成功率，其中，每个对抗样本集对应于不同的阈值；以及根据多个对抗样本集的攻击成功率，确定针对目标检测模型的鲁棒性评估参数。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及人工智能安全技术领域。
背景技术
在对抗环境中，深度学习模型较容易受到对抗样本的攻击。其中，对抗样本是基于正常样本恶意构造出的样本。对于人类来说，对抗样本和正常样本之间的区别不明显，因此人类可以很轻易地将对抗样本正确地分类。但是将这些对抗样本输入深度学习模型后，深度学习模型却很难将这些对抗样本正确地分类。
基于此，深度学习模型抵御对抗样本的能力被称为深度学习模型的鲁棒性。评估深度学习模型的鲁棒性是一项非常重要的工作。
发明内容
本公开提供了一种评估目标检测模型的方法、装置、电子设备、存储介质以及计算机程序产品。
根据本公开的一方面，提供了一种评估目标检测模型的方法，包括：分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对所述每个对抗样本集中每个对抗样本的输出结果；根据与所述每个对抗样本集对应的阈值和所述对抗样本集中每个对抗样本的输出结果，确定所述每个对抗样本所对应的攻击是否成功，并统计所述对抗样本集的攻击成功率，其中，所述每个对抗样本集对应于不同的阈值；以及根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数。
根据本公开的另一方面，提供了一种评估目标检测模型的装置，包括：攻击模块，用于分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对所述每个对抗样本集中每个对抗样本的输出结果；统计模块，用于根据与所述每个对抗样本集对应的阈值和所述对抗样本集中每个对抗样本的输出结果，确定所述每个对抗样本所对应的攻击是否成功，并统计所述对抗样本集的攻击成功率，其中，所述每个对抗样本集对应于不同的阈值；以及确定模块，用于根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数。
本公开的另一个方面提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开实施例所示的方法。
根据本公开实施例的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开实施例所示的方法。
根据本公开实施例的另一方面，提供了一种计算机程序产品，计算机程序，所述计算机程序在被处理器执行时实现本公开实施例所示的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开的实施例的评估目标检测模型的方法的流程图；
图2示意性示出了根据本公开的实施例的利用对抗样本集攻击待评估的目标检测模型的方法的流程图；
图3示意性示出了根据本公开另一实施例的评估目标检测模型的方法的流程图；
图4示意性示出了根据本公开的实施例的生成多个对抗样本集示意图；
图5示意性示出了根据本公开的实施例的评估目标检测模型的方法示意图；
图6示意性示出了根据本公开实施例的评估目标检测模型的装置的框图；
图7示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1示意性示出了根据本公开的实施例的评估目标检测模型的方法的流程图。
如图1所示，该评估目标检测模型的方法100包括操作S110～S130。
在操作S110，分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对每个对抗样本集中每个对抗样本的输出结果。
根据本公开的实施例，目标检测模型是深度学习模型的一种类型，可以用于找出图像中所有感兴趣的目标(例如物体)，并确定目标的类别和位置。目标检测模型例如可以为yolov3。需要说明的是，此处的yolov3仅为示例，本公开对目标检测模型的具体类型不作具体限定。
示例性地，本实施例中，目标检测模型可以用于输出预测框的位置数据、第一概率和第二概率，其中，第一概率用于表示预测框中包含任意目标的概率，第二概率用于表示预测框中包含特定目标的概率，预测框为存在目标的预测区域。其中，特定目标可以根据实际需要进行设置，例如可以包括人体、动物、植物等等。需要说明的是，特定目标的数量可以为一个或多个。特定目标的数量为多个的情况下，相应地，第二概率也可以有多个，分别对应预测框中包含该多个特定目标的概率。
根据本公开的实施例，每个对抗样本集用于针对目标检测模型输出的预测框的位置数据、第一概率和第二概率中的任意一个或多个进行攻击。可以理解的是，对抗样本集可以用于定向攻击也可以用于非定向攻击。
然后，在操作S120，根据与每个对抗样本集对应的阈值和对抗样本集中每个对抗样本的输出结果，确定每个对抗样本所对应的攻击是否成功，并统计对抗样本集的攻击成功率。
根据本公开的实施例，每个对抗样本集可以对应于不同的阈值。例如，对于3个用于攻击第一概率的对抗样本集，对应的阈值可以分别为0.4、0.6和0.8。即可以以0.4作为阈值判断第一个对抗样本集中的攻击是否成功，当目标检测模型针对第一个对抗样本集中的对抗样本输出的第一概率小于0.4则表示该对抗样本所对应的攻击成功，否则该攻击不成功。以0.6作为阈值判断第二个对抗样本集中的攻击是否成功，当目标检测模型针对第二个对抗样本集中的对抗样本输出的第一概率小于0.6则表示该对抗样本所对应攻击成功，否则该攻击不成功。以0.8作为阈值判断第三个对抗样本集中的攻击是否成功，当目标检测模型针对第三个对抗样本集中的对抗样本输出的第一概率小于0.8则表示该对抗样本所对应攻击成功，否则该攻击不成功。
根据本公开的实施例，在确定每个对抗样本集所对应的攻击成功的次数后，可以计算攻击成功的次数与总攻击次数的比值，作为该对抗样本集的攻击成功率。
在操作S130，根据多个对抗样本集的攻击成功率，确定针对目标检测模型的鲁棒性评估参数。
根据本公开的实施例，目标检测模型的鲁棒性评估参数可以用于定量目标检测模型的鲁棒性，从而提高了对目标检测模型鲁棒性进行评估时的准确性。
根据本公开的实施例，可以预先对每个对抗样本集的设置权重。基于此，在确定针对目标检测模型的鲁棒性评估参数时，可以获取多个对抗样本集的权重，根据权重对每个对抗样本集的攻击成功率进行加权求和处理，得到求和结果，作为针对目标检测模型的鲁棒性评估参数。
根据本公开的实施例，权重可以与阈值对应设置。例如，较小的阈值对应于模型预测错误较为严重的情况，因此可以对阈值较小的对抗样本集设置较大的权重，对阈值较大的对抗样本集设置较大的权重，从而提高了对严重错误的关注度。例如，可以对阈值为0.4、0.6的对抗样本集设置0.3的权重，为阈值为0.8的对抗样本集设置0.2的权重。
下面对确定每个对抗样本所对应的攻击是否成功的方法做进一步说明。
根据本公开的实施例，对抗样本集可以用于针对预测框的位置数据、第一概率和第二概率中的任意一个或多个方面进行攻击。每个对抗样本集中的每个对抗样本的攻击方面相同。
根据本公开的实施例，对于用于攻击预测框的位置数据的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括目标检测模型针对该对抗样本输出的预测框的位置数据。根据该预测框的位置数据可以确定预测框与真实框之间的交并比(Intersection over Union，IoU)，其中，交并比可以用于表示样本中存在目标的预测区域(即预测框)和真实存在目标的区域(真实框)之间的相似性。相应地，与该对抗样本集对应的阈值包括交并比阈值。
基于此，可以针对该对抗样本集中的每个对抗样本，获取与对抗样本对应的真实框的位置数据。根据预测框的位置数据和真实框的位置数据，确定预测框与真实框之间的交并比(Intersection over Union，IoU)。然后在交并比小于交并比阈值的情况下，确定对抗样本所对应的攻击为成功。根据本公开的实施例，交并比阈值可以根据实际需要进行确定。示例性地，本实施例中，交并比阈值例如可以设置为25％、50％、75％和90％等。
例如，预测框的位置数据为(x1，y1，w1，h1)，对应的真实框的位置数据为(x2，y2，w2，h2)其中，x1，y1表示预测框左上角的位置坐标，w1表示预测框的宽，h1表示预测框的高，x2，y2表示真实框左上角的位置坐标，w2表示真实框的宽，h2表示真实框的高。可以根据(x1，y1，w1，h1)和(x2，y2，w2，h2)计算预测框与真实框的交集与预测框与真实框的并集的比值，作为预测框与真实框之间的交并比。
根据本公开的实施例，对于用于攻击第一概率的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括目标检测模型针对该对抗样本输出的第一概率。相应地，与该对抗样本集对应的阈值包括第一概率阈值。
基于此，可以针对每个对抗样本，在与对抗样本对应的第一概率小于第一概率阈值情况下，确定对抗样本所对应的攻击为成功。根据本公开的实施例，第一概率阈值可以根据实际需要进行确定。示例性地，本实施例中，第一概率阈值例如可以设置为0.4、0.5、0.6、0.7、0.8等。
根据本公开的实施例，对于用于攻击第二概率的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括目标检测模型针对该对抗样本输出的第二概率。相应地，与该对抗样本集对应的阈值包括第二概率阈值。
根据本公开的实施例，可以针对每个对抗样本，在与对抗样本对应的第二概率小于第二概率阈值情况下，确定对抗样本所对应的攻击为成功。根据本公开的实施例，第二概率阈值可以根据实际需要进行确定。示例性地，本实施例中，第二概率阈值例如可以设置为0.4、0.5、0.6、0.7、0.8等。
根据本公开的另一实施例，对于用于同时攻击预测框的位置数据和第一概率的对抗样本集，在确定对抗样本集中每个对抗样本所对应的攻击是否成功时，可以针对对抗样本所对应交并比和第一概率中的一个或全部与对应的阈值进行比较。在交并比小于交并比阈值和第一概率小于第一概率阈值两种情况满足其一或同时满足的情况下，确定对抗样本所对应的攻击为成功。
同理，对于用于同时攻击预测框的位置数据和第一概率的对抗样本集，在确定对抗样本集中每个对抗样本所对应的攻击是否成功时，可以针对对抗样本所对应交并比和第二概率中的一个或全部与对应的阈值进行比较。在交并比小于交并比阈值和第二概率小于第二概率阈值两种情况满足其一或同时满足的情况下，确定对抗样本所对应的攻击为成功。
同理，对于用于同时攻击第一概率和第二概率的对抗样本集，在确定对抗样本集中每个对抗样本所对应的攻击是否成功时，可以针对第一概率和第二概率中的任意一个或全部与对应的阈值进行比较。在第一概率小于第一概率阈值和第二概率小于第二概率阈值两种情况满足其一或同时满足的情况下，确定对抗样本所对应的攻击为成功。
根据本公开的另一实施例，对于用于同时攻击预测框的位置数据和第一概率的对抗样本集，在确定对抗样本集中每个对抗样本所对应的攻击是否成功时，可以针对预测框的位置数据、第一概率第二概率中的任意一个或多个与对应的阈值进行比较。在交并比小于交并比阈值、第一概率小于第一概率阈值和第二概率小于第二概率阈值三种情况满足任意一个或者同时满足的情况下，确定对抗样本所对应的攻击为成功。
下面结合图2对利用对抗样本集攻击待评估的目标检测模型的方法做进一步说明。
图2示意性示出了根据本公开的实施例的利用对抗样本集攻击待评估的目标检测模型的方法的流程图。
如图2所示，该方法210包括针对每个对抗样本集，执行操作S211～S216。
在操作S211，获取对抗样本集中的一个任意对抗样本。
在操作S212，利用目标检测模型对对抗样本进行检测，得到针对对抗样本的输出结果。
然后，在操作S213，根据针对对抗样本的输出结果，确定目标损失值。
在操作S214，判断是否已得到针对对抗样本集中每个对抗样本的输出结果。在还未得到针对对抗样本集中每个对抗样本的输出结果的情况下，执行操作S215。在已得到针对对抗样本集中每个对抗样本的输出结果的情况下，结束攻击操作。
在操作S215，根据目标损失值，调整目标检测模型的参数。
在操作S216，获取对抗样本集中另一个对抗样本，并返回操作S212，以利用目标检测模型对该对抗样本进行检测。
根据本公开的实施例，对于预测框的位置数据，可以计算预测框的位置数据和真实框的位置数据之间的回归损失。对于第一概率，可以根据第一概率计算二分类的交叉熵损失。对于第二概率，可以根据第二概率计算交叉熵损失。目标损失值可以根据由预测框的位置数据得到的回归损失、由第一概率得到的交叉熵损失和由第二概率得到的交叉熵损失中的任意一个或多个来确定。
根据本公开的实施例，通过将对抗样本输入目标检测模型，得到目标检测模型针对对抗样本的输出结果，根据该输出结果可以判断该对抗样本所对应的攻击是否成功，进而可以对目标检测模型的鲁棒性进行评估。
图3示意性示出了根据本公开另一实施例的评估目标检测模型的方法的流程图。
如图3所示，该评估目标检测模型的方法300包括操作S310～S340。
在操作S310，生成多个对抗样本集。
根据本公开的实施例，可以获取多个原始样本集，其中，多个原始样本集中的每个原始样本集包括多个原始样本。基于攻击算法，对每个原始数据集中的原始样本添加扰动，得到多个对抗样本集。
示例性地，本实施例中，攻击算法例如可以包括快速梯度下降算法(FastGradient Sign Method，FGSM)、投影梯度下降算法(Project Gradient Descent，PGD)、卡利尼-瓦格纳攻击算法(Carlini-Wagner Attack，CW)等等。
在操作S320，分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对每个对抗样本集中每个对抗样本的输出结果。
在操作S330，根据与每个对抗样本集对应的阈值和对抗样本集中每个对抗样本的输出结果，确定每个对抗样本所对应的攻击是否成功，并统计对抗样本集的攻击成功率。
在操作S340，根据多个对抗样本集的攻击成功率，确定针对目标检测模型的鲁棒性评估参数。
根据本公开的实施例，操作S320～S340例如可以参考上文，在此不再赘述。
下面参考图4～图5，结合具体实施例对评估目标检测模型的方法做进一步说明。本领域技术人员可以理解，以下示例实施例仅用于理解本公开，本公开并不局限于此。
图4示意性示出了根据本公开的实施例的生成多个对抗样本集示意图。
如图4所示，获取原始样本集411，其中，原始样本集包括n个原始样本，n为正整数。然后基于攻击算法420，分别对每个原始数据集420中的每个原始样本添加扰动，得到n个对抗样本，作为对抗样本集431。
图5示意性示出了根据本公开的实施例的评估目标检测模型的方法示意图。
如图5所示，对抗样本集511、512、513是根据上文所示的生成多个对抗样本集的方法生成的。对于对抗样本集511、512、513中的每个对抗样本，设置有对应的真实框的位置数据、是否包含目标的标识，以及在包含目标的情况下，包含目标的类型。
示例性地，本实施例中，可以分3个批次攻击待评估的目标检测模型，3个批次分别对应对抗样本集511、512、513，其中，对抗样本集511用于攻击预测框的位置数据，对抗样本集512用于攻击第一概率，对抗样本集513用于攻击第二概率。在攻击的过程中，分别将对抗样本集511、512、513中的每个对抗样本输入目标检测模型520，相应地，目标检测模型520输出与每个对抗样本对应的预测框的位置数据、第一概率和第二概率。示例性地，本实施例中，目标检测模型的输出为(tx，ty，tw，th，Pobj，P1，P2，...，PC)，其中，预测框的位置数据包括tx，ty，tw，th，第一概率包括Pobj，第二概率包括P1，P2，...，PC。其中，tx，ty表示预测框左上角的位置坐标，tw，th分别表示预测框的宽和长，Pobj表示预测框中是否包含目标的概率，P1，P2，...，PC分别表示预测框中包含第一个类型的目标的概率、包含第二个类型的目标的概率、…包含第c个类型的目标的概率。
然后，可以根据对抗样本集511攻击得到的预测框的位置数据531，计算交并比，并和对应的交并比阈值比较，从而确定对抗样本集511所对应的攻击中哪些攻击为成功，并计算第一成功率541。除此之外，可以将对抗样本集512攻击得到的第一概率532和对应的第一概率阈值比较，从而确定对抗样本集512所对应的攻击中哪些攻击为成功，并计算第二成功率542。另外，可以将对抗样本集513攻击得到的第二概率533和对应的第二概率阈值比较，从而确定对抗样本集513所对应的攻击中哪些攻击为成功，并计算第三成功率543。然后将第一成功率541、第二成功率542和第三成功率543加权求和，得到鲁棒性评估参数551，用于对目标检测模型的鲁棒性进行评估。
需要说明的是，本公开的技术方案中，所涉及的数据的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
图6示意性示出了根据本公开实施例的评估目标检测模型的装置的框图。
如图6所示，评估目标检测模型的装置600包括攻击模块610、统计模块620和确定模块630。
攻击模块610，用于分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对每个对抗样本集中每个对抗样本的输出结果。
统计模块620，用于根据与每个对抗样本集对应的阈值和对抗样本集中每个对抗样本的输出结果，确定每个对抗样本所对应的攻击是否成功，并统计对抗样本集的攻击成功率，其中，每个对抗样本集对应于不同的阈值。
确定模块630，用于根据多个对抗样本集的攻击成功率，确定针对目标检测模型的鲁棒性评估参数。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如评估目标检测模型的方法。例如，在一些实施例中，评估目标检测模型的方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的评估目标检测模型的方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行评估目标检测模型的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (13)
1.一种评估目标检测模型的方法，包括：
分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对所述每个对抗样本集中每个对抗样本的输出结果；
根据与所述每个对抗样本集对应的阈值和所述对抗样本集中每个对抗样本的输出结果，确定所述每个对抗样本所对应的攻击是否成功，并统计所述对抗样本集的攻击成功率，其中，所述每个对抗样本集对应于不同的阈值；以及
根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数。
2.根据权利要求1所述的方法，其中，所述目标检测模型用于输出预测框的位置数据、第一概率和第二概率，其中，所述第一概率用于表示预测框中包含任意目标的概率，所述第二概率用于表示预测框中包含特定目标的概率，
所述每个对抗样本集用于针对目标检测模型输出的预测框的位置数据、第一概率和第二概率中的任意一个或多个进行攻击。
3.根据权利要求2所述的方法，其中，对于所述多个对抗样本集中用于攻击预测框的位置数据的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括所述目标检测模型针对该对抗样本输出的预测框的位置数据，与该对抗样本集对应的阈值包括交并比阈值；
其中，所述确定所述每个对抗样本所对应的攻击是否成功包括：
针对所述每个对抗样本：
获取与所述对抗样本对应的真实框的位置数据；
根据所述预测框的位置数据和所述真实框的位置数据，确定所述预测框与所述真实框之间的交并比；以及
在所述交并比小于所述交并比阈值的情况下，确定所述对抗样本所对应的攻击为成功。
4.根据权利要求2所述的方法，其中，对于所述多个对抗样本集中用于攻击第一概率的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括所述目标检测模型针对该对抗样本输出的第一概率，与该对抗样本集对应的阈值包括第一概率阈值；
其中，所述确定所述每个对抗样本所对应的攻击是否成功包括：
针对所述每个对抗样本，在与所述对抗样本对应的第一概率小于第一概率阈值情况下，确定所述对抗样本所对应的攻击为成功。
5.根据权利要求2所述的方法，其中，对于所述多个对抗样本集中用于攻击第二概率的对抗样本集，针对该对抗样本集中每个对抗样本的输出结果包括所述目标检测模型针对该对抗样本输出的第二概率，与该对抗样本集对应的阈值包括第二概率阈值；
其中，所述确定所述每个对抗样本所对应的攻击是否成功包括：
针对所述每个对抗样本，在与所述对抗样本对应的第二概率小于第二概率阈值情况下，确定所述对抗样本所对应的攻击为成功。
6.根据权利要求2所述的方法，其中，所述分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，包括：
针对所述每个对抗样本集，
利用所述目标检测模型对所述对抗样本集中的一个任意对抗样本进行检测，得到针对所述对抗样本的输出结果；
根据针对所述对抗样本的输出结果，确定目标损失值；
根据所述目标损失值，调整所述目标检测模型的参数；以及
获取所述对抗样本集中另一个对抗样本，并返回利用所述目标检测模型对所述对抗样本进行检测的操作，直到得到针对对抗样本集中每个对抗样本的输出结果。
7.根据权利要求1所述的方法，其中，所述根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数，包括：
根据所述多个对抗样本集的权重，对所述多个对抗样本集的攻击成功率进行加权求和处理，得到求和结果，作为所述鲁棒性评估参数。
8.根据权利要求1-7中任一项所述的方法，还包括生成所述多个对抗样本集，其中，所述生成所述多个对抗样本集包括：
获取多个原始样本集，其中，所述多个原始样本集中的每个原始样本集包括多个原始样本；以及
基于攻击算法，对所述每个原始数据集中的原始样本添加扰动，得到所述多个对抗样本集。
9.根据权利要求8所述的方法，其中，所述攻击算法包括快速梯度下降算法、投影梯度下降算法、卡利尼-瓦格纳攻击算法中的任意一个或多个。
10.一种评估目标检测模型的装置，包括：
攻击模块，用于分别利用多个对抗样本集中的每个对抗样本集攻击待评估的目标检测模型，得到针对所述每个对抗样本集中每个对抗样本的输出结果；
统计模块，用于根据与所述每个对抗样本集对应的阈值和所述对抗样本集中每个对抗样本的输出结果，确定所述每个对抗样本所对应的攻击是否成功，并统计所述对抗样本集的攻击成功率，其中，所述每个对抗样本集对应于不同的阈值；以及
确定模块，用于根据所述多个对抗样本集的攻击成功率，确定针对所述目标检测模型的鲁棒性评估参数。
11.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
13.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110663425.0A CN113222074B (zh) | 2021-06-15 | 2021-06-15 | 评估目标检测模型的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110663425.0A CN113222074B (zh) | 2021-06-15 | 2021-06-15 | 评估目标检测模型的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113222074A true CN113222074A (zh) | 2021-08-06 |
| CN113222074B CN113222074B (zh) | 2023-08-22 |
Family
ID=77080346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110663425.0A Active CN113222074B (zh) | 2021-06-15 | 2021-06-15 | 评估目标检测模型的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113222074B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419346A (zh) * | 2021-12-31 | 2022-04-29 | 北京瑞莱智慧科技有限公司 | 一种模型的鲁棒性检测方法、装置、设备及介质 |
| CN114722812A (zh) * | 2022-04-02 | 2022-07-08 | 尚蝉(浙江)科技有限公司 | 一种多模态深度学习模型脆弱性的分析方法和系统 |
| CN115643056A (zh) * | 2022-09-30 | 2023-01-24 | 支付宝(杭州)信息技术有限公司 | 一种网络模型的防攻击能力测试方法及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190260768A1 (en) * | 2018-02-20 | 2019-08-22 | General Electric Company | Cyber-attack detection, localization, and neutralization for unmanned aerial vehicles |
| CN110222831A (zh) * | 2019-06-13 | 2019-09-10 | 百度在线网络技术（北京）有限公司 | 深度学习模型的鲁棒性评估方法、装置及存储介质 |
| CN111046394A (zh) * | 2019-12-12 | 2020-04-21 | 支付宝(杭州)信息技术有限公司 | 一种基于对抗样本增强模型抗攻击能力的方法和系统 |
| CN111461226A (zh) * | 2020-04-01 | 2020-07-28 | 深圳前海微众银行股份有限公司 | 对抗样本生成方法、装置、终端及可读存储介质 |
| CN111488916A (zh) * | 2020-03-19 | 2020-08-04 | 天津大学 | 一种基于训练集数据的对抗攻击方法 |
| CN111723865A (zh) * | 2020-06-19 | 2020-09-29 | 北京瑞莱智慧科技有限公司 | 评估图像识别模型、攻击方法性能的方法、装置和介质 |
| CN111866004A (zh) * | 2020-07-27 | 2020-10-30 | 中国工商银行股份有限公司 | 安全评估方法、装置、计算机系统和介质 |
| CN111950626A (zh) * | 2020-08-10 | 2020-11-17 | 上海交通大学 | 基于em的图像分类深度神经网络模型鲁棒性评估方法 |
| CN111949993A (zh) * | 2020-08-18 | 2020-11-17 | 北京瑞莱智慧科技有限公司 | 模型安全性评估方法、介质、装置和计算设备 |
| CN112766315A (zh) * | 2020-12-31 | 2021-05-07 | 湖南大学 | 一种用于测试人工智能模型鲁棒性的方法和系统 |
| CN112926661A (zh) * | 2021-02-26 | 2021-06-08 | 电子科技大学 | 一种增强图像分类鲁棒性的方法 |
-
2021
- 2021-06-15 CN CN202110663425.0A patent/CN113222074B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190260768A1 (en) * | 2018-02-20 | 2019-08-22 | General Electric Company | Cyber-attack detection, localization, and neutralization for unmanned aerial vehicles |
| CN110222831A (zh) * | 2019-06-13 | 2019-09-10 | 百度在线网络技术（北京）有限公司 | 深度学习模型的鲁棒性评估方法、装置及存储介质 |
| CN111046394A (zh) * | 2019-12-12 | 2020-04-21 | 支付宝(杭州)信息技术有限公司 | 一种基于对抗样本增强模型抗攻击能力的方法和系统 |
| CN111488916A (zh) * | 2020-03-19 | 2020-08-04 | 天津大学 | 一种基于训练集数据的对抗攻击方法 |
| CN111461226A (zh) * | 2020-04-01 | 2020-07-28 | 深圳前海微众银行股份有限公司 | 对抗样本生成方法、装置、终端及可读存储介质 |
| CN111723865A (zh) * | 2020-06-19 | 2020-09-29 | 北京瑞莱智慧科技有限公司 | 评估图像识别模型、攻击方法性能的方法、装置和介质 |
| CN111866004A (zh) * | 2020-07-27 | 2020-10-30 | 中国工商银行股份有限公司 | 安全评估方法、装置、计算机系统和介质 |
| CN111950626A (zh) * | 2020-08-10 | 2020-11-17 | 上海交通大学 | 基于em的图像分类深度神经网络模型鲁棒性评估方法 |
| CN111949993A (zh) * | 2020-08-18 | 2020-11-17 | 北京瑞莱智慧科技有限公司 | 模型安全性评估方法、介质、装置和计算设备 |
| CN112766315A (zh) * | 2020-12-31 | 2021-05-07 | 湖南大学 | 一种用于测试人工智能模型鲁棒性的方法和系统 |
| CN112926661A (zh) * | 2021-02-26 | 2021-06-08 | 电子科技大学 | 一种增强图像分类鲁棒性的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张翰韬: "面向图像目标检测的对抗攻击", 《中国优秀硕士学位论文全文数据库（信息科技辑）》, no. 01, pages 138 - 987 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114419346A (zh) * | 2021-12-31 | 2022-04-29 | 北京瑞莱智慧科技有限公司 | 一种模型的鲁棒性检测方法、装置、设备及介质 |
| CN114419346B (zh) * | 2021-12-31 | 2022-09-30 | 北京瑞莱智慧科技有限公司 | 一种模型的鲁棒性检测方法、装置、设备及介质 |
| CN114722812A (zh) * | 2022-04-02 | 2022-07-08 | 尚蝉(浙江)科技有限公司 | 一种多模态深度学习模型脆弱性的分析方法和系统 |
| CN115643056A (zh) * | 2022-09-30 | 2023-01-24 | 支付宝(杭州)信息技术有限公司 | 一种网络模型的防攻击能力测试方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113222074B (zh) | 2023-08-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113222074B (zh) | 评估目标检测模型的方法及装置 | |
| CN112907552B (zh) | 图像处理模型的鲁棒性检测方法、设备及程序产品 | |
| CN111931048B (zh) | 基于人工智能的黑产账号检测方法及相关装置 | |
| EP3916667A1 (en) | Real-time time series prediction for anomaly detection | |
| CN110730164B (zh) | 安全预警方法及相关设备、计算机可读存储介质 | |
| CN113792791A (zh) | 针对视觉模型的处理方法及装置 | |
| EP3206367A1 (en) | Techniques for detecting attacks in a publish-subscribe network | |
| CN114565513A (zh) | 对抗图像的生成方法、装置、电子设备和存储介质 | |
| CN114157480B (zh) | 网络攻击方案的确定方法、装置、设备和存储介质 | |
| CN114511756A (zh) | 基于遗传算法的攻击方法、装置及计算机程序产品 | |
| CN113643260A (zh) | 用于检测图像质量的方法、装置、设备、介质和产品 | |
| US20180240016A1 (en) | Method and apparatus for generating one class model based on data frequency | |
| CN116204843A (zh) | 一种异常账户的检测方法、装置、电子设备及存储介质 | |
| CN114663980B (zh) | 行为识别方法、深度学习模型的训练方法及装置 | |
| CN114860411B (zh) | 多任务学习方法、装置、电子设备和存储介质 | |
| CN115346072A (zh) | 图像分类模型的训练方法及装置、电子设备和存储介质 | |
| CN115719433A (zh) | 图像分类模型的训练方法、装置及电子设备 | |
| CN115631376A (zh) | 对抗样本图像生成方法、训练方法及目标检测方法 | |
| CN114638359A (zh) | 去除神经网络后门和图像识别的方法和装置 | |
| CN114093006A (zh) | 活体人脸检测模型的训练方法、装置、设备以及存储介质 | |
| CN111815442B (zh) | 一种链接预测的方法、装置和电子设备 | |
| CN114090119A (zh) | 控制流校验方法、装置、设备及存储介质 | |
| CN114492364A (zh) | 相同漏洞的判断方法、装置、设备和存储介质 | |
| CN113379592A (zh) | 图片中敏感区域的处理方法、装置和电子设备 | |
| CN113221519A (zh) | 用于处理表格数据的方法、装置、设备、介质和产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |