CN112989098A - 一种图像类侵权实体自动化检索方法、装置和电子设备 - Google Patents

一种图像类侵权实体自动化检索方法、装置和电子设备 Download PDF

Info

Publication number
CN112989098A
CN112989098A CN202110497480.7A CN202110497480A CN112989098A CN 112989098 A CN112989098 A CN 112989098A CN 202110497480 A CN202110497480 A CN 202110497480A CN 112989098 A CN112989098 A CN 112989098A
Authority
CN
China
Prior art keywords
image
risk
candidate
images
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110497480.7A
Other languages
English (en)
Other versions
CN112989098B (zh
Inventor
董龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianji Youmeng (Zhuhai) Technology Co.,Ltd.
Original Assignee
Beijing Zhiyuan Artificial Intelligence Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhiyuan Artificial Intelligence Research Institute filed Critical Beijing Zhiyuan Artificial Intelligence Research Institute
Priority to CN202110497480.7A priority Critical patent/CN112989098B/zh
Publication of CN112989098A publication Critical patent/CN112989098A/zh
Application granted granted Critical
Publication of CN112989098B publication Critical patent/CN112989098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

本发明公开了一种图像类侵权实体自动化检索方法、装置和电子设备。方法包括：接收不同类别的风险图像，包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧等类别的风险图像；对不同类别的风险图像进行预计算处理，得到所述风险图像的特征向量；基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息。该方案具有良好的适配性；通过对企业LOGO类的风险图像进行侵权实例候选区域识别，有效解决了随着LOGO增多分类精度急剧下降的问题，同时可适配海量LOGO侵权实体检索场景；另外，通过抗图像压缩的图像向量化方法，降低了计算时间，提高了计算精度。

Description

一种图像类侵权实体自动化检索方法、装置和电子设备
技术领域
本发明涉及企业数字化安全技术领域，尤其涉及一种图像类侵权实体自动化检索方法、装置和电子设备。
背景技术
随着数字化技术的不断发展，在线化和数字化能力正在成为企业面向新场景的基本生存技能。企业数字化转型过程中，将会拥有更多的数字平台、提供给客户更多的自主服务和新媒体服务；企业将快速发布更多的系统和功能以保持竞争力；企业会将更多的IT基础设施云化，甚至直接采用公有云服务。然而企业在数字化过程中每引入一种新技术，势必会造成网络、应用以及数据存储复杂性的提高，企业所面临的数字风险也随之急剧增加。在众多的数字风险中，侵权仿冒类企业外部的数字风险中，图像相关的案件占有较大比例，如社交媒体中用户头像的仿冒，企业LOGO的非授权滥用等。
为了保护企业的利益，需要对图像相关的侵权仿冒类数字风险进行防控。防控的流程通常是首先发现数字风险，然后将风险图像与实际图像进行比对确认，最后进行处置。
目前，在防控数字风险过程中，发现和确认过程一般采用人工检索监测的方式，需要花费的时间比较长，尤其是业务规模较大的情况下，需要花费的时间更长，无法快速地发现并确认风险，从而快速地进入处置阶段，采取相应的措施控制风险，进而无法很好地保护企业的利益。
发明内容
为了解决现有技术中存在的问题，本发明提供了如下技术方案。
本发明一方面提供了一种图像类侵权实体自动化检索方法，包括：
接收风险图像并确定其对应的类别，所述风险图像的类别包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧；
根据所述风险图像的类别对所述风险图像进行预计算处理，得到所述风险图像的特征向量；所述预计算处理包括：对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别，得到候选图像；对所述候选图像或用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像进行抗图像压缩的图像向量化，得到所述风险图像的特征向量；
基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息。
优选地，所述根据所述风险图像的类别对所述风险图像进行预计算处理之前还包括：对所述风险图像进行预处理，包括有效性判断和格式转换。
优选地，所述对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别包括：
对所述风险图像进行特征提取，得到所述风险图像的特征；
根据所述风险图像的特征，基于目标检测模型进行候选区域提取；
对提取的所述候选区域进行回归调整，得到所述候选图像。
优选地，所述目标检测模型的训练方法包括：
构建训练数据集；
根据所述训练数据集，利用预训练模型VGG Net进行特征提取，得到特征图像；
在所述特征图像上生成候选框，并确定正负例候选框；
从所述正负例候选框中采样并训练rpn网络；
利用训练好的rpn网络得到每个图片的候选框及其得分；
将得分靠前的多个候选框输入ROI池化层进行池化操作；
其中，所述目标检测模型在原始VGG16的基础上，将卷积模块的最后一层最大池化层去掉，替换为一个ROI池化层，并将原始VGG16网络最后一个全连接层与softmax层替换为两个同级层；
所述目标检测模型的训练采用如下的损失函数：
Figure 277005DEST_PATH_IMAGE001
其中，u=0为背景分类， u≥1函数表示背景候选区域即负样本不参与回归损失，不需要对候选区域进行回归操作；λ用于控制分类损失和回归损失的平衡，且λ=1。
优选地，所述在所述特征图像上生成候选框，并确定正负例候选框包括：
在所述特征图像上，根据预先设置的尺寸和高宽比在每一个像素上生成候选框；
将每个候选框与标注框计算交并比，将候选框与交并比最大的标注框对应，选取交并比大于最大阈值的候选框作为正例，小于最小阈值的候选框作为背景；如果标注框没有对应的正例候选框，则在最小阈值和最大阈值之间的候选框中选取交并比最大的候选框作为正例，其他的丢弃。
优选地，所述从所述正负例候选框中采样包括：按照1:1比例选取预设数量的正负例候选框；如果正负例候选框的数量小于预设数量，则进行随机采样。
优选地，所述基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像包括：
对图像类数字资产库中的数据，预先构建IVF_FLAT索引；
使用IVF_FLAT索引，基于所述风险图像的特征向量进行检索，得到与所述风险图像相似的图像。
本发明另一方面提供了一种图像类侵权实体自动化检索装置，包括：
图像接收模块，用于接收风险图像并确定其对应的类别，所述风险图像的类别包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧；
预计算模块，用于根据所述风险图像的类别对所述风险图像进行预计算处理，得到所述风险图像的特征向量；所述预计算处理包括：对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别，得到候选图像；对所述候选图像或用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像进行抗图像压缩的图像向量化，得到所述风险图像的特征向量；
向量检索模块，用于基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息。
本发明第三方面提供了一种存储器，存储有多条指令，所述指令用于实现上述的方法。
本发明第四方面提供了一种电子设备，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行上述的方法。
本发明的有益效果是：本发明实施例提供的图像类侵权实体自动化检索方法、装置和电子设备，其方法中，首先接收不同类别的风险图像，包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧等类别的风险图像；然后对风险图像进行预计算处理，得到所述风险图像的特征向量，其中，对企业LOGO类的风险图像，首先进行侵权实例候选区域识别，然后将识别得到的候选图像进行抗图像压缩的图像向量化，对其余类别的风向图像，直接进行抗图像压缩的图像向量化；最后基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息。本发明提供的方法，具有良好的适配性，可适配整张图像的大目标侵权实体，也可适配类似网站截图中企业LOGO这样的小目标侵权实体；通过对企业LOGO类的风险图像，进行侵权实例候选区域识别，有效解决了大规模LOGO侵权实体检索场景下的随着LOGO增多，LOGO分类精度急剧下降的问题，同时可适配海量LOGO侵权实体检索场景；另外，通过抗图像压缩的图像向量化方法，降低了图像相似度计算的时间消耗，抑制了对抗扰动的影响，同时保证了图像相似度计算的精度。
附图说明
图1为本发明所述图像类侵权实体自动化检索方法流程示意图；
图2为本发明所述图像类侵权实体自动化检索装置示意图。
具体实施方式
为了更好地理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细地说明。
本发明提供的方法可以在如下的终端环境中实施，该终端可以包括一个或多个如下部件：处理器、存储器和显示屏。其中，存储器中存储有至少一条指令，所述指令由处理器加载并执行以实现下述实施例所述的方法。
处理器可以包括一个或者多个处理核心。处理器利用各种接口和线路连接整个终端内的各个部分，通过运行或执行存储在存储器内的指令、程序、代码集或指令集，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据。
存储器可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。存储器可用于存储指令、程序、代码、代码集或指令。
显示屏用于显示各个应用程序的用户界面。
除此之外，本领域技术人员可以理解，上述终端的结构并不构成对终端的限定，终端可以包括更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端中还包括射频电路、输入单元、传感器、音频电路、电源等部件，在此不再赘述。
实施例一
如图1所示，本发明实施例提供了一种图像类侵权实体自动化检索方法，包括：
S101，接收风险图像并确定其对应的类别，所述风险图像的类别包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧；
S102，根据所述风险图像的类别对所述风险图像进行预计算处理，得到所述风险图像的特征向量；所述预计算处理包括：对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别，得到候选图像；对所述候选图像或用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像进行抗图像压缩的图像向量化，得到所述风险图像的特征向量；
S103，基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息。
在步骤S101中，经过长期图像类侵权仿冒的研究，发现图像类侵权仿冒场景主要包括：企业LOGO的未授权滥用：多数发生在网页中使用未授权的某品牌logo和场景下，以此借助某品牌的影响力来达到引流或非法获利等目的。社交媒体仿冒中的用户头像滥用：社交媒体仿冒场景下，通过使用被仿冒用户的头像达到仿冒账户以假乱真的目的。钓鱼仿冒中的页面可视相似性检测：从用户最终的可视角度出发，钓鱼网站为达到目的会做的尽可能和原网站相似。数据泄露中的文本缩略图检测和视频的关键帧检测：数据泄漏场景下，为实现多模态检测提高风险探测的精度，会对文本的缩略图和视频的关键帧与受保护的数字资产进行相似度比对。
根据这些常见的场景，本发明中，将侵权仿冒图像即风险图像划分为四个类别：企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧。
因此，采用本发明提供的图像类侵权实体自动化检索方法，对于图像类的侵权仿冒业务具有良好的适配性，可适配整张图像的大目标侵权实体和类似网站截图中企业LOGO这样的小目标侵权实体。
在实际应用过程中，可以通过风险采集引擎采集数据，采集到的数据不仅包含待检测的风险图像，还包括对应的侵权仿冒场景。本发明中，可以根据风险图像对应的侵权仿冒场景，确定其对应的类别。
本发明实施例中，为提高图像类侵权实体自动化检索方法的鲁棒性与适用范围，首先对所述风险图像进行预处理，包括有效性判断和格式转换。其中，进行图像的有效性判断，剔除异常图像；通过图像的格式转换，将图像转换为统一的格式，可以便于后续流程计算。
执行步骤S102，对于不同类别的风险图像，采用不同的方法进行预计算处理。
在实际应用过程中，对于企业LOGO未授权滥用的风险场景，通常从最终用户可视角度出发，一般将整个网页截图作为风险图像，以便有效过滤网页源代码混淆，图片信息逃逸等问题，以提高侵权实体检索的精度。因此，本发明中，对所述企业LOGO类的风险图像，首先进行图上的侵权实例候选区域识别，得到候选图像；然后对所述候选图像进行抗图像压缩的图像向量化，得到企业LOGO类风险图像的特征向量。对用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像，直接进行抗图像压缩的图像向量化，得到对应风险图像的特征向量。
在本发明的一个优选实施例中，对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别，可以包括：
对所述风险图像进行特征提取，得到所述风险图像的特征；
根据所述风险图像的特征，基于目标检测模型进行候选区域提取；
对提取的所述候选区域进行回归调整，得到所述候选图像。
本发明中，根据企业LOGO类的风险图像在检索过程中呈现的如下几个特点：
1.LOGO种类可能很多，如果用softmax分类几千种实体，效果会很差。而且随着数量增多，识别效果会很快变差，由于每个分类器不仅要识别是哪个物体而且要识别是否包含待检测目标。
2.LOGO更新很快，如果用普通目标检测模型，添加新数据后需要重新训练。
3.LOGO在图片中一般都有固定的字体、特性，而且相对普通物体更醒目易于观察。
4.LOGO相比普通检测目标和背景的关系不大。
将图上的侵权实例候选区域识别过程按照如下三个步骤实施：首先利用预训练CNN网络模型进行风险图像的特征提取，然后根据提取的特征，利用目标检测模型进行候选区域提取，最后对提取的候选区域进行回归调整。
其中，用于提取候选区域的目标检测模型是由Fast-RCNN模型调整而来，为了使其具有LOGO识别能力，通过构建数据集对其进行训练。
在本发明实施例中，可以按照如下方法对目标检测模型进行训练：
步骤一，构建训练数据集：可以基于开源数据集和业务数据构建数据集，并进行数据增强和增加数据量的处理。
步骤二，根据所述训练数据集，利用预训练模型VGG Net进行特征提取，得到特征图像。
步骤三，在所述特征图像上生成候选框，并确定正负例候选框：可以在所述特征图像上，根据预先设置的尺寸和高宽比在每一个像素上生成候选框；
将每个候选框与标注框计算交并比，将候选框与交并比最大的标注框对应，选取交并比大于最大阈值的候选框作为正例，小于最小阈值的候选框作为背景；如果标注框没有对应的正例候选框，则在最小阈值和最大阈值之间的候选框中选取交并比最大的候选框作为正例，其他的丢弃。
步骤四：从所述正负例候选框中采样并训练rpn网络：由于每个标注框可能会对应多个候选框，并且每个图片中的所有正负例候选框并不会都用来学习，而是在从中采样预设数量的候选框进行训练。其中，可以按照1:1的比例选取正负例候选框；如果正负例候选框的数量小于预设数量，则可以进行随机采样。比如，需要采样256个候选框进行训练，则按照1:1的比例分别选取正负例候选框各128个，如果正负样本数小于128，就进行随机采样。
步骤五，利用训练好的rpn网络得到每个图片的候选框及其得分。
步骤六，将得分靠前的多个候选框输入ROI池化层进行池化操作：使用非极大值抑制方法得到得分靠前的N个候选框提供给ROI池化层。ROI将输入的候选框划分为H*W个块，在每个块使用最大池化层提取一个特征，对应池化操作独立于每个特征通道，最终输出H*W*c的特征。
其中，所述目标检测模型在原始VGG16的基础上，将卷积模块的最后一层最大池化层去掉，替换为一个ROI池化层，并将原始VGG16网络最后一个全连接层与softmax层替换为两个同级层；
所述目标检测模型的训练采用如下的损失函数：
Figure 149146DEST_PATH_IMAGE001
其中，u=0为背景分类， u≥1函数表示背景候选区域即负样本不参与回归损失，不需要对候选区域进行回归操作； λ用于控制分类损失和回归损失的平衡，且λ=1。
采用上述训练好的目标检测模型即可识别得到图上的侵权实例候选区域，即候选图像。
得到候选图像后，对其进行抗图像压缩的图像向量化，得到所述风险图像的特征向量。
采用本发明提供的上述方法对图上的侵权实体候选区域进行识别，具有如下优点：
有效解决了大规模LOGO侵权实体检索场景下的随着LOGO增多，LOGO分类精度急剧下降的问题；
对于业务运行过程中LOGO的更新有很强的适应性，对LOGO的候选区域抽取部分实现了无感知，只需要在向量检索库中更新LOGO信息即可；
可以适配海量LOGO侵权实体检索场景；
通过调整候选区域识别部分，可以很好地将该方法迁移到其它图像类侵权实体自动化检索业务中。
对于用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像，由于其中不涉及实体之外的其他内容，因此可直接进行抗图像压缩的图像向量化，得到图像对应的特征向量。
图像压缩是一种低阶的图像变换任务。由于局部结构中相邻像素之间具有很强的相似性和相关性，因此图像压缩可以在保留显著信息的同时减少图像的冗余信息。
另外，对抗图像和原始图像之间的扰动非常小，但是在图像分类模型的高层表示空间，扰动被放大。因此图像压缩可以消除对抗扰动或打破对抗扰动的结构，去除对抗性图像的冗余信息。
所以，在本发明实施例中，采用图像的压缩方式可以降低图像的相似度计算过程中的参数量，同时抑制对抗扰动的影响，提高图像相似度计算结果的精确性，进一步提高图像的向量检索的精确性。
作为一个实施例，本发明中，针对所有的待检测图像，基于开源的ComDefend模型，使用其中的第一个CNN模块ComCNN进行图像的压缩和向量化。ComCNN用于保存原始图像的主要结构信息，RGB三个通道的原始24位图被压缩为12位图（每个通道分配4位）。
执行步骤S103，基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息，具体可以包括：
对图像类数字资产库中的数据，预先构建IVF_FLAT索引；
使用IVF_FLAT索引，基于所述风险图像的特征向量进行检索，得到与所述风险图像相似的图像。
其中，为了提高向量检索的效率，预先对库中大量的图像类数字资产进行聚类，构建IVF_FLAT索引：IVF（Inverted File，倒排文件）是一种基于量化的索引类型。它通过聚类方法把空间里的点划分成多个单元。查询时先把目标向量与所有单元的中心做距离比较，选出几个最近单元。然后比较这些被选中单元里的所有向量，得到最终的结果。IVF_FLAT是最基础的 IVF 索引，存储在各个单元中的数据编码与原始数据一致，且检索速度快，召回率高。
通过向量检索，在库中查询和当前待检测图像相似的图像，获取所述图像所属的实体。在实际应用中，可以根据检索到的实体的相关信息判定是否侵权。比如，对于企业LOGO类风险图像，利用本发明的方法查询到和当前待检测图像相似的图像后，获取与该图像对应的品牌信息，再通过该图像的品牌信息和网页的企业主体之间的授权关系来进行是否侵权的判定。
实施例二
如图2所示，本发明的另一方面还包括和前述方法流程完全对应一致的功能模块架构，即本发明实施例还提供了图像类侵权实体自动化检索装置，包括：
图像接收模块201，用于接收风险图像并确定其对应的类别，所述风险图像的类别包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧；
预计算模块202，用于根据所述风险图像的类别对所述风险图像进行预计算处理，得到所述风险图像的特征向量；所述预计算处理包括：对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别，得到候选图像；对所述候选图像或用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像进行抗图像压缩的图像向量化，得到所述风险图像的特征向量；
向量检索模块203，用于基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息。
进一步地，本发明实施例提供的图像类侵权实体自动化检索装置，还包括预处理模块，用于在根据所述风险图像的类别对所述风险图像进行预计算处理之前，对所述风险图像进行预处理，包括有效性判断和格式转换。
进一步地，在所述预计算模块中，所述对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别包括：
对所述风险图像进行特征提取，得到所述风险图像的特征；
根据所述风险图像的特征，基于目标检测模型进行候选区域提取；
对提取的所述候选区域进行回归调整，得到所述候选图像。
其中，所述目标检测模型的训练方法包括：
构建训练数据集；
根据所述训练数据集，利用预训练模型VGG Net进行特征提取，得到特征图像；
在所述特征图像上生成候选框，并确定正负例候选框；
从所述正负例候选框中采样并训练rpn网络；
利用训练好的rpn网络得到每个图片的候选框及其得分；
将得分靠前的多个候选框输入ROI池化层进行池化操作；
其中，所述目标检测模型在原始VGG16的基础上，将卷积模块的最后一层最大池化层去掉，替换为一个ROI池化层，并将原始VGG16网络最后一个全连接层与softmax层替换为两个同级层；
所述目标检测模型的训练采用如下的损失函数：
Figure 286385DEST_PATH_IMAGE001
其中，u=0为背景分类， u≥1函数表示背景候选区域即负样本不参与回归损失，不需要对候选区域进行回归操作； λ用于控制分类损失和回归损失的平衡，且λ=1。
进一步地，所述在所述特征图像上生成候选框，并确定正负例候选框包括：
在所述特征图像上，根据预先设置的尺寸和高宽比在每一个像素上生成候选框；
将每个候选框与标注框计算交并比，将候选框与交并比最大的标注框对应，选取交并比大于最大阈值的候选框作为正例，小于最小阈值的候选框作为背景；如果标注框没有对应的正例候选框，则在最小阈值和最大阈值之间的候选框中选取交并比最大的候选框作为正例，其他的丢弃。
进一步地，所述从所述正负例候选框中采样包括：按照1:1比例选取预设数量的正负例候选框；如果正负例候选框的数量小于预设数量，则进行随机采样。
进一步地，在所述向量检索模块中，所述基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像包括：
对图像类数字资产库中的数据，预先构建IVF_FLAT索引；
使用IVF_FLAT索引，基于所述风险图像的特征向量进行检索，得到与所述风险图像相似的图像。
该装置可通过上述实施例一提供的图像类侵权实体自动化检索方法实现，具体的实现方法可参见实施例一中的描述，在此不再赘述。
本发明还提供了一种存储器，存储有多条指令，所述指令用于实现如实施例一所述的方法。
本发明还提供了一种电子设备，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如实施例一所述的方法。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像类侵权实体自动化检索方法，其特征在于，包括：
接收风险图像并确定其对应的类别，所述风险图像的类别包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧；
根据所述风险图像的类别对所述风险图像进行预计算处理，得到所述风险图像的特征向量；所述预计算处理包括：对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别，得到候选图像；对所述候选图像或用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像进行抗图像压缩的图像向量化，得到所述风险图像的特征向量；
基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息。
2.如权利要求1所述的图像类侵权实体自动化检索方法，其特征在于，所述根据所述风险图像的类别对所述风险图像进行预计算处理之前还包括：对所述风险图像进行预处理，包括有效性判断和格式转换。
3.如权利要求1所述的图像类侵权实体自动化检索方法，其特征在于，所述对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别包括：
对所述风险图像进行特征提取，得到所述风险图像的特征；
根据所述风险图像的特征，基于目标检测模型进行候选区域提取；
对提取的所述候选区域进行回归调整，得到所述候选图像。
4.如权利要求3所述的图像类侵权实体自动化检索方法，其特征在于，所述目标检测模型的训练方法包括：
构建训练数据集；
根据所述训练数据集，利用预训练模型VGG Net进行特征提取，得到特征图像；
在所述特征图像上生成候选框，并确定正负例候选框；
从所述正负例候选框中采样并训练rpn网络；
利用训练好的rpn网络得到每个图片的候选框及其得分；
将得分靠前的多个候选框输入ROI池化层进行池化操作；
其中，所述目标检测模型在原始VGG16的基础上，将卷积模块的最后一层最大池化层去掉，替换为一个ROI池化层，并将原始VGG16网络最后一个全连接层与softmax层替换为两个同级层；
所述目标检测模型的训练采用如下的损失函数：
Figure 112864DEST_PATH_IMAGE001
其中，u=0为背景分类， u≥1函数表示背景候选区域即负样本不参与回归损失，不需要对候选区域进行回归操作；λ用于控制分类损失和回归损失的平衡，且λ=1。
5.如权利要求4所述的图像类侵权实体自动化检索方法，其特征在于，所述在所述特征图像上生成候选框，并确定正负例候选框包括：
在所述特征图像上，根据预先设置的尺寸和高宽比在每一个像素上生成候选框；
将每个候选框与标注框计算交并比，将候选框与交并比最大的标注框对应，选取交并比大于最大阈值的候选框作为正例，小于最小阈值的候选框作为背景；如果标注框没有对应的正例候选框，则在最小阈值和最大阈值之间的候选框中选取交并比最大的候选框作为正例，其他的丢弃。
6.如权利要求4所述的图像类侵权实体自动化检索方法，其特征在于，所述从所述正负例候选框中采样包括：按照1:1比例选取预设数量的正负例候选框；如果正负例候选框的数量小于预设数量，则进行随机采样。
7.如权利要求1所述的图像类侵权实体自动化检索方法，其特征在于，所述基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像包括：
对图像类数字资产库中的数据，预先构建IVF_FLAT索引；
使用IVF_FLAT索引，基于所述风险图像的特征向量进行检索，得到与所述风险图像相似的图像。
8.一种图像类侵权实体自动化检索装置，其特征在于，包括：
图像接收模块，用于接收风险图像并确定其对应的类别，所述风险图像的类别包括企业LOGO、用户头像、可视页面、文本缩略图和/或视频的关键帧；
预计算模块，用于根据所述风险图像的类别对所述风险图像进行预计算处理，得到所述风险图像的特征向量；所述预计算处理包括：对所述企业LOGO类的风险图像进行图上的侵权实例候选区域识别，得到候选图像；对所述候选图像或用户头像、可视页面、文本缩略图和/或视频的关键帧类的风险图像进行抗图像压缩的图像向量化，得到所述风险图像的特征向量；
向量检索模块，用于基于所述风险图像的特征向量进行检索，查询与所述风险图像相似的图像，获取所述图像所属的实体信息。
9.一种存储器，其特征在于，存储有多条指令，所述指令用于实现如权利要求1-7任一项所述的方法。
10.一种电子设备，其特征在于，包括处理器和与所述处理器连接的存储器，所述存储器存储有多条指令，所述指令可被所述处理器加载并执行，以使所述处理器能够执行如权利要求1-7任一项所述的方法。
CN202110497480.7A 2021-05-08 2021-05-08 一种图像类侵权实体自动化检索方法、装置和电子设备 Active CN112989098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110497480.7A CN112989098B (zh) 2021-05-08 2021-05-08 一种图像类侵权实体自动化检索方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110497480.7A CN112989098B (zh) 2021-05-08 2021-05-08 一种图像类侵权实体自动化检索方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112989098A true CN112989098A (zh) 2021-06-18
CN112989098B CN112989098B (zh) 2021-08-31

Family

ID=76337226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110497480.7A Active CN112989098B (zh) 2021-05-08 2021-05-08 一种图像类侵权实体自动化检索方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112989098B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918753A (zh) * 2021-07-23 2022-01-11 腾讯科技（深圳）有限公司 基于人工智能的图像检索方法及相关设备
CN114782711A (zh) * 2022-06-20 2022-07-22 四川航天职业技术学院(四川航天高级技工学校) 一种基于图像识别的智能化风险检测方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809181A (zh) * 2014-12-31 2016-07-27 阿里巴巴集团控股有限公司 用于Logo检测的方法和设备
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
CN108537222A (zh) * 2018-04-13 2018-09-14 湖南阳光电力科技有限公司 一种用于电力仪表的图像识别方法及系统
CN108846441A (zh) * 2018-06-21 2018-11-20 厦门集微科技有限公司 一种图像相似检测方法和装置、计算机可读存储介质
CN109885796A (zh) * 2019-01-25 2019-06-14 内蒙古工业大学 一种基于深度学习的网络新闻配图匹配性检测方法
US20190188729A1 (en) * 2017-12-18 2019-06-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for detecting counterfeit product based on deep learning
CN111881906A (zh) * 2020-06-18 2020-11-03 广州万维创新科技有限公司 一种基于注意力机制图像检索的logo识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809181A (zh) * 2014-12-31 2016-07-27 阿里巴巴集团控股有限公司 用于Logo检测的方法和设备
CN106326858A (zh) * 2016-08-23 2017-01-11 北京航空航天大学 一种基于深度学习的公路交通标志自动识别与管理系统
US20190188729A1 (en) * 2017-12-18 2019-06-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for detecting counterfeit product based on deep learning
CN108537222A (zh) * 2018-04-13 2018-09-14 湖南阳光电力科技有限公司 一种用于电力仪表的图像识别方法及系统
CN108846441A (zh) * 2018-06-21 2018-11-20 厦门集微科技有限公司 一种图像相似检测方法和装置、计算机可读存储介质
CN109885796A (zh) * 2019-01-25 2019-06-14 内蒙古工业大学 一种基于深度学习的网络新闻配图匹配性检测方法
CN111881906A (zh) * 2020-06-18 2020-11-03 广州万维创新科技有限公司 一种基于注意力机制图像检索的logo识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王宏业: ""文本图像中Logo检测与识别技术的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113918753A (zh) * 2021-07-23 2022-01-11 腾讯科技（深圳）有限公司 基于人工智能的图像检索方法及相关设备
CN114782711A (zh) * 2022-06-20 2022-07-22 四川航天职业技术学院(四川航天高级技工学校) 一种基于图像识别的智能化风险检测方法及系统

Also Published As

Publication number Publication date
CN112989098B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
Marra et al. A full-image full-resolution end-to-end-trainable CNN framework for image forgery detection
CN112989098B (zh) 一种图像类侵权实体自动化检索方法、装置和电子设备
CN110598019B (zh) 重复图像识别方法及装置
CN112348117A (zh) 场景识别方法、装置、计算机设备和存储介质
Phan et al. Tracking multiple image sharing on social networks
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN111079816A (zh) 图像的审核方法、装置和服务器
CN110956037B (zh) 多媒体内容重复判断方法及装置
CN109284613B (zh) 标识检测及仿冒站点检测方法、装置、设备及存储介质
CN110688524A (zh) 视频检索方法、装置、电子设备及存储介质
CN111178146A (zh) 基于人脸特征识别主播的方法及装置
He et al. Aggregating local context for accurate scene text detection
CN111625687A (zh) 一种在媒资视频库中通过人脸快速搜索人物的方法及系统
CN107203638B (zh) 监控视频处理方法、装置及系统
CN111191591A (zh) 一种水印检测、视频处理方法和相关设备
CN109359530B (zh) 一种智能视频监控方法及装置
CN111444362B (zh) 恶意图片拦截方法、装置、设备和存储介质
CN110399867B (zh) 一种文本类图像区域的识别方法、系统及相关装置
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN113536017A (zh) 一种图像检索方法和系统
CN114550022A (zh) 模型训练方法及装置、电子设备和可读存储介质
CN113706636A (zh) 一种用于篡改图像识别的方法与装置
CN111079704A (zh) 一种基于量子计算的人脸识别方法及装置
CN116012248B (zh) 图像处理方法、装置、计算机设备及计算机存储介质
CN114724074B (zh) 风险视频的检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210922

Address after: B201d-1, 3rd floor, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing 100083

Patentee after: Beijing innovation Zhiyuan Technology Co.,Ltd.

Address before: B201d-1, 3rd floor, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing 100083

Patentee before: Beijing Zhiyuan Artificial Intelligence Research Institute

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220413

Address after: Room 266, floor 2, building 1, No. 16, Shangdi Fifth Street, Haidian District, Beijing 100085

Patentee after: Beijing Tianji Youmeng Information Technology Co.,Ltd.

Address before: B201d-1, 3rd floor, building 8, yard 1, Zhongguancun East Road, Haidian District, Beijing 100083

Patentee before: Beijing innovation Zhiyuan Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221226

Address after: Room 1903-231, Unit 1, Regenerative Times Building, No. 55, Pingbei Second Road, Xiangzhou District, Zhuhai City, Guangdong Province, 519000 (centralized office area)

Patentee after: Tianji Youmeng (Zhuhai) Technology Co.,Ltd.

Address before: Room 266, floor 2, building 1, No. 16, Shangdi Fifth Street, Haidian District, Beijing 100085

Patentee before: Beijing Tianji Youmeng Information Technology Co.,Ltd.