CN112633183A - 影像遮挡区域自动检测方法、装置及存储介质 - Google Patents

影像遮挡区域自动检测方法、装置及存储介质 Download PDF

Info

Publication number
CN112633183A
CN112633183A CN202011564896.8A CN202011564896A CN112633183A CN 112633183 A CN112633183 A CN 112633183A CN 202011564896 A CN202011564896 A CN 202011564896A CN 112633183 A CN112633183 A CN 112633183A
Authority
CN
China
Prior art keywords
image
area
frequency domain
detected
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011564896.8A
Other languages
English (en)
Other versions
CN112633183B (zh
Inventor
梁俊杰
赖众程
洪叁亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Bank Co Ltd
Original Assignee
Ping An Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Bank Co Ltd filed Critical Ping An Bank Co Ltd
Priority to CN202011564896.8A priority Critical patent/CN112633183B/zh
Publication of CN112633183A publication Critical patent/CN112633183A/zh
Application granted granted Critical
Publication of CN112633183B publication Critical patent/CN112633183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，揭露一种影像遮挡区域自动检测方法，包括：对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图；对所述频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像；基于目标检测模型获取所述新图像的正反面，以及所述正反面的文字区域和图像区域；对所述文字区域和所述图像区域进行透射变换，获取与所述文字区域和所述图像区域分别对应的转换区域；将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率；根据所述分类概率及预设判定条件，获取所述待检测图像的影像遮挡区域。本发明可以提高影像遮挡区域自动检测的准确度。

Description

影像遮挡区域自动检测方法、装置及存储介质
技术领域
本发明涉及人工智能，尤其涉及一种影像遮挡区域自动检测的方法、装置、电子设备及计算机可读存储介质。
背景技术
目前，在银行办理各种线上业务往往需要本人身份证来校验本人的信息，而办理业务人经常无意的用手或者其他物体来遮挡身份证的关键信息，甚至有不法分子特意遮挡篡改过的部分。这种遮挡信息会大大阻碍了业务审核的流程甚至让不法分子得逞损失公司和客户的财产。其中一种解决遮挡问题的办法是通过人工审核身份证照片来过滤这些被遮挡的身份证，但这种纯人工的方法所需要的人力成本无疑是巨大的。
现有的图像遮挡的检测方法，首先进行身份证定位，然后进行文字区域检测，最后将检测出来的字符区域与证件图像对应的证件字符模版中的字符进行对比，得到是否遮挡的结果。该方法无论在身份证定位和判断是否遮挡的过程中只使用了传统的图像处理方法，导致整个方法在复杂场景的鲁棒性不好，抗干扰性差。此外，采用轻量级的网络进行证件区域的定位，然后将定位的区域输入到分类网络中进行分类，判断是否属于遮挡，但是该方案容易受光线的影响，抗干扰性差，导致检测精度低、适用范围受限。
发明内容
本发明提供一种影像遮挡区域自动检测方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高影像遮挡区域自动检测的效率和准确性。
为实现上述目的，本发明提供的一种影像遮挡区域自动检测方法，包括：
对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图；
对所述频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像；
基于目标检测模型获取所述新图像的正反面，以及所述正反面的文字区域和图像区域；
对所述文字区域和所述图像区域进行透射变换，获取与所述文字区域和所述图像区域分别对应的转换区域；
将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率；
根据所述分类概率及预设判定条件，获取所述待检测图像的影像遮挡区域。
可选地，所述对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图的步骤包括：
基于傅里叶变换对所述待检测图像进行频域转换处理，所述频域转换公式如下所示：
Figure BDA0002861542540000021
其中，F(u，v)表示所述频域图，f(x，y)表示所述待检测图像，u＝0、1、2、…M-1，v＝0、1、2、…N-1，x＝0、1、2、…M-1，y＝0、1、2、…N-1，M表示所述待检测图像的宽，N表示所述待检测图像的高。
可选地，所述将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像的步骤包括：
基于傅里叶反变换对所述频域图进行空间域转换处理，所述空间域转换公式如下所示：
Figure BDA0002861542540000022
其中，F(x，y)表示所述新图像，f(u，v)表示所述频域图，u＝0、1、2、…M-1，v＝0、1、2、…N-1，x＝0、1、2、…M-1，y＝0、1、2、…N-1，M表示所述频域图的宽，N表示所述频域图的高。
可选地，所述对所述文字区域和所述图像区域进行透射变换的步骤包括：
基于透射变换公式对所述文字区域和所述图像区域进行透射变换；
所述透射变换公式表示为：
Figure BDA0002861542540000023
其中，u,v,w表示所述文字区域或所述图像区域在变换前的坐标，x′,y′,w′表示与所述u,v,w对应的变换之后的新坐标，a11,a12,a13,a21,a22,a23,a31,a32,a33分别表示约束条件。
可选地，所述将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率的步骤包括：
创建弱细粒度分类模型；
基于所述弱细粒度分类模型获取与所述转换区域对应的分类概率。
可选地，所述弱细粒度分类模型包括特征提取部分、分类模块部分、APN网络部分和多scale网络部分；其中，基于所述弱细粒度分类模型获取与所述转换区域对应的分类概率的步骤包括：
基于所述特征提取部分提取所述转换区域的图像特征；
基于所述分类模块部分的全连接层和softmax层对所述图像特征进行分类处理；
基于APN网络部分对分类处理后的图像特征进行训练，并获取目标区域信息；
基于所述多scale网络部分对所述目标区域信息进行尺寸调整，并输出与所述转换区域对应的分类概率。
可选地，所述预设判定条件包括精度率和召回率；
所述精度率的表示公式为：
Figure BDA0002861542540000031
所述召回率的表示公式为：
Figure BDA0002861542540000032
其中，TP表示影像遮挡且预测为遮挡的概率、FP表示影像未遮挡但预测为遮挡的概率、FN表示影像遮挡但预测为未遮挡的概率、TN表示影像为未遮挡且预测为未遮挡的概率。
为了解决上述问题，本发明还提供一种影像遮挡区域自动检测装置，所述装置包括：
频域图获取单元，用于对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图；
新图像获取单元，用于对所述频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像；
检测区域获取单元，用于基于目标检测模型获取所述新图像的正反面，以及所述正反面的文字区域和图像区域；
转换区域获取单元，用于对所述文字区域和所述图像区域进行透射变换，获取与所述文字区域和所述图像区域分别对应的转换区域；
分类概率获取单元，用于将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率；
影像遮挡区域获取单元，用于根据所述分类概率及预设判定条件，获取所述待检测图像的影像遮挡区域。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
存储器，存储至少一个指令；及
处理器，执行所述存储器中存储的指令以实现上述所述的影像遮挡区域自动检测方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的影像遮挡区域自动检测方法。
本发明实施例通过对待检测图像进行频域转换处理，获取与待检测图像对应的频域图；对频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与待检测图像对应的新图像；基于目标检测模型获取新图像的正反面，以及正反面的文字区域和图像区域；对文字区域和图像区域进行透射变换，获取与文字区域和图像区域分别对应的转换区域；将转换区域输入弱细粒度分类模型，获取与转换区域对应的分类概率；根据分类概率及预设判定条件，获取待检测图像的影像遮挡区域，能够提高影像遮挡区域的检测准确度。
附图说明
图1为本发明一实施例提供的影像遮挡区域自动检测方法的流程示意图；
图2为本发明一实施例提供的弱细粒度分类模型的原理图；
图3为本发明一实施例提供的影像遮挡区域自动检测装置的模块示意图；
图4为本发明一实施例提供的实现影像遮挡区域自动检测方法的电子设备的内部结构示意图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种影像遮挡区域自动检测方法。参照图1所示，为本发明一实施例提供的影像遮挡区域自动检测方法的流程示意图。该方法可以由一个装置执行，该装置可以由软件和/或硬件实现。
在本实施例中，影像遮挡区域自动检测方法包括：
S110：对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图。
其中，将待检测图像或原始图像进行频域转换处理，可采用快速傅里叶变换，基于傅里叶变换对待检测图像进行频域转换处理，频域转换公式如下所示：
Figure BDA0002861542540000051
其中，F(u，v)表示频域图，f(x，y)表示待检测图像，u＝0、1、2、…M-1，v＝0、1、2、…N-1，x＝0、1、2、…M-1，y＝0、1、2、…N-1，M表示待检测图像的宽，N表示待检测图像的高。
S120：对所述频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像。
其中，可设定环境光等光线干扰属于低频分量，而噪音属于高频分量，在对频域图进行滤波处理时，采用带通滤波来过滤频域图中的低频分量和高频分量，具体地可采用Gaussian带通滤波器进行滤波处理，Gaussian带通滤波器的公式如下：
Figure BDA0002861542540000052
其中，W表示宽带，W＝10，D0表示截止频率，D0＝120，W和D0的值可根据具体应用场景进行设定，并不限于上述具体数值。
进一步地，将滤波处理后的频域图再次转换至空间域中，获取新图像的过程，可采用傅里叶反变换，傅里叶反变化公式如下：
Figure BDA0002861542540000061
其中，F(x，y)表示新图像，f(u，v)表示频域图，u＝0、1、2、…M-1，v＝0、1、2、…N-1，x＝0、1、2、…M-1，y＝0、1、2、…N-1，M表示频域图的宽，N表示频域图的高。
S130：基于目标检测模型获取所述新图像的正反面，以及所述正反面的文字区域和图像区域。
其中，当待检测图像存在正反面时，我们还需要区分待检测图像的正反面信息，例如，当待检测图像为身份证时，由于在上传身份证的时候限制了上传的身份证是区分正反面的这一特点，可通过待检测图像的ID来辨识上传的身份证的正反面，可知，当待检测图像不是身份证时，也可通过预设的规则进行正反方向的识别。
在该步骤中，由于待检测图像在拍摄或者获取过程中，存在正拍或者倾斜拍的情况，导致待检测图像形成的不是矩形而是四边形，为此在本发明中采用anchor free的方法定位文字和图像部分，排除背景的干扰，获取与所述文字区域和所述图像区域分别对应的转换区域。
作为具体示例，可采用处理后的轻量级的centernet来提取文字区域和人像区域，现有的轻量级的centernet采用的是resnet18，在本发明中将resnet18换成faster_se_resnet基础网络，原本ResNet18主要是由：
Figure BDA0002861542540000062
Figure BDA0002861542540000063
Figure BDA0002861542540000064
这4部分组成的。ResNet18里面的每个部分的结构都是上小部分的特征叠加到下小部分中，一共叠加两次，而本发明中faster_se_resnet的叠加机制是只在每部分的下面小部分中叠加一次，上面的小部分采用SE_Block来让模型自动聚焦在细微的关键信息上面，而且
Figure BDA0002861542540000065
改成
Figure BDA0002861542540000066
可知，现有ResNet18中上个小部分的输出会叠加到下个小部分中。但是本申请中的faster_se_resnet的上面小部分的输出会叠加到下个小部分中，而且上面的小部分会添加一个SE_Block。
S140：对所述文字区域和所述图像区域进行透射变换，获取与所述文字区域和所述图像区域分别对应的转换区域。
由于在步骤S130中获取的文字区域和图像区域可能不是标准的矩形，例如当拍摄存在一定的倾斜角度时，获取的文字区域和图像区域为四边形，不利于后续的模型训练，因此，要将上述倾斜的区域矫正过来，矫正的方法采用透射变换完成。
基于透射变换公式对文字区域和图像区域进行透射变换；
透射变换公式表示为：
Figure BDA0002861542540000071
其中，u,v,w表示文字区域或图像区域在变换前的坐标，x′,y′,w′表示与u,v,w对应的变换之后的新坐标，a11,a12,a13,a21,a22,a23,a31,a32,a33分别表示约束条件。
具体地，根据待检测图像的特征和透视变换的方法的要求，透视变换的要点是确定变换前后一一对应的四个顶点位置，文字区域和图像区域在变换前的四个点的位置可通过上一步骤中的centernet来得到，而变换后的对应区域的四个点的位置则是对应区域的最大矩形的四个点的位置，确定区域在变换前后的四个点的位置后，通过上述透视变换公式即可将倾斜的区域矫正为矩形区域
此外，需要说明的是，矫正的文字区域和头像区域形成新的转换区域，还可以对转换区域进行resize处理，统一各抓换区域的大小，例如，可设置为224*224的大小。
S150：将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率。
其中，将转换区域输入弱细粒度分类模型，获取与转换区域对应的分类概率的步骤包括：
S151：创建弱细粒度分类模型；
S152：基于弱细粒度分类模型获取与转换区域对应的分类概率。
进一步地，弱细粒度分类模型包括特征提取部分、分类模块部分、APN网络部分和多scale网络部分；其中，基于弱细粒度分类模型获取与转换区域对应的分类概率的步骤包括：
1、基于特征提取部分提取转换区域的图像特征；
2、基于分类模块部分的全连接层和softmax层对图像特征进行分类处理；
3、基于APN网络部分对分类处理后的图像特征进行训练，并获取目标区域信息；
4、基于多scale网络部分对目标区域信息进行尺寸调整，并输出与转换区域对应的分类概率。
具体地作为示例，根据业务反馈和观察样本，身份证遮挡基本上都是局部或者小部分的遮挡，不是大面积的遮挡，因此，可在本发明中引入弱细粒度分类模型来关注遮挡部分，但不能过于关注细节的部分。
具体地，本发明的弱细粒度分类模型在RA-CNN(Look Closer to See Better:Recurrent Attention Convolutional Neural Network for Fine-grained ImageRecognition)的基础上进行创新和改进，以提高模型对遮挡部分的检测精度和适用范围。
其中，本发明中的弱细粒度分类模型包括四个部分：
1)、特征提取部分。
现有的RA-CNN是采用VGG的基础网络来提取图像的特征，而本发明中细粒度分类模型是使用轻便和更好的faster_se_block作为基础部分来提取文字区域和头像区域(已经resize成统一大小)的特征。faster_se_resnet是在ResNet18的基础上来进行网络修改创新，由于原本ResNet18里面的结构都是上一小部分的特征叠加到下一小部分中，而本faster_se_resnet的叠加机制是只叠加一次，上一部分采用SE_Block来让模型聚焦在细微的关键信息上面。本模型中的faster_se_resnet与上述内容中centernet的网络中的faster_se_resnet可采用相同的结构。
2)、分类模块部分。
经过特征提取部分的faster_se_resnet提取特征后接入FC全连接层和softmax层来进行分类处理。
3)、APN(attention proposal network)网络部分。
APN网络基于提取到的特征进行训练得到attention区域信息，再将attention区域crop出来并放大。换言之，即APN网络根据faster_se_resnet所关注的特征区域信息来将这部分区域信息裁剪出来并进行放大。上述attention区域可通过以下方式定位出来：
(a)、在faster_se_resnet最后一层中接入两个全连接层，最后一层的全连接层的输出为3个值，分别为：tx，ty，tl。我们规定attention区域为一个正方形，那么tx，ty是代表着attention区域的中心点，tl代表着attention区域的边长。
(b)、将APN预测出来的值归一化到[0,1]之间，容易让模型学习得更好。根据APN预测出来的3个值后乘以输入图的大小这样就可以将tx，ty，tl还原到原始图像(待检测图像)上，最终得到的坐标：att_x＝tx*244,att_y＝ty*244,att_l＝tl*244。根据上述最终得到的坐标便可以得到在原图中裁剪出attention区域。
4)、多scale网络部分。
首先将得到的attention区域进行resize成224*224，然后输入到第二个scale网络，每个scale网络的网络结构都是一样，只是参数不一样。由于需要让算法关注遮挡部分，但不能关注太细节的部分，因此设计2个scale网络。第一个scale网络的attention区域作为下个scale网络的输入。整个细粒度分类模型的原理如图2所示。
在图2中，Scale代表一个大的网络结构模块。每个sacle网络中包括了3个小模块(特征提取、分类、APN模块，由于APN是产生下个sacle网络的输入的，所以两个scale网络只有一个APN模块)而cls1是代表了scale网络1中的分类模块的分类结果。Cls2是scale网络2中的分类模块分类结果。最终将这两个分类结果平均作为整个自研RA-CNN分类的结果，实现人工智能进行分类并获取分类概率的效果。
5)、我们在每个scale网络中都得到一个分类概率，将这些概率平均得到最终的细粒度分类模型概率。公式如下：
Figure BDA0002861542540000091
S160：根据所述分类概率及预设判定条件，获取所述待检测图像的影像遮挡区域。
其中，得到最后的分类概率后，可经过0.65的阈值来判断影像区域是否属于遮挡。在具体应用过程中，可自行设定上述是否属于遮挡的阈值。
例如，判断遮挡/非遮挡的计算公式如下：
Figure BDA0002861542540000101
该预设判断条件可使用混淆矩阵来设计，例如通过混淆矩阵来制定整个身份证遮挡检测方法的评价指标。在上述评价指标中，精度率和召回率均是越高越高。其中，
精度率的表示公式为：
Figure BDA0002861542540000102
召回率的表示公式为：
Figure BDA0002861542540000103
其中，TP表示影像遮挡且预测为遮挡的概率、FP表示影像未遮挡但预测为遮挡的概率、FN表示影像遮挡但预测为未遮挡的概率、TN表示影像为未遮挡且预测为未遮挡的概率。
如图3所示，是本发明影像遮挡区域自动检测装置的功能模块图。
本发明所述影像遮挡区域自动检测装置100可以安装于电子设备中。根据实现的功能，所述影像遮挡区域自动检测装置可以包括频域图获取单元101、新图像获取单元102、检测区域获取单元103、转换区域获取单元104、分类概率获取单元105、影像遮挡区域获取单元106。本发所述单元也可以称之为模块，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
在本实施例中，关于各模块/单元的功能如下：
频域图获取单元101，用于对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图；
新图像获取单元102，用于对所述频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像；
检测区域获取单元103，用于基于目标检测模型获取所述新图像的正反面，以及所述正反面的文字区域和图像区域；
转换区域获取单元104，用于对所述文字区域和所述图像区域进行透射变换，获取与所述文字区域和所述图像区域分别对应的转换区域；
分类概率获取单元105，用于将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率；
影像遮挡区域获取单元106，用于根据所述分类概率及预设判定条件，获取所述待检测图像的影像遮挡区域。
需要说明的是，影像遮挡区域自动检测装置100实施例可参考影像遮挡区域自动检测方法实施例中的描述，此处不再一一赘述。
如图4所示，是本发明实现影像遮挡区域自动检测方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如影像遮挡区域自动检测程序12。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如影像遮挡区域自动检测程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如影像遮挡区域自动检测程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图3示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的影像遮挡区域自动检测程序12是多个指令的组合，在所述处理器10中运行时，可以实现：
对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图；
对所述频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像；
基于目标检测模型获取所述新图像的正反面，以及所述正反面的文字区域和图像区域；
对所述文字区域和所述图像区域进行透射变换，获取与所述文字区域和所述图像区域分别对应的转换区域；
将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率；
根据所述分类概率及预设判定条件，获取所述待检测图像的影像遮挡区域。
可选地，所述对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图的步骤包括：
基于傅里叶变换对所述待检测图像进行频域转换处理，所述频域转换公式如下所示：
Figure BDA0002861542540000131
其中，F(u，v)表示所述频域图，f(x，y)表示所述待检测图像，u＝0、1、2、…M-1，v＝0、1、2、…N-1，x＝0、1、2、…M-1，y＝0、1、2、…N-1，M表示所述待检测图像的宽，N表示所述待检测图像的高。
可选地，所述将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像的步骤包括：
基于傅里叶反变换对所述频域图进行空间域转换处理，所述空间域转换公式如下所示：
Figure BDA0002861542540000132
其中，F(x，y)表示所述新图像，f(u，v)表示所述频域图，u＝0、1、2、…M-1，v＝0、1、2、…N-1，x＝0、1、2、…M-1，y＝0、1、2、…N-1，M表示所述频域图的宽，N表示所述频域图的高。
可选地，所述对所述文字区域和所述图像区域进行透射变换的步骤包括：
基于透射变换公式对所述文字区域和所述图像区域进行透射变换；
所述透射变换公式表示为：
Figure BDA0002861542540000141
其中，u,v,w表示所述文字区域或所述图像区域在变换前的坐标，x′,y′,w′表示与所述u,v,w对应的变换之后的新坐标，a11,a12,a13,a21,a22,a23,a31,a32,a33分别表示约束条件。
可选地，所述将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率的步骤包括：
创建弱细粒度分类模型；
基于所述弱细粒度分类模型获取与所述转换区域对应的分类概率。
可选地，所述弱细粒度分类模型包括特征提取部分、分类模块部分、APN网络部分和多scale网络部分；其中，基于所述弱细粒度分类模型获取与所述转换区域对应的分类概率的步骤包括：
基于所述特征提取部分提取所述转换区域的图像特征；
基于所述分类模块部分的全连接层和softmax层对所述图像特征进行分类处理；
基于APN网络部分对分类处理后的图像特征进行训练，并获取目标区域信息；
基于所述多scale网络部分对所述目标区域信息进行尺寸调整，并输出与所述转换区域对应的分类概率。
可选地，所述预设判定条件包括精度率和召回率；
所述精度率的表示公式为：
Figure BDA0002861542540000142
所述召回率的表示公式为：
Figure BDA0002861542540000143
其中，TP表示影像遮挡且预测为遮挡的概率、FP表示影像未遮挡但预测为遮挡的概率、FN表示影像遮挡但预测为未遮挡的概率、TN表示影像为未遮挡且预测为未遮挡的概率。
具体地，所述处理器10对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种影像遮挡区域自动检测方法，其特征在于，所述方法包括：
对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图；
对所述频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像；
基于目标检测模型获取所述新图像的正反面，以及所述正反面的文字区域和图像区域；
对所述文字区域和所述图像区域进行透射变换，获取与所述文字区域和所述图像区域分别对应的转换区域；
将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率；
根据所述分类概率及预设判定条件，获取所述待检测图像的影像遮挡区域。
2.如权利要求1所述的影像遮挡区域自动检测方法，其特征在于，所述对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图的步骤包括：
基于傅里叶变换对所述待检测图像进行频域转换处理，所述频域转换公式如下所示：
Figure FDA0002861542530000011
其中，F(u，v)表示所述频域图，f(x，y)表示所述待检测图像，u＝0、1、2、…M-1，v＝0、1、2、…N-1，x＝0、1、2、…M-1，y＝0、1、2、…N-1，M表示所述待检测图像的宽，N表示所述待检测图像的高。
3.如权利要求1所述的影像遮挡区域自动检测方法，其特征在于，所述将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像的步骤包括：
基于傅里叶反变换对所述频域图进行空间域转换处理，所述空间域转换公式如下所示：
Figure FDA0002861542530000012
其中，F(x，y)表示所述新图像，f(u，v)表示所述频域图，u＝0、1、2、…M-1，v＝0、1、2、…N-1，x＝0、1、2、…M-1，y＝0、1、2、…N-1，M表示所述频域图的宽，N表示所述频域图的高。
4.如权利要求1所述的影像遮挡区域自动检测方法，其特征在于，所述对所述文字区域和所述图像区域进行透射变换的步骤包括：
基于透射变换公式对所述文字区域和所述图像区域进行透射变换；
所述透射变换公式表示为：
Figure FDA0002861542530000021
其中，u,v,w表示所述文字区域或所述图像区域在变换前的坐标，x′,y′,w′表示与所述u,v,w对应的变换之后的新坐标，a11,a12,a13,a21,a22,a23,a31,a32,a33分别表示约束条件。
5.如权利要求1所述的影像遮挡区域自动检测方法，其特征在于，所述将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率的步骤包括：
创建弱细粒度分类模型；
基于所述弱细粒度分类模型获取与所述转换区域对应的分类概率。
6.如权利要求5所述的影像遮挡区域自动检测方法，其特征在于，所述弱细粒度分类模型包括特征提取部分、分类模块部分、APN网络部分和多scale网络部分；其中，基于所述弱细粒度分类模型获取与所述转换区域对应的分类概率的步骤包括：
基于所述特征提取部分提取所述转换区域的图像特征；
基于所述分类模块部分的全连接层和softmax层对所述图像特征进行分类处理；
基于APN网络部分对分类处理后的图像特征进行训练，并获取目标区域信息；
基于所述多scale网络部分对所述目标区域信息进行尺寸调整，并输出与所述转换区域对应的分类概率。
7.如权利要求1所述的影像遮挡区域自动检测方法，其特征在于，
所述预设判定条件包括精度率和召回率；
所述精度率的表示公式为：
Figure FDA0002861542530000031
所述召回率的表示公式为：
Figure FDA0002861542530000032
其中，TP表示影像遮挡且预测为遮挡的概率、FP表示影像未遮挡但预测为遮挡的概率、FN表示影像遮挡但预测为未遮挡的概率、TN表示影像为未遮挡且预测为未遮挡的概率。
8.一种影像遮挡区域自动检测装置，其特征在于，所述装置包括：
频域图获取单元，用于对待检测图像进行频域转换处理，获取与所述待检测图像对应的频域图；
新图像获取单元，用于对所述频域图进行滤波处理，并将滤波处理后的频域图转换至空间域中，获取与所述待检测图像对应的新图像；
检测区域获取单元，用于基于目标检测模型获取所述新图像的正反面，以及所述正反面的文字区域和图像区域；
转换区域获取单元，用于对所述文字区域和所述图像区域进行透射变换，获取与所述文字区域和所述图像区域分别对应的转换区域；
分类概率获取单元，用于将所述转换区域输入弱细粒度分类模型，获取与所述转换区域对应的分类概率；
影像遮挡区域获取单元，用于根据所述分类概率及预设判定条件，获取所述待检测图像的影像遮挡区域。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一所述的影像遮挡区域自动检测方法中的步骤。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一所述的影像遮挡区域自动检测方法中的步骤。
CN202011564896.8A 2020-12-25 2020-12-25 影像遮挡区域自动检测方法、装置及存储介质 Active CN112633183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011564896.8A CN112633183B (zh) 2020-12-25 2020-12-25 影像遮挡区域自动检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011564896.8A CN112633183B (zh) 2020-12-25 2020-12-25 影像遮挡区域自动检测方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN112633183A true CN112633183A (zh) 2021-04-09
CN112633183B CN112633183B (zh) 2023-11-14

Family

ID=75325458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011564896.8A Active CN112633183B (zh) 2020-12-25 2020-12-25 影像遮挡区域自动检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112633183B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399617A (zh) * 2021-12-23 2022-04-26 北京百度网讯科技有限公司 一种遮挡图案识别方法、装置、设备和介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019033572A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸遮挡检测方法、装置及存储介质
CN110321942A (zh) * 2019-06-25 2019-10-11 华中科技大学 一种基于球形特征的细粒度图像分类方法与装置
CN110647880A (zh) * 2019-08-12 2020-01-03 深圳市华付信息技术有限公司 一种移动端身份证图像遮挡判断方法
US20200034657A1 (en) * 2017-07-27 2020-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for occlusion detection on target object, electronic device, and storage medium
CN111126275A (zh) * 2019-12-24 2020-05-08 广东省智能制造研究所 一种基于多粒度特征融合的行人再识别方法及装置
CN111586361A (zh) * 2020-05-19 2020-08-25 浙江大华技术股份有限公司 一种图像的处理方法及相关装置
CN111914812A (zh) * 2020-08-20 2020-11-10 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200034657A1 (en) * 2017-07-27 2020-01-30 Tencent Technology (Shenzhen) Company Limited Method and apparatus for occlusion detection on target object, electronic device, and storage medium
WO2019033572A1 (zh) * 2017-08-17 2019-02-21 平安科技（深圳）有限公司 人脸遮挡检测方法、装置及存储介质
CN110321942A (zh) * 2019-06-25 2019-10-11 华中科技大学 一种基于球形特征的细粒度图像分类方法与装置
CN110647880A (zh) * 2019-08-12 2020-01-03 深圳市华付信息技术有限公司 一种移动端身份证图像遮挡判断方法
CN111126275A (zh) * 2019-12-24 2020-05-08 广东省智能制造研究所 一种基于多粒度特征融合的行人再识别方法及装置
CN111586361A (zh) * 2020-05-19 2020-08-25 浙江大华技术股份有限公司 一种图像的处理方法及相关装置
CN111914812A (zh) * 2020-08-20 2020-11-10 腾讯科技（深圳）有限公司 图像处理模型训练方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399617A (zh) * 2021-12-23 2022-04-26 北京百度网讯科技有限公司 一种遮挡图案识别方法、装置、设备和介质

Also Published As

Publication number Publication date
CN112633183B (zh) 2023-11-14

Similar Documents

Publication Publication Date Title
CN107358242B (zh) 目标区域颜色识别方法、装置及监控终端
CN112861648B (zh) 文字识别方法、装置、电子设备及存储介质
CN112052850A (zh) 车牌识别方法、装置、电子设备及存储介质
CN113283446A (zh) 图像中目标物识别方法、装置、电子设备及存储介质
CN113554008B (zh) 静态物体区域内检测方法、装置、电子设备及存储介质
CN110929626A (zh) 确定库存货物件数的方法、仓库盘点方法、装置及设备
CN112651953B (zh) 图片相似度计算方法、装置、计算机设备及存储介质
CN111639704A (zh) 目标识别方法、装置及计算机可读存储介质
CN113705462A (zh) 人脸识别方法、装置、电子设备及计算机可读存储介质
CN112528908A (zh) 活体检测方法、装置、电子设备及存储介质
CN110991310A (zh) 人像检测方法、装置、电子设备及计算机可读介质
CN112347526A (zh) 基于防摄屏的信息安全保护方法、装置、电子设备及介质
CN112507923A (zh) 证件翻拍检测方法、装置、电子设备及介质
CN112137591A (zh) 基于视频流的目标物位置检测方法、装置、设备及介质
CN115294483A (zh) 输电线路复杂场景的小目标识别方法及系统
CN114550076A (zh) 区域异常行为监控方法、装置、设备及存储介质
CN108648189A (zh) 图像模糊检测方法、装置、计算设备及可读存储介质
CN114049568A (zh) 基于图像比对的标的物形变检测方法、装置、设备及介质
CN112906671B (zh) 面审虚假图片识别方法、装置、电子设备及存储介质
CN112633183A (zh) 影像遮挡区域自动检测方法、装置及存储介质
CN113495886A (zh) 用于模型训练的污染样本数据的检测方法及装置
CN112507903B (zh) 假脸检测方法、装置、电子设备及计算机可读存储介质
CN115760854A (zh) 基于深度学习的电力设备缺陷检测方法、装置及电子设备
CN113792671A (zh) 人脸合成图像的检测方法、装置、电子设备及介质
CN112905817B (zh) 基于排序算法的图像检索方法、装置及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant