CN112598628A - 一种图像遮挡检测方法、装置、拍摄设备及介质 - Google Patents

一种图像遮挡检测方法、装置、拍摄设备及介质 Download PDF

Info

Publication number
CN112598628A
CN112598628A CN202011442385.9A CN202011442385A CN112598628A CN 112598628 A CN112598628 A CN 112598628A CN 202011442385 A CN202011442385 A CN 202011442385A CN 112598628 A CN112598628 A CN 112598628A
Authority
CN
China
Prior art keywords
image
images
occlusion detection
shielded
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011442385.9A
Other languages
English (en)
Inventor
符峥
龙良曲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Insta360 Innovation Technology Co Ltd
Original Assignee
Insta360 Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Insta360 Innovation Technology Co Ltd filed Critical Insta360 Innovation Technology Co Ltd
Priority to CN202011442385.9A priority Critical patent/CN112598628A/zh
Publication of CN112598628A publication Critical patent/CN112598628A/zh
Priority to PCT/CN2021/136589 priority patent/WO2022121963A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明适用图像处理技术领域,提供了一种图像遮挡检测方法、装置、拍摄设备及介质,该方法包括:获取待检测图像,根据预设的图像裁剪规则,对待检测图像进行裁剪,得到待检测图像对应的边缘区域图像,将待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出待检测图像的图像遮挡检测结果,从而在图像遮挡检测过程中保留了对遮挡检测贡献较大的边缘区域图像,减少了中心区域对图像遮挡检测带来的干扰,在保证图像遮挡检测准确率的同时,提高了图像遮挡的检测效率和准确性。

Description

一种图像遮挡检测方法、装置、拍摄设备及介质
技术领域
本发明属于图像处理技术领域,尤其涉及一种图像遮挡检测方法、装置、拍摄设备及介质。
背景技术
得益于便携性与良好的操作体验,手机、运动相机、全景相机等可移动拍摄设备已经成为当今社会最常见的图像与视频拍摄设备。人们可以用这些设备轻松地记录或创作丰富、有趣的图像与视频内容。然而,由于可移动拍摄设备体型较小、拍摄环境复杂,拍摄时镜头容易被拍摄者的身体或其他物体遮挡,从而拍摄出观感不佳的遮挡画面。因此,检测出图像或视频中的遮挡画面是当前可移动拍摄设备研究的重要问题之一。
现有图像/视频遮挡检测方法,大多数基于图像的基本空间域或频域特征,判别是否存在遮挡。这些方案对于非完全遮挡、非规则形状物体遮挡图像难以准确分类,少部分基于神经网络的遮挡检测方法运行效率较低,准确性差,不能满足快速遮挡检测的需求。
发明内容
本发明的目的在于提供一种图像遮挡检测方法、装置、拍摄设备及介质,旨在解决由于现有图像遮挡检测方法检测效率低和准确性差的问题。
一方面,本发明提供了一种图像遮挡检测方法,所述方法包括下述步骤:
获取待检测图像;
根据预设的图像裁剪规则,对所述待检测图像进行裁剪,得到所述待检测图像对应的边缘区域图像;
将所述待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出所述待检测图像的图像遮挡检测结果。
另一方面,本发明提供了一种图像遮挡检测装置,所述装置包括:
待检测图像获取单元,用于获取待检测图像;
区域图像获取单元,用于根据预设的图像裁剪规则,对所述待检测图像进行裁剪,得到所述待检测图像对应的边缘区域图像;以及
图像检测单元,用于将所述待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出所述待检测图像的图像遮挡检测结果。
另一方面,本发明还提供了一种拍摄设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述方法的步骤。
另一方面,本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述方法的步骤。
本发明在获取待检测图像后,根据预设的图像裁剪规则,对待检测图像进行裁剪,得到待检测图像对应的边缘区域图像,将待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出待检测图像的图像遮挡检测结果,从而在图像遮挡检测过程中保留了对遮挡检测贡献较大的边缘区域图像,减少了中心区域对图像遮挡检测带来的干扰,在保证图像遮挡检测准确率的同时,提高了图像遮挡的检测效率和准确性。
附图说明
图1是本发明实施例一提供的图像遮挡检测方法的实现流程图;
图2a、图2b和图2c是本发明实施例一提供的图像中心区域和边缘区域的划分示意图;
图3a、图3b、图3c、3d、图3e和图3f是本发明实施例一提供的由边缘区域图像拼接得到的矩形图像示意图;
图4是本发明实施例二提供的图像遮挡检测模型的训练实现流程图;
图5是本发明实施例三提供的图像遮挡检测装置的结构示意图;
图6是本发明实施例四提供的图像遮挡检测装置的优选结构示意图;以及
图7是本发明实施例五提供的拍摄设备的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述:
实施例一:
图1示出了本发明实施例一提供的图像遮挡检测方法的实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S101中,获取待检测图像;
本发明实施例适用于计算设备,具体地,可适用于拍摄设备,以在拍摄设备上进行图像的遮挡检测,例如,检测是否有人手部、头部或头发在拍摄设备拍照时遮挡拍摄设备的镜头,对应地,遮挡物可以为人手部、头部或头发,拍摄设备可以为任意可获得数字图像的设备,包括但不限于单反相机、无反相机、带有拍照与摄像功能的手机、运动相机、全景相机等。当然,待检测图像也可以是通过其他任意图像处理方式得到的图像,也可以是视频中的图像帧。
在步骤S102中,根据预设的图像裁剪规则,对待检测图像进行裁剪,得到待检测图像对应的边缘区域图像;
在本发明实施例中,对待检测图像进行裁剪,保留待检测图像的边缘区域,从而保留待检测图像中对遮挡检测贡献较大的边缘区域图像,减少中心区域对遮挡检测带来的干扰,从提高后续图像遮挡检测的准确率和检测效率。具体地,在对待检测图像进行裁剪之前,可将待检测图像划分中心区域和边缘区域,图像的中心区域为多边形或者任意规则的形状,作为示例地,如图2a、图2b和图2c所示,S1、S2、S3和S4表示图像边缘区域,位于四个图像边缘区域中间的区域为图像中心区域,图像中心区域的中心点与待检测图像的中心点重合。图像区域的划分规则可预先设置,例如,可以如图2a一样划分图像的中心区域和边缘区域,也可以如图2b一样划分图像的中心区域和边缘区域,也可以如图 2c一样划分图像的中心区域和边缘区域。在一优选实施例中,根据待检测图像的拍摄时的拍摄角度设置图像的中心区域和边缘区域,以精确划分对识别遮挡物贡献较大的边缘区域图像、对识别遮挡物贡献较小(存在干扰)的中心区域图像,例如,如果是水平或竖直拍摄的图像,则可使用图2a或图2b的划分方式,如果是与水平面成一角度拍摄的图像,则可使用图2c的划分方式。划分完成之后,在对待检测图像的中心区域进行裁剪,保留待检测图像的边缘区域时,根据预设的图像区域划分规则将待检测图像划分为中心区域和边缘区域,裁剪出待检测图像中心区域四周的边缘区域图像,将该边缘区域图像作为待检测图像对应的边缘区域图像,从而在不干扰图像遮挡检测的同时减少遮挡检测时的数据处理量。
进一步地,在一个实施例中,在裁剪出待检测图像中心区域四周的边缘区域图像后,可将边缘区域图像拼接为边缘区域拼接图像,可将该边缘区域拼接图像作为待检测图像对应的边缘区域图像,以便于使用训练好的图像遮挡检测模型对其进行图像遮挡检测。拼接时应尽量保持各个部分的相对位置不变,例如,左边的边缘区域图像仍然位于拼接后图像的左边,右边的边缘区域图像仍然位于拼接后图像的右边。作为示例地,如图3a、图3b和图3c所示,图3a 是按照图2a划分方式裁剪得到的边缘区域图像拼接得到的边缘区域拼接图像,图3b是按照图2b划分方式裁剪得到的边缘区域图像拼接得到的边缘区域拼接图像,图3c是按照图2c划分方式裁剪得到的边缘区域图像拼接得到的边缘区域拼接图像。
优选地,在裁剪出待检测图像中心区域四周的边缘区域图像后,将边缘区域图像拼接为边缘区域矩形图像,可将该边缘区域矩形图像作为待检测图像对应的边缘区域图像,以便于使用训练好的图像遮挡检测模型对其进行图像遮挡检测。具体地,拼接时应尽量保持各个部分的相对位置不变,例如,左边的边缘区域图像仍然位于拼接后图像的左边,右边的边缘区域图像仍然位于拼接后图像的右边,若拼接时图像在长度或高度方向不一致,则可以对不一致的边缘区域图像进行缩放,以得到矩形图像。作为示例地,如图 3d、图3e和图3f所示,图3d是按照图2a划分方式裁剪得到的边缘区域图像拼接得到的矩形图像,图3e是按照图2b划分方式裁剪得到的边缘区域图像拼接得到的矩形图像,图3f是按照图2c划分方式裁剪得到的边缘区域图像拼接得到的矩形图像。
在步骤S103中,将待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出待检测图像的图像遮挡检测结果。
在本发明实施例中,图像遮挡检测模型为基于深度学习的神经网络型,具体地,训练好的图像遮挡检测模型可以为实施例二中训练得到的图像遮挡检测模型。在一优选实施例中,该图像遮挡检测模型采用基于深度学习的轻量级神经网络骨架模型,从而提高图像遮挡检测模型的检测效率。优选地,轻量级神经网络骨架模型为MobileNetV2或EfficientNet模型,从而进一步提高图像遮挡检测模型的检测效率,也使得该图像遮挡检测模型可较好地适用于计算能力不佳的计算设备上。当裁剪得到的边缘区域图像输入到训练好的图像遮挡检测模型后,若检测到边缘区域图像中存在遮挡,输出待检测图像存在遮挡的检测结果或提醒信息,否则输出不存在遮挡的检测结果或不输出提醒信息。
本发明实施例在获取待检测图像后,根据预设的图像裁剪规则,对待检测图像进行裁剪,得到待检测图像对应的边缘区域图像,将待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出待检测图像的图像遮挡检测结果,从而在图像遮挡检测过程中保留了对遮挡检测贡献较大的边缘区域图像,减少了中心区域对图像遮挡检测带来的干扰,在保证图像遮挡检测准确率的同时,提高了图像遮挡检测的检测效率。
实施例二:
图4示出了本发明实施例二提供的图像遮挡检测模型的训练实现流程,为了便于说明,仅示出了与本发明实施例相关的部分,详述如下:
在步骤S401中,获取多张有遮挡图像和无遮挡图像;
本发明实施例适用于计算设备,具体地,可适用于拍摄设备,以在拍摄设备上进行图像遮挡检测模型的训练,由该实施例训练得到的图像遮挡检测模型可用作实施例一中的图像遮挡检测模型。拍摄设备可以为任意可获得数字图像的设备,包括但不限于单反相机、无反相机、带有拍照与摄像功能的手机、运动相机、全景相机等。其中,有遮挡图像为拍摄设备获得的有任意物体(遮挡物)遮挡全部或部分拍摄对象(画面)的数字图像或视频图像,遮挡物可以为人手部、头部或头发。当然,有遮挡图像和无遮挡图像也可以是通过其他任意图像处理方式得到的图像,也可以是视频中的图像帧。
在一优选实施例中,在获取多张有遮挡图像和无遮挡图像时,通过拍摄设备获取多张有遮挡物遮挡拍摄对象的图像和没有遮挡物遮挡拍摄对象的图像,通过人工或自动方式将有遮挡物遮挡拍摄对象的图像和没有遮挡物遮挡拍摄对象的图像标记为有遮挡图像和无遮挡图像,从而实现有遮挡图像和无遮挡图像的获取。进一步地,在将有遮挡物遮挡拍摄对象的图像和没有遮挡物遮挡拍摄对象的图像标记为有遮挡图像和无遮挡图像时,将遮挡物与镜头之间距离大于预设距离、且未遮挡拍摄对象主体的图像标记为无遮挡图像,距离小于预设距离或拍摄对象主体被遮挡的图像标记为有遮挡图像,例如,将手放在镜头上的画面图像标记为有遮挡图像,而手离镜头很远(大于预设距离)并出现在画面中的图像被标记为无遮挡图像,从而提高后续使用有遮挡图像训练得到的图像遮挡检测模型的鲁棒性和遮挡检测的准确率,同时使得后续训练得到的图像遮挡检测模型更好地适用于非完全遮挡、非规则形状物体遮挡的遮挡检测。在具体实施中,若拍摄设备拍摄的是视频,则将视频先转换为图像帧,再将每一张图像帧分类,标记为有遮挡图像和无遮挡图像。
在步骤S402中,根据预设的图像裁剪规则,对每个有遮挡图像和无遮挡图像的中心区域进行裁剪,保留每个有遮挡图像和无遮挡图像的边缘区域,以得到每个有遮挡图像和无遮挡图像的边缘区域图像;
在本发明实施例中,对每个有遮挡图像和无遮挡图像的中心区域进行裁剪,保留每个有遮挡图像和无遮挡图像的边缘区域,从而保留后续图像遮挡检测模型训练中对遮挡检测贡献较大的边缘区域图像,减少中心区域对模型训练带来的干扰,提高了后续图像遮挡检测模型的训练效率和准确率。具体地,在对每个有遮挡图像和无遮挡图像的中心区域进行裁剪之前,可将每个有遮挡图像和无遮挡图像划分中心区域和边缘区域,图像的中心区域为多边形或者任意规则的形状,作为示例地,如图2a、图2b和图2c所示,S1、S2、S3和S4表示图像边缘区域,位于四个图像边缘区域中间的区域为图像中心区域,图像中心区域的中心点与有遮挡图像或无遮挡图像的中心点重合。图像区域的划分规则可预先设置,例如,可以如图2a一样划分图像的中心区域和边缘区域,也可以如图2b一样划分图像的中心区域和边缘区域,也可以如图2c一样划分图像的中心区域和边缘区域。在一优选实施例中,根据每个有遮挡图像和无遮挡图像的拍摄角度设置图像的中心区域和边缘区域,以精确划分对识别遮挡物贡献较大的边缘区域图像、对识别遮挡物贡献较小(存在干扰)的中心区域图像,例如,如果是水平或竖直拍摄的图像,则可使用图2a或图2b的划分方式,如果是与水平面成一角度拍摄的图像,则可使用图2c的划分方式。划分完成之后,在对每个有遮挡图像和无遮挡图像的中心区域进行裁剪,保留每个有遮挡图像和无遮挡图像的边缘区域时,根据预设的图像区域划分规则将有遮挡图像和无遮挡图像划分为中心区域和边缘区域,裁剪出每个有遮挡图像和无遮挡图像中心区域四周的边缘区域图像,以作为后续图像遮挡检测模型的训练样本。
在步骤S403中,基于每个有遮挡图像和无遮挡图像的边缘区域图像,建立样本图像数据库;
在本发明实施例中,基于前述步骤S401、S402处理后得到的所有有遮挡图像和无遮挡图像的边缘区域图像,建立样本图像数据库,以用于后续的图像遮挡检测模型训练。在基于每个有遮挡图像和无遮挡图像的边缘区域图像建立样本图像数据库时,可将每个有遮挡图像和无遮挡图像的边缘区域图像拼接为边缘区域拼接图像,基于得到的所有边缘区域拼接图像建立样本图像数据库,以便于后续的模型训练。拼接时应尽量保持各个部分的相对位置不变,例如,左边的边缘区域图像仍然位于拼接后图像的左边,右边的边缘区域图像仍然位于拼接后图像的右边。作为示例地,如图3a、图3b和图3c所示,图3a是按照图2a划分方式裁剪得到的边缘区域图像拼接得到的边缘区域拼接图像,图 3b是按照图2b划分方式裁剪得到的边缘区域图像拼接得到的边缘区域拼接图像,图3c是按照图2c划分方式裁剪得到的边缘区域图像拼接得到的边缘区域拼接图像。
优选地,在基于每个有遮挡图像和无遮挡图像的边缘区域图像建立样本图像数据库时,将每个有遮挡图像和无遮挡图像的边缘区域图像拼接为边缘区域矩形图像,基于得到的所有边缘区域矩形图像建立样本图像数据库,以便于后续的模型训练。拼接时应尽量保持各个部分的相对位置不变,例如,左边的边缘区域图像仍然位于拼接后图像的左边,右边的边缘区域图像仍然位于拼接后图像的右边,若拼接时图像在长度或高度方向不一致,则可以对不一致的边缘区域图像进行缩放,以得到矩形图像,以用于图像遮挡检测模型的训练。作为示例地,如图3d、图3e和图3f所示,图3d是按照图2a划分方式裁剪得到的边缘区域图像拼接得到的矩形图像,图3e是按照图2b划分方式裁剪得到的边缘区域图像拼接得到的矩形图像,图3f是按照图2c划分方式裁剪得到的边缘区域图像拼接得到的矩形图像。
在步骤S404中,基于样本图像数据库,对预先构建的图像遮挡检测模型进行训练,以得到训练好的图像遮挡检测模型。
本发明实施例在获取多张有遮挡图像和无遮挡图像后,根据预设的图像裁剪规则,对每个有遮挡图像和无遮挡图像的中心区域进行裁剪,保留每个有遮挡图像和无遮挡图像的边缘区域,以得到每个有遮挡图像和无遮挡图像的边缘区域图像,基于每个有遮挡图像和无遮挡图像的边缘区域图像,建立样本图像数据库,基于样本图像数据库对预先构建的图像遮挡检测模型进行训练,以得到训练好的图像遮挡检测模型,其中,图像遮挡检测模型为基于深度学习的神经网络型,这样,在获取训练样本时保留了对遮挡检测贡献较大的边缘区域图像,减少了中心区域图像对模型训练带来的干扰,提高了图像遮挡检测模型的训练效率和准确率。
在一实施例中,基于样本图像数据库对预先构建的图像遮挡检测模型进行训练时,将样本图像数据库中所有有遮挡图像和无遮挡图像的边缘区域图像按照预设比例划分为训练样本、验证样本以及测试样本,使用训练样本、验证样本以及测试样本对预先构建的图像遮挡检测模型进行训练,该图像遮挡检测模型采用基于深度学习的轻量级神经网络骨架模型,从而提高图像遮挡检测模型的训练效率。
在一优选实施例中,基于样本图像数据库对预先构建的图像遮挡检测模型进行训练时,将样本图像数据库中所有有遮挡图像和无遮挡图像的边缘区域拼接图像按照预设比例划分为训练样本、验证样本以及测试样本,使用训练样本、验证样本以及测试样本对预先构建的图像遮挡检测模型进行训练,该图像遮挡检测模型采用基于深度学习的轻量级神经网络骨架模型,从而提高图像遮挡检测模型的训练效率。
在一优选实施例中,基于样本图像数据库对预先构建的图像遮挡检测模型进行训练时,将样本图像数据库中所有有遮挡图像和无遮挡图像的边缘区域矩形图像按照预设比例划分为训练样本、验证样本以及测试样本,使用训练样本、验证样本以及测试样本对预先构建的图像遮挡检测模型进行训练,该图像遮挡检测模型采用基于深度学习的轻量级神经网络骨架模型,从而提高图像遮挡检测模型的训练效率。
进一步地,在对预先构建的图像遮挡检测模型进行训练时,训练样本、验证样本以及测试样本的数量比例为6:2:2,轻量级神经网络骨架模型为 MobileNetV2或EfficientNet模型,从而提高图像遮挡检测模型的训练速度和检测准确度,进而提高该网络的图像遮挡检测效率,也使得该图像遮挡检测模型可较好地适用于计算能力不佳的计算设备上。
在具体实施中,在构建图像遮挡检测模型时,将MobileNetV2或EfficientNet 模型作为图像遮挡检测模型的骨架模型,然后去掉MobileNetV2或EfficientNet 模型原来的分类器层,最后在顶层加上与分类类别数量相等的输出层,从而得到自定义的图像遮挡检测模型。在对构建好的图像遮挡检测模型进行训练时,可将所有边缘区域拼接图像(有遮挡矩形图像和无遮挡矩形图像)按照6:2:2 的比例分为训练样本、验证样本与测试样本,以训练样本作为图像遮挡检测模型的输入,以Adam方法作为优化器训练,每个epoch后保存验证样本损失值最小的模型,训练100个epochs后停止,完成图像遮挡检测模型训练,训练后的模型在测试样本上可达到97.8%的分类准确率。
实施例三:
图5示出了本发明实施例三提供的图像遮挡检测装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
待检测图像获取单元51,用于获取待检测图像;
区域图像获取单元52,用于根据预设的图像裁剪规则,对待检测图像进行裁剪,得到待检测图像对应的边缘区域图像;以及
图像检测单元53,用于将边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出待检测图像的图像遮挡检测结果。
在本发明实施例中,图像遮挡检测装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。各单元的具体实施例方式可参考实施例一各步骤的对应描述,在此不再赘述。
实施例四:
图6示出了本发明实施例四提供的图像遮挡检测装置的结构,为了便于说明,仅示出了与本发明实施例相关的部分,其中包括:
图像获取单元61,用于获取多张有遮挡图像和无遮挡图像;
图像裁剪单元62,用于根据预设的图像裁剪规则,对每个有遮挡图像和无遮挡图像的中心区域进行裁剪,保留每个有遮挡图像和无遮挡图像的边缘区域,以得到每个有遮挡图像和无遮挡图像的边缘区域图像;
数据库建立单元63,用于基于每个有遮挡图像和无遮挡图像的边缘区域图像,建立样本图像数据库;
模型训练单元64,用于基于样本图像数据库,对预先构建的图像遮挡检测模型进行训练,以得到训练好的图像遮挡检测模型;
待检测图像获取单元65,用于获取待检测图像;
区域图像获取单元66,用于根据预设的图像裁剪规则,对待检测图像进行裁剪,得到待检测图像对应的边缘区域图像;以及
图像检测单元67,用于将待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出待检测图像的图像遮挡检测结果。
在一优选实施例中,数据库建立单元63包括数据库建立子单元,用于将每个有遮挡图像和无遮挡图像的边缘区域图像拼接为边缘区域拼接图像,基于每个有遮挡图像和无遮挡图像的边缘区域拼接图像,建立样本图像数据库。
在一优选实施例中,模型训练单元64包括:
图像划分单元,用于将样本图像数据库中有遮挡图像和无遮挡图像的边缘区域图像按照预设比例划分为训练样本、验证样本以及测试样本;以及
模型训练子单元,用于使用训练样本、验证样本以及测试样本对预先构建的图像遮挡检测模型进行训练,图像遮挡检测模型采用基于深度学习的轻量级神经网络骨架模型。
在本发明实施例中,图像遮挡检测装置的各单元可由相应的硬件或软件单元实现,各单元可以为独立的软、硬件单元,也可以集成为一个软、硬件单元,在此不用以限制本发明。各单元的具体实施例方式可参考实施例一、二各步骤的对应描述,在此不再赘述。
实施例五:
图7示出了本发明实施例五提供的拍摄设备的结构,为了便于说明,仅示出了与本发明实施例相关的部分。
本发明实施例的拍摄设备7包括处理器70、存储器71以及存储在存储器 71中并可在处理器70上运行的计算机程序72。该处理器70执行计算机程序 72时实现上述图像遮挡检测方法实施例中的步骤,例如,图1所示的步骤S101 至S103。或者,处理器70执行计算机程序72时实现上述装置实施例中各单元的功能,例如,图5所示的单元51至53的功能。
本发明实施例在获取待检测图像后,根据预设的图像裁剪规则,对待检测图像进行裁剪,得到待检测图像对应的边缘区域图像,将边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出待检测图像的图像遮挡检测结果,从而在图像遮挡检测过程中保留了对遮挡检测贡献较大的边缘区域图像,减少了中心区域对图像遮挡检测带来的干扰,在保证图像遮挡检测准确率的同时,提高了图像遮挡的检测效率和准确性。
本发明实施例的拍摄设备可以为相机、带有拍照与摄像功能的手机等。该拍摄设备7中处理器70执行计算机程序72时实现图像遮挡检测方法时实现的步骤可参考前述方法实施例的描述,在此不再赘述。
实施例六:
在本发明实施例中,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述图像遮挡检测方法实施例中的步骤,例如,图1所示的步骤S101至S103。或者,该计算机程序被处理器执行时实现上述各装置实施例中各单元的功能,例如图5所示单元51至53的功能。
本发明实施例的计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质,例如,ROM/RAM、磁盘、光盘、闪存等存储器。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种图像遮挡检测方法,其特征在于,所述方法包括下述步骤:
获取待检测图像;
根据预设的图像裁剪规则,对所述待检测图像进行裁剪,得到所述待检测图像对应的边缘区域图像;
将所述待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出所述待检测图像的图像遮挡检测结果。
2.如权利要求1所述的方法,其特征在于,将所述待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测的步骤之前,还包括:
获取多张有遮挡图像和无遮挡图像;
根据预设的图像裁剪规则,对每个所述有遮挡图像和所述无遮挡图像的中心区域进行裁剪,保留每个所述有遮挡图像和所述无遮挡图像的边缘区域,以得到每个所述有遮挡图像和所述无遮挡图像的边缘区域图像;
基于每个所述有遮挡图像和所述无遮挡图像的边缘区域图像,建立样本图像数据库;
基于所述样本图像数据库,对预先构建的图像遮挡检测模型进行训练,以得到训练好的图像遮挡检测模型。
3.如权利要求2所述的方法,其特征在于,所述获取多张有遮挡图像和无遮挡图像的步骤,包括:
通过拍摄设备获取多张有遮挡物遮挡拍摄对象的图像和没有遮挡物遮挡拍摄对象的图像;
将有遮挡物遮挡拍摄对象的图像和没有遮挡物遮挡拍摄对象的图像标记为有遮挡图像和无遮挡图像。
4.如权利要求2所述的方法,其特征在于,基于每个所述有遮挡图像和所述无遮挡图像的边缘区域图像,建立样本图像数据库的步骤,包括:
将每个所述有遮挡图像和所述无遮挡图像的边缘区域图像拼接为边缘区域拼接图像,基于每个所述有遮挡图像和所述无遮挡图像的边缘区域拼接图像,建立样本图像数据库。
5.如权利要求2所述的方法,其特征在于,基于所述样本图像数据库,对预先构建的图像遮挡检测模型进行训练,以得到训练好的图像遮挡检测模型的步骤,包括:
将所述样本图像数据库中有遮挡图像和无遮挡图像的边缘区域拼接图像按照预设比例划分为训练样本、验证样本以及测试样本;
使用所述训练样本、验证样本以及测试样本对预先构建的图像遮挡检测模型进行训练,所述图像遮挡检测模型采用基于深度学习的轻量级神经网络骨架模型。
6.如权利要求4或5所述的方法,其特征在于,所述将每个所述有遮挡图像和所述无遮挡图像的边缘区域图像拼接为边缘区域拼接图像,具体为:
将每个所述有遮挡图像和所述无遮挡图像的边缘区域图像拼接为边缘区域矩形图像,得到的边缘区域拼接图像为边缘区域矩形图像。
7.如权利要求5所述的方法,其特征在于,所述照预设比例为6:2:2,所述轻量级神经网络骨架模型为MobileNetV2或EfficientNet模型。
8.一种图像遮挡检测装置,其特征在于,所述装置包括:
待检测图像获取单元,用于获取待检测图像;
区域图像获取单元,用于根据预设的图像裁剪规则,对所述待检测图像进行裁剪,得到所述待检测图像对应的边缘区域图像;以及
图像检测单元,用于将所述待检测图像对应的边缘区域图像输入到训练好的图像遮挡检测模型进行图像遮挡检测,输出所述待检测图像的图像遮挡检测结果。
9.如权利要求8所述的装置,其特征在于,所述装置还包括:
图像获取单元,用于获取多张有遮挡图像和无遮挡图像;
图像裁剪单元,用于根据预设的图像裁剪规则,对每个所述有遮挡图像和所述无遮挡图像的中心区域进行裁剪,保留每个所述有遮挡图像和所述无遮挡图像的边缘区域,以得到每个所述有遮挡图像和所述无遮挡图像的边缘区域图像;
数据库建立单元,用于基于每个所述有遮挡图像和所述无遮挡图像的边缘区域图像,建立样本图像数据库;以及
模型训练单元,用于基于所述样本图像数据库,对预先构建的图像遮挡检测模型进行训练,以得到训练好的图像遮挡检测模型。
10.一种拍摄设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202011442385.9A 2020-12-08 2020-12-08 一种图像遮挡检测方法、装置、拍摄设备及介质 Pending CN112598628A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011442385.9A CN112598628A (zh) 2020-12-08 2020-12-08 一种图像遮挡检测方法、装置、拍摄设备及介质
PCT/CN2021/136589 WO2022121963A1 (zh) 2020-12-08 2021-12-08 一种图像遮挡检测方法、装置、拍摄设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011442385.9A CN112598628A (zh) 2020-12-08 2020-12-08 一种图像遮挡检测方法、装置、拍摄设备及介质

Publications (1)

Publication Number Publication Date
CN112598628A true CN112598628A (zh) 2021-04-02

Family

ID=75192123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011442385.9A Pending CN112598628A (zh) 2020-12-08 2020-12-08 一种图像遮挡检测方法、装置、拍摄设备及介质

Country Status (2)

Country Link
CN (1) CN112598628A (zh)
WO (1) WO2022121963A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113076917A (zh) * 2021-04-20 2021-07-06 南京甄视智能科技有限公司 行人质量评估方法及系统
WO2022121963A1 (zh) * 2020-12-08 2022-06-16 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质
CN114782984A (zh) * 2022-03-25 2022-07-22 珠海视熙科技有限公司 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040012682A1 (en) * 2002-07-08 2004-01-22 Minolta Co., Ltd. Image capturing apparatus
CN105491289A (zh) * 2015-12-08 2016-04-13 小米科技有限责任公司 防止拍照遮挡的方法及装置
CN108319953A (zh) * 2017-07-27 2018-07-24 腾讯科技(深圳)有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN108764186A (zh) * 2018-06-01 2018-11-06 合肥工业大学 基于旋转深度学习的人物遮挡轮廓检测方法
US20200045289A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Neural network based patch blending for immersive video
CN111046956A (zh) * 2019-12-13 2020-04-21 苏州科达科技股份有限公司 遮挡图像检测方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612058A (zh) * 2020-05-19 2020-09-01 江苏建筑职业技术学院 一种基于深度学习的人工智能学习方法
CN112598628A (zh) * 2020-12-08 2021-04-02 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040012682A1 (en) * 2002-07-08 2004-01-22 Minolta Co., Ltd. Image capturing apparatus
CN105491289A (zh) * 2015-12-08 2016-04-13 小米科技有限责任公司 防止拍照遮挡的方法及装置
CN108319953A (zh) * 2017-07-27 2018-07-24 腾讯科技(深圳)有限公司 目标对象的遮挡检测方法及装置、电子设备及存储介质
CN108764186A (zh) * 2018-06-01 2018-11-06 合肥工业大学 基于旋转深度学习的人物遮挡轮廓检测方法
US20200045289A1 (en) * 2018-07-31 2020-02-06 Intel Corporation Neural network based patch blending for immersive video
CN111046956A (zh) * 2019-12-13 2020-04-21 苏州科达科技股份有限公司 遮挡图像检测方法、装置、电子设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022121963A1 (zh) * 2020-12-08 2022-06-16 影石创新科技股份有限公司 一种图像遮挡检测方法、装置、拍摄设备及介质
CN113076917A (zh) * 2021-04-20 2021-07-06 南京甄视智能科技有限公司 行人质量评估方法及系统
CN113076917B (zh) * 2021-04-20 2022-08-12 南京甄视智能科技有限公司 行人质量评估方法及系统
CN114782984A (zh) * 2022-03-25 2022-07-22 珠海视熙科技有限公司 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯
CN114782984B (zh) * 2022-03-25 2022-11-25 珠海视熙科技有限公司 一种基于tof相机的坐姿识别遮挡判定方法及智能台灯

Also Published As

Publication number Publication date
WO2022121963A1 (zh) 2022-06-16

Similar Documents

Publication Publication Date Title
CN112598628A (zh) 一种图像遮挡检测方法、装置、拍摄设备及介质
CN106251399B (zh) 一种基于lsd-slam的实景三维重建方法及实施装置
KR101709380B1 (ko) 화상처리장치, 화상처리방법 및 프로그램
JP2020523665A (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
WO2021082662A1 (zh) 辅助用户拍摄车辆视频的方法及装置
US10937142B2 (en) Arrangement for generating head related transfer function filters
CN109325933A (zh) 一种翻拍图像识别方法及装置
CN112954450B (zh) 视频处理方法、装置、电子设备和存储介质
CN109035138B (zh) 会议记录方法、装置、设备和存储介质
US20160127657A1 (en) Imaging system
CN109035330A (zh) 箱体拟合方法、设备和计算机可读存储介质
EP3506167B1 (en) Processing method and mobile device
CN112087574A (zh) 增强的图像捕获
WO2020023727A1 (en) Personalized hrtfs via optical capture
CN110611768B (zh) 多重曝光摄影方法及装置
CN110298327A (zh) 一种视觉特效处理方法及装置、存储介质与终端
CN110826487B (zh) 一种人脸表情数据采集方法
CN112749611A (zh) 人脸点云模型生成方法及装置、存储介质、电子设备
US11138743B2 (en) Method and apparatus for a synchronous motion of a human body model
CN109784215B (zh) 一种基于改进的光流法的活体检测方法及系统
CN106506932A (zh) 图像的获取方法及装置
CN111246116B (zh) 一种用于屏幕上智能取景显示的方法及移动终端
GB2553659A (en) A System for creating an audio-visual recording of an event
CN112261281B (zh) 视野调整方法及电子设备、存储装置
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination