CN111292335B - 一种前景掩模特征图的确定方法、装置及电子设备 - Google Patents

一种前景掩模特征图的确定方法、装置及电子设备 Download PDF

Info

Publication number
CN111292335B
CN111292335B CN201910061824.2A CN201910061824A CN111292335B CN 111292335 B CN111292335 B CN 111292335B CN 201910061824 A CN201910061824 A CN 201910061824A CN 111292335 B CN111292335 B CN 111292335B
Authority
CN
China
Prior art keywords
feature map
pixel
point
foreground mask
region candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910061824.2A
Other languages
English (en)
Other versions
CN111292335A (zh
Inventor
李彦玮
陈新泽
黄冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Horizon Robotics Technology Research and Development Co Ltd
Original Assignee
Beijing Horizon Robotics Technology Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Horizon Robotics Technology Research and Development Co Ltd filed Critical Beijing Horizon Robotics Technology Research and Development Co Ltd
Publication of CN111292335A publication Critical patent/CN111292335A/zh
Application granted granted Critical
Publication of CN111292335B publication Critical patent/CN111292335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种前景掩模特征图的确定方法，包括：提取输入图像的多尺度特征图；在所述多尺度特征图中提取区域候选框；根据区域候选框在所述多尺度特征图中提取区域候选特征图；将区域候选特征图中每个前景掩膜的像素的像素值分配到多尺度特征图中的区域候选框中对应像素的N个点；每个点的值为所述像素值的1/N；N为自然数；确定所述每个点在多尺度特征图的对应区域的像素点的像素值；基于所述像素值，确定所述前景掩模特征图。本申请实施例提供的方法可以得到信息量丰富、精度高的前景掩模。

Description

一种前景掩模特征图的确定方法、装置及电子设备
技术领域
本申请涉及一种前景掩模特征图的确定方法、装置及电子设备，属于图像处理领域。
背景技术
目前，计算机视觉是深度学习领域最热门的研究领域之一，其主要是通过将图像分割来识别特定的事物。
图像分割中的语义分割是一种典型的计算机视觉问题，是指将一些原始数据(例如，平面图像)作为输入并将它们转换为具有突出显示的感兴趣区域的掩模。现有技术中掩模为二维矩阵数组或者为多值图像。但是这种掩模所表示的信息精度不高，信息量也较少。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种前景掩模特征图的确定方法、装置及电子设备，其可以得到信息量丰富、精度高的前景掩模。
根据本申请的一个方面，提供了一种前景掩模特征图的确定方法，包括：
提取输入图像的多尺度特征图；
在所述多尺度特征图中提取区域候选框；
根据区域候选框在所述多尺度特征图中提取区域候选特征图；
将区域候选特征图中每个前景掩模的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的N个点；每个点的值为所述像素值的1/N；N为自然数；
确定所述每个点在多尺度特征图的对应区域的像素点的像素值；
基于所述像素值，确定所述前景掩模特征图。
根据本申请的另一个方面，提供了一种前景掩模特征图的确定装置，包括：
第一提取模块，用于提取输入图像的多尺度特征图，并在所述多尺度特征图中提取区域候选框；
第二提取模块，用于根据所述区域候选框在所述多尺度特征图中提取区域候选特征图；
分配模块，用于将所述区域候选特征图中每个前景掩模的像素的像素值映射到所述多尺度特征图中的区域候选框中对应像素的N个点；每个点的值为所述像素值的1/N；N为自然数；
第一确定模块，用于确定每个点在所述多尺度特征图的对应区域的像素点的像素值；
第二确定模块，用于根据所述像素值，确定所述前景掩模特征图。
根据本申请的再一个方面，提供了一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述可执行指令在被所述处理器运行时使得所述处理器执行所述的前景掩模特征图的确定方法。
根据本申请的又一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行所述的前景掩模特征图的确定方法。
与现有技术相比，采用本申请实施例的前景掩模特征图的确定方法、装置和电子设备，通过提取输入图像的多尺度特征图，在所述多尺度特征图中提取区域候选框，根据区域候选框在所述多尺度特征图中提取区域候选特征图；然后将区域候选特征图中每个前景掩模的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的N个点，确定所述每个点在多尺度特征图的对应区域的像素点的像素值；最后基于所述像素值，确定所述前景掩模特征图，这样得到的前景掩模特征图的前景掩模信息量大，精度高，可以广泛应用于语义分割中。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的前景掩模特征图的确定方法流程示意图。
图2图示了根据本申请实施例的将区域候选特征图中的前景掩模的像素的像素值分配示意图。
图3图示了根据本申请实施例的另一种前景掩模特征图的确定方法流程示意图。
图4图示了根据本申请实施例的前景掩模特征图的确定装置结构示意图。
图5示出了根据本申请实施例的另一种前景掩模特征图的确定装置结构示意图。
图6图示了根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，图像分割中的语义分割是一种典型的计算机视觉问题。目前，图像分割中的语义分割分为标准语义分割和实例感知语义分割，标准语义分割也称为全像素语义分割，它是将每个像素分类为属于对象类的过程；实例感知语义分割是标准语义分割或全像素语义分割的子类型，它将每个像素分类为属于对象类以及该类的实体ID。但无论是哪种语义分割，均要得到感兴趣区域的掩模。图像掩模是指用选定的图像、图形或物体,对待处理的图像进行遮挡以控制图像处理的区域或处理过程，其中用于覆盖的特定图像或物体称为掩模。
但是，现有技术得到的掩模所表示的信息精度不高，信息量也较少。
针对上述技术问题，本申请的构思是提出一种前景掩模特征图的确定方法、装置和电子设备，通过提取输入图像的多尺度特征图，在多尺度特征图中提取区域候选特征图，然后将区域候选特征图中每个前景掩模的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的N个点，并确定所述每个点在多尺度特征图的对应区域的像素点的像素值，最后基于所述像素值，确定前景掩模特征图，这样得到的前景掩模特征图的前景掩模信息量大，精度高，可以广泛应用于语义分割和Loss计算中。
示例性方法
图1是本申请一示例性实施例提供的前景掩模特征图的确定方法流程示意图。本实施例可应用在电子设备上，如图1所示，包括如下步骤：
步骤S101，提取输入图像的多尺度特征图。
本申请中，图像的尺度并非指图像的大小，而是指图像的模糊程度，例如，人近距离看一个物体和远距离看一个物体模糊程度是不一样的，从近距离到远距离图像越来越模糊的过程，也是图像的尺度越来越大的过程。
用计算机视觉识别特定物体时，计算机并不预先知道图像中物体的尺度，如果采用固定尺度识别特定物体，识别精度较低，因此本申请实施例提取原图像的多尺度特征图，这样可使计算机视觉具有较高的识别精度。
步骤S102，在多尺度特征图中提取区域候选框。本申请在提取了输入图像的多尺度特征图之后，可以采用区域候选网络(Region Proposal Net，简称RPN)网络在多尺度特征图中提取区域候选框，也可以采用基于区域候选提取的其它网络，本申请实施例对区域候选框的提取网络不作限制，只要能在多尺度特征图中提取出区域候选框即可。
这里，输入图像中的前景图像包括大小不同的多个物体，因此本申请实施例在多尺度特征图中提取多个不同尺度的区域候选框。
步骤S103，根据区域候选框在上述多尺度特征图中提取区域候选特征图。本申请中，可以采用RoIAlign或者RoIPooling根据区域候选框的坐标值在上述多尺度特征图中提取区域候选特征图。RoIPooling和RoIAlign属于本领域技术人员的公知常识，因此本申请实施例在此不再赘述。
步骤S104，将区域候选特征图中每个前景掩模的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的N个点；每个点的值为所述像素值的1/N；N为自然数。
具体的，前景掩模的像素映射(RoIUpsample)是将前景分支中所得到的每个物体的精细的掩模(28x28像素大小)精确地恢复到原图像(WxH大小)中该物体的区域候选框(RoIs)对应的位置，为了方便理解，如图2所示，这里以2x2像素大小的掩模的像素映射作为示例。图2中的N取4，即每个前景掩模的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的4个点，每个点的值为原前景掩模对应像素值的1/4。
需要说明的是，实际应用该前景特征图的场景中，由于前景特征图需要进行卷积操作，因此可以将候选框的大小调整到指定的尺寸，例如28*28，然后将指定尺寸的候选框映射回多尺度特征图中时，再次将指定尺寸的候选框的大小调整到原候选框尺寸。
最后，步骤S105，确定所述每个点在多尺度特征图的对应区域的像素点的像素值，基于上述像素值，确定前景掩模特征图。
这里，用映射后的区域候选框中对应像素的每个点计算出该点在多尺度特征图的对应区域的像素点的像素值，从而确定出前景掩模特征图。
本申请通过提取输入图像的多尺度特征图，在多尺度特征图中提取区域候选特征图，然后将区域候选特征图中每个前景掩模的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的N个点，并确定所述每个点在多尺度特征图的对应区域的像素点的像素值，最后基于所述像素值，确定前景掩模特征图，这样得到的前景掩模特征图的前景掩模信息量大，精度高，可以广泛应用于语义分割和Loss计算中。
如图3所示，在上述图1所示实施例的基础上，步骤105可包括如下步骤：
步骤S1051、按照预设分配规则将每个点的值分配给所述多尺度特征图中的与所述点相邻的M个像素点；
步骤S1052、基于每个点对应的相邻M个像素点所分配到的像素值，确定所述前景掩模特征图。
通过上述步骤，可以将每个点的值有规律性的分配给多尺度特征图中的与所述点相邻的M个像素点，然后根据与该点相邻的M个像素点的每一个像素点得到的像素值，确定出前景掩模特征图，使得该前景掩模特征图中的掩模信息更加精确。
并且，在步骤1051中，按照预设分配规则将每个点的值分配给所述多尺度特征图中的与所述点相邻的M个像素点，包括：基于每个点与相邻M个像素点中每个像素点的距离分别给所述相邻M个像素点中每个像素点分配像素值。其中预设分配规则表示为，与每个点距离最近的像素点得到的像素值最大。
通过上述预设分配规则将每个点的值分配给多尺度特征图中的与所述点相邻的M个像素点，使得每个与所述点相邻的像素点得到的像素值更加合理，贴合实际中图像像素的显示。
实际应用中，基于每个点与相邻M个像素点中每个像素点的距离，根据逆向双线性插值方法将每个点的值分配给相邻M个像素点。
具体的，如图2所示，设R(Pj，k)为其中一个点Pg在多尺度特征图中分配给区域候选框对应区域上坐标为(j，k)的像素Pj，k的像素值；
Figure GDA0004107355080000061
Figure GDA0004107355080000062
其中，valuex和valuey为归一化权重，xp和yp为Pg点距离P1，1在x轴和y轴方向的距离，R(pg)为Pg点的值。根据每个点计算对应像素值的计算过程满足正向双线性插值运算，即从多尺度特征图中的前景特征图经过正向的双线性插值可以恢复出对应点，因此根据逆向双线性插值方法将每个点的值分配给相邻4个像素点，也就是说，valuex和valuev满足逆向双线性插值算法，也可以将valuex和valuey称为逆向双线性插值系数，该逆向双线性插值系数可以根据上述的预设分配规则来确定。
并且，在步骤1052中，基于每个点对应的相邻M个像素点所分配到的像素值，确定所述前景掩模特征图，包括：将每个点对应的相邻M个像素点中每个像素点得到的所有像素值相加，得到前景掩模特征图。
通过将每个点对应的相邻M个像素点中每个像素点得到的所有像素值相加，可使得该像素点的显示更加明确，便于后续应用。
进一步地，本申请实施例中N个点平均布置在多尺度特征图中的区域候选框的每个像素中。
具体地，如图2所示，本发明以N等于4为例进行说明，可以利用4条分割线，将多尺度特征图中的区域候选框的每个像素平均划分为9个子区域，将所述4条分割线的4个交叉点位置确定为4个点的位置。
本申请实施例得到的前景掩模特征图的前景掩模信息量大，精度高，可以广泛应用于语义分割中，例如，自动驾驶，面部分割，地质检测等场景，也可以应用于Loss计算过程，从而提高语义分割精度、Loss计算精度。
示例性装置
图4示出了根据本申请实施例的前景掩模特征图的确定装置的结构示意图。
如图4所示，根据本申请实施例的前景掩模特征图的确定装置40包括：第一提取模块41，用于提取输入图像的多尺度特征图，并在所述多尺度特征图中提取区域候选框；第二提取模块42，用于根据区域候选框在所述多尺度特征图中提取区域候选特征图；分配模块43，用于将所述区域候选特征图中每个前景掩模的像素的像素值分配到所述多尺度特征图中的区域候选框中对应像素的N个点；每个点的值为所述像素值的1/N；N为自然数；第一确定模块44，用于确定每个点在所述多尺度特征图的对应区域的像素点的像素值；以及，第二确定模块45，用于根据所述像素值，确定所述前景掩模特征图。
通过提取输入图像的多尺度特征图，在多尺度特征图中提取区域候选特征图，然后将区域候选特征图中每个前景掩模的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的N个点，并确定所述每个点在多尺度特征图的对应区域的像素点的像素值，最后基于所述像素值，确定前景掩模特征图，这样得到的前景掩模特征图的前景掩模信息量大，精度高，可以广泛应用于语义分割和Loss计算中。
图5示出了根据本申请实施例的另一种前景掩模特征图的确定装置结构示意图。
如图5所示，在上述前景掩模特征图的确定装置40中，所述第一确定模块44包括分配单元441，该分配单元441用于按照预设分配规则将每个点的值分配给所述多尺度特征图中的与所述点相邻的M个像素点；
相应的，第二确定模块45，用于根据所述每个点对应的相邻M个像素点所分配到的像素值，确定所述前景掩模特征图。
通过分配单元和第二确定模块，可以将每个点的值有规律性的分配给多尺度特征图中的与所述点相邻的M个像素点，然后根据与该点相邻的M个像素点的每一个像素点得到的像素值，确定出前景掩模特征图，使得该前景掩模特征图中的掩模信息更加精确。
在一个示例中，分配单元441基于每个点与相邻M个像素点中每个像素点的距离分别给所述相邻M个像素点中每个像素点分配像素值。
通过上述预设分配规则将每个点的值分配给多尺度特征图中的与所述点相邻的M个像素点，使得每个与所述点相邻的像素点得到的像素值更加合理，贴合实际中图像像素的显示。
在一个示例中，分配单元441基于每个点与相邻M个像素点中每个像素点的距离，根据逆向双线性插值方法将每个点的值分配给相邻M个像素点。
在一个示例中，在上述前景掩模特征图的确定装置40中，第二确定模块45，用于将每个点对应的相邻M个像素点中每个像素点得到的所有像素值相加，得到前景掩模特征图。
这里，本领域技术人员可以理解，上述前景掩模特征图的确定装置40中的各个模块和单元的具体功能和操作已经在上面参考图1至3描述的前景掩模特征图的确定方法中详细介绍，因此，示例性装置中省略部分重复描述。
如上所述，根据本申请实施例的前景掩模特征图的确定装置40可以实现在各种终端设备中。在一个示例中，根据本申请实施例的前景掩模特征图的确定装置40可以一个软件模块和/或硬件模块而集成到终端设备中。例如，该装置40可以是该终端设备的操作系统中的一个软件模块，或者也可以是针对于该终端设备所开发的一个应用程序；当然，该装置40同样可以是该终端设备的众多硬件模块之一。
替换地，在另一个示例中，该前景掩模特征图的确定装置40与终端设备也可以是分立的设备，并且该装置40可以通过有线和/或无线网络连接到终端设备，并且按照约定的数据格式来传输交互信息。
本申请实施例得到的前景掩模特征图的前景掩模信息量大，精度高，可以广泛应用于语义分割中，例如，自动驾驶，面部分割，地质检测等场景，也可以应用于Loss计算过程，从而提高语义分割精度、Loss计算精度。
示例性电子设备
下面，参考图6来描述根据本申请实施例的电子设备。图6图示了根据本申请实施例的电子设备的框图。
如图6所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的前景掩模特征图的确定方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入图像、多尺度特征图、区域候选特征图、前景掩模特征图等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
例如，该输入装置13可以包括摄像装置，用于采集输入图像。此外，该输入设备13还可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括确定出的前景掩模特征图。该输出设备14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图10中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的声源定位方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的前景掩模特征图的确定方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (6)

1.一种前景掩模特征图的确定方法，包括：
提取输入图像的多尺度特征图；
在所述多尺度特征图中提取区域候选框；
根据区域候选框在所述多尺度特征图中提取区域候选特征图；
将区域候选特征图中每个前景掩模的像素的像素值映射到多尺度特征图中的区域候选框中对应像素的N个点；每个点的值为所述像素值的1/N；N为自然数；
确定所述每个点在多尺度特征图的对应区域的像素点的像素值，按照预设分配规则将每个点的值分配给所述多尺度特征图中的与所述点相邻的M个像素点，包括：基于每个点与相邻M个像素点中每个像素点的距离分别给所述相邻M个像素点中每个像素点分配像素值，所述预设分配规则表示，与每个点距离最近的像素点得到的像素值最大；
基于所述每个点在多尺度特征图的对应区域的像素点的像素值，确定所述前景掩模特征图，包括：基于所述每个点对应的相邻M个像素点所分配到的像素值，确定所述前景掩模特征图。
2.根据权利要求1所述的方法，其中，基于每个点与相邻M个像素点中每个像素点的距离分别给所述相邻M个像素点中每个像素点分配像素值，包括：
基于每个点与相邻M个像素点中每个像素点的距离，根据逆向双线性插值方法将每个点的值分配给相邻M个像素点。
3.根据权利要求1所述的方法，其中，所述N个点平均布置在多尺度特征图中的区域候选框的每个像素中。
4.一种前景掩模特征图的确定装置，包括：
第一提取模块，用于提取输入图像的多尺度特征图，并在所述多尺度特征图中提取区域候选框；
第二提取模块，用于根据所述区域候选框在所述多尺度特征图中提取区域候选特征图；
映射模块，用于将所述区域候选特征图中每个前景掩模的像素的像素值映射到所述多尺度特征图中的区域候选框中对应像素的N个点；每个点的值为所述像素值的1/N；N为自然数；
第一确定模块，用于确定每个点在所述多尺度特征图的对应区域的像素点的像素值，所述第一确定模块包括分配单元，所述分配单元用于按照预设分配规则将每个点的值分配给所述多尺度特征图中的与所述点相邻的M个像素点，包括：基于每个点与相邻M个像素点中每个像素点的距离分别给所述相邻M个像素点中每个像素点分配像素值，所述预设分配规则表示，与每个点距离最近的像素点得到的像素值最大；
第二确定模块，用于根据所述每个点在多尺度特征图的对应区域的像素点的像素值，确定所述前景掩模特征图，包括：根据所述每个点对应的相邻M个像素点所分配到的像素值，确定所述前景掩模特征图。
5.一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
所述可执行指令在被所述处理器运行时使得所述处理器执行如权利要求1~3中任一项所述的前景掩模特征图的确定方法。
6.一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1~3中任一项所述的前景掩模特征图的确定方法。
CN201910061824.2A 2018-12-10 2019-01-23 一种前景掩模特征图的确定方法、装置及电子设备 Active CN111292335B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811505971 2018-12-10
CN2018115059716 2018-12-10

Publications (2)

Publication Number Publication Date
CN111292335A CN111292335A (zh) 2020-06-16
CN111292335B true CN111292335B (zh) 2023-06-13

Family

ID=71024100

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910061824.2A Active CN111292335B (zh) 2018-12-10 2019-01-23 一种前景掩模特征图的确定方法、装置及电子设备
CN201910061822.3A Active CN111292334B (zh) 2018-12-10 2019-01-23 一种全景图像分割方法、装置及电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201910061822.3A Active CN111292334B (zh) 2018-12-10 2019-01-23 一种全景图像分割方法、装置及电子设备

Country Status (1)

Country Link
CN (2) CN111292335B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111524150B (zh) * 2020-07-03 2021-06-11 支付宝(杭州)信息技术有限公司 图像处理的方法及装置
CN112489064B (zh) * 2020-12-14 2022-03-25 桂林电子科技大学 一种基于边缘放缩修正的全景分割方法
CN112836608B (zh) * 2021-01-25 2021-10-01 南京恩博科技有限公司 森林火灾源头的估计模型训练方法、估计方法及系统
CN112802038B (zh) * 2021-01-26 2022-05-24 桂林电子科技大学 一种基于多尺度边缘注意力的全景分割方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005276182A (ja) * 2004-02-26 2005-10-06 Dainippon Printing Co Ltd 人物の肌および唇領域マスクデータの作成方法および作成装置
JP2011237931A (ja) * 2010-05-07 2011-11-24 Sumitomo Electric Ind Ltd 移動体識別装置、コンピュータプログラム及び移動体識別方法
CN102495998A (zh) * 2011-11-10 2012-06-13 西安电子科技大学 基于视觉选择性注意计算模型的静态目标检测方法
CN107730528A (zh) * 2017-10-28 2018-02-23 天津大学 一种基于grabcut算法的交互式图像分割与融合方法
CN108155193A (zh) * 2017-12-21 2018-06-12 上海华力微电子有限公司 半导体结构的制作方法
CN108549893A (zh) * 2018-04-04 2018-09-18 华中科技大学 一种任意形状的场景文本端到端识别方法
CN108694719A (zh) * 2017-04-05 2018-10-23 北京京东尚科信息技术有限公司 图像输出方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599558B2 (en) * 2005-08-24 2009-10-06 Mavs Lab. Inc. Logo processing methods and circuits
WO2013178725A1 (en) * 2012-05-31 2013-12-05 Thomson Licensing Segmentation of a foreground object in a 3d scene
US9437008B1 (en) * 2015-07-21 2016-09-06 Sony Corporation Image segmentation using bayes risk estimation of scene foreground and background
CN105139415A (zh) * 2015-09-29 2015-12-09 小米科技有限责任公司 图像前后景分割方法、装置及终端
US9741125B2 (en) * 2015-10-28 2017-08-22 Intel Corporation Method and system of background-foreground segmentation for image processing
CN105654436B (zh) * 2015-12-24 2018-10-23 广东迅通科技股份有限公司 一种基于前景背景分离的背光图像增强去噪方法
CN106097353B (zh) * 2016-06-15 2018-06-22 北京市商汤科技开发有限公司 基于多层次局部区域融合的物体分割方法及装置、计算设备
CN108734719A (zh) * 2017-04-14 2018-11-02 浙江工商大学 一种基于全卷积神经网络的鳞翅目昆虫图像前背景自动分割方法
CN107301400A (zh) * 2017-06-23 2017-10-27 深圳市唯特视科技有限公司 一种语义导向的半监督视频对象分割方法
CN107845086B (zh) * 2017-09-19 2020-10-27 佛山缔乐视觉科技有限公司 一种皮革表面显著性缺陷的检测方法、系统及装置
CN107680106A (zh) * 2017-10-13 2018-02-09 南京航空航天大学 一种基于Faster R‑CNN的显著性目标检测方法
CN108446662A (zh) * 2018-04-02 2018-08-24 电子科技大学 一种基于语义分割信息的行人检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005276182A (ja) * 2004-02-26 2005-10-06 Dainippon Printing Co Ltd 人物の肌および唇領域マスクデータの作成方法および作成装置
JP2011237931A (ja) * 2010-05-07 2011-11-24 Sumitomo Electric Ind Ltd 移動体識別装置、コンピュータプログラム及び移動体識別方法
CN102495998A (zh) * 2011-11-10 2012-06-13 西安电子科技大学 基于视觉选择性注意计算模型的静态目标检测方法
CN108694719A (zh) * 2017-04-05 2018-10-23 北京京东尚科信息技术有限公司 图像输出方法和装置
CN107730528A (zh) * 2017-10-28 2018-02-23 天津大学 一种基于grabcut算法的交互式图像分割与融合方法
CN108155193A (zh) * 2017-12-21 2018-06-12 上海华力微电子有限公司 半导体结构的制作方法
CN108549893A (zh) * 2018-04-04 2018-09-18 华中科技大学 一种任意形状的场景文本端到端识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴金亮;王港;梁硕;陈金勇;高峰.基于Mask R-CNN的舰船目标检测研究.无线电工程.2018,第48卷(第11期),第947-952页. *

Also Published As

Publication number Publication date
CN111292335A (zh) 2020-06-16
CN111292334A (zh) 2020-06-16
CN111292334B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN111292335B (zh) 一种前景掩模特征图的确定方法、装置及电子设备
CN110348294B (zh) Pdf文档中图表的定位方法、装置及计算机设备
CN108846440B (zh) 图像处理方法及装置、计算机可读介质和电子设备
US10846870B2 (en) Joint training technique for depth map generation
CN108446694B (zh) 一种目标检测方法及装置
JP2018022484A (ja) 画像内の物体を検出する方法及び物体検出システム
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
JP4738469B2 (ja) 画像処理装置、画像処理プログラムおよび画像処理方法
CN113343982B (zh) 多模态特征融合的实体关系提取方法、装置和设备
CN110852311A (zh) 一种三维人手关键点定位方法及装置
CN107272899B (zh) 一种基于动态手势的vr交互方法、装置及电子设备
CN110619334B (zh) 基于深度学习的人像分割方法、架构及相关装置
CN112308866A (zh) 图像处理方法、装置、电子设备及存储介质
CN114511661A (zh) 图像渲染方法、装置、电子设备及存储介质
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN116843901A (zh) 医学图像分割模型训练方法和医学图像分割方法
CN113506305B (zh) 三维点云数据的图像增强方法、语义分割方法及装置
CN113516697B (zh) 图像配准的方法、装置、电子设备及计算机可读存储介质
EP4075381B1 (en) Image processing method and system
CN112598687A (zh) 图像分割方法和装置、存储介质、电子设备
CN111815748A (zh) 一种动画处理方法、装置、存储介质及电子设备
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN116309643A (zh) 人脸遮挡分确定方法、电子设备及介质
CN112146834B (zh) 结构振动位移测量方法及装置
JP2016075993A (ja) 画像処理装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant