CN110163875A - 一种基于调制网络和特征注意金字塔的半监督视频目标分割方法 - Google Patents
一种基于调制网络和特征注意金字塔的半监督视频目标分割方法 Download PDFInfo
- Publication number
- CN110163875A CN110163875A CN201910432719.5A CN201910432719A CN110163875A CN 110163875 A CN110163875 A CN 110163875A CN 201910432719 A CN201910432719 A CN 201910432719A CN 110163875 A CN110163875 A CN 110163875A
- Authority
- CN
- China
- Prior art keywords
- feature
- characteristic pattern
- segmentation
- network
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 54
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000005070 sampling Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，包括步骤一：将当前视频帧图像输入至分割网络中，得到当前视频帧图像中分割目标对应的特征图；步骤二：将当前视频帧图像中分割目标对应的特征图输入到特征注意金字塔模块中，得到最终的特征表示；所述特征注意金字塔模块对输入的特征图构造像素级注意；步骤三：在所述分割网络的倒数第二和倒数第三阶段的最后一层卷积的输出端和特征注意金字塔模块的输出端分别引入一个侧输出层，所述侧输出层分别对输入的特征图进行上采样得到与当前视频帧图像相同分辨率大小的特征图，将所有的侧输出层输出的特征图融合得到最终的分割结果。
Description
技术领域
本发明涉及视频目标分割领域，尤其是一种基于调制网络和特征注意金字塔的半监督视频目标分割方法。
背景技术
语义分割在理解图像的视觉内容方面起着重要作用，因为它将预定义的目标或场景标签分配给每个像素，从而将图像转换成分割图。在处理视频内容时，人们可以在不知道其语义意义的情况下轻松分割整个视频中的目标，从而激发了一个名为半监督视频目标分割的研究课题。在半监督视频目标分割的典型场景中，给出了视频的第一帧以及带注释的特定目标掩模，任务是准确定位所有后续帧中的特定目标。视频目标分割可以帮助我们更好地理解视频，有助于完成交互式视频编辑，自动驾驶和机器人等任务。然而，由于相机运动，目标变形，实例之间的遮挡和动态背景变化，这仍是一项具有挑战性的任务。
发明内容
本发明的目的在于针对现有技术的缺陷，提供一种基于调制网络和特征注意金字塔的半监督视频目标分割方法。
本发明所采用的技术方案是：一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，包括以下步骤：
步骤一：将当前视频帧图像输入至分割网络中，得到当前视频帧图像中分割目标对应的特征图；所述分割网络以全卷积神经网络作为主干网络，借助于视觉调制器和空间调制器来分别学习分割目标的视觉和空间信息，将其作为先验引导使分割模型适应于特定目标；
步骤二：将当前视频帧图像中分割目标对应的特征图输入到特征注意金字塔模块中，得到最终的特征表示；所述特征注意金字塔模块对输入的特征图构造像素级注意；
步骤三：在所述分割网络的倒数第二和倒数第三阶段的最后一层卷积的输出端和特征注意金字塔模块的输出端分别引入一个侧输出层，所述侧输出层分别对输入的特征图进行上采样得到与当前视频帧图像相同分辨率大小的特征图，将所有的侧输出层输出的特征图融合得到最终的分割结果。
进一步的，所述分割网络以VGG16卷积神经网络作为主干网络，在所述分割网络的每一个卷积层后加入一个调制层，所述调制层的参数由视觉调制器和空间调制器共同训练产生，该调制层进行如下配置：
yc＝γcχc+βc
其中，γc和βc分别表示来自第c通道的视觉调制器的缩放参数和空间调制器的偏置参数，xc表示为输入调制层的特征图；yc表示为经过调制层调制后的特征图。
进一步的，所述视觉调制器以VGG16卷积神经网络作为训练模型，以第一帧带注释的目标图像、该第一帧带注释的目标图像的随机缩放图像和第一帧带注释的目标图像的随机旋转图像为输入，以逐通道的缩放参数γ为输出。
进一步的，所述空间调制器使用池化操作将先前帧预测的目标掩膜的空间位置信息对应的二维高斯分布的热图下采样为不同的尺度，以匹配分割网络中的不同特征图的分辨率大小，对每个下采样的热图应用缩放和位移操作得到该热图的随机缩放图像和随机偏移图像；
所述空间调制器以先前帧预测的目标掩膜的空间位置信息对应的二维高斯分布的热图、该热图的随机偏移图像和该热图的随机缩放图像为输入，以逐元素的偏置参数β为输出：
其中，m是相应调制层的下采样高斯热图，和分别是第c个通道的缩放和移位参数。
进一步的，所述特征注意金字塔模块包括分支1、分支2和分支3；
所述分支1，采用不同尺度大小的池化核构建一个金字塔级结构，对输入特征注意金字塔模块的特征图划分为不同的子区域，不同金字塔级的输出包含不同大小的特征图，通过双线性插值对不同尺度的特征进行上采样，使其恢复到与输入特征注意金字塔模块的特征图相同的大小，并对不同金字塔级的特征图进行融合；
所述分支2，通过输入特征注意金字塔模块的特征图应用全局平均池化操作学习得到全局上下文信息，应用双线性插值得到全局像素的空间信息；
所述分支3，对输入特征注意金字塔模块的特征图进行1×1的卷积操作；
所述特征注意金字塔模块的结构为：将分支3与分支1的特征图进行逐像素相乘，而后与分支2中学到的全局像素的空间信息进行逐像素相加，得到最终的特征表示。
有益效果：本发明提出了一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，首先使用视觉调制器学习基于第一帧带注释目标掩模中的视觉信息，生成对应的逐通道权重以调整分割网络特征图中不同通道的权重，然后使用空间调制器将先前帧预测的目标掩模的空间位置信息设置为先验，生成对应的逐元素的偏置参数来将空间先验注入到调制特征中，借助于这两个调制器的调制能力使得分割模型适应于特定分割目标。接着构建特征注意金字塔模块学习不同尺度的特征，同时将全局上下文先验作为引导使特征图产生更好的像素级注意，实现高质量的像素级视频目标分割。在目标遭受部分遮挡、旋转、尺度变化、快速运动、剧烈光照变化等各种情况时，本发明能够显著地提高分割算法的鲁棒性，使得分割算法依然可以有效地实现高质量的分割。
附图说明
图1为本发明的网络结构原理图；
图2为本发明的特征注意金字塔模块的结构图；
图3为本发明的示例图。
具体实施方式
本发明提出了一种基于调制网络和特征注意金字塔的半监督视频目标分割方法。首先借助于视觉调制器和空间调制器来分别学习分割目标的视觉和空间信息，将其作为先验引导使得分割模型适应于特定目标。然后使用特征注意金字塔模块将注意机制和空间金字塔相结合，使用不同尺度池化后的特征融合来聚合不同感受野的上下文信息，从而在不同尺度目标的分割上都能有效的结合上下文信息，同时借助于全局上下文先验知识学习更好的特征表示，最终实现高质量的视频目标分割。
实施例1：
本实施例的一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，在一次前向过程中将通用分割网络适应于特定目标实例的外观。本实施例利用视觉调制器和空间调制器的调制作用来学习如何调整给定任意目标实例的通用分割网络的中间层。如图1所示，两个调制器网络分别通过从第一帧带注释目标掩模以及先前帧目标掩模的空间先验信息中提取信息，各自生成一个参数列表，对分割模型进行逐层特征调制，使其专注于感兴趣目标的分割。然后通过特征注意金字塔模块融合不同尺度池化后的特征来利用不同感受野的上下文信息，同时生成全局上下文先验来为特征图产生更好的像素级注意，以学习更好的特征表示，实现高质量的视频目标分割。
本实施例具体包括以下步骤：
步骤一：构建以经过剪裁操作后的第一帧带注释的目标掩模图像、该目标掩模图像10％的随机缩放图像和10°的随机旋转图像为输入，以逐通道的缩放参数γ为输出的视觉调制器，本实施例的视觉调制器从视觉引导中提取语义信息，例如颜色纹理形状等，并生成对应的逐通道的缩放参数以重新定位分割网络来分割目标。具体为：
首先对第一帧带注释的目标掩模进行裁剪操作，然后将背景像素设置为平均像素值，并将裁剪后的图像调整为224×224的固定分辨率大小。本实施例还对其增加了约10％的随机缩放和10°的随机旋转进行数据增强。
如图1的上半部分所示，本实施例采用VGG16神经网络作为视觉调制器的训练模型，本实施例修改了VGG16最后一个全连接层的参数个数，以匹配用于分割网络的调制层中的参数数量，最终产生逐通道的缩放参数γ并将其输入到步骤三的分割网络中。
步骤二：空间调制器。本实施例将先前帧预测的目标掩模的空间位置设置为先验，将先前帧预测的目标掩模的空间位置信息编码为具有二维高斯分布的热图，该高斯分布的平均值和标准偏差根据先前帧预测的目标掩模来计算，然后用约20％的随机偏移和40％的随机缩放来增强掩模，将具有二维高斯分布的热图、对其进行20％的随机偏移图像和40％的随机缩放图像作为空间调制器的输入；
空间调制器使用池化操作将热图下采样为不同的尺度，以匹配分割网络中的不同特征图的分辨率大小，然后对每个下采样的热图应用缩放和移位操作，得到经过缩放和移位后的特征图，该空间调制器输出用于生成相应调制层参数的偏置参数，并将其输入到步骤三的分割网络中，如下：
其中，m是相应调制层的下采样高斯热图，和分别是第c个通道的缩放和移位参数。
步骤三：分割网络。本实施例将VGG16卷积神经网络作为主干网络，去除全连接层和最后的池化层，增加空间特征分辨率。在分割网络的每一个卷积层之后定义了一个调制层，它的参数由视觉调制器和空间调制器共同训练产生，来对卷积特征进行调制。视觉调制器生成逐通道的缩放参数γ，来调整特征图中不同通道的权重。空间调制器生成逐元素的偏置参数β，以元素相加的方式来将空间先验调制到特征图中。具体来说，调制层进行如下配置：
yc＝γcχc+βc
其中，γc和βc分别表示来自第c个通道的视觉调制器的缩放参数和空间调制器的偏置参数。γc是一个用于逐通道加权的标量，βc是一个二维矩阵，来应用逐元素的偏置值，xc为输入至调制层的特征图，yc为经调制层调制后的特征图。
步骤四：构建一个特征注意金字塔模块来对经过调制后的特征图构造精确的像素级注意；该特征注意金字塔模块有3个分支。通过一个金字塔结构可提取不同尺度的特征信息，并有效增加感受野。然后，通过全局上下文先验逐通道选取特征，同时提供全局像素的空间信息。
分支1如图2中下部分所示，首先利用不同尺度大小的池化核构建一个金字塔级结构，将原始特征图划分为不同的子区域，因此，不同金字塔级的输出包含不同大小的特征图。具体来说，本实施例分别采用30×30,15×15,10×10,5×5的池化核来学习不同尺度的特征。然后在每个金字塔级后使用1×1的卷积，通道数为128。最后通过双线性插值对不同尺度的特征进行上采样，使其恢复到与输入特征注意金字塔模块的特征图相同的大小，并对其进行融合；
分支2对应图2中上部分所示，通过全局平均池化操作学习全局上下文信息，并应用双线性插值产生全局像素的空间信息。
分支3是对输入特征注意金字塔模块的特征图进行1×1的卷积操作，因此整个特征注意金字塔模块的结构为将分支3与分支1中融合不同尺度信息的金字塔特征逐像素相乘，最后与分支2中学到的全局上下文先验进行逐像素相加，得到最终的特征表示。
步骤五：上采样融合。如图1虚线部分，本实例在分割网络的倒数第二和倒数第三阶段的最后一层卷积(经过步骤一视觉调制器和步骤二空间调制器调制后)以及步骤四特征注意金字塔输出的特征图上分别引入一个侧输出层，对其特征进行上采样得到与原图相同分辨率大小的特征图，并将其融合，通过一个1×1的卷积产生最终的分割结果，这样可以将高层的语义信息和低层的空间信息融合，同时学习不同尺度的特征。
Claims (5)
1.一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，其特征在于：包括以下步骤：
步骤一：将当前视频帧图像输入至分割网络中，得到当前视频帧图像中分割目标对应的特征图；所述分割网络以全卷积神经网络作为主干网络，借助于视觉调制器和空间调制器来分别学习分割目标的视觉和空间信息，将其作为先验引导使分割模型适应于特定目标；
步骤二：将当前视频帧图像中分割目标对应的特征图输入到特征注意金字塔模块中，得到最终的特征表示；所述特征注意金字塔模块对输入的特征图构造像素级注意；
步骤三：在所述分割网络的倒数第二和倒数第三阶段的最后一层卷积的输出端和特征注意金字塔模块的输出端分别引入一个侧输出层，所述侧输出层分别对输入的特征图进行上采样得到与当前视频帧图像相同分辨率大小的特征图，将所有的侧输出层输出的特征图融合得到最终的分割结果。
2.根据权利要求1所述的一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，其特征在于：所述分割网络以VGG16卷积神经网络作为主干网络，在所述分割网络的每一个卷积层后加入一个调制层，所述调制层的参数由视觉调制器和空间调制器共同训练产生，该调制层进行如下配置：
yc＝γcχc+βc
其中，γc和βc分别表示来自第c通道的视觉调制器的缩放参数和空间调制器的偏置参数，xc表示为输入调制层的特征图；yc表示为经过调制层调制后的特征图。
3.根据权利要求2所述的一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，其特征在于：所述视觉调制器以VGG16卷积神经网络作为训练模型，以第一帧带注释的目标图像、该第一帧带注释的目标图像的随机缩放图像和第一帧带注释的目标图像的随机旋转图像为输入，以逐通道的缩放参数γ为输出。
4.根据权利要求2所述的一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，其特征在于：所述空间调制器使用池化操作将先前帧预测的目标掩膜的空间位置信息对应的二维高斯分布的热图下采样为不同的尺度，以匹配分割网络中的不同特征图的分辨率大小，对每个下采样的热图应用缩放和位移操作得到该热图的随机缩放图像和随机偏移图像；
所述空间调制器以先前帧预测的目标掩膜的空间位置信息对应的二维高斯分布的热图、该热图的随机偏移图像和该热图的随机缩放图像为输入，以逐元素的偏置参数β为输出：
其中，m是相应调制层的下采样高斯热图，和分别是第c个通道的缩放和移位参数。
5.根据权利要求1所述的一种基于调制网络和特征注意金字塔的半监督视频目标分割方法，其特征在于：所述特征注意金字塔模块包括分支1、分支2和分支3；
所述分支1，采用不同尺度大小的池化核构建一个金字塔级结构，对输入特征注意金字塔模块的特征图划分为不同的子区域，不同金字塔级的输出包含不同大小的特征图，通过双线性插值对不同尺度的特征进行上采样，使其恢复到与输入特征注意金字塔模块的特征图相同的大小，并对不同金字塔级的特征图进行融合；
所述分支2，通过输入特征注意金字塔模块的特征图应用全局平均池化操作学习得到全局上下文信息，应用双线性插值得到全局像素的空间信息；
所述分支3，对输入特征注意金字塔模块的特征图进行1×1的卷积操作；
所述特征注意金字塔模块的结构为：将分支3与分支1的特征图进行逐像素相乘，而后与分支2中学到的全局像素的空间信息进行逐像素相加，得到最终的特征表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910432719.5A CN110163875A (zh) | 2019-05-23 | 2019-05-23 | 一种基于调制网络和特征注意金字塔的半监督视频目标分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910432719.5A CN110163875A (zh) | 2019-05-23 | 2019-05-23 | 一种基于调制网络和特征注意金字塔的半监督视频目标分割方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110163875A true CN110163875A (zh) | 2019-08-23 |
Family
ID=67632166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910432719.5A Pending CN110163875A (zh) | 2019-05-23 | 2019-05-23 | 一种基于调制网络和特征注意金字塔的半监督视频目标分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110163875A (zh) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104962A (zh) * | 2019-11-05 | 2020-05-05 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
| CN111145196A (zh) * | 2019-12-11 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置及服务器 |
| CN111583282A (zh) * | 2020-05-18 | 2020-08-25 | 联想(北京)有限公司 | 图像分割方法、装置、设备及存储介质 |
| CN111860233A (zh) * | 2020-07-06 | 2020-10-30 | 中国科学院空天信息创新研究院 | 基于选择注意力网络的sar图像复杂建筑物提取方法及系统 |
| CN111968123A (zh) * | 2020-08-28 | 2020-11-20 | 北京交通大学 | 一种半监督视频目标分割方法 |
| CN112396126A (zh) * | 2020-12-02 | 2021-02-23 | 中山大学 | 一种基于检测主干与局部特征优化的目标检测方法及系统 |
| CN113255574A (zh) * | 2021-06-17 | 2021-08-13 | 湖南师范大学 | 城市街道语义分割方法及自动驾驶方法 |
| CN113284155A (zh) * | 2021-06-08 | 2021-08-20 | 京东数科海益信息科技有限公司 | 视频目标分割方法、装置、存储介质及电子设备 |
| CN113610885A (zh) * | 2021-07-12 | 2021-11-05 | 大连民族大学 | 使用差异对比学习网络的半监督目标视频分割方法及系统 |
| CN113762396A (zh) * | 2021-09-10 | 2021-12-07 | 西南科技大学 | 一种二维图像语义分割方法 |
| CN114092364A (zh) * | 2021-08-12 | 2022-02-25 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| CN114092798A (zh) * | 2021-10-26 | 2022-02-25 | 北京工业大学 | 一种基于半监督学习策略的火灾实例分割方法 |
| US11321848B2 (en) | 2019-11-19 | 2022-05-03 | Samsung Electronics Co., Ltd. | Method and apparatus with video segmentation |
| CN114519723A (zh) * | 2021-12-24 | 2022-05-20 | 上海海洋大学 | 一种基于金字塔影像分割的陨石坑自动提取方法 |
-
2019
- 2019-05-23 CN CN201910432719.5A patent/CN110163875A/zh active Pending
Non-Patent Citations (2)
| Title |
|---|
| LINJIE YANG等: "Efficient Video Object Segmentation via Network Modulation", 《HTTPS://ARXIV.ORG/PDF/1802.01218V1.PDF》 * |
| RUNFA TANG等: "Video object segmentation via attention-modulating networks", 《HTTPS://IETRESEARCH.ONLINELIBRARY.WILEY.COM/DOI/EPDF/10.1049/EL.2019.0304》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111104962B (zh) * | 2019-11-05 | 2023-04-18 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
| CN111104962A (zh) * | 2019-11-05 | 2020-05-05 | 北京航空航天大学青岛研究院 | 图像的语义分割方法、装置、电子设备及可读存储介质 |
| US11321848B2 (en) | 2019-11-19 | 2022-05-03 | Samsung Electronics Co., Ltd. | Method and apparatus with video segmentation |
| US11880979B2 (en) | 2019-11-19 | 2024-01-23 | Samsung Electronics Co., Ltd. | Method and apparatus with video segmentation |
| CN111145196A (zh) * | 2019-12-11 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置及服务器 |
| WO2021115061A1 (zh) * | 2019-12-11 | 2021-06-17 | 中国科学院深圳先进技术研究院 | 图像分割方法、装置及服务器 |
| CN111583282B (zh) * | 2020-05-18 | 2024-04-23 | 联想(北京)有限公司 | 图像分割方法、装置、设备及存储介质 |
| CN111583282A (zh) * | 2020-05-18 | 2020-08-25 | 联想(北京)有限公司 | 图像分割方法、装置、设备及存储介质 |
| CN111860233A (zh) * | 2020-07-06 | 2020-10-30 | 中国科学院空天信息创新研究院 | 基于选择注意力网络的sar图像复杂建筑物提取方法及系统 |
| CN111860233B (zh) * | 2020-07-06 | 2021-05-18 | 中国科学院空天信息创新研究院 | 基于选择注意力网络的sar图像复杂建筑物提取方法及系统 |
| CN111968123B (zh) * | 2020-08-28 | 2024-02-02 | 北京交通大学 | 一种半监督视频目标分割方法 |
| CN111968123A (zh) * | 2020-08-28 | 2020-11-20 | 北京交通大学 | 一种半监督视频目标分割方法 |
| CN112396126A (zh) * | 2020-12-02 | 2021-02-23 | 中山大学 | 一种基于检测主干与局部特征优化的目标检测方法及系统 |
| CN112396126B (zh) * | 2020-12-02 | 2023-09-22 | 中山大学 | 一种基于检测主干与局部特征优化的目标检测方法及系统 |
| CN113284155A (zh) * | 2021-06-08 | 2021-08-20 | 京东数科海益信息科技有限公司 | 视频目标分割方法、装置、存储介质及电子设备 |
| CN113284155B (zh) * | 2021-06-08 | 2023-11-07 | 京东科技信息技术有限公司 | 视频目标分割方法、装置、存储介质及电子设备 |
| CN113255574B (zh) * | 2021-06-17 | 2021-09-14 | 湖南师范大学 | 城市街道语义分割方法及自动驾驶方法 |
| CN113255574A (zh) * | 2021-06-17 | 2021-08-13 | 湖南师范大学 | 城市街道语义分割方法及自动驾驶方法 |
| CN113610885B (zh) * | 2021-07-12 | 2023-08-22 | 大连民族大学 | 使用差异对比学习网络的半监督目标视频分割方法及系统 |
| CN113610885A (zh) * | 2021-07-12 | 2021-11-05 | 大连民族大学 | 使用差异对比学习网络的半监督目标视频分割方法及系统 |
| CN114092364B (zh) * | 2021-08-12 | 2023-10-03 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| CN114092364A (zh) * | 2021-08-12 | 2022-02-25 | 荣耀终端有限公司 | 图像处理方法及其相关设备 |
| CN113762396A (zh) * | 2021-09-10 | 2021-12-07 | 西南科技大学 | 一种二维图像语义分割方法 |
| CN114092798A (zh) * | 2021-10-26 | 2022-02-25 | 北京工业大学 | 一种基于半监督学习策略的火灾实例分割方法 |
| CN114092798B (zh) * | 2021-10-26 | 2024-06-11 | 北京工业大学 | 一种基于半监督学习策略的火灾实例分割方法 |
| CN114519723A (zh) * | 2021-12-24 | 2022-05-20 | 上海海洋大学 | 一种基于金字塔影像分割的陨石坑自动提取方法 |
| CN114519723B (zh) * | 2021-12-24 | 2024-05-28 | 上海海洋大学 | 一种基于金字塔影像分割的陨石坑自动提取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163875A (zh) | 一种基于调制网络和特征注意金字塔的半监督视频目标分割方法 | |
| CN111612807B (zh) | 一种基于尺度和边缘信息的小目标图像分割方法 | |
| Wang et al. | Multimodal transfer: A hierarchical deep convolutional neural network for fast artistic style transfer | |
| CN111179167B (zh) | 一种基于多阶段注意力增强网络的图像超分辨方法 | |
| US10977802B2 (en) | Motion assisted image segmentation | |
| CN113158862B (zh) | 一种基于多任务的轻量级实时人脸检测方法 | |
| CN113781377B (zh) | 基于对抗性语义引导与感知的红外和可见光图像融合方法 | |
| CN110148138A (zh) | 一种基于双重调制的视频目标分割方法 | |
| Weng et al. | CT 2: Colorization transformer via color tokens | |
| GB2574696A (en) | Synthesizing new font glyphs from partial observations | |
| CN111476133B (zh) | 面向无人驾驶的前背景编解码器网络目标提取方法 | |
| CN109389667A (zh) | 一种基于深度学习的高效全局光照明绘制方法 | |
| US11677897B2 (en) | Generating stylized images in real time on mobile devices | |
| CN115812221A (zh) | 图像生成及着色方法及装置 | |
| CN110163207A (zh) | 一种基于Mask-RCNN船舶目标定位方法及存储设备 | |
| CN110475157A (zh) | 多媒体信息展示方法、装置、计算机设备及存储介质 | |
| CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| Singh et al. | Low-light image enhancement for UAVs with multi-feature fusion deep neural networks | |
| CN116543227A (zh) | 基于图卷积网络的遥感图像场景分类方法 | |
| CN109636737A (zh) | 图片清晰化提升处理方法 | |
| US20230005104A1 (en) | Method and electronic device for performing ai based zoom of image | |
| CN116614714A (zh) | 相机感知特性引导的真实曝光校正方法和系统 | |
| Lee et al. | Boundary-aware camouflaged object detection via deformable point sampling | |
| CN113240573B (zh) | 局部和全局并行学习的高分辨率图像风格变换方法及系统 | |
| Shang et al. | Frequency-aware network for low-light image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190823 |