CN109377445A - 模型训练方法、替换图像背景的方法、装置和电子系统 - Google Patents
模型训练方法、替换图像背景的方法、装置和电子系统 Download PDFInfo
- Publication number
- CN109377445A CN109377445A CN201811195236.XA CN201811195236A CN109377445A CN 109377445 A CN109377445 A CN 109377445A CN 201811195236 A CN201811195236 A CN 201811195236A CN 109377445 A CN109377445 A CN 109377445A
- Authority
- CN
- China
- Prior art keywords
- image
- level
- composograph
- current
- initial characteristics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 134
- 238000000034 method Methods 0.000 title claims abstract description 114
- 230000004927 fusion Effects 0.000 claims abstract description 199
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 68
- 238000012545 processing Methods 0.000 claims description 28
- 230000011218 segmentation Effects 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 230000003628 erosive effect Effects 0.000 claims description 11
- 230000005764 inhibitory process Effects 0.000 claims description 11
- 230000010339 dilation Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 abstract description 27
- 230000000694 effects Effects 0.000 abstract description 26
- 230000000875 corresponding effect Effects 0.000 description 32
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 5
- 235000013399 edible fruits Nutrition 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013210 evaluation model Methods 0.000 description 3
- 238000002844 melting Methods 0.000 description 3
- 230000008018 melting Effects 0.000 description 3
- 230000000452 restraining effect Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000006748 scratching Methods 0.000 description 2
- 230000002393 scratching effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000209140 Triticum Species 0.000 description 1
- 235000021307 Triticum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000023886 lateral inhibition Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G06T3/04—
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明提供了一种模型训练方法、替换图像背景的方法、装置和电子系统；其中，该模型训练方法包括：基于预设的训练样本集中的样本组确定当前的训练数据；将训练数据输入初始网络模型，输出初始特征图；对初始特征图进行融合处理，得到最终特征图；根据该最终特征图确定当前合成图像；获取当前合成图像和预设的标准合成图像之间的匹配损失函数值；继续向初始网络模型输入下一组训练数据进行训练，直至匹配损失函数值收敛，结束训练，得到目标模型。本发明将目标图像和替换图像输入至训练好的目标模型中，即可得到替换背景后的合成图像，操作过程简单且输出的合成图像效果准确稳定，无需用户掌握复杂的相关算法即可快速获得效果较佳的替换背景图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及一种模型训练方法、替换图像背景的方法、装置和电子系统。
背景技术
相关技术中，为图像替换背景通常需要先通过分割图算法对图像进行精细抠图，以得到前景图像在原图像中的所在区域；然后通过前景颜色估计算法从原图像中分离出前景图像，再将分离出的前景图像与待替换的背景图像合成，得到最终的替换背景后的图像。
上述方式中，分割图算法和颜色估计算法的准确性都会影响到最后的背景替换效果；当分割图算法不准确时，会导致抠图出来的前景图像“多抠”或“漏抠”，使得前景图像缺损或者“漏光”；当颜色估计算法不准确时，会导致前景图像和替换后的背景间边缘过渡区表现不自然；因此，现有的图像背景替换方式对用户的算法要求较高，且替换过程较为复杂，很容易导致背景替换效果不佳。
发明内容
有鉴于此，本发明的目的在于提供一种模型训练方法、替换图像背景的方法、装置和电子系统，以通过模型实现图像背景的替换，使替换图像背景的操作过程简单且可以快速输出效果较佳的背景替换图像。
第一方面，本发明实施例提供了一种模型训练方法，该模型用于替换图像背景，该方法包括：基于预设的训练样本集中的样本组确定当前的训练数据；样本组中包括样本图像和背景图像；将训练数据输入初始网络模型，输出预设层级数量的初始特征图；对初始特征图进行融合处理，得到样本组的最终特征图；根据最终特征图确定样本图像对应的当前合成图像；获取当前合成图像和预设的标准合成图像之间的匹配损失函数值；继续向初始网络模型输入下一组训练数据进行训练，直至匹配损失函数值收敛，结束训练，得到目标模型。
在本发明较佳的实施例中，上述基于预设的训练样本集中的样本组确定当前的训练数据的步骤，包括：从样本图像中提取所述样本图像中前景的蒙版图像；对该样本图像中前景的蒙版图像进行形态学运算，得到样本图像的三值分割图；三值分割图中，样本图像的前景区域和背景区域间的过渡区域采用灰度标识；形态学运算至少包括腐蚀运算和/或膨胀运算；通过图像通道，将样本图像、样本图像的三值分割图和背景图像拼接成预设通道数量的图像数据；将图像数据作为当前的训练数据。
在本发明较佳的实施例中，上述将训练数据输入初始网络模型，输出预设层级数量的初始特征图的步骤，包括：将训练数据输入初始网络模型，通过初始网络模型中的全卷积网络对训练数据进行卷积运算，输出预设层级数量的初始特征图。
在本发明较佳的实施例中，上述对初始特征图进行融合处理，得到样本组的最终特征图的步骤，包括：对每个层级的初始特征图分别进行第一融合处理，得到每个层级的融合特征图；对所有层级的融合特征图进行第二融合处理，得到样本组的最终特征图。
在本发明较佳的实施例中，上述对每个层级的初始特征图分别进行第一融合处理，得到每个层级的融合特征图的步骤，包括：将最顶层级的初始特征图确定为最顶层级的融合特征图；其中，预设层级数量的初始特征图中，最顶层级的初始特征图的尺寸最小；最底层级的初始特征图的尺寸最大；除最顶层级以外，将当前层级的初始特征图和当前层级以上的指定层级的初始特征图进行融合，得到当前层级的中间特征图；将中间特征图与当前层级的初始特征图进行融合，得到当前层级的融合特征图。
在本发明较佳的实施例中，上述将当前层级的初始特征图和当前层级以上的指定层级的初始特征图进行融合，得到当前层级的中间特征图的步骤，包括：通过预设的第一卷积核，对当前层级以上的指定层级的初始特征图进行第一卷积运算，得到第一卷积运算后的指定层级的初始特征图；根据当前层级的初始特征图的尺度，对第一卷积运算后的指定层级的初始特征图进行插值运算，得到与当前层级的初始特征图的尺度相匹配的指定层级的初始特征图；将插值运算后的指定层级的初始特征图与当前层级的初始特征图进行相应特征点间的逐点相乘运算，得到当前层级的中间特征图。
在本发明较佳的实施例中，上述将中间特征图与当前层级的初始特征图进行融合，得到当前层级的融合特征图的步骤，包括：将中间特征图与当前层级的上一层级的融合特征图进行相应特征点间的逐点相加运算，得到当前层级的融合特征图。
在本发明较佳的实施例中，上述对所有层级的融合特征图进行第二融合处理，得到样本组的最终特征图的步骤之前，方法还包括：对每个层级的融合特征图进行残差处理，得到残差处理后的每个层级的融合特征图。
在本发明较佳的实施例中，上述对每个层级的融合特征图进行残差处理，得到残差处理后的每个层级的融合特征图的步骤，包括：通过预设的第二卷积核，对每个层级的融合特征图进行第二卷积运算，得到第二卷积运算后的每个层级的融合特征图；对第二卷积运算后的每个层级的融合特征图进行单侧抑制处理，得到单侧抑制处理后的每个层级的融合特征图；通过预设的第三卷积核，对单侧抑制处理后的每个层级的融合特征图进行第三卷积运算，得到第三卷积运算后的每个层级的融合特征图；将第三卷积运算后的每个层级的融合特征图与同一层级的、进行第二卷积运算之前的融合特征图，进行相应特征点间的逐点相加运算，得到运算后的每个层级的融合特征图。
在本发明较佳的实施例中，上述对所有层级的融合特征图进行第二融合处理，得到样本组的最终特征图的步骤，包括：从最顶层级的融合特征图开始，将当前层级的融合特征图的尺度调整至与当前层级的下一层级的融合特征图的尺度相匹配；将尺度调整后的当前层级的融合特征图融合至当前层级的下一层级的融合特征图中，直至最底层级的融合特征图的上一层级的融合特征图融合至最底层级的融合特征图，得到训练样本组的最终特征图。
在本发明较佳的实施例中，上述根据最终特征图确定样本图像对应的当前合成图像的步骤，包括：通过预设的第四卷积核，对最终特征图进行第四卷积运算，得到样本图像对应的当前合成图像。
在本发明较佳的实施例中，上述获取当前合成图像和预设的标准合成图像之间的匹配损失函数值的步骤，至少包括下述之一：计算当前合成图像和预设的标准合成图像之间的欧式距离将欧式距离确定为当前合成图像和预设的标准合成图像之间的匹配损失函数值；其中，i为第i个像素点；ap为当前合成图像；agt为标准合成图像；为标准合成图像的第i个像素点；为当前合成图像的第i个像素点；计算当前合成图像和预设的标准合成图像之间的最小均方误差，将最小均方误差确定为当前合成图像和预设的标准合成图像之间的匹配损失函数值。
第二方面，本发明实施例提供了一种替换图像背景的方法，该方法应用于配置有目标模型的设备；目标模型为上述模型训练方法训练得到的目标模型；方法包括：获取待替换的目标图像和替换图像；将目标图像和替换图像输入至目标模型中，输出目标图像对应的合成图像；合成图像为目标图像的背景经替换图像替换后的图像。
第三方面，本发明实施例提供了一种用于替换图像背景的模型训练装置，装置包括：数据确定模块，用于基于预设的训练样本集中的样本组确定当前的训练数据；样本组中包括样本图像和背景图像；数据输入模块，用于将训练数据输入初始网络模型，输出预设层级数量的初始特征图；融合模块，用于对初始特征图进行融合处理，得到样本组的最终特征图；图像确定模块，用于根据最终特征图确定样本图像对应的当前合成图像；匹配损失函数值获取模块，用于获取当前合成图像和预设的标准合成图像之间的匹配损失函数值；训练模块，用于继续向初始网络模型输入下一组训练数据进行训练，直至匹配损失函数值收敛，结束训练，得到目标模型。
第四方面，本发明实施例提供了一种替换图像背景的装置，装置设置于配置有目标模型的设备；目标模型为上述方法训练得到的目标模型；装置包括：图像获取模块，用于获取待替换的目标图像和替换图像；图像输入模块，用于将目标图像和替换图像输入至目标模型中，输出目标图像对应的合成图像；合成图像为目标图像的背景经替换图像替换后的图像。
第五方面，本发明实施例提供了一种电子系统，该电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述模型训练方法，或者执行如替换图像背景的方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述模型训练方法，或者执行如替换图像背景的方法的步骤。
本发明实施例带来了以下有益效果：
本发明实施例提供的模型训练方法、替换图像背景的方法、装置和电子系统，首先将训练数据输入初始网络模型，得到预设层级数量的初始特征图；再对该初始特征图进行融合处理，得到样本组的最终特征图以及样本图像对应的当前合成图像；当当前合成图像和预设的标准合成图像之间的匹配损失函数值收敛时结束训练，得到目标模型。该方式中，用户将目标图像和替换图像输入至训练好的目标模型中，即可得到替换背景后的合成图像，操作过程简单且输出的合成图像效果准确稳定，无需用户掌握复杂的相关算法即可快速获得效果较佳的替换背景图像。
本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子系统的结构示意图；
图2为本发明实施例提供的一种模型训练方法的流程图；
图3(a)为本发明实施例提供的一种样本图像的示意图；
图3(b)为本发明实施例提供的一种样本图像中前景的蒙版图像的示意图；
图3(c)为本发明实施例提供的一种样本图像的三值分割图的示意图；
图4为本发明实施例提供的一种初始特征图的结构示意图；
图5为本发明实施例提供的另一种模型训练方法中，当前层级的中间特征图的生成方式示意图；
图6为本发明实施例提供的另一种模型训练方法中，对每个层级的融合特征图进行残差处理的示意图；
图7为本发明实施例提供的另一种模型训练方法中，对初始特征图进行融合处理的示意图；
图8为本发明实施例提供的一种替换图像背景的方法的流程图；
图9为本发明实施例提供的一种用于替换图像背景的模型训练装置的结构示意图；
图10为本发明实施例提供的一种替换图像背景的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到现有的图像背景替换方式对用户的算法要求较高，且替换过程较为复杂，很容易导致背景替换效果不佳的问题，本发明实施例提供了一种模型训练方法、替换图像背景的方法、装置和电子系统，该技术可以应用于服务器、计算机、相机、手机、平板电脑等多种终端设备中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。
实施例一：
首先，参照图1来描述用于实现本发明实施例的替换图像背景的模型训练方法、替换图像背景的方法、装置和电子系统的示例电子系统100。
如图1所示的一种电子系统的结构示意图，电子系统100包括一个或多个处理设备102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个图像采集设备110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子系统100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子系统也可以具有其他组件和结构。
所述处理设备102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子系统100中的其它组件的数据进行处理，还可以控制所述电子系统100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理设备102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理设备实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集设备110可以采集预览视频帧或图像数据，并且将采集到的预览视频帧或图像数据存储在所述存储装置104中以供其它组件使用。
示例性地，用于实现根据本发明实施例的替换图像背景的模型训练方法、替换图像背景的方法、装置和电子系统的示例电子系统中的各器件可以集成设置，也可以分散设置，诸如将处理设备102、存储装置104、输入装置106和输出装置108集成设置于一体，而将图像采集设备110设置于可以采集到目标图像的指定位置。当上述电子系统中的各器件集成设置时，该电子系统可以被实现为诸如相机、智能手机、平板电脑、计算机等智能终端。
实施例二：
本实施例提供了一种模型训练方法，该方法由上述电子系统中的处理设备执行；该处理设备可以是具有数据处理能力的任何设备或芯片。该处理设备可以独立对接收到的信息进行处理，也可以与服务器相连，共同对信息进行分析处理，并将处理结果上传至云端。
上述模型用于替换图像背景，如图2所示，该模型训练方法包括如下步骤：
步骤S202，基于预设的训练样本集中的样本组确定当前的训练数据；该样本组中包括样本图像和背景图像；
该预设的训练样本集中通常包含多组样本组；获取到一组样本组后，通常还需要从样本图像中提取该样本图像中前景的蒙版图像；通常，样本图像由四个通道的数据组成，而蒙版图像属于其中的一个通道数据；因此，通过图像通道即可获得上述蒙版图像。其中，样本图像中前景的蒙版图像可以理解为样本图像中的一个通道数据；通过对样本图像进行图像通道分离，即可获得该蒙版图像；该蒙版图像中记录了样本图像各个像素点的透明度信息，能够精确反应样本图像中前景图像与背景图像在边缘处的半透明过渡细节。在实际实现时，可以将一个样本组中的上述样本图像、样本图像中前景的蒙版图像和背景图像三张图像作为当前的训练数据，输入至后续的初始网络模型，也可以先对一个样本组中的三张图像进行预处理，例如图像拼接、通道组合拼接等处理，再将处理后的图像数据作为当前的训练数据，输入至后续的初始网络模型进行训练。
另外，也可以不获取样本图像中前景的蒙版图像，仅将样本图像和背景图像作为当前的训练数据，输入至后续的初始网络模型进行训练。
步骤S204，将上述训练数据输入初始网络模型，输出预设层级数量的初始特征图；
该初始网络模型可以为不同形式的神经网络，如具有编码器和解码器的U型结构的全卷积网络，当然也可以为全连接网络；全卷积网络具体可以为ResNeXt网络模型、ResNet网络模型等。该初始网络模型输出的初始特征图的层级数量，通常与初始网络模型中的卷积层数量相关，通常可以设置为五层；由于当前层的初始特征图由该当前层的低一层的初始特征图通过预设的卷积核进行卷积计算得到(最底层级的初始特征图由训练数据进行卷积计算得到)，当前层的初始特征图的尺度小于低一层的初始特征图；因此，初始网络模型输出的预设层级数量的初始特征图由底层至顶层的尺度由大变小，且彼此的尺度不同。
步骤S206，对初始特征图进行融合处理，得到样本组的最终特征图；
由于每个层级的初始特征图通过不同的卷积核进行卷积运算得到，因此每个层级的初始特征图中包含训练数据不同种类或不同维度的特征；为了对这些特征进行降维，需要将各层级的初始特征图进行融合处理。具体的融合过程可以有多种形式，如从顶部的初始特征图开始，当前层的初始特征图融合至下一层的初始特征图中，直至最底层级的初始特征图，得到最终特征图；再如，当前层的初始特征图融合至下一层的初始特征图之前，还可以与其他层或其他层组合的初始特征图进行融合，再将融合后的初始特征图融合至下一层的初始特征图，直至最底层级的初始特征图，得到最终特征图。
由于初始特征图间尺度不同，在进行融合之前通常需要对相融合的初始特征图进行预处理(如卷积运算、差值运算等)，以使相融合的初始特征图间的尺度相互匹配；初始特征图间进行融合时，相应的特征点间可以进行点乘、点加或其他逻辑运算。
步骤S208，根据最终特征图确定样本图像对应的当前合成图像；
通常，如果上述初始网络模型通过卷积运算的方式得到初始特征图，该最终特征图通常也需要进行卷积运算，得到上述当前合成图像，只是二者卷积运算所使用的卷积核不同。如果上述初始网络模型通过其他运算方式得到初始特征图，此处最终特征图通常也需要与该运算方式相对应的运算得到上述当前合成图像。
步骤S210，获取当前合成图像和预设的标准合成图像之间的匹配损失函数值；
步骤S212，继续向初始网络模型输入下一组训练数据进行训练，直至上述匹配损失函数值收敛，结束训练，得到目标模型。
该预设的标准合成图像可以为当前的训练数据对应的样本组中，样本图像、样本图像中前景的蒙版图像和背景图像经现有的分割图算法和颜色估计算法处理后得到的合成图像。当前合成图像和标准合成图像之间的匹配损失函数值可以用于评价当前合成图像和标准合成图像之间的相似程度。在实际实现时，当前合成图像和标准合成图像之间的匹配损失函数值可以通过计算欧式距离、最小均方误差、梯度误差等多种方式计算获得。需要说明的是，在训练模型的过程中，使用的训练数据可以为彼此不同的样本组，也可以存在相互重复的样本组。
通常，模型使用多组样本组经上述步骤进行多次反复训练后，当前合成图像和标准合成图像之间的匹配损失函数值才会收敛，此时可以停止训练，将当前的模型确定为目标模型。
本发明实施例提供的模型训练方法，首先将训练数据输入初始网络模型，得到预设层级数量的初始特征图；再对该初始特征图进行融合处理，得到样本组的最终特征图以及样本图像对应的当前合成图像；当当前合成图像和预设的标准合成图像之间的匹配损失函数值收敛时结束训练，得到目标模型。该方式中，用户将目标图像和替换图像输入至训练好的目标模型中，即可得到替换背景后的合成图像，操作过程简单且输出的合成图像效果准确稳定，无需用户掌握复杂的相关算法即可快速获得效果较佳的替换背景图像。
实施例三：
本实施例提供了另一种模型训练方法，该方法在上述实施例的基础上实现；本实施例中，重点描述用于训练模型的训练数据的获取方式，以及初始特征图的计算方式；该方法包括如下步骤：
步骤302，获取预设的训练样本集，从该训练样本集选择一组样本组作为当前的样本组；该训练样本集包括多组样本组；每组样本组中包括样本图像和背景图像；
步骤304，从样本图像中提取该样本图像中前景的蒙版图像；
其中，样本图像可以为从多种数据库中收集的原始图像，为了保证模型训练效果，样本图像的数量可以为几千张；样本图像中通常需要具有较为明显的前景区域和背景区域，该前景区域中可以为人物也可以为动物、静物等。样本图像中前景的蒙版图像可以如上述实施例中所述的通过对样本图像的通道分解获得，在此不再赘述。背景图像也可以从上述数据库中收集，为了保证背景替换效果，背景图像中通常不具有明显的前景区域，例如，该背景图像可以为建筑图像、风景图像等。
上述训练样本集中的多组样本组间，样本图像可以重复，也可以不重复；如果两组样本组的样本图像相同，尽量使用不同的背景图像。在实际训练过程中，可以先对上述训练样本集中的多组样本组进行排序，按照顺序逐一使用每组样本组需模型进行训练，直至模型满足预设的要求。
步骤306，对该样本图像中前景的蒙版图像进行形态学运算，得到样本图像的三值分割图；该三值分割图中，样本图像的前景区域和背景区域间的过渡区域采用灰度标识；该形态学运算至少包括腐蚀运算和/或膨胀运算。
可以理解，该形态学运算可以包括腐蚀运算或膨胀运算之一，也可以同时包括腐蚀运算和膨胀运算。图3(a)-图3(c)分别为样本图像、样本图像中前景的蒙版图像和三值分割图的示例；其中，图3(a)为样本图像；图3(b)为样本图像中前景的蒙版图像，可知，蒙版图像为二值图像，前景区域的像素值为“1”，背景区域的像素值为“0”；观察蒙版图像可知，对于自然状态下的前景图像，其边缘大多不规则，如存在毛发、细微褶皱等。相关技术中通常通过分割图算法，使用较小的算子对前景区域和背景区域间的过渡区域进行精细抠图，使用较大的算子对前景区域的其他部分进行较为粗略的抠图，以控制运算量；而本实施例中抠图的过程需要由模型完成，此时则需要通过三值分割图(如图3(c)所示)标识出来前景区域和背景区域间的过渡区域，以使模型对该边缘区域进行精细抠图。
上述形态学运算是一种图像处理方式，可以对二值图像中指定的像素位置与其邻近的区域进行特定的逻辑运算，并得到运算结果；形态学运算包括腐蚀运算和膨胀运算两种基本运算，还包括开运算、闭运算等较为高级的运算方式；其中，腐蚀运算可以采用预设大小的结构元素，删除图像边界的某些像素；膨胀运算可以采用预设大小的结构元素，在图像边界的某些像素周围添加像素；因此，蒙版图像中的前景区域经腐蚀运算后，会删除前景区域边缘处较为细微的部分，使得前景区域整体减小一圈；经腐蚀运算后的前景区域再进行膨胀运算，可以使前景区域扩大，使得前景区域整体增大一圈；在腐蚀运算后的前景区域基础上，经膨胀运算扩大的区域，可以确定为上述三值分割图中的过渡区域，该过渡区域可以采用灰度标识，以区分前景区域和背景区域。
在另一种方式中，还可以通过形态学运算中的开运算或闭运算实现，其中，开运算是先对图像进行腐蚀运算再进行膨胀运算，闭运算是先对图像进行膨胀运算再进行腐蚀运算；因此，通过开运算或闭运算也可以确定三值分割图中的过渡区域。
步骤308，通过图像通道，将样本图像、样本图像的三值分割图和背景图像拼接成预设通道数量的图像数据；
通常，一张图像可以分解为四个通道数据，分别为R通道数据、G通道数据、B通道数据和alpha通道数据；其中，alpha通道数据即为图像的蒙版图像。上述步骤中，具体可以从样本图像中提取该样本图像的R通道数据x、G通道数据y和B通道数据z，从背景图像中提取该背景图像的的R通道数据x’、G通道数据y’和B通道数据z’；再将样本图像的三值分割图作为一个通道的数据，此时，可以拼接成七个通道的图像数据；当然，在其他方式中，也可以分别从样本图像或背景图像中提取R通道数据、G通道数据和B通道数据中的一种或两种，与样本图像的三值分割图拼接成小于七通道的图像数据。
步骤310，将图像数据作为当前的训练数据。
步骤312，将训练数据输入初始网络模型，通过该初始网络模型中的全卷积网络对训练数据进行卷积运算，输出预设层级数量的初始特征图。
图4所示为初始特征图的结构示意图；图4中以五个层级的初始特征图为例进行说明，按照箭头的方向，位于底部的为最底层级的初始特征图；位于顶部的为最顶层级的初始特征图；上述初始网络模型中通常也设置有多层卷积层；上述训练数据输入至初始网络模型后，先经第一层卷积层进行卷积运算，得到最底层级的初始特征图；最底层级的初始特征图再经第二层卷积层进行卷积运算，得到第二层的初始特征图，直至经最后一层卷积层得到最顶层级的初始特征图；通常，每层卷积层进行卷积运算所使用的卷积核可能不同；并且，除卷积层外，上述初始网络模型中通常还配置有池化层、全连接层等。
步骤314，对初始特征图进行融合处理，得到样本组的最终特征图；
步骤316，根据最终特征图确定样本图像对应的当前合成图像；
步骤318，获取当前合成图像和预设的标准合成图像之间的匹配损失函数值；
步骤320，继续向上述初始网络模型输入下一组训练数据进行训练，直至上述匹配损失函数值收敛，结束训练，得到目标模型。
上述方式中，将样本组中的蒙版图像进行形态学运算后，得到三值分割图，再将样本图像、三值分割图和背景图像拼接成预设通道数量的图像数据，将该图像数据作为训练数据输入至初始网络模型，以对模型进行训练。该方式可以得到较为丰富的训练数据，有利于训练得到效果准确稳定的目标模型，使得替换背景的操作过程简单且输出的合成图像效果稳定，无需用户掌握复杂的相关算法即可快速获得效果较佳的替换背景图像。
实施例四：
本实施例提供了另一种模型训练方法，该方法在上述实施例的基础上实现；本实施例中，重点描述对初始特征图进行融合处理的过程；总体而言，对初始特征图进行融合处理，得到样本组的最终特征图，可以通过下述两个步骤实现：
步骤一，对每个层级的初始特征图分别进行第一融合处理，得到每个层级的融合特征图；在实际实现时，当前层级的初始特征图进行第一融合处理时，可以将该当前层级的初始特征图与当前层级以上的一个或多个层级的初始特征图进行融合。
步骤二，对所有层级的融合特征图进行第二融合处理，得到样本组的最终特征图。该过程可以从最顶层级的融合特征图开始，将当前层的融合特征图融合至下一层的融合特征图中，依此类推，直至融合至最底层级的融合特征图中，最终得到一张上述最终特征图。
下面对上述步骤一和步骤二进行详细说明。对初始特征图进行融合处理，得到样本组的最终特征图，具体包括如下步骤：
步骤402，将最顶层级的初始特征图确定为最顶层级的融合特征图；其中，预设层级数量的初始特征图中，最顶层级的初始特征图的尺寸最小；最低层级的初始特征图的尺寸最大；且预设层级数量的初始特征图中，最顶层级至最低层级的初始特征图的尺寸逐渐由小变大。通常，最顶层级的初始特征图包含有高语义低分辨率特征；而最低层级的初始特征图包含有低语义高分辨率特征。
由于最顶层级的初始特征图不存在上一层极的初始特征图，因而在对每个层级的初始特征图进行融合过程中，最顶层级的初始特征图不再进行融合处理，直接将该初始特征图确定为最顶层级的融合特征图。
步骤404，除最顶层级以外，将当前层级的初始特征图和当前层级以上的指定层级的初始特征图进行融合，得到当前层级的中间特征图；
通常，当前层级以上的指定层级的层级位置和层级数量均可以预先设置；例如，如果将最顶层级称为第一层级，以第四层级为例，在对第四层级进行融合时，可以将第一层级至第三层级的初始特征图都与第四层级的初始特征图融合，也可以将第二层级至第三层级的初始特征图与第四层级的初始特征图融合，当然也可以仅将第三层级的初始特征图与第四层级的初始特征图融合，得到第四层级的中间特征图。
当前层级的中间特征图还需再进行后续处理后，才能得到当前层级的融合特征图，例如该中间特征图再与当前层级的初始特征图融合，得到前层级的融合特征图。可以理解，由于不同层级的特征图尺度不同，在融合过程中，通常还存在调整特征图尺度的过程，例如，可以将较小尺度的特征图进行插值运算，从而使得相融合的特征图之间相互匹配。
进一步地，上述步骤404具体可以通过下述步骤(1)-(3)实现，结合图5：
步骤(1)，通过预设的第一卷积核，对当前层级以上的指定层级的初始特征图进行第一卷积运算，得到第一卷积运算后的指定层级的初始特征图；
其中，第一卷积核可以为3*3卷积核，当然也可以使用较大的卷积核，例如5*5卷积核、7*7卷积核等；如果上述指定层级包括多个层级，可以逐一对每个层级的初始特征图进行第一卷积运算。
步骤(2)，根据当前层级的初始特征图的尺度，对第一卷积运算后的指定层级的初始特征图进行插值运算，得到与当前层级的初始特征图的尺度相匹配的指定层级的初始特征图；
由于指定层级位于当前层级的上层，因而指定层级的初始特征图的尺度小于当前层级的初始特征图，为了便于融合，需要对指定层级的初始特征图进行“拉伸”至与当前层级的初始特征图的尺度相同，该“拉伸”的过程即可通过上述插值运算实现。以线性插值为例，简单举例说明插值运算的过程，例如，初始特征图中的局部三个特征点的数值分别为5、7、9，为了使该初始特征图拉伸至预设尺度，需要将上述三个特征点扩展至五个特征点，此时可以将特征点5和特征点7的均值，即特征点6插入至特征点5和特征点7之间，将特征点7和特征点9的均值，即特征点9插入至特征点7和特征点9之间，至此即可将局部三个特征点扩展为五个特征点，分别为5、6、7、8、9。
除上述线性插值外，还可以使用其他插值算法，如双线性插值；双线性插值通常分别从x方向和y方向分别进行插值运算；具体而言，首先从初始特征图中选择四个特征点，分别为Q11、Q12、Q21和Q22，这四个特征点在初始特征图中呈矩形分布；在x方向，Q11和Q21的x坐标经线性插值后得到的一个插值点R1，Q12和Q22的x坐标经线性插值后得到的一个插值点R2；再在y方向，将插值点R1和插值点R2经线性插值后得到最终的差值点P，该点P即为一次双线性插值后的新增特征点。
步骤(3)，将插值运算后的指定层级的初始特征图与当前层级的初始特征图进行相应特征点间的逐点相乘运算，得到当前层级的中间特征图。
经插值运算后，指定层级的初始特征图的尺度与当前层级的初始特征图相同，因此，可以将对应的特征点进行逐点相乘运算，当然也可以进行逐点相加或其他逻辑运算，进而得到当前层级的中间特征图；如果指定层级包括多个层级，当前层级可以与其中一个层级经插值运算后的初始特征图进行逐点相乘运算后，运算结果再与另一个层级经插值运算后的初始特征图进行逐点相乘运算，直至与指定层级中的每个层级经插值运算后的初始特征图进行逐点相乘运算完毕，得到最终的当前层级的中间特征图。
步骤406，将中间特征图与当前层级的上一层级的融合特征图进行融合，得到当前层级的融合特征图。
由上述描述的中间特征图的生成过程可知，当前层级的中间特征图与当前层级的初始特征图尺度相同，但当前层级的上一层级的融合特征图的尺度通常小于当前层级的中间特征图，因此，通常需要先将当前层级的上一层级的融合特征图进行尺度调整，再与当前层级的中间特征图进行融合；在融合过程中，具体可以将中间特征图与当前层级的上一层级的融合特征图进行相应特征点间的逐点相加运算，得到当前层级的融合特征图。当然也可以将中间特征图与当前层级的上一层级的融合特征图进行相应特征点间的逐点相乘运算或其他逻辑运算。
步骤408，对每个层级的融合特征图进行残差处理，得到残差处理后的每个层级的融合特征图。
在上述步骤中，每个层级的中间特征图和初始特征图融合后，易导致每个层级的融合特征图的边缘轮廓不清晰，上述步骤中对每个层级的融合特征图进行残差处理，可以对融合特征图的边缘进行精确修复，避免特征信息的损失。
结合图6，上述步骤408具体可以通过下述步骤(1)-(4)实现：
步骤(1)，通过预设的第二卷积核，对每个层级的融合特征图进行第二卷积运算，得到第二卷积运算后的每个层级的融合特征图；其中，该第二卷积核可以为3*3卷积核，当然也可以使用较大的卷积核，例如5*5卷积核、7*7卷积核等。
步骤(2)，对第二卷积运算后的每个层级的融合特征图进行单侧抑制处理，得到单侧抑制处理后的每个层级的融合特征图；
该单侧抑制处理具体可以通过ReLu(Rectified linear unit，修正线性单元)函数实现；该ReLu函数是神经网络中神经元的激活函数，具体可以通过下述公式表达：
由上述表达式可知，通过该ReLu函数可以抑制x≤0一侧的数值。通过对融合特征图进行单侧抑制可以使训练模型中神经网络的稀疏激活性，便于模型在训练过程中更好地挖掘相关特征，拟合训练数据。
步骤(3)，通过预设的第三卷积核，对单侧抑制处理后的每个层级的融合特征图进行第三卷积运算，得到第三卷积运算后的每个层级的融合特征图；其中，该第三卷积核可以为3*3卷积核，当然也可以使用较大的卷积核，例如5*5卷积核、7*7卷积核等。
步骤(4)，将第三卷积运算后的每个层级的融合特征图与同一层级的、进行第二卷积运算之前的融合特征图，进行相应特征点间的逐点相加运算，得到运算后的每个层级的融合特征图。
如图6所示，对于当前层级，在进行第二卷积运算之前的融合特征图可以称为当前层级的融合特征图A，该融合特征图A经第二卷积运算、单侧抑制处理、第三卷积运算后得到前层级的融合特征图B；该前层级的融合特征图B再与前层级的融合特征图A进行逐点相加运算，得到运算后的每个层级的融合特征图C。
经上述步骤402-408完成了对每个层级的初始特征图分别进行第一融合处理的过程(即上述步骤一)，下面通过步骤410和412继续说明对所有层级的融合特征图进行第二融合处理，得到样本组的最终特征图的过程(即上述步骤二)。
步骤410，从最顶层级的融合特征图开始，将当前层级的融合特征图的尺度调整至与当前层级的下一层级的融合特征图的尺度相匹配；该步骤中的尺度调整过程可以通过前述描述的插值运算实现，如线性插值运算、双线性插值运算等，再此不再赘述。
步骤412，将尺度调整后的当前层级的融合特征图融合至当前层级的下一层级的融合特征图中，直至最底层级的融合特征图的上一层级的融合特征图融合至最底层级的融合特征图，得到训练样本组的最终特征图。该步骤中的融合过程也可以采用逐点相乘或逐点相加的方式实现，例如，最顶层级的融合特征图融合至第二层级的融合特征图后，再将融合后的第二层级的融合特征图融合至第三层级的融合特征图，依此类推，直至融合后的最底层级的上一层级的融合特征图融合至该最底层级的融合特征图。
图7所示为本实施例中对初始特征图进行融合处理的示意图；图7中以五层特征图为例；训练数据经初始网络模型进行卷积处理后得到五层初始特征图；最顶层级的初始特征图之间作为最顶层级的融合特征图；最顶层级和第二层级的初始特征图经合并融合模块融合后，得到第二层级的中间特征图，该中间特征图再与最顶层级的融合特征图进行融合，得到第二层级的融合特征图；而第三层级的中间特征图需要将最顶层级、第二层级和第三层级的初始特征图经合并融合模块融合得到；第四层级的中间特征图需要将最二层级、第三层级和第四层级的初始特征图经合并融合模块融合得到，依次类推。上述合并融合模块可以实现前述步骤404及其相关的子步骤的功能，即生成各个层级的中间特征图。
每个层级的融合特征图生成并进行残差处理后，可以按照图7中所示的箭头方向，由最顶层级的融合特征图依次融合至最底层级的融合特征图，进而得到当前样本组对应的最终特征图。
上述方式中，得到预设层级数量的初始特征图后，首先对每个层级的初始特征图进行融合处理，得到对应层级的融合特征图，再对所有层级的融合特征图进行融合处理，得到当前样本组的最终特征图，进而基于该最终特征图得到合成图像后，与标准合成图像进行匹配，根据匹配损失函数值训练模型。该方式中，对初始特征图进行多种方式的融合，可以充分挖掘样本组中图像的特征点，有利于训练得到效果准确稳定的目标模型，使得替换背景的操作过程简单且输出的合成图像效果稳定，无需用户掌握复杂的相关算法即可快速获得效果较佳的替换背景图像。
实施例五：
本实施例提供了另一种模型训练方法，该方法在上述实施例的基础上实现；本实施例中，重点描述当前合成图像的生成过程，以及根据当前合成图像和预设的标准合成图像之间的匹配损失函数值评价模型的方式，具体描述如下。
上述实施例中获取到当前样本组对应的最终特征图后，再通过预设的第四卷积核，对最终特征图进行第四卷积运算，得到样本图像对应的当前合成图像。该第四卷积核可以为3*3卷积核，当然也可以使用较大的卷积核，例如5*5卷积核、7*7卷积核等。
每个样本组中包含的样本图像和背景图像；可以预先采用相关技术，如上述分割图算法对样本图像进行精细抠图，以得到前景图像在样本图像中的所在区域；然后通过前景颜色估计算法从样本图像中分离出前景图像，获取到前景图像后，可以使用Matting公式将前景图像与背景图像进行合成，从而得到标准合成图像，该Matting公式可以表达如下：I(x，y)＝F(x，y)*alpha(x，y)+B(x，y)*(1-alpha(x，y))；其中，(x，y)为像素点位置坐标；F为前景图像的颜色；B为背景图像的颜色；alpha为蒙版图像的像素点值；I为标准合成图像的颜色。
为了评价模型的训练效果，可以通过预设的匹配损失函数分析模型输出的上述当前合成图像与标准合成图像之间的相似程度；该匹配损失函数具体可以为欧式距离计算公式、最小均方误差计算公式等；通过上述匹配损失函数可以计算当前合成图像与标准合成图像之间的匹配损失函数值。因而，当前合成图像和预设的标准合成图像之间的匹配损失函数值具体可以通过下述方式之一获得：
方式1：计算当前合成图像和预设的标准合成图像之间的欧式距离将欧式距离确定为当前合成图像和预设的标准合成图像之间的匹配损失函数值；其中，i为第i个像素点；ap为当前合成图像；agt为标准合成图像；为标准合成图像的第i个像素点；为当前合成图像的第i个像素点。
方式2：计算当前合成图像和预设的标准合成图像之间的最小均方误差，将最小均方误差确定为当前合成图像和预设的标准合成图像之间的匹配损失函数值；
最小均方误差通常是参数估计值与参数真值之差平方的期望值；具体地，可以对当前合成图像和预设的标准合成图像之间进行逐点相减运算，再对每个像素点的运算结果进行平方运算，最后再求取每个像素点的平方运算结果的期望值，该期望值即上述最小均方误差。
上述方式中，得到当前样本组的最终特征图，将该最终特征图进行卷积运算后即可得到当前合成图像，通过计算当前合成图像和标准合成图像的欧式距离或最小均方误差，可以评价模型的训练效果，从而得到效果较为稳定的目标模型。通过该模型进行图像背景的替换，具有自动、准确、高效的特点，能有效提高用户的效率，从而跳过现有的精细抠图和前景估计的过程，全自动地实现图像背景的替换，且替换效果准确稳定。
实施例六：
对应于上述实施例中提供的用于替换图像背景的目标模型，本实施例提供了一种替换图像背景的方法，该方法应用于配置有目标模型的设备；该目标模型为上述实施例训练得到的目标模型；如图8所示，该方法包括：
步骤S802，获取待替换的目标图像和替换图像；
步骤S804，将目标图像和替换图像输入至目标模型中，输出目标图像对应的合成图像；该合成图像为目标图像的背景经替换图像替换后的图像。
在实际实现时，获取到上述目标图像和替换图像，可以先从目标图像中提取到该目标图像的蒙版图像，再将目标图像、该目标图像的蒙版图像和替换图像输入至目标模型中；也可以将上述目标图像和替换图像输入至目标模型中后，由目标模型自动提取该目标图像的蒙版图像，进而在进行合成处理。
如果该目标模型在训练过程中没有使用到样本图像中前景的蒙版图像，此时则无需从目标图像中提取蒙版图像，仅将目标图像和替换图像输入至目标模型中，即可获得合成图像。
上述替换图像背景的方法中，将目标图像和替换图像输入至目标模型中，即刻得到目标图像对应的背景经替换图像替换后的合成图像；操作过程简单且输出的合成图像效果准确稳定，无需用户掌握复杂的相关算法即可获得快速准确的替换背景图像。
实施例七：
对应于上述方法实施例，参见图9所示的一种用于替换图像背景的模型训练装置的结构示意图，该装置包括：
数据确定模块90，用于基于预设的训练样本集中的样本组确定当前的训练数据；样本组中包括样本图像和背景图像；
数据输入模块91，用于将训练数据输入初始网络模型，输出预设层级数量的初始特征图；
融合模块92，用于对初始特征图进行融合处理，得到样本组的最终特征图；
图像确定模块93，用于根据最终特征图确定样本图像对应的当前合成图像；
匹配损失函数值获取模块94，用于获取当前合成图像和预设的标准合成图像之间的匹配损失函数值；
训练模块95，用于继续向初始网络模型输入下一组训练数据进行训练，直至匹配损失函数值收敛，结束训练，得到目标模型。
本发明实施例提供的用于替换图像背景的模型训练装置，首先将训练数据输入初始网络模型，得到预设层级数量的初始特征图；再对该初始特征图进行融合处理，得到样本组的最终特征图以及样本图像对应的当前合成图像；当当前合成图像和预设的标准合成图像之间的匹配损失函数值收敛时结束训练，得到目标模型。该方式中，用户将目标图像和替换图像输入至训练好的目标模型中，即可得到替换背景后的合成图像，操作过程简单且输出的合成图像效果准确稳定，无需用户掌握复杂的相关算法即可快速获得效果较佳的替换背景图像。
进一步地，上述数据确定模块还用于：从样本图像中提取该样本图像中前景的蒙版图像；对该样本图像中前景的蒙版图像进行形态学运算，得到样本图像的三值分割图；三值分割图中，样本图像的前景区域和/或背景区域间的过渡区域采用灰度标识；形态学运算至少包括腐蚀运算和膨胀运算；通过图像通道，将样本图像、样本图像的三值分割图和背景图像拼接成预设通道数量的图像数据；将图像数据作为当前的训练数据。
上述数据输入模块还用于：将训练数据输入初始网络模型，通过初始网络模型中的全卷积网络对训练数据进行卷积运算，输出预设层级数量的初始特征图。
上述融合模块还用于：对每个层级的初始特征图分别进行第一融合处理，得到每个层级的融合特征图；对所有层级的融合特征图进行第二融合处理，得到样本组的最终特征图。
上述融合模块还用于：将最顶层级的初始特征图确定为最顶层级的融合特征图；其中，预设层级数量的初始特征图中，最顶层级的初始特征图的尺寸最小；最低层级的初始特征图的尺寸最大；除最顶层级以外，将当前层级的初始特征图和当前层级以上的指定层级的初始特征图进行融合，得到当前层级的中间特征图；将中间特征图与当前层级的初始特征图进行融合，得到当前层级的融合特征图。
上述融合模块还用于：通过预设的第一卷积核，对当前层级以上的指定层级的初始特征图进行第一卷积运算，得到第一卷积运算后的指定层级的初始特征图；根据当前层级的初始特征图的尺度，对第一卷积运算后的指定层级的初始特征图进行插值运算，得到与当前层级的初始特征图的尺度相匹配的指定层级的初始特征图；将插值运算后的指定层级的初始特征图与当前层级的初始特征图进行相应特征点间的逐点相乘运算，得到当前层级的中间特征图。
上述融合模块还用于：将中间特征图与当前层级的上一层级的融合特征图进行相应特征点间的逐点相加运算，得到当前层级的融合特征图。
上述装置还包括残差处理模块，用于对每个层级的融合特征图进行残差处理，得到残差处理后的每个层级的融合特征图。
上述残差处理模块，还用于：通过预设的第二卷积核，对每个层级的融合特征图进行第二卷积运算，得到第二卷积运算后的每个层级的融合特征图；对第二卷积运算后的每个层级的融合特征图进行单侧抑制处理，得到单侧抑制处理后的每个层级的融合特征图；通过预设的第三卷积核，对单侧抑制处理后的每个层级的融合特征图进行第三卷积运算，得到第三卷积运算后的每个层级的融合特征图；将第三卷积运算后的每个层级的融合特征图与同一层级的、进行第二卷积运算之前的融合特征图，进行相应特征点间的逐点相加运算，得到运算后的每个层级的融合特征图。
上述融合模块还用于：从最顶层级的融合特征图开始，将当前层级的融合特征图的尺度调整至与当前层级的下一层级的融合特征图的尺度相匹配；将尺度调整后的当前层级的融合特征图融合至当前层级的下一层级的融合特征图中，直至最底层级的融合特征图的上一层级的融合特征图融合至最底层级的融合特征图，得到训练样本组的最终特征图。
上述图像确定模块，还用于：通过预设的第四卷积核，对最终特征图进行第四卷积运算，得到样本图像对应的当前合成图像。
上述匹配损失函数值获取模块，还用于：计算当前合成图像和预设的标准合成图像之间的欧式距离将欧式距离确定为当前合成图像和预设的标准合成图像之间的匹配损失函数值；其中，i为第i个像素点；ap为当前合成图像；agt为标准合成图像；为标准合成图像的第i个像素点；为当前合成图像的第i个像素点；计算当前合成图像和预设的标准合成图像之间的最小均方误差，将最小均方误差确定为当前合成图像和预设的标准合成图像之间的匹配损失函数值。
本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
参见图10所示的一种替换图像背景的装置的结构示意图；该装置设置于配置有目标模型的设备；目标模型为上述模型训练方法训练得到的目标模型；该装置包括：
图像获取模块101，用于获取待替换的目标图像和替换图像；
图像输入模块102，用于将目标图像和替换图像输入至目标模型中，输出目标图像对应的合成图像；该合成图像为目标图像的背景经替换图像替换后的图像。
上述替换图像背景的装置，将目标图像和替换图像输入至目标模型中，即刻得到目标图像对应的背景经替换图像替换后的合成图像；操作过程简单且输出的合成图像效果准确稳定，无需用户掌握复杂的相关算法即可快速获得效果较佳的替换背景图像。
实施例八：
本发明实施例提供了一种电子系统，给电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取预览视频帧或图像数据；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行上述模型训练方法，或者执行如替换图像背景的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
进一步地，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述模型训练方法，或者执行如替换图像背景的方法的步骤。
本发明实施例所提供的替换图像背景的模型训练方法、替换图像背景的方法、装置和电子系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (17)
1.一种模型训练方法，其特征在于，所述模型用于替换图像背景，所述方法包括：
基于预设的训练样本集中的样本组确定当前的训练数据；所述样本组中包括样本图像和背景图像；
将所述训练数据输入初始网络模型，输出预设层级数量的初始特征图；
对所述初始特征图进行融合处理，得到所述样本组的最终特征图；
根据所述最终特征图确定所述样本图像对应的当前合成图像；
获取所述当前合成图像和预设的标准合成图像之间的匹配损失函数值；
继续向所述初始网络模型输入下一组训练数据进行训练，直至所述匹配损失函数值收敛，结束训练，得到目标模型。
2.根据权利要求1所述的方法，其特征在于，基于预设的训练样本集中的样本组确定当前的训练数据的步骤，包括：
从所述样本图像中提取所述样本图像中前景的蒙版图像；
对所述样本图像中前景的蒙版图像进行形态学运算，得到所述样本图像的三值分割图；所述三值分割图中，所述样本图像的前景区域和背景区域间的过渡区域采用灰度标识；所述形态学运算至少包括腐蚀运算和/或膨胀运算；
通过图像通道，将所述样本图像、所述样本图像的三值分割图和所述背景图像拼接成预设通道数量的图像数据；
将所述图像数据作为所述当前的训练数据。
3.根据权利要求1所述的方法，其特征在于，将所述训练数据输入所述初始网络模型，输出预设层级数量的初始特征图的步骤，包括：
将所述训练数据输入所述初始网络模型，通过所述初始网络模型中的全卷积网络对所述训练数据进行卷积运算，输出预设层级数量的初始特征图。
4.根据权利要求1所述的方法，其特征在于，对所述初始特征图进行融合处理，得到所述样本组的最终特征图的步骤，包括：
对每个层级的所述初始特征图分别进行第一融合处理，得到每个层级的融合特征图；
对所有层级的融合特征图进行第二融合处理，得到所述样本组的最终特征图。
5.根据权利要求4所述的方法，其特征在于，对每个层级的所述初始特征图分别进行第一融合处理，得到每个层级的融合特征图的步骤，包括：
将最顶层级的初始特征图确定为所述最顶层级的融合特征图；其中，所述预设层级数量的初始特征图中，所述最顶层级的初始特征图的尺寸最小；最底层级的初始特征图的尺寸最大；
除所述最顶层级以外，将当前层级的初始特征图和所述当前层级以上的指定层级的初始特征图进行融合，得到当前层级的中间特征图；
将所述中间特征图与所述当前层级的初始特征图进行融合，得到所述当前层级的融合特征图。
6.根据权利要求5所述的方法，其特征在于，将当前层级的初始特征图和所述当前层级以上的指定层级的初始特征图进行融合，得到当前层级的中间特征图的步骤，包括：
通过预设的第一卷积核，对所述当前层级以上的指定层级的初始特征图进行第一卷积运算，得到第一卷积运算后的所述指定层级的初始特征图；
根据所述当前层级的初始特征图的尺度，对第一卷积运算后的所述指定层级的初始特征图进行插值运算，得到与所述当前层级的初始特征图的尺度相匹配的所述指定层级的初始特征图；
将插值运算后的所述指定层级的初始特征图与所述当前层级的初始特征图进行相应特征点间的逐点相乘运算，得到当前层级的中间特征图。
7.根据权利要求5所述的方法，其特征在于，将所述中间特征图与所述当前层级的初始特征图进行融合，得到所述当前层级的融合特征图的步骤，包括：
将所述中间特征图与所述当前层级的上一层级的融合特征图进行相应特征点间的逐点相加运算，得到所述当前层级的融合特征图。
8.根据权利要求4所述的方法，其特征在于，对所有层级的融合特征图进行第二融合处理，得到所述样本组的最终特征图的步骤之前，所述方法还包括：
对每个层级的融合特征图进行残差处理，得到残差处理后的每个层级的融合特征图。
9.根据权利要求8所述的方法，其特征在于，对每个层级的融合特征图进行残差处理，得到残差处理后的每个所述层级的融合特征图的步骤，包括：
通过预设的第二卷积核，对每个层级的融合特征图进行第二卷积运算，得到第二卷积运算后的每个层级的融合特征图；
对第二卷积运算后的每个层级的融合特征图进行单侧抑制处理，得到单侧抑制处理后的每个层级的融合特征图；
通过预设的第三卷积核，对单侧抑制处理后的每个层级的融合特征图进行第三卷积运算，得到第三卷积运算后的每个层级的融合特征图；
将第三卷积运算后的每个层级的融合特征图与同一层级的、进行第二卷积运算之前的融合特征图，进行相应特征点间的逐点相加运算，得到运算后的每个层级的融合特征图。
10.根据权利要求4所述的方法，其特征在于，对所有层级的融合特征图进行第二融合处理，得到所述样本组的最终特征图的步骤，包括：
从最顶层级的融合特征图开始，将当前层级的融合特征图的尺度调整至与所述当前层级的下一层级的融合特征图的尺度相匹配；
将尺度调整后的所述当前层级的融合特征图融合至所述当前层级的下一层级的融合特征图中，直至最底层级的融合特征图的上一层级的融合特征图融合至最底层级的融合特征图，得到所述训练样本组的最终特征图。
11.根据权利要求1所述的方法，其特征在于，根据所述最终特征图确定所述样本图像对应的当前合成图像的步骤，包括：
通过预设的第四卷积核，对所述最终特征图进行第四卷积运算，得到所述样本图像对应的当前合成图像。
12.根据权利要求1所述的方法，其特征在于，获取所述当前合成图像和预设的标准合成图像之间的匹配损失函数值的步骤，至少包括下述之一：
计算所述当前合成图像和预设的标准合成图像之间的欧式距离将所述欧式距离确定为所述当前合成图像和预设的标准合成图像之间的匹配损失函数值；其中，i为第i个像素点；ap为当前合成图像；agt为标准合成图像；为所述标准合成图像的第i个像素点；为所述当前合成图像的第i个像素点；
计算所述当前合成图像和预设的标准合成图像之间的最小均方误差，将所述最小均方误差确定为所述当前合成图像和预设的标准合成图像之间的匹配损失函数值。
13.一种替换图像背景的方法，其特征在于，所述方法应用于配置有目标模型的设备；所述目标模型为权利要求1至12任一项所述方法训练得到的目标模型；所述方法包括：
获取待替换的目标图像和替换图像；
将所述目标图像和所述替换图像输入至所述目标模型中，输出所述目标图像对应的合成图像；所述合成图像为所述目标图像的背景经所述替换图像替换后的图像。
14.一种用于替换图像背景的模型训练装置，其特征在于，所述装置包括：
数据确定模块，用于基于预设的训练样本集中的样本组确定当前的训练数据；所述样本组中包括样本图像和背景图像；
数据输入模块，用于将所述训练数据输入初始网络模型，输出预设层级数量的初始特征图；
融合模块，用于对所述初始特征图进行融合处理，得到所述样本组的最终特征图；
图像确定模块，用于根据所述最终特征图确定所述样本图像对应的当前合成图像；
匹配损失函数值获取模块，用于获取所述当前合成图像和预设的标准合成图像之间的匹配损失函数值；
训练模块，用于继续向所述初始网络模型输入下一组训练数据进行训练，直至所述匹配损失函数值收敛，结束训练，得到目标模型。
15.一种替换图像背景的装置，其特征在于，所述装置设置于配置有目标模型的设备；所述目标模型为权利要求1至12任一项所述方法训练得到的目标模型；所述装置包括：
图像获取模块，用于获取待替换的目标图像和替换图像；
图像输入模块，用于将所述目标图像和所述替换图像输入至所述目标模型中，输出所述目标图像对应的合成图像；所述合成图像为所述目标图像的背景经所述替换图像替换后的图像。
16.一种电子系统，其特征在于，所述电子系统包括：图像采集设备、处理设备和存储装置；
所述图像采集设备，用于获取预览视频帧或图像数据；
所述存储装置上存储有计算机程序，所述计算机程序在被所述处理设备运行时执行如权利要求1至12任一项所述的方法，或者执行如权利要求13所述的方法。
17.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理设备运行时执行如权利要求1至12任一项所述的方法，或者执行如权利要求13所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811195236.XA CN109377445B (zh) | 2018-10-12 | 2018-10-12 | 模型训练方法、替换图像背景的方法、装置和电子系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811195236.XA CN109377445B (zh) | 2018-10-12 | 2018-10-12 | 模型训练方法、替换图像背景的方法、装置和电子系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109377445A true CN109377445A (zh) | 2019-02-22 |
| CN109377445B CN109377445B (zh) | 2023-07-04 |
Family
ID=65397851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811195236.XA Active CN109377445B (zh) | 2018-10-12 | 2018-10-12 | 模型训练方法、替换图像背景的方法、装置和电子系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109377445B (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110729A (zh) * | 2019-03-20 | 2019-08-09 | 中国地质大学（武汉） | 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 |
| CN110324664A (zh) * | 2019-07-11 | 2019-10-11 | 南开大学 | 一种基于神经网络的视频补帧方法及其模型的训练方法 |
| CN110533119A (zh) * | 2019-09-04 | 2019-12-03 | 北京迈格威科技有限公司 | 标识识别方法及其模型的训练方法、装置及电子系统 |
| CN110600105A (zh) * | 2019-08-27 | 2019-12-20 | 武汉科技大学 | 一种ct影像数据处理方法、装置及存储介质 |
| CN110660066A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
| CN111652796A (zh) * | 2020-05-13 | 2020-09-11 | 上海连尚网络科技有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
| CN112258436A (zh) * | 2020-10-21 | 2021-01-22 | 华为技术有限公司 | 图像处理模型的训练方法、装置、图像处理方法及模型 |
| CN112446379A (zh) * | 2021-02-01 | 2021-03-05 | 清华大学 | 一种动态大场景自适应智能处理方法 |
| CN112507196A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 融合排序模型的训练方法、搜索排序方法、装置和设备 |
| CN112822542A (zh) * | 2020-08-27 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 视频合成方法、装置、计算机设备和存储介质 |
| WO2021098338A1 (zh) * | 2019-11-19 | 2021-05-27 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法、媒体信息合成的方法及相关装置 |
| CN113034648A (zh) * | 2021-04-30 | 2021-06-25 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备和存储介质 |
| CN113194270A (zh) * | 2021-04-28 | 2021-07-30 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101672A (zh) * | 2007-07-13 | 2008-01-09 | 中国科学技术大学 | 基于虚拟图像对应的立体视觉三维人脸建模方法 |
| CN104978764A (zh) * | 2014-04-10 | 2015-10-14 | 华为技术有限公司 | 三维人脸网格模型处理方法和设备 |
| CN107578436A (zh) * | 2017-08-02 | 2018-01-12 | 南京邮电大学 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
| CN108010049A (zh) * | 2017-11-09 | 2018-05-08 | 华南理工大学 | 使用全卷积神经网络分割定格动画中人手部区域的方法 |
| US20180157899A1 (en) * | 2016-12-07 | 2018-06-07 | Samsung Electronics Co., Ltd. | Method and apparatus detecting a target |
-
2018
- 2018-10-12 CN CN201811195236.XA patent/CN109377445B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101101672A (zh) * | 2007-07-13 | 2008-01-09 | 中国科学技术大学 | 基于虚拟图像对应的立体视觉三维人脸建模方法 |
| CN104978764A (zh) * | 2014-04-10 | 2015-10-14 | 华为技术有限公司 | 三维人脸网格模型处理方法和设备 |
| US20180157899A1 (en) * | 2016-12-07 | 2018-06-07 | Samsung Electronics Co., Ltd. | Method and apparatus detecting a target |
| CN107578436A (zh) * | 2017-08-02 | 2018-01-12 | 南京邮电大学 | 一种基于全卷积神经网络fcn的单目图像深度估计方法 |
| CN108010049A (zh) * | 2017-11-09 | 2018-05-08 | 华南理工大学 | 使用全卷积神经网络分割定格动画中人手部区域的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 温佩芝等: "基于卷积神经网络改进的图像自动分割方法", 《计算机应用研究》 * |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110110729A (zh) * | 2019-03-20 | 2019-08-09 | 中国地质大学（武汉） | 基于u形cnn模型实现遥感图像的建筑实例掩模提取方法 |
| CN110324664B (zh) * | 2019-07-11 | 2021-06-04 | 南开大学 | 一种基于神经网络的视频补帧方法及其模型的训练方法 |
| CN110324664A (zh) * | 2019-07-11 | 2019-10-11 | 南开大学 | 一种基于神经网络的视频补帧方法及其模型的训练方法 |
| CN110600105A (zh) * | 2019-08-27 | 2019-12-20 | 武汉科技大学 | 一种ct影像数据处理方法、装置及存储介质 |
| CN110600105B (zh) * | 2019-08-27 | 2022-02-01 | 武汉科技大学 | 一种ct影像数据处理方法、装置及存储介质 |
| CN110533119A (zh) * | 2019-09-04 | 2019-12-03 | 北京迈格威科技有限公司 | 标识识别方法及其模型的训练方法、装置及电子系统 |
| CN110660066A (zh) * | 2019-09-29 | 2020-01-07 | Oppo广东移动通信有限公司 | 网络的训练方法、图像处理方法、网络、终端设备及介质 |
| WO2021098338A1 (zh) * | 2019-11-19 | 2021-05-27 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法、媒体信息合成的方法及相关装置 |
| CN111652796A (zh) * | 2020-05-13 | 2020-09-11 | 上海连尚网络科技有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
| CN112822542A (zh) * | 2020-08-27 | 2021-05-18 | 腾讯科技（深圳）有限公司 | 视频合成方法、装置、计算机设备和存储介质 |
| CN112258436A (zh) * | 2020-10-21 | 2021-01-22 | 华为技术有限公司 | 图像处理模型的训练方法、装置、图像处理方法及模型 |
| CN112507196A (zh) * | 2020-12-18 | 2021-03-16 | 北京百度网讯科技有限公司 | 融合排序模型的训练方法、搜索排序方法、装置和设备 |
| US11782999B2 (en) | 2020-12-18 | 2023-10-10 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method for training fusion ordering model, search ordering method, electronic device and storage medium |
| CN112446379A (zh) * | 2021-02-01 | 2021-03-05 | 清华大学 | 一种动态大场景自适应智能处理方法 |
| CN113194270A (zh) * | 2021-04-28 | 2021-07-30 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN113194270B (zh) * | 2021-04-28 | 2022-08-05 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN113034648A (zh) * | 2021-04-30 | 2021-06-25 | 北京字节跳动网络技术有限公司 | 图像处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109377445B (zh) | 2023-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109377445A (zh) | 模型训练方法、替换图像背景的方法、装置和电子系统 | |
| Li et al. | Instance-level salient object segmentation | |
| CN107169463B (zh) | 人脸检测方法、装置、计算机设备及存储介质 | |
| CN109934293A (zh) | 图像识别方法、装置、介质及混淆感知卷积神经网络 | |
| CN108875600A (zh) | 一种基于yolo的车辆信息检测和跟踪方法、装置及计算机存储介质 | |
| CN106407891B (zh) | 基于卷积神经网络的目标匹配方法及装置 | |
| CN104680144B (zh) | 基于投影极速学习机的唇语识别方法和装置 | |
| CN108596184A (zh) | 图像语义分割模型的训练方法、可读存储介质及电子设备 | |
| CN108241854B (zh) | 一种基于运动和记忆信息的深度视频显著性检测方法 | |
| CN108961303A (zh) | 一种图像处理方法、装置、电子设备和计算机可读介质 | |
| CN111860398B (zh) | 遥感图像目标检测方法、系统及终端设备 | |
| CN110245545A (zh) | 一种文字识别方法及装置 | |
| CN109598234A (zh) | 关键点检测方法和装置 | |
| CN111242852A (zh) | 边界感知对象移除和内容填充 | |
| CN107239727A (zh) | 手势识别方法和系统 | |
| CN110852316A (zh) | 一种采用密集结构卷积网络的图像篡改检测和定位方法 | |
| CN109145766A (zh) | 模型训练方法、装置、识别方法、电子设备及存储介质 | |
| CN108647694A (zh) | 基于上下文感知和自适应响应的相关滤波目标跟踪方法 | |
| CN111091101B (zh) | 基于一步法的高精度行人检测方法、系统、装置 | |
| CN106683110A (zh) | 用户终端及其目标跟踪方法及装置 | |
| CN112418216A (zh) | 一种复杂自然场景图像中的文字检测方法 | |
| CN109064525A (zh) | 一种图片格式转换方法、装置、设备和存储介质 | |
| CN107146237A (zh) | 一种基于在线状态学习与估计的目标跟踪方法 | |
| WO2020014294A1 (en) | Learning to segment via cut-and-paste | |
| CN110852199A (zh) | 一种基于双帧编码解码模型的前景提取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230517 Address after: No. 1268, 1f, building 12, neijian Middle Road, Xisanqi building materials City, Haidian District, Beijing 100096 Applicant after: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd. Applicant after: Hangzhou kuangyun Jinzhi Technology Co.,Ltd. Address before: 313, block a, No.2, south academy of Sciences Road, Haidian District, Beijing Applicant before: BEIJING KUANGSHI TECHNOLOGY Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |