CN114372990A - 彻底抠除绿幕的图像合成方法、装置、设备及存储介质 - Google Patents

彻底抠除绿幕的图像合成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114372990A
CN114372990A CN202210029692.7A CN202210029692A CN114372990A CN 114372990 A CN114372990 A CN 114372990A CN 202210029692 A CN202210029692 A CN 202210029692A CN 114372990 A CN114372990 A CN 114372990A
Authority
CN
China
Prior art keywords
green
image
matting
curtain
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210029692.7A
Other languages
English (en)
Inventor
陈志科
蔺昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Inveno Technology Co ltd
Original Assignee
Shenzhen Inveno Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Inveno Technology Co ltd filed Critical Shenzhen Inveno Technology Co ltd
Priority to CN202210029692.7A priority Critical patent/CN114372990A/zh
Publication of CN114372990A publication Critical patent/CN114372990A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明属于图像处理技术领域，公开了一种彻底抠除绿幕的图像合成方法、装置、设备及存储介质。该方法包括：获取待处理绿幕图像的图像信息；根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的；根据四通道抠图结果得到目标合成图像。通过上述方式，实现了根据绿幕视频数据训练得到绿幕抠图模型，然后通过预设绿幕抠图模型对待处理绿幕图像进行自动抠图，然后自动合成得到目标合成图像，使得图像的自动抠图和合成更加方便快捷，并且根据绿幕视频数据训练得到的预设绿幕抠图模型的抠图处理效果也更佳。

Description

彻底抠除绿幕的图像合成方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种彻底抠除绿幕的图像合成方法、装置、设备及存储介质。
背景技术
抠图是指准确提取图片或者视频帧序列中的前景目标，即去除图像背景保留需要的主体，而绿幕抠图属于抠图在特殊领域中的应用，只抠绿幕或者蓝幕为背景的图片前景，是一种电影拍摄技术。演员在绿色电影棚里表演，摄影师录下表演视频，然后拍一段实景，最后将表演视频中的演员通过绿幕抠图技术加入到实景当中形成高价值的创作，大大节省了制作成本和时间，非常适合特效、广告之类的制作，如武侠、玄幻、战争、好莱坞特效镜头大部分都是绿幕抠图，同时，随着媒体和通信的高速发展，在远程会议、直播、虚拟主持人等方面也有广泛应用。但是因为现实中的绿幕视频存在运动模糊、镜头模糊、主体内外部阴影、灯光亮度不均匀、绿幕质量差、绿幕褶皱等各种异常复杂的难解决情况，很多时候绿色像素和前景像素完全渗透融合在一起，导致抠除效果很差，最终导致利用绿幕抠除图像进行的视频或者图片的合成操作最终效果不好。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种彻底抠除绿幕的图像合成方法、装置、设备及存储介质，旨在解决现有技术自动图像合成的步骤中绿幕抠除效果不佳的技术问题。
为实现上述目的，本发明提供了一种彻底抠除绿幕的图像合成方法，所述方法包括以下步骤：
获取待处理绿幕图像的图像信息；
根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的；
根据四通道抠图结果得到目标合成图像。
可选地，所述根据预设绿幕抠图模型对所述图像信息进行抠图处理之前，还包括：
获取绿幕数据集；
根据所述绿幕数据集训练得到预设绿幕抠图模型。
可选地，所述获取绿幕数据集，包括：
获取绿幕视频数据；
将所述绿幕视频数据进行抽帧和去重，得到绿幕视频数据中每帧对应的绿幕图片；
调用抠图程序分别对所述绿幕图片进行抠图，得到剔除绿幕背景的样本图片；
分别对所述剔除绿幕背景的样本图片中目标对象预设区域的绿幕进行抠图处理；
对处理后的样本图片进行修正，得到绿幕数据集。
可选地，所述根据所述绿幕数据集训练得到预设绿幕抠图模型，包括：
获取初始模型；
将所述绿幕数据集通过所述初始模型中的各个层级进行训练，输出单通道的第一输出掩膜图片以及前N层的三通道的像素图片；
将所述第一输出掩膜图片与所述像素图片进行融合，得绿幕抠图模型的训练结果；
根据所述训练结果确定预设绿幕抠图模型。
可选地，所述根据所述训练结果确定预设绿幕抠图模型，包括：
根据所述训练结果确定单通道像素级损失函数和所述像素图片的均方误差损失函数；
获取预设的辅助损失函数；
根据所述单通道像素级损失函数、均方误差损失函数和辅助损失函数得到目标损失函数；
根据所述目标损失函数与所述训练结果确定预设绿幕抠图模型。
可选地，所述根据所述目标损失函数与所述训练结果确定预设绿幕抠图模型，包括：
获取预设优化函数；
根据所述预设优化函数、所述目标损失函数以及所述训练结果，得到预设绿幕抠图模型。
可选地，所述根据所述四通道抠图结果得到目标合成图像，包括：
获取目标背景图像和用户设定的合成遮罩参数；
根据所述四通道抠图结果确定目标前景图像；
根据所述目标前景图像与所述合成遮罩参数，得到前景合成图像；
根据所述目标背景图像与所述合成遮罩参数，得到背景合成图像；
根据所述前景合成图像和背景合成图像得到目标合成图像。
此外，为实现上述目的，本发明还提出一种彻底抠除绿幕的图像合成装置，所述彻底抠除绿幕的图像合成装置包括：
获取模块，用于获取待处理绿幕图像的图像信息；
抠图模块，用于根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的；
合成模块，用于根据四通道抠图结果得到目标合成图像。
此外，为实现上述目的，本发明还提出一种彻底抠除绿幕的图像合成设备，所述彻底抠除绿幕的图像合成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的彻底抠除绿幕的图像合成程序，所述彻底抠除绿幕的图像合成程序配置为实现如上文所述的彻底抠除绿幕的图像合成方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有彻底抠除绿幕的图像合成程序，所述彻底抠除绿幕的图像合成程序被处理器执行时实现如上文所述的彻底抠除绿幕的图像合成方法的步骤。
本发明获取待处理绿幕图像的图像信息；根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的；根据四通道抠图结果得到目标合成图像。通过这种方式，实现了根据绿幕视频数据训练得到绿幕抠图模型，然后通过预设绿幕抠图模型对待处理绿幕图像进行自动抠图，然后自动合成得到目标合成图像，使得图像的自动抠图和合成更加方便快捷，并且根据绿幕视频数据训练得到的预设绿幕抠图模型的抠图处理效果也更佳。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的彻底抠除绿幕的图像合成设备的结构示意图；
图2为本发明彻底抠除绿幕的图像合成方法第一实施例的流程示意图；
图3为本发明彻底抠除绿幕的图像合成方法第二实施例的流程示意图；
图4为本发明彻底抠除绿幕的图像合成方法一实施例中绿幕数据集示意图；
图5为本发明彻底抠除绿幕的图像合成方法一实施例中预设绿幕抠图模型的模型结构图；
图6为本发明彻底抠除绿幕的图像合成装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的彻底抠除绿幕的图像合成设备结构示意图。
如图1所示，该彻底抠除绿幕的图像合成设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(Wireless-Fidelity，Wi-Fi)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对彻底抠除绿幕的图像合成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及彻底抠除绿幕的图像合成程序。
在图1所示的彻底抠除绿幕的图像合成设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明彻底抠除绿幕的图像合成设备中的处理器1001、存储器1005可以设置在彻底抠除绿幕的图像合成设备中，所述彻底抠除绿幕的图像合成设备通过处理器1001调用存储器1005中存储的彻底抠除绿幕的图像合成程序，并执行本发明实施例提供的彻底抠除绿幕的图像合成方法。
本发明实施例提供了一种彻底抠除绿幕的图像合成方法，参照图2，图2为本发明一种彻底抠除绿幕的图像合成方法第一实施例的流程示意图。
本实施例中，所述彻底抠除绿幕的图像合成方法包括以下步骤：
步骤S10：获取待处理绿幕图像的图像信息。
需要说明的是，本实施例的执行主体为一个服务器，可以是云服务器，也可以是实体服务器，该服务器会通过预设绿幕抠图模型对接收到的待处理绿幕图像进行自动抠图以及合成图像。或者其他能实现此功能的设备，本实施例对此不加以限制。
应理解的是，在处理绿幕图像的抠除时，现有技术中可以利用已有的绿幕抠图方法主要分为以下几种：Ps抠图、传统像素替换法、深度学习抠图。对于Ps抠图，Photoshop中集成了目前效果最优秀的传统抠图方法，包含十多种抠图方式，能进行高精度抠图的为钢笔工具抠图、通道抠图和蒙版抠图，或者这些方法联合使用，其中，钢笔工具抠图就是使用贝塞尔曲线精细选出前景目标，通道抠图需要先在红、绿、蓝三个通道中选择出一个颜色对比较明显的通道，然后利用色阶分离出前景目标的选区，蒙版抠图就是利用色阶分离出蒙版来区分前景目标，另外，与Ps同一家公司出品的Pr有个专门抠绿幕视频的功能，超级键功能对于传统像素替换法，可以遍历图片每个像素，然后把和某个绿像素等值的像素全部替换成透明背景，也可以利用HSV色彩空间粗略找出绿色部分，然后绿色部分替换成透明背景，还可以转换成LAB颜色空间，然后将每个像素和某个绿像素求差值，小于一定阈值的像素全部替换成透明背景。但是Photoshop操作复杂用时长，还抠不了复杂绿幕，处理视频也并不适用，深度学习算法中抠普通图片和绿幕图片现有的算法处理不了夹杂模糊绿像素的情况，以及前景目标内外阴影上的绿像素。而本方案使用了绿幕视频数据的四通道样本绿幕图片训练的独特的预设绿幕抠图模型，使得绿幕图像抠除效果更佳，进而使得图像的合成效果更佳。
在具体实施中，待处理绿幕图像可以是通过绿幕拍摄的任意格式和类型的视频、图片等，本实施例对此不加以限制。
需要说明的是，图像信息指的是待处理绿幕图像的图像信息，包括但不限于像素信息、色彩信息以及分辨率信息等。
应理解的是，获取待处理绿幕图像的图像信息可以是通过用户自行上传的待处理绿幕图像，也可以是预先存储的图像，本实施例对此不加以限制。
步骤S20：根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的。
在具体实施中，预设绿幕抠图模型是基于U2-Net模型进行调整和修改以及训练得到的深度学习模型。
需要说明的是，根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果指的是：根据图像信息输入到预设绿幕抠图模型中，然后由预设绿幕抠图模型自动输出四通道抠图结果。其中，四通道抠图结果是已经抠除绿幕以及绿幕相关像素的RGBA四个通道的图像。
应理解的是，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的指的是：首先从绿幕视频数据中得到四通道样本绿幕图片，四通道样本绿幕图片也是RGBA四通道的数据，然后使用四通道样本绿幕图片训练预设绿幕抠图模型。
步骤S30：根据四通道抠图结果得到目标合成图像。
需要说明的是，根据四通道抠图结果得到目标合成图像指的是：在四通道抠图结果的基础上，结合用户预先选定的或者默认的需要合成的背景图像或者视频进行图像合成之后得到目标合成图像。
进一步地，为了能够准确的得到目标合成图像，步骤S30包括：获取目标背景图像和用户设定的合成遮罩参数；根据所述四通道抠图结果确定目标前景图像；根据所述目标前景图像与所述合成遮罩参数，得到前景合成图像；根据所述目标背景图像与所述合成遮罩参数，得到背景合成图像；根据所述前景合成图像和背景合成图像得到目标合成图像。
应理解的是，目标背景图像指的是由用户或者管理员，或者系统默认的，需要与四通道抠图结果进行合成的图像，目标背景图像可以是任意内容和色彩的图像，本实施例对此不加以限制。
在具体实施中，合成遮罩参数指的是由用户预先设定的目标背景图像和目标前景图像之间的遮盖比率的参数，可以用于自动计算合成目标合成图像的步骤。
需要说明的是，目标前景图像指的是需要合成的从四通道抠图结果中得到的包含了人物、动物或者其他物体或者目标的抠除了绿幕的图像。
应理解的是，根据所述目标前景图像与所述合成遮罩参数，得到前景合成图像指的是：根据合成遮罩参数对目标前景图像进行裁剪和修正，得到了待拼接到目标合成图像上的前景合成图像。
在具体实施中，根据所述目标背景图像与所述合成遮罩参数，得到背景合成图像指的是：根据合成遮罩参数对目标北京图像进行裁剪和修正，得到了待拼接到目标合成图像上的北京合成图像。
应理解的是，根据所述前景合成图像和背景合成图像得到目标合成图像指的是：根据前景合成图像、背景合成图像和合成遮罩参数按照图像合成公式进行处理，最终得到目标合成图像。图像合成公式如下：
I＝αF+(1-α)B其中，I为目标合成图像；α为合成遮罩参数；F为目标前景图像；B为目标背景图像；αF为前景合成图像；(1-α)B为背景合成图像。
通过这种方式，实现了通过目标背景图像、目标前景图像和合成遮罩参数自动合成得到目标合成图像，使得视频或者图片的自动合成更加方便和快捷，并且最终得到的结果效果也更佳。
本实施例通过获取待处理绿幕图像的图像信息；根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的；根据四通道抠图结果得到目标合成图像。通过这种方式，实现了根据绿幕视频数据训练得到绿幕抠图模型，然后通过预设绿幕抠图模型对待处理绿幕图像进行自动抠图，然后自动合成得到目标合成图像，使得图像的自动抠图和合成更加方便快捷，并且根据绿幕视频数据训练得到的预设绿幕抠图模型的抠图处理效果也更佳。
参考图3，图3为本发明一种彻底抠除绿幕的图像合成方法第二实施例的流程示意图。
基于上述第一实施例，本实施例彻底抠除绿幕的图像合成方法在所述步骤S20之前，还包括：
步骤S201：获取绿幕数据集。
需要说明的是，绿幕数据集指的是，由绿幕视频数据经过处理之后得到的，用于训练模型的数据集。
进一步地，为了能够准确的得到的绿幕数据集，步骤S201包括：获取绿幕视频数据；将所述绿幕视频数据进行抽帧和去重，得到绿幕视频数据中每帧对应的绿幕图片；调用抠图程序分别对所述绿幕图片进行抠图，得到剔除绿幕背景的样本图片；分别对所述剔除绿幕背景的样本图片中目标对象预设区域的绿幕进行抠图处理；对处理后的样本图片进行修正，得到绿幕数据集。
应理解的是，绿幕视频数据指的是：从互联网上的各视频网站收集真人真绿幕拍摄的视频，或者其他真人绿幕视频。其中，绿幕视频数据中包含前景主体内外有阴影的数据，这样的训练结果才能更好的拟合现实数据分布。
在具体实施中，将所述绿幕视频数据进行抽帧和去重，得到绿幕视频数据中每帧对应的绿幕图片指的是：将绿幕视频数据中的所有帧进行抽帧，将像是和重复的画面抽出，得到了最终的绿幕图片。
需要说明的是，调用抠图程序分别对所述绿幕图片进行抠图，得到剔除绿幕背景的样本图片指的是：通过现有的各类抠图程序对绿幕图片进行自动抠图，然后将得到的由抠图程序处理提出绿幕背景结果作为样本图片。其中，抠图程序可以是市面上可以用到的任意抠图程序，本实施例对此不加以限制。
应理解的是，分别对所述剔除绿幕背景的样本图片中目标对象预设区域的绿幕进行抠图处理指的是：对样本图片中的选定的目标对象的预设区域使用例如Adobe的Pr中的超级键的工具进行细抠，进一步高精度地去掉目标对象上的绿像素。其中，目标对象预设区域可以是由用户预先设定的图像上的任意区域，本实施例对此不加以限定。
在具体实施中，对处理后的样本图片进行修正，得到绿幕数据集指的是：分别对所述剔除绿幕背景的样本图片中目标对象预设区域的绿幕进行抠图处理之后，再通过用Adobe的Ps对Pr抠好的图片进行完善的修正，得到了绿幕数据集，如图4所示为最终训练得到的扣除了绿幕的绿幕数据集。
通过这种方式，对绿幕视频数据进行多次的处理和抠图，最终得到了绿幕数据集，使得绿幕数据集的质量更高，从而使得训练之后得到的预设绿幕抠图模型效果更好。
步骤S202：根据所述绿幕数据集训练得到预设绿幕抠图模型。
需要说明的是，根据所述绿幕数据集训练得到预设绿幕抠图模型指的是：通过绿幕数据集对初始模型进行训练，得到训练结果，然后再结合目标损失函数和优化函数进行调整，最终得到预设绿幕抠图模型。
进一步地，为了能够准确的训练得到预设绿幕抠图模型，步骤S202包括：获取初始模型；将所述绿幕数据集通过所述初始模型中的各个层级进行训练，输出单通道的第一输出掩膜图片以及前N层的三通道的像素图片；将所述第一输出掩膜图片与所述像素图片进行融合，得绿幕抠图模型的训练结果；根据所述训练结果确定预设绿幕抠图模型。
应理解的是，初始模型指的是：U2-Net模型。
在具体实施中，将所述绿幕数据集通过所述初始模型中的各个层级进行训练，输出单通道的第一输出掩膜图片指的是：将绿幕数据集输入到初始模型中，然后初始模型的各个层级直接输出的图片，作为第一输出掩膜图片，第一输出掩膜图片为黑白mask(即alpha通道)的单通道结果。
需要说明的是，前N层的三通道的像素图片指的是：将绿幕数据集输入到初始模型中进行训练，然后将初始模型中的前N层输出的特征图转换为三通道的RGB结果进行输出，即为三通道的像素图片。其中，因为越深层的特征图越模糊监督的作用越差，甚至还有负面作用，故将N设定为3，更深层的特征图不再使用。
应理解的是，将所述第一输出掩膜图片与所述像素图片进行融合，得绿幕抠图模型的训练结果指的是：将第一输出掩膜图片和像素图片进行融合，然后将融合结果作为绿幕抠图模型的训练结果。
在具体实施中，根据所述训练结果确定预设绿幕抠图模型指的是：根据训练结果以及像素图片确定目标损失函数，从而结合初始模型确定预设绿幕抠图模型。其中，如图5所示为训练之后的预设绿幕抠图模型的模型结构图。
通过这种方式，实现了通过对初始模型的训练和输出结果准确的得到训练结果，然后结合训练结果得到预设绿幕抠图模型，使得预设绿幕抠图模型的效果更好。
进一步地，为了能够得到更有的预设绿幕抠图模型，根据所述训练结果确定预设绿幕抠图模型的步骤包括：根据所述训练结果确定单通道像素级损失函数和所述像素图片的均方误差损失函数；获取预设的辅助损失函数；根据所述单通道像素级损失函数、均方误差损失函数和辅助损失函数得到目标损失函数；根据所述目标损失函数与所述训练结果确定预设绿幕抠图模型。
需要说明的是，根据所述训练结果确定单通道像素级损失函数和所述像素图片的均方误差损失函数指的是：根据训练结果首先对黑白mask(即alpha通道)做交叉熵像素级损失，也就是对第一输出掩膜图片进行像素级损失，得到单通道像素级损失函数，然后再对三通道的像素图片进行MSE均方误差损失的处理，得到均方误差损失函数。其中，MSE也是像素级损失，但比交叉熵对像素的惩罚力度更大更直接，故更适合对RGB通道做监督，效果更佳。
应理解的是，辅助损失函数指的是：将所述训练结果转换为LAB颜色空间的目标像素图片；根据所述目标像素图片得到通道像素值；根据所述通道像素值确定通道像素差值；根据所述通道像素差值确定辅助损失函数。
在具体实施中，将所述训练结果转换为LAB颜色空间的目标像素图片指的是：将像素图片采用的RGB转换为LAB颜色空间，最终得到了目标像素图片。
应理解的是，根据所述目标像素图片得到通道像素值指的是：根据目标像素图片中的L、A、B三个通道进行计算，得到三个通道的通道像素值，然后得到通道像素差值：
ΔL＝C1,L-C2,L；
ΔA＝C1,A-C2,A；
ΔB＝C1,B-C2,B；
其中，ΔL、ΔA、ΔB分别代表通道像素差值；
C1，L、C2，L、C1，A、C2，A、C1，B、C2，B为L、A、B三个通道的各个通道像素值。
在具体实施中，根据所述通道像素差值确定辅助损失函数指的是根据通道像素差值确定目标损失函数，具体的计算方法如下：
Figure BDA0003465489810000111
其中，
Figure BDA0003465489810000112
应理解的是，目标损失函数是基于单通道像素级损失函数、均方误差损失函数和辅助损失函数进行处理和汇总后得到的。
需要说明的是，根据所述目标损失函数与所述训练结果确定预设绿幕抠图模型指的是：根据目标损失函数中的单通道像素级损失函数、均方误差损失函数、辅助损失函数和训练结果对初始模型进行训练，并且将训练用的学习率采用0.0001，到了30个epoch后就进行指数下降，这样可以得到预设绿幕抠图模型。损失函数的构成不仅仅需要对黑白mask(即alpha通道)做交叉熵那种像素级损失，还要分别对三通道的像素图片做MSE均方误差，MSE也是像素级损失，但比交叉熵对像素的惩罚力度更大更直接，故更适合对RGB通道做监督，同时针对三通道的像素图片的MSE损失按1.0、0.8、0.5递减的比例加权求和。
通过这种方式，实现了根据训练结果进行颜色空间转换，然后确定目标损失函数，从而根据目标损失函数对初始模型进行修改和训练，从而得到预设绿幕抠图模型，使得预设绿幕抠图模型的效果更佳。
进一步地，为了进一步地优化预设绿幕抠图模型，根据所述目标损失函数与所述初始模型确定预设绿幕抠图模型的步骤包括：获取预设优化函数；根据所述预设优化函数、所述目标损失函数以及所述训练结果，得到预设绿幕抠图模型。
应理解的是，预设优化函数指的是用户预先为预设绿幕抠图模型设置的优化函数，预设优化函数为AdamW，此优化函数不只是具备Adam的优点还具备sgd的优点，能做到比Adam更好的进行优化训练效果。
在具体实施中，根据所述预设优化函数、所述目标损失函数以及所述训练结果，得到预设绿幕抠图模型指的是：通过目标损失函数对初始函数进行训练和评价，然后再通过预设优化函数对初始模型进行优化，同时采用工具tensorboard进行训练曲线展示，非常直观；训练时为了既能适应大分辨率数据又能减小计算量，把数据全部放缩到512左右的分辨率，例如512*512、320*320等，而测试和线上部署时直接采用图片视频原分辨率进行推理，从而可以实现原分辨率的高清输出绿幕抠图，不会对画质有任何损失。最终得到了预设绿幕抠图模型。
通过这种方式，实现了通过预设优化函数和目标损失函数对初始模型进行训练和不断迭代优化，最终得到了训练后的最优的模型，即为预设绿幕抠图模型，使得预设绿幕抠图模型的效果更优，抠图效果更好。
本实施例通过获取绿幕数据集；根据所述绿幕数据集训练得到预设绿幕抠图模型。通过这种方式，实现了通过绿幕数据集进行魔性训练，最终得到预设绿幕抠图模型，使得预设绿幕抠图模型的训练过程样本量更加准确和充足，也使得最终得到的预设绿幕抠图模型的抠图效果更佳。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有彻底抠除绿幕的图像合成程序，所述彻底抠除绿幕的图像合成程序被处理器执行时实现如上文所述的彻底抠除绿幕的图像合成方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不一一赘述。
参照图6，图6为本发明彻底抠除绿幕的图像合成装置第一实施例的结构框图。
如图6所示，本发明实施例提出的彻底抠除绿幕的图像合成装置包括：
获取模块10，用于获取待处理绿幕图像的图像信息。
抠图模块20，用于根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的。
合成模块30，用于根据四通道抠图结果得到目标合成图像。
本实施例通过获取待处理绿幕图像的图像信息；根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的；根据四通道抠图结果得到目标合成图像。通过这种方式，实现了根据绿幕视频数据训练得到绿幕抠图模型，然后通过预设绿幕抠图模型对待处理绿幕图像进行自动抠图，然后自动合成得到目标合成图像，使得图像的自动抠图和合成更加方便快捷，并且根据绿幕视频数据训练得到的预设绿幕抠图模型的抠图处理效果也更佳。
在一实施例中，所述抠图模块20，还用于获取绿幕数据集；根据所述绿幕数据集训练得到预设绿幕抠图模型。
在一实施例中，所述抠图模块20，还用于获取绿幕视频数据；
将所述绿幕视频数据进行抽帧和去重，得到绿幕视频数据中每帧对应的绿幕图片；调用抠图程序分别对所述绿幕图片进行抠图，得到剔除绿幕背景的样本图片；分别对所述剔除绿幕背景的样本图片中目标对象预设区域的绿幕进行抠图处理；对处理后的样本图片进行修正，得到绿幕数据集。
在一实施例中，所述抠图模块20，还用于获取初始模型；将所述绿幕数据集通过所述初始模型中的各个层级进行训练，输出单通道的第一输出掩膜图片以及前N层的三通道的像素图片；将所述第一输出掩膜图片与所述像素图片进行融合，得绿幕抠图模型的训练结果；根据所述训练结果确定预设绿幕抠图模型。
在一实施例中，所述抠图模块20，还用于根据所述训练结果确定单通道像素级损失函数和所述像素图片的均方误差损失函数；获取预设的辅助损失函数；根据所述单通道像素级损失函数、均方误差损失函数和辅助损失函数得到目标损失函数；根据所述目标损失函数与所述训练结果确定预设绿幕抠图模型。
在一实施例中，所述抠图模块20，还用于获取预设优化函数；根据所述预设优化函数、所述目标损失函数以及所述训练结果，得到预设绿幕抠图模型。
在一实施例中，所述合成模块30，还用于获取目标背景图像和用户设定的合成遮罩参数；根据所述四通道抠图结果确定目标前景图像；根据所述目标前景图像与所述合成遮罩参数，得到前景合成图像；根据所述目标背景图像与所述合成遮罩参数，得到背景合成图像；根据所述前景合成图像和背景合成图像得到目标合成图像。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的彻底抠除绿幕的图像合成方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种彻底抠除绿幕的图像合成方法，其特征在于，所述彻底抠除绿幕的图像合成方法包括：
获取待处理绿幕图像的图像信息；
根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的；
根据四通道抠图结果得到目标合成图像。
2.如权利要求1所述的方法，其特征在于，所述根据预设绿幕抠图模型对所述图像信息进行抠图处理之前，还包括：
获取绿幕数据集；
根据所述绿幕数据集训练得到预设绿幕抠图模型。
3.如权利要求2所述的方法，其特征在于，所述获取绿幕数据集，包括：
获取绿幕视频数据；
将所述绿幕视频数据进行抽帧和去重，得到绿幕视频数据中每帧对应的绿幕图片；
调用抠图程序分别对所述绿幕图片进行抠图，得到剔除绿幕背景的样本图片；
分别对所述剔除绿幕背景的样本图片中目标对象预设区域的绿幕进行抠图处理；
对处理后的样本图片进行修正，得到绿幕数据集。
4.如权利要求2所述的方法，其特征在于，所述根据所述绿幕数据集训练得到预设绿幕抠图模型，包括：
获取初始模型；
将所述绿幕数据集通过所述初始模型中的各个层级进行训练，输出单通道的第一输出掩膜图片以及前N层的三通道的像素图片；
将所述第一输出掩膜图片与所述像素图片进行融合，得绿幕抠图模型的训练结果；
根据所述训练结果确定预设绿幕抠图模型。
5.如权利要求4所述的方法，其特征在于，所述根据所述训练结果确定预设绿幕抠图模型，包括：
根据所述训练结果确定单通道像素级损失函数和所述像素图片的均方误差损失函数；
获取预设的辅助损失函数；
根据所述单通道像素级损失函数、均方误差损失函数和辅助损失函数得到目标损失函数；
根据所述目标损失函数与所述训练结果确定预设绿幕抠图模型。
6.如权利要求5所述的方法，其特征在于，所述根据所述目标损失函数与所述训练结果确定预设绿幕抠图模型，包括：
获取预设优化函数；
根据所述预设优化函数、所述目标损失函数以及所述训练结果，得到预设绿幕抠图模型。
7.如权利要求1至6中任一项所述的方法，其特征在于，所述根据所述四通道抠图结果得到目标合成图像，包括：
获取目标背景图像和用户设定的合成遮罩参数；
根据所述四通道抠图结果确定目标前景图像；
根据所述目标前景图像与所述合成遮罩参数，得到前景合成图像；
根据所述目标背景图像与所述合成遮罩参数，得到背景合成图像；
根据所述前景合成图像和背景合成图像得到目标合成图像。
8.一种彻底抠除绿幕的图像合成装置，其特征在于，所述彻底抠除绿幕的图像合成装置包括：
获取模块，用于获取待处理绿幕图像的图像信息；
抠图模块，用于根据预设绿幕抠图模型对所述图像信息进行抠图处理，得到四通道抠图结果，其中，所述预设绿幕抠图模型为根据绿幕视频数据得到的四通道样本绿幕图片训练得到的；
合成模块，用于根据四通道抠图结果得到目标合成图像。
9.一种彻底抠除绿幕的图像合成设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的彻底抠除绿幕的图像合成程序，所述彻底抠除绿幕的图像合成程序配置为实现如权利要求1至7中任一项所述的彻底抠除绿幕的图像合成方法。
10.一种存储介质，其特征在于，所述存储介质上存储有彻底抠除绿幕的图像合成程序，所述彻底抠除绿幕的图像合成程序被处理器执行时实现如权利要求1至7任一项所述的彻底抠除绿幕的图像合成方法。
CN202210029692.7A 2022-01-11 2022-01-11 彻底抠除绿幕的图像合成方法、装置、设备及存储介质 Pending CN114372990A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210029692.7A CN114372990A (zh) 2022-01-11 2022-01-11 彻底抠除绿幕的图像合成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210029692.7A CN114372990A (zh) 2022-01-11 2022-01-11 彻底抠除绿幕的图像合成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114372990A true CN114372990A (zh) 2022-04-19

Family

ID=81144252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210029692.7A Pending CN114372990A (zh) 2022-01-11 2022-01-11 彻底抠除绿幕的图像合成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114372990A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116167922A (zh) * 2023-04-24 2023-05-26 广州趣丸网络科技有限公司 一种抠图方法、装置、存储介质及计算机设备
WO2023216526A1 (zh) * 2022-05-10 2023-11-16 北京字跳网络技术有限公司 标定信息确定方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023216526A1 (zh) * 2022-05-10 2023-11-16 北京字跳网络技术有限公司 标定信息确定方法、装置及电子设备
CN116167922A (zh) * 2023-04-24 2023-05-26 广州趣丸网络科技有限公司 一种抠图方法、装置、存储介质及计算机设备

Similar Documents

Publication Publication Date Title
CN107516319B (zh) 一种高精度简易交互式抠图方法、存储设备及终端
CN109862389B (zh) 一种视频处理方法、装置、服务器及存储介质
CN114372990A (zh) 彻底抠除绿幕的图像合成方法、装置、设备及存储介质
Aksoy et al. Interactive high-quality green-screen keying via color unmixing
CN107424198A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN113822830B (zh) 基于深度感知增强的多曝光图像融合方法
WO2020207203A1 (zh) 一种前景数据生成及其应用方法、相关装置和系统
CN110335221B (zh) 一种基于无监督学习的多曝光图像融合方法
CN106530309A (zh) 一种基于移动平台的视频抠图方法及系统
CN113706412A (zh) 一种sdr到hdr转换方法
CN114723643A (zh) 一种基于强化学习和美学评估的低光图像增强方法
CN112804464A (zh) 一种hdr图像生成方法、装置、电子设备及可读存储介质
WO2021128593A1 (zh) 人脸图像处理的方法、装置及系统
Lv et al. Low-light image enhancement via deep Retinex decomposition and bilateral learning
Liba et al. Sky optimization: Semantically aware image processing of skies in low-light photography
Liu et al. Progressive complex illumination image appearance transfer based on CNN
WO2023010751A1 (zh) 图像高亮区域的信息补偿方法、装置、设备及存储介质
US7447374B1 (en) Method and apparatus for an intuitive digital image processing system that enhances digital images
CN112819699A (zh) 视频处理方法、装置及电子设备
CN110838088B (zh) 一种基于深度学习的多帧降噪方法、装置及终端设备
CN112788254A (zh) 摄像头抠像方法、装置、设备及存储介质
CN111147924B (zh) 一种视频增强处理方法及系统
CN107392870A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107454318A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN107295261A (zh) 图像去雾处理方法、装置、存储介质和移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination