CN114445625A - 图片天空提取方法、系统、设备及存储介质 - Google Patents

图片天空提取方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN114445625A
CN114445625A CN202210121872.8A CN202210121872A CN114445625A CN 114445625 A CN114445625 A CN 114445625A CN 202210121872 A CN202210121872 A CN 202210121872A CN 114445625 A CN114445625 A CN 114445625A
Authority
CN
China
Prior art keywords
picture
sky
model
replaced
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210121872.8A
Other languages
English (en)
Inventor
刘梓韦
成丹妮
罗超
邹宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ctrip Travel Information Technology Shanghai Co Ltd
Original Assignee
Ctrip Travel Information Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ctrip Travel Information Technology Shanghai Co Ltd filed Critical Ctrip Travel Information Technology Shanghai Co Ltd
Priority to CN202210121872.8A priority Critical patent/CN114445625A/zh
Publication of CN114445625A publication Critical patent/CN114445625A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图片天空提取方法、系统、设备及存储介质，所述方法包括步骤：获取待替换图片；基于训练完成的图片语义分割模型和训练完成的图片抠图模型，构建图片天空提取模型；对所述图片天空提取模型进行训练，得到目标提取模型；将所述待替换图片输入所述图片语义分割模型，获得三元图；以及将所述待替换图片和所述三元图输入所述目标提取模型，自所述待替换图片中提取出天空区域；本申请解决了批量提取图像天空区域做后续变换时天空区域提取不精确、过程需要人工干预的问题，提高了外景图像中天空区域提取的精确度。

Description

图片天空提取方法、系统、设备及存储介质
技术领域
本发明涉及图片提取技术领域，具体地说，涉及一种图片天空提取方法、系统、设备及存储介质。
背景技术
随着OTA(Online Travel Agency,在线旅行社)行业的发展，人们对外景图像的个性化需求越来越高。天空作为外景图像一个较为通用的类别，快捷有效自动化的提取它，然后进行后续变换的需求大大增大。现有方法无法做到对输入图像，准确的定位出整个天空区域，在不加入人工干预的情况下无法区提出精细的天空区域。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种图片天空提取方法、系统、设备及存储介质，提高外景图像中天空区域提取的精确度。
为实现上述目的，本发明提供了一种图片天空提取方法，所述方法包括以下步骤：
S110，获取待替换图片；
S120，基于训练完成的图片语义分割模型和训练完成的图片抠图模型，构建图片天空提取模型；
S130，对所述图片天空提取模型进行训练，得到目标提取模型；
S140，将所述待替换图片输入所述图片语义分割模型，获得三元图；以及
S150，将所述待替换图片和所述三元图输入所述目标提取模型，自所述待替换图片中提取出天空区域。
可选地，在步骤S120之前，所述方法还包括：
分别构建语义分割数据集和图片语义分割模型，以及构建抠图数据集和图片抠图模型；所述抠图数据集中的天空区域分割粒度小于所述语义分割数据集中的天空区域分割粒度；
利用所述语义分割数据集训练所述图片语义分割模型，得到训练完成的图片语义分割模型；
利用所述抠图数据集训练所述图片抠图模型，得到训练完成的图片抠图模型。
可选地，步骤S130包括：
利用所述抠图数据集训练图片天空提取模型，得到目标提取模型。
可选地，步骤S120包括：
基于ViT模型和BEiT模型，构建图片语义分割模型。
可选地，步骤S120包括：
基于Unet网络结构构建图片抠图模型。
可选地，所述图片语义分割模型训练过程中，损失函数为：
L＝LDice+LBCE
其中，
Figure BDA0003498836350000021
Figure BDA0003498836350000022
H表示输入图片的长，W表示输入图片的宽，
Figure BDA0003498836350000023
表示图片中第i个像素归属于类别m的概率，
Figure BDA0003498836350000024
表示图片中第i个像素归属于类别m时对应的标签值，ε为拉普拉斯平滑值，LDice表示第一损失函数值，LBCE表示第二损失函数值。
可选地，所述方法还包括步骤：
依据预设图片天空数据库中的图片，对所述待替换图片中的天空区域进行替换，生成目标图片。
可选地，所述依据预设图片天空数据库中的图片，对所述待替换图片中的天空区域进行替换，包括：
将预设图片天空数据库中与所述待替换图片天空区域的颜色信息差异度最小的图片，作为参考图片；
依据所述参考图片对所述待替换图片中的天空区域进行替换，生成目标图片。
可选地，所述方法还包括步骤：
对所述待替换图片中的天空区域进行替换，以及对所述待替换图片中的天空以外区域进行颜色纹理校正，生成目标图片。
可选地，所述方法还包括步骤：
基于所述待替换图片中的非天空区域，确定所述待替换图片对应的目标景点信息，获取与所述目标景点信息相关联的图片数据库；
自所述图片数据库中筛选得到备选子景点以及与所述备选子景点对应的目标天气类别；
基于所述备选子景点和所述目标天气类别，自所述图片数据库中再次筛选得到景点推荐图片，在展示页面进行展示。
可选地，所述自所述图片数据库中筛选得到备选子景点以及与所述备选子景点对应的目标天气类别，包括：
对所述图片数据库中的图片重复执行步骤S110至步骤S150，获得所述图片数据库中各个图片对应的天空区域和非天空区域；
依据各个图片的天空区域确定图片对应的天气类别，依据各个图片的非天空区域确定对应的归属于所述目标景点信息的子景点信息；
获取各个子景点信息对应的第一热度值，将所述第一热度值最高的子景点信息作为备选子景点；
获取所述图片数据库中包含所述备选子景点的图片对应的各个天气类别对应的第二热度值，将所述第二热度值最高的天气类别，作为目标天气类别；
所述基于所述备选子景点和所述目标天气类别，自所述图片数据库中再次筛选得到景点推荐图片，在展示页面进行展示，包括：
选取所述图片数据库中包含有所述目标天气类别对应的天空区域和所述备选子景点的图片，作为景点推荐图片，在展示页面进行展示。
本发明还提供了一种图片天空提取系统，用于实现上述图片天空提取方法，所述系统包括：
待替换图片获取模块，获取待替换图片；
图片天空提取模型构建模块，基于训练完成的图片语义分割模型和训练完成的图片抠图模型，构建图片天空提取模型；
目标提取模型获取模块，对所述图片天空提取模型进行训练，得到目标提取模型；
三元图获取模块，将所述待替换图片输入所述图片语义分割模型，获得三元图；以及
天空区域提取模块，将所述待替换图片和所述三元图输入所述目标提取模型，自所述待替换图片中提取出天空区域。
本发明还提供了一种图片天空提取设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行程序；
其中，所述处理器配置为经由执行所述可执行程序来执行上述任意一项图片天空提取方法的步骤。
本发明还提供了一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述任意一项图片天空提取方法的步骤。
本发明与现有技术相比，具有以下优点及突出性效果：
本发明提供的图片天空提取方法、系统、设备及存储介质针对仅使用图片语义分割模型提取天空区域的边缘不精细的问题，结合图片语义分割模型和图片抠图模型构建目标提取模型；利用图片语义分割模型提取出三元图，利用三元图表征待替换图片中天空区域、非天空区域以及模糊区域各自的位置信息，引导图片抠图模型可以对语义模糊区域从图形形态角度精细化提取，使得模型对图片天空区域的提取更加精确。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1为本发明一实施例公开的一种图片天空提取方法的示意图；
图2为本发明另一实施例公开的一种图片天空提取方法的示意图；
图3为本发明另一实施例公开的一种图片天空提取方法的示意图；
图4为本发明一实施例公开的一种图片天空提取系统的结构示意图；
图5为本发明一实施例公开的一种图片天空提取设备的结构示意图；
图6为本发明一实施例公开的一种计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，本发明一实施例公开了一种图片天空提取方法，解决批量提取图像天空区域做后续变换时，天空区域提取不精确，过程需要人工干预，过于复杂繁琐的问题，使得用户后续替换图片天空区域时，替换后的图片展示效果更佳，利于提升用户体验。该方法包括以下步骤：
S110，获取待替换图片。
S120，基于训练完成的图片语义分割模型和训练完成的图片抠图模型，构建图片天空提取模型。具体而言，也即将训练完成的图片语义分割模型和训练完成的图片抠图模型组合形成整体模型，即图片天空提取模型。
本实施中，采用基于开源数据和公开数据自监督训练的ViT模型作为主干网络和UperNet的上采样头作为解码器构成BEiT模型，然后利用上述ViT模型和上述BEiT模型，组合形成图片语义分割模型。相比于现有技术普遍采用FCN模型来进行语义分割，本申请采用的上述模型有利于提高对天空区域的提取精度，提高图片像素提取准确率，从而可以使得模型对天空区域的提取更加准确。
本申请的图片语义分割模型使用自适应矩估计优化器更新模型的权重，学习率更新策略使用预热余弦退火策略。有利于提高训练结果的准确性。
本实施中，基于Unet网络结构构建图片抠图模型。编码网络使用的是Resnet50。相比于现有技术普遍采用FBA_Matting模型来进行抠图，本申请采用的上述模型有利于提高对天空区域的提取精度，提高图片像素提取准确率，从而可以使得模型对天空区域的提取更加准确。
本实施中，用于训练图片抠图模型的抠图数据集的天空区域分割粒度小于用于训练图片语义分割模型的语义分割数据集的天空区域分割粒度。也即，语义分割数据集中天空区域分割存在边缘模糊区域，抠图数据集中天空区域分割不存在边缘模糊区域，更加精细化。这样可以利用图片语义分割模型得到天空粗糙的mask(遮盖)，该天空粗糙mask存在语义模糊部分，然后利用图片抠图模型对语义模糊部分进行精细化识别，整体模型输出精细化mask。从而利于提取天空区域更加精细化。
其中，上述语义分割数据集中标注出天空区域和非天空区域，该数据集中的图片不存在模糊区域，只存在上述两种区域。用图像合成的方式生成上述抠图数据集，也即把图像的非天空区域抠图抠出来，然后随机与纯天空图片进行融合，这样可以保留抠图数据集中图像细节的边缘信息，有利于提高模型的训练准确度，提高对天空区域的提取精度，提高图片像素提取准确率。在上述图片语义分割模型中加入多头注意力机制和特征金字塔池化，有利于使得模型对天空区域的提取更加准确。
S130，对上述图片天空提取模型进行训练，得到目标提取模型。具体而言，利用上述抠图数据集训练图片天空提取模型，得到目标提取模型。也即，本申请利用天空区域分割粒度更加精细的抠图数据集，来训练图片天空提取模型，有利于提高对天空区域的提取精度，提高图片像素提取准确率，从而可以使得模型对天空区域的提取更加准确。
S140，将上述待替换图片输入上述图片语义分割模型，获得三元图。上述三元图用于表征待替换图片中天空区域、非天空区域以及模糊区域各自的位置信息。三元图用作引导图片抠图模型，选择需要精细化的区域帮助图片抠图模型进行精确化识别，可以使得模型对天空区域的提取更加准确。
上述三元图不包含输入的待替换图片中的颜色纹理信息、语义信息、物体分布等信息。
以及S150，将上述待替换图片和上述三元图输入上述目标提取模型，自上述待替换图片中提取出天空区域。
本发明可以自动优化输出结果，无需增加新的环节。由于对语义分割输出的标签，采用概率输出的形式，使得图片语义分割模型的输出和目标提取模型的输出在数据形式上一致，所以目标提取模型的输出可以用作生成图片抠图模型所需要的三元图，循环多次，可使得模型最终输出更加准确。
在本申请的另一实施例中，如图2所示，公开了另一种图片天空提取方法。该方法在上述图1对应实施例的基础上，在步骤S110和S120之间，还包括：
S111，分别构建语义分割数据集和图片语义分割模型，以及构建抠图数据集和图片抠图模型。上述抠图数据集中的天空区域分割粒度小于上述语义分割数据集中的天空区域分割粒度。
S112，利用上述语义分割数据集训练上述图片语义分割模型，得到训练完成的图片语义分割模型。
S113，利用上述抠图数据集训练上述图片抠图模型，得到训练完成的图片抠图模型。
本实施例中，采用Dice Loss和交叉熵损失函数组合作为图片语义分割模型的损失函数，这样可以在实现分类目的的训练基础上，可以更加准确的处理一些类别不均衡的图片数据，比如有的图片天空区域和非天空区域占比很不协调，比如可能天空区域占比0.9，非天空区域占比0.1；本申请可以准确训练这些图片，从而有利于提高图片语义分割模型训练结果的准确性。
具体而言，上述图片语义分割模型训练过程中，损失函数为：
L＝LDice+LBCE
其中，
Figure BDA0003498836350000071
Figure BDA0003498836350000072
H表示输入图片的长，W表示输入图片的宽，
Figure BDA0003498836350000073
表示图片中第i个像素归属于类别m的概率，
Figure BDA0003498836350000074
表示图片中第i个像素归属于类别m时对应的标签值，ε为防止除数为零加入的拉普拉斯平滑值，LDice表示第一损失函数值，LBCE表示第二损失函数值。类别m可以为天空区域、非天空区域或者模糊区域。
在本申请的另一实施例中，公开了另一种图片天空提取方法。该方法在上述图1对应实施例的基础上，还包括步骤：
S160，依据预设图片天空数据库中的图片，对上述待替换图片中的天空区域进行替换，生成目标图片。其中，预设图片天空数据库中的图片可以是用户选定的，也可以是自动生成的。预设图片天空数据库中均为纯天空图片。
在本申请的另一实施例中，步骤S160包括：
S161，将预设图片天空数据库中与上述待替换图片天空区域的颜色信息差异度最小的图片，作为参考图片。该颜色信息可以为图片天空区域的RGB值。
S162，依据上述参考图片对上述待替换图片中的天空区域进行替换，生成目标图片。
在本申请的另一实施例中，步骤S160包括：
对上述待替换图片中的天空区域进行替换，以及对上述待替换图片中的天空以外区域进行颜色纹理校正，生成目标图片。这样可以使得替换后的图片展示效果更佳，也更加均匀，提升了用户体验。
需要说明的是，本申请中公开的上述所有实施例可以进行自由组合，组合后得到的技术方案也在本申请的保护范围之内。
在本申请的另一实施例中，如图3所示，公开了另一种图片天空提取方法。该方法在上述图1对应实施例的基础上，还包括步骤：
S170，基于所述待替换图片中的非天空区域，确定所述待替换图片对应的目标景点信息，获取与所述目标景点信息相关联的图片数据库。
S180，自所述图片数据库中筛选得到备选子景点以及与所述备选子景点对应的目标天气类别。
S190，基于所述备选子景点和所述目标天气类别，自所述图片数据库中再次筛选得到景点推荐图片，在展示页面进行展示。
具体而言，该实施例中，对所述图片数据库中的图片重复执行步骤S110至步骤S150，获得所述图片数据库中各个图片对应的天空区域和非天空区域。依据各个图片的天空区域确定图片对应的天气类别，依据各个图片的非天空区域确定对应的归属于所述目标景点信息的子景点信息。获取各个子景点信息对应的第一热度值，将所述第一热度值最高的子景点信息作为备选子景点。获取所述图片数据库中包含所述备选子景点的图片对应的各个天气类别对应的第二热度值，将所述第二热度值最高的天气类别，作为目标天气类别。选取所述图片数据库中包含有所述目标天气类别对应的天空区域和所述备选子景点的图片，作为景点推荐图片，在展示页面进行展示。
示例性地，比如上述输入的待替换图片是一具有竹海的景点，该待替换图片可以是旅游平台输入的，此种情况下说明旅游平台需要对该景点进行推介。那么上述待替换图片中的非天空区域就包含有竹海，然后本申请可以基于图片识别或者基于图片的地理位置信息，匹配得到对应的目标景点信息。然后可以自网络平台获取该目标景点的大量图片，从这些大量图片的非天空区域匹配识别出对应的各个子景点，依据图片的热度值对各个子景点的热度进行排序，将热度最高的子景点作为备选子景点。上述热度值可以基于网络平台的点赞数、浏览量和/或转发数等信息计算得到。
当对各个子景点排序后，发现竹海的人气最高。然后就在包含有竹海的图片中确定关于竹海最受欢迎的观赏天气，比如可以为阴雨天。同样可以通过热度值排序确定。然后就将天气类别是阴雨天且包含有竹海景点的图片作为推荐展示图片，这样有利于提高展示图片的受欢迎度，也即利于提高旅游推介产品的转化率。
如图4所示，本发明一实施例还公开了一种图片天空提取系统4，该系统包括：
待替换图片获取模块41，获取待替换图片.
图片天空提取模型构建模块42，基于训练完成的图片语义分割模型和训练完成的图片抠图模型，构建图片天空提取模型。
目标提取模型获取模块43，对所述图片天空提取模型进行训练，得到目标提取模型。
三元图获取模块44，将所述待替换图片输入所述图片语义分割模型，获得三元图。以及
天空区域提取模块45，将所述待替换图片和所述三元图输入所述目标提取模型，自所述待替换图片中提取出天空区域。
可以理解的是，本发明的图片天空提取系统还包括其他支持图片天空提取系统运行的现有功能模块。图4显示的图片天空提取系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本实施例中的图片天空提取系统用于实现上述的图片天空提取的方法，因此对于图片天空提取系统的具体实施步骤可以参照上述对图片天空提取的方法的描述，此处不再赘述。
本发明一实施例还公开了一种图片天空提取设备，包括处理器和存储器，其中存储器存储有所述处理器的可执行程序；处理器配置为经由执行可执行程序来执行上述图片天空提取方法中的步骤。图5是本发明公开的图片天空提取设备的结构示意图。下面参照图5来描述根据本发明的这种实施方式的电子设备600。图5显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述图片天空提取方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明还公开了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述图片天空提取方法中的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述图片天空提取方法中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，针对仅使用图片语义分割模型提取天空区域的边缘不精细的问题，结合图片语义分割模型和图片抠图模型构建目标提取模型；利用图片语义分割模型提取出三元图，利用三元图表征待替换图片中天空区域、非天空区域以及模糊区域各自的位置信息，引导图片抠图模型可以对语义模糊区域从图形形态角度精细化提取，使得模型对图片天空区域的提取更加精确。
图6是本发明的计算机可读存储介质的结构示意图。参考图6所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例提供的图片天空提取方法、系统、设备及存储介质针对仅使用图片语义分割模型提取天空区域的边缘不精细的问题，结合图片语义分割模型和图片抠图模型构建目标提取模型；利用图片语义分割模型提取出三元图，利用三元图表征待替换图片中天空区域、非天空区域以及模糊区域各自的位置信息，引导图片抠图模型可以对语义模糊区域从图形形态角度精细化提取，使得模型对图片天空区域的提取更加精确。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (14)

1.一种图片天空提取方法，其特征在于，包括以下步骤：
S110，获取待替换图片；
S120，基于训练完成的图片语义分割模型和训练完成的图片抠图模型，构建图片天空提取模型；
S130，对所述图片天空提取模型进行训练，得到目标提取模型；
S140，将所述待替换图片输入所述图片语义分割模型，获得三元图；以及
S150，将所述待替换图片和所述三元图输入所述目标提取模型，自所述待替换图片中提取出天空区域。
2.如权利要求1所述的图片天空提取方法，其特征在于，在步骤S120之前，所述方法还包括：
分别构建语义分割数据集和图片语义分割模型，以及构建抠图数据集和图片抠图模型；所述抠图数据集中的天空区域分割粒度小于所述语义分割数据集中的天空区域分割粒度；
利用所述语义分割数据集训练所述图片语义分割模型，得到训练完成的图片语义分割模型；
利用所述抠图数据集训练所述图片抠图模型，得到训练完成的图片抠图模型。
3.如权利要求2所述的图片天空提取方法，其特征在于，步骤S130包括：
利用所述抠图数据集训练图片天空提取模型，得到目标提取模型。
4.如权利要求1所述的图片天空提取方法，其特征在于，步骤S120包括：
基于ViT模型和BEiT模型，构建图片语义分割模型。
5.如权利要求1所述的图片天空提取方法，其特征在于，步骤S120包括：
基于Unet网络结构构建图片抠图模型。
6.如权利要求1所述的图片天空提取方法，其特征在于，所述图片语义分割模型训练过程中，损失函数为：
L＝LDice+LBCE
其中，
Figure FDA0003498836340000021
Figure FDA0003498836340000022
H表示输入图片的长，W表示输入图片的宽，
Figure FDA0003498836340000023
表示图片中第i个像素归属于类别m的概率，
Figure FDA0003498836340000024
表示图片中第i个像素归属于类别m时对应的标签值，ε为拉普拉斯平滑值，LDic表示第一损失函数值，LBCE表示第二损失函数值。
7.如权利要求1所述的图片天空提取方法，其特征在于，所述方法还包括步骤：
依据预设图片天空数据库中的图片，对所述待替换图片中的天空区域进行替换，生成目标图片。
8.如权利要求7所述的图片天空提取方法，其特征在于，所述依据预设图片天空数据库中的图片，对所述待替换图片中的天空区域进行替换，包括：
将预设图片天空数据库中与所述待替换图片天空区域的颜色信息差异度最小的图片，作为参考图片；
依据所述参考图片对所述待替换图片中的天空区域进行替换，生成目标图片。
9.如权利要求7所述的图片天空提取方法，其特征在于，所述方法还包括步骤：
对所述待替换图片中的天空区域进行替换，以及对所述待替换图片中的天空以外区域进行颜色纹理校正，生成目标图片。
10.如权利要求1所述的图片天空提取方法，其特征在于，所述方法还包括步骤：
基于所述待替换图片中的非天空区域，确定所述待替换图片对应的目标景点信息，获取与所述目标景点信息相关联的图片数据库；
自所述图片数据库中筛选得到备选子景点以及与所述备选子景点对应的目标天气类别；
基于所述备选子景点和所述目标天气类别，自所述图片数据库中再次筛选得到景点推荐图片，在展示页面进行展示。
11.如权利要求10所述的图片天空提取方法，其特征在于，所述自所述图片数据库中筛选得到备选子景点以及与所述备选子景点对应的目标天气类别，包括：
对所述图片数据库中的图片重复执行步骤S110至步骤S150，获得所述图片数据库中各个图片对应的天空区域和非天空区域；
依据各个图片的天空区域确定图片对应的天气类别，依据各个图片的非天空区域确定对应的归属于所述目标景点信息的子景点信息；
获取各个子景点信息对应的第一热度值，将所述第一热度值最高的子景点信息作为备选子景点；
获取所述图片数据库中包含所述备选子景点的图片对应的各个天气类别对应的第二热度值，将所述第二热度值最高的天气类别，作为目标天气类别；
所述基于所述备选子景点和所述目标天气类别，自所述图片数据库中再次筛选得到景点推荐图片，在展示页面进行展示，包括：
选取所述图片数据库中包含有所述目标天气类别对应的天空区域和所述备选子景点的图片，作为景点推荐图片，在展示页面进行展示。
12.一种图片天空提取系统，用于实现如权利要求1所述的图片天空提取方法，其特征在于，所述系统包括：
待替换图片获取模块，获取待替换图片；
图片天空提取模型构建模块，基于训练完成的图片语义分割模型和训练完成的图片抠图模型，构建图片天空提取模型；
目标提取模型获取模块，对所述图片天空提取模型进行训练，得到目标提取模型；
三元图获取模块，将所述待替换图片输入所述图片语义分割模型，获得三元图；以及
天空区域提取模块，将所述待替换图片和所述三元图输入所述目标提取模型，自所述待替换图片中提取出天空区域。
13.一种图片天空提取设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行程序；
其中，所述处理器配置为经由执行所述可执行程序来执行权利要求1至11中任意一项所述图片天空提取方法的步骤。
14.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至11中任意一项所述图片天空提取方法的步骤。
CN202210121872.8A 2022-02-09 2022-02-09 图片天空提取方法、系统、设备及存储介质 Pending CN114445625A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210121872.8A CN114445625A (zh) 2022-02-09 2022-02-09 图片天空提取方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210121872.8A CN114445625A (zh) 2022-02-09 2022-02-09 图片天空提取方法、系统、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114445625A true CN114445625A (zh) 2022-05-06

Family

ID=81371019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210121872.8A Pending CN114445625A (zh) 2022-02-09 2022-02-09 图片天空提取方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114445625A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023230927A1 (zh) * 2022-05-31 2023-12-07 北京小米移动软件有限公司 图像处理方法、装置及可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023230927A1 (zh) * 2022-05-31 2023-12-07 北京小米移动软件有限公司 图像处理方法、装置及可读存储介质

Similar Documents

Publication Publication Date Title
US10613726B2 (en) Removing and replacing objects in images according to a directed user conversation
US20200364461A1 (en) Method of obtaining mask frame data, computing device, and readable storage medium
US11871086B2 (en) Method of displaying comment information, computing device, and readable storage medium
CN111696112A (zh) 图像自动裁剪方法、系统、电子设备及存储介质
CN113297370B (zh) 基于多交互注意力的端到端多模态问答方法及系统
CN109087258A (zh) 一种基于深度学习的图像去雨方法及装置
CN108734653B (zh) 图像风格转换方法及装置
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN111143613A (zh) 选择视频封面的方法、系统、电子设备与存储介质
CN110297897B (zh) 问答处理方法及相关产品
CN111199540A (zh) 图像质量评价方法、装置、电子设备及存储介质
CN107679070A (zh) 一种智能阅读推荐方法与装置、电子设备
CN112712127A (zh) 一种结合图卷积神经网络的图像情感极性分类方法
CN114037674A (zh) 一种基于语义上下文的工业缺陷图像分割检测方法及装置
CN111428727A (zh) 基于序列变换纠正及注意力机制的自然场景文本识别方法
CN113377914A (zh) 推荐文本生成方法、装置、电子设备和计算机可读介质
CN117237606A (zh) 兴趣点图像生成方法、装置、电子设备及存储介质
CN114445625A (zh) 图片天空提取方法、系统、设备及存储介质
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN112183946A (zh) 多媒体内容评估方法、装置及其训练方法
CN115565186A (zh) 文字识别模型的训练方法、装置、电子设备和存储介质
CN114663765A (zh) 一种基于弱监督细粒度的植物叶片识别系统及方法
CN112950501A (zh) 基于噪声场的图像降噪方法、装置、设备及存储介质
CN115223171B (zh) 文本识别方法、装置、设备及存储介质
CN114332637B (zh) 遥感影像水体提取方法、遥感影像水体提取的交互方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination