CN116862943A - 一种商品照片自动化替换背景的方法及装置 - Google Patents

一种商品照片自动化替换背景的方法及装置 Download PDF

Info

Publication number
CN116862943A
CN116862943A CN202311033496.8A CN202311033496A CN116862943A CN 116862943 A CN116862943 A CN 116862943A CN 202311033496 A CN202311033496 A CN 202311033496A CN 116862943 A CN116862943 A CN 116862943A
Authority
CN
China
Prior art keywords
image
commodity
target
background
target commodity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311033496.8A
Other languages
English (en)
Inventor
施哲彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huanze Information Technology Co ltd
Original Assignee
Shanghai Huanze Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huanze Information Technology Co ltd filed Critical Shanghai Huanze Information Technology Co ltd
Priority to CN202311033496.8A priority Critical patent/CN116862943A/zh
Publication of CN116862943A publication Critical patent/CN116862943A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于图像处理技术领域，具体地说是一种商品照片自动化替换背景的方法及装置，所述包括以下步骤：输入带有目标商品的图像和目标商品描述，自动检测出商品位置，根据目标检测的锚框信息，分割目标商品，扣除原有背景；对扣除原始背景后的目标商品进行边缘提取，生成目标商品的边缘检测图，将边缘检测图作为图像生成的条件；用户选择生成风格并输入生成描述，图像生成模型生成一个与输入图像中目标商品具有相同位置和相同轮廓的物品图像，最后将目标商品在原始位置上贴于生成图像上方；本发明无需过多的手动操作，实现高度自动化，且生成背景与商品贴合度高，解决了操作过程复杂耗时，以及生成背景与目标商品风格不搭，光影、亮度匹配等问题。

Description

一种商品照片自动化替换背景的方法及装置
[技术领域]
本发明属于图像处理技术领域，具体地说是一种商品照片自动化替换背景的方法及装置。
[背景技术]
随着互联网技术的发展，电子商务在全球范围内快速增长。而商品展示的重要性在电子商务中尤为突出，能够吸引消费者注意传达产品信息。通常一个商品会有多个不同展示场景，高效的商品背景替换方法能够提高电商卖家的工作效率，以及更好地向消费者传达产品信息。
目前，商品背景替换多以利用PhotoShop等图像编辑软件手动抠图操作，该过程较为复杂耗时，且依赖相关专业技术。尽管已有一些自动化商品背景替换方案，但却存在生成背景与目标商品风格不搭，光影、亮度匹配的问题。
因此，若能提供一种能让生成背景与目标商品高度贴合的自动化替换背景方法及装置，将具有非常重要的意义。
[发明内容]
本发明的目的就是要解决上述的不足而提供一种商品照片自动化替换背景的方法，无需过多的手动操作，实现高度自动化，且生成背景与商品贴合度高，解决了传统的背景替换方法所存在的操作过程复杂耗时，以及生成背景与目标商品风格不搭，光影、亮度匹配等问题。
为实现上述目的，本发明提供以下技术方案：
一方面，本发明提供一种商品照片自动化替换背景的方法，所述方法包括以下步骤：
输入带有目标商品的图像和目标商品描述，自动检测出商品位置，根据目标检测的锚框信息，分割目标商品，扣除原有背景；
对扣除原始背景后的目标商品进行边缘提取，生成目标商品的边缘检测图，将边缘检测图作为图像生成的条件；
用户选择生成风格并输入生成描述，图像生成模型生成一个与输入图像中目标商品具有相同位置和相同轮廓的物品图像，最后将目标商品在原始位置上贴于生成图像上方。
在一些实施例中，商品位置检测时，通过目标检测算法算出目标在图像中的位置，根据文字描述定位图像中的目标，实现通过输入商品的描述来检测商品在图像中的位置。
在一些实施例中，目标商品分割时，通过语义分割将图像中的每个像素分配到特定的语义类别中，实现对图像的像素级别理解和分割，通过语义分割算法保留目标商品在图像中的像素点，并剔除背景。
在一些实施例中，图像生成时，采用Stable Diffusion生成符合要求的图像，Stable Diffusion为基于潜空间扩散模型的图像生成模型，可根据提示词生成相应的图像；并采用ControlNet通讯协议进行条件控制，使Stable Diffusion图像生成模型生成据有相同姿势或边缘的图像。
在一些实施例中，采用Canny边缘提取算法进行边缘检测，并使用LoRA低秩适应模型进行图像生成风格控制，LoRA低秩适应模型是一种模型参数微调技术。
在一些实施例中，通过直方图匹配算法，使生成的背景与目标商品在光影、亮暗程度上保持一致，直方图匹配是通过比较图像的直方图分布来进行匹配和调整，从而实现图像之间的颜色和亮度的一致性。
另一方面，本发明提供一种商品照片自动化替换背景的装置，所述装置包括：
目标检测模块，用于算出目标在图像中的位置，根据文字描述定位图像中的目标，通过输入商品的描述来检测商品在图像中的位置；
语义分割模块，用于将图像中的每个像素分配到特定的语义类别中，对图像的像素级别理解和分割，保留目标商品在图像中的像素点，并剔除背景；
图像生成模块，用于根据提示词生成相应的图像，是一种基于潜空间扩散模型的图像生成模型，并采用ControlNet通讯协议进行条件控制；
边缘检测模块，采用Canny边缘提取算法，将目标边缘检测图作为条件，让图像生成模型生成一个带有与目标商品具有相同位置相同轮廓物品的图像。
在一些实施例中，所述图像生成模块使用LoRA低秩适应模型进行图像生成风格控制，并通过直方图匹配算法使生成的背景与目标商品在光影、亮暗程度上保持一致。
第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有程序，所述程序被处理器执行时，能够实现如上所述的商品照片自动化替换背景的方法。
第四方面，本发明还提供了一种终端设备，所述终端设备包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述终端设备能够实现如上所述的商品照片自动化替换背景的方法。
本发明同现有技术相比，具有如下优点：
(1)本发明能够实现高度自动化：基于本发明方法，用户只需要输入商品图像、目标商品描述、选择风格、背景描述，即可得到替换背景后的图像输入，无需过多的手动操作。
(2)本发明能够生成风格自定义：用户可自定义生成背景风格，如中国风、北欧风、田园风。
(3)本发明生成背景与商品贴合度高：本发明得益于ControlNet的条件控制方法和直方图匹配算法，能够让生成的图像与目标商品有很好的贴合，并且在光影上有较好的一致性。
(4)本发明解决了传统的背景替换方法所存在的操作过程复杂耗时，须依赖相关专业技术，以及生成背景与目标商品风格不搭，光影、亮度匹配等问题。
[附图说明]
图1是本发明商品照片自动化替换背景的方法流程图；
图2是本发明商品背景替换示意图；
图3是本发明实施例输入图像示意图；
图4是本发明实施例给定目标检测提示词示意图；
图5是本发明实施例分割目标商品示意图；
图6是本发明实施例生成目标商品的边缘检测图的示意图；
图7是本发明实施例根据边缘检测和背景提示生成图像示意图；
图8是本发明实施例原始目标商品替换背景示意图。
[具体实施方式]
本发明提供了一种商品照片自动化替换背景的方法，该方法流程为输入带有目标商品的图像和目标商品描述，自动检测出商品位置，根据目标检测的锚框信息，细化商品的分割，扣除原有背景。然后，对扣除原始背景后的目标进行边缘提取，将边缘图作为图像生成的条件，用户选择生成风格并输入生成描述，图像生成模型便生成一个与输入图像中目标商品具有相同位置和相同轮廓的物品图像，最后将目标商品在原始位置上贴于生成图像上方。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图和具体实施例，对本发明作以下进一步说明：
实施例一
如附图1所示，为本发明商品照片自动化替换背景的方法的整体流程图，该方法包括以下步骤，
目标检测：目标检测算法能够算出目标在图像中的位置，其定位功能能够为目标商品更精确的分割奠定基础，GoundingDino模型可以根据文字描述来定位图像中的目标。本方法利用此模型，可实现通过输入商品的描述来检测商品在图像中的位置。
语义分割：语义分割旨在将图像中的每个像素分配到特定的语义类别中，从而实现对图像的像素级别理解和分割，通过语义分割算法可以保留目标商品在图像中的像素点，并剔除背景。
图像生成：Stable Diffusion(SD)是一种基于潜空间扩散模型的图像生成模型，可根据提示词生成相应的图像。
条件控制生成：为了让SD生成符合要求的图像，本发明使用ControlNet进行条件控制；ControlNet可以根据特定的条件如姿势、边缘等，让SD生成据有相同姿势或边缘的图像。
边缘检测：将目标边缘检测图作为条件，能让图像生成模型生成一个带有与目标商品具有相同位置相同轮廓物品的图像，以此为后续让目标商品在该生成图上贴合奠定基础。本发明方法采用的是Canny边缘提取算法。
低秩适应模型：低秩适应(Low-Rank Adaptation,LoRA)是一种模型参数微调技术，通过LoRA可以让模型学习用户指定的风格或对象，本方法中使用LoRA进行图像生成风格控制。
直方图匹配：直方图匹配是通过比较图像的直方图分布来进行匹配和调整，从而实现图像之间的颜色和亮度的一致性。通过直方图匹配算法，可以使生成的背景与目标商品在光影、亮暗程度上保持一致。
实施例二
使用本发明方法，用户只需输入图像、目标商品描述、选择风格、背景描述，即可得到替换背景后的图像输入，如附图2所示。
具体地，从算法的视角，每个过程图像的输入输出如附图3至附图8所示。步骤(1)为输入图像，如附图3所示；步骤(2)为给定目标检测提示词：Bathtub and faucet，如附图4所示；步骤(3)为分割目标商品，如附图5所示；步骤(4)为生成目标商品的边缘检测图，如附图6所示；步骤(5)为选定风格后，根据边缘检测图和背景提示词生成图像，如附图7所示；步骤(6)为将原始目标商品与生成图像直方图匹配后，在原始位置贴图覆盖生成的浴缸，如附图8所示。
实施例三
本发明提供一种商品照片自动化替换背景的装置，该装置包括：
目标检测模块，用于算出目标在图像中的位置，根据文字描述定位图像中的目标，通过输入商品的描述来检测商品在图像中的位置；
语义分割模块，用于将图像中的每个像素分配到特定的语义类别中，对图像的像素级别理解和分割，保留目标商品在图像中的像素点，并剔除背景；
图像生成模块，用于根据提示词生成相应的图像，是一种基于潜空间扩散模型的图像生成模型，并采用ControlNet通讯协议进行条件控制；
边缘检测模块，采用Canny边缘提取算法，将目标边缘检测图作为条件，让图像生成模型生成一个带有与目标商品具有相同位置相同轮廓物品的图像。
在一些实施例中，所述图像生成模块使用LoRA低秩适应模型进行图像生成风格控制，并通过直方图匹配算法使生成的背景与目标商品在光影、亮暗程度上保持一致。
实施例四
在本发明的另一些实施例中，本发明公开了一种终端设备，所述终端设备包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述终端设备能够实现如上所述的商品照片自动化替换背景的方法。具体地，该终端设备的硬件组成可包括：一个或多个处理器；存储器；显示器；一个或多个应用程序；以及一个或多个计算机程序，上述各器件可以通过一个或多个通信总线连接。其中所述的一个或多个计算机程序被存储在上述存储器中并被配置为被该一个或多个处理器执行，该一个或多个计算机程序包括指令。
在本发明提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有程序，所述程序被处理器执行时，能够实现如上所述的商品照片自动化替换背景的方法。所述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而并非对其进行限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化；尽管参照前述实施例对本发明进行了详细的说明，但本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
本发明不受上述实施方式的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种商品照片自动化替换背景的方法，其特征在于，包括以下步骤：
输入带有目标商品的图像和目标商品描述，自动检测出商品位置，根据目标检测的锚框信息，分割目标商品，扣除原有背景；
对扣除原始背景后的目标商品进行边缘提取，生成目标商品的边缘检测图，将边缘检测图作为图像生成的条件；
用户选择生成风格并输入生成描述，图像生成模型生成一个与输入图像中目标商品具有相同位置和相同轮廓的物品图像，最后将目标商品在原始位置上贴于生成图像上方。
2.如权利要求1所述的方法，其特征在于：商品位置检测时，通过目标检测算法算出目标在图像中的位置，根据文字描述定位图像中的目标，实现通过输入商品的描述来检测商品在图像中的位置。
3.如权利要求1所述的方法，其特征在于：目标商品分割时，通过语义分割将图像中的每个像素分配到特定的语义类别中，实现对图像的像素级别理解和分割，通过语义分割算法保留目标商品在图像中的像素点，并剔除背景。
4.如权利要求1所述的方法，其特征在于：图像生成时，采用Stable Diffusion生成符合要求的图像，Stable Diffusion为基于潜空间扩散模型的图像生成模型，可根据提示词生成相应的图像；并采用ControlNet通讯协议进行条件控制，使Stable Diffusion图像生成模型生成据有相同姿势或边缘的图像。
5.如权利要求1所述的方法，其特征在于：采用Canny边缘提取算法进行边缘检测，并使用LoRA低秩适应模型进行图像生成风格控制，LoRA低秩适应模型是一种模型参数微调技术。
6.如权利要求1所述的方法，其特征在于：通过直方图匹配算法，使生成的背景与目标商品在光影、亮暗程度上保持一致，直方图匹配是通过比较图像的直方图分布来进行匹配和调整，从而实现图像之间的颜色和亮度的一致性。
7.一种商品照片自动化替换背景的装置，其特征在于，包括：
目标检测模块，用于算出目标在图像中的位置，根据文字描述定位图像中的目标，通过输入商品的描述来检测商品在图像中的位置；
语义分割模块，用于将图像中的每个像素分配到特定的语义类别中，对图像的像素级别理解和分割，保留目标商品在图像中的像素点，并剔除背景；
图像生成模块，用于根据提示词生成相应的图像，是一种基于潜空间扩散模型的图像生成模型，并采用ControlNet通讯协议进行条件控制；
边缘检测模块，采用Canny边缘提取算法，将目标边缘检测图作为条件，让图像生成模型生成一个带有与目标商品具有相同位置相同轮廓物品的图像。
8.如权利要求7所述的装置，其特征在于：所述图像生成模块使用LoRA低秩适应模型进行图像生成风格控制，并通过直方图匹配算法使生成的背景与目标商品在光影、亮暗程度上保持一致。
9.一种计算机可读存储介质，所述计算机可读存储介质内存储有程序，其特征在于：所述程序被处理器执行时，实现如权利要求1至6中任一项所述的方法。
10.一种终端设备，其特征在于，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，当所述程序被所述处理器执行时，使得所述终端设备实现如权利要求1至6中任一项所述的方法。
CN202311033496.8A 2023-08-16 2023-08-16 一种商品照片自动化替换背景的方法及装置 Pending CN116862943A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311033496.8A CN116862943A (zh) 2023-08-16 2023-08-16 一种商品照片自动化替换背景的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311033496.8A CN116862943A (zh) 2023-08-16 2023-08-16 一种商品照片自动化替换背景的方法及装置

Publications (1)

Publication Number Publication Date
CN116862943A true CN116862943A (zh) 2023-10-10

Family

ID=88232493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311033496.8A Pending CN116862943A (zh) 2023-08-16 2023-08-16 一种商品照片自动化替换背景的方法及装置

Country Status (1)

Country Link
CN (1) CN116862943A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315072A (zh) * 2023-11-29 2023-12-29 阿里健康科技(杭州)有限公司 商品展示图的生成方法、设备和介质
CN117808933A (zh) * 2024-02-29 2024-04-02 成都索贝数码科技股份有限公司 一种图像要素分解与重构方法及装置
CN117974824A (zh) * 2023-12-28 2024-05-03 书行科技(北京)有限公司 图像生成方法、装置、电子设备及计算机可读存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315072A (zh) * 2023-11-29 2023-12-29 阿里健康科技(杭州)有限公司 商品展示图的生成方法、设备和介质
CN117974824A (zh) * 2023-12-28 2024-05-03 书行科技(北京)有限公司 图像生成方法、装置、电子设备及计算机可读存储介质
CN117808933A (zh) * 2024-02-29 2024-04-02 成都索贝数码科技股份有限公司 一种图像要素分解与重构方法及装置
CN117808933B (zh) * 2024-02-29 2024-05-24 成都索贝数码科技股份有限公司 一种图像要素分解与重构方法及装置

Similar Documents

Publication Publication Date Title
CN116862943A (zh) 一种商品照片自动化替换背景的方法及装置
CN110163198B (zh) 一种表格识别重建方法、装置和存储介质
CN101673400B (zh) 图像处理设备和方法
US9135732B2 (en) Object-level image editing
US11042990B2 (en) Automatic object replacement in an image
CN108550101A (zh) 图像处理方法、装置及存储介质
US11651480B2 (en) Systems and methods for selective enhancement of objects in images
US11200645B2 (en) Previewing a content-aware fill
CN111553923A (zh) 一种图像处理方法、电子设备及计算机可读存储介质
CN112153429B (zh) 在视频流中插入信息的方法和装置
CN117058271A (zh) 用于生成商品主图背景的方法及计算设备
EP1826724A1 (en) Object-level image editing using tiles of image data
CN114549700A (zh) 基于漫画翻译的排版区域确定方法及装置
CN111861943A (zh) 一种多尺度像素级深度优化的图像修复方法
CN114550198A (zh) 一种基于效果图的家居设计生成方法、装置和系统
CN113626902A (zh) 基于pbr材质的材质建模系统
US20190287225A1 (en) Patch validity test
CN117523341B (zh) 一种深度学习训练图像样本的生成方法、装置及设备
US20240265692A1 (en) Generating semantic scene graphs utilizing template graphs for digital image modification
US20240257421A1 (en) Generating and using behavioral policy graphs that assign behaviors to objects for digital image editing
CN117218236A (zh) 一种种自动生成服装模特图的方法、系统及设备
CN115291992A (zh) 图形用户界面图片辅助标注方法、电子设备及储存介质
Lee et al. An Interactive System for Painterly Image Harmonization
CN117726718A (zh) 基于人工智能的图像生成工具的电商产品海报生成方法
CN113947610A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination