CN110930298A - 图像处理方法及装置、图像处理设备及存储介质 - Google Patents

图像处理方法及装置、图像处理设备及存储介质 Download PDF

Info

Publication number
CN110930298A
CN110930298A CN201911205289.XA CN201911205289A CN110930298A CN 110930298 A CN110930298 A CN 110930298A CN 201911205289 A CN201911205289 A CN 201911205289A CN 110930298 A CN110930298 A CN 110930298A
Authority
CN
China
Prior art keywords
image
key points
target
pose
replacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911205289.XA
Other languages
English (en)
Inventor
李通
张伟亮
刘文韬
钱晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201911205289.XA priority Critical patent/CN110930298A/zh
Publication of CN110930298A publication Critical patent/CN110930298A/zh
Priority to JP2020572864A priority patent/JP7162084B2/ja
Priority to KR1020207037359A priority patent/KR20210068328A/ko
Priority to PCT/CN2020/093447 priority patent/WO2021103470A1/zh
Priority to SG11202104070YA priority patent/SG11202104070YA/en
Priority to TW109121222A priority patent/TWI755768B/zh
Priority to US17/234,957 priority patent/US20210241509A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开一种图像处理方法及装置、图像处理设备及存储介质。所述图像处理方法包括：获取处于第一姿态的目标部位的第一替换图像；确定第一图像中处于第二姿态的目标部位的姿态参数；根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像；将所述第二替换图像融合到第一图像中的所述目标部位，得到第二图像。

Description

图像处理方法及装置、图像处理设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、图像处理设备及存储介质。
背景技术
在图像处理技术领域，存在着对用户拍完一个照片，然后需要对该照片的部分进行贴纸的图像变形操作。但是这种利用贴纸进行图像变形的方案，有的时候利用贴纸进行图像变形之后生成的新的图像，图像中变形效果较差。
发明内容
有鉴于此，本申请实施例期望提供一种图像处理方法及装置、图像处理设备及存储介质。
本申请的技术方案是这样实现的：
本申请实施例第一方面提供一种图像处理方法，包括：获取处于第一姿态的目标部位的第一替换图像；确定第一图像中处于第二姿态的目标部位的姿态参数；根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像；将所述第二替换图像，融合到第一图像中的所述目标部位得到第二图像。
基于上述方案，所述根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像，包括：获取所述第一替换图像中的多个第一关键点的坐标；基于所述多个第一关键点的坐标，形成由所述多个第一关键点中任意一组第一关键点围成的至少一个原始多边形区域；基于所述姿态参数，对所述至少一个原始多边形区域进行变形，得到变形后的所述第二替换图像。
基于上述方案，所述确定第一图像中处于第二姿态的目标部位的姿态参数数，包括：利用关键点检测模型对所述第一图像的所述目标部位进行检测，得到所述目标部位的关键点的坐标；根据所述目标部位关键点的坐标，确定所述目标部位的所述姿态参数。
基于上述方案，所述目标部位包括：腹部。
基于上述方案，所述确定第一图像中目标对象在第二姿态下的目标部位的姿态参数，包括：获取所述第一图像中腹部的三类关键点的坐标，其中，所述三类关键点包括：至少两个第一边缘关键点、至少两个第二边缘关键点及至少两个中轴线关键点，其中，所述至少两个第一边缘关键点和所述至少两个第二边缘关键点分别分布在任意一个所述中轴线关键点的两侧，其中，所述三类关键点的位置，用于表征所述目标部位的所述姿态参数。
基于上述方案，所述根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像，包括：根据所述三类关键点中任意相邻三个关键点所形成的三角形区域，得到目标三角形区域；根据从所述第一替换图像中获取的多个第一关键点的坐标，得到由所述多个第一关键点中任意相邻三个第一关键点围成的原始三角形区域，其中，所述第一关键点与所述三类关键点均为所述目标部位的关键点；根据所述原始三角形区域与所述目标三角形区域之间的映射关系，将所述第一替换图像变换为所述第二替换图像。
基于上述方案，所述方法还包括：根据所述姿态参数，确定所述目标部位在所述第一图像中的目标区域；所述将所述第二替换图像，融合到第一图像中的所述目标部位得到第二图像，包括：将所述第二替换图像，融合到所述第一图像中的所述目标区域得到所述第二图像。
本申请实施例第二方面提供一种图像处理装置，包括：获取模块，用于获取处于第一姿态的目标部位的第一替换图像；第一确定模块，用于确定第一图像中目标对象处于第二姿态的目标部位的姿态参数；变换模块，用于根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像；生成模块，用于将所述第二替换图像，融合到第一图像中的所述目标部位得到第二图像。
基于上述方案，所述变换模块，具体用于获取所述第一替换图像中的多个第一关键点的坐标；基于所述多个第一关键点的坐标，形成由所述多个第一关键点中任意一组第一关键点围成的至少一个原始多边形区域；基于所述姿态参数，对所述至少一个原始多边形区域进行变形，得到变形后的所述第二替换图像。
基于上述方案，所述第一确定模块，用于将所述第一图像输入关键点检测模型，得到所述目标部位的关键点的坐标；根据所述目标部位关键点的坐标，确定所述目标部位的所述姿态参数。
基于上述方案，所述目标部位包括：腹部。
基于上述方案，所述第一确定模块，配置为获取所述第一图像中腹部的三类关键点的坐标，其中，所述三类关键点包括：至少两个第一边缘关键点、至少两个第二边缘关键点及至少两个中轴线关键点，其中，所述至少两个第一边缘关键点和所述至少两个第二边缘关键点，分布在任意一个所述中轴线关键点的两侧，其中，所述三类关键点的位置，能够表征所述目标部位的所述姿态参数。
基于上述方案，所述变换模块，用于根据所述三类关键点中任意相邻三个关键点所形成的三角形区域，得到目标三角形区域；根据从所述第一替换图像中获取的多个第一关键点的坐标，得到由所述多个第一关键点中任意相邻三个第一关键点围成的原始三角形区域，其中，所述第一关键点与所述三类关键点均为所述目标部位的关键点；根据所述原始三角形区域与所述目标三角形区域之间的映射关系，将所述第一替换图像变换为所述第二替换图像。
基于上述方案，所述装置，还包括：第二确定模块，用于根据所述姿态参数，确定所述目标部位在所述第一图像中的目标区域；所述生成模块，具体用于将所述第二替换图像融合到所述第一图像中的所述目标区域，得到所述第二图像。
本申请实施例第三方面提供一种图像处理设备，包括：
存储器；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令实现前述任意技术方案提供的图像处理方法。
本申请实施例第四方面提供一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现前述任意技术方案提供的图像处理方法。
本申请实施例提供的技术方案，在进行图像变形时，不再是会将一个替换图像直接贴合到第一图像中待变形的目标部位，而是会根据第一图像中待变形的目标部位当前的第二姿态，得到姿态参数；利用该姿态参数，对处于第一姿态的目标部位的第一替换图像转换成处于第二姿态的目标部位的第二替换图像之后，再将第二替换图像融合到第一图像中得到第二图像，如此，变形的得到的第二图像，减少了第一替换图像和第一图像中的目标部位姿态相差很大导致的变形效果差的现象，提升了第一图像中目标部位的变形效果。
附图说明
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例提供的一种人体轮廓关键点的示意图；
图3为本申请实施例提供的一种生成第二替换图像的流程示意图；
图4为本申请实施例提供的一种原始三角形区域变换为目标三角形区域的示意图；
图5为本申请实施例提供的以腹部为目标部位进行变形的比对示意图；
图6为本申请实施例提供的一种图像处理装置的结构示意图；
图7为本申请实施例提供的一种图像设备的结构示意图。
具体实施方式
以下结合说明书附图及具体实施例对本申请的技术方案做进一步的详细阐述。
如图1所示，本实施例提供一种图像处理方法，包括：
S110：获取处于第一姿态的目标部位的第一替换图像；
S120：确定第一图像中目标对象处于第二姿态的目标部位的姿态参数；
S130：根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像；
S140：将所述第二替换图像融合到第一图像中的所述目标部位，得到第二图像。
本实施例提供的图像处理方法，可以应用于具有图像处理功能的电子设备中。示例性的，该图像设备可包括各种终端设备，该终端设备包括：手机或可穿戴式设备等。该终端设备还可包括：车载终端设备或专用于图像采集摄影固定于某一处的固定终端设备。在另一些实施例中，所述图像设备还可包括：服务器，例如，本地服务器或者位于云平台中提供图像处理服务的云服务器等。
在一些实施例中，目标部位例如为人体的某一部位，或者，为动物的某一部位等。本申请对此并不限定。
在一些实施例中，第一替换图像例如为目标部位经变形处理后的变形效果图像，比如，在目标部位为腹部的情况下，第一替换图像例如为一张有腹肌效果的腹部图像。
在一些实施例中，第一姿态和第二姿态用来描述目标部位当前所处的姿势状态。例如，以目标部位为腹部为例进行说明，若人体站立时，腹部是处于直立姿态的；而人体向前弯腰，腹部处于向后弯曲姿态，人体向前挺起腹部时，腹部处于向前弯曲姿态。若人体右侧弯腰，则腹部处于右侧挤压且左侧拉伸姿态；若人体左侧弯腰，则腹部处于左侧挤压且右侧拉伸姿态。且人体腰部动作弯曲幅度不同，也可以认为姿态存在差异。例如，第一姿态可能是腹部处于直立姿态，而第二姿态可为前述任意一种弯腰情况下腹部所处的弯曲姿态。
在对目标部位进行变形之前，电子设备中可能没有存储有各种姿态下的第一替换图像。此时，可以生成一个与第二姿态对应的第二替换图像。其中，第二替换图像也为目标部位经变形处理后的变形效果图像，且该第二替换图像用于描述处于第二姿态的目标部位的变形效果图像。
S140步骤中将第二替换图像和第一图像进行融合得到第二图像的方式有多种。示例性的，可以将第二替换图像贴合到第一图像中目标部位所在区域内，得到第二图像。通过图层贴合的方式生成所述第二图像。例如，将所述第一图像设置为第一图层；将所述第二替换图像添加到第二图层，所述第二图层除了所述第二替换图像以外的区域都为透明区域；将所述第二替换图像对准所述第一图像中的目标部位进行图层融合，得到变形后的所述第二图像。
示例性的，还可以将第一图像中目标部位所在目标区域内的像素值去除，根据第二替换图像，在去除了像素值的目标区域内重新填充像素值。其中，所述去除例如是可以通过将目标区域内的像素值置为某一默认数值，或者将目标区域所在的像素区域的透明度设为某一默认数值。所述重新填充例如可以指重新对目标区域的像素值进行赋值，将目标区域内任一位置处的像素的默认数值替换为第二替换图像中对应位置处的像素值。以上仅是生成所述第二图像的举例，具体的实现方式有很多种，此次就不再一一限定了。
在本实施例中不是直接将目标部位对应的第一替换图像贴到第一图像中的目标部位，而是根据在第一图像中呈现的目标部位的姿态参数；利用该姿态参数调整第一替换图像得到符合目标部位当前姿态的第二替换图像；得到第二替换图像再贴到第一图像中目标部位所在位置，从而生成第二图像。如此，相对于直接利用第一姿态下的第一替换图像直接贴到具有第二姿态的目标部位处，能够使得第一图像的变形效果更好，提升用户满意度。
在一些实施例中，所述S120可包括：获取所述第一替换图像中的多个第一关键点的坐标；基于所述多个第一关键点的坐标，形成由所述多个第一关键点中任意一组第一关键点围成的至少一个原始多边形区域；基于所述姿态参数，对所述至少一个原始多边形区域进行变形，得到变形后的所述第二替换图像。
通过将第一替换图像变换为第二替换图像，可以使得第二替换图像能够更加符合目标部位的实际姿态。
此处的原始多变形区域可为任意多边形所围成的区域，该多边形可为三角形、四边形或五边形等。
在本实施例中不再是进行简单矩阵变换，可以采用诸如多边形仿射变换等原始多边形区域的变换得到所述目标多边形。以所述原始多边形区域为原始三角形区域为例，则可以采用三角形仿射变换进行所述原始三角形区域的变换得到变换后的目标三角形区域。
此处对第一替换图像的关键点的检测可以利用现有的任意方法，例如，将所述第一替换图像输入到人体检测模型中得到第一替换图像中关键点的坐标(即所述第一关键点的坐标)。
在一些实施例中，所述方法还包括：根据所述姿态参数，确定所述目标部位在所述第一图像中所在的位置。在本实施例中，所述姿态参数可以由第一图像中目标部位的关键点的坐标来体现，如此，该关键点的坐标还可以用于定位所述目标部位在第一图像中的位置，若目标部位在第一图像中的位置确定了，方便在S140中将第二替换图像对应的贴到所述第一图像中，以生成具有期望变形效果的第二图像。
在一些实施例中，所述S110可包括：利用关键点检测模型对所述第一图像的所述目标部位进行检测，得到所述目标部位的关键点的坐标；根据所述目标部位的关键点的坐标，确定所述目标部位的所述姿态参数。
例如，将所述第一图像输入的关键点检测模型可为深度学习模型，例如，各种神经网络。在本实施例中，所述关键点检测模型可为open pose模型。
图2为一种人体关键点的示意图。若在本实施例中，所述目标部位可以为腹部，则用于姿态参数的关键点可为腹部的轮廓关键点。腹部关键点可为图2中的关键点28、29及30及关键点57、58及56。
在一些实施例中，所述S130可包括：根据姿态参数，将所述第一替换图像进行仿射变换与所述第二姿态对应的第二替换图像。例如，结合上述实施例中对原始多边形区域的变形或者对原始三角形区域的变形，均可以采用本实施例中所述的仿射变换的方式。
此处的与第二姿态对应的第二替换图像包含：包含的目标部位所处姿态为第二姿态的第二替换图像，或者，包含的目标部位所处姿态与第二姿态的姿态差异度小于预设值的第二替换图像。通过仿射变换中的线性变化操作和/或平移操作，使得所述第一替换图像转换为适配于所述第二姿态的第二替换图像。
例如，将第一姿态的姿态参数和第二姿态的姿态参数作为已知量，进行仿射变换的变换矩阵的拟合；拟合出变换矩阵之后，利用该变换矩阵对所述第一替换图像中的各像素点进行位置变化，得到适配于所述第二姿态的第二替换图像。当然此处仅是仿射变换的一种举例，具体实现不局限于此。此处，如前述实施例，第一姿态的姿态参数和第二姿态的姿态参数可以由目标部位的关键点的坐标来体现。
在一些实施例中，所述目标部位包括：腹部，但不限于腹部。
在一些实施例中，所述确定第一图像中目标对象处于第二姿态的目标部位的姿态参数，包括：获取腹部的三类关键点，其中，所述三类关键点包括：至少两个第一边缘关键点、至少两个第二边缘关键点及至少两个中轴线关键点，其中，所述至少两个第一边缘关键点和所述至少两个第二边缘关键点，分布在任意一个所述中轴线关键点的两侧。示例性的，所述第一边缘关键点和第二边缘关键点都可为2个。所述中轴线关键点可为3个或4个。
其中，所述中轴线关键点可为：根据第一边缘关键点和第二边缘关键点确认的。在一些实施例中，所述中轴线关键点可为：利用具有骨架关键点检测的模型检测的腹部的目标部位骨架的中轴线上的关键点。例如，针对腹部而言，通过检测盆骨中心点的关键点，可以得到所述腹部的中轴线关键点。这里，所述第一边缘关键点和所述第二边缘关键点都可以简称为边缘关键点。
在一些实施例中，上述S120中根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像的方式，可以参照图3所示，所述S120可包括：
S121：根据所述三类关键点中任意相邻三个关键点所形成的三角形区域，得到目标三角形区域；
S122：根据从所述第一替换图像中获取的多个第一关键点的坐标，得到由所述多个第一关键点中任意相邻三个第一关键点围成的原始三角形区域，其中，所述第一关键点与所述三类关键点均为所述目标部位的关键点；
S123：根据所述原始三角形区域与所述目标三角形区域之间的映射关系，将所述第一替换图像变换为所述第二替换图像。
在本实施例中，通过原始三角形区域和目标三角形区域之间的映射关系的确定，然后根据图像中像素点与三角形区域的变化之间的关联关系，可以将第一替换图像变换为第二替换图像，从而得到与所述第二姿态对应的第二替换图像
如图4所示，由任意相邻三个第一关键点围成的原始三角形区域中，原始三角形区域的顶点至少有一个是中轴线关键点和至少一个边缘关键点。例如，任意连接前述三类关键点中相邻分布的任意三个都可以得到一个原始三角形区域。再例如，连接至少两类关键点中的三个关键点会得到一个原始三角形区域，此时，一个原始三角形区域的三个顶点所对应的关键点为前述三类关键点中的至少两类。
例如，图4的原始三角形区域中左边的边缘关键点为第一边缘关键点，右边的边缘关键点即为第二边缘关键点；中间的关键点即为中轴线关键点。
通过对原始三角形区域进行仿射变换，可以改变原始三角形区域的边长和形状，得到图4所示的目标三角形区域。
通过对原始三角形区域的仿射变换，可以使得目标部位的边缘部位和中间部位的变形量不会差异过大，从而使得边缘部位和中间部位的变形具有连续性，从而提升变形效果。
以下结合上述任意实施例提供一个具体示例：
本示例可应用在用户对人体图像中的腹部进行变形的场景下。用户可以在终端设备中上传待处理的人体图像作为第一图像，并选择人体图像中的腹部作为目标部位。进一步地，终端设备中可提供带有腹部变形效果的多款贴纸图像，比如八块腹肌效果的贴纸图像、四块腹肌效果的贴纸图像等。
用户从多款贴纸图像中选择的目标贴纸图像，例如八块腹肌效果的贴纸图像，作为第一替换图像。
在利用目标贴纸图像对人体图像中的腹部进行变形过程中，考虑到目标贴纸图像的姿态可能处于第一姿态，而人体图像中腹部实际处于第二姿态，如果直接将目标贴纸图像进行贴合，可能导致最终的腹部变形效果与实际的第二姿态不匹配，变形效果差。
故，本公开实施例中可以首先识别人体图像中的腹部的关键点，得到腹部的关键点的坐标，具体为腹部轮廓的关键点的坐标，如此基于腹部的关键点的坐标就能够知晓人体图像中腹部的姿态参数。
进一步地，可以根据腹部的姿态参数，将目标贴纸图像变换为与第二姿态对应的贴纸图像(即第二替换图像)。这一变换过程可以采用多边形仿射变换的方式来实现，具体仿射变换过程可参照上述实施例。参照图5所示，图5右侧为第一姿态的目标贴纸图像，图5左侧为变换后的第二姿态对应的贴纸图像。
最后，可以将第二姿态对应的贴纸图像融合到第一图像的目标部位所在区域，得到期望变形效果的人体图像，即第二图像。
如此，变形的得到的第二图像，减少了第一替换图像和第一图像中的目标部位的姿态相差很大导致的变形效果差的现象，提升了第一图像中目标部位的变形效果。
如图6所示，本实施例提供一种图像处理装置，包括：
获取模块110，用于获取处于第一姿态的目标部位的第一替换图像；
第一确定模块120，用于确定第一图像中目标对象处于第二姿态的目标部位的姿态参数；
变换模块130，用于根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像；
生成模块140，用于将所述第二替换图像，融合到第一图像中的所述目标部位得到第二图像。
在一些实施例中，所述获取模块110、所述确定模块、所变换模块130及生成模块140均为程序模块，所述程序模块被处理器执行后，能够实现上述。
在另一些实施例中，所述获取模块110、所述确定模块、所变换模块130及生成模块140均为软硬结合模块，所述软硬结合模块包括但不限于可编程阵列；所述可编程阵列包括但不限于：现场可编程阵列和复杂可编程阵列。
在还有一些实施例中，所述，所述获取模块110、所述确定模块、所变换模块130及生成模块140均为纯硬件模块；所述纯硬件模块包括但不限于专用集成电路。
在一些实施例中，所述变换模块130，具体用于获取所述第一替换图像中的多个第一关键点的坐标；基于所述多个第一关键点的坐标，形成由所述多个第一关键点中任意一组第一关键点围成的至少一个原始多边形区域；基于所述姿态参数，对所述至少一个原始多边形区域进行变形，得到变形后的所述第二替换图像。
在一些实施例中，所述第一确定模块120，用于将所述第一图像输入关键点检测模型，得到所述目标的关键点；根据所述关键点的分布位置，确定所述目标部位的姿态参数。
在一些实施例中，所述变换模块130，具体用于根据姿态参数，将所述第一替换图像进行仿射变换与所述第二姿态对应的第二替换图像。
在一些实施例中，所述目标部位包括：腹部。
在一些实施例中，所述第一确定模块120，配置为获取腹部的三类关键点，其中，所述三类关键点包括：至少两个第一边缘关键点、至少两个第二边缘关键点及至少两个中轴线关键点，其中，所述至少两个第一边缘关键点和所述至少两个第二边缘关键点分别分布在任意一个所述中轴线关键点的两侧。
在一些实施例中，所述变换模块130，用于根据所述三类关键点中任意相邻三个关键点所形成的三角形区域，得到目标三角形区域；根据从所述第一替换图像中获取的多个第一关键点的坐标，得到由所述多个第一关键点中任意相邻三个第一关键点围成的原始三角形区域，其中，所述第一关键点与所述三类关键点均为所述目标部位的关键点；根据所述原始三角形区域与所述目标三角形区域之间的映射关系，将所述第一替换图像变换为所述第二替换图像。
在一些实施例中，所述装置，还包括：
第二确定模块，用于根据所述姿态参数，确定所述目标部位在所述第一图像中所在目标区域；
所述生成模块140，具体将所述第二替换图像融合到所述第一图像中的所述目标区域，得到所述第二图像。
如图7所示，本申请实施例提供了一种图像设备，包括：
存储器，用于存储计算机可执行指令；
处理器，分别与显示器及所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令，能够实现前述一个或多个技术方案提供的图像处理方法，例如，如图1和/或图4所示的图像处理方法。
该存储器可为各种类型的存储器，可为随机存储器、只读存储器、闪存等。所述存储器可用于信息存储，例如，存储计算机可执行指令等。所述计算机可执行指令可为各种程序指令，例如，目标程序指令和/或源程序指令等。
所述处理器可为各种类型的处理器，例如，中央处理器、微处理器、数字信号处理器、可编程阵列、数字信号处理器、专用集成电路或图像处理器等。
所述处理器可以通过总线与所述存储器连接。所述总线可为集成电路总线等。
在一些实施例中，所述终端设备还可包括：通信接口，该通信接口可包括：网络接口、例如，局域网接口、收发天线等。所述通信接口同样与所述处理器连接，能够用于信息收发。
在一些实施例中，所述终端设备还包括人机交互接口，例如，所述人机交互接口可包括各种输入输出设备，例如，键盘、触摸屏等。
在一些实施例中，所述图像设备还包括：显示器，该显示器可以显示各种提示、采集的人脸图像和/或各种界面。
本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有计算机可执行代码；所述计算机可执行代码被执行后，能够实现前述一个或多个技术方案提供的图像处理方法，例如如图1和/或图4所示的图像处理方法。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本申请任意实施例公开的技术特征，在不冲突的情况下，可以任意组合形成新的方法实施例或设备实施例。
本申请任意实施例公开的方法实施例，在不冲突的情况下，可以任意组合形成新的方法实施例。
本申请任意实施例公开的设备实施例，在不冲突的情况下，可以任意组合形成新的设备实施例。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取处于第一姿态的目标部位的第一替换图像；
确定第一图像中处于第二姿态的目标部位的姿态参数；
根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像；
将所述第二替换图像融合到第一图像中的所述目标部位，得到第二图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像，包括：
获取所述第一替换图像中的多个第一关键点的坐标；
基于所述多个第一关键点的坐标，形成由所述多个第一关键点中任意一组第一关键点围成的至少一个原始多边形区域；
基于所述姿态参数，对所述至少一个原始多边形区域进行变形，得到变形后的所述第二替换图像。
3.根据权利要求1或2所述的方法，其特征在于，所述确定第一图像中处于第二姿态的目标部位的姿态参数，包括：
利用关键点检测模型对所述第一图像的所述目标部位进行检测，得到所述目标部位的关键点的坐标；
根据所述目标部位的关键点的坐标，确定所述目标部位的所述姿态参数。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述目标部位包括：腹部。
5.根据权利要求4所述的方法，其特征在于，所述确定第一图像中目标对象在第二姿态下的目标部位的姿态参数，包括：
获取所述第一图像中腹部的三类关键点的坐标，其中，所述三类关键点包括：至少两个第一边缘关键点、至少两个第二边缘关键点及至少两个中轴线关键点，其中，所述至少两个第一边缘关键点和所述至少两个第二边缘关键点分别分布在任意一个所述中轴线关键点的两侧，其中，所述三类关键点的位置用于表征所述目标部位的所述姿态参数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像，包括：
根据所述三类关键点中任意相邻三个关键点所形成的三角形区域，得到目标三角形区域；
根据从所述第一替换图像中获取的多个第一关键点的坐标，得到由所述多个第一关键点中任意相邻三个第一关键点围成的原始三角形区域，其中，所述第一关键点与所述三类关键点均为所述目标部位的关键点；
根据所述原始三角形区域与所述目标三角形区域之间的映射关系，将所述第一替换图像变换为所述第二替换图像。
7.根据权利要求1至6任一所述的方法，其特征在于，所述方法还包括：
根据所述姿态参数，确定所述目标部位在所述第一图像中的目标区域；
所述将所述第二替换图像融合到第一图像中的所述目标部位，得到第二图像，包括：
将所述第二替换图像融合到所述第一图像中的所述目标区域，得到所述第二图像。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取处于第一姿态的目标部位的第一替换图像；
第一确定模块，用于确定第一图像中目标对象处于第二姿态的目标部位的姿态参数；
变换模块，用于根据所述姿态参数，将所述第一替换图像变换为与所述第二姿态对应的第二替换图像；
生成模块，用于将所述第二替换图像，融合到第一图像中的所述目标部位得到第二图像。
9.一种图像处理设备，其特征在于，包括：
存储器；
处理器，与所述存储器连接，用于通过执行存储在所述存储器上的计算机可执行指令实现权利要求1至7任一项提供的方法。
10.一种计算机存储介质，所述计算机存储介质存储有计算机可执行指令；所述计算机可执行指令被处理器执行后，能够实现权利要求1至7任一项提供的方法。
CN201911205289.XA 2019-11-29 2019-11-29 图像处理方法及装置、图像处理设备及存储介质 Pending CN110930298A (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201911205289.XA CN110930298A (zh) 2019-11-29 2019-11-29 图像处理方法及装置、图像处理设备及存储介质
JP2020572864A JP7162084B2 (ja) 2019-11-29 2020-05-29 画像処理方法及び装置、画像処理装置並びに記憶媒体
KR1020207037359A KR20210068328A (ko) 2019-11-29 2020-05-29 이미지 처리 방법 및 장치, 이미지 처리 기기 및 저장 매체
PCT/CN2020/093447 WO2021103470A1 (zh) 2019-11-29 2020-05-29 图像处理方法及装置、图像处理设备及存储介质
SG11202104070YA SG11202104070YA (en) 2019-11-29 2020-05-29 Method and apparatus for image processing, device for image processing, and storage medium
TW109121222A TWI755768B (zh) 2019-11-29 2020-06-22 圖像處理方法、圖像處理設備及儲存介質
US17/234,957 US20210241509A1 (en) 2019-11-29 2021-04-20 Method and apparatus for image processing, device for image processing, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911205289.XA CN110930298A (zh) 2019-11-29 2019-11-29 图像处理方法及装置、图像处理设备及存储介质

Publications (1)

Publication Number Publication Date
CN110930298A true CN110930298A (zh) 2020-03-27

Family

ID=69847996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911205289.XA Pending CN110930298A (zh) 2019-11-29 2019-11-29 图像处理方法及装置、图像处理设备及存储介质

Country Status (7)

Country Link
US (1) US20210241509A1 (zh)
JP (1) JP7162084B2 (zh)
KR (1) KR20210068328A (zh)
CN (1) CN110930298A (zh)
SG (1) SG11202104070YA (zh)
TW (1) TWI755768B (zh)
WO (1) WO2021103470A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111709874A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 图像调整的方法、装置、电子设备及存储介质
CN112788244A (zh) * 2021-02-09 2021-05-11 维沃移动通信（杭州）有限公司 拍摄方法、拍摄装置和电子设备
WO2021103470A1 (zh) * 2019-11-29 2021-06-03 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN113221840A (zh) * 2021-06-02 2021-08-06 广东工业大学 一种人像视频处理方法
CN113590250A (zh) * 2021-07-29 2021-11-02 网易（杭州）网络有限公司 图像处理方法、装置、设备及存储介质
CN113821148A (zh) * 2020-06-19 2021-12-21 阿里巴巴集团控股有限公司 视频生成方法、装置、电子设备及计算机存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107507217A (zh) * 2017-08-17 2017-12-22 北京觅己科技有限公司 证件照的制作方法、装置及存储介质
US20180068473A1 (en) * 2016-09-06 2018-03-08 Apple Inc. Image fusion techniques
CN110189248A (zh) * 2019-05-16 2019-08-30 腾讯科技（深圳）有限公司 图像融合方法及装置、存储介质、电子设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2670663B2 (ja) * 1994-08-05 1997-10-29 株式会社エイ・ティ・アール通信システム研究所 像の実時間認識合成装置
JPH09305798A (ja) * 1996-05-10 1997-11-28 Oki Electric Ind Co Ltd 画像表示装置
JPH10240908A (ja) * 1997-02-27 1998-09-11 Hitachi Ltd 映像合成方法
US8331697B2 (en) * 2007-11-06 2012-12-11 Jacob Samboursky System and a method for a post production object insertion in media files
JP5463866B2 (ja) * 2009-11-16 2014-04-09 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5620743B2 (ja) * 2010-08-16 2014-11-05 株式会社カプコン 顔画像編集用プログラム、その顔画像編集用プログラムを記録した記録媒体及び顔画像編集システム
JP6192483B2 (ja) * 2013-10-18 2017-09-06 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
CN108475439B (zh) * 2016-02-16 2022-06-17 乐天集团股份有限公司 三维模型生成系统、三维模型生成方法和记录介质
CN105869153B (zh) * 2016-03-24 2018-08-07 西安交通大学 融合相关块信息的非刚性人脸图像配准方法
JP6960722B2 (ja) * 2016-05-27 2021-11-05 ヤフー株式会社 生成装置、生成方法、及び生成プログラム
CN105898159B (zh) * 2016-05-31 2019-10-29 努比亚技术有限公司 一种图像处理方法及终端
US10572720B2 (en) * 2017-03-01 2020-02-25 Sony Corporation Virtual reality-based apparatus and method to generate a three dimensional (3D) human face model using image and depth data
TWI639136B (zh) * 2017-11-29 2018-10-21 國立高雄科技大學 即時視訊畫面拼接方法
JP7073238B2 (ja) * 2018-05-07 2022-05-23 アップル インコーポレイテッド クリエイティブカメラ
CN109977847B (zh) * 2019-03-22 2021-07-16 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN110349195B (zh) * 2019-06-25 2021-09-03 杭州汇萃智能科技有限公司 一种基于深度图像的目标物体3d测量参数获取方法、系统和存储介质
CN110503703B (zh) * 2019-08-27 2023-10-13 北京百度网讯科技有限公司 用于生成图像的方法和装置
CN110503601A (zh) * 2019-08-28 2019-11-26 上海交通大学 基于对抗网络的人脸生成图片替换方法及系统
CN110930298A (zh) * 2019-11-29 2020-03-27 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180068473A1 (en) * 2016-09-06 2018-03-08 Apple Inc. Image fusion techniques
CN107507217A (zh) * 2017-08-17 2017-12-22 北京觅己科技有限公司 证件照的制作方法、装置及存储介质
CN110189248A (zh) * 2019-05-16 2019-08-30 腾讯科技（深圳）有限公司 图像融合方法及装置、存储介质、电子设备

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021103470A1 (zh) * 2019-11-29 2021-06-03 北京市商汤科技开发有限公司 图像处理方法及装置、图像处理设备及存储介质
CN111709874A (zh) * 2020-06-16 2020-09-25 北京百度网讯科技有限公司 图像调整的方法、装置、电子设备及存储介质
CN111709874B (zh) * 2020-06-16 2023-09-08 北京百度网讯科技有限公司 图像调整的方法、装置、电子设备及存储介质
CN113821148A (zh) * 2020-06-19 2021-12-21 阿里巴巴集团控股有限公司 视频生成方法、装置、电子设备及计算机存储介质
CN112788244A (zh) * 2021-02-09 2021-05-11 维沃移动通信（杭州）有限公司 拍摄方法、拍摄装置和电子设备
CN113221840A (zh) * 2021-06-02 2021-08-06 广东工业大学 一种人像视频处理方法
CN113221840B (zh) * 2021-06-02 2022-07-26 广东工业大学 一种人像视频处理方法
CN113590250A (zh) * 2021-07-29 2021-11-02 网易（杭州）网络有限公司 图像处理方法、装置、设备及存储介质
CN113590250B (zh) * 2021-07-29 2024-02-27 网易（杭州）网络有限公司 图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP7162084B2 (ja) 2022-10-27
WO2021103470A1 (zh) 2021-06-03
KR20210068328A (ko) 2021-06-09
SG11202104070YA (en) 2021-07-29
TW202121337A (zh) 2021-06-01
JP2022515303A (ja) 2022-02-18
TWI755768B (zh) 2022-02-21
US20210241509A1 (en) 2021-08-05

Similar Documents

Publication Publication Date Title
CN110930298A (zh) 图像处理方法及装置、图像处理设备及存储介质
CN107223269B (zh) 三维场景定位方法和装置
CN111460870A (zh) 目标的朝向确定方法及装置、电子设备及存储介质
KR20220092928A (ko) 포인트 클라우드 라벨링 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품
EP3156944A1 (en) Scene labeling of rgb-d data with interactive option
US20220222893A1 (en) Method and apparatus for generating three-dimensional face model, computer device, and storage medium
CN111784821B (zh) 三维模型生成方法、装置、计算机设备及存储介质
CN108830894A (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN110264509A (zh) 确定图像捕捉设备的位姿的方法、装置及其存储介质
CN110517214B (zh) 用于生成图像的方法和装置
CN107564080B (zh) 一种人脸图像的替换系统
US20120069018A1 (en) Ar process apparatus, ar process method and storage medium
CN108430032B (zh) 一种实现vr/ar设备位置共享的方法及设备
US11450068B2 (en) Method and device for processing image, and storage medium using 3D model, 2D coordinates, and morphing parameter
CN109005368A (zh) 一种高动态范围图像的生成方法、移动终端及存储介质
TWI750710B (zh) 圖像處理方法及裝置、圖像處理設備及儲存媒體
CN113470112A (zh) 图像处理方法、装置、存储介质以及终端
CN111382618A (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN106101575A (zh) 一种增强现实照片的生成方法、装置及移动终端
CN113822174B (zh) 视线估计的方法、电子设备及存储介质
CN110852934A (zh) 图像处理方法及装置、图像设备及存储介质
CN113658035A (zh) 脸部变换方法、装置、设备、存储介质以及产品
CN113596323A (zh) 智能合影方法、装置、移动终端及计算机程序产品
CN117422851A (zh) 虚拟换衣方法及其装置、电子设备
CN114727075A (zh) 投影控制方法和装置、投影设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40021612

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327