CN112785524B - 一种人物图像的修复方法、装置及电子设备 - Google Patents

一种人物图像的修复方法、装置及电子设备 Download PDF

Info

Publication number
CN112785524B
CN112785524B CN202110089245.6A CN202110089245A CN112785524B CN 112785524 B CN112785524 B CN 112785524B CN 202110089245 A CN202110089245 A CN 202110089245A CN 112785524 B CN112785524 B CN 112785524B
Authority
CN
China
Prior art keywords
image
human body
repaired
picture
character image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110089245.6A
Other languages
English (en)
Other versions
CN112785524A (zh
Inventor
邹智康
叶晓青
陈曲
孙昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110089245.6A priority Critical patent/CN112785524B/zh
Publication of CN112785524A publication Critical patent/CN112785524A/zh
Priority to US17/517,440 priority patent/US20220058779A1/en
Priority to EP21206464.6A priority patent/EP3929866A3/en
Application granted granted Critical
Publication of CN112785524B publication Critical patent/CN112785524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

本公开公开了一种人物图像的修复方法、装置及电子设备，涉及深度学习、计算机视觉等人工智能技术领域。具体实现方法为：获取待处理的图片，所述待处理的图片中包括待修复的人物图像；根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像，使得补全后的人物图像中的人体能够更加符合实际人体结构，从而补全待处理图像中人体被遮挡的部分，确保了人物图像修复过程中的准确性和可靠性。

Description

一种人物图像的修复方法、装置及电子设备
技术领域
本公开图像处理技术领域，尤其深度学习、计算机视觉等人工智能技术领域。
背景技术
相关技术中，人物图像的修复方法主要依赖2D(Two-Dimensional，简称二维)Inpainting(图像修复)技术，通过对图像中的人像进行检测，将检测出的人像送入Inpainting网络，得到输出图，即网络补全好人像遮挡部分的图像。
然而Inpainting的结果均由神经网络输出，对于未见过的人像完全没有处理能力，且仅依赖图像的语义信息，没有真实的人体结构作为依据，这样一来，势必会导致补全出错甚至不进行补全，以及补全的人像不符合真实分布的技术问题。因此，如何确保补全后的人物图像中的人体能够符合实际人体结构，提高人物图像修复过程中的准确性和可靠性，已成为了重要的研究方向之一。
发明内容
本公开提供了一种人物图像的修复方法、装置及电子设备。
根据本公开的一方面，提供了一种人物图像的修复方法，包括：
获取待处理的图片，所述待处理的图片中包括待修复的人物图像；
根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；
根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；
根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像。
根据本公开的另一方面，提供了一种人物图像的修复装置，包括：
获取模块，用于获取待处理的图片，所述待处理的图片中包括待修复的人物图像；
第一生成模块，用于根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；
第二生成模块，用于根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；
第三生成模块，用于根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的人物图像的修复方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开第一方面所述的人物图像的修复方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面所述的人物图像的修复方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是一种待处理的图片的示意图；
图3是根据本公开第二实施例的示意图；
图4是根据本公开第三实施例的示意图；
图5是根据本公开第四实施例的示意图；
图6是根据本公开第五实施例的示意图；
图7是根据本公开第六实施例的示意图；
图8是另一种待处理的图片的示意图；
图9是用来实现本公开实施例的人物图像的修复方法的人物图像的修复装置的框图；
图10是用来实现本公开实施例的人物图像的修复方法的人物图像的修复装置的框图；
图11是用来实现本公开实施例的人物图像的修复方法或人物图像的修复装置的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
以下对本公开的方案涉及的技术领域进行简要说明：
图像处理(ImageProcessing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。
AI(Artificial Intelligence，人工智能)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。
DL(Deep Learning，深度学习)，是ML机器学习(Machine Learning，机器学习)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
计算机视觉(Computer Vision)，是一门研究如何使机器“看”的科学，进一步地，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。
AR(Augmented Real ity，增强现实)，是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。
下面参考附图描述本公开实施例的一种人物图像的修复方法、装置及电子设备。
图1是根据本公开第一实施例的示意图。其中，需要说明的是，本公开实施例的人物图像的修复方法的执行主体为人物图像的修复装置，人物图像的修复装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。如图1所示，本实施例提出的人物图像的修复方法，包括如下步骤：
S101、获取待处理的图片，待处理的图片中包括待修复的人物图像。
其中，待处理的图片，可以为任一图片，又例如，可以对任一视频，例如教学视频和影视剧作品视频等视频，进行解码、抽帧后，得到一帧帧的图像，并选取其中的任一帧图像作为待处理的图片。
需要说明的是，在试图获取待处理的图片时，可以获取本地或者远程存储区域中预先存储的图片作为待处理的图片，也可以直接通过拍摄得到待处理的图片。可选地，可以从本地或者远程视频库、图片库中至少一处获取存储的视频或者图片，以获取待处理的图片；可选地，也可以直接拍摄图片作为待处理的图片。本公开实施例对获取待处理的图片的方式不作限定，可以根据实际情况进行选择。
需要说明的是，待处理的图片中包括待修复的人物图像。举例而言，如图2所示，待处理的图片2-1中包括待修复的人物图像丙2-2。
S102、根据待处理的图片生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息。
需要说明的是，本公开中对于根据待处理的图片生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息的具体方式不作限定，可以根据实际情况进行选取。
作为一种可能的实现方式，在获取待处理的图片后，可以将待处理的图片输入至预先训练好的模型中，以生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息。
其中，本公开中对于预先训练好的模型的具体选择不作限定，可以根据实际情况进行选取。例如，可以选取蒙皮多人线性表达模型(又称SMPLX模型)。SMPLX是一种人体参数化模型，通过对人体关键点、体型信息和摄像机位置这些参数来进行参数化，定义出人体的3D(Three-Dimensional，简称三维)模型。
S103、根据待处理的图片生成待修复的人物图像对应的分割图像。
本公开实施例中，在生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息后，可以利用相机参数和人体姿态信息投影到图像上，生成待修复的人物图像对应的分割图像。
S104、根据人体三维模型、相机参数、人体姿态信息和分割图像，生成待修复的人物图像对应的修复后人物图像。
需要说明的是，本公开中对于根据人体三维模型、相机参数、人体姿态信息和分割图像，生成待修复的人物图像对应的修复后人物图像的具体方式不作限定，可以根据实际情况进行选取。
作为一种可能的实现方式，可以根据相机参数和人体姿态信息将人体三维模型投影到待修复的人物图像上，以生成待修复的人物图像对应的修复后人物图像。
根据本公开实施例的人物图像的修复方法，可以获取待处理的图片，并根据待处理的图片生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息，然后根据待处理的图片生成待修复的人物图像对应的分割图像，进而根据人体三维模型、相机参数、人体姿态信息和分割图像，生成待修复的人物图像对应的修复后人物图像，以实现人物图像的修复，使得补全后的人物图像中的人体能够更加符合实际人体结构，从而补全待处理图像中人体被遮挡的部分，确保了人物图像修复过程中的准确性和可靠性。
图3是根据本公开第二实施例的示意图。作为一种可能的实现方式，如图3所示，在上述实施例的基础上，本公开提出的人物图像的修复方法，具体包括以下步骤：
S301、获取待处理的图片，待处理的图片中包括待修复的人物图像。
该步骤S301与步骤S101相同，此处不再赘述。
S302、根据待处理的图片生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息。
本公开实施例中，可以将待处理的图片输入至人体参数化模型，生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息。
其中，人体参数化模型，可以为蒙皮多人线性表达模型。
上述步骤S103中的具体过程，包括以下步骤S203～S205。
S303、根据待处理的图片生成待修复的人物图像对应的分割图像。
本公开实施例中，可以将待处理的图片输入至实例分割网络模型，生成待修复的人物图像对应的分割图像。
S304、根据人体三维模型、相机参数、人体姿态信息和分割图像，生成待修复的人物图像对应的修复后人物图像。
作为一种可能的实现方式，如图4所示，在上述实施例的基础上，上述步骤S304中根据人体三维模型、相机参数、人体姿态信息和分割图像，生成待修复的人物图像对应的修复后人物图像的具体过程，包括以下步骤：
S401、根据相机参数和人体姿态信息将人体三维模型投影到待修复的人物图像上，得到待修复的人物图像对应的投影图像。
作为一种可能的实现方式，如图5所示，在上述实施例的基础上，上述步骤S401中根据相机参数和人体姿态信息将人体三维模型投影到待修复的人物图像上，得到待修复的人物图像对应的投影图像的具体过程，包括以下步骤：
S501、根据人体姿态信息将人体三维模型投影到相机坐标系，得到相机坐标系下的人体三维模型。
可选地，在生成人体三维模型后，可以将人体三维模型投影到相机坐标系中，以得到相机坐标系下的人体三维模型Po：
其中，Po为相机坐标系下的人体三维模型、R和T为人体姿态信息、Pm为投影前的人体三维模型。
S502、根据相机参数和人体姿态信息将相机坐标系下的人体三维模型投影到待修复的人物图像上，得到待修复的人物图像对应的投影图像。
可选地，在得到相机坐标系下的人体三维模型后，可以根据相机参数和人体姿态信息将相机坐标系下的人体三维模型投影到待修复的人物图像上，以得到待修复的人物图像对应的投影图像Ip：
其中，K为相机参数。
S402、根据投影图像和分割图像生成待修复的人物图像对应的修复后人物图像。
作为一种可能的实现方式，如图6所示，在上述实施例的基础上，上述步骤S402中根据投影图像和分割图像生成待修复的人物图像对应的修复后人物图像的具体过程，包括以下步骤：
S601、根据投影图像和分割图像生成标记有颜色信息的人体三维模型。
需要说明的是，投影图像中的投影点可以在分割图像中，也可以不在分割图像中，下面分别针对投影点在分割图像中以及不在分割图像中的情况进行解释说明。
针对投影点在分割图像中，作为一种可能的实现方式，可以将待处理的图片中与投影点对应位置的颜色信息，标记为人体三维模型中与投影点对应的顶点的颜色信息。
针对投影点不在分割图像中，作为一种可能的实现方式，可以获取投影点在人体参数化模型中的对称点，并将待处理的图片中与对称点对应位置的颜色信息，标记为人体三维模型中与投影点对应的顶点的颜色信息。
S602、将标记有颜色信息的人体三维模型渲染成二维渲染图片。
需要说明的是，本公开中，对于将标记有颜色信息的人体三维模型渲染成二维渲染图片的具体渲染方式不作限定，可以根据实际情况进行选取。可选地，可以基于PythonRender(简称Pyrender)库进行渲染，以得到二维渲染图片；可选地，可以基于OpenGL库进行渲染，以得到二维渲染图片。
S603、根据分割图像对二维渲染图片和待处理的图片进行拼接，得到待修复的人物图像对应的修复后人物图像。
本公开实施例中，可以将待处理的图片中与分割图像中的点对应的点与二维渲染图片中与分割图像中的点不对应的点进行拼接，得到待修复的人物图像对应的修复后人物图像。
根据本公开实施例的人物图像的修复方法，可以基于图像分割技术和人体三维模型，有效地解决了待处理的图片中人像被遮挡的情况，对被遮挡部分进行更加准确地补全，以实现人物图像的修复，使得补全后的人物图像中的人体能够更加符合实际人体结构，从而补全待处理图像中人体被遮挡的部分，进一步提高了人物图像修复过程中的准确性和可靠性。
图7是根据本公开第六实施例的示意图。作为一种可能的实现方式，如图7所示，在上述实施例的基础上，本公开提出的人物图像的修复方法，具体包括以下步骤：
S701、获取待处理的图片，待处理的图片中包括待修复的人物图像。
S702、根据待处理的图片生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息。
S703、根据待处理的图片生成待修复的人物图像对应的分割图像。
S704、根据人体姿态信息将人体三维模型投影到相机坐标系，得到相机坐标系下的人体三维模型。
S705、根据相机参数和人体姿态信息将相机坐标系下的人体三维模型投影到待修复的人物图像上，得到待修复的人物图像对应的投影图像。
S706、根据投影图像和分割图像生成标记有颜色信息的人体三维模型。
S707、将标记有颜色信息的人体三维模型渲染成二维渲染图片。
S708、根据分割图像对二维渲染图片和待处理的图片进行拼接，得到待修复的人物图像对应的修复后人物图像。
需要说明的是，关于步骤S701～S708的介绍可参见上述实施例中的相关记载，此处不再赘述。
需要说明的是，本公开提出的人物图像的修复方法，可以运用于多种场景中。
针对基于AR技术的图像修复应用场景，如图8所示，待处理图像8-1中包括用户丙对应的待修复的人物图像8-2。可选地，可以基于DL、计算机视觉等AL技术，将待处理图像8-1输入至SMPLX模型中，生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息。进一步地，可以将待处理图像8-1输入至实例分割网络模型中，生成待修复的人物图像对应的分割图像8-3。
此种情况下，已经获取到人体三维模型、相机参数、人体姿态信息和分割图像，进一步地，可以根据相机参数和人体姿态信息将人体三维模型投影到待修复的人物图像上，得到待修复的人物图像对应的投影图像8-4。进一步地，可以根据投影图像和分割图像生成标记有颜色信息的人体三维模型，并将标记有颜色信息的人体三维模型渲染成二维渲染图片8-5，然后根据分割图像对二维渲染图片和待处理的图片进行拼接，将分割图像中存在的点用待处理的图片，不存在的点用二维渲染图片，以得到待修复的人物图像对应的修复后人物图像8-6。
根据本公开实施例的人物图像的修复方法，可以基于图像分割技术和人体三维模型，有效地解决了待处理的图片中人像被遮挡的情况，对被遮挡部分进行更加准确地补全，以实现人物图像的修复，使得补全后的人物图像中的人体能够更加符合实际人体结构，从而补全待处理图像中人体被遮挡的部分，进一步提高了人物图像修复过程中的准确性和可靠性。
与上述几种实施例提供的人物图像的修复方法相对应，本公开的一个实施例还提供一种人物图像的修复装置，由于本公开实施例提供的人物图像的修复装置与上述几种实施例提供的人物图像的修复方法相对应，因此在人物图像的修复方法的实施方式也适用于本实施例提供的人物图像的修复装置，在本实施例中不再详细描述。
图9是根据本公开一个实施例的人物图像的修复装置的结构示意图。
如图9所示，该人物图像的修复装置900，包括：获取模块910、第一生成模块920、第二生成模块930和第三生成模块940。其中，
获取模块910，用于获取待处理的图片，所述待处理的图片中包括待修复的人物图像；
第一生成模块920，用于根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；
第二生成模块930，用于根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；
第三生成模块940，用于根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像。
图10是根据本公开一个实施例的人物图像的修复装置的结构示意图。
如图10所示，该人物图像的修复装置1000，包括：获取模块1010、第一生成模块1020、第二生成模块1030和第三生成模块1040。
其中，第一生成模块1020，包括：
第一生成子模块1021，用于将所述待处理的图片输入至人体参数化模型，生成所述待修复的人物图像对应的所述人体三维模型、所述相机参数和所述人体姿态信息。
其中，所述人体参数化模型为蒙皮多人线性表达模型。
其中，第二生成模块1030，包括：
第二生成子模块1031，用于将所述待处理的图片输入至实例分割网络模型，生成所述待修复的人物图像对应的所述分割图像。
其中，第三生成模块1040，包括：
投影子模块1041，用于根据所述相机参数和所述人体姿态信息将所述人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的投影图像；
第三生成子模块1042，用于根据所述投影图像和所述分割图像生成所述待修复的人物图像对应的所述修复后人物图像。
其中，投影子模块1041，包括：
第一投影单元10411，用于根据所述人体姿态信息将所述人体三维模型投影到相机坐标系，得到所述相机坐标系下的人体三维模型；
第二投影单元10412，用于根据所述相机参数和所述人体姿态信息将所述相机坐标系下的人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的所述投影图像。
其中，第三生成子模块1042，包括：
生成单元10421，用于根据所述投影图像和所述分割图像生成标记有颜色信息的人体三维模型；
渲染单元10422，用于将所述标记有颜色信息的人体三维模型渲染成二维渲染图片；
拼接单元10423，用于根据所述分割图像对所述二维渲染图片和所述待处理的图片进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像。
其中，生成单元10421，包括：
第一标记子单元104211，用于所述投影图像中的投影点在所述分割图像中，则将所述待处理的图片中与所述投影点对应位置的颜色信息，标记为所述人体三维模型中与所述投影点对应的顶点的颜色信息；
第二标记子单元104212，用于所述投影图像中的投影点不在所述分割图像中，则获取所述投影点在人体参数化模型中的对称点，并将所述待处理的图片中与所述对称点对应位置的颜色信息，标记为所述人体三维模型中与所述投影点对应的顶点的颜色信息。
其中，拼接单元10423，包括：
拼接子单元104231，用于将所述待处理的图片中与所述分割图像中的点对应的点与所述二维渲染图片中与所述分割图像中的点不对应的点进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像。
需要说明的是，获取模块1010与获取模块910具有相同功能和结构。
根据本公开实施例的人物图像的修复方法，可以获取待处理的图片，并根据待处理的图片生成待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息，然后根据待处理的图片生成待修复的人物图像对应的分割图像，进而根据人体三维模型、相机参数、人体姿态信息和分割图像，生成待修复的人物图像对应的修复后人物图像，以实现人物图像的修复，使得补全后的人物图像中的人体能够更加符合实际人体结构，从而补全待处理图像中人体被遮挡的部分，确保了人物图像修复过程中的准确性和可靠性。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图11示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程序，来执行各种适当的动作和处理。在RAM1103中，还可存储设备1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
设备1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如人物图像的修复方法。例如，在一些实施例中，人物图像的修复方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到设备1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的人物图像的修复方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行人物图像的修复方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程人物图像的修复装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、互联网以及区块链网络。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务端可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(“Virtual Private Server”，或简称“VPS”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
根据本公开实施例，本公开还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面所述的人物图像的修复方法。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (19)

1.一种人物图像的修复方法，包括：
获取待处理的图片，所述待处理的图片中包括待修复的人物图像；
根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；
根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；
根据所述相机参数和所述人体姿态信息将所述人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的投影图像；
根据所述投影图像和所述分割图像生成所述待修复的人物图像对应的修复后人物图像。
2.根据权利要求1所述的修复方法，其中，所述根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息，包括：
将所述待处理的图片输入至人体参数化模型，生成所述待修复的人物图像对应的所述人体三维模型、所述相机参数和所述人体姿态信息。
3.根据权利要求2所述的修复方法，其中，所述人体参数化模型为蒙皮多人线性表达模型。
4.根据权利要求1所述的修复方法，其中，所述根据所述待处理的图片生成所述待修复的人物图像对应的分割图像，包括：
将所述待处理的图片输入至实例分割网络模型，生成所述待修复的人物图像对应的所述分割图像。
5.根据权利要求1所述的修复方法，其中，所述根据所述相机参数和所述人体姿态信息将所述人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的投影图像，包括：
根据所述人体姿态信息将所述人体三维模型投影到相机坐标系，得到所述相机坐标系下的人体三维模型；
根据所述相机参数和所述人体姿态信息将所述相机坐标系下的人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的所述投影图像。
6.根据权利要求1所述的修复方法，其中，所述根据所述投影图像和所述分割图像生成所述待修复的人物图像对应的修复后人物图像，包括：
根据所述投影图像和所述分割图像生成标记有颜色信息的人体三维模型；
将所述标记有颜色信息的人体三维模型渲染成二维渲染图片；
根据所述分割图像对所述二维渲染图片和所述待处理的图片进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像。
7.根据权利要求6所述的修复方法，其中，所述根据所述投影图像和所述分割图像生成标记有颜色信息的人体三维模型，包括：
所述投影图像中的投影点在所述分割图像中，则将所述待处理的图片中与所述投影点对应位置的颜色信息，标记为所述人体三维模型中与所述投影点对应的顶点的颜色信息；
所述投影图像中的投影点不在所述分割图像中，则获取所述投影点在人体参数化模型中的对称点，并将所述待处理的图片中与所述对称点对应位置的颜色信息，标记为所述人体三维模型中与所述投影点对应的顶点的颜色信息。
8.根据权利要求6所述的修复方法，其中，所述根据所述分割图像对所述二维渲染图片和所述待处理的图片进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像，包括：
将所述待处理的图片中与所述分割图像中的点对应的点与所述二维渲染图片中与所述分割图像中的点不对应的点进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像。
9.一种人物图像的修复装置，包括：
获取模块，用于获取待处理的图片，所述待处理的图片中包括待修复的人物图像；
第一生成模块，用于根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；
第二生成模块，用于根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；
第三生成模块，用于根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像；
所述第三生成模块，包括：
投影子模块，用于根据所述相机参数和所述人体姿态信息将所述人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的投影图像；
第三生成子模块，用于根据所述投影图像和所述分割图像生成所述待修复的人物图像对应的所述修复后人物图像。
10.根据权利要求9所述的修复装置，其中，所述第一生成模块，包括：
第一生成子模块，用于将所述待处理的图片输入至人体参数化模型，生成所述待修复的人物图像对应的所述人体三维模型、所述相机参数和所述人体姿态信息。
11.根据权利要求10所述的修复装置，其中，所述人体参数化模型为蒙皮多人线性表达模型。
12.根据权利要求9所述的修复装置，其中，所述第二生成模块，包括：
第二生成子模块，用于将所述待处理的图片输入至实例分割网络模型，生成所述待修复的人物图像对应的所述分割图像。
13.根据权利要求9所述的修复装置，其中，所述投影子模块，包括：
第一投影单元，用于根据所述人体姿态信息将所述人体三维模型投影到相机坐标系，得到所述相机坐标系下的人体三维模型；
第二投影单元，用于根据所述相机参数和所述人体姿态信息将所述相机坐标系下的人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的所述投影图像。
14.根据权利要求9所述的修复装置，其中，所述第三生成子模块，包括：
生成单元，用于根据所述投影图像和所述分割图像生成标记有颜色信息的人体三维模型；
渲染单元，用于将所述标记有颜色信息的人体三维模型渲染成二维渲染图片；
拼接单元，用于根据所述分割图像对所述二维渲染图片和所述待处理的图片进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像。
15.根据权利要求14所述的修复装置，其中，所述生成单元，包括：
第一标记子单元，用于所述投影图像中的投影点在所述分割图像中，则将所述待处理的图片中与所述投影点对应位置的颜色信息，标记为所述人体三维模型中与所述投影点对应的顶点的颜色信息；
第二标记子单元，用于所述投影图像中的投影点不在所述分割图像中，则获取所述投影点在人体参数化模型中的对称点，并将所述待处理的图片中与所述对称点对应位置的颜色信息，标记为所述人体三维模型中与所述投影点对应的顶点的颜色信息。
16.根据权利要求14所述的修复装置，其中，所述拼接单元，包括：
拼接子单元，用于将所述待处理的图片中与所述分割图像中的点对应的点与所述二维渲染图片中与所述分割图像中的点不对应的点进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像。
17.一种电子设备，其特征在于，包括处理器和存储器；
其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如权利要求1-8中任一所述的人物图像的修复方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一所述的人物图像的修复方法。
19.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一所述的人物图像的修复方法。
CN202110089245.6A 2021-01-22 2021-01-22 一种人物图像的修复方法、装置及电子设备 Active CN112785524B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110089245.6A CN112785524B (zh) 2021-01-22 2021-01-22 一种人物图像的修复方法、装置及电子设备
US17/517,440 US20220058779A1 (en) 2021-01-22 2021-11-02 Inpainting method and apparatus for human image, and electronic device
EP21206464.6A EP3929866A3 (en) 2021-01-22 2021-11-04 Inpainting method and apparatus for human image, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110089245.6A CN112785524B (zh) 2021-01-22 2021-01-22 一种人物图像的修复方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112785524A CN112785524A (zh) 2021-05-11
CN112785524B true CN112785524B (zh) 2024-05-24

Family

ID=75758651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110089245.6A Active CN112785524B (zh) 2021-01-22 2021-01-22 一种人物图像的修复方法、装置及电子设备

Country Status (3)

Country Link
US (1) US20220058779A1 (zh)
EP (1) EP3929866A3 (zh)
CN (1) CN112785524B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427864A (zh) * 2019-07-29 2019-11-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置及电子设备
CN111339870A (zh) * 2020-02-18 2020-06-26 东南大学 一种针对物体遮挡场景的人体形状和姿态估计方法
CN111739161A (zh) * 2020-07-23 2020-10-02 之江实验室 一种有遮挡情况下的人体三维重建方法、装置及电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352885B2 (en) * 2004-09-30 2008-04-01 General Electric Company Method and system for multi-energy tomosynthesis
CA2734143C (en) * 2008-08-15 2021-08-31 Brown University Method and apparatus for estimating body shape
IL196162A (en) * 2008-12-24 2013-02-28 Rafael Advanced Defense Sys A system that uses 3D models to enable image comparison regardless of the source of the images
US10679046B1 (en) * 2016-11-29 2020-06-09 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Machine learning systems and methods of estimating body shape from images
GB201703129D0 (en) * 2017-02-27 2017-04-12 Metail Ltd Quibbler
EP3579196A1 (en) * 2018-06-05 2019-12-11 Cristian Sminchisescu Human clothing transfer method, system and device
US11036975B2 (en) * 2018-12-14 2021-06-15 Microsoft Technology Licensing, Llc Human pose estimation
US10839586B1 (en) * 2019-06-07 2020-11-17 Snap Inc. Single image-based real-time body animation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427864A (zh) * 2019-07-29 2019-11-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置及电子设备
CN111339870A (zh) * 2020-02-18 2020-06-26 东南大学 一种针对物体遮挡场景的人体形状和姿态估计方法
CN111739161A (zh) * 2020-07-23 2020-10-02 之江实验室 一种有遮挡情况下的人体三维重建方法、装置及电子设备

Also Published As

Publication number Publication date
CN112785524A (zh) 2021-05-11
EP3929866A3 (en) 2022-06-08
EP3929866A2 (en) 2021-12-29
US20220058779A1 (en) 2022-02-24

Similar Documents

Publication Publication Date Title
JP7135125B2 (ja) 近赤外画像の生成方法、近赤外画像の生成装置、生成ネットワークの訓練方法、生成ネットワークの訓練装置、電子機器、記憶媒体及びコンピュータプログラム
CN114550177B (zh) 图像处理的方法、文本识别方法及装置
CN111832745A (zh) 数据增广的方法、装置及电子设备
CN113221771B (zh) 活体人脸识别方法、装置、设备、存储介质及程序产品
CN114187624B (zh) 图像生成方法、装置、电子设备及存储介质
US20220358735A1 (en) Method for processing image, device and storage medium
CN114067051A (zh) 三维重建处理方法、装置、电子设备以及存储介质
CN111754431B (zh) 一种图像区域替换方法、装置、设备及存储介质
CN113379877B (zh) 人脸视频生成方法、装置、电子设备及存储介质
CN114792355A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114708374A (zh) 虚拟形象生成方法、装置、电子设备和存储介质
CN114049290A (zh) 图像处理方法、装置、设备及存储介质
US20220392251A1 (en) Method and apparatus for generating object model, electronic device and storage medium
CN113658035A (zh) 脸部变换方法、装置、设备、存储介质以及产品
CN113221767A (zh) 训练活体人脸识别模型、识别活体人脸的方法及相关装置
CN115222895B (zh) 图像生成方法、装置、设备以及存储介质
US20230115765A1 (en) Method and apparatus of transferring image, and method and apparatus of training image transfer model
CN115239892B (zh) 三维血管模型的构建方法、装置、设备及存储介质
CN114863450B (zh) 图像处理方法、装置、电子设备及存储介质
CN112785524B (zh) 一种人物图像的修复方法、装置及电子设备
CN115775300A (zh) 人体模型的重建方法、人体重建模型的训练方法及装置
CN115409951A (zh) 图像处理方法、装置、电子设备及存储介质
CN113902932A (zh) 特征提取方法、视觉定位方法及装置、介质和电子设备
CN114120433B (zh) 图像处理方法、图像处理装置、电子设备和介质
CN114820908B (zh) 虚拟形象生成方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant