CN112651956A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

图像处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112651956A
CN112651956A CN202011630194.5A CN202011630194A CN112651956A CN 112651956 A CN112651956 A CN 112651956A CN 202011630194 A CN202011630194 A CN 202011630194A CN 112651956 A CN112651956 A CN 112651956A
Authority
CN
China
Prior art keywords
image
processed
beautified
background image
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011630194.5A
Other languages
English (en)
Other versions
CN112651956B (zh
Inventor
张阳
黄映婷
刘佳斌
肖婷
郑文先
邓浩然
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Original Assignee
Chengdu Yuntian Lifei Technology Co ltd
Shenzhen Intellifusion Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Yuntian Lifei Technology Co ltd, Shenzhen Intellifusion Technologies Co Ltd filed Critical Chengdu Yuntian Lifei Technology Co ltd
Priority to CN202011630194.5A priority Critical patent/CN112651956B/zh
Publication of CN112651956A publication Critical patent/CN112651956A/zh
Application granted granted Critical
Publication of CN112651956B publication Critical patent/CN112651956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法，包括：获取待处理图像，待处理图像为摆拍视频流图像，待处理图像中包括多个人员对象；从待处理图像中提取出待处理对象与非处理对象，并对待处理对象进行预设的美化操作，得到美化对象；对待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；基于美化对象对非处理对象进行配准，得到配准后的多个人员对象；将配准后的多个人员对象与融合背景图像进行融合，得到目标图像。本发明能够在摆拍过程中，对美化后的美化对象和非处理对象进行配准后与背景图像融合，避免运动目标的变形，使得目标图像中的行人更加自然。

Description

图像处理方法、装置、电子设备及存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术
近年来，随着自媒体的飞速发展和智能电子产品的普及，人们可以通过智能手机、智能相机等终端设备将自己的照片或视频放到社交网络上进行展示。随着审美同质化的趋势越来越强，为了使拍照效果更加符合网络上大多数人的审美，现有的一些智能终端具备人体美化功能，比如瘦身、长腿、改变身体比例、瘦腿等功能。其中，现有技术中进行美体的方法主要是采用对应人体变形算法直接对人体的某个部位进行拉长和缩放，比如拉长腿和缩放脸或腰等，由于在自媒体的视频创作中，常常会用到摆拍方式获取素材图像，在摆拍过程中，会有行人路过，这个时候，行人也会被美化，然而由于是摆拍，美化的方式不是针对行人的，会造成行人扭曲，使得素材图像不够自然，比如，在对摆拍的人进行长腿和瘦腿的美化时，一个身材较胖的行人走过，他的腿也被美化，变得又长又瘦，这样，使得获取的素材图像中，该行人的体形如同青蛙一样，上身胖，双腿细又长，因此，现有技术中进行美体的方法在摆拍过程中对于运动目标而言变形比较明显。
发明内容
本发明实施例提供一种图像处理方法，能够在摆拍过程中，将待处理对象与非处理对象进行分开，只对待处理对象进行美化，不对非处理对象进行美化，并对美化后的美化对象和非处理对象进行配准后与背景图像融合，避免运动目标的变形，使得目标图像中的行人更加自然。
第一方面，本发明实施例提供一种图像处理方法，所述方法包括：
获取待处理图像，所述待处理图像为摆拍视频流图像，所述待处理图像中包括多个人员对象；
从所述待处理图像中提取出待处理对象与非处理对象，并对所述待处理对象进行预设的美化操作，得到美化对象；
对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；
基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象；
将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像。
可选的，所述从所述待处理图像中提取出待处理目标对象与非处理目标对象，包括：
通过图像差分法对所述待处理图像进行第一处理，提取出运动人员对象信息；
通过预设的目标提取网络对所述待处理图像进行第二处理，提取出所有人员对象信息；
根据所述所有人员对象信息与运动人员对象信息，确定静止人员对象信息，将所述静止人员信息作为待处理对象，将所述运动人员对象作为非处理对象。
可选的，所述通过图像差分法对所述待处理图像进行第一处理，提取出运动人员对象信息，包括：
获取待处理图像中的当前帧图像中各个像素点的像素值，以及上一帧图像中各个像素点的像素值；
使用所述当前帧图像中各个像素点的像素值的减去上一帧图像中对应各个像素点的像素值，得到运动人员对象信息。
可选的，所述对所述待处理对象进行预设的美化操作，得到美化对象，包括：
确定所述待处理对象的美化区域与非美化区域；
通过预设的美化操作对所述待处理区域进行美化处理，并通过均值滤波将非美化区域与美化处理后的美化区域进行平滑，得到美化对象。
可选的，所述待处理图像包括景深信息，所述基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象，包括：
根据所述待处理对象的景深信息，计算所述美化对象的配准景深信息；
通过所述美化对象的配准景深信息对所述美化对象进行景深配准；
计算所述待处理对象的景深信息与所述非处理对象的景深信息之间的景深关系；
根据所述待处理对象的景深信息与所述非处理对象的景深信息之间的景深关系，以所述美化对象的配准景深为基础对所述非处理对象进行景深配准，得到配准后的的多个人员对象。
可选的，所述将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像，包括：
根据所述美化对象的配准景深，对所述配准后的的多个人员对象与所述融合背景图像进行融合，得到目标图像。
可选的，所述对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像，包括：
通过当前帧图像的前n帧图像进行高斯动态背景建模，得到第一背景图像；
将所述待处理图像中的所述待处理与非处理对象进行抠除，得到所述待处理图像的第二背景图像；
将所述第一背景图像与所述第二背景图像在通道维度上进行拼接融合，得到第一融合背景图像；
对所述第一融合背景图像进行极大值采样，得到融合背景图像。
第二方面，本发明实施例还一种图像处理装置，所述装置包括：
获取模块，用于获取待处理图像，所述待处理图像为摆拍视频流图像，所述待处理图像中包括多个人员对象；
提取模块，用于从所述待处理图像中提取出待处理对象与非处理对象，并对所述待处理对象进行预设的美化操作，得到美化对象；
第一融合模块，用于对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；
配准模块，用于基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象；
第二融合模块，用于将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像。
第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的图像处理方法中的步骤。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的图像处理方法中的步骤。
本发明实施例中，获取待处理图像，所述待处理图像为摆拍视频流图像，所述待处理图像中包括多个人员对象；从所述待处理图像中提取出待处理对象与非处理对象，并对所述待处理对象进行预设的美化操作，得到美化对象；对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象；将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像。能够在摆拍过程中，将待处理对象与非处理对象进行分开，只对待处理对象进行美化，不对非处理对象进行美化，并对美化后的美化对象和非处理对象进行配准后与背景图像融合，避免运动目标的变形，使得目标图像中的行人更加自然。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理方法的流程图；
图2是本发明实施例提供的一种确定待处理对象的方法流程图；
图3是本发明实施例提供的一种图像处理装置的结构示意图；
图4是本发明实施例提供的一种提取模块的结构示意图；
图5是本发明实施例提供的一种第一处理子模块的结构示意图；
图6是本发明实施例提供的另一种提取模块的结构示意图；
图7是本发明实施例提供的一种配准模块的结构示意图；
图8是本发明实施例提供的一种第一融合模块的结构示意图；
图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参见图1，图1是本发明实施例提供的一种图像处理方法的流程图，如图1所示，包括以下步骤：
101、获取待处理图像。
在本发明实施例中，上述待处理图像为摆拍视频流图像，上述待处理图像中包括多个人员对象。上述待处理图像可以通过智能手机、智能相机等可拍照的终端设备在进行摆拍时获取，用户在使用终端设备进行拍摄时，可以选择进行摆拍美化模式，从而使终端设备执行本发明实施例提供的图像处理方法，进而得到对应摆拍视频流图像作为待处理图像。上述多个人员对象中包括摆拍用户(待处理对象)和至少一个行人对象。
需要说明的是，上述摆拍指的是将拍照的终端设备进行固定后，对特定区域进行拍摄，一般是由摆拍用户站在该特定区域中的特定位置(比如可以是拍照的终端设备的拍摄视觉中心)，拍照的终端设备对特定区域进行拍摄时，可以拍摄到位于特定位置上的摆拍用户。在摆拍的过程中，经常会有行人路过，或从摆拍用户身后路过，或从摆拍用户身前路过，因此，上述待处理图像中通常会包含多个人员对象。
102、从待处理图像中提取出待处理对象与非处理对象，并对待处理对象进行预设的美化操作，得到美化对象。
在本发明实施例中，上述待处理对象可以理解需要进行美化操作的对象，进一步可以理解为摆拍用户，上述非处理对象可以理解为不需要进行美化操作的对象，比如行人。
可选的，由摆拍的性质可知，摆拍用户因为需要保持在特定位置，一般不会轻易移动，因此，上述待处理对象则可以通过判断哪些人员对象为静止对象来进行确定。在运动目标检测中，可以将前景(运动对象)与背景进行区分，然而，由于摆拍用户需要保持在特定位置，如果使用前景与背景的方法进行区分，则会将摆拍用户当作背景处理，因此，本发明实施例提供一种确定待处理对象的方法，具体的，请参见图2，图2是本发明实施例提供的一种确定待处理对象的方法流程图，如图2所示，包括以下步骤：
201、通过图像差分法对待处理图像进行第一处理，提取出运动人员对象信息。
在本发明实施例中，上述运动人员对象信息指的是运动人员对象的位置和人体轮廓。上述运动人员对象指是在摆拍视频流图像中，一个人员对象在相邻两帧之间发生移动，比如，在第n－1帧图像中，该个人员对象在A点，在第n帧图像中，该个人员对象在B点，A点与B点为不同位置，此时，则可以认为该个人员对象为运动人员对象。
具体的，在图像差分法中，对相邻两帧图像的像素点进行相减，可以获取待处理图像中的当前帧图像中各个像素点的像素值，以及上一帧图像中各个像素点的像素值；使用当前帧图像中各个像素点的像素值的减去上一帧图像中对应各个像素点的像素值，得到运动人员对象信息。可以理解的是，由于静止像素点在相邻两帧图像中的像素值相同或接近，因此，相减后静止像素点的差值接近于0，而运动像素点在相邻两帧图像中的像素值不同，因此，相减后运动像素点的差值较大。上述的第一处理在本发明实施例中指的是对所有运动人员对象进行人体轮廓提取。
202、通过预设的目标提取网络对待处理图像进行第二处理，提取出所有人员对象信息。
在本发明实施例中，上述所有人员对象信息指的是所有人员对象的位置和人体轮廓。上述目标提取网络可以是能够提取人体轮廓的网络，上述目标提取网络可以是基于神经网络进行构建的，比如，可以是基于LFM(A Late Fusion CNN for Digital Matting，是一种端到端的神经网络)进行构建的，可以实现对人像的精确抠图，从而提取到人体轮廓。上述的第二处理在本发明实施例中指的是对所有人员对象进行人体轮廓提取。
203、根据所有人员对象信息与运动人员对象信息，确定静止人员对象信息，将静止人员信息作为待处理对象，将运动人员对象作为非处理对象。
在本发明实施例中，通过第二处理，可以得到所有人员对象的人体轮廓，所有人员对象的人体轮廓中包括运动人员对象的人体轮廓以及静止人员对象的人体轮廓，只需要在所有人员对象的人体轮廓中确定出运动人员对象的人体轮廓位置，则剩下的人员对象的人体轮廓则为静止人员对象的人体轮廓。
由于待处理对象为摆拍用户，摆拍用户几乎是不会移动的，所以可以将静止人员对象确定为摆拍用户，进而将静止人员对象确定为待处理对象。进一步的，在步骤201中通过差分算法得到的运动人员对象的人体轮廓在精确度上小于步骤202中通过基于LFM进行构建的目标提取网络提取到的人体轮廓，所以可以从步骤202中所有人员对象中确定出运动人员对象的人体轮廓。
可选的，在本发明实施例中，上述美化操作可以是人体美化操作或人脸美化操作，上述人体美化操作可以是瘦身、长腿、改变身体比例、瘦腿等操作，上述人脸美化操作可以是瘦脸、拉长脸形、大眼睛、皮肤美白等操作。
上述预设的美化操作可以是摆拍用户进行选取来确定的，具体的，上述拍照的终端设备上设置有交互界面，上述的交互界面中可勾选的显示人体美化操作和人脸美化操作，可以单独勾选人体美化操作和人脸美化操作中的一种，或者同时勾选人体美化操作和人脸美化操作。也可以具体到人体美化操作的子界面中，勾选瘦身、长腿、改变身体比例、瘦腿等操作中的一项或多项，以及可以具体到人脸美化操作的子界面中，勾选瘦脸、拉长脸形、大眼睛、皮肤美白等操作中的一项或多项。
上述美化操作可以是基于人体区域的，根据不同的美化操作，将人体分为美化区域和非美化区域，比如，美化操作为长腿，则美化区域为腿部，非美化区域为上身。具体的，可以根据美化操作确定待处理对象的美化区域与非美化区域，通过预设的美化操作对待处理区域进行美化处理，并通过均值滤波将非美化区域与美化处理后的美化区域进行平滑，得到美化对象。具体的，可以是通过均值滤波将非美化区域与美化处理后的美化区域之间的连接处理进行平滑。上述的均值滤波可以理解为是对某一像素点的领域内几个像素灰度值的均值来替换该点的灰度。具体的，可以设待平滑区域为f(x,y)，取f(x,y)的每个像素点一个领域S，N表示领域S内的像素个数，具体可以通过下述式子进行表示：
Figure BDA0002876095950000081
进一步的，用空间域卷积运算的方式来描述，把均值化处理看作是用一个M*N大小的均值滤波器对图像f(x,y)进行平滑，均值滤波器输出的图像g(x,y)可以表示为：
Figure BDA0002876095950000082
其中，k＝(m-1)/2，l＝(n-1)/2，根据所选领域大小来决定模板大小，一般将h(r,s)称为掩模(MASK)或模板。在本发明实施例中，可以选择4点领域，即与某一像素点的上下左右连接的4个像素点。
103、对待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像。
在本发明实施例中，上述的动态背景重建可以是根据待处理图像中的前几帧图像进行的，可以理解为是根据摆拍视频流图像中的前n帧图像进行动态背景重建。
上述第二背景图像为待处理图像中当前帧图像的背景图像，具体来说，是当前帧图像抠去多个所有人员对象后得到的背景图像。
具体的，可以是通过当前帧图像的前n帧图像进行高斯动态背景建模，得到第一背景图像；将待处理图像中的待处理对象与非处理对象进行抠除，得到待处理图像的第二背景图像；将第一背景图像与第二背景图像在通道维度上进行拼接融合，得到第一融合背景图像；对第一融合背景图像进行极大值采样，得到融合背景图像。
由于上述第二背景图像中抠除了待处理对象与非处理处理对象，所以会存在无像素区域，通过第一背景图像与第二背景图像的融合，可以保留一部分第二背景图像的内容，同时可以对无像素区域进行补全。上述第一背景图像与第二背景图像在通道维度上进行拼接，可以理解为第一背景图像为一个通道，第二背景图像为一个通道，第一背景图像与第二背景图像拼接后，不会改变第一背景图像中各个像素点的像素值，也不会改变第二背景图像中各个像素点的像素值。上述的极大值采样可以理解为在对于一个像素点，在第一背景图像中的像素值为a，在第二背景图像中的像素值为b，若a比b大，则取a作为该个像素点在融合背景图像中的像素值。
104、基于美化对象对非处理对象进行配准，得到配准后的多个人员对象。
在本发明实施例中，由于在现实空间中，不同摆拍用户与行人存在空间关系，为了使美化对象(摆拍用户)与非处理对象在图像上的空间关系更自然，可以对美化对象与非处理对象进行配准，从而得到配准后的多个人员对象。
进一步的，上述待处理图像包括景深信息，具体来说，上述拍照的终端设备为可以采集到景深信息的终端设备，使得拍摄到的摆拍视频流图像中的每一帧都会包括景深信息，从而使得所有的人员对象也具有对应的景深信息。
更进一步的，可以根据上述待处理对象的景深信息，计算上述美化对象的配准景深信息，比如，上述待处理对象的景深信息为5米，则上述美化对象配准景深信息也可以是5米；通过上述美化对象的配准景深信息对上述美化对象进行景深配准；计算上述待处理对象的景深信息与上述非处理对象的景深信息之间的景深关系，比如，待处理对象的景深信息为5米，非处理对象A的景深信息为8米，则待处理对象的景深信息与非处理对象A的景深信息之间的景深关系为3米；根据上述待处理对象的景深信息与上述非处理对象的景深信息之间的景深关系，以上述美化对象的配准景深为基础对上述非处理对象进行景深配准，得到配准后的的多个人员对象，比如，待处理对象的景深信息与非处理对象A的景深信息之间的景深关系为3米，则以上述美化对象的配准景深5米为基础，将非处理对象A配准到景深8米处。在一些可能的实施例中，在进行长腿美化时，往往需要拉长腿部区域的背景，使得待处理图像的景深发生变化，比如，使得景深增加，此时，进而使得上述美化对象的配准景深变为6米，则以上述美化对象的配准景深6米为基础，将非处理对象A配准到景深9米处。
在本发明实施例中，上述融合背景图像也包括景深信息，可以根据美化对象的配准景深，对配准后的多个人员对象与融合背景图像进行融合，得到目标图像。比如，当美化对象的配准景深为5米时，以融合背景图像中景深信息5米处将美化对象与融合背景图像进行融合，同理，非处理对象也可以通过与美化对象融合方法相同的方式进行融合。
本发明实施例中，获取待处理图像，所述待处理图像为摆拍视频流图像，所述待处理图像中包括多个人员对象；从所述待处理图像中提取出待处理对象与非处理对象，并对所述待处理对象进行预设的美化操作，得到美化对象；对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象；将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像。能够在摆拍过程中，将待处理对象与非处理对象进行分开，只对待处理对象进行美化，不对非处理对象进行美化，并对美化后的美化对象和非处理对象进行配准后与背景图像融合，避免运动目标的变形，使得目标图像中的行人更加自然。
需要说明的是，本发明实施例提供的图像处理方法可以应用于可以进行图像处理的手机、监控器、计算机、服务器等设备。
请参见图3，图3是本发明实施例提供的一种图像处理装置的结构示意图，如图3所示，所述装置包括：
获取模块301，用于获取待处理图像，所述待处理图像为摆拍视频流图像，所述待处理图像中包括多个人员对象；
提取模块302，用于从所述待处理图像中提取出待处理对象与非处理对象，并对所述待处理对象进行预设的美化操作，得到美化对象；
第一融合模块303，用于对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；
配准模块304，用于基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象；
第二融合模块305，用于将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像。
可选的，如图4所示，所述提取模块302，包括：
第一处理子模块3021，用于通过图像差分法对所述待处理图像进行第一处理，提取出运动人员对象信息；
第二处理子模块3022，用于通过预设的目标提取网络对所述待处理图像进行第二处理，提取出所有人员对象信息；
第一确定子模块3023，用于根据所述所有人员对象信息与运动人员对象信息，确定静止人员对象信息，将所述静止人员信息作为待处理对象，将所述运动人员对象作为非处理对象。
可选的，如图5所示，所述第一处理子模块3021，包括：
获取单元30211，用于获取待处理图像中的当前帧图像中各个像素点的像素值，以及上一帧图像中各个像素点的像素值；
计算单元30212，用于使用所述当前帧图像中各个像素点的像素值的减去上一帧图像中对应各个像素点的像素值，得到运动人员对象信息。
可选的，如图6所示，所述提取模块302还包括：
第二确定子模块3024，用于确定所述待处理对象的美化区域与非美化区域；
美化子模块3025，用于通过预设的美化操作对所述待处理区域进行美化处理，并通过均值滤波将非美化区域与美化处理后的美化区域进行平滑，得到美化对象。
可选的，如图7所示，所述配准模块304，包括：
第一计算子模块3041，用于根据所述待处理对象的景深信息，计算所述美化对象的配准景深信息；
第一配准子模块3042，用于通过所述美化对象的配准景深信息对所述美化对象进行景深配准；
第二计算子模块3043，用于计算所述待处理对象的景深信息与所述非处理对象的景深信息之间的景深关系；
第二配准子模块3044，用于根据所述待处理对象的景深信息与所述非处理对象的景深信息之间的景深关系，以所述美化对象的配准景深为基础对所述非处理对象进行景深配准，得到配准后的的多个人员对象。
可选的，所述第二融合模块305还用于根据所述美化对象的配准景深，对所述配准后的的多个人员对象与所述融合背景图像进行融合，得到目标图像。
可选的，如图8所示，所述第一融合模块303，包括：
建模子模块3031，用于通过当前帧图像的前n帧图像进行高斯动态背景建模，得到第一背景图像；
抠除子模块3032，用于将所述待处理图像中的所述待处理与非处理对象进行抠除，得到所述待处理图像的第二背景图像；
第一融合子模块3033，用于将所述第一背景图像与所述第二背景图像在通道维度上进行拼接融合，得到第一融合背景图像；
第二融合子模块3034，用于对所述第一融合背景图像进行极大值采样，得到融合背景图像。
需要说明的是，本发明实施例提供的图像处理装置可以应用于可以进行图像处理的手机、监控器、计算机、服务器等设备。
本发明实施例提供的图像处理装置能够实现上述方法实施例中图像处理方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
参见图9，图9是本发明实施例提供的一种电子设备的结构示意图，如图9所示，包括：存储器902、处理器901及存储在所述存储器902上并可在所述处理器901上运行的计算机程序，其中：
处理器901用于调用存储器902存储的计算机程序，执行如下步骤：
获取待处理图像，所述待处理图像为摆拍视频流图像，所述待处理图像中包括多个人员对象；
从所述待处理图像中提取出待处理对象与非处理对象，并对所述待处理对象进行预设的美化操作，得到美化对象；
对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；
基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象；
将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像。
可选的，处理器901执行的所述从所述待处理图像中提取出待处理目标对象与非处理目标对象，包括：
通过图像差分法对所述待处理图像进行第一处理，提取出运动人员对象信息；
通过预设的目标提取网络对所述待处理图像进行第二处理，提取出所有人员对象信息；
根据所述所有人员对象信息与运动人员对象信息，确定静止人员对象信息，将所述静止人员信息作为待处理对象，将所述运动人员对象作为非处理对象。
可选的，处理器901执行的所述通过图像差分法对所述待处理图像进行第一处理，提取出运动人员对象信息，包括：
获取待处理图像中的当前帧图像中各个像素点的像素值，以及上一帧图像中各个像素点的像素值；
使用所述当前帧图像中各个像素点的像素值的减去上一帧图像中对应各个像素点的像素值，得到运动人员对象信息。
可选的，处理器901执行的所述对所述待处理对象进行预设的美化操作，得到美化对象，包括：
确定所述待处理对象的美化区域与非美化区域；
通过预设的美化操作对所述待处理区域进行美化处理，并通过均值滤波将非美化区域与美化处理后的美化区域进行平滑，得到美化对象。
可选的，所述待处理图像包括景深信息，处理器901执行的所述基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象，包括：
根据所述待处理对象的景深信息，计算所述美化对象的配准景深信息；
通过所述美化对象的配准景深信息对所述美化对象进行景深配准；
计算所述待处理对象的景深信息与所述非处理对象的景深信息之间的景深关系；
根据所述待处理对象的景深信息与所述非处理对象的景深信息之间的景深关系，以所述美化对象的配准景深为基础对所述非处理对象进行景深配准，得到配准后的的多个人员对象。
可选的，处理器901执行的所述将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像，包括：
根据所述美化对象的配准景深，对所述配准后的的多个人员对象与所述融合背景图像进行融合，得到目标图像。
可选的，处理器901执行的所述对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像，包括：
通过当前帧图像的前n帧图像进行高斯动态背景建模，得到第一背景图像；
将所述待处理图像中的所述待处理与非处理对象进行抠除，得到所述待处理图像的第二背景图像；
将所述第一背景图像与所述第二背景图像在通道维度上进行拼接融合，得到第一融合背景图像；
对所述第一融合背景图像进行极大值采样，得到融合背景图像。
需要说明的是，上述电子设备可以是可以应用于可以进行图像处理的手机、监控器、计算机、服务器等设备。
本发明实施例提供的电子设备能够实现上述方法实施例中图像处理方法实现的各个过程，且可以达到相同的有益效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例提供的图像处理方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存取存储器(Random AccessMemory，简称RAM)等。
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括以下步骤：
获取待处理图像，所述待处理图像为摆拍视频流图像，所述待处理图像中包括多个人员对象；
从所述待处理图像中提取出待处理对象与非处理对象，并对所述待处理对象进行预设的美化操作，得到美化对象；
对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；
基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象；
将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像。
2.如权利要求1所述的方法，其特征在于，所述从所述待处理图像中提取出待处理目标对象与非处理目标对象，包括：
通过图像差分法对所述待处理图像进行第一处理，提取出运动人员对象信息；
通过预设的目标提取网络对所述待处理图像进行第二处理，提取出所有人员对象信息；
根据所述所有人员对象信息与运动人员对象信息，确定静止人员对象信息，将所述静止人员信息作为待处理对象，将所述运动人员对象作为非处理对象。
3.如权利要求2所述的方法，其特征在于，所述通过图像差分法对所述待处理图像进行第一处理，提取出运动人员对象信息，包括：
获取待处理图像中的当前帧图像中各个像素点的像素值，以及上一帧图像中各个像素点的像素值；
使用所述当前帧图像中各个像素点的像素值的减去上一帧图像中对应各个像素点的像素值，得到运动人员对象信息。
4.如权利要求1至3中任一所述的方法，其特征在于，所述对所述待处理对象进行预设的美化操作，得到美化对象，包括：
确定所述待处理对象的美化区域与非美化区域；
通过预设的美化操作对所述待处理区域进行美化处理，并通过均值滤波将非美化区域与美化处理后的美化区域进行平滑，得到美化对象。
5.如权利要求4所述的方法，其特征在于，所述待处理图像包括景深信息，所述基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象，包括：
根据所述待处理对象的景深信息，计算所述美化对象的配准景深信息；
通过所述美化对象的配准景深信息对所述美化对象进行景深配准；
计算所述待处理对象的景深信息与所述非处理对象的景深信息之间的景深关系；
根据所述待处理对象的景深信息与所述非处理对象的景深信息之间的景深关系，以所述美化对象的配准景深为基础对所述非处理对象进行景深配准，得到配准后的的多个人员对象。
6.如权利要求5中任一所述的方法，其特征在于，所述将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像，包括：
根据所述美化对象的配准景深，对所述配准后的的多个人员对象与所述融合背景图像进行融合，得到目标图像。
7.如权利要求1至3中任一所述的方法，其特征在于，所述对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像，包括：
通过当前帧图像的前n帧图像进行高斯动态背景建模，得到第一背景图像；
将所述待处理图像中的所述待处理与非处理对象进行抠除，得到所述待处理图像的第二背景图像；
将所述第一背景图像与所述第二背景图像在通道维度上进行拼接融合，得到第一融合背景图像；
对所述第一融合背景图像进行极大值采样，得到融合背景图像。
8.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取待处理图像，所述待处理图像为摆拍视频流图像，所述待处理图像中包括多个人员对象；
提取模块，用于从所述待处理图像中提取出待处理对象与非处理对象，并对所述待处理对象进行预设的美化操作，得到美化对象；
第一融合模块，用于对所述待处理图像进行动态背景重建，得到第一背景图像，并将第一背景图像与待处理图像的第二背景图像进行融合，得到融合背景图像；
配准模块，用于基于所述美化对象对所述非处理对象进行配准，得到配准后的多个人员对象；
第二融合模块，用于将所述配准后的多个人员对象与融合背景图像进行融合，得到目标图像。
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的图像处理方法中的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像处理方法中的步骤。
CN202011630194.5A 2020-12-30 2020-12-30 图像处理方法、装置、电子设备及存储介质 Active CN112651956B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011630194.5A CN112651956B (zh) 2020-12-30 2020-12-30 图像处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011630194.5A CN112651956B (zh) 2020-12-30 2020-12-30 图像处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112651956A true CN112651956A (zh) 2021-04-13
CN112651956B CN112651956B (zh) 2024-05-03

Family

ID=75366990

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011630194.5A Active CN112651956B (zh) 2020-12-30 2020-12-30 图像处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112651956B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303523A (zh) * 2014-12-01 2016-02-03 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107808137A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108491780A (zh) * 2018-03-16 2018-09-04 广东欧珀移动通信有限公司 图像美化处理方法、装置、存储介质及终端设备
US20180286097A1 (en) * 2017-04-01 2018-10-04 Beijing Xiaomi Mobile Software Co., Ltd. Method and camera device for processing image
CN110675420A (zh) * 2019-08-22 2020-01-10 华为技术有限公司 一种图像处理方法和电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303523A (zh) * 2014-12-01 2016-02-03 维沃移动通信有限公司 一种图像处理方法及移动终端
US20180286097A1 (en) * 2017-04-01 2018-10-04 Beijing Xiaomi Mobile Software Co., Ltd. Method and camera device for processing image
CN107808137A (zh) * 2017-10-31 2018-03-16 广东欧珀移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN108491780A (zh) * 2018-03-16 2018-09-04 广东欧珀移动通信有限公司 图像美化处理方法、装置、存储介质及终端设备
CN110675420A (zh) * 2019-08-22 2020-01-10 华为技术有限公司 一种图像处理方法和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何卫华;李平;文玉梅;叶波;: "复杂背景下基于图像融合的运动目标轮廓提取算法", 计算机应用, no. 01 *

Also Published As

Publication number Publication date
CN112651956B (zh) 2024-05-03

Similar Documents

Publication Publication Date Title
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
CN107730444B (zh) 图像处理方法、装置、可读存储介质和计算机设备
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN110033463B (zh) 一种前景数据生成及其应用方法、相关装置和系统
KR20200095873A (ko) 인물 영역 추출 방법, 이를 이용하는 영상 처리 장치 및 인물 영역 추출 시스템
CN108734126B (zh) 一种美颜方法、美颜装置及终端设备
CN104811684A (zh) 一种图像的三维美颜方法及装置
CN111339831A (zh) 一种照明灯控制方法和系统
CN113870121A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112036209A (zh) 一种人像照片处理方法及终端
CN112215877A (zh) 图像处理方法和装置、电子设备、可读存储介质
CN112802033A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
Jonna et al. Stereo image de-fencing using smartphones
CN113538315B (zh) 图像处理方法及装置
CN111669492A (zh) 一种终端对拍摄的数字图像进行处理的方法及终端
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN116506724A (zh) 拍照辅助方法、装置、介质及终端
CN112651956B (zh) 图像处理方法、装置、电子设备及存储介质
CN108010038B (zh) 基于自适应阈值分割的直播服饰装扮方法及装置
CN113052815B (zh) 图像清晰度确定方法及装置、存储介质和电子设备
CN113379623B (zh) 图像处理方法、装置、电子设备及存储介质
CN113225484B (zh) 快速获取屏蔽非目标前景的高清图片的方法及装置
CN111263065A (zh) 一种眼球检测提示方法、计算机装置及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant