CN111640058B - 一种图像融合处理方法及装置 - Google Patents

一种图像融合处理方法及装置 Download PDF

Info

Publication number
CN111640058B
CN111640058B CN202010495392.9A CN202010495392A CN111640058B CN 111640058 B CN111640058 B CN 111640058B CN 202010495392 A CN202010495392 A CN 202010495392A CN 111640058 B CN111640058 B CN 111640058B
Authority
CN
China
Prior art keywords
human body
angle
neck
head portrait
target human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010495392.9A
Other languages
English (en)
Other versions
CN111640058A (zh
Inventor
李小波
秦晓飞
李昆仑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hengxin Shambala Culture Co ltd
Original Assignee
Hengxin Shambala Culture Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hengxin Shambala Culture Co ltd filed Critical Hengxin Shambala Culture Co ltd
Priority to CN202010495392.9A priority Critical patent/CN111640058B/zh
Publication of CN111640058A publication Critical patent/CN111640058A/zh
Application granted granted Critical
Publication of CN111640058B publication Critical patent/CN111640058B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/04—
    • G06T5/70—
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本申请公开一种图像融合处理方法及装置。所述方法包括接收真人头像和目标人体，将真人头像和目标人体的角度调整一致；根据人脸识别算法识别真人头像中的人脸下巴点，根据人脸下巴点删除下巴点以下颈部，保持颈部底部整齐；计算真人头像颈部宽度和目标人体颈部宽度，根据宽度比例缩放真人头像颈部与目标人体颈部大小一致；查找真人头像颈部特征点和目标人体颈部特征点，根据特征点进行真人头像和目标人体的融合处理。本申请使用已有真实人的头像，无缝融合到目标人体图像上面，比现有人脸融合技术，看上去更加接近真实的自我，保持原始头像的完整性，可以应用到多种游戏娱乐及商业场景中。

Description

一种图像融合处理方法及装置
技术领域
本申请涉及图像处理领域，尤其涉及一种图像融合处理方法及装置。
背景技术
在图像处理技术领域中，对面部图像进行换脸是一种常见的图像处理方法。现有技术中，对于指定图像和待换脸图像的动作姿态不一致时，换脸后的图像真实性很差，无法实现有效的换脸。
发明内容
本申请提供了一种图像融合处理方法，包括：
接收真人头像和目标人体，将真人头像和目标人体的角度调整一致；
根据人脸识别算法识别真人头像中的人脸下巴点，根据人脸下巴点删除下巴点以下颈部，保持颈部底部整齐；
计算真人头像颈部宽度和目标人体颈部宽度，根据宽度比例缩放真人头像颈部与目标人体颈部大小一致；
查找真人头像颈部特征点和目标人体颈部特征点，根据特征点进行真人头像和目标人体的融合处理。
如上所述的图像融合处理方法，其中，当接收到输入的包括头像和人体的两幅图像，则从第一图像中抠取真人头像，具体为根据人脸识别算法识别图像中的人脸下巴点，查找人脸下巴点向下预定尺寸的位置，删除该位置以下部分得到真人头像；从第二图像中抠取人体，具体为根据人脸识别算法识别图像中的人脸下巴点，根据人脸下巴点删除下巴点以上部位得到目标人体；
将真人头像和目标人体的角度调整一致，具体包括如下子步骤：
Step1、根据人脸识别算法获取真人头像中的鼻尖和两只眼睛的位置，以鼻尖作为坐标原点建立横纵坐标，获取左右眼的纵坐标数据，计算左眼至坐标原点的连线与纵轴的角度、以及右眼至坐标原点的连线与纵轴的角度，计算将这两个角度的比值作为基准角度；
Step2、根据人体识别算法获取目标人体中的肚脐位置，将肚脐作为坐标原点建立横纵坐标，根据左右眼的纵坐标数据确定人体腹部两侧位置，分别计算人体腹部两侧位置至坐标原点的连线与纵轴的角度，然后计算这两个角度的比值作为待调整角度；
Step3、判断待调整角度与基准角度是否在允许范围内，如果是，则真人头像和目标人体角度匹配，否则旋转目标人体使人体角度与基准角度在允许范围内。
如上所述的图像融合处理方法，其中，旋转目标人体的角度使人体角度与基准角度在允许范围内，具体为：
当基准角度在0至1之间，则若待调整角度大于基准角度，则按照设定的角度逆时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度逆时针旋转；若待调整调整角度小于基准角度，则按照设定的角度顺时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度顺时针旋转；
当基准角度大于1，则若待调整角度大于基准角度，则按照设定的角度顺时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度顺时针旋转；若待调整调整角度小于基准角度，则按照设定的角逆时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度逆时针旋转。
如上所述的图像融合处理方法，其中，根据宽度比例缩放真人头像颈部与目标人体颈部大小一致，具体包括如下子步骤：
根据人脸轮廓边缘检测算法检测人脸轮廓，从人脸轮廓中提取上端最高点和下端最低点以及最左边缘点和最右边缘点，并提取真人头像颈部最左边缘点和最右边缘点；
计算上端最高点坐标和下端最低点坐标的第一差值、最左边缘点坐标和最右边缘点坐标的第二差值、以及真人头像颈部最左边缘点坐标和最右边缘点坐标的第三差值，计算第一差值与第三差值的第一比例和第二差值与第三差值的第二比例；
根据目标人体颈部宽度缩放第三差值，并根据第一比例和第二比例缩放第一差值和第二差值。
如上所述的图像融合处理方法，其中，根据特征点进行真人头像和目标人体的融合处理，具体包括如下子步骤：
对真人头像和目标人体图像进行几何畸变矫正和图像噪声抑制；
将缩放后头像颈部左右侧最下点的坐标作为真人头像颈部特征点、将人体颈部左右侧最上点坐标作为目标人体颈部特征点，根据真人头像颈部特征点和目标人体颈部特征点进行图像配准和融合；
将融合后的图像进行边界腐蚀去除毛刺使边界光滑。
本申请还提供一种图像融合处理装置，包括：
真人头像和目标人体的角度调整模块，用于接收真人头像和目标人体，将真人头像和目标人体的角度调整一致；
真人头像处理模块，用于根据人脸识别算法识别真人头像中的人脸下巴点，根据人脸下巴点删除下巴点以下颈部，保持颈部底部整齐；
真人头像和目标人体的比例调整模块，用于计算真人头像颈部宽度和目标人体颈部宽度，根据宽度比例缩放真人头像颈部与目标人体颈部大小一致；
图像融合处理模块，用于查找真人头像颈部特征点和目标人体颈部特征点，根据特征点进行真人头像和目标人体的融合处理。
如上所述的图像融合处理装置，其中，真人头像和目标人体的角度调整模块具体包括接收子模块和角度调整子模块；
接收子模块具体用于当接收到输入的包括头像和人体的两幅图像，则从第一图像中抠取真人头像，具体为根据人脸识别算法识别图像中的人脸下巴点，查找人脸下巴点向下预定尺寸的位置，删除该位置以下部分得到真人头像；从第二图像中抠取人体，具体为根据人脸识别算法识别图像中的人脸下巴点，根据人脸下巴点删除下巴点以上部位得到目标人体；
角度调整子模块具体包括基准角度确定单元、待调整角度确定单元和判断单元；
基准角度确定单元具体用于根据人脸识别算法获取真人头像中的鼻尖和两只眼睛的位置，以鼻尖作为坐标原点建立横纵坐标，获取左右眼的纵坐标数据，计算左眼至坐标原点的连线与纵轴的角度、以及右眼至坐标原点的连线与纵轴的角度，计算将这两个角度的比值作为基准角度；
待调整角度确定单元具体用于根据人体识别算法获取目标人体中的肚脐位置，将肚脐作为坐标原点建立横纵坐标，根据左右眼的纵坐标数据确定人体腹部两侧位置，分别计算人体腹部两侧位置至坐标原点的连线与纵轴的角度，然后计算这两个角度的比值作为待调整角度；
判断单元具体用于判断待调整角度与基准角度是否在允许范围内，如果是，则真人头像和目标人体角度匹配，否则旋转目标人体使人体角度与基准角度在允许范围内。
如上所述的图像融合处理装置，其中，角度调整子模块，具体用于当基准角度在0至1之间，则若待调整角度大于基准角度，则按照设定的角度逆时针旋转目标人体然后触发待调整角度确定单元和判断单元，如果判断单元判断仍为否，则继续按照设定的角度逆时针旋转；若待调整调整角度小于基准角度，则按照设定的角度顺时针旋转目标人体然后触发待调整角度确定单元和判断单元，如果判断单元的判断仍为否，则继续按照设定的角度顺时针旋转；当基准角度大于1，则若待调整角度大于基准角度，则按照设定的角度顺时针旋转目标人体然后触发待调整角度确定单元和判断单元，如果判断单元的判断仍为否，则继续按照设定的角度顺时针旋转；若待调整调整角度小于基准角度，则按照设定的角逆时针旋转目标人体然后触发待调整角度确定单元和判断单元，如果判断单元的判断仍为否，则继续按照设定的角度逆时针旋转。
如上所述的图像融合处理装置，其中，真人头像和目标人体的比例调整模块具体用于根据人脸轮廓边缘检测算法检测人脸轮廓，从人脸轮廓中提取上端最高点和下端最低点以及最左边缘点和最右边缘点，并提取真人头像颈部最左边缘点和最右边缘点；计算上端最高点坐标和下端最低点坐标的第一差值、最左边缘点坐标和最右边缘点坐标的第二差值、以及真人头像颈部最左边缘点坐标和最右边缘点坐标的第三差值，计算第一差值与第三差值的第一比例和第二差值与第三差值的第二比例；根据目标人体颈部宽度缩放第三差值，并根据第一比例和第二比例缩放第一差值和第二差值。
如上所述的图像融合处理装置，其中，图像融合处理模块具体用于对真人头像和目标人体图像进行几何畸变矫正和图像噪声抑制；将缩放后头像颈部左右侧最下点的坐标作为真人头像颈部特征点、将人体颈部左右侧最上点坐标作为目标人体颈部特征点，根据真人头像颈部特征点和目标人体颈部特征点进行图像配准和融合；将融合后的图像进行边界腐蚀去除毛刺使边界光滑。
本申请实现的有益效果如下：使用已有真实人的头像，无缝融合到目标人体图像上面，比现有人脸融合技术，看上去更加接近真实的自我，保持原始头像的完整性，可以应用到多种游戏娱乐及商业场景中。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种图像融合处理方法流程图；
图2是本申请实施例二提供的一种图像融合处理装置示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
本申请实施例一提供一种图像融合处理方法，应用在图像融合处理装置中，如图1所示，包括：
步骤110、接收真人头像和目标人体，将真人头像和目标人体的角度调整一致；
具体地，本申请提供的图像处理装置可以直接接收输入的真人头像和目标人体，也可以接收输入的两幅均包括头像和人体的图像；
对于接收到两幅均包括头像和人体的图像(其中第一图像为待抠取真人头像的图像、第二图像为待抠取人体的图像)，所述图像处理装置从第一图像中抠取真人头像、从第二图像中抠取人体；
其中，从第一图像中抠取真人头像，具体为根据人脸识别算法识别图像中的人脸下巴点，查找人脸下巴点向下预定尺寸(根据人体构造设定该尺寸为5厘米)的位置，删除该位置以下部分得到真人头像；从第二图像中抠取人体，具体为根据人脸识别算法识别图像中的人脸下巴点，根据人脸下巴点删除下巴点以上部位得到目标人体。
在得到真人头像和目标人体之后，考虑到真人头像和目标人体可能角度不同导致换脸不真实的情况，本申请需要将真人头像和目标人体调整为相同的角度，具体为：
Step1、根据人脸识别算法获取真人头像中的鼻尖和两只眼睛的位置，以鼻尖作为坐标原点建立横纵坐标，获取左右眼的纵坐标数据，计算左眼至坐标原点的连线与纵轴的角度、以及右眼至坐标原点的连线与纵轴的角度，计算将这两个角度的比值作为基准角度；
Step2、根据人体识别算法获取目标人体中的肚脐位置，将肚脐作为坐标原点建立横纵坐标，根据左右眼的纵坐标数据确定人体腹部两侧位置，分别计算人体腹部两侧位置至坐标原点的连线与纵轴的角度，然后计算这两个角度的比值作为待调整角度；
Step3、判断待调整角度与基准角度是否在允许范围内，如果是，则真人头像和目标人体角度匹配，否则旋转目标人体使人体角度与基准角度在允许范围内；
其中，旋转目标人体的角度使人体角度与基准角度在允许范围内，具体为：
当基准角度在0至1之间，则若待调整角度大于基准角度，则按照设定的角度(设定角度可以为1°)逆时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度逆时针旋转；若待调整调整角度小于基准角度，则按照设定的角度(设定角度可以为1°)顺时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度顺时针旋转；
当基准角度大于1，则若待调整角度大于基准角度，则按照设定的角度(设定角度可以为1°)顺时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度顺时针旋转；若待调整调整角度小于基准角度，则按照设定的角度(设定角度可以为1°)逆时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度逆时针旋转。
返回参见图1，步骤120、根据人脸识别算法识别真人头像中的人脸下巴点，根据人脸下巴点删除下巴点以下颈部，保持颈部底部整齐；
本申请实施例中，根据人脸识别算法识别真人头像中的人脸下巴点，具体为对真人头像图片应用高斯滤波去除图像噪声；然后根据人脸轮廓边缘检测算法检测人脸轮廓，根据人脸特征提取算法提取人脸最下端特征点作为人脸下巴点。
步骤130、计算真人头像颈部宽度和目标人体颈部宽度，根据宽度比例缩放真人头像颈部与目标人体颈部大小一致；
在依据下巴点截取真人头像之后，获取真人头像下端颈部的左右端点坐标，根据左右端点坐标计算真人头像颈部宽度；另外在目标人体图像上获取上端颈部的左右端点坐标，根据左右端点坐标计算目标人体颈部宽度；若真人头像颈部宽度与目标人体颈部宽度不匹配，则调整真人头像的整体宽度比例，使缩放后的真人头像颈部宽度与目标人体颈部大小一致，具体包括如下子步骤：
根据人脸轮廓边缘检测算法检测人脸轮廓，从人脸轮廓中提取上端最高点和下端最低点以及最左边缘点和最右边缘点，并提取真人头像颈部最左边缘点和最右边缘点；
计算上端最高点坐标和下端最低点坐标的第一差值、最左边缘点坐标和最右边缘点坐标的第二差值、以及真人头像颈部最左边缘点坐标和最右边缘点坐标的第三差值，计算第一差值与第三差值的第一比例和第二差值与第三差值的第二比例；
根据目标人体颈部宽度缩放第三差值，并根据第一比例和第二比例缩放第一差值和第二差值。
返回参见图1、步骤140、查找真人头像颈部特征点和目标人体颈部特征点，根据特征点进行真人头像和目标人体的融合处理；
本申请实施例中，进行真人头像和目标人体的融合处理，具体包括如下子步骤：
步骤141、对真人头像和目标人体图像进行几何畸变矫正和图像噪声抑制；
图象几何畸变矫正具体为根据图像失真原因，建立相应的数学模型，从被污染或畸变的图象信号中提取所需要的信息，沿着使图象失真的逆过程恢复图象本来面貌，具体使用滤波器从失真图象中计算得到真实图象的估值，使其根据预先规定的误差准则，最大程度地接近真实图象；
图像噪声抑制具体采用均值滤波或中值滤波方法；均值滤波具体为对将处理的当前像素，选择其邻近的若干像素组成模板，用模板中像素的均值来替代原像素的值；中值滤波具体为将待处理图像按照像素值的大小进行排序，生成单调上升或下降的二维数据序。
步骤142、将缩放后头像颈部左右侧最下点的坐标作为真人头像颈部特征点、将人体颈部左右侧最上点坐标作为目标人体颈部特征点，根据真人头像颈部特征点和目标人体颈部特征点进行图像配准和融合；
具体地，图像的配准和融合可以基于区域的配准或基于特征的配准；其中，基于区域的配准包括基于逐一比较法、分层比较法和相位相关法进行图像配准；基于特征的配准包括比值匹配法；优选地，本申请采用泊松融合算法对真人头像和目标人体进行图像融合处理，具体为：先分别计算真人头像和目标人体图像的梯度场，使用真人头像的梯度场替换目标人体图像相应处的梯度场，得到融合后图像的梯度场；
具体地，采用下式分别计算真人头像、目标人体图像和融合后图像的梯度场：
Figure BDA0002522599080000101
其中，
Figure BDA0002522599080000102
为x方向单位向量、
Figure BDA0002522599080000103
为y方向单位向量，
Figure BDA0002522599080000104
为真人头像/目标人体/融合后图像X方向的偏导数，
Figure BDA0002522599080000105
为真人头像/目标人体/融合后图像Y方向的偏导数；grad(u)为真人头像/目标人体/融合后图像的梯度场向量；h1和h2为标度因子。
然后根据融合后图像的梯度场计算融合后图像的散度，根据融合后图像的散度计算融合后图像的像素值矩阵；
具体地，对融合后图像的梯度场求二次导数，得到融合后图像的散度；然后根据融合后图像的散度以及融合后图像的系数矩阵计算融合后图像的像素值；其中融合后图像的系数矩阵具体为：根据融合后图像的边界像素点所对应的矩阵计算系数矩阵中心位置的数据，然后再将系数矩阵中心位置两边的数据设为1，正向对角数据也设为1，得到系数矩阵；
例如，边界像素点矩阵为
Figure BDA0002522599080000106
则系数矩阵中心位置的数据为a2+a4+a6+a8-4*a5＝-3，对于中心数据多于1的矩阵，则系数矩阵中心位置的数据为计算所有包围中心数据的四个数据相加再减去中心数据的四倍的平均值，得到的系数矩阵为
Figure BDA0002522599080000107
步骤143、将融合后的图像进行边界腐蚀去除毛刺使边界光滑；
本申请实施例中，对融合后图像进行边界腐蚀去毛刺之后，将融合后图像进行归一化处理，将其像素值转换为数值在0-1之间。
实施例二
本申请实施例二提供一种图像融合处理装置，如图2所示，包括：
真人头像和目标人体的角度调整模块21，用于接收真人头像和目标人体，将真人头像和目标人体的角度调整一致；
真人头像处理模块22，用于根据人脸识别算法识别真人头像中的人脸下巴点，根据人脸下巴点删除下巴点以下颈部，保持颈部底部整齐；
真人头像和目标人体的比例调整模块23，用于计算真人头像颈部宽度和目标人体颈部宽度，根据宽度比例缩放真人头像颈部与目标人体颈部大小一致；
图像融合处理模块24，用于查找真人头像颈部特征点和目标人体颈部特征点，根据特征点进行真人头像和目标人体的融合处理。
作为可选实施例，真人头像和目标人体的角度调整模块21具体包括接收子模块210和角度调整子模块220；
接收子模块210具体用于当接收到输入的包括头像和人体的两幅图像，则从第一图像中抠取真人头像，具体为根据人脸识别算法识别图像中的人脸下巴点，查找人脸下巴点向下预定尺寸的位置，删除该位置以下部分得到真人头像；从第二图像中抠取人体，具体为根据人脸识别算法识别图像中的人脸下巴点，根据人脸下巴点删除下巴点以上部位得到目标人体；
角度调整子模块220具体包括基准角度确定单元221、待调整角度确定单元222和判断单元223；
基准角度确定单元221具体用于根据人脸识别算法获取真人头像中的鼻尖和两只眼睛的位置，以鼻尖作为坐标原点建立横纵坐标，获取左右眼的纵坐标数据，计算左眼至坐标原点的连线与纵轴的角度、以及右眼至坐标原点的连线与纵轴的角度，计算将这两个角度的比值作为基准角度；
待调整角度确定单元222具体用于根据人体识别算法获取目标人体中的肚脐位置，将肚脐作为坐标原点建立横纵坐标，根据左右眼的纵坐标数据确定人体腹部两侧位置，分别计算人体腹部两侧位置至坐标原点的连线与纵轴的角度，然后计算这两个角度的比值作为待调整角度；
判断单元223具体用于判断待调整角度与基准角度是否在允许范围内，如果是，则真人头像和目标人体角度匹配，否则旋转目标人体使人体角度与基准角度在允许范围内。
进一步地，角度调整子模块220，具体用于当基准角度在0至1之间，则若待调整角度大于基准角度，则按照设定的角度逆时针旋转目标人体然后触发待调整角度确定单元222和判断单元223，如果判断单元223判断仍为否，则继续按照设定的角度逆时针旋转；若待调整调整角度小于基准角度，则按照设定的角度顺时针旋转目标人体然后触发待调整角度确定单元222和判断单元223，如果判断单元223的判断仍为否，则继续按照设定的角度顺时针旋转；当基准角度大于1，则若待调整角度大于基准角度，则按照设定的角度顺时针旋转目标人体然后触发待调整角度确定单元222和判断单元223，如果判断单元223的判断仍为否，则继续按照设定的角度顺时针旋转；若待调整调整角度小于基准角度，则按照设定的角逆时针旋转目标人体然后触发待调整角度确定单元222和判断单元223，如果判断单元223的判断仍为否，则继续按照设定的角度逆时针旋转。
作为可选实施例，真人头像和目标人体的比例调整模块23具体用于根据人脸轮廓边缘检测算法检测人脸轮廓，从人脸轮廓中提取上端最高点和下端最低点以及最左边缘点和最右边缘点，并提取真人头像颈部最左边缘点和最右边缘点；计算上端最高点坐标和下端最低点坐标的第一差值、最左边缘点坐标和最右边缘点坐标的第二差值、以及真人头像颈部最左边缘点坐标和最右边缘点坐标的第三差值，计算第一差值与第三差值的第一比例和第二差值与第三差值的第二比例；根据目标人体颈部宽度缩放第三差值，并根据第一比例和第二比例缩放第一差值和第二差值。
作为可选实施例，图像融合处理模块24具体用于对真人头像和目标人体图像进行几何畸变矫正和图像噪声抑制；将缩放后头像颈部左右侧最下点的坐标作为真人头像颈部特征点、将人体颈部左右侧最上点坐标作为目标人体颈部特征点，根据真人头像颈部特征点和目标人体颈部特征点进行图像配准和融合；将融合后的图像进行边界腐蚀去除毛刺使边界光滑。
以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (6)

1.一种图像融合处理方法，其特征在于，包括：
接收真人头像和目标人体，将真人头像和目标人体的角度调整一致；
根据人脸识别算法识别真人头像中的人脸下巴点，根据人脸下巴点删除下巴点以下颈部，保持颈部底部整齐；
计算真人头像颈部宽度和目标人体颈部宽度，根据宽度比例缩放真人头像颈部与目标人体颈部大小一致；
查找真人头像颈部特征点和目标人体颈部特征点，根据特征点进行真人头像和目标人体的融合处理；
当接收到输入的包括头像和人体的两幅图像，则从第一图像中抠取真人头像，具体为根据人脸识别算法识别图像中的人脸下巴点，查找人脸下巴点向下预定尺寸的位置，删除该位置以下部分得到真人头像；从第二图像中抠取人体，具体为根据人脸识别算法识别图像中的人脸下巴点，根据人脸下巴点删除下巴点以上部位得到目标人体；
将真人头像和目标人体的角度调整一致，具体包括如下子步骤：
Step1、根据人脸识别算法获取真人头像中的鼻尖和两只眼睛的位置，以鼻尖作为坐标原点建立横纵坐标，获取左右眼的纵坐标数据，计算左眼至坐标原点的连线与纵轴的角度、以及右眼至坐标原点的连线与纵轴的角度，计算将这两个角度的比值作为基准角度；
Step2、根据人体识别算法获取目标人体中的肚脐位置，将肚脐作为坐标原点建立横纵坐标，根据左右眼的纵坐标数据确定人体腹部两侧位置，分别计算人体腹部两侧位置至坐标原点的连线与纵轴的角度，然后计算这两个角度的比值作为待调整角度；
Step3、判断待调整角度与基准角度是否在允许范围内，如果是，则真人头像和目标人体角度匹配，否则旋转目标人体使人体角度与基准角度在允许范围内；
根据宽度比例缩放真人头像颈部与目标人体颈部大小一致，具体包括如下子步骤：
根据人脸轮廓边缘检测算法检测人脸轮廓，从人脸轮廓中提取上端最高点和下端最低点以及最左边缘点和最右边缘点，并提取真人头像颈部最左边缘点和最右边缘点；
计算上端最高点坐标和下端最低点坐标的第一差值、最左边缘点坐标和最右边缘点坐标的第二差值、以及真人头像颈部最左边缘点坐标和最右边缘点坐标的第三差值，计算第一差值与第三差值的第一比例和第二差值与第三差值的第二比例；
根据目标人体颈部宽度缩放第三差值，并根据第一比例和第二比例缩放第一差值和第二差值。
2.如权利要求1所述的图像融合处理方法，其特征在于，旋转目标人体的角度使人体角度与基准角度在允许范围内，具体为：
当基准角度在0至1之间，则若待调整角度大于基准角度，则按照设定的角度逆时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度逆时针旋转；若待调整调整角度小于基准角度，则按照设定的角度顺时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度顺时针旋转；
当基准角度大于1，则若待调整角度大于基准角度，则按照设定的角度顺时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度顺时针旋转；若待调整调整角度小于基准角度，则按照设定的角逆时针旋转目标人体然后返回执行Step2和Step3，如果Step3的判断仍为否，则继续按照设定的角度逆时针旋转。
3.如权利要求1所述的图像融合处理方法，其特征在于，根据特征点进行真人头像和目标人体的融合处理，具体包括如下子步骤：
对真人头像和目标人体图像进行几何畸变矫正和图像噪声抑制；
将缩放后头像颈部左右侧最下点的坐标作为真人头像颈部特征点、将人体颈部左右侧最上点坐标作为目标人体颈部特征点，根据真人头像颈部特征点和目标人体颈部特征点进行图像配准和融合；
将融合后的图像进行边界腐蚀去除毛刺使边界光滑。
4.一种图像融合处理装置，其特征在于，包括：
真人头像和目标人体的角度调整模块，用于接收真人头像和目标人体，将真人头像和目标人体的角度调整一致；
真人头像处理模块，用于根据人脸识别算法识别真人头像中的人脸下巴点，根据人脸下巴点删除下巴点以下颈部，保持颈部底部整齐；
真人头像和目标人体的比例调整模块，用于计算真人头像颈部宽度和目标人体颈部宽度，根据宽度比例缩放真人头像颈部与目标人体颈部大小一致；
图像融合处理模块，用于查找真人头像颈部特征点和目标人体颈部特征点，根据特征点进行真人头像和目标人体的融合处理；
真人头像和目标人体的角度调整模块具体包括接收子模块和角度调整子模块；
接收子模块具体用于当接收到输入的包括头像和人体的两幅图像，则从第一图像中抠取真人头像，具体为根据人脸识别算法识别图像中的人脸下巴点，查找人脸下巴点向下预定尺寸的位置，删除该位置以下部分得到真人头像；从第二图像中抠取人体，具体为根据人脸识别算法识别图像中的人脸下巴点，根据人脸下巴点删除下巴点以上部位得到目标人体；
角度调整子模块具体包括基准角度确定单元、待调整角度确定单元和判断单元；
基准角度确定单元具体用于根据人脸识别算法获取真人头像中的鼻尖和两只眼睛的位置，以鼻尖作为坐标原点建立横纵坐标，获取左右眼的纵坐标数据，计算左眼至坐标原点的连线与纵轴的角度、以及右眼至坐标原点的连线与纵轴的角度，计算将这两个角度的比值作为基准角度；
待调整角度确定单元具体用于根据人体识别算法获取目标人体中的肚脐位置，将肚脐作为坐标原点建立横纵坐标，根据左右眼的纵坐标数据确定人体腹部两侧位置，分别计算人体腹部两侧位置至坐标原点的连线与纵轴的角度，然后计算这两个角度的比值作为待调整角度；
判断单元具体用于判断待调整角度与基准角度是否在允许范围内，如果是，则真人头像和目标人体角度匹配，否则旋转目标人体使人体角度与基准角度在允许范围内；
真人头像和目标人体的比例调整模块具体用于根据人脸轮廓边缘检测算法检测人脸轮廓，从人脸轮廓中提取上端最高点和下端最低点以及最左边缘点和最右边缘点，并提取真人头像颈部最左边缘点和最右边缘点；计算上端最高点坐标和下端最低点坐标的第一差值、最左边缘点坐标和最右边缘点坐标的第二差值、以及真人头像颈部最左边缘点坐标和最右边缘点坐标的第三差值，计算第一差值与第三差值的第一比例和第二差值与第三差值的第二比例；根据目标人体颈部宽度缩放第三差值，并根据第一比例和第二比例缩放第一差值和第二差值。
5.如权利要求4所述的图像融合处理装置，其特征在于，角度调整子模块，具体用于当基准角度在0至1之间，则若待调整角度大于基准角度，则按照设定的角度逆时针旋转目标人体然后触发待调整角度确定单元和判断单元，如果判断单元判断仍为否，则继续按照设定的角度逆时针旋转；若待调整调整角度小于基准角度，则按照设定的角度顺时针旋转目标人体然后触发待调整角度确定单元和判断单元，如果判断单元的判断仍为否，则继续按照设定的角度顺时针旋转；当基准角度大于1，则若待调整角度大于基准角度，则按照设定的角度顺时针旋转目标人体然后触发待调整角度确定单元和判断单元，如果判断单元的判断仍为否，则继续按照设定的角度顺时针旋转；若待调整调整角度小于基准角度，则按照设定的角逆时针旋转目标人体然后触发待调整角度确定单元和判断单元，如果判断单元的判断仍为否，则继续按照设定的角度逆时针旋转。
6.如权利要求4所述的图像融合处理装置，其特征在于，图像融合处理模块具体用于对真人头像和目标人体图像进行几何畸变矫正和图像噪声抑制；将缩放后头像颈部左右侧最下点的坐标作为真人头像颈部特征点、将人体颈部左右侧最上点坐标作为目标人体颈部特征点，根据真人头像颈部特征点和目标人体颈部特征点进行图像配准和融合；将融合后的图像进行边界腐蚀去除毛刺使边界光滑。
CN202010495392.9A 2020-06-03 2020-06-03 一种图像融合处理方法及装置 Active CN111640058B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010495392.9A CN111640058B (zh) 2020-06-03 2020-06-03 一种图像融合处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010495392.9A CN111640058B (zh) 2020-06-03 2020-06-03 一种图像融合处理方法及装置

Publications (2)

Publication Number Publication Date
CN111640058A CN111640058A (zh) 2020-09-08
CN111640058B true CN111640058B (zh) 2023-05-09

Family

ID=72329747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010495392.9A Active CN111640058B (zh) 2020-06-03 2020-06-03 一种图像融合处理方法及装置

Country Status (1)

Country Link
CN (1) CN111640058B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112365588A (zh) * 2020-12-01 2021-02-12 东方梦幻虚拟现实科技有限公司 一种虚拟三维体感建模方法、装置及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185611A (ja) * 2002-11-21 2004-07-02 Advanced Telecommunication Research Institute International 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
US8406519B1 (en) * 2010-03-10 2013-03-26 Hewlett-Packard Development Company, L.P. Compositing head regions into target images
JP2017073108A (ja) * 2015-10-07 2017-04-13 国立大学法人大阪大学 画像処理装置、画像処理方法、及び画像処理プログラム
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统
CN110266973A (zh) * 2019-07-19 2019-09-20 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110418146A (zh) * 2018-04-27 2019-11-05 武汉斗鱼网络科技有限公司 应用于直播场景的换脸方法、存储介质、电子设备及系统
CN110956580A (zh) * 2019-11-28 2020-04-03 广州华多网络科技有限公司 图像换脸的方法、装置、计算机设备以及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004185611A (ja) * 2002-11-21 2004-07-02 Advanced Telecommunication Research Institute International 顔位置の抽出方法、およびコンピュータに当該顔位置の抽出方法を実行させるためのプログラムならびに顔位置抽出装置
US8406519B1 (en) * 2010-03-10 2013-03-26 Hewlett-Packard Development Company, L.P. Compositing head regions into target images
JP2017073108A (ja) * 2015-10-07 2017-04-13 国立大学法人大阪大学 画像処理装置、画像処理方法、及び画像処理プログラム
CN110418146A (zh) * 2018-04-27 2019-11-05 武汉斗鱼网络科技有限公司 应用于直播场景的换脸方法、存储介质、电子设备及系统
CN109325437A (zh) * 2018-09-17 2019-02-12 北京旷视科技有限公司 图像处理方法、装置和系统
CN110266973A (zh) * 2019-07-19 2019-09-20 腾讯科技（深圳）有限公司 视频处理方法、装置、计算机可读存储介质和计算机设备
CN110956580A (zh) * 2019-11-28 2020-04-03 广州华多网络科技有限公司 图像换脸的方法、装置、计算机设备以及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈晗 ; 胡新荣 ; 万立 ; .复杂背景下人体头部图像替换算法研究.通信电源技术.2016,(02),全文. *
黄诚 ; .基于Candide-3算法的图像中面部替换技术.计算技术与自动化.2018,(02),全文. *

Also Published As

Publication number Publication date
CN111640058A (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN109785291B (zh) 一种车道线自适应检测方法
CN111080529A (zh) 一种加强鲁棒性的无人机航拍图像拼接方法
US8577099B2 (en) Method, apparatus, and program for detecting facial characteristic points
CN110992263B (zh) 一种图像拼接方法及系统
WO2014032496A1 (zh) 一种人脸特征点定位方法、装置及存储介质
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN112001859B (zh) 一种人脸图像的修复方法及系统
CN107066969A (zh) 一种人脸识别方法
CN103577815A (zh) 一种人脸对齐方法和系统
US20150146943A1 (en) Method of recognizing contactless fingerprint and electronic device for performing the same
CN108257155B (zh) 一种基于局部和全局耦合的扩展目标稳定跟踪点提取方法
CN106534833B (zh) 一种联合空间时间轴的双视点立体视频稳定方法
WO2012100225A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
CN108171674B (zh) 针对任意视角投影仪图像的视觉矫正方法
CN108428249A (zh) 一种基于光流跟踪和双几何模型的初始位姿估计方法
CN112837263B (zh) 一种复杂背景下的身份证信息定位方法
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN108319961B (zh) 一种基于局部特征点的图像roi快速检测方法
CN111640058B (zh) 一种图像融合处理方法及装置
CN111861968B (zh) 一种红外弱小目标检测方法及检测系统
CN117611525A (zh) 一种受电弓滑板磨耗视觉检测方法和系统
CN109690555B (zh) 基于曲率的脸部检测器
CN110910418B (zh) 基于旋转不变性图像特征描述子的目标跟踪算法
CN110059651B (zh) 一种相机实时跟踪注册方法
CN113674340A (zh) 一种基于路标点的双目视觉导航方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant