CN111882627A - 图像处理方法、视频处理方法、装置、设备和存储介质 - Google Patents
图像处理方法、视频处理方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN111882627A CN111882627A CN202010699836.0A CN202010699836A CN111882627A CN 111882627 A CN111882627 A CN 111882627A CN 202010699836 A CN202010699836 A CN 202010699836A CN 111882627 A CN111882627 A CN 111882627A
- Authority
- CN
- China
- Prior art keywords
- image
- eyeball
- eye
- initial
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 71
- 210000001508 eye Anatomy 0.000 claims abstract description 266
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 235
- 238000009877 rendering Methods 0.000 claims abstract description 98
- 238000012937 correction Methods 0.000 claims abstract description 37
- 238000002156 mixing Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 40
- 210000001747 pupil Anatomy 0.000 claims description 32
- 241001469893 Oxyzygonectes dovii Species 0.000 claims description 9
- 230000004418 eye rotation Effects 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000008921 facial expression Effects 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 238000000034 method Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000007704 transition Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Abstract
本发明实施例公开了一种图像处理方法、视频处理方法、装置、设备和存储介质，图像处理方法包括：从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版；根据人眼关键点和预设眼球数据生成初始眼球渲染图像；根据人眼关键点确定眼白区域；基于眼白区域对初始眼球渲染图像进行色彩校正获得目标眼球渲染图像；根据人眼蒙版对目标眼球渲染图像和初始图像进行混合获得目标图像。本发明实施例通过眼球旋转方向和纹理等眼球数据生成初始眼球渲染图像，并进行色彩校正以及采用人眼蒙版混合眼球渲染图像和初始图像，既无需搜集大量各种样式的眼球图像，又使得眼球图像自然地融入视频图像中，从而获得理想的眼睛编辑效果，使得视频人脸具有丰富的人脸表情。
Description
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、视频处理方法、装置、设备和存储介质。
背景技术
随着短视频、直播等应用的普及，在视频中对视频人脸进行编辑来表达人脸表情变为一个热点，而对眼球的转动、瞳孔颜色的改变是人脸表情编辑中必不可少的环节。
目前，对眼睛的编辑是采用虚拟眼球对眼睛进行模拟，利用虚拟眼球可方便地控制眼球的转动方向，并通过改变虚拟眼球的纹理来实现瞳孔颜色等眼球风格的编辑。然而，在一个视频中，各个视频帧的背景存在差异，为了使得虚拟眼球自然地融入各个背景视频中，设计者需要采集大量不同角度、不同眼球旋转方向以及不同瞳孔颜色的虚拟眼球，以在大量的虚拟眼球中匹配出与背景视频能够自然融合的虚拟眼球。
发明内容
本发明实施例提供一种图像处理方法、视频处理方法、装置、设备和存储介质，以解决现有技术中需要收集大量眼球数据来对眼睛进行编辑的问题。
第一方面，本发明实施例提供了一种图像处理方法，包括：
从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版；
根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像；
根据所述人眼关键点确定眼白区域；
基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得目标眼球渲染图像；
根据所述人眼蒙版对所述目标眼球渲染图像和所述初始图像进行混合获得目标图像。
第二方面，本发明实施例提供了一种视频处理方法，包括：
获取待处理视频数据；
从每帧视频数据中提取包含脸部的初始图像；
获取用于对所述初始图像进行图像处理的眼球数据；
根据所述眼球数据和预设图像处理方法对所述初始视频图像进行图像处理获得目标图像；
采用所述目标图像替换所述视频数据中的初始图像得到目标视频数据；
其中，所述图像处理方法为本发明任一实施例所述的图像处理方法。
第三方面，本发明实施例提供了一种图像处理装置，包括：
人眼关键点和蒙版提取模块，用于从包含脸部的图像中提取人眼关键点和生成人眼蒙版；
初始眼球渲染图像生成模块，用于根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像；
眼白区域确定模块，用于根据所述人眼关键点确定眼白区域；
色彩校正模块，用于基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得校正后的目标眼球渲染图像；
眼球混合模块，用于根据所述人眼蒙版对所述目标眼球渲染图像和所述图像进行混合获得目标图像。
第四方面，本发明实施例提供了一种视频处理装置，包括：
待处理视频数据获取模块，用于获取待处理视频数据；
图像提取模块，用于从每帧视频数据中提取包含脸部的初始图像；
眼球数据获取模块，用于获取用于对所述初始图像进行图像处理的眼球数据；
图像处理模块，用于根据所述眼球数据和预设图像处理方法对所述初始视频图像进行图像处理获得目标图像；
目标视频数据生成模块，用于采用所述目标图像替换所述视频数据中的初始图像得到目标视频数据；
其中，所述图像处理方法为本发明任一实施例所述的图像处理方法。
第五方面，本发明实施例提供了一种设备，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的图像处理方法和/或视频处理方法。
第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的图像处理方法和/或视频处理方法。
本发明实施例的图像处理方法，可以通过初始图像中的人眼关键点和预设的眼球数据来生成初始眼球渲染图像，即用户选择眼球旋转方向和瞳孔纹理即可以生成初始眼球渲染图，然后基于人眼关键点确定出的眼白区域对初始眼球渲染图像进行色彩校正获得目标眼球渲染图像，并进一步根据人眼蒙版对目标眼球渲染图像和初始图像进行混合获得目标图像，一方面，设置眼球旋转方向和纹理等眼球数据即可以为初始图像生成初始眼球渲染图像，另一方面，对初始眼球渲染图像进行色彩校正以及采用人眼蒙版混合眼球渲染图像和初始图像，既无需搜集大量不同眼球方向、瞳孔颜色的眼球图像，又使得生成的眼球图像自然地融入视频图像中，能够获得理想的眼睛编辑效果，最终使得视频中视频人脸具有丰富的人脸表情。
附图说明
图1是本发明实施例一提供的一种图像处理方法的步骤流程图；
图2A是本发明实施例二提供的一种图像处理方法的步骤流程图；
图2B是初始图像的一个示意图；
图2C是人眼关键点的示意图；
图2D是人眼蒙版的示意图；
图2E是高斯模糊处理后的人眼蒙版的示意图；
图2F是目标图像的一个示意图；
图3是本发明实施例三提供的一种视频处理方法的步骤流程图；
图4是本发明实施例四提供的一种图像处理装置的结构框图；
图5是本发明实施例五提供的一种视频处理装置的结构框图；
图6是本发明实施例六提供的一种设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。
实施例一
图1为本发明实施例一提供的一种图像处理方法的步骤流程图，本发明实施例可适用于对人脸图像中的眼睛进行编辑的情况，该方法可以由本发明实施例的图像处理装置来执行，该图像处理装置可以由硬件或软件来实现，并集成在本发明实施例所提供的设备中，具体地，如图1所示，本发明实施例的图像处理方法可以包括如下步骤：
S101、从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版。
初始图像可以为待处理图像，例如可以是需要对图像中的眼睛进行编辑的图像，该初始图像可以为视频中的一帧图像，还可以是相机拍摄到的一张图像，其中，初始图像中包含人脸的脸部图像。
本发明实施例可以通过人脸关键点检测算法对初始图像执行人脸关键点检测，从而获得人眼关键点，该人眼关键点可以包括眼睛轮廓的眼部关键点和人眼瞳孔的瞳孔关键点，其中，人脸关键点检测算法可以为预先训练的人脸关键点检测模型，或者是只检测人眼关键点的人眼关键点检测模型，本发明实施例对人眼关键点的检测算法不加以限制。
蒙版(mask)是图像编辑中选框的外部，在蒙版中，选框的内部是选区，具体到本发明实施例中，可以基于人眼关键点生成人眼蒙版，可选地，基于人眼关键点中的眼部关键点生成眼睛轮廓，以该眼睛轮廓为选框，眼睛轮廓内部作为选区生成一人眼蒙版。
S102、根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像。
眼球数据可以包括眼球的旋转方向、眼球纹理等数据，在本发明的可选实施例中，可以先根据人眼关键点计算出人眼中心点，并根据人眼中线点、眼球数据中的眼球旋转方向、眼球纹理等数据结合预先设置的眼球网格模型生成初始眼球渲染图像。其中，眼球网格模型为一三维网格模型，通过人眼中心点、眼球旋转方向可以驱动眼球网格模型生成一虚拟眼球，并通过预先设置的纹理图像对虚拟眼球进行纹理贴图得到一初始眼球渲染图像，实现了通过用户设置的眼球数据和初始图像提取的人眼关键点即可以生成眼球渲染图像，无需搜集大量不同眼球方向、瞳孔颜色的眼球图像。
S103、根据所述人眼关键点确定眼白区域。
本发明实施例中，眼白区域是人眼中除了瞳孔以外的区域，可选地，可以根据人眼关键点的眼部关键点确定人眼区域，以及通过瞳孔关键点在人眼区域中确定出瞳孔区域，从人眼区域中排除瞳孔区域即得到眼白区域。
在实际应用中，还可以通过人眼关键点中的眼部关键点确定人眼区域，然后对人眼区域内的像素点做二值化处理获得人眼区域的二值图像，在该二值图像中眼白区域为白色，瞳孔区域为黑色，从而获得眼白区域，当然，本领域技术人员还可以通过其他方式获得眼白区域，本发明实施例对确定眼白区域的方式不加以限制。
S104、基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得目标眼球渲染图像。
其中，色彩校正可以是调整图像的像素值，可选地，图像的像素值可以是图像的RGB值，当然也可以是YUV值。具体到本发明实施例中，可以计算眼白区域中所有像素点的像素值均值得到第一像素值均值，以及计算初始眼球渲染图像中所有像素点的像素值的均值得到第二像素值均值，并计算第一像素值均值与第二像素值均值的比值作为色彩校正系数，将初始眼球渲染图像的像素值校正为校正前的像素值与色彩校正系数的乘积即可以获得目标眼球渲染图像。本发明实施例通过眼白区域对初始眼球渲染图像进行色彩校正获得目标眼球渲染图像，可获得与初始图像中人眼色彩较为接近的眼球渲染图像，即获得相对于与初始图像较为自然的眼球渲染图像。
S105、根据所述人眼蒙版对所述目标眼球渲染图像和所述初始图像进行混合获得目标图像。
在本发明实施例中，人眼蒙版包括选区和非选区，其中，选区对应于人眼区域，非选区对应于人脸中除了人眼区域以外的区域。可以在将目标眼球渲染图像添加到人眼蒙版的的选区中以覆盖掉初始图像中原来的人眼区域，并采用人眼蒙版的选区的像素值对目标眼球渲染图像的像素值进行调整，以及采用人眼蒙版的非选区的像素值对初始图像中非选区对应的区域的像素值进行调整，以使得目标眼球渲染图像和初始图像的色彩平滑过渡，使得目标眼球渲染图像更自然地与初始图像进行混合，混合后的图像即为目标图像。
本发明实施例可以通过初始图像中的人眼关键点和预设的眼球数据来生成初始眼球渲染图像，即用户选择眼球旋转方向和瞳孔纹理即可以生成初始眼球渲染图，然后基于人眼关键点确定出的眼白区域对初始眼球渲染图像进行色彩校正获得目标眼球渲染图像，并进一步根据人眼蒙版对目标眼球渲染图像和初始图像进行混合获得目标图像，一方面，设置眼球旋转方向和纹理等眼球数据即可以生成初始眼球渲染图像，另一方面，对初始眼球渲染图像进行色彩校正以及采用人眼蒙版混合眼球渲染图像和初始图像，既无需搜集大量不同眼球方向、瞳孔颜色的眼球图像，又使得生成的眼球图像自然地融入视频图像中，能够获得理想的眼睛编辑效果，最终使得视频中视频人脸具有丰富的人脸表情。
实施例二
图2A为本发明实施例二提供的一种图像处理方法的步骤流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2A所示，本发明实施例的图像处理方法可以包括如下步骤：
S201、从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版。
在本发明实施例中，初始图像可以是视频帧中提取的包含人脸的图像，还可以是相机拍摄到的包含人脸的图像，本发明实施例图像处理的目的是对初始图像中人脸的眼睛进行编辑，如图2B所示为初始图像。
在本发明的一个示例中，可以对初始图像进行人脸关键点检测获得人眼关键点，依次连接各个人眼关键点获得人眼区域，将人眼区域作为蒙版的选区以生成初始图像的人眼蒙版。
如图2C所示，从初始图像提取人眼关键点，该人眼关键点包括眼部关键点(点0-点21)以及位于人眼中的瞳孔关键点(点0-点18)，依次连接人眼关键点中的眼部关键点(点0-点21)得到一封闭区域即为人眼区域，将该人眼区域作为人眼蒙版的选区得到如图2D所示的人眼蒙版，在图2D所示的人眼蒙版中，人眼对应的区域为选区10(白色区域)，人眼以外的区域为非选区20(黑色区域)。
更进一步地，生成以人眼区域为选区的人眼蒙版后，可以对该人眼蒙版做模糊处理得到最终的人眼蒙版，其中模糊处理可以是高斯模糊处理。如图2E所示为高斯模糊处理后的人眼蒙版，通过高斯模糊，可以提高后续位于人眼蒙版的选区和非选区的图像混合的色彩平滑度，使得两个区域的图像混合得更自然。
S202、采用所述人眼关键点计算人眼中心点。
可选地，可以获取眼部关键点的坐标，计算坐标的均值作为人眼中心点，如图2C所示，计算眼部关键点(点0-点21)的坐标的均值即为人眼中心点，其中，该坐标可以是二维坐标，则可以分别计算每一维坐标的均值从而得到人眼中心点的二维坐标，即：
上述公式中，α为人眼中心点的坐标，si为眼部关键点中第i个眼部关键点。
S203、采用所述人眼中心点、所述眼球旋转方向以及所述眼球纹理生成初始眼球渲染图像。
在本发明实施例中眼球数据可以包括眼球旋转方向和眼球纹理，眼球旋转方向可以是眼球相对于眼球中心的旋转方向，眼球纹理为眼球的颜色等显示在外的外观纹理。其中，眼球旋转方向和眼球纹理可以是用户输入或者选择的数据，还可以是对另一个视频数据中的人眼进行人眼跟踪获得的眼球旋转方向和眼球纹理。
在本发明的可选实施例中，可以采用人眼中心点、眼球旋转方向以及眼球纹理调整预先设置的眼球网格模型获得初始眼球渲染图像，具体地，可预先设置眼球网格模型，该眼球网格模型为三维网格模型，在确定人眼中心点、眼球旋转方向后可以对眼球网格模型进行变形处理，获得一虚拟眼球，该虚拟眼球的眼球旋转方向为用户设置的眼球旋转方向，然后通过眼球网格模型上各个顶点在纹理贴图中的纹理坐标生成眼球纹理，将该眼球纹理应用在虚拟眼球上即可以得到初始眼球渲染图像。
本发明实施例通过眼球网格模型，实现了通过用户设置的眼球数据和初始图像提取的人眼关键点即可以生成眼球渲染图像，无需搜集大量不同眼球方向、瞳孔颜色的眼球图像。
S204、根据所述人眼关键点确定眼白区域。
在本发明的一个可选实施例中，可以依次连接各个眼部关键点获得眼部区域，以及依次连接各个瞳孔关键点获得瞳孔区域，在眼部区域排除瞳孔区域获得眼白区域，如图2C所示，可以依次连接眼部关键点点0-点21获得眼部区域，依次连接瞳孔关键点点0-点18获得瞳孔区域，从眼部区域中排除瞳孔区域即为眼白区域。
当然，在本发明的另一可选实施例中，还可以通过人眼关键点的眼部关键点确定人眼区域，然后对人眼区域内的像素点做二值化处理获得人眼区域的二值图像，在该二值图像中眼白区域为白色，瞳孔区域为黑色，从而获得眼白区域，当然，本领域技术人员还可以通过其他方式获得眼白区域，本发明实施例对确定眼白区域的方式不加以限制。
S205、分别计算所述眼白区域和所述初始眼球渲染图像的像素值均值得到第一像素值均值和第二像素值均值。
在实际应用中，眼白区域和初始眼球渲染图像均包括多个像素点，并且每个像素点均具有像素值，该像素值可以是RGB值、YUV值等，可以计算眼白区域所包含的像素点的像素值的均值得到第一像素值均值，计算初始眼球渲染图像所包含的像素点的像素值均值得到第二像素值均值。
S206、计算所述第一像素值均值与所述第二像素值均值的比值作为色彩校正系数。
示例性地，假设眼白区域的第一像素值均值为P0，初始眼球渲染图像的第二像素值均值为P1，则色彩校正系数＝P0/P1。
S207、将所述初始眼球渲染图像的像素值校正为校正前的像素值与所述色彩校正系数的乘积，得到目标眼球渲染图像。
具体地，可以先计算初始眼球渲染图像中每个像素点的目标像素值，该目标像素值为像素点校正前的像素值与色彩校正系数的乘积，然后将初始眼球渲染图像中该像素点的像素值调整为目标像素值即可以得到目标眼球渲染图像，具体地如下公式所示：
I′1为色彩校正后的目标像素值，I1为色彩校正前的像素值，
为色彩校正系数。
S208、将所述目标眼球渲染图像覆盖至所述人眼蒙版的选区中。
在人眼蒙版中，人眼区域为选区，是初始图像中需要编辑的区域，具体到本发明实施例中，初始图像中的人眼区域是需要替换掉的区域，可以将目标眼球渲染图像覆盖到人眼蒙版的选区中以替换掉初始图像中的人眼图像，从而使得人眼蒙版中选区10对应的是目标眼球渲染图像，非选区20对应的是初始图像中除人眼区域以外的图像。
S209、采用所述人眼蒙版对位于所述选区中的所述目标眼球渲染图像，以及位于非选区中的所述初始图像进行混合获得目标图像。
具体地，人眼蒙版中选区10对应的是目标眼球渲染图像，非选区20对应的是初始图像中除人眼区域以外的图像，需要将目标眼球渲染图像和初始图像中除人眼区域以外的图像进行混合得到完整的人脸图像即为目标图像。
在本发明的一个示例中，可以计算人眼蒙版的像素值与白色的像素值的比值，计算比值与目标眼球渲染图像的像素值的乘积作为选区中目标眼球渲染图像的目标像素值，以及计算1与比值的差值，计算初始图像的像素值与差值的乘积作为非选区中初始图像的目标像素值，具体地如下公式所示：
上述公式中，I为混合后目标图像的目标像素值，I′1为目标眼球渲染图像的像素值，Ib为人眼蒙版的像素值，I0为初始图像的像素值。
在确定各个像素点的目标像素值后，将各个像素点的像素值调整为目标像素值即可以得到替换人眼区域后的目标图像，由于人眼蒙版经过模糊处理，通过人眼蒙版的像素值来调整混合图像的像素值，使得混合后的图像的像素值平滑过渡，即目标眼球渲染图像和初始图像的色彩平滑过渡，目标眼球渲染图像自然地融入初始图像中。如图2F所示为替换人眼区域后的目标图像，相对于图2B所示的初始图像，眼球的旋转方向发生了改变。
本发明实施例从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版，并采用人眼关键点计算人眼中心点，采用人眼中心点、预设的眼球旋转方向以及眼球纹理生成初始眼球渲染图像，并基于人眼关键点确定出眼白区域，在分别计算眼白区域和初始眼球渲染图像的像素值均值得到第一像素值均值和第二像素值均值后，通过第一像素值均值和第二像素值均值来计算色彩校正系数，将初始眼球渲染图像的像素值校正为校正前的像素值与色彩校正系数的乘积，得到目标眼球渲染图像，将目标眼球渲染图像覆盖至人眼蒙版的选区中后，采用人眼蒙版对位于选区中的目标眼球渲染图像，以及位于非选区中的初始图像进行混合获得目标图像，一方面，设置眼球旋转方向和纹理等眼球数据即可以生成初始眼球渲染图像，另一方面，对初始眼球渲染图像进行色彩校正以及采用人眼蒙版混合眼球渲染图像和初始图像，既无需搜集大量不同眼球方向、瞳孔颜色的眼球图像，又使得生成的眼球图像自然地融入视频图像中，能够获得理想的眼睛编辑效果，最终使得视频中视频人脸具有丰富的人脸表情。
进一步地，人眼蒙版经过高斯模糊处理，计算人眼蒙版的像素值与白色的像素值的比值，计算比值与目标眼球渲染图像的像素值的乘积作为选区中目标眼球渲染图像的目标像素值，以及计算1与比值的差值，计算初始图像的像素值与差值的乘积作为非选区中初始图像的目标像素值，设置像素点的像素值为目标像素值后，目标眼球渲染图像和初始图像的色彩平滑过渡，使得目标眼球渲染图像更自然地融入初始图像中。
实施例三
图3为本发明实施例三提供的一种视频处理方法的步骤流程图，本发明实施例可适用于对视频中的人眼进行编辑的情况，该方法可以由本发明实施例的视频处理装置来执行，该视频处理装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图3所示，本发明实施例的视频处理方法可以包括如下步骤：
S301、获取待处理视频数据。
在本发明实施例中，待处理视频数据可以是短视频播放平台、直播平台上的视频数据，还可以是摄像头实时拍摄的视频数据，例如可以是与个人计算机连接的摄像头实时拍摄的视频数据，或者是移动终端，例如手机实时拍摄的视频数据。
S302、从每帧视频数据中提取包含脸部的初始图像。
具体地，在获取到待处理视频数据后，可以提取每帧视频数据，对该帧视频数据进行人脸识别，如果该帧视频数据包含人脸，则从该帧视频数据中提取包含人脸的初始图像。
S303、获取用于对所述初始图像进行图像处理的眼球数据。
在本发明实施例中，眼球数据可以包括眼球旋转方向以及眼球纹理参数，该眼球数据用于生成一虚拟眼球来替换初始图像中人脸的人眼。
在本发明的可选实施例中，可以基于用户针对眼球旋转方向和眼球纹理的输入信息生成眼球数据，具体地，可以提供一交互界面，该交互界面上显示眼球方向输入框，用户可以在该输入框中输入眼球旋转方向，又或者提供一虚拟眼球，用户可操作才虚拟眼球旋转获得眼球旋转方向，同时，提供多种眼球纹理贴图供用户选择，当用户确定眼球旋转方向和眼球纹理后即可以获得包含眼球旋转方向和眼球纹理的眼球数据。
在本发明的另一可选实施例中，可以确定一目标视频数据，对该目标视频数据进行眼部跟踪获得眼球数据，示例性地，确定一目标视频数据A，通过眼部跟踪算法对目标视频数据A中人眼进行跟踪获得目标视频数据A中人眼的眼球旋转方向，将该眼球旋转方向应用于待处理视频数据B中，眼球纹理可以是用户选择的眼球纹理，当然，也可以是对目标视频数据A中人眼进行跟踪获得的眼球纹理。在实际应用中，本领域技术人员还可以根据其他方式获得眼球数据，本发明实施例对此不加以限制。
S304、根据所述眼球数据和预设图像处理方法对所述初始图像进行图像处理获得目标图像。
具体地，预设图像处理方法可以是实施例一、实施例二所提供的图像处理方法，通过该图像处理方法对初始图像进行处理后，可以获得每帧视频数据对人眼进行编辑后的目标图像。
S305、采用所述目标图像替换所述视频数据中的初始图像得到目标视频数据。
具体地采用目标图像按照一定帧率、码率进行编码后即可以生成视频数据，该视频数据即为目标视频数据。
本发明实施例通过图像处理方法对视频数据进行处理，该图像处理方法通过视频数据的初始图像中的人眼关键点和预设的眼球数据来生成初始眼球渲染图像，即用户选择眼球旋转方向和瞳孔纹理即可以生成初始眼球渲染图，然后基于人眼关键点确定出的眼白区域对初始眼球渲染图像进行色彩校正获得目标眼球渲染图像，并进一步根据人眼蒙版对目标眼球渲染图像和初始图像进行混合获得目标图像，一方面，设置眼球旋转方向和纹理等眼球数据即可以生成初始眼球渲染图像，另一方面，对初始眼球渲染图像进行色彩校正以及采用人眼蒙版混合眼球渲染图像和初始图像，既无需搜集大量不同眼球方向、瞳孔颜色的眼球图像，又使得生成的眼球图像自然地融入视频图像中，能够获得理想的眼睛编辑效果，最终使得视频中视频人脸具有丰富的人脸表情。
实施例四
图4是本发明实施例四提供的一种图像处理装置的结构框图，如图4所示，本发明实施例的图像处理装置具体可以包括如下模块：
人眼关键点和蒙版提取模块401，用于从包含脸部的图像中提取人眼关键点和生成人眼蒙版；
初始眼球渲染图像生成模块402，用于根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像；
眼白区域确定模块403，用于根据所述人眼关键点确定眼白区域；
色彩校正模块404，用于基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得校正后的目标眼球渲染图像；
眼球混合模块405，用于根据所述人眼蒙版对所述目标眼球渲染图像和所述图像进行混合获得目标图像。
本发明实施例所提供的图像处理装置可执行本发明实施例一、实施例二所提供的图像处理方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种视频处理装置的结构框图，如图5所示，本发明实施例的视频处理装置具体可以包括如下模块：
待处理视频数据获取模块501，用于获取待处理视频数据；
图像提取模块502，用于从每帧视频数据中提取包含脸部的初始图像；
眼球数据获取模块503，用于获取用于对所述初始图像进行图像处理的眼球数据；
图像处理模块504，用于根据所述眼球数据和预设图像处理方法对所述初始视频图像进行图像处理获得目标图像；
目标视频数据生成模块505，用于采用所述目标图像替换所述视频数据中的初始图像得到目标视频数据；
其中，所述图像处理方法为本发明任一实施例所述的图像处理方法。
本发明实施例所提供的视频处理装置可执行本发明实施例三所提供的视频处理方法，具备执行方法相应的功能模块和有益效果。
实施例六
参照图6，示出了本发明一个示例中的一种设备的结构示意图。如图6所示，该设备具体可以包括：处理器601、存储装置602、具有触摸功能的显示屏603、输入装置604、输出装置605以及通信装置606。该电子设备中处理器601的数量可以是一个或者多个，图6中以一个处理器601为例。该设备的处理器601、存储装置602、显示屏603、输入装置604、输出装置605以及通信装置606可以通过总线或者其他方式连接，图6中以通过总线连接为例。所述设备用于执行如本发明任一实施例提供的图像处理方法和/或视频处理方法。
本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如上述方法实施例所述的图像处理方法和/或视频处理方法。
需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变换、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (16)
1.一种图像处理方法，其特征在于，包括：
从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版；
根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像；
根据所述人眼关键点确定眼白区域；
基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得目标眼球渲染图像；
根据所述人眼蒙版对所述目标眼球渲染图像和所述初始图像进行混合获得目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述从包含脸部的初始图像中提取人眼关键点和生成人眼蒙版，包括：
对所述初始图像进行人脸关键点检测获得人眼关键点；
依次连接各个人眼关键点获得人眼区域；
将所述人眼区域作为选区以生成所述初始图像的人眼蒙版。
3.根据权利要求2所述的图像处理方法，其特征在于，所述将所述人眼区域作为选区以生成所述初始图像的人眼蒙版，包括：
生成以所述人眼区域为选区的初始人眼蒙版；
对所述初始人眼蒙版进行模糊处理获得最终人眼蒙版。
4.根据权利要求1所述的图像处理方法，其特征在于，所述预设眼球数据包括眼球旋转方向和眼球纹理，所述根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像，包括：
采用所述人眼关键点计算人眼中心点；
采用所述人眼中心点、所述眼球旋转方向以及所述眼球纹理生成初始眼球渲染图像。
5.根据权利要求4所述的图像处理方法，其特征在于，所述人眼关键点包括眼部关键点，所述采用所述人眼关键点计算人眼中心点，包括：
获取所述眼部关键点的坐标；
计算所述坐标的均值作为人眼中心点。
6.根据权利要求4所述的图像处理方法，其特征在于，所述采用所述人眼中心点、所述眼球旋转方向以及所述眼球纹理生成初始眼球渲染图像，包括：
采用所述人眼中心点、所述眼球旋转方向以及所述眼球纹理调整预先设置的眼球网格模型获得初始眼球渲染图像。
7.根据权利要求1所述的图像处理方法，其特征在于，所述人眼关键点包括眼部关键点和瞳孔关键点，所述根据所述人眼关键点确定眼白区域，包括：
依次连接各个眼部关键点获得眼部区域，以及依次连接各个瞳孔关键点获得瞳孔区域；
在所述眼部区域排除所述瞳孔区域获得眼白区域。
8.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得目标眼球渲染图像，包括：
分别计算所述眼白区域和所述初始眼球渲染图像的像素值均值得到第一像素值均值和第二像素值均值；
计算所述第一像素值均值与所述第二像素值均值的比值作为色彩校正系数；
将所述初始眼球渲染图像的像素值校正为校正前的像素值与所述色彩校正系数的乘积，得到目标眼球渲染图像。
9.根据权利要求1-8任一项所述的图像处理方法，其特征在于，所述人眼蒙版为以人眼区域为选区的蒙版，所述根据所述人眼蒙版对所述目标眼球渲染图像和所述初始图像进行混合获得目标图像，包括：
将所述目标眼球渲染图像覆盖至所述人眼蒙版的选区中；
采用所述人眼蒙版对位于所述选区中的所述目标眼球渲染图像，以及位于非选区中的所述初始图像进行混合获得目标图像。
10.根据权利要求9所述的图像处理方法，其特征在于，所述采用所述人眼蒙版对位于所述选区中的所述目标眼球渲染图像，以及位于非选区中的所述初始图像进行混合获得目标图像，包括：
计算所述人眼蒙版的像素值与白色的像素值的比值；
计算所述比值与所述目标眼球渲染图像的像素值的乘积作为所述选区中所述目标眼球渲染图像的目标像素值；
计算1与所述比值的差值；
计算初始图像的像素值与所述差值的乘积作为所述非选区中所述初始图像的目标像素值。
11.一种视频处理方法，其特征在于，包括：
获取待处理视频数据；
从每帧视频数据中提取包含脸部的初始图像；
获取用于对所述初始图像进行图像处理的眼球数据；
根据所述眼球数据和预设图像处理方法对所述初始视频图像进行图像处理获得目标图像；
采用所述目标图像替换所述视频数据中的初始图像得到目标视频数据；
其中，所述图像处理方法为权利要求1-10任一项所述的图像处理方法。
12.根据权利要求11所述的视频处理方法，其特征在于，所述获取用于对所述初始图像进行图像处理的眼球数据，包括：
基于用户针对眼球方向和眼球纹理的输入信息生成眼球数据，或
确定一目标视频数据；
对所述目标视频数据进行眼部跟踪获得眼球数据。
13.一种图像处理装置，其特征在于，包括：
人眼关键点和蒙版提取模块，用于从包含脸部的图像中提取人眼关键点和生成人眼蒙版；
初始眼球渲染图像生成模块，用于根据所述人眼关键点和预设眼球数据生成初始眼球渲染图像；
眼白区域确定模块，用于根据所述人眼关键点确定眼白区域；
色彩校正模块，用于基于所述眼白区域对所述初始眼球渲染图像进行色彩校正获得校正后的目标眼球渲染图像；
眼球混合模块，用于根据所述人眼蒙版对所述目标眼球渲染图像和所述图像进行混合获得目标图像。
14.一种视频处理装置，其特征在于，包括：
待处理视频数据获取模块，用于获取待处理视频数据；
图像提取模块，用于从每帧视频数据中提取包含脸部的初始图像；
眼球数据获取模块，用于获取用于对所述初始图像进行图像处理的眼球数据；
图像处理模块，用于根据所述眼球数据和预设图像处理方法对所述初始视频图像进行图像处理获得目标图像；
目标视频数据生成模块，用于采用所述目标图像替换所述视频数据中的初始图像得到目标视频数据；
其中，所述图像处理方法为权利要求1-10任一项所述的图像处理方法。
15.一种设备，其特征在于，所述设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一项所述的图像处理方法和/或权利要求11-12任一项所述的视频处理方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一项所述的图像处理方法和/或权利要求11-12任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010699836.0A CN111882627A (zh) | 2020-07-20 | 2020-07-20 | 图像处理方法、视频处理方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010699836.0A CN111882627A (zh) | 2020-07-20 | 2020-07-20 | 图像处理方法、视频处理方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111882627A true CN111882627A (zh) | 2020-11-03 |
Family
ID=73156369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010699836.0A Pending CN111882627A (zh) | 2020-07-20 | 2020-07-20 | 图像处理方法、视频处理方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111882627A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381709A (zh) * | 2020-11-13 | 2021-02-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、模型训练方法、装置、设备和介质 |
| CN112581518A (zh) * | 2020-12-25 | 2021-03-30 | 百果园技术(新加坡)有限公司 | 基于三维卡通模型的眼球配准方法、装置、服务器和介质 |
| CN113421204A (zh) * | 2021-07-09 | 2021-09-21 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| CN113989473A (zh) * | 2021-12-23 | 2022-01-28 | 北京天图万境科技有限公司 | 一种重新光照的方法和装置 |
| CN114092616A (zh) * | 2021-10-25 | 2022-02-25 | 北京百度网讯科技有限公司 | 渲染方法、装置、电子设备和存储介质 |
| CN114584821A (zh) * | 2022-03-02 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| WO2022156626A1 (zh) * | 2021-01-22 | 2022-07-28 | 腾讯科技（深圳）有限公司 | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
| WO2023010301A1 (zh) * | 2021-08-04 | 2023-02-09 | 华为技术有限公司 | 视线检测方法、眼球模型的建模方法及其装置 |
| WO2023132788A3 (en) * | 2022-01-06 | 2023-10-05 | Lemon Inc. | Creating effects based on facial features |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000278510A (ja) * | 1999-03-26 | 2000-10-06 | Noritsu Koki Co Ltd | ディジタル画像の自動補正方法及びそのシステム |
| JP2013058165A (ja) * | 2011-09-09 | 2013-03-28 | Nikon Corp | 画像処理装置及びカメラ |
| CN104331868A (zh) * | 2014-11-17 | 2015-02-04 | 厦门美图网科技有限公司 | 一种图像边缘的优化方法 |
| JP2015159550A (ja) * | 2015-03-19 | 2015-09-03 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
| CN105357513A (zh) * | 2015-09-29 | 2016-02-24 | 清华大学 | 会话视频中单摄像头眼神纠正方法 |
| CN105608722A (zh) * | 2015-12-17 | 2016-05-25 | 成都品果科技有限公司 | 一种基于人脸关键点的自动去眼袋方法及系统 |
| CN106023104A (zh) * | 2016-05-16 | 2016-10-12 | 厦门美图之家科技有限公司 | 人脸眼部区域的图像增强方法、系统及拍摄终端 |
| CN107578382A (zh) * | 2017-08-18 | 2018-01-12 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN110070017A (zh) * | 2019-04-12 | 2019-07-30 | 北京迈格威科技有限公司 | 一种人脸假眼图像生成方法及装置 |
-
2020
- 2020-07-20 CN CN202010699836.0A patent/CN111882627A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000278510A (ja) * | 1999-03-26 | 2000-10-06 | Noritsu Koki Co Ltd | ディジタル画像の自動補正方法及びそのシステム |
| JP2013058165A (ja) * | 2011-09-09 | 2013-03-28 | Nikon Corp | 画像処理装置及びカメラ |
| CN104331868A (zh) * | 2014-11-17 | 2015-02-04 | 厦门美图网科技有限公司 | 一种图像边缘的优化方法 |
| JP2015159550A (ja) * | 2015-03-19 | 2015-09-03 | オリンパス株式会社 | 撮像装置、撮像方法およびプログラム |
| CN105357513A (zh) * | 2015-09-29 | 2016-02-24 | 清华大学 | 会话视频中单摄像头眼神纠正方法 |
| CN105608722A (zh) * | 2015-12-17 | 2016-05-25 | 成都品果科技有限公司 | 一种基于人脸关键点的自动去眼袋方法及系统 |
| CN106023104A (zh) * | 2016-05-16 | 2016-10-12 | 厦门美图之家科技有限公司 | 人脸眼部区域的图像增强方法、系统及拍摄终端 |
| CN107578382A (zh) * | 2017-08-18 | 2018-01-12 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN110070017A (zh) * | 2019-04-12 | 2019-07-30 | 北京迈格威科技有限公司 | 一种人脸假眼图像生成方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王先梅;杨萍;王志良;: "多姿态眼球中的瞳孔定位算法", 计算机辅助设计与图形学学报, no. 08, pages 1427 - 1432 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112381709A (zh) * | 2020-11-13 | 2021-02-19 | 北京字节跳动网络技术有限公司 | 图像处理方法、模型训练方法、装置、设备和介质 |
| CN112381709B (zh) * | 2020-11-13 | 2022-06-21 | 北京字节跳动网络技术有限公司 | 图像处理方法、模型训练方法、装置、设备和介质 |
| CN112581518A (zh) * | 2020-12-25 | 2021-03-30 | 百果园技术(新加坡)有限公司 | 基于三维卡通模型的眼球配准方法、装置、服务器和介质 |
| WO2022156626A1 (zh) * | 2021-01-22 | 2022-07-28 | 腾讯科技（深圳）有限公司 | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 |
| CN113421204A (zh) * | 2021-07-09 | 2021-09-21 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及可读存储介质 |
| WO2023010301A1 (zh) * | 2021-08-04 | 2023-02-09 | 华为技术有限公司 | 视线检测方法、眼球模型的建模方法及其装置 |
| CN114092616A (zh) * | 2021-10-25 | 2022-02-25 | 北京百度网讯科技有限公司 | 渲染方法、装置、电子设备和存储介质 |
| CN113989473A (zh) * | 2021-12-23 | 2022-01-28 | 北京天图万境科技有限公司 | 一种重新光照的方法和装置 |
| WO2023132788A3 (en) * | 2022-01-06 | 2023-10-05 | Lemon Inc. | Creating effects based on facial features |
| US11900545B2 (en) | 2022-01-06 | 2024-02-13 | Lemon Inc. | Creating effects based on facial features |
| CN114584821A (zh) * | 2022-03-02 | 2022-06-03 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
| CN114584821B (zh) * | 2022-03-02 | 2023-08-29 | 北京达佳互联信息技术有限公司 | 视频处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111882627A (zh) | 图像处理方法、视频处理方法、装置、设备和存储介质 | |
| CN109859098B (zh) | 人脸图像融合方法、装置、计算机设备及可读存储介质 | |
| CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
| US9142054B2 (en) | System and method for changing hair color in digital images | |
| CN109829930B (zh) | 人脸图像处理方法、装置、计算机设备及可读存储介质 | |
| CN112070873B (zh) | 一种模型的渲染方法和装置 | |
| CN110490896B (zh) | 一种视频帧图像处理方法和装置 | |
| CN107948529B (zh) | 图像处理方法及装置 | |
| US20130169827A1 (en) | Method and system for make-up simulation on portable devices having digital cameras | |
| WO2022095721A1 (zh) | 参数估算模型的训练方法、装置、设备和存储介质 | |
| CN111145135B (zh) | 一种图像去扰处理方法、装置、设备及存储介质 | |
| CN111127591B (zh) | 图像染发处理方法、装置、终端和存储介质 | |
| CN110738732B (zh) | 一种三维人脸模型的生成方法和设备 | |
| CN111861872A (zh) | 图像换脸方法、视频换脸方法、装置、设备和存储介质 | |
| CN110248242B (zh) | 一种图像处理和直播方法、装置、设备和存储介质 | |
| CN107452049B (zh) | 一种三维头部建模方法及装置 | |
| CN112669447A (zh) | 一种模型头像创建方法、装置、电子设备和存储介质 | |
| CN111383232B (zh) | 抠图方法、装置、终端设备及计算机可读存储介质 | |
| CN111182350B (zh) | 图像处理方法、装置、终端设备及存储介质 | |
| KR102353556B1 (ko) | 사용자 얼굴기반 표정 및 포즈 재현 아바타 생성장치 | |
| CN116997933A (zh) | 用于构造面部位置图的方法和系统 | |
| CN112308944A (zh) | 仿真唇妆的扩增实境显示方法 | |
| CN112221145A (zh) | 游戏脸模生成方法及装置、存储介质及电子设备 | |
| CN111652792A (zh) | 图像的局部处理、直播方法、装置、设备和存储介质 | |
| KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |