CN109903217A - 图像变形方法和装置 - Google Patents

图像变形方法和装置 Download PDF

Info

Publication number
CN109903217A
CN109903217A CN201910073701.0A CN201910073701A CN109903217A CN 109903217 A CN109903217 A CN 109903217A CN 201910073701 A CN201910073701 A CN 201910073701A CN 109903217 A CN109903217 A CN 109903217A
Authority
CN
China
Prior art keywords
target site
video
image
deformation
deformed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910073701.0A
Other languages
English (en)
Other versions
CN109903217B (zh
Inventor
常元章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910073701.0A priority Critical patent/CN109903217B/zh
Publication of CN109903217A publication Critical patent/CN109903217A/zh
Priority to US16/666,795 priority patent/US11263723B2/en
Priority to JP2019200536A priority patent/JP6875488B2/ja
Priority to EP19211028.6A priority patent/EP3686834A1/en
Priority to KR1020190152399A priority patent/KR102279813B1/ko
Application granted granted Critical
Publication of CN109903217B publication Critical patent/CN109903217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/40Filling a planar surface by adding surface attributes, e.g. colour or texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/20Linear translation of whole images or parts thereof, e.g. panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种图像变形方法和装置,包括:获取图像或视频,识别图像或者视频中待变形的人像的至少一个目标部位,使用预设的变形算法对目标部位进行变形处理,该变形处理包括以下处理中的一种或者多种:放大、缩小或者移位,从而能够自动对图像和视频中的人像进行美化,不需要用户手动对图像进行美化,美化方式更加智能简单,提高了用户体验。并且本发明的方法可以实时的在线对图像和视频进行变形处理,也可以离线对存储的图像和视频进行变形处理,使得图像变形方法的应用更加广泛。

Description

图像变形方法和装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像变形方法和装置。
背景技术
日常生活中,人们习惯用手机、平板或相机等便携式设备进行拍照、摄像,以记录生活中的美好瞬间,图像和视频给人们的生活、社交和工作都带来了极大的方便和情趣。
现有技术中,为了美观通常会及时或离线使用相关的图像处理软件(例如photoshop、ACDSee、美图秀秀等)对图像进行美化,例如,对图像中的人进行瘦脸、瘦腿、增高等美化。在使用图像处理软件对图像进行处理时,需要人工手动对待美化的部位进行反复调整,以达到满意的效果。
现有的图像美化方法,需要花费大量时间进行,美化流程繁琐。
发明内容
本发明提供一种图像变形方法和装置,能够自动对图像和视频中的人像进行美化,美化方式更加智能简单,提高了用户体验。
本发明第一方面提供一种图像变形方法,包括:
获取图像或视频;
识别所述图像或者视频中待变形的人像的至少一个目标部位;
使用预设的变形算法对所述目标部位进行变形处理,所述变形处理包括以下处理中的一种或者多种:放大、缩小或者移位。
可选的,所述识别所述图像或者视频中待变形的人像的至少一个目标部位,包括:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
提取所述待变形的人像的目标部位的轮廓点;
使用预设的变形算法对所述目标部位进行变形处理,包括:
使用所述变形算法对所述目标部位的轮廓点所在的区域进行变形处理。
可选的,所述识别所述图像或者视频中待变形的人像的至少一个目标部位,包括:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
对所述待变形的人像进行分割得到所述目标部位。
可选的,所述使用预设的变形算法对所述目标部位进行变形处理,包括:
将所述图像或者视频划分为二维网格;
使用所述变形算法对所述目标部位中位于所述二维网格的顶点处的像素点进行变形计算,得到所述二维网格的顶点处的像素点变形后的位置信息;
根据所述二维网格的顶点处的像素点变形前和变形后的位置信息,对所述目标部位中除所述二维网格的顶点处的像素点外的其他像素点进行插值计算,得到所述其他像素点变形后的位置信息;
将所述目标部位的各像素点的像素值填充到变形后的位置。
可选的,当对所述图像中的所述目标部位进行缩小处理时,所述方法还包括:
采用背景分割技术将所述图像中的人像和背景区域分割开;
根据所述图像的背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对所述背景区域进行变形处理,以放大所述背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
可选的,当对所述视频中的所述目标部位进行缩小处理时,所述方法还包括:
采用背景分割技术将所述视频包括的多帧图像中的每帧图像的人像和背景区域分割开;
根据所述多帧图像的背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对每帧图像的背景区域进行变形处理,以放大所述每帧图像的背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
可选的,使用所述变形算法对所述目标部位的轮廓点所在的区域进行变形处理之前,还包括:
对所述视频包括的多帧图像中提取到的同一目标部位的轮廓点进行平滑处理。
可选的,使用预设的变形算法对所述目标部位进行变形处理之后,还包括:
对所述视频包括的多帧图像中的同一目标部位的变形结果进行平滑处理。
可选的,获取图像或视频,包括:
使用摄像头拍摄所述图像或者视频;
或者,从存储空间中获取所述图像或者视频。
本发明第二方面提供一种图像变形装置,包括:
获取模块,用于获取图像或视频;
识别模块,用于识别所述图像或者视频中待变形的人像的至少一个目标部位;
变形模块,用于使用预设的变形算法对所述目标部位进行变形处理,所述变形处理包括以下处理中的一种或者多种:放大、缩小或者移位。
可选的,所述识别模块具体用于:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
提取所述待变形的人像的目标部位的轮廓点;
所述变形模块具体用于:
使用所述变形算法对所述目标部位的轮廓点所在的区域进行变形处理。
可选的,所述识别模块具体用于:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
对所述待变形的人像进行分割得到所述目标部位。
可选的,所述变形模块具体用于:
将所述图像或者视频划分为二维网格;
使用所述变形算法对所述目标部位中位于所述二维网格的顶点处的像素点进行变形计算,得到所述二维网格的顶点处的像素点变形后的位置信息;
根据所述二维网格的顶点处的像素点变形前和变形后的位置信息,对所述目标部位中除所述二维网格的顶点处的像素点外的其他像素点进行插值计算,得到所述其他像素点变形后的位置信息;
将所述目标部位的各像素点的像素值填充到变形后的位置。
可选的,还包括:
分割模块,用于当所述变形模块对所述图像中的所述目标部位进行缩小处理时,采用背景分割技术将所述图像中的人像和背景区域分割开;
填充模块,用于根据所述图像的背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对所述背景区域进行变形处理,以放大所述背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
可选的,还包括:
分割模块,用于当所述变形模块对所述视频中的所述目标部位进行缩小处理时,采用背景分割技术将所述视频包括的多帧图像中的每帧图像的人像和背景区域分割开;
填充模块,用于根据所述多帧图像的背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对每帧图像的背景区域进行变形处理,以放大所述每帧图像的背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
可选的,还包括:
平滑模块,用于对所述视频包括的多帧图像中提取到的同一目标部位的轮廓点进行平滑处理。
可选的,还包括:
平滑模块,用于对所述视频包括的多帧图像中的同一目标部位的变形结果进行平滑处理。
可选的,所述获取模块具体用于:
使用摄像头拍摄所述图像或者视频;
或者,从存储空间中获取所述图像或者视频。
本发明第三方面提供一种电子设备,包括处理器、存储器和收发器,所述存储器用于存储指令,所述收发器用于和其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如本发明第一方面以及各可选方式所述的方法。
本发明第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,使得计算机执行如本发明第一方面以及各可选方式所述的方法。
本发明提供的图像变形方法和装置,包括:获取图像或视频,识别图像或者视频中待变形的人像的至少一个目标部位,使用预设的变形算法对目标部位进行变形处理,该变形处理包括以下处理中的一种或者多种:放大、缩小或者移位,从而能够自动对图像和视频中的人像进行美化,不需要用户手动对图像进行美化,美化方式更加智能简单,提高了用户体验。并且本发明的方法可以实时的在线对图像和视频进行变形处理,也可以离线对存储的图像和视频进行变形处理,使得图像变形方法的应用更加广泛。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1为本发明实施例一提供的图像变形方法的流程图;
图2为本发明实施例二提供的一种图像变形装置的结构示意图;
图3为本发明实施例三提供的一种图像变形装置的结构示意图;
图4为本发明实施例四提供的电子设备的结构示意图。
通过上述附图,已示出本发明明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围,而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例一提供的图像变形方法的流程图,本实施例的方法可以应用在具有播放图像或者视频的电子设备中,该电子设备可以为个人电脑、平板电脑、手机、车载设备等,如图1所示,本实施例提供的方法包括以下步骤:
步骤S101、获取图像或视频。
该图像或者视频可以是电子设备通过摄像头实时拍摄的,也可以是其他电子设备实时发送给该电子设备的,例如,在视频通话过程中,视频对端设备发送的对方用户的视频。因此,本实施例的方法可以在线实时的对图像或者视频进行变形处理。
还可以是该电子设备中预先存储的图像或者视频,电子设备从存储设备中读取待处理的图像或者视频。该电子设备中预先存储的图像或者视频可能是通过该电子设备的摄像头拍摄并存储的,也可能是其他电子发送给该电子设备的。因此,本实施例的方法还能够对离线图像或者视频进行变形处理。
步骤S102、识别图像或者视频中待变形的人像的至少一个目标部位。
该至少一个目标部位包括但不限于腿部、腰部、脸部、眼睛、胳膊等人像部位。需要对人像的哪些部位进行变形可以预先由系统配置好,也可以由用户指定。
可以通过如下方式识别图像或者视频中待变形的人像的至少一个目标部位:
方式一:识别图像或者视频中每一帧或者关键帧中的待变形的人像,提取人像的目标部位的轮廓点。
可以理解,一张图像或者一个视频中可能包括多个人像,可以对图像或者视频中的每个人像都进行变形处理。也可以只对图像或者视频中部分关键人像进行变形处理,因此,需要从图像或者视频中确定待变形的人像。
一种示例性的方式中,当图像或者视频中包括多个人像时,可以根据人像面积的大小确定待变形的人像,例如将人像面积大于预设第一阈值的人像确定为待变形的人像。如果人像本身占用的面积较小,对人像的目标部位变形后的效果可能不明显。当然,还可以通过其他方式确定待变形的人像,这里不再赘述。
可以采用机器学习方法,提取图像中的人像的目标部位的轮廓点,该机器学习方法可以是深度学习方法。当然不限于机器学习方法,可以采用已有的轮廓点提取算法进行提取。
针对视频,该视频包括多帧图像,可以分别提取每帧图像中人像的目标部位的轮廓点,也可以只提取视频中的关键帧中人像的目标部位的轮廓点。本实施例中,关键帧是指人像运动或变化中的关键动作所处的那一帧,关键帧与关键帧之间的动画可以由软件来创建,叫做过渡帧或者中间帧。
其中,对视频帧中的图像提取目标部位轮廓点的方法与图像相同,这里不再赘述。
方式二、识别图像或者视频中每一帧或者关键帧中的人像,对人像进行分割得到目标部位。
可以采用已有的人像分割算法对人像进行分割,得到人像的各部位,从而得到目标部位。
方式三、识别图像或者视频中每一帧或者关键帧中的人像,将人像整体作为一个目标部位。
需要说明的是,由于不同图像或者视频中人像的动作不同,因此,不同图像或者视频中能够识别到的人像目标部位也不同。
假设,预先定义了以下六种目标部位:腿部、腰部、脸部、眼睛、胳膊和胸部。当人像只拍到人的背影时,只能识别到腿部、腰部和胳膊,识别不到人像的脸部、眼睛和胸部。当人像中的人低着头时,也识别不到人的脸部和眼镜。当人像只拍到人的头部(例如自拍)或者上半身时,识别不到人像的腿部和腰部。
步骤S103、使用预设的变形算法对目标部位进行变形处理,该变形处理包括以下处理中的一种或者多种:放大、缩小或者移位。
图像变形(image warping)是指将图像变形为特定形状,对图像整体或者局部进行放大、缩小、移位以及各个操作的组合。该变形算法可以为移动最小二乘法(MovingLeast Squares)、平均值坐标法(Mean Value Coordinates)等等。
图像可以看做是很多像素点的集合,图像变形可以理解为对像素点的位置进行变换。
当在步骤S102中提取了目标部位的轮廓点时,可以使用变形算法对目标部位的轮廓点所在的区域进行变形处理。
本实施例中,使用该变形算法将目标部位进行以下变形处理中的一种或者多种:放大、缩小或者移位。当有多个目标部位时,不同目标部位的变形处理可能不同。
例如,对腿部的变形处理包括在纵向进行放大,在横向进行缩小,对腿部在纵向进行放大以达到将腿部拉长的效果,对腿部在横向进行缩小以达到瘦腿的效果。
同样,对胳膊的变形处理包括:在纵向进行放大,在横向进行缩小,以达到瘦胳膊和拉长胳膊的效果。
又如,对眼睛的变形处理包括:将眼睛放大。对脸部的变形处理包括:将脸部缩小,已达到瘦脸的效果。对腰部的变形处理包括:对腰部在纵向进行缩小,以到达瘦腰的效果。对胸部的变形处理包括:对胸部进行放大,以达到丰胸的效果。
上述例子以对人像局部的目标部位进行变形处理为例进行说明,也可以将人像整体作为一个目标部位,对人像整体进行变形处理。可以对人像整体进行以下变形处理的一种或者多种:将人像等比例在纵向上进行放大,以达到增高的效果;对人像在横向上进行缩小,以达到瘦身的效果;将人像整体进行移位,移动到图像中的指定位置。
在对目标部位进行变形时,需要对目标部位中的所有像素点进行变形计算,计算量较大。可选的,可以通过如下方式加速对图像的变形:
将图像或者视频划分为二维网格,使用变形算法对目标部位中位于二维网格的顶点处的像素点进行变形计算,得到二维网格的顶点处的像素点变形后的位置信息,根据二维网格的顶点处的像素点变形前和变形后的位置信息,对目标部位中除二维网格的顶点处的像素点外的其他像素点进行插值计算,得到该其他像素点变形后的位置信息,将目标部位的各像素点的像素值填充到变形后的位置,就可以得到目标部位的完整的变形结果。
可选的,一般采用长方形的网格,网格的每个顶点的像素点都经过图像变形算法求解得到变形前和变形后的位置差(即坐标差),这样,位于网格的其他位置的像素点可以通过双线性插值的方式计算得到自己的位置差。从而,可以求解出目标部位的所有像素点变形后的位置来更新目标部位。
其中,上述提到的像素点的位置信息是指像素点的坐标值,位置差即变形前和变形后的坐标值的差值。
二维网格中网格的大小可以预先定义好,网格的大小需要适中,以到达加速变形的同时,又不影响变形效果。由于只需要对二维网格的顶点处的像素点进行变形计算,对于目标部位的其他像素点采用插值计算,得到变形后的结果,从而减少了变形计算的计算量,加快了变形过程。
通过对二维网格的顶点处的像素点进行变形计算,得到变形后的结果,该变形后的结果即二维网格的顶点处的像素点变形后在图像中的位置。对于目标部位中的其他像素点采用插值计算,得到变形后的结果。
当对图像中的目标部位进行缩小时,目标部位被缩小后会形成空白区域,该空白区域需要进行填充。可选的,可以采用背景分割技术将图像中的人像和背景区域分割开,根据图像的背景区域的像素值填充目标部位被缩小后形成的空白区域。
可选的,也可以使用变形算法对背景区域进行变形处理,以放大背景区域,其中,放大区域用于填充目标部位被缩小后形成的空白区域。其中,对目标部位和背景区域变形时采用的变形算法可以相同,也可以不同,本实施例不对此进行限制。
可选的,可以根据图像的背景中靠近目标部位的像素值生成填充像素,使用填充像素填充空白区域,填充像素应该使得空白区域能够与其他背景相融合。
当对视频中的目标部位进行缩小时,目标部位被缩小后也会形成空白区域。针对视频,可以采用背景分割技术将视频包括的多帧图像中的每帧图像的人像和背景区域分割开。该方式中可以结合多帧图像的背景区域的像素值生成填充像素,填充目标部位被缩小后形成的空白区域,如果多帧图像的背景区域相同,可以只计算一次填充像素。
可选的,也可以使用变形算法对每帧图像的背景区域进行变形处理,以放大每帧图像的背景区域,其中,放大区域用于填充目标部位被缩小后形成的空白区域。其中,对目标部位和背景区域变形时采用的变形算法可以相同,也可以不同,本实施例不对此进行限制。
当逐帧对视频包括的多帧图像进行变形处理时,为了达到变形后仍然具备视频的连续性,诸如不存在抖动和不连续等突兀的效果,可以通过如下两种方式对视频进行平滑处理:
(1)对视频包括的多帧图像中提取到的同一目标部位的轮廓点进行平滑处理。
同一目标部位的轮廓点在连续的多帧图像中变化量一般不大,如果提取的某一帧图像中目标部位有一个或者几个轮廓点的位置较相邻的前后帧图像偏移较大,可选的,可以将这几个轮廓点采用前几帧的轮廓点作为约束条件进行平滑计算得到新的轮廓点,计算得到的该新的轮廓点应该尽量保持帧间变动幅度较小、变动较为平滑的特点。当然,也可以采用其他平滑方式对轮廓点进行平滑处理,只要能够保证轮廓点的帧间连续性即可。
(2)对视频包括的多帧图像中的同一目标部位的变形结果进行平滑处理。
可选的,可以利用帧间的约束关系来保证背景中的物体尽量维持帧间的连续性,静止的物体维持不动,运动的物体运动轨迹比较平滑。而图像变形的区域利用帧间的关系进行填充或者利用连续帧间的关系做约束使得变形结果帧间连续性较好。
本实施例的方法,可以对图像和视频中的人像进行全局或者局部的变形处理,使得人像更加美观。该方法可以实时处理图片或者视频,例如,用户在拍照时,打开相机后,人像会出现先预览框内,此时可以对预览框内的人像进行美化,用户通过预览框可以看到变形后的人像,用户可以调整自己的拍照姿势,直至自己满意,然后点击拍照按钮进行拍照,拍照得到的图像是变形后的图像。
可选的,也可以在拍照完成,存储之前对图像进行变形处理,如此,存储的图像为变形后的图像。
可选的,还可以离线对存储的照片进行变形处理。
由于本实施例的方法可以实时对视频进行处理,因此,可以应用在视频直播类应用中,还可以应用在具有视频通话功能的社交软件中,用户在使用社交软件进行视频通话时,可以对视频中显示的人像进行变形处理。
本实施例的方法还可以对视频进行离线处理,以制作影视特效等。
本实施例中,获取图像或视频,识别图像或者视频中待变形的人像的至少一个目标部位,使用预设的变形算法对目标部位进行变形处理,变形处理包括以下处理中的一种或者多种:放大、缩小或者移位,从而能够自动对图像和视频中的人像进行美化,不需要用户手动对图像进行美化,美化方式更加智能、简单,提高了用户体验。并且本实施例的方法可以实时的在线对图像和视频进行变形处理,也可以离线对存储的图像和视频进行变形处理,使得图像变形方法的应用更加广泛。
图2为本发明实施例二提供的一种图像变形装置的结构示意图,如图2所示,本实施例提供的装置包括:
获取模块11,用于获取图像或视频;
识别模块12,用于识别所述图像或者视频中待变形的人像的至少一个目标部位;
变形模块13,用于使用预设的变形算法对所述目标部位进行变形处理,所述变形处理包括以下处理中的一种或者多种:放大、缩小或者移位。
可选的,所述识别模块12具体用于:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
提取所述待变形的人像的目标部位的轮廓点;
所述变形模块13具体用于:
使用所述变形算法对所述目标部位的轮廓点所在的区域进行变形处理。
可选的,所述识别模块12具体用于:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
对所述待变形的人像进行分割得到所述目标部位。
可选的,所述变形模块13具体用于:
将所述图像或者视频划分为二维网格;
使用所述变形算法对所述目标部位中位于所述二维网格的顶点处的像素点进行变形计算,得到所述二维网格的顶点处的像素点变形后的位置信息;
根据所述二维网格的顶点处的像素点变形前和变形后的位置信息,对所述目标部位中除所述二维网格的顶点处的像素点外的其他像素进行插值计算,得到所述其他像素点变形后的位置信息;
将所述目标部位的各像素点的像素值填充到变形后的位置。
可选的,所述获取模块14具体用于:
使用摄像头拍摄所述图像或者视频;
或者,从存储空间中获取所述图像或者视频。
图3为本发明实施例三提供的一种图像变形装置的结构示意图,如图3所示,本实施例的装置在图2所示装置的基础上还包括:
分割模块14,用于当所述变形模块对所述图像中的所述目标部位进行缩小处理时,采用背景分割技术将所述图像中的人像和背景区域分割开;
填充模块15,用于根据所述背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对所述背景区域进行变形处理,以放大所述背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
或者,分割模块14,用于当所述变形模块对所述视频中的所述目标部位进行缩小处理时,采用背景分割技术将所述视频包括的多帧图像中的每帧图像的人像和背景区域分割开;
填充模块15,用于根据所述多帧图像的背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对每帧图像的背景区域进行变形处理,以放大所述每帧图像的背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
可选的,还包括:
平滑模块,用于对所述视频包括的多帧图像中提取到的同一目标部位的轮廓点进行平滑处理。
可选的,还包括:
平滑模块,用于对所述视频包括的多帧图像中的同一目标部位的变形结果进行平滑处理。
上述实施例的装置,可用于执行实施例一的方法,具体实现方式和技术效果类似,这里不再赘述。
图4为本发明实施例四提供的电子设备的结构示意图,如图4所示,本实施例提供的电子设备200包括处理器21、存储器22和收发器23,存储器22、收发器23通过总线与处理器21连接并通信,所述存储器22用于存储指令,所述收发器23用于和其他设备通信,所述处理器21用于执行所述存储器22中存储的指令,以使所述电子设备200执行如实施例一所述的方法,这里不再赘述。
其中,该处理器21可以是微控制单元(Microcontroller Unit,简称MCU),MCU又称单片微型计算机(Single Chip Microcomputer)或者单片机,该处理器21还可以是中央处理器(Central Process Unit,简称CPU)、数字信号处理器(digital signal processor,简称DSP)、专用集成电路(application specific integrated circuit,简称ASIC)、现成可编程门阵列(field programmable gate array,简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件。
存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(Static Random-Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable read only memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。
收发器23可以和其他设备之间建立有线或无线通信链路,使得智能设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,收发器23还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
实施例五提供一种计算机可读存储介质,所述计算机可读存储介质存储有指令,当所述指令被执行时,使得计算机执行如实施例一所述方法。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (20)

1.一种图像变形方法,其特征在于,包括:
获取图像或视频;
识别所述图像或者视频中待变形的人像的至少一个目标部位;
使用预设的变形算法对所述目标部位进行变形处理,所述变形处理包括以下处理中的一种或者多种:放大、缩小或者移位。
2.根据权利要求1所述的方法,其特征在于,所述识别所述图像或者视频中待变形的人像的至少一个目标部位,包括:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
提取所述待变形的人像的目标部位的轮廓点;
使用预设的变形算法对所述目标部位进行变形处理,包括:
使用所述变形算法对所述目标部位的轮廓点所在的区域进行变形处理。
3.根据权利要求1所述的方法,其特征在于,所述识别所述图像或者视频中待变形的人像的至少一个目标部位,包括:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
对所述待变形的人像进行分割得到所述目标部位。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述使用预设的变形算法对所述目标部位进行变形处理,包括:
将所述图像或者视频划分为二维网格;
使用所述变形算法对所述目标部位中位于所述二维网格的顶点处的像素点进行变形计算,得到所述二维网格的顶点处的像素点变形后的位置信息;
根据所述二维网格的顶点处的像素点变形前和变形后的位置信息,对所述目标部位中除所述二维网格的顶点处的像素点外的其他像素点进行插值计算,得到所述其他像素点变形后的位置信息;
将所述目标部位的各像素点的像素值填充到变形后的位置。
5.根据权利要求1-4任一项所述的方法,其特征在于,当对所述图像中的所述目标部位进行缩小处理时,所述方法还包括:
采用背景分割技术将所述图像中的人像和背景区域分割开;
根据所述背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对所述背景区域进行变形处理,以放大所述背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
6.根据权利要求1-4任一项所述的方法,其特征在于,当对所述视频中的所述目标部位进行缩小处理时,所述方法还包括:
采用背景分割技术将所述视频包括的多帧图像中的每帧图像的人像和背景区域分割开;
根据所述多帧图像的背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对每帧图像的背景区域进行变形处理,以放大所述每帧图像的背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
7.根据权利要求2所述的方法,其特征在于,使用所述变形算法对所述目标部位的轮廓点所在的区域进行变形处理之前,还包括:
对所述视频包括的多帧图像中提取到的同一目标部位的轮廓点进行平滑处理。
8.根据权利要求1-3任一项所述的方法,其特征在于,使用预设的变形算法对所述目标部位进行变形处理之后,还包括:
对所述视频包括的多帧图像中的同一目标部位的变形结果进行平滑处理。
9.根据权利要求1-3任一项所述的方法,其特征在于,获取图像或视频,包括:
使用摄像头拍摄所述图像或者视频;
或者,从存储空间中获取所述图像或者视频。
10.一种图像变形装置,其特征在于,包括:
获取模块,用于获取图像或视频;
识别模块,用于识别所述图像或者视频中待变形的人像的至少一个目标部位;
变形模块,用于使用预设的变形算法对所述目标部位进行变形处理,所述变形处理包括以下处理中的一种或者多种:放大、缩小或者移位。
11.根据权利要求10所述的装置,其特征在于,所述识别模块具体用于:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
提取所述待变形的人像的目标部位的轮廓点;
所述变形模块具体用于:
使用所述变形算法对所述目标部位的轮廓点所在的区域进行变形处理。
12.根据权利要求10所述的装置,其特征在于,所述识别模块具体用于:
识别所述图像或者所述视频中每一帧或者关键帧中的所述待变形的人像;
对所述待变形的人像进行分割得到所述目标部位。
13.根据权利要求10-12任一项所述的装置,其特征在于,所述变形模块具体用于:
将所述图像或者视频划分为二维网格;
使用所述变形算法对所述目标部位中位于所述二维网格的顶点处的像素点进行变形计算,得到所述二维网格的顶点处的像素点变形后的位置信息;
根据所述二维网格的顶点处的像素点变形前和变形后的位置信息,对所述目标部位中除所述二维网格的顶点处的像素点外的其他像素点进行插值计算,得到所述其他像素点变形后的位置信息;
将所述目标部位的各像素点的像素值填充到变形后的位置。
14.根据权利要求10-13任一项所述的装置,其特征在于,还包括:
分割模块,用于当所述变形模块对所述图像中的所述目标部位进行缩小处理时,采用背景分割技术将所述图像中的人像和背景区域分割开;
填充模块,用于根据所述背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对所述背景区域进行变形处理,以放大所述背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
15.根据权利要求10-13任一项所述的装置,其特征在于,还包括:
分割模块,用于当所述变形模块对所述视频中的所述目标部位进行缩小时,采用背景分割技术将所述视频包括的多帧图像中的每帧图像的人像和背景区域分割开;
填充模块,用于根据所述多帧图像的背景区域的像素值填充所述目标部位被缩小后形成的空白区域;或者,
使用所述变形算法对每帧图像的背景区域进行变形处理,以放大所述每帧图像的背景区域,其中,放大区域用于填充所述目标部位被缩小后形成的空白区域。
16.根据权利要求11所述的装置,其特征在于,还包括:
平滑模块,用于对所述视频包括的多帧图像中提取到的同一目标部位的轮廓点进行平滑处理。
17.根据权利要求10-12任一项所述的装置,其特征在于,还包括:
平滑模块,用于对所述视频包括的多帧图像中的同一目标部位的变形结果进行平滑处理。
18.根据权利要求10-12任一项所述的装置,其特征在于,所述获取模块具体用于:
使用摄像头拍摄所述图像或者视频;
或者,从存储空间中获取所述图像或者视频。
19.一种电子设备,其特征在于,包括处理器、存储器和收发器,所述存储器用于存储指令,所述收发器用于和其他设备通信,所述处理器用于执行所述存储器中存储的指令,以使所述电子设备执行如权利要求1-9任一项所述的方法。
20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,使得计算机执行如权利要求1-9任一项所述的方法。
CN201910073701.0A 2019-01-25 2019-01-25 图像变形方法和装置 Active CN109903217B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910073701.0A CN109903217B (zh) 2019-01-25 2019-01-25 图像变形方法和装置
US16/666,795 US11263723B2 (en) 2019-01-25 2019-10-29 Image warping method and device
JP2019200536A JP6875488B2 (ja) 2019-01-25 2019-11-05 画像変形方法、画像変形装置、電子機器及びコンピュータ可読記憶媒体
EP19211028.6A EP3686834A1 (en) 2019-01-25 2019-11-22 Image warping method and device
KR1020190152399A KR102279813B1 (ko) 2019-01-25 2019-11-25 영상 변형 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910073701.0A CN109903217B (zh) 2019-01-25 2019-01-25 图像变形方法和装置

Publications (2)

Publication Number Publication Date
CN109903217A true CN109903217A (zh) 2019-06-18
CN109903217B CN109903217B (zh) 2023-05-02

Family

ID=66944189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910073701.0A Active CN109903217B (zh) 2019-01-25 2019-01-25 图像变形方法和装置

Country Status (5)

Country Link
US (1) US11263723B2 (zh)
EP (1) EP3686834A1 (zh)
JP (1) JP6875488B2 (zh)
KR (1) KR102279813B1 (zh)
CN (1) CN109903217B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264430A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110264431A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288552A (zh) * 2019-06-29 2019-09-27 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288551A (zh) * 2019-06-29 2019-09-27 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110929628A (zh) * 2019-11-18 2020-03-27 北京三快在线科技有限公司 一种人体识别的方法及装置
CN111918089A (zh) * 2020-08-10 2020-11-10 广州繁星互娱信息科技有限公司 视频流处理方法、视频流显示方法、装置及设备
CN111968050A (zh) * 2020-08-07 2020-11-20 Oppo(重庆)智能科技有限公司 人体图像处理方法及相关产品
CN112004020A (zh) * 2020-08-19 2020-11-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN113380204A (zh) * 2020-03-10 2021-09-10 咸阳彩虹光电科技有限公司 改善视角色偏的方法、装置及显示面板

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113034406B (zh) * 2021-04-27 2024-05-14 中国平安人寿保险股份有限公司 扭曲文档恢复方法、装置、设备及介质
US11989854B2 (en) 2021-06-23 2024-05-21 Apple Inc. Point-of-view image warp systems and methods
CN113961746B (zh) * 2021-09-29 2023-11-21 北京百度网讯科技有限公司 视频生成方法、装置、电子设备及可读存储介质
CN117315099A (zh) * 2023-10-30 2023-12-29 深圳市黑屋文化创意有限公司 一种用于三维动画的画面数据处理系统及方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054620A1 (en) * 2008-08-27 2010-03-04 Seiko Epson Corporation Image processing apparatus, image processing method, and image processing program
US20130039599A1 (en) * 2010-04-30 2013-02-14 The Ritsumeikan Trust Image transforming device, electronic device, image transforming method, image transforming program, and recording medium whereupon the program is recorded
JP2013232059A (ja) * 2012-04-27 2013-11-14 Axell Corp 画像表示処理装置及び画像表示処理方法
US20160328825A1 (en) * 2014-06-19 2016-11-10 Tencent Technology (Shenzhen) Company Limited Portrait deformation method and apparatus
KR20170047167A (ko) * 2015-10-22 2017-05-04 한국과학기술연구원 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法
CN108830200A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108961283A (zh) * 2018-06-05 2018-12-07 北京邮电大学 基于特征对应的图像变形方法及装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208360B1 (en) * 1997-03-10 2001-03-27 Kabushiki Kaisha Toshiba Method and apparatus for graffiti animation
KR100764130B1 (ko) 2005-03-29 2007-10-05 (주)제니텀 엔터테인먼트 컴퓨팅 자동 얼굴 추출 기반 가상 얼굴 성형 방법 및 시스템
US8374462B2 (en) * 2008-11-14 2013-02-12 Seiko Epson Corporation Content-aware image and video resizing by anchor point sampling and mapping
JP2011053942A (ja) 2009-09-02 2011-03-17 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
US8599238B2 (en) * 2009-10-16 2013-12-03 Apple Inc. Facial pose improvement with perspective distortion correction
US10324605B2 (en) * 2011-02-16 2019-06-18 Apple Inc. Media-editing application with novel editing tools
KR101832406B1 (ko) * 2011-03-30 2018-02-27 삼성전자주식회사 임의 형태의 스크린에 사진을 표시하기 위한 방법 및 장치
US10095917B2 (en) * 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US10101891B1 (en) * 2015-03-27 2018-10-16 Google Llc Computer-assisted image cropping
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
US10810700B2 (en) * 2019-03-05 2020-10-20 Aspeed Technology Inc. Method of adjusting texture coordinates based on control regions in a panoramic image
US11055381B1 (en) * 2020-06-12 2021-07-06 Nvidia Corporation Estimating product integrals using a composition of warps

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100054620A1 (en) * 2008-08-27 2010-03-04 Seiko Epson Corporation Image processing apparatus, image processing method, and image processing program
US20130039599A1 (en) * 2010-04-30 2013-02-14 The Ritsumeikan Trust Image transforming device, electronic device, image transforming method, image transforming program, and recording medium whereupon the program is recorded
JP2013232059A (ja) * 2012-04-27 2013-11-14 Axell Corp 画像表示処理装置及び画像表示処理方法
US20160328825A1 (en) * 2014-06-19 2016-11-10 Tencent Technology (Shenzhen) Company Limited Portrait deformation method and apparatus
KR20170047167A (ko) * 2015-10-22 2017-05-04 한국과학기술연구원 전자 장치가 동영상의 얼굴의 인상을 변형하는 방법 및 그 전자 장치
CN108492247A (zh) * 2018-03-23 2018-09-04 成都品果科技有限公司 一种基于网格变形的眼妆贴图方法
CN108830200A (zh) * 2018-05-31 2018-11-16 北京市商汤科技开发有限公司 一种图像处理方法、装置和计算机存储介质
CN108961283A (zh) * 2018-06-05 2018-12-07 北京邮电大学 基于特征对应的图像变形方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
任桐炜等: "基于区域关系图的图像显示适配技术", 《软件学报》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264430A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110264431A (zh) * 2019-06-29 2019-09-20 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288552A (zh) * 2019-06-29 2019-09-27 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110288551A (zh) * 2019-06-29 2019-09-27 北京字节跳动网络技术有限公司 视频美化方法、装置及电子设备
CN110929628A (zh) * 2019-11-18 2020-03-27 北京三快在线科技有限公司 一种人体识别的方法及装置
CN113380204A (zh) * 2020-03-10 2021-09-10 咸阳彩虹光电科技有限公司 改善视角色偏的方法、装置及显示面板
CN111968050A (zh) * 2020-08-07 2020-11-20 Oppo(重庆)智能科技有限公司 人体图像处理方法及相关产品
CN111968050B (zh) * 2020-08-07 2024-02-20 Oppo(重庆)智能科技有限公司 人体图像处理方法及相关产品
CN111918089A (zh) * 2020-08-10 2020-11-10 广州繁星互娱信息科技有限公司 视频流处理方法、视频流显示方法、装置及设备
CN112004020A (zh) * 2020-08-19 2020-11-27 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN112004020B (zh) * 2020-08-19 2022-08-12 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR20200092858A (ko) 2020-08-04
US11263723B2 (en) 2022-03-01
CN109903217B (zh) 2023-05-02
KR102279813B1 (ko) 2021-07-19
US20200242728A1 (en) 2020-07-30
JP2020119499A (ja) 2020-08-06
EP3686834A1 (en) 2020-07-29
JP6875488B2 (ja) 2021-05-26

Similar Documents

Publication Publication Date Title
CN109903217A (zh) 图像变形方法和装置
CN106778928B (zh) 图像处理方法及装置
KR101709380B1 (ko) 화상처리장치, 화상처리방법 및 프로그램
CN108985241B (zh) 图像处理方法、装置、计算机设备及存储介质
WO2019201042A1 (zh) 图像对象识别方法和装置、存储介质及电子装置
CN110555796B (zh) 图像调整方法、装置、存储介质以及设备
CN106570110A (zh) 图像去重方法及装置
CN108377339A (zh) 一种拍照方法及拍照装置
CN109889724A (zh) 图像虚化方法、装置、电子设备及可读存储介质
CN108154465A (zh) 图像处理方法及装置
KR20160030037A (ko) 닮은얼굴그림 생성 장치, 닮은얼굴그림 생성 방법
CN110361005A (zh) 定位方法、定位装置、可读存储介质及电子设备
CN110126480A (zh) 一种打印方法、打印装置、终端以及存储介质
CN108053371A (zh) 一种图像处理方法、终端及计算机可读存储介质
CN105512658B (zh) 矩形物体的图像识别方法及装置
CN114466133B (zh) 拍照方法及装置
CN110728621A (zh) 一种面部图像的换脸方法、装置、电子设备及存储介质
CN114187166A (zh) 图像处理方法、智能终端及存储介质
US20240013358A1 (en) Method and device for processing portrait image, electronic equipment, and storage medium
CN109657526B (zh) 一种基于人脸识别的图片智能裁剪方法和系统
CN109361850A (zh) 图像处理方法、装置、终端设备及存储介质
CN107992816A (zh) 一种拍照搜索方法、装置及电子设备
CN110310318B (zh) 一种特效处理方法及装置、存储介质与终端
CN114697530B (zh) 一种智能取景推荐的拍照方法及装置
CN114066724A (zh) 图像处理方法、智能终端及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant