CN113076777A - 整形模拟调整方法、系统、可读存储介质和设备 - Google Patents

整形模拟调整方法、系统、可读存储介质和设备 Download PDF

Info

Publication number
CN113076777A
CN113076777A CN202010004754.XA CN202010004754A CN113076777A CN 113076777 A CN113076777 A CN 113076777A CN 202010004754 A CN202010004754 A CN 202010004754A CN 113076777 A CN113076777 A CN 113076777A
Authority
CN
China
Prior art keywords
face
data
simulation
partition
adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010004754.XA
Other languages
English (en)
Inventor
黄庆武
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Select Meibang Hangzhou Network Technology Co ltd
Original Assignee
Select Meibang Hangzhou Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Select Meibang Hangzhou Network Technology Co ltd filed Critical Select Meibang Hangzhou Network Technology Co ltd
Priority to CN202010004754.XA priority Critical patent/CN113076777A/zh
Publication of CN113076777A publication Critical patent/CN113076777A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种整形模拟调整方法、系统、可读存储介质和设备,属于图像处理技术领域,获取待整形对象的原始图像,对原始图像进行人脸识别,得到人脸特征数据;人脸特征数据表征了人脸上的特异性特征,每个人的人脸的特征都是不同的,利用人脸特征数据可以确定相应的人脸类型,进而从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据,该人脸模板数据是针对这一人脸类型的整形标准数据,通过该人脸模板数据对待整形对象的原始图像进行模拟调整,可以适应人脸的特异性特征,模拟调整更加协调,更加真实地反映整形模拟,更加符合整形的需要,可以得到相对接近真实且更直观的整形模拟效果,提高整形模拟的效果。

Description

整形模拟调整方法、系统、可读存储介质和设备
技术领域
本发明涉及图像处理技术领域,特别是涉及一种整形模拟调整方法、系统、可读存储介质和设备。
背景技术
随着社会生活水平的不断提高,求美人士越来越多,促使了医美行业的高速发展。用户可以通过各种图像处理软件及工具对自拍照进行图像处理,以达到整形模拟的效果图像,丰富了日常生活。使用图像处理软件的用户经常通过软件对图像中的眼睛、鼻子、脸部、颏部(下巴)等进行图像拉伸处理,例如眼部放大、下巴拉伸、瘦脸、鼻头拉伸等,传统的整形图像处理方法通常是,参照统一模板对用户静态原始图像进行调整,使得用户脸部部位产生变化,由于用户的脸部变化多样,采用统一模板的方式有时很难适用,使得整形模拟的真实性较差。
发明内容
基于此,有必要针对传统的整形图像处理方式得到的图像的整形模拟的真实性较差的问题,提供一种整形模拟调整方法、系统、可读存储介质和设备。
一种整形模拟调整方法,包括以下步骤:
获取待整形对象的原始图像,对原始图像进行人脸识别,获取待整形对象的人脸特征数据;
根据人脸特征数据确定人脸类型,从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据;
根据人脸模板数据对原始图像进行模拟调整,获得整形模拟调整图像。
根据上述整形模拟调整方法,其是获取待整形对象的原始图像,对原始图像进行人脸识别,得到人脸特征数据;人脸特征数据表征了人脸上的特异性特征,每个人的人脸的特征都是不同的,利用人脸特征数据可以确定相应的人脸类型,进而从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据,该人脸模板数据是针对这一人脸类型的整形标准数据,通过该人脸模板数据对待整形对象的原始图像进行模拟调整,可以适应人脸的特异性特征,模拟调整更加协调,更加真实地反映整形模拟,更加符合整形的需要,可以得到相对接近真实且更直观的整形模拟效果,提高整形模拟的效果。
在其中一个实施例中,获取待整形对象的原始图像,对原始图像进行人脸识别的步骤包括以下步骤:
获取待整形对象的正面图像和多张侧面图像,对正面图像和多张侧面图像进行人脸识别。
在其中一个实施例中,人脸特征数据包括人脸的长宽比,人脸类型包括长脸或短脸。
在其中一个实施例中,获取待整形对象的人脸特征数据的步骤包括以下步骤:
获取待整形对象的发际线到下巴尖的第一长度,以及两耳屏间的第二长度,根据第一长度和第二长度的比值获取长宽比;
根据人脸特征数据确定人脸类型的步骤包括以下步骤:
若长宽比大于预设值,确定人脸类型为长脸;若长宽比小于或等于预设值,确定人脸类型为短脸。
在其中一个实施例中,根据人脸特征数据确定人脸类型的步骤包括以下步骤:
根据人脸特征数据确定人脸的轮廓数据;
若根据长宽比确定人脸类型属于长脸,根据轮廓数据判断长脸类型,长脸类型包括椭圆型脸或瓜子型脸;
若根据长宽比确定人脸类型属于短脸,根据轮廓数据判断短脸类型,短脸类型包括圆型脸、菱型脸或由字型脸。
在其中一个实施例中,根据人脸模板数据对原始图像进行模拟调整的步骤包括以下步骤:
根据人脸特征数据获取待整形对象的脸部区域特征点,根据脸部区域特征点对脸部进行分区,获取各分区的第一特征数据;其中,各分区包括眼部、鼻部、嘴部、面部和颏部,第一特征数据包括当前分区的位置数据以及当前分区和其他分区之间的相对位置数据;
获取人脸模板数据中对应各分区的第二特征数据,根据人脸模板数据中任意分区的第二特征数据对待整形对象的脸部对应分区的第一特征数据进行模拟调整。
在其中一个实施例中,根据人脸模板数据中任意分区的第二特征数据对待整形对象的脸部对应分区的第一特征数据进行模拟调整的步骤包括以下步骤:
接收选取指令和参数调整指令,根据选取指令确定待整形对象的脸部中的第一目标分区,根据参数调整指令确定模拟调整比例参数;
根据模拟调整比例参数和第二目标分区的第二特征参数对第一目标分区的第一特征参数进行调整,其中,第二目标分区是人脸模板数据中对应第一目标分区的分区。
一种整形模拟调整系统,包括:
图像识别单元,用于获取待整形对象的原始图像,对原始图像进行人脸识别,获取待整形对象的人脸特征数据;
脸型分析单元,用于根据人脸特征数据确定人脸类型,从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据;
图像调整单元,用于根据人脸模板数据对原始图像进行模拟调整,获得整形模拟调整图像。
根据上述整形模拟调整系统,其包括图像识别单元、脸型分析单元和图像调整单元,图像识别单元用于获取待整形对象的原始图像,对原始图像进行人脸识别,得到人脸特征数据;人脸特征数据表征了人脸上的特异性特征,每个人的人脸的特征都是不同的,脸型分析单元用于利用人脸特征数据可以确定相应的人脸类型,进而从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据,该人脸模板数据是针对这一人脸类型的整形标准数据,图像调整单元用于通过该人脸模板数据对待整形对象的原始图像进行模拟调整,可以适应人脸的特异性特征,模拟调整更加协调,更加真实地反映整形模拟,更加符合整形的需要,可以得到相对接近真实且更直观的整形模拟效果,提高整形模拟的效果。
在其中一个实施例中,图像识别单元用于获取待整形对象的正面图像和多张侧面图像,对正面图像和多张侧面图像进行人脸识别。
在其中一个实施例中,人脸特征数据包括人脸的长宽比,人脸类型包括长脸或短脸。
在其中一个实施例中,图像识别单元还用于获取待整形对象的发际线到下巴尖的第一长度,以及两耳屏间的第二长度,根据第一长度和第二长度的比值获取长宽比;
脸型分析单元还用于在长宽比大于预设值时,确定人脸类型为长脸;在长宽比小于或等于预设值时,确定人脸类型为短脸。
在其中一个实施例中,脸型分析单元还用于根据人脸特征数据确定人脸的轮廓数据;在根据长宽比确定人脸类型属于长脸时,根据轮廓数据判断长脸类型,长脸类型包括椭圆型脸或瓜子型脸;在根据长宽比确定人脸类型属于短脸时,根据轮廓数据判断短脸类型,短脸类型包括圆型脸、菱型脸或由字型脸。
在其中一个实施例中,图像调整单元还用于根据人脸特征数据获取待整形对象的脸部区域特征点,根据脸部区域特征点对脸部进行分区,获取各分区的第一特征数据;其中,各分区包括眼部、鼻部、嘴部、面部和颏部,第一特征数据包括当前分区的位置数据以及当前分区和其他分区之间的相对位置数据;
图像调整单元还用于获取人脸模板数据中对应各分区的第二特征数据,根据人脸模板数据中任意分区的第二特征数据对待整形对象的脸部对应分区的第一特征数据进行模拟调整。
在其中一个实施例中,图像调整单元还用于接收选取指令和参数调整指令,根据选取指令确定待整形对象的脸部中的第一目标分区,根据参数调整指令确定模拟调整比例参数;根据模拟调整比例参数和第二目标分区的第二特征参数对第一目标分区的第一特征参数进行调整,其中,第二目标分区是人脸模板数据中对应第一目标分区的分区。
一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述的整形模拟调整方法的步骤。
上述可读存储介质,通过其存储的可执行程序,可以实现从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据,该人脸模板数据是针对这一人脸类型的整形标准数据,通过该人脸模板数据对待整形对象的原始图像进行模拟调整,可以适应人脸的特异性特征,模拟调整更加协调,更加真实地反映整形模拟,更加符合整形的需要,可以得到相对接近真实且更直观的整形模拟效果,提高整形模拟的效果。
一种整形模拟调整设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述的整形模拟调整方法的步骤。
上述整形模拟调整设备,通过在处理器上运行可执行程序,可以实现从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据,该人脸模板数据是针对这一人脸类型的整形标准数据,通过该人脸模板数据对待整形对象的原始图像进行模拟调整,可以适应人脸的特异性特征,模拟调整更加协调,更加真实地反映整形模拟,更加符合整形的需要,可以得到相对接近真实且更直观的整形模拟效果,提高整形模拟的效果。
附图说明
图1是一个实施例中整形模拟调整方法的应用场景图;
图2是一个实施例中整形模拟调整方法的流程示意图;
图3是另一个实施例中整形模拟调整方法的流程示意图;
图4是一个实施例中整形模拟调整系统的结构示意图;
图5是一个实施例中应用整形模拟调整方法的整形模拟调整设备的结构示意图;
图6是一个实施例中整形模拟调整方法的具体应用流程简图;
图7是一个实施例中整形模拟调整方法的交互示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步的详细说明。应当理解,此处所描述的具体实施方式仅仅用以解释本发明,并不限定本发明的保护范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部内容。
需要说明的是,本发明实施例所涉及的术语“第一\第二”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换,以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本发明实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本申请提供的整形模拟调整方法,可以应用于如图1所示的应用环境中,移动设备可以获取待整形对象(即使用者)的原始图像,对原始图像进行人脸识别,得到人脸特征数据;利用人脸特征数据可以确定相应的人脸类型,进而从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据,通过该人脸模板数据对待整形对象的原始图像进行模拟调整。其中,移动设备可以是各种具备获取使用者图像和图像处理功能的设备,如个人计算机、笔记本电脑、掌上电脑、智能手机、平板电脑、便携式可穿戴设备等。
参见图2所示,为本发明一个实施例的整形模拟调整方法的流程示意图。该实施例中的整形模拟调整方法包括以下步骤:
步骤S110:获取待整形对象的原始图像,对原始图像进行人脸识别,获取待整形对象的人脸特征数据;
在本步骤中,原始图像可以通过电子设备的摄像头拍摄获得,或者通过扫描获得;人脸识别时可以分析原始图像中的人脸的特征,进而得到人脸特征数据;
步骤S120:根据人脸特征数据确定人脸类型,从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据;
在本步骤中,整形人脸特征数据库是预先设定的整形常用的人脸特征素材数据的集合,其中包括与人脸类型对应的人脸模板数据,通过实际的人脸特征数据确定待整形对象的人脸类型,与整形人脸特征数据库的人脸类型数据进行匹配分析,可以得到与待整形对象的人脸类型相应的人脸模板数据,该人脸模板数据是这一人脸类型的整形标准数据,该整形标准数据是通过美容整形的实践和图像数据处理后得到的,该人脸模板数据可以作为整形模拟调整的参考依据;
步骤S130:根据人脸模板数据对原始图像进行模拟调整,获得整形模拟调整图像;
在本步骤中,在对原始图像进行模拟调整时,主要以人脸模板数据这一整形标准数据为依据,使调整后的整形模拟调整图像尽可能接近人脸模板,达到展示整形美化的模拟效果。
在本实施例中,获取待整形对象的原始图像,对原始图像进行人脸识别,得到人脸特征数据;人脸特征数据表征了人脸上的特异性特征,每个人的人脸的特征都是不同的,利用人脸特征数据可以确定相应的人脸类型,进而从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据,该人脸模板数据是针对这一人脸类型的整形标准数据,通过该人脸模板数据对待整形对象的原始图像进行模拟调整,可以适应人脸的特异性特征,模拟调整更加协调,更加真实地反映整形模拟,更加符合整形的需要,可以得到相对接近真实且更直观的整形模拟效果,提高整形模拟的效果。
进一步的,在进行模拟调节时可以使用扩散、锐化、变形算法对图像进行处理。
进一步的,在获取待整形对象的原始图像时,可以划定拍摄区域,如与脸部形状相似的拍摄区域等,在待整形对象的脸部进入拍摄区域时进行拍摄,得得到的原始图像就是所需的脸部图像,如此可减少人脸识别的时间,提高识别的准确度;另外,在获取待整形对象的原始图像时,感应拍摄时的亮度,若亮度小于预设亮度值,则开启闪光灯或者提示亮度不足;在进行人脸识别时,还可以检测人脸上的妆容,提示清洁后再进行整形模拟,若检测到人脸上有配饰,提示取下配饰,如眼镜、假睫毛、鼻钉等。
在一个实施例中,获取待整形对象的原始图像,对原始图像进行人脸识别的步骤包括以下步骤:
获取待整形对象的正面图像和多张侧面图像,对正面图像和多张侧面图像进行人脸识别。
在本实施例中,可以获取待整形对象的多张图像,包括正面图像和侧面图像,正面图像和多张侧面图像是从不同角度获得的图像,以此为依据可以减小光照、角度等影响,使人脸识别更加准确。
具体的,在实际操作中,可以获取待整形对象的正面图像和两张侧面45度角的侧面图像。
进一步的,在得到正面图像和侧面图像后,可以此为依据构建3D原始图像模型,利用3D模型算法进行准确的人脸识别。
在一个实施例中,人脸特征数据包括人脸的长宽比,人脸类型包括长脸或短脸。
在本实施例中,人脸特征数据可以包括人脸的长宽比,长宽比可以直接明显地表征人脸的比例,以此作为基准,可以基本快速确定人脸类型,如长脸、短脸等。
在一个实施例中,获取待整形对象的人脸特征数据的步骤包括以下步骤:
获取待整形对象的发际线到下巴尖的第一长度,以及两耳屏间的第二长度,根据第一长度和第二长度的比值获取长宽比;
根据人脸特征数据确定人脸类型的步骤包括以下步骤:
若长宽比大于预设值,确定人脸类型为长脸;若长宽比小于或等于预设值,确定人脸类型为短脸。
在本实施例中,对原始图像进行人脸识别,可以从中得到待整形对象的各种参数,包括待整形对象的发际线到下巴尖的第一长度,以及两耳屏间的第二长度,这两个长度是人脸大小两个方向维度上的长度,基本限定了人脸的范围,利用这两个长度的比值可以得到人脸的长宽比,通过长宽比和预设值的比较,可以确定人脸类型,如长宽比大于预设值,表明人脸纵向上的长度更加长,可以确定为长脸,若长宽比小于或者等于预设值,表明人脸横向上的宽度更加长,可以确定为短脸,如此可以较为快速方便地确定人脸类型。
具体的,预设值可以设置为3/2,若长宽比超过3/2,则确定人脸类型为长脸,若长宽比为3/2以下,则确定人脸类型为短脸,此处的预设值仅为示例,可以根据实际需要进行调整。
在其中一个实施例中,根据人脸特征数据确定人脸类型的步骤包括以下步骤:
根据人脸特征数据确定人脸的轮廓数据;
若根据长宽比确定人脸类型属于长脸,根据轮廓数据判断长脸类型,长脸类型包括椭圆型脸或瓜子型脸;
若根据长宽比确定人脸类型属于短脸,根据轮廓数据判断短脸类型,短脸类型包括圆型脸、菱型脸或由字型脸。
在本实施例中,通过对人脸特征数据的分析,可以得到人脸的整体轮廓数据,在根据长宽比确定人脸的基本类型后,利用整体轮廓数据对人脸类型进行细分,如若人脸类型属于长脸,结合轮廓数据判断其具体类型为椭圆型脸或瓜子型脸等,若人脸类型属于短脸,结合轮廓数据判断其具体类型为圆型脸、菱型脸或由字型脸等,通过与轮廓数据结合判断人脸的具体类型,减少同种基本人脸类型下可供选择的人脸模板数据数量,从而使选择的人脸模板数据更加精准,提高整形模拟调整的准确性。
在一个实施例中,根据人脸模板数据对原始图像进行模拟调整的步骤包括以下步骤:
根据人脸特征数据获取待整形对象的脸部区域特征点,根据脸部区域特征点对脸部进行分区,获取各分区的第一特征数据;其中,各分区包括眼部、鼻部、嘴部、面部和颏部,第一特征数据包括当前分区的位置数据以及当前分区和其他分区之间的相对位置数据;
获取人脸模板数据中对应各分区的第二特征数据,根据人脸模板数据中任意分区的第二特征数据对待整形对象的脸部对应分区的第一特征数据进行模拟调整。
在本实施例中,在人脸识别之后,可以获取脸部区域特征点,人脸上不同区域部位的特征点分布不同,利用脸部区域特征点可以对脸部区域进行分区,得到如眼部、鼻部、嘴部、面部、颏部等区域的特征数据,第一特征数据包括当前人脸部位的位置数据以及当前人脸部位和其他部位之间的相对位置数据,以便于对人脸的不同区域进行整形模拟;在整形模拟的具体过程中,人脸模板数据也可以按照脸部区域进行划分,与待整形对象的脸部分区相对应,然后以人脸模板数据中分区的第二特征数据对待整形对象的对应脸部分区的第一特征数据进行模拟调整,从而达到整形模拟效果。
具体的,人脸上的特征区域可以包括额头、眼睛、眉毛、眼睑、鼻梁、鼻头、鼻翼、脸颊、嘴巴、颏部等,还包括脸部整体轮廓等脸型数据,上述特征区域可以构建不同的特征点,实现对人脸特征区域部位的划分,在获取特征数据时,不仅有特征区域部位自身的数据,还有特征区域部位的位置数据以及与其他特征区域的相对位置数据,以及特征区域部位的颜色、亮度等数据,在整形模拟时综合上述数据可以提高模拟效果的协调性。
进一步的,除了根据人脸识别结果进行脸部区域分区外,还可以手动设置点位进行选取,如接收区域选取指令,在原始图像的人脸上选取指定区域,对指定区域进行整形模拟,提高整形模拟的灵活性。需要说明的是,可以对任意分区进行调整,调整的分区的数量可以是一个以上。
进一步的,进行脸部区域分区,并对分区区域的特征数据与人脸模板数据进行匹配分析后,可以获得建议整形的分区区域,获取该分区区域的人脸特征调整值。
在一个实施例中,根据人脸模板数据中任意分区的第二特征数据对待整形对象的脸部对应分区的第一特征数据进行模拟调整的步骤包括以下步骤:
接收选取指令和参数调整指令,根据选取指令确定待整形对象的脸部中的第一目标分区,根据参数调整指令确定模拟调整比例参数;
根据模拟调整比例参数和第二目标分区的第二特征参数对第一目标分区的第一特征参数进行调整,其中,第二目标分区是人脸模板数据中对应第一目标分区的分区。
在本实施例中,可以通过选取指令选取第一目标分区,并通过参数调整指令确定模拟调整比例参数,由于各个待整形对象的脸部特征各有不同,将其整形至标准的完美人脸在实际操作中是较难的,因此可以选取待整形对象的人脸的第一目标分区,并且通过模拟调整比例参数和第二目标分区的第二特征参数对第一目标分区的第一特征参数进行调整,使第一特征参数接近第二特征参数,足以达到整形模拟的效果。
需要说明的是,模拟调整比例参数可以在50%-100%之间,例如,确定人脸类型为椭圆型脸,通过选取指令确定第一目标分区为鼻粱,通过参数调整指令确定模拟调整比例参数为80%,人脸模板数据为标准的椭圆型脸的特征数据,从中选取鼻梁分区作为第二目标分区,将鼻梁分区的数据与模拟调整比例参数80%相结合,作为参考数据对待整形对象的鼻梁进行调整,得到整形模拟调整图像,其中,选取的第一目标分区和模拟调整比例参数可以由用户自由选择和确定。通过此种方式不仅可以对待整形对象进行整形模拟,而且对实际整形美容具有较好的指导意义。
在一个实施例中,整形模拟调整方法还包括以下步骤:
接收修改指令,根据修改指令对整形模拟图像进行特征数据微调;
或者,根据修改指令重新在各分区中选取第一目标分区。
在本实施例中,依据人脸模板数据对待整形对象的原始图像进行模拟调节,获得整形模拟调整图像后,该整形模拟调整图像可能并非符合待整形对像的要求,此时可以接收修改指令,根据修改指令进行特征数据微调,使之符合待整形对像的具体要求;或者,当前第一目标分区的整形模拟不符合待整形对像的要求,可以重新选取新的第一目标分区进行整形模拟,以此可以按照待整形对象的要求对模拟整形进行调整。
在一个实施例中,如图3所示,整形模拟调整方法包括以下步骤:
获取待整形对象的原始图像,对原始图像进行人脸识别;
获取待整形对象的人脸特征数据,其中包括待整形对象的发际线到下巴尖的第一长度、两耳屏间的第二长度以及人脸的轮廓数据;
根据第一长度和第二长度的比值获取长宽比,若长宽比大于预设值,确定人脸类型为长脸,根据轮廓数据判断长脸类型,长脸类型包括椭圆型脸或瓜子型脸;若长宽比小于或等于预设值,确定人脸类型为短脸,根据轮廓数据判断短脸类型,短脸类型包括圆型脸、菱型脸或由字型脸;
从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据;
根据人脸特征数据获取待整形对象的脸部区域特征点,根据脸部区域特征点对脸部进行分区,获取各分区的第一特征数据;其中,各分区包括眼部、鼻部、嘴部、面部和颏部,第一特征数据包括当前分区的位置数据以及当前分区和其他分区之间的相对位置数据;
获取人脸模板数据中对应各分区的第二特征数据,接收选取指令和参数调整指令,根据选取指令确定待整形对象的脸部中的第一目标分区,根据参数调整指令确定模拟调整比例参数;
根据模拟调整比例参数和第二目标分区的第二特征参数对第一目标分区的第一特征参数进行调整,获得整形模拟调整图像,其中,第二目标分区是人脸模板数据中对应第一目标分区的分区。
上述方式可以通过人脸模板数据对待整形对象的原始图像进行模拟调整,可以适应人脸的特异性特征,模拟调整更加协调,更加真实地反映整形模拟,更加符合整形的需要,可以得到相对接近真实且更直观的整形模拟效果,提高整形模拟的效果。
应该理解的是,虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
根据上述整形模拟调整方法,本发明实施例还提供一种整形模拟调整系统,以下就本发明的整形模拟调整系统的实施例进行详细说明。
参见图4所示,为本发明一个实施例的整形模拟调整系统的结构示意图。该实施例中的整形模拟调整系统包括:
图像识别单元210,用于获取待整形对象的原始图像,对原始图像进行人脸识别,获取待整形对象的人脸特征数据;
脸型分析单元220,用于根据人脸特征数据确定人脸类型,从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据;
图像调整单元230,用于根据人脸模板数据对原始图像进行模拟调整,获得整形模拟调整图像。
在本实施例中,上述整形模拟调整系统包括图像识别单元210、脸型分析单元220和图像调整单元230,图像识别单元210用于获取待整形对象的原始图像,对原始图像进行人脸识别,得到人脸特征数据;人脸特征数据表征了人脸上的特异性特征,每个人的人脸的特征都是不同的,脸型分析单元220用于利用人脸特征数据可以确定相应的人脸类型,进而从预设的整形人脸特征数据库中选取与人脸类型相应的人脸模板数据,该人脸模板数据是针对这一人脸类型的整形标准数据,图像调整单元230用于通过该人脸模板数据对待整形对象的原始图像进行模拟调整,可以适应人脸的特异性特征,模拟调整更加协调,更加真实地反映整形模拟,更加符合整形的需要,可以得到相对接近真实且更直观的整形模拟效果,提高整形模拟的效果。
在一个实施例中,图像识别单元210用于获取待整形对象的正面图像和多张侧面图像,对正面图像和多张侧面图像进行人脸识别。
在一个实施例中,人脸特征数据包括人脸的长宽比,人脸类型包括长脸或短脸。
在一个实施例中,图像识别单元210还用于获取待整形对象的发际线到下巴尖的第一长度,以及两耳屏间的第二长度,根据第一长度和第二长度的比值获取长宽比;
脸型分析单元220还用于在长宽比大于预设值时,确定人脸类型为长脸;在长宽比小于或等于预设值时,确定人脸类型为短脸。
在一个实施例中,脸型分析单元220还用于根据人脸特征数据确定人脸的轮廓数据;在根据长宽比确定人脸类型属于长脸时,根据轮廓数据判断长脸类型,长脸类型包括椭圆型脸或瓜子型脸;在根据长宽比确定人脸类型属于短脸时,根据轮廓数据判断短脸类型,短脸类型包括圆型脸、菱型脸或由字型脸。
在一个实施例中,图像调整单元230还用于根据人脸特征数据获取待整形对象的脸部区域特征点,根据脸部区域特征点对脸部进行分区,获取各分区的第一特征数据;其中,各分区包括眼部、鼻部、嘴部、面部和颏部,第一特征数据包括当前分区的位置数据以及当前分区和其他分区之间的相对位置数据;
图像调整单元230还用于获取人脸模板数据中对应各分区的第二特征数据,根据人脸模板数据中任意分区的第二特征数据对待整形对象的脸部对应分区的第一特征数据进行模拟调整。
在一个实施例中,图像调整单元230还用于接收选取指令和参数调整指令,根据选取指令确定待整形对象的脸部中的第一目标分区,根据参数调整指令确定模拟调整比例参数;根据模拟调整比例参数和第二目标分区的第二特征参数对第一目标分区的第一特征参数进行调整,其中,第二目标分区是人脸模板数据中对应第一目标分区的分区。
本发明的整形模拟调整系统与本发明的整形模拟调整方法相对应,在上述整形模拟调整方法的实施例中阐述的技术特征及其有益效果均适用于整形模拟调整系统的实施例中。
上述各单元可用硬件形式内嵌于或独立于计算机设备中的处理器中,也可以用软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种整形模拟调整方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种可读存储介质,其上存储有可执行程序,可执行程序被处理器执行时实现上述的整形模拟调整方法的步骤。
上述可读存储介质,通过其存储的可执行程序,可以实现以待用区域图像的第二特征参数为依据对人脸的第一特征参数进行调整,得到的调整后的人脸可以与待用区域图像相匹配,调整后的人脸和待用区域图像可以协调融合,从而提高得到的整形模拟调整图像的整体协调性。
在一个实施例中,提供了一种整形模拟调整设备,包括存储器和处理器,存储器存储有可执行程序,处理器执行可执行程序时实现上述的整形模拟调整方法的步骤。
上述整形模拟调整设备,通过在处理器上运行可执行程序,可以实现以待用区域图像的第二特征参数为依据对人脸的第一特征参数进行调整,得到的调整后的人脸可以与待用区域图像相匹配,调整后的人脸和待用区域图像可以协调融合,从而提高得到的整形模拟调整图像的整体协调性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性的计算机可读取存储介质中,如实施例中,该计算机程序可存储于计算机系统的存储介质中,并被该计算机系统中的至少一个处理器执行,以实现包括如上述整形模拟调整方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
在一个实施例中,整形模拟调整方法可以应用在移动设备中,移动设备可以是个人计算机、笔记本电脑、掌上电脑、智能手机、平板电脑、便携式可穿戴设备等。
整形模拟调整方法的流程简图如图6所示。具体的,用户可以通过手机、平板电脑、摄像头等电子设备扫描或拍摄面部,上传三张不同面的人脸图像(正面,侧面(45度)两张),建立3D原始图像模型,或者也可以只拍摄正面的人脸图像(需要清楚显示人脸五官)。然后对用户的原始图像模型进行人脸识别,将脸部各部位进行分区,分割成额头、眼部(单眼,包括眼睛、眉毛)、鼻部(鼻头、鼻翼)、颏部、面部(两面颊)等分区(部位分区可以是通过用户手动设置点位来进行选取),通过脸型数据计算算法分析出用户的脸部特征,通过待整形对象的发际线到下巴尖的第一长度、两耳屏间的第二长度计算人脸长宽比,结合人脸的轮廓数据判断人脸类型,如长脸中的椭圆型脸或瓜子型脸,短脸中的圆型脸、菱型脸或由字型脸等,确定人脸类型后,从预设的整形人脸特征数据库中选取与之对应的人脸模板数据;另外,用户可以选取单个脸部分区作为目标区域,获取目标分区的特征数据,与人脸模板数据中相应分区的特征数据进行对比;为了能适应实际需要,可以设置一模拟调整比例参数,将其与人脸模板数据中相应分区的特征数据相结合,再对用户选取的单个脸部分区进行调整,得到整形模拟调整图像,如对整形模拟调整的效果不满意,用户可以用微调功能来进行对单个部位的图像处理,或者重新选择部位进行整形模拟调整,得到最终的整形模拟调整图像;如图7所示,用户可以将此整形模拟调整图像通过在线咨询服务模块发给在线整形医生进行点对点的咨询,在线整形医生可以在此整形模拟调整图像的基础上再进行微调或是重新对每个部位进行匹配,从而得到最佳整形模拟调整图像;让整形医生在线提供整形建议,并可修改客户的模拟数据,从而得到两方都觉得好的整形模拟调整图像,然后用户可以保存整形模拟调整图像,还可以进行3D模拟图像打印,图像会保存在医生的整形服务端的数据库里,待下次用户线下找医生面诊时,医生可以调出数据作为面诊依据,减少双方沟通的时间;也可以通过分享功能,通过微信、QQ等即时通讯软件分享给朋友,相对于传统整形模拟技术,只能通过简单地进行识别和图像处理,不能融合专业的脸型模板数据,本方案可以让用户自由选择整形部位,并且得到的整形模拟调整图像与用户的脸型相适应,提高了整形模拟的效率和专业性,特别是应用在医疗美容术前客户面诊环节,可以更直观地让用户提前得到术后的效果模拟图像。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种整形模拟调整方法,其特征在于,包括以下步骤:
获取待整形对象的原始图像,对所述原始图像进行人脸识别,获取所述待整形对象的人脸特征数据;
根据所述人脸特征数据确定人脸类型,从预设的整形人脸特征数据库中选取与所述人脸类型相应的人脸模板数据;
根据所述人脸模板数据对所述原始图像进行模拟调整,获得整形模拟调整图像。
2.根据权利要求1所述的整形模拟调整方法,其特征在于,所述获取待整形对象的原始图像,对所述原始图像进行人脸识别的步骤包括以下步骤:
获取待整形对象的正面图像和多张侧面图像,对所述正面图像和所述多张侧面图像进行人脸识别。
3.根据权利要求1所述的整形模拟调整方法,其特征在于,所述人脸特征数据包括人脸的长宽比,所述人脸类型包括长脸或短脸。
4.根据权利要求3所述的整形模拟调整方法,其特征在于,所述获取所述待整形对象的人脸特征数据的步骤包括以下步骤:
获取所述待整形对象的发际线到下巴尖的第一长度,以及两耳屏间的第二长度,根据所述第一长度和所述第二长度的比值获取所述长宽比;
所述根据所述人脸特征数据确定人脸类型的步骤包括以下步骤:
若所述长宽比大于预设值,确定所述人脸类型为长脸;若所述长宽比小于或等于所述预设值,确定所述人脸类型为短脸。
5.根据权利要求3所述的整形模拟调整方法,其特征在于,所述根据所述人脸特征数据确定人脸类型的步骤包括以下步骤:
根据所述人脸特征数据确定人脸的轮廓数据;
若根据所述长宽比确定所述人脸类型属于长脸,根据所述轮廓数据判断长脸类型,所述长脸类型包括椭圆型脸或瓜子型脸;
若根据长宽比确定所述人脸类型属于短脸,根据所述轮廓数据判断短脸类型,所述短脸类型包括圆型脸、菱型脸或由字型脸。
6.根据权利要求1所述的整形模拟调整方法,其特征在于,所述根据所述人脸模板数据对所述原始图像进行模拟调整的步骤包括以下步骤:
根据所述人脸特征数据获取所述待整形对象的脸部区域特征点,根据所述脸部区域特征点对脸部进行分区,获取各分区的第一特征数据;其中,各所述分区包括眼部、鼻部、嘴部、面部和颏部,所述第一特征数据包括当前分区的位置数据以及当前分区和其他分区之间的相对位置数据;
获取所述人脸模板数据中对应各分区的第二特征数据,根据所述人脸模板数据中任意分区的第二特征数据对所述待整形对象的脸部对应分区的第一特征数据进行模拟调整。
7.根据权利要求1所述的整形模拟调整方法,其特征在于,所述根据所述人脸模板数据中任意分区的第二特征数据对所述待整形对象的脸部对应分区的第一特征数据进行模拟调整的步骤包括以下步骤:
接收选取指令和参数调整指令,根据所述选取指令确定所述待整形对象的脸部中的第一目标分区,根据所述参数调整指令确定模拟调整比例参数;
根据所述模拟调整比例参数和第二目标分区的第二特征参数对所述第一目标分区的第一特征参数进行调整,其中,所述第二目标分区是所述人脸模板数据中对应所述第一目标分区的分区。
8.一种整形模拟调整系统,其特征在于,包括:
图像识别单元,用于获取待整形对象的原始图像,对所述原始图像进行人脸识别,获取所述待整形对象的人脸特征数据;
脸型分析单元,用于根据所述人脸特征数据确定人脸类型,从预设的整形人脸特征数据库中选取与所述人脸类型相应的人脸模板数据;
图像调整单元,用于根据所述人脸模板数据对所述原始图像进行模拟调整,获得整形模拟调整图像。
9.一种可读存储介质,其上存储有可执行程序,其特征在于,所述可执行程序被处理器执行时实现权利要求1至7中任一项所述的整形模拟调整方法的步骤。
10.一种整形模拟调整设备,包括存储器和处理器,所述存储器存储有可执行程序,其特征在于,所述处理器执行所述可执行程序时实现权利要求1至7中任一项所述的整形模拟调整方法的步骤。
CN202010004754.XA 2020-01-03 2020-01-03 整形模拟调整方法、系统、可读存储介质和设备 Pending CN113076777A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010004754.XA CN113076777A (zh) 2020-01-03 2020-01-03 整形模拟调整方法、系统、可读存储介质和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010004754.XA CN113076777A (zh) 2020-01-03 2020-01-03 整形模拟调整方法、系统、可读存储介质和设备

Publications (1)

Publication Number Publication Date
CN113076777A true CN113076777A (zh) 2021-07-06

Family

ID=76608406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010004754.XA Pending CN113076777A (zh) 2020-01-03 2020-01-03 整形模拟调整方法、系统、可读存储介质和设备

Country Status (1)

Country Link
CN (1) CN113076777A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101524276A (zh) * 2008-03-04 2009-09-09 梁晖 整容术前评估整容术后效果的新方法
CN106548156A (zh) * 2016-10-27 2017-03-29 江西瓷肌电子商务有限公司 一种根据人脸图像提供整容建议的方法
CN107123160A (zh) * 2017-05-02 2017-09-01 成都通甲优博科技有限责任公司 基于三维立体图像的模拟整容系统、方法及移动终端
CN108765559A (zh) * 2018-08-21 2018-11-06 广东工业大学 数据采集装置及利用该装置辅助医美整容行业的方法
CN109189967A (zh) * 2018-08-24 2019-01-11 微云(武汉)科技有限公司 一种基于人脸识别的整容方案推荐方法、装置和存储介质
CN110188590A (zh) * 2019-04-09 2019-08-30 浙江工业大学 一种基于三维人脸模型的脸型分辨方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101524276A (zh) * 2008-03-04 2009-09-09 梁晖 整容术前评估整容术后效果的新方法
CN106548156A (zh) * 2016-10-27 2017-03-29 江西瓷肌电子商务有限公司 一种根据人脸图像提供整容建议的方法
CN107123160A (zh) * 2017-05-02 2017-09-01 成都通甲优博科技有限责任公司 基于三维立体图像的模拟整容系统、方法及移动终端
CN108765559A (zh) * 2018-08-21 2018-11-06 广东工业大学 数据采集装置及利用该装置辅助医美整容行业的方法
CN109189967A (zh) * 2018-08-24 2019-01-11 微云(武汉)科技有限公司 一种基于人脸识别的整容方案推荐方法、装置和存储介质
CN110188590A (zh) * 2019-04-09 2019-08-30 浙江工业大学 一种基于三维人脸模型的脸型分辨方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王楠: "数字人脸图像的脸型改善技术研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *
马立昌等: "《中式埋线微整形与减肥》", 30 November 2017, 中国医药科技出版社 *

Similar Documents

Publication Publication Date Title
CN109829930B (zh) 人脸图像处理方法、装置、计算机设备及可读存储介质
KR20200132833A (ko) 가상 아바타 발생 방법 및 장치, 및 저장 매체
US10617301B2 (en) Information processing device and information processing method
KR102102944B1 (ko) 눈썹 스타일을 추천하는 디스플레이 방법 및 전자 장치
JP2009064423A (ja) メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム
KR20080084933A (ko) 얼굴 분류 방법, 얼굴 분류 장치, 분류맵, 얼굴 분류프로그램, 및 상기 프로그램이 기록된 기록매체
CN109886144B (zh) 虚拟试发方法、装置、计算机设备和存储介质
WO2019232871A1 (zh) 眼镜虚拟佩戴方法、装置、计算机设备及存储介质
CN109949207B (zh) 虚拟对象合成方法、装置、计算机设备和存储介质
CN113076778A (zh) 整形模拟图像处理方法、系统、可读存储介质和设备
CN110866139A (zh) 一种化妆处理方法、装置及设备
US9330300B1 (en) Systems and methods of analyzing images
WO2023273247A1 (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN113076777A (zh) 整形模拟调整方法、系统、可读存储介质和设备
CN110750154A (zh) 显示器控制方法、系统、装置、设备和存储介质
CN111353931B (zh) 整形模拟方法、系统、可读存储介质和设备
CN113076779A (zh) 整形模拟匹配方法、系统、可读存储介质和设备
JP6738780B2 (ja) 頬紅案内装置及びその方法
CN111178560A (zh) 一种基于ar技术的理发推荐预约系统
CN111354478A (zh) 整形模拟信息处理方法、整形模拟终端和整形服务终端
CN111062860B (zh) 基于场景的图像色彩调整方法、装置和计算机设备
CN113033250A (zh) 脸部肌肉状态分析与评价方法
CN112395902A (zh) 人脸活体检测方法、图像分类方法、装置、设备和介质
CN104715505A (zh) 三维头像产生系统及其装置、产生方法
CN110555374A (zh) 资源分享的方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210706

RJ01 Rejection of invention patent application after publication