CN112684881A - 化身面部表情生成系统及化身面部表情生成方法 - Google Patents
化身面部表情生成系统及化身面部表情生成方法 Download PDFInfo
- Publication number
- CN112684881A CN112684881A CN201911293371.2A CN201911293371A CN112684881A CN 112684881 A CN112684881 A CN 112684881A CN 201911293371 A CN201911293371 A CN 201911293371A CN 112684881 A CN112684881 A CN 112684881A
- Authority
- CN
- China
- Prior art keywords
- configuration
- emotional
- facial expression
- emotion
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008921 facial expression Effects 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000002996 emotional effect Effects 0.000 claims abstract description 124
- 230000036651 mood Effects 0.000 claims abstract description 108
- 230000008451 emotion Effects 0.000 claims description 134
- 230000004044 response Effects 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 7
- 230000003247 decreasing effect Effects 0.000 claims 2
- 230000008859 change Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000001815 facial effect Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000003423 ankle Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种化身面部表情生成系统及化身面部表情生成方法。在所述方法中,获取与用户的感测结果相关的用户数据。确定第一情绪配置及第二情绪配置。第一情绪配置及第二情绪配置分别在第一时间期间及第二时间期间得到维持。基于第一情绪配置及第二情绪配置确定过渡情绪配置,其中过渡情绪配置在第三时间期间得到维持。分别基于第一情绪配置、过渡情绪配置及第二情绪配置生成化身的面部表情。第三时间期间存在于第一时间期间与第二时间期间之间。因此,当遇到情绪变换时,化身上将呈现正常面部表情。
Description
技术领域
本发明大体涉及一种生成面部表情的方法,具体来说涉及一种化身面部表情生成系统及化身面部表情生成方法。
背景技术
当今,例如虚拟现实(virtual reality,VR)、增强现实(augmented reality,AR)、混合现实(mixed reality,MR)及扩展现实(extended reality,XR)等用于模拟感觉、感知和/或环境的技术受到欢迎。上述技术可应用于多种领域中,例如游戏、军事训练、医疗保健、远程工作等。
为让用户将模拟环境感知为真实环境,将跟踪真实世界中的身体部分的运动或面部表情,从而可响应于用户的运动或面部表情来改变VR、AR、MR或XR显示器上显示的化身的图像及运动或面部表情。
就面部表情模拟来说,在传统方式中,设置照相机以用头戴式显示器(head-mounted display,HMD)捕获用户的面部,并将根据所捕获的图像中的面部特征来生成模拟面部表情。然而,面部的一部分被HMD覆盖,从而难以识别面部特征及面部表情。
另外,人类有多种面部表情,且带有不同情绪的两种面部表情之间可能有显著差异。在传统方式中,化身的面部表情可响应于情绪的变化而被迫从一种情绪切换到另一种情绪。最终,在化身上可能出现异常面部表情。因此,对化身的面部表情模拟仍有许多技术问题应得到改进。
发明内容
强制在化身的面部表情上切换两种情绪可能会造成异常面部表情。因此,本发明涉及一种化身面部表情生成系统及化身面部表情生成方法。
在示例性实施例中的一者中,一种面部模型的化身面部表情生成方法包括但不限于以下步骤。获取用户数据,其中用户数据与用户的感测结果相关。基于用户数据确定第一情绪配置及第二情绪配置。第一情绪配置维持在第一时间期间,且第二情绪配置维持在不同于第一时间期间的第二时间期间。基于第一情绪配置及第二情绪配置确定过渡情绪配置。过渡情绪配置维持在不同于第一时间期间的第三时间期间。分别基于第一情绪配置、过渡情绪配置及第二情绪配置生成化身的面部表情。第三时间期间存在于第一时间期间与第二时间期间之间。
在示例性实施例中的一者中,一种面部表情生成系统包括但不限于输入设备、存储器及处理器。输入设备用于获取用户数据,其中用户数据与用户的感测结果相关。存储器用于存储程序码。处理器耦接存储器并加载程序码以执行以下步骤。处理器基于用户数据确定第一情绪配置及第二情绪配置,基于第一情绪配置及第二情绪配置确定过渡情绪配置,并且分别基于第一情绪配置、过渡情绪配置及第二情绪配置生成化身的面部表情。第一情绪配置维持在第一时间期间,且第二情绪配置维持在不同于第一时间期间的第二时间期间。过渡情绪配置维持在不同于第一时间期间的第三时间期间。第三时间期间存在于第一时间期间与第二时间期间之间。
基于上述,根据本发明实施例的面部表情生成系统及面部表情生成方法,反应于两情绪的改变,将在面部表情上应用第二情绪配置之前提供过度情绪配置。藉此,不会直接地切换不同情绪配置的面部表情,且可呈现正常的面部表情。
然而,应理解,此发明内容可不含有本发明的方面及实施例中的所有方面及实施例,不意在以任何方式进行限制或约束,且应理解,如本文中所公开的本发明是且将被所属领域中的普通技术人员理解为囊括对本发明的明显改进及润饰。
附图说明
包括附图是为了提供对本发明的进一步的理解,且并入本说明书中并构成本说明书的一部分。附图示出本发明的实施例并与说明一起用于解释本发明的原理。
图1是示出根据本发明示例性实施例中的一者的化身面部表情生成系统的方块图;
图2是示出根据本发明示例性实施例中的一者的化身面部表情生成方法的流程图;
图3是示出根据本发明示例性实施例中的一者的多种情绪配置的时序图;
图4是示出根据本发明示例性实施例中的一者的两种情绪的变化的示意图;
图5是示出根据本发明示例性实施例中的一者的多种情绪配置的参数的表;
图6是示出根据本发明示例性实施例中的一者的多种情绪配置的参数的另一个表。
附图标号说明:
100:化身面部表情生成系统
111:图像传感器
112:音频接收设备
113:运动传感器
130:存储器
150:处理器
EC1:第一情绪配置
EC2:第二情绪配置
EC3:过渡情绪配置
S210、S230、S250、S270:步骤
T1、T2:表
t1:第一时间期间
t2:第二时间期间
t3:第三时间期间
tp1、tp2、tp3:时间周期
具体实施方式
现将详细参照本发明的当前优选实施例,在附图中示出所述优选实施例的实例。尽可能地,在附图及说明中使用相同的元件符号指代相同或相似的部件。
图1是示出根据本发明示例性实施例中的一者的化身面部表情生成系统100的方块图。参照图1,化身面部表情生成系统100包括但不限于输入设备110、存储器130及处理器150。化身面部表情生成系统100适以用于VR、AR、MR、XR或其他现实相关技术。
输入设备110用于获取用户数据。用户数据与用户的感测结果相关。感测结果可与用户的语音、运动和/或面部表情相关。
在一个实施例中,输入设备110包括图像传感器111。图像传感器111可为照相机,例如单色照相机或彩色照相机、深度照相机、录像机或其他能够捕获图像的传感器。
在一些实施例中,图像传感器111可用于朝向用户的一个或多个人体部分进行捕获,以生成包括用户的人体部分的图像。例如,人体部分可包括用户的脸部、手部、头部、脚踝、腿部或腰部。
在一些实施例中,图像传感器111可用于朝向用户的面部进行捕获,以生成面部图像,所述面部图像包括用户的一只或两只眼睛、一只或两只耳朵、鼻子、嘴巴、面部形状、头发形状、眉毛、胡须或其组合。
在一个实施例中,输入设备110包括音频接收设备112。音频接收设备112可包括但不限于麦克风、模数转换器、滤波器及音频处理器。音频接收设备112的麦克风可接收声波(例如,由人类语音、环境声音等产生的声波)并将其转换成声音数据。在一些实施例中,音频接收设备112用于接收用户的语音并生成语音数据。在一些实施例中,化身面部表情生成系统100可不具有音频接收设备112。
在一个实施例中,输入设备110包括运动传感器113。运动传感器113可为加速度计、陀螺仪、磁强计、激光传感器、惯性测量单元(inertial measurement unit,IMU)、红外线(infrared ray,IR)传感器或前述传感器的任何组合。在本发明的实施例中,运动传感器113用于感测用户的一个或多个人体部分的运动,以在若干时间点处根据运动传感器113的感测结果生成一系列运动感测数据(例如,所感测到的强度值等)。举一个实例,运动感测数据包括3自由度(3-degree of freedom,3-DoF)数据,且3-DoF数据与人体部分在三维(three-dimensional,3D)空间中的旋转数据(例如横摆(yaw)、翻滚(roll)及俯仰(pitch)中的加速度)相关。举另一个实例,运动感测数据包括人体部分在二维(two-dimensional,2D)/3D空间中的相对位置和/或位移。
存储器130可为任何类型的固定的或可移动的随机存取存储器(Random-AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、闪速存储器、相似装置或者以上装置的组合。存储器130记录程序码、装置配置、缓冲数据或永久数据(例如图像数据、语音数据、运动感测数据、情绪配置、过渡情绪配置、加权关系、线性关系、情绪类别等),且稍后将介绍这些数据。
处理器150耦接输入设备110及存储器130,且处理器150被配置成加载存储在存储器130中的程序码,以执行本发明示例性实施例的过程。
在一些实施例中,处理器150的功能可使用例如中央处理单元(centralprocessing unit,CPU)、微处理器、微控制器、数字信号处理(digital signalprocessing,DSP)芯片、现场可编程门阵列(field programmable gate array,FPGA)等可编程单元来实施。处理器150的功能也可通过独立的电子装置或集成电路(integratedcircuit,IC)来实施,且处理器150的操作也可通过软件来实施。
应注意,处理器150可不与输入设备110设置在同一设备处。然而,分别配备有输入设备110及处理器150的设备可进一步包括具有兼容通信技术的通信收发器(例如蓝牙、无线保真(wireless fidelity,Wi-Fi)、红外线(IR)或物理传输线),以彼此传输或接收数据。例如,音频接收设备112及处理器150可设置在头戴式显示器(HMD)中,而图像传感器111则设置在HMD之外。举另一个实例,处理器150可设置在服务器中,而图像传感器111及音频接收设备112则设置在服务器之外。
为更好地理解本发明的一个或多个实施例中所提供的操作过程,以下将举例说明若干实施例,以详细说明化身面部表情生成系统100的操作过程。在以下实施例中应用化身面部表情生成系统100中的装置及模块来解释本文中所提供的化身面部表情生成方法。所述方法的每一步骤可根据实际的实施情况进行调整,且不应限于本文中所述者。
图2是示出根据本发明示例性实施例中的一者的化身面部表情生成方法的流程图。参照图2,处理器150通过输入设备110获取用户数据(步骤S210)。用户数据可为分别从音频接收设备112、运动传感器113及图像传感器111获取的语音数据、运动感测数据或图像数据。作为另外一种选择,用户数据可为语音数据、运动感测数据及图像数据的组合。
处理器150可基于用户数据确定第一情绪配置及第二情绪配置(步骤S230)。具体来说,人类有多种情绪。不同的情绪可对应于不同的面部表情。每一种情绪配置用于生成或修改化身上的面部表情的特征,且每一种情绪配置对应于特定的几何参数和/或纹理参数。
在一个实施例中,化身面部表情生成系统100提供多种情绪类别(例如快乐、悲伤、恐惧、厌恶、愤怒、惊讶、兴奋等),且每一种情绪类别包括一个或多个等级。一种情绪类别的不同等级代表对应情绪的不同强度。例如,快乐情绪包括3个等级,其中第一等级代表快乐情绪的最小强度,且第三等级代表快乐情绪的最大强度。另外,每一种情绪配置对应于一种或多种情绪类别的一个或多个等级。例如,第一情绪配置的40%是快乐情绪的第二等级且60%是悲伤情绪的第一等级。然而,在一些实施例中,一种情绪类别可仅包括一个等级,且每一种情绪配置对应于一种或多种情绪类别。例如,第二情绪配置的50%是快乐情绪且50%是悲伤情绪。
在一个实施例中,处理器150可判断输入设备110的输入事件是否满足预定义触发条件中的任一者。预定义触发条件中的每一者可对应于化身的情绪配置。当输入事件满足预定义触发条件中的一者时,化身的情绪配置可能必须响应于输入事件而更新。输入事件可为遇到特定场景、检测到用户的特定运动、接收到特定输入数据(例如语音数据、图像数据、运动感测数据、文本数据、用户的输入操作等)等。例如,音频接收设备112对语音数据的接收可为输入事件。举另一个实例,由运动传感器113检测运动感测数据可为另一个输入事件。
视不同的设计要求而定,存在许多触发条件。触发条件是确定用户的一种或多种特定情绪的条件。处理器150可分析用户的意图以确定其情绪。在一个实施例中,触发条件是由音频接收设备112生成的包括关键词或关键短语的语音数据。处理器150可识别语音数据中的词,并对所识别词执行语义分析。在语义分析期间,处理器150可判断语音数据中的所识别词是否与特定关键词或特定关键短语相匹配,以判断在语音数据中是否检测到特定关键词或特定关键短语。处理器150可预定义多个关键词和/或关键短语,且每一个预定义关键词或预定义关键短语对应于特定情绪配置(即,特定情绪或一种情绪的特定等级)。例如,语音数据与句子“我很快乐”相关,且关键词“很快乐”对应于快乐情绪的第五等级。如果所识别词与一个预定义关键词或一个预定义关键短语相匹配(即,检测到预定义关键词或短语),则处理器150确定满足触发条件,且处理器150确定对应的情绪配置。否则,处理器150确定不满足触发条件。
在一些实施例中,处理器150可使用机器学习技术(例如人工神经网络、决策树、支持向量机(support vector machines,SVM)等)用于语义分析,且处理器150可使用通过机器学习技术训练的情绪分类器来确定哪一种情绪或情绪等级对应于语音数据。
在另一个实施例中,触发条件可为检测到用户的特定运动或面部表情。处理器150可分析由图像传感器111获取的图像数据和/或由运动传感器113获取的运动感测数据。此外,处理器150可判断是否检测到图像中的预定义运动或预定义面部表情。例如,如果处理器150在由图像传感器111获取的图像数据中检测到嘴角抬起,则处理器150可认为检测到快乐情绪。举另一个实例,如果处理器150在由运动传感器113获取的运动感测数据中检测到用户举起他的双手,则处理器150可认为检测到快乐情绪。
应注意,在一些传统方式中,响应于检测到情绪的变化,后续情绪的对应面部表情可能直接呈现在化身上。然而,两种情绪的面部特征的几何参数及纹理参数之间可能有很大差异。当强迫一种情绪切换为另一种情绪时,可能会呈现异常面部表情。此外,在其他传统方式中,化身的面部表情是在不考虑用户情绪的情况下决定。
在本发明的实施例中,如果检测到情绪变换(即,满足第二情绪配置的触发条件),则处理器150可基于第一情绪配置及第二情绪配置确定过渡情绪配置(步骤S250)。此意味着,将在两种情绪配置之间插入过渡。图3是示出根据本发明示例性实施例中的一者的多种情绪配置的时序图。参照图3,在一个实施例中,第一情绪配置EC1维持在第一时间期间t1期间,且第二情绪配置EC2维持在不同于第一时间期间t1的第二时间期间t2期间。另外,过渡情绪配置EC3维持在不同于第一时间期间t1的第三时间期间t3期间,且存在于第一时间期间t1与第二时间期间t2之间。此意味着,在用于应用过渡情绪配置EC3的第三时间期间t3到期之后,可接着应用第二情绪配置EC2。过渡情绪配置EC3用于生成化身面部模型的面部表情。面部模型的一个或多个几何参数和/或纹理参数可根据过渡情绪配置EC3生成或修改。
在一个实施例中,处理器150可将第一情绪配置与第二情绪配置加以组合,以生成一种或多种情绪组合。将两种情绪配置加以组合的方式可为:确定两种情绪配置的参数的总和或加权平均值,或者直接使用两种情绪配置的参数中的部分参数作为一种情绪配置的参数。
在一个实施例中,情绪配置仅特别对应于一个面部表情,且在第三时间期间的周期中,处理器150可通过对与第一情绪配置及第二情绪配置对应的几何参数和/或纹理参数求平均或者给出所述两种情绪配置的参数的加权关系来调整化身的面部表情,且求平均的结果或权重计算的结果将成为一种情绪组合。例如,处理器150可确定所述两种情绪配置的两个鼻子位置之间的中心点,且所述中心点将为情绪组合的一个参数。举另一个实例,第一情绪配置的权重是0.8,且第二情绪配置的权重是0.2,且处理器150根据前述权重对所述两种情绪配置的嘴唇位置执行加权计算。接着,处理器150将每一种情绪组合确定为一种过渡情绪配置。
在另一个实施例中,处理器150将第三时间期间划分成多个时间周期,并根据第一情绪配置与第二情绪配置的线性关系确定加权关系。以图3为例,第三时间期间t3被划分成三个时间周期tp1、tp2及tp3。然而,在另一个实施例中,时间周期的数目可有所变化。线性关系是一种情绪配置的等级/比率与时间之间的关系。例如,线性关系的数学形式是L1=3-(3/2)*tsi,其中L1是第i时间周期处的第一情绪配置的等级,且tsi是第i时间周期的值。i越高,则第i时间周期的值越高。加权关系包括第一情绪配置的第一权重及第二情绪配置的第二权重。基于线性关系,不同时间周期处的第一权重随时间减小,且不同时间周期处的第二权重随时间增大。例如,第一情绪配置的线性关系的数学形式是L1=2-(2/4)*tsj,且第二情绪配置的线性关系的另一种数学形式是L2=4-(4/5)*tsj,其中L2是第j时间周期处的第二情绪配置的等级,且tsj是第j时间周期的值。j越高,则第j时间周期的值越高。第一权重及第二权重是根据依据线性关系确定的等级/比率来确定。例如,L1/(L1+L2)可为第一权重,且L2/(L1+L2)可为第二权重。
图4是示出根据本发明示例性实施例中的一者的两种情绪的变化的示意图。参照图4,分别存在第一情绪配置及第二情绪配置的两个权重-时间图。在第一时间期间t1结束时,检测到与第二情绪配置对应的预定义关键词。由于所述线性关系,第一情绪配置的权重可在不同的时间周期tp1、tp2及tp3处线性减小,且第二权重情绪配置的权重可在不同的时间周期tp1、tp2及tp3处线性增加。接着,根据所述图确定第一权重及第二权重。
在一个实施例中,将确定多种情绪组合,且处理器150可根据每一种情绪组合按次序生成面部表情。用于应用过渡情绪配置的第三时间期间将被划分成多个时间周期。处理器150可在不同的时间周期中应用不同的情绪组合。多种情绪组合的次序与所述两种情绪配置的加权关系相关。就第一情绪配置来说,将首先应用第一权重的较大值。就第二情绪配置来说,将首先应用第二权重的较小值。
以图4为例,用于应用过渡情绪配置的第三时间期间是第一时间期间t1与第二时间期间t2之间的时间期间。在三个时间周期tp1、tp2及tp3处有三种情绪组合。在时间周期tp1中应用的第一情绪组合与第一权重为0.75和第二权重为0.25相关。在时间周期tp2中应用的第二情绪组合与第一权重为0.5和第二权重为0.5相关。在时间周期tp3中应用的第三情绪组合与第一权重为0.25和第二权重为0.75相关。应注意,第一情绪配置的权重在第一时间期间t1期间保持不变。例如,第一情绪配置固定在60%是快乐情绪且40%是惊讶情绪。相似地,第二情绪配置的权重在第二时间期间t2期间保持不变。
图5是示出根据本发明示例性实施例中的一者的多种情绪配置的参数的表T1。参照图4及图5,假设第一情绪配置包括60%第二等级的快乐情绪及40%第一等级的惊讶情绪。另外,第二情绪配置包括60%第三等级的悲伤情绪、20%第一等级的愤怒情绪及20%第二等级的是恐惧情绪。在时间周期tp1期间,过渡情绪配置包括75%的第一情绪配置及25%的第二情绪配置,且即45%第二等级的快乐情绪、30%第一等级的惊讶情绪、15%第三等级的悲伤情绪、5%第一等级的愤怒情绪且5%第二等级的恐惧情绪。在时间周期tp2期间,过渡情绪配置包括50%的第一情绪配置及50%的第二情绪配置,且即30%第二等级的快乐情绪、20%第一等级的惊讶情绪、30的悲伤情绪、10%第一等级的愤怒情绪及第二等级10%的恐惧情绪。在时间周期tp3期间,过渡情绪配置包括25%的第一情绪配置及75%的第二情绪配置,且即15%第二等级的快乐情绪、10%第一等级的惊讶情绪、45%第三等级的悲伤情绪、15%第一等级的愤怒情绪且15%第二等级的恐惧情绪。
图6是示出根据本发明示例性实施例中的一者的多种情绪配置的参数的另一个表T2。参照图4及图6,假设第一情绪配置包括40%第二等级的悲伤情绪、40%第二等级的愤怒情绪及20%第一等级的恐惧情绪。另外,第二情绪配置占所有情绪的0%,例如,逐渐消失。在时间周期tp1期间,过渡情绪配置包括75%的第一情绪配置及25%的第二情绪配置,且即30%第二等级的悲伤情绪、30%第二等级的愤怒情绪及15%第一等级的恐惧情绪。在时间周期tp2期间,过渡情绪配置包括50%的第一情绪配置及50%的第二情绪配置,且即20%第二等级的悲伤情绪、20%第二等级的愤怒情绪及10%第一等级的恐惧情绪。在时间周期tp3期间,过渡情绪配置包括25%的第一情绪配置及75%的第二情绪配置,且即10%第二等级的悲伤情绪、10%第二等级的愤怒情绪及5%第一等级的恐惧情绪。
应注意,用于应用过渡情绪配置的第三时间期间的长度可为固定的或可变的。在一个实施例中,处理器150根据第一情绪配置的第一情绪值与第二情绪配置的第二情绪值之间的差异确定用于应用过渡情绪配置的第三时间期间的长度。如果每一种情绪类别被定义为具有多个等级,则处理器150可将和第一情绪配置对应的第一情绪的第一等级与和第二情绪配置对应的第二情绪的第二等级之间的差异确定为第一情绪配置与第二情绪配置之间的差异。例如,第一情绪配置对应于悲伤情绪的第二等级,且第二情绪配置对应于恐惧情绪的第六等级。处理器150可确定两种情绪配置之间的差异为8个等级。如果两种情绪配置之间的差异更大,则过渡的第三时间期间可能增加。如果两种情绪配置之间的差异较小,则过渡的第三时间期间可能减少。例如,如果差异为8个等级,则时间期间将为1秒;如果差异为2个等级,则时间期间将为200微秒。
在另一个实施例中,处理器150可预定义两种特定情绪之间的第三时间期间。例如,从悲伤情绪过渡到快乐情绪的时间期间为500微秒,且从恐惧情绪过渡到快乐情绪的另一个时间期间为1秒。
在又一实施例中,处理器150可获取用户的特性,并根据用户的特性确定用于应用过渡情绪配置的第三时间期间。处理器150根据用户的星座确定用户的特性。作为另外一种选择,处理器150可分析用户在虚拟世界中作出的行为或决定,且分析结果可用于确定用户的特性。
重新参照图2,处理器150基于第一情绪配置、过渡情绪配置及第二情绪配置生成化身的面部表情(步骤S270)。具体来说,化身的面部可包括面部特征(例如面部、眼睛、鼻子、眉毛等的形状或运动)。化身的面部表情可包括几何参数及纹理参数。每一个几何参数用于指示化身的面部顶点的2D或3D坐标。在一些实施例中,每一个纹理参数用于指示面部的应用对应情绪配置的面部图像的位置。
处理器150可用面部表情的特征生成、合并或替换情绪配置,以生成与特定情绪对应的面部表情。在一个实施例中,处理器150可根据概率分布(例如正态分布、几何分布、伯努利分布(Bernoulli distribution)等),分别从对应的面部表情组中选择一种面部表情用于第一情绪配置、过渡情绪配置或第二情绪配置。每一个表情组包括多种面部表情。每一种情绪或一种情绪的每一个等级对应于特定的表情组。例如,情绪配置有10个面部表情,且处理器150可从所述10个面部表情中随机选择一个。
在一些实施例中,处理器150可对于每一种情绪配置生成面部特征。每一种情绪配置可被配置成对于面部特征的参数具有特定的限制(例如长度、角度、颜色、大小等),且可基于所述限制生成对应的面部特征。例如,当情绪配置具有快乐情绪且快乐情绪的权重大于0.1时,嘴唇的长度具有一定范围。
在一些实施例中,每一种情绪配置对应于面部模板,且面部模板对应于特定图像或特定动画。处理器150可将面部模板粘贴在面部模型的特定位置处。
处理器150将分别并按次序基于第一情绪配置、过渡情绪配置及第二情绪配置生成面部表情。所述次序可例如基于如图3中所示的三个时间期间的次序。
在一些实施例中,处理器150可响应于确定第一情绪配置及第二情绪配置来实时生成面部表情。为实现实时,检测到一种情绪配置的时间点与在化身上生成具有所述情绪配置的面部表情的时间点之间的第四时间期间可小于阈值(例如500微秒、300微秒或1秒等)。然而,在一些实施例中,第四时间期间可大于阈值(非实时方式)。
应注意,除情绪模拟以外,化身上的嘴唇可与语音数据同步。在一些实施例中,化身上嘴唇的运动随着由音频接收设备112所生成的语音数据而变化。如果接收到语音数据,则处理器150对语音数据执行言语辨别(speech recognition),并解析语音数据中的特定元音及辅音。这些元音及辅音是用特定的嘴唇形状或嘴唇动画来定义。响应于检测到预定义的元音或辅音,对应的嘴唇形状或动画将呈现在面部模型上,使得化身上的嘴唇的运动与语音数据同步。
综上所述,在本发明实施例的化身面部表情生成系统及化身面部表情生成方法中,反应于满足后续的表情配置的触发条件将提供过渡情绪配置,而不是直接应用后续的情绪配置。藉此,当面临情绪转换时,在化身上可呈现正常的面部表情。此外,情绪转换可透过使用用户的语音来触发,且化身的嘴唇的动作可同步于此语音。
对于所属领域中的技术人员而言将显而易见的是,在不背离本发明的范围或精神的条件下,可对本发明的结构作出各种润饰及变化。有鉴于此,本发明旨在涵盖本发明的润饰及变化,只要其落于随附权利要求及其等效范围的范围内即可。
Claims (24)
1.一种化身面部表情生成方法,包括:
获取用户数据,其中所述用户数据与用户的感测结果相关;
基于所述用户数据确定第一情绪配置及第二情绪配置,其中所述第一情绪配置维持在第一时间期间,且所述第二情绪配置维持在不同于所述第一时间期间的第二时间期间;
基于所述第一情绪配置及所述第二情绪配置确定过渡情绪配置,其中所述过渡情绪配置维持在不同于所述第一时间期间的第三时间期间;以及
分别基于所述第一情绪配置、所述过渡情绪配置及所述第二情绪配置生成化身的面部表情,其中所述第三时间期间存在于所述第一时间期间与所述第二时间期间之间。
2.根据权利要求1所述的化身面部表情生成方法,其中确定所述过渡情绪配置的步骤包括:
将所述第一情绪配置与所述第二情绪配置加以组合,以生成至少一种情绪组合;以及
将所述至少一种情绪组合确定为所述过渡情绪配置。
3.根据权利要求2所述的化身面部表情生成方法,其中所述至少一种情绪组合与所述第一情绪配置和所述第二情绪配置的加权关系相关。
4.根据权利要求3所述的化身面部表情生成方法,进一步包括:
将所述第三时间期间划分成多个时间周期;以及
根据所述第一情绪配置与所述第二情绪配置的线性关系确定所述加权关系,其中所述加权关系包括所述第一情绪配置的第一权重及所述第二情绪配置的第二权重,基于所述线性关系,不同时间周期处的所述第一权重随时间减小,且不同时间周期处的所述第二权重随时间增加。
5.根据权利要求1所述的化身面部表情生成方法,其中生成所述过渡情绪配置的步骤包括:
根据所述第一情绪配置的第一情绪值与所述第二情绪配置的第二情绪值之间的差异来确定所述第三时间期间的长度。
6.根据权利要求5所述的化身面部表情生成方法,进一步包括:
提供多种情绪类别,其中所述多种情绪类别中的每一者包括至少一个等级,所述第一情绪配置对应于所述多种情绪类别中的第一情绪的第一等级,且所述第二情绪配置对应于所述多种情绪类别中的第二情绪的第二等级;以及
将所述第一情绪的所述第一等级与所述第二情绪的所述第二等级之间的差异确定为所述第一情绪配置与所述第二情绪配置之间的所述差异。
7.根据权利要求1所述的化身面部表情生成方法,其中生成所述过渡情绪配置的步骤包括:
获取所述用户的特性;以及
根据所述用户的所述特性确定所述第三时间期间。
8.根据权利要求1所述的化身面部表情生成方法,其中所述用户数据是语音数据,且所述确定所述第一情绪配置及所述第二情绪配置的步骤包括:
判断在所述语音数据中是否检测到关键词或关键短语;以及
响应于检测到所述关键词或所述关键短语,确定满足所述第一情绪配置或所述第二情绪配置的触发条件。
9.根据权利要求1所述的化身面部表情生成方法,其中所述用户数据是运动感测数据,且所述确定所述第一情绪配置及所述第二情绪配置的步骤包括:
判断在所述运动感测数据中是否检测到关键运动;以及
响应于检测到所述关键运动,确定满足所述第一情绪配置或所述第二情绪配置的触发条件。
10.根据权利要求1所述的化身面部表情生成方法,其中所述用户数据是图像数据,且所述确定所述第一情绪配置及所述第二情绪配置的步骤包括:
判断在所述图像数据中是否检测到关键运动;以及
响应于检测到所述关键运动,确定满足所述第一情绪配置或所述第二情绪配置的触发条件。
11.根据权利要求1所述的化身面部表情生成方法,其中所述生成所述化身的所述面部表情的步骤包括:
根据概率分布从表情组中选择所述面部表情中的一者,其中所述表情组包括多个所述面部表情。
12.根据权利要求1所述的化身面部表情生成方法,其中所述生成所述化身的所述面部表情的步骤包括:
响应于确定所述第一情绪配置及所述第二情绪配置,实时生成所述面部表情。
13.一种化身面部表情生成系统,包括:
输入设备,获取用户数据,其中所述用户数据与用户的感测结果相关;
存储器,存储程序码;以及
处理器,耦接所述存储器,并加载所述程序码以执行:
基于所述用户数据确定第一情绪配置及第二情绪配置,其中所述第一情绪配置维持在第一时间期间,且所述第二情绪配置维持在不同于所述第一时间期间的第二时间期间;
基于所述第一情绪配置及所述第二情绪配置确定过渡情绪配置,其中所述过渡情绪配置维持在不同于所述第一时间期间的第三时间期间;以及
分别基于所述第一情绪配置、所述过渡情绪配置及所述第二情绪配置生成化身的面部表情,其中所述第三时间期间存在于所述第一时间期间与所述第二时间期间之间。
14.根据权利要求13所述的化身面部表情生成系统,其中所述处理器进一步执行:
将所述第一情绪配置与所述第二情绪配置加以组合,以生成至少一种情绪组合;以及
将所述至少一种情绪组合确定为所述过渡情绪配置。
15.根据权利要求14所述的化身面部表情生成系统,其中所述至少一种情绪组合与所述第一情绪配置和所述第二情绪配置的加权关系相关。
16.根据权利要求15所述的化身面部表情生成系统,其中所述处理器进一步执行:
将所述第三时间期间划分成多个时间周期;以及
根据所述第一情绪配置与所述第二情绪配置的线性关系确定所述加权关系,其中所述加权关系包括所述第一情绪配置的第一权重及所述第二情绪配置的第二权重,基于所述线性关系,不同时间周期处的所述第一权重随时间减小,且不同时间周期处的所述第二权重随时间增加。
17.根据权利要求13所述的化身面部表情生成系统,其中所述处理器进一步执行:
根据所述第一情绪配置的第一情绪值与所述第二情绪配置的第二情绪值之间的差异来确定所述第三时间期间的长度。
18.根据权利要求17所述的化身面部表情生成系统,其中所述处理器进一步执行:
提供多种情绪类别,其中所述多种情绪类别中的每一者包括至少一个等级,所述第一情绪配置对应于所述多种情绪类别中的第一情绪的第一等级,且所述第二情绪配置对应于所述多种情绪类别中的第二情绪的第二等级;以及
将所述第一情绪的所述第一等级与所述第二情绪的所述第二等级之间的差异确定为所述第一情绪配置与所述第二情绪配置之间的所述差异。
19.根据权利要求13所述的化身面部表情生成系统,其中所述处理器进一步执行:
获取所述用户的特性;以及
根据所述用户的所述特性确定所述第三时间期间。
20.根据权利要求13所述的化身面部表情生成系统,其中所述用户数据是语音数据,且所述处理器进一步执行:
判断在所述语音数据中是否检测到关键词或关键短语;以及
响应于检测到所述关键词或所述关键短语,确定满足所述第一情绪配置或所述第二情绪配置的触发条件。
21.根据权利要求13所述的化身面部表情生成系统,其中所述用户数据是运动感测数据,且所述处理器进一步执行:
判断在所述运动感测数据中是否检测到关键运动;以及
响应于检测到所述关键运动,确定满足所述第一情绪配置或所述第二情绪配置的触发条件。
22.根据权利要求13所述的化身面部表情生成系统,其中所述用户数据是图像数据,且所述处理器进一步执行:
判断在所述图像数据中是否检测到关键运动;以及
响应于检测到所述关键运动,确定满足所述第一情绪配置或所述第二情绪配置的触发条件。
23.根据权利要求13所述的化身面部表情生成系统,其中所述处理器进一步执行:
根据概率分布从表情组中选择所述面部表情中的一者,其中所述表情组包括多个所述面部表情。
24.根据权利要求13所述的化身面部表情生成系统,其中所述处理器进一步执行:
响应于确定所述第一情绪配置及所述第二情绪配置,实时生成所述面部表情。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/655,250 | 2019-10-17 | ||
US16/655,250 US11087520B2 (en) | 2018-09-19 | 2019-10-17 | Avatar facial expression generating system and method of avatar facial expression generation for facial model |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112684881A true CN112684881A (zh) | 2021-04-20 |
CN112684881B CN112684881B (zh) | 2023-12-01 |
Family
ID=68609897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911293371.2A Active CN112684881B (zh) | 2019-10-17 | 2019-12-12 | 化身面部表情生成系统及化身面部表情生成方法 |
Country Status (4)
Country | Link |
---|---|
EP (1) | EP3809236A1 (zh) |
JP (1) | JP2021068404A (zh) |
CN (1) | CN112684881B (zh) |
TW (1) | TWI736054B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11356393B2 (en) | 2020-09-29 | 2022-06-07 | International Business Machines Corporation | Sharing personalized data in an electronic online group user session |
WO2023000310A1 (en) * | 2021-07-23 | 2023-01-26 | Huawei Technologies Co., Ltd. | Methods, devices, and media for customizing and expressing personality of robot |
US12062113B2 (en) | 2022-01-06 | 2024-08-13 | International Business Machines Corporation | Dynamic pattern generator |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113485557A (zh) * | 2021-07-20 | 2021-10-08 | 浙江工商职业技术学院 | 虚拟现实情绪控制的方法及装置 |
TWI824883B (zh) * | 2022-12-14 | 2023-12-01 | 輔仁大學學校財團法人輔仁大學 | 應用虛擬實境模擬表情情緒訓練的虛擬實境互動式系統 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020101422A1 (en) * | 1997-10-02 | 2002-08-01 | Planet Blue | Method for automatically animating lip synchronization and facial expression of animated characters |
JP2009153692A (ja) * | 2007-12-26 | 2009-07-16 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像表示制御装置 |
US20120223952A1 (en) * | 2011-03-01 | 2012-09-06 | Sony Computer Entertainment Inc. | Information Processing Device Capable of Displaying A Character Representing A User, and Information Processing Method Thereof. |
CN107180445A (zh) * | 2016-03-10 | 2017-09-19 | 腾讯科技(深圳)有限公司 | 一种动画模型的表情控制方法和装置 |
US20170311863A1 (en) * | 2015-02-13 | 2017-11-02 | Omron Corporation | Emotion estimation device and emotion estimation method |
WO2018128996A1 (en) * | 2017-01-03 | 2018-07-12 | Clipo, Inc. | System and method for facilitating dynamic avatar based on real-time facial expression detection |
US20180286122A1 (en) * | 2017-01-30 | 2018-10-04 | Colopl, Inc. | Information processing method and apparatus, and program for executing the information processing method on computer |
CN108886532A (zh) * | 2016-01-14 | 2018-11-23 | 三星电子株式会社 | 用于操作个人代理的装置和方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2962549B2 (ja) * | 1997-03-11 | 1999-10-12 | 株式会社エイ・ティ・アール知能映像通信研究所 | 顔動画像からの表情認識方法 |
JP3753625B2 (ja) * | 2001-04-03 | 2006-03-08 | 株式会社国際電気通信基礎技術研究所 | 表情アニメーション生成装置および表情アニメーション生成方法 |
JP4559092B2 (ja) * | 2004-01-30 | 2010-10-06 | 株式会社エヌ・ティ・ティ・ドコモ | 携帯通信端末及びプログラム |
US8694899B2 (en) * | 2010-06-01 | 2014-04-08 | Apple Inc. | Avatars reflecting user states |
KR20120059994A (ko) * | 2010-12-01 | 2012-06-11 | 삼성전자주식회사 | 표정 제어점을 이용한 아바타 제어 장치 및 방법 |
CN103565445A (zh) * | 2012-08-09 | 2014-02-12 | 英华达(上海)科技有限公司 | 情绪评估服务系统及其方法 |
US9589357B2 (en) * | 2013-06-04 | 2017-03-07 | Intel Corporation | Avatar-based video encoding |
US20160307028A1 (en) * | 2015-04-16 | 2016-10-20 | Mikhail Fedorov | Storing, Capturing, Updating and Displaying Life-Like Models of People, Places And Objects |
TWI625680B (zh) * | 2017-12-15 | 2018-06-01 | 財團法人工業技術研究院 | 臉部表情辨識的方法及裝置 |
-
2019
- 2019-11-15 EP EP19209606.3A patent/EP3809236A1/en not_active Withdrawn
- 2019-12-09 JP JP2019221853A patent/JP2021068404A/ja active Pending
- 2019-12-09 TW TW108144988A patent/TWI736054B/zh active
- 2019-12-12 CN CN201911293371.2A patent/CN112684881B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020101422A1 (en) * | 1997-10-02 | 2002-08-01 | Planet Blue | Method for automatically animating lip synchronization and facial expression of animated characters |
JP2009153692A (ja) * | 2007-12-26 | 2009-07-16 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像表示制御装置 |
US20120223952A1 (en) * | 2011-03-01 | 2012-09-06 | Sony Computer Entertainment Inc. | Information Processing Device Capable of Displaying A Character Representing A User, and Information Processing Method Thereof. |
US20170311863A1 (en) * | 2015-02-13 | 2017-11-02 | Omron Corporation | Emotion estimation device and emotion estimation method |
CN108886532A (zh) * | 2016-01-14 | 2018-11-23 | 三星电子株式会社 | 用于操作个人代理的装置和方法 |
CN107180445A (zh) * | 2016-03-10 | 2017-09-19 | 腾讯科技(深圳)有限公司 | 一种动画模型的表情控制方法和装置 |
WO2018128996A1 (en) * | 2017-01-03 | 2018-07-12 | Clipo, Inc. | System and method for facilitating dynamic avatar based on real-time facial expression detection |
US20180286122A1 (en) * | 2017-01-30 | 2018-10-04 | Colopl, Inc. | Information processing method and apparatus, and program for executing the information processing method on computer |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11356393B2 (en) | 2020-09-29 | 2022-06-07 | International Business Machines Corporation | Sharing personalized data in an electronic online group user session |
WO2023000310A1 (en) * | 2021-07-23 | 2023-01-26 | Huawei Technologies Co., Ltd. | Methods, devices, and media for customizing and expressing personality of robot |
US12062113B2 (en) | 2022-01-06 | 2024-08-13 | International Business Machines Corporation | Dynamic pattern generator |
Also Published As
Publication number | Publication date |
---|---|
CN112684881B (zh) | 2023-12-01 |
EP3809236A1 (en) | 2021-04-21 |
TW202117498A (zh) | 2021-05-01 |
TWI736054B (zh) | 2021-08-11 |
JP2021068404A (ja) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112684881B (zh) | 化身面部表情生成系统及化身面部表情生成方法 | |
CN113760101B (zh) | 一种虚拟角色控制方法、装置、计算机设备以及存储介质 | |
CN111432267B (zh) | 视频调整方法、装置、电子设备及存储介质 | |
KR20170085422A (ko) | 가상 에이전트 동작 방법 및 장치 | |
US10350761B2 (en) | Communication device | |
KR102351008B1 (ko) | 감정 인식 장치 및 감정 인식 방법 | |
CN106503786B (zh) | 用于智能机器人的多模态交互方法和装置 | |
US11127181B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation | |
US20200176019A1 (en) | Method and system for recognizing emotion during call and utilizing recognized emotion | |
JP7278307B2 (ja) | コンピュータプログラム、サーバ装置、端末装置及び表示方法 | |
CN111191765A (zh) | 一种情绪信息的处理方法及装置 | |
KR20200077840A (ko) | 사용자의 감정 상태에 기반하여 아바타를 제공하기 위한 전자 장치 및 그에 관한 방법 | |
CN112764525B (zh) | 虚拟化身运动生成方法和头戴式显示器系统 | |
CN115662388B (zh) | 虚拟形象面部驱动方法、装置、电子设备及介质 | |
KR20200092207A (ko) | 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법 | |
US20210097629A1 (en) | Initiating communication between first and second users | |
US11087520B2 (en) | Avatar facial expression generating system and method of avatar facial expression generation for facial model | |
US11543884B2 (en) | Headset signals to determine emotional states | |
CN116071452A (zh) | 一种风格图像生成方法、装置、计算机设备和存储介质 | |
KR102345729B1 (ko) | 영상 생성 방법 및 장치 | |
CN115484411A (zh) | 拍摄参数的调整方法、装置、电子设备和可读存储介质 | |
CN113176827A (zh) | 基于表情的ar交互方法、系统、电子设备及存储介质 | |
JP7418709B2 (ja) | コンピュータプログラム、方法及びサーバ装置 | |
WO2019211552A1 (fr) | Procede de commande d'une pluralite d'effecteurs d'un robot | |
US20240265605A1 (en) | Generating an avatar expression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |