CN116935478B - 一种智能手表的情感识别方法及系统 - Google Patents
一种智能手表的情感识别方法及系统 Download PDFInfo
- Publication number
- CN116935478B CN116935478B CN202311180321.XA CN202311180321A CN116935478B CN 116935478 B CN116935478 B CN 116935478B CN 202311180321 A CN202311180321 A CN 202311180321A CN 116935478 B CN116935478 B CN 116935478B
- Authority
- CN
- China
- Prior art keywords
- emotion
- user
- preset
- information
- positioning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 63
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000008451 emotion Effects 0.000 claims abstract description 222
- 230000001815 facial effect Effects 0.000 claims description 108
- 230000007935 neutral effect Effects 0.000 claims description 33
- 239000013598 vector Substances 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 13
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013475 authorization Methods 0.000 claims description 6
- 238000005452 bending Methods 0.000 claims description 6
- 230000037303 wrinkles Effects 0.000 claims description 6
- 230000004399 eye closure Effects 0.000 claims description 4
- 210000000744 eyelid Anatomy 0.000 claims description 4
- 230000010344 pupil dilation Effects 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000013136 deep learning model Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 206010063659 Aversion Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Collating Specific Patterns (AREA)
Abstract
本发明提供了一种智能手表的情感识别方法及系统,运用于情感识别技术领域;本发明通过智能手表识别到用户当前处于不常去的陌生地点时,智能手表会应用预先设有的情感识别功能以采集用户当前的情感状态,对用户的情感状态进行评分后,根据用户当前的情感状态生成预先设有的建议供用户进行参考,避免用户在这些不常去的陌生地点与他人交谈前,因为非自然事件导致用户自身的情绪低落后,影响用户与他人的交谈效率,减少用户因为短暂的不良情感状态而失去与他人交谈的契机。
Description
技术领域
本发明涉及情感识别技术领域,特别涉及为一种智能手表的情感识别方法及系统。
背景技术
智能手表是一种智能可穿戴设备,拥有与智能手机类似的功能和特性,例如通讯、健康监测、导航、支付、应用程序等。智能手表在近年来得到了广泛的应用和普及,其背后涉及到的技术也在不断地发展和完善。
目前智能手表能够通过手表内壁设有的摄像头实现对用户的脸部识别功能,但是对脸部识别后仅限于进行解锁智能手表某些限定的功能,并不能为用户提供任何实质性的需求,用户无法从脸部识别数据中观察出自己的细微情感。
发明内容
本发明旨在解决智能手表对脸部识别后仅限于进行解锁智能手表某些限定的功能,无法从脸部识别数据中观察出情感的问题,提供一种智能手表的情感识别方法及系统。
本发明为解决技术问题采用如下技术手段:
本发明提供一种智能手表的情感识别方法,包括以下步骤:
基于预设的定位参数获取用户当前所处的定位信息,其中,所述定位参数具体包括定位范围和定位时段;
判断所述定位信息是否匹配所述用户预设的信任地点;
若否,则应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中,基于所述情感识别模型生成所述情感信息反馈的情感得分,其中,所述情感信息具体为用户脸部信息呈现的情感状态,所述情感得分具体包括积极情感得分、消极情感得分和中性情感得分;
判断所述情感得分是否低于预设水平;
若是,则基于所述情感得分的低分项为所述用户提供相应的协助措施,其中,所述协助措施具体为调用预设数据库中收录的积极语句通过所述显示屏对所述用户进行展示,在所述积极语句加入相应的情感语音合成,将所述积极语句通过语音交互至所述用户当前选取的传输介质中。
进一步地,所述则应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中的步骤中,包括:
应用预设的图像采集器获取所述用户的脸部信息,对所述脸部信息进行特征提取,得到脸部特征,将所述脸部特征输入至所述情感识别模型中,采用余弦相似度将所述脸部特征与预收录的用户图像进行特征向量比对,计算所述脸部信息的差异值,其中,所述预收录的用户图像具体为所述用户的中性情感图像;
判断所述差异值是否超出预设基值;
若是,则将所述脸部信息的情感类型定义为积极或消极;
若否,则将所述脸部信息的情感类型定义为中性。
进一步地,所述则将所述脸部信息的情感类型定义为积极或消极的步骤后,包括:
解析所述脸部特征,根据所述脸部特征对所述脸部信息进行情感评分,生成所述脸部信息对应的情感得分,其中,所述脸部特征具体包括眼角皱纹角度、嘴角上扬下弯角度和表情松弛角度;所述情感得分具体为积极情感得分或消极情感得分之间的任一种。
进一步地,所述则将所述脸部信息的情感类型定义为中性的步骤后,包括:
采集所述脸部信息中的特征样本,基于预定的情感标度范围对所述特征样本进行情感评分,生成所述脸部信息对应的中性情感得分,其中,所述特征样本具体包括眼皮伸展度、瞳孔扩大度和眼睛闭合度。
进一步地,所述判断所述定位信息是否匹配所述用户预设的信任地点的步骤中,包括:
基于预设的活动识别技术获取所述用户的活动状态,识别所述用户与所述信任地点预设的地理围栏;
判断所述用户是否处于所述地理围栏内;
若否,则解除对所述用户的情感限定,申请所述用户对情感识别的授权,对预设角度进行扫描以捕捉所述用户的脸部特征,根据所述脸部特征识别出所述用户,录取所述用户的脸部信息。
进一步地,所述基于预设的定位参数获取用户当前所处的定位信息的步骤前,包括:
采集所述用户起始定位地点与当前所处的定位信息的距离值;
判断所述距离值是否超出预设距离阈值;
若是,则根据所述距离阈值超出所述距离值的具体数值对应调整定义参数,扩大所述定位范围,降低所述定位时段的频率。
进一步地,所述基于预设的定位参数获取用户当前所处的定位信息的步骤中,包括:
识别所述用户在当前所处的定位信息中的停留时段;
判断所述停留时段是否大于预设时段;
若是,则将所述当前所处的定位信息在预收录的地图中标记为待定地点,记录所述用户在所述待定地点的停留次数,当所述停留次数超出预设阈值时,则将所述待定地点定义为所述预设的信任地点。
本发明还提供一种智能手表的情感识别系统,包括:
获取模块,用于基于预设的定位参数获取用户当前所处的定位信息,其中,所述定位参数具体包括定位范围和定位时段;
判断模块,用于判断所述定位信息是否匹配所述用户预设的信任地点;
执行模块,用于应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中,基于所述情感识别模型生成所述情感信息反馈的情感得分,其中,所述情感信息具体为用户脸部信息呈现的情感状态,所述情感得分具体包括积极情感得分、消极情感得分和中性情感得分;
第二判断模块,用于判断所述情感得分是否低于预设水平;
第二执行模块,用于基于所述情感得分的低分项为所述用户提供相应的协助措施,其中,所述协助措施具体为调用预设数据库中收录的积极语句通过所述显示屏对所述用户进行展示,在所述积极语句加入相应的情感语音合成,将所述积极语句通过语音交互至所述用户当前选取的传输介质中。
进一步地,所述执行模块还包括:
提取单元,用于应用预设的图像采集器获取所述用户的脸部信息,对所述脸部信息进行特征提取,得到脸部特征,将所述脸部特征输入至所述情感识别模型中,采用余弦相似度将所述脸部特征与预收录的用户图像进行特征向量比对,计算所述脸部信息的差异值,其中,所述预收录的用户图像具体为所述用户的中性情感图像;
判断单元,用于判断所述差异值是否超出预设基值;
执行单元,用于将所述脸部信息的情感类型定义为积极或消极;
第二执行单元,用于将所述脸部信息的情感类型定义为中性。
进一步地,还包括:
解析单元,用于解析所述脸部特征,根据所述脸部特征对所述脸部信息进行情感评分,生成所述脸部信息对应的情感得分,其中,所述脸部特征具体包括眼角皱纹角度、嘴角上扬下弯角度和表情松弛角度;所述情感得分具体为积极情感得分或消极情感得分之间的任一种。
本发明提供了智能手表的情感识别方法及系统,具有以下有益效果:
本发明通过智能手表识别到用户当前处于不常去的陌生地点时,智能手表会应用预先设有的情感识别功能以采集用户当前的情感状态,对用户的情感状态进行评分后,根据用户当前的情感状态生成预先设有的建议供用户进行参考,避免用户在这些不常去的陌生地点与他人交谈前,因为非自然事件导致用户自身的情绪低落后,影响用户与他人的交谈效率,减少用户因为短暂的不良情感状态而失去与他人交谈的契机。
附图说明
图1为本发明智能手表的情感识别方法一个实施例的流程示意图;
图2为本发明智能手表的情感识别系统一个实施例的结构框图。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明,本发明为目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
下面将结合本发明的实施例中的附图,对本发明的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参考附图1,为本发明一实施例中的智能手表的情感识别方法,包括以下步骤:
S1:基于预设的定位参数获取用户当前所处的定位信息,其中,所述定位参数具体包括定位范围和定位时段;
S2:判断所述定位信息是否匹配所述用户预设的信任地点;
S3:若否,则应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中,基于所述情感识别模型生成所述情感信息反馈的情感得分,其中,所述情感信息具体为用户脸部信息呈现的情感状态,所述情感得分具体包括积极情感得分、消极情感得分和中性情感得分;
S4:判断所述情感得分是否低于预设水平;
S5:若是,则基于所述情感得分的低分项为所述用户提供相应的协助措施,其中,所述协助措施具体为调用预设数据库中收录的积极语句通过所述显示屏对所述用户进行展示,在所述积极语句加入相应的情感语音合成,将所述积极语句通过语音交互至所述用户当前选取的传输介质中。
在本实施例中,系统基于预先设有的定位参数以获取到用户当前所处的定位信息,同时判断该定位信息是否匹配用户预先设有的可信任地点,以执行对应的步骤;例如,当系统判定到该定位信息能够匹配用户预先设有的信任地点时,此时系统会保留向用户提供情感状态修正的需求,因为目前用户处于自己设定的信任地点,如在家时,即使用户情感状态再差也不影响,因为在这些信任地点用户无需面对任何陌生人并保持出一个好的情感状态,在私人的信任地点可以拥有任意的情感宣泄;例如,当系统判定到该定位信息无法匹配用户预先设有的信任地点时,此时系统会在用户的定位信息停止移动后,在预先设有的显示屏中请求录入用户的人脸特征信息后,从人脸特征信息中获取用户目前的情感信息,将这些情感信息输入至预先设有的情感识别模型中,由情感识别模型生成这些情感信息反馈的情感得分后,系统判断这些情感得分是否低于预先设有的最低水平,以执行对应的步骤;例如,当系统判定到用户的情感得分并未低于预先设有的最低水平时,此时系统会认定用户目前的情感状态不会影响用户与他人的交谈效率,无需进行情感状态的修正;例如,当系统判定到用户的情感得分低于预先设有的最低水平时,此时系统会基于情感得分中的低分项为用户提供相应的协助措施,如从预先设有的数据库中调用已收录有的积极语句通过显示屏展示给用户看,且在这些积极语句中添加用户缺失的情感元素,配合相应的情感语音合成,并将这些积极语句通过语音交互反馈给用户当前选取的传输介质中,传输介质包括扬声器、蓝牙耳机等。
需要说明的是,预先设有的定位参数对应的设定规则为:当用户与上一停留定位超出500米时,定位范围会由上一停留定位的五十米定位范畴内修正为下一次停留定位的一百米定位范畴,而定位时段也会由原先的10s/次修正为5s/次;当用户与上一停留定位超出1000米时,定位范围会由上一停留定位的一百米定位范畴内修正为下一次停留定位的最大两百米定位范畴,而定位时段也会由原先的5s/次修正为最小的2.5s/次;即设定规则会基于用户的行走距离逐渐扩大用户的定位范围和缩减用户的定位时段,在众多的定位地点中快速识别到用户目前的定位后,一旦用户停下行动时则开始判定目前所处的定位是否属于不常去的陌生定位,以确认用户是否需要进行情感状态修正;
预先设有的数据库中收录的积极语句会根据实际应用的次数后进行交换更替,当某段积极语句应用于激励用户后,系统则会将这段积极语句重新打入预先设有的语句队列中进行循环,当一个语句队列循环结束后系统就会重新应用该段积极语句对用户再次进行激励,而预先设有的数据库会随着在互联网中爬取的语句信息对收录的积极语句进行更新,避免语句队列循环重复使用后,无法达到协助用户调整情感的效果。
在本实施例中,则应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中的步骤S5中,包括:
S51:应用预设的图像采集器获取所述用户的脸部信息,对所述脸部信息进行特征提取,得到脸部特征,将所述脸部特征输入至所述情感识别模型中,采用余弦相似度将所述脸部特征与预收录的用户图像进行特征向量比对,计算所述脸部信息的差异值,其中,所述预收录的用户图像具体为所述用户的中性情感图像;
S52:判断所述差异值是否超出预设基值;
S53:若是,则将所述脸部信息的情感类型定义为积极或消极;
S54:若否,则将所述脸部信息的情感类型定义为中性。
在本实施例中,系统通过应用预先设有的图像采集器从智能手表的显示屏中获取到用户的脸部信息,对该脸部信息进行特征提取后将这些特征录入至情感识别模型中,特征提取后人脸图像都会转换成一个向量表示,应用余弦相似度对预先收录的用户图像进行特征向量比对,将两个人脸图像的特征向量进行比较,可以使用余弦相似度来度量它们之间的相似度,基于这个相似度得到两个向量的差异值,余弦相似度的取值范围在-1到1之间,值越接近1表示两个向量越相似,而值越接近-1表示两个向量越不相似,判断差异值是否超出预先设有的基值0,以执行对应的步骤;例如,当系统判定到差异值超出基值0时,此时系统需要得知差异值为正数或是负数,以将用户的情感类型进行定义为正数的积极或负数的消极;例如,当系统判定到差异值并未超出预先设有的基值0时,此时系统会将用户的情感类型定义为中性。
在本实施例中,则将所述脸部信息的情感类型定义为积极或消极的步骤S53后,包括:
S531:解析所述脸部特征,根据所述脸部特征对所述脸部信息进行情感评分,生成所述脸部信息对应的情感得分,其中,所述脸部特征具体包括眼角皱纹角度、嘴角上扬下弯角度和表情松弛角度;所述情感得分具体为积极情感得分或消极情感得分之间的任一种。
在本实施例中,系统通过解析脸部特征后,基于这些脸部特征对脸部信息进行对应的情感评分,具体需要将预先收录有的用户图像与当前收录的临时用户图像进行特征比对,从两者的眼角皱眉角度、嘴角上扬下弯角度和表情松弛角度中识别出两者之间的差别;首先根据预收集的包含不同情感的人脸图像数据,对应进行标记后,注明各个人脸图像对应的情感类别,例如喜悦、愤怒、厌恶、悲伤等,而后使用计算机视觉技术或深度学习模型提取人脸图像中的眼角皱眉角度、嘴角上扬下弯角度和表情松弛角度的特征,然后使用标记好的人脸图像数据和对应的特征向量,训练一个情感识别模型,可以使用机器学习算法(如支持向量机、随机森林)或深度学习模型(如卷积神经网络、循环神经网络)进行训练,在训练过程中将特征向量作为输入,对应的情感类别作为输出,最后使用训练好的情感识别模型,将眼角皱眉角度、嘴角上扬下弯角度和表情松弛角度作为输入,用以预测用户当前人脸信息对应的情感类别,并将预测结果转化为情感得分,例如使用离散标度或连续分值来表示情感程度。
在本实施例中,则将所述脸部信息的情感类型定义为中性的步骤S54后,包括:
S541:采集所述脸部信息中的特征样本,基于预定的情感标度范围对所述特征样本进行情感评分,生成所述脸部信息对应的中性情感得分,其中,所述特征样本具体包括眼皮伸展度、瞳孔扩大度和眼睛闭合度。
在本实施例中,系统通过解析脸部样本后,基于这些预先设定的情感标度范围对这些特征样本进行中性情感评分,以生成脸部信息对应的中性情感得分;首先,确定情感标度的范围,包括最小值和最大值,例如,假设情感标度范围为0到1,其中0表示完全负面情感,1表示完全正面情感,而后将特征样本进行归一化,使得每个特征的取值范围在0到1之间,通过线性缩放或其他归一化方法来实现,以确保特征样本在相同的尺度上进行比较,然后根据预先设定的权重,对归一化后的特征样本进行加权平均计算,权重的选择应根据特征的重要性和对情感的影响程度来确定,最后根据加权平均值,将其映射到情感标度的范围内,以获得中性情感评分,可以使用线性映射函数或其他合适的函数来将加权平均值映射到情感标度范围内。
在本实施例中,判断所述定位信息是否匹配所述用户预设的信任地点的步骤S2中,包括:
S21:基于预设的活动识别技术获取所述用户的活动状态,识别所述用户与所述信任地点预设的地理围栏;
S22:判断所述用户是否处于所述地理围栏内;
S23:若否,则解除对所述用户的情感限定,申请所述用户对情感识别的授权,对预设角度进行扫描以捕捉所述用户的脸部特征,根据所述脸部特征识别出所述用户,录取所述用户的脸部信息。
在本实施例中,系统基于预先设有在智能手表中的活动识别技术,通过传感器实时获取用户的活动状态,同时判断用户是否处于预先设有的地理围栏内,以执行对应的步骤;例如,当系统判定到用户目前仍处于地理围栏内,则此时系统认定用户仍处于自己设定的信任地点对应的地理围栏内,不受情感状态波动起伏的困扰,无需进行情感状态的修正;例如,当系统判定到用户目前不处于地理围栏内,则此时系统会解除对用户的情感限定,即用户需要保持自己的情感状态稳定,同时系统申请用户对情感识别赋予授权,使得智能手表能够对用户进行人脸信息录取后,根据预先设有的角度进行扫描以捕捉用户的脸部特征,识别出用户属于本人后,即录取用户的脸部信息进行情感识别;
需要说明的是,地理围栏是一种基于地理位置的虚拟边界,通过设置地理围栏,用户可以在特定区域内定义信任地点,当用户进入或离开该区域时,GPS设备可以自动触发相应的操作或提醒。
在本实施例中,基于预设的定位参数获取用户当前所处的定位信息的步骤S1前,包括:
S101:采集所述用户起始定位地点与当前所处的定位信息的距离值;
S102:判断所述距离值是否超出预设距离阈值;
S103:若是,则根据所述距离阈值超出所述距离值的具体数值对应调整定义参数,扩大所述定位范围,降低所述定位时段的频率。
在本实施例中,系统通过实时采集用户在未移动前的初始定位地点与当前所处定位信息的距离值,同时判断该距离值是否已超出预先设有的距离阈值,以执行对应的步骤;例如,当系统判定到用户所移动的距离值并未超出预先设有的距离阈值时,此时系统会保留原有的定位参数实时对用户进行定位捕捉,原有的定位参数设定:定位范围为五十米定位范畴内、定位时段为10s/次;例如,当系统判定到用户所移动的距离值超出了预先设有的距离阈值时,此时系统会根据已超出的距离值对应调整定义功能的定义参数,移动距离越大,定位范围越大,且同时定位的频率也越快。
在本实施例中,基于预设的定位参数获取用户当前所处的定位信息的步骤S1中,包括:
S11:识别所述用户在当前所处的定位信息中的停留时段;
S12:判断所述停留时段是否大于预设时段;
S13:若是,则将所述当前所处的定位信息在预收录的地图中标记为待定地点,记录所述用户在所述待定地点的停留次数,当所述停留次数超出预设阈值时,则将所述待定地点定义为所述预设的信任地点。
在本实施例中,系统通过识别用户在当前所处的定位中停留的时长,同时判断该停留时段是否大于预先设有的时段,以执行对应的步骤;例如,当系统判定用户的停留时段并未大于预先设有的时段时,此时系统会认为用户只是在某个地点停留了一段时长,用户对该地点并不熟络;例如,当系统判定用户的停留时段大于预先设有的时段时,此时系统会将当前所处的定位信息在预收录的地图中标记为并未信任的待定地点,同时开始记录用户在该并未信任的待定地点的停留次数,当记录到用户在并未信任的待定地点的停留次数超出预先设有的阈值次数时,且每次停留的次数都大于预先设有的时段,系统会将该并未信任的待定地点定义为用户的可信任地点,如若用户对该信任地点有异议,能够通过智能手表对该信任地点进行手动去除。
参考附图2,为本发明一实施例中智能手表的情感识别系统,包括:
获取模块10,用于基于预设的定位参数获取用户当前所处的定位信息,其中,所述定位参数具体包括定位范围和定位时段;
判断模块20,用于判断所述定位信息是否匹配所述用户预设的信任地点;
执行模块30,用于应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中,基于所述情感识别模型生成所述情感信息反馈的情感得分,其中,所述情感信息具体为用户脸部信息呈现的情感状态,所述情感得分具体包括积极情感得分、消极情感得分和中性情感得分;
第二判断模块40,用于判断所述情感得分是否低于预设水平;
第二执行模块50,用于基于所述情感得分的低分项为所述用户提供相应的协助措施,其中,所述协助措施具体为调用预设数据库中收录的积极语句通过所述显示屏对所述用户进行展示,在所述积极语句加入相应的情感语音合成,将所述积极语句通过语音交互至所述用户当前选取的传输介质中。
在本实施例中,获取模块10基于预先设有的定位参数以获取到用户当前所处的定位信息,同时判断模块20判断该定位信息是否匹配用户预先设有的可信任地点,以执行对应的步骤;例如,当系统判定到该定位信息能够匹配用户预先设有的信任地点时,此时系统会保留向用户提供情感状态修正的需求,因为目前用户处于自己设定的信任地点,如在家时,即使用户情感状态再差也不影响,因为在这些信任地点用户无需面对任何陌生人并保持出一个好的情感状态,在私人的信任地点可以拥有任意的情感宣泄;例如,当系统判定到该定位信息无法匹配用户预先设有的信任地点时,此时执行模块30会在用户的定位信息停止移动后,在预先设有的显示屏中请求录入用户的人脸特征信息后,从人脸特征信息中获取用户目前的情感信息,将这些情感信息输入至预先设有的情感识别模型中,由情感识别模型生成这些情感信息反馈的情感得分后,第二判断模块40判断这些情感得分是否低于预先设有的最低水平,以执行对应的步骤;例如,当系统判定到用户的情感得分并未低于预先设有的最低水平时,此时系统会认定用户目前的情感状态不会影响用户与他人的交谈效率,无需进行情感状态的修正;例如,当系统判定到用户的情感得分低于预先设有的最低水平时,此时第二执行模块50会基于情感得分中的低分项为用户提供相应的协助措施,如从预先设有的数据库中调用已收录有的积极语句通过显示屏展示给用户看,且在这些积极语句中添加用户缺失的情感元素,配合相应的情感语音合成,并将这些积极语句通过语音交互反馈给用户当前选取的传输介质中,传输介质包括扬声器、蓝牙耳机等。
在本实施例中,执行模块还包括:
提取单元,用于应用预设的图像采集器获取所述用户的脸部信息,对所述脸部信息进行特征提取,得到脸部特征,将所述脸部特征输入至所述情感识别模型中,采用余弦相似度将所述脸部特征与预收录的用户图像进行特征向量比对,计算所述脸部信息的差异值,其中,所述预收录的用户图像具体为所述用户的中性情感图像;
判断单元,用于判断所述差异值是否超出预设基值;
执行单元,用于将所述脸部信息的情感类型定义为积极或消极;
第二执行单元,用于将所述脸部信息的情感类型定义为中性。
在本实施例中,系统通过应用预先设有的图像采集器从智能手表的显示屏中获取到用户的脸部信息,对该脸部信息进行特征提取后将这些特征录入至情感识别模型中,特征提取后人脸图像都会转换成一个向量表示,应用余弦相似度对预先收录的用户图像进行特征向量比对,将两个人脸图像的特征向量进行比较,可以使用余弦相似度来度量它们之间的相似度,基于这个相似度得到两个向量的差异值,余弦相似度的取值范围在-1到1之间,值越接近1表示两个向量越相似,而值越接近-1表示两个向量越不相似,判断差异值是否超出预先设有的基值0,以执行对应的步骤;例如,当系统判定到差异值超出基值0时,此时系统需要得知差异值为正数或是负数,以将用户的情感类型进行定义为正数的积极或负数的消极;例如,当系统判定到差异值并未超出预先设有的基值0时,此时系统会将用户的情感类型定义为中性。
在本实施例中,还包括:
解析单元,用于解析所述脸部特征,根据所述脸部特征对所述脸部信息进行情感评分,生成所述脸部信息对应的情感得分,其中,所述脸部特征具体包括眼角皱纹角度、嘴角上扬下弯角度和表情松弛角度;所述情感得分具体为积极情感得分或消极情感得分之间的任一种。
在本实施例中,系统通过解析脸部特征后,基于这些脸部特征对脸部信息进行对应的情感评分,具体需要将预先收录有的用户图像与当前收录的临时用户图像进行特征比对,从两者的眼角皱眉角度、嘴角上扬下弯角度和表情松弛角度中识别出两者之间的差别;首先根据预收集的包含不同情感的人脸图像数据,对应进行标记后,注明各个人脸图像对应的情感类别,例如喜悦、愤怒、厌恶、悲伤等,而后使用计算机视觉技术或深度学习模型提取人脸图像中的眼角皱眉角度、嘴角上扬下弯角度和表情松弛角度的特征,然后使用标记好的人脸图像数据和对应的特征向量,训练一个情感识别模型,可以使用机器学习算法(如支持向量机、随机森林)或深度学习模型(如卷积神经网络、循环神经网络)进行训练,在训练过程中将特征向量作为输入,对应的情感类别作为输出,最后使用训练好的情感识别模型,将眼角皱眉角度、嘴角上扬下弯角度和表情松弛角度作为输入,用以预测用户当前人脸信息对应的情感类别,并将预测结果转化为情感得分,例如使用离散标度或连续分值来表示情感程度。
在本实施例中,还包括:
采集单元,用于采集所述脸部信息中的特征样本,基于预定的情感标度范围对所述特征样本进行情感评分,生成所述脸部信息对应的中性情感得分,其中,所述特征样本具体包括眼皮伸展度、瞳孔扩大度和眼睛闭合度。
在本实施例中,系统通过解析脸部样本后,基于这些预先设定的情感标度范围对这些特征样本进行中性情感评分,以生成脸部信息对应的中性情感得分;首先,确定情感标度的范围,包括最小值和最大值,例如,假设情感标度范围为0到1,其中0表示完全负面情感,1表示完全正面情感,而后将特征样本进行归一化,使得每个特征的取值范围在0到1之间,通过线性缩放或其他归一化方法来实现,以确保特征样本在相同的尺度上进行比较,然后根据预先设定的权重,对归一化后的特征样本进行加权平均计算,权重的选择应根据特征的重要性和对情感的影响程度来确定,最后根据加权平均值,将其映射到情感标度的范围内,以获得中性情感评分,可以使用线性映射函数或其他合适的函数来将加权平均值映射到情感标度范围内。
在本实施例中,判断模块还包括:
识别单元,用于基于预设的活动识别技术获取所述用户的活动状态,识别所述用户与所述信任地点预设的地理围栏;
第三判断单元,用于判断所述用户是否处于所述地理围栏内;
第三执行单元,用于解除对所述用户的情感限定,申请所述用户对情感识别的授权,对预设角度进行扫描以捕捉所述用户的脸部特征,根据所述脸部特征识别出所述用户,录取所述用户的脸部信息。
在本实施例中,系统基于预先设有在智能手表中的活动识别技术,通过传感器实时获取用户的活动状态,同时判断用户是否处于预先设有的地理围栏内,以执行对应的步骤;例如,当系统判定到用户目前仍处于地理围栏内,则此时系统认定用户仍处于自己设定的信任地点对应的地理围栏内,不受情感状态波动起伏的困扰,无需进行情感状态的修正;例如,当系统判定到用户目前不处于地理围栏内,则此时系统会解除对用户的情感限定,即用户需要保持自己的情感状态稳定,同时系统申请用户对情感识别赋予授权,使得智能手表能够对用户进行人脸信息录取后,根据预先设有的角度进行扫描以捕捉用户的脸部特征,识别出用户属于本人后,即录取用户的脸部信息进行情感识别;
在本实施例中,还包括:
采集模块,用于采集所述用户起始定位地点与当前所处的定位信息的距离值;
第三判断模块,用于判断所述距离值是否超出预设距离阈值;
第三执行模块,用于根据所述距离阈值超出所述距离值的具体数值对应调整定义参数,扩大所述定位范围,降低所述定位时段的频率。
在本实施例中,系统通过实时采集用户在未移动前的初始定位地点与当前所处定位信息的距离值,同时判断该距离值是否已超出预先设有的距离阈值,以执行对应的步骤;例如,当系统判定到用户所移动的距离值并未超出预先设有的距离阈值时,此时系统会保留原有的定位参数实时对用户进行定位捕捉,原有的定位参数设定:定位范围为五十米定位范畴内、定位时段为10s/次;例如,当系统判定到用户所移动的距离值超出了预先设有的距离阈值时,此时系统会根据已超出的距离值对应调整定义功能的定义参数,移动距离越大,定位范围越大,且同时定位的频率也越快。
在本实施例中,获取模块还包括:
第二识别单元,用于识别所述用户在当前所处的定位信息中的停留时段;
第四判断单元,用于判断所述停留时段是否大于预设时段;
第四执行单元,用于将所述当前所处的定位信息在预收录的地图中标记为待定地点,记录所述用户在所述待定地点的停留次数,当所述停留次数超出预设阈值时,则将所述待定地点定义为所述预设的信任地点。
在本实施例中,系统通过识别用户在当前所处的定位中停留的时长,同时判断该停留时段是否大于预先设有的时段,以执行对应的步骤;例如,当系统判定用户的停留时段并未大于预先设有的时段时,此时系统会认为用户只是在某个地点停留了一段时长,用户对该地点并不熟络;例如,当系统判定用户的停留时段大于预先设有的时段时,此时系统会将当前所处的定位信息在预收录的地图中标记为并未信任的待定地点,同时开始记录用户在该并未信任的待定地点的停留次数,当记录到用户在并未信任的待定地点的停留次数超出预先设有的阈值次数时,且每次停留的次数都大于预先设有的时段,系统会将该并未信任的待定地点定义为用户的可信任地点,如若用户对该信任地点有异议,能够通过智能手表对该信任地点进行手动去除。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (8)
1.一种智能手表的情感识别方法,其特征在于,包括以下步骤:
基于预设的定位参数获取用户当前所处的定位信息,其中,所述定位参数具体包括定位范围和定位时段;
判断所述定位信息是否匹配所述用户预设的信任地点;
若否,则应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中,基于所述情感识别模型生成所述情感信息反馈的情感得分,其中,所述情感信息具体为用户脸部信息呈现的情感状态,所述情感得分具体包括积极情感得分、消极情感得分和中性情感得分;
判断所述情感得分是否低于预设水平;
若是,则基于所述情感得分的低分项为所述用户提供相应的协助措施,其中,所述协助措施具体为调用预设数据库中收录的积极语句通过所述显示屏对所述用户进行展示,在所述积极语句加入相应的情感语音合成,将所述积极语句通过语音交互至所述用户当前选取的传输介质中;
其中,所述则应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中的步骤中,包括:
应用预设的图像采集器获取所述用户的脸部信息,对所述脸部信息进行特征提取,得到脸部特征,将所述脸部特征输入至所述情感识别模型中,采用余弦相似度将所述脸部特征与预收录的用户图像进行特征向量比对,计算所述脸部信息的差异值,其中,所述预收录的用户图像具体为所述用户的中性情感图像;
判断所述差异值是否超出预设基值;
若是,则将所述脸部信息的情感类型定义为积极或消极;
若否,则将所述脸部信息的情感类型定义为中性。
2.根据权利要求1所述的智能手表的情感识别方法,其特征在于,所述则将所述脸部信息的情感类型定义为积极或消极的步骤后,包括:
解析所述脸部特征,根据所述脸部特征对所述脸部信息进行情感评分,生成所述脸部信息对应的情感得分,其中,所述脸部特征具体包括眼角皱纹角度、嘴角上扬下弯角度和表情松弛角度;所述情感得分具体为积极情感得分或消极情感得分之间的任一种。
3.根据权利要求1所述的智能手表的情感识别方法,其特征在于,所述则将所述脸部信息的情感类型定义为中性的步骤后,包括:
采集所述脸部信息中的特征样本,基于预定的情感标度范围对所述特征样本进行情感评分,生成所述脸部信息对应的中性情感得分,其中,所述特征样本具体包括眼皮伸展度、瞳孔扩大度和眼睛闭合度。
4.根据权利要求1所述的智能手表的情感识别方法,其特征在于,所述判断所述定位信息是否匹配所述用户预设的信任地点的步骤中,包括:
基于预设的活动识别技术获取所述用户的活动状态,识别所述用户与所述信任地点预设的地理围栏;
判断所述用户是否处于所述地理围栏内;
若否,则解除对所述用户的情感限定,申请所述用户对情感识别的授权,对预设角度进行扫描以捕捉所述用户的脸部特征,根据所述脸部特征识别出所述用户,录取所述用户的脸部信息。
5.根据权利要求1所述的智能手表的情感识别方法,其特征在于,所述基于预设的定位参数获取用户当前所处的定位信息的步骤前,包括:
采集所述用户起始定位地点与当前所处的定位信息的距离值;
判断所述距离值是否超出预设距离阈值;
若是,则根据所述距离阈值超出所述距离值的具体数值对应调整定义参数,扩大所述定位范围,降低所述定位时段的频率。
6.根据权利要求1所述的智能手表的情感识别方法,其特征在于,所述基于预设的定位参数获取用户当前所处的定位信息的步骤中,包括:
识别所述用户在当前所处的定位信息中的停留时段;
判断所述停留时段是否大于预设时段;
若是,则将所述当前所处的定位信息在预收录的地图中标记为待定地点,记录所述用户在所述待定地点的停留次数,当所述停留次数超出预设阈值时,则将所述待定地点定义为所述预设的信任地点。
7.一种智能手表的情感识别系统,其特征在于,包括:
获取模块,用于基于预设的定位参数获取用户当前所处的定位信息,其中,所述定位参数具体包括定位范围和定位时段;
判断模块,用于判断所述定位信息是否匹配所述用户预设的信任地点;
执行模块,用于应用预设的显示屏请求录入所述用户当前的情感信息,将所述情感信息输入至预设的情感识别模型中,基于所述情感识别模型生成所述情感信息反馈的情感得分,其中,所述情感信息具体为用户脸部信息呈现的情感状态,所述情感得分具体包括积极情感得分、消极情感得分和中性情感得分;
第二判断模块,用于判断所述情感得分是否低于预设水平;
第二执行模块,用于基于所述情感得分的低分项为所述用户提供相应的协助措施,其中,所述协助措施具体为调用预设数据库中收录的积极语句通过所述显示屏对所述用户进行展示,在所述积极语句加入相应的情感语音合成,将所述积极语句通过语音交互至所述用户当前选取的传输介质中;
其中,所述执行模块还包括:
提取单元,用于应用预设的图像采集器获取所述用户的脸部信息,对所述脸部信息进行特征提取,得到脸部特征,将所述脸部特征输入至所述情感识别模型中,采用余弦相似度将所述脸部特征与预收录的用户图像进行特征向量比对,计算所述脸部信息的差异值,其中,所述预收录的用户图像具体为所述用户的中性情感图像;
判断单元,用于判断所述差异值是否超出预设基值;
执行单元,用于将所述脸部信息的情感类型定义为积极或消极;
第二执行单元,用于将所述脸部信息的情感类型定义为中性。
8.根据权利要求7所述的智能手表的情感识别系统,其特征在于,还包括:
解析单元,用于解析所述脸部特征,根据所述脸部特征对所述脸部信息进行情感评分,生成所述脸部信息对应的情感得分,其中,所述脸部特征具体包括眼角皱纹角度、嘴角上扬下弯角度和表情松弛角度;所述情感得分具体为积极情感得分或消极情感得分之间的任一种。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311180321.XA CN116935478B (zh) | 2023-09-13 | 2023-09-13 | 一种智能手表的情感识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311180321.XA CN116935478B (zh) | 2023-09-13 | 2023-09-13 | 一种智能手表的情感识别方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116935478A CN116935478A (zh) | 2023-10-24 |
CN116935478B true CN116935478B (zh) | 2023-12-22 |
Family
ID=88386359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311180321.XA Active CN116935478B (zh) | 2023-09-13 | 2023-09-13 | 一种智能手表的情感识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116935478B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106956271A (zh) * | 2017-02-27 | 2017-07-18 | 华为技术有限公司 | 预测情感状态的方法和机器人 |
CN108958869A (zh) * | 2018-07-02 | 2018-12-07 | 京东方科技集团股份有限公司 | 一种智能穿戴设备及其信息提示方法 |
CN109145847A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 识别方法、装置、穿戴式设备及存储介质 |
CN109377429A (zh) * | 2018-11-13 | 2019-02-22 | 广东同心教育科技有限公司 | 一种人脸识别素质教育智慧评价系统 |
CN116671919A (zh) * | 2023-08-02 | 2023-09-01 | 电子科技大学 | 一种基于可穿戴设备的情绪检测提醒方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021192132A (ja) * | 2018-09-07 | 2021-12-16 | ソニーグループ株式会社 | 情報処理システム、情報処理方法、および、記録媒体 |
-
2023
- 2023-09-13 CN CN202311180321.XA patent/CN116935478B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106956271A (zh) * | 2017-02-27 | 2017-07-18 | 华为技术有限公司 | 预测情感状态的方法和机器人 |
CN108958869A (zh) * | 2018-07-02 | 2018-12-07 | 京东方科技集团股份有限公司 | 一种智能穿戴设备及其信息提示方法 |
CN109145847A (zh) * | 2018-08-30 | 2019-01-04 | Oppo广东移动通信有限公司 | 识别方法、装置、穿戴式设备及存储介质 |
CN109377429A (zh) * | 2018-11-13 | 2019-02-22 | 广东同心教育科技有限公司 | 一种人脸识别素质教育智慧评价系统 |
CN116671919A (zh) * | 2023-08-02 | 2023-09-01 | 电子科技大学 | 一种基于可穿戴设备的情绪检测提醒方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116935478A (zh) | 2023-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115413348B (zh) | 用于自动验证和量化面试问题回答的系统和方法 | |
CN110399837B (zh) | 用户情绪识别方法、装置以及计算机可读存储介质 | |
EP3477519B1 (en) | Identity authentication method, terminal device, and computer-readable storage medium | |
US9501743B2 (en) | Method and apparatus for tailoring the output of an intelligent automated assistant to a user | |
CN109119095B (zh) | 疲劳等级识别方法、装置、计算机设备及存储介质 | |
CN110634472B (zh) | 一种语音识别方法、服务器及计算机可读存储介质 | |
JP2017530393A (ja) | 顔構造に基づいて声を合成する方法および装置 | |
CN110750774B (zh) | 身份识别的方法及装置 | |
EP2879130A1 (en) | Methods and systems for splitting a digital signal | |
WO2017085992A1 (ja) | 情報処理装置 | |
JP7148737B2 (ja) | 生体(liveness)検出検証方法、生体検出検証システム、記録媒体、及び生体検出検証システムの訓練方法 | |
CN115205764B (zh) | 基于机器视觉的在线学习专注度监测方法、系统及介质 | |
CN115423908A (zh) | 虚拟人脸的生成方法、装置、设备以及可读存储介质 | |
WO2021134250A1 (zh) | 情绪管理方法、设备及计算机可读存储介质 | |
CN116935478B (zh) | 一种智能手表的情感识别方法及系统 | |
JP6285377B2 (ja) | コミュニケーションスキル評価フィードバック装置、コミュニケーションスキル評価フィードバック方法及びコミュニケーションスキル評価フィードバックプログラム | |
KR20180005876A (ko) | 음성데이터 기반 인성평가를 통한 인공지능형 개인신용평가 및 분석 시스템 및 방법 | |
CN115601836A (zh) | 学习状态识别方法、装置、设备及存储介质 | |
JP2019152737A (ja) | 話者推定方法および話者推定装置 | |
CN109815806B (zh) | 人脸识别方法及装置、计算机设备、计算机存储介质 | |
JP2019105729A (ja) | 人物評価装置、プログラム、及び、方法 | |
KR20230112478A (ko) | 성문 빅데이터 분석을 통한 궁합 시스템 및 그 방법 | |
CN113901418A (zh) | 基于视频的身份验证方法、装置、计算机设备及存储介质 | |
Kinkiri et al. | Machine learning for voice recognition | |
US20240320312A1 (en) | System and Method for Generating Synthetic Profiles for Training Biometric Verification Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |