CN113707294A - 一种基于动态视频数据的心理评测方法 - Google Patents

一种基于动态视频数据的心理评测方法 Download PDF

Info

Publication number
CN113707294A
CN113707294A CN202110897122.5A CN202110897122A CN113707294A CN 113707294 A CN113707294 A CN 113707294A CN 202110897122 A CN202110897122 A CN 202110897122A CN 113707294 A CN113707294 A CN 113707294A
Authority
CN
China
Prior art keywords
value
time
change sequence
data
delta
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110897122.5A
Other languages
English (en)
Other versions
CN113707294B (zh
Inventor
齐中祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Womin High New Science & Technology Beijing Co ltd
Original Assignee
Womin High New Science & Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Womin High New Science & Technology Beijing Co ltd filed Critical Womin High New Science & Technology Beijing Co ltd
Priority to CN202110897122.5A priority Critical patent/CN113707294B/zh
Publication of CN113707294A publication Critical patent/CN113707294A/zh
Application granted granted Critical
Publication of CN113707294B publication Critical patent/CN113707294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Epidemiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及一种基于动态视频数据的心理评测方法，该方法包括：持续获取用户的植物神经信号及视频数据；识别视频数据中的面部数据；根据植物神经信号确定植物神经信号的变化序列，根据面部数据确定面部变化序列；其中各序列中的元素均以时间作为唯一标识；根据变化序列和面部变化序列进行心理评测。本发明通过植物神经信号和动态视频数据进行心理评测，实现了心理健康状态的客观评测。

Description

一种基于动态视频数据的心理评测方法
技术领域
本发明涉及心理评测技术领域，尤其涉及一种基于动态视频数据的心理评测方法。
背景技术
随着社会节奏加快，人们面临巨大的心理压力，容易出现疲劳、寂寞、焦虑、抑郁、恐慌等心理应激反应，心理问题成为社会问题。
心理问题如果处理不好，会转化为心理精神疾病，对国民的身心和工作带来很大的负面影响。
发明内容
(一)要解决的技术问题
鉴于现有技术的上述缺点、不足，本发明提供一种基于动态视频数据的心理评测方法。
(二)技术方案
为了达到上述目的，本发明采用的主要技术方案包括：
一种基于动态视频数据的心理评测方法，所述方法包括：
S101，持续获取用户的植物神经信号及视频数据；
S102，识别视频数据中的面部数据；
S103，根据所述植物神经信号确定所述植物神经信号的变化序列，根据所述面部数据确定面部变化序列；其中各序列中的元素均以时间作为唯一标识；
S104，根据所述变化序列和面部变化序列进行心理评测。
可选地，所述S103中根据所述植物神经信号确定所述植物神经信号的变化序列的步骤包括：
S201，生成植物神经信号集PA，所述植物神经信号集PA中每一个元素
Figure BDA0003198417260000021
包括2个维度，一个维度为数据值
Figure BDA0003198417260000022
另一个维度为时间值
Figure BDA0003198417260000023
其中，PA的元素
Figure BDA0003198417260000024
与S101中获取的植物神经信号一一对应，且PA的任一元素
Figure BDA0003198417260000025
的数据值
Figure BDA0003198417260000026
Figure BDA0003198417260000027
的时间值
Figure BDA0003198417260000028
为A(x)的采集时间，A(x)为S101中获得的第x个植物神经信号，x为S101中获得的植物神经信号标识，所述S101中获得的植物神经信号按照时间顺序排列；
S202，根据植物神经信号集PA形成对应的植物神经差集ΔA，所述植物神经差集ΔA的每一个元素
Figure BDA0003198417260000029
包括2个维度，一个维度为数据值
Figure BDA00031984172600000210
另一个维度为时间值
Figure BDA00031984172600000211
其中，ΔA的元素
Figure BDA00031984172600000212
与S101中获得的植物神经信号一一对应；
S203，将S101中得到的植物神经信号输入神经网络模型，进行特征识别，得到该植物神经信号中每个元素的植物神经信号值的特征，进而形成对应的特征集IA，所述特征集IA中每个元素
Figure BDA00031984172600000213
包括2个维度，一个维度为数据值
Figure BDA00031984172600000214
另一个维度为时间值
Figure BDA00031984172600000215
其中，IA的元素
Figure BDA00031984172600000216
与S101中得到的植物神经信号一一对应，且
Figure BDA00031984172600000217
的数据值
Figure BDA00031984172600000218
为A(x)的特征，
Figure BDA00031984172600000219
的时间值
Figure BDA00031984172600000220
S204，根据植物神经差集ΔA以及特征集IA，得到变化序列CA。
可选地，
对于植物神经信号集PA中的最后一个元素
Figure BDA00031984172600000221
其与ΔA中的最后一个元素
Figure BDA00031984172600000222
对应，且
Figure BDA00031984172600000223
的数据值
Figure BDA00031984172600000224
Figure BDA00031984172600000225
的时间值
Figure BDA00031984172600000226
为
Figure BDA00031984172600000227
的时间值
Figure BDA00031984172600000228
其中，xl为植物神经信号集PA中的最后一个元素的标识；
对于植物神经信号集PA中的非最后一个元素
Figure BDA00031984172600000229
其一一对应ΔA中的一个元素
Figure BDA00031984172600000230
且
Figure BDA00031984172600000231
的数据值
Figure BDA00031984172600000232
Figure BDA00031984172600000233
的时间值
Figure BDA00031984172600000234
其中，xj为植物神经信号集PA中非最后一个元素的标识。
可选地，所述变化序列CA中的每个元素
Figure BDA0003198417260000031
包括2个维度，一个维度为数据值
Figure BDA0003198417260000032
另一个维度为时间值
Figure BDA0003198417260000033
其中，所述植物神经信号集PA中的任一元素
Figure BDA0003198417260000034
一一对应变化序列CA中的一个元素
Figure BDA0003198417260000035
且
Figure BDA0003198417260000036
的数据值
Figure BDA0003198417260000037
Figure BDA0003198417260000038
的时间值
Figure BDA0003198417260000039
D1(x)为根据植物神经差集ΔA得到的第一植物神经参数，D2(x)为根据特征集IA得到的第二植物神经参数。
可选地，所述
Figure BDA00031984172600000310
Figure BDA00031984172600000311
为植物神经差集ΔA所有元素的数据值中的最大值，
Figure BDA00031984172600000312
为植物神经差集ΔA所有元素的数据值中的最小值。
可选地，所述
Figure BDA00031984172600000313
其中，
Figure BDA00031984172600000314
为特征集IA所有元素的数据值中的最大值，
Figure BDA00031984172600000315
为特征集IA所有元素的数据值中的最小值；
δ＝植物神经差集ΔA所有元素的数据值中的最大值与最小值之间时间差/特征集IA所有元素的数据值中的最大值与最小值之间时间差。
可选地，S103中根据所述面部数据确定面部变化序列具体包括：
S103-1，对视频数据中每帧图像的面部数据做如下处理：
S301，获取第z帧图像中的面部图像Gz；其中，z为视频数据中帧标识；
S302，将Gz进行划分，分为额区图像
Figure BDA00031984172600000316
眼眉区图像
Figure BDA00031984172600000317
鼻区图像
Figure BDA00031984172600000318
嘴区图像
Figure BDA00031984172600000319
和耳区图像
Figure BDA00031984172600000320
S303，将
Figure BDA00031984172600000321
和
Figure BDA00031984172600000322
分别输入神经网络模型，得到
Figure BDA00031984172600000323
的特征
Figure BDA00031984172600000324
的特征
Figure BDA00031984172600000325
的特征
Figure BDA00031984172600000326
的特征
Figure BDA00031984172600000327
的特征
Figure BDA00031984172600000328
S304，将
Figure BDA00031984172600000329
形成的向量作为第z帧图像的面部数据；
S103-2，基于各帧图像处理后的数据形成面部变化序列。
可选地，所述S104具体包括：
S104-1，根据面部变化序列生成差集Δ′；
所述Δ′中元素以时间作为唯一标识，且，所述Δ′中最后一个元素的值为0向量，Δ′中最后一个元素的标识为面部变化序列最后一个向量的时间，所述Δ′中非最后一个元素的值为所述Δ′中时间为x’的元素值为面部变化序列中时间为x’+1的元素的向量-时间为x’的元素的向量，x’为Δ′中非最后一个元素的时间标识；
S104-2，根据Δ′确定调整后的面部变化序列；
S104-3，将调整后的面部变化序列中每一元素值与变化序列中对应元素值的积作为最终评测值；所述调整后的面部变化序列中任一元素的时间标识与所述变化序列中对应元素值的时间标识相同；
S104-4，对最终评测值进行心理评测。
可选地，所述S104-2具体包括：
调整后的面部变化序列中以时间x”为标识，且
调整后的面部变化序列中的第一个元素值为[(面部变化序列中第一个元素的值-Δ′中第一个元素的值)+(面部变化序列中第一个元素的值-Δ′中第二个元素的值)]/(2*调整系数)，调整后的面部变化序列中的第一个元素的标识为Δ′中第一个元素的标识；
调整后的面部变化序列中的最后一个元素值为[(面部变化序列中最后一个元素的值-Δ′中最后一个元素的值)+(面部变化序列中最后一个元素的值-Δ′中倒数第二个元素的值)]/(2*调整系数)，调整后的面部变化序列中的最后一个元素的标识为Δ′中最后一个元素的标识；
调整后的面部变化序列中的非第一个元素，也非最后一个元素值为[(面部变化序列中以时间x”为标识的值-Δ′中以时间x”为标识的值)+(面部变化序列中以时间x”为标识的值-Δ′中以时间x”-1为标识的值)+(面部变化序列中以时间x”为标识的值-Δ′中以时间x”+1为标识的值)]/(3*调整系数)，其中x”为非第一个元素，也非最后一个元素值的标识。
可选地，所述
Figure BDA0003198417260000051
(三)有益效果
持续获取用户的植物神经信号及视频数据；识别视频数据中的面部数据；根据植物神经信号确定植物神经信号的变化序列，根据面部数据确定面部变化序列；其中各序列中的元素均以时间作为唯一标识；根据变化序列和面部变化序列进行心理评测。本发明通过植物神经信号和动态视频数据进行心理评测，实现了心理健康状态的客观评测。
附图说明
图1为本发明一实施例提供的一种基于动态视频数据的心理评测方法的流程示意图。
具体实施方式
为了更好的解释本发明，以便于理解，下面结合附图，通过具体实施方式，对本发明作详细描述。
随着社会节奏加快，人们面临巨大的心理压力，容易出现疲劳、寂寞、焦虑、抑郁、恐慌等心理应激反应，心理问题成为社会问题。心理问题如果处理不好，会转化为心理精神疾病，对国民的身心和工作带来很大的负面影响。
基于此，本发明提供一种基于动态视频数据的心理评测方法，该方法包括：持续获取用户的植物神经信号及视频数据；识别视频数据中的面部数据；根据植物神经信号确定植物神经信号的变化序列，根据面部数据确定面部变化序列；其中各序列中的元素均以时间作为唯一标识；根据变化序列和面部变化序列进行心理评测。本发明通过植物神经信号和动态视频数据进行心理评测，实现了心理健康状态的客观评测。
在具体实现时，可以向用户提供心理评测的问卷，在用户回答问卷过程中，通过如图1所示的方法对该用户进行心理评测。还可以由评测人员与用户进行沟通，如聊天、提问等，在用户交流过程中，通过如图1所示的方法对该用户进行心理评测。
参见图1，本实施例提供的基于动态视频数据的心理评测方法的实现过程如下：
S101，持续获取用户的植物神经信号及视频数据。
本步骤可以通过植物神经信号采集设备持续采集用户的植物神经信号。通过视频采集设备持续采集用户的视频数据。
植物神经信号受大脑皮质和下丘脑的支配和调节，但不受人的意志所控制，也就是说，用户可能控制自己的情绪、表情、心跳、血液等，逃避展现自己真实的心理，造成评测结果错误，但其不能控制植物神经信号，因此通过对植物神经信号的分析可以获取到用户最真实的反应，使得最终的评测结果不受人为控制而产生错误，提升了本方法得到的评测结果的准确性和客观性。
具体实现时，可以持续获取用户回答评测题时的植物神经信号和视频数据，或者，持续获取用户交流时的植物神经信号和视频数据。
S102，识别视频数据中的面部数据。
视频数据是由一系列帧组成的数据，视频数据通过人脸识别方法识别每一帧中的面部数据。
S103，根据植物神经信号确定植物神经信号的变化序列，根据面部数据确定面部变化序列。
其中，各序列中的元素均以时间作为唯一标识。
以采集时间为标识确定植物神经信号的变化序列，同时基于采集时间将各面部数据形成面部变化序列。
·对于根据植物神经信号确定植物神经信号的变化序列的过程如下：
S201，生成植物神经信号集PA，植物神经信号集PA中每一个元素
Figure BDA0003198417260000071
包括2个维度，一个维度为数据值
Figure BDA0003198417260000072
另一个维度为时间值
Figure BDA0003198417260000073
其中，PA的元素
Figure BDA0003198417260000074
与S101中获取的植物神经信号一一对应，且PA的任一元素
Figure BDA0003198417260000075
的数据值
Figure BDA0003198417260000076
Figure BDA0003198417260000077
的时间值
Figure BDA0003198417260000078
为A(x)的采集时间，A(x)为S101中获得的第x个植物神经信号，x为S101中获得的植物神经信号标识，S101中获得的植物神经信号按照时间顺序排列。
例如，S101中采集到1毫秒至5毫秒用户A的植物神经信号SA如表1所示，那么其会生成一个植物神经信号集PA，PA中包括5个元素，每个元素包括2个维度，第一个维度就是其对应的A(x)的值，第二个维度是该值的采集时间。
表1
植物神经信号标识 0 1 2 3 4
植物神经信号值 A(0) A(1) A(2) A(3) A(4)
植物神经信号采集时间 1 2 3 4 5
例如PA的5个元素为：
Figure BDA0003198417260000079
其中，
Figure BDA00031984172600000710
的数据值
Figure BDA00031984172600000711
为A(0)，
Figure BDA00031984172600000712
的时间值
Figure BDA00031984172600000713
为1。
Figure BDA00031984172600000714
的数据值
Figure BDA00031984172600000715
为A(1)，
Figure BDA00031984172600000716
的时间值
Figure BDA00031984172600000717
为2。
Figure BDA00031984172600000718
的数据值
Figure BDA00031984172600000719
为S(2)，
Figure BDA00031984172600000720
的时间值
Figure BDA00031984172600000721
为3。
Figure BDA00031984172600000722
的数据值
Figure BDA00031984172600000723
为A(3)，
Figure BDA00031984172600000724
的时间值
Figure BDA00031984172600000725
为4。
Figure BDA00031984172600000726
的数据值
Figure BDA00031984172600000727
为A(4)，
Figure BDA00031984172600000728
的时间值
Figure BDA00031984172600000729
为5。
需要说明的是，表1中植物神经信号由0开始标识以及P集合中的元素由0开始仅为示例，在实际应用中可以从1开始标识，也可以从任何一个标识点开始标识，本实施例对此不做限定。
同样，本实施例中出现的标识，均以0开始作为示例，实际应用时可以从其他开始标识。
S202，根据植物神经信号集PA形成对应的植物神经差集ΔA，植物神经差集ΔA的每一个元素
Figure BDA0003198417260000081
包括2个维度，一个维度为数据值
Figure BDA0003198417260000082
另一个维度为时间值
Figure BDA0003198417260000083
其中，ΔA的元素
Figure BDA0003198417260000084
与S101中获得的植物神经信号一一对应。
具体的，
对于植物神经信号集PA中的最后一个元素
Figure BDA0003198417260000085
其与ΔA中的最后一个元素
Figure BDA0003198417260000086
对应，且
Figure BDA0003198417260000087
的数据值
Figure BDA0003198417260000088
Figure BDA0003198417260000089
的时间值
Figure BDA00031984172600000810
为
Figure BDA00031984172600000811
的时间值
Figure BDA00031984172600000812
其中，xl为植物神经信号集PA中的最后一个元素的标识。
对于植物神经信号集PA中的非最后一个元素
Figure BDA00031984172600000813
其一一对应ΔA中的一个元素
Figure BDA00031984172600000814
且
Figure BDA00031984172600000815
的数据值
Figure BDA00031984172600000816
Figure BDA00031984172600000817
的时间值
Figure BDA00031984172600000818
其中，xj为植物神经信号集PA中非最后一个元素的标识。
例如，在得到植物神经信号集
Figure BDA00031984172600000819
之后，植物神经差集Δ也有5个元素，分别为：
Figure BDA00031984172600000820
其中，
Figure BDA00031984172600000821
的数据值
Figure BDA00031984172600000822
Figure BDA00031984172600000823
的时间值
Figure BDA00031984172600000824
Figure BDA00031984172600000825
的数据值
Figure BDA00031984172600000826
Figure BDA00031984172600000827
的时间值
Figure BDA00031984172600000828
Figure BDA00031984172600000829
Figure BDA00031984172600000830
的数据值
Figure BDA00031984172600000831
Figure BDA00031984172600000832
的时间值
Figure BDA00031984172600000833
Figure BDA00031984172600000834
的数据值
Figure BDA00031984172600000835
Figure BDA00031984172600000836
的时间值
Figure BDA00031984172600000837
Figure BDA00031984172600000838
的数据值
Figure BDA00031984172600000839
Figure BDA0003198417260000091
的时间值
Figure BDA0003198417260000092
S203，将S101中得到的植物神经信号输入神经网络模型，进行特征识别，得到该植物神经信号中每个元素的植物神经信号值的特征，进而形成对应的特征集IA，特征集IA中每个元素
Figure BDA0003198417260000093
包括2个维度，一个维度为数据值
Figure BDA0003198417260000094
另一个维度为时间值
Figure BDA0003198417260000095
其中，IA的元素
Figure BDA0003198417260000096
与S101中得到的植物神经信号一一对应，且
Figure BDA0003198417260000097
的数据值
Figure BDA0003198417260000098
为A(x)的特征，
Figure BDA0003198417260000099
的时间值
Figure BDA00031984172600000910
例如，植物神经信号SA，其对应的特征集I也包括5个元素，分别为：
Figure BDA00031984172600000911
其中，
Figure BDA00031984172600000912
的数据值
Figure BDA00031984172600000913
为A(0)的特征值，
Figure BDA00031984172600000914
的时间值
Figure BDA00031984172600000915
Figure BDA00031984172600000916
的数据值
Figure BDA00031984172600000917
为A(1)的特征值，
Figure BDA00031984172600000918
的时间值
Figure BDA00031984172600000919
Figure BDA00031984172600000920
的数据值
Figure BDA00031984172600000921
为A(2)的特征值，
Figure BDA00031984172600000922
的时间值
Figure BDA00031984172600000923
Figure BDA00031984172600000924
的数据值
Figure BDA00031984172600000925
为A(3)的特征值，
Figure BDA00031984172600000926
的时间值
Figure BDA00031984172600000927
Figure BDA00031984172600000928
的数据值
Figure BDA00031984172600000929
为A(4)的特征值，
Figure BDA00031984172600000930
的时间值
Figure BDA00031984172600000931
S204，根据植物神经差集ΔA以及特征集IA，得到变化序列CA。
其中，变化序列CA中的每个元素
Figure BDA00031984172600000932
包括2个维度，一个维度为数据值
Figure BDA00031984172600000933
另一个维度为时间值
Figure BDA00031984172600000934
其中，植物神经信号集PA中的任一元素
Figure BDA00031984172600000935
一一对应变化序列CA中的一个元素
Figure BDA00031984172600000936
且
Figure BDA00031984172600000937
的数据值
Figure BDA00031984172600000938
Figure BDA00031984172600000939
的时间值
Figure BDA00031984172600000940
D1(x)为根据植物神经差集ΔA得到的第一植物神经参数，D2(x)为根据特征集IA得到的第二植物神经参数。
Figure BDA00031984172600000941
Figure BDA00031984172600000942
为植物神经差集ΔA所有元素的数据值中的最大值，
Figure BDA00031984172600000943
为植物神经差集ΔA所有元素的数据值中的最小值。
Figure BDA00031984172600000944
其中，
Figure BDA0003198417260000101
为特征集IA所有元素的数据值中的最大值，
Figure BDA0003198417260000102
为特征集IA所有元素的数据值中的最小值。
δ＝植物神经差集ΔA所有元素的数据值中的最大值与最小值之间时间差/特征集IA所有元素的数据值中的最大值与最小值之间时间差。
仍以上述例子为例，变化集CA中的元素也有5个，分别为
Figure BDA0003198417260000103
Figure BDA0003198417260000104
Figure BDA0003198417260000105
的数据值
Figure BDA0003198417260000106
Figure BDA0003198417260000107
的时间值
Figure BDA0003198417260000108
其中，
Figure BDA0003198417260000109
Figure BDA00031984172600001010
Figure BDA00031984172600001011
Figure BDA00031984172600001012
的数据值
Figure BDA00031984172600001013
Figure BDA00031984172600001014
的时间值
Figure BDA00031984172600001015
Figure BDA00031984172600001016
其中，
Figure BDA00031984172600001017
Figure BDA00031984172600001018
的数据值
Figure BDA00031984172600001019
Figure BDA00031984172600001020
的时间值
Figure BDA00031984172600001021
其中，
Figure BDA00031984172600001022
Figure BDA00031984172600001023
的数据值
Figure BDA00031984172600001024
Figure BDA00031984172600001025
的时间值
Figure BDA00031984172600001026
其中，
Figure BDA00031984172600001027
Figure BDA00031984172600001028
Figure BDA00031984172600001029
的数据值
Figure BDA00031984172600001030
Figure BDA00031984172600001031
Figure BDA00031984172600001032
的时间值
Figure BDA00031984172600001033
其中，
Figure BDA00031984172600001034
Figure BDA00031984172600001035
执行至此，可以得到，一个植物神经信号SA，对应一个植物神经信号集PA，一个植物神经差集ΔA、一个特征集IA和一个变化序列CA。
PA、ΔA、IA、CA中元素的数量与SA中信号数量相同，且PA、ΔA、IA、CA中所有时间值相同的元素均对应SA中的相同信号。通过时间值就可以找到SA中各信号在PA、ΔA、IA、CA中对应的元素。也就是说，通过时间值t，以及该t在PA、ΔA、IA、CA中的元素，就可以知道SA中的一个信号，其信号值、差值、特征值以及变化情况。通过上述情况的追踪，就可以得到用户植物神经信号对于其内心的真实反应。
·对于根据面部数据确定面部变化序列的过程如下：
S103-1，对视频数据中每帧图像的面部数据做如下处理：
以第z帧图像为例
S301，获取第z帧图像中的面部图像Gz。
其中，z为视频数据中帧标识。
S302，将Gz进行划分，分为额区图像
Figure BDA0003198417260000111
眼眉区图像
Figure BDA0003198417260000112
鼻区图像
Figure BDA0003198417260000113
嘴区图像
Figure BDA0003198417260000114
和耳区图像
Figure BDA0003198417260000115
S303，将
Figure BDA0003198417260000116
和
Figure BDA0003198417260000117
分别输入神经网络模型，得到
Figure BDA0003198417260000118
的特征
Figure BDA0003198417260000119
的特征
Figure BDA00031984172600001110
的特征
Figure BDA00031984172600001111
的特征
Figure BDA00031984172600001112
的特征
Figure BDA00031984172600001113
S304，将
Figure BDA00031984172600001114
形成的向量作为第z帧图像的面部数据。
S103-2，基于各帧图像处理后的数据形成面部变化序列。
S104，根据变化序列和面部变化序列进行心理评测。
具体的，
S104-1，根据面部变化序列生成差集Δ′。
Δ′中元素以时间作为唯一标识，且，Δ′中最后一个元素的值为0，Δ′中最后一个元素的标识为面部变化序列最后一个向量的时间，Δ′中非最后一个元素的值为Δ′中时间为x’的元素值为面部变化序列中时间为x’+1的元素的向量-时间为x’的元素的向量，x’为Δ′中非最后一个元素的时间标识。
例如，面部变化序列为由1至t时刻的面部变化图像组成，也就是说，面部变化序列中有t帧面部变化图像，那么Δ′中元素为t个，第1个元素如δ(0)的值为面部变化序列中第2时刻的向量-第1时刻的向量，且δ(0)的唯一标识为1(即第1时刻)。第2个元素，如δ(1)的值为面部变化序列中第3时刻的向量-第2时刻的向量，且δ(1)的唯一标识为2(即第2时刻)。以此类推，直至第t-1个元素，如δ(t-2)的值为面部变化序列中第t-1时刻的向量-第t-2时刻的向量，且δ(t-2)的唯一标识为t-1(即第t-1时刻)。
Δ′的最后一个元素，即第t个元素，如δ(t-1)的值为0向量，该元素的标识为t(即t时刻)。
其中0向量为一个向量，向量维度与面部变化序列中任一个元素的向量维度相同，但0向量中每个维度的值均为0。
至此Δ′元素数量与面部变化序列中元素数量相同。
S104-2，根据Δ′确定调整后的面部变化序列。
例如，调整后的面部变化序列中以时间x”为标识，且
调整后的面部变化序列中的第一个元素值为[(面部变化序列中第一个元素的值-Δ′中第一个元素的值)+(面部变化序列中第一个元素的值-Δ′中第二个元素的值)]/(2*调整系数)，调整后的面部变化序列中的第一个元素的标识为Δ′中第一个元素的标识；
调整后的面部变化序列中的最后一个元素值为[(面部变化序列中最后一个元素的值-Δ′中最后一个元素的值)+(面部变化序列中最后一个元素的值-Δ′中倒数第二个元素的值)]/(2*调整系数)，调整后的面部变化序列中的最后一个元素的标识为Δ′中最后一个元素的标识；
调整后的面部变化序列中的非第一个元素，也非最后一个元素值为[(面部变化序列中以时间x”为标识的值-Δ′中以时间x”为标识的值)+(面部变化序列中以时间x”为标识的值-Δ′中以时间x”-1为标识的值)+(面部变化序列中以时间x”为标识的值-Δ′中以时间x”+1为标识的值)]/(3*调整系数)，其中x”为非第一个元素，也非最后一个元素值的标识。
Figure BDA0003198417260000121
仍以上面例子为例，若面部变化序列包括t个元素，如α(0)，α(1)，…，α(t-1)。Δ′中包括t个元素，如Δ′＝{δ(0),δ(1),…,δ(t-2),δ(t-1)}，则调整后的面部变化序列为t个元素。
其中，调整后的面部变化序列的第1个元素，如β(0)的值为[(α(0)的值-δ(0)的值)+(α(0)的值-δ(1)的值)]/(2*调整系数)，β(0)的标识为δ(0)的标识，即1。
调整后的面部变化序列的第2个元素，如β(1)的值为[(α(1)的值-δ(1)的值)+(α(1)的值-δ(0)的值)+(α(1)的值-δ(2)的值)]/(3*调整系数)，β(1)的标识为δ(1)的标识，即2。
调整后的面部变化序列的第3个元素，如β(2)的值为[(α(2)的值-δ(2)的值)+(α(2)的值-δ(1)的值)+(α(2)的值-δ(3)的值)]/(3*调整系数)，β(2)的标识为δ(2)的标识，即3。
以此类推，
调整后的面部变化序列的倒数第二个元素，即第t-1个元素，如β(t-2)的值为[(α(t-2)的值-δ(t-2)的值)+(α(t-2)的值-δ(t-3)的值)+(α(t-2)的值-δ(t-1)的值)]/(3*调整系数)，β(t-2)的标识为δ(t-2)的标识，即t-1。
调整后的面部变化序列的最后一个元素，即第t个元素，如β(t-1)的值为[(α(t-1)的值-δ(t-1)的值)+(α(t-1)的值-δ(t-2)的值)]/(2*调整系数)，β(t-1)的标识为δ(t-1)的标识，即t。
S104-3，将调整后的面部变化序列中每一元素值与变化序列中对应元素值的积作为最终评测值。
调整后的面部变化序列中任一元素的时间标识与变化序列中对应元素值的时间标识相同。也就是说，时间标识的两个元素对应同一时刻的面部特征以及植物神经信号，因此将将调整后的面部变化序列中每一元素值与变化序列中对应元素值的积最终评测值。
由于植物神经信号是用户无法自主控制的，而面部表情和动作是用户可以控制的，通过植物神经信号对面部特征做修正可以还原用户对表情和动作的控制，使得修正后的面部表情和动作可以反应用户的真实心理，使得最终的评测结果更客观、更准确。
S104-4，对最终评测值进行心理评测。
本步骤采用现有的心理评测方案实现。如预设不同心理指标的分数段，根据测评值属于哪个指标的分数段，那么心理评测结果就是该指标分数段对应的结果。
本实施例提供的方法，持续获取用户的植物神经信号及视频数据；识别视频数据中的面部数据；根据植物神经信号确定植物神经信号的变化序列，根据面部数据确定面部变化序列；其中各序列中的元素均以时间作为唯一标识；根据变化序列和面部变化序列进行心理评测。本发明通过植物神经信号和动态视频数据进行心理评测，实现了心理健康状态的客观评测。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。

Claims (10)

1.一种基于动态视频数据的心理评测方法，其特征在于，所述方法包括：
S101，持续获取用户的植物神经信号及视频数据；
S102，识别视频数据中的面部数据；
S103，根据所述植物神经信号确定所述植物神经信号的变化序列，根据所述面部数据确定面部变化序列；其中各序列中的元素均以时间作为唯一标识；
S104，根据所述变化序列和面部变化序列进行心理评测。
2.根据权利要求1所述的方法，其特征在于，所述S103中根据所述植物神经信号确定所述植物神经信号的变化序列的步骤包括：
S201，生成植物神经信号集PA，所述植物神经信号集PA中每一个元素
Figure FDA0003198417250000011
包括2个维度，一个维度为数据值
Figure FDA0003198417250000012
另一个维度为时间值
Figure FDA0003198417250000013
其中，PA的元素
Figure FDA0003198417250000014
与S101中获取的植物神经信号一一对应，且PA的任一元素
Figure FDA0003198417250000015
的数据值
Figure FDA0003198417250000016
Figure FDA0003198417250000017
的时间值
Figure FDA0003198417250000018
为A(x)的采集时间，A(x)为S101中获得的第x个植物神经信号，x为S101中获得的植物神经信号标识，所述S101中获得的植物神经信号按照时间顺序排列；
S202，根据植物神经信号集PA形成对应的植物神经差集ΔA，所述植物神经差集ΔA的每一个元素
Figure FDA0003198417250000019
包括2个维度，一个维度为数据值
Figure FDA00031984172500000110
另一个维度为时间值
Figure FDA00031984172500000111
其中，ΔA的元素
Figure FDA00031984172500000112
与S101中获得的植物神经信号一一对应；
S203，将S101中得到的植物神经信号输入神经网络模型，进行特征识别，得到该植物神经信号中每个元素的植物神经信号值的特征，进而形成对应的特征集IA，所述特征集IA中每个元素
Figure FDA00031984172500000113
包括2个维度，一个维度为数据值
Figure FDA00031984172500000114
另一个维度为时间值
Figure FDA00031984172500000115
其中，IA的元素
Figure FDA00031984172500000116
与S101中得到的植物神经信号一一对应，且
Figure FDA00031984172500000117
的数据值
Figure FDA00031984172500000118
为A(x)的特征，
Figure FDA0003198417250000021
的时间值
Figure FDA0003198417250000022
S204，根据植物神经差集ΔA以及特征集IA，得到变化序列CA。
3.根据权利要求2所述的方法，其特征在于：
对于植物神经信号集PA中的最后一个元素
Figure FDA0003198417250000023
其与ΔA中的最后一个元素
Figure FDA0003198417250000024
对应，且
Figure FDA0003198417250000025
的数据值
Figure FDA0003198417250000026
Figure FDA0003198417250000027
的时间值
Figure FDA0003198417250000028
为
Figure FDA0003198417250000029
的时间值
Figure FDA00031984172500000210
其中，xl为植物神经信号集PA中的最后一个元素的标识；
对于植物神经信号集PA中的非最后一个元素
Figure FDA00031984172500000211
其一一对应ΔA中的一个元素
Figure FDA00031984172500000212
且
Figure FDA00031984172500000213
的数据值
Figure FDA00031984172500000214
Figure FDA00031984172500000215
的时间值
Figure FDA00031984172500000216
其中，xj为植物神经信号集PA中非最后一个元素的标识。
4.根据权利要求3所述的方法，其特征在于，所述变化序列CA中的每个元素
Figure FDA00031984172500000217
包括2个维度，一个维度为数据值
Figure FDA00031984172500000218
另一个维度为时间值
Figure FDA00031984172500000219
其中，所述植物神经信号集PA中的任一元素
Figure FDA00031984172500000220
一一对应变化序列CA中的一个元素
Figure FDA00031984172500000221
且
Figure FDA00031984172500000222
的数据值
Figure FDA00031984172500000223
Figure FDA00031984172500000224
的时间值
Figure FDA00031984172500000225
D1(x)为根据植物神经差集ΔA得到的第一植物神经参数，D2(x)为根据特征集IA得到的第二植物神经参数。
5.根据权利要求4所述的方法，其特征在于，所述
Figure FDA00031984172500000226
Figure FDA00031984172500000227
为植物神经差集ΔA所有元素的数据值中的最大值，
Figure FDA00031984172500000228
为植物神经差集ΔA所有元素的数据值中的最小值。
6.根据权利要求5所述的方法，其特征在于，所述
Figure FDA00031984172500000229
Figure FDA00031984172500000230
其中，
Figure FDA00031984172500000231
为特征集IA所有元素的数据值中的最大值，
Figure FDA00031984172500000232
为特征集IA所有元素的数据值中的最小值；
δ＝植物神经差集ΔA所有元素的数据值中的最大值与最小值之间时间差/特征集IA所有元素的数据值中的最大值与最小值之间时间差。
7.根据权利要求1所述的方法，其特征在于，S103中根据所述面部数据确定面部变化序列具体包括：
S103-1，对视频数据中每帧图像的面部数据做如下处理：
S301，获取第z帧图像中的面部图像Gz；其中，z为视频数据中帧标识；
S302，将Gz进行划分，分为额区图像
Figure FDA0003198417250000031
眼眉区图像
Figure FDA0003198417250000032
鼻区图像
Figure FDA0003198417250000033
嘴区图像
Figure FDA0003198417250000034
和耳区图像
Figure FDA0003198417250000035
S303，将
Figure FDA0003198417250000036
和
Figure FDA0003198417250000037
分别输入神经网络模型，得到
Figure FDA0003198417250000038
的特征
Figure FDA0003198417250000039
的特征
Figure FDA00031984172500000310
的特征
Figure FDA00031984172500000311
的特征
Figure FDA00031984172500000312
的特征
Figure FDA00031984172500000313
S304，将
Figure FDA00031984172500000314
形成的向量作为第z帧图像的面部数据；
S103-2，基于各帧图像处理后的数据形成面部变化序列。
8.根据权利要求7所述的方法，其特征在于，所述S104具体包括：
S104-1，根据面部变化序列生成差集Δ′；
所述Δ′中元素以时间作为唯一标识，且，所述Δ′中最后一个元素的值为0向量，Δ′中最后一个元素的标识为面部变化序列最后一个向量的时间，所述Δ′中非最后一个元素的值为所述Δ′中时间为x’的元素值为面部变化序列中时间为x’+1的元素的向量-时间为x’的元素的向量，x’为Δ′中非最后一个元素的时间标识；
S104-2，根据Δ′确定调整后的面部变化序列；
S104-3，将调整后的面部变化序列中每一元素值与变化序列中对应元素值的积作为最终评测值；所述调整后的面部变化序列中任一元素的时间标识与所述变化序列中对应元素值的时间标识相同；
S104-4，对最终评测值进行心理评测。
9.根据权利要求8所述的方法，其特征在于，所述S104-2具体包括：
调整后的面部变化序列中以时间x”为标识，且
调整后的面部变化序列中的第一个元素值为[(面部变化序列中第一个元素的值-Δ′中第一个元素的值)+(面部变化序列中第一个元素的值-Δ′中第二个元素的值)]/(2*调整系数)，调整后的面部变化序列中的第一个元素的标识为Δ′中第一个元素的标识；
调整后的面部变化序列中的最后一个元素值为[(面部变化序列中最后一个元素的值-Δ′中最后一个元素的值)+(面部变化序列中最后一个元素的值-Δ′中倒数第二个元素的值)]/(2*调整系数)，调整后的面部变化序列中的最后一个元素的标识为Δ′中最后一个元素的标识；
调整后的面部变化序列中的非第一个元素，也非最后一个元素值为[(面部变化序列中以时间x”为标识的值-Δ′中以时间x”为标识的值)+(面部变化序列中以时间x”为标识的值-Δ′中以时间x”-1为标识的值)+(面部变化序列中以时间x”为标识的值-Δ′中以时间x”+1为标识的值)]/(3*调整系数)，其中x”为非第一个元素，也非最后一个元素值的标识。
10.根据权利要求9所述的方法，其特征在于，所述
Figure FDA0003198417250000041
Figure FDA0003198417250000042
CN202110897122.5A 2021-08-05 2021-08-05 一种基于动态视频数据的心理评测方法 Active CN113707294B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110897122.5A CN113707294B (zh) 2021-08-05 2021-08-05 一种基于动态视频数据的心理评测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110897122.5A CN113707294B (zh) 2021-08-05 2021-08-05 一种基于动态视频数据的心理评测方法

Publications (2)

Publication Number Publication Date
CN113707294A true CN113707294A (zh) 2021-11-26
CN113707294B CN113707294B (zh) 2023-12-05

Family

ID=78651658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110897122.5A Active CN113707294B (zh) 2021-08-05 2021-08-05 一种基于动态视频数据的心理评测方法

Country Status (1)

Country Link
CN (1) CN113707294B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220774A1 (en) * 2016-02-01 2017-08-03 Tuvi Orbach Computerized Interactive Psychological Assessment Protocol - iPAP
CN107495926A (zh) * 2017-08-25 2017-12-22 苏州曼陀菲科智能科技有限公司 一种用于健康综合评估的系统
CN109376225A (zh) * 2018-11-07 2019-02-22 广州市平道信息科技有限公司 聊天机器人装置及系统
CN110767290A (zh) * 2019-10-12 2020-02-07 山东省立医院 一种交互型情绪疏导及心理辅导机器人
CN111513732A (zh) * 2020-04-29 2020-08-11 山东大学 面向疫病状况下多类人群的心理压力智能评估预警系统
CN112182339A (zh) * 2020-11-03 2021-01-05 深圳市艾利特医疗科技有限公司 一种心理评估方法和系统
WO2021003681A1 (en) * 2019-07-09 2021-01-14 LUI, Yat Wan Method and system for neuropsychological performance test
CN112890818A (zh) * 2021-01-21 2021-06-04 西安中盛凯新技术发展有限责任公司 一种心理和自主神经双向评估系统
CN112971746A (zh) * 2021-03-31 2021-06-18 重庆风云际会智慧科技有限公司 一种心理测评系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170220774A1 (en) * 2016-02-01 2017-08-03 Tuvi Orbach Computerized Interactive Psychological Assessment Protocol - iPAP
CN107495926A (zh) * 2017-08-25 2017-12-22 苏州曼陀菲科智能科技有限公司 一种用于健康综合评估的系统
CN109376225A (zh) * 2018-11-07 2019-02-22 广州市平道信息科技有限公司 聊天机器人装置及系统
WO2021003681A1 (en) * 2019-07-09 2021-01-14 LUI, Yat Wan Method and system for neuropsychological performance test
CN110767290A (zh) * 2019-10-12 2020-02-07 山东省立医院 一种交互型情绪疏导及心理辅导机器人
CN111513732A (zh) * 2020-04-29 2020-08-11 山东大学 面向疫病状况下多类人群的心理压力智能评估预警系统
CN112182339A (zh) * 2020-11-03 2021-01-05 深圳市艾利特医疗科技有限公司 一种心理评估方法和系统
CN112890818A (zh) * 2021-01-21 2021-06-04 西安中盛凯新技术发展有限责任公司 一种心理和自主神经双向评估系统
CN112971746A (zh) * 2021-03-31 2021-06-18 重庆风云际会智慧科技有限公司 一种心理测评系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHEN JIA等: ""Facial_expression_recognition_based_on_the_ensemble_learning_of_CNNs"", 《IEEE》 *
张爱华;杨华;孔令杰;: "基于生理信息的视频显示终端精神疲劳状态研究", 生物医学工程学杂志, no. 05 *

Also Published As

Publication number Publication date
CN113707294B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
North et al. Virtual reality therapy: an effective treatment for the fear of public speaking
CN115004308A (zh) 用于提供活动推荐的接口的方法和系统
CN113164126B (zh) 利用脑特征活动图谱数据库来表征内容的装置和方法
DE112015003382T5 (de) Spracherkennungseinrichtung und Spracherkennungsverfahren
JP2021533453A (ja) 臨床試験実施計画を策定するための方法およびシステム
Gu et al. A biometric signature based system for improved emotion recognition using physiological responses from multiple subjects
Gambrill Assertion training
Bislick A phonomotor approach to apraxia of speech treatment
CN116312970B (zh) 一种用于心理测评的智能交互方法和装置
CN113707294A (zh) 一种基于动态视频数据的心理评测方法
DE19947359A1 (de) Verfahren und Vorrichtung zur Therapiekontrolle und -optimierung bei Sprachstörungen
Elmore Empirically supported treatments: Precept or percept?
CN113705621A (zh) 一种基于人心识别模型的无接触图像评测方法
CN113693598A (zh) 用于人心识别的心理评测系统
Fruitet et al. Bandit algorithms boost brain computer interfaces for motor-task selection of a brain-controlled button
CN113693597B (zh) 一种用于人心识别的心理健康评测系统
Trabelsi et al. Discrete and continuous emotion recognition using sequence kernels
Alighieri et al. Achieving the next level in cleft speech intervention: A protocol of a randomized sham‐controlled trial to provide guidelines for a personalized approach in children with cleft palate
CN113693599B (zh) 用于人心识别的心理评测系统
Barizão et al. Voice disorder classification using MLP and wavelet packet transform
CN112906555B (zh) 因人而异地识别表情的人工智能心理机器人和方法
Kim et al. Towards user-independent classification of multimodal emotional signals
Abdolssalehi et al. Combining independent component analysis with chaotic quantifiers for the recognition of positive, negative and neutral emotions using EEG signals
CN117357113A (zh) 一种治疗心理、情绪，性格问题的心理干预方法
MacLaren et al. Networks of Interruptions: Simultaneous Speech and Leader Emergence in Informal Groups

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 301, 3rd Floor, No. 8 Sijiqing Road, Haidian District, Beijing, 100195

Applicant after: WOMIN HIGH-NEW SCIENCE & TECHNOLOGY (BEIJING) CO.,LTD.

Address before: 100000 West, floor 14, block B, Haidian culture and art building, No. a 28, Zhongguancun Street, Haidian District, Beijing

Applicant before: WOMIN HIGH-NEW SCIENCE & TECHNOLOGY (BEIJING) CO.,LTD.

GR01 Patent grant
GR01 Patent grant