CN104363948B - 刺激呈现系统 - Google Patents

刺激呈现系统 Download PDF

Info

Publication number
CN104363948B
CN104363948B CN201280073921.XA CN201280073921A CN104363948B CN 104363948 B CN104363948 B CN 104363948B CN 201280073921 A CN201280073921 A CN 201280073921A CN 104363948 B CN104363948 B CN 104363948B
Authority
CN
China
Prior art keywords
user
mental status
information
measurement
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280073921.XA
Other languages
English (en)
Other versions
CN104363948A (zh
Inventor
中岛亚希子
佐藤大树
桂卓成
敦森洋和
舟根司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN104363948A publication Critical patent/CN104363948A/zh
Application granted granted Critical
Publication of CN104363948B publication Critical patent/CN104363948B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162Testing reaction times
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/33Controlling, regulating or measuring
    • A61M2205/3306Optical measuring means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00General characteristics of the apparatus
    • A61M2205/50General characteristics of the apparatus with microprocessors or computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/08Other bio-electrical signals
    • A61M2230/10Electroencephalographic signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/62Posture
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61MDEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00Measuring parameters of the user
    • A61M2230/63Motion, e.g. physical activity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Acoustics & Sound (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

提供一种刺激呈现装置,对心理状态进行判别,基于所判别的心理状态使课题的呈现内容变化。通过对用户的视线和脑功能进行计测,由此对心理状态进行判别,基于所判别的心理状态使课题的呈现内容变化。

Description

刺激呈现系统
技术领域
本发明涉及一种利用用户的视线信息以及脑功能信息来对用户显示信息的系统。
背景技术
提出如下技术:使用用户的视线、脑功能的信息来推断用户的心理状态、例如注意度、集中度等,并对汽车、轮椅这种外部设备进行操作。
例如,专利文献1公开一种驾驶者状态判断装置,将驾驶者状态分为清醒度、注意集中度以及驾驶能力这3个要素,并检测反映各个要素的至少2个驾驶者信息,基于检测的驾驶者信息的组合来判断驾驶者状态,由此能够更详细地判别驾驶者状态。
此外,专利文献2公开如下技术:对用户的α波强度(脑活动变动量)在头部中的分布以及视线进行测定,基于α波强度分布以及视线对用户的视野内的注意区域进行测定。此外,公开如下技术:对用户的α波强度的变化模式进行测定,基于该α波强度的变化模式对用户的注意度进行测定,根据测定的用户的视野内的注意区域以及注意度,对电动轮椅的动作进行控制。
现有技术文献
专利文献
专利文献1:日本特开2007-265377号公报
专利文献2:日本特开2007-202882号公报
发明内容
发明要解决的问题
在由上述以往技术推断的注意度、集中度中,含有多个成为产生这些的原因的心理状态。例如,在推断为用户引起注意、或者集中的情况下,不能够推断是因为存在关心、还是因为感知到危险。如此,在作为可能性而存在多个心理状态时,在不进行心理状态的辨别就使外部设备自动地操作的情况下,不一定能够成为适当的操作。
因此,本发明的目的在于提供一种刺激呈现系统,通过对用户的视线和脑功能进行计测,由此对心理状态进行判别,基于所判别的心理状态来使课题的呈现内容变化。
用于解决问题的机构
作为本发明的刺激呈现系统的一个例子,具备:用户设定部,对用户的基准状态进行计测;用户计测部,取得用户的视线信息以及脑功能信息;信号解析部,对视线信息和脑功能信息的时间偏差进行修正并进行信号解析;用户判别部,基于所解析的信号来判别心理状态;呈现内容变换部,基于所判别的心理状态,使课题的呈现内容变化;显示控制部,对所解析的信号以及所判别的心理状态进行显示;以及存储部,存储用于对由呈现内容变换机构变换的呈现内容和心理状态进行判别的规定的计测项目和用户信息。
发明的效果
根据本发明,能够通过对用户的视线和脑功能进行计测,由此判别心理状态,基于所判别的心理状态,使课题的呈现内容变化。即,能够提示更符合用户的状态的课题。
附图说明
图1是表示本发明的刺激呈现系统整体的一个例子的图
图2是表示本实施例的用户设定部的流程的图
图3是表示本实施例的用户设定部的用户界面设定例的图
图4是表示本实施例的用户设定部的计测设定例的图
图5是表示本实施例的用户设定部的用户界面设定例以及解析结果例的图
图6是表示本实施例的用户设定部的用户界面设定例的图
图7是表示本实施例的用户设定部的用户界面设定例的图
图8是表示本实施例的信号解析部的流程的图
图9是表示本实施例的信号解析部的用户界面设定例的图
图10是表示本实施例的用户判别部的流程的图
图11是表示本实施例的用户判别部的用户界面设定例的图
图12是表示基于逆转理论的心理状态的图
图13是表示本实施例的心理状态判别例的图
图14是表示本实施例的用户判别部的用户界面设定例的图
图15是表示本实施例的呈现内容变换部的流程的图
图16是表示本实施例的呈现内容变换部的用户界面设定例的图
图17是表示本实施例的呈现内容变换项目决定例的图
图18是表示本实施例的计测项目以及呈现内容变换的流程的图
图19是表示本实施例的计测项目时间表制作例以及呈现内容变换时间表制作例的图
图20是表示本实施例的显示控制部的流程的图
图21是表示本实施例的解析信号显示例的图
图22是表示本实施例的心理状态判别显示例的图
图23是表示本实施例的用户活动关联项目显示例的图
图24是表示脑功能信息计测设备的一个例子的图
图25是表示视线信息计测设备的一个例子的图
具体实施方式
实施例1
以实施方式为例对本发明的刺激呈现系统的构成的一个例子进行说明。在此,以视线信息利用通过红外线来计测的装置和脑功能信息利用通过近红外分光法来计测脑血液量变化的装置的情况为例,但视线信息也可以通过生物体光计测、电位计测、图像计测等来取得,脑功能信息也可以通过生物体光计测、电位计测、磁场计测、代谢计测等来取得。
图1是表示本实施例的刺激呈现系统的整体的框图。该刺激呈现系统具有计算装置11、具有能够安装于用户(被检体12)的头部的计测部的脑活动信息计测设备13、对用户的视线进行计测的视线信息计测设备14、以及对用户呈现含有课题的刺激的监视器15(刺激呈现部15)。
计算装置11具有能够经由输入机构设定用户的信息等的用户设定部1、对由脑活动信息计测设备13、视线信息计测设备14等计测的计测信息进行收集的用户计测部2、基于由用户计测部得到的计测结果进行解析的信号解析部3、用户判别部4、呈现内容变换部5、显示控制部6以及存储部7。在此,存储部7不一定需要组装于计算装置,也可以通过基于有线、无线等通信方法的外部连接机构来连接。
此外,具备用于对向所呈现的课题进行回答、用户设定、课题的初始设定等所需要的信息进行指示输入的输入机构,具体地说具备键盘、鼠标等。在此,输入机构不限定于键盘、鼠标。例如,也能够由能够对监视器15直接触摸输入的触摸板构成。
在此,使用图24对脑活动信息计测设备13的具体例进行说明。图24是脑活动信息计测设备13的概略构成图。
本实施例的脑活动信息计测设备13具备:对被检体照射光的一个或者多个光照射机构2401以及2402;以及对透射被检体或者被检体反射的光进行检测的一个或者多个光检测机构2403以及2404。
此外,光照射机构和光检测机构具有基于多个组合的多个计测点(以下也称为ch。第一计测点2410以及第二计测点2411),并且各计测点在被检体上被安装于在空间上不同的位置。在此,光照射机构照射能够透射生物体的600~900nm程度的波长中的2种波长的光,具体地说光源2420、2421使用激光二极管、LED,直接与被检体12接触、或者使用光纤2430使从光源2420以及2421引导的光与被检体12接触而对被检体12进行照射。检测机构使用硅光电二极管、雪崩光电二极管以及光电倍增器等,与光照射机构同样,在被检体12上直接进行检测或者使光纤2430与被检体12接触并通过光纤2430引导光来进行检测。
此外,该脑活动信息计测设备13与对被检体12呈现一个或者多个种类的课题的监视器15连接。被检体12的各计测点2410以及2411的脑活动信号在检测机构中被分别检测,该检测结果在计算装置11的用户计测部2中,求出针对所呈现的课题的用户(被检体12)的计测点的脑活动信号。
接着,以下使用图25对视线信息计测设备14的具体例进行说明。图25是视线信息计测设备14的概略构成图。如图25(a)所示那样,本实施例的视线信息计测设备14具备:视线计测部2501,具有对被检体12的头部区域照射光的照射机构和对从被检体12的眼球反射的光进行检测的光检测机构;以及头部位置检测机构2502,通过图像计测来检测被检体12的头部位置;视线信息计测设备14与对被检体12呈现影像、声音的刺激的监视器15连接。具体地说,使用红外光对被检体进行非接触计测。根据在检测机构中取得的信号,在计算部11中计算视线信息。接下来,在图25(b)所示的视线信息计测设备14中,能够不使用监视器15地对被检体12的视线信息进行计测。在被检体12的头部、背部具备影像记录设备2510,由此被检体12眼前的影像被收录,由视线计测部2501取得的信号在计算部11中被计算为视线信息。接下来,图25(c)所示的视线信息计测设备14,是能够作为眼镜安装的、具有光照射机构和光检测机构的视线计测部2501的例子。被检体12眼前的影像由影像记录设备2510收录,并在计算部11中计算出视线信息。图25(a)至图25(c)所示的计算部11和视线信息计测设备14能够使用有线、无线等进行通信。
本实施例的计算装置11内的用户设定部1由图2所示的1-1至1-5的下位机构构成。在此,设定进行课题之前的用户基本状态的计测以及解析、用户活动的种类、目标值。通过对活动前的用户基本状态与活动中的用户状态进行比较,能够更适当地判别活动中的用户状态。
在用户基准反应计测设定机构1-1中,如图3所示那样,作为计测设定项目,能够对刺激、呈现时间、安静时间、计测部位、反复次数、视线信息、生物体信息、信号信息、计测时间、被验者响应取得、指示器利用中的任一个进行选择或者输入。计测设定项目也可以新追加。并且,上述项目能够作为有效计测条件进行利用。有效计测条件是指用于对所计测的信号进行取舍的条件。按照以上顺序,用户基准反应计测设定结束。
在图3中,作为刺激而设定“含义判断”,呈现时间设定为“20秒”,安静时间设定为“20秒”,计测部位设定为“全脑”,反复次数设定为“5次”,视线信息的计测设定为“有”,生物体信息的计测设定为“有”,被验者响应取得设定为“反应时间”,指示器利用设定为“有”,作为有效计测条件设定有“刺激注视15秒”和计测时间“5分钟”。
在该情况下,按照图4所示的内容来设定用户基准反应计测,沿着图4下部所示那样的时间序列来重复安静时间和刺激时间。指示器利用是指按照刺激开始和刺激结束的时刻开启时间指示器。此外,根据有效计测条件,相对于课题时间取得注视为15秒以上的脑活动信号,不取得注视为15秒以下的脑活动信号。在能够取得5次该有效数据的时刻成为计测结束,最大计测时间被设定为5分钟,因此最大成为5分钟间的计测。刺激通过监视器、扬声器来呈现,但也可以使用纸、笔等笔记方法。在将指示器利用用作为有效计测条件的情况下,在满足有效计测条件的时刻开启时间指示器。
脑活动信号被计测为对于课题的反应,因此用户对课题进行知觉并处理的情况成为前提。但是,即使对用户呈现课题,实际上用户是否对课题进行知觉并处理是不明的。注视时间与用户对课题进行知觉的情况相关联,因此通过将注视时间作为有效计测条件,由此作为推断为对所给予的课题进行了知觉的脑活动信号,与不使用注视时间的情况下的脑活动信号相比成为有用的数据。
接着,在用户基准反应解析机构1-2中,如图5所示那样,能够选择或者输入用于执行脑活动信号信息、视线信息以及生物体信号信息的解析的项目。
在脑活动信号信息中,能够对脑活动延迟时间、Oxy-Hb信号、Deoxy-Hb信号、Total-Hb信号、区间指定、频道指定、最大值、潜时、半值宽度、平均值、离散值、中央值、加法次数、相位差、心率、FFT成分、指示器利用中的任一个项目进行选择或者输入。也能够新追加脑活动信号信息。
在视线信息中,能够对视角、中心视角(20度以内)、周边视角(20度外)、注视坐标·范围、注视时间、注视时间离散、注视方向、眼球停留时间、眼球停留·范围、眨眼次数、眨眼速度、闭眼时间、扫视距离、扫视频度、瞳孔径、注视模式、注视模式次数、指示器利用中的任一个项目进行选择或者输入。视线信息也能够新追加。
在生物体信号信息中,能够对表情、面部肌肉活动、声音的大小、声音的高低、说话速度、咽下、唾液分泌、唾液成分、脑波频带、现象关联电位、血压、心拍、皮肤电位、反应时间、回答的正误、反应时间变化率、指示器利用中的任一个项目进行选择或者输入。生物体信号信息也能够新追加。
视线信息和生物体信号信息还能够利用为用于对脑活动信号信息的解析进行辅助的解析制约条件。例如,注视时间与用户对课题进行知觉的情况相关联,因此作为推断为知觉了课题的脑活动信号,与不使用注视时间的情况下的脑活动信号相比,能够高精度地进行解析。脑活动信号信息中含有各种生物体影响,因此通过增加基于视线信息、生物体信号信息的解析制约条件,能够使信号解析的精度提高。
对于刺激,脑活动信息的反应大约延迟5-8秒程度,但视线信息的反应对于刺激在1秒以内产生反应,因此为了比较对于刺激的脑活动信息和视线信息,必须对该时间偏差进行修正。
因此,在脑活动信号信息的解析中,预先选择“脑活动信号延迟时间”。由此,对于刺激的视线信息的变化与脑活动信息的变化的时间偏差被修正,能够对视线信息与脑活动信息进行比较并进行解析。在选择了该项目的情况下,应用6秒的延迟时间,但能够输入任意的数值并进行延迟时间的修正。延迟时间还能够参照并使用根据现有的多个数据计算出的值(平均值、中央值等)。
在图5的用户基准反应解析机构1-2中,作为脑活动信号信息选择“Oxy-Hb信号(氧血红素信号)”,作为区间指定选择“刺激中”,作为频道指定选择“12”、最大值。在视线信息中,选择注视时间离散、眨眼次数。作为生物体信号信息,选择心拍、回答的正误、反应时间变化率。通过以上的顺序由用户基准反应解析机构决定。
在用户基准反应显示·存储机构1-3中,显示·存储按照由用户基准反应解析机构1-2设定的项目而解析的结果。在此,如图5下部所示那样,显示·存储与所选择的项目相对应的数值、脑活动波形。
在用户活动选择以及输入机构1-4中,如图6-1所示那样,作为用户的活动项目,能够对图形存储、文字存储、打字学习等中的任一个进行选择或者输入。用户活动项目也能够新追加。通过以上的顺序来决定用户活动。在此,选择“文字存储”这个活动。
在目标值选择以及输入机构1-5中,如图6-2所示那样,作为目标值的设定项目,能够对数值、时间、用户基准值等中的任一个进行选择或者输入。目标值设定项目也能够新追加。通过以上的顺序来决定目标值。在此,时间被设定为20分钟。
刺激呈现系统的用户计测部2由图7所示的2-1、2-2的下位机构构成。在用户计测项目选择以及输入机构2-1中,用户活动中的用户计测项目,能够对脑活动信号、视线信息、生物体信号信息、行动信息中的任一个进行选择或者输入。也能够新追加用户计测项目。通过以上的顺序来决定用户计测项目,并在计测项目以及计测信号存储机构2-2中存储。在此,选择脑活动信号、视线信息、生物体信号信息、行动信息。
刺激呈现系统中的信号解析部3由图8所示的3-1、3-2的下位机构构成。在计测信号解析机构3-1中,如图9所示那样,对于脑活动信号信息、视线信息、生物体信号信息的解析项目和解析制约条件,能够对任一个进行选择或者输入。各项目也能够新追加。由于与图5所示的用户设定部中的用户基准反应解析机构1-2同样,因此省略说明。在此,作为脑活动信号信息选择脑活动延迟时间、oxy-Hb信号,作为区间指定选择“1~10、11~20”、频道指定“12”、规格化。作为视线信息选择注视时间离散、眨眼次数、规格化。此外,作为解析制约条件而设定注视时间20秒。作为生物体信号信息选择心拍、反应时间、规格化。
通过计测信号解析以及解析结果存储机构3-2,计测信号被解析、解析结果被存储。
刺激呈现系统中的用户判别部4由图10所示的4-1至4-3的下位机构构成。在心理状态判别机构4-1中,使用通过信号解析部3解析的信号对心理状态进行判别。
如图11所示那样,对于想判别的用户的心理状态,作为心理状态项目,能够对逆转理论:不安、逆转理论:弛缓、逆转理论:兴奋、逆转理论:无聊、注意度、紧张度、放松度、愉快度、不快度、习惯度、愤怒度、欢喜度、悲伤度、快乐度、惊讶度、恐怖度、嫌弃度、心理疲劳、肉体疲劳、存储:铭记、存储:保持、存储:再现、存储:恢复、内在思考度、外在思考度、认知负荷度、认知抵触度、意欲度、忽视度、报酬要求度、自己效力度、集中度、正确度、熟练度中的任一个进行选择或者输入。心理状态项目也能够新追加。通过以上的顺序来决定心理状态判别项目,并判别心理状态。在此,选择逆转理论:不安、弛缓、兴奋、无聊。
图12表示基于逆转理论的心理状态的推移和基于解析信号的心理状态判别例。在此,对逆转理论进行说明。该理论是由Apter(Reversal theory:Motivation,emotion andpersonality.Apter,Michael J.Florence,KY,US:Taylor&Frances/Routledge.(1989).viii 208pp.)提倡的动机理论,其特征在于,4个动机状态由于某种契机而向动态反转(逆转)。动机状态成为对,由目标(目的志向)-放下目标(活动志向)、顺从-反抗、支配-共感、自己志向-他者志向这4个构成。
在此,对与用户活动关联的目标(目的志向)-放下目标(活动志向)的动机状态(以下称为心理状态)和其反转进行说明。对于这一对,通过清醒水准轴(高-低)和愉快-不快轴来分类为4个心理状态。将清醒水准高且愉快的状态定义为兴奋,将清醒水准高而不快的状态定义为不安,将清醒水准低且愉快的状态定义为弛缓,将清醒水准低且不快的状态定义为无聊。
例如,在使目标实现优先(目标的状态)而进行活动的情况下,在用户的清醒水准高而不快水准高时,可以认为用户对于目标实现处于不安的心理状态,在清醒水准低而愉快水准高时,可以认为用户处于弛缓(放松、安心、冷静)的心理状态。
并且,对图12所示的目标模式(粗线)、放下目标模式(虚线)进行推移,另一方面,也有时由于某种契机而向上下左右(图12所示的双向箭头)的心理状态反转。例如,即使在目的志向的目标模式下心理状态为弛缓(放松、安心、冷静)地活动的情况下,通过赋予督促认知变容的契机,由此向放下目标模式(活动志向)反转。在该情况下,当从愉快水准向不快水准推移时,成为无聊的心理状态,当从低清醒水准向高清醒水准推移时,成为兴奋的心理状态。
然而,在现有技术中,例如,根据脑波、视线信息而仅将清醒度作为判别靶,因此能够判别用户的心理状态为清醒,但是不能够判别是兴奋状态、还是不安状态。因此,有可能不适合于用户的支援、活动辅助。
在本实施例中,能够对于图13所示的刺激关联部位的脑活动、刺激关联部位以外的脑活动、心拍、眨眼、注视时间离散,组合用户基准反应、安静时的数值变化(上升、下降、无变化),而进行基于逆转理论的4个心理状态的判别。
刺激关联部位的脑活动是指与用户的活动最关联的脑功能部位的活动,例如在文字存储活动的情况下为前头前野。刺激关联部位的脑活动值的变化还使用于心理状态判别,但也是为了读取是否正在进行使用本刺激呈现系统设定的用户活动而需要的信息。
为了对各个心理状态进行判别而使用的项目和变化的情况,如图13的心理状态判别例所示。此外,对于心理状态判别机构所记载的心理状态,也能够通过组合脑活动信息、视线信息、其他生物体信息、行动信息来进行判别。这些判别结果存储于心理状态以及用户活动关联信息存储机构4-3。由此,用户能够得知活动中的自身的心理状态。
在用户活动关联判别机构4-2中,使用由信号解析部3解析的信号对用户活动关联信息进行判别。如图14所示那样,作为想判别的用户活动关联项目,能够对学习关联活动、存储关联活动、学习维持度、学习以外的活动、存储以外的活动、学习活动之比例、存储活动之比例、与基准活动值的比较、经过时间、活动剩余时间、呈现内容变换的所要时间、呈现内容变换的所要时间缩短率中的任一个进行选择或者输入。用户活动关联项目也能够新追加。通过以上的顺序,决定要判别的用户活动关联项目。在此,选择学习关联活动、存储关联活动、学习以外的活动、存储以外的活动。这些判别结果存储于心理状态以及用户活动关联信息存储机构4-3。由此,用户能够得知在活动中进行了哪种程度的学习·存储活动等。刺激呈现系统中的呈现内容变换部5由图15所示的5-1至5-3的下位机构构成。在呈现内容变换项目决定机构5-1中,基于解析信号、用户心理状态、用户活动状态,决定、存储呈现内容变换的项目。
如图16所示那样,作为想变换的呈现内容的项目,能够对视觉:配色、视觉:对比度、视觉:显示尺寸、视觉:3D显示、视觉:显示速度、视觉:显示间隔、听觉:音量、听觉:高低度、听觉:左右差、触觉:振动、触觉:送风、味觉·嗅觉:香味、信息反馈、休息指示、支持意见中的任一个进行选择或者输入。呈现内容变换项目也能够新追加。通过以上的顺序,决定·存储呈现内容变换项目。
图17表示呈现内容变换项目决定例。现在的用户心理状态被判别为基于逆转理论的不安,用户由于该不安状态而有可能不能够继续活动。即,作为继续进行用户活动的心理状态,不安的心理状态不适当,需要用于向对于用户活动最佳的弛缓的状态进行引导·反转的推动。
图17下部表示为此的呈现内容变换例。在此,决定变更要呈现的课题的配色、使要呈现的课题的显示速度延迟10%、反馈用户活动关联的信息、以及赋予支持意见。这些项目的组合预先存储为呈现内容变换的默认模式,对于各心理状态,能够进行根据默认模式决定的呈现内容变换。或者,也能够进行与心理状态的等级变化时刻对应的呈现内容变换。
通过呈现内容变换项目通信机构以及监视机构5-2,通过监视器、扬声器等来通信所决定的呈现内容变换项目,继续监视用户活动的变化。在根据通过呈现内容变换部变换的呈现内容继续进行用户活动的情况下,该计测数据被送向用户计测部、信号解析部、用户判断部而进行处理。由此,在用户继续进行活动的情况下,成为心理状态被适当引导的呈现内容,用户能够以最佳的心理状态进行活动。
在计测时间表以及呈现内容变换情制作以及存储机构5-3中,如图18所示那样,能够使用解析信号、用户心理状态、用户活动履历以及呈现内容变换履历,在用户的活动结束后制作并存储计测项目的时间表和呈现内容变换时间表的数据。
图19表示计测项目时间表制作例和呈现内容变换时间表制作例。例如,关于计测项目时间表,表示的内容为,在进行20分钟间的文字存储的活动的情况下,不需要对视线信息和脑活动信息的全部项目进行计测,只要对眨眼、注视时间离散、12ch的oxy-Hb的最大值、刺激中的12ch的oxy-Hb平均值按照每个所决定的时刻进行计测即可。通过基于这些信息进行计测,能够减少用户的计测设备安装负担。
关于呈现内容变换时间表制作,例如,表示的内容为,在进行20分钟间的文字存储的活动的情况下,对显示速度10%降低、支持意见呈现、显示配色变更、信息反馈按照每个所决定的时刻每进行即可。每个时刻的呈现内容变换时间表是将用户的心理状态向最佳引导的信息,因此在进行相同活动、类似活动的情况下,通过应用该呈现内容变换时间表,能够减少用户的计测设备安装负担。
刺激呈现系统中的显示控制部6由图20所示的6-1至6-3的下位机构构成。在解析信号显示机构6-1中,显示在信号解析部3中存储的解析结果。在心理状态显示机构6-2中,显示在用户判别部4中存储的心理状态。在用户活动关联显示机构6-3中,显示在用户判别部4中存储的用户活动关联信息。
图21表示两个解析信号显示例。图21(a)表示12ch、oxy-Hb信号、注视时间离散、对用户呈现的画面内容的时间序列显示。通过使下部的滑动条前进,能够同时确认每个时刻的画面呈现内容、与呈现内容对应的脑活动波形以及注视时间离散的变化。图21(b)表示所选择的信号(视线、脑活动、心拍、反应时间)的区间指定显示(活动紧前、1~10分钟、11分钟~20分钟的平均值)。数据也可以将活动紧前的数值规格化为1。由此,能够确认活动区间的推移的变化。
图22表示两个心理状态判别显示例。
(a)表示逆转理论的轴上的用户状态的位置。通过使下部的滑动条前进,能够确认每个时刻的心理状态的推移。
(b)表示所选择的心理状态(在此以紧张度、认知负荷度、正确度、心理疲劳为例)的区间指定显示(活动紧前、1~10分钟、11分钟~20分钟的平均值)。数据也可以将活动紧前的数值规格化为1。由此,能够确认活动区间的推移的变化。
图23表示两个用户活动关联项目显示例。
(a)对于所选择的用户活动关联项目的学习活动、存储活动、学习以外的活动、存储以外的活动,表示每个时刻的相对的比例变化。通过使下部的滑动条前进,能够确认每个时刻的用户活动项目的推移。
(b)表示所选择的用户活动项目的区间指定显示(活动紧前、1~10分钟、11分钟~20分钟的各值之比例)。数据也可以将活动紧前的数值合计规格化为100%。由此,能够确认活动区间的推移的比例变化。
在刺激呈现系统的存储部7中,存储由刺激呈现系统各部取得的信息。使用这些信息能够进行新解析,且能够随着数据积蓄进行数据库化。由此,能够使用户心理状态判别、用户活动关联信息判别、呈现内容变换信息的精度提高,能够高效地支援用户的活动。
(其他的应用例)
本刺激呈现系统是基于通过视线、脑功能的计测来判别的心理状态,使课题的呈现内容变化的刺激呈现系统,因此当用于教育场所的用户的学习支援时,用户被引导为最佳的心理状态,因此能够高效地进行继续的学习。
此外,通过对学习教材赋予最佳的呈现内容变换时间表,由此能够提供对学习有效的教材。
(其他的应用例)
在本刺激呈现系统中,能够对用户的心理状态进行判别,因此还能够用于用户界面、广告、外观设计、市场等领域。
(其他的应用例)
在本刺激呈现系统中,能够对用户的心理状态进行判别,因此能够得知具有意思传递方法困难的疾病的患者的心理状态。此外,能够基于所判别的心理状态使呈现内容变化,由此使患者的心理状态变化。
符号的说明
11…计算装置,12…用户,13…脑活动信息计测设备,14…视线信息计测设备,15…呈现监视器。

Claims (8)

1.一种刺激呈现系统,其特征在于,具备:
用户设定部,计测进行课题之前的用户的基准状态;
用户计测部,取得用户的视线信息以及脑功能信息;
信号解析部,进行视线信息以及脑功能信息的信号解析;
用户辨别部,基于所解析的信号来辨别心理状态;
呈现内容变换部,基于所辨别的心理状态,使课题的呈现内容变化;
显示控制部,显示所解析的信号以及所辨别的心理状态;以及
存储部,存储由呈现内容变换部变换的呈现内容、用于辨别心理状态的规定的计测项目、以及用户信息;
上述信号解析部,修正相对于对用户赋予刺激的时刻的视线信息与脑功能信息之间的时间偏差。
2.如权利要求1记载的刺激呈现系统,其特征在于,
上述用户设定部,基于数据有效条件来取舍对于刺激的脑功能计测数据。
3.如权利要求1记载的刺激呈现系统,其特征在于,
上述用户辨别部,根据用户的视线信息和脑功能信息的结果,来辨别基于逆转理论的心理状态。
4.如权利要求1记载的刺激呈现系统,其特征在于,
上述呈现内容变换部,基于所辨别的心理状态,决定使课题的呈现内容变换的项目。
5.如权利要求1记载的刺激呈现系统,其特征在于,
上述呈现内容变换部,基于从上述信号解析部或者用户辨别部得到的信息,制作用户的计测项目时间表。
6.如权利要求1记载的刺激呈现系统,其特征在于,
上述呈现内容变换部,基于从上述信号解析部或者用户辨别部得到的信息,制作向用户的呈现内容变换时间表。
7.如权利要求1记载的刺激呈现系统,其特征在于,
上述显示控制部,以使从上述信号解析部或者用户辨别部或者呈现内容变换部得到的信息中的至少一个显示的方式进行控制。
8.如权利要求1记载的刺激呈现系统,其特征在于,
上述显示控制部,显示由上述用户辨别部辨别的基于逆转理论的心理状态的时间序列推移。
CN201280073921.XA 2012-06-15 2012-06-15 刺激呈现系统 Expired - Fee Related CN104363948B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/065319 WO2013186911A1 (ja) 2012-06-15 2012-06-15 刺激呈示システム

Publications (2)

Publication Number Publication Date
CN104363948A CN104363948A (zh) 2015-02-18
CN104363948B true CN104363948B (zh) 2016-08-24

Family

ID=49757773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073921.XA Expired - Fee Related CN104363948B (zh) 2012-06-15 2012-06-15 刺激呈现系统

Country Status (4)

Country Link
US (1) US9888874B2 (zh)
JP (1) JP5914653B2 (zh)
CN (1) CN104363948B (zh)
WO (1) WO2013186911A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150051508A1 (en) 2013-08-13 2015-02-19 Sync-Think, Inc. System and Method for Cognition and Oculomotor Impairment Diagnosis Using Binocular Coordination Analysis
US11317861B2 (en) 2013-08-13 2022-05-03 Sync-Think, Inc. Vestibular-ocular reflex test and training system
US9958939B2 (en) 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
AU2015302050B2 (en) * 2014-08-10 2020-01-30 Autonomix Medical, Inc. Ans assessment systems, kits, and methods
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
JP6560137B2 (ja) * 2016-02-08 2019-08-14 Kddi株式会社 集中度の推定装置
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
WO2017150576A1 (ja) * 2016-02-29 2017-09-08 ダイキン工業株式会社 判定結果出力装置、判定結果提供装置、及び判定結果出力システム
US9741258B1 (en) 2016-07-13 2017-08-22 International Business Machines Corporation Conditional provisioning of auxiliary information with a media presentation
US10043062B2 (en) 2016-07-13 2018-08-07 International Business Machines Corporation Generating auxiliary information for a media presentation
JP6933455B2 (ja) * 2016-09-29 2021-09-08 株式会社東芝 関心維持システム及びサーバ
CN107007407B (zh) * 2017-04-12 2018-09-18 华南理工大学 基于眼电的轮椅控制系统
JP7080657B2 (ja) * 2018-02-07 2022-06-06 株式会社デンソー 感情識別装置
JP6705611B2 (ja) * 2018-03-09 2020-06-03 三菱電機株式会社 不快状態判定装置
CN117679032A (zh) * 2018-05-25 2024-03-12 丰田自动车欧洲公司 用于确定人类大脑的感知负荷和刺激感知水平的系统和方法
JP7228153B2 (ja) * 2018-10-19 2023-02-24 株式会社NeU 頭部装着装置、脳活動記録システム
CN110613879B (zh) * 2019-08-20 2021-06-18 湖南文理学院 一种计算机同步学习记忆分析系统及方法
JP7427894B2 (ja) * 2019-09-19 2024-02-06 コニカミノルタ株式会社 作業関与状況評価装置、作業関与状況評価方法及びプログラム
JP7359112B2 (ja) * 2020-09-11 2023-10-11 トヨタ自動車株式会社 注意能力検査装置および注意能力検査方法
WO2022168178A1 (ja) * 2021-02-02 2022-08-11 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
JPWO2022168180A1 (zh) * 2021-02-02 2022-08-11

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
CN102396009A (zh) * 2009-11-09 2012-03-28 松下电器产业株式会社 注意力状态判定装置、方法及程序

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2980295B2 (ja) * 1991-08-28 1999-11-22 日本電気株式会社 ストレス評価方式
JP3369201B2 (ja) 1991-10-02 2003-01-20 マツダ株式会社 覚醒度維持装置
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
EP1662989B1 (en) * 2000-06-16 2014-09-03 BodyMedia, Inc. System for monitoring and managing body weight and other physiological conditions including iterative and personalized planning, intervention and reporting capability
EP1395176B1 (en) * 2001-06-13 2008-10-15 Compumedics Limited Method for monitoring consciousness
JP4590555B2 (ja) * 2004-09-02 2010-12-01 国立大学法人長岡技術科学大学 感性状態判別方法及び装置
CN101198277B (zh) * 2005-02-22 2011-06-15 海尔思-斯玛特有限公司 用于生理学和心理生理学监控的系统
JP4848784B2 (ja) 2006-02-02 2011-12-28 ニプロ株式会社 プランジャーとこれを用いたシリンジ及びプレフィルドシリンジ
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
US9514436B2 (en) * 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US8677281B2 (en) * 2007-02-09 2014-03-18 Intel-Ge Care Innovations Llc System, apparatus and method for emotional experience time sampling via a mobile graphical user interface
JP5428389B2 (ja) * 2009-02-26 2014-02-26 日産自動車株式会社 状態判定装置及び状態判定装置の作動方法
KR20120000564A (ko) * 2009-04-24 2012-01-02 어드밴스드 브레인 모니터링, 아이엔씨. 적응적 수행 트레이너
KR101844077B1 (ko) * 2009-08-13 2018-03-30 데이진 화-마 가부시키가이샤 호흡 파형 정보의 연산 장치 및 호흡 파형 정보를 이용한 의료 기기
AU2010290068B2 (en) * 2009-09-01 2015-04-30 Exxonmobil Upstream Research Company Method of using human physiological responses as inputs to hydrocarbon management decisions
US20110066082A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of visual motor response
US20120245443A1 (en) * 2009-11-27 2012-09-27 Hirokazu Atsumori Biological light measurement device
JP5714411B2 (ja) * 2010-05-17 2015-05-07 株式会社光吉研究所 行動分析方法および行動分析装置
US20120083668A1 (en) * 2010-09-30 2012-04-05 Anantha Pradeep Systems and methods to modify a characteristic of a user device based on a neurological and/or physiological measurement
US8676230B2 (en) * 2011-05-16 2014-03-18 Neurosky, Inc. Bio signal based mobile device applications
WO2013071285A1 (en) * 2011-11-11 2013-05-16 Rutgers, The State University Of New Jersey Methods for the diagnosis and treatment of neurological disorders

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
CN102396009A (zh) * 2009-11-09 2012-03-28 松下电器产业株式会社 注意力状态判定装置、方法及程序

Also Published As

Publication number Publication date
CN104363948A (zh) 2015-02-18
US9888874B2 (en) 2018-02-13
JP5914653B2 (ja) 2016-05-11
JPWO2013186911A1 (ja) 2016-02-01
WO2013186911A1 (ja) 2013-12-19
US20150141865A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
CN104363948B (zh) 刺激呈现系统
Ergan et al. Quantifying human experience in architectural spaces with integrated virtual reality and body sensor networks
JP5982483B2 (ja) 生体状態評価装置およびそのためのプログラム
Van Belle et al. Fixation patterns during recognition of personally familiar and unfamiliar faces
JP5828111B2 (ja) 心理状態評価装置、心理状態評価システムおよびプログラム
JP5386594B2 (ja) 生体光計測装置
Assem et al. Designing for human wellbeing: The integration of neuroarchitecture in design–A systematic review
JP5668138B2 (ja) 生体光計測装置
Werner et al. Interoceptive sensitivity modulates anxiety during public speaking
Morelli et al. A multidimensional, multisensory and comprehensive rehabilitation intervention to improve spatial functioning in the visually impaired child: a community case study
JP2013054447A (ja) 気分改善システムおよび気分改善方法
Spagnuolo Lobb et al. A measure for psychotherapist’s intuition: Construction, development, and pilot study of the Aesthetic Relational Knowledge Scale (ARKS).
Breznitz et al. Syntactic processing of Hebrew sentences in normal and dyslexic readers: Electrophysiological evidence
Schulz et al. Speech and oral motor learning in individuals with cerebellar atrophy
US20190358427A1 (en) System and method for monitoring personal health and a method for treatment of autonomic nervous system related dysfunctions
KR20080039805A (ko) 뉴로 피드백 장치 및 방법
Kanai et al. Social skills in autism spectrum disorders
Floreani et al. A pediatric near-infrared spectroscopy brain-computer interface based on the detection of emotional valence
Klein et al. Typical and atypical development of eye movements
Kikuchi et al. Effect of omitting offset work on functional near-infrared spectroscopy: comparison between keyboard and voice response
KR101410311B1 (ko) 생체 정보를 이용한 적성 정보 생성 장치 및 방법
İnan et al. Pupil dilation in time perception
Rasmijn Working out the brain: clinical applications of fMRI neurofeedback and ultra-high field investigations of the underlying mechanisms
Park Digital assessments of motor-cognitive performance in young and older adults: behavioral and neural correlates
FOONG EFFECTS OF MUSIC-BASED VOICE INTERVENTION PROTOCOL ON VOCAL AMPLITUDE, PITCH RANGE, RESPIRATORY RATE, AND QUALITY OF LIFE OF PEOPLE WITH PARKINSON’S DISEASE

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824

CF01 Termination of patent right due to non-payment of annual fee