CN104363948A - 刺激呈现系统 - Google Patents

刺激呈现系统 Download PDF

Info

Publication number
CN104363948A
CN104363948A CN201280073921.XA CN201280073921A CN104363948A CN 104363948 A CN104363948 A CN 104363948A CN 201280073921 A CN201280073921 A CN 201280073921A CN 104363948 A CN104363948 A CN 104363948A
Authority
CN
China
Prior art keywords
user
rendering content
mental status
information
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280073921.XA
Other languages
English (en)
Other versions
CN104363948B (zh
Inventor
中岛亚希子
佐藤大树
桂卓成
敦森洋和
舟根司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of CN104363948A publication Critical patent/CN104363948A/zh
Application granted granted Critical
Publication of CN104363948B publication Critical patent/CN104363948B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0027—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the hearing sense
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0044—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense
    • A61M2021/005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus by the sight sense images, e.g. video
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3306—Optical measuring means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/50—General characteristics of the apparatus with microprocessors or computers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/62—Posture
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/63—Motion, e.g. physical activity

Abstract

提供一种刺激呈现装置，对心理状态进行判别，基于所判别的心理状态使课题的呈现内容变化。通过对用户的视线和脑功能进行计测，由此对心理状态进行判别，基于所判别的心理状态使课题的呈现内容变化。

Description

刺激呈现系统
技术领域
本发明涉及一种利用用户的视线信息以及脑功能信息来对用户显示信息的系统。
背景技术
提出如下技术：使用用户的视线、脑功能的信息来推断用户的心理状态、例如注意度、集中度等，并对汽车、轮椅这种外部设备进行操作。
例如，专利文献1公开一种驾驶者状态判断装置，将驾驶者状态分为清醒度、注意集中度以及驾驶能力这3个要素，并检测反映各个要素的至少2个驾驶者信息，基于检测的驾驶者信息的组合来判断驾驶者状态，由此能够更详细地判别驾驶者状态。
此外，专利文献2公开如下技术：对用户的α波强度(脑活动变动量)在头部中的分布以及视线进行测定，基于α波强度分布以及视线对用户的视野内的注意区域进行测定。此外，公开如下技术：对用户的α波强度的变化模式进行测定，基于该α波强度的变化模式对用户的注意度进行测定，根据测定的用户的视野内的注意区域以及注意度，对电动轮椅的动作进行控制。
现有技术文献
专利文献
专利文献1：日本特开2007-265377号公报
专利文献2：日本特开2007-202882号公报
发明内容
发明要解决的问题
在由上述以往技术推断的注意度、集中度中，含有多个成为产生这些的原因的心理状态。例如，在推断为用户引起注意、或者集中的情况下，不能够推断是因为存在关心、还是因为感知到危险。如此，在作为可能性而存在多个心理状态时，在不进行心理状态的辨别就使外部设备自动地操作的情况下，不一定能够成为适当的操作。
因此，本发明的目的在于提供一种刺激呈现系统，通过对用户的视线和脑功能进行计测，由此对心理状态进行判别，基于所判别的心理状态来使课题的呈现内容变化。
用于解决问题的机构
作为本发明的刺激呈现系统的一个例子，具备：用户设定部，对用户的基准状态进行计测；用户计测部，取得用户的视线信息以及脑功能信息；信号解析部，对视线信息和脑功能信息的时间偏差进行修正并进行信号解析；用户判别部，基于所解析的信号来判别心理状态；呈现内容变换部，基于所判别的心理状态，使课题的呈现内容变化；显示控制部，对所解析的信号以及所判别的心理状态进行显示；以及存储部，存储用于对由呈现内容变换机构变换的呈现内容和心理状态进行判别的规定的计测项目和用户信息。
发明的效果
根据本发明，能够通过对用户的视线和脑功能进行计测，由此判别心理状态，基于所判别的心理状态，使课题的呈现内容变化。即，能够提示更符合用户的状态的课题。
附图说明
图1是表示本发明的刺激呈现系统整体的一个例子的图
图2是表示本实施例的用户设定部的流程的图
图3是表示本实施例的用户设定部的用户界面设定例的图
图4是表示本实施例的用户设定部的计测设定例的图
图5是表示本实施例的用户设定部的用户界面设定例以及解析结果例的图
图6是表示本实施例的用户设定部的用户界面设定例的图
图7是表示本实施例的用户设定部的用户界面设定例的图
图8是表示本实施例的信号解析部的流程的图
图9是表示本实施例的信号解析部的用户界面设定例的图
图10是表示本实施例的用户判别部的流程的图
图11是表示本实施例的用户判别部的用户界面设定例的图
图12是表示基于逆转理论的心理状态的图
图13是表示本实施例的心理状态判别例的图
图14是表示本实施例的用户判别部的用户界面设定例的图
图15是表示本实施例的呈现内容变换部的流程的图
图16是表示本实施例的呈现内容变换部的用户界面设定例的图
图17是表示本实施例的呈现内容变换项目决定例的图
图18是表示本实施例的计测项目以及呈现内容变换的流程的图
图19是表示本实施例的计测项目时间表制作例以及呈现内容变换时间表制作例的图
图20是表示本实施例的显示控制部的流程的图
图21是表示本实施例的解析信号显示例的图
图22是表示本实施例的心理状态判别显示例的图
图23是表示本实施例的用户活动关联项目显示例的图
图24是表示脑功能信息计测设备的一个例子的图
图25是表示视线信息计测设备的一个例子的图
具体实施方式
实施例1
以实施方式为例对本发明的刺激呈现系统的构成的一个例子进行说明。在此，以视线信息利用通过红外线来计测的装置和脑功能信息利用通过近红外分光法来计测脑血液量变化的装置的情况为例，但视线信息也可以通过生物体光计测、电位计测、图像计测等来取得，脑功能信息也可以通过生物体光计测、电位计测、磁场计测、代谢计测等来取得。
图1是表示本实施例的刺激呈现系统的整体的框图。该刺激呈现系统具有计算装置11、具有能够安装于用户12的头部的计测部的脑活动信息计测设备13、对用户的视线进行计测的视线信息计测设备14、以及对用户呈现含有课题的刺激的监视器15(刺激呈现部15)。
计算装置11具有能够经由输入机构设定用户的信息等的用户设定部1、对由脑活动信息计测设备13、视线信息计测设备14等计测的计测信息进行收集的用户计测部2、基于由用户计测部得到的计测结果进行解析的信号解析部3、用户判别部4、呈现内容变换部5、显示控制部6以及存储部7。在此，存储部7不一定需要组装于计算装置，也可以通过基于有线、无线等通信方法的外部连接机构来连接。
此外，具备用于对向所呈现的课题进行回答、用户设定、课题的初始设定等所需要的信息进行指示输入的输入机构，具体地说具备键盘、鼠标等。在此，输入机构不限定于键盘、鼠标。例如，也能够由能够对监视器15直接触摸输入的触摸板构成。
在此，使用图24对脑活动信息计测设备13的具体例进行说明。图24是脑活动信息计测设备13的概略构成图。
本实施例的脑活动信息计测设备13具备：对被检体照射光的一个或者多个光照射机构2401以及2402；以及对透射被检体或者被检体反射的光进行检测的一个或者多个光检测机构2403以及2404。
此外，光照射机构和光检测机构具有基于多个组合的多个计测点(以下也称为ch。第一计测点2410以及第二计测点2411)，并且各计测点在被检体上被安装于在空间上不同的位置。在此，光照射机构照射能够透射生物体的600～900nm程度的波长中的2种波长的光，具体地说光源2420、2421使用激光二极管、LED，直接与被检体12接触、或者使用光纤2430使从光源2420以及2421引导的光与被检体12接触而对被检体12进行照射。检测机构使用硅光电二极管、雪崩光电二极管以及光电倍增器等，与光照射机构同样，在被检体12上直接进行检测或者使光纤2430与被检体12接触并通过光纤2430引导光来进行检测。
此外，该脑活动信息计测设备13与对被检体12呈现一个或者多个种类的课题的监视器15连接。被检体12的各计测点2410以及2411的脑活动信号在检测机构中被分别检测，该检测结果在计算装置11的用户计测部2中，求出针对所呈现的课题的用户12的计测点的脑活动信号。
接着，以下使用图25对视线信息计测设备14的具体例进行说明。图25是视线信息计测设备14的概略构成图。如图25(a)所示那样，本实施例的视线信息计测设备14具备：视线计测部2501，具有对被验体12的头部区域照射光的照射机构和对从被验体12的眼球反射的光进行检测的光检测机构；以及头部位置检测机构2502，通过图像计测来检测被验体12的头部位置；视线信息计测设备14与对被验体12呈现影像、声音的刺激的监视器15连接。具体地说，使用红外光对被验体进行非接触计测。根据在检测机构中取得的信号，在计算部11中计算视线信息。接下来，在图25(b)所示的视线信息计测设备14中，能够不使用监视器15地对被验体12的视线信息进行计测。在被验体12的头部、背部具备影像记录设备2510，由此被验体12眼前的影像被收录，由视线计测部2501取得的信号在计算部11中被计算为视线信息。接下来，图25(c)所示的视线信息计测设备14，是能够作为眼镜安装的、具有光照射机构和光检测机构的视线计测部2501的例子。被验体12眼前的影像由影像记录设备2510收录，并在计算部11中计算出视线信息。图25(a)至图25(c)所示的计算部11和视线信息计测设备14能够使用有线、无线等进行通信。
本实施例的计算装置11内的用户设定部1由图2所示的1-1至1-5的下位机构构成。在此，设定进行课题之前的用户基本状态的计测以及解析、用户活动的种类、目标值。通过对活动前的用户基本状态与活动中的用户状态进行比较，能够更适当地判别活动中的用户状态。
在用户基准反应计测设定机构1-1中，如图3所示那样，作为计测设定项目，能够对刺激、呈现时间、安静时间、计测部位、反复次数、视线信息、生物体信息、信号信息、计测时间、被验者响应取得、指示器利用中的任一个进行选择或者输入。计测设定项目也可以新追加。并且，上述项目能够作为有效计测条件进行利用。有效计测条件是指用于对所计测的信号进行取舍的条件。按照以上顺序，用户基准反应计测设定结束。
在图3中，作为刺激而设定“含义判断”，呈现时间设定为“20秒”，安静时间设定为“20秒”，计测部位设定为“全脑”，反复次数设定为“5次”，视线信息的计测设定为“有”，生物体信息的计测设定为“有”，被验者响应取得设定为“反应时间”，指示器利用设定为“有”，作为有效计测条件设定有“刺激注视15秒”和计测时间“5分钟”。
在该情况下，按照图4所示的内容来设定用户基准反应计测，沿着图4下部所示那样的时间序列来重复安静时间和刺激时间。指示器利用是指按照刺激开始和刺激结束的时刻开启时间指示器。此外，根据有效计测条件，相对于课题时间取得注视为15秒以上的脑活动信号，不取得注视为15秒以下的脑活动信号。在能够取得5次该有效数据的时刻成为计测结束，最大计测时间被设定为5分钟，因此最大成为5分钟间的计测。刺激通过监视器、扬声器来呈现，但也可以使用纸、笔等笔记方法。在将指示器利用用作为有效计测条件的情况下，在满足有效计测条件的时刻开启时间指示器。
脑活动信号被计测为对于课题的反应，因此用户对课题进行知觉并处理的情况成为前提。但是，即使对用户呈现课题，实际上用户是否对课题进行知觉并处理是不明的。注视时间与用户对课题进行知觉的情况相关联，因此通过将注视时间作为有效计测条件，由此作为推断为对所给予的课题进行了知觉的脑活动信号，与不使用注视时间的情况下的脑活动信号相比成为有用的数据。
接着，在用户基准反应解析机构1-2中，如图5所示那样，能够选择或者输入用于执行脑活动信号信息、视线信息以及生物体信号信息的解析的项目。
在脑活动信号信息中，能够对脑活动延迟时间、Oxy-Hb信号、Deoxy-Hb信号、Total-Hb信号、区间指定、频道指定、最大值、潜时、半值宽度、平均值、离散值、中央值、加法次数、相位差、心率、FFT成分、指示器利用中的任一个项目进行选择或者输入。也能够新追加脑活动信号信息。
在视线信息中，能够对视角、中心视角(20度以内)、周边视角(20度外)、注视坐标·范围、注视时间、注视时间离散、注视方向、眼球停留时间、眼球停留·范围、眨眼次数、眨眼速度、闭眼时间、扫视距离、扫视频度、瞳孔径、注视模式、注视模式次数、指示器利用中的任一个项目进行选择或者输入。视线信息也能够新追加。
在生物体信号信息中，能够对表情、面部肌肉活动、声音的大小、声音的高低、说话速度、咽下、唾液分泌、唾液成分、脑波频带、现象关联电位、血压、心拍、皮肤电位、反应时间、回答的正误、反应时间变化率、指示器利用中的任一个项目进行选择或者输入。生物体信号信息也能够新追加。
视线信息和生物体信号信息还能够利用为用于对脑活动信号信息的解析进行辅助的解析制约条件。例如，注视时间与用户对课题进行知觉的情况相关联，因此作为推断为知觉了课题的脑活动信号，与不使用注视时间的情况下的脑活动信号相比，能够高精度地进行解析。脑活动信号信息中含有各种生物体影响，因此通过增加基于视线信息、生物体信号信息的解析制约条件，能够使信号解析的精度提高。
对于刺激，脑活动信息的反应大约延迟5-8秒程度，但视线信息的反应对于刺激在1秒以内产生反应，因此为了比较对于刺激的脑活动信息和视线信息，必须对该时间偏差进行修正。
因此，在脑活动信号信息的解析中，预先选择“脑活动信号延迟时间”。由此，对于刺激的视线信息的变化与脑活动信息的变化的时间偏差被修正，能够对视线信息与脑活动信息进行比较并进行解析。在选择了该项目的情况下，应用6秒的延迟时间，但能够输入任意的数值并进行延迟时间的修正。延迟时间还能够参照并使用根据现有的多个数据计算出的值(平均值、中央值等)。
在图5的用户基准反应解析机构1-2中，作为脑活动信号信息选择“Oxy-Hb信号(氧血红素信号)”，作为区间指定选择“刺激中”，作为频道指定选择“12”、最大值。在视线信息中，选择注视时间离散、眨眼次数。作为生物体信号信息，选择心拍、回答的正误、反应时间变化率。通过以上的顺序由用户基准反应解析机构决定。
在用户基准反应显示·存储机构1-3中，显示·存储按照由用户基准反应解析机构1-2设定的项目而解析的结果。在此，如图5下部所示那样，显示·存储与所选择的项目相对应的数值、脑活动波形。
在用户活动选择以及输入机构1-4中，如图6-1所示那样，作为用户的活动项目，能够对图形存储、文字存储、打字学习等中的任一个进行选择或者输入。用户活动项目也能够新追加。通过以上的顺序来决定用户活动。在此，选择“文字存储”这个活动。
在目标值选择以及输入机构1-5中，如图6-2所示那样，作为目标值的设定项目，能够对数值、时间、用户基准值等中的任一个进行选择或者输入。目标值设定项目也能够新追加。通过以上的顺序来决定目标值。在此，时间被设定为20分钟。
刺激呈现系统的用户计测部2由图7所示的2-1、2-2的下位机构构成。在用户计测项目选择以及输入机构2-1中，用户活动中的用户计测项目，能够对脑活动信号、视线信息、生物体信号信息、行动信息中的任一个进行选择或者输入。也能够新追加用户计测项目。通过以上的顺序来决定用户计测项目，并在计测项目以及计测信号存储机构2-2中存储。在此，选择脑活动信号、视线信息、生物体信号信息、行动信息。
刺激呈现系统中的信号解析部3由图8所示的3-1、3-2的下位机构构成。在计测信号解析机构3-1中，如图9所示那样，对于脑活动信号信息、视线信息、生物体信号信息的解析项目和解析制约条件，能够对任一个进行选择或者输入。各项目也能够新追加。由于与图5所示的用户设定部中的用户基准反应解析机构1-2同样，因此省略说明。在此，作为脑活动信号信息选择脑活动延迟时间、oxy-Hb信号，作为区间指定选择“1～10、11～20”、频道指定“12”、规格化。作为视线信息选择注视时间离散、眨眼次数、规格化。此外，作为解析制约条件而设定注视时间20秒。作为生物体信号信息选择心拍、反应时间、规格化。
通过计测信号解析以及解析结果存储机构3-2，计测信号被解析、解析结果被存储。
刺激呈现系统中的用户判别部4由图10所示的4-1至4-3的下位机构构成。在心理状态判别机构4-1中，使用通过信号解析部3解析的信号对心理状态进行判别。
如图11所示那样，对于想判别的用户的心理状态，作为心理状态项目，能够对逆转理论：不安、逆转理论：弛缓、逆转理论：兴奋、逆转理论：无聊、注意度、紧张度、放松度、愉快度、不快度、习惯度、愤怒度、欢喜度、悲伤度、快乐度、惊讶度、恐怖度、嫌弃度、心理疲劳、肉体疲劳、存储：铭记、存储：保持、存储：再现、存储：恢复、内在思考度、外在思考度、认知负荷度、认知抵触度、意欲度、忽视度、报酬要求度、自己效力度、集中度、正确度、熟练度中的任一个进行选择或者输入。心理状态项目也能够新追加。通过以上的顺序来决定心理状态判别项目，并判别心理状态。在此，选择逆转理论：不安、弛缓、兴奋、无聊。
图12表示基于逆转理论的心理状态的推移和基于解析信号的心理状态判别例。在此，对逆转理论进行说明。该理论是由Apter(Reversal theory:Motivation，emotion and personality.Apter，Michael J.Florence，KY，US:Taylor&Frances/Routledge.(1989).viii 208pp.)提倡的动机理论，其特征在于，4个动机状态由于某种契机而向动态反转(逆转)。动机状态成为对，由目标(目的志向)-放下目标(活动志向)、顺从-反抗、支配-共感、自己志向-他者志向这4个构成。
在此，对与用户活动关联的目标(目的志向)-放下目标(活动志向)的动机状态(以下称为心理状态)和其反转进行说明。对于这一对，通过清醒水准轴(高-低)和愉快-不快轴来分类为4个心理状态。将清醒水准高且愉快的状态定义为兴奋，将清醒水准高而不快的状态定义为不安，将清醒水准低且愉快的状态定义为弛缓，将清醒水准低且不快的状态定义为无聊。
例如，在使目标实现优先(目标的状态)而进行活动的情况下，在用户的清醒水准高而不快水准高时，可以认为用户对于目标实现处于不安的心理状态，在清醒水准低而愉快水准高时，可以认为用户处于弛缓(放松、安心、冷静)的心理状态。
并且，对图12所示的目标模式(粗线)、放下目标模式(虚线)进行推移，另一方面，也有时由于某种契机而向上下左右(图12所示的双向箭头)的心理状态反转。例如，即使在目的志向的目标模式下心理状态为弛缓(放松、安心、冷静)地活动的情况下，通过赋予督促认知变容的契机，由此向放下目标模式(活动志向)反转。在该情况下，当从愉快水准向不快水准推移时，成为无聊的心理状态，当从低清醒水准向高清醒水准推移时，成为兴奋的心理状态。
然而，在现有技术中，例如，根据脑波、视线信息而仅将清醒度作为判别靶，因此能够判别用户的心理状态为清醒，但是不能够判别是兴奋状态、还是不安状态。因此，有可能不适合于用户的支援、活动辅助。
在本实施例中，能够对于图13所示的刺激关联部位的脑活动、刺激关联部位以外的脑活动、心拍、眨眼、注视时间离散，组合用户基准反应、安静时的数值变化(上升、下降、无变化)，而进行基于逆转理论的4个心理状态的判别。
刺激关联部位的脑活动是指与用户的活动最关联的脑功能部位的活动，例如在文字存储活动的情况下为前头前野。刺激关联部位的脑活动值的变化还使用于心理状态判别，但也是为了读取是否正在进行使用本刺激呈现系统设定的用户活动而需要的信息。
为了对各个心理状态进行判别而使用的项目和变化的情况，如图13的心理状态判别例所示。此外，对于心理状态判别机构所记载的心理状态，也能够通过组合脑活动信息、视线信息、其他生物体信息、行动信息来进行判别。这些判别结果存储于心理状态以及用户活动关联信息存储机构4-3。由此，用户能够得知活动中的自身的心理状态。
在用户活动关联判别机构4-2中，使用由信号解析部3解析的信号对用户活动关联信息进行判别。如图14所示那样，作为想判别的用户活动关联项目，能够对学习关联活动、存储关联活动、学习维持度、学习以外的活动、存储以外的活动、学习活动之比例、存储活动之比例、与基准活动值的比较、经过时间、活动剩余时间、呈现内容变换的所要时间、呈现内容变换的所要时间缩短率中的任一个进行选择或者输入。用户活动关联项目也能够新追加。通过以上的顺序，决定要判别的用户活动关联项目。在此，选择学习关联活动、存储关联活动、学习以外的活动、存储以外的活动。这些判别结果存储于心理状态以及用户活动关联信息存储机构4-3。由此，用户能够得知在活动中进行了哪种程度的学习·存储活动等。刺激呈现系统中的呈现内容变换部5由图15所示的5-1至5-3的下位机构构成。在呈现内容变换项目决定机构5-1中，基于解析信号、用户心理状态、用户活动状态，决定、存储呈现内容变换的项目。
如图16所示那样，作为想变换的呈现内容的项目，能够对视觉：配色、视觉：对比度、视觉：显示尺寸、视觉：3D显示、视觉：显示速度、视觉：显示间隔、听觉：音量、听觉：高低度、听觉：左右差、触觉：振动、触觉：送风、味觉·嗅觉：香味、信息反馈、休息指示、支持意见中的任一个进行选择或者输入。呈现内容变换项目也能够新追加。通过以上的顺序，决定·存储呈现内容变换项目。
图17表示呈现内容变换项目决定例。现在的用户心理状态被判别为基于逆转理论的不安，用户由于该不安状态而有可能不能够继续活动。即，作为继续进行用户活动的心理状态，不安的心理状态不适当，需要用于向对于用户活动最佳的弛缓的状态进行引导·反转的推动。
图17下部表示为此的呈现内容变换例。在此，决定变更要呈现的课题的配色、使要呈现的课题的显示速度延迟10％、反馈用户活动关联的信息、以及赋予支持意见。这些项目的组合预先存储为呈现内容变换的默认模式，对于各心理状态，能够进行根据默认模式决定的呈现内容变换。或者，也能够进行与心理状态的等级变化时刻对应的呈现内容变换。
通过呈现内容变换项目通信机构以及监视机构5-2，通过监视器、扬声器等来通信所决定的呈现内容变换项目，继续监视用户活动的变化。在根据通过呈现内容变换部变换的呈现内容继续进行用户活动的情况下，该计测数据被送向用户计测部、信号解析部、用户判断部而进行处理。由此，在用户继续进行活动的情况下，成为心理状态被适当引导的呈现内容，用户能够以最佳的心理状态进行活动。
在计测时间表以及呈现内容变换情制作以及存储机构5-3中，如图18所示那样，能够使用解析信号、用户心理状态、用户活动履历以及呈现内容变换履历，在用户的活动结束后制作并存储计测项目的时间表和呈现内容变换时间表的数据。
图19表示计测项目时间表制作例和呈现内容变换时间表制作例。例如，关于计测项目时间表，表示的内容为，在进行20分钟间的文字存储的活动的情况下，不需要对视线信息和脑活动信息的全部项目进行计测，只要对眨眼、注视时间离散、12ch的oxy-Hb的最大值、刺激中的12ch的oxy-Hb平均值按照每个所决定的时刻进行计测即可。通过基于这些信息进行计测，能够减少用户的计测设备安装负担。
关于呈现内容变换时间表制作，例如，表示的内容为，在进行20分钟间的文字存储的活动的情况下，对显示速度10％降低、支持意见呈现、显示配色变更、信息反馈按照每个所决定的时刻每进行即可。每个时刻的呈现内容变换时间表是将用户的心理状态向最佳引导的信息，因此在进行相同活动、类似活动的情况下，通过应用该呈现内容变换时间表，能够减少用户的计测设备安装负担。
刺激呈现系统中的显示控制部6由图20所示的6-1至6-3的下位机构构成。在解析信号显示机构6-1中，显示在信号解析部3中存储的解析结果。在心理状态显示机构6-2中，显示在用户判别部4中存储的心理状态。在用户活动关联显示机构6-3中，显示在用户判别部4中存储的用户活动关联信息。
图21表示两个解析信号显示例。图21(a)表示12ch、oxy-Hb信号、注视时间离散、对用户呈现的画面内容的时间序列显示。通过使下部的滑动条前进，能够同时确认每个时刻的画面呈现内容、与呈现内容对应的脑活动波形以及注视时间离散的变化。图21(b)表示所选择的信号(视线、脑活动、心拍、反应时间)的区间指定显示(活动紧前、1～10分钟、11分钟～20分钟的平均值)。数据也可以将活动紧前的数值规格化为1。由此，能够确认活动区间的推移的变化。
图22表示两个心理状态判别显示例。
(a)表示逆转理论的轴上的用户状态的位置。通过使下部的滑动条前进，能够确认每个时刻的心理状态的推移。
(b)表示所选择的心理状态(在此以紧张度、认知负荷度、正确度、心理疲劳为例)的区间指定显示(活动紧前、1～10分钟、11分钟～20分钟的平均值)。数据也可以将活动紧前的数值规格化为1。由此，能够确认活动区间的推移的变化。
图23表示两个用户活动关联项目显示例。
(a)对于所选择的用户活动关联项目的学习活动、存储活动、学习以外的活动、存储以外的活动，表示每个时刻的相对的比例变化。通过使下部的滑动条前进，能够确认每个时刻的用户活动项目的推移。
(b)表示所选择的用户活动项目的区间指定显示(活动紧前、1～10分钟、11分钟～20分钟的各值之比例)。数据也可以将活动紧前的数值合计规格化为100％。由此，能够确认活动区间的推移的比例变化。
在刺激呈现系统的存储部7中，存储由刺激呈现系统各部取得的信息。使用这些信息能够进行新解析，且能够随着数据积蓄进行数据库化。由此，能够使用户心理状态判别、用户活动关联信息判别、呈现内容变换信息的精度提高，能够高效地支援用户的活动。
(其他的应用例)
本刺激呈现系统是基于通过视线、脑功能的计测来判别的心理状态，使课题的呈现内容变化的刺激呈现系统，因此当用于教育场所的用户的学习支援时，用户被引导为最佳的心理状态，因此能够高效地进行继续的学习。
此外，通过对学习教材赋予最佳的呈现内容变换时间表，由此能够提供对学习有效的教材。
(其他的应用例)
在本刺激呈现系统中，能够对用户的心理状态进行判别，因此还能够用于用户界面、广告、外观设计、市场等领域。
(其他的应用例)
在本刺激呈现系统中，能够对用户的心理状态进行判别，因此能够得知具有意思传递方法困难的疾病的患者的心理状态。此外，能够基于所判别的心理状态使呈现内容变化，由此使患者的心理状态变化。
符号的说明
11…计算装置，12…用户，13…脑活动信息计测设备，14…视线信息计测设备，15…呈现监视器

Claims (9)

1.一种刺激呈现系统，其特征在于，具备：
用户设定部，计测用户的基准状态；
用户计测部，取得用户的视线信息以及脑功能信息；
信号解析部，进行视线信息以及脑功能信息的信号解析；
用户辨别部，基于所解析的信号来辨别心理状态；
呈现内容变换部，基于所辨别的心理状态，使课题的呈现内容变化；
显示控制部，显示所解析的信号以及所辨别的心理状态；以及
存储部，存储由呈现内容变换机构变换的呈现内容、用于辨别心理状态的规定的计测项目、以及用户信息。
2.如权利要求1记载的刺激呈现系统，其特征在于，
上述信号解析部，对视线信息和脑功能信息与对被验体赋予刺激的时刻之间的时间偏差进行修正。
3.如权利要求1记载的刺激呈现系统，其特征在于，
上述用户设定部，基于数据有效条件来取舍对于刺激的脑功能计测数据。
4.如权利要求1记载的刺激呈现系统，其特征在于，
上述用户辨别部，根据被验体的视线信息和脑功能信息的结果，来辨别基于逆转理论的心理状态。
5.如权利要求1记载的刺激呈现系统，其特征在于，
上述呈现内容变换部，基于所辨别的心理状态，决定使课题的呈现内容变换的项目。
6.如权利要求1记载的刺激呈现系统，其特征在于，
上述呈现内容变换部，基于从上述信号解析部或者用户辨别部得到的信息，制作被验体的计测项目时间表。
7.如权利要求1记载的刺激呈现系统，其特征在于，
上述呈现内容变换部，基于从上述信号解析部或者用户辨别部得到的信息，制作向被验体的呈现内容变换时间表。
8.如权利要求1记载的刺激呈现系统，其特征在于，
上述显示控制部，以使从上述信号解析部或者用户辨别部或者呈现内容变换部得到的信息中的至少一个显示的方式进行控制。
9.如权利要求1记载的刺激呈现系统，其特征在于，
上述显示控制部，显示由上述用户辨别部辨别的基于逆转理论的心理状态的时间序列推移。
CN201280073921.XA 2012-06-15 2012-06-15 刺激呈现系统 Expired - Fee Related CN104363948B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/065319 WO2013186911A1 (ja) 2012-06-15 2012-06-15 刺激呈示システム

Publications (2)

Publication Number Publication Date
CN104363948A true CN104363948A (zh) 2015-02-18
CN104363948B CN104363948B (zh) 2016-08-24

Family

ID=49757773

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280073921.XA Expired - Fee Related CN104363948B (zh) 2012-06-15 2012-06-15 刺激呈现系统

Country Status (4)

Country Link
US (1) US9888874B2 (zh)
JP (1) JP5914653B2 (zh)
CN (1) CN104363948B (zh)
WO (1) WO2013186911A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107007407A (zh) * 2017-04-12 2017-08-04 华南理工大学 基于眼电的轮椅控制系统
CN108697392A (zh) * 2016-02-29 2018-10-23 大金工业株式会社 判定结果输出装置、判定结果提供装置及判定结果输出系统
CN111787861A (zh) * 2018-03-09 2020-10-16 三菱电机株式会社 不愉快状态判定装置

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11317861B2 (en) 2013-08-13 2022-05-03 Sync-Think, Inc. Vestibular-ocular reflex test and training system
US9958939B2 (en) 2013-10-31 2018-05-01 Sync-Think, Inc. System and method for dynamic content delivery based on gaze analytics
US10791924B2 (en) * 2014-08-10 2020-10-06 Autonomix Medical, Inc. ANS assessment systems, kits, and methods
DE102015211444A1 (de) * 2015-06-22 2016-12-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite
JP6560137B2 (ja) * 2016-02-08 2019-08-14 Kddi株式会社 集中度の推定装置
JP6917708B2 (ja) * 2016-02-29 2021-08-11 株式会社デンソー 運転者監視システム
US10043062B2 (en) 2016-07-13 2018-08-07 International Business Machines Corporation Generating auxiliary information for a media presentation
US9741258B1 (en) 2016-07-13 2017-08-22 International Business Machines Corporation Conditional provisioning of auxiliary information with a media presentation
JP6933455B2 (ja) * 2016-09-29 2021-09-08 株式会社東芝 関心維持システム及びサーバ
JP7080657B2 (ja) * 2018-02-07 2022-06-06 株式会社デンソー 感情識別装置
US20210153792A1 (en) * 2018-05-25 2021-05-27 Toyota Motor Europe System and method for determining the perceptual load and the level of stimulus perception of a human brain
JP7228153B2 (ja) * 2018-10-19 2023-02-24 株式会社NeU 頭部装着装置、脳活動記録システム
CN110613879B (zh) * 2019-08-20 2021-06-18 湖南文理学院 一种计算机同步学习记忆分析系统及方法
JP7427894B2 (ja) * 2019-09-19 2024-02-06 コニカミノルタ株式会社 作業関与状況評価装置、作業関与状況評価方法及びプログラム
JP7359112B2 (ja) * 2020-09-11 2023-10-11 トヨタ自動車株式会社 注意能力検査装置および注意能力検査方法
JPWO2022168180A1 (zh) * 2021-02-02 2022-08-11
JPWO2022168178A1 (zh) * 2021-02-02 2022-08-11

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549626A (ja) * 1991-08-28 1993-03-02 Nec Corp ストレス評価方式
JPH0592039A (ja) * 1991-10-02 1993-04-16 Mazda Motor Corp 覚醒度維持装置
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP2010194176A (ja) * 2009-02-26 2010-09-09 Nissan Motor Co Ltd 状態判定装置及び状態判定方法
WO2011065237A1 (ja) * 2009-11-27 2011-06-03 株式会社日立製作所 生体光計測装置
CN102396009A (zh) * 2009-11-09 2012-03-28 松下电器产业株式会社 注意力状态判定装置、方法及程序

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5676138A (en) * 1996-03-15 1997-10-14 Zawilinski; Kenneth Michael Emotional response analyzer system with multimedia display
EP1662989B1 (en) * 2000-06-16 2014-09-03 BodyMedia, Inc. System for monitoring and managing body weight and other physiological conditions including iterative and personalized planning, intervention and reporting capability
RU2330607C2 (ru) * 2001-06-13 2008-08-10 Компьюмедикс Лимитед Способ и устройство для мониторинга сознания
JP4590555B2 (ja) * 2004-09-02 2010-12-01 国立大学法人長岡技術科学大学 感性状態判別方法及び装置
EP1871219A4 (en) * 2005-02-22 2011-06-01 Health Smart Ltd METHODS AND SYSTEMS FOR PSYCHOPHYSIOLOGICAL AND PHYSIOLOGICAL CONTROL AND USES THEREOF
JP4848784B2 (ja) 2006-02-02 2011-12-28 ニプロ株式会社 プランジャーとこれを用いたシリンジ及びプレフィルドシリンジ
US9514436B2 (en) * 2006-09-05 2016-12-06 The Nielsen Company (Us), Llc Method and system for predicting audience viewing behavior
US8677281B2 (en) * 2007-02-09 2014-03-18 Intel-Ge Care Innovations Llc System, apparatus and method for emotional experience time sampling via a mobile graphical user interface
WO2010124247A2 (en) * 2009-04-24 2010-10-28 Advanced Brain Monitoring, Inc. Adaptive performance trainer
MY165523A (en) * 2009-08-13 2018-04-02 Asanoi Hidetsugu Device for calculating respiratory waveform information and medical instrument using respiratory waveform information
CA2762418A1 (en) * 2009-09-01 2011-03-10 Exxonmobil Upstream Research Company Method of using human physiological responses as inputs to hydrocarbon management decisions
US20110066082A1 (en) * 2009-09-16 2011-03-17 Duffy Charles J Method and system for quantitative assessment of visual motor response
JP5714411B2 (ja) * 2010-05-17 2015-05-07 株式会社光吉研究所 行動分析方法および行動分析装置
US20120083668A1 (en) * 2010-09-30 2012-04-05 Anantha Pradeep Systems and methods to modify a characteristic of a user device based on a neurological and/or physiological measurement
US8676230B2 (en) * 2011-05-16 2014-03-18 Neurosky, Inc. Bio signal based mobile device applications
US10176299B2 (en) * 2011-11-11 2019-01-08 Rutgers, The State University Of New Jersey Methods for the diagnosis and treatment of neurological disorders

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0549626A (ja) * 1991-08-28 1993-03-02 Nec Corp ストレス評価方式
JPH0592039A (ja) * 1991-10-02 1993-04-16 Mazda Motor Corp 覚醒度維持装置
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
JP2007265377A (ja) * 2006-03-01 2007-10-11 Toyota Central Res & Dev Lab Inc 運転者状態判定装置及び運転支援装置
JP2010194176A (ja) * 2009-02-26 2010-09-09 Nissan Motor Co Ltd 状態判定装置及び状態判定方法
CN102396009A (zh) * 2009-11-09 2012-03-28 松下电器产业株式会社 注意力状态判定装置、方法及程序
WO2011065237A1 (ja) * 2009-11-27 2011-06-03 株式会社日立製作所 生体光計測装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108697392A (zh) * 2016-02-29 2018-10-23 大金工业株式会社 判定结果输出装置、判定结果提供装置及判定结果输出系统
CN107007407A (zh) * 2017-04-12 2017-08-04 华南理工大学 基于眼电的轮椅控制系统
CN107007407B (zh) * 2017-04-12 2018-09-18 华南理工大学 基于眼电的轮椅控制系统
CN111787861A (zh) * 2018-03-09 2020-10-16 三菱电机株式会社 不愉快状态判定装置
CN111787861B (zh) * 2018-03-09 2023-02-17 三菱电机株式会社 不愉快状态判定装置

Also Published As

Publication number Publication date
CN104363948B (zh) 2016-08-24
JP5914653B2 (ja) 2016-05-11
WO2013186911A1 (ja) 2013-12-19
JPWO2013186911A1 (ja) 2016-02-01
US9888874B2 (en) 2018-02-13
US20150141865A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
CN104363948B (zh) 刺激呈现系统
JP5982483B2 (ja) 生体状態評価装置およびそのためのプログラム
US7890340B2 (en) Method and system for allowing a neurologically diseased patient to self-monitor the patient's actual state
Nakakura Icare® rebound tonometers: review of their characteristics and ease of use
JP5828111B2 (ja) 心理状態評価装置、心理状態評価システムおよびプログラム
JP5386594B2 (ja) 生体光計測装置
KR20190019180A (ko) 시각적 프로세싱 및 지각 상태들을 포함하는 신경학적 상태들의 평가 및 수정을 위한 증강 현실 디스플레이 시스템
JP2009508553A (ja) 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
US20130096397A1 (en) Sensitivity evaluation system, sensitivity evaluation method, and program
JP2020168415A (ja) 検出装置
KR20180103517A (ko) 정신건강 향상과 두뇌 인지기능 회복을 위한 브레인 마사지 기능이 탑재된 안마의자
Silvestrini The effort-related cost of implicit pain.
JP2013054447A (ja) 気分改善システムおよび気分改善方法
US20190358427A1 (en) System and method for monitoring personal health and a method for treatment of autonomic nervous system related dysfunctions
JP2004298615A (ja) 方略獲得測定装置及び方略獲得測定方法
KR20080039805A (ko) 뉴로 피드백 장치 및 방법
Andruccioli et al. Arousal effects on fitness-to-drive assessment: algorithms and experiments
Fagerholm et al. Biometric measurement in software engineering
Floreani et al. A pediatric near-infrared spectroscopy brain-computer interface based on the detection of emotional valence
KR101410311B1 (ko) 생체 정보를 이용한 적성 정보 생성 장치 및 방법
WO2023127930A1 (ja) 感情推定装置及び感情推定モデル生成方法
Vorreuther et al. It takes two (seconds): decreasing encoding time for two-choice functional near-infrared spectroscopy brain–computer interface communication
WO2024058141A1 (ja) 誘導装置、誘導方法及び誘導プログラム
İnan et al. Pupil dilation in time perception
Kikuchi et al. Effect of Omitting Offset Work on Functional Near-Infrared Spectroscopy: Comparison Between Keyboard and Voice Response

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824

CF01 Termination of patent right due to non-payment of annual fee