CN101080752B - 信息处理系统、信息处理装置及方法 - Google Patents

信息处理系统、信息处理装置及方法 Download PDF

Info

Publication number
CN101080752B
CN101080752B CN2006800011141A CN200680001114A CN101080752B CN 101080752 B CN101080752 B CN 101080752B CN 2006800011141 A CN2006800011141 A CN 2006800011141A CN 200680001114 A CN200680001114 A CN 200680001114A CN 101080752 B CN101080752 B CN 101080752B
Authority
CN
China
Prior art keywords
user
input
reliability
control part
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006800011141A
Other languages
English (en)
Other versions
CN101080752A (zh
Inventor
足立信夫
森川幸治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101080752A publication Critical patent/CN101080752A/zh
Application granted granted Critical
Publication of CN101080752B publication Critical patent/CN101080752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/377Electroencephalography [EEG] using evoked responses
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/06Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers
    • G09B7/08Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying further information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Pathology (AREA)
  • Dermatology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种信息处理系统,在不介入用户的主观评价的前提下,客观地评价自信度,并根据该评价决定输出的内容。该信息处理系统,具备:输入部,接受用户的输入;信号检出部,测量与用户脑电波的事件关联电位有关的信号;判定部,根据接受输入后的规定期间中的事件关联电位的阴性移位量,判定用户对输入的自信度;控制部,根据自信度,决定要提示给用户的内容;以及输出部,向用户提示决定的内容。

Description

信息处理系统、信息处理装置及方法
技术领域
本发明,涉及一种向用户提供信息和服务的技术。更为具体地讲,本发明涉及一种利用用户的脑电波等生物信号,选择并提供适当信息和服务的机器、方法及在该种机器中运行的计算机程序。
背景技术
近年来,提示问题、接受用户输入回答并评价正误的学习系统的开发不断进展。在学习系统中,要提高学习效率,就需要高精度地推断用户学习时的理解度。这是因为如果能够高精度地推断用户的理解度,就可以按照其理解度提示问题,适当调整对回答输出怎样的内容即可的反馈内容。
在上述学习系统中,自信度是推断用户理解度时重要的信息之一,它表示用户是以多少自信来回答问题的。为了测定自信度,目前已研究了多种方法。
例如,专利文献1已经公开了一种在问题级别等条件输入后会自动选择习题的学习系统。该学习系统在学习时会以问卷调查方式向用户收集对各种问题的主观评价,测定用户自信度。然后,学习系统会根据该自信度和解答的正误结果,推定用户理解度,按照用户理解度,选择习题并出题。
此外,专利文献2也公开了一种基于生物信息的用户状态推定技术。在专利文献2中,将用户对机器动作的预期与实际机器动作之间产生差异时的用户状态被定义为预期偏离。然后,机器将表现在事件关联电位中的预期偏离信号成分(阳性成分)作为指标,检测出用户的预期偏离状态。由于在机器没有对有自信的操作做出预期动作时会出现预期偏离的信号成分,所以,使用该信号可以测定对操作的自信度。上述机器可以充分发挥事件关联电位的特长,在回答输入后,立即(600ms左右)检测出用户的预期偏离状态,实现交互式的服务的变更。
专利文献1:国际公开WO2003/050782号册
专利文献2:国际公开WO2005/001677号册
在专利文献1记载的学习系统中,用户回答问卷是不可缺少的,这会有碍于用户集中精力对待课题,对用户来说是不胜其烦的负担。此外,由于用户自信的主观评价会因为各种原因而影响到结果,再加上动作行为的余地很大,所以用户的自信度有可能无法正确表现。
此外,在专利文献2记载的机器中,由于使用从机器的输出时刻算起约600ms出现的预期偏离信号成分,所以只能变更已经输出了的内容。也就是说,该机器无法调整在预期偏离信号成分出现前的时间点所输出的内容。
发明内容
本发明的目的在于不介入用户的主观评价,而是客观地评价自信度,并根据该评价决定输出的内容。
本发明的信息处理系统具备:输入部,接受用户的输入;信号检出部,测量与用户脑电波的事件关联电位有关的信号;判定部,根据接受上述输入后的规定期间中的上述事件关联电位的阴性移位量,判定上述用户对上述输入的自信度;控制部,根据上述自信度,决定要提示的内容;和输出部,提示决定的上述内容。
上述输出部可以向上述用户提示问题,上述输入部将上述用户对上述输出部输出的问题的回答作为上述输入并接受,上述控制部根据上述自信度,决定上述问题或者与其正确答案相关的信息提示,上述输出部在上述规定期间经过之后提示上述信息。
上述判定部,可以从接受上述输入的时间点算起大约2000毫秒为止的期间作为上述规定期间,判定上述用户的自信度。
上述信息处理系统,还可具备:存储与上述问题及其正确解答有关的信息的数据库,上述控制部可以参照上述数据库,判定上述用户回答的正误,根据上述用户的自信度和上述正误的判定结果,选择上述问题或者与其正确答案有关的信息。
上述数据库储,可存有与上述正确答案有关的多个提示的信息,上述控制部,可根据上述用户的自信度和上述正误的判定结果,切换并选择上述提示。
上述控制部,可根据上述用户的自信度和上述正误的判定结果,输出表示用户理解度的信息。
上述事件关联电位的阴性移位量,与阴性移位的波形的斜率具有对应关系,上述判定部,保持有从与有自信对应的阴性移位斜率值、到与无自信对应的阴性移位斜率值之间所包含的阈值,对取得的上述事件关联电位的波形斜率与上述阈值进行比较,将上述波形斜率比上述阈值小的情况判定为有自信,将比上述阈值大的情况判定为无自信,将表示判定结果的信息输出给上述控制部。
上述事件关联电位的阴性移位量,与阴性移位波形的斜率具有对应关系,上述判定部,具有保持有事先通过实验取得的第1数值群和第2数值群的表,第1数值群表示与有自信对应的阴性移位斜率,第2数值群表示与无自信对应的阴性移位斜率,根据取得的上述事件关联电位的波形的斜率值、与上述第1数值群的马氏距离,以及取得的上述事件关联电位的波形的斜率值与上述第2数值群的马氏距离,将表示判定结果的信息输出给上述控制部。
上述信息处理系统,还具备将输入的内容以及与上述信息处理系统的功能有关的说明对应起来并存储的数据库,上述控制部,根据上述自信度参照上述数据库,选择与上述用户的输入相对应的说明,上述输出部,在上述规定期间经过之后提示选定的上述说明。
上述判定部,可将从接受上述输入的时间点算起大约2000毫秒为止的期间作为上述规定期间,判定上述用户对上述输入是否有自信。
当上述判定部判定为上述用户没有自信时,上述控制部参照上述数据库。
上述数据库中,对1个输入内容对应存储有多个说明的候补,上述控制部,选择上述多个说明的候补的至少一个。
上述数据库中,对上述多个说明的候补设定了顺序,上述控制部,按照上述顺序选择上述多个说明的候补。
上述输出部提示上述说明之后,上述输入部,进一步从上述用户接受输入,上述控制部,根据进一步接受的上述输入,指示功能执行。
本发明的信息处理装置,与接受用户输出的输入装置、向上述用户提示信息的输出装置、以及测量与用户脑电波的事件关联电位有关的信号的信号检出装置连接,具备:判定部,根据接受上述输入后的规定期间中的上述事件关联电位的阴性移位量,判定上述用户对上述输入的自信度;和控制部,根据上述自信度,决定向上述用户提示的内容,在上述规定期间经过之后,将决定的内容发送给上述输出部,上述输出部,提示上述内容。
本发明的信息处理方法,包含:接受用户的输入的步骤;测量与用户脑电波的事件关联电位有关的信号的步骤;根据接受上述输入后的规定期间中的上述事件关联电位的阴性移位量,判定上述用户对上述输入的自信度的步骤;根据上述自信度,决定向上述用户提示的内容的步骤;以及,提示决定的上述内容的步骤。
本发明的计算机程序,可以在计算机上执行,可以记录在记录介质上。上述计算机程序,在上述计算机上执行:接受用户的输入的步骤;测量与用户脑电波的事件关联电位有关的信号的步骤;根据接受上述输入后的规定期间中的上述事件关联电位的阴性移位量,判定上述用户对上述输入的自信度的步骤;根据上述自信度,决定向上述用户提示的内容的步骤;以及,提示决定的上述内容的步骤。
根据本发明,可以根据接受回答后的规定期间中的事件关联电位的阴性移位量,判定用户对回答的自信度。然后,根据判定的自信度,适当选择输出的内容。由于输出并不是仅依靠回答来决定,而是在考虑用户的心理状态后决定输出,所以可以对每个用户提供最适合的输出。
例如,在提示问题、接受用户输入回答并评价正误的学习系统中,用户对回答的自信度可以自动推定,可以按照推定的自信度事先变更反馈内容。这种学习系统可以根据用户的自信度和回答的正误,在无自信但回答正确的情况下,提示有关正确答案的信息,例如对问题的详细说明,而不是显示“○”作为正误评价。由此,学习效果会有飞跃式地提高。
附图说明
图1是表示本实施方式的服务提供系统5的构成例的图。
图2是表示本实施方式下的服务提供系统5的功能块的构成的图。
图3是表示通过预备调查得到的、存放有与有自信/无自信有关的阴性移位斜率值的表的图。
图4是表示与问题DB53存储的问题有关的数据的具体例的图。
图5是表示提示DB300存储的提示的具体例的图。
图6是表示按照回答的正误和自信度选择的处理内容的图。
图7是表示服务提供系统5的处理步骤的流程图。
图8是表示编入了输入再次回答的处理的服务提供系统5的处理步骤的流程图。
图9是表示实施方式2的服务提供系统15的功能块的构成图。
图10是表示判定表的例子的图。
图11是表示存放在结果存储DB400中的结果表的例子的图。
图12是表示实施方式2的服务提供系统15的处理步骤的流程图。
图13是表示将理解度规定为加权系数的判定表的例子的图。
图14是表示实施方式3的服务提供系统25的功能块的构成图。
图15(a)和(b)是表示自信检出型服务提供装置26是DVD录像机的情况下的帮助DB650的例子。
图16是表示实施方式的服务提供系统25的处理步骤的流程图。
图17(a)是表示实验步骤的概要的图,(b)是1次试行的步骤流程图。
图18是表示测定被测者脑电波的电极贴付位置的图。
图19是表示将10名被测者的实验数据以回答输入为起点求和取平均后的事件关联电位的波形图。
图20是表示对阴性移位斜率进行阈值处理并识别自信度的步骤流程图。
图21是表示根据马氏距离识别自信度的步骤流程图。
图中:1、2、26-自信检出型服务提供装置,3-RAM,4-计算机程序,5、15、25-服务提供系统,10-用户,12-中央处理部(CPU),50、500、600-机器动作控制部,51-输入部(鼠标器),52-输出部(显示器),53-问题DB,100-生物信号检出部,200-用户状态判定部,300-提示DB,400-结果存储DB,650-帮助DB。
具体实施方式
下面,参照附图,对本发明的信息处理系统及信息处理装置的实施方式进行说明。
本申请的发明者们发现:用户对回答的自信度表现在从回答输入到正误评价显示这一时间带的、事件关联电位SPN成分(阴性成分)上。具体讲就是,本申请的发明者们看到:用户的自信度可以在接受回答后的规定期间中,根据事件关联电位的阴性移位量来判定。
上述“事件关联电位”(event-related potiential:ERP)是脑电波的一部分,是与外在或内在事件时间关联而产生的脑的瞬时性电位变动。另外,上述SPN成分,是指在构成事件关联电位的各种波形成分中、被称为SPN(Stimulus-Preceding Negativity)的内因性成分。该内因性成分,是出现在具有反馈刺激等信息的刺激之前的阴性缓电位。更为详细地讲,内因性成分与依赖于外界感官刺激的被动性外因诱发电位不同,它被认为是反映并改变被测者对于外界刺激(事件)的认识态度(对课题的动机形成程度)的内因性电位。
下面,参照图17至图21,首先,对本申请发明者们进行的事件关联电位的测量实验进行说明,表示的是,用户对所出问题的自信度,体现在从回答输入到正误评价被显示这一期间中的事件关联电位的波形成分中。之后,参照图1至图21,对本发明的实施方式进行说明。
1.事件关联电位的测量实验
图17(a)是表示实验步骤的概要的图。该实验由以下步骤组成:向被测者提示问题(步骤A),被测者看到该问题后进行思考并联想必要的行动,然后操作机器(步骤B),向被测者反馈该操作结果的正误(步骤C)。
实验前向被测者传达如下指示:“问题及4个选项将同时在显示器上显示。回答不限时间,请仔细思考。接下来请在另一张纸上记下自信度。请标出考虑后认为是绝对错误的选项,并从绝对正确、大概正确、大概不正确、绝对不正确中选出一个对该问题的自信度。问题的选项A~D与键盘的A~D相对应。记下自信度后,请将手指放在预备要回答的按键上,将视线移至显示器的固视点,呼吸一下,然后看着固视点并按键。回答是否正确的结果将在按键后2秒钟后以○、×显示出来。作为结果的○、×将会显示2秒钟。在这一期间,请不要将视线移开固视点。○、×的显示消失后,再过2秒钟,下一问题将会出现。以下,直至第60题,将重复同样过程。”
接下来,说明具体的实验步骤。图17(b)是表示试行1次的步骤流程图。在画面上提示问题和4个选项(S1101),被测者看到该提示后思考哪个选项是正确选项,将自信度记在另一张纸上(S1102),决定对应键盘,按下按键(S1103)。以被测者输出回答的时间点为起点,测定被测者脑电波的事件关联电位(S1104)。在接受被测者输入回答的2000毫秒(ms)后(S1105),根据被测者回答的正确与否,显示“○”“×”(S1106)。对从被测者输入回答到正误结果反馈为止的事件关联电位进行处理,判定被测者的自信度(S1107)。
图18表示用于测定被测者脑电波的电极的贴付位置。该贴付位置遵循国际10-20法,作为用于明确位置关系的参考,图18表示了被测者的鼻120、左耳121和右耳122。在图18上,与左耳121和右耳122等距离、通过鼻120的正中央线上的电极上被附加“z”。
用来测定事件关联电位的电极,贴在1)Fz:正中央前头、2)Cz:正中中心、3)Pz:正中头顶、4)EOG:右眼上、5)6)A1、A2:两耳、7)身体接地、(Z):鼻根部。设取样频率为200Hz,带通滤波器为0.16-20Hz。
在解析实验数据时,使用0.05~10Hz的带通滤波器,基线校正使用回答输入前的200ms至0ms的波形。此外,在本实验中,为了防止因眨眼而导致的噪声混入,同时测量眼电(EOG),对于EOG成分的振幅在100μV以上的试行,由于眼电会造成噪声混入,所以通过求和取平均值将其除外。
图19是表示将10名被测者的实验数据以回答输入为起点求和取平均值后的事件关联电位的波形图。图线的横轴是距离回答输入的时间,单位表示为ms。回答输入时刻是0ms,正误评价提示时刻是2000ms。图线的纵轴是电位,单位为μV。另外,对于图线的纵轴来说,向上的方向表示负;向下的方向表示正。
图19的图线所表示的2个波形是根据记载在另一张纸上的自信度,将绝对正确视为“有自信”,将绝对不正确视为“无自信”,然后分别求和取平均值而得到的。粗线是“有自信”的波形,也就是表示用户有自信地回答时的波形。细线是“无自信”的波形,也就是表示用户无法有自信地回答时的波形。相加的次数分别为246次、135次。
不论哪一个波形,都在从回答输入时刻(0ms)到正误结果反馈提示时刻(2000ms)这一时间带中缓缓向阴性平移。也就是说,该波形是表示SPN成分的波形。
此外,比较图19所示的“有自信”波形和“无自信”波形,可知从回答输入到正误评价提示,SPN成分的阴性移位量很大。因此可以判断:测量SPN成分往阴性的偏移量,就可以测出用户的自信度。
另外,已知SPN成分,在执行反馈被测者的按键时间是否是指定秒数的时间评价课题,和打赌是否可以得到报酬的打赌课题时,在从行动到成绩反馈的时间带上会出现平缓的阴性移位;在金钱报酬满足某一条件时,阴性移位的幅度会增大(参照例如论文:“是信息还是情动?-信息量和报酬对先行刺激的阴性电位(SPN)的影响-”(生理心理和精神理学Vol.19,No.3.2001))。
但是,在时间评价课题和打赌课题的实验条件中,一般并不清楚行为对应的自信度。因此,至今还完全没有掌握SPN成分会跟随自信度如何变化,构想不出它们的相关性。
像通过上述实验所明确的那样,用脑电波仪测量的事件关联电位的SPN成分,会因被测者对问题自信度的不同而存在明显差别。因此,上述事件关联电位可以作为“自信度”用于用户状态的判定上。可以认为本申请发明者们已经基于全新的构想,发现SPN成分是会因自信度的不同而变化。
2.事件关联电位的波形识别
这里,说明基于事件关联电位波形,判别用户对回答的自信度的方法。一般认为,由于事件关联电位的振幅与背景脑电波相比很小仅为1/10,所以仅仅使用对电位波形进行阈值处理等方法来进行识别是很困难的。另一方面,如图19所示,可以看到在直至正误结果被提示的较长时间里,表示自信度的事件关联电位的波形是持续且和缓地向阴性方向偏移。由此可以认为:只要将1个或多个特定时刻下的阴性移位量设为指标,就可以判定自信度。
但是,像容易从波形推测的那样,在从用户回答输入后到正误结果提示的期间里,事件关联电位的波形有可能近似于直线。而且,由于阴性移位量与近似直线的斜率之间存在比例关系,所以,以下规定:利用朝阴性的波形的斜率(阴性移位斜率),来判别自信度。
图20的流程图,是表示对阴性移位斜率进行阈值处理并识别自信度的步骤(处理a)。以下,按顺序说明处理a的各个步骤。另外,从流程图所示可知,上述识别处理表示了基于计算机程序的处理步骤。该计算机程序被存放在例如图2等记载的装置内,由该装置的中央处理部(CPU)执行。后面将对这种装置及包含该装置的信息处理系统进行详述。
首先,以回答输入的时间点为起点,对脑电波的电位变化进行取样(S1301)。作为取样频率,例如有200Hz、500Hz、1000Hz等。
接着,除去取样的电位变化波形中的噪声(S1302)。例如,使信号通过0.16-20Hz的带通滤波器,滤除混入信号中的低频波·高频波成分。此外,从识别对象中除去EOG振幅为100μV以上的波形,减小因眨眼或眼球移动而带来的影响。
接着,根据除去噪声的脑电波的电位变化,截取与检测回答自信度有关的区域的波形(S 1303)。根据上述实验结果可知,回答的自信度是在回答输入后0ms到评价被反馈这一时间带(上述实验是2000ms)中被检出的。因此,例如截取从回答输入后的0ms到2000ms。当然,如图19所示,由于自信度在回答刚输入后会出现波形的差异,所以,截取范围并非仅限于此,只要是到反馈提示为止的时间带,例如也可以设定为回答输入后的200ms到700ms、300ms到1500ms等。
接着,计算信号的阴性移位斜率(S1304)。斜率计算一般可以使用最小二乘法。例如,下列数式1是表示对波形进行一次近似时的一次直线斜率的计算式。
[数式1]
α = ( xy ‾ - x ‾ * y ‾ ) ( x 2 ‾ - x ‾ 2 )
数式1中的a,表示所求电位阴性移位的斜率,x、y表示分别截取的波形在取样时刻的数据,是每次取样的电位值。上划线表示平均值。
然后,将信号的阴性移位的斜率与阈值进行比较(S1305)。在上述实验中,对被测者10人的有自信/无自信的各个阴性移位斜率的平均值进行平均而求出的阈值是-0.004。在实际使用时,为了决定阈值,也可以事先进行预备调查,求出用户(学生)群的有/无自信的各个阴性移位斜率的平均值。阈值的决定方法并不仅限于此,例如也可以在有自信/无自信的其中一方加权进行设定。当然,也可以针对用户个体决定阈值。
当信号的阴性移位斜率比阈值小时(在S1305是Yes),则判定用户是自信地回答了问题(S1306)。而当斜率比阈值大时(在S1305是No),则判定用户无自信地回答了问题(S1307)。另外,在从回答输入到成绩反馈的时间带上,事件关联电位缓缓地向阴性移位。因此,在斜率值变负且小于阈值的情况下,意味着阴性移位量增大。
使用处理a情况下的有自信/无自信的识别率是55%。这显示出:在事件关联电位的S/N较低,不但每次试行的识别很难,而且由于有自信和无自信的波形都是以回答输入为起点向阴性移位,所以倾向类似导致判别更难的这一状态下,能够判别自信度的可能性,此外,整体识别率虽然是55%,但由于将无自信误判为有自信的这种学习状况下的严重误判的比例是15%左右,所以应用对阴性移位斜率进行阈值处理的处理a的自信度判定,可以在学习状况下利用。
但是,为了进行更高精度的自信度判定,不单是对阴性移位斜率进行阈值处理,还要根据每次试行中所有被测者的有自信/无自信的阴性移位的斜率,事先做出有自信/无自信的各个分组,利用马氏距离(Maharanobisdistance),利用判别率进行判别。马氏距离,是表示将数据的方差·协方差考虑在内的距分组重心的距离。利用马氏距离的判别要与单纯依靠阈值处理的判别相比,识别能力更强,这一点时公知的。下列数式2表示马氏距离的计算式。
[数式2]
D 1 2 ( x 1 , x 2 ) = ( x 1 - x 1 ( 1 ) x 2 - x 2 ( 1 ) ) s 11 ( 1 ) s 12 ( 1 ) s 21 ( 1 ) s 22 ( 1 ) - 1 x 1 - x 1 ( 1 ) x 2 - x 2 ( 1 )
D 2 2 ( x 1 , x 2 ) = ( x 1 - x 1 ( 2 ) x 2 - x 2 ( 2 ) ) s 11 ( 2 ) s 12 ( 2 ) s 21 ( 2 ) s 22 ( 2 ) - 1 x 1 - x 1 ( 2 ) x 2 - x 2 ( 2 )
数式2中的D1 2,是测得的电位阴性移位斜率与无自信的分组(group)的马氏距离的平方。这里,x1是(无自信时的阴性移位的斜率)、x2是(有自信时的阴性移位的斜率)、x1 (1)是(无自信的分组在无自信时的阴性移位的斜率的平均值)、x2 (1)是(无自信的分组与有自信的分组的阴性移位的斜率的平均值)、s是(无自信分组的方差协方差行列式)。同理可以求出D2 2(与有自信分组的马氏距离的平方)。
图21的流程图,表示根据马氏距离识别自信度的步骤(处理b)。该处理也还是与图20的流程图同样,作为基于计算机程序的处理步骤来实现。进行与图20相同处理的步骤被附加相同的符号,省略其说明。
首先,步骤S1301至步骤S1304,与图20的处理相同。
接下来,根据所有被测者的有自信/无自信的各个阴性移位的斜率,计算事先做成的模板与每一次试行中的阴性移位斜率之间的马氏距离(S1401)。根据算出的马氏距离,判别信号波形接近有自信与无自信中哪一个模板(S1402)。
处理b的有自信/无自信的识别率为62%,比处理a进一步提高了7%。在处理a中已经提到,在学习状况下,上述识别率可以得到充分利用。所以,通过该处理b也显示出:根据从回答输入到成绩反馈这一时间带的事件关联电位,可以识别对回答的有/无自信。
此外,也可以采取其他方法来代替利用阴性移位斜率进行识别,或者,也可以在利用阴性移位斜率的同时采取其他方法来进行识别。例如,可以如专利文献1所记载的那样,制作针对被测者个体的有自信/无自信的各个信号成分的模板,利用与做成模板的马氏距离进行判定。此外,还可以根据从回答输入到反馈提示的时间带的信号成分的振幅最小值进行判定。
3.本发明实施方式的系统构成
下面,说明根据本发明的信息处理装置和系统的实施方式。根据本实施方式的信息处理装置和系统,利用用户脑电波的事件关联电位中的SPN成分,自动推定用户对回答的自信度。该推定在用户输入回答之后且向用户输出结果等之前进行。上述系统和装置按照推定的自信度,对用户提示内容。
由于一开始提示的信息内容已经适合于各个用户,所以提示偏离用户期待的信息的机会将大大减少。所以,用户总可以得到适合于自己的服务。以下,将这种信息处理系统称为“服务提供系统”。
首先,参照图1,说明服务提供系统的具体例,然后参照图2至图8,说明服务提供系统的一般构成及其动作。
图1表示本实施方式的服务提供系统5的构成例。服务提供系统5具有:自信检出型服务提供装置1(以下记述为“服务提供装置1”)、鼠标器51、显示器52和生物信号检出部100。
现在,以服务提供系统5被构建成学习系统时为例进行说明。所谓“学习系统”,是指服务提供装置1向用户10提问,并接受用户10的回答,之后对用户反馈正误评价等的系统。
当服务提供装置1向显示器52输出问题后,用户10操作鼠标器51,对输出的问题输入回答。
服务提供装置1接受回答后,取得由生物信号检出部100测量的表示用户脑电波的事件关联电位的信号(脑电波信号)。设本实施方式的生物信号检出部100是头戴式脑电波仪,可通过无线方式向服务提供装置1发送检出的脑电波信号。该脑电波仪中配置有电极,当用户10将脑电波仪带在头上时,该电极会接触到其头部的规定位置。
在电极的配置,是与参照图17至图21说明的实验条件相同的电极配置的情况下,图18所示的Pz是(正中头顶)、A1、A2是(两耳)及用户10的鼻根部。但是,电极最少只要有2个即可,例如只用Pz和A1就可以测量电位。上述的电极位置,由信号测定的可靠性和安装的便利性决定。其结果,生物信号检出部15,可以测定用户10的事件关联电位。
服务提供装置1,在接受回答后的规定期间中,例如在以回答输入时为起算点的2000ms以内的期间中,根据事件关联电位的阴性移位量,判定用户10对于回答有无自信。应该注意的是,上述“规定期间”,是指对用户10做出正误评价反馈前的意思。
然后根据有无自信,选择与该问题或解答有关的信息,例如选择回答的正误、提示。服务提供装置1将选择的信息显示在显示器52上。显示的时机,是在上述规定期间经过以后。用户在该时间点首次接受一些对回答提供的某些信息。
上述处理的结果是,用户10在回答输入后,如果是有自信,则会被只提示正误结果;如果是无自信且回答错误,则会被提示与该问题有关的提示,回答正确时也可以接受该问题的解法等提示。由此可以实现有效的学习。
4.实施方式1的系统的详细构成
图2表示本实施方式下的服务提供系统5的功能块的构成。图2还详细表示了服务提供装置1的功能块。为便于说明,还表示出用户10的组块。
服务提供装置1以有线或无线的方式与输入部51、输出部52和生物信号检出部100连接,进行信号的接收和发送。虽然在图2中,输入部51、输出部52和生物信号检出部100与服务提供装置1是不同个体,但这只是一个例子。也可以将输入部51、输出部52和生物信号检出部100的一部分或者全部设置在服务提供装置1以内。
输入部51从用户10处接受对服务提供装置1的指示或对所提问题的解答。输入部51虽与图1的鼠标器相对应,但也还另外包含键盘、声音输入装置等。输出部52是接受来自服务提供装置1的信号,显示基于该信号的内容,例如对用户10的问题或正误判定结果、提示的装置。输出部52虽与图1的显示器相对应,但也另外包含扬声器等。
生物信号检出部100是检出用户10的生物信号的脑电波仪,测量脑电波作为生物信号。用户10事先佩戴脑电波仪。为了能在计算机上处理,测得的用户10的脑电波会被取样并输送到用户状态判定部200。
下面,说明服务提供装置1的详细构成。
服务提供装置1,作为执行后述处理的计算机系统实现。服务提供装置1包含:RAM3、计算机程序4、中央处理部(CPU)12、问题数据库(问题DB)53和提示数据库(提示DB)300。
CPU12,通过执行存放在RAM3中的计算机程序4,实现符合该程序的处理顺序的功能。本实施方式中,CPU12作为机器动作控制部50和用户状态判定部200动作的。
这时利用的计算机程序可以是1个,也可以是2个以上不同的程序。计算机程序作为产品将记录在CD-ROM等记录介质上在市场上流通,或者通过互联网等电子通信线路传送。另外,机器动作控制部50和用户状态判定部200,也可以通过在半导体电路上装载计算机程序的DSP等硬件来实现。
机器动作控制部50具有以下功能:
(1)参照问题DB53,决定要提示的问题并进行输出的功能;
(2)通过输入部51,接受用户10的回答输入,并根据问题DB53判定回答正误的功能;
(3)根据用户状态判定部200所判定的用户自信度信息,参照提示DB300,决定反馈内容并进行输出的功能。
关于这些功能的详细说明,将在说明问题DB53和提示DB300之后详述。
另一方面,用户状态判定部200,具有:根据脑电波的事件关联电位,判定用户10的自信度的功能。
可以认为自信度的判定方法是多种多样的。例如,可以是:用户状态判定部200将阴性移位斜率设为指标,与事先决定的阈值进行比较。并且,在阴性移位斜率小于阈值的情况下,判定为有自信;在阴性移位斜率大于阈值的情况下,判定为无自信。
上述阈值,可以使用由上述的学习状况下的事件关联电位的测量实验而算出的-0.004。此外,也可以事先进行测量学习时事件关联电位的预备调查,对用户(学生)群的有/无自信的阴性移位斜率进行平均并使用所得到的值,也可以通过对每个人求出阴性移位斜率而算出。此外,为了使阴性移位斜率精准,可以在学习问题中适当编入一般来说非常简单的问题(例如算术中的一位数+一位数等)和一般来说非常困难的问题(例如无例题的密码解读等),将它们分别作为有自信和无自信的阴性移位斜率来决定阈值;也可以使系统学习所决定的阈值,适当更新阈值。不论是哪一个阈值,都是有自信的阴性移位的斜率值到无自信的阴性移位的斜率值之间的数值。阈值被例如保持在用户状态判定部200中。
另外,作为其他判定方法,用户状态判定部200还可以通过计算马氏距离来判定有自信/无自信。在使用该判定方法时,使用构成基准的表。例如,图3表示通过预备调查得到的、存放了有关有自信/无自信的阴性移位的斜率值的表。该表保持在用户状态判定部200内。在表中,对于每次试行,对应有自信的值和对应无自信的值被分别作为有自信群/无自信群分类。
用户状态判定部200,在根据用户10的事件关联电位求出阴性移位斜率值后,计算该斜率值与表中的有自信群的值的马氏距离a、和该斜率值与表中的无自信群的值的马氏距离b。马氏距离可以通过数式2所示的算式求出。然后,在马氏距离a与b中间,如果a小则判定为有自信;如果b小则判定为无自信。
问题DB53和提示DB300,是例如构建在硬盘驱动器上的数据库。该硬盘驱动器可以是1个,也可以是多个。
问题DB53存储了问题、正确答案、问题的重要度等与问题有关的数据。图4是表示与问题DB53存储的问题有关的数据的具体例。在“问题”栏中,问题序号之后显示问题,其后排列了4组作为选项名的罗马字和选项内容。
提示DB300存储了各种与问题DB53相对应的与提示等相关的信息。图5表示提示DB300存储的提示的具体例。内容被大体分为有自信和无自信。存放了以下信息:有自信且回答错误时采用的与各回答选项相对应的信息;无自信且回答正确时采用的、为解说做到正确解答而显示的信息;以及,与无自信且解答错误时选择的提示有关的信息。
这里,详细说明上述机器动作控制部50的动作。
机器动作控制部50,参照问题DB53决定接下来要提示的问题。此外,根据用户状态判定部200所判定的用户自信度、和由输入部51接受用户10的回答输入后判定的回答的正误,例如根据图6所示的表,变更反馈内容。
以下,参照图6进行具体说明。图6表示按照回答的正误和自信度而选择的处理内容。设当前用户10对图4中的问题2的回答是选项A,是错误的回答。
这时,如果被判定的用户10的自信度表示为“有自信”,那么就是回答错误且有自信,机器动作控制部50根据图6选择提示“回答选项的信息”的处理。机器动作控制部50参照提示DB300,将与用户10回答的选项A相关的信息,例如图5的“回答选项的信息”栏中所记载的“A:三代将军、将轮流晋见制度化”提示出来。
此外,如果用户10的自信度是“无自信”,那么就是回答错误且无自信,机器动作控制部50根据图6选择提示出“提示的显示”的处理。作为提示,机器动作控制部50参照提示DB300,将图5的“提示”栏中所记载的“被称为犬公方”提示出来。
另一方面,设用户10对图4中的问题2的回答是选项C,是正确的回答。这时,如果被判定的用户10的自信度是“无自信”,那么用户10就是回答正确且无自信,机器动作控制部50根据图6选择提示“正确答案的信息”或“正确答案的理由”的处理。机器动作控制部50,参照提示DB300,将图5的“正确答案的相关信息”栏中所记载的“五代将军,认为独子之死是…”提示出来。
最后,如果用户10的自信度是“有自信”,那么就是回答正确且有自信,因此机器动作控制部50根据图6显示正误评价结果“○”。
5.实施方式1的服务提供系统的处理
下面,参照图7的流程图,说明图2的服务提供系统5中进行的整体处理的流程。
图7表示服务提供系统5的处理的步骤。
步骤S 101中,机器动作控制部50,首先从问题DB53所存放的问题中选择接下来要出的问题,然后将所选问题送往输出部52。输出部52提示该内容。选择问题的基准,例如图4所示的那样,从重要度高的问题开始,各问题的重要度被存放在问题DB53中。
在接下来的步骤S102中,用户10对步骤S101提示的问题作出回答。该回答通过输入部51输入到机器动作控制部50。回答的输入,成为用户状态判定部200取得必要的事件关联电位时的触发(trigger)。
在接下来的步骤S103中,机器动作控制部50,将输入部51接受的回答与问题DB53中保存的对问题的正确解答进行比较,判定用户回答的正误。当回答正确时进行入步骤S104;当回答错误时进行入步骤S105。
在步骤S104中,用户状态判定部200以输入部51接受回答输入的时刻为起点,取得事件关联电位,判定用户10回答的自信度(有无自信)。用户状态判定部200将判定结果输出到机器动作控制部50。步骤S105也进行相同处理。
在步骤S104中,当判定为有自信时则进行入步骤S106;当判定为无自信时则进行入步骤S107。步骤S105也是同样,用户状态判定部200判定自信度并输出判定结果,然后,在有自信时进行入步骤S108;在无自信时进行入步骤S109。
从判定后接下来执行的步骤S106到步骤S109,都是机器动作控制部50基于用户10的回答和自信度、选择对用户的反馈内容并通过输出部52进行输出的处理。
关于上述反馈内容的输出,应该留意的是其时机。也就是说,就像从图19的波形中可以理解的那样,要想根据事件关联电位判定自信度,需要从步骤S102的回答输入到步骤S 106~S 109的反馈内容输出之间,设置大约1000ms的时间差。换言之,服务提供装置1会在从回答输入起大约1000ms的期间里,取得事件关联电位,判定有无自信,选择应反馈的内容。然后,在该期间过后,将所选的信息内容对用户输出。
另外,输出时机的调整可以由机器动作控制部50进行,也可以由输出部52进行。例如,如果机器动作控制部50动作为在上述期间过后对输出部52输出信息,那么用户就肯定会在上述期间过后确认反馈内容,上述输出时机就会得到遵守。
下面,说明步骤S106到步骤S109的各个处理。在步骤S106中,机器动作控制部50通过输出部52显示正误评价结果,也就是说仅仅显示表示正确的“○”。在步骤S107中,机器动作控制部50参照提示DB 103,通过输出部52显示回答正确的信息和正确的理由,由此,可以使虽然回答正确但没有自信的用户知道为什么回答正确。
另一方面,在步骤S108中,机器动作控制部50参照提示DB103,通过输出部52显示回答选项的信息和问题的提示。此外,在步骤S109中,机器动作控制部50参照提示DB103,显示对问题的提示。看到步骤S108或步骤S109显示内容的用户,可以在能够知道回答错误的同时,进一步掌握虽然对所选回答有自信但还是搞错的理由,或者是找出正确答案的线索。这些都可以认为是与正确答案有关的提示。
在步骤S110中,输入部51从用户接受是否继续学习的指示。当继续学习时,就返回步骤S101,当中止学习时,就结束处理。
另外,在步骤S103判定回答错误的情况下,也可以这样处理:在提示出提示之后,让用户10再次回答同一问题。图8表示编入了输入再次回答的处理的服务提供系统5的处理步骤。它与图7处理的不同点在于设置了步骤S201。也就是说,在步骤S108或步骤S109中提示出提示之后,进入步骤S201。然后,以使用户10能再次回答问题的方式,在步骤S201中动作为等待回答的输入。回答被输入后,处理返回步骤S103,对该回答再次进行处理。
在图8中,除步骤S108、S109和S201之外,其他步骤都与图7的步骤相同。因此,它们被赋予相同的步骤序号,并省略其说明。
如上所述,根据本实施方式的服务提供系统5,通过使用服务提供装置1构成服务提供系统5,可以在正误评价反馈之前自动检测出用户的自信度。而且,由于可以根据用户的自信度和回答的正误,来配合用户的状态事先改变反馈内容,所以,学习效率会大大提高。
例如,在用户很有自信地做出正确解答的情况下,可以不用显示不需要的与问题有关的信息和提示而进行处理。而在用户没有自信地做出回答的情况下,可以仅在需要信息和提示时,不反馈成绩等而将它们提示出来;或者在进行反馈的同时将它们提示出。由此,学习效率会大大提高。
另外,自信度的应用并不仅限于此,也可以根据用户的自信度改变下次出题的级别。例如,通过在自信度低的情况下降低问题级别、在自信度高的情况下提高问题级别等方法,可以给出适合于用户水平的问题。
6.实施方式2的系统的详细构成
接下来说明本发明的实施方式2的服务提供系统和服务提供装置。
实施方式1的服务提供系统5中,判定用户对回答的自信度,并根据该自信度和回答的正确与否选择提示给用户的信息。但是,它对每个问题的处理是独立的,而且即使是相同的问题,也不体现出上次回答的结果来出题。
本实施方式的服务提供系统中,使用与实施方式1系统相同的处理得到用户自信度,并利用它来判别是因“瞎猜”而回答正确、或是因“误解”而回答错误,将其结果存储在数据库中。然后,在下一次出题时会考虑至今为止的结果来选择问题并出题。由此,由于可以将因“瞎猜”而答对的问题特定为没有充分理解的问题,所以,在可以测定用户理解度的同时,通过采取提示复习题等适当措施,来实现高效率的学习。
图9表示本实施方式下的服务提供系统15的功能块的构成。图9还详细表示了服务提供装置2的功能块。另外,为便于说明,表示出了用户10的组块。
与图2相同的构成要素在图9中被赋予相同的符号,并省略其说明。服务提供装置2与图2所示的服务提供装置1的不同点在于,具有执行不同动作的机器动作控制部500,和取代提示DB300而设置结果存储DB400。另外,由于CPU12的实质没有改变,所以被赋予相同的参照符号。
以下,说明机器动作控制部500和结果存储DB400。
机器动作控制部500,在接受用户状态判定部200判定的用户10的自信度信息的同时,判定用户10的回答是否正确。然后,根据自信度信息和正误结果,参照图10所示的判定表,判定用户10的理解度。
图10是表示判定表的例子。该表表示根据回答的正误和自信度而特定的理解度。如下是利用该表的机器动作控制部500的动作。
具体讲就是,如果是用户10回答正确且用户10的自信度表示为“有自信”的情况,那么就可以判断用户已经非常理解。这时的机器动作控制部500,判定为符合判定表的“理解”。此外,如果用户10回答正确且用户10的自信度表示为“无自信”的情况,那么就可以判断用户是因“瞎猜”而答对的。从而,机器动作控制部500,判定为符合判定表的“瞎猜”。由此,即便同样是正确的回答,也可以判别是不是因“瞎猜”而答对的。
另一方面,如果是用户10回答错误且用户10的自信度表示为“有自信”的情况,那么就可以判断用户是因误解而选择了错误答案。这时的机器动作控制部500,判定为符合判定表的“误解”。此外,如果是用户10回答错误且用户10的自信度表示为“无自信”的情况,那么就可以判断为用户没有理解该问题要问的内容。这时的机器动作控制部500判定为符合判定表的“不理解”。
机器动作控制部500,将上述的使用了判定表的判定结果保存在结果存储DB400中。此外,机器动作控制部500,参照问题DB53和结果存储DB400,决定接下来要出的问题。
结果存储DB400,是例如构建在硬盘驱动器上的数据库。结果存储DB400将机器动作控制部500的判定结果存放在结果表中,并保持该表。图11表示存放在结果存储DB400中的结果表的例子。该表中记述了问题被提出1次以上时的、用户对各个问题的理解状况(理解度)。
7.实施方式2的服务提供系统的处理
下面,参照图12的流程图,说明图9的服务提供系统15中进行的整体处理的流程。
图12表示本实施方式的服务提供系统15的处理步骤。与图7相同的处理步骤被附加相同的符号,并省略其说明。首先,步骤S101至步骤S105与图7的处理是相同的。
接下来的步骤S301至步骤S304,都是机器动作控制部500利用图10所示的判定表判定用户10的理解度的处理。
在回答正确且有自信时进入的步骤S301中,机器动作控制部500判定用户10已经“理解”问题。另一方面,在回答正确且无自信时进入的步骤S302中,机器动作控制部500判定为用户10“猜对”了问题。在步骤S301和步骤S302之后,处理进入步骤S307。
在回答错误且有自信时进入的步骤S303中,机器动作控制部500判定用户10“误解”了问题。另一方面,在回答错误且无自信时进入的步骤S304中,机器动作控制部500判定用户10“没有理解”问题。在步骤S303和步骤S304之后,处理进入步骤S306。
在步骤S305中,机器动作控制部500,通过输出部52向用户10反馈用户10的回答是正确的这一情况。例如,输出部52是显示器的情况下,机器动作控制部500只显示表示正确的“○”。
另一方面,在步骤S306中,机器动作控制部500通过输出部52向用户10反馈用户10的回答是错误的这一情况。例如,输出部52是显示器的情况下,机器动作控制部500显示出表示错误的“×”。
但是,就像从图19的波形中可以理解的那样,要想根据事件关联电位判定自信度,需要从步骤S102的回答输入到步骤S305或S306的反馈内容输出之间设置大约1000ms的时间差。
在步骤S307中,结果存储DB400从机器动作控制部500接受判定结果,并保存在结果表中。就判定结果的存储方法而言,例如只要像图11所示的那样,对每个问题都保存表示“理解”、“瞎猜”、“误解”、“不理解”的标签即可。
其结果,可以根据标签,在步骤S101中决定接下来的出题的顺序。例如,可以在结果存储DB400所保存的用户理解度的标签中、按照例如“不理解”、“瞎猜”、“误解”、“理解”的顺序选择问题。
另外,也可以将理解度作为加权系数来保存。例如,图13是表示将理解度规定为加权系数的判定表的例子。该表中,在理解充分(回答正确)时分配加权系数为0.1,在用户10的理解得不充分(“瞎猜”、“误解”、“不理解”)时分配加权系数为3。
这样,通过分配加权系数,就可以在选择复习题时优先选择理解不充分的问题。也就是说,步骤S101在选择问题时,只要从结果表内的数值大的问题起出题,就可以重点处理用户理解不充分的重要问题。加权系数的值,是为了进行复习,使同样问题能被再次选择的几率提高的参数。
另外,也可以附加作为实施方式1构成要素的提示DB300,结合理解度,取代正误评价或在正误评价的同时,对用户10进行提示。
根据本实施方式,通过使用自信检出型服务提供装置,可以自动检出用户对回答的自信度,因此,相对于以往的只能掌握“正确”、“错误”2种状态的回答结果,可以识别出“理解”、“瞎猜”、“误解”、“不理解”这4种状态。由此,对以往被判定为“理解”而放过的“瞎猜”出的正确解答,也可以判定为理解不充分,并提示复习题。由于可以对理解不充分的问题毫不遗漏地采取适当措施,学习效率就会大大提高。
就图11所示的表而言,既可以对多个用户设置1个,也可以对每个用户都设置。在对多个用户设置1个表的情况下,可以特定多数用户理解不充分的问题,所以,引起用户全体对该问题的注意和提示对策等就会变得很容易。另一方面,在对每个用户都设置1个表的情况下,可以根据每个用户的理解度提出极为细致的问题等。不论哪一个例子,所有用户的学习效率都可以大幅度提高。
8.实施方式3的系统的详细构成
接下来说明本发明的实施方式3的服务提供系统和服务提供装置。
实施方式1和2的服务提供系统,是接受文章开始说明的实验结果,被作为学习系统实现。学习系统中,判定回答了学习问题的用户对于回答的自信度,并根据其自信度和回答的正确与否,选择对用户的提示信息。
但是,上述实验结果也可以应用在学习系统以外的其他系统上。例如,如果利用上述实验结果,就可以在用户操作DVD录像机等电子机器时,判定机器动作开始前用户对其操作的自信度。这里所谓的“用户自信度”,是表示为了实行希望的动作,用户是否感觉能够完成对电子机器的操作。从由用户操作而输入指令(下称“操作输入”)到机器动作开始,一般会有1秒左右的时间差,所以,能够利用该时间差,将操作输入作为起点,测量事件关联电位的SPN成分。因此,可以与实施方式1和2同样,根据SPN成分来判定自信度。
如果说明与上述实验的对应的话就是,文章开始说明的实验中的“问题的提示”,对应于用户在操作电子机器时自己设想的期待的机器动作,另一方面,“回答输入”对应通过遥控器按键等进行的操作输入。
按照自信度表示的自信的有无,电子机器可以通过有选择地切换帮助信息的提示与不予提示,来实现与帮助显示有关的服务提供系统。
例如,服务提供系统不对自信度高的操作、即有自信的操作提示帮助或机器动作候补,直接执行与该操作对应的动作。另一方面,对自信度低的操作即没有自信的操作,提示帮助或机器动作候补。由于帮助信息的提示与不予提示会根据自信度而切换,所以,用户无需自发按下遥控器的帮助按键。由此,可以在不增加用户负担的情况下,支援用户的操作输入,提高机器使用的便捷度。
下面,说明作为帮助显示系统而实现的服务提供系统。
图14表示本实施方式下的服务提供系统25的功能块的构成。图14还表示了服务提供装置26的具体的功能块。另外,为便于说明,表示出了用户10的组块。
与图2相同的构成要素在图14中被赋予相同的符号,并省略说明。图14所示的服务提供装置26与图2所示的服务提供装置1的不同点在于,没有问题DB53、具有执行不同动作的机器动作控制部600、和取代提示DB300而设置帮助DB650这几点。另外,由于CPU12的实质没有改变,所以被赋予相同的参照符号。
下面,说明机器动作控制部600和帮助DB650。作为前提的是,用户状态判定部200会通过作为输入部51的遥控器等接受用户10的操作输入,以接受时刻为起点,根据生物信号检出部100中测量的事件关联电位的SPN成分,判定用户的自信度。
机器动作控制部600,从用户状态判定部200接受用户10对操作输入的自信度信息。在接受的信息表示“有自信”的情况下,以让机器动作控制部600按照操作输入的内容进行动作的方式,对服务提供装置26的其他构成要素发出指示。另一方面,在接受的信息显示为“无自信”的情况下,机器动作控制部600参照帮助DB650,取代与操作输入相应的机器动作,提示例如与被输入的操作按键所能实现的功能有关的帮助,。
或者,作为被输入的操作按键可以实现的机器动作,也可以对例如功能上非常相似的机器动作候补,进行“或许是…吧?”之类的提示。也可以提示2种以上的机器动作候补,让用户选择。另外,可以将提示的机器动作候补事先存放在帮助DB650中。可以根据用户的操作履历和喜好等决定候补的顺序。
帮助DB650,是将输入的内容、以及与服务提供系统25的功能相关的说明关联起来存储的数据库。所谓输入的内容,就是例如与操作输入关联而被按下的按键名。此外,服务提供系统25的功能,更具体来说是作为内置HDD的DVD录像机等实现的服务提供装置26的功能。帮助DB650,被构建在例如硬盘驱动器上。对于帮助DB650,可以根据机器动作控制部600的判定结果决定是否对其进行参照。
另外,帮助DB650,也可以对每个与1个操作输入有关的按键名,存储多个机器动作的说明候补。
图15(a)和(b),是表示自信检出型服务提供装置26是DVD录像机的情况下的帮助DB650的例子。图15(a)是表示对每个操作输入按键都提示与操作输入按键有关的帮助时的例子。图15(b)是分别表示对每个操作输入按键提示多个机器动作候补时的例子。
9.实施方式3的服务提供系统的处理
下面,参照图16的流程图,说明图14的服务提供系统25中所进行的整体处理的流程图。
图16表示本实施方式的服务提供系统25的处理步骤。对进行与图7相同处理的步骤S 104附加了相同的符号,并省略其详细说明。
在步骤S401中,用户10通过输入部51输入指示后,服务提供装置26接受该操作输入。
在步骤S104中,用户状态判定部200判定自信的有无。当用户状态判定部200判定为有自信时,处理进入步骤S402;当判定为无自信时,处理进入步骤S403。
在步骤S402中,机器动作控制部600执行基于操作输入的处理。帮助等对用户的支援不会被特意执行。这是因为用户非常自信,认为自己的操作作为用于实现所希望动作的操作是适当的。
另一方面,在步骤S403中,机器动作控制部600参照帮助DB650,显示对应操作输入的帮助,或者提示对应操作输入的机器动作候补。
例如,假设设置了图15(a)所示的帮助DB650。当用户状态判定部200判定为对按下节目表按键没有自信时,机器动作控制部600读出帮助DB650,显示节目表按键的功能说明“可以确认预定播出的节目内容”。
此外,假设设置了图15(b)所示的帮助DB650。当用户状态判定部200判定为对按下节目表按键没有自信时,机器动作控制部600选择并读出帮助DB650的候补1~3中的至少1个。例如,当读出候补1时,对应候补1显示“如果想要一览显示预定播出的节目,请按节目表按键”。
机器动作控制部600,可以与候补1同时、或者排序后,读出候补2和3。在读出候补2时,机器动作控制部600显示“希望一览显示已录像的节目的话,请按播放导航”;读出候补3时,机器动作控制部600显示“希望检索推荐节目的话,请按检索按键”。候补的读出顺序可以适当决定。例如,当读出顺序是通过候补序号设定的情况下,机器动作控制部600可以按照候补的序号顺序,有选择地读出对应的说明。
在步骤S404中,机器动作控制部600,根据用户有没有作出下一个操作输入、或是否按下表示不继续操作的返回按键和取消按键等,判定用户10是否继续机器操作。当判定为要继续操作时,处理从步骤S401起重复进行。机器动作控制部600,根据其后的操作输入指示功能的实施。另一方面,当判定为用户不继续机器操作时,机器动作控制部600结束处理。
另外,就像从图19的波形中可以理解的那样,基于事件关联电位判定自信度的步骤S104的判定处理,优选从步骤S401的操作输入到步骤S402或S403的机器动作开始为止,设置大约1000ms的时间差。要是能够从操作输入到机器动作开始为止设置大约2000ms的时间差,则可以更为准确地判定自信度。
根据本实施方式,通过使用自信检出型服务提供装置,可以自动检出用户对操作输入的自信度。可以以2种状态即“有自信”或“无自信”来识别以往在不能掌握的机器操作时用户对操作输入的自信度。由此,按照自信度,可以事先采取变更机器动作的措施,例如,对于没有自信的操作,提示帮助和机器动作候补等。从而,由于能在不增加用户负担的前提下,支援用户的操作输入,因此能提高机器使用的便捷度。
产业上的利用可能性
本发明的信息处理装置和信息处理系统,可以实现用户与信息间的交换,适用于提供针对不同用户的服务的机器。例如,在用户对所示问题的回答输入的正误非常明确的状态下,可以自动地且在正误评价反馈之前判定用户对回答的自信度。或者,可以在机器动作开始之前,判定表示用户是否感觉执行的是用于使电子机器实施期待动作的操作的用户的自信度。由于动作内容根据自信度适当选择,所以本发明可在不增加用户负担的前提下,支援用户的操作输入,提高机器使用的便捷度。尤其是通过将它用作学习系统和电子机器的帮助显示系统,学习效果会有飞跃式地提高。此外,也可以用于用户能力评价。

Claims (16)

1.一种信息处理系统,具备:
输入部,接受用户的输入;
信号检出部,测量用户脑电波的事件关联电位;
判定部,根据接受所述输入后的规定期间中的所述事件关联电位的阴性移位量,判定所述用户对所述输入的自信度;
控制部,根据所述自信度,决定要提示的内容;和
输出部,提示决定的所述内容。
2.根据权利要求1所述的信息处理系统,其特征在于,
所述输出部向所述用户提示问题,
所述输入部,将所述用户对所述输出部输出的问题的回答作为所述输入并接受,
所述控制部根据所述自信度,决定所述问题或者与其正确答案相关的信息的提示,
所述输出部,在所述规定期间经过之后提示决定的所述内容。
3.根据权利要求1所述的信息处理系统,其特征在于,
所述判定部,将从接受所述输入的时间点算起到大约2000毫秒为止的期间作为所述规定期间,来判定所述用户的自信度。
4.根据权利要求2所述的信息处理系统,其特征在于,
还具备:存储与所述问题及其正确答案有关的信息的数据库,
所述控制部,参照所述数据库判定所述用户回答的正误,根据所述用户的自信度和所述正误的判定结果,选择所述问题或者与其正确答案有关的信息。
5.根据权利要求4所述的信息处理系统,其特征在于,
所述数据库,储存有与所述正确答案有关的多个提示的信息,
所述控制部,根据所述用户的自信度和所述正误的判定结果,切换并选择所述提示。
6.根据权利要求4所述的信息处理系统,其特征在于,
所述控制部,根据所述用户的自信度和所述正误的判定结果,输出表示用户理解度的信息。
7.根据权利要求1所述的信息处理系统,其特征在于,
所述事件关联电位的阴性移位量,与阴性移位的波形的斜率具有对应关系,
所述判定部,保持有从与有自信对应的阴性移位斜率值、到与无自信对应的阴性移位斜率值之间所包含的阈值,
对取得的所述事件关联电位的波形斜率与所述阈值进行比较,将所述波形斜率比所述阈值小的情况判定为有自信,将比所述阈值大的情况判定为无自信,将表示判定结果的信息输出给所述控制部。
8.根据权利要求1所述的信息处理系统,其特征在于,
所述事件关联电位的阴性移位量,与阴性移位波形的斜率具有对应关系,
所述判定部,具有保持有事先通过实验取得的第1数值群和第2数值群的表,第1数值群表示与有自信对应的阴性移位斜率,第2数值群表示与无自信对应的阴性移位斜率,
将取得的所述事件关联电位的波形的斜率值、与所述第1数值群的马氏距离设为第1马氏距离,将取得的所述事件关联电位的波形的斜率值与所述第2数值群的马氏距离设为第2马氏距离,在所述第2马氏距离比所述第1马氏距离大的情况下,将表示与有自信对应的判定结果的信息输出给所述控制部,在所述第2马氏距离比所述第1马氏距离小的情况下,将表示与没有自信对应的判定结果的信息输出给所述控制部。
9.根据权利要求1所述的信息处理系统,其特征在于,
还具备将输入的内容以及与所述信息处理系统的功能有关的说明对应起来并存储的数据库,
所述控制部,根据所述自信度参照所述数据库,选择与所述用户的输入相对应的说明,
所述输出部,在所述规定期间经过之后提示选定的所述说明。
10.根据权利要求9所述的信息处理系统,其特征在于,
所述判定部,将从接受所述输入的时间点算起大约2000毫秒为止的期间作为所述规定期间,判定所述用户对所述输入是否有自信。
11.根据权利要求10所述的信息处理系统,其特征在于,
当所述判定部判定为所述用户没有自信时,所述控制部参照所述数据库,选择与所述用户的输入相对应的说明。
12.根据权利要求9所述的信息处理系统,其特征在于,
所述数据库中,对1个输入内容对应存储有多个说明的候补,
所述控制部,选择所述多个说明的候补的至少一个。
13.根据权利要求12所述的信息处理系统,其特征在于,
所述数据库中,对所述多个说明的候补设定了顺序,
所述控制部,按照所述顺序选择所述多个说明的候补。
14.根据权利要求9所述的信息处理系统,其特征在于,
所述输出部提示所述说明之后,所述输入部,进一步从所述用户接受输入,
所述控制部,根据进一步接受的所述输入,指示功能执行。
15.一种信息处理装置,与接受用户输出的输入装置、向所述用户提示信息的输出装置、以及测量用户脑电波的事件关联电位的信号检出装置连接,具备:
判定部,根据接受所述输入后的规定期间中的所述事件关联电位的阴性移位量,判定所述用户对所述输入的自信度;和
控制部,根据所述自信度,决定向所述用户提示的内容,在所述规定期间经过之后,将决定的内容发送给所述输出装置,
所述输出装置,提示所述内容。
16.一种信息处理方法,包含:
接受用户的输入的步骤;
测量用户脑电波的事件关联电位的步骤;
根据接受所述输入后的规定期间中的所述事件关联电位的阴性移位量,判定所述用户对所述输入的自信度的步骤;
根据所述自信度,决定向所述用户提示的内容的步骤;以及,
提示决定的所述内容的步骤。
CN2006800011141A 2005-12-09 2006-10-06 信息处理系统、信息处理装置及方法 Active CN101080752B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP356428/2005 2005-12-09
JP2005356428 2005-12-09
PCT/JP2006/320102 WO2007066451A1 (ja) 2005-12-09 2006-10-06 情報処理システム、情報処理装置および方法

Publications (2)

Publication Number Publication Date
CN101080752A CN101080752A (zh) 2007-11-28
CN101080752B true CN101080752B (zh) 2010-05-19

Family

ID=38122602

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006800011141A Active CN101080752B (zh) 2005-12-09 2006-10-06 信息处理系统、信息处理装置及方法

Country Status (4)

Country Link
US (1) US7945865B2 (zh)
JP (1) JP4064446B2 (zh)
CN (1) CN101080752B (zh)
WO (1) WO2007066451A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085709A (zh) * 2017-04-25 2017-08-22 广东数相智能科技有限公司 一种基于视频信息的自信度判断方法、装置及系统

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101589358B (zh) * 2006-11-15 2012-05-16 松下电器产业株式会社 脑波识别方法的调整装置、方法
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
JP5061931B2 (ja) * 2008-02-04 2012-10-31 ソニー株式会社 情報処理装置および情報処理方法
CN101932989B (zh) * 2008-04-04 2013-04-17 松下电器产业株式会社 脑波识别方法的调整装置、方法以及计算机程序
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
WO2010004698A1 (ja) * 2008-07-11 2010-01-14 パナソニック株式会社 脳波を用いた機器の制御方法および脳波インタフェースシステム
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
EP2312551A4 (en) * 2008-08-05 2014-10-15 Panasonic Corp DEVICE, METHOD AND PROGRAM FOR EVALUATING A DRIVER'S AWARENESS
CN101667058B (zh) * 2008-09-03 2011-12-07 联想(北京)有限公司 在多系统间切换焦点的交互方法
JP4769336B2 (ja) 2009-07-03 2011-09-07 パナソニック株式会社 補聴器の調整装置、方法およびプログラム
JP2012168614A (ja) * 2011-02-10 2012-09-06 Fujitsu Ltd 情報処理装置
US20120208166A1 (en) * 2011-02-16 2012-08-16 Steve Ernst System and Method for Adaptive Knowledge Assessment And Learning
JP2015197460A (ja) * 2014-03-31 2015-11-09 株式会社サイトビジット 情報処理装置、情報処理方法及びプログラム
JP6488655B2 (ja) * 2014-11-12 2019-03-27 富士ゼロックス株式会社 アンケート処理プログラム及び情報処理装置
JP5994117B2 (ja) * 2014-11-28 2016-09-21 株式会社サイトビジット Eラーニングシステム
JP2016129660A (ja) * 2015-01-09 2016-07-21 パナソニックIpマネジメント株式会社 判定システム、制御信号出力システム、リハビリシステム、判定方法、制御信号出力方法、コンピュータプログラム
CN104732832B (zh) * 2015-03-31 2018-01-30 南通理工学院 自测学习系统及学习方法
JP6957993B2 (ja) * 2017-05-31 2021-11-02 富士通株式会社 ユーザの解答に対する自信レベルを推定する情報処理プログラム、情報処理装置及び情報処理方法
JP2020013523A (ja) * 2018-05-16 2020-01-23 オムロン株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2020105413A1 (ja) * 2018-11-22 2020-05-28 パナソニックIpマネジメント株式会社 学習システム、及び、学習方法
US11288355B2 (en) * 2020-05-05 2022-03-29 International Business Machines Corporation Detector for online user verification
JP7458633B2 (ja) 2020-06-26 2024-04-01 国立研究開発法人情報通信研究機構 学習システム、学習方法、及び学習プログラム
CN113476057B (zh) * 2021-07-08 2023-04-07 先端智能科技(天津)有限公司 一种内容评价的方法和装置、电子装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2072709U (zh) * 1990-06-25 1991-03-06 张荣魁 多功能儿童智力玩具
CN1102975A (zh) * 1993-11-24 1995-05-31 安徽三联事故预防研究所 驾驶员安全态度量表
US6016444A (en) * 1997-12-10 2000-01-18 New York University Automatic control of anesthesia using quantitative EEG
CN1437090A (zh) * 2002-02-04 2003-08-20 松下电器产业株式会社 接口装置、动作控制方法、画面显示方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4846190A (en) * 1983-08-23 1989-07-11 John Erwin R Electroencephalographic system data display
US5137027A (en) * 1987-05-01 1992-08-11 Rosenfeld Joel P Method for the analysis and utilization of P300 brain waves
US20030129574A1 (en) * 1999-12-30 2003-07-10 Cerego Llc, System, apparatus and method for maximizing effectiveness and efficiency of learning, retaining and retrieving knowledge and skills
JPWO2003050782A1 (ja) * 2001-12-12 2005-04-21 株式会社法学館 演習問題出題システム
CN100345086C (zh) 2003-06-27 2007-10-24 松下电器产业株式会社 服务提供装置、期待破灭判断装置及期待破灭判断方法
JP2005293209A (ja) * 2004-03-31 2005-10-20 Ntt Data Corp 個人認証装置、情報端末、個人認証方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2072709U (zh) * 1990-06-25 1991-03-06 张荣魁 多功能儿童智力玩具
CN1102975A (zh) * 1993-11-24 1995-05-31 安徽三联事故预防研究所 驾驶员安全态度量表
US6016444A (en) * 1997-12-10 2000-01-18 New York University Automatic control of anesthesia using quantitative EEG
CN1437090A (zh) * 2002-02-04 2003-08-20 松下电器产业株式会社 接口装置、动作控制方法、画面显示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107085709A (zh) * 2017-04-25 2017-08-22 广东数相智能科技有限公司 一种基于视频信息的自信度判断方法、装置及系统

Also Published As

Publication number Publication date
CN101080752A (zh) 2007-11-28
JP4064446B2 (ja) 2008-03-19
US7945865B2 (en) 2011-05-17
JPWO2007066451A1 (ja) 2009-05-14
US20090049089A1 (en) 2009-02-19
WO2007066451A1 (ja) 2007-06-14

Similar Documents

Publication Publication Date Title
CN101080752B (zh) 信息处理系统、信息处理装置及方法
US20220044824A1 (en) Systems and methods to assess cognitive function
CN101542415B (zh) 服务提供系统
CN100478848C (zh) 误操作检测装置和方法及具有其的机器、和机器评价方法
EP1301117B1 (en) Method for training cognitive ability
Hoffmann et al. Pillars of judgment: how memory abilities affect performance in rule-based and exemplar-based judgments.
US8271076B2 (en) Correction device to be incorporated into brain wave interface system, its method, and computer program
CN110680314B (zh) 基于脑电多参数的虚拟现实情境任务注意力测训系统
JPH07501154A (ja) コンピュータシステムの操作
US8979754B2 (en) Interactive system and method for neuromotor functioning assessment and training
Hirano et al. Overcoming the ceiling effects of experts’ motor expertise through active haptic training
CN114052736B (zh) 认知功能的评估系统和方法
US20180218791A1 (en) System and method for remote diagnosis of disease progression
JP2007052601A (ja) ユーザビリティ評価装置、ユーザビリティ評価方法およびプログラム
WO2021193670A1 (ja) 集中度推定装置、集中度推定方法、及びプログラム
Reynolds Adversarial uses of affective computing and ethical implications
JP7125908B2 (ja) プログラム、コンテンツ表示方法、及びコンピュータ
Borchers Thesis advisor: Prof. Dr. Jan Borchers
Barnsley Handedness and related behavior.
Krol Neuroadaptive technology: concepts, tools, and validations
Vukelić et al. Combining brain-computer interfaces with deep reinforcement learning for robot training: a feasibility study in a simulation environment
Christner et al. Guide to Early Psychological Evaluation: Children & Adolescents
CN114746017A (zh) 通过处理受试对象对刺激的反应来测试认知的方法和系统
Witecki Touchscreen Accuracy and Usability for Older Adults: A Comparison of Target Selection Methods
CN113050849A (zh) 一种用户对汽车交互界面的内隐态度测试方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant