CN100345086C - 服务提供装置、期待破灭判断装置及期待破灭判断方法 - Google Patents

服务提供装置、期待破灭判断装置及期待破灭判断方法 Download PDF

Info

Publication number
CN100345086C
CN100345086C CNB2004800174173A CN200480017417A CN100345086C CN 100345086 C CN100345086 C CN 100345086C CN B2004800174173 A CNB2004800174173 A CN B2004800174173A CN 200480017417 A CN200480017417 A CN 200480017417A CN 100345086 C CN100345086 C CN 100345086C
Authority
CN
China
Prior art keywords
user
response content
expectation
service
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CNB2004800174173A
Other languages
English (en)
Other versions
CN1809797A (zh
Inventor
森川幸治
荒木昭一
足立信夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1809797A publication Critical patent/CN1809797A/zh
Application granted granted Critical
Publication of CN100345086C publication Critical patent/CN100345086C/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99948Application of database or data structure, e.g. distributed, multimedia, or image

Abstract

应答内容决定部(3),对由输入部(2)接收的用户(50)的要求决定应答内容,输出部(4)输出该应答内容。生体信号检测部(5)以输出部(4)的输出时刻为起点,测量用户(50)的生体信号,期待破灭判断部(6)根据该生体信号判断应答内容是否符合用户(50)的要求。

Description

服务提供装置、期待破灭判断装置及期待破灭判断方法
技术领域
本发明涉及一种家庭用机器人、信息终端等将某些服务提供给用户的装置,特别涉及一种能根据用户的状态提供更为合适的服务的技术。
背景技术
近年来,人们追求家庭用机器人、信息终端等能对应于用户提供较复杂的信息处理、服务的机器,实用化正在进行。在这些机器中,因为能提供的信息和服务涉及多方面,所以人们追求能根据用户的爱好进行工作的功能。在这种情况下,如何得到适合用户状态的工作,成为判断机器性能的重要指标之一。
曾经提案过各种各样的技术作为检测用户的状态的技术。例如,按钮、键盘及鼠标等输入机器,可以说是将用户的希望传达给机器的装置。除了用户的希望以外,若还能检测出用户的心理状态和意思,机器便会能在更高程度上适应于用户。特别是,检测出用户感到某些不满的状态是很理想的。例如,用户对机器觉得“不根据我的意思工作”的时候,若机器能检测到该用户的不满,便能采取应对措施,但若不能检测出,对应便不能改变。
关于用户的不满状态的检测,在专利文献1中认为,对象机器在进行用户不希望的工作时,用户通过“打机器”这个行为表示不满状态,于是示出了通过该打的行为和机器一侧的振动检测来改变机器所提供的信息的技术。
另外,也能想到通过生体信号检测出用户的状态的方法。例如在专利文献2中认为,通过测量心电图、脑波及脉搏波等生理反应并处理它们,能判断清醒水准、注意水平、困倦程度、疲劳程度、精神负担程度及身体舒适度等。
在认知心理学和医学临床研究中,利用脑波等生理指标的研究也进行过来。例如根据非专利文献1,用脑波计进行痴呆症、抑郁症、精神分裂症及高级机能障碍等的诊断和各种药物、康复的效果判断。
作为生体信号,可以采用脑波中的事件关联电位。事件关联电位(Event-Related Potential:ERP)是指脑波中对某些刺激做出反应而发生的信号变化(参照非专利文献1)。据说,该信号变化与脑内处理系统中的错误控制系统有关系。例如在所谓的奇异实验(oddball task)中,信号变化在人听到与预料一样的声音系列时不被检测出,而在出现与预料不一样的声音系列时被检测出。事件关联电位被认为与人的高级认知活动也有关系,迄今为止利用于认知研究、临床的疾病诊断和治疗中。
图11是表示事件关联电位之例的曲线图(参照非专利文献1的第12页)。图11表示脑波在对奇异实验做出反应时的变化,实线表示对该课题中常常示出的刺激(高频度刺激)的反应;虚线表示对该课题中有时示出的刺激(低频度刺激)的反应。横轴表示时间;纵轴表示电压。由图11可以得知,对于低频度刺激,在从示出刺激时算起约过数百毫秒后,在电位中发生较大的变化。这可以认为是这样的,即:因为在预料的是高频度刺激的情况下,被显示出的倒是低频度刺激,所以出现了“与平时不一样”的感觉即预测误差。在图11的虚线中,在从示出刺激时算起约过300毫秒后的那一时间前后能看出较大的振幅,该信号一般叫做P300。
该P300,是在测量能否有意识地给以注意的能力时能利用。因此,用P300进行过痴呆症、抑郁症、精神分裂症及高级机能障碍等的诊断和各种药物、康复的效果判断。
这样,如P300那样的脑波中的事件关联电位,现在在试验性地应用于为弄清脑机能所进行的认知研究、人的诊断和治疗(精神障碍、高级机能障碍、痴呆)中。
(专利文献1)日本公开专利公报特开2002-281186号公报
(专利文献2)日本公开专利公报特开平5-15599号公报
(非专利文献1)加我及其他、“事象关连电位(ERP)手册—以P300为中心—”、筱原出版新社、1995
(非专利文献2)藤泽及其他、“新生理心理学”、北大路书房、1998
在上述现有技术中,将用户的能动性行动(例如,打机器)、用户的疲劳和不满等作为检测对象。但是,用户之所以打机器或对机器感到不满是因为机器反复进行不合适的应答工作之故,例如:不根据用户的意思进行工作、进行令人感到期待破灭的工作。
因此,若不是检测出已经发生的不满状态,而是能够检测出用户对各个应答工作的心理状态和意思,便能够进一步提高机器对用户的适应能力。例如,若能够检测出用户对某个应答工作觉得“咦?”这个事情,便能在用户陷于不满状态之前修改应答工作。这样,就能够防止用户陷入不满状态于未然。
发明内容
本发明正是为解决上述问题而研究开发出来的。本发明的课题在于:在服务提供装置中,做到:能掌握用户对应答工作的心理状态和意思,能提供基于用户的状态的、更为合适的服务。
本发明,作为服务提供装置,包括:输入部,接收用户的要求;应答内容决定部,对由所述输入部接收的要求决定应答内容;输出部,输出由所述应答内容决定部决定的应答内容;脑电信号检测部,以所述输出部输出了应答内容的时刻为起点,测量用户的事件关联电位;以及判断部,用由所述脑电信号检测部测量出的以距所述起点600毫秒的时间点为中心的一段时间内的所述事件关联电位,判断用户的期待是否破灭,并用判断结果命令修改由所述应答内容决定部决定的应答内容。
根据本发明,服务提供装置在输出接收用户的要求决定的应答内容时,以其时刻为起点测量用户的生体信号。之后,根据测量出的生体信号判断所输出的应答内容是否符合用户的要求。就是说,能够从用户的生体信号中得到是否做上了用户所期待的应答的信息。这样,就能够修改应答内容、学习用户的要求和应答内容的关系。因此,能提供给用户更为合适的服务。
最好是这样的,在所述本发明所涉及的服务提供装置中,所述生体信号检测部具有脑波计,测量脑波中的事件关联电位作为所述生体信号。
本发明的期待破灭判断装置包括:输入部,接收用户的要求;应答内容决定部,对由所述输入部接收的要求决定应答内容;输出部,输出由所述应答内容决定部决定的应答内容;脑电信号检测部,以所述输出部输出了应答内容的时刻为起点,测量用户的事件关联电位;以及判断部,用由所述脑电信号检测部测量出的以距所述起点600毫秒的时间点为中心的一段时间内的所述事件关联电位,判断用户的期待是否破灭。
本发明的期待破灭判断方法,在服务提供装置中判断用户的期待是否破灭,包括:输入步骤,接收用户的要求;应答内容决定步骤,对在所述输入步骤中所接收的要求决定应答内容;输出步骤,输出在所述应答内容决定步骤中决定的应答内容;脑电信号检测步骤,以在所述输出步骤中输出了应答内容的时刻为起点,测量用户的事件关联电位;以及判断步骤,用在所述脑电信号检测步骤中测量出的以距所述起点600毫秒的时间点为中心的一段时间内的所述事件关联电位,判断用户的期待是否破灭。
附图说明
图1(a)是表示用户进行机器的操作的情况的图,图1(b)是表示图1(a)中的用户的意思和行动的流程图。
图2是将图1(b)一般化了的流程图。
图3是本案发明人所进行的实验步骤的示意图。
图4是表示图3的实验中的一次试验的步骤的流程图。
图5是表示四个受试者的实验数据的曲线图。
图6是表示本发明的一个实施例所涉及的服务提供装置的结构的方框图。
图7是表示图6的服务提供装置的工作情况的流程图。
图8是表示期待破灭信号的具体检测方法之例的流程图。
图9是表示期待破灭信号的检测结果的图。
图10是表示本发明的一个实施例所涉及的服务提供装置的其他结构例的图。
图11是表示事件关联电位之例的曲线图。
具体实施方式
根据本发明的第一方面,提供一种服务提供装置,包括:接收用户的要求的输入部,对由所述输入部接收的要求决定应答内容的应答内容决定部,输出由所述应答内容决定部决定的应答内容的输出部,以所述输出部输出了应答内容的时刻为起点,测量用户的生体信号的生体信号检测部以及根据由所述生体信号检测部测量出的生体信号,判断所述应答内容是否符合用户的要求的期待破灭判断部。
根据本发明的第二方面,提供第一方面的服务提供装置,其中,所述生体信号检测部具有脑波计,测量脑波中的事件关联电位作为所述生体信号。
根据本发明的第三方面,提供第二方面的服务提供装置,其中,所述期待破灭判断部,用所述生体信号中从所述起点算起约过600毫秒后的那一时间前后的部分,进行判断。
根据本发明的第四方面,提供第二方面的服务提供装置,其中,所述期待破灭判断部,用对所述生体信号中从所述起点算起约过600毫秒后的那一时间再加上或减去对应于应答内容的复杂程度、用户的特性的时间而得到的时间前后的部分,进行判断。
根据本发明的第五方面,提供第二方面的服务提供装置,其中,所述期待破灭判断部用期待破灭时的信号样板(template)进行判断。
根据本发明的第六方面,提供第一方面的服务提供装置,其中,所述服务提供装置具有用由所述期待破灭判断部判断的结果学习用户的要求和应答内容的关系的学习部。
根据本发明的第七方面,提供第一方面的服务提供装置,其中,所述服务提供装置提供帮助显示作为服务。
根据本发明的第八方面,提供第一方面的服务提供装置,其中,所述服务提供装置作为代理程序(agent)提供服务。
根据本发明的第九方面,提供第一方面的服务提供装置,其中,所述服务提供装置通过自然对话提供服务。
本发明,用系统的应答工作所诱发的用户生体信号的变化,检测出用户“期待破灭”的感觉。在此,设为用脑波中的事件关联电位作为生体信号之例。
(本发明的主意)
本案发明人出了将该事件关联电位之类的生体信号应用于机器的接口中的主意。就是说,可以认为是这样的,即:在提供给用户信息等服务的系统中,该输出会诱发某些用户生理状态的变化。例如,在系统应答的内容与用户的期待不符合的时候,用户的期待就破灭,用户会觉得“咦?”。
若能够从生体信号中检测出用户的这种“期待破灭”,便能通过例如改变应答内容、学习避免造成“期待破灭”,对用户提供更为合适的服务。这样,就能够防止用户对机器产生不满而不使用该机器了的事态于未然。
图1(a)是用户进行机器操作的情况的原理图。用户11打算用遥控器、键盘等操作机器12进行电视机等机器13的操作。在图1(a)的情况下,可以认为如图1(b)所示的流程作为用户11的心理和行动。用户11有了“看看电视”的主意(S11)后,拿起眼前的遥控器12按下电源的按钮(S12)。在这种情况下,在用户11正确地按下按钮、电视机13一侧也没有问题时,因为电源开了、电视机13开始显像(S13),所以用户11接着照常看电视机13(S14)。这是通常的情况。与此相对,在虽然按下了遥控器12的电源按钮(S12),但是电视机13倒不开始显像时(S15),用户11会觉得“咦?很奇怪啊”(S16)。
图2是将图1(b)一般化而表示的流程。用户先有了要做的事情(S20),再进行机器操作(S21),机器根据该操作进行工作(S22)。用户看该工作,感觉到机器是否根据用户的意思进行了工作(S23)。若机器不根据用户的意思进行了工作(S23为否),因为在用户的期待和机器工作之间便发生不一致(S24),所以用户应该会感到不满(S25)。但是,这时感到的不满可以认为是小小的不和谐的感觉,有用户并不一定认识到“我有不满”那么大的程度。
在此,若能够取得机器是否根据用户的意思进行了工作(S23的分支)的信号,该信号便可能会成为对机器的可用性(usability)很重要的信息源。这样重要的信息源能否通过事件关联电位等生体信号的测量取得,这就是本发明的着眼点。补充说明一下,在本案说明书中,将在机器不根据用户的意思进行了工作时检测出的信号称为“期待破灭信号”。
(取得期待破灭信号的实验)
下面,说明本案发明人进行的、为取得期待破灭信号所进行的实验。
图3是表示实验步骤的概要的图。该实验,由下述步骤构成:向受试者发出指示(步骤A),受试者接收该指示想出必要的行动,进行机器操作(步骤B),向受试者示出作为该操作的结果的工作(步骤C)。
首先,由实验实施者向受试者进行下述说明:“在画面上显示‘L’或‘R’的字,于是请对L字进行鼠标的左击、对R字进行右击”。之后,以50%的概率随机地选择“L”和“R”,再在画面上示出它(步骤A)。受试者看显示出的字,按照被指点的规则进行右击或左击(步骤B)。之后,对于该操作,在画面上示出“○”或“×”来表示是否正确地进行了点击(步骤C)。
但是,在该实验中,设为即使正确地进行了点击(应该会差不多以100%的概率正确地进行)也以20%的概率示出“×”。从受试者来看,因为正确地点击了,所以期待“○”显示出来,而“×”则显示出来,这样便应该会觉得“咦?”。就是说,成为机器不根据用户的意思进行了工作的、“期待破灭”的情况。本实验的目的在于:确认能否从脑波中的事件关联电位中检测出该“期待破灭”情况。
图4是表示一次试验的步骤的流程图。首先,以50%的概率选择“L”或“R”字,再在画面上示出它(S30)。受试者看该显示了的字选择用哪个按钮进行点击,再进行鼠标的操作(S31)。对于受试者的操作,根据是否正确地进行了操作这个事情示出“○”或“×”。这时,即使在应该示出“○”的情况下,也以20%的概率示出“×”(S32)。以示出了“○”或“×”的时刻为起点,测量受试者的脑波中的事件关联电位(S33),再处理该测量出的事件关联电位,识别出期待破灭信号(S34)。
在实验中,对于多个受试者,首先进行了30次“○”总是显示出来的试验作为练习。之后,根据在图4中所示的步骤进行了100次试验。
图5是表示实验结果中的四个受试者(Subject 1-4)的实验数据的曲线图。图5的各曲线图,是对用脑波计测量出的电势波形进行累计的,横轴表示从刺激的显示(示出了“○”或“×”时)算起的时间,单位是ms;纵轴表示电势,单位是μV。粗线表示“期待破灭”,即在正确地点击后“×”则显示出来的时候波形;细线表示通常的时候,即在正确地点击后,“○”显示出来时的波形。补充说明一下,按照国际10-20法,电极贴在下述四个部分上:1)Pz:头顶中央部分,2)3)A1、A2:双耳垂以及4)身体接地(Z):鼻根部。采样频率设为1000Hz。
由图5的各曲线图可以得知:在“期待破灭”时,在从刺激的显示算起约过600ms后的那一段时间前后出现特征与通常时不同的事件关联电位。就是说,可以预测为能通过测量该事件关联电位,检测出用户的“期待破灭”。
补充说明一下,在该实验中测量出的事件关联电位,与上述P300相比,从刺激的显示算起的反应时间较慢。关于其理由,虽然并不一定是很清楚的,但是可以认为下述理由。
就是说,关于事件关联电位,迄今为止(非专利文献1、2等)进行过的是,基于判断音程、图像的不同之处之类的被动性测定的实验。与此相对,在本案发明人所进行的实验中,用户抱着某个期待选择行动并实行它,再判断机器是否根据该期待进行了工作。包括用户选择行动的过程这一点,与以往的大大不同。对于机器是否根据用户的期待进行了工作这个事情进行判断,是与判断音程、图像的不同之处的情况相比,判断更高级。因此可以认为,从刺激的显示算起的反应时间比以往的测量更慢,在从刺激的显示后过600ms左右后的部分出现峰值。但是,由图5中可以看出,峰值出现的时间每个人都不同。另外,各次试验也相互不同。
如该试验所示,在机器根据用户的期待进行了工作的情况和不根据用户的期待进行了工作的情况,在由脑波计检测出的事件关联电位中有明显的差别。因此,该事件关联电位,可以在机器接口中作为“期待破灭信号”使用。
图6是表示本发明的一个实施例所涉及的服务提供装置的结构的方框图。具体而言,需要对应于用户进行应答的家庭用机器人、信息终端及家电机器等符合该服务提供装置。
在图6中,服务提供装置1包括:接收用户50的要求的输入部2,对由所述输入部2接收的要求决定应答内容的应答内容决定部3,输出由所述应答内容决定部3决定的应答内容的输出部4,以输出部4输出了应答内容的时刻为起点,测量用户50的生体信号的生体信号检测部5以及根据由生体信号检测部5所测量出的生体信号,判断应答内容是否符合用户50的要求的期待破灭判断部6。
用户50,能通过输入部2和输出部4与服务提供装置1交换信息等。例如,输入部2由鼠标、键盘及声音输入装置等构成;输出部4由示出文字(text)和图像的画面、用合成声音进行应答的声音输出装置及调节器等构成。用户50事先戴上构成生体信号检测部5的脑波计。
下面,用图7的流程图说明图6的服务提供装置的工作情况。
首先,输入部2从用户50接收要求(S1)。用户50,通过输入部2指定例如在提供信息时的信息的种类、希望的服务内容等。
输入部2从用户50接收要求后,应答内容决定部3,对该要求决定应答内容(S2)。例如,决定所提供的信息内容。应答内容决定部3决定应答内容后,输出部4输出该应答内容(S3)。例如,在画面上示出所提供的信息内容。
输出部4一输出应答内容,生体信号检测部5就以该时刻为起点测量用户50的生体信号(S4)。这时,用户50,应该会根据输出来的应答内容是否与自己的期待一样这个事情显示着不同的活体反应。在此,用用户50事先戴上的脑波计测量脑波中的事件关联电位作为生体信号。
其后,期待破灭判断部6,对从由生体信号检测部5检测出的生体信号中能否检测到“期待破灭信号”,即输出的应答内容是否符合用户的要求这个事情,进行判断(S5)。
在检测出了“期待破灭信号”时(S5为是),因为可以认为输出的应答内容不符合用户50的期待,所以期待破灭判断部6命令应答内容决定部3进行修改。应答内容决定部3修改应答内容(S6),修改后的应答内容再次由输出部4输出(S3)。例如,在提供信息的情况下,问一问“对不起,您不喜欢这个吗?”,或者建议“这个怎么样?”,同时提供别的信息。
在此,装置不根据用户的期待进行工作的情况,可以想出下述情况。
(1)用户具有的机器工作模式不对的情况。
例如想开电源时,用户找开关看看机器周围和遥控器,考虑能开电源的操作。之后,选择某个机器操作并实行它。在此,若用户的操作不正确,当然,装置便不根据用户的期待进行工作。因此,检测出了“期待破灭信号”。
这是用户期待着认为“这个操作应该会开电源”而装置实际上不这样工作的状态,意味着用户具有的机器工作模式和装置的实际工作模式不一致。
这种情况的应对方法,可以认为下述两种方法,即:(A)修改用户的机器工作模式、(B)修改机器的工作模式。若根据上述例子说,便有下述解决方法:(A)告诉用户正确的电源按钮的位置、(B)对用户的不正确的操作还是开电源。当然,以已经知道用户所期待的工作为前提。但是,即使用户所期待的工作不清楚,也检测到是否根据用户的期待进行了工作,这就成为装置控制上的重要信息。
(2)用户爱好模式不对的情况。
在提供适合用户的信息的服务中,系统一侧需要掌握用户具有什么样的爱好的模式即所谓的用户爱好模式。在系统一侧的用户爱好模式与用户的实际爱好不同的情况下,用户会感到“不提供我期待的信息”,于是会检测到“期待破灭信号”。
能想出下述做法作为对这种情况的应付方法,即:修改用户爱好模式后再次进行信息提供、判断为所提供的信息应该会对用户有价值,继续进行推荐等。不管怎么说,也若检测到是否根据用户的期待进行了工作,这便成为对用户爱好模式的学习很有用的信息。
(检测出期待破灭信号)
参照图8的流程图,说明期待破灭信号的具体检测方法之例。在该方法中,事先形成对期待破灭时的信号进行了加法计算的基准波形(对象的样板)和对期待不破灭即通常时的信号进行加法计算的基准波形(写为控制的样板),再将这些样板用于“期待破灭信号”的检测中。
如图8所示,首先,以输出部4输出了应答内容的时刻(示出应答时)为起点,进行脑波的电势变化的采样(S51)。例如200Hz、500Hz及1000Hz等会成为采样频率。其后,从得到的脑波的电势变化中切出有关“期待破灭信号”检测的区域的波形(S52)。由上述实验结果已经知道“期待破灭信号”在从刺激的显示算起过600ms后的时间前后的部分被检测出。可以认为示出应答后较早的区域的波形是反应于听觉刺激和视觉刺激而出现的,该波形与人的期待没有关系。因而,最好是除去该部分。于是,例如设为切出从应答的显示算起过200ms到800ms后的区域。
当然,该切出范围并不限于该范围,也可以设为例如500ms到700ms、300ms到900ms等。或者,也可以不设定下限,切出从应答的显示算起的1s左右的范围。
接着,从切出的波形中除去噪音(S53)。在此进行的是:除去混进信号中的高频成分、使信号通过例如40Hz的低通滤波器或为了使因闪烁造成的眼电的影响减少,从识别对象中除去振幅大于等于40μV的波形等。
接着,对于除去噪音后的信号,分别计算与对象的样板、控制的样板的相关性(S54)。通过该相关计算,来计算信号波形与各个样板的相关性的大小。
之后,计算信号波形和各个样板的距离(S55)。为了计算距离,例如使用马氏距离(Mahalanobis distance)。该马氏距离表示考虑到数据的方差和协方差的、从群(group)的重心算起的距离。用该马氏距离判别信号波形近似于对象和控制中的哪一种样板(S56)。众所周知,使用马氏距离的判别,与仅根据相关的大小来判别的做法相比识别能力更高。
判断为信号波形近似于对象的时候(S56为是),识别为检测出了期待破灭信号即用户在于期待破灭状态(S57);判断为信号波形近似于控制的时候(S58),识别为未检测出期待破灭信号即用户认为得到了与期待一样的应答。
通过采用这种利用样板的方法,即使对于被认为波形中的偏差较大、难以识别每一次波形的脑波,也能在某个程度上检测到期待破灭信号。
图9是表示根据图8的流程用上述实验数据检测出了期待破灭信号的结果的图。在图9中示出了各个受试者的对象数(期待破灭的数据数)和正确地判别的情况的数量。由图9中可以得知,即使是单一波形,也能够以约八成的精度识别到期待破灭情况。
补充说明一下,在此设为使用对象和控制的信号样板,也不妨仅使用对象的信号样板。例如,也可以计算与对象的信号样板的马氏距离,再与规定值比较来判别是否期待破灭。
另外,也可以用别的做法来代替利用样板的做法,也可以同时利用样板和别的做法。例如,也可以使用最大值和最小值,也可以在波形中检测出正极大成分,再对其振幅与阈值进行大小的比较,也可以使用适应型(adaptive)相关滤波器等。另外,波形识别方法还大有改善的空间,可以认为通过配合式样(pattern)识别方法和脑波信号的事前处理方法,识别精度也会提高。
显示的应答内容例如为很复杂的显示的时候,会有为了认识该内容,用户需要较长的时间的情况。在这种情况下,可以预测为峰值在与600ms错开的地方被观测。这时,以对600ms增加或减去与峰值错开的时间而得到的时间为中心,用该中心前后的部分的信号检测期待破灭信号就好了。该错开的时间,事先通过使用要测定的显示内容的实验等求出就好了。除了显示的图像等应答内容的复杂度以外,还可以认为每个用户的个人差别和年龄等用户的特性也会成为决定错开的时间的因素。
图10是本实施例所涉及的服务提供装置的其他结构例。在图10中,用同一个符号来表示与图6相同的结构因素。图10的服务提供装置1A,还包括用由期待破灭判断部6判断的结果学习用户50的要求和应答内容的关系的学习部7。
在学习部7中,在存储部9中储存有输出部4对由输入部2输入的用户50的要求应该输出什么样的应答的规则。该规则,是例如以If(来自用户的信号)、Then(对用户进行的行动)等规则形式表达。各个规则设为以0到1的范围内被赋予可靠度(reliability)。可靠度是表示对用户来说该规则在哪个程度上正确的值,可以说该值越近似于1,该规则越可靠。
在从输入部2接收用户50的要求时,应答内容决定部3从存储部9抽出该要求和前项部(antecedent)一致的规则,再决定例如将其中可靠度最高的规则的后项部(consequent)的记述内容作为应答内容。
在由期待破灭判断部6未检测出期待破灭信号时,知识获得部8判断为该装置1A正确地进行了应答的可能性较高,于是提高成为决定应答内容的依据的规则的可靠度,以下次也进行一样的应答。而在检测出了期待破灭信号时,判断为该装置1A的应答不对的可能性较高,于是使成为决定应答内容的依据的规则的可靠度下降,以下次使用别的规则。
这样,通过知识获得部8用由期待破灭判断部6所判断的结果修改存储部9的规则,在又接收了同样的要求的时候,在决定应答内容时来参照更新后的新规则群。这么一来,就能够使用户50的期待破灭减少。另外,能通过知识获得部8根据需要还进行规则的删除和追加,在存储部9内部储存适当的知识。
(本发明的应用例)
(其一:帮助显示系统)
帮助显示系统,是对于用户的行动示出适当的帮助信息的系统。在示出帮助信息时,若能够判断示出的帮助信息是否符合用户的要求、期待是否破灭,便能更适当地实行帮助显示。因此,能通过采用本发明实现方便性更高的帮助显示系统。
例如,假定为用户选择了手机或电脑的电子邮件功能。在该情况下,有时用户仅模糊地想发电子邮件,有时已经知道对方的电子邮件地址、主题及正文等发电子邮件时所需的信息,并且想首先输入电子邮件地址。就是说,用户的动作一样,必要的帮助信息则不同。
于是,根据本发明,因为能够判断装置是否进行着用户期待的反应,所以能够将上述两种状态区别开。于是,例如示出下述信息作为帮助信息就好了,即:对前者示出关于发电子邮件时所需的信息的引导;对后者示出为输入各个信息所需的具体操作方法。
(其二:代理程序)
代理程序,是例如以家庭用机器人的形式被实现,指的是通过语言或其他接口接收用户的希望,提供使物体移动、进行机器操作及示出信息等服务的机器人。在机器人自身不使物体移动等的情况下,以智能软件代理程序的形式被实现。
在此,用户的指示往往模糊不清。例如,“给我拿那个东西来”“给我介绍一下很有意思的节目”等等。在这样的指示中,虽然用户不具体地表示,但是他具有想得到的对象是很明显的,并且要求对它的服务。
机器人接收这样模糊不清的指示,从以前的学习结果等中选出可以认为最适当的服务并将它提供给用户。但是,并不一定能总是提供符合用户的希望的服务。
于是,根据本发明来看用户对服务的反应,判断服务是否符合期待。这样,若是期待破灭便能研究别的服务,也能学习该事实作为新规则。结果是,从下次起,即使对用户模糊不清的指示也能提供与希望一样的服务的可能性变高。
同样,本发明也可以应用于电视机、电脑等中的信息推荐的服务中。
(其三:自然对话)
本发明,也可以应用于用户和机器通过自然的对话沟通的结构中。就是说,在通过自然对话沟通、提供信息的情况下,也能通过使机器一侧知道机器自己是否进行着符合用户的期待的工作,谋求更为顺利的沟通。
在人和人之间的对话中,除了实际地说出来的语言信息以外,还根据手势、小小的动作及神情的变化等非语言信息互相使说话内容等变化。然而,识别非语言信息的方法还在研究阶段,算不上完善。
于是,根据本发明,来判断对用户说的话应答的内容是否符合用户的期待。这样,就能使应答内容变化,也能在以后的同样的情况下,不进行不符合用户的期待的应答。
例如,在检测到期待破灭时,说“那么,这个话怎么样?”来改变说话内容,或者说“不对吗?”来确认用户的意思。或者,说“对不起”来传达机器自己认识到造成了期待破灭。可以认为即使用户感到期待破灭,也若知道装置一侧已经认识到这个事情,他的不满就会有所减轻。
在本发明中,因为能在机器刚应答之后从生体信号中认识到用户的反应,所以机器一侧能够进行迅速的对应。
—工业实用性—
根据本发明,因为能从用户的生体信号中得到是否进行了符合用户的期待的应答的信息,所以能够提供给用户更为合适的服务。因此,对家庭用机器人、信息终端等提供给用户某些服务的装置的方便性的提高很有效。

Claims (8)

1.一种服务提供装置,包括:
输入部,接收用户的要求,
应答内容决定部,对由所述输入部接收的要求决定应答内容,
输出部,输出由所述应答内容决定部决定的应答内容,
脑电信号检测部,以所述输出部输出了应答内容的时刻为起点,测量用户的事件关联电位,以及
判断部,用由所述脑电信号检测部测量出的以距所述起点600毫秒的时间点为中心的一段时间内的所述事件关联电位,判断用户的期待是否破灭,并用判断结果命令修改由所述应答内容决定部决定的应答内容。
2.根据权利要求1所述的服务提供装置,其特征在于:
所述判断部,用样板判断用户的期待是否破灭。
3.根据权利要求1所述的服务提供装置,其特征在于,包括:
学习部,用由所述判断部判断的结果学习用户的要求和应答内容的关系。
4.根据权利要求1所述的服务提供装置,其特征在于:
提供帮助显示作为服务。
5.根据权利要求1所述的服务提供装置,其特征在于:
作为代理程序提供服务。
6.根据权利要求1所述的服务提供装置,其特征在于:
通过自然对话提供服务。
7.一种期待破灭判断装置,包括:
输入部,接收用户的要求,
应答内容决定部,对由所述输入部接收的要求决定应答内容,
输出部,输出由所述应答内容决定部决定的应答内容,
脑电信号检测部,以所述输出部输出了应答内容的时刻为起点,测量用户的事件关联电位,以及
判断部,用由所述脑电信号检测部测量出的以距所述起点600毫秒的时间点为中心的一段时间内的所述事件关联电位,判断用户的期待是否破灭。
8.一种期待破灭判断方法,在服务提供装置中判断用户的期待是否破灭,包括:
输入步骤,接收用户的要求,
应答内容决定步骤,对在所述输入步骤中所接收的要求决定应答内容,
输出步骤,输出在所述应答内容决定步骤中决定的应答内容,
脑电信号检测步骤,以在所述输出步骤中输出了应答内容的时刻为起点,测量用户的事件关联电位,以及
判断步骤,用在所述脑电信号检测步骤中测量出的以距所述起点600毫秒的时间点为中心的一段时间内的所述事件关联电位,判断用户的期待是否破灭。
CNB2004800174173A 2003-06-27 2004-06-24 服务提供装置、期待破灭判断装置及期待破灭判断方法 Active CN100345086C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003184162 2003-06-27
JP184162/2003 2003-06-27

Publications (2)

Publication Number Publication Date
CN1809797A CN1809797A (zh) 2006-07-26
CN100345086C true CN100345086C (zh) 2007-10-24

Family

ID=33549602

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004800174173A Active CN100345086C (zh) 2003-06-27 2004-06-24 服务提供装置、期待破灭判断装置及期待破灭判断方法

Country Status (4)

Country Link
US (1) US7536270B2 (zh)
JP (1) JP3786952B2 (zh)
CN (1) CN100345086C (zh)
WO (1) WO2005001677A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102781321A (zh) * 2010-06-11 2012-11-14 松下电器产业株式会社 听力判定系统、其方法及其程序

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7174205B2 (en) * 2004-04-05 2007-02-06 Hewlett-Packard Development Company, L.P. Cardiac diagnostic system and method
CN100387192C (zh) * 2004-07-02 2008-05-14 松下电器产业株式会社 生体信号利用机器及其控制方法
JP3991066B2 (ja) 2005-07-26 2007-10-17 松下電器産業株式会社 サービス提供装置、サービス提供方法およびプログラム
JP4686299B2 (ja) * 2005-08-17 2011-05-25 パナソニック株式会社 ユーザビリティ評価装置、ユーザビリティ評価方法およびプログラム
US7716697B2 (en) 2005-12-08 2010-05-11 Panasonic Corporation Information processing system, information processing apparatus, and method
CN101080752B (zh) * 2005-12-09 2010-05-19 松下电器产业株式会社 信息处理系统、信息处理装置及方法
JP4189440B2 (ja) 2006-06-21 2008-12-03 パナソニック株式会社 サービス提供システム
US8521271B2 (en) 2006-11-06 2013-08-27 Panasonic Corporation Brain wave identification method adjusting device and method
US8126541B2 (en) 2007-03-28 2012-02-28 Panasonic Corporation Device and method for deciding necessity of brainwave identification
WO2009057278A1 (ja) 2007-10-29 2009-05-07 Panasonic Corporation 脳波インタフェースシステムに組み込まれる補正装置、方法およびコンピュータプログラム
WO2009122685A1 (ja) 2008-04-04 2009-10-08 パナソニック株式会社 脳波識別方法の調整装置、方法およびコンピュータプログラム
JP4638558B2 (ja) * 2008-12-22 2011-02-23 パナソニック株式会社 語音明瞭度評価システム、その方法およびそのコンピュータプログラム
WO2011155196A1 (ja) * 2010-06-11 2011-12-15 パナソニック株式会社 語音聴取の評価システム、その方法およびそのプログラム
US9357251B2 (en) * 2010-10-12 2016-05-31 Echostar Uk Holdings Limited Thought control of set top box
US9489732B1 (en) * 2010-12-21 2016-11-08 Hrl Laboratories, Llc Visual attention distractor insertion for improved EEG RSVP target stimuli detection
CN103150007B (zh) * 2011-12-06 2016-03-30 联想(北京)有限公司 一种输入方法及装置
WO2015127119A2 (en) * 2014-02-24 2015-08-27 Sony Corporation Body position optimization and bio-signal feedback for smart wearable devices
US10413246B2 (en) * 2014-06-23 2019-09-17 Eldad Izhak HOCHMAN Detection of human-machine interaction errors

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
CN1248426A (zh) * 1999-10-29 2000-03-29 清华大学 基于脑电稳态诱发响应的控制装置
JP2000235588A (ja) * 1999-02-12 2000-08-29 Matsushita Electric Works Ltd デザイン構築支援システム
JP2002281186A (ja) * 2001-03-15 2002-09-27 Canon Inc ユーザー・インターフェース
CN2525600Y (zh) * 2002-01-18 2002-12-11 东北大学 基于脑电信号的残疾人环境控制装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4926969A (en) * 1988-11-18 1990-05-22 Neurosonics, Inc. Sensory-driven controller
JPH0515599A (ja) 1991-07-16 1993-01-26 Mitsubishi Electric Corp 快適インタフエース
CA2239666A1 (en) * 1998-06-04 1999-12-04 Hsin-Kuo Lee Digital traffic signal device
JP4411929B2 (ja) * 2003-02-28 2010-02-10 株式会社日立製作所 バックアップ方法、システム、及びプログラム
JP3991066B2 (ja) * 2005-07-26 2007-10-17 松下電器産業株式会社 サービス提供装置、サービス提供方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
JP2000235588A (ja) * 1999-02-12 2000-08-29 Matsushita Electric Works Ltd デザイン構築支援システム
CN1248426A (zh) * 1999-10-29 2000-03-29 清华大学 基于脑电稳态诱发响应的控制装置
JP2002281186A (ja) * 2001-03-15 2002-09-27 Canon Inc ユーザー・インターフェース
CN2525600Y (zh) * 2002-01-18 2002-12-11 东北大学 基于脑电信号的残疾人环境控制装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
脑电信号源数值解法的研究 吴清,全文,河北工业大学博士学位论文 2001 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102781321A (zh) * 2010-06-11 2012-11-14 松下电器产业株式会社 听力判定系统、其方法及其程序
CN102781321B (zh) * 2010-06-11 2015-04-08 松下电器产业株式会社 听力判定系统及其方法

Also Published As

Publication number Publication date
JP3786952B2 (ja) 2006-06-21
JPWO2005001677A1 (ja) 2006-07-27
WO2005001677A1 (ja) 2005-01-06
US7536270B2 (en) 2009-05-19
CN1809797A (zh) 2006-07-26
US20060101079A1 (en) 2006-05-11

Similar Documents

Publication Publication Date Title
CN100345086C (zh) 服务提供装置、期待破灭判断装置及期待破灭判断方法
Koch Fager et al. New and emerging access technologies for adults with complex communication needs and severe motor impairments: State of the science
Cristino et al. ScanMatch: A novel method for comparing fixation sequences
AlZoubi et al. Detecting naturalistic expressions of nonbasic affect using physiological signals
Bulling et al. Eye movement analysis for activity recognition using electrooculography
Kimura et al. SSVEP-based brain–computer interfaces using FSK-modulated visual stimuli
Langevin et al. The PARK framework for automated analysis of Parkinson's disease characteristics
CN105105771B (zh) 潜能值测验的认知指标分析方法
CN1805707A (zh) 生体信号利用机器及其控制方法
CN1835712A (zh) 信息处理终端及通信系统
CN1747684A (zh) 电生理直觉指示器
WO2007084584A2 (en) System and method for prioritization of a image triage system based on rapid serial visual presentation
Ramey et al. The spatial distribution of attention predicts familiarity strength during encoding and retrieval.
Cao et al. A high rate online SSVEP based brain-computer interface speller
WO2023082972A1 (zh) 一种基于柔性电极探针的视觉增强方法、装置及系统
Wernery et al. Temporal processing in bistable perception of the Necker cube
US20130204535A1 (en) Visualizing predicted affective states over time
van den Broek et al. Prerequisites for affective signal processing (ASP)
CN1227371A (zh) 生物反馈游戏器
Yousefi et al. Online detection of error-related potentials in multi-class cognitive task-based BCIs
Gannouni et al. BCWB: a P300 brain-controlled web browser
Van Orden The fractal picture of health and wellbeing
WO2020111962A1 (ru) Система для коммуникации пользователей без использования мышечных движений и речи
JP2022162548A (ja) システム1またはシステム2チャネルを介してユーザに対して選択的に通信するためのシステムおよび方法
JP2009075469A (ja) 学習支援装置、及び学習支援プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant