CN1584791A - 人机交互方法及装置 - Google Patents

人机交互方法及装置 Download PDF

Info

Publication number
CN1584791A
CN1584791A CN 200410025125 CN200410025125A CN1584791A CN 1584791 A CN1584791 A CN 1584791A CN 200410025125 CN200410025125 CN 200410025125 CN 200410025125 A CN200410025125 A CN 200410025125A CN 1584791 A CN1584791 A CN 1584791A
Authority
CN
China
Prior art keywords
user
computing machine
button
microphone
plc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 200410025125
Other languages
English (en)
Other versions
CN1285994C (zh
Inventor
赵其杰
屠大维
高达明
王仁三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai University
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN 200410025125 priority Critical patent/CN1285994C/zh
Publication of CN1584791A publication Critical patent/CN1584791A/zh
Application granted granted Critical
Publication of CN1285994C publication Critical patent/CN1285994C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种人机交互方法及装置，其人机交互方法是用户通过视觉、语音以及命令按钮交互通道与计算机进行交流；其人机交互装置由计算机显示器，CCD摄像机，以及与其相连接的摄像机镜头、图像采集卡，声卡、麦克风和扬声器，辅助光源，PLC，操作按钮和连接的家用电器组成。本发明可以满足不同用户的需要，特别是能满足老年人，残障人士或计算机知识贫乏的用户对计算机使用的需要。

Description

人机交互方法及装置
所属领域：
本发明涉及一种人机交互方法及装置，用于实现与计算机进行交流。
背景技术：
传统的人和计算机的交互方式是通过鼠标、键盘等向计算机输入信息，计算机通过显示器的图形用户界面向用户输出信息。这样的交互通道需要用户学习、主动适应机器。另外对于一些特殊的用户，如残障人士、老年人和文化层次比较低的用户，键盘、鼠标这样的交互通道很难满足他们的需求。很多情况下，用户并不需要做复杂的工作，他们只希望通过自然方便的操作实现一些功能，如上网、看电影等。美国佛吉尼亚(Virginia)大学于1989年推出的Erica系统(发表在期刊：IEEE Trans.OnSystems，Man，and Cybernetics，Vol.19，No.6，1989，PP1527-1534)直接利用眼睛与计算机交流，帮助一些只能控制眼睛肌肉的残疾人学习、生活和娱乐。但是Erica系统工作过程中要求用户眼睛注视屏幕某一对话框2秒钟，然后提示用户，再注视2秒种表示要执行该对话框对应的任务，不同用户的反应能力不同，设置固定的交互时间使得交互过程不够自然。语音也是交互中最常使用的交互通道之一，比如IBM公司的IBM ViaVoice和微软公司的Microsoft speech SDK等语音识别技术可以进行连续语音识别和语音合成，对简单的句子或词汇其识别准确率较高，但是不同用户言语中的方言、发音清晰度、周围环境噪音的干扰等对语音识别的准确率都有一定的影响，另外，汉语中的同音字或同音的词汇也是语音识别中的一个影响因素，使得单独的语音通道的普及应用受到一定的限制。本发明是将用户与计算机之间的视觉、语音、手动等多种交互方式集成在一起，既可以满足不同用户的需要，又可以在实现自然、自由人机交互的同时，弥补各种交互方式的不足，提高交互的可靠性。
发明内容：
本发明的目的在于提供一种人机交互方法及装置，充分利用视觉、语音以及简单的手动操作(命令按钮)的优点，克服单独一种交互方法在人机交互中的不足，通过几种交互方法的协作实现人和计算机的自然和谐的交流。
为了实现上述目的，本发明采取如下技术方案：
一种人机交互方法，其特征在于人机交互步骤为：
a.辅助光源在用户眼睛上形成普尔钦斑点，用户的脸部由摄像机镜头摄取图像、CCD摄像机将图像经图像采集卡采集到计算机的内存中；
b.在计算机中，用图像处理的方法确定出瞳孔和普尔钦斑点的位置关系，从而判断出用户的视线在屏幕上所注视的对话框，并激活对话框；
c.计算机通过声卡和扬声器提示用户当前的任务状态；
d.用户通过麦克风、声卡向计算机发出语音命令确定或取消激活的任务，或者，通过按下表示任务确定的按钮、或任务取消按钮，配合视觉通道完成对应的任务。用户通过麦克风、声卡向计算机发送命令来启动/暂停视觉通道的工作，或者通过按钮、PLC向计算机发送命令启动/暂停视觉通道和语音通道的工作，实现视觉、语音和命令按钮通道的协作。
一种用于权利要求1所述的人机交互方法的装置，包括显示屏幕，连接于显示屏幕的计算机、PLC、摄像头、麦克风、扬声器、辅助光源和操作按钮，其特征在于显示屏和摄像头放置用户脸部前方，辅助光源对准用户眼睛照射，麦克风和扬声器安置在用户附近，操作按钮安置在用户能手触及处；摄像头连接在CCD摄像机上，CCD摄像机的输出经图像采集卡连接计算机输入口；麦克风和扬声器通过声卡连接计算机，计算机还连接辅助光源和PLC，操作按钮通过PLC控制家用电器。
本发明与现有技术相比，具有如下显而易见的突出的实质性特点和显著优点：本发明通过几种人机交互效应通道的协作，克服了单纯视觉通道交互过程中存在的不自然性和不可靠性，通过简单的关键词识别和模板技术，克服了语音交互中的环境噪音干扰和提高了识别准确率。通过视觉、语音、命令按钮3种通道的协调配合，可以灵活的满足不同用户的需要，特别对于那些老年人，残障人士或计算机知识贫乏的用户，这种交互方法能很好的帮助他们，实现一种自然的人机对话过程。
附图说明
图1是本发明一个实施例的人机交互装置结构框图。
图2是图1示例中屏幕显示界面任务示意图。
具体实施方式
本发明的一个优选实施例如下：参见图1和图2，本人机交互方法是：
1.交互信息的输入：(1)在用户前方固定位置放置一近红外光源和CCD摄像机。近红外光源在用户眼睛角膜上形成高亮度反射点，即普尔钦斑点，CCD摄像机捕获脸部图像，经图像处理确定两眼普尔钦斑点位置坐标，当眼睛注视显示屏上不同方位的对话框时，眼球发生转动，对眼睛部位图像进行二值化图像处理确定瞳孔位置相对普尔钦斑点的偏移，根据该偏移量确定眼睛的视线方向，并激活眼睛盯视方向所对应的对话框，实现视觉通道的信息输入；(2)语音信号经过麦克风和声卡输入到计算机的内存中，利用计算机端的语音识别软件将音频信号处理为具有一定语意的文本信息，为了提高识别的准确率、减少环境噪音等的影响，用模板的方式将一些常用的关键词存入模板中，语音识别过程中只对模板中的关键词汇进行识别，提高了识别的准确率。利用语音处理软件将计算机端的文本信息处理为音频信号通过输出设备输出，实现语音合成功能；(3)若干按钮接在PLC的输入端，PLC通过串口RS-232与PC实现通信，并在PLC和PC端分别编写通信程序，当触发某个按钮时，将改变PLC端程序中某些寄存器的值，寄存器的不同值及其组合代表要实现一定的任务信息，经过PC和PLC的通信将任务信息输入到计算机端，实现命令按钮的信息输入。
2.交互信息的输出：(1)计算机显示器的视频输出；(2)计算机控制下的声音输出。
3.系统工作过程：系统启动后，3种交互方法同时工作，当用户通过眼睛注视并激活屏幕上的某个对话框时，该对话框开始闪烁，等待用户的响应，并用语音提示用户选择了“×××任务”以及实现该任务的方法，此时如果用户发出“确定”、“是”等简单的语音命令或按下某个代表“确定”、“是”的按钮，则计算机按照用户的选择执行该对话框代表的任务，用户也可以发出“取消”、“不是”等简单的语音命令或按下某个代表“取消”、“不是”的按钮，结束本次对话。当用户不希望视线输入通道工作时，只需发出“视觉暂停”语音命令或按下代表“视觉暂停”的按钮，则计算机不再响应用户的视觉输入，直到用户重新发出“启动视觉”的命令计算机才再次响应用户的视觉输入信息，同样可以通过按钮来启动和暂停语音通道的工作。
参见图1，本人机交互装置包括显示屏幕2，连接于显示屏幕2的计算机3、PLC 11、摄像头4、麦克风8、扬声器9、辅助光源10和操作按钮12、13、14，显示屏2和摄像头4放置用户1脸部前方，辅助光源10对准用户1眼睛照射，麦克风8和扬声器9安置在用户1附近，操作按钮12、13、14安置在用户1能手触及处；摄像头4连接在CCD摄像机5上，CCD摄像机5的输出经图像采集卡6连接计算机3输入口；麦克风8和扬声器9通过声卡7连接计算机3，计算机3还连接辅助光源10和PLC 11，操作按钮12、13、14通过PLC 11控制家用电器15、16、17。
本人机交互装置的工作原理：参见图1和图2，系统开始工作后，用户1注视屏幕2时，辅助光源10在用户1的眼睛角膜上形成一个反射点(普尔钦斑点)，用户1的脸部图像经物镜4、CCD摄像机5和图像采集卡6采集到计算机3的内存中，由于普尔钦斑点亮度最大，用图像处理的方法很容易确定出普尔钦斑点在脸部图像中的位置。当用户1的眼睛注视屏幕2上不同的对话框时，表现为眼球转动引起瞳孔位置的变化，而普尔钦斑点的位置不变，对眼部图像进行图像处理确定了瞳孔位置相对普尔钦斑点的偏移量，就可以判断出眼睛注视的对话框，并激活该对话框。如图2中，如果用户1注视的是“台灯”对话框，则该对话框开始闪烁，计算机3通过声卡7向扬声器9输出“您要开灯吗？”的提示信息，如果用户通过麦克风8、声卡7向计算机3发出“是”的语音命令或按下确定按钮12，则计算机3根据语音识别软件和所建立的模板(本实例采用了Microsoft speech SDK语音识别技术和XML语言创建了用户语音模板)内的关键词识别出用户的语音命令或确定按钮12对应的PLC 11中表示确定信息的寄存器的值，并通过串口RS-232向PLC 11发送一个开灯命令，PLC 11打开台灯15，否则如果用户通过麦克风8、声卡7向计算机3发出“不是”的语音命令或按下取消按钮13，则结束本次对话。用同样的方法可以实现对电视16、电扇17等的操作。如果用户1激活了“电影”对话框，此时不希望视觉通道工作，则可以通过麦克风8、声卡7向计算机3发出“视觉暂停”的语音命令，使视觉通道暂时停止工作，同样可以通过按下按钮14改变PLC 11中表示关闭或启动通道信息的寄存器的值，启动或关闭语音和视觉通道的工作。

Claims (2)

1.一种人机交互方法，其特征在于人机交互步骤为：
a.辅助光源(10)在用户(1)眼睛上形成普尔钦斑点，用户(1)的脸部由摄像机镜头(4)摄取图像、CCD摄像机(5)将图像经图像采集卡(6)采集到计算机(3)的内存中；
b.在计算机(3)中，用图像处理的方法确定出瞳孔和普尔钦斑点的位置关系，从而判断出用户(1)的视线在屏幕(2)上所注视的对话框，并激活对话框；
c.计算机(3)通过声卡(7)和扬声器(9)提示用户(1)当前的任务状态；
d.用户(1)通过麦克风(8)、声卡(7)向计算机(3)发出语音命令确定或取消激活的任务，或者，通过按下表示任务确定的按钮(12)、或任务取消按钮(13)，配合视觉通道完成对应的任务。用户(1)通过麦克风(8)、声卡(7)向计算机(3)发送命令来启动/暂停视觉通道的工作，或者通过按钮(14)、PLC(11)向计算机发送命令启动/暂停视觉通道和语音通道的工作，实现视觉、语音和命令按钮通道的协作。
2.一种用于权利要求1所述的人机交互方法的装置，包括显示屏幕(2)，连接于显示屏幕(2)的计算机(3)、PLC(11)、摄像头(4)、麦克风(8)、扬声器(9)、辅助光源(10)和操作按钮(12、13、14)，其特征在于显示屏(2)和摄像头(4)放置用户(1)脸部前方，辅助光源(10)对准用户(1)眼睛照射，麦克风(8)和扬声器(9)安置在用户(10)附近，操作按钮(12、13、14)安置在用户(1)能手触及处；摄像头(4)连接在CCD摄像机(5)上，CCD摄像机(5)的输出经图像采集卡(6)连接计算机(3)输入口；麦克风(8)和扬声器(9)通过声卡(7)连接计算机(3)，计算机(3)还连接辅助光源(10)和PLC(11)，操作按钮(12、13、14)通过PLC(11)控制家用电器(15、16、17)。
CN 200410025125 2004-06-11 2004-06-11 人机交互方法及装置 Expired - Fee Related CN1285994C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN 200410025125 CN1285994C (zh) 2004-06-11 2004-06-11 人机交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN 200410025125 CN1285994C (zh) 2004-06-11 2004-06-11 人机交互方法及装置

Publications (2)

Publication Number Publication Date
CN1584791A true CN1584791A (zh) 2005-02-23
CN1285994C CN1285994C (zh) 2006-11-22

Family

ID=34601157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 200410025125 Expired - Fee Related CN1285994C (zh) 2004-06-11 2004-06-11 人机交互方法及装置

Country Status (1)

Country Link
CN (1) CN1285994C (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100487568C (zh) * 2007-05-29 2009-05-13 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN102184011A (zh) * 2011-05-06 2011-09-14 中国科学院计算技术研究所 一种人机交互设备
CN102419632A (zh) * 2011-11-04 2012-04-18 上海大学 可调节的视线跟踪人机交互装置
CN1873600B (zh) * 2005-06-02 2013-01-23 冲电气工业株式会社 自动交易装置及输入装置
CN101923539B (zh) * 2009-06-11 2014-02-12 珠海市智汽电子科技有限公司 基于自然语言的人机对话系统
CN105204993A (zh) * 2015-09-18 2015-12-30 中国航天员科研训练中心 一种基于眼动、语音和触屏多模式交互的问卷测试系统和方法
CN105741839A (zh) * 2016-02-17 2016-07-06 陆玉正 一种车载电器语音辅助控制装置
CN106415413A (zh) * 2014-02-13 2017-02-15 欧姆龙株式会社 可编程显示器、便携终端装置、数据处理方法以及程序

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017069176A1 (ja) * 2015-10-19 2017-04-27 株式会社オリィ研究所 視線入力装置、視線入力方法、および、視線入力プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1873600B (zh) * 2005-06-02 2013-01-23 冲电气工业株式会社 自动交易装置及输入装置
CN100487568C (zh) * 2007-05-29 2009-05-13 南京航空航天大学 具有视线跟踪功能的增强现实自然交互式头盔
CN101923539B (zh) * 2009-06-11 2014-02-12 珠海市智汽电子科技有限公司 基于自然语言的人机对话系统
CN102184011A (zh) * 2011-05-06 2011-09-14 中国科学院计算技术研究所 一种人机交互设备
CN102184011B (zh) * 2011-05-06 2013-03-27 中国科学院计算技术研究所 一种人机交互设备
CN102419632A (zh) * 2011-11-04 2012-04-18 上海大学 可调节的视线跟踪人机交互装置
CN102419632B (zh) * 2011-11-04 2014-10-01 上海大学 可调节的视线跟踪人机交互装置
CN106415413A (zh) * 2014-02-13 2017-02-15 欧姆龙株式会社 可编程显示器、便携终端装置、数据处理方法以及程序
CN106415413B (zh) * 2014-02-13 2020-01-31 欧姆龙株式会社 可编程显示器、便携终端装置、数据处理方法
CN105204993A (zh) * 2015-09-18 2015-12-30 中国航天员科研训练中心 一种基于眼动、语音和触屏多模式交互的问卷测试系统和方法
CN105741839A (zh) * 2016-02-17 2016-07-06 陆玉正 一种车载电器语音辅助控制装置

Also Published As

Publication number Publication date
CN1285994C (zh) 2006-11-22

Similar Documents

Publication Publication Date Title
US6115482A (en) Voice-output reading system with gesture-based navigation
US6253184B1 (en) Interactive voice controlled copier apparatus
Aghajan et al. Human-centric interfaces for ambient intelligence
US20020178344A1 (en) Apparatus for managing a multi-modal user interface
WO2015059976A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CA2308213A1 (en) Voice-output reading system with gesture-based navigation
CN115206304B (zh) 低延迟智能自动化助理
JP2010067104A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
KR102630662B1 (ko) 어플리케이션 실행 방법 및 이를 지원하는 전자 장치
CN1285994C (zh) 人机交互方法及装置
CN105206123B (zh) 一种聋哑患者交流装置
KR20200115670A (ko) 입력 표시 장치, 입력 표시 방법, 및 프로그램
CN110473436A (zh) 一种阅读辅助学习设备
CN111156441A (zh) 用于辅助学习的台灯、系统和方法
Keefer et al. The development and evaluation of an eyes-free interaction model for mobile reading devices
Ronzhin et al. Assistive multimodal system based on speech recognition and head tracking
US20220277662A1 (en) Interactive Reading Assistant
Merrill Head-Tracking for Gestural and Continuous Control of Parameterized Audio Effects.
Nam et al. A semiotic analysis of sounds in personal computers: Toward a semiotic model of human-computer interaction
CN111914563A (zh) 一种结合语音的意图识别方法及装置
US20190235710A1 (en) Page Turning Method and System for Digital Devices
JPH08137385A (ja) 会話装置
US11074024B2 (en) Mobile device for interacting with docking device and method for controlling same
Ding User-generated vocabularies on Assistive/Access Technology
CN117991899A (zh) 基于肢体语言的电子设备交互系统及电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20061122