CN114546102A - 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 - Google Patents
眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 Download PDFInfo
- Publication number
- CN114546102A CN114546102A CN202011354748.3A CN202011354748A CN114546102A CN 114546102 A CN114546102 A CN 114546102A CN 202011354748 A CN202011354748 A CN 202011354748A CN 114546102 A CN114546102 A CN 114546102A
- Authority
- CN
- China
- Prior art keywords
- input
- eye
- track
- user
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 370
- 230000004424 eye movement Effects 0.000 claims abstract description 468
- 210000001508 eye Anatomy 0.000 claims abstract description 388
- 230000000007 visual effect Effects 0.000 claims abstract description 152
- 230000009471 action Effects 0.000 claims abstract description 131
- 230000007246 mechanism Effects 0.000 claims abstract description 93
- 230000033001 locomotion Effects 0.000 claims abstract description 73
- 230000009286 beneficial effect Effects 0.000 claims abstract description 4
- 230000006399 behavior Effects 0.000 claims description 231
- 230000008569 process Effects 0.000 claims description 100
- 230000003993 interaction Effects 0.000 claims description 70
- 238000010586 diagram Methods 0.000 claims description 60
- 210000003128 head Anatomy 0.000 claims description 56
- 238000007781 pre-processing Methods 0.000 claims description 52
- 230000000694 effects Effects 0.000 claims description 47
- 230000004434 saccadic eye movement Effects 0.000 claims description 38
- 210000004556 brain Anatomy 0.000 claims description 36
- 230000004886 head movement Effects 0.000 claims description 34
- 230000002452 interceptive effect Effects 0.000 claims description 32
- 230000004044 response Effects 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 27
- 238000005516 engineering process Methods 0.000 claims description 24
- 238000001914 filtration Methods 0.000 claims description 22
- 238000004091 panning Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000001976 improved effect Effects 0.000 claims description 17
- 238000003825 pressing Methods 0.000 claims description 17
- 206010044565 Tremor Diseases 0.000 claims description 16
- 230000004397 blinking Effects 0.000 claims description 16
- 210000001747 pupil Anatomy 0.000 claims description 14
- 230000001133 acceleration Effects 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 10
- 238000010845 search algorithm Methods 0.000 claims description 10
- 230000014509 gene expression Effects 0.000 claims description 9
- 210000005252 bulbus oculi Anatomy 0.000 claims description 8
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 230000010355 oscillation Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 208000003443 Unconsciousness Diseases 0.000 claims description 5
- 238000009877 rendering Methods 0.000 claims description 5
- 230000036992 cognitive tasks Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 230000000306 recurrent effect Effects 0.000 claims description 4
- 241000272814 Anser sp. Species 0.000 claims description 3
- 206010061592 cardiac fibrillation Diseases 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 claims description 3
- 230000002600 fibrillogenic effect Effects 0.000 claims description 3
- 210000001232 limbus corneae Anatomy 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 210000003786 sclera Anatomy 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 238000007599 discharging Methods 0.000 claims description 2
- 210000000056 organ Anatomy 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000003945 visual behavior Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 claims 1
- 210000003811 finger Anatomy 0.000 description 29
- 239000011521 glass Substances 0.000 description 21
- 241000282414 Homo sapiens Species 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 17
- 230000004438 eyesight Effects 0.000 description 15
- 230000009191 jumping Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 210000005224 forefinger Anatomy 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 239000000243 solution Substances 0.000 description 5
- 230000007177 brain activity Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 210000004247 hand Anatomy 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000010079 rubber tapping Methods 0.000 description 4
- 239000004984 smart glass Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 210000000554 iris Anatomy 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000008092 positive effect Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 238000001179 sorption measurement Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000416098 Heliotropium angiospermum Species 0.000 description 1
- 206010053694 Saccadic eye movement Diseases 0.000 description 1
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006998 cognitive state Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 210000001328 optic nerve Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Input From Keyboards Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明属于眼动输入控制技术领域，公开了一种眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置，眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；检测用户准备开始眼动滑行输入的行为、信号、输入动作和滑动轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制。和/或将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配；根据字母键位输入序列从词库中搜索匹配的文字/词组/单词，并实时显示；检测用户准备结束眼动滑行输入的行为和信号，进行正确候选词的选择，完成眼动滑动轨迹的输入。本发明降低了视觉搜索难度，有助于增加搜索效率，提高轨迹识别精确度，键盘布局增加了视觉搜索效率。
Description
技术领域
本发明属于眼动输入控制技术领域，尤其涉及一种眼动追踪滑行输入方法、系统、智能终端及眼动追踪装 置。
背景技术
目前，增强现实(AR)和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式环境。用户可以通过各种 电子设备与3D虚拟沉浸式环境进行交互来体验，例如，MR眼镜或其他近眼显示设备(包括VR眼镜、AR眼 镜、XR眼镜等)被统称为头戴式显示器(HMD)。
如今，主要通过物理键盘来对电脑进行文字输入，通过手指触摸屏来对智能手机进行文字输入，那么在 被预为下一代智能终端的AR/VR智能眼镜会采用什么样的文字输入方式呢？例如通过AR眼镜和手持式硬件输 入设备(例如手机、智能手表)相互配合进行文字输入。但是如果遇到HMD的显示器正在显示虚拟沉浸式体 验和/或一个或多个虚拟对象，用户可能难以仅通过手持电子设备或控制器上提供某些类型的输入，因为在佩戴 HMD时手持电子设备可能不容易被用户看到，对于用户来说，可能难以在不能够实际看到手持电子设备上显示 的键盘和在手指的位置显示键盘的情况下使用手持电子设备上的键盘进行文本输入。类似地，当在虚拟环境中 查看由HMD显示的虚拟键盘时，用户可能难以仅使用手持电子设备的触摸板上的触摸滑动来输入文本，因为 在佩戴HMD时手持电子设备可能对用户而言并不容易看到。
相较于眼动追踪是可以解决上述文本输入问题的重要方式之一，相比于手势追踪、语音识别、6Dof控制 器等常见的交互方式之外，眼球追踪有其优势和优点，例如私密性更好。
眼动追踪键盘输入法并不是新的技术，例如史蒂夫.霍金通过眼睛运动向计算机输入文字，甚至通过眼动 输入撰写书籍和论文，国内早年也有新闻报道过渐冻症患者使用眼动追踪设备对电脑进行文字的输入。但是目 前的眼动键盘输入法是通过注视点在按键上的驻留时长超过预设阈值作为按键的确认键入的机制，但是这么眼 动输入法的效率是十分低效的，用户体验不好，那么在未来眼动输入法不能作为AR眼镜的有效输入方法来面向普通消费市场。
近日，苹果手机新系统IOS 13中增加了一种手指滑动输入的输入法，具体为当手指按压在手机屏幕上保 持按压状态(无需离开屏幕)的情况下，手指在屏幕上滑行至按键位置即可连续输入多个字母，并最终组成单 词/词组。由此萌发出将滑行输入的理念应用在眼动输入法中。
增强现实(AR)和/或虚拟现实(VR)系统可以生成三维(3D)沉浸式环境。用户可以通过各种电子设 备与3D虚拟沉浸式环境进行交互来体验，例如，MR眼镜或其他近眼显示设备(包括VR眼镜、AR眼镜、XR 眼镜等)。
目前世界上流行的qwert全键盘布局和九宫格键盘布局并不是眼动滑动输入的最好布局，问题如下：
问题1.全键盘形状会超出用户的视野范围：人类横向视域最大接近190度。但空间感知、颜色识别最好 的区域只有50度到60度。纵向视域如下图所示最大接近120度，颜色识别界限在55度左右。站立情况下视线 会低于水平10度；坐着时低于水平15度。因此如果将现有的qwert全键盘(长方形键盘)布局作为眼动滑动 输入的虚拟键盘时，长方形键盘可能会超出用户的视野范围，长方形键盘设置较远的距离则可能无法清楚看清 键位，设置较近的距离则长方键盘两侧会超出超出用户的视野范围，并且在实际的眼动滑动输入过程中还需要 转动头部来扩充视野来看全完整的键盘区域，再通过注视点滑动输入字符。可想而知在眼动滑动输入的过程中 需要额外协调头部进行输入的体验是很不好的。
问题2.全键盘上的字符键位布局较为分散：由于传统的26键全键盘最初设计是通过双手敲击进行输入 的，为了能够摆下两只手协同输入，所以全键盘的字符按键组成了长方形键盘。
问题3.在全键盘上眼动滑行输入中，一次长距离的眼跳需要跨过太多键位：所示如图，在全键盘上输入 字符“AI”时，需要眼睛注视点从字符“A”眼跳至“I”，在这个眼跳的过程中注视点会掠过“S”、“D”、 “F”、“T”、“G”、“Y”、“J”，在眼跳过程中掠过太多无用的字符键位可能会造成误触键位，以至于 输入错误的字符，这也会大大增加键入错误字符的几率，降低眼动滑动输入的体验。
4.眼动滑行输入的过程中，用户短暂的思考会影响滑动轨迹：在眼动滑行输入的过程中，可能会遇到用 户用户短暂的思考。例如包括但不限于可能在大脑中组织语言，思考输入的文字，解码拼音/单词，思考下一个 输入的字符，思考下一个输入字符的位置等大脑活动，除此之外用户思考的大脑活动还有可以与眼动滑行输入 无关。然而在思考的过程中的眼睛行为将不再受用户主观意识控制，会出现目光呆滞，目光呆滞表现为长时间 注视同一位置，瞳孔直径变小，并且思考过程中注视点位置靠近视野中心，在视野中心的一定范围内驻留，同 时注视点在这个范围内会轻微无规则漂移。
5.一字排列的字符键位布局容易受到视觉搜索轨迹的干扰：所示如图，在qwert的全键盘布局中，例如从 “Q”-“P”，或从“A”-“L”等键位是成一字排列的，如果用户此时输入的字符在同一条横向直线上时，例 如图中，设置输入“qu-去”为输入目标，从键位“Q”到键位“U”的输入过程中，用户可能需要对键位“U” 进行视觉的搜索，所以注视点可能会跳转至同一条线上的任何键位进行视觉搜索，例如本说明性示意图中注视 点跳转至键位“E”和“T”，直到发现键位“U”，系统可能误认为用户输入了qetu，无法正确输入正确文字 “qu-去”。可以发现如果字符在同一条直线上的输入情况时，区分注视点输入和视觉搜索之间的差别时非常困 难的。
通过上述分析，现有技术存在的问题及缺陷为：
(1)现有的眼动输入方法的效率是十分低效的，用户体验不好，且视觉搜索键盘上的字符成本较高。
(2)现有眼动输入方法的全键盘布局会超出用户的视野范围；全键盘上的字符键位布局较为分散；在全 键盘上眼动滑行输入中，一次长距离的眼跳需要跨过太多键位；眼动滑行输入的过程中，用户短暂的思考会影 响滑动轨迹；一字排列的字符键位布局容易受到视觉搜索轨迹的干扰；
(3)现有的眼动输入方法识别输入结果不准确。
解决以上问题及缺陷的难度为：
目前的手指触摸滑行输入法与眼动滑行输入法的技术难度是完全不同的。本领域技术人员应了解现有的 手指触摸滑行输入法是通过眼睛搜索键盘中键位位置，手指输入键位(键盘字母位置)，或者眼睛注视候选词 区域，手指进行盲打。因此，手指触摸滑行输入法需要手和眼睛的共同配合完成输入任务。但是眼动滑行输入 法需要眼睛同时完成对键盘键位的视觉搜索任务和眼动输入的任务，这两项任务都是通过眼睛实现的。因此相 比于手指滑行输入法，眼睛的视觉搜索会干扰正常的眼动滑行输入轨迹，由此造成单纯的滑行轨迹识别的字词 存在一定的错误率。
不同点还在于手和眼睛绘制轨迹的方式不同。手指触摸滑行输入法通过手指在屏幕的键位上连续不断的 滑行，手指的滑行速度变化较小。然而眼球运动是弹射式的，注视点以极高的加速度从一点跳转至另外一点， 这种眼球运动被称之为扫视，并且眼睛无法在跳转的过程中看清物体，只有当眼睛扫视运动停下来之后才能看 清物体，因而眼动滑行轨迹是通过扫视和注视绘制而成，但是同时眼动轨迹中还夹杂着其他眼睛行为，没有手 绘轨迹那么纯粹。综上，现有的手指触摸滑行输入法中通过轨迹中的起点、终点、拐点、停顿、速度变化、轨 迹长度等作为确定选择按钮的键入机制，那么眼动滑行输入法的轨迹中选择按钮的键入机制会是什么？另外在 现有的公开眼动交互技术中通过眨眼或者单眼眨眼作为按键点击确定的选择机制，这种方式用在高频使用文字 输入应用场景中是非常不合适的，眨眼原本是人类无意识条件反射，因而眨眼点击不仅需要用户投入大量的注 意力，而且长期使用会疲劳。不仅如此，从眼动追踪硬件技术的角度，单/双眨眼会引起硬件信号的丢失，进而 影响眼动滑动的轨迹，进而影响自此识别准确度。
如何检测眼动滑行输入的轨迹起点位置？不同于手指触摸滑行输入法，当手指接触屏幕一瞬间的位置可 以被标记为滑行轨迹的起点，当手指离开屏幕的一瞬间可以标记为滑行轨迹的终点，由此可以识别一个字词的 一条完整轨迹，一条首尾清晰的轨迹有助于对字词的识别和预测。然而眼动滑动输入中，眼睛运动向量映射在 全息屏幕中的注视点光标是时刻与屏幕接触的，所以难以识别例如手绘轨迹中起点和终点，那么应该通过什么 样的机制和交互方式来确定滑行轨迹的起点将决定轨迹识别的准确度。
人在思考过程中的眼动行为会干扰滑动输入。人在写作过程是人类智力的产出，需要人进行思考、语言 逻辑、表达、翻译成文字并进行键盘输入，其中有大量的思考和智力运动。由此可想在眼睛滑动输入的过程中， 在输入途中用户会停下滑动进行短暂的思考，在思考的过程中眼睛是不受主观意识控制的，所以会出现眼睛注 视点的漂移、抖动等，进而影响滑动轨迹，或者对隔壁按键的误触，最终影响输入准确度，造成用户体验的不 佳。
由于当前的交互形式为眼睛，并且为了提供最佳的产品体验，因此现在的26键QWERT键盘布局实际上 并不适用于未来的眼动键盘输入。现有大多数的键盘布局都是长方形的，在测试中发现，长方形虚拟键盘的宽 度超过了人的中央凹视野范围，因而使得用户根据记忆眼跳到目标按键上的精度降低，并且视觉搜索按键的难 度较大。不仅如此由于眼动追踪技术的原因，当眼睛注视方向过于靠近视野外圈边缘时(在头不动的情况下)， 会出现一定的注视点映射误差，即当用户在注视键入26键键盘两侧的键位时(例如Q、A、Z)，注视点光标 的映射可能是存在偏移误差的，例如用准备看A，但是实际指向为S。综上，理想的眼动滑入键盘布局应该能 够提高键位视觉搜索效率，并且键位相对集中，符合人眼中央凹高清成像的键盘布局设计。
还包括一些眼动滑行输入过程其他问题，例如遇到连续两个重复的输入键，那么应该如何高效的输入？ 另外，在现有文字输入的过程中，用户会更多的把视觉注意力放在输入法的候选词区域，在候选词区域会实时 的呈现可能的字词/单词，并提供用户选择，通过对候选词区域的观察，用户才能及时的判断自己键位输入字词 的准确性，进而删除/修改/退回输入错误的字母。那么在眼动滑行输入的过程中，则无法有效的查看候选词区域，只有在一个完整的单词轨迹输入完毕后，用户才有注意力去查看候选词，进而判断输入的单词是否输入准确。 那么是否有方法实现在眼动滑行输入的过程中实时的检查候选词，及时的判断输入字母的准确度。
解决以上问题及缺陷的意义为：提高以眼动追踪为人机交互方式为主的交互体验，提高眼动输入法的效 率，提高国外专利技术水平，弥补国内技术短板。促进国内外AR/VR行业的发展。
发明内容
针对现有技术存在的问题，本发明提供了一种眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置。
本发明是这样实现的，一种眼动追踪滑行输入方法，所述眼动追踪滑行输入方法：键入，通过提取滑行轨 迹中眼睛行为，并作为键位输入机制。具体为：
步骤一，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行 为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤二，检测用户准备开始眼动滑行输入的行为和信号；
步骤三，检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹， 根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤四，根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；并实时显示前几个最有可能的文字/ 词组/单词；
步骤五，检测用户准备结束眼动滑行输入的行为和信号；进行正确候选词的选择，并将候选文字输入到文 本中，完成眼动滑动轨迹的输入。
步骤六，对于眼动滑行输入过程中的重键，额外提供一个重复输入键，在所述重复输入键中将实时刷新显 示上一个输入过的字母，使滑动输入流畅。
进一步，步骤三中，所述对注视点滑动轨迹进行预处理包括：
首先，对用户滑动轨迹进行大小归一化处理，得到统一坐标系的点序列；
其次，用均值滤波器的方法对所述的点序列进行轨迹平滑处理，得到去除抖动引起的噪点后的点序列。
进一步，步骤二中，所述用户准备开始眼动滑行输入的行为和信号包括但不限于：
按压控制器上的预设按键后，则将当前注视点位置作为某个词组滑行轨迹的起点；
按压下控制器上的预设按键后保持按住状态，则将控制器按键的按下信号作为眼动滑行轨迹的起点；
或/和手势识别，通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹起点的信号；所述手势识别 技术包括但不限于利用加速度/角速度传感器制作而成的数据手套；利用结构光/激光扫描/相机的图像识别等技 术的无接触手势识别技术；超声波手势识别；
或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的起点相对 应，进而控制眼动滑动轨迹的开始；
或/和眼睛行为，注视点在某个键位上注视时长超过预设阈值作为眼动滑动轨迹的起点；
注视点从键盘的其他区域跳转至键盘输入区域的首个键位上时，所述首个接触注视点的键位被记作为轨迹 的起点；
注视点停留在在字母键位上，同时进行单/双眼眨眼作为设置起点。
进一步，步骤三中，所述根据轨迹中的眼睛行为作为键位输入选择的机制包括：
所述轨迹中的眼睛行为包括：在键位上注视点驻留、在键位上产生拐点轨迹、校正扫视以及眼颤；
所述在键位上注视点驻留包括：在键位上短暂停留的注视点，根据注视点在键位字母上的驻留的顺序将轨 迹序列转换成各个键位组成的键位序列；所述注视点为注视的持续时间超过一定时长的点；
所述在键位上产生拐点轨迹包括：在任意的两次连续的眼跳运动中形成两段扫视轨迹，所述两段连续的轨 迹的夹角角度达到一定预设角度范围内时，则被标记为发生了拐点轨迹；当拐点轨迹发生时，则与发生拐点轨 迹处坐标相同的键位字母被作为输入；
所述校正扫视包括：当用户通过眼睛注视点对准交互目标时，10％短距离的即为校正扫视；
所述眼颤包括：瞳孔和角膜缘出现位移，当眼球运动到达目标目标时产生眼颤；所述眼颤表现为阻尼振荡。
进一步，步骤五中，所述用户准备结束眼动滑行输入的行为和信号包括但不限于：
当滑行轨迹到达轨迹终点键位上时，再按压控制器上的预设按键作为终点指令；
或/和用户按下控制器上的预设按键后保持按压状态时，则松开控制器按键，则作为识别轨迹终点的信号；
或/和手势识别，终端设备通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹终点的信号；
或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的终点信号 相对应，进而控制眼动滑动轨迹的结束；
或/和眼睛行为，在轨迹终点键位上注视一定时长作为获取轨迹终点的指令信号；
注视点离开键盘输入区域前的最后一个键位作为终点。
进一步，步骤五中，所述进行正确候选词的选择包括：
通过语音交互、手势交互、眼动交互、控制器选择交互、头动交互中的任意一项交互方式与眼动注视点相 配合选择候选词；所述候选词根据预测概率进行排序。
进一步，所述方法二眼动追踪滑行输入方法还包括：轨迹识别，通过将当前滑行轨迹与已经训练好的AI 轨迹模型比对，进而识别出字词。具体为
第一步，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行 为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
第二步，检测用户准备开始和结束眼动滑行输入的行为和信号；
第三步，检测和记录注视点在软键盘上的输入动作和完整滑动轨迹，呈现一段时间范围内的注视点滑动轨 迹，并对注视点滑动轨迹进行预处理，并提取轨迹特征；
第四步，将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配；候选词区域实时显示前几个AI眼动轨 迹模型匹配后的文字/词组/单词；
第五步，选择正确的候选词，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；将选择结果用于优 化AI眼动轨迹模型。
进一步，第三步中，所述轨迹特征包括：滑动轨迹的形状、轨迹相对于键盘的相对位置、注视轨迹的总长 度、轨迹拐点、键位上注视点驻留序列、轨迹起点/终点、扫视距离、扫视速度、注视时长。
进一步，所述方法三眼动追踪滑行输入方法还包括：键入+轨迹识别，提取滑行轨迹中眼睛行为，并作为键 位输入机制获得字词，最后再通过AI轨迹模型识别校正存在误差的，进而提高识别准确度。具体为：
(1)系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为， 并将注视方向映射在虚拟三维空间或/和二维屏幕中；检测用户准备开始眼动滑行输入的行为和信号；
(2)检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹，呈现一段时间范围内的注视点滑动 轨迹，并对注视点滑动轨迹进行预处理，提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制；
(3)根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；候选词区域实时显示前几个最有可能的 文字/词组/单词；检测用户准备“结束”眼动滑行输入的行为和信号；
(4)获得当前完整轨迹的形状和轨迹特征；将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配，对 可能的单词/词组进行预测；
(5)将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计 算识别字词的准确性；候选词区域显示的计算结果的文字/词组/单词；
(6)选择正确的候选词，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；将选择结果用于优化 AI眼动轨迹模型。
进一步，所述方法四眼动追踪滑行输入方法还包括：键入+轨迹识别+词组联想优化，根据拼写规则预测/ 联想词组，进而提高轨迹识别准确度。具体为
1)系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为，并 将注视方向映射在虚拟三维空间或/和二维屏幕中；检测用户准备开始眼动滑行输入的行为和信号；
2)检测和记录注视点在软键盘上的输入动作和滑动轨迹，并提取注视点滑动轨迹进行预处理，根据轨迹中 的眼睛行为作为键位输入选择的机制，同时获得轨迹特征；
3)根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；候选词区域实时显示前几个最有可能的文 字/词组/单词；检测用户准备结束眼动滑行输入的行为和信号；
4)生成当前完整轨迹的形状，和轨迹相对于键盘的相对位置的轨迹信息；将眼动轨迹与已经训练好的AI 眼动轨迹模型相匹配，对可能的单词/词组进行预测；
5)将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计算 识别字词的准确性；候选词区域显示的计算结果的文字/词组/单词；
6)选择正确的候选词，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；将选择结果用于优化AI 眼动轨迹模型。
进一步，所述方法五眼动追踪滑行输入方法还包括：键位提示，根据拼写规则预测/联想词组结果，下一个 可能的字母位置被突显提示，有助于增加视觉搜索效率，降低错误轨迹，提高轨迹识别精确度。
步骤5101：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤5102：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤5103：检测用户准备“开始”眼动滑行输入的行为和信号，记录滑行轨迹首个键入的字符，并根据首 字符和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测至少一个可能的第二字符；
步骤5104：根据第二字符预测获得的第二字符可能输入键位选项，通过视觉特效提示所有第二字符可能选 择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择 键位等待用户的响应；
步骤5105：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹， 并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，
步骤5106：实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在“提示键位”，若 “是”注视点滑动键入了“提示键位”，则进行步骤5107推算下一个可能字母，刷新键盘提示键位位置布局；
若“否”无接触，则暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入； 或/和执行“步骤5110”检测“结束”眼动滑行轨迹键入行为；
步骤5107：根据当前和之前输入的字符，键入字符的序列和单词搜索算法或单词查找树以及预定拼写规则， 从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；
步骤5108：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位， 或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待 用户的响应；
步骤5109：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤5110：检测用户准备“结束”眼动滑行输入的行为和信号，若“未结束”，则循环执行步骤5105；
步骤5111：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
进一步，所述另一种方法五眼动追踪滑行输入方法还包括：
步骤a：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤b：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤c：检测用户准备“开始”眼动滑行输入的行为和信号，记录滑行轨迹首个键入的字符，并根据首字符 和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测至少一个可能的第二字符；
步骤d：根据第二字符预测获得的第二字符可能输入键位选项，通过视觉特效提示所有第二字符可能选择键 位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位 等待用户的响应；
步骤e：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并 对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，
步骤f：实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在“提示键位”，若“是” 注视点滑动键入了“提示键位”，则进行步骤5107推算下一个可能字母，刷新键盘提示键位位置布局；
若“否”无接触，则暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入； 或/和执行“步骤5110”检测“结束”眼动滑行轨迹键入行为；
步骤g：根据当前和之前输入的字符，键入字符的序列和单词搜索算法或单词查找树以及预定拼写规则，从 词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；
步骤h：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位，或 /和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用 户的响应；
步骤i：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤j：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤k：生成当前完整轨迹的形状，和轨迹相对于键盘的相对位置的轨迹信息；
步骤l：将眼动轨迹与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤m：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置 计算识别字词的准确性；
步骤n：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤o：用户选中正确的候选词，并将候选文字输入到文本中；
步骤p：将用户选中结果用于优化AI眼动轨迹模型。
进一步，所述方法六眼动追踪滑行输入方法还包括：眼动滑行输入的键盘布局，增加了视觉搜索效率。具 体为：
具体为键盘的外圈Sj形状为中心对称的图形，例如外圈Sj的中心对称图形包括但不限于圆形、正方形、六 边形、八边形等，外圈Sj至内圈Sk之间设置“字母键位输入区域”。外圈Sj的内圈会设置同一中心对称点的 内圈Sk，内圈Sk以内被用于设置输入法的其他功能区域和空白区域Sm，内圈Sk为中心对称图形，内圈Sk包 括但不限于圆形、正方形、六边形、八边形等，中心对称图形有助于聚合用户的注视点。外圈Sj和内圈Sk共 同的对称中心点(及几何中心)位置设置Sc候选词显示区域，候选词显示区域被用于显示用户正想要输入的字 符/字词，为用户提供积极的反馈，进而用户知道是都输入正确，在键盘输入过程中注视次数最多的区域，因而 设置在几何中心。
外圈Sj至内圈Sk之间为键盘输入区域，键盘的26个字母键位设置在键盘输入区域，可以一个字母为一组， 也可以两个或三个字母为一组键位，也可以更多的键位为一组，例如9键布局、12键布局，相邻的三个字母按 键存在一定的角度。在另外一种增加或替换性实施例中，字母/字符的排列顺序可以根据字母的点击频率或拼音 的拼写规则排列。键盘输入区域被设置为等待眼动注视点光标的交互。
内圈Sk为注视点安置区域，被用于设置输入法的其他功能区域和空白区域Sm。空白区域Sm没有可交互 目标，系统眼动交互行为和/或其他控制器在该空白区域Sm产生的指令不响应，该区域被设置用于安置用户无 意识的眼睛行为，例如眼颤、漂移、视觉搜索等。本施例性说明的其他功能区域中包括但不限于Sa为短文本输 入框，Sb输入字母预览区，Sc首候选词显示区域，Sd1-Sd3其他候选词显示区域，Se功能键-删除键，Sf功能 键-换行，Sg特殊符号显示键，Sh数字显示键，Si表情显示键。其中上述“其他功能区域”中的功能键的交互 方式包括松开控制器按键，和/或点击控制器按键、和/或特定的手势、和/或动头(点头、低头、抬头)、和/或 眼睛行为(注视时长、视觉深度、眨眼)。
进一步，所述方法七眼动追踪滑行输入方法还包括：通过检测眼睛行为和/或脑电波分析用户大脑的负荷， 解决了在输入过程中的短暂思考对滑动轨迹的思考。具体为：
步骤Ⅰ，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行 为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤Ⅱ，检测用户准备开始眼动滑行输入的行为和信号；检测用户思考状态，通过脑电波检测装置检测用 户大脑的思考负荷，和/或眼动追踪装置检测用户注视行为；当大脑电信号达到预设阈值范围内，和/或注视点驻 留时长超过预设阈值时，识别并过滤造成影响的注视点滑动轨迹；
步骤Ⅲ，检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹， 一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛 行为作为键位输入选择的机制；
步骤Ⅳ，根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；候选词区域实时显示前几个最有可能 的文字/词组/单词；
步骤V，检测用户准备结束眼动滑行输入的行为和信号；获得当前完整轨迹的形状和轨迹特征；将眼动轨 迹特征与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤VI，将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设 置计算识别字词的准确性；候选词区域显示计算结果的文字/词组/单词；
步骤VII，选择正确的候选词，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；将选择结果用于优 化AI眼动轨迹模型。
进一步，步骤六中，用于解决眼动滑行输入过程中的重键问题进行键盘布局:
另外一种键盘布局实施例，用于解决眼动滑行输入过程中的重键问题的键盘布局。例如在“press”、“app” 字母键入中存在“ss”、“pp”这种两个相同字母连续输入的情况，这种情况本文称之为“重键输入“。在注 视点滑动输入的过程中遇到重键输入时，用户需要连续通过眼动交互连续输入同一个字符。目前在国外给出的 解决方案是通过注视点对同一字母位置保持更长注视时长，例如目标输入”ss“，当注视点第一次接触按键”s “位置时，保持注视点位置在按键”s“感应区域内的时长超过预设阈值，则系统视为连续输入第二个”s“， 但是上述的方法会降低用于的输入速度和效率，交互提交不佳，流畅的眼动滑动输入行为会被额外的注视时长 打断。
由此，本发明方法八中提出，在眼动滑动输入法中额外提供一个重复输入的键位。具体为额外提供重复输 入键Sy，在Sy键中将实时刷新显示上一个输入过的字母。例如任务目标为输入单词“press”，当注视点滑动 输入字母“p”时，“重复输入键Sy”刷新显示为“p”。当注视点滑动输入字母“r”时，“重复输入键Sy” 刷新显示为“r”………….当注视点滑动输入字母“s”时，“重复输入键Sy”刷新显示为“s”,这时下一个输 入字母与上一个字母”s“一样仍为字母“s”，则注视点可以跳转至“重复输入键Sy”，进而输入了字母“s”， 由此通过在固定位置设置一个永远显示上一个输入字母的“重复输入键”是的滑动输入更为流畅。
1)检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据 轨迹中的眼睛行为作为键位输入选择的机制；2)将上一步成功键入的信号发送至处理器，处理器提示显示渲染 装置生成与上一步成功键入的字母，显示在重复输入键位置，并等待用户的注视交互。若没有检测到用户对重 复输入键的交互操作则循环执行上一步。附加的另外一种实施例中，当用户注视“重复输入键”已经连续输入 两个相同字符时，用户再次跳转至字母键位区域的同一字母位置，则可以连续输入相同的三个字母。
进一步，眼动追踪滑行输入方法还包括第九种方法：用于通过在扫视/眨眼过程中变更显示元素来解决在键 盘中的动态元素干扰用户注视位置的方法。
步骤901：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤902：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤903：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤904：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨 迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤905：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤906：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复输 入键位更新字符；
步骤907：检测用户准备“结束”眼动滑行输入的行为和信号。如果检测到“结束”指令，则执行下一步。 如果未检测到“结束”指令，则执行循环执行步骤904；
步骤908：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
具体说明：
步骤906：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复输 入键位更新字符；
在人类扫视过程中，及注视点从一点跳转至另外一点的过程中，人是无法在扫视过程中看清东西的。在生 理上，扫视的持续期间视觉是被抑制的。因此通过这个眼睛生理特点，眼动追踪装置检测长扫视行为(通过眼 睛运动的加速度可判断)，并在扫视行为结束之前设备显示装置完成候选词、重复输入键的显示更新。
进一步，所述方法十眼动追踪滑行输入方法还包括：交替在双同轨键位的键盘布局的眼动滑动输入的方法， 通过同轨键位的切换作为键位键入的机制，被用于区分视觉搜索和眼动输入。
所示如图，本发明实施例采用交替在双同轨键位的布局方式用于眼动滑动轨迹，具体为将输入区域Fa、Fb 重叠设置为相同的26个字母的键位。第一输入区域Fa在外侧，第二输入区域Fb设置为内侧。在本眼动键盘布 局中，键盘图形Pa、Pb、Pc可以为圆形、正方形、六边形、八边形等任意中心对称图形。再将中心对称图形平 均分成一个或多个扇区，例如本键盘布局中将第一输入区域Fa和第二输入区域Fb共同平均分成8个扇区，其 中在某一扇区的Fa区域设置字母“A”、“B”、“C”,那么在同一扇区的Fb区域则设置与Fa区域相同的字 母“A”、“B”、“C”，由此来降低用户视觉搜索的难度。另外同一输入区域不支持连续的两次滑动键入， 用户要对两个不同的输入区域交替滑动来输入字符。
所示如图，设置输入任务“mian”，用户注视点在第一输入区域Fa的“M”键位开始滑动输入的始发点， 然后需要用户眼跳至第二输入区域Fb的“I”键位进行“注视点2”成功键入字符，然后用户注视点跳转至与输 入区域的“注视点3a”字符“A”，由于“注视点3a”与上个“注视点2”是相同的输入区域Fa，因此不对“注 视点3a”的字符“A”进行输入(键入失败)，及系统不响应连续相同区域的字母键入，然后用户注视点从“3a” 跳转至“注视点3b”后成功键入字母“a”，最后注视点跳转至“注视点4”后完成眼动滑动输入“mian”。
另外一种眼动滑动输入的方法：交替在双同轨键位的布局方式用于眼动滑动轨迹的方法流程图
步骤1001：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤1002：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤1003：检测用户准备“开始”眼动滑行输入的行为和信号，记录成功键入的初始注视点所在输入区域；
步骤1004：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨 迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤1005：检测当前发生眼动键入行为位置的字母是否与上一个成功键入的字母位置为同一区域。如果为 同一区域，则循环执行步骤904。如果为不同区域，则当前发生眼动键入行为位置的字母成功键入，并记录当 前输入区域，然后执行下一步。
步骤1006：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；眼动键入行为
步骤1007：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复 输入键位更新字符；
步骤1008：检测用户准备“结束”眼动滑行输入的行为和信号。如果检测到“结束”指令，则执行下一步。 如果未检测到“结束”指令，则执行循环执行步骤1004；
步骤1009：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入.
本发明的另一目的在于提供一种实施所述眼动追踪滑行输入方法的眼动追踪滑行输入系统，所述眼动追踪 滑行输入系统包括：
显示模块、近眼显示模块、处理模块、头动追踪模块、眼动追踪模块、摄像模块以及存储模块；
显示模块，用于利用头戴式显示设备向近眼显示器提供视觉信息；
近眼显示模块，用于将显示模块提供的视觉信息呈现在用户视野中；
处理模块，用于对摄像模块获取的周围环境图像进行识别，检测并识别周围环境中的元素；
头动追踪模块，用于利用头动追踪装置追踪用户头部运动、当前头部位置以及头部轨迹；
眼动追踪模块，用于利用包括一个或多个照相机的凝视跟踪设备对用户的瞳孔、虹膜、巩膜或用户眼睛的 其他部分或其组合进行成像；用于利用凝视跟踪设备进行测量和/或计算用户凝视的x和y、z分量；或用于利 用包括陀螺仪、加速计或多个传感器对位置进行三角测量；或用于利用其他设备进行测量头戴式显示设备相对 于虚拟环境的方向和/或位置；
摄像模块，用于利用可见光相机或照相机或深度感测相机或飞行时间相机或结构光相机或立体相机或其他 可以使用可见、红外、紫外线或其他波长的光的相机获取其他摄像设备对周围的环境进行成像，获取周围环境 信息，创建周围环境的深度图像。
本发明另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算 机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
步骤一，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行 为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤二，检测用户准备开始眼动滑行输入的行为和信号；
步骤三，检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹， 根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤四，根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；并实时显示前几个最有可能的文字/ 词组/单词；
步骤五，检测用户准备结束眼动滑行输入的行为和信号；进行正确候选词的选择，并将候选文字输入到文 本中，完成眼动滑动轨迹的输入。
本发明另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时， 使得所述处理器执行如下步骤：
步骤一，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行 为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤二，检测用户准备开始眼动滑行输入的行为和信号；
步骤三，检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹， 根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤四，根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；并实时显示前几个最有可能的文字/ 词组/单词；
步骤五，检测用户准备结束眼动滑行输入的行为和信号；进行正确候选词的选择，并将候选文字输入到文 本中，完成眼动滑动轨迹的输入。
本发明另一目的在于提供一种智能终端，所述智能终端实施所述眼动追踪滑行输入方法。
本发明另一目的在于提供一种眼动追踪装置，所述眼动追踪装置实施所述眼动追踪滑行输入方法，捕获眼 睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中。
本发明另一目的在于提供一种具有显示屏幕和配备所述眼动追踪装置的计算设备，包括电脑、手机、平板、 智能手表、电视、投影仪、车载显示、车载中控器、仪表盘。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明采用中心对称图形(圆形、正方形、 六边形等)作为虚拟键盘的总体外观形状，这种中心对称图形可以均匀的覆盖眼睛视野中心区域，解决了全键 盘形状会超出用户的视野范围造成的问题。
本发明眼动滑动键盘布局采用，以图形对称中心为基点逐步向外围布置“字符键位”，符合眼睛中央凹视 野中心为高清图像，并逐步向外围图像模糊的生理特性，本字符键位布局较为集中，符合人类注视规律，解决 了全键盘上的字符键位布局较为分散的问题。
本发明眼动滑动键盘布局采用中心对称图形作为虚拟键盘的总体外观形状，仅设置一到二层键位，并且在 字母键位位置布局设计为错位排列(或插孔排列)，使达到任意三个字母键位不在一条直线上，因而解决了问 题在全键盘上眼动滑行输入中，一次长距离的眼跳需要跨过太多键位的稳压；本发明眼动滑动键盘布局的Sm 圈内区域(对称中心区域)被设计为候选词显示区域和功能键区域(例如删除、换行)。
在眼动滑行输入过程中，候选词显示区域和功能键区域被设置为不接受注视点光标的响应，需要额外的交 互方式与功能键交互，其中上述“额外的交互方式”中的功能键的交互方式包括松开控制器按键，和/或点击控 制器按键、和/或特定的手势、和/或动头(点头、低头、抬头)、和/或眼睛行为(注视时长、视觉深度、眨眼)。 由此通过额外交互方式与注视点交互区分开，因而过滤用户在短暂思考过程中的眼动行为，解决了眼动滑行输 入的过程中用户短暂的思考会影响滑动轨迹和对误触字符和功能按键的问题。
本发明眼动滑动键盘的键位布局为弧形和错位排列，这提高了“轨迹拐点”的出现概率。不仅如此还通过 中文/英文拼写规则布局键位位置，将韵母或/和高频字母布置在靠近视觉中心处，进一步降低了视觉搜索难度， 提高搜索效率，降低错误键输入几率，解决了一字排列的字符键位布局容易受到视觉搜索轨迹的干扰问题。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍， 显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性 劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的眼动追踪滑行输入方法流程图。
图2是本发明实施例提供的眼动追踪滑行输入系统结构示意图；
图中：1、显示模块；2、近眼显示模块；3、处理模块；4、头动追踪模块；5、眼动追踪模块；6、摄像模 块；7、存储模块。
图3是本发明实施例提供的佩戴头戴式显示设备以及手持电子设备示意图。
图4是本发明实施例提供的波导的头戴式显示器(HMD)的透视图。
图5是本发明实施例提供的HMD的示意图。
图6是本发明实施例提供的用户佩戴AR眼镜通过眼动追踪技术输入文本的场景示意图。
图7是本发明实施例提供的输入文本示意图。
图8是本发明实施例提供的注视点滑动输入“你好-nihao“拼音的标准示意图。
图9是本发明实施例提供的注视点滑动输入错误“你好-nijao“拼音的标准示意图。
图10是本发明实施例提供的虚拟键盘的界面示意图；
图中：Q1：字符预览区；Q2：候选词区域；Q3：键位输入区域。
图11是本发明实施例提供的系统获取用户准备“开始”眼动滑行输入的行为和信号，用户键入首字母“m” 示意图。
图12是本发明实施例提供的根据键入字符和预定拼写规则，预测下一步字符可能，并在键盘位置上点亮“提 示键位”示意图。
图13是本发明实施例提供的用户扫视跳转输入键位“I”示意图。
图14是本发明实施例提供的键入机制和按键提示的眼动滑行输入法中，视觉搜索“提示键位”的效果示意 图。
图15是本发明实施例提供的眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的方法， 注视点跳转至“I”键并成功输入后，推算下一步字符，刷新“提示键位”布局的示意图效果示意图。
图16是本发明实施例提供的眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的方法， 注视点跳转至“a”键并成功输入的示意图。
图17是本发明实施例提供的眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的方法， 推算下一步字符，刷新“提示键位”布局，注视点跳转至键位“n”并成功键入的示意图。
图18是本发明实施例提供的眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的方法， 完整输入一个字/词时，没有下一步的字符预测情况下，取消显示推荐的“提示键位”的示意图。
图19是本发明实施例提供的眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示方法，候 选词区域搜索目标词组的效果示意图。
图20是本发明实施例提供的在眼动滑行输入法输目标“mian”的滑行过程中发生注视点临时脱离输入区域 情况的示意图。图21是本发明实施例提供的眼动滑行输入法输目标“mian”的滑行过程中发生注视点临时脱离 或暂停输入区域后在候选词区域搜索目标词组的示意图。
图22是本发明实施例提供的眼动滑行输入法输目标“mian”的滑行过程中发生注视点临时脱离输入区域后 返回或继续输入区域的示意图。图23是本发明实施例提供的横向视域示意图。
图24是本发明实施例提供的纵向视域示意图。
图25是本发明实施例提供的26键全键盘输入过程中掠过太多无用的字符键位示意图。
图26是本发明实施例提供的视觉搜索轨迹的干扰示意图。
图27是本发明实施例提供的眼动滑动输入的全键盘布局示意图。
图28是本发明实施例提供的眼动滑动键盘输入过程示意图。
图29是本发明实施例提供的眼动滑动输入的8键键盘布局。
图30是本发明实施例提供的另外一种眼动滑动输入的8键键盘布局，其中外圈Sj形状为正方形，3个或者 4个字母为一组。
图31是本发明实施例提供的另外一种眼动滑动输入的8键键盘布局，其中外圈Sj形状为正方形，3个或者 4个字母为一组。
图32是本发明实施例提供的另外一种眼动滑动输入的8键键盘布局，其中外圈Sj形状为八边形，3个或者 4个字母为一组。
图33是本发明实施例提供的另外一种眼动滑动输入的12键键盘布局，其中外圈Sj形状为十二边形，2个 字母为一组。
图34是本发明实施例提供的根据中文拼写规则布局的眼动滑动输入的键盘布局示意图。
图35是本发明实施例提供的另外一种根据英文拼写规则布局的眼动滑动输入的键盘布局示意图。
图36示出人类视野的各个部分的示例分解的图
如图36所示，人的视野被分为中心周围，近周边，中周边和远周边区域，由如图所示的某些角度定义。这 些面积和角度在一定程度上是任意的。
图37中心对称眼动滑动键盘在用户视野中的效果示意图。
图38示出了近眼显示设备中用户视野中所看到的中心对称眼动滑动键盘示意图。
图39qwert长方形键盘在用户视野画面中的效果示意图。
图40是眼动滑动输入法中额外提供一个重复输入的键位的示意图。
图41采用交替在双同轨键位的布局方式用于眼动滑动轨迹图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。 应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种眼动追踪滑行输入方法，下面结合附图对本发明作详细的描 述。
如图1所示，本发明实施例提供的眼动追踪滑行输入方法包括以下步骤
S101，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为， 并将注视方向映射在虚拟三维空间或/和二维屏幕中；
S102，检测用户准备开始眼动滑行输入的行为和信号；
S103，检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹， 根据轨迹中的眼睛行为作为键位输入选择的机制；
S104，根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；并实时显示前几个最有可能的文字/词 组/单词；
S105，检测用户准备结束眼动滑行输入的行为和信号；进行正确候选词的选择，并将候选文字输入到文本 中，完成眼动滑动轨迹的输入。
步骤S102中，本发明实施例提供的对注视点滑动轨迹进行预处理包括：
首先，对用户滑动轨迹进行大小归一化处理，得到统一坐标系的点序列；
其次，用均值滤波器的方法对所述的点序列进行轨迹平滑处理，得到去除抖动引起的噪点后的点序列。
步骤S102中，本发明实施例提供的用户准备开始眼动滑行输入的行为和信号包括但不限于：
按压控制器上的预设按键后，将当前注视点位置作为某个词组滑行轨迹的起点；
按压下控制器上的预设按键后保持按住状态，则将控制器按键的按下信号作为眼动滑行轨迹的起点；
或/和手势识别，通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹起点的信号；所述手势识别 技术包括但不限于利用加速度/角速度传感器制作而成的数据手套；利用结构光/激光扫描/相机的图像识别等技 术的无接触手势识别技术；超声波手势识别；
或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的起点相对 应，进而控制眼动滑动轨迹的开始；
或/和眼睛行为，注视点在某个键位上注视时长超过预设阈值作为眼动滑动轨迹的起点；
注视点从键盘的其他区域跳转至键盘输入区域的首个键位上时，所述首个接触注视点的键位被记作为轨迹 的起点；
注视点停留在在字母键位上，同时进行单/双眼眨眼作为设置起点。
步骤S103中，本发明实施例提供的根据轨迹中的眼睛行为作为键位输入选择的机制包括：
所述轨迹中的眼睛行为包括：在键位上注视点驻留、在键位上产生拐点轨迹、校正扫视以及眼颤；
所述在键位上注视点驻留包括：在键位上短暂停留的注视点，根据注视点在键位字母上的驻留的顺序将轨 迹序列转换成各个键位组成的键位序列；所述注视点为注视的持续时间超过一定时长的点；
所述在键位上产生拐点轨迹包括：在任意的两次连续的眼跳运动中形成两段扫视轨迹，所述两段连续的轨 迹的夹角角度达到一定预设角度范围内时，则被标记为发生了拐点轨迹；当拐点轨迹发生时，则与发生拐点轨 迹处坐标相同的键位字母被作为输入；
所述校正扫视包括：当用户通过眼睛注视点对准交互目标时，10％短距离的即为校正扫视；
所述眼颤包括：瞳孔和角膜缘出现位移，当眼球运动到达目标目标时产生眼颤；所述眼颤表现为阻尼振荡。
步骤S105中，本发明实施例提供的用户准备结束眼动滑行输入的行为和信号包括但不限于：
当滑行轨迹到达轨迹终点键位上时，再按压控制器上的预设按键作为终点指令；
用户按下控制器上的预设按键后保持按压状态时，则松开控制器按键，则作为识别轨迹终点的信号；
或/和手势识别，终端设备通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹终点的信号；
或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的终点信号 相对应，进而控制眼动滑动轨迹的结束；
或/和眼睛行为，在轨迹终点键位上注视一定时长作为获取轨迹终点的指令信号；
注视点离开键盘输入区域前的最后一个键位作为终点。
步骤S105中，本发明实施例提供的进行正确候选词的选择包括：
通过语音交互、手势交互、眼动交互、控制器选择交互、头动交互中的任意一项交互方式与眼动注视点相 配合选择候选词；所述候选词根据预测概率进行排序。
本发明实施例提供的第二种眼动追踪滑行输入方法：轨迹识别，通过将当前滑行轨迹与已经训练好的AI 轨迹模型比对，进而识别出字词。具体为：
第一步，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行 为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
第二步，检测用户准备开始和结束眼动滑行输入的行为和信号；
第三步，检测和记录注视点在软键盘上的输入动作和完整滑动轨迹，呈现一段时间范围内的注视点滑动轨 迹，并对注视点滑动轨迹进行预处理，并提取轨迹特征；
第四步，将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配；候选词区域实时显示前几个AI眼动轨 迹模型匹配后的文字/词组/单词；
第五步，选择正确的候选词，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；将选择结果用于优 化AI眼动轨迹模型。
第三步中，本发明实施例提供的轨迹特征包括：滑动轨迹的形状、轨迹相对于键盘的相对位置、注视轨迹 的总长度、轨迹拐点、键位上注视点驻留序列、轨迹起点/终点、扫视距离、扫视速度、注视时长。
本发明实施例提供的第三种眼动追踪滑行输入方法：键入+轨迹识别，提取滑行轨迹中眼睛行为，并作为键 位输入机制获得字词，最后再通过AI轨迹模型识别校正存在误差的，进而提高识别准确度。具体为：
(1)系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为， 并将注视方向映射在虚拟三维空间或/和二维屏幕中；检测用户准备开始眼动滑行输入的行为和信号；
(2)检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹，呈现一段时间范围内的注视点滑动 轨迹，并对注视点滑动轨迹进行预处理，提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制；
(3)根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；候选词区域实时显示前几个最有可能的 文字/词组/单词；检测用户准备“结束”眼动滑行输入的行为和信号；
(4)获得当前完整轨迹的形状和轨迹特征；将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配，对 可能的单词/词组进行预测；
(5)将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计 算识别字词的准确性；候选词区域显示的计算结果的文字/词组/单词；
(6)选择正确的候选词，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；将选择结果用于优化 AI眼动轨迹模型。
本发明实施例提供的第四种眼动追踪滑行输入方法：键入+轨迹识别+词组联想优化，根据拼写规则预测/ 联想词组，进而提高轨迹识别准确度。具体为：
1)系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为，并 将注视方向映射在虚拟三维空间或/和二维屏幕中；检测用户准备开始眼动滑行输入的行为和信号；
2)检测和记录注视点在软键盘上的输入动作和滑动轨迹，并提取注视点滑动轨迹进行预处理，根据轨迹中 的眼睛行为作为键位输入选择的机制，同时获得轨迹特征；
3)根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；候选词区域实时显示前几个最有可能的文 字/词组/单词；检测用户准备结束眼动滑行输入的行为和信号；
4)生成当前完整轨迹的形状，和轨迹相对于键盘的相对位置的轨迹信息；将眼动轨迹与已经训练好的AI 眼动轨迹模型相匹配，对可能的单词/词组进行预测；
5)将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计算 识别字词的准确性；候选词区域显示的计算结果的文字/词组/单词；
6)选择正确的候选词，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；将选择结果用于优化AI 眼动轨迹模型。
本发明实施例提供的第五种眼动追踪滑行输入方法：键位提示，根据拼写规则预测/联想词组结果，下一个 可能的字母位置被突显提示，具体为：
步骤1，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行 为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；检测用户准备开始眼动滑行输入的行为和信号；
步骤2，检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹， 并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，通过 在连续几个提示键位的注视点停留时长、轨迹拐点角度特征识别出视觉搜索的轨迹，并过滤视觉搜索轨迹；
步骤3，实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在提示键位；若是注视 点滑动键入了提示键位，则进入步骤4推算下一个可能字母，刷新键盘提示键位位置布局；若无接触，则执行 步骤7检测结束眼动滑行轨迹键入行为，或/和暂停键盘输入区域的响应，等待用户注视点回到提示键位后继续 滑动轨迹输入；
步骤4，根据当前和之前输入的字符，键入字符的序列和预定拼写规则，从词库中搜索和预测可能匹配的 文字/词组/单词，进而确定下一个字母的可能选项；
步骤5，根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位， 或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待 用户的响应；
步骤6，候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤7，检测用户准备结束眼动滑行输入的行为和信号，若未结束，则循环执行步骤2；选择正确的候选词， 并将候选文字输入到文本中，完成眼动滑动轨迹的输入。
本发明实施例提供的另一个第五种眼动追踪滑行输入方法还包括：
步骤a，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行 为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤b，检测用户准备开始眼动滑行输入的行为和信号；
步骤c，检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹， 并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，通过 在连续几个提示键位的注视点停留时长、轨迹拐点角度特征识别出视觉搜索的轨迹，并过滤视觉搜索轨迹；
步骤d，实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在提示键位，若是注视 点滑动键入了提示键位，则进行步骤e推算下一个可能字母，刷新键盘提示键位位置布局；若无接触，则执行 步骤h检测结束眼动滑行轨迹键入行为，或/和暂停键盘输入区域的响应，等待用户注视点回到提示键位后继续 滑动轨迹输入；
步骤e，根据当前和之前输入的字符，键入字符的序列和预定拼写规则，从词库中搜索和预测可能匹配的 文字/词组/单词，进而确定下一个字母的可能选项；
步骤f，根据上一步预测获得的可能下一步输入键位选项，通过视觉特效突显所有下一步可能选择键位，或 /和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用 户的响应；
步骤g，候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤h，检测用户准备结束眼动滑行输入的行为和信号；生成当前完整轨迹的形状，和轨迹相对于键盘的 相对位置的轨迹信息；将眼动轨迹与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤i，将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置 计算识别字词的准确性；候选词区域显示计算结果的文字/词组/单词；
步骤k，选择正确的候选词，并将候选文字输入到文本中；将选择结果用于优化AI眼动轨迹模型。
本发明实施例提供的第六种眼动追踪滑行输入方法：眼动滑行输入的键盘布局，增加了视觉搜索效率。
具体为键盘的外圈Sj形状为中心对称的图形，例如外圈Sj的中心对称图形包括但不限于圆形、正方形、六 边形、八边形等，外圈Sj至内圈Sk之间设置“字母键位输入区域”。外圈Sj的内圈会设置同一中心对称点的 内圈Sk，内圈Sk以内被用于设置输入法的其他功能区域和空白区域Sm，内圈Sk为中心对称图形，内圈Sk包 括但不限于圆形、正方形、六边形、八边形等，中心对称图形有助于聚合用户的注视点。外圈Sj和内圈Sk共 同的对称中心点(及几何中心)位置设置Sc候选词显示区域，候选词显示区域被用于显示用户正想要输入的字 符/字词，为用户提供积极的反馈，进而用户知道是都输入正确，在键盘输入过程中注视次数最多的区域，因而 设置在几何中心。
外圈Sj至内圈Sk之间为键盘输入区域，键盘的26个字母键位设置在键盘输入区域，可以一个字母为一组， 也可以两个或三个字母为一组键位，也可以更多的键位为一组，例如9键布局、12键布局，相邻的三个字母按 键存在一定的角度。在另外一种增加或替换性实施例中，字母/字符的排列顺序可以根据字母的点击频率或拼音 的拼写规则排列。键盘输入区域被设置为等待眼动注视点光标的交互。
内圈Sk为注视点安置区域，被用于设置输入法的其他功能区域和空白区域Sm。空白区域Sm没有可交互 目标，系统眼动交互行为和/或其他控制器在该空白区域Sm产生的指令不响应，该区域被设置用于安置用户无 意识的眼睛行为，例如眼颤、漂移、视觉搜索等。本施例性说明的其他功能区域中包括但不限于Sa为短文本输 入框，Sb输入字母预览区，Sc首候选词显示区域，Sd1-Sd3其他候选词显示区域，Se功能键-删除键，Sf功能 键-换行，Sg特殊符号显示键，Sh数字显示键，Si表情显示键。其中上述“其他功能区域”中的功能键的交互 方式包括松开控制器按键，和/或点击控制器按键、和/或特定的手势、和/或动头(点头、低头、抬头)、和/或 眼睛行为(注视时长、视觉深度、眨眼)。
本发明实施例提供的第七种眼动追踪滑行输入方法：通过检测眼睛行为和/或脑电波分析用户大脑的负荷， 解决了在输入过程中的短暂思考对滑动轨迹的思考。具体为：
步骤I，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为， 并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤Ⅱ，检测用户准备开始眼动滑行输入的行为和信号；检测用户思考状态，通过脑电波检测装置检测用 户大脑的思考负荷，和/或眼动追踪装置检测用户注视行为；当大脑电信号达到预设阈值范围内，和/或注视点驻 留时长超过预设阈值时，识别并过滤造成影响的注视点滑动轨迹；
步骤Ⅲ，检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹，呈现一段时间范围内的注视点滑 动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机 制；
步骤Ⅳ，根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；候选词区域实时显示前几个最有可能 的文字/词组/单词；
步骤V，检测用户准备结束眼动滑行输入的行为和信号；获得当前完整轨迹的形状和轨迹特征；将眼动轨 迹特征与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤VI，将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设 置计算识别字词的准确性；候选词区域显示计算结果的文字/词组/单词；
步骤VIII，选择正确的候选词，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；将选择结果用于 优化AI眼动轨迹模型。
本发明实施例提供的第八种眼动追踪滑行输入方法：用于解决眼动滑行输入过程中的重键问题的键盘布局
方法八：另外一种键盘布局实施例，用于解决眼动滑行输入过程中的重键问题的键盘布局。例如在“press”、 “app”字母键入中存在“ss”、“pp”这种两个相同字母连续输入的情况，这种情况本文称之为“重键输入“。 在注视点滑动输入的过程中遇到重键输入时，用户需要连续通过眼动交互连续输入同一个字符。目前在国外给 出的解决方案是通过注视点对同一字母位置保持更长注视时长，例如目标输入”ss“，当注视点第一次接触按 键”s“位置时，保持注视点位置在按键”s“感应区域内的时长超过预设阈值，则系统视为连续输入第二个”s “，但是上述的方法会降低用于的输入速度和效率，交互提交不佳，流畅的眼动滑动输入行为会被额外的注视 时长打断。
由此，本发明方法八中提出，在眼动滑动输入法中额外提供一个重复输入的键位。具体为额外提供重复输 入键Sy，在Sy键中将实时刷新显示上一个输入过的字母。例如任务目标为输入单词“press”，当注视点滑动 输入字母“p”时，“重复输入键Sy”刷新显示为“p”。当注视点滑动输入字母“r”时，“重复输入键Sy” 刷新显示为“r”………….当注视点滑动输入字母“s”时，“重复输入键Sy”刷新显示为“s”,这时下一个输 入字母与上一个字母”s“一样仍为字母“s”，则注视点可以跳转至“重复输入键Sy”，进而输入了字母“s”， 由此通过在固定位置设置一个永远显示上一个输入字母的“重复输入键”是的滑动输入更为流畅。
1)检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据 轨迹中的眼睛行为作为键位输入选择的机制；2)将上一步成功键入的信号发送至处理器，处理器提示显示渲染 装置生成与上一步成功键入的字母，显示在重复输入键位置，并等待用户的注视交互。若没有检测到用户对重 复输入键的交互操作则循环执行上一步。附加的另外一种实施例中，当用户注视“重复输入键”已经连续输入 两个相同字符时，用户再次跳转至字母键位区域的同一字母位置，则可以连续输入相同的三个字母。
本发明实施例提供的第九种眼动追踪滑行输入方法：用于通过在扫视/眨眼过程中变更显示元素来解决在键 盘中的动态元素干扰用户注视位置的方法。
步骤901：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤902：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤903：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤904：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨 迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤905：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤906：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复输 入键位更新字符；
步骤907：检测用户准备“结束”眼动滑行输入的行为和信号。如果检测到“结束”指令，则执行下一步。 如果未检测到“结束”指令，则执行循环执行步骤904；
步骤908：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
具体说明：
步骤906：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复输 入键位更新字符；
在人类扫视过程中，及注视点从一点跳转至另外一点的过程中，人是无法在扫视过程中看清东西的。在生 理上，扫视的持续期间视觉是被抑制的。因此通过这个眼睛生理特点，眼动追踪装置检测长扫视行为(通过眼 睛运动的加速度可判断)，并在扫视行为结束之前设备显示装置完成候选词、重复输入键的显示更新。
本发明实施例提供的第十种眼动追踪滑行输入方法：交替在双同轨键位的键盘布局的眼动滑动输入的方法， 通过同轨键位的切换作为键位键入的机制，被用于区分视觉搜索和眼动输入。
所示如图，本发明实施例采用交替在双同轨键位的布局方式用于眼动滑动轨迹，具体为将输入区域Fa、Fb 重叠设置为相同的26个字母的键位。第一输入区域Fa在外侧，第二输入区域Fb设置为内侧。在本眼动键盘布 局中，键盘图形Pa、Pb、Pc可以为圆形、正方形、六边形、八边形等任意中心对称图形。再将中心对称图形平 均分成一个或多个扇区，例如本键盘布局中将第一输入区域Fa和第二输入区域Fb共同平均分成8个扇区，其 中在某一扇区的Fa区域设置字母“A”、“B”、“C”,那么在同一扇区的Fb区域则设置与Fa区域相同的字 母“A”、“B”、“C”，由此来降低用户视觉搜索的难度。另外同一输入区域不支持连续的两次滑动键入， 用户要对两个不同的输入区域交替滑动来输入字符。
所示如图，设置输入任务“mian”，用户注视点在第一输入区域Fa的“M”键位开始滑动输入的始发点， 然后需要用户眼跳至第二输入区域Fb的“I”键位进行“注视点2”成功键入字符，然后用户注视点跳转至与输 入区域的“注视点3a”字符“A”，由于“注视点3a”与上个“注视点2”是相同的输入区域Fa，因此不对“注 视点3a”的字符“A”进行输入(键入失败)，及系统不响应连续相同区域的字母键入，然后用户注视点从“3a” 跳转至“注视点3b”后成功键入字母“a”，最后注视点跳转至“注视点4”后完成眼动滑动输入“mian”。
另外一种眼动滑动输入的方法：交替在双同轨键位的布局方式用于眼动滑动轨迹的方法流程图
步骤1001：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤1002：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤1003：检测用户准备“开始”眼动滑行输入的行为和信号，记录成功键入的初始注视点所在输入区域；
步骤1004：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨 迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤1005：检测当前发生眼动键入行为位置的字母是否与上一个成功键入的字母位置为同一区域。如果为 同一区域，则循环执行步骤904。如果为不同区域，则当前发生眼动键入行为位置的字母成功键入，并记录当 前输入区域，然后执行下一步。
步骤1006：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；眼动键入行为
步骤1007：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复 输入键位更新字符；
步骤1008：检测用户准备“结束”眼动滑行输入的行为和信号。如果检测到“结束”指令，则执行下一步。 如果未检测到“结束”指令，则执行循环执行步骤1004；
步骤1009：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入。如图2 所示，本发明实施例提供的眼动追踪滑行输入系统包括：
显示模块1、近眼显示模块2、处理模块3、头动追踪模块4、眼动追踪模块5、摄像模块6以及存储模块7；
显示模块1，用于利用头戴式显示设备向近眼显示器提供视觉信息；
近眼显示模块2，用于将显示模块提供的视觉信息呈现在用户视野中；
处理模块3，用于对摄像模块获取的周围环境图像进行识别，检测并识别周围环境中的元素；
头动追踪模块4，用于利用头动追踪装置追踪用户头部运动、当前头部位置以及头部轨迹；
眼动追踪模块5，用于利用包括一个或多个照相机的凝视跟踪设备对用户的瞳孔、虹膜、巩膜或用户眼睛 的其他部分或其组合进行成像；用于利用凝视跟踪设备进行测量和/或计算用户凝视的x和y、z分量；或用于 利用包括陀螺仪、加速计或多个传感器对位置进行三角测量；或用于利用其他设备进行测量头戴式显示设备相 对于虚拟环境的方向和/或位置；
摄像模块6，用于利用可见光相机或照相机或深度感测相机或飞行时间相机或结构光相机或立体相机或其 他可以使用可见、红外、紫外线或其他波长的光的相机获取其他摄像设备对周围的环境进行成像，获取周围环 境信息，创建周围环境的深度图像。
下面结合具体实施例对本发明的技术效果作进一步描述。
终端说明：
根据本文所述的实施方式，眼动跟踪设备可以跟踪注视方向和检测用户的眼睛动作行为。在一些实施方式 中，眼动追踪设备可以被设置在用户佩戴的头戴式显示器(HMD)设备中，并且可以通过以下方式追踪眼睛注 视方向，和用户头部凝视方向和头部姿态运动：例如，HMD中包括的传感器(例如加速度传感器、陀螺仪、IMU 等)可以将检测到的头部凝视方向和/或限定凝视姿势的运动转换成由HMD产生的在虚拟环境中的用户输入。在 一些实施方式中，眼动跟踪设备可以包括光学跟踪设备，例如，HMD中包括的光学注视跟踪设备，用于检测和 /或跟踪用户的视线方向、眼球运动、眼睛行为，并将眼球运动通过算法映射在全息三维空间或者二维屏幕上形 成注视点光标，通过注视点光标在HMD生成的虚拟环境中进行虚拟键盘的文本输入。
在图3所示的示例中，如图3所示，佩戴HMD 100的用户拿着便携式手持电子设备102或控制器102，该便携 式手持电子设备102与HMD 100通过有线连接或无线连接，可进行协同操作和通信(例如，WiFi或蓝牙连接)。 这可以提供手持电子设备102和HMD 100之间的通信以及数据的交换，从而允许手持电子设备102用作与HMD 100通信的控制器，由此控制器102在HMD 100生成的虚拟环境中进行交互。例如，在手持电子设备102的触摸表 面上接收的输入，手持电子设备102的空间移动。手持电子设备102实际是一种通过手对虚拟目标进行控制的外 设硬件，由此手持电子设备102还可以是数据手套(用于手势追踪)、6DOF控制器手柄、智能手环、智能戒指、 智能手表、手机等控制设备。
图4是根据本公开的至少一个实施例的包括波导的头戴式显示器(HMD)的透视图。
图4示出了混合现实(MR)设备100的示例，图5示出了混合现实(MR)设备100的示例。图5示出了图4中 示出的MR设备100的框图。MR设备100是头戴式MR设备，旨在在普通使用期间佩戴在用户的头上，包括头戴式 显示器(HMD)设备。但是，本公开显然不限于头戴式MR设备，并且本文描述的技术可以与其他类型的MR设 备一起使用，包括但不限于智能手机设备，平板计算机，笔记本计算机和/或系统，包括配置为提供混合现实功 能的平视显示器。混合现实是指一种允许虚拟图像与显示器中的现实世界物理环境混合的体验。例如，可以标 识真实世界的对象和/或真实世界的空间，并用相应的虚拟对象来增强它们。可以使用例如虚拟现实或增强现实 技术来实现混合现实。
MR设备100包括用于将图像显示给MR设备100的用户的显示子系统120。如图4所示，显示子系统120旨在靠 近用户的眼睛，并且包括透明的HMD设备，该透明的HMD设备包括一个或多个透明或半透明的光学透镜122， 其被布置为使得图像可以被投影到透明透镜上。全息影像由位于透视透镜122内的图像生成元件(例如，透视 OLED显示器)生成。佩戴MR设备100的用户可以看到真实世界的实际直接视图(而不是图像)透过透明镜头 122，并同时查看虚拟对象(可以称为虚拟图像或全息图)，这些对象可以增强用户对真实空间的直接观看。注 意，本公开明确地不限于使用透视显示设备的MR设备。光学透镜122可以通过各种波导技术来控制眼睛的图像 的照明和/或获取。更具体地，诸如由Digilens Inc.生产的那些可切换的布拉格光栅(SBG)，电可切换的液晶光 栅，表面起伏光栅(SRG)，可切换的波导显示器或基于MEMS反射镜(即，光束扫描)设备可以当光线指向 眼睛时，光学透镜122可以用来控制光源的位置和/或在空间上选择从眼睛收集的光。照明源(包括单个光源(例 如，发光二极管，LED)和/或检测器，包括单个检测器(例如，光电二极管))可以用于照明和/或获取图像。 照明源可能是不连贯的(例如，LED)或相干光源，包括超低功率(为确保眼睛安全)二极管激光器。可以通 过电子选择性波导(例如SBG，SRG，液晶，MEMS镜)提供空间分辨率。照明和图像捕获可以附加地或替代 地涉及所谓的“热镜”，Fraunhoffer透镜，微透镜阵列，波导组合器，全内反射(TIR)全息波导和/或全息透镜 或其他光学器件的反射或折射。
在一些实施方式中，显示子系统120可以是不透明的，并且在用户的全部或部分视场中不允许用户通过显示 子系统120直接查看场景。这样的实施方式包括但不限于这些增强现实设备被布置为在MR设备100的前面显示物 理空间的可视图像，并添加了虚拟对象以增强物理空间的显示，虚拟现实设备和虚拟现实设备被布置为在与MR 设备100前面的物理空间中的现实世界对象相对应的位置处显示虚拟对象。在一些实现中，MR设备100可以体现在手持移动设备中以显示为对象。在诸如LCD面板的显示设备上的增强。在这样的实施方式中，手持移动设备 可以被布置为提供“窗口”，其中可以显示针对MR设备100周围的场景的虚拟扩增。
MR设备100还包括一个或多个面向外部的图像传感器(前置摄像头)130，其被配置为获取MR设备100周围 和/或前方的真实场景的图像数据。前置摄像头130可以包括一个或多个更多的数字成像相机132被布置为捕获二 维视觉图像。在一些实施方式中，两个成像相机132可用于捕获立体图像。前置摄像头130还可包括一个或多个 深度相机134，例如但不限于飞行时间深度相机，其被布置为捕获深度图像数据，例如提供估计的和/或深度的深度图。或从MR装置100到深度相机134的各个视场(FOV)的测量距离。可以将经由深度相机134获得的深度 图像数据配准到其他图像数据，诸如经由成像相机132同时捕获的图像。面向外的图像传感器130可以被配置为 捕获各个图像和/或序列。图像可以配置的帧速率或帧速率。在一些实施方式中，与MR设备100相关联的前置摄 像头130或其他传感器可以被配置为评估和/或识别外部条件，包括但不限于一天中的时间，照明的方向，环境， 温度和其他。外部条件可以向MR设备100提供附加因素以确定要显示给用户的虚拟图形元素的类型。
MR设备100可以进一步包括眼动追踪系统140，该眼动追踪系统140被配置为检测用户的每只眼睛的凝视方 向的传感器数据。眼动追踪系统140可以被布置为以任何合适的方式确定用户的每只眼睛的视线方向。参照图4 和图5，眼动追踪系统140包括一个或多个闪烁源142，例如红外光源，其被布置成使闪烁的光从用户的每个眼球 反射，以及一个或多个图像传感器144。捕获用户每个眼球的图像。从经由一个或多个图像传感器144收集的图像数据确定的来自用户眼球的闪烁变化可以用于确定凝视的方向。进一步，从用户的眼睛投影的注视点与外部 显示器相交的位置可以用于确定用户注视的对象或位置(例如，由显示子系统120显示的虚拟对象)。眼动追踪 系统140可以具有任何合适数量和布置的闪光源和图像传感器。在一个非限制性示例实施例中，每只眼睛使用四 个闪烁源和一个图像传感器。此外，在一些实施方式中，眼动追踪系统140可以被配置为协助MR设备100更准确 地识别感兴趣的现实世界对象并将这些对象与虚拟应用程序相关联。通过眼动追踪装置捕获眼睛运动数据，检 测眼睛动作，计算眼睛的瞳孔大小、虹膜图像、眨眼频率、单眼眨眼、眼脸闭合、视线、眼跳轨迹、注视时长， 当注视时长超过一定时长或眨眼，则对某一功能的UI位置进行点击确认指令。
进一步，所述眼动追踪装置的眼动追踪方法包括但不限于：
1)通过接收眼睛反射红外光线，计算瞳孔中心与角膜中心的连线进行眼动追踪。硬件包括至少一个不可见 红外光源、微型摄像头、反光热镜、光波导镜片。
2)另一种眼动追踪技术实施例为通过捕获眼睛图像或者计算视网膜的影像(毛细血管、中央凹)或者视网 膜反射光的强度进行眼动追踪。硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光学导光 元件(例如光波导镜片)。
3)另一种眼动追踪技术实施例为通过发射结构光对眼睛创建模型，计算眼睛模型的视觉中心进行眼动追踪。 结构光红外图案投影器将一定数量的不可见的光点投影到被测物体上，再根据红外相机接收到的反射光点，就 可以计算得到人眼深度图。RGB摄像头拍摄的2D人脸结合计算的深度人眼信息，经过算法处理就可以绘制出 精确细致的3D目标物体。
4)另一种眼动追踪技术实施例为通过接收眼睛角膜的反射光线，计算角膜中心反射光的强度最大的时刻来 进行眼动追踪。硬件包括不可见红外光源、光敏传感器、MEMS微机械系统反射镜、光波导镜片，光波导镜片 可以配置为靠近眼睛的一层或多层光波导进行眼睛图像的获取和传导，波导中的输入衍射耦合器将眼睛图像耦 合，眼睛图像光线在光波导中传导，同时图像传感器配置在光波导输出衍射耦合器的光线出射端。
5)附加地或替代地，用于跟踪眼睛运动的设备可以被包含在隐形眼镜内或与隐形眼镜结合操作。此外，该 装置可以植入眼睛，眼窝内，或附着在视神经和/或肌肉上以跟踪运动。
作为附加示例，该眼动追踪设备可以被嵌入在智能电话，平板电脑，计算机，智能手表或任何其他远程 对象或位置中，包括计算机，显示器，汽车仪表板，标牌或其他人佩戴的可穿戴设备。在这些情况下，与头戴 式可穿戴设备相比，眼睛的成像通常在距眼睛更大的距离处进行。当用户在设备的大致方向上看时，一个或多 个照相机或感测设备用于从这样的距离监视眼睛的运动。
MR设备100可以包括位置子系统150，该位置子系统150被布置为提供MR设备100的位置。位置子系统150 可以被布置为基于从导航卫星系统接收的信号来确定当前位置，例如但不限于GPS(美国)，GLONASS(俄罗 斯)，Galileo(欧洲)和CNSS(中国)，以及增强此类信号的技术，例如但不限于增强GPS(A-GPS)。位置 子系统150可以被布置为基于标识发射设备的射频(RF)信号和为这种设备确定的位置来确定位置。举例来说， Wi-Fi，蓝牙，Zigbee，RFID，NFC和蜂窝通信包括可用于位置确定的设备标识符。MR设备100可以被布置为使 用由位置子系统150提供的位置作为近似位置，其基于由其他传感器收集的数据而被完善。MR设备100可以包括 音频硬件，音频硬件包括被布置为检测声音的一个或多个麦克风170，诸如来自MR设备100的用户的口头命令， 和/或被布置为将声音输出到扬声器的一个或多个扬声器180。用户，例如口头查询，回复，说明和/或信息。
MR设备100可以包括一个或多个运动传感器160，其被布置为测量和报告MR设备100的运动作为运动数据。 在一些实施方式中，运动传感器160可以包括惯性测量单元(IMU)，惯性测量单元(IMU)包括加速度计(例 如3轴陀螺仪)，陀螺仪(例如3轴陀螺仪)和/或磁力计(例如3轴磁力计)。MR设备100可以被布置为使用该 运动数据来确定MR设备100的位置和/或取向的改变，和/或相对于MR设备100的场景中的物体的位置和/或取向 的各自的改变。面对式图像传感器130，图像传感器144，位置子系统150中包含的传感器，运动传感器160和麦 克风170，这些传感器包含在或耦合到头戴式MR设备中100，可以单独或共同作为头戴式传感器使用。通过这种 头戴式传感器收集的数据反映了用户头部的位置和方向。
MR设备100还包括控制器110，该控制器110包括逻辑系统112，数据保持系统114和通信系统116。逻辑子系 统112可以包括例如被配置为执行指令并进行通信的一个或多个处理器。图1和图2中所示的MR装置100的其他元 件具有相同的结构。图4和图5根据这样的指令来实现涉及MR设备100的本公开的各个方面。这些方面包括但不 限于配置和控制设备，处理传感器输入，与其他计算机系统通信和/或显示虚拟设备。数据保存子系统114包括一个或多个存储设备(例如但不限于DRAM设备)和/或一个或多个存储设备(例如但不限于以下对象)。闪存 设备)。数据保存子系统114包括其上存储有可由逻辑子系统112执行的指令的一种或多种介质，其使逻辑子系 统112实现涉及MR设备100的本公开的各个方面。这样的指令可以被包括为一部分。操作系统，应用程序或其他 可执行程序。通信子系统116被布置为允许MR设备100与其他计算机系统通信。这样的通信可以经由例如Wi-Fi， 蜂窝数据通信和/或蓝牙来执行。这些指令使逻辑子系统112实现涉及MR设备100的本公开的各个方面。这样的 指令可以被包括为操作系统，应用程序或其他可执行程序的一部分。
生物特征传感器190包括一个或多个生物特征传感器(例如，用于测量皮肤电反应的皮肤电反应传感器，心 率监测器，用于测量皮肤表面温度的皮肤温度传感器)。用于测量大脑电活动的脑电图(EEG)设备，用于测 量心脏电活动的心电图(ECG或EKG)设备)，麦克风(例如，麦克风108)或其他用于测量语音音量，语速等 的声音传感器，光传感器，光学扫描仪等。
缓冲器195可以被配置为记录视频/音频以支持情绪/认知状态触发的视频记录。
另外，输入/输出设备748可以包括一个或多个输入接口，其可以包括键盘，小键盘，鼠标，麦克风，触摸 传感器，触摸屏，操纵杆，控制按钮，滚动按钮，照相机，神经接口或任何其他合适的设备。以产生定义用户 与电子设备706的交互的信号和/或数据。作为示例而非限制，输入/输出设备748可以包括显示器(例如，全息显 示器，平视显示器，保护器，触摸屏屏幕，液晶显示器(LCD)等)，扬声器，触觉界面等。
将会理解，MR设备100是作为示例提供的，因此并不意味着是限制性的。因此，应当理解，在不脱离本公 开的范围的情况下，MR设备100可以包括除了所示的传感器，照相机，麦克风，输入设备，输出设备等之外的 附加和/或替代的传感器，照相机，麦克风，输入设备，输出设备等。此外，在不脱离本公开的范围的情况下， MR设备及其各种传感器和子组件的物理配置可以采取各种不同的形式。
图6为用户佩戴AR眼镜通过眼动追踪技术输入文本的场景示意图。在虚拟环境400中向用户显示虚拟键盘 450，虚拟键盘450只有用户在佩戴AR眼镜才能看到的虚拟影像。虚拟键盘450被配置为接收来自用户的文本输 入，当前的虚拟键盘450的长方形为非限制性形状，虚拟键盘还有可能是圆形、六边形等任意的UI界面设计。眼 动追踪的注视点光标和/或头动追踪凝视点光标可与虚拟键盘450的界面上产生响应，作为人与HMD交互控制的 桥梁。
图7，可以从点P1，点P2，点P3，点P3以及路径来跟踪用户的视线(例如，用户的眼睛视线)，通过视线 跟踪设备165，用户注视在虚拟键盘450上的移动的“移动”或“滑动”模式S，定义了视线姿态。在该示例中， 点P1，P2和P3可以表示停留点，或者是虚拟键盘450上的用户注视持续超过或等于预设阈值的点，和/或虚拟键 盘450上的点。用户的视线改变方向。在该示例中，当用户的注视沿着虚拟键盘450移动时，划动图案S可以对应 于由用户的注视点运动形成的眼动滑动轨迹。
技术方案包括：本发明实施例提供的眼动追踪滑行输入方法包括以下十种方法。
方法一：键入，通过提取滑行轨迹中眼睛行为，并作为键位输入机制，类似敲击输入。
方法二：轨迹识别，通过将当前滑行轨迹与已经训练好的AI轨迹模型比对，进而识别出字词，类似手写输 入。
方法三：键入+轨迹识别，提取滑行轨迹中眼睛行为，并作为键位输入机制获得字词，最后再通过AI轨迹模 型识别校正所识别的字词。
方法四：键入+轨迹识别+词组联想优化，根据拼写规则预测/联想词组，进而提高轨迹识别准确度。
方法五：键位提示，根据拼写规则预测/联想词组结果，下一个可能的字母位置被突显提示，有助于增加视 觉搜索效率，降低错误轨迹，提高轨迹识别精确度。
方法六：眼动滑行输入的键盘布局，增加了视觉搜索效率。
方法七：通过检测眼睛行为和/或脑电波分析用户大脑的负荷，解决了在输入过程中的短暂思考对滑动轨迹 的思考。
方法八：用于解决眼动滑行输入过程中的重键问题的键盘布局
方法九：用于通过在扫视/眨眼过程中变更显示元素来解决在键盘中的动态元素干扰用户注视位置的方法。
方法十：交替在双同轨键位的键盘布局的眼动滑动输入的方法，通过同轨键位的切换作为键位键入的机制， 被用于区分视觉搜索和眼动输入。
方法一：键入，通过提取滑行轨迹中眼睛行为，并作为键位输入机制，类似敲击输入。
步骤101：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤102：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤103：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤104：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹， 根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤105：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤106：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤107：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤108：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
具体说明：
进一步，步骤101：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
系统接收用户的输入请求后，设备显示系统渲染生成虚拟软键盘。“用户的输入请求”包括但不限于当用 户在文本空白处和文本输入框注视一定的时长，或/和通过注视点对弹出键盘的功能UI进行点击选择。设备显示 系统包括AR/VR/MR智能眼镜的光学成像系统(例如光波导)和其他计算终端的屏幕(例如LED、OLED、LCD 等屏幕)。
除了上述所述的HMD的AR/VR/MR智能眼镜之外，智能终端还包括任何具有输入交互需求，且具有显示屏 幕和配备眼动追踪装置的计算设备，例如电脑、手机、平板、智能手表(iwatch)、电视、投影仪、车载显示、 车载中控器、仪表盘等。为了便于本发明说明，在本文中将统一使用AR眼镜来代表上述终端设备。
虚拟键盘键盘可以具有各种语言中的任何一种的布局，所述语言例如韩语、英语、中文和日语。此外，键 盘可以是例如QWERTY键盘、九宫格键盘、圆形键盘、QZERTY键盘、DVORAK键盘或COLEMAK键盘。此外， 键盘可以具有任何形状。在这种情况下，键盘上的键的形状、大小、间隔和排列可能会有所不同。
特别的，在AR/VR/MR智能眼镜生成的全息影像是具有深度信息的，因此需要确保生成的全息键盘的位置 在一个让用户操作舒适的位置上，系统根据预设或用户自定义的深度距离生成全息键盘。如果键盘位置太近则 键盘界面太大，超出人的视野放位则会在输入过程中增加键位搜索难度，并且可能需要转动头部。如果键盘位 置太远则键盘界面太小，用户无法看清键位。在输入过程中，虚拟键盘被配置为可以移动在三维空间中的位置。
进一步，步骤102：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏 幕中，具体为；
可以通过使用眼动追踪设备来检测注视位置，以基于眼动追踪或基于用户眼睛行为来测量用户的注视的位 置。
在本发明提供的实施例中，例如当与MR眼镜的虚拟界面交互时，注视位置可以包括x和y坐标。在其他实施 例中，注视位置可以包括相对于三维空间的x坐标，y坐标和z坐标，例如在与三维空间中的虚拟元素进行交互时。 其眼动追踪模组被配置为检测的眼睛行为数据包括但不限于：眼睛注视点的x，y，z坐标、视觉深度、眼跳频率、 眼跳距离、眼球运动加速度、眼颤、注视时长、眨眼、瞳孔直径变化等，并且可以将眼动数据分析成热力图、 视觉轨迹图等分析图表、双眼视线夹角。
在本发明提供的实施例中，在三维空间中，可以通过沿眼动追踪设备检测到的用户注视的方向投射来自MR 眼镜的射线来测量注视位置，并且注视位置可以是与虚拟环境或共享环境的表面进行交互。例如，射线可以与 虚拟元件的上表面相互作用，并且注视位置可以被测量为在虚拟元件的上表面上已经响应。
在其他实施例中，在三维空间中，可以使用检测到的每个用户眼睛的注视的焦距来测量注视位置。例如， 基于用户正在注视的物体的距离，检测到的每只眼睛的位置和相关的注视方向将是不同的。每只眼睛的不同注 视位置可以允许计算用户的焦深，使用用户注视的焦深来测量注视位置。可以允许注视位置位于空间中，而不 是位于(虚拟或物理)表面上。
进一步，S102中，所述眼睛注视点坐标在全息界面交互(选择)过程中被配置为已经过相关滤波算法的处 理，可以过滤不稳定眼球运动。将过滤后的平稳的数据输入至眼动光标的几何中心上，得到运动轨迹稳定、平 滑的动态眼动光标。所述滤波方法包括但不限于：限幅滤波法(又称程序预判滤波法)、中位值滤波法、算术 平均滤波法、递推平均滤波法(又称滑动平均滤波法)、中位值平均滤波法(又称防脉冲干扰平均滤波法)、 限幅平均滤波法、一阶滞后滤波法、加权递推平均滤波法、消抖滤波法、限幅消抖滤波法、IR数字滤波器等。
进一步，S102中，所述将用户眼睛视线坐标映射于MR眼镜的混合现实空间中或/和光学显示器坐标系中， 获得可用于计算机处理的注视点。注视点可以呈现视觉反馈(可见注视点)，及以动态光标的形式光学成像屏 幕上呈现的可见的图形，也可以是不呈现视觉反馈。特别地，在优选实施例为不呈现视觉反馈，原因是有时候 用户希望屏幕中的内容无任何物体遮挡，有一个光标会使用户始终跟随其视点运动会造成一些不好的体验(例 如狗咬着狗尾巴转圈的效果)。
所述一种动态光标是映射注视点坐标的光标，可被称作眼动光标/注视点光标/注视光标，为了方便技术方法 的描述，在本中可直接简称眼动光标。所述眼动光标可以具有圆形、矩形、圆角矩形、三角形、圆角三角形、 以及其他多边形/圆角多边形等形状，在这些形状中，优选形状为圆形。所述眼动光标的大小可以根据用户的使 用习惯或者交互界面的设计和布局来确定。
进一步，步骤103：检测用户准备“开始”眼动滑行输入的行为和信号；具体为当用户准备输入某个词组时， 用户需要在设备上操作某个交互行为，以此来通知终端系统开始识别当前输入眼动滑行轨迹。通过上述方式可 以分隔字与字、词与词、字与词之间的滑动轨迹，进而为字词的眼动滑动轨迹提供计算机可识别的起点和终点， 这将有助于眼动滑动轨迹的识别、匹配、和特征提取。
被用于通知终端系统开始识别当前输入眼动滑行轨迹的行为和信号，包括但不限于，
1.控制器102，用户按压一下(按压后抬起)控制器102上的预设按键后，则将当前注视点位置作为某个 词组滑行轨迹的起点，当滑行轨迹到达轨迹终点键位上时，再按压一下控制器102上的预设按键作为终点指令， 进而获取一个字或词的完整滑动轨迹；
在另外一种可替代性实施例中，当用户按压下控制器102上的预设按键后保持按住状态(按住不松手)，系 统将控制器按键的按下信号作为眼动滑行轨迹的起点，在滑行途中按键始终保持按下状态，当用户滑动轨迹至 终点时松开控制器按键，以此作为系统识别轨迹终点的信号，进而获取一个字或词的完整滑动轨迹。
2.或/和手势识别，终端设备通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹起点、终点 的信号。手势识别技术包括但不限于利用加速度/角速度传感器制作而成的数据手套；利用结构光/激光扫描/相 机的图像识别等技术的无接触手势识别技术(例如leap motion)；超声波手势识别等，可能还包括未提到的一 些手势识别技术。
特别的，数据手套也可以以类似控制器102形式的佩戴在用户手上，用户的手势无需放在AR眼镜视觉系统 可识别的视野范围内即可获取用户手势状态。将用户的手势姿势/状态与相关的计算机控制指令相对应。进而所 实现的交互效果为：用户佩戴者AR眼镜在乘坐拥挤的地铁，用户只需在保持单手自然下垂的同时食指翘起到达 预设高度，将食指的翘起作为眼动滑动轨迹的起点，食指落下作为滑动轨迹的终点，进而获取一个字或词的完 整滑动轨迹。
3.或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的起点 和终点信号相对应，进而控制眼动滑动轨迹的开始和结束，进而获取一个字或词的完整滑动轨迹。
4.或/和眼睛行为，注视点在某个键位上注视时长超过预设阈值作为眼动滑动轨迹的起点，当看到键位被 成功设置为起点的视觉反馈时，用户开始眼动滑行输入，然后在轨迹终点键位上注视一定时长(和起点注视机 制一样)作为系统获取轨迹终点的指令信号，由此识别出首尾清晰的完整轨迹，进而获取一个字或词的完整滑 动轨迹。
在另外一种可替代性实施例中，注视点从键盘的其他区域(候选词区域、字母输入预览区域)跳转至键盘 输入区域的首个键位上时，该首个接触注视点的键位被记作为轨迹的起点。当注视点从键盘输入区域跳转至键 盘的其他区域上时，注视点离开键盘输入区域前的最后一个键位被记作终端。本方法更适用于本发明专利中提 供的“眼动滑动输入的键盘布局”。增加或者替换的另外一种实施例为，还可以将键盘输入区域和其他的功能 区域中的目标UI设置为不同深度(深度指的是注视点坐标的Z轴，即指用户中心与目标UI的直线距离)的显示 位置，因此当用户注视不同的深度的区域时，双眼视线的夹角度数会存在响应的变化。因此可以通过眼动追踪 装置检测双眼视线夹角度数，进而计算获得用户的视觉深度，进而判断用户查看的输入法键盘区域，通过注视 点在键盘功能区域上的改变对首次进入键入区域的首个注视键位设置为起点，进而获取一个字或词的完整滑动 轨迹。
在另外一种可替代性实施例中，也可以将注视点停留在在字母键位上，同时进行单/双眼眨眼作为设置起点 或终点的机制。
如果没有检测到上述“开始”行为和信号，则用户注视点在键盘的输入区域产生键位输入行为不产生响应， 不对用户当前可能的键入眼睛行为进行字母输入。这可以有效的为计算机提供清晰完整词组的轨迹，并且可以 避免用户大脑思考时的眼动行为对眼睛滑动轨迹的影响。
进一步，步骤104：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并 提取轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
获取上一步用户“开始”眼动滑行输入的行为和信号之后，对用户的注视点滑动轨迹进行采样，得到具有 时间维度的注视点坐标和轨迹序列。眼动滑动轨迹的生成是通过注视点和扫视根据时间序列构成，通过扫视从 一个注视点转移到另外一个注视点。
对注视点滑动轨迹进行预处理包括，将所述的交互记录模块所记录的用户眼动滑动轨迹转换成为待处理的 用户眼动滑动轨迹特征集合。
上述转化过程包括以下步骤：
(i)对用户滑动轨迹进行大小归一化处理，得到统一坐标系的点序列；
(ii)对所述的点序列进行轨迹平滑处理，得到去除抖动引起的噪点后的点序列；
该轨迹平滑处理，具体为：对轨迹进行平滑处理，消除因眼颤等原因所造成的滑动轨迹数据中的噪点；
该对轨迹进行平滑处理，具体为：用均值滤波器的方法对轨迹进行平滑处理；
归一化：无论键盘的类型如何，键盘和键盘上的轨迹均可以被归一化，并且归一化轨迹的轨迹信息可以涉 及各种键盘和各种输入模式。此外，无论键盘的类型和大小如何，计算机均可以自主学习用于确定与相对于键 盘的滑动输入的轨迹对应的字符的标准和准则。
轨迹中的眼睛行为作为键位输入选择的机制包括：
(a)在键位上注视点驻留：在键位上短暂停留的注视点，例如包括注视的持续时间超过一定时长，和/或， 和/或注视的持续时间超过平均注视时间，和/或注视的持续时间超过扫视后的驻留时间。根据注视点在键位字母 上的驻留的顺序将轨迹序列转换成各个键位组成的键位序列；
(b)在键位上产生拐点轨迹：在任意的两次连续的眼跳运动中形成两段扫视轨迹，这两段连续的轨迹的夹 角角度达到一定预设角度范围内时，被标记为发生了“拐点轨迹“。当拐点轨迹发生时，与该发生拐点轨迹处 坐标对应的键位字母被作为输入。拐点轨迹代表了用户的键入意图，在实际的输入情况中，当用户视觉搜索到 正确的字母键位时就会搜索下一个字母，因而在跳转到下个字母是会产生拐点，因此拐点附近的键位更有可能 为用户希望输入的字母，所以转折角度是单词排序的重要依据，角度越大证明这个点的权重更高。
(c)校正扫视：通常用户通过眼睛注视点对准交互目标时，长距离扫视通常覆盖目标距离的90％，然后是 10％短距离的校正扫视(例如当扫视到目标位置时，初始扫视眼运动(预测的或测量的)可能不在落入距目标 的预定阈值距离之内。但是，一个或多个矫正扫视可能会导致用户的视线逐渐接近目标)。向心扫视比离心扫 视更准确选中目标。下冲或过冲后进行的校正可能会出现较长或较短的延迟。校正扫视可以快速执行(即动态 下冲或过冲)，也可能需要数百毫秒(即滑行下冲或过冲)。视线方向落在新的目标位置上时，有一个快速减 速阶段。在非常短的延迟之后，大扫视通常会伴随至少一个较小的校正扫视，以进一步接近目标位置。即使目 标已经消失，也可能发生矫正扫视，从而进一步支持了眼跳运动的投射弹道性质。但是，如果目标仍然可见， 则矫正扫视的频率会更高。
(d)眼颤：眼颤指的是瞳孔和角膜缘(通常程度较小)可能会出现位移，当眼球运动到达目标目标时可能 产生眼颤，其表现为阻尼振荡。这些运动的主要振荡频率通常约为20赫兹(即50毫秒的周期)。通常可以检测 到约50-60毫秒的阻尼振荡。这样就可以观察1-3个这样的阻尼振荡。
通过上述特征提取关键点作为键入按键的机制。
进一步，步骤105：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
根据本领域常用单词搜索算法和单词查找树对用户逐一输入的字母进行排查搜索，直到眼动滑动输入至最 后一个单词字母。其中用户逐一输入的字母是通过上一步识别的眼动滑动轨迹中的键位输入行为特征。
进一步，步骤106：候选词区域实时显示前几个最有可能的文字/词组/单词；
候选词区域会实时显示上一步词组搜索的至少一个结果。例如在通过九宫格键盘布局进行输入时，输入相 同的键位序列可能会产生多个词组。
进一步，步骤107：检测用户准备“结束”眼动滑行输入的行为和信号具体为，可以通过步骤103中对应的 结束机制进行识别，例如包括松开控制器按键、点击控制器按键、特定的手势、动头(点头、低头、抬头)、 眼睛行为(注视时长、视觉深度、眨眼)、注视点在键位区域和其他区域的切换等动作/行为。“结束“指令还 包括注视点离开输入区域和/或虚拟键盘。
如果检测到“结束“行为和信号则执行下一步；如果未检测到“结束“行为和信号则循环执行步骤104，
进一步，步骤108：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
用户选中正确的候选词具体方法为：几个(2个或2个以上)候选词根据预测概率进行排序，即根据可能性 的递减排列词组，最有可能的预测词排在最显眼的位置，系统会给预测的词组生成编号。用户可以通过语音交 互、手势交互、眼动交互、控制器选择交互、头动交互中的任意一项交互方式与眼动注视点相配合选择候选词。
例如优选实施例中，当用户完整输入了眼动轨迹后，注视点离开输入区域后跳转至候选词区域，通过注视 点选择其中候选词之一，其中在选择候选词的过程中可以引入注视点吸附技术，可以将申请号202010827022.0 《一种基于眼动追踪技术的眼动交互方法、系统及设备》所提及的采用设置感应区域被动吸附注视光标或眼动 交互意图预测主动吸附注视光标对目标进行选择的方法引入到交互方案中。当用户注视点吸附选择某个候选词时，控制器102上的按键松开，计算机获取到控制器102按键的释放信号，由此将按键释放信号作为确认点击的 指令。在此需要特别提醒的是：在步骤103“检测用户准备“开始”眼动滑行输入的行为和信号“至步骤108用 户选中候选词之前控制器102始终保持按住状态。另外一种可替换性优选实施例中，在经过上述相同的滑动输入 和候选词吸附选择后，可以通过手势识别技术识别单/双手五个手指的运动，通过计算机预先设置可以将食指对 应1号候选词，中指对应2号候选词，无名指对应3号候选词，小拇指对应4号候选词。当食指弯曲并快速与大拇 指碰撞时，数据手套上的传感器可以检测到食指弯曲运动过程中角加速度、角度等，进而通过手指运动的角加 速度、角度是否到达预设阈值来对候选词发出选中点击指令。例如食指触碰大拇(类似捏花的手势)为选择点 击1号候选词的指令，中指触碰大拇为选择点击2号候选词的指令，其他以此类推。
通过上述眼睛和手配合的多模交互的方式为用户提供舒适的AR/VR输入体验。
方法二：轨迹识别，通过将当前滑行轨迹与已经训练好的AI轨迹模型比对，进而识别出字词，类似手写输 入。
步骤201:系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤202:眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤203:检测用户准备“开始”和“结束”眼动滑行输入的行为和信号；
步骤204:检测和记录注视点在软键盘上的输入动作和完整滑动轨迹，呈现一段时间范围内的注视点滑动轨 迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征；
步骤205:将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配；
步骤206:候选词区域实时显示前几个AI眼动轨迹模型匹配后的文字/词组/单词；
步骤207:用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
步骤208:将用户选中结果用于优化AI眼动轨迹模型；
具体说明：
步骤201-步骤203、步骤207与上述方法一相同，在此不做赘述；
进一步，步骤204:检测和记录注视点在软键盘上的输入动作和完整滑动轨迹，呈现一段时间范围内的注视 点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征；具体为。
计算终端可以生成例如键盘的坐标信息和轨迹的坐标信息。键盘的坐标信息可以指示键盘的形状和大小， 例如，可以是指示围绕键盘和每个单独的键的边界的坐标值。此外，轨迹的坐标信息可以指示形成在键盘中的 轨迹的形状和大小，例如可以是形成轨迹的点的坐标值。此外，计算终端可以生成捕捉了键盘和形成在键盘上 的轨迹的图像。在这种情况下，捕捉的图像可以指示键盘的形状和大小以及轨迹的形状和大小。根据步骤203 用户轨迹滑动结束后，虚拟键盘上获取到一个单词/字词/词组的完整的注视点轨迹。
并对注视点滑动轨迹进行预处理，具体为，如上文说述，对注视点滑动轨迹进行归一化处理，得到键盘和 注视点轨迹统一坐标系的点序列，对所述的点序列进行轨迹平滑处理。
进而提取轨迹特征，具体为，轨迹特征被用于匹配字词的AI模型，通过所述轨迹特征搜索相似轨迹特征的 模型，进而获得与模型对应的字符/词组等。
注视点滑动轨迹的特征包括：滑动轨迹的形状、轨迹相对于键盘的相对位置、注视轨迹的总长度、轨迹拐 点、键位上注视点驻留序列、轨迹起点/终点、扫视距离、扫视速度、注视时长。轨迹起点/终点可以通过步骤203 获得。
此外，轨迹信息可以包括指示轨迹的形成方向的信息。例如，当用户的滑动输入依次经过“b”、“o"和"y" 时，轨迹信息可以包括指示滑动输入的轨迹形成在从”b“经过”o“到”Y“的方向上的信息。
然而，计算终端生成的轨迹信息不限于此，并且计算终端可以生成和处理各种类型的信息以指示轨迹的形 状和轨迹相对于键盘的相对位置。
进一步，步骤205:将眼动轨迹与已经训练好的AI眼动轨迹模型相匹配；具体为。
运算终端(AR眼睛)可以通过使用经过训练的模型来识别用户输入至键盘的滑动输入轨迹对应的至少一个 字符，其中该经过训练的模型己经与标准(正确的)字符对应的轨迹进行了训练，通过将当前的用户的注视点 轨迹与标准的轨迹模型库进行匹配，可以间接的将当前注视轨迹识别出目标字词。经过训练的模型可以是用于 确定与经过键盘上多个键的轨迹对应的至少一个字符的数据确定模型。数据确定模型可以是基于例如神经网络的模型。诸如深度神经网络(DNN)、递归神经网络(RNN)或双向递归深度神经网络(BRDNN)的模型可以用作数 据确定模型，但是数据确定模型不限于此。预设的经过训练的模型可以通过使用对应于各种轨迹的单词信息来 预先训练。例如，可以生成与词典中包括的各种单词对应的轨迹，并且可以通过使用所生成轨迹的轨迹信息和 与所生成的轨迹对应的单词信息来训练预设的经过训练的模型，可以预先生成对应于词典中某个单词的各种轨 迹。
通过眼球追踪装置获取用户视线在二维显示器或HMD的显示屏幕上呈现的软键盘上的注视点滑行轨迹，并 且将关于检测到的轨迹的信息应用到经过训练的字词模型。
进一步，步骤206:候选词区域实时显示前几个AI眼动轨迹模型匹配后的文字/词组/单词；
按系统预设的单词显示排列规则显示和输入单词信息包括仅将从字典数据库中获取的单词和/或单词组合， 根据系统预设的单词显示排列规则排列于键盘按键区域。其中，单词和/或单词组合显示在键盘按键区域的具体 实现可参考上文描述。
进一步，步骤208:将用户选中结果用于优化AI眼动轨迹模型；
通过步骤206中，提供了多个候选词选项，多个候选词均为通过AI眼动轨迹模型匹配计算获得，因而当前注 视点轨迹在与标准轨迹匹配时存在一定的相似概率，候选词根据相似度推测概率的大小在候选词区域递减排列， 并供用户交互选择(步骤207)。在实际注视滑动输入的过程中，视觉轨迹存在一定的误差，例如注视点光标未 到达/穿过目标键位，也有可能用户记错了字母按键位置等。为了优化上述问题，可以通过用户选择候选词的交互行为作为反馈机制优化AI眼动轨迹模型。
通过上述方法不仅可以优化计算终端本地的轨迹模型库，还可以设置为通过网络将优化学习后的轨迹模型 共享之云端服务器。
经过训练的模型可以存储在计算终端中，但不限于此。经过训练的模型可以存储在云端服务器中，并且在 这种清况下，计算终端可以向服务器提供关于检测到的轨迹的信息，并且服务器可以将从设备接收的关于检测 到的轨迹的信息应用到经过训练的模型，服务器可再次训练轨迹模型，优化识别精准度。
方法三：键入+轨迹识别，提取滑行轨迹中眼睛行为，并作为键位输入机制获得字词，最后再通过AI轨迹模 型识别校正存在误差的，进而提高识别准确度。
步骤301：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤302：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤303：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤304：检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹，呈现一段时间范围内的注视点 滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的 机制；
步骤305：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤306：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤307：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤308：获得当前完整轨迹的形状和轨迹特征；
步骤309：将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤310：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置 计算识别字词的准确性；
步骤311：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤312：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
步骤313：将用户选中结果用于优化AI眼动轨迹模型；
具体说明：
步骤301-步骤309、步骤311-步骤313与上述方法一和二相同，在此不做赘述；
进一步，步骤310：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和 权重设置计算识别字词的准确性，具体为，
本发明实施例的实质为将“方法一轨迹中行为键入“和”方法二轨迹特征模型识别“的优点进行了有机的 融合，相互弥补了两种方法相互之间的不足。
所示如图8，方法一轨迹中的特征行为键入，如果出现未到达和越过键位的错误键入情况，则会出现输入字 母错误。如图注视点滑动输入错误“你好-nibao“拼音的标准示意图，在眼动滑动输入“h”时，可能由于用户 滑动记忆偏差，或/和眼动滑动输入的过程中速度过快，或/和此时用户收到外界影响头抖了一下造成眼动装置的 检测误差等，将原本应“H”键位视觉驻留点错误的停留在“J”位置，因而本完整的轨迹的输入字母为“nijao”， 由此可见纯依靠方法一轨迹中的特征行为键入字母的方式存在一定的局限性。
所示如图9，在轨迹特征键入的基础上，通过将S2轨迹模型与AI眼动轨迹模型进行比对识别，可以通过轨迹 相似度识别出用户可能输入的是“nihao”，进而将可能候选词提供给用户选择。在错误的轨迹S2中，键入字母 “nijao”，计算系统可以根据拼音规则分析出“jao”是个不成立的拼写组合，这可以激活通过AI眼动轨迹模型 的识别结果对键位输入结果进行修正，提供眼动滑动输入的准确性。
进一步，通过轨迹特征的键入机制，可以明确眼动滑行输入的起点、终点、拐点等，可以大大降低轨迹模 型识别的难度，即通过键入机制可以确定一部分字母，筛选掉一部分轨迹模型的计算项，进而提高了轨迹模型 识别匹配的速度，节约了处理器运算能力，进而降低了功耗。
方法四：键入+轨迹+词组联想预测，根据拼写规则预测词组，进而提高识别准确度
步骤401：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤402：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤403：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤404：检测和记录注视点在软键盘上的输入动作和滑动轨迹，并提取注视点滑动轨迹进行预处理，根据 轨迹中的眼睛行为作为键位输入选择的机制，同时获得轨迹特征；
步骤405：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤406：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤407：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤408：生成当前完整轨迹的形状，和轨迹相对于键盘的相对位置的轨迹信息；
步骤409：将眼动轨迹与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤410：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置 计算识别字词的准确性；
步骤411：根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测 可能匹配的文字/词组/单词，进而确定优化注视点滑行轨迹的准确性；
步骤412：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤413：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
步骤414：将用户选中结果用于优化AI眼动轨迹模型；
具体实施：
步骤401-步骤410、步骤412-步骤414与上述方法相同，在此不做赘述；
进一步，步骤411：根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜 索和预测可能匹配的文字/词组/单词，进而确定优化注视点滑行轨迹的准确性；
本步骤中，系统根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则判断用户当前输 入的字符是否能够组成的正确的单词、词组、成语来判断当前眼动滑行轨迹的正确性。并根据纠错结果预测用 户当前带输入的可能的单词。
具体实现中，根据音节组成的不同，常用音节一般分为以下四大类：
(1)两拼音节：声母+韵母(如：爸ba、手shou)：
(2)三拼音节：声母+介母+韵母(如：光guang,泉quan)；
(3)整体认读音节：实质上是声母+韵母(如：只Zhi，四si)；
(4)自成音节：没有声母，只有以a、0、e开关的韵母(如：阿a，爱ai，安an，哦0，欧ou，鹅e)。
具体地，其中，声母包括：b，p，m，f，d，t，n，l，g，k，h，j，q，x，z，c，s，zh，ch，sh，r，y，w； 韵母包括：a，ai，ao，an，ang，o，ou，ong，e，ei，en，er，eng，I，iu，in，ing，iong，u，ui，un，ue，v； 介母+韵母：uai，uei，uan，uen，uang，iao，iou；整体认读音节：zhi，chi，shi，ri，zi，ci，si，yi，wu，yu， ye，yue，yin，yun，yuan，ying。根据上述的拼写规则，根据当前注视点滑动键入的字符和之前输入的字符， 在结合键入字符的序列，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；比 如：当前输入字符为"n”，之前未输入字符，则后续可选按键提示字符为“i”，“o”，“u”，“e”，“a”， “v”；再如：当前输入字符为“a”，之前输入字符为"h"，则后续可选按键提示字符为："i"，"o”，"n”。
方法五A：键入机制+键位提示，根据拼写规则预测/联想词组结果，下一个可能的字母位置被突显提示，有 助于增加视觉搜索效率，降低错误轨迹，提高轨迹识别精确度。
步骤5101：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤5102：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤5103：检测用户准备“开始”眼动滑行输入的行为和信号，记录滑行轨迹首个键入的字符，并根据首 字符和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测至少一个可能的第二字符；
步骤5104：根据第二字符预测获得的第二字符可能输入键位选项，通过视觉特效提示所有第二字符可能选 择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择 键位等待用户的响应；
步骤5105：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹， 并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，
步骤5106：实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在“提示键位”，若 “是”注视点滑动键入了“提示键位”，则进行步骤5107推算下一个可能字母，刷新键盘提示键位位置布局；
若“否”无接触，则暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入； 或/和执行“步骤5110”检测“结束”眼动滑行轨迹键入行为；
步骤5107：根据当前和之前输入的字符，键入字符的序列和单词搜索算法或单词查找树以及预定拼写规则， 从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；
步骤5108：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位， 或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待 用户的响应；
步骤5109：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤5110：检测用户准备“结束”眼动滑行输入的行为和信号，若“未结束”，则循环执行步骤5105；
步骤5111：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
具体说明：
步骤5101-步骤5104与上述方法相同，在此不做赘述；
进一步，步骤5105：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点 滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的 机制，尤其通过在连续几个“提示键位”上的“注视点停留时长”、“轨迹拐点角度”等特征识别出视觉搜索 的轨迹，并过滤视觉搜索轨迹。
通过在连续几个“提示键位”上的“注视点停留时长”、“轨迹拐点角度”等特征识别出视觉搜索的轨迹， 并过滤视觉搜索轨迹，具体为：通常情况下用户在视觉搜索过程中注视点停留的时间低于平均水平，即出于视 觉搜索目的的注视停留时长较短，出于注视点输入目的的注视停留时长较长。并且在滑动轨迹的角度特征表现 在，出于视觉搜索目的的滑动轨迹更为平缓和连续(拐点的角度较小)，然后出于注视点输入目的的滑动轨迹 更为陡峭(更容易出现拐点角度较大的)。往往在用户输入正确的目标键位时，由于用户跳转至其他键位，则 会出现较大的轨迹拐点。综上所述可以分析上述连续几个提示键位上的“注视点停留时长”、“轨迹拐点角度” 等特征，可识别出滑行轨迹中视觉搜索的部分，并过滤视觉搜索轨迹，降低视觉搜索轨迹对滑动输入轨迹的干 扰。识别视觉搜索行为不能单纯的设置注视点停留时长的阈值和轨迹拐点角度的阈值过滤行为数据，而是需要 通过一段连续时间内的多个提示键位上的轨迹特征(注视时长、拐点角度)综合分析识别出视觉搜索行为。
进一步，步骤5106：实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹的注视点是否驻留在“提示 键位”，若“是”注视点滑动键入了“提示键位”，则进行步骤5107推算下一个可能字母，刷新键盘提示键位 位置布局；则执行“步骤5110”检测“结束”眼动轨迹键入行为，或/和暂停键盘输入区域的响应，等待用户注 视点回到“提示键位”后继续滑动轨迹输入；
具体为，检测注视点光标的滑动轨迹是否经过“提示键位”，并且在“提示键位”是否检测出用户的键入 行为，例如轨迹拐点、视点驻留等。如果确认在“提示键位”位置发生了键入行为，则继续根据推算下一个字 母。综上，本步骤实质为确定当前状态是否仍然处于滑行输入的过程中，
或/和暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入，具体为：例如在 眼动滑行轨迹的途中，“提示键位”正在点亮并等待用户的滑动轨迹输入，但是用户此时需要在滑行轨迹中途 看一下候选词区域和字符预览区域，以此来确认眼动输入的正确性。眼动输入不同于手指触摸滑行输入，可以 将输入任务和认知任务分配给手和眼睛两个器官完成，然而眼动输入需要同时兼顾输入任务和认知任务因而造 成冲突，通常情况下，为了减少视觉搜索或其他视觉行为对眼动滑行轨迹的识别精准度的影响，所以我们将一 个词组记为一条完整轨迹，不支持中途断开滑行轨迹。但是通过本发明所述的“提示键位”方法，在断开滑行 轨迹后(注视点跳转至候选词区域和字符预览区域)，在返回输入区域(例如26字母键盘)后需要用户有意识 的将注视点移动至任意一个“提示键位”上注视一定时长，则可以连接上之前的滑行输入轨迹。
进一步，步骤5107：步骤5107：根据当前和之前输入的字符，键入字符的序列和单词搜索算法或单词查找 树以及预定拼写规则，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；具体 实现中，根据音节组成的不同，常用音节一般分为以下四大类：
(1)两拼音节：声母+韵母(如：爸ba、手shou)：
(2)三拼音节：声母+介母+韵母(如：光guang,泉quan)；
(3)整体认读音节：实质上是声母+韵母(如：只Zhi，四si)；
(4)自成音节：没有声母，只有以a、0、e开关的韵母(如：阿a，爱ai，安an，哦0，欧ou，鹅e)。
具体地，其中，声母包括：b，p，m，f，d，t，n，l，g，k，h，j，q，x，z，c，s，zh，ch，sh，r，y，w； 韵母包括：a，ai，ao，an，ang，o，ou，ong，e，ei，en，er，eng，I，iu，in，ing，iong，u，ui，un，ue，v； 介母+韵母：uai，uei，uan，uen，uang，iao，iou；整体认读音节：zhi，chi，shi，ri，zi，ci，si，yi，wu，yu， ye，yue，yin，yun，yuan，ying。根据上述的拼写规则，根据当前注视点滑动键入的字符和之前输入的字符， 在结合键入字符的序列，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；比 如：当前输入字符为"n”，之前未输入字符，则后续可选按键提示字符为“i”，“o”，“u”，“e”，“a”， “v”；再如：当前输入字符为“a”，之前输入字符为"h"，则后续可选按键提示字符为："i"，"o”，"n”。
上述规则同样适用于“步骤5103：检测用户准备“开始”眼动滑行输入的行为和信号，记录滑行轨迹首个 键入的字符，并根据首字符和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测至少一个可 能的第二字符”中所述的单词搜索算法或单词查找树以及预定拼写规则。
进一步，步骤5108：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能 选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选 择键位等待用户的响应；
具体地，通过视觉特效提示所有下一步可能选择键位：在屏幕的键盘区通过视觉特效凸显后续可选的字符， 例如点亮所述屏幕的键盘区内的后续可选的字符，采用特定颜色显示所述触摸屏的键盘区内的后续可选的字符， 例如当前输入字符为"n”，之前未输入字符，则通过蓝色点亮“i”，“o”，“u”，“e”，“a”，“v”， 这几个键位。
或/和禁用所有不可能选择的键位：例如当前输入字符为"n”，之前未输入字符，则通过灰色点亮“i”， “o”，“u”，“e”，“a”，“v”，这几个键位以外的键位。
进一步，步骤5110：检测用户准备“结束”眼动滑行输入的行为和信号，若“未结束”，则循环执行步骤 5105；
在本方法中“结束”眼动滑行输入的行为和信号包括：松开控制器按键、点击控制器按键、特定的手势、 动头(点头、低头、抬头)、眼睛行为(注视时长、视觉深度、眨眼)；可以通过步骤5103中对应的结束机制 进行识别，
如果检测到“结束“行为和信号则执行下一步；如果未检测到“结束“行为和信号则循环执行步骤5104。
图10：示出了虚拟键盘的界面，包括Q1字符预览区；Q2候选词区域；Q3键位输入区域；
图11:眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的效果示意图。系统获取用户 准备“开始”眼动滑行输入的行为和信号，用户键入首字母“m”。
具体为当用户准备输入某个词组时，用户需要在设备上操作某个交互行为，以此来通知终端系统开始识别 当前输入眼动滑行轨迹。通过上述方式可以分隔字与字、词与词、字与词之间的轨迹，进而为字词的眼动滑动 轨迹提供计算机可识别的起点和终点，这将有助于眼动滑动轨迹的识别、匹配、和特征提取。
被用于通知终端系统开始识别当前输入眼动滑行轨迹的行为和信号，包括但不限于控制器手柄102、手势识 别、头动追踪(如点头)、眼睛行为。
控制器102，用户按压一下(按压后抬起)控制器102上的预设按键后，则将当前注视点位置作为某个词组 滑行轨迹的起点，当滑行轨迹到达轨迹终点键位上时，再按压一下控制器102上的预设按键作为终点指令；
在另外一种可替代性实施例中，当用户按压下控制器102上的预设按键后保持按住状态(按住不松手)，系 统将控制器按键的按下信号作为眼动滑行轨迹的起点，在滑行途中按键始终保持按下状态，当用户滑动轨迹至 终点时松开控制器按键，以此作为系统识别轨迹终点的信号。
或/和手势识别，终端设备通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹起点、终点的信号。 特别的，数据手套也可以以类似控制器102形式的佩戴在用户手上，用户的手势无需放在AR眼镜视觉系统可识 别的视野范围内即可获取用户手势状态。将用户的手势姿势/状态与相关的计算机控制指令相对应。进而所实现 的交互效果为：用户佩戴者AR眼镜在乘坐拥挤的地铁，用户只需在保持单手自然下垂的同时食指翘起到达预设 高度，将食指的翘起行为作为眼动滑动轨迹的起点，食指落下行为作为滑动轨迹的终点。
图12:眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的效果示意图。根据键入字符 和预定拼写规则，预测下一步字符可能，并在键盘位置上点亮“提示键位”。如图12当确定键入字符“m”时， 根据拼写规则预测字母“m”后面的可能字母为“a”、“e”、“u”、“i”、“o”，由此将上述预测的字母 再键盘的输入区域Q3上点亮(突出显示)。
图13：眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的效果示意图。用户扫视跳转 输入键位“I”，在图13所示实施例中是用户很明确的记得字符“I”在键盘上的位置，因而可以一步到位眼跳至 正确的目标键位“I”，这时眼动滑动输入的理想情况。但是大多数情况下用户不能明确记忆字母位置的情况。 因而需要用户通过视觉搜索查找目标字母的位置。
如图14示出了键入机制和按键提示的眼动滑行输入法中，视觉搜索“提示键位”的效果示意图。用户视觉 搜索其中的提示键位“a”、“e”、“u”、“i”、“o”中的一个或多个，可以以任意的注视顺序跳转提示键 位，直到搜索到正确的目标键位“i”进行注视停留，例如搜索顺序a-e-u-i、e-u-i、o-i等任意顺序。通常情况下 用户在视觉搜索过程中注视点停留的时间低于平均水平，即出于视觉搜索目的的注视停留时长较短，出于注视 点输入目的的注视停留时长较长。并且在滑动轨迹的角度特征表现在，出于视觉搜索目的的滑动轨迹更为平缓 和连续(拐点的角度较小)，然后出于注视点输入目的的滑动轨迹更为陡峭(更容易出现拐点角度较大的)。 往往在用户输入正确的目标键位时，由于用户跳转至其他键位，则会出现较大的轨迹拐点。综上所述可以分析 上述连续几个提示键位的“注视点停留时长”、“轨迹拐点角度”等特征，进而识别出视觉搜索的轨迹，并过 滤视觉搜索轨迹，降低视觉搜索轨迹对滑动输入轨迹的干扰。识别视觉搜索行为不能单纯的设置注视点停留时 长的阈值和轨迹拐点角度的阈值过滤行为数据，而是需要通过一段连续时间内的多个提示键位上的轨迹特征(注 视时长、拐点角度)综合分析识别出视觉搜索行为。由此在图14的“I”键上用户给予了更长的注视时长，可 以通过注视光圈的直径大小直观的判断注视的停留时间。为了方便本文发明示意图的说明，在本文中示意图中 定义“可视化注视点光圈”的大小(直径大小)与注视时长成正比。
图15：眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的效果示意图。注视点跳转至 “I”键并成功输入后，推算下一步字符，刷新“提示键位”布局。显示新的预测输入字符“a”、“e”、“u”、 “n”；
图16：眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的效果示意图。注视点跳转至 “a”键并成功输入；
图17：眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的效果示意图。推算下一步字 符，刷新“提示键位”布局，注视点跳转至键位“n”并成功键入
图18：眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的效果示意图。完整输入一个 字/词时，没有下一步的字符预测情况下，取消显示推荐的“提示键位”
图19：眼动滑行输入法输目标“mian”的过程，并具备键入机制和按键提示的效果示意图。完整输入一个 字/词后，用户注视点跳转至Q2候选词显示区域，从左首字“免”开始向右视觉搜索，直到看到正确的目标字词 “面”，通过注视点选中“面”字，再通过本文所述的交互方式进行确认点击。说述确认点击的交互方式包括 前文所述的控制器手柄102、手势识别、头动追踪(如点头)、眼睛行为。
如图20：眼动滑行输入法输目标“mian”的滑行过程中发生注视点临时脱离输入区域情况的示意图。在注 视点滑动输入“面-mian”目标任务中，当滑动输入已经完成了字母“m”、“i”、“a”时。如图21，用户此 时没有继续输入滑行至下一步提示键位(即o和n)，而是注视点跳转至Q1字符预览区和Q2候选词区域，该行为 意图可能是判断之前输入字符是否正确，之前滑动输入的字符是否可以拼写成目标词组。如果在滑行输入一个 字/单词的途中(视为未完成输入)，注视点离开输入区域Q3后的首次眼跳落点为Q1字符预览区和/或Q2候选词 区域时，系统暂停滑行输入，使“提示键位”保持点亮状态(如图21中“o”、“n”保持凸显状态，等待注视 点的交互)。特别注意的在字/单词未完整输入情况下，注视点在键盘区域上的转移(例如从Q3区域跳转至Q2 区域)不作为识别眼动滑行输入“结束”的条件。
如图22：眼动滑行输入法输目标“mian”的滑行过程中发生注视点临时脱离输入区域情况的示意图。用户 在Q1字符预览区和Q2候选词区域查看后，如果发现了错误，进而控制删除之前输入的一个或几个字符，输入区 域的“提示键位”和滑动轨迹会退回到对应的步骤。如果未发现错误，则禁用除“提示键位”以外的字符键位， 直到用户注视点回到“提示键位”中“n”、“o”其中之一的位置上，并在“提示键位”注视驻留时长超过预 设阈值后作为轨迹连接点与之前的轨迹相连接，并继续之前的滑行轨迹。
方法五B：键位提示+轨迹AI识别。
步骤5201：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤5202：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤5203：检测用户准备“开始”眼动滑行输入的行为和信号，记录滑行轨迹首个键入的字符，并根据首 字符和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测至少一个可能的第二字符；
步骤5204：根据第二字符预测获得的第二字符可能输入键位选项，通过视觉特效提示所有第二字符可能选 择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择 键位等待用户的响应；
步骤5205：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹， 并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，
步骤5206：实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在“提示键位”，若 “是”注视点滑动键入了“提示键位”，则进行步骤5107推算下一个可能字母，刷新键盘提示键位位置布局；
若“否”无接触，则暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入； 或/和执行“步骤5110”检测“结束”眼动滑行轨迹键入行为；
步骤5207：根据当前和之前输入的字符，键入字符的序列和单词搜索算法或单词查找树以及预定拼写规则， 从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；
步骤5208：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位， 或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待 用户的响应；
步骤5209：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤5210：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤5211：生成当前完整轨迹的形状，和轨迹相对于键盘的相对位置的轨迹信息；
步骤5212：将眼动轨迹与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤5213：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设 置计算识别字词的准确性；
步骤5214：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤5215：用户选中正确的候选词，并将候选文字输入到文本中；
步骤5216：将用户选中结果用于优化AI眼动轨迹模型；
方法六：眼动滑行输入的键盘布局，增加了视觉搜索效率。
问题描述：视觉搜索键盘上的字符成本较高。
目前世界上流行的qwert全键盘布局和九宫格键盘布局并不是眼动滑动输入的最好布局，问题如下
问题1.全键盘形状会超出用户的视野范围：人类横向视域最大接近190度。但空间感知、颜色识别最好的区 域只有50度到60度。纵向视域如图23所示最大接近120度，颜色识别界限在55度左右。站立情况下视线会低于水 平10度；坐着时低于水平15度。因此如果将现有的qwert全键盘(长方形键盘)布局作为眼动滑动输入的虚拟键 盘时，长方形键盘可能会超出用户的视野范围，长方形键盘设置较远的距离则可能无法清楚看清键位，设置较 近的距离则长方键盘两侧会超出超出用户的视野范围，并且在实际的眼动滑动输入过程中还需要转动头部来扩 充视野来看全完整的键盘区域，再通过注视点滑动输入字符。可想而知在眼动滑动输入的过程中需要额外协调 头部进行输入的体验是很不好的。
所示如图37qwert长方形键盘在用户视野画面中的效果示意图。由此本发明希望眼动滑动输入的键盘设计、 形状、大小是维持横向视域50-60度以内，纵向视域界限在55度以内，在上述视域范围内是用户眼动滑动输入最 为舒适的键盘区域。并且在这个区域内用户的视觉搜索效率度较高，可以使用眼睛余光对键盘位置的视觉搜索， 中有利于更快找到字符键位。
问题2.全键盘上的字符键位布局较为分散：由于传统的26键全键盘最初设计是通过双手敲击进行输入的， 为了能够摆下两只手协同输入，所以全键盘的字符按键组成了长方形键盘。但是26键全键盘布局并不适用于眼 动滑行输入法，在本发明的眼动滑行输入的过程中，希望键盘上字符键位的布局能够更加集中，尽可能的分布 在视野中心，这有助于用户一眼能够看到更多的内容，获取更多的信息，进而减少眼跳的次数，提高视觉搜索 效率，同时降低造成干扰视觉轨迹的概率，从而提升滑行轨迹识别精准度。
问题3.在全键盘上眼动滑行输入中，一次长距离的眼跳需要跨过太多键位：所示如图25，在全键盘上输入 字符“AI”时，需要眼睛注视点从字符“A”眼跳至“I”，在这个眼跳的过程中注视点会掠过“S”、“D”、 “F”、“T”、“G”、“Y”、“J”，在眼跳过程中掠过太多无用的字符键位可能会造成误触键位，以至于 输入错误的字符，这也会大大增加键入错误字符的几率，降低眼动滑动输入的体验。
由此在本发明的眼动滑行输入的过程中，希望键盘局部上的键位相对独立，键位与键位之间不堆叠，降低 眼跳过程中掠过无用键位的数量和几率。
问题4.眼动滑行输入的过程中，用户短暂的思考会影响滑动轨迹：在眼动滑行输入的过程中，可能会遇到 用户用户短暂的思考。例如包括但不限于可能在大脑中组织语言，思考输入的文字，解码拼音/单词，思考下一 个输入的字符，思考下一个输入字符的位置等大脑活动，除此之外用户思考的大脑活动还有可以与眼动滑行输 入无关。然而在思考的过程中的眼睛行为将不再受用户主观意识控制，会出现目光呆滞，目光呆滞表现为长时间注视同一位置，瞳孔直径变小，并且思考过程中注视点位置靠近视野中心，在视野中心的一定范围内驻留， 同时注视点在这个范围内会轻微无规则漂移。
由此在本发明的眼动滑行输入的过程中，希望键盘局部设计中，在键盘的正中心设置一块没有键位字符的 区域，用于安防思考过程中的眼注视点行为。
问题5.一字排列的字符键位布局容易受到视觉搜索轨迹的干扰：所示如图26，在qwert的全键盘布局中，例 如从“Q”-“P”，或从“A”-“L”等键位是成一字排列的，如果用户此时输入的字符在同一条横向直线上时， 例如图26中，设置输入“qu-去”为输入目标，从键位“Q”到键位“U”的输入过程中，用户可能需要对键位 “U”进行视觉的搜索，所以注视点可能会跳转至同一条线上的任何键位进行视觉搜索，例如本说明性示意图 中注视点跳转至键位“E”和“T”，直到发现键位“U”，系统可能误认为用户输入了qetu，无法正确输入正确 文字“qu-去”。可以发现如果字符在同一条直线上的输入情况时，区分注视点输入和视觉搜索之间的差别时非 常困难的。
由此在本发明的眼动滑行输入的过程中，通常视觉搜索的目的性很弱，所以搜索轨迹趋向于直线，并且视 觉搜索的注视时间较短。然而在明确找到目标字符后，再寻找下一个字符时会表现出“轨迹拐点”，因此“轨 迹拐点”有更加有目的性，通过“轨迹拐点”作为注视点滑动输入的键入机制是更加有效和准确的，所以本发 明眼动滑动输入中更希望键盘布局中的键位没有“一字排列”，即任意连续排列的三个键位不能再一条直线上， 同时所有的字符最好设置在外沿，不存在字符的堆叠(即多层)，提高注视点滑动轨迹中特征“轨迹拐点”的 产生几率，这有助于提高眼动滑动输入的准确性，减少视觉搜索对滑动轨迹的影响。
综上所述，眼动输入键盘应该满足在视野中心范围内、键位集中(可多字符一键)、层少、视觉中心有空 白区(安置思考过程中的注视点)、连续三键不再同一条线。
解决上述现有键盘布局问题方案如下：
图27眼动滑行输入法的键盘布局：具体为键盘的外圈Sj形状为中心对称的图形，例如外圈Sj的中心对称图形 包括但不限于圆形、正方形、六边形、八边形等，外圈Sj至内圈Sk之间设置“字母键位输入区域”。外圈Sj的 内圈会设置同一中心对称点的内圈Sk，内圈Sk以内的空白区域Sm被用于设置输入法的其他功能区域，内圈Sk 为中心对称图形，内圈Sk包括但不限于圆形、正方形、六边形、八边形等，中心对称图形有助于聚合用户的注 视点。外圈Sj和内圈Sk共同的对称中心点(及几何中心)位置设置Sc候选词显示区域，候选词显示区域被用于 显示用户正想要输入的字符/字词，为用户提供积极的反馈，进而用户知道是都输入正确，在键盘输入过程中注 视次数最多的区域，因而设置在几何中心。
外圈Sj至内圈Sk之间为键盘输入区域，键盘的26个字母键位设置在键盘输入区域，可以一个字母为一组， 也可以两个或三个字母为一组键位，也可以更多的键位为一组，例如9键布局、12键布局，相邻的三个字母按键 的连线存在一定的角度，使一组中的键位不在一条直线上。在另外一种增加或替换性实施例中，字母/字符的排 列顺序可以根据字母的点击频率或拼音的拼写规则排列。键盘输入区域被设置为等待眼动注视点光标的交互。
内圈Sk为注视点安置区域，被用于设置输入法的其他功能区域和空白区域Sm。空白区域Sm的空白区不具 备交互属性，系统眼动交互行为和/或其他控制器在该空白区域Sm产生的指令不响应，该区域被设置用于安置用 户无意识的眼睛行为，例如眼颤、漂移、视觉搜索等。本施例性说明的其他功能区域中包括但不限于Sa为短文 本输入框，Sb输入字母预览区，Sc首候选词显示区域，Sd1-Sd3其他候选词显示区域，Se功能键-删除键，Sf功 能键-换行，Sg特殊符号显示键，Sh数字显示键，Si表情显示键，Sw确认发送键，或重复输入键(见图40)。其 中上述“其他功能区域”中的功能键的交互方式包括松开控制器按键，和/或点击控制器按键、和/或特定的手势、 和/或动头(点头、低头、抬头)、和/或眼睛行为(注视时长、视觉深度、眨眼)。
Sa为短文本输入框，用于临时存储简短的文字信息，类似于聊天窗口的输入框，当完成输入后，点击“发 送Si”后将发送至正本。
Sb输入字母预览区，当在中文输入时，用于临时显示与字词对应的拼音字母或英文单词，为用户提供输入 正确与否的反馈。
Sc首候选词显示区域，用于显示最有可能的候选词，或者通过计算机的算法预测计算出的字词/单词，其中 预测算法可能通过用户平时的书写习惯、词频、历史纪录等。
Sd1-Sd3其他候选词显示区域，用于显示可能性较低的候选词，根据可能性概率递减依次排列。
Sg特殊符号显示键，具体为对该键确认点击后在键盘的键位布局发生变化，变化后显示更多更丰富的符号， 例如包括但不限于“！”、“@”、“#”、“￥”、“％”、“&”、“*”等。
Sh数字显示键，具体为对该键确认点击后在键盘的键位布局发生变化，变化后显示完全的数字，包括“0” -“9”。
Si表情显示键，具体为对该键确认点击后在键盘的键位布局发生变化，变化后显示后显示更多更丰富的表 情，例如包括但不限于
等各种表情。
如图28所示为图27眼动滑行输入法的中心对称键盘布局/界面布局的输入过程的效果示意图。注视点“1” 的位置在Sa短文本输入框，用户根据现有文字信息思考下文目标“面”，因而需要输入字母“mian”。用户的 交互目标为“M”，并视觉搜索“M”，根据对“M”位置模糊记忆注视点从第1跳转至第2注视点，第2注视点 位于输入区域的字母“O”，当发现字母“O”并非交互目标为“M”时，注视点逆时针搜索，注视点跳转至 第3注视点“M”并给与较长的驻留时间。进一步交互目标“i”，注视点逆时针视觉搜索的过程中快速的经过注 视点“4a”“4b”“4c”，直到搜索到正确目标“i”，并且第5注视点(字母i)给与较长的注视停留。进一步交互目标“A”，注视点逆时针视觉搜索的过程中快速的经过注视点“6”“7”“8”，直到搜索到正确目标“A”， 并且第9注视点(字母A)给与较长的注视停留。进一步交互目标“n”，由于用户清楚的记得字母“n”的位置， 无需视觉搜索直接跳转至“N”，并且在第9注视点“A”上产生了明显的轨迹拐点，在第10注视点出键入字符 “n”，由于已经完成了“mian”的全部字符输入，字符“n”是最后一个字符，此时用户需要了解眼动滑动输 入是否准确，进而注视点跳转至第11注视点的Sc候选词显示区域，用户可以将注视点放在Sc、Sd1、Sd2、Sd3 之中的任意一个交互按钮上，同时用户提供另外的交互指令(例如：手势、控制器手柄、头动等)对当前注视 的交互按键上进行确认点击。
图29示出了另外一种眼动滑行输入法的中心对称八卦键盘布局/界面布局示意图。具体为键3个或4个键组合 在一起作为一个交互键位。本眼动滑行输入法的键盘布局通过九宫格输入法创新而来，其中如图29中，键位A、 B、C属于一个交互区域L，无论注视点落在交互区域L的任意位置，都会使交互区域L内同一字母被同时输入(例 如键位A、B、C)，直到陆续输入后续字符后逐渐筛选得到可以组合成单词/字词的字母组合。
图30示出了另外一种眼动滑行输入法的中心对称八卦键盘布局/界面布局示意图。区别于图29外圈Sj被设置 为正方形。
图31示出了另外一种眼动滑行输入法的中心对称八键键盘布局/界面布局示意图。
图32示出了另外一种眼动滑行输入法的中心对称八卦键盘布局/界面布局示意图。
图33示出了另外一种眼动滑行输入法的中心对称十二键键盘布局/界面布局示意图。
图34示出了根据中文拼写规则布局的眼动滑动输入的键盘布局示意图。具体为Pa为键盘外圈，Pb为键盘中 圈，Pc为键盘内圈。其中，根据中文拼写规则Pb中圈-Pc内圈之间为“韵母区”，“韵母区”设置韵母字符，韵 母字符包括a、e、i、o、u、v、n、g，上述韵母字符可以以任意的序列、任意的组合设置在“韵母区”，通常在 拼音字母的输入中，韵母字符的点击频率较高，因此设置在内圈，并且按键的面积更大更显著，这有助于提高 视觉搜索效率。在Pa外圈-Pb中圈之间为“声母区”，“声母区”设置声母字符，声母字符包括b、p、m、f、d、 t、l、n、g、k、j、q、x、z、h、c、s、r、y、w，上述声母字符可以以任意的序列、任意的组合设置在“声母区”， 通常在拼音字母的输入中，声母字符的点击频率较低，因此字符按键面积小于“韵母按键”，并且多为拼音字 母输入的首字母，因而字母键位设置在外圈有助于使眼动滑动轨迹更加清晰，另外的通过系统设置感应区域有 助于对轨迹的分析处理。
图35示出了根据英文拼写规则和高频字符布局的眼动滑动输入的键盘布局示意图。Pa为键盘外圈，Pb为 键盘中圈，Pc为键盘内圈。根据英文拼写规则Pb中圈-Pc内圈之间设置高频字母，在Pa外圈-Pb中圈之间设置低 频字母。
上述图27-图35示出的眼动滑动输入的键盘布局积极效果：
综上，本发明给出的眼动滑动键盘布局中，采用中心对称图形(圆形、正方形、六边形等)作为虚拟键盘 的总体外观形状，这种中心对称图形可以均匀的覆盖眼睛视野中心区域，解决了问题1.全键盘形状会超出用户 的视野范围造成的问题(如图38，图39)；本发明眼动滑动键盘布局采用，以图形对称中心为基点逐步向外围 布置“字符键位”，符合眼睛中央凹视野中心为高清图像，并逐步向外围图像模糊的生理特性，本字符键位布 局较为集中，符合人类注视规律，解决了问题2.全键盘上的字符键位布局较为分散；本发明眼动滑动键盘布局 采用中心对称图形作为虚拟键盘的总体外观形状，仅设置一到二层键位，并且在字母键位位置布局设计为错位 排列(或插孔排列)，使达到任意三个字母键位不在一条直线上，因而解决了问题3.在全键盘上眼动滑行输入 中，一次长距离的眼跳需要跨过太多键位；本发明眼动滑动键盘布局的Sm圈内区域(对称中心区域)被设计为 候选词显示区域和功能键区域(例如删除、换行)。在眼动滑行输入过程中，候选词显示区域和功能键区域被设置为不接受注视点光标的响应，需要额外的交互方式与功能键交互，其中上述“额外的交互方式”中的功能 键的交互方式包括松开控制器按键，和/或点击控制器按键、和/或特定的手势、和/或动头(点头、低头、抬头)、 和/或眼睛行为(注视时长、视觉深度、眨眼)。由此通过额外交互方式与注视点交互区分开，因而过滤用户在 短暂思考过程中的眼动行为，解决了问题4眼动滑行输入的过程中用户短暂的思考会影响滑动轨迹和对误触字符 和功能按键。本发明眼动滑动键盘的键位布局为弧形和错位排列，这提高了“轨迹拐点”的出现概率。不仅如 此还通过中文/英文拼写规则布局键位位置，将韵母或/和高频字母布置在靠近视觉中心处，进一步降低了视觉搜 索难度，提高搜索效率，降低错误键输入几率，解决了问题5一字排列的字符键位布局容易受到视觉搜索轨迹的 干扰。
方法七：通过检测眼睛行为和/或脑电波分析用户大脑的负荷，解决了在输入过程中的短暂思考对滑动轨迹 的思考。
步骤701：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤702：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤703：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤704：检测用户思考状态，通过脑电波检测装置检测用户大脑的思考负荷，和/或眼动追踪装置检测用 户注视行为。当大脑电信号达到预设阈值范围内，和/或注视点驻留时长超过预设阈值时，识别并过滤造成影响 的注视点滑动轨迹。
步骤705：检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹，呈现一段时间范围内的注视点 滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的 机制；
步骤706：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤707：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤708：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤709：获得当前完整轨迹的形状和轨迹特征；
步骤710：将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤711：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置 计算识别字词的准确性；
步骤712：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤713：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
步骤714：将用户选中结果用于优化AI眼动轨迹模型。
具体说明：
步骤701-步骤703、步骤705-步骤714与上述方法相同，在此不做赘述；
进一步，步骤704：检测用户思考状态，通过脑电波检测装置检测用户大脑的思考负荷，和/或眼动追踪装 置检测用户注视行为。当大脑电信号达到预设阈值范围内，和/或注视点驻留时长超过预设阈值时、瞳孔直径变 化，识别用户注意状态，并过滤造成影响的注视点滑动轨迹。当用户处于思考的状态时，大脑的相关区域处于 活跃的放电状态，同时用户主观意识将缺乏对眼睛的控制，因而注视点漂移、瞳孔直径出现变化，由此可以通 过眼睛和脑电波判断用户的注意状态，由此降低注视点漂移对眼动滑动输入的影响。
方法八：另外一种键盘布局实施例，用于解决眼动滑行输入过程中的重键问题的键盘布局。例如在“press”、 “app”字母键入中存在“ss”、“pp”这种两个相同字母连续输入的情况，这种情况本文称之为“重键输入“。 在注视点滑动输入的过程中遇到重键输入时，用户需要连续通过眼动交互连续输入同一个字符。目前在国外给 出的解决方案是通过注视点对同一字母位置保持更长注视时长，例如目标输入”ss“，当注视点第一次接触按 键”s“位置时，保持注视点位置在按键”s“感应区域内的时长超过预设阈值，则系统视为连续输入第二个”s “，但是上述的方法会降低用于的输入速度和效率，交互提交不佳，流畅的眼动滑动输入行为会被额外的注视 时长打断。
图40.眼动滑动输入法中额外提供一个重复输入的键位的示意图
由此，本发明方法八中提出，在眼动滑动输入法中额外提供一个重复输入的键位。具体为如图40，额外提供重 复输入键Sy，在Sy键中将实时刷新显示上一个输入过的字母。例如图40中任务目标为输入单词“press”，当注视 点滑动输入字母“p”时，“重复输入键Sy”刷新显示为“p”。当注视点滑动输入字母“r”时，“重复输入键Sy”刷新 显示为“r”………….当注视点滑动输入字母“s”时，“重复输入键Sy”刷新显示为“s”,这时下一个输入字母与上一个字母”s“一样仍为字母“s”，则注视点可以跳转至“重复输入键Sy”，进而输入了字母“s”，由此通过在固 定位置设置一个永远显示上一个输入字母的“重复输入键”是的滑动输入更为流畅。
1)检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据轨迹 中的眼睛行为作为键位输入选择的机制；2)将上一步成功键入的信号发送至处理器，处理器提示显示渲染装置 生成与上一步成功键入的字母，显示在重复输入键位置，并等待用户的注视交互。若没有检测到用户对重复输 入键的交互操作则循环执行上一步。附加的另外一种实施例中，当用户注视“重复输入键”已经连续输入两个相同字符时，用户再次跳转至字母键位区域的同一字母位置，则可以连续输入相同的三个字母。
方法九：用于通过在扫视/眨眼过程中变更显示元素来解决在键盘中的动态元素干扰用户注视位置的方法。 问题：在上述实施例的眼动输入的过程中，如图27眼动滑动输入的全键盘布局中，注视点滑动每次成功键入一 个字母时，Sb会实时添加新输入的字母；候选词区域Sc、候选词Sd1、候选词Sd2、候选词Sd3也会根据新键入 字母来更新显示新预测的候选词；重复输入键位也会根据上一个成功输入的字母更新显示的字母。那么在滑动 输入的过程中，这种即时动态更新显示可能会引起用户的额外的注意力，导致用户的注视点不由自主的被某种 动态显示吸引，由此用户注视点的脱离原有输入滑动轨迹，这种额外的被动吸引的注视行为是没有必要的，会 导致系统对滑动轨迹识别的不准确。因而希望获取一个能够避免吸引用户目光，又能更新显示字符的方法。
本方法通过在扫视过程中更新显示字符的方法来解决上述问题，具体为
步骤901：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤902：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤903：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤904：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨 迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤905：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤906：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复 输入键位更新字符；
步骤907：检测用户准备“结束”眼动滑行输入的行为和信号。如果检测到“结束”指令，则执行下一步。 如果未检测到“结束”指令，则执行循环执行步骤904；
步骤908：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
具体说明：
步骤901-步骤905、步骤907-步骤908与上述方法相同，在此不做赘述；
进一步，步骤906：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重 复输入键位更新字符；
在人类扫视过程中，及注视点从一点跳转至另外一点的过程中，人是无法在扫视过程中看清东西的。在生理上， 扫视的持续期间视觉是被抑制的。因此通过这个眼睛生理特点，眼动追踪装置检测长扫视行为(通过眼睛运动 的加速度可判断)，并在扫视行为结束之前设备显示装置完成候选词、重复输入键的显示更新。
方法十：交替在双同轨键位的键盘布局的眼动滑动输入的方法，通过同轨键位的切换作为键位键入的机制， 被用于区分视觉搜索和眼动输入。
所示如图41，本发明实施例采用交替在双同轨键位的布局方式用于眼动滑动轨迹，具体为将输入区域Fa、 Fb重叠设置为相同的26个字母的键位。第一输入区域Fa在外侧，第二输入区域Fb设置为内侧。在本眼动键盘布 局中，键盘图形Pa、Pb、Pc可以为圆形、正方形、六边形、八边形等任意中心对称图形。再将中心对称图形平 均分成一个或多个扇区，例如本键盘布局中将第一输入区域Fa和第二输入区域Fb共同平均分成8个扇区，其中在 某一扇区的Fa区域设置字母“A”、“B”、“C”,那么在同一扇区的Fb区域则设置与Fa区域相同的字母“A”、 “B”、“C”，由此来降低用户视觉搜索的难度。另外同一输入区域不支持连续的两次滑动键入，用户要对两 个不同的输入区域交替滑动来输入字符。
所示如图41，设置输入任务“mian”，用户注视点在第一输入区域Fa的“M”键位开始滑动输入的始发点，然 后需要用户眼跳至第二输入区域Fb的“I”键位进行“注视点2”成功键入字符，然后用户注视点跳转至与输入 区域的“注视点3a”字符“A”，由于“注视点3a”与上个“注视点2”是相同的输入区域Fa，因此不对“注视 点3a”的字符“A”进行输入(键入失败)，及系统不响应连续相同区域的字母键入，然后用户注视点从“3a” 跳转至“注视点3b”后成功键入字母“a”，最后注视点跳转至“注视点4”后完成眼动滑动输入“mian”。
另外一种眼动滑动输入的方法：交替在双同轨键位的布局方式用于眼动滑动轨迹的方法流程图
步骤1001：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤1002：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤1003：检测用户准备“开始”眼动滑行输入的行为和信号，记录成功键入的初始注视点所在输入区域；
步骤1004：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹， 根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤1005：检测当前发生眼动键入行为位置的字母是否与上一个成功键入的字母位置为同一区域。如果为同一 区域，则循环执行步骤904。如果为不同区域，则当前发生眼动键入行为位置的字母成功键入，并记录当前输入 区域，然后执行下一步。
步骤1006：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；眼动键入行为
步骤1007：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复输入键 位更新字符；
步骤1008：检测用户准备“结束”眼动滑行输入的行为和信号。如果检测到“结束”指令，则执行下一步。如 果未检测到“结束”指令，则执行循环执行步骤1004；
步骤1009：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术 人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵 盖在本发明的保护范围之内。
Claims (33)
1.一种眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法包括：
智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
检测用户准备开始眼动滑行输入的行为和信号；
检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；并实时显示前几个最有可能的文字/词组/单词；
检测用户准备结束眼动滑行输入的行为和信号；进行正确候选词的选择，并将候选文字输入到文本中，完成眼动滑动轨迹的输入；
对于眼动滑行输入过程中的重键，额外提供一个重复输入键，在所述重复输入键中将实时刷新显示上一个输入过的字母，使滑动输入流畅。
2.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述对注视点滑动轨迹进行预处理包括：
首先，对用户滑动轨迹进行大小归一化处理，得到统一坐标系的点序列；
其次，用均值滤波器的方法对所述的点序列进行轨迹平滑处理，得到去除抖动引起的噪点后的点序列。
3.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述用户准备开始眼动滑行输入的行为和信号包括但不限于：
按压控制器上的预设按键后，则将当前注视点位置作为某个词组滑行轨迹的起点；
按压下控制器上的预设按键后保持按住状态，则将控制器按键的按下信号作为眼动滑行轨迹的起点；
或/和手势识别，通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹起点的信号；所述手势识别技术包括但不限于利用加速度/角速度传感器制作而成的数据手套、指环；利用结构光/激光扫描/相机的图像识别等技术的无接触手势识别技术；超声波手势识别；
或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的起点相对应，进而控制眼动滑动轨迹的开始；
或/和眼睛行为，注视点在某个键位上注视时长超过预设阈值作为眼动滑动轨迹的起点；
注视点从键盘的其他区域跳转至键盘输入区域的首个键位上时，所述首个接触注视点的键位被记作为轨迹的起点；
注视点停留在在字母键位上，同时进行单/双眼眨眼作为设置起点。
4.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述根据轨迹中的眼睛行为作为键位输入选择的机制包括：
所述轨迹中的眼睛行为包括：在键位上注视点驻留、在键位上产生拐点轨迹、校正扫视以及眼颤；
所述在键位上注视点驻留包括：在键位上短暂停留的注视点，根据注视点在键位字母上的驻留的顺序将轨迹序列转换成各个键位组成的键位序列；所述注视点为注视的持续时间超过一定时长的点；
所述在键位上产生拐点轨迹包括：在任意的两次连续的眼跳运动中形成两段扫视轨迹，所述两段连续的轨迹的夹角角度达到一定预设角度范围内时，则被标记为发生了拐点轨迹；当拐点轨迹发生时，则与发生拐点轨迹处坐标相同的键位字母被作为输入；
所述校正扫视包括：当用户通过眼睛注视点对准交互目标时，10％短距离的即为校正扫视；
所述眼颤包括：瞳孔和角膜缘出现位移，当眼球运动到达目标目标时产生眼颤；所述眼颤表现为阻尼振荡。
5.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述用户准备结束眼动滑行输入的行为和信号包括但不限于：
当滑行轨迹到达轨迹终点键位上时，再按压控制器上的预设按键作为终点指令；
或/和用户按下控制器上的预设按键后保持按压状态时，则松开控制器按键，则作为识别轨迹终点的信号；
或/和手势识别，终端设备通过手势识别技术识别出预设的双/单手手势作为识别滑动轨迹终点的信号；
或/和头动追踪，通过头动追踪装置检测用户的点头、或低头状态、抬头状态，与眼动滑动轨迹的终点信号相对应，进而控制眼动滑动轨迹的结束；
或/和眼睛行为，在轨迹终点键位上注视一定时长作为获取轨迹终点的指令信号；
注视点离开键盘输入区域前的最后一个键位作为终点。
6.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述进行正确候选词的选择包括：
通过语音交互、手势交互、眼动交互、控制器选择交互、头动交互中的任意一项交互方式与眼动注视点相配合选择候选词；所述候选词根据预测概率进行排序。
7.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法还包括滑行轨迹识别，通过将当前滑行轨迹与已经训练好的AI轨迹模型比对，进而识别出字词，具体包括：
步骤201:系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤202:眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤203:检测用户准备“开始”和“结束”眼动滑行输入的行为和信号；
步骤204:检测和记录注视点在软键盘上的输入动作和完整滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征；
步骤205:将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配；
步骤206:候选词区域实时显示前几个AI眼动轨迹模型匹配后的文字/词组/单词；
步骤207:用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
步骤208:将用户选中结果用于优化AI眼动轨迹模型。
8.如权利要求7所述眼动追踪滑行输入方法，其特征在于，所述步骤204包括：
计算终端可以生成例如键盘的坐标信息和轨迹的坐标信息；键盘的坐标信息可以指示键盘的形状和大小，指示围绕键盘和每个单独的键的边界的坐标值；轨迹的坐标信息可以指示形成在键盘中的轨迹的形状和大小，例如可以是形成轨迹的点的坐标值；计算终端可以生成捕捉了键盘和在键盘上形成的轨迹的图像；在这种情况下，捕捉的图像可以指示键盘的形状和大小以及轨迹的形状和大小；根据步骤203用户轨迹滑动结束后，虚拟键盘上获取到一个单词/字词/词组的完整的注视点轨迹；
并对注视点滑动轨迹进行预处理，对注视点滑动轨迹进行归一化处理，得到键盘和注视点轨迹统一坐标系的点序列，对所述的点序列进行轨迹平滑处理；
进而提取轨迹特征，具体为，轨迹特征被用于匹配字词的AI模型，通过所述轨迹特征搜索相似轨迹特征的模型，进而获得与模型对应的字符/词组；
注视点滑动轨迹的特征包括：滑动轨迹的形状、轨迹相对于键盘的相对位置、注视轨迹的总长度、轨迹拐点、键位上注视点驻留序列、轨迹起点/终点、扫视距离、扫视速度、注视时长；轨迹起点/终点可以通过步骤203获得并且计算终端生成和处理各种类型的信息以指示轨迹的形状和轨迹相对于键盘的相对位置。
9.如权利要求7所述眼动追踪滑行输入方法，其特征在于，步骤205包括：
运算终端可以通过使用经过训练的模型来识别用户输入至键盘的滑动输入轨迹对应的至少一个字符，其中该经过训练的模型己经与标准字符对应的轨迹进行了训练，通过将当前的用户的注视点轨迹与标准的轨迹模型库进行匹配，可以间接的将当前注视轨迹识别出目标字词；经过训练的模型可以是用于确定与经过键盘上多个键的轨迹对应的至少一个字符的数据确定模型；数据确定模型可以是基于例如神经网络的模型；包括深度神经网络DNN、递归神经网络RNN或双向递归深度神经网络BRDNN的模型可以用作数据确定模型；预设的经过训练的模型通过使用对应于各种轨迹的单词信息来预先训练；生成与词典中包括的各种单词对应的轨迹，并且通过使用所生成轨迹的轨迹信息和与所生成的轨迹对应的单词信息来训练预设的经过训练的模型，预先生成对应于词典中某个单词的各种轨迹；
通过眼球追踪装置获取用户视线在二维显示器或HMD的显示屏幕上呈现的软键盘上的注视点滑行轨迹，并且将关于检测到的轨迹的信息应用到经过训练的字词模型。
10.如权利要求7所述眼动追踪滑行输入方法，其特征在于，所述步骤206包括：
按系统预设的单词排列规则显示和输入单词信息包括仅将从字典数据库中获取的单词和/或单词组合，根据系统预设的单词显示排列规则排列于键盘按键区域。
11.如权利要求7所述眼动追踪滑行输入方法，其特征在于，所述步骤208包括：
通过步骤206中，提供多个候选词选项，多个候选词均为通过AI眼动轨迹模型匹配计算获得，当前注视点轨迹在与标准轨迹匹配时存在一定的相似概率，候选词根据相似度推测概率的大小在候选词区域递减排列，并供用户交互选择；
经过训练的模型存储在计算终端中，或经过训练的模型可以存储在云端服务器中，计算终端向服务器提供关于检测到的轨迹的信息，并且服务器将从设备接收的关于检测到的轨迹的信息应用到经过训练的模型，服务器再次训练轨迹模型，优化识别精准度。
12.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法包括键入机制和轨迹识别，提取滑行轨迹中眼睛行为，并作为键位输入机制获得字词，最后再通过AI轨迹模型识别校正存在误差的，进而提高识别准确度，具体包括：
步骤301：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤302：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤303：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤304：检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤305：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤306：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤307：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤308：获得当前完整轨迹的形状和轨迹特征；
步骤309：将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤310：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计算识别字词的准确性；
步骤311：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤312：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
步骤313：将用户选中结果用于优化AI眼动轨迹模型。
13.如权利要求1所述眼动追踪滑行输入方法，其特征在于，键入机制，滑动轨迹识别，词组联想预测，根据拼写规则预测词组，进而提高识别准确度。
步骤401：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤402：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤403：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤404：检测和记录注视点在软键盘上的输入动作和滑动轨迹，并提取注视点滑动轨迹进行预处理，根据轨迹中的眼睛行为作为键位输入选择的机制，同时获得轨迹特征；
步骤405：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤406：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤407：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤408：生成当前完整轨迹的形状，和轨迹相对于键盘的相对位置的轨迹信息；
步骤409：将眼动轨迹与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤410：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计算识别字词的准确性；
步骤411：根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定优化注视点滑行轨迹的准确性；
步骤412：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤413：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
步骤414：将用户选中结果用于优化AI眼动轨迹模型。
14.如权利要求13所述眼动追踪滑行输入方法，其特征在于，步骤411：根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定优化注视点滑行轨迹的准确性；
系统根据上下文输入的字符，和单词搜索算法或单词查找树以及预定拼写规则判断用户当前输入的字符是否能够组成的正确的单词、词组、成语来判断当前眼动滑行轨迹的正确性。并根据纠错结果预测用户当前带输入的可能的单词；
根据音节组成的不同，常用音节一般分为以下四大类：
(1)两拼音节：声母+韵母，包括爸ba、手shou：
(2)三拼音节：声母+介母+韵母，包括光guang,泉quan；
(3)整体认读音节：实质上是声母+韵母，包括只Zhi，四si；
(4)自成音节：没有声母，只有以a、0、e开关的韵母，包括：阿a，爱ai，安an，哦0，欧ou，鹅e；
具体地，其中，声母包括：b，p，m，f，d，t，n，l，g，k，h，j，q，x，z，c，s，zh，ch，sh，r，y，w；韵母包括：a，ai，ao，an，ang，o，ou，ong，e，ei，en，er，eng，I，iu，in，ing，iong，u，ui，un，ue，v；介母+韵母：uai，uei，uan，uen，uang，iao，iou；整体认读音节：zhi，chi，shi，ri，zi，ci，si，yi，wu，yu，ye，yue，yin，yun，yuan，ying；根据上述的拼写规则，根据当前注视点滑动键入的字符和之前输入的字符，在结合键入字符的序列，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；比如：当前输入字符为"n”，之前未输入字符，则后续可选按键提示字符为“i”，“o”，“u”，“e”，“a”，“v”；再如：当前输入字符为“a”，之前输入字符为"h"，则后续可选按键提示字符为："i"，"o”，"n”。
15.如权利要求1所述眼动追踪滑行输入方法，其特征在于，键位提示，根据拼写规则预测/联想词组结果，下一个可能的字母位置被突显提示，有助于增加视觉搜索效率，降低错误轨迹，提高轨迹识别精确度，所述眼动追踪滑行输入方法还包括：
步骤5101：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤5102：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤5103：检测用户准备“开始”眼动滑行输入的行为和信号，记录滑行轨迹首个键入的字符，并根据首字符和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测至少一个可能的第二字符；
步骤5104：根据第二字符预测获得的第二字符可能输入键位选项，通过视觉特效提示所有第二字符可能选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用户的响应；
步骤5105：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，
步骤5106：实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在“提示键位”，若“是”注视点滑动键入了“提示键位”，则进行步骤5107推算下一个可能字母，刷新键盘提示键位位置布局；
若“否”无接触，则暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入；或/和执行“步骤5110”检测“结束”眼动滑行轨迹键入行为；
步骤5107：根据当前和之前输入的字符，键入字符的序列和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；
步骤5108：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用户的响应；
步骤5109：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤5110：检测用户准备“结束”眼动滑行输入的行为和信号，若“未结束”，则循环执行步骤5105；
步骤5111：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入。
16.如权利要求15所述眼动追踪滑行输入方法，其特征在于，步骤5105：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制，尤其通过在连续几个“提示键位”上的“注视点停留时长”、“轨迹拐点角度”等特征识别出视觉搜索的轨迹，并过滤视觉搜索轨迹。
17.如权利要求15所述眼动追踪滑行输入方法，其特征在于，所述步骤5106；
检测注视点光标的滑动轨迹是否经过“提示键位”，并且在“提示键位”是否检测出用户的键入行为，键入行为包括轨迹拐点、视点驻留；如果确认在“提示键位”位置发生了键入行为，则继续根据推算下一个字母；确定当前状态是否仍然处于滑行输入的过程中；
或/和暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入，具体为：在眼动滑行轨迹的途中，“提示键位”正在点亮并等待用户的滑动轨迹输入，但是用户此时需要在滑行轨迹中途看一下候选词区域和字符预览区域，以此来确认眼动输入的正确性；眼动输入不同于手指触摸滑行输入，将输入任务和认知任务分配给手和眼睛两个器官完成，然而眼动输入需要同时兼顾输入任务和认知任务因而造成冲突，为减少视觉搜索或其他视觉行为对眼动滑行轨迹的识别精准度的影响，将一个词组记为一条完整轨迹，不支持中途断开滑行轨迹；通过所述的“提示键位”方法，在断开滑行轨迹后(注视点跳转至候选词区域和字符预览区域)，在返回输入区域后需要用户有意识的将注视点移动至任意一个“提示键位”上注视一定时长，则可以连接上之前的滑行输入轨迹；
所述步骤5108：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用户的响应；
通过视觉特效提示所有下一步可能选择键位：在屏幕的键盘区通过视觉特效凸显后续可选的字符，包括点亮所述屏幕的键盘区内的后续可选的字符，和/或采用特定颜色显示所述触摸屏的键盘区内的后续可选的字符；或/和禁用所有不可能选择的键位；和/或突显所述屏幕的键盘区内的后续可选的字符。
18.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法还包括：
步骤5201：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤5202：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤5203：检测用户准备“开始”眼动滑行输入的行为和信号，记录滑行轨迹首个键入的字符，并根据首字符和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测至少一个可能的第二字符；
步骤5204：根据第二字符预测获得的第二字符可能输入键位选项，通过视觉特效提示所有第二字符可能选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用户的响应；
步骤5205：检测和记录注视点在软键盘上的输入动作和滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤5206：实时检测注视点在屏幕上的滑动轨迹，判断所述滑动轨迹是否注视点驻留在“提示键位”，若“是”注视点滑动键入了“提示键位”，则进行步骤5107推算下一个可能字母，刷新键盘提示键位位置布局；
若“否”无接触，则暂停键盘输入区域的响应，等待用户注视点回到“提示键位”后继续滑动轨迹输入；或/和执行“步骤5110”检测“结束”眼动滑行轨迹键入行为；
步骤5207：根据当前和之前输入的字符，键入字符的序列和单词搜索算法或单词查找树以及预定拼写规则，从词库中搜索和预测可能匹配的文字/词组/单词，进而确定下一个字母的可能选项；
步骤5208：根据上一步预测获得的下一步可能输入键位选项，通过视觉特效提示所有下一步可能选择键位，或/和禁用所有不可能选择的键位，进而刷新键盘上提示键位和不可选择键位的布局，所有可能被选择键位等待用户的响应；
步骤5209：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤5210：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤5211：生成当前完整轨迹的形状，和轨迹相对于键盘的相对位置的轨迹信息；
步骤5212：将眼动轨迹与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤5213：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计算识别字词的准确性；
步骤5214：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤5215：用户选中正确的候选词，并将候选文字输入到文本中；
步骤5216：将用户选中结果用于优化AI眼动轨迹模型。
19.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法还包括眼动滑行输入法的键盘布局，
具体包括：键盘的外圈Sj形状为中心对称的图形，外圈Sj的中心对称图形包括但不限于圆形、正方形、六边形、八边形，外圈Sj至内圈Sk之间设置“字母键位输入区域”；外圈Sj的内圈会设置同一中心对称点的内圈Sk，内圈Sk以内的空白区域Sm被用于设置输入法的其他功能区域，内圈Sk为中心对称图形，内圈Sk包括圆形、正方形、六边形、八边形，中心对称图形有助于聚合用户的注视点；外圈Sj和内圈Sk共同的对称中心点位置设置Sc候选词显示区域，候选词显示区域被用于显示用户正想要输入的字符/字词，为用户提供积极的反馈，进而用户知道是都输入正确，在键盘输入过程中注视次数最多的区域，设置在几何中心；
外圈Sj至内圈Sk之间为键盘输入区域，键盘的26个字母键位设置在键盘输入区域，可以为一个字母为一组，或两个或三个字母为一组键位，或更多的键位为一组，例如9键布局、12键布局，相邻的三个字母按键的连线存在一定的角度，使一组中的键位不在一条直线上；字母/字符的排列顺序可以根据字母的点击频率或拼音的拼写规则排列；键盘输入区域被设置为等待眼动注视点光标的交互；
内圈Sk为注视点安置区域，被用于设置输入法的其他功能区域和空白区域Sm；空白区域Sm的空白区不具备交互属性，系统眼动交互行为和/或其他控制器在该空白区域Sm产生的指令不响应，该区域被设置用于安置用户无意识的眼睛行为；其他功能区域中包括Sa为短文本输入框，Sb输入字母预览区，Sc首候选词显示区域，Sd1-Sd3其他候选词显示区域，Se功能键-删除键，Sf功能键-换行，Sg特殊符号显示键，Sh数字显示键，Si表情显示键，Sw确认发送键，或重复输入键；上述“其他功能区域”中的功能键的交互方式包括松开控制器按键，和/或点击控制器按键、和/或特定的手势、和/或动头、和/或眼睛行为；
Sa为短文本输入框，用于临时存储简短的文字信息，类似于聊天窗口的输入框，当完成输入后，点击“发送Si”后将发送至正本；
Sb输入字母预览区，当在中文输入时，用于临时显示与字词对应的拼音字母或英文单词，为用户提供输入正确与否的反馈；
Sc首候选词显示区域，用于显示最有可能的候选词，或者通过计算机的算法预测计算出的字词/单词，其中预测算法可能通过用户平时的书写习惯、词频、历史纪录；
Sd1-Sd3其他候选词显示区域，用于显示可能性较低的候选词，根据可能性概率递减依次排列；
Sg特殊符号显示键，具体为对该键确认点击后在键盘的键位布局发生变化，变化后显示更多更丰富的符号，包括但不限于“！”、“@”、“#”、“￥”、“％”、“&”、“*”；
Sh数字显示键，具体为对该键确认点击后在键盘的键位布局发生变化，变化后显示完全的数字，包括“0”-“9”；
Si表情显示键，具体为对该键确认点击后在键盘的键位布局发生变化，变化后显示后显示更多更丰富的表情；
所述眼动追踪滑行输入方法还包括中心对称八卦键盘布局/界面布局，具体包括：键3个或4个键组合在一起作为一个交互键位；键位A、B、C属于一个交互区域L，无论注视点落在交互区域L的任意位置，都会使交互区域L内同一字母被同时输入，直到陆续输入后续字符后逐渐筛选得到可以组合成单词/字词的字母组合；
根据中文拼写规则布局的眼动滑动输入的键盘布局方法。具体为Pa为键盘外圈，Pb为键盘中圈，Pc为键盘内圈；根据中文拼写规则Pb中圈-Pc内圈之间为“韵母区”，“韵母区”设置韵母字符，韵母字符包括a、e、i、o、u、v、n、g，上述韵母字符可以以任意的序列、任意的组合设置在“韵母区”，在拼音字母的输入中，韵母字符的点击频率较高，设置在内圈，并且按键的面积更大更显著，这有助于提高视觉搜索效率；在Pa外圈-Pb中圈之间为“声母区”，“声母区”设置声母字符，声母字符包括b、p、m、f、d、t、l、n、g、k、j、q、x、z、h、c、s、r、y、w，上述声母字符可以以任意的序列、任意的组合设置在“声母区”，在拼音字母的输入中，声母字符的点击频率较低，因此字符按键面积小于“韵母按键”，并且多为拼音字母输入的首字母，因而字母键位设置在外圈有助于使眼动滑动轨迹更加清晰，通过系统设置感应区域有助于对轨迹的分析处理。
20.如权利要求1所述眼动追踪滑行输入方法，其特征在于，通过检测眼睛行为和/或脑电波分析用户大脑的负荷，解决在输入过程中的短暂思考对滑动轨迹的思考，所述眼动追踪滑行输入方法还包括：
步骤701：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤702：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤703：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤704：检测用户思考状态，通过脑电波检测装置检测用户大脑的思考负荷，和/或眼动追踪装置检测用户注视行为。当大脑电信号达到预设阈值范围内，和/或注视点驻留时长超过预设阈值时，识别并过滤造成影响的注视点滑动轨迹。
步骤705：检测和记录注视点在软键盘上的输入动作、部分/完整滑动轨迹，呈现一段时间范围内的注视点滑动轨迹，并对注视点滑动轨迹进行预处理，进而提取轨迹特征，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤706：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤707：候选词区域实时显示前几个最有可能的文字/词组/单词；
步骤708：检测用户准备“结束”眼动滑行输入的行为和信号；
步骤709：获得当前完整轨迹的形状和轨迹特征；
步骤710：将眼动轨迹特征与已经训练好的AI眼动轨迹模型相匹配，对可能的单词/词组进行预测；
步骤711：将AI眼动轨迹模型的识别结果与键位输入结果进行比对和计算相似度，通过多个维度和权重设置计算识别字词的准确性；
步骤712：候选词区域显示轨迹识别的计算结果的文字/词组/单词；
步骤713：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入；
步骤714：将用户选中结果用于优化AI眼动轨迹模型。
21.如权利要求20所述眼动追踪滑行输入方法，其特征在于，步骤704：检测用户思考状态，通过脑电波检测装置检测用户大脑的思考负荷，和/或眼动追踪装置检测用户注视行为。当大脑电信号达到预设阈值范围内，和/或注视点驻留时长超过预设阈值时、瞳孔直径变化，识别用户注意状态，并过滤造成影响的注视点滑动轨迹。当用户处于思考的状态时，大脑的相关区域处于活跃的放电状态，同时用户主观意识将缺乏对眼睛的控制，因而注视点漂移、瞳孔直径出现变化，由此可以通过眼睛和脑电波判断用户的注意状态，由此降低注视点漂移对眼动滑动输入的影响。
22.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述对于眼动滑行输入过程中的重键输入，进行键盘布局，额外提供一个重复输入的键位；在键中将实时刷新显示上一个输入过的字母；某图中任务目标为输入单词，当注视点滑动输入字母时，“重复输入键”刷新显示为；当注视点滑动输入字母时，“重复输入键”刷新显示为；当注视点滑动输入字母时，“重复输入键”刷新显示为,这时下一个输入字母与上一个字母一样仍为字母，则注视点跳转至“重复输入键”，进而输入了字母，由此通过在固定位置设置一个永远显示上一个输入字母的“重复输入键”使得滑动输入更为流畅；
1)检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
2)将上一步成功键入的信号发送至处理器，处理器提示显示渲染装置生成与上一步成功键入的字母，显示在重复输入键位置，并等待用户的注视交互；若没有检测到用户对重复输入键的交互操作则循环执行上一步；附加的另外一种实施例中，当用户注视“重复输入键”已经连续输入两个相同字符时，用户再次跳转至字母键位区域的同一字母位置，则可以连续输入相同的三个字母。
23.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法还包括用于通过在扫视/眨眼过程中变更显示元素来解决在键盘中的动态元素干扰用户注视位置的方法，具体包括：
步骤901：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤902：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤903：检测用户准备“开始”眼动滑行输入的行为和信号；
步骤904：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤905：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；
步骤906：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复输入键位更新字符；
步骤907：检测用户准备“结束”眼动滑行输入的行为和信号。如果检测到“结束”指令，则执行下一步；如果未检测到“结束”指令，则执行循环执行步骤904；
步骤908：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入。
24.如权利要求23所述眼动追踪滑行输入方法，其特征在于，所述步骤906：检测扫视行为，在扫视过程中候选词区域更新显示前几个最有可能的文字/词组/单词，或/和重复输入键位更新新的字符。
25.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法还包括：交替在双同轨键位的键盘布局的眼动滑动输入的方法，通过同轨键位的切换作为键位键入的机制，被用于区分视觉搜索和眼动输入；
将输入区域Fa、Fb重叠设置为相同的26个字母的键位；第一输入区域Fa在外侧，第二输入区域Fb设置为内侧；在本眼动键盘布局中，键盘图形Pa、Pb、Pc可以为圆形、正方形、六边形、八边形等任意中心对称图形；再将中心对称图形平均分成一个或多个扇区，本键盘布局中将第一输入区域Fa和第二输入区域Fb共同平均分成8个扇区，其中在某一扇区的Fa区域设置字母“A”、“B”、“C”,那么在同一扇区的Fb区域则设置与Fa区域相同的字母“A”、“B”、“C”，由此来降低用户视觉搜索的难度；另外同一输入区域不支持连续的两次滑动键入，用户要对两个不同的输入区域交替滑动来输入字符。
26.如权利要求25所述眼动追踪滑行输入方法，其特征在于，设置输入任务“mian”，用户注视点在第一输入区域Fa的“M”键位开始滑动输入的始发点，然后需要用户眼跳至第二输入区域Fb的“I”键位进行“注视点2”成功键入字符，然后用户注视点跳转至与输入区域的“注视点3a”字符“A”，由于“注视点3a”与上个“注视点2”是相同的输入区域Fa，因此不对“注视点3a”的字符“A”进行输入，及系统不响应连续相同区域的字母键入，然后用户注视点从“3a”跳转至“注视点3b”后成功键入字母“a”，最后注视点跳转至“注视点4”后完成眼动滑动输入“mian”。
27.如权利要求1所述眼动追踪滑行输入方法，其特征在于，所述眼动追踪滑行输入方法还包括：交替在双同轨键位的布局方式用于眼动滑动轨迹的方法，具体包括：
步骤1001：系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；
步骤1002：眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤1003：检测用户准备“开始”眼动滑行输入的行为和信号，记录成功键入的初始注视点所在输入区域；
步骤1004：检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤1005：检测当前发生眼动键入行为位置的字母是否与上一个成功键入的字母位置为同一区域。如果为同一区域，则循环执行步骤904；如果为不同区域，则当前发生眼动键入行为位置的字母成功键入，并记录当前输入区域，然后执行下一步；
步骤1006：根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；眼动键入行为；
步骤1007：检测扫视行为，在扫视过程中候选词区域实时显示前几个最有可能的文字/词组/单词，和重复输入键位更新字符；
步骤1008：检测用户准备“结束”眼动滑行输入的行为和信号。如果检测到“结束”指令，则执行下一步。如果未检测到“结束”指令，则执行循环执行步骤1004；
步骤1009：用户选中正确的候选词，并将候选文字输入到文本中，完成一条眼动滑动轨迹的输入。
28.一种实施如权利要求1-27所述眼动追踪滑行输入方法的眼动追踪滑行输入系统，其特征在于，所述眼动追踪滑行输入设备包括：
显示模块、近眼显示模块、处理模块、头动追踪模块、眼动追踪模块、摄像模块以及存储模块；
显示模块，用于利用头戴式显示设备向近眼显示器提供视觉信息；
近眼显示模块，用于将显示模块提供的视觉信息呈现在用户视野中；
处理模块，用于对摄像模块获取的周围环境图像进行识别，检测并识别周围环境中的元素；
头动追踪模块，用于利用头动追踪装置追踪用户头部运动、当前头部位置以及头部轨迹；
眼动追踪模块，用于利用包括一个或多个照相机的凝视跟踪设备对用户的瞳孔、虹膜、巩膜或用户眼睛的其他部分或其组合进行成像；用于利用凝视跟踪设备进行测量和/或计算用户凝视的x和y、z分量；或用于利用包括陀螺仪、加速计或多个传感器对位置进行三角测量；或用于利用其他设备进行测量头戴式显示设备相对于虚拟环境的方向和/或位置；
摄像模块，用于利用可见光相机或照相机或深度感测相机或飞行时间相机或结构光相机或立体相机或其他可以使用可见、红外、紫外线或其他波长的光的相机获取其他摄像设备对周围的环境进行成像，获取周围环境信息，创建周围环境的深度图像。
29.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
步骤一，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤二，检测用户准备开始眼动滑行输入的行为和信号；
步骤三，检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤四，根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；并实时显示前几个最有可能的文字/词组/单词；
步骤五，检测用户准备结束眼动滑行输入的行为和信号；进行正确候选词的选择，并将候选文字输入到文本中，完成眼动滑动轨迹的输入。
30.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
步骤一，系统接收用户的输入请求后，智能终端屏幕生成虚拟软键盘；眼动追踪装置捕获眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中；
步骤二，检测用户准备开始眼动滑行输入的行为和信号；
步骤三，检测和记录注视点在软键盘上的输入动作和滑动轨迹，对注视点滑动轨迹进行预处理并提取轨迹，根据轨迹中的眼睛行为作为键位输入选择的机制；
步骤四，根据字母键位输入序列从词库中搜索匹配的文字/词组/单词；并实时显示前几个最有可能的文字/词组/单词；
步骤五，检测用户准备结束眼动滑行输入的行为和信号；进行正确候选词的选择，并将候选文字输入到文本中，完成眼动滑动轨迹的输入。
31.一种智能终端，其特征在于，所述智能终端实施权利要求1-19所述眼动追踪滑行输入方法。
32.一种眼动追踪装置，其特征在于，所述眼动追踪装置实施权利要求1-19所述眼动追踪滑行输入方法，计算眼睛的运动和行为，并将注视方向映射在虚拟三维空间或/和二维屏幕中。
33.一种具有显示屏幕和配备权利要求32所述眼动追踪装置的计算设备，包括电脑、手机、平板、智能手表、电视、投影仪、车载显示、车载中控器、仪表盘。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011354748.3A CN114546102B (zh) | 2020-11-26 | 2020-11-26 | 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011354748.3A CN114546102B (zh) | 2020-11-26 | 2020-11-26 | 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114546102A true CN114546102A (zh) | 2022-05-27 |
| CN114546102B CN114546102B (zh) | 2024-02-27 |
Family
ID=81667959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011354748.3A Active CN114546102B (zh) | 2020-11-26 | 2020-11-26 | 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114546102B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114690909A (zh) * | 2022-06-01 | 2022-07-01 | 润芯微科技(江苏)有限公司 | 一种ai视觉自适应的方法、装置、系统、计算机可读介质 |
| CN115454262A (zh) * | 2022-09-23 | 2022-12-09 | 北京正负无限科技有限公司 | 一种信息输入方法、装置、设备、介质和程序产品 |
| CN115562496A (zh) * | 2022-11-04 | 2023-01-03 | 浙江舜为科技有限公司 | Xr设备及基于xr设备的字符输入方法和字符修改方法 |
| US20230071778A1 (en) * | 2021-09-03 | 2023-03-09 | Google Llc | Foveated beamforming for augmented reality devices and wearables |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120086645A1 (en) * | 2010-10-11 | 2012-04-12 | Siemens Corporation | Eye typing system using a three-layer user interface |
| CN103941993A (zh) * | 2013-01-23 | 2014-07-23 | 汪诗海 | 一种环形菜单式滑行输入法 |
| CN104007832A (zh) * | 2013-02-25 | 2014-08-27 | 上海触乐信息科技有限公司 | 连续滑行输入文本的方法、系统及设备 |
| CN104484059A (zh) * | 2014-12-26 | 2015-04-01 | 上海联彤网络通讯技术有限公司 | 电子设备上基于遥控器实现汉语的拼音输入的方法及系统 |
| US20170123492A1 (en) * | 2014-05-09 | 2017-05-04 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| US20170293356A1 (en) * | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data |
| US20170322623A1 (en) * | 2016-05-05 | 2017-11-09 | Google Inc. | Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality |
| US20180335840A1 (en) * | 2017-05-22 | 2018-11-22 | Htc Corporation | Eye tracking method, electronic device, and non-transitory computer readable storage medium |
| US20180364810A1 (en) * | 2013-06-20 | 2018-12-20 | Uday Parshionikar | Gesture control via eye tracking, head tracking, facial expressions and other user actions |
| CN109992124A (zh) * | 2018-01-02 | 2019-07-09 | 北京搜狗科技发展有限公司 | 输入方法、装置和机器可读介质 |
| US20190354171A1 (en) * | 2017-06-09 | 2019-11-21 | Goertek Inc. | Input method and apparatus of device |
| CN110554780A (zh) * | 2018-05-30 | 2019-12-10 | 北京搜狗科技发展有限公司 | 一种滑行输入的方法和装置 |
| CN111079487A (zh) * | 2019-05-22 | 2020-04-28 | 广东小天才科技有限公司 | 一种听写内容的获取方法及电子设备 |
| CN111108468A (zh) * | 2017-06-02 | 2020-05-05 | 三星电子株式会社 | 基于滑动输入来确定输入字符的系统和方法 |
| CN111930234A (zh) * | 2020-08-05 | 2020-11-13 | 西安闻泰电子科技有限公司 | 基于眼睛控制的输入方法、装置、电子设备及存储介质 |
-
2020
- 2020-11-26 CN CN202011354748.3A patent/CN114546102B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120086645A1 (en) * | 2010-10-11 | 2012-04-12 | Siemens Corporation | Eye typing system using a three-layer user interface |
| CN103941993A (zh) * | 2013-01-23 | 2014-07-23 | 汪诗海 | 一种环形菜单式滑行输入法 |
| CN104007832A (zh) * | 2013-02-25 | 2014-08-27 | 上海触乐信息科技有限公司 | 连续滑行输入文本的方法、系统及设备 |
| US20180364810A1 (en) * | 2013-06-20 | 2018-12-20 | Uday Parshionikar | Gesture control via eye tracking, head tracking, facial expressions and other user actions |
| US20170123492A1 (en) * | 2014-05-09 | 2017-05-04 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| CN104484059A (zh) * | 2014-12-26 | 2015-04-01 | 上海联彤网络通讯技术有限公司 | 电子设备上基于遥控器实现汉语的拼音输入的方法及系统 |
| US20170293356A1 (en) * | 2016-04-08 | 2017-10-12 | Vizzario, Inc. | Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data |
| US20170322623A1 (en) * | 2016-05-05 | 2017-11-09 | Google Inc. | Combining gaze input and touch surface input for user interfaces in augmented and/or virtual reality |
| US20180335840A1 (en) * | 2017-05-22 | 2018-11-22 | Htc Corporation | Eye tracking method, electronic device, and non-transitory computer readable storage medium |
| CN111108468A (zh) * | 2017-06-02 | 2020-05-05 | 三星电子株式会社 | 基于滑动输入来确定输入字符的系统和方法 |
| US20190354171A1 (en) * | 2017-06-09 | 2019-11-21 | Goertek Inc. | Input method and apparatus of device |
| CN109992124A (zh) * | 2018-01-02 | 2019-07-09 | 北京搜狗科技发展有限公司 | 输入方法、装置和机器可读介质 |
| CN110554780A (zh) * | 2018-05-30 | 2019-12-10 | 北京搜狗科技发展有限公司 | 一种滑行输入的方法和装置 |
| CN111079487A (zh) * | 2019-05-22 | 2020-04-28 | 广东小天才科技有限公司 | 一种听写内容的获取方法及电子设备 |
| CN111930234A (zh) * | 2020-08-05 | 2020-11-13 | 西安闻泰电子科技有限公司 | 基于眼睛控制的输入方法、装置、电子设备及存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230071778A1 (en) * | 2021-09-03 | 2023-03-09 | Google Llc | Foveated beamforming for augmented reality devices and wearables |
| US11967335B2 (en) * | 2021-09-03 | 2024-04-23 | Google Llc | Foveated beamforming for augmented reality devices and wearables |
| CN114690909A (zh) * | 2022-06-01 | 2022-07-01 | 润芯微科技(江苏)有限公司 | 一种ai视觉自适应的方法、装置、系统、计算机可读介质 |
| CN115454262A (zh) * | 2022-09-23 | 2022-12-09 | 北京正负无限科技有限公司 | 一种信息输入方法、装置、设备、介质和程序产品 |
| CN115562496A (zh) * | 2022-11-04 | 2023-01-03 | 浙江舜为科技有限公司 | Xr设备及基于xr设备的字符输入方法和字符修改方法 |
| CN115562496B (zh) * | 2022-11-04 | 2023-12-15 | 浙江舜为科技有限公司 | Xr设备及基于xr设备的字符输入方法和字符修改方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114546102B (zh) | 2024-02-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111949131B (zh) | 一种基于眼动追踪技术的眼动交互方法、系统及设备 | |
| CN112507799B (zh) | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 | |
| US11983823B2 (en) | Transmodal input fusion for a wearable system | |
| EP3549109B1 (en) | Virtual user input controls in a mixed reality environment | |
| CN114546102B (zh) | 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 | |
| CN114341779B (zh) | 用于基于神经肌肉控制执行输入的系统、方法和界面 | |
| KR102230172B1 (ko) | 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법 | |
| KR102196975B1 (ko) | 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법 | |
| US9697648B1 (en) | Text functions in augmented reality | |
| JP6520918B2 (ja) | 制御装置、電子機器、制御方法およびプログラム | |
| CN113608617A (zh) | 可穿戴系统的多模式任务执行和文本编辑 | |
| IL312096A (en) | Sensory glasses | |
| WO2016103520A1 (ja) | 検出装置、電子機器、検出方法およびプログラム | |
| KR20180094875A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
| JP6460094B2 (ja) | 検出装置、空中像制御装置、検出方法および検出プログラム | |
| KR20240096625A (ko) | Ar 디바이스 및 ar 디바이스 제어 방법 | |
| Zhang | Eye tracking and gaze interface design for pervasive displays |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |