CN109189280B - 语音屏幕鼠标校核下的图标安全操作方法 - Google Patents

语音屏幕鼠标校核下的图标安全操作方法 Download PDF

Info

Publication number
CN109189280B
CN109189280B CN201810713169.XA CN201810713169A CN109189280B CN 109189280 B CN109189280 B CN 109189280B CN 201810713169 A CN201810713169 A CN 201810713169A CN 109189280 B CN109189280 B CN 109189280B
Authority
CN
China
Prior art keywords
voice
icon
screen
mouse
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810713169.XA
Other languages
English (en)
Other versions
CN109189280A (zh
Inventor
王立松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinglu Rail Technology Co.,Ltd.
Original Assignee
Nanjing Institute of Railway Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Institute of Railway Technology filed Critical Nanjing Institute of Railway Technology
Priority to CN201810713169.XA priority Critical patent/CN109189280B/zh
Publication of CN109189280A publication Critical patent/CN109189280A/zh
Priority to US17/256,650 priority patent/US11656738B2/en
Priority to PCT/CN2019/092714 priority patent/WO2020001421A1/zh
Application granted granted Critical
Publication of CN109189280B publication Critical patent/CN109189280B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L25/00—Recording or indicating positions or identities of vehicles or trains or setting of track apparatus
    • B61L25/06—Indicating or recording the setting of track apparatus, e.g. of points, of signals
    • B61L25/08—Diagrammatic displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B61—RAILWAYS
    • B61L—GUIDING RAILWAY TRAFFIC; ENSURING THE SAFETY OF RAILWAY TRAFFIC
    • B61L27/00—Central railway traffic control systems; Trackside control; Communication systems specially adapted therefor
    • B61L27/10—Operations, e.g. scheduling or time tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

语音屏幕鼠标校核下的图标安全操作方法，通过操作者发出语音所关联的图标、屏幕上显示用来指定操作的图标和鼠标停止移动时所指向的图标进行校核比对，由系统给出操作的权限和警告，其基本特征是首先建立特定语音与图标的关联，通过语音识别系统的语音输入激活相关联图标，再与鼠标停止移动时所指向的图标进行校核比对。针对触摸屏计算机和移动终端而言，通过操作者发出语音所关联的图标、屏幕上显示用来指定操作的图标进行二元校核，由系统给出操作的权限。此外，还能针对已有系统提供影子系统进行防护。本发明利用现代语音识别工具，将人的行为通过电脑系统进行校核，最大限度确保操作正确，避免事故发生。

Description

语音屏幕鼠标校核下的图标安全操作方法
技术领域
本发明属于安全技术领域，具体涉及语音屏幕鼠标校核下的图标安全操作方法。
背景技术
随着计算机和互联网技术的发展，通过操作计算机和移动终端幕上的可激活图标来控制其所对应的后台设备运行已是生产和生活中的普遍现象。然而，由于受到种种限制，计算机和手机屏幕的大小总是有限的，相关应用软件开发人员只能在有限的空间内布置操控图标。这就必然导致用户在使用中出现大量的误操作。
误操作有两种：一种是所做的操作与操作人员当时的主观愿望是一致的，只是客观上导致了不良后果；二是所做的操作与操作人员当时的主观愿望是不一致的，只是因为在屏幕上误击所致。第一种误操作与设备无关，在技术设备上也无法防止的，完全由人的技术业务水平所决定。第二种误操作是人机交互过程中的错误，既有人的操作不认真的因素，也有设备操作不方便的因素。本发明创造针对的是第二种误操作。
在现有条件下，减少人机交互过程中的误操作有两种途径。一是加强操作人员的培训，提高操作人员的业务素质，严格规章制度，努力确保操作人员在操作前认真确认。这种途径属于管理问题。二是在系统设计时增加操作的冗余度，通过再度确认提示或双人甚至多人操作校核来确保操作的正确无误。这种途径属于技术途径。
现有技术途径存在以下问题：
1、再度“确认”虽然给了操作人员再次审核的机会，但由于操作人员过于自信，点击图标确认过快，错误确认仍时有发生。另外，对于频次较高的操作，再度确认不仅增加了操作的时间和难度，而且不断的确认也会使操作人员产生倦怠而失去警惕。特别是对时间要求比较高的高频操作，如铁路行车指挥，频繁确认是不可行的。
2、双人或多人操作校核的准确性较高，但其操作流程繁琐，需要人员较多，增加了操作人员间的联系时间，及时性无法保证，也会增加人力成本。
发明内容
本发明针对现有技术中的不足，提供语音屏幕鼠标校核下的图标安全操作方法，来减少人机交互过程中错误。所谓语音、屏幕和鼠标三元校核是指操作人员口说内容所关联的“语音图标”、屏幕上显示用来指定操作的“屏幕图标”和鼠标停止移动时所指向的“鼠标图标”必须完全一致，否则系统就会发出报警或禁止操作。
为实现上述目的，本发明采用以下技术方案：
一种语音屏幕鼠标三元校核下的图标安全操作方法，其特征在于，通过操作者发出语音所关联的图标、屏幕上显示用来指定操作的图标和鼠标停止移动时所指向的图标进行校核比对，由系统给出操作的权限和警告；首先建立特定语音与图标的关联，通过语音识别系统的语音输入激活相关联图标，再与鼠标停止移动时所指向的图标进行校核比对。
为优化上述技术方案，采取的具体措施还包括：
具体包括如下步骤：
步骤一、语音与屏幕图标的关联设置：设置语音与屏幕图标的对应关系，构建语音图标；
步骤二、关联语音识别系统：当系统接收特定的语音后，会激活所对应的屏幕图标；
步骤三、鼠标与屏幕图标的关联设置：当鼠标停留在未被语音激活的图标区域时，根据安全生产的等级要求进行鼠标与屏幕图标的关联设置；
步骤四、设置鼠标无操作时的屏幕区域：在屏幕上设置鼠标无操作时的停放区域。
所述步骤一中，语音和屏幕图标的关联一一对应、多对一或者一对多。
所述步骤二中，根据语音与屏幕图标的关联信息设置，某一特定的语音可以激活一个或多个屏幕图标。
所述步骤三中，鼠标和屏幕图标的关联设置根据安全生产的等级要求，设置成两级：第一级，鼠标激活并发出报警，禁止操作；第二级，鼠标激活并发出报警，但可以操作；当鼠标停留在被语音激活的图标区域时，可正常操作。
所述步骤四中，鼠标放入停放区域时，语音识别系统自动关闭语音接收功能；鼠标无操作时，未放入停放区域超过规定的设置时间，该区域会显示报警。
进一步地，还提出了一种语音屏幕鼠标三元校核下的图标安全操作方法，其特征在于，针对已有系统提供影子系统进行防护，影子系统是在原系统操作屏幕上设有与原系统大小完全相同且一一对应的影子图标，利用影子图标代替所对应的原系统图标，建立起语音和影子图标的关联信息；其中，影子系统独立运行，对原系统的运行无影响，只用于语音、图标和鼠标的操作校核。
进一步地，还提出了一种语音屏幕二元校核下的图标安全操作方法，其特征在于，针对触摸屏计算机或触摸屏移动终端，通过操作者发出语音所关联的图标、屏幕上显示用来指定操作的图标进行二元校核，由系统给出操作的权限。
进一步地，还提出了一种语音屏幕二元校核下的图标安全操作方法，其特征在于，针对触摸屏计算机或触摸屏移动终端，对已有系统提供影子系统进行防护，影子系统是在原系统操作屏幕上设有与原系统大小完全相同且一一对应的影子图标，利用影子图标代替所对应的原系统图标，建立起语音和影子图标的关联信息；其中，影子系统独立运行，对原系统的运行无影响，只用于语音和图标的操作校核。
本发明的有益效果是：
1、针对目前计算机和移动终端屏幕操作存在的误操作问题，本发明提供了语音、屏幕和鼠标三元校核安全操作的方法，减少人机交互过程中错误。特别是在高安全领域，要求在操作前严格认真确认，做到“眼、手、口”一致，但这都严重依赖人的素质。本方法利用现代语音识别工具，将人的行为通过电脑系统进行校核，最大限度确保操作正确，避免事故发生。
2、为了对已有系统进行安全操作保护，本发明提出了“影子系统”概念和方法。由于影子系统是独立开发独立运行的，只用于语音、屏幕和鼠标的操作校核，对原系统的运行无任何影响。这给已有系统提供独立的安全操作保护软件提供了可能，且便于开发，更具实用性。
附图说明
图1是三元校核下一次图标操作的系统工作流程图。
图2是二元校核下一次图标操作的系统工作流程图。
图3是某双线自动闭塞铁路车站控制台示意图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。
本发明创造实现的技术方案分为新开发系统和已有系统两种。
一、新开发系统
对于新开发系统在编程时需要增加以下工作：
1、设置语音与屏幕图标的关联信息
所谓设置语音与屏幕图标的关联信息就是设置语音与屏幕图标的对应关系，构建语音图标。语音与图标的关联原则上是一一对应的关系，但系统较为复杂时，强调一一对应关系，可能使语音变得过于复杂，给操作带来不便。因此，可根据实际应用情况、语音复杂程度和安全等级要求，设计成多对一和一对多。
2、关联语音识别系统
关联语音识别系统是指当系统接收特定的语音后会激活所对应的屏幕图标。根据语音与屏幕图标的关联信息设置，某一特定的语音可以激活一个屏幕图标，也可激活多个屏幕图标。
3、鼠标与屏幕图标的关联设置
当鼠标停留在未被语音激活的图标区域时，鼠标与图标的关联设置可根据安全生产的等级要求，设置成二级。第一级，鼠标激活并发出报警，不可以操作，这是最安全的设置；第二级报警可操作设置，即鼠标激活并报警，但可以操作，此时提醒操作人员加强确认。当鼠标停留在被语音激活的图标区域时，可正常操作。
4、设置鼠标无操作时的屏幕区域
在显示屏上相对空白的区域设置鼠标无操作时的停放区域，本设置是规范无操作时的鼠标停放。同时，鼠标放入停放区时，语音系统会自动关闭语音接收功能，尽可能减少外来声音对系统的干扰。鼠标无操作时未放入停放区域超过规定的设置时间，该区域会显示报警。
新开发系统的语音屏幕鼠标三元校核下的一次图标操作系统工作流程如图1所示，图标被语音激活所维持的时间应根据系统操作的频次和有关操作管理规定来确定。
二、已有系统
已有系统由于在开发时未进行语音、图标和鼠标的有关关联设置，所以校核时必须脱离开原系统，建立与原系统相对应的“影子系统”。
影子系统在屏幕上设有与原系统大小完全相同且一一对应影子图标，并增加影子鼠标停放区域。利用影子图标代替所对应的原系统图标，并如新开发系统一样，建立语音与影子图标的关联信息。同时设置好鼠标无操作时的影子鼠标停放区域。影子系统是独立开发，独立运行的，对原系统的运行无任何影响，只用于语音、图标和鼠标的操作校核。其一次图标操作系统工作流程与图1所示一致。
对于触摸屏计算机和移动终端而言，由于没有了鼠标，只有操作者发出语音所关联的图标、屏幕上显示用来指定操作的图标二元校核，无图标与鼠标的关联设置及鼠标停放区域。当二元校核不匹配时系统给出禁止操作。其一次图标操作系统工作流程如图2所示。
下面以铁路车站信号楼接发列车控制台操作来说明本发明的运用。
图3为某双线自动闭塞铁路车站控制台示意图。操作人员通过操作屏幕上的按钮，来控制道岔转换和信号开放，如果操作错误可能导致列车进入错误股道或开往错误的方向。
1、设置语音与操作按钮的关联信息
由于控制台上的正方向进站按钮同时也是反方向出站按钮，反方向进站按钮同时也是正方向出站按钮，故建立起来的语音与按钮关联信息表存在一对一和一对多两种情况，见表1。
表1按钮与语音关联信息
Figure BDA0001717090560000041
Figure BDA0001717090560000051
在按钮较多的情况下，按钮与语音关联可能比较复杂，给操作带来不便。考虑到铁路控制台除了一次办理通过作业外都是以左右按上下行端分开独立操作的。语音区分上下行在实际操作中没有必要。结合铁路有关作业标准可将对应关系可简化成表2。
表2按钮与语音关联信息简化
序号 关联语音 按钮名称
1 进站、反方向出站 X、S
2 反方向进站、出站 XF、SF
3 1道 X I、S I
4 2道 X II、S II
5 3道 X3、S3
6 4道 X4、S4
2、关联语音识别系统
根据语音与屏幕图标的关联信息，通过语音识别系统对每一种语音可以激活屏幕图标进行设置。比如“进站”语音可以激活X按钮和S按钮；“1道”语音可以激活XI按钮和S I按钮。
3、鼠标与按钮关联设置
当鼠标停留在未被语音激活的按钮区域时，将鼠标的安全操作设置均设置第一级，鼠标激活并发出报警，不可以操作。
4、设置鼠标无操作时的屏幕区域
在显示屏上相对空白的区域设置鼠标无操作时的停放区域，如图3中虚线圆圈区域。鼠标放入虚线圆圈区域时，语音系统会自动关闭语音接收功能。鼠标无操作时未放入停放区域超过规定的设置时间，该区域会显示报警。
以上是对新开发系统的举例。对于已有系统需建立与原系统相对应的“影子系统”，并独立运行。
需要注意的是，发明中所引用的如“上”、“下”、“左”、“右”、“前”、“后”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

Claims (8)

1.一种语音屏幕鼠标三元校核下的图标安全操作方法，其特征在于，通过操作者发出语音所关联的图标、屏幕上显示用来指定操作的图标和鼠标停止移动时所指向的图标进行校核比对，由系统给出操作的权限和警告；首先建立特定语音与图标的关联，通过语音识别系统的语音输入激活相关联图标，再与鼠标停止移动时所指向的图标进行校核比对，具体包括如下步骤：
步骤一、语音与屏幕图标的关联设置：设置语音与屏幕图标的对应关系，构建语音图标；
步骤二、关联语音识别系统：当系统接收特定的语音后，会激活所对应的屏幕图标；
步骤三、鼠标与屏幕图标的关联设置：当鼠标停留在未被语音激活的图标区域时，根据安全生产的等级要求进行鼠标与屏幕图标的关联设置；
步骤四、设置鼠标无操作时的屏幕区域：在屏幕上设置鼠标无操作时的停放区域。
2.如权利要求1所述的一种语音屏幕鼠标三元校核下的图标安全操作方法，其特征在于：所述步骤一中，语音和屏幕图标的关联一一对应、多对一或者一对多。
3.如权利要求1所述的一种语音屏幕鼠标三元校核下的图标安全操作方法，其特征在于：所述步骤二中，根据语音与屏幕图标的关联信息设置，某一特定的语音可以激活一个或多个屏幕图标。
4.如权利要求1所述的一种语音屏幕鼠标三元校核下的图标安全操作方法，其特征在于：所述步骤三中，鼠标和屏幕图标的关联设置根据安全生产的等级要求，设置成两级：第一级，鼠标激活并发出报警，禁止操作；第二级，鼠标激活并发出报警，但可以操作；当鼠标停留在被语音激活的图标区域时，可正常操作。
5.如权利要求1所述的一种语音屏幕鼠标三元校核下的图标安全操作方法，其特征在于：所述步骤四中，鼠标放入停放区域时，语音识别系统自动关闭语音接收功能；鼠标无操作时，未放入停放区域超过规定的设置时间，该区域会显示报警。
6.一种语音屏幕鼠标三元校核下的图标安全操作方法，其特征在于，针对已有系统提供影子系统进行防护，影子系统是在原系统操作屏幕上设有与原系统大小完全相同且一一对应的影子图标，并增加影子鼠标停放区域；利用影子图标代替所对应的原系统图标，建立起语音和影子图标的关联信息；同时设置好鼠标无操作时的影子鼠标停放区域；其中，影子系统独立运行，对原系统的运行无影响，只用于语音、图标和鼠标的操作校核，具体包括如下步骤：
步骤一、语音与影子图标的关联设置：设置语音与影子图标的对应关系，构建影子语音图标；
步骤二、关联语音识别系统：当系统接收特定的语音后，会激活所对应的影子图标；
步骤三、鼠标与影子图标的关联设置：当鼠标停留在未被语音激活的影子图标区域时，根据安全生产的等级要求进行鼠标与影子图标的关联设置；
步骤四、设置鼠标无操作时的屏幕区域：在屏幕上设置鼠标无操作时的停放区域。
7.一种语音屏幕二元校核下的图标安全操作方法，其特征在于，针对触摸屏计算机或触摸屏移动终端，通过操作者发出语音所关联的图标和屏幕上显示用来指定操作的图标进行二元校核，由系统给出操作的权限，具体包括如下步骤：
步骤一、语音与屏幕图标的关联设置：设置语音与屏幕图标的对应关系，构建语音图标；
步骤二、关联语音识别系统：当系统接收特定的语音后，会激活所对应的屏幕图标。
8.一种语音屏幕二元校核下的图标安全操作方法，其特征在于，针对触摸屏计算机或触摸屏移动终端，对已有系统提供影子系统进行防护，影子系统是在原系统操作屏幕上设有与原系统大小完全相同且一一对应的影子图标，利用影子图标代替所对应的原系统图标，建立起语音和影子图标的关联信息；通过操作者发出语音所关联的图标和屏幕上显示用来指定操作的图标进行二元校核，当二元校核不匹配时影子系统给出禁止操作；其中，影子系统独立运行，对原系统的运行无影响，只用于语音和图标的操作校核，具体包括如下步骤：
步骤一、语音与影子图标的关联设置：设置语音与影子图标的对应关系，构建影子语音图标；
步骤二、关联语音识别系统：当系统接收特定的语音后，会激活所对应的影子图标。
CN201810713169.XA 2018-06-29 2018-06-29 语音屏幕鼠标校核下的图标安全操作方法 Active CN109189280B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810713169.XA CN109189280B (zh) 2018-06-29 2018-06-29 语音屏幕鼠标校核下的图标安全操作方法
US17/256,650 US11656738B2 (en) 2018-06-29 2019-06-25 Secure operation method for icon based on voice-screen-mouse verification
PCT/CN2019/092714 WO2020001421A1 (zh) 2018-06-29 2019-06-25 语音屏幕鼠标校核下的图标安全操作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810713169.XA CN109189280B (zh) 2018-06-29 2018-06-29 语音屏幕鼠标校核下的图标安全操作方法

Publications (2)

Publication Number Publication Date
CN109189280A CN109189280A (zh) 2019-01-11
CN109189280B true CN109189280B (zh) 2022-04-01

Family

ID=64948819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810713169.XA Active CN109189280B (zh) 2018-06-29 2018-06-29 语音屏幕鼠标校核下的图标安全操作方法

Country Status (3)

Country Link
US (1) US11656738B2 (zh)
CN (1) CN109189280B (zh)
WO (1) WO2020001421A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189280B (zh) * 2018-06-29 2022-04-01 南京铁道职业技术学院 语音屏幕鼠标校核下的图标安全操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186231A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 语音鼠标装置
CN106168895A (zh) * 2016-07-07 2016-11-30 北京行云时空科技有限公司 用于智能终端的语音控制方法及智能终端
CN106201312A (zh) * 2016-06-30 2016-12-07 北京奇虎科技有限公司 一种应用处理方法、装置及终端
CN106898349A (zh) * 2017-01-11 2017-06-27 梅其珍 一种语音控制计算机的方法和智能语音助手系统
CN107112014A (zh) * 2014-12-19 2017-08-29 亚马逊技术股份有限公司 在基于语音的系统中的应用焦点

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5386494A (en) * 1991-12-06 1995-01-31 Apple Computer, Inc. Method and apparatus for controlling a speech recognition function using a cursor control device
JP2007127895A (ja) * 2005-11-04 2007-05-24 Nissan Motor Co Ltd 音声入力装置及び音声入力方法
JP4805861B2 (ja) * 2007-02-20 2011-11-02 株式会社バッファロー ワンセグデータ放送受信装置、ワンセグデータ放送受信方法、およびワンセグデータ放送受信プログラムを記録した媒体
JP2013070303A (ja) * 2011-09-26 2013-04-18 Kddi Corp 画面への押圧で撮影が可能な撮影装置、撮影方法及びプログラム
US20150319170A1 (en) * 2012-12-21 2015-11-05 Didier Grossemy Computer implemented frameworks and methodologies for enabling identification verification in an online environment
US20140258855A1 (en) 2013-03-06 2014-09-11 Nuance Communications, Inc. Task assistant including improved navigation
US9858039B2 (en) * 2014-01-28 2018-01-02 Oracle International Corporation Voice recognition of commands extracted from user interface screen devices
TWI502481B (zh) * 2014-03-05 2015-10-01 Acer Inc 電子裝置以及使用者介面控制方法
KR20150145677A (ko) * 2014-06-20 2015-12-30 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US10156978B2 (en) * 2015-03-31 2018-12-18 Lg Electronics Inc. Terminal and operating method thereof
KR20180037850A (ko) * 2016-10-05 2018-04-13 삼성전자주식회사 긴급 서비스 제공 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US20180321807A1 (en) * 2017-05-06 2018-11-08 Servicenow, Inc. Systems and methods for tailored content provision
DE102017211062B4 (de) * 2017-06-29 2022-06-30 Bayerische Motoren Werke Aktiengesellschaft Bedienelement für ein Fahrzeug
EP3438828B1 (en) * 2017-08-03 2019-12-11 Hitachi Rail Sts S.P.A. Method and system for remote control of human machine interfaces
JP6628775B2 (ja) * 2017-08-09 2020-01-15 双葉電子工業株式会社 タッチパネルスイッチ装置
CN107657953A (zh) * 2017-09-27 2018-02-02 上海爱优威软件开发有限公司 语音控制方法及系统
CN107748602A (zh) 2017-11-15 2018-03-02 安徽声讯信息技术有限公司 一种基于语音识别的智能语音计算机
CN109981878B (zh) * 2017-12-28 2021-09-14 华为终端有限公司 一种图标管理的方法及装置
CN108364645A (zh) 2018-02-08 2018-08-03 北京奇安信科技有限公司 一种基于语音指令实现页面交互的方法及装置
CN109189280B (zh) 2018-06-29 2022-04-01 南京铁道职业技术学院 语音屏幕鼠标校核下的图标安全操作方法
CN110007826A (zh) 2019-04-12 2019-07-12 深圳市语芯维电子有限公司 语音控制光标移动的方法和装置
CN210822020U (zh) 2019-09-10 2020-06-23 桂林师范高等专科学校 远近光灯自动切换装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103186231A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 语音鼠标装置
CN107112014A (zh) * 2014-12-19 2017-08-29 亚马逊技术股份有限公司 在基于语音的系统中的应用焦点
CN106201312A (zh) * 2016-06-30 2016-12-07 北京奇虎科技有限公司 一种应用处理方法、装置及终端
CN106168895A (zh) * 2016-07-07 2016-11-30 北京行云时空科技有限公司 用于智能终端的语音控制方法及智能终端
CN106898349A (zh) * 2017-01-11 2017-06-27 梅其珍 一种语音控制计算机的方法和智能语音助手系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
双线自动闭塞轨道电路故障时发车进路准备的探讨;白荣 等;《上海铁道科技》;20170726(第2期);第1-3页 *
影子系统PowerShadow8.5;影子系统PowerShadow;《http://www.yingzixitong.cn/product.html》;20141113;第2-3页 *

Also Published As

Publication number Publication date
US20210263638A1 (en) 2021-08-26
WO2020001421A1 (zh) 2020-01-02
US11656738B2 (en) 2023-05-23
CN109189280A (zh) 2019-01-11

Similar Documents

Publication Publication Date Title
CN104442925B (zh) 一种列车运行监控装置中显示器的冗余显示方法
EP3407200A1 (en) Method and device for updating online self-learning event detection model
CN109189280B (zh) 语音屏幕鼠标校核下的图标安全操作方法
CN104966514A (zh) 一种语音识别方法和车载设备
CN107140589B (zh) 举升机使用信息统计方法、系统及计算机可读存储介质
DE102014224676A1 (de) Benutzerschnittstelle und Verfahren zur geschützten Eingabe von Zeichen
CN109760720A (zh) 基于信号平面布置图自动生成接口码位表的方法及装置
CN109367578A (zh) 一种适用于itcs车载设备的人机交互系统及方法
CN101259928A (zh) 具有黑匣子的电梯控制系统
CN209911970U (zh) 一种厨房设备控制权限的管理系统
CN110808040B (zh) 基于语音控制互锁工作票和操作票流程的系统及方法
CN109147238A (zh) 报警方法、装置、终端及存储介质
CN112862372B (zh) 一种变电站刀闸的远程控制方法、装置、设备和存储介质
CN111975172B (zh) 用于电弧焊机的交互方法、交互系统及电弧焊机交互设备
CN113629878A (zh) 一种配电网三遥开关遥控控制校验方法及系统
CN104516728B (zh) 一种设置默认按钮的方法及装置
JP2001338048A (ja) 保守作業管理装置及び方法
CN205121542U (zh) 一种可远程报警的嵌入式系统加密备份还原装置
CN205378157U (zh) 一种楼宇对讲系统的中心交换机
CN103488303A (zh) 一种电子设备及电子设备的操作方法
KR102491951B1 (ko) 지적확인환호 미이행 경보시스템 및 방법
CN1707611A (zh) 利用语音识别技术进行校对以防止口误的方法
CN112270921B (zh) 一种自动语音开关控制系统
JP2023176841A (ja) 通信端末、プログラム、及びロボット制御システム
CN113971505A (zh) 一种铁路列车应急调度方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190111

Assignee: Shanghai Yinmai Computer Technology Co.,Ltd.

Assignor: NANJING INSTITUTE OF RAILWAY TECHNOLOGY

Contract record no.: X2023320000005

Denomination of invention: Safe operation method of icon under mouse check of voice screen

Granted publication date: 20220401

License type: Common License

Record date: 20230110

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231122

Address after: 210000, Building 11, Zhenzhu Yayuan, Dingshan Street, Jiangbei New District, Nanjing City, Jiangsu Province, China, 109-68

Patentee after: Nanjing Xinglu Rail Technology Co.,Ltd.

Address before: 210 000 No. 65 Pearl South Road, Pukou District, Nanjing City, Jiangsu Province

Patentee before: NANJING INSTITUTE OF RAILWAY TECHNOLOGY