CN103279189B - 一种便携式电子设备的交互装置及其交互方法 - Google Patents

一种便携式电子设备的交互装置及其交互方法 Download PDF

Info

Publication number
CN103279189B
CN103279189B CN201310221339.XA CN201310221339A CN103279189B CN 103279189 B CN103279189 B CN 103279189B CN 201310221339 A CN201310221339 A CN 201310221339A CN 103279189 B CN103279189 B CN 103279189B
Authority
CN
China
Prior art keywords
scene
order
advance
currently located
execution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310221339.XA
Other languages
English (en)
Other versions
CN103279189A (zh
Inventor
范美辉
文斐
黄汪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Huami Information Technology Co Ltd
Original Assignee
HEFEI HUAHENG ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HEFEI HUAHENG ELECTRONIC TECHNOLOGY Co Ltd filed Critical HEFEI HUAHENG ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201310221339.XA priority Critical patent/CN103279189B/zh
Publication of CN103279189A publication Critical patent/CN103279189A/zh
Application granted granted Critical
Publication of CN103279189B publication Critical patent/CN103279189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种便携式电子设备的交互装置及其交互方法。该交互方法对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令。查找预先编制的命令表，获得命令的执行场景和动作脚本。访问操作系统的帧缓冲区，获取应用程序当前用户界面图像。对界面图像进行识别，在预先编制的场景表中查找当前所在场景。若当前场景不是命令的执行场景，则按照预先编制的场景转换图，转换至命令的执行场景。按照动作脚本对应用程序用户界面进行操作。本发明在传统应用程序上通过模式识别实现交互，一方面可以在可穿戴电子设备上实现对传统应用程序的交互，另一方面可以方便残障人士使用传统应用程序。本发明还涉及一种该交互方式的交互装置。

Description

一种便携式电子设备的交互装置及其交互方法
技术领域
本发明涉及计算机科学与技术领域，具体涉及一种便携式电子设备的交互装置及其交互方法。
背景技术
从计算机发明以来，人机交互就成为计算机技术中一个重要研究领域，实现进行方便、快捷、人性化的计算机控制是该项研究不断的追求。目前，主流的人机交互方式有如下两种方式。
（1）使用者使用键盘，鼠标，触摸屏等输入设备对计算机进行控制，通过按键、点击或触摸手势输入命令，该方式输入的命令相对较为明确，计算机容易进行解析并执行，但是对于用户来说，需要对命令规则进行记忆，友好度较低。这种方式是目前最主流的方式，大多数计算机都采用这种方式。
（2）使用者通过语音或动作等方式输入命令，计算机需要通过对语音或动作等进行模式识别，并对识别结果进行理解，分析出要执行的命令。这种方式对于用户来说，友好度更高，但是要求计算机有较高的运算能力和智能化程度。
现在，传统便携式计算机和电子设备正逐渐向可穿戴的方向发展。可穿戴电子设备基本上都要求微型化和轻量化，很多可穿戴电子设备的屏幕很小，甚至没有屏幕，因此，利用传统的键盘、鼠标和触摸屏来进行交互显然不可行，因此，可穿戴设备大多采用语音或动作等方式进行交互。
此外，很多有肢体缺陷的残障人士在使用传统的键盘、鼠标和触摸屏来进行交互往往有诸多困难，因此，他们也往往需要采用语音或动作等方式进行交互。
目前大多数应用程序都是基于传统交互方式开发的，而且并不提供外部控制接口，因此，在传统应用程序上通过模式识别实现交互就成为一个亟待解决的问题。
发明内容
有鉴于此，本发明的目的是提供一种便携式电子设备的交互装置及其交互方法，其在传统应用程序上通过模式识别实现交互，一方面方便在可穿戴电子设备上运行传统应用程序，另一方面方便残障人士使用传统应用程序。
本发明是这样实现的，一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；该交互装置包括：模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；查找模块，其用于根据识别的命令查找预先编制的命令表；第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。
作为上述方案的进一步改进，该交互装置还包括提示模块，该提示模块用于在该查找模块查不到相应命令时，进行出错提示后退出。
优选地，该提示模块还用于在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。
作为上述方案的进一步改进，该交互装置还包括场景转换模块，该场景转换模块用于在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，执行临时动作脚本，将当前场景转换至与预先编制的场景相对应的命令的执行场景，最后由执行模块执行命令对应的动作脚本。
本发明还涉及一种便携式电子设备的交互方法，其通过模拟人的操作实现交互；该交互方法包括以下步骤：对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；根据识别的命令查找预先编制的命令表；判断在预先编制的命令表中，是否能查找到相应命令；在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；根据预先编制的场景表，对界面图像进行识别；判断在预先编制的场景表中，是否能查找到当前所在场景；在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。
作为上述方案的进一步改进，该交互方法还包括步骤：在查不到相应命令时，进行出错提示后退出。
优选地，该交互方法还包括步骤：在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。
作为上述方案的进一步改进，在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令对应的动作脚本。
本发明的有益效果为：
1、可以在使用传统交互方式的应用程序上通过模式识别实现交互，便于在可穿戴电子设备上运行传统应用程序，并且可以方便肢体缺陷的残障人士使用传统应用程序；
2、通过模拟人的操作实现交互，对应用程序无任何特殊要求，通用性和兼容性较好。
附图说明
图1为本发明较佳实施方式提供的便携式电子设备的交互方法的流程图。
图2为场景转换示例图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，其为本发明较佳实施方式提供的便携式电子设备的交互方法的流程图。本发明的便携式电子设备的交互方法为纯软设计，其可划分为模式识别模块、查找模块、第一判断模块、界面图像获取模块、界面图像识别模块、第二判断模块、第三判断模块、执行模块、提示模块、场景转换模块。
本发明的便携式电子设备的交互方法包括以下步骤。
步骤S11，对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令。步骤S11的模式识别由模式识别模块执行。
步骤S12，根据识别的命令查找预先编制的命令表。步骤S12的查找命令表由查找模块执行。
步骤S13，判断在预先编制的命令表中，是否能查找到相应命令。步骤S13的找到命令的判断由第一判断模块执行。
步骤S14，在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像。步骤S14的获取解码图像由界面图像获取模块执行。
步骤S15，根据预先编制的场景表，对界面图像进行识别。步骤S15的查找场景表由界面图像识别模块执行。
步骤S16，判断在预先编制的场景表中，是否能查找到当前所在场景。步骤S16的找到场景的判断由第二判断模块执行。
步骤S17，在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景。步骤S17的执行场景的判断由第三判断模块执行。
步骤S18，在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作。步骤S18的执行动作脚本由执行模块执行。
步骤S19，进行出错提示后退出。步骤S19的出错提示由提示模块执行。在查不到相应命令时，或在预先编制的场景表中查不到当前所在场景时，提示模块进行出错提示后退出。
步骤S120，在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令对应的动作脚本。步骤S120的场景转换由场景转换模块执行。
命令表主要包括以下内容：命令关键字，执行场景和动作脚本。命令关键字。命令关键字用于对命令识别，在整个命令表中具有唯一性。执行场景用于识别命令的执行环境。动作脚本包括了对用户界面的具体操作，如模拟点击特定坐标；模拟特定手势；在特定区域的文字框内输入命令要求的文字等等。
场景表主要包括以下内容：场景名称和场景特征。场景名称用于标示场景。场景特征主要包括特定按钮、图标或文字的位置。场景名称和场景特征在整个场景表中都具有唯一性。
场景转换图用于记录各场景之间的转换动作和转换路径，通过对该图可以获得场景之间转换的动作脚本。这里的动作具体为模拟点击特定坐标；模拟特定手势等。场景转换图示例如图2所示，从该图可知，若当前场景为“场景1”，若需要转换至“场景3”，则所需要执行的动作脚本为：动作1，动作3。
综上所述，该方法可以在使用传统交互方式的应用程序上通过模式识别实现交互，便于在可穿戴电子设备上运行传统应用程序，并且可以方便肢体缺陷的残障人士使用传统应用程序；该方法通过模拟人的操作实现交互，对应用程序无任何特殊要求，通用性和兼容性较好。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种便携式电子设备的交互装置，其通过模拟人的操作实现交互；其特征在于：该交互装置包括：
模式识别模块，其用于对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；
查找模块，其用于根据识别的命令查找预先编制的命令表；
第一判断模块，其用于判断在预先编制的命令表中，是否能查找到相应命令；
界面图像获取模块，其用于在该查找模块查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；
界面图像识别模块，其用于根据预先编制的场景表，对界面图像进行识别；
第二判断模块，其用于判断在预先编制的场景表中，是否能查找到当前所在场景；
第三判断模块，其用于在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；
执行模块，其用于在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作；
场景转换模块，该场景转换模块用于在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，执行该临时动作脚本，将当前场景转换至与预先编制的场景相对应的命令的执行场景，最后由该执行模块执行命令对应的动作脚本。
2.如权利要求1所述的便携式电子设备的交互装置，其特征在于：该交互装置还包括提示模块，该提示模块用于在该查找模块查不到相应命令时，进行出错提示后退出。
3.如权利要求2所述的便携式电子设备的交互装置，其特征在于：该提示模块还用于在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。
4.一种便携式电子设备的交互方法，其通过模拟人的操作实现交互；其特征在于：该交互方法包括以下步骤：
对使用者发出的语音或动作命令进行模式识别，获得需要执行的命令；
根据识别的命令查找预先编制的命令表；
判断在预先编制的命令表中，是否能查找到相应命令；
在查找到相应命令时，获得命令的执行场景和动作脚本，访问操作系统的帧缓冲区，获取应用程序当前用户界面图像；
根据预先编制的场景表，对界面图像进行识别；
判断在预先编制的场景表中，是否能查找到当前所在场景；
在预先编制的场景表中查找到当前所在场景时，判断当前所在场景是否为命令的执行场景；
在当前所在场景为命令的执行场景时，按照动作脚本对应用程序用户界面进行操作，
在当前所在场景不为命令的执行场景时，按照预先编制的场景转换图，生成临时动作脚本，通过执行该临时动作脚本将当前场景转换至与预先编制的场景相对应的命令的执行场景，并且执行命令相应的动作脚本。
5.如权利要求4所述的便携式电子设备的交互方法，其特征在于：该交互方法还包括步骤：在查不到相应命令时，进行出错提示后退出。
6.如权利要求5所述的便携式电子设备的交互方法，其特征在于：该交互方法还包括步骤：在预先编制的场景表中查不到当前所在场景时，进行出错提示后退出。
CN201310221339.XA 2013-06-05 2013-06-05 一种便携式电子设备的交互装置及其交互方法 Active CN103279189B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310221339.XA CN103279189B (zh) 2013-06-05 2013-06-05 一种便携式电子设备的交互装置及其交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310221339.XA CN103279189B (zh) 2013-06-05 2013-06-05 一种便携式电子设备的交互装置及其交互方法

Publications (2)

Publication Number Publication Date
CN103279189A CN103279189A (zh) 2013-09-04
CN103279189B true CN103279189B (zh) 2017-02-08

Family

ID=49061748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310221339.XA Active CN103279189B (zh) 2013-06-05 2013-06-05 一种便携式电子设备的交互装置及其交互方法

Country Status (1)

Country Link
CN (1) CN103279189B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105690385B (zh) * 2016-03-18 2019-04-26 北京光年无限科技有限公司 基于智能机器人的应用调用方法与装置
CN105785813A (zh) * 2016-03-18 2016-07-20 北京光年无限科技有限公司 用于智能机器人系统多模态输出的方法及装置
CN105930167A (zh) * 2016-05-10 2016-09-07 北京光年无限科技有限公司 一种智能机器人及应用于智能机器人的操作系统
CN109690446B (zh) * 2016-09-26 2021-06-01 华为技术有限公司 一种交互方法及电子设备
CN113741770A (zh) * 2020-05-29 2021-12-03 比亚迪股份有限公司 基于图像识别的控制方法和系统及车辆、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179754A (zh) * 2007-11-08 2008-05-14 深圳市戴文科技有限公司 一种交互式业务的实现方法及移动终端
CN101277394A (zh) * 2007-02-19 2008-10-01 精工爱普生株式会社 信息处理方法,信息处理设备和程序
CN102841712A (zh) * 2012-07-11 2012-12-26 广州市久邦数码科技有限公司 一种手势识别与编辑方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112008001396B4 (de) * 2007-06-05 2015-12-31 Mitsubishi Electric Corp. Fahrzeugbedienungsvorrichtung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101277394A (zh) * 2007-02-19 2008-10-01 精工爱普生株式会社 信息处理方法,信息处理设备和程序
CN101179754A (zh) * 2007-11-08 2008-05-14 深圳市戴文科技有限公司 一种交互式业务的实现方法及移动终端
CN102841712A (zh) * 2012-07-11 2012-12-26 广州市久邦数码科技有限公司 一种手势识别与编辑方法及系统

Also Published As

Publication number Publication date
CN103279189A (zh) 2013-09-04

Similar Documents

Publication Publication Date Title
KR102490776B1 (ko) 디지털 개인 비서 내에서 헤드리스로 작업을 완료하기 위한 기법
US8892782B1 (en) System for and method of translating motion-based user input between a client device and an application host computer
CN103279189B (zh) 一种便携式电子设备的交互装置及其交互方法
US7548859B2 (en) Method and system for assisting users in interacting with multi-modal dialog systems
CN108369456B (zh) 用于触摸输入设备的触觉反馈
US8745280B1 (en) System for and method of translating motion-based user input between a client device and an application host computer
US8723792B2 (en) System for controlling devices and information on network by using hand gestures
WO2017138777A1 (en) Method and electronic device for performing voice based actions
US11175823B2 (en) Method and apparatus for controlling terminal device using gesture control function, and non-transitory computer-readable storage medium
JP7373063B2 (ja) ミニプログラムの音声制御方法、機器及び記憶媒体
KR20140113263A (ko) 애플리케이션의 음성 제어 시스템 및 애플리케이션의 음성 제어 방법
EP3465392B1 (en) Time-correlated touch and speech command input
KR102358012B1 (ko) 음성 제어 방법, 장치, 전자 기기 및 판독 가능 저장 매체
WO2016205990A1 (zh) 分屏显示的方法及电子装置
US9395826B1 (en) System for and method of translating motion-based user input between a client device and an application host computer
JP2014127124A (ja) 情報処理装置、情報処理方法及びプログラム
WO2017012378A1 (zh) 用于操作电脑的系统、穿戴设备及其操作电脑的方法
JP2021099887A (ja) 音声認識によるページ操作方法、装置、機器、媒体及びプログラム
WO2023125161A1 (zh) 直播间控制方法、装置、电子设备、介质及程序产品
JP2021043936A (ja) インタラクション方法、機器、システム、電子機器及び記憶媒体
WO2014008670A1 (zh) 确定操作对象的方法和终端
Rehman et al. An architecture for interactive context-aware applications
CN112148178A (zh) 应用切换方法、装置、电子设备及可读存储介质
CN107077319A (zh) 基于语音控制的位置定位方法、装置、用户设备及计算机程序产品
US20130111327A1 (en) Electronic apparatus and display control method

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190801

Address after: 230088 Room 1201, A4 Floor, International Animation Base, 8000 Wangjiangxi Road, Hefei High-tech Zone, Anhui Province

Patentee after: ANHUI HUAMI INFORMATION TECHNOLOGY CO., LTD.

Address before: 230000 R&D Building of Four Stars Company, No. 9 Mengyuan Road, Hefei High-tech Zone, Anhui Province

Patentee before: Hefei Huaheng Electronic Technology Co., Ltd.