CN110955331A - 一种基于计算机虚拟界面的人机交互系统 - Google Patents

一种基于计算机虚拟界面的人机交互系统 Download PDF

Info

Publication number
CN110955331A
CN110955331A CN201911174078.4A CN201911174078A CN110955331A CN 110955331 A CN110955331 A CN 110955331A CN 201911174078 A CN201911174078 A CN 201911174078A CN 110955331 A CN110955331 A CN 110955331A
Authority
CN
China
Prior art keywords
voice
module
gesture
human
computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201911174078.4A
Other languages
English (en)
Inventor
余敏
吕文静
王海
孙英
刘昕玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Railway Vocational and Technical College
Original Assignee
Zhengzhou Railway Vocational and Technical College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Railway Vocational and Technical College filed Critical Zhengzhou Railway Vocational and Technical College
Priority to CN201911174078.4A priority Critical patent/CN110955331A/zh
Publication of CN110955331A publication Critical patent/CN110955331A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于计算机虚拟界面的人机交互系统，涉及人机交互技术领域，主要为了解决人机交互系统界面不能进行分区操作而其会占用较多的空间及功能单一的问题；该人机交互系统，包括登录模块、中央控制处理器、手势处理系统、语音系统和无线联网通信模块，所述手势处理系统用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统用以采集用户的语音输入并进行处理，再根据语音的提示生成指令。本发明中利用手势处理系统和语音系统相结合来进行人机交互操作，摆脱鼠标等输入设备，则操作更为简单容易，便于用户体验。

Description

一种基于计算机虚拟界面的人机交互系统
技术领域
本发明涉及人机交互技术领域，具体是一种基于计算机虚拟界面的人机交互系统。
背景技术
人机交互技术是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，人通过输入设备给机器输入有关信息，回答问题及提示请示等；人机交互技术是计算机用户界面设计中的重要内容之一；人机交互功能是决定计算机系统“友善性”的一个重要因素，随着计算机技术的发展，操作命令也越来越多，功能也越来越强，随着模式识别，如语音识别、汉字识别等输入设备的发展，操作员和计算机在类似于自然语言或受限制的自然语言这一级上进行交互成为可能。
此外，通过图形或多点触摸进行人机交互也吸引着人们去进行研究。这些人机交互可称为智能化的人机交互，这方面的研究工作正在积极开展端；而现在的人机交互系统界面时同一个界面进行操作处理，不能进行分区操作，其会占用较多的空间，功能单一。
发明内容
本发明的目的在于提供一种基于计算机虚拟界面的人机交互系统，解决人机交互系统界面不能进行分区操作而其会占用较多的空间及功能单一的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于计算机虚拟界面的人机交互系统，包括登录模块、中央控制处理器、手势处理系统、语音系统和无线联网通信模块，所述登录模块用以获取用户的身份信息和位置信息，并对用户的身份信息进行验证；所述中央控制处理器用以总控各个系统模块并根据各个模块的交互生成控制指令；所述手势处理系统用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统用以采集用户的语音输入并进行处理，再根据语音的提示生成指令；
还包括构建生成模块、分区模块和选择模块，所述构建生成模块用以通过动态和静态结合的方式构建虚拟界面；所述分区模块用以将构建生成模块所构建的虚拟界面平均分成三个区域，且每个区域具有不同的功能；所述选择模块用以提供用户选择不同功能的虚拟界面的通道，并显示用户选择的虚拟界面。
在上述技术方案的基础上，本发明还提供以下可选技术方案：
在一种可选方案中：所述无线联网通信模块用以将该系统与服务终端进行数据传输连接。
在一种可选方案中：述手势处理系统包括投影单元、图像获取模块、图像特征点提取模块、识别模块和手势库模块，所投影单元用以对用户做出的手势以及姿势进行录像而形成图像；所述图像获取模块用以获取投影单元所拍摄到的手势或姿势图像；所述图像特征点提取模块用以对图像的区别特征点进行提取；所述手势库模块用以将获取的手势图像进行存储并形成手势库；所述识别模块用以根据图像特征点提取模块提取的手势图像的特征与手势库模块内存储的手势图像进行匹配，并将匹配到的手势特征发送至中央控制处理器。
在一种可选方案中：所述语音系统包括语音录入单元、语音获取模块、语音数据处理模块和数据库模块，所述语音录入单元用以将用于发出的语音指示进行录入至语音系统内。
在一种可选方案中：所述语音获取模块用以获取语音系统所录入的语音并将之转换成电信号传递于语音数据处理模块；所述数据库模块用以存储语音并形成语音库，所述语音数据处理模块用以将语音录入单元所传递的语音电信号进行修正并将之与语音数据处理模块内存储的语音进行匹配，将匹配成功的语音传输至中央控制处理器。
在一种可选方案中：所述构建生成模块所构建的虚拟界面的三个区域分别是第一界面区、第二界面区、第三界面区。
在一种可选方案中：所述第一界面区连接于手势处理系统，所诉第二界面区连接于语音系统，所述第三界面区与语音系统和手势处理系统均相连接。
相较于现有技术，本发明的有益效果如下：
1、该系统可将虚拟界面进行分区操作，并与应用系统交互，可有效减少系统的操作负荷，分区操作而具有不同的使用功能，提高用户的体验；
2、本发明中利用手势处理系统和语音系统相结合来进行人机交互操作，摆脱鼠标等输入设备，则操作更为简单容易，便于用户体验。
附图说明
图1为本发明的结构示意图。
图2为本发明中系统界面分区的结构示意图。
附图标记注释：登录模块1、构建生成模块2、分区模块3、第一界面区4、第二界面区5、第三界面区6、选择模块7、手势处理系统8、语音系统9、投影单元10、语音录入单元11、中央控制处理器12、无线联网通信模块13、手势库模块14、图像获取模块15、图像特征点提取模块16、识别模块17、语音获取模块18、语音数据处理模块19、数据库模块20。
具体实施方式
以下实施例会结合附图对本发明进行详述，在附图或说明中，相似或相同的部分使用相同的标号，并且在实际应用中，各部件的形状、厚度或高度可扩大或缩小。本发明所列举的各实施例仅用以说明本发明，并非用以限制本发明的范围。对本发明所作的任何显而易知的修饰或变更都不脱离本发明的精神与范围。
实施例1
请参阅图1和2，本发明实施例中，一种基于计算机虚拟界面的人机交互系统，包括登录模块1、中央控制处理器12、手势处理系统8、语音系统9和无线联网通信模块13，所述登录模块1用以获取用户的身份信息和位置信息，并对用户的身份信息进行验证；所述中央控制处理器12用以总控各个系统模块并根据各个模块的交互生成控制指令；所述手势处理系统8用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统9用以采集用户的语音输入并进行处理，再根据语音的提示生成指令；所述无线联网通信模块13用以将该系统与服务终端进行数据传输连接；
还包括构建生成模块2、分区模块3和选择模块7，所述构建生成模块2用以通过动态和静态结合的方式构建虚拟界面；所述分区模块3用以将构建生成模块2所构建的虚拟界面平均分成三个区域，且每个区域具有不同的功能；所述选择模块7用以提供用户选择不同功能的虚拟界面的通道，并显示用户选择的虚拟界面；
所述手势处理系统8包括投影单元10、图像获取模块15、图像特征点提取模块16、识别模块17和手势库模块14，所投影单元10用以对用户做出的手势以及姿势进行录像而形成图像；所述图像获取模块15用以获取投影单元10所拍摄到的手势或姿势图像；所述图像特征点提取模块16用以对图像的区别特征点进行提取；所述手势库模块14用以将获取的手势图像进行存储并形成手势库；所述识别模块17用以根据图像特征点提取模块16提取的手势图像的特征与手势库模块14内存储的手势图像进行匹配，并将匹配到的手势特征发送至中央控制处理器12；
所述语音系统9包括语音录入单元11、语音获取模块18、语音数据处理模块19和数据库模块20，所述语音录入单元11用以将用于发出的语音指示进行录入至语音系统9内；所述语音获取模块18用以获取语音系统9所录入的语音并将之转换成电信号传递于语音数据处理模块19；所述数据库模块20用以存储语音并形成语音库，所述语音数据处理模块19用以将语音录入单元11所传递的语音电信号进行修正并将之与语音数据处理模块19内存储的语音进行匹配，将匹配成功的语音传输至中央控制处理器12。
实施例2
本发明实施例与实施例1的不同之处在于：所述构建生成模块2所构建的虚拟界面的三个区域分别是第一界面区4、第二界面区5、第三界面区6；所述第一界面区4连接于手势处理系统8，所诉第二界面区5连接于语音系统9，所述第三界面区6与语音系统9和手势处理系统8均相连接，从而可以实现三个区域的不同实用功能。
以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于计算机虚拟界面的人机交互系统，包括登录模块(1)、中央控制处理器(12)、手势处理系统(8)、语音系统(9)和无线联网通信模块(13)，其特征在于，所述登录模块(1)用以获取用户的身份信息和位置信息，并对用户的身份信息进行验证；所述中央控制处理器(12)用以总控各个系统模块并根据各个模块的交互生成控制指令；所述手势处理系统(8)用以采集并处理虚拟界面内的手势图像，再根据手势的动作生成相应的手势指令；所述语音系统(9)用以采集用户的语音输入并进行处理，再根据语音的提示生成指令；
还包括构建生成模块(2)、分区模块(3)和选择模块(7)，所述构建生成模块(2)用以通过动态和静态结合的方式构建虚拟界面；所述分区模块(3)用以将构建生成模块(2)所构建的虚拟界面平均分成三个区域，且每个区域具有不同的功能；所述选择模块(7)用以提供用户选择不同功能的虚拟界面的通道，并显示用户选择的虚拟界面。
2.根据权利要求1所述的基于计算机虚拟界面的人机交互系统，其特征在于，所述无线联网通信模块(13)用以将该系统与服务终端进行数据传输连接。
3.根据权利要求1所述的基于计算机虚拟界面的人机交互系统，其特征在于，述手势处理系统(8)包括投影单元(10)、图像获取模块(15)、图像特征点提取模块(16)、识别模块(17)和手势库模块(14)，所投影单元(10)用以对用户做出的手势以及姿势进行录像而形成图像；所述图像获取模块(15)用以获取投影单元(10)所拍摄到的手势或姿势图像；所述图像特征点提取模块(16)用以对图像的区别特征点进行提取；所述手势库模块(14)用以将获取的手势图像进行存储并形成手势库；所述识别模块(17)用以根据图像特征点提取模块(16)提取的手势图像的特征与手势库模块(14)内存储的手势图像进行匹配，并将匹配到的手势特征发送至中央控制处理器(12)。
4.根据权利要求3所述的基于计算机虚拟界面的人机交互系统，其特征在于，所述语音系统(9)包括语音录入单元(11)、语音获取模块(18)、语音数据处理模块(19)和数据库模块(20)，所述语音录入单元(11)用以将用于发出的语音指示进行录入至语音系统(9)内。
5.根据权利要求(1)所述的基于计算机虚拟界面的人机交互系统，其特征在于，所述语音获取模块(18)用以获取语音系统(9)所录入的语音并将之转换成电信号传递于语音数据处理模块(19)；所述数据库模块(20)用以存储语音并形成语音库，所述语音数据处理模块(19)用以将语音录入单元(11)所传递的语音电信号进行修正并将之与语音数据处理模块(19)内存储的语音进行匹配，将匹配成功的语音传输至中央控制处理器(12)。
6.根据权利要求1-5任一所述的基于计算机虚拟界面的人机交互系统，其特征在于，所述构建生成模块(2)所构建的虚拟界面的三个区域分别是第一界面区(4)、第二界面区(5)、第三界面区(6)。
7.根据权利要求6所述的基于计算机虚拟界面的人机交互系统，其特征在于，所述第一界面区(4)连接于手势处理系统(8)，所诉第二界面区(5)连接于语音系统(9)，所述第三界面区(6)与语音系统(9)和手势处理系统(8)均相连接。
CN201911174078.4A 2019-11-26 2019-11-26 一种基于计算机虚拟界面的人机交互系统 Withdrawn CN110955331A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911174078.4A CN110955331A (zh) 2019-11-26 2019-11-26 一种基于计算机虚拟界面的人机交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911174078.4A CN110955331A (zh) 2019-11-26 2019-11-26 一种基于计算机虚拟界面的人机交互系统

Publications (1)

Publication Number Publication Date
CN110955331A true CN110955331A (zh) 2020-04-03

Family

ID=69978531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911174078.4A Withdrawn CN110955331A (zh) 2019-11-26 2019-11-26 一种基于计算机虚拟界面的人机交互系统

Country Status (1)

Country Link
CN (1) CN110955331A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031765A (zh) * 2021-03-13 2021-06-25 杭州翔毅科技有限公司 一种基于人工智能的计算机多功能交互系统
CN113297551A (zh) * 2021-06-22 2021-08-24 上海和数软件有限公司 一种基于区块链的人机交互系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113031765A (zh) * 2021-03-13 2021-06-25 杭州翔毅科技有限公司 一种基于人工智能的计算机多功能交互系统
CN113297551A (zh) * 2021-06-22 2021-08-24 上海和数软件有限公司 一种基于区块链的人机交互系统

Similar Documents

Publication Publication Date Title
CN108255304B (zh) 基于增强现实的视频数据处理方法、装置和存储介质
CN110598576B (zh) 一种手语交互方法、装置及计算机介质
US20190188903A1 (en) Method and apparatus for providing virtual companion to a user
EP3628381A1 (en) Game picture display method and apparatus, storage medium and electronic device
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN109992237B (zh) 智能语音设备控制方法、装置、计算机设备和存储介质
EP2960866A2 (en) Method and apparatus for creating curved surface model
CN106453228B (zh) 一种用于智能机器人的用户登录方法以及系统
CN110955331A (zh) 一种基于计算机虚拟界面的人机交互系统
CN109754329B (zh) 电子资源的处理方法、终端、服务器及存储介质
US20210072818A1 (en) Interaction method, device, system, electronic device and storage medium
CN105677716A (zh) 一种计算机数据采集处理分析系统
CN108805035A (zh) 基于手势识别的教学互动方法以及装置
CN109327614A (zh) 全球同声传译手机及方法
CN105786378B (zh) 一种缩放草稿纸界面的方法和装置
CN112578967B (zh) 图表信息读取方法及移动终端
CN110007765A (zh) 一种人机交互方法、装置及设备
US20230049410A1 (en) Avatar display device, avatar display system, avatar display method, and avatar display program
CN112818733B (zh) 信息处理方法、装置、存储介质及终端
CN113051022A (zh) 图形界面的处理方法及图形界面处理装置
CN116301381A (zh) 一种交互方法及相关设备和系统
CN111930231A (zh) 交互控制方法、终端设备及存储介质
KR20150066882A (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
CN103462695A (zh) 监护仪及其屏幕的布局方法与系统
CN114092608B (zh) 表情的处理方法及装置、计算机可读存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20200403

WW01 Invention patent application withdrawn after publication