CN101533348A - 一种人机交互平台 - Google Patents
一种人机交互平台 Download PDFInfo
- Publication number
- CN101533348A CN101533348A CN200910061752A CN200910061752A CN101533348A CN 101533348 A CN101533348 A CN 101533348A CN 200910061752 A CN200910061752 A CN 200910061752A CN 200910061752 A CN200910061752 A CN 200910061752A CN 101533348 A CN101533348 A CN 101533348A
- Authority
- CN
- China
- Prior art keywords
- man
- interface
- engine
- module
- platform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种人机交互平台，该平台包括：绘图引擎，用于显示图形、文字；语音引擎，用于合成语音，进行播报；图像识别引擎，用于识别用户输入图形的样式，触发不同的功能；跨平台模块，用于实现跨平台功能；人机交互模块，用于显示人机界面；人机交互模块通过接口，经绘图引擎连接跨平台模块；图像识别引擎、语音引擎通过接口相连，并且分别通过接口连接跨平台模块；上述各模块均安装在人机交互硬件设备上，跨平台模块还与操作系统相交互。本发明可用于各种需要人机界面交互的嵌入式图形显示设备，并且通过该设备向使用者提供一种全新的视觉、听觉和触觉方面的直观感受。
Description
技术领域
本发明涉及图形显示设备，特别是涉及一种人机界面的交互平台。
背景技术
人机交互设备是一种使用广泛的图形显示设备，从工业中使用的自动化设备，工控机的操作界面，到个人用户所使用的普通PC机、MP3、MP4、便携式导航设备(PND)和手机等，都有它的应用。人机交互设备是指通过可进行图形显示的设备(如PC机，手机，个人便携移动设备，MP3，MP4等)进行显示，并需要操作人员参与实际操作的，用于实现人和数字设备进行信息交互功能的系统。人机交互设备一般由硬件和软件两部分组成。硬件是指具体的图形显示设备。而软件包括这些硬件设备上运行的嵌入式操作系统(如WinCE、Linux和Vxworks)，以及运行在操作系统上的人机界面。人机界面需要符合人体工程学，使用时给用户提供视觉、触觉和听觉方面的直观感受。
目前的人机界面，在视觉、样式上都很单调，操作方法单一。图形显示大多比较简单，且依赖于操作系统提供的图形库，而这些图形库一般只支持几种特定的图片格式(如BMP和JPEG)，并且大多不支持图形的缩放、拉伸和旋转功能。
目前的人机界面都不包括语音功能，无法给客户提供语音方面的提示。此外，目前的人机界面依赖于显示设备的分辨率，以及显示设备的操作系统。换句话说，如果将一个480×800的人机界面放在一个800×480的显示设备上，那么水平方向上因为界面像素小于设备分辨率而有一块没有图像的区域，垂直方向上因为界面像素大于设备分辨率而有一部分图像没法显示。另一方面，如果想将某个WinCE系统上的人机界面移植到运行Linux的显示设备上，由于两种人机界面所依赖不同操作系统的关系，可能需要消耗大量的人力物力去解决人机界面移植的问题，大多数情况下需要为新操作系统重新开发一套人机界面。
发明内容
本发明所要解决的技术问题是：提供一种人机交互平台，用于各种需要人机界面交互的嵌入式图形显示设备，并且通过该设备向使用者提供一种全新的视觉、听觉和触觉方面的直观感受。
本发明解决其技术问题采用以下的技术方案：
一种人机交互平台，包括：
绘图引擎，用于显示图形、文字；
语音引擎，用于合成语音，进行播报；
图像识别引擎，用于识别用户输入图形的样式，触发不同的功能；
跨平台模块，用于实现跨平台功能；
人机交互模块，用于显示人机界面；
人机交互模块通过接口，经绘图引擎连接跨平台模块；图像识别引擎、语音引擎通过接口相连，并且分别通过接口连接跨平台模块；上述各模块均安装在人机交互硬件设备上，跨平台模块还与操作系统相交互。
本发明提供的人机交互平台，与现有技术相比具有以下的主要优点：
其一，兼容性强：可以不依赖显示设备的操作系统，通过自身的绘图引擎进行显示；同时，绘图引擎可以高效的实现图像填充，图形旋转、拉伸、反转，以及透明显示；并且界面具有可自动适应不同分辨率的显示设备，例如本人机交互平台可以在WinCE系统使用，同时也可以在经过较少的接口函数修改，甚至不进行任何修改的情况下，移植到Linux，VxWorks，Symbian等操作系统平台下的显示设备上使用。
其二，具有自身的语音引擎，合成语音指导用户操作等功能，本人机交互平台内部自带有语音引擎，由于语音引擎是在建立该人机交互平台时即以加入的模块，所以可以完美的解决语音引擎和其他模块的兼容问题，使人机交互平台更加稳定，性能更加突出。
其三，图形识别模块可识别用户输入的各种操作的轨迹，而不同的操作轨迹可以代表不同的功能含义，通过此方式，用户可以自由的定义千变万化的功能输入方式，从而提高人机交互平台的使用方便性。
其四，具有各种不同图片格式的相互转换功能，还能提供自定义格式的图形显示，从而能够很好地进行人机界面的编辑、设计，人机界面迁移的编辑、设计，以及人机界面系统的调试运行。
由于具有以上优点，因此，本发明不仅能够提供一般人机界面的功能，更能够向用户提供全新的视觉、触觉和听觉方面的直观感受。
附图说明
图1是本发明人机交互平台结构示意图。
具体实施方式
如图1所示，一种人机交互平台，包括：
绘图引擎，用于显示图形、文字；
语音引擎，用于合成语音，进行播报；
图像识别引擎，用于识别用户输入图形的样式，触发不同的功能；
跨平台模块，用于实现跨平台功能；
人机交互模块，用于显示人机界面；
人机交互模块通过接口，经绘图引擎连接跨平台模块；图像识别引擎、语音引擎通过接口相连，并且分别通过接口连接跨平台模块；上述各模块均安装在人机交互硬件设备上，跨平台模块还与操作系统相交互。
绘图引擎为人机交互平台的显示模块，具有独立的绘图功能，只需从显示设备的驱动中获取基本的操作显存的API(应用程序接口)，即可实现人机界面的描绘功能。该模块支持多种图形格式及自定义图形格式的显示，提供加密格式图形显示，通过图片的加密可以保证图片的专属权。自定义格式可以同常用图片格式相互转换。绘图引擎还具有快速的图形描绘、填充、旋转、拉伸，反转功能，并通过透明值的设置，实现所述图像透明的效果。这样，同一幅图片，可以通过以上的高效率处理，实现不同的效果，甚至可以使2D图片产生3D的视觉效果。通过图片的拉伸功能，可以有效的提高图片的使用率，即在需要不同分辨率，或不同大小的图片时，通过使原图片的拉伸来起到图片资源复用的作用。
本发明在需要语音输出的时候，可以很方便的通过指定函数，根据输入的文字信息，通过语音输出设备并结合平台的语音引擎，合成并输出提示性的语音，指导用户正常使用。
人机交互硬件设备可包括触摸屏，但不局限于触摸屏。本发明允许用户在触摸屏设备上输出各种有规则的图形，平台通过图像识别引擎，对用户输入的图像和轨迹进行识别，从而判断和实现各种事先约定好的功能。这些功能包括界面迁移，返回上一个界面，字符输入等。图像识别引擎在触发不同的功能时，还以美观、友好的方式显示出所触发功能的效果。
跨平台模块封装了操作系统层次的函数，这类函数涉及跨平台所必须的功能，包括获取输入信息、数据读取机制、文件存储方式等。通过该模块，在不对平台做任何改造或者对本平台部分接口做较少的改造后，实现在WindowCE、Linux、VxWorks、Symbian、μCos等操作系统之间移植。
人机交互模块是通过使用绘图引擎、语音引擎和图像识别引擎，来显示人机界面。目前的可显示设备的分辨率种类很多，如320×240，600×800，480×272等。本发明能够事先通过显示设备的信号获取显示设备的分辨率，然后根据不同的分辨率获取平台自定义好的规则，自动调整界面布局，使人机界面完美的显示在不同分辨率的显示设备上。
操作系统，提供基础API(应用程序接口)，API是用于跨平台调用的基础函数，具有操作系统所提供的基础功能。
本人机界面平台具有整合以上各功能模块的架构设计，并提供辅助开发、调试和测试的相关工具，即人机界面开发工具。人机界面开发工具基于绘图引擎，辅助人机界面的开发，采用了所见即所得的开发思想，能有效的提高开发效率。本工具通过调试和设计工具，开发人员可以不用了解本平台的内部实现过程，而只需通过学习调试和设计工具，即可进行应用于具体设备上的人机界面的开发。该工具模块通过接口，经绘图引擎连接跨平台模块。
总之，本发明通过图像识别引擎，来确认硬件的输入信息，将输入的信息通过本发明特有的消息机制进行集中管理，实现消息的解释和分发。然后本发明通过消息机制，来触发绘图引擎对界面图形进行描绘，通过语音引擎，进行声音的输入和输出。另一方面，本人机交互平台包括人机交互模块和人机界面开发工具，人机交互模块和人机界面开发工具通过接口，经绘图引擎、跨平台模块连接操作系统，实现消息的传输。
本发明提供了一套完整的具有调试，设计功能的人机交互平台，该平台不仅提供一般人机界面的功能，更能提供使用者在视觉，听觉，触觉方面的体验。
Claims (8)
1.一种人机交互平台，其特征在于，包括：
绘图引擎，用于显示图形、文字；
语音引擎，用于合成语音，进行播报；
图像识别引擎，用于识别用户输入图形的样式，触发不同的功能；
跨平台模块，用于实现跨平台功能；
人机交互模块，用于显示人机界面；
人机交互模块通过接口，经绘图引擎连接跨平台模块；图像识别引擎、语音引擎通过接口相连，并且分别通过接口连接跨平台模块；上述各模块均安装在人机交互硬件设备上，跨平台模块还与操作系统相交互。
2.根据权利要求1所述的人机交互平台，其特征在于：绘图引擎支持多种图形格式及自定义图形格式的显示，提供加密格式图形显示，并提供图形的填充、旋转、拉伸、反转和透明功能。
3.根据权利要求2所述的人机交互平台，其特征在于：绘图引擎通过透明值的设置，实现所述图像透明的效果。
4.根据权利要求1所述的人机交互平台，其特征在于：语音引擎根据输入的文字信息，合成语音，进行播报。
5.根据权利要求1所述的人机交互平台，其特征在于：人机交互硬件设备包括触摸屏，用户在触摸屏上输出各种有规则的图形，图像识别引擎对用户输入的图像和轨迹进行识别，从而判断和实现各种事先约定好的功能；这些功能包括界面迁移，返回上一个界面，字符输入。
6.根据权利要求1所述的人机交互平台，其特征在于：跨平台模块封装了操作系统层次的函数，这类函数涉及跨平台所必须的功能，包括获取输入信息、数据读取机制、文件存储方式。
7.根据权利要求1所述的人机交互平台，其特征在于：人机交互模块通过使用绘图引擎、语音引擎和图像识别引擎，来显示人机界面。
8.根据权利要求1所述的人机交互平台，其特征在于：还包括人机界面开发工具，用于人机界面的辅助开发、调试和测试；该模块通过接口，经绘图引擎连接跨平台模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910061752A CN101533348A (zh) | 2009-04-23 | 2009-04-23 | 一种人机交互平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910061752A CN101533348A (zh) | 2009-04-23 | 2009-04-23 | 一种人机交互平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101533348A true CN101533348A (zh) | 2009-09-16 |
Family
ID=41103968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910061752A Pending CN101533348A (zh) | 2009-04-23 | 2009-04-23 | 一种人机交互平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101533348A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102685835A (zh) * | 2012-05-24 | 2012-09-19 | 河海大学常州校区 | 一种数据业务接入网络的切换方法、装置及移动终端 |
| CN103135968A (zh) * | 2011-11-24 | 2013-06-05 | 上海华建电力设备股份有限公司 | 一种智能显示终端系统 |
| CN103838464A (zh) * | 2014-03-06 | 2014-06-04 | 北京保益互动科技发展有限公司 | 盲人手机读屏图形控件自动适配方法 |
| CN104460970A (zh) * | 2013-11-25 | 2015-03-25 | 安徽寰智信息科技股份有限公司 | 人机交互装置 |
| CN104516405A (zh) * | 2013-09-27 | 2015-04-15 | 施耐德电器工业公司 | 人机交互设备 |
| CN110110073A (zh) * | 2018-01-26 | 2019-08-09 | 北京高德云图科技有限公司 | 一种文字展示方法及装置 |
| CN111475131A (zh) * | 2020-04-07 | 2020-07-31 | 上海思依暄机器人科技股份有限公司 | 音频绘图方法、装置及音频绘图设备 |
-
2009
- 2009-04-23 CN CN200910061752A patent/CN101533348A/zh active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103135968A (zh) * | 2011-11-24 | 2013-06-05 | 上海华建电力设备股份有限公司 | 一种智能显示终端系统 |
| CN102685835A (zh) * | 2012-05-24 | 2012-09-19 | 河海大学常州校区 | 一种数据业务接入网络的切换方法、装置及移动终端 |
| CN104516405A (zh) * | 2013-09-27 | 2015-04-15 | 施耐德电器工业公司 | 人机交互设备 |
| CN104460970A (zh) * | 2013-11-25 | 2015-03-25 | 安徽寰智信息科技股份有限公司 | 人机交互装置 |
| CN103838464A (zh) * | 2014-03-06 | 2014-06-04 | 北京保益互动科技发展有限公司 | 盲人手机读屏图形控件自动适配方法 |
| CN103838464B (zh) * | 2014-03-06 | 2017-03-08 | 北京保益互动科技发展有限公司 | 盲人手机读屏图形控件自动适配方法 |
| CN110110073A (zh) * | 2018-01-26 | 2019-08-09 | 北京高德云图科技有限公司 | 一种文字展示方法及装置 |
| CN111475131A (zh) * | 2020-04-07 | 2020-07-31 | 上海思依暄机器人科技股份有限公司 | 音频绘图方法、装置及音频绘图设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101533348A (zh) | 一种人机交互平台 | |
| CN106062705B (zh) | 跨平台渲染引擎 | |
| TWI695320B (zh) | 頁面處理方法、裝置及設備 | |
| Nosrati et al. | Mobile computing: principles, devices and operating systems | |
| Okediran et al. | Mobile operating systems and application development platforms: A survey | |
| CN109634603B (zh) | 一种基于Canvas画布的H5页面制作方法和装置 | |
| CN107450897B (zh) | 图形引擎的跨平台移植方法和装置 | |
| CN102007512A (zh) | 多层幻灯片过渡 | |
| KR20150028127A (ko) | 디스플레이 장치 및 그 제어 방법 | |
| CN102109971A (zh) | 可无线传输标绘信息的幻灯演示系统 | |
| JP2021182421A (ja) | ラベル付けツールの生成方法と装置、ラベル付け方法と装置、電子デバイス、記憶媒体及びプログラム | |
| KR20180082845A (ko) | 전자책 서비스 제공방법 및 그를 위한 컴퓨터 프로그램 | |
| CN103793219A (zh) | 一种移动终端应用程序开发系统及方法 | |
| Gogolla et al. | Towards three-dimensional representation and animation of UML diagrams | |
| CN101326513B (zh) | 使用辅助工具图形管道的方法 | |
| WO2017006223A1 (en) | Graphic engine for creating and executing applications with multisensory interfaces | |
| CN116843879B (zh) | 一种跨引擎vr编辑场景生成方法及系统 | |
| CN107168738A (zh) | 一种应用工具的管理方法、装置、设备和存储介质 | |
| CN103677528A (zh) | 一种信息处理方法和电子设备 | |
| CN115686700A (zh) | 渲染方法及电子设备 | |
| CN109544701B (zh) | 一种三维模型显示和编辑的方法 | |
| TWI490815B (zh) | 影像效果顯示方法及電子裝置 | |
| CN114115691A (zh) | 电子设备及其交互方法、介质 | |
| CN111506847B (zh) | 网页展示方法、装置、设备及可读存储介质 | |
| CN103136011B (zh) | 一种便携式多媒体设备及其操作方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20090916 |