CN201955771U - 人机交互系统 - Google Patents
人机交互系统 Download PDFInfo
- Publication number
- CN201955771U CN201955771U CN201020607435XU CN201020607435U CN201955771U CN 201955771 U CN201955771 U CN 201955771U CN 201020607435X U CN201020607435X U CN 201020607435XU CN 201020607435 U CN201020607435 U CN 201020607435U CN 201955771 U CN201955771 U CN 201955771U
- Authority
- CN
- China
- Prior art keywords
- virtual desktop
- robot
- projection
- infrared light
- man
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
一种人机交互系统，包括：根据投影信息通过投影展示虚拟桌面的投影装置；发射与所述虚拟桌面平行并覆盖虚拟桌面的红外光的红外发射装置；接收交互手势反射的红外光的图像采集装置；在所述虚拟桌面中响应所述交互手势的机器人；分别与所述投影装置、红外发射装置、图像采集装置以及机器人电气连接的用来发送投影信息并根据所述交互手势反射的红外光，生成响应指令的处理器。上述人机交互系统中构建虚拟桌面，并在虚拟桌面上实现了用户与机器人之间的交互，对机器人而言，只需要与虚拟桌面接触即可完成所需要的操作，因此，可有效地降低机器人结构的复杂度，有效的提高了交互过程的智能化、速度及效率。
Description
【技术领域】
本实用新型涉及人机交互技术，特别是涉及一种人机交互系统。
【背景技术】
随着机器人技术的快速发展，机器人的应用已经逐渐从高端的工业应用走向了普通家居生活，而且正在迅速形成一个庞大的新兴产业——家居服务或管家机器人，而作为其中的一项关键技术——人机交互技术，即用户以何种方式实现与机器人之间的交流与控制，这已成为目前机器人领域的研究热点。随着人机交互通道、交互设备等的发展，在计算机领域中，人机交互技术的发展经历了非交互的批处理方式、文本(一维)方式、图形(二维)界面、多媒体与网络化等几个阶段。目前国内外正在开展的“以人为中心”的自然和谐的交互技术已经成为人机交互领域的发展趋势，在娱乐机器人中，需要设计者实现“以人为中心”的理念，增强用户在与机器人交互性能。
传统的人机交互系统中采用基于可见光的手势识别技术，对计算机的计算能力、摄像头的分辨率都有着非常高的要求，处理过程也非常复杂。
【实用新型内容】
基于此，有必要提供一种可加快处理过程的人机交互系统。
一种人机交互系统，包括：根据投影信息通过投影展示虚拟桌面的投影装置；发射与所述虚拟桌面平行并覆盖虚拟桌面的红外光的红外发射装置；接收交互手势反射的红外光的图像采集装置；在所述虚拟桌面中响应所述交互手势的机器人；分别与所述投影装置、红外发射装置、图像采集装置以及机器人电气连接的用来发送投影信息并根据所述交互手势反射的红外光，生成响应指令的处理器。
优选地，所述红外发射装置是发射红外光与所述投影装置投影的虚拟桌面平行的红外发射装置。
优选地，所述红外发射装置在距离所述投影装置投影的虚拟桌面1～15毫米的位置发射平行于所述虚拟桌面的红外光。
优选地，所述图像采集装置包括摄像头以及安装于所述摄像头上的光波滤片。
优选地，所述图像采集装置为红外摄像机。
优选地，所述投影装置为投影仪。
上述人机交互系统中构建虚拟桌面，并在虚拟桌面上实现了用户与机器人之间的交互，对机器人而言，只需要与虚拟桌面接触即可完成所需要的操作，因此，可有效地降低机器人结构的复杂度，有效的提高了交互过程的智能化、速度及效率。
上述人机交互系统通过发射红外光探测用户的交互手势，简化了由红外光所生成的图像的处理过程，提高了处理速度，有效地降低了噪声的干扰，提高了系统的可靠性。
【附图说明】
图1为一实施例中人机交互系统的详细示意图；
图2为一实施例中处理器的模块图；
图3为一实施例中人机交互系统的示意图。
【具体实施方式】
图1示出了一实施例中的人机交互系统，包括投影装置10、红外发射装置20、图像采集装置30、机器人40以及处理器50，其中：
投影装置10用来根据投影信息通过投影展示虚拟桌面；红外发射装置20用来发射与虚拟桌面平行并覆盖虚拟桌面的红外光；图像采集装置30用来接收交互手势反射的红外光；机器人40在虚拟桌面中响应交互手势；处理器50分别与投影装置10、红外发射装置20、图像采集装置30以及机器人40电气连接， 用来发送投影信息并根据交互手势反射的红外光，生成响应指令。
投影装置10可以是投影仪，本实施例中，投影信息记录了图形操作界面，例如，投影信息可以是记录了棋盘、棋子及用户操作界面等内容，以便于构建虚拟桌面。如电脑显示屏中看到的桌面一样，虚拟桌面也是一种为用户提供操作界面的方式，所不同的是，虚拟桌面中可通过直接的接触进行控制，而不再需要繁琐的鼠标的方式进行控制。投影信息中记录了图形操作界面，投影装置10通过投影的方式，投影出虚拟桌面。
红外发射装置20是发射红外光与投影装置10投影的虚拟桌面平行的红外发射装置20。本实施例中，红外发射装置20在距离投影装置10投影的虚拟桌面1～15毫米的位置发射平行于虚拟桌面的红外光。
图像采集装置30可包括摄像头以及安装于摄像头上的光波滤片，从而使得摄像头仅接收红外光，即在光波滤片的作用下，仅允许红外光通过，这样使得人机交互系统中仅针对红外光进行处理，有效地剔除了可见光的噪声干扰。另一实施例中，图像采集装置30也可以是红外摄像机。用户的交互手势与虚拟桌面相接触，切断了平行于虚拟桌面的红外光，并使得红外光发生反射，例如，虚拟桌面可以是一五子棋的棋盘，棋盘中布设有虚拟的棋子，当用户的手指末端接触虚拟桌面时，平行于桌面的红外光被切断以发生反射。图像采集装置30接收通过交互手势反射的红外光，以便于获取交互手势的图像，从而实现对交互手势的定位。
机器人40根据响应指令，得到响应该交互手势的运动轨迹，从而沿着运动轨迹执行相应的操作，例如，机器人40的手臂可沿着运动轨迹在虚拟桌面上执行相应的操作。由于机器人40只需在虚拟桌面上响应用户的交互手势，其手臂无需进行复杂的抓取等动做，可极大地降低了机器人40的复杂度。
处理器50向投影装置10发送投影信息，以便于投影出供用户使用的虚拟桌面。随着用户的交互手势，处理器50根据交互手势反射的红外光实现对交互手势的空间定位，从而响应该交互手势。
如图2所示，在一个具体的实施例中，处理器50包括计算模块52以及决策模块54，其中：
计算模块52用来根据反射的红外光，解算出交互手势的空间坐标；决策模块54与计算模块52连接用来通过空间坐标及预设策略，生成响应指令。
计算模块52通过反射的红外光生成图像，对图像进行二值化处理，得到与交互手势相对应的手势区域，计算手势区域的空间坐标。具体地，计算模块52根据反射的红外光生成图像，使得图像中的信息较少，可有效地加快处理过程，相对于传统的交互系统中使用的可见光，红外光生成的图像更易于处理，其可靠性更高。红外光的图像中记录了交给手势及其它信息，分为与交互手势相对应的手势区域以及背景，其中，手势区域的亮度大，灰度值高。而背景亮度低，灰度值也低，计算模块52通过图像的二值化处理，将手势区域转化为白色，背景转化为黑色，再对白色区域进行几何计算确定其中心位置。
决策模块54中的预设策略可以是与交互手势相对应的动作，根据交互手势的空间坐标及预设策略，可以得到响应用户交互手势的动作，进而生成响应指令。
在另一实施例中，处理器50进一步用于根据响应指令生成投影信息，投影装置10进一步用于根据投影信息更新虚拟桌面。本实施例中，随着对交互手势的响应，其虚拟桌面也在发生着变化，因此，在接收到响应指令时，需要处理器50根据该响应指令，生成相应的投影信息，投影装置10对虚拟桌面进行更新，以便于在响应交互手势的操作执行时，虚拟桌面也显示相应的内容。
下面结合一个详细的实施例来阐述上述人机交互系统的应用过程。该实施例中，机器人40以下棋机器人为例，人机交互系统中的交互过程为用户与下棋机器人进行互动，下五子棋的过程。投影装置10根据投影信息中记录的五子棋的棋盘，投影出一个虚拟的棋盘，可供用户直接接触。红外发射装置20在距离虚拟的棋盘1～15毫米的位置发射红外光，使得红外光完全覆盖了虚拟的棋盘。用户的手指与虚拟的棋盘相接触，说明将在接触位置投射出一枚棋子(黑子或白子)，红外发射装置20所发射出的红外光被用户的手指切断，并反射，图像采集装置30接收被用户手指反射的红外光，并传送至处理器50中，此时，计算模块52根据接收到的红外光生成图像，并对图像进行二值化处理得到与用户 手指相对应的手势区域，计算手势区域的空间坐标。决策模块54通过空间坐标及预设策略，计算得到机器人40手臂的空间运动轨迹，预设策略中包括了棋谱及预先建立的运动模型，对应用户所投射出的棋子，决策模块54根据棋谱获知机器人40此时应当投射的棋子，由于采用的是虚拟的棋盘，因此机器人40的手臂与虚拟的棋盘的接触位置即为机器人40的落子位置。机器人40手臂的初始位置为任意的A点，落子位置为B点，即机器人40手臂由A点运动至B点，决策模块54采用空间B样条曲线计算机器人20手臂的空间运动轨迹，根据A点和B点通过B样条插值得到机器人40手臂的空间运动点，并根据预先建立的运动模型，计算出不同空间运动点中对应的各个关节的旋转角度，最终形成完整的空间运动轨迹，生成响应指令。机器人40手臂根据响应指令，与虚拟的棋盘接触，同时，处理器50根据响应指令生成投影信息，投影装置10根据投影信息，在机器人40手臂与虚拟的棋盘的接触位置投影出机器人40下子后的棋盘。机器人40手臂在下棋的过程中通过虚拟的棋盘和投影装置10完成棋子的投射，而不需要抓取棋子，进而减化了机器人的复杂度。
上述人机交互系统中的机器人可以是用于下棋等娱乐活动的娱乐机器人，也可以是其它的交互式家庭服务机器人。
上述人机交互系统中构建虚拟桌面，并在虚拟桌面上实现了用户与机器人之间的交互，对机器人而言，只需要与虚拟桌面接触即可完成所需要的操作，因此，可有效地降低机器人结构的复杂度，有效的提高了交互过程的智能化、速度及效率。
上述人机交互系统通过发射红外光探测用户的交互手势，简化了由红外光所生成的图像的处理过程，提高了处理速度，有效地降低了噪声的干扰，提高了系统的可靠性。
以上所述实施例仅表达了本实用新型的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本实用新型专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干变形和改进，这些都属于本实用新型的保护范围。因此，本实用新型专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种人机交互系统，其特征在于，包括：
根据投影信息通过投影展示虚拟桌面的投影装置；
发射与所述虚拟桌面平行并覆盖虚拟桌面的红外光的红外发射装置；
接收交互手势反射的红外光的图像采集装置；
在所述虚拟桌面中响应所述交互手势的机器人；
分别与所述投影装置、红外发射装置、图像采集装置以及机器人电气连接的用来发送投影信息并根据所述交互手势反射的红外光，生成响应指令的处理器。
2.根据权利要求1所述的人机交互系统，其特征在于，所述红外发射装置是发射红外光与所述投影装置投影的虚拟桌面平行的红外发射装置。
3.根据权利要求2所述的人机交互系统，其特征在于，所述红外发射装置在距离所述投影装置投影的虚拟桌面1～15毫米的位置发射平行于所述虚拟桌面的红外光。
4.根据权利要求1所述的人机交互系统，其特征在于，所述图像采集装置包括摄像头以及安装于所述摄像头上的光波滤片。
5.根据权利要求1所述的人机交互系统，其特征在于，所述图像采集装置为红外摄像机。
6.根据权利要求1所述的人机交互系统，其特征在于，所述投影装置为投影仪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201020607435XU CN201955771U (zh) | 2010-11-15 | 2010-11-15 | 人机交互系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201020607435XU CN201955771U (zh) | 2010-11-15 | 2010-11-15 | 人机交互系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN201955771U true CN201955771U (zh) | 2011-08-31 |
Family
ID=44499877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201020607435XU Expired - Lifetime CN201955771U (zh) | 2010-11-15 | 2010-11-15 | 人机交互系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN201955771U (zh) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402810A (zh) * | 2011-12-27 | 2012-04-04 | 华南理工大学 | 应用新型虚拟键盘的门禁系统 |
| CN103116401A (zh) * | 2013-02-05 | 2013-05-22 | 深圳市中科睿成智能科技有限公司 | 一种光幕交互投影系统及其投影方法 |
| CN103310683A (zh) * | 2013-05-06 | 2013-09-18 | 深圳先进技术研究院 | 智能眼镜及基于智能眼镜的语音交流系统及方法 |
| WO2014032274A1 (zh) * | 2012-08-31 | 2014-03-06 | 神画科技（深圳）有限公司 | 一种互动模组和互动手机 |
| WO2014094552A1 (zh) * | 2012-12-18 | 2014-06-26 | 联想(北京)有限公司 | 投影仪和摄像机交互的方法及系统 |
| CN104959984A (zh) * | 2015-07-15 | 2015-10-07 | 深圳市优必选科技有限公司 | 一种智能机器人的控制系统 |
| CN105426817A (zh) * | 2015-10-30 | 2016-03-23 | 上海集成电路研发中心有限公司 | 基于红外成像的手势位置识别装置及识别方法 |
| CN106303476A (zh) * | 2016-08-03 | 2017-01-04 | 纳恩博（北京）科技有限公司 | 机器人的控制方法和装置 |
| CN106514665A (zh) * | 2016-11-24 | 2017-03-22 | 上海澜苍信息科技有限公司 | 教育机器人及其控制方法 |
| DE102016221861A1 (de) | 2016-11-08 | 2018-05-09 | Volkswagen Aktiengesellschaft | Einrichtung und Verfahren zur Einwirkung auf Gegenstände |
| CN109343709A (zh) * | 2013-06-13 | 2019-02-15 | 原相科技股份有限公司 | 具有手势感测器的装置 |
| CN111788432A (zh) * | 2018-03-07 | 2020-10-16 | Bsh家用电器有限公司 | 交互模块 |
| CN112245899A (zh) * | 2020-11-05 | 2021-01-22 | 深圳桦意智创科技有限公司 | 激光投影虚拟棋盘设备及其使用方法 |
| CN113318425A (zh) * | 2020-12-23 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 一种新型游戏装置与控制方法 |
| CN113318426A (zh) * | 2020-12-23 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 一种新型游戏系统 |
| CN113318424A (zh) * | 2020-12-23 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 一种新型游戏装置与控制方法 |
| CN116069433A (zh) * | 2023-03-08 | 2023-05-05 | 山东乾云启创信息科技股份有限公司 | 基于虚拟桌面基础架构和动作识别的图像漂移方法及系统 |
| US11740703B2 (en) | 2013-05-31 | 2023-08-29 | Pixart Imaging Inc. | Apparatus having gesture sensor |
-
2010
- 2010-11-15 CN CN201020607435XU patent/CN201955771U/zh not_active Expired - Lifetime
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102402810A (zh) * | 2011-12-27 | 2012-04-04 | 华南理工大学 | 应用新型虚拟键盘的门禁系统 |
| WO2014032274A1 (zh) * | 2012-08-31 | 2014-03-06 | 神画科技（深圳）有限公司 | 一种互动模组和互动手机 |
| WO2014094552A1 (zh) * | 2012-12-18 | 2014-06-26 | 联想(北京)有限公司 | 投影仪和摄像机交互的方法及系统 |
| CN103116401A (zh) * | 2013-02-05 | 2013-05-22 | 深圳市中科睿成智能科技有限公司 | 一种光幕交互投影系统及其投影方法 |
| CN103116401B (zh) * | 2013-02-05 | 2016-01-06 | 深圳市中科睿成智能科技有限公司 | 一种光幕交互投影系统及其投影方法 |
| CN103310683A (zh) * | 2013-05-06 | 2013-09-18 | 深圳先进技术研究院 | 智能眼镜及基于智能眼镜的语音交流系统及方法 |
| US11740703B2 (en) | 2013-05-31 | 2023-08-29 | Pixart Imaging Inc. | Apparatus having gesture sensor |
| CN109343709A (zh) * | 2013-06-13 | 2019-02-15 | 原相科技股份有限公司 | 具有手势感测器的装置 |
| CN109343709B (zh) * | 2013-06-13 | 2022-05-06 | 原相科技股份有限公司 | 具有手势感测器的装置 |
| CN104959984A (zh) * | 2015-07-15 | 2015-10-07 | 深圳市优必选科技有限公司 | 一种智能机器人的控制系统 |
| CN105426817B (zh) * | 2015-10-30 | 2019-08-20 | 上海集成电路研发中心有限公司 | 基于红外成像的手势位置识别装置及识别方法 |
| CN105426817A (zh) * | 2015-10-30 | 2016-03-23 | 上海集成电路研发中心有限公司 | 基于红外成像的手势位置识别装置及识别方法 |
| CN106303476A (zh) * | 2016-08-03 | 2017-01-04 | 纳恩博（北京）科技有限公司 | 机器人的控制方法和装置 |
| DE102016221861B4 (de) | 2016-11-08 | 2022-05-05 | Volkswagen Aktiengesellschaft | Einrichtung und Verfahren zur Einwirkung auf Gegenstände |
| DE102016221861A1 (de) | 2016-11-08 | 2018-05-09 | Volkswagen Aktiengesellschaft | Einrichtung und Verfahren zur Einwirkung auf Gegenstände |
| CN106514665A (zh) * | 2016-11-24 | 2017-03-22 | 上海澜苍信息科技有限公司 | 教育机器人及其控制方法 |
| CN111788432A (zh) * | 2018-03-07 | 2020-10-16 | Bsh家用电器有限公司 | 交互模块 |
| CN112245899A (zh) * | 2020-11-05 | 2021-01-22 | 深圳桦意智创科技有限公司 | 激光投影虚拟棋盘设备及其使用方法 |
| CN113318424A (zh) * | 2020-12-23 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 一种新型游戏装置与控制方法 |
| CN113318426A (zh) * | 2020-12-23 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 一种新型游戏系统 |
| CN113318426B (zh) * | 2020-12-23 | 2023-05-26 | 广州富港生活智能科技有限公司 | 一种新型游戏系统 |
| CN113318424B (zh) * | 2020-12-23 | 2023-07-21 | 广州富港生活智能科技有限公司 | 一种新型游戏装置与控制方法 |
| CN113318425A (zh) * | 2020-12-23 | 2021-08-31 | 广州富港万嘉智能科技有限公司 | 一种新型游戏装置与控制方法 |
| CN116069433A (zh) * | 2023-03-08 | 2023-05-05 | 山东乾云启创信息科技股份有限公司 | 基于虚拟桌面基础架构和动作识别的图像漂移方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN201955771U (zh) | 人机交互系统 | |
| CN102012740A (zh) | 人机交互方法及系统 | |
| US11494003B1 (en) | Gesture keyboard method and apparatus | |
| US9152306B2 (en) | Techniques for touch and non-touch user interaction input | |
| CN101794171A (zh) | 基于红外光运动捕捉的无线感应交互系统 | |
| CN202150897U (zh) | 一种体感控制游戏电视机 | |
| US9360933B2 (en) | Virtual links between different displays to present a single virtual object | |
| US8717318B2 (en) | Continued virtual links between gestures and user interface elements | |
| CN102253737B (zh) | 一种屏幕视觉鼠标系统的实现方法 | |
| CN109785420B (zh) | 一种基于Unity引擎的3D场景拾色方法及系统 | |
| CN102460373A (zh) | 表面计算机用户交互 | |
| CN101866243A (zh) | 三维空间触控操作的方法及其手势 | |
| CN105324736A (zh) | 触摸式和非触摸式用户交互输入的技术 | |
| CN103609093B (zh) | 一种互动手机 | |
| CN104950902A (zh) | 多旋翼飞行器的控制方法及多旋翼飞行器 | |
| CN107589848A (zh) | 一种交互显示方法、终端及交互显示系统 | |
| Matulic et al. | Phonetroller: Visual representations of fingers for precise touch input with mobile phones in vr | |
| JP6948420B2 (ja) | インタラクション方法、機器、システム、電子機器及び記憶媒体 | |
| CN203350807U (zh) | 一种带互动功能的显示系统 | |
| CN101800866B (zh) | 一种在电视机显示屏上实现定位交互的方法及其系统 | |
| CN104914985A (zh) | 手势控制方法及系统与视频流处理装置 | |
| CN113467625A (zh) | 虚拟现实的控制设备、头盔和交互方法 | |
| Lim et al. | Interactive augmented reality system using projector-camera system and smart phone | |
| CN202957861U (zh) | 一种互动手机 | |
| CN102645988A (zh) | 一种基于多点触摸的图像操作人机交互系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CX01 | Expiry of patent term | ||
| CX01 | Expiry of patent term |
Granted publication date: 20110831 |