CN114706486A - 基于手势识别的混合现实工业控制方法及装置 - Google Patents

基于手势识别的混合现实工业控制方法及装置 Download PDF

Info

Publication number
CN114706486A
CN114706486A CN202210443138.3A CN202210443138A CN114706486A CN 114706486 A CN114706486 A CN 114706486A CN 202210443138 A CN202210443138 A CN 202210443138A CN 114706486 A CN114706486 A CN 114706486A
Authority
CN
China
Prior art keywords
gesture
mixed reality
image
industrial
gesture recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210443138.3A
Other languages
English (en)
Inventor
翟震
马力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan University
Original Assignee
Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan University filed Critical Sichuan University
Priority to CN202210443138.3A priority Critical patent/CN114706486A/zh
Publication of CN114706486A publication Critical patent/CN114706486A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于手势识别的混合现实工业控制方法及装置,所述方法由手势识别和工业控制两部分组成,具体包括,启动工业设备和混合现实系统;图像采集模块实时采集用户手势图像,同步显示于图像显示模块;根据预设手势识别算法,识别手势图像,并与预设手势图像匹配;若匹配成功,系统通过无线通信模块,发送工业控制命令;工业设备接收到命令后,执行相应操作。本发明应用于非接触式工业控制自动化及人机交互,低成本地解决了当前工业控制实时性差,效率低等问题。同时,本发明从系统角度,提出了一种基于手势识别的混合现实工业控制装置,易于工程实现。该方法和装置能够以较低成本快速、准确地识别手势,并协助工作人员实时控制工业设备。

Description

基于手势识别的混合现实工业控制方法及装置
技术领域
本发明涉及人机交互技术领域,具体来说是一种基于手势识别的混合现实工业控制方法及装置。
背景技术
随着增强现实(AR)、虚拟现实(VR)及机器学习(ML)等相关学科的发展,人机交互技术(HCI)逐渐从以“计算机为中心”向“以人为中心”转移。自“工业4.0”以及《中国制造2025》提出以来,现代工业控制迫切需要向智能化转型。
实现工业控制智能化的前提之一在于信息连通性,传统的工业控制方式基于按键式、触摸式,无法保证人机交互过程中的实时性,导致工业控制效率低,作业周期长。基于混合现实技术(MR)的协同制造可令工作人员通过混合现实装置,取得背景数据无缝、直观的视线线索,从而协助工作人员实时获取工作中的关键信息,并高效完成相关工作。
科学技术的发展促使人机交互方式不断升级,手势识别相关技术日趋成熟。手势识别的一个关键技术在于如何提取手势特征,目前常用的手势特征提取方法包括:利用可穿戴设备辅助进行手势特征提取,利用多摄像头进行立体空间提取手势活动或利用机器学习算法对大量手势数据集进行训练学习。
然而,上述方法中采用可穿戴设备难免会影响用户体验;采用多摄像头方式需要配备多个高精度摄像头,成本高,并且空间局限性大;机器学习算法需要建立庞大的数据库,对于硬件设备及计算机算力要求高。
本发明提出了一种基于手势识别的增强现实工业控制方法及装置。相对上述方法,本发明基于计算机视觉的无标记、非接触式的手势跟踪识别,更加适用于工业控制自动化及人机交互操作。
发明内容
为克服上述已存在的问题,本发明旨在提出一种基于手势识别的混合现实工业控制方法及装置,能够以较低成本快速、准确地识别手势,并协助工作人员实时控制工业设备。
为此,本发明的第一个目的是提出一种基于手势识别的混合现实工业控制方法,由设备初始化、手势识别、工业控制三部分组成,具体包括以下步骤。
步骤一:设备初始化,启动工业设备,启动混合现实系统中的图像采集、图像显示以及无线通信模块。
步骤二:图像采集模块实时采集工作人员手势图像,并实时显示手势识别采样点及手势特征在图像显示模块上。
步骤三:根据预设手势识别算法,对采集的手势图像进行识别,并与预设手势图像进行匹配。
步骤四:若手势匹配成功,则混合现实系统通过无线通信模块,发送工业控制相关命令。
步骤五:工业设备接收到工业控制相关命令后,执行工业控制相关操作。
前述的步骤二中,图像采集模块实时采集工作人员手势图像,并进行手势追踪,若手势存在,则显示手势识别采样点及手势特征在图像显示模块上,工作人员实时观察手势特征;若手势不存在,则判断是否终止手势追踪。若手势追踪不终止,则继续手势追踪;若手势追踪终止,则系统结束运行。
前述的步骤三中,混合现实系统首先确定手势识别图像关键帧,再通过预设手势识别算法,进行手势匹配。
为应用上述方法,本发明的第二个目的是提出一种基于手势识别的混合现实工业控制装置,所述装置包括。
图像采集单元,用于手势追踪并采集工作人员的手势图像帧。
图像显示单元,用于显示工作人员的手势采样点及手势特征。
图像处理单元,用于运行手势识别算法,与预设手势图像进行特征匹配及执行工业控制相关命令。
存储单元,用于存储手势识别算法及预设手势图像。
无线通信模块,用于发送和接受工业控制相关命令。
供电单元,用于存储电能,并给各单元提供电能。
执行设备,用于执行工业控制相关命令。
本发明应用于非接触式工业控制自动化及人机交互,低成本地解决了当前工业控制实时性差,工作效率低等问题,提高了工作人员的操作体验感及操作效率。
附图说明
利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
图1为本发明所提出的基于手势识别的混合现实工业控制方法的流程示意图。
图2为本发明示出的基于手势识别的混合现实工业控制命令的信息示意图。
图3为本发明实施例一的基于手势识别的混合现实工业控制方法的流程示意图。
图4为本发明实施例二的基于手势识别的混合现实工业控制装置的硬件系统示意图。
图5为本发明实施例三的基于手势识别的混合现实工业控制装置的结构示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施例加以详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而不能以此来限制本发明的保护范围。另外还需说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一。
图1示出了本发明所提出的基于手势识别的混合现实工业控制方法的流程示意图,该方法包括。
步骤一:设备初始化,启动工业设备,启动混合现实系统中的图像采集、图像显示以及无线通信模块。
步骤二:图像采集模块实时采集工作人员手势图像,并实时显示手势识别采样点及手势特征在图像显示模块上。
步骤三:根据预设手势识别算法,对采集的手势图像进行识别,并与预设手势图像进行匹配。
步骤四:若手势匹配成功,则混合现实系统通过无线通信模块,发送工业控制相关命令。
步骤五:工业设备接收到工业控制相关命令后,执行工业控制相关操作。
在本发明的实施例一中,图2示出了一组预设手势命令,预设手势命令包括但不限于:抬高命令,手部呈掌状平摊,平稳向上移动,命令控制设备做出抬高操作;降低命令,手部呈掌状平摊,平稳向下移动,命令控制设备做出降低操作;停手势,从最初的掌状,手指逐渐合拢,最后变为拳状,命令控制设备暂停操作;动手势,从最初的拳状,手指逐渐张开,最后变为掌状,命令控制设备启动;慢手势,手部呈掌状平摊,平稳向左移动,命令控制设备移动速度减慢;快手势,手部呈掌状平摊,平稳向右移动,命令控制设备移动速度加快。
在本实施例中,为了避免误操作,需要工作人员完成一定时长的手势操作,并在图像显示模块上通过计时器计时来确认手势状态后,才能手势匹配成功,发送工业控制相关命令。
图3示出了根据本发明实施例一的另一种基于基于手势识别的混合现实工业控制方法的流程示意图。如图3所示,在S301处,打开混合现实装置,启动程序;在S303处,初始化混合现实装置;同时在S302处,启动工业设备,并在S304处,初始化工业设备,工业设备初始化完成后,转到S312处,进入等待接受控制命令状态。
混合现实装置各模块初始化完成后,启动手势识别流程。
在S305处,图像采集模块实时采集工作人员手势,并做手势跟踪。
在S306处,判断手势是否存在,若手势存在,则转S307处理,否则转S308处理。
在S307处,显示手势识别采样点及手势特征在图像显示模块上。
在S308处,判断是否终止手势追踪,若手势追踪终止,则退出手势识别;若手势最终不终止,则转S305处。
在S309处,确定手势识别图像关键帧。
在S310处,通过预设手势识别算法,进行目标手势匹配,若匹配成功,则转S311处,若匹配失败,则转S305处。
手势匹配成功后,启动工业控制流程。
在S311处,混合现实装置通过无线通信模块,发送工业设备相关控制命令给工业设备。命令发送完成后,混合现实设备转到S314处,等待接收ACK命令。
在S312处,工业设备处于等待接收控制命令状态,若收到控制命令,则转到S313处,若未收到控制命令,则转回至S312处,继续等待。
在S313处,工业设备通过无线通信模块,发送ACK命令给混合现实装置。
在S314处,判断是否接收到工业设备发送的ACK命令,若收到ACK命令,则转到S315处,若未收到ACK命令,则转回至S314处,继续等待。
在S315处,混合现实装置的图像显示模块显示当前工业设备操作状态。
在S316处,工业设备按照控制命令,执行相关设备操作。
在S317处,工业设备完成相关操作,通过无线通信模块发送操作完成命令给混合现实装置。
在S318处,混合现实装置判断是否接收到工业设备操作完成命令,若收到,则转至S319处,若未收到,则转至S315处。
在S319处,混合现实装置通过无线通信模块,发送ACK命令给工业设备。
在S320处,工业设备判断是否收到ACK命令,若收到命令,则转至S312处,若未收到命令,则转回S320处,继续等待。
在S321处,混合现实装置显示当前设备状态,并转至S305,进行手势跟踪。
实施例二。
图4示出了根据本发明实施例二的基于手势识别的混合现实工业控制装置的硬件系统示意图,该装置由混合现实装置和工业设备两部分组成,具体包括。
图像处理单元S410,用于混合现实装置系统启动、各模块运行、手势识别算法执行等操作。
图像采集单元S420,用于实时采集工作人员的手势图像,具体包括:图像采集传感器S421,用于做图像数据采集预处理;图像采集设备S422,用于采集图像;以及连接各个模块的连接线。
图像显示单元S430,用于显示手势识别特征及相关控制状态,具体包括:图像显示设备S431,用于显示图像信息;图像显示模组S432,用于处理图像数据;以及连接各个模块的连接线。
混合现实装置的无线通信模块S440,用于发送工业设备控制相关命令以及接收工业设备状态命令。
存储单元S450,用于存储系统程序、手势识别算法、预设手势命令等。
供电单元S460,用于给混合现实装置各个单元进行供电,具体包括:电源管理模块S461,用于将外部电能转换成电池电能以及将电池电能转换成各个单元的供电电平;充电模组S462,用于外部电源电平转换成电池充电电平;电池S463,用于存储电能;以及连接各个模组的连接线。
工业设备的无线通信模块S470,用于发送工业设备状态命令以及接收工业设备控制相关命令。
执行设备S480,用于执行工业设备控制命令的相关操作。
实施例三。
图5为本发明实施例三的基于手势识别的混合现实工业控制装置的结构示意图,本实施例在上述各实施例的基础上,提供一个优选实施例,参考图5,具体包括。
混合现实工业控制装置包括一个镜架S510,一个供电单元S520,一个混合现实单元S530,一个电源连接线S540。
其中,供电单元S520由一个充电接口S521,一个充电模组S522,一个电池组S523,一个电源管理模组S524组成,通过电源连接线S540为整个混合现实单元S530提供电源。
混合现实单元S530由一个无线通信模块S531,一个存储单元S532,一个处理器S533,一个图像采集传感器S534,一个图像采集设备S535,一个图像显示模组S536,一个图像显示设备S537,一个图像显示设备连接结构件S538组成,用于采集手势图像,运行手势识别算法并显示手势识别特征及工业设备运行状态。
最后应当说明的是,以上实施例仅用于说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照优选实施例对本发明做了详细地说明,本领域的普通技术人员应当分析,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

Claims (8)

1.基于手势识别的混合现实工业控制方法,其特征在于,包括:
设备初始化,启动工业设备,启动混合现实系统中的图像采集、图像显示以及无线通信模块;
图像采集模块实时采集工作人员手势图像,并实时显示手势识别采样点及手势特征在图像显示模块上;
根据预设手势识别算法,对采集的手势图像进行识别,并与预设手势图像进行匹配;
若手势匹配成功,则混合现实系统通过无线通信模块,发送工业控制相关命令;
工业设备接收到工业控制相关命令后,执行工业控制相关操作。
2.根据权利要求1所述的基于手势识别的混合现实工业控制方法,其特征在于,所述图像采集模块实时采集工作人员手势图像,包括:
图像采集模块实时采集工作人员手势图像,并进行手势追踪,若手势存在,则显示手势识别采样点及手势特征在图像显示模块上,工作人员实时观察手势特征;若手势不存在,则判断是否终止手势追踪;若手势追踪不终止,则继续手势追踪;若手势追踪终止,则系统结束运行。
3.根据权利要求1所述的基于手势识别的混合现实工业控制方法,其特征在于,所述根据预设手势识别算法,对采集的手势图像进行识别,并与预设手势图像进行匹配,包括:
混合现实系统首先确定手势识别图像关键帧,再通过预设手势识别算法,进行手势匹配。
4.根据权利要求1所述的基于手势识别的混合现实工业控制方法,其特征在于,所述工业设备接收到工业控制相关命令后,执行工业控制相关操作,包括:
混合现实装置通过无线通信模块,发送工业设备相关控制命令给工业设备;工业设备收到控制命令后,通过无线通信模块,发送ACK命令给混合现实装置;混合现实装置收到ACK命令后,显示当前工业设备操作状态在图像显示模块;工业设备按照控制命令,执行相关设备操作;工业设备完成相关操作,通过无线通信模块发送操作完成命令给混合现实装置;混合现实装置收到操作完成命令后,通过无线通信模块,发送ACK命令给工业设备;混合现实装置显示当前设备状态。
5.基于手势识别的混合现实工业控制装置,其特征在于,包括:
图像处理单元S410,用于混合现实装置系统启动、各模块运行、手势识别算法执行等操作;
图像采集单元S420,用于实时采集工作人员的手势图像;
图像显示单元S430,用于显示手势识别特征及相关控制状态;
混合现实装置的无线通信模块S440,用于发送工业设备控制相关命令以及接收工业设备状态命令;
存储单元S450,用于存储系统程序、手势识别算法、预设手势命令等;
供电单元S460,用于给混合现实装置各个单元进行供电;
工业设备的无线通信模块S470,用于发送工业设备状态命令以及接收工业设备控制相关命令;
执行设备S480,用于执行工业设备控制命令的相关操作。
6.根据权利要求5所述的基于手势识别的混合现实工业控制装置的图像采集单元S420,包括图像采集传感器S421,用于做图像数据采集预处理;图像采集设备S422,用于采集图像;以及连接各个模块的连接线,其特征在于:
实时采集工作人员的手势图像。
7.根据权利要求5所述的基于手势识别的混合现实工业控制装置的图像显示单元S430,其组件包括图像显示设备S431,用于显示图像信息;图像显示模组S432,用于处理图像数据;以及连接各个模块的连接线,其特征在于:
用于显示手势识别特征及相关控制状态。
8.据权利要求书5所述的基于手势识别的混合现实工业控制装置的供电单元S460,其组件包括电源管理模块S461,用于将外部电能转换成电池电能以及将电池电能转换成各个单元的供电电平;充电模组S462,用于外部电源电平转换成电池充电电平;电池S463,用于存储电能;以及连接各个模组的连接线,其特征在于:
给混合现实装置各个单元提供电能。
CN202210443138.3A 2022-04-26 2022-04-26 基于手势识别的混合现实工业控制方法及装置 Pending CN114706486A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210443138.3A CN114706486A (zh) 2022-04-26 2022-04-26 基于手势识别的混合现实工业控制方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210443138.3A CN114706486A (zh) 2022-04-26 2022-04-26 基于手势识别的混合现实工业控制方法及装置

Publications (1)

Publication Number Publication Date
CN114706486A true CN114706486A (zh) 2022-07-05

Family

ID=82173851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210443138.3A Pending CN114706486A (zh) 2022-04-26 2022-04-26 基于手势识别的混合现实工业控制方法及装置

Country Status (1)

Country Link
CN (1) CN114706486A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116585941A (zh) * 2023-03-31 2023-08-15 湖南中医药大学 一种治疗类风湿关节炎的中药组合物及其制备方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105487673A (zh) * 2016-01-04 2016-04-13 京东方科技集团股份有限公司 一种人机交互系统、方法及装置
CN106899599A (zh) * 2017-03-09 2017-06-27 华东师范大学 一种工业环境实景增强式交互方法
CN107656505A (zh) * 2017-08-21 2018-02-02 杭州太若科技有限公司 使用增强现实设备控制人机协作的方法、装置和系统
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统
US20210072832A1 (en) * 2019-09-09 2021-03-11 Beijing Xiaomi Mobile Software Co., Ltd. Contactless gesture control method, apparatus and storage medium
KR102326507B1 (ko) * 2020-07-30 2021-11-15 이정근 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105487673A (zh) * 2016-01-04 2016-04-13 京东方科技集团股份有限公司 一种人机交互系统、方法及装置
US20180101237A1 (en) * 2016-01-04 2018-04-12 Boe Technology Group Co., Ltd. System, method, and apparatus for man-machine interaction
CN106899599A (zh) * 2017-03-09 2017-06-27 华东师范大学 一种工业环境实景增强式交互方法
CN107656505A (zh) * 2017-08-21 2018-02-02 杭州太若科技有限公司 使用增强现实设备控制人机协作的方法、装置和系统
US20190129607A1 (en) * 2017-11-02 2019-05-02 Samsung Electronics Co., Ltd. Method and device for performing remote control
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制系统
US20210072832A1 (en) * 2019-09-09 2021-03-11 Beijing Xiaomi Mobile Software Co., Ltd. Contactless gesture control method, apparatus and storage medium
KR102326507B1 (ko) * 2020-07-30 2021-11-15 이정근 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116585941A (zh) * 2023-03-31 2023-08-15 湖南中医药大学 一种治疗类风湿关节炎的中药组合物及其制备方法
CN116585941B (zh) * 2023-03-31 2024-06-11 湖南中医药大学 一种治疗类风湿关节炎的中药组合物及其制备方法

Similar Documents

Publication Publication Date Title
CN111694428B (zh) 基于Kinect的手势与轨迹远程控制机器人系统
CN110083202B (zh) 与近眼显示器的多模交互
CN101943946B (zh) 基于三维力传感器的二维图像力触觉再现控制方法及系统
CN106681354B (zh) 无人机的飞行控制方法和装置
CN109268010B (zh) 一种虚拟现实矿井综采工作面的远程巡检干预方法
CN103118227A (zh) 一种基于kinect的摄像机PTZ控制方法、装置和系统
CN110069101A (zh) 一种穿戴式计算设备和一种人机交互方法
CN102929547A (zh) 智能终端无接触交互方法
CN114706486A (zh) 基于手势识别的混合现实工业控制方法及装置
CN102830891A (zh) 一种非接触式手势控制设备及其锁定和解锁方法
CN102270037A (zh) 徒手人机界面操作系统及其方法
US20210072818A1 (en) Interaction method, device, system, electronic device and storage medium
CN109145802A (zh) 基于Kinect的多人手势人机交互方法及装置
CN107498555A (zh) 一种动作透传方法、装置及机器人
CN111656313A (zh) 屏幕显示切换方法、显示设备、可移动平台
CN113746936A (zh) 一种vr与ar分布式协作的综采工作面智能监控系统
CN110597442B (zh) 一种手机ar绘画方法及装置
CN111695408A (zh) 一种智能手势信息识别系统及方法、信息数据处理终端
CN110695990A (zh) 一种基于Kinect手势识别的机械臂控制系统
CN109542218B (zh) 一种移动终端、人机交互系统及方法
CN114851200A (zh) 基于手势识别控制机械臂进行叶片装配的方法及系统
CN207432213U (zh) 移动机器人的智能操控系统
CN108170506B (zh) app的控制方法、装置以及控制系统
CN215219638U (zh) 一种基于手势识别的人机交互系统
CN212846710U (zh) 一种自然人机交互设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20220705