CN110825231A - 一种rov手势控制系统 - Google Patents
一种rov手势控制系统 Download PDFInfo
- Publication number
- CN110825231A CN110825231A CN201911073240.3A CN201911073240A CN110825231A CN 110825231 A CN110825231 A CN 110825231A CN 201911073240 A CN201911073240 A CN 201911073240A CN 110825231 A CN110825231 A CN 110825231A
- Authority
- CN
- China
- Prior art keywords
- gesture
- control module
- module
- gesture control
- rov
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提出了一种ROV手势控制系统，包括主控模块，判断是否可以进行手势控制，若可以进行手势控制，则控制模块发送手势控制指令，若不可以进行手势控制，则控制模块发出按键控制指令；手势控制模块，并对手势控制图片进行判断，若该手势控制图片中的手势是手势检测模块可以识别的手势，则将该手势控制图片中的手势转换成动作模块可以执行的指令并传递给动作模块，动作模块控制ROV进行相应的动作；按键控制模块，若是按键控制模块可以执行的指令，则按键控制模块将该指令传递给动作模块，动作模块控制ROV执行相应的动作，若不是按键模块可以控制的指令，则ROV保持原有的状态，借此，本发明具有通过手势在水中完成对ROV的控制的优点。
Description
技术领域
本发明属于ROV控制系统技术领域，特别涉及一种ROV手势控制系统。
背景技术
目前，ROV,即遥控无人潜水器(Remote Operated Vehicle),被广泛应用于军队、海岸警卫、海事、海关、核电、水电、海洋石油、渔业、海上救助、管线探测和海洋科学研究等各个领域，随着物联网和人工智能的兴起，在无人机市场的带动下，微型的消费级ROV逐渐走进了人们的生活，尤其受到了潜水爱好者和水下摄影爱好者的追捧，中国专利CN104932454B中就公开了一种ROV远程通信系统，实现在地面上控制水下ROV的目的，但是和无人机不同，水下环境的复杂，水下GPS天线不能工作，这些给ROV的控制提高了难度，也降低了水下潜水摄影爱好者的体验感，而且可能存在水质浑浊，水下可见光急速衰减等问题，导致了岸上的操作人员不能准确了解ROV运动环境，进而不能做出最合理的控制判断，所以不能最大限度发挥其功能，降低了ROV的体验感，将计算机视觉引入ROV，将手势识别与ROV控制相结合，潜水员可以通过手势在水中完成对ROV的控制，提高了ROV的智能性，方便了潜水员的操作，这一研究将会在浅水海域地貌研究，渔业，以及水下摄影等领域有重大意义，特此提供一种ROV手势控制系统。
发明内容
本发明提出一种ROV手势控制系统，用于通过手势在水中完成对ROV的控制。
本发明的技术方案是这样实现的：一种ROV手势控制系统，包括：
主控模块，判断是否可以进行手势控制，若可以进行手势控制，则控制模块发送手势控制指令，若不可以进行手势控制，则控制模块发出按键控制指令；
手势控制模块，用于在接收和识别操作人员发出的手势信息后生成手势控制图片，并对手势控制图片进行判断，若该手势控制图片中的手势是手势检测模块可以识别的手势，则将该手势控制图片中的手势转换成动作模块可以执行的指令并传递给动作模块，动作模块控制ROV进行相应的动作，若该手势控制图片中的手势不是手势检测模块可以识别的手势，则ROV保持原有的动作状态；
按键控制模块，用于接收控制模块发出的按键控制指令并进行判断，若是按键控制模块可以执行的指令，则按键控制模块将该指令传递给动作模块，动作模块控制ROV执行相应的动作，若不是按键模块可以控制的指令，则ROV保持原有的状态；
动作模块，用于接收手势控制模块或者按键控制模块发出的指令并控制ROV的启停以及ROV的动作过程。
在岸机端将手势控制启动按钮启动，随后主控模块接收到进行手势控制的指令，然后将该指令传送到手势控制模块，手势控制模块接收和识别操作人员发出的手势信息后并将该手势信息拍摄成手势控制图片，在手势控制模块中对手势控制图片进行分析和判断，若该手势控制图片中的手势与手势控制模块中预存的手势相同，则手势检测模块可以识别该手势，并根据该手势对应的指令则转换成动作模块可以执行的指令传递给动作模块，动作模块控制ROV进行相应的动作，若该手势控制图片中的手势与手势控制模块中预存的手势不相同，若该手势控制图片中的手势不是手势检测模块可以识别的手势，则ROV保持原有的动作状态；在岸机端将手势控制启动按钮关闭之后，主控模块接收到停止手势控制的指令，启动按键控制模块进行工作并停止手势控制模块的工作，即手势控制模块无法接受操作人员的手势信息，手势控制模块停止工作，按键控制模块接收到接收控制模块发出的按键控制指令并进行判断，若是按键控制模块可以执行的指令，则按键控制模块将该指令传递给动作模块，动作模块控制ROV执行相应的动作，若不是按键模块可以控制的指令，则ROV保持原有的状态不动。
作为一种优选的实施方式，手势控制模块判断其接收到的手势控制图片的工作过程包括：
S1：在手势控制模块中预先设定的若干个手势；
S2：接收操作人员发出的手势信息并形成手势控制图片；
S3：并对S2中形成的手势控制图片进行处理，去除手势控制图片中的背景并提取手指控制图片中手的轮廓；
S4：将S3处理之后的手势控制图片的模式从RGB转换成YUV,同时计算手势控制图片的直方图；
S5：根据S4中计算得到的直方图对手势控制图片进行形态学滤波，提取手势图片中感兴趣的区域；
S6：根据S5中提取出来的手势控制图片的感兴趣区域，找到手势控制图片的二值化的图像轮廓；
S7：从手势控制图片的二值化的图像轮廓中找到最大的手型轮廓；
S8：从得到的最大的手型轮廓中找到手形轮廓凸包；
S9：在手形轮廓凸包中标记手指和手掌；
S10：提取特征，将S8中标记的手指及手掌的手势和形状与S1中预先设定的手势中的某一个进行匹配；
在手势控制模块中预先设定的若干个不同的手势代表不同的控制指令，手势控制模块接收到的手势控制图片进行处理、得到手势的具体特征之后，将该手势的具体特征与手势控制模块中预存的说个手势进行比较，若是该手势控制图片中的手势与手势控制模块中的某一手势相同，则手势控制模块根据该手势形成指令传送给动作模块，动作模块控制ROV做出相应的动作。
作为一种优选的实施方式，手势控制模块和按键控制模块单独工作，通过手势控制模块和按键控制模块两条路径，实现对ROV的全方位控制，使得ROV的控制更加全面。
作为一种优选的实施方式，S1中在手势控制模块中预先设定的若干个手势包括但不限于：开始手势、取消手势、打开手势和关闭手势，开始手势、取消手势、打开手势和关闭手势之间均不相同，在手势控制模块中设定不同的手势来来控制ROV的不同工作状态，操作人员在水底ROV附近做出相应的手势之后，手势控制模块拍摄该动作信息形成手势控制图片，方便操作人员对水下的观察，也提高了手势识别的精度。
作为一种优选的实施方式，该系统包括岸机端和水下端，主控模块、手势控制模块、按键控制模块和动作控制模块均位于水下端，岸机端与水下端之间通过通信模块进行通信，岸机端上设置有手势控制启动按钮，手势控制启动按钮的启动或停止控制主控模块的工作状态，手势控制启动按钮启动之后，主控模块发出手势控制指令，手势控制模块接收操作人员发出的手势信息，实现对手势控制模块和按键控制模块工作的控制，使得按键控制模块和手势控制模块的工作更加准确，便于根据需要选择合适的工作路径来进行ROV工作状态的控制。
作为一种优选的实施方式，水下端包括摄像头，摄像头与手势控制模块进行通信，摄像头拍摄操作人员做出的手势信息并将其传递到手势控制模块进行识别，岸机端为触摸屏，能更加及时对ROV在水中的状态进行判断和监控，一遍快速做出控制，使得ROV的工作效率更高。
采用了上述技术方案后，本发明的有益效果是：
1、在ROV的岸机端显示界面中添加开启手势控制按钮，只有当按下该按钮才能实现手势控制，可以选择按键控制或者手势控制，使得对ROV的工作过程更加准确；
2、提高识别率，进而提升手势控制的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有的ROV整体框架图；
图2为本发明的控制流程示意图；
图3为图1中手势控制模块处理图像的过程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1～图3所示，一种ROV手势控制系统，包括：
主控模块，判断是否可以进行手势控制，若可以进行手势控制，则控制模块发送手势控制指令，若不可以进行手势控制，则控制模块发出按键控制指令；
手势控制模块，用于在接收和识别操作人员发出的手势信息后生成手势控制图片，并对手势控制图片进行判断，若该手势控制图片中的手势是手势检测模块可以识别的手势，则将该手势控制图片中的手势转换成动作模块可以执行的指令并传递给动作模块，动作模块控制ROV进行相应的动作，若该手势控制图片中的手势不是手势检测模块可以识别的手势，则ROV保持原有的动作状态；
按键控制模块，用于接收控制模块发出的按键控制指令并进行判断，若是按键控制模块可以执行的指令，则按键控制模块将该指令传递给动作模块，动作模块控制ROV执行相应的动作，若不是按键模块可以控制的指令，则ROV保持原有的状态；
动作模块，用于接收手势控制模块或者按键控制模块发出的指令并控制ROV的启停以及ROV的动作过程。
在岸机端将手势控制启动按钮启动，随后主控模块接收到进行手势控制的指令，然后将该指令传送到手势控制模块，手势控制模块接收和识别操作人员发出的手势信息后并将该手势信息拍摄成手势控制图片，在手势控制模块中对手势控制图片进行分析和判断，若该手势控制图片中的手势与手势控制模块中预存的手势相同，则手势检测模块可以识别该手势，并根据该手势对应的指令则转换成动作模块可以执行的指令传递给动作模块，动作模块控制ROV进行相应的动作，若该手势控制图片中的手势与手势控制模块中预存的手势不相同，若该手势控制图片中的手势不是手势检测模块可以识别的手势，则ROV保持原有的动作状态；在岸机端将手势控制启动按钮关闭之后，主控模块接收到停止手势控制的指令，启动按键控制模块进行工作并停止手势控制模块的工作，即手势控制模块无法接受操作人员的手势信息，手势控制模块停止工作，按键控制模块接收到接收控制模块发出的按键控制指令并进行判断，若是按键控制模块可以执行的指令，则按键控制模块将该指令传递给动作模块，动作模块控制ROV执行相应的动作，若不是按键模块可以控制的指令，则ROV保持原有的状态不动。
手势控制模块判断其接收到的手势控制图片的工作过程包括：
S1：在手势控制模块中预先设定的若干个手势；
S2：接收操作人员发出的手势信息并形成手势控制图片；
S3：并对S2中形成的手势控制图片进行处理，去除手势控制图片中的背景并提取手指控制图片中手的轮廓；
S4：将S3处理之后的手势控制图片的模式从RGB转换成YUV,同时计算手势控制图片的直方图；
S5：根据S4中计算得到的直方图对手势控制图片进行形态学滤波，提取手势图片中感兴趣的区域；
S6：根据S5中提取出来的手势控制图片的感兴趣区域，找到手势控制图片的二值化的图像轮廓；
S7：从手势控制图片的二值化的图像轮廓中找到最大的手型轮廓；
S8：从得到的最大的手型轮廓中找到手形轮廓凸包；
S9：在手形轮廓凸包中标记手指和手掌；
S10：提取特征，将S8中标记的手指及手掌的手势和形状与S1中预先设定的手势中的某一个进行匹配；
在手势控制模块中预先设定的若干个不同的手势代表不同的控制指令，手势控制模块接收到的手势控制图片进行处理、得到手势的具体特征之后，将该手势的具体特征与手势控制模块中预存的说个手势进行比较，若是该手势控制图片中的手势与手势控制模块中的某一手势相同，则手势控制模块根据该手势形成指令传送给动作模块，动作模块控制ROV做出相应的动作。
手势控制模块和按键控制模块单独工作，通过手势控制模块和按键控制模块两条路径，实现对ROV的全方位控制，使得ROV的控制更加全面。S1中在手势控制模块中预先设定的若干个手势包括但不限于：开始手势、取消手势、打开手势和关闭手势，开始手势、取消手势、打开手势和关闭手势之间均不相同，在手势控制模块中设定不同的手势来来控制ROV的不同工作状态，操作人员在水底ROV附近做出相应的手势之后，手势控制模块拍摄该动作信息形成手势控制图片，方便操作人员对水下的观察，也提高了手势识别的精度。
该系统包括岸机端和水下端，主控模块、手势控制模块、按键控制模块和动作控制模块均位于水下端，岸机端与水下端之间通过通信模块进行通信，岸机端上设置有手势控制启动按钮，手势控制启动按钮的启动或停止控制主控模块的工作状态，手势控制启动按钮启动之后，主控模块发出手势控制指令，手势控制模块接收操作人员发出的手势信息，实现对手势控制模块和按键控制模块工作的控制，使得按键控制模块和手势控制模块的工作更加准确，便于根据需要选择合适的工作路径来进行ROV工作状态的控制。水下端包括摄像头，摄像头与手势控制模块进行通信，摄像头拍摄操作人员做出的手势信息并将其传递到手势控制模块进行识别，岸机端为触摸屏，能更加及时对ROV在水中的状态进行判断和监控，一遍快速做出控制，使得ROV的工作效率更高。
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种ROV手势控制系统，其特征在于，包括：
主控模块，判断是否可以进行手势控制，若可以进行手势控制，则控制模块发送手势控制指令，若不可以进行手势控制，则控制模块发出按键控制指令；
手势控制模块，用于在接收和识别操作人员发出的手势信息后生成手势控制图片，并对手势控制图片进行判断，若该手势控制图片中的手势是手势检测模块可以识别的手势，则将该手势控制图片中的手势转换成动作模块可以执行的指令并传递给动作模块，动作模块控制ROV进行相应的动作，若该手势控制图片中的手势不是手势检测模块可以识别的手势，则ROV保持原有的动作状态；
按键控制模块，用于接收控制模块发出的按键控制指令并进行判断，若是按键控制模块可以执行的指令，则按键控制模块将该指令传递给动作模块，动作模块控制ROV执行相应的动作，若不是按键模块可以控制的指令，则ROV保持原有的状态；
动作模块，用于接收手势控制模块或者按键控制模块发出的指令并控制ROV的启停以及ROV的动作过程。
2.根据权利要求1所述的一种ROV手势控制系统，其特征在于，所述手势控制模块判断其接收到的手势控制图片的工作过程包括：
S1：在手势控制模块中预先设定的若干个手势；
S2：接收操作人员发出的手势信息并形成手势控制图片；
S3：并对S2中形成的手势控制图片进行处理，去除手势控制图片中的背景并提取手指控制图片中手的轮廓；
S4：将S3处理之后的手势控制图片的模式从RGB转换成YUV,同时计算手势控制图片的直方图；
S5：根据S4中计算得到的直方图对手势控制图片进行形态学滤波，提取手势图片中感兴趣的区域；
S6：根据S5中提取出来的手势控制图片的感兴趣区域，找到手势控制图片的二值化的图像轮廓；
S7：从手势控制图片的二值化的图像轮廓中找到最大的手型轮廓；
S8：从得到的最大的手型轮廓中找到手形轮廓凸包；
S9：在手形轮廓凸包中标记手指和手掌；
S10：提取特征，将S8中标记的手指及手掌的手势和形状与S1中预先设定的手势中的某一个进行匹配。
3.根据权利要求1所述的一种ROV手势控制系统，其特征在于，所述手势控制模块和按键控制模块单独工作。
4.根据权利要求2所述的一种ROV手势控制系统，其特征在于，所述S1中在手势控制模块中预先设定的若干个手势包括但不限于：开始手势、取消手势、打开手势和关闭手势，所述开始手势、取消手势、打开手势和关闭手势之间均不相同。
5.根据权利要求1所述的一种ROV手势控制系统，其特征在于，该系统包括岸机端和水下端，所述主控模块、手势控制模块、按键控制模块和动作控制模块均位于水下端，所述岸机端与水下端之间通过通信模块进行通信，所述岸机端上设置有手势控制启动按钮，所述手势控制启动按钮的启动或停止控制所述主控模块的工作状态，所述手势控制启动按钮启动之后，所述主控模块发出手势控制指令，所述手势控制模块接收操作人员发出的手势信息。
6.根据权利要求5所述的一种ROV手势控制系统，其特征在于，所述水下端包括摄像头，所述摄像头与手势控制模块进行通信，所述摄像头拍摄操作人员做出的手势信息并将其传递到手势控制模块进行识别。
7.根据权利要求5所述的一种ROV手势控制系统，其特征在于，所述岸机端为触摸屏。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911073240.3A CN110825231A (zh) | 2019-11-05 | 2019-11-05 | 一种rov手势控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911073240.3A CN110825231A (zh) | 2019-11-05 | 2019-11-05 | 一种rov手势控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110825231A true CN110825231A (zh) | 2020-02-21 |
Family
ID=69552723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911073240.3A Withdrawn CN110825231A (zh) | 2019-11-05 | 2019-11-05 | 一种rov手势控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110825231A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290773A (zh) * | 2023-10-13 | 2023-12-26 | 哈尔滨工业大学 | 一种基于智能数据手套的水陆两栖个性化手势识别方法及识别系统 |
-
2019
- 2019-11-05 CN CN201911073240.3A patent/CN110825231A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290773A (zh) * | 2023-10-13 | 2023-12-26 | 哈尔滨工业大学 | 一种基于智能数据手套的水陆两栖个性化手势识别方法及识别系统 |
| CN117290773B (zh) * | 2023-10-13 | 2024-04-26 | 哈尔滨工业大学 | 一种基于智能数据手套的水陆两栖个性化手势识别方法及识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8620024B2 (en) | System and method for dynamic gesture recognition using geometric classification | |
| CN112528850A (zh) | 人体识别方法、装置、设备和存储介质 | |
| CN107589758A (zh) | 一种基于双源视频分析的智能化野外无人机搜救方法与系统 | |
| CN110070033A (zh) | 一种电力领域危险工作区域内安全帽佩戴状态检测方法 | |
| CN103098076B (zh) | 电视机控制用手势识别系统 | |
| CN107139179A (zh) | 一种智能服务机器人及工作方法 | |
| Islam et al. | Dynamic reconfiguration of mission parameters in underwater human-robot collaboration | |
| CN106341661B (zh) | 巡逻机器人 | |
| CN109815805A (zh) | 自动识别溺水的方法、装置、存储介质及电子设备 | |
| US10521704B2 (en) | Method and apparatus for distributed edge learning | |
| US20210209385A1 (en) | Method and apparatus for recognizing wearing state of safety belt | |
| JP5598751B2 (ja) | 動作認識装置 | |
| CN110298257B (zh) | 一种基于人体多部位特征的驾驶员行为识别方法 | |
| CN111611849A (zh) | 一种用于门禁设备的人脸识别系统 | |
| CN110825231A (zh) | 一种rov手势控制系统 | |
| CN108460354B (zh) | 无人机控制方法、装置、无人机及系统 | |
| CN116524414A (zh) | 一种打架行为识别方法、系统及计算机可读存储介质 | |
| WO2013078657A1 (en) | A gesture recognition method, an apparatus and a computer program for the same | |
| KR101862545B1 (ko) | 로봇을 이용한 구조구난 서비스 제공방법 및 시스템 | |
| CN114565531A (zh) | 一种图像修复方法、装置、设备和介质 | |
| CN107797748A (zh) | 虚拟键盘输入方法和装置及机器人 | |
| KR100419777B1 (ko) | 수화 인식 방법 및 시스템 | |
| CN105760822B (zh) | 一种车辆驾驶控制方法及系统 | |
| CN108805004B (zh) | 功能区域检测方法和装置、电子设备、存储介质 | |
| CN110458052A (zh) | 基于增强现实的目标对象识别方法、装置、设备、介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200221 |
|
| WW01 | Invention patent application withdrawn after publication |