CN109271931A - 一种基于轮廓分析的剑指手势实时识别系统 - Google Patents

一种基于轮廓分析的剑指手势实时识别系统 Download PDF

Info

Publication number
CN109271931A
CN109271931A CN201811076508.4A CN201811076508A CN109271931A CN 109271931 A CN109271931 A CN 109271931A CN 201811076508 A CN201811076508 A CN 201811076508A CN 109271931 A CN109271931 A CN 109271931A
Authority
CN
China
Prior art keywords
gesture
image
information
profile
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201811076508.4A
Other languages
English (en)
Inventor
赵岩
沙漠
谭玺
陈志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LIAONING QIHUI SUBSYSTEM ENGINEERING Co Ltd
Original Assignee
LIAONING QIHUI SUBSYSTEM ENGINEERING Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LIAONING QIHUI SUBSYSTEM ENGINEERING Co Ltd filed Critical LIAONING QIHUI SUBSYSTEM ENGINEERING Co Ltd
Priority to CN201811076508.4A priority Critical patent/CN109271931A/zh
Publication of CN109271931A publication Critical patent/CN109271931A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轮廓分析的剑指手势实时识别系统，包括图像采集模块、中间处理模块、手势识别模块、判别模块和存储模块。所述图像采集模块实时采集值班员和信号员的手势动作的图像信息。所述中间处理模块接收所述图像采集模块传送的图像信息对该图像进行读取、处理和保存。所述手势识别模块接收所述中间处理模块传送的图像信息对图像中的手势进行识别处理，所述判别模块接收所述手势识别模块传送的手势轮廓信息、将手势轮廓信息与标准手势轮廓进行Hu矩轮廓相似度判定、根据相似度的高低输出对该值班员做出该手势的评分信息，相似度越高，手势越标准。

Description

一种基于轮廓分析的剑指手势实时识别系统
技术领域
本发明涉及图像识别技术领域，尤其涉及一种基于轮廓分析的剑指手势实时识别系统。
背景技术
目前手势识别技术应用场景较多，但是尚无应用于火车站信号楼标准化作业监测的案例中。轮廓分析法是手势分析最常用的方法之一，手型因其特有的外形容易与其他物体区分。现有技术中铁路领域剑指作业手势监控方面浪费人力和大量的时间。采用的干部盯控、视频回查和现场检查都需要安排专人专岗，回放监控视频耗费时间，且存在很大的事后性和随机性，现场检查需要人员到信号楼，浪费人力和时间成本。
发明内容
根据现有技术存在的问题，本发明公开了一种基于轮廓分析的剑指手势实时识别系统，具体包括：实时采集值班员和信号员的手势动作的图像信息的图像采集模块；
接收所述图像采集模块传送的图像信息对该图像进行读取、处理和保存的中间处理模块；
接收所述中间处理模块传送的图像信息对图像中的手势进行识别的手势识别模块，所述手势识别模块采用图像模糊度处理方法和二值化处理方法获取手势的轮廓信息；
接收所述手势识别模块传送的手势轮廓信息的判别模块，所述判别模块将手势轮廓信息与标准手势轮廓进行Hu矩轮廓相似度判定、根据相似度的高低输出对该值班员做出该手势的评分信息；
接收所述判别模块传送的手势轮廓信息的存储模块，所述存储模块对当前的手势轮廓信息以及该图像的创建日期、手势评分和值班员信息进行统一保存。
进一步的，所述手势识别模块对接收到的手势图像采用如下步骤处理：
S1:将获取的手势图像进行缩小处理后设置其ROI信息；S2:对手势图像进行模糊处理和去除噪音处理；S3:肤色检测处理：将图像从RGB转换为YUV-YIQ图像空间，通过UV计算相位角A，对相位角A和颜色参数I进行限制，从而提取肤色信息并生成肤色二值图；S4:采用形态学闭运算消除二值图中的细小空洞，采用形态学开运算消除二值图中的纤细连接或纤细凸出部分；S5:基于图像的二值图获取白色区域的外轮廓，对轮廓进行分析，采用轮廓面积大小、轮廓外接矩形长宽比、轮廓面积与凸包面积的比值参数对轮廓进行初步过滤、去除不合理轮廓，对图像轮廓进行凸包缺陷分析、获得手指、手腕、手掌中心的位置、长度和角度信息从而对手势进一步过滤；S6:计算手势轮廓和标准手势轮廓的相识度信息。
进一步的，所述存储模块对接收到的手势图像进行如下方式存储：检测存储器中是否存有图像，如果没有则挂起设定的毫秒后再检测，如果存储器中有图像，则将存储器中的第一张图像存入指定文件夹目录下，同时将其在容器中删除。
进一步的，该系统读取存储模块内指定文件夹目录下作业时间段内评分最高的图片，作为工作人员手势标准化作业的评判依据。
由于采用了上述技术方案，本发明提供的一种基于轮廓分析的剑指手势实时识别系统，在本方法中提出了一种基于轮廓分析的低成本，高准确率，快速实时的静态剑指手势识别方法。利用计算机视觉方法，快速提取图像中肤色区域，对肤色轮廓进行分析、筛选及评分，通过多线程处理，大大提高了手势识别速度，可对火车站信号楼信号员、值班员剑指手势进行实时识别检测，解决了接发列车标准化作业中剑指手势标准化监管的问题。对比人工监管等方案，大大降低了成本，提高了工作效率。从而可实现全时段实时管控接发列车作业，提高了接发列车标准化作业智能化程度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明系统的功能模块图。
图2为本发明公开的系统的工作原理图；
图3为本发明系统的实施例的示意图。
图2中，1、IP摄像机、2、智能分析服务器、3、PC客户端，4、手势。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
如图1和图2所示的一种基于轮廓分析的剑指手势实时识别系统，包括图像采集模块、中间处理模块、手势识别模块、判别模块和存储模块。
所述图像采集模块实时采集值班员和信号员的手势动作的图像信息。
所述中间处理模块接收所述图像采集模块传送的图像信息对该图像进行读取、处理和保存。
所述手势识别模块接收所述中间处理模块传送的图像信息对图像中的手势进行识别处理，识别过程中采用如下方式：所述手势识别模块采用图像模糊度处理方法和二值化处理方法获取手势的轮廓信息。
所述判别模块接收所述手势识别模块传送的手势轮廓信息、将手势轮廓信息与标准手势轮廓进行Hu矩轮廓相似度判定、根据相似度的高低输出对该值班员做出该手势的评分信息，相似度越高，手势越标准。
所述存储模块接收所述判别模块传送的手势轮廓信息、对当前的手势轮廓信息以及该图像的创建日期、手势评分和值班员信息进行统一保存。保存的图像是在摄像机原图的基础上添加手部区域矩形框及手势评分信息，图片文件名包含日期、时间、手势评分、工作人员种类等信息进行统一保存。
进一步的，所述手势识别模块对接收到的手势图像采用如下步骤处理：
S1:将获取的手势图像进行缩小处理后设置其ROI信息；S2:对手势图像进行模糊处理和去除噪音处理；S3:肤色检测处理：将图像从RGB转换为YUV-YIQ图像空间，通过UV计算相位角A，对相位角A和颜色参数I进行限制，从而提取肤色信息并生成肤色二值图；S4:采用形态学闭运算消除二值图中的细小空洞，采用形态学开运算消除二值图中的纤细连接或纤细凸出部分；S5:基于图像的二值图获取白色区域的外轮廓，对轮廓进行分析，采用轮廓面积大小、轮廓外接矩形长宽比、轮廓面积与凸包面积的比值参数对轮廓进行初步过滤、去除不合理轮廓，对图像轮廓进行凸包缺陷分析、获得手指、手腕、手掌中心的位置、长度和角度信息从而对手势进一步过滤；S6:计算手势轮廓和标准手势轮廓的相识度信息。
进一步的，所述存储模块对接收到的手势图像进行如下方式存储：由于保存图像相比处理图像较为耗时，所以另外开辟1线程进行单独处理。检测容器2中是否存有图像，如果没有则挂起设定的时间如1毫秒后再检测，挂起的目的是为了减少CPU占用率，如容器2中有图像，则将容器中的第一张图像存入指定文件夹目录下，同时将其在容器中删除，防止容器内存不断增大。
进一步的，该系统读取存储模块内指定文件夹目录下作业时间段内评分最高的图片，作为工作人员手势标准化作业的评判依据。
如图3所示，本发明公开的一种基于轮廓分析的剑指手势实时识别系统具体工作过程如下：
步骤1：通过海康摄像机二次开发包接口函数，设置对应的IP号、端口号、用户名及密码接入海康IP摄像头，以获取摄像头实时图像；
步骤2：捕获值班员和信号员手势动作视频实时流，将实时流解码成YV12格式，然后转换成RGB格式以方便图像处理；
步骤3：对图像进行缩放、ROI设置、模糊处理、基于肤色检测的二值化处理、形态学开运算和闭运算、轮廓检测、轮廓分析、手势轮廓评分；
步骤4：保存手势识别结果图到特定目录下，图中将手部区域用红色矩形框圈出，图名以“日期+时间+手势评分+职员类型”格式进行存储，方便其它系统进行调用。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于轮廓分析的剑指手势实时识别系统，其特征在于包括：
实时采集值班员和信号员的手势动作的图像信息的图像采集模块；
接收所述图像采集模块传送的图像信息对该图像进行读取、处理和保存的中间处理模块；
接收所述中间处理模块传送的图像信息对图像中的手势进行识别的手势识别模块，所述手势识别模块采用图像模糊度处理方法和二值化处理方法获取手势的轮廓信息；
接收所述手势识别模块传送的手势轮廓信息的判别模块，所述判别模块将手势轮廓信息与标准手势轮廓进行Hu矩轮廓相似度判定、根据相似度的高低输出对该值班员做出该手势的评分信息；
接收所述判别模块传送的手势轮廓信息的存储模块，所述存储模块对当前的手势轮廓信息以及该图像的创建日期、手势评分和值班员信息进行统一保存。
2.根据权利要求1所述的一种基于轮廓分析的剑指手势实时识别系统，其特征还在于：所述手势识别模块对接收到的手势图像采用如下步骤处理：
S1:将获取的手势图像进行缩小处理后设置其ROI信息；S2:对手势图像进行模糊处理和去除噪音处理；S3:肤色检测处理：将图像从RGB转换为YUV-YIQ图像空间，通过UV计算相位角A，对相位角A和颜色变化参数I进行限制，从而提取肤色信息并生成肤色二值图；S4:采用形态学闭运算消除二值图中的细小空洞，采用形态学开运算消除二值图中的纤细连接或纤细凸出部分；S5:基于图像的二值图获取白色区域的外轮廓，对轮廓进行分析，采用轮廓面积大小、轮廓外接矩形长宽比、轮廓面积与凸包面积的比值参数对轮廓进行初步过滤、去除不合理轮廓，对图像轮廓进行凸包缺陷分析、获得手指、手腕、手掌中心的位置、长度和角度信息从而对手势进一步过滤；S6:计算手势轮廓和标准手势轮廓的相识度信息。
3.根据权利要求1所述的一种基于轮廓分析的剑指手势实时识别系统，其特征还在于：所述存储模块对接收到的手势图像进行如下方式存储：检测存储器中是否存有图像，如果没有则挂起设定的毫秒后再检测，如果存储器中有图像，则将存储器中的第一张图像存入指定文件夹目录下，同时将其在容器中删除。
4.根据权利要求1所述的一种基于轮廓分析的剑指手势实时识别系统，其特征还在于：该系统读取存储模块内指定文件夹目录下作业时间段内评分最高的图片，作为工作人员手势标准化作业的评判依据。
CN201811076508.4A 2018-09-14 2018-09-14 一种基于轮廓分析的剑指手势实时识别系统 Withdrawn CN109271931A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811076508.4A CN109271931A (zh) 2018-09-14 2018-09-14 一种基于轮廓分析的剑指手势实时识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811076508.4A CN109271931A (zh) 2018-09-14 2018-09-14 一种基于轮廓分析的剑指手势实时识别系统

Publications (1)

Publication Number Publication Date
CN109271931A true CN109271931A (zh) 2019-01-25

Family

ID=65188470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811076508.4A Withdrawn CN109271931A (zh) 2018-09-14 2018-09-14 一种基于轮廓分析的剑指手势实时识别系统

Country Status (1)

Country Link
CN (1) CN109271931A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368814A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 一种身份识别方法及系统
CN111563477A (zh) * 2020-05-21 2020-08-21 苏州沃柯雷克智能系统有限公司 一种合格手部照片获取方法、装置、设备及存储介质
WO2021129569A1 (zh) * 2019-12-25 2021-07-01 神思电子技术股份有限公司 一种人体动作识别方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183251A (zh) * 2007-12-19 2008-05-21 田一鸣 电力系统安全作业智能监护装置和监护方法
CN103995595A (zh) * 2014-05-28 2014-08-20 重庆大学 一种基于手势的游戏体感控制方法
US20140307919A1 (en) * 2013-04-15 2014-10-16 Omron Corporation Gesture recognition device, gesture recognition method, electronic apparatus, control program, and recording medium
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
CN104464431A (zh) * 2014-12-15 2015-03-25 北京科东电力控制系统有限责任公司 一种电力安全培训实体仿真系统
CN104571482A (zh) * 2013-10-22 2015-04-29 中国传媒大学 一种基于体感识别的数字设备操控方法
CN104778460A (zh) * 2015-04-23 2015-07-15 福州大学 一种在复杂背景以及光照下的单目手势识别方法
CN105138990A (zh) * 2015-08-27 2015-12-09 湖北师范学院 一种基于单目摄像头的手势凸包检测与掌心定位方法
CN105759967A (zh) * 2016-02-19 2016-07-13 电子科技大学 一种基于深度数据的手部全局姿态检测方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法
CN107220634A (zh) * 2017-06-20 2017-09-29 西安科技大学 基于改进d‑p算法与多模板匹配的手势识别方法
CN107813310A (zh) * 2017-11-22 2018-03-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法
CN108108648A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种新型的手势识别系统装置及方法
CN108255285A (zh) * 2016-12-29 2018-07-06 广州映博智能科技有限公司 一种基于掌间点检测的运动手势检测方法
CN108515991A (zh) * 2018-04-18 2018-09-11 大连奇辉计算机网络有限公司 一种接发列车标准化作业检测系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183251A (zh) * 2007-12-19 2008-05-21 田一鸣 电力系统安全作业智能监护装置和监护方法
US20140307919A1 (en) * 2013-04-15 2014-10-16 Omron Corporation Gesture recognition device, gesture recognition method, electronic apparatus, control program, and recording medium
CN104571482A (zh) * 2013-10-22 2015-04-29 中国传媒大学 一种基于体感识别的数字设备操控方法
CN103995595A (zh) * 2014-05-28 2014-08-20 重庆大学 一种基于手势的游戏体感控制方法
CN104123749A (zh) * 2014-07-23 2014-10-29 邢小月 一种图像处理方法及系统
CN104464431A (zh) * 2014-12-15 2015-03-25 北京科东电力控制系统有限责任公司 一种电力安全培训实体仿真系统
CN104778460A (zh) * 2015-04-23 2015-07-15 福州大学 一种在复杂背景以及光照下的单目手势识别方法
CN105138990A (zh) * 2015-08-27 2015-12-09 湖北师范学院 一种基于单目摄像头的手势凸包检测与掌心定位方法
CN105759967A (zh) * 2016-02-19 2016-07-13 电子科技大学 一种基于深度数据的手部全局姿态检测方法
CN108108648A (zh) * 2016-11-24 2018-06-01 广州映博智能科技有限公司 一种新型的手势识别系统装置及方法
CN108255285A (zh) * 2016-12-29 2018-07-06 广州映博智能科技有限公司 一种基于掌间点检测的运动手势检测方法
CN107038424A (zh) * 2017-04-20 2017-08-11 华中师范大学 一种手势识别方法
CN107220634A (zh) * 2017-06-20 2017-09-29 西安科技大学 基于改进d‑p算法与多模板匹配的手势识别方法
CN107813310A (zh) * 2017-11-22 2018-03-20 浙江优迈德智能装备有限公司 一种基于双目视觉多手势机器人控制方法
CN108515991A (zh) * 2018-04-18 2018-09-11 大连奇辉计算机网络有限公司 一种接发列车标准化作业检测系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SRINIVAS GANAPATHYRAJU ET AL: "Hand gesture recognition using convexity hull defects to control an industrial robot", 《2013 3RD INTERNATIONAL CONFERENCE ON INSTRUMENTATION CONTROL AND AUTOMATION (ICA)》 *
孙红等: "基于 OpenCV 的多特征实时手势识别", 《电子科技》 *
李广华: "基于计算机视觉的手势识别技术研究与应用", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
陈根方: "《 智能音乐学与中国音乐数字媒体论 国家社科基金后期资助项目》", 31 May 2018 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129569A1 (zh) * 2019-12-25 2021-07-01 神思电子技术股份有限公司 一种人体动作识别方法
CN111563477A (zh) * 2020-05-21 2020-08-21 苏州沃柯雷克智能系统有限公司 一种合格手部照片获取方法、装置、设备及存储介质
CN111368814A (zh) * 2020-05-27 2020-07-03 支付宝(杭州)信息技术有限公司 一种身份识别方法及系统

Similar Documents

Publication Publication Date Title
CN101593425B (zh) 一种基于机器视觉的疲劳驾驶监控方法及系统
CN105354985B (zh) 疲劳驾驶监控装置及方法
CN109271931A (zh) 一种基于轮廓分析的剑指手势实时识别系统
WO2020125319A1 (zh) 青光眼图像识别方法、设备和筛查系统
CN111783744A (zh) 一种操作现场安全防护检测方法及装置
CN106952277B (zh) 一种基于图像处理的二值摇杆开关位置检测方法
CN112732071B (zh) 一种免校准眼动追踪系统及应用
CN105354527A (zh) 一种消极表情识别鼓励系统
CN104361326A (zh) 一种判别活体人脸的方法
CN101027678A (zh) 基于单个图像的多生物统计系统及方法
CN101587606A (zh) 一种展览场地人员流量检测方法及系统
CN112396658A (zh) 一种基于视频的室内人员定位方法及定位系统
CN107944427A (zh) 动态人脸识别方法及计算机可读存储介质
CN110991348A (zh) 基于光流梯度幅值特征的人脸微表情检测方法
CN112906453A (zh) 智能识别并实时反馈的洗手监测系统
CN112287823A (zh) 一种基于视频监控的面部口罩识别方法
CN115588121B (zh) 基于传感数据和图像序列的塔吊吊物类别检测方法及系统
Monwar et al. Pain recognition using artificial neural network
CN115841651B (zh) 基于计算机视觉与深度学习的施工人员智能监测系统
CN107516076A (zh) 人像识别方法及装置
CN110414342A (zh) 一种基于视频图像处理技术的运动人体检测识别方法
CN111104554B (zh) 基于轮廓检测和头肩检测的自动门控制方法与系统
CN111523488A (zh) 厨房工作人员行为实时监控方法
CN111860079B (zh) 活体图像检测方法、装置以及电子设备
CN106203413A (zh) 医疗系统数据整合系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190125

WW01 Invention patent application withdrawn after publication