CN113239831A - 基于手势识别技术的智能视力检测仪及其使用方法 - Google Patents
基于手势识别技术的智能视力检测仪及其使用方法 Download PDFInfo
- Publication number
- CN113239831A CN113239831A CN202110550994.4A CN202110550994A CN113239831A CN 113239831 A CN113239831 A CN 113239831A CN 202110550994 A CN202110550994 A CN 202110550994A CN 113239831 A CN113239831 A CN 113239831A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- gesture
- image acquisition
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004438 eyesight Effects 0.000 title claims abstract description 55
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005516 engineering process Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 16
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 9
- 206010063385 Intellectualisation Diseases 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 230000004379 myopia Effects 0.000 description 4
- 208000001491 myopia Diseases 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0033—Operational features thereof characterised by user input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Ophthalmology & Optometry (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于手势识别技术的智能视力检测仪及其使用方法，包括检测仪主体、红外测距装置与图像采集装置，所述检测仪主体与红外测距装置之间连接有一号电性导线，所述检测仪主体与图像采集装置之间连接有二号电性导线，所述检测仪主体的内部安装有主控制器装置与算法装置，所述检测仪主体的前端设置有显示器与扬声器。本发明所述的基于手势识别技术的智能视力检测仪及其使用方法，由高清摄像头、红外测距传感器、显示屏、控制设备四大块组成，相比起传统的标准对数视力表检测法和电子视力检测设备，智能视力检测仪提高了检测效率，实现了视力检测设备的智能化，对智能视力检测设备的市场化推广具有重要的意义。
Description
技术领域
本发明涉及智能视力检测领域，特别涉及基于手势识别技术的智能视力检测仪及其使用方法。
背景技术
智能视力检测仪是一种进行视力检测的支撑设备，随着手机、电脑等电子产品的不断普及，人们对电子产品的依赖性也不断增强，导致近视已成为社会的普遍现象，在中国，有约6亿的近视患者，近视人群的比例接近48%，想要解决日益严峻的近视问题，就要对儿童及青少年进行定期的视力检查，及时发现视力变化并进行治疗修养，随着科技的不断发展，人们对于智能视力检测仪的制造工艺要求也越来越高。
现有的智能视力检测仪在使用时存在一定的弊端，首先，传统检测仪采用人工提取特征的方式，操作较为麻烦，传统检查方法受检查条件、方式、速度等因素的影响，检测结果可能存在偏差，具有一定的局限性和复杂性，不利于人们的使用，还有，CNN 要求输入图像尺寸必须一致，对这种问题通常采用的方法是裁剪和拉伸两种办法．但这两种方法会产生输入图像的比例和尺寸被改变的结果，会扭曲原始的图像并影响最终识别效果，传统标准对数视力表检测法需医师全程控制，低效率的视力检查消耗人工成本，无法实现单人自助式及区域共享式检测，给人们的使用过程带来了一定的不利影响，为此，我们提出基于手势识别技术的智能视力检测仪及其使用方法。
发明内容
（一）解决的技术问题
针对现有技术的不足，本发明提供了基于手势识别技术的智能视力检测仪及其使用方法，由高清摄像头、红外测距传感器、显示屏、控制设备四大块组成，相比起传统的标准对数视力表检测法和电子视力检测设备，智能视力检测仪提高了检测效率，降低了待测者的学习成本，实现了视力检测设备的智能化，对智能视力检测设备的市场化推广具有重要的意义，可以有效解决背景技术中的问题。
（二）技术方案
为实现上述目的，本发明采取的技术方案为：基于手势识别技术的智能视力检测仪，包括检测仪主体、红外测距装置与图像采集装置，所述检测仪主体与红外测距装置之间连接有一号电性导线，所述检测仪主体与图像采集装置之间连接有二号电性导线，所述检测仪主体的内部安装有主控制器装置与算法装置，所述检测仪主体的前端设置有显示器与扬声器，所述红外测距装置的前端设置有红外测距摄像头，所述图像采集装置的前端设置有图像采集摄像头与LED灯。
作为一种优选的技术方案，所述检测仪主体的输入端通过一号电性导线与红外测距装置的输出端电性连接，所述检测仪主体的输入端通过二号电性导线与图像采集装置的输出端电性连接。
作为一种优选的技术方案，所述图像采集装置与图像采集摄像头、LED灯之间设置有定位安装槽，所述图像采集装置的前端通过定位安装槽与图像采集摄像头、LED灯的外侧定位连接，所述红外测距摄像头与红外测距装置之间设置有电性座，所述红外测距装置的外侧通过电性座与红外测距摄像头的外侧定位连接。
作为一种优选的技术方案，所述检测仪主体与主控制器装置、算法装置之间设置有安装支座，所述检测仪主体的内部通过安装支座与主控制器装置、算法装置的外侧为可拆卸连接。
作为一种优选的技术方案，所述主控制器装置的内部包括输入模块、主控制器模块与输出模块，所述输入模块包括图像采集模块与红外测距模块，所述输出模块包括显示模块与扬声器模块。
作为一种优选的技术方案，所述主控制器模块的输入端与图像采集模块、红外测距模块的输出端电性连接，所述主控制器模块的输出端与显示模块、扬声器模块输入端电性连接。
基于手势识别技术的智能视力检测仪的使用方法，包括以下操作步骤：
S1：选取Raspberry Pi 4B作为主控制器，主控制器接收到图像采集模块生成的图像信息和红外测距模块检测的距离信息；
S2：通过对人体到显示模块的距离信息进行检测，判断人是否在测试距离范围内，通过扬声器进行语音提示，通过图像信息可以判断是否有人在测试区域内，并得到待测者的手势方向；
S3：手势方向与显示模块显示的“E”的开口方向进行对比，判断待测者指示的方向是否正确，实现一次视力的检测；
S4：使用卷积神经网络来提取图像特征，并利用卷积神经网络最终输出的特征图预测物体类别和位置信息，每张图像仅仅需要通过YOLO网络1次便能得到图像中物体的位置以及其所属类别和相应的置信概率；
S5：利用CNN对获取的手势区域进行特征提取和识别，由于图像中手势尺寸的多样性，所以通过手势检测算法得到的手势区域具有多种不同尺寸，利用空间金字塔池化来解决手势区域的多尺度输入问题，即SPP，SPP采用多级窗口对输入的特征图进行池化操作，对于给定尺寸的输入图像计算出SPP的池化窗口参数，使用SPP替代网络最后一个卷积层之后的池化层，SPP使得任意大小的特征图都能够转化成固定大小的特征向量，满足全连接层的输入要求。
作为一种优选的技术方案，所述智能视力检测仪的手势识别使用方法流程为图像输入、检索分割、特征提取、手势分类与识别输出，所述图像输入采用Kinect采集的方法，所述检索分割采用预处理算法，所述特征提取采用深度学习的算法，所述手势分类采用分类算法，所述识别输出采用人工语法。
（三）有益效果
与现有技术相比，本发明提供了基于手势识别技术的智能视力检测仪及其使用方法，具备以下有益效果：该基于手势识别技术的智能视力检测仪及其使用方法，由高清摄像头、红外测距传感器、显示屏、控制设备四大块组成，相比起传统的标准对数视力表检测法和电子视力检测设备，智能视力检测仪提高了检测效率，降低了待测者的学习成本，实现了视力检测设备的智能化，对智能视力检测设备的市场化推广具有重要的意义，设计的自助式视力检测仪，实现了视力检测的自助式操作，使得检测过程摆脱了对人力的依赖，为用户提供了更人性化的人机交互体验，采用基于摄像头采集的手势识别技术代替了传统的人工检测，在手势识别算法规则的引导下，动态手势识别消除光线变化以及人脸和手部图像重合带来的检测误差，大大提高了视力检测的准确性，具有视觉智能的人脸检测、手势检测和标记物检测以及语音播报功能更是提高了人机交互体验的舒适度，设计了一种基于帧差法手势移动跟踪技术的自助式视力检测仪，代替传统遥控器或人工辅助的检测方式，优化了硬件装置和软件算法，提高检测效率和精度，使用者可以随时随地独立检测，即时显示测试结果，易于市场化推广发展，整个智能视力检测仪结构简单，操作方便，使用的效果相对于传统方式更好。
附图说明
图1为本发明基于手势识别技术的智能视力检测仪及其使用方法的整体结构示意图。
图2为本发明基于手势识别技术的智能视力检测仪及其使用方法中检测仪主体的结构示意图。
图3为本发明基于手势识别技术的智能视力检测仪及其使用方法中图像采集装置的结构示意图。
图4为本发明基于手势识别技术的智能视力检测仪及其使用方法中控制模块的结构示意图。
图5为本发明基于手势识别技术的智能视力检测仪及其使用方法中手势识别算法的结构示意图。
图中：1、检测仪主体；2、显示器；3、一号电性导线；4、红外测距摄像头；5、红外测距装置；6、主控制器装置；7、算法装置；8、二号电性导线；9、图像采集摄像头；10、LED灯；11、图像采集装置；12、扬声器。
具体实施方式
下面将结合附图和具体实施方式对本发明的技术方案进行清楚、完整地描述，但是本领域技术人员将会理解，下列所描述的实施例是本发明一部分实施例，而不是全部的实施例，仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
如图1-5所示，基于手势识别技术的智能视力检测仪，包括检测仪主体1、红外测距装置5与图像采集装置11，检测仪主体1与红外测距装置5之间连接有一号电性导线3，检测仪主体1与图像采集装置11之间连接有二号电性导线8，检测仪主体1的内部安装有主控制器装置6与算法装置7，检测仪主体1的前端设置有显示器2与扬声器12，红外测距装置5的前端设置有红外测距摄像头4，图像采集装置11的前端设置有图像采集摄像头9与LED灯10。
进一步的，检测仪主体1的输入端通过一号电性导线3与红外测距装置5的输出端电性连接，检测仪主体1的输入端通过二号电性导线8与图像采集装置11的输出端电性连接。
进一步的，图像采集装置11与图像采集摄像头9、LED灯10之间设置有定位安装槽，图像采集装置11的前端通过定位安装槽与图像采集摄像头9、LED灯10的外侧定位连接，红外测距摄像头4与红外测距装置5之间设置有电性座，红外测距装置5的外侧通过电性座与红外测距摄像头4的外侧定位连接。
进一步的，检测仪主体1与主控制器装置6、算法装置7之间设置有安装支座，检测仪主体1的内部通过安装支座与主控制器装置6、算法装置7的外侧为可拆卸连接。
进一步的，主控制器装置6的内部包括输入模块、主控制器模块与输出模块，输入模块包括图像采集模块与红外测距模块，输出模块包括显示模块与扬声器模块。
进一步的，主控制器模块的输入端与图像采集模块、红外测距模块的输出端电性连接，主控制器模块的输出端与显示模块、扬声器模块输入端电性连接。
基于手势识别技术的智能视力检测仪的使用方法，包括以下操作步骤：
S1：选取Raspberry Pi 4B作为主控制器，主控制器接收到图像采集模块生成的图像信息和红外测距模块检测的距离信息；
S2：通过对人体到显示模块的距离信息进行检测，判断人是否在测试距离范围内，通过扬声器进行语音提示，通过图像信息可以判断是否有人在测试区域内，并得到待测者的手势方向；
S3：手势方向与显示模块显示的“E”的开口方向进行对比，判断待测者指示的方向是否正确，实现一次视力的检测；
S4：使用卷积神经网络来提取图像特征，并利用卷积神经网络最终输出的特征图预测物体类别和位置信息，每张图像仅仅需要通过YOLO网络1次便能得到图像中物体的位置以及其所属类别和相应的置信概率；
S5：利用CNN对获取的手势区域进行特征提取和识别，由于图像中手势尺寸的多样性，所以通过手势检测算法得到的手势区域具有多种不同尺寸，利用空间金字塔池化来解决手势区域的多尺度输入问题，即SPP，SPP采用多级窗口对输入的特征图进行池化操作，对于给定尺寸的输入图像计算出SPP的池化窗口参数，使用SPP替代网络最后一个卷积层之后的池化层，SPP使得任意大小的特征图都能够转化成固定大小的特征向量，满足全连接层的输入要求。
进一步的，智能视力检测仪的手势识别使用方法流程为图像输入、检索分割、特征提取、手势分类与识别输出，图像输入采用Kinect采集的方法，检索分割采用预处理算法，特征提取采用深度学习的算法，手势分类采用分类算法，识别输出采用人工语法。
工作原理：本发明包括检测仪主体1、显示器2、一号电性导线3、红外测距摄像头4、红外测距装置5、主控制器装置6、算法装置7、二号电性导线8、图像采集摄像头9、LED灯10、图像采集装置11、扬声器12，主控制器装置6的内部包括输入模块、主控制器模块与输出模块，输入模块包括图像采集模块与红外测距模块，输出模块包括显示模块与扬声器模块，主控制器采用ARM Cortex-A72 1.5GHz内核，2GB LPDDR4内存，足以满足图像分析处理的需要，图像采集模块采集图像信息并转化为数字信号采用Kinect摄像头，红外测距模块采集待测者到显示器的距离信息，判断待测者是否在测试距离内，显示模块随机显示“E”字表，并展示测试结果，扬声器模块播放语音提示信息，选取Raspberry Pi 4B作为主控制器，主控制器接收到图像采集模块生成的图像信息和红外测距模块检测的距离信息，通过对人体到显示模块的距离信息进行检测，判断人是否在测试距离范围内，通过扬声器进行语音提示，通过图像信息可以判断是否有人在测试区域内，并得到待测者的手势方向，手势方向与显示模块显示的“E”的开口方向进行对比，判断待测者指示的方向是否正确，实现一次视力的检测，使用卷积神经网络来提取图像特征，并利用卷积神经网络最终输出的特征图预测物体类别和位置信息，每张图像仅仅需要通过YOLO网络1次便能得到图像中物体的位置以及其所属类别和相应的置信概率，利用CNN对获取的手势区域进行特征提取和识别，由于图像中手势尺寸的多样性，所以通过手势检测算法得到的手势区域具有多种不同尺寸，利用空间金字塔池化来解决手势区域的多尺度输入问题，即SPP，SPP采用多级窗口对输入的特征图进行池化操作，对于给定尺寸的输入图像计算出SPP的池化窗口参数，使用SPP替代网络最后一个卷积层之后的池化层，SPP使得任意大小的特征图都能够转化成固定大小的特征向量，满足全连接层的输入要求。
需要说明的是，在本文中，诸如第一和第二（一号、二号）等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.基于手势识别技术的智能视力检测仪，包括检测仪主体（1）、红外测距装置（5）与图像采集装置（11），其特征在于：所述检测仪主体（1）与红外测距装置（5）之间连接有一号电性导线（3），所述检测仪主体（1）与图像采集装置（11）之间连接有二号电性导线（8），所述检测仪主体（1）的内部安装有主控制器装置（6）与算法装置（7），所述检测仪主体（1）的前端设置有显示器（2）与扬声器（12），所述红外测距装置（5）的前端设置有红外测距摄像头（4），所述图像采集装置（11）的前端设置有图像采集摄像头（9）与LED灯（10）。
2.根据权利要求1所述的基于手势识别技术的智能视力检测仪，其特征在于：所述检测仪主体（1）的输入端通过一号电性导线（3）与红外测距装置（5）的输出端电性连接，所述检测仪主体（1）的输入端通过二号电性导线（8）与图像采集装置（11）的输出端电性连接。
3.根据权利要求1所述的基于手势识别技术的智能视力检测仪，其特征在于：所述图像采集装置（11）与图像采集摄像头（9）、LED灯（10）之间设置有定位安装槽，所述图像采集装置（11）的前端通过定位安装槽与图像采集摄像头（9）、LED灯（10）的外侧定位连接，所述红外测距摄像头（4）与红外测距装置（5）之间设置有电性座，所述红外测距装置（5）的外侧通过电性座与红外测距摄像头（4）的外侧定位连接。
4.根据权利要求1所述的基于手势识别技术的智能视力检测仪，其特征在于：所述检测仪主体（1）与主控制器装置（6）、算法装置（7）之间设置有安装支座，所述检测仪主体（1）的内部通过安装支座与主控制器装置（6）、算法装置（7）的外侧为可拆卸连接。
5.根据权利要求1所述的基于手势识别技术的智能视力检测仪，其特征在于：所述主控制器装置（6）的内部包括输入模块、主控制器模块与输出模块，所述输入模块包括图像采集模块与红外测距模块，所述输出模块包括显示模块与扬声器模块。
6.根据权利要求5所述的基于手势识别技术的智能视力检测仪，其特征在于：所述主控制器模块的输入端与图像采集模块、红外测距模块的输出端电性连接，所述主控制器模块的输出端与显示模块、扬声器模块输入端电性连接。
7.基于手势识别技术的智能视力检测仪的使用方法，其特征在于：包括以下操作步骤：
S1：选取Raspberry Pi 4B作为主控制器，主控制器接收到图像采集模块生成的图像信息和红外测距模块检测的距离信息；
S2：通过对人体到显示模块的距离信息进行检测，判断人是否在测试距离范围内，通过扬声器进行语音提示，通过图像信息可以判断是否有人在测试区域内，并得到待测者的手势方向；
S3：手势方向与显示模块显示的“E”的开口方向进行对比，判断待测者指示的方向是否正确，实现一次视力的检测；
S4：使用卷积神经网络来提取图像特征，并利用卷积神经网络最终输出的特征图预测物体类别和位置信息，每张图像仅仅需要通过YOLO网络1次便能得到图像中物体的位置以及其所属类别和相应的置信概率；
S5：利用CNN对获取的手势区域进行特征提取和识别，由于图像中手势尺寸的多样性，所以通过手势检测算法得到的手势区域具有多种不同尺寸，利用空间金字塔池化来解决手势区域的多尺度输入问题，即SPP，SPP采用多级窗口对输入的特征图进行池化操作，对于给定尺寸的输入图像计算出SPP的池化窗口参数，使用SPP替代网络最后一个卷积层之后的池化层，SPP使得任意大小的特征图都能够转化成固定大小的特征向量，满足全连接层的输入要求。
8.根据权利要求7所述的基于手势识别技术的智能视力检测仪的使用方法，其特征在于：所述智能视力检测仪的手势识别使用方法流程为图像输入、检索分割、特征提取、手势分类与识别输出，所述图像输入采用Kinect采集的方法，所述检索分割采用预处理算法，所述特征提取采用深度学习的算法，所述手势分类采用分类算法，所述识别输出采用人工语法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110550994.4A CN113239831A (zh) | 2021-05-20 | 2021-05-20 | 基于手势识别技术的智能视力检测仪及其使用方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110550994.4A CN113239831A (zh) | 2021-05-20 | 2021-05-20 | 基于手势识别技术的智能视力检测仪及其使用方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113239831A true CN113239831A (zh) | 2021-08-10 |
Family
ID=77137751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110550994.4A Pending CN113239831A (zh) | 2021-05-20 | 2021-05-20 | 基于手势识别技术的智能视力检测仪及其使用方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239831A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114305317A (zh) * | 2021-12-23 | 2022-04-12 | 广州视域光学科技股份有限公司 | 一种智能辨别用户反馈视标的方法和系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110353622A (zh) * | 2018-10-16 | 2019-10-22 | 武汉交通职业学院 | 一种视力检测方法及视力检测器 |
| CN111709295A (zh) * | 2020-05-18 | 2020-09-25 | 武汉工程大学 | 一种基于SSD-MobileNet的实时手势检测和识别方法及系统 |
| CN112732083A (zh) * | 2021-01-05 | 2021-04-30 | 西安交通大学 | 一种基于手势识别的无人机智能控制方法 |
-
2021
- 2021-05-20 CN CN202110550994.4A patent/CN113239831A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110353622A (zh) * | 2018-10-16 | 2019-10-22 | 武汉交通职业学院 | 一种视力检测方法及视力检测器 |
| CN111709295A (zh) * | 2020-05-18 | 2020-09-25 | 武汉工程大学 | 一种基于SSD-MobileNet的实时手势检测和识别方法及系统 |
| CN112732083A (zh) * | 2021-01-05 | 2021-04-30 | 西安交通大学 | 一种基于手势识别的无人机智能控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈慧岩: "《智能车辆理论与应用》", 31 July 2018, 北京：北京理工大学出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114305317A (zh) * | 2021-12-23 | 2022-04-12 | 广州视域光学科技股份有限公司 | 一种智能辨别用户反馈视标的方法和系统 |
| CN114305317B (zh) * | 2021-12-23 | 2023-05-12 | 广州视域光学科技股份有限公司 | 一种智能辨别用户反馈视标的方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105300854B (zh) | 雾滴参数测量装置及利用该装置的雾滴参数测量分析方法 | |
| CN106529596B (zh) | 一种基于可穿戴设备的室内、室外场景识别方法 | |
| CN116484307B (zh) | 基于云计算智能戒指远程控制方法 | |
| CN107992131A (zh) | 基于卷积神经网络的光照度测量及光照度智能控制系统 | |
| CN108389352A (zh) | 火源探测方法及装置 | |
| CN111008576B (zh) | 行人检测及其模型训练、更新方法、设备及可读存储介质 | |
| CN107578047A (zh) | 电力电缆的偏心度检测方法 | |
| CN111700583B (zh) | 一种室内共享自助式视力检测系统的检测方法 | |
| CN113239831A (zh) | 基于手势识别技术的智能视力检测仪及其使用方法 | |
| CN111931616A (zh) | 基于移动智能终端传感器设备的情绪识别方法及系统 | |
| CN111192262A (zh) | 基于人工智能的产品缺陷分类方法、装置、设备及介质 | |
| CN109343694B (zh) | 一种用于猜拳划拳游戏的手势识别系统和方法 | |
| CN112052730A (zh) | 一种3d动态人像识别监控设备及方法 | |
| CN110089297B (zh) | 小麦赤霉病大田环境下病情严重度诊断方法及装置 | |
| CN105761244A (zh) | 一种线虫致死率确定方法、装置及系统 | |
| CN112991607A (zh) | 一种可有效采集进门人脸部信息的门禁系统 | |
| US20230237682A1 (en) | Method and system for binocular ranging for children | |
| CN109472223A (zh) | 一种人脸识别方法和装置 | |
| CN115700595A (zh) | 基于射频指纹深度学习的身份识别方法及装置 | |
| CN113916899B (zh) | 基于视觉识别的大输液软袋产品的检测方法、系统及装置 | |
| CN210138132U (zh) | 一种视力检测器 | |
| CN111967550B (zh) | 一种基于人工智能的非接触式温度检测仪及其检测方法 | |
| CN212378909U (zh) | 一种人脸识别手腕测温终端 | |
| CN208156682U (zh) | 具有感测影像声音的生物辨识装置 | |
| CN114782352A (zh) | 一种基于人工智能的医学影像识别系统及识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210810 |