CN111525958B - 一种具有数据通信和手势动作识别功能的光相机通信系统 - Google Patents

一种具有数据通信和手势动作识别功能的光相机通信系统 Download PDF

Info

Publication number
CN111525958B
CN111525958B CN202010271623.8A CN202010271623A CN111525958B CN 111525958 B CN111525958 B CN 111525958B CN 202010271623 A CN202010271623 A CN 202010271623A CN 111525958 B CN111525958 B CN 111525958B
Authority
CN
China
Prior art keywords
gesture
mobile phone
gesture action
finger
front camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010271623.8A
Other languages
English (en)
Other versions
CN111525958A (zh
Inventor
何晶
黄峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN202010271623.8A priority Critical patent/CN111525958B/zh
Publication of CN111525958A publication Critical patent/CN111525958A/zh
Application granted granted Critical
Publication of CN111525958B publication Critical patent/CN111525958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/501—Structural aspects
    • H04B10/502—LED transmitters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60—Receivers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种具有数据通信和手势动作识别功能的光相机通信系统。发送端采用8×8的LED阵列发送OOK信号，经过自由空间传输，接收端通过手机前置摄像头进行图像数据接收。在数据通信期间，用户手指在8×8的LED阵列和手机前置摄像头之间进行手势动作。接收端采用手机前置摄像头接收图像数据后，将接收的图像分割成两部分，分别用于OOK信号的解调和用户手势动作识别。此外，通过采样、阈值判决、解映射实现OOK信号的解调。根据预定义的手势动作识别库实现手势动作的识别。本发明提出的具有数据通信和手势动作识别功能的光相机通信系统，原理简单、成本低，易于实现，可同时实现通信和手势动作识别，具有实用价值。

Description

一种具有数据通信和手势动作识别功能的光相机通信系统
(一)技术领域
本发明属于光无线通信领域中一种具有数据通信和手势动作识别功能的光相机通信系统。
(二)背景技术
发光二极管(Light-Emitting Diode,LED)具有寿命长、照明效率高、节能等优点，使其逐渐成为主要的照明光源，并可能在将来取代传统的白炽灯。随着互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，CMOS) 工艺的发展，如今CMOS图像传感器广泛集成在智能手机、平板电脑等其它智能终端上。LED和CMOS图像传感器的广泛使用吸引了大量对光相机通信 (Optical Camera Communication，OCC)的研究，OCC系统不需要额外的设备即能实现通信，具有系统简单、成本低的优点。
随着5G及物联网的发展，人们对设备的智能化控制要求逐渐增长。动作识别(Motion Detection，MD)是近年来的一大研究热点，其应用范围十分广泛，其中包括设备控制的应用。利用运动识别技术控制设备，可以让用户在无需接触设备的情况下实现对设备的控制。但当前运动识别的实现依赖于高灵敏度的感应设备，并且使用成本高。
本发明在光相机通信系统中，利用其发送端LED灯发出的光线反射至用户手指，用户手指进行手势动作，通过接收端的手机前置摄像头感知，从而实现手势动作识别的功能。同时，发送端LED灯可以发送OOK信号，通过接收端的手机前置摄像头接收后进行信号处理解调恢复出OOK信号。该系统使用手机的前置摄像头作为接收端，同时实现数据通信和手势动作识别的功能。在不需要增加额外的硬件设备和保证系统成本的情况下，采用预定义的手势动作识别库的方法实现高准确率的手势动作识别，并进行数据通信，具有创新性的实用价值。
(三)发明内容
本发明在光相机通信系统中，提出了一种即可以实现数据通信，又可以进行手势动作识别的方法，成本低，易于实现。
为了达到上述目的，本发明采用的具有数据通信和手势动作识别功能的光相机通信系统方案如下：
步骤1.将要传输的数据调制成OOK信号，依次映射至一个8×8的LED阵列并发送OOK信号；
步骤2.经过自由空间传输，接收端通过手机前置摄像头进行图像数据接收；
步骤3.在数据通信期间，用户手指在8×8的LED阵列和手机前置摄像头之间进行手势动作。LED发出的光经由手机屏幕的反射至用户手指，使得用户手指边缘被照亮。在手指移动的过程中，保持手指距离手机屏幕水平面的距离不超过 10cm，以保证手指在手机的前置摄像头的接收范围内；
步骤4.在接收端，采用手机前置摄像头接收图像数据后，将接收的图像进行图像分割分成两部分，分别用于OOK信号的解调和用户手势动作识别；
步骤5.对于OOK信号的解调，采用对手机前置摄像头接收的LED阵列图像进行采样、阈值判决、解映射恢复出OOK信号；
步骤6.对于用户手势动作识别，采用对手机前置摄像头接收的手势动作图像，经过质心点坐标计算、质心点运动方向估计、有效运动方向提取、基于预定义的手势动作识别库匹配进行手势动作的识别。
本发明的有益效果为：
本发明在发送端使用8×8的LED阵列发送OOK信号，在接收端通过手机前置摄像头进行接收。在数据通信期间，用户手指在8×8的LED阵列和手机前置摄像头之间进行手势动作。本发明提出的具有数据通信和手势动作识别功能的光相机通信系统，不会额外增加系统的成本、简单可行且手势动作识别准确度高。
(四)附图说明
图1为本发明的具有数据通信和手势动作识别功能的光相机通信系统方案结构示意图；
图2为本发明的数据通信及手势动作识别原理示意图；
图3为本发明的运动方向划分示意图；
图4为本发明的手势动作识别的处理流程示意图；
(五)具体实施方式
下面结合具体实验例子和附图，对本发明作具体说明。
图1所示，为本发明的具有数据通信和手势动作识别功能的光相机通信系统方案结构。传感器采集环境数据(例如温度、湿度等)，调制成OOK信号，根据 LED阵列的地址依次映射至LED阵列，并发送OOK信号。LED阵列尺寸为8×8，一帧图像可传输64比特数据。图1中阴影为LED阵列照射范围，手指面对手机屏幕，保持在手机前置摄像头接收范围内进行手势动作。手机前置摄像头同时接收8×8LED阵列发送的OOK信号和用户手势动作，将接收的图像分成两部分，分别用于OOK信号的解调和用户手势动作识别。
图2所示，为本发明的数据通信及手势动作识别原理示意图。接收端通过手机前置摄像头接收的图像经过图像分割后分成两路：一路用于OOK信号的解调，对接收的LED阵列图像经过采样、阈值判决及解映射恢复OOK信号；另一路用于用户手势动作识别，对接收的手势动作图像，经过质心点坐标计算、质心点运动方向估计、有效运动方向提取、基于预定义的手势动作识别库匹配进行手势动作的识别。
图3所示，为本发明的运动方向划分示意图。图3中将运动方向均匀地划分成8 个，其划分依据按照斜率划分。通过计算当前的手指质心点与其后第三个质心点之间的斜率，根据图3确定当前接收图像中手指的运动方向；
图4所示，为本发明的手势动作识别的处理流程示意图。第一步，通过计算得出每个质心点的运动方向，当某一方向连续出现并持续时间超过约150ms时，则该方向提取为有效方向，从而得到表示该运动的字符串(Sd)，否则作为噪声去除。第二步，先计算预定义的手势动作识别库中字符串与Sd之间的莱温斯坦距离(Levenshtein Distance，LD)，找出预定义的手势动作识别库取得最小值 (LDmin)的字符串，如果LDmin>4，则说明该手势动作与预定义的手势动作识别库中动作差别过大，视为无效手势动作，否则，如果LDmin只出现一次(即 NLDmin＝1)，则其对应的识别库中的手势动作为识别结果输出。反之说明预定义的手势动作识别库中有多个字符串取得最小值，需要在这些取得最小值的字符串中进一步求出最优解，因此引入杰卡德系数(Jaccard Coefficient，JC)作为衡量准则。实际上JC通常用于衡量两个集合之间的相似度，在本发明中，一个字符串中的每个字符可以看作集合中的一个元素，但是会出现重复元素，因此本发明对JC进行了修改(Modified JaccardCoefficient，MJC)，MJC用于衡量两个多重集合(multiset)之间的相似度。计算MJC之后，选出其中的最大值(MJCmax)，该值对应的识别库中的手势动作为识别结果。
实施步骤：
步骤1.将传感器采集环境数据(例如温度、湿度等)，调制成OOK信号，根据 LED阵列的地址依次映射至LED阵列，并发送OOK信号，其发送信号频率为 20Hz；
步骤2.经过自由空间传输，传输距离在80cm内能实现良好误码性能，接收端通过手机前置摄像头进行图像数据接收；
步骤3.在数据通信期间，用户手指在8×8的LED阵列和手机前置摄像头之间进行手势动作。考虑到手势动作识别依靠光照，传输距离设置为35cm左右。LED 发出的光经由手机屏幕的反射至用户手指，使得用户手指边缘被照亮。在手指移动的过程中，保持手指距离手机屏幕水平面的距离不超过10cm，以保证手指在手机的前置摄像头的接收范围内；
步骤4.接收端使用手机前置摄像头接收图像数据后，将接收的图像使用图像分割分成两部分，分别用于OOK信号的解调和用户手势动作识别；
步骤5.对于OOK信号的解调，采用对手机前置摄像头接收的LED阵列图像进行采样、阈值判决、解映射恢复出OOK信号；
步骤6.对于用户手势动作识别，采用对手机前置摄像头接收的手势动作图像，经过质心点坐标计算、质心点运动方向估计、有效运动方向提取、基于预定义的手势动作识别库匹配进行手势动作的识别。
步骤7.在预定义的手势动作识别库中设置四种手势动作类型，分别是直线型、折线型、圆型及数字状型，其中数字状型可以用于选择需控制的设备，其它三类可用于控制所选设备的行为(例如开关、调大调小等)。
(六)主要技术优势
本发明在发送端使用8×8的LED阵列发送OOK信号，通过自由空间传输，在接收端通过手机前置摄像头进行接收。在数据通信期间，用户手指在8×8的 LED阵列和手机前置摄像头之间进行手势动作。通过接收端的手机前置摄像头接收数据后进行信号处理解调恢复出OOK信号，同时实现具有较高识别准确度的手势动作识别。不需要增加额外的硬件设备，降低了系统的实现成本。
本发明的优点是，提出的一种具有数据通信和手势动作识别功能的光相机通信系统方案，系统成本低、简单可行、易于实现，且手势动作识别准确度高。

Claims (5)

1.一种具有数据通信和手势动作识别功能的光相机通信方法，其特征在于所述的方法包括以下步骤：
采用8×8的LED阵列发送OOK信号；
经过自由空间传输，通过手机前置摄像头进行图像数据接收；
在数据通信期间，用户手指在8×8的LED阵列和手机前置摄像头之间进行手势动作；
接收端使用手机前置摄像头接收图像数据后，将接收的图像分成两部分，分别用于OOK信号的解调和用户手势动作识别；所述的用户手势动作识别的方法，其特征在于包括：通过计算手指轮廓在图像中所占像素平均值的方法获取用户手指质心点坐标；计算当前质心点与其后第三个质心点之间的斜率估计出每个质心点的运动方向；提取有效的运动方向；基于预定义的手势动作识别库对手势动作进行匹配识别；所述的预定义的手势动作识别库，其特征在于包括：根据预定义的手势动作建立手势动作识别库，手势动作识别库包括手势动作类型和表示这些动作的字符串组成；在预定义的手势动作识别库中设置四种手势动作类型，分别是直线型、折线型、圆型及数字状型。
2.如权利要求1所述的一种具有数据通信和手势动作识别功能的光相机通信方法，其特征在于，所述的8×8的LED阵列用于发送OOK信号以及提供手势动作识别所需光照。
3.如权利要求1所述的一种具有数据通信和手势动作识别功能的光相机通信方法，其特征在于，所述的用户手指进行手势动作的方法包括：
可识别的动作包括直线型、折线型、圆型及数字状型四类动作；
LED发出的光经由手机屏幕的反射至用户手指，使得用户手指边缘被照亮；在手指移动进行手势动作的过程中，保持手指与手机屏幕水平面的距离；所述的手指与手机屏幕水平面的距离不超过10cm。
4.如权利要求1所述的一种具有数据通信和手势动作识别功能的光相机通信方法，其特征在于，接收端使用手机前置摄像头接收数据的方法包括：调整8×8的LED阵列发送OOK信号的频率为20Hz和手机前置摄像头拍摄的帧率为30fps，以保证数据的完整接收。
5.如权利要求1所述的一种具有数据通信和手势动作识别功能的光相机通信方法，其特征在于，OOK信号的解调方法包括：对手机前置摄像头接收的LED阵列图像进行采样、阈值判决、解映射恢复出OOK信号。
CN202010271623.8A 2020-04-08 2020-04-08 一种具有数据通信和手势动作识别功能的光相机通信系统 Active CN111525958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010271623.8A CN111525958B (zh) 2020-04-08 2020-04-08 一种具有数据通信和手势动作识别功能的光相机通信系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010271623.8A CN111525958B (zh) 2020-04-08 2020-04-08 一种具有数据通信和手势动作识别功能的光相机通信系统

Publications (2)

Publication Number Publication Date
CN111525958A CN111525958A (zh) 2020-08-11
CN111525958B true CN111525958B (zh) 2023-02-03

Family

ID=71902421

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010271623.8A Active CN111525958B (zh) 2020-04-08 2020-04-08 一种具有数据通信和手势动作识别功能的光相机通信系统

Country Status (1)

Country Link
CN (1) CN111525958B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007929A (zh) * 2014-05-26 2014-08-27 南京泰锐斯通信科技有限公司 基于手势识别的移动终端解锁方法及移动终端
CN105429703A (zh) * 2015-10-22 2016-03-23 武汉邮电科学研究院 基于可见光通信的移动终端交互的系统及方法
CN105786177A (zh) * 2016-01-27 2016-07-20 中国人民解放军信息工程大学 一种手势识别设备和方法
CN106575170A (zh) * 2014-07-07 2017-04-19 三星电子株式会社 在触摸敏感设备中执行触摸动作的方法
CN108550184A (zh) * 2018-04-04 2018-09-18 北京天目智联科技有限公司 一种基于光场相机的生物特征3d四维数据识别方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006319643A (ja) * 2005-05-12 2006-11-24 Fuji Photo Film Co Ltd 動画通信システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104007929A (zh) * 2014-05-26 2014-08-27 南京泰锐斯通信科技有限公司 基于手势识别的移动终端解锁方法及移动终端
CN106575170A (zh) * 2014-07-07 2017-04-19 三星电子株式会社 在触摸敏感设备中执行触摸动作的方法
CN105429703A (zh) * 2015-10-22 2016-03-23 武汉邮电科学研究院 基于可见光通信的移动终端交互的系统及方法
CN105786177A (zh) * 2016-01-27 2016-07-20 中国人民解放军信息工程大学 一种手势识别设备和方法
CN108550184A (zh) * 2018-04-04 2018-09-18 北京天目智联科技有限公司 一种基于光场相机的生物特征3d四维数据识别方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Optical Camera Communication: Motion over Camera;Shivani Teli; Willy Anugrah Cahyadi; Yeon Ho Chung;《IEEE Communications Magazine》;20170808;第55卷(第8期);第156–162页，附图1-6 *
Shivani Rajendra Teli ; Stanislav Zvanovec ; Zabih Ghassemlooy.Experimental Investigation of Neuron Based Motion Detection in Internet of Things using Optical Camera Communications.《2019 26th International Conference on Telecommunications (ICT)》.2019, *
Shivani Teli ; Willy Anugrah Cahyadi ; Yeon Ho Chung.Optical Camera Communication: Motion over Camera.《IEEE Communications Magazine》.2017,第55卷(第8期), *
照相机通信关键技术研究及应用;林春;《中国优秀硕士论文全文数据库信息科技辑》;20190915;全文 *

Also Published As

Publication number Publication date
CN111525958A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
US10382854B2 (en) Near field gesture control system and method
Liu et al. Foundational analysis of spatial optical wireless communication utilizing image sensor
CN109344793B (zh) 用于识别空中手写的方法、装置、设备以及计算机可读存储介质
Khalaf et al. Survey On Recognition Hand Gesture By Using Data Mining Algorithms
CN106537816B (zh) 推导可见光信号中标识符的方法、设备和计算机可读介质
TWI540462B (zh) 手勢辨識方法及其裝置
CN106709895A (zh) 图像生成方法和设备
CN106934351B (zh) 手势识别方法、装置及电子设备
JP2007316882A (ja) 遠隔操作装置及び方法
KR101903697B1 (ko) 가시 광선 신호의 접수방법 및 그 장치
CN111103579A (zh) 一种基于手机摄像头的可见光室内定位系统及定位方法
WO2019132564A1 (en) Method and system for classifying time-series data
CN107248091A (zh) 一种人脸识别互动营销系统
CN105245716A (zh) 防止电话误拨的方法及移动终端
Saffari et al. Battery-free camera occupancy detection system
CN110942040B (zh) 一种基于环境光的手势识别系统和方法
US8941609B2 (en) Multi-touch sensing system capable of optimizing touch bulbs according to variation of ambient lighting conditions and method thereof
CN111525958B (zh) 一种具有数据通信和手势动作识别功能的光相机通信系统
US11841447B2 (en) 3D angle of arrival capability in electronic devices with adaptability via memory augmentation
Yi et al. Long-range hand gesture recognition with joint ssd network
CN110555456A (zh) 基于机器学习的视觉可见光定位led-id检测与识别方法
WO2018113206A1 (zh) 一种图像处理方法及终端
CN105786177A (zh) 一种手势识别设备和方法
CN211718515U (zh) 一种基于手机摄像头的可见光室内定位系统
CN109671121A (zh) 一种控制器及其可见光定位视觉检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant