CN113900513A - 基于可见光信号的隔空手势控制方法 - Google Patents

基于可见光信号的隔空手势控制方法 Download PDF

Info

Publication number
CN113900513A
CN113900513A CN202111126580.5A CN202111126580A CN113900513A CN 113900513 A CN113900513 A CN 113900513A CN 202111126580 A CN202111126580 A CN 202111126580A CN 113900513 A CN113900513 A CN 113900513A
Authority
CN
China
Prior art keywords
gesture
complementary
gesture recognition
display device
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111126580.5A
Other languages
English (en)
Other versions
CN113900513B (zh
Inventor
吴帆
廖子墨
陈贵海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202111126580.5A priority Critical patent/CN113900513B/zh
Publication of CN113900513A publication Critical patent/CN113900513A/zh
Priority to US17/949,951 priority patent/US11886647B2/en
Application granted granted Critical
Publication of CN113900513B publication Critical patent/CN113900513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于可见光信号的隔空手势控制方法，通过显示设备发射光信号并采集其带有手势的反射信号，经解析后实现手势识别并用于生成相应的控制指令，发射光信号为可见光波段。本发明不需要增加硬件即可实现移动设备隔空手势识别和控制。本发明实现商用设备上基于可见光的手势识别系统。该方法比起现有商用移动设备上的手势识别方法，避免了专门的硬件修改，即不需要在移动设备上外加任何元器件，例如深度摄像头，并很好地保护了用户的隐私。除此之外，将本发明与深度摄像头进行了对比，验证了其耗能优势。

Description

基于可见光信号的隔空手势控制方法
技术领域
本发明涉及的是一种移动设备传感领域的技术，具体是一种基于可见光信号的隔空手势控制方法。
背景技术
隔空手势控制是用户与电子设备交互的一种较为自然的方式。它扩展传统的接触式交互方式，已有的工作使用移动设备自带的摄像头，麦克风，和Wi-Fi接收器实现隔空手势控制，然而这些方法存在一些问题。基于摄像头和麦克风的方案会引发隐私问题，基于Wi-Fi的解决方案对噪声较为敏感并通常需要专用设备。一些移动设备配备专门的硬件实现隔空手势识别(例如google Pixel 4，LG Q8 ThinQ)，然而它们需要对于移动设备进行额外的更改。
发明内容
本发明针对现有技术需要外加硬件设备实现手势识别的不足，提出一种基于可见光信号的隔空手势控制方法，不需要增加硬件即可实现移动设备隔空手势识别和控制。
本发明是通过以下技术方案实现的：
本发明涉及一种基于可见光信号的隔空手势控制方法，通过显示设备发射光信号并采集其带有手势的反射信号，经解析后实现手势识别并用于生成相应的控制指令，其中：发射光信号为可见光波段。
所述的发射光信号，优选为以逐行刷新方式产生超出人眼感知范围的空间分辨信息。
所述的空间分辨信息，优选为嵌入当前显示内容中以减小对于用户视觉效果的影响。
所述的解析，包括：对反射信号进行预处理及分段后，分别选择并提取其中的手势特征，最后经分类得到手势。
本发明涉及一种实现上述方法的系统，包括：发送端帧处理单元、接收端信号处理单元和手势识别单元，其中：发送端帧处理单元根据屏幕当前帧显示的内容，将当前内容处理成一对多行互补帧，使得两帧混合前后视觉效果相同的同时能够产生突破屏幕刷新率限制的频率，接收端信号处理单元根据光传感器采集到的光强信号，进行数据预处理，得到关键频率能量序列，手势识别单元根据接收端信号处理单元产生的关键频率能量序列，进行特征运算及kNN分类，得到手势识别结果。
技术效果
本发明通过在发送端进行多行互补帧，相邻行的亮度相反。利用逐行刷新机制打破屏幕刷新率对于互补帧光信号频率的限制。从移动设备显示设备发送人眼无法辨识的光信号以提供充足的空间分辨信息，将光信号隐藏到显示设备内容中以避免影响用户观看效果，根据移动设备内置的环境光传感器感知到的低精度光强数据实现手势识别。利用移动设备普遍自带的显示设备和环境光传感器作为光信号的发送端和接收端，实现商用设备上基于可见光的手势识别系统。
附图说明
图1为实施例中移动设备显示设备互补块位置示意图；
图2为实施例中显示设备互补像素值计算流程图；
图3为实施例中互补块边缘打散示意图；
图4为实施例中光强数据处理及手势识别流程图；
图5为实施例测试手势示意图；
图6为实施例两个特征集训练的识别框架的混淆矩阵示意图；
图7～图13为实施例效果示意图；
图14为实施例测试环境展示。
具体实施方式
本实施例涉及一种基于可见光信号的隔空手势控制方法，通过显示设备发射光信号并采集其带有手势的反射信号，经解析后实现手势识别并用于生成相应的控制指令。
所述的发射光信号，通过显示设备利用相邻的两个互补帧切换产生，以逐行刷新方式产生超出人眼感知范围的空间分辨信息，具体如图1所示：当两个n行互补帧连续切换时，显示设备产生
Figure BDA0003278995380000021
的高频光信号，其中：fs表示显示设备的刷新率，则显示设备发出的光信号有两部分频率分量：
Figure BDA0003278995380000022
和
Figure BDA0003278995380000023
互补帧色块在光传感器左侧；为将互补帧隐藏到显示设备内容中，需要将显示设备显示中需要修改的像素点(互补帧色块部分)逐一从RGB颜色空间转换为CIE1931XYZ颜色空间，再分别转换为两个互补的像素值以组成两互补帧。
本实施例中n＝3。
所述的颜色空间转换是指：X＝0.41R+0.36G+0.18B，Y＝0.21R+0.72G+0.07B，Z＝0.02R+0.12G+0.95B，其中：X，Y，Z分别代表XYZ颜色空间的三个分量，R，G，B分别代表RGB颜色空间的三个分量。
进一步地，将XYZ被转换为色度和亮度两个维度：
Figure BDA0003278995380000024
Y＝Y，其中：(x，y)代表色度，Y代表亮度。
所述的互补帧，具体通过以下方式得到：将图像中一个像素点的颜色值(R，G，B)转换为(x，y，Y)，并求解一对互补帧的两个像素点的颜色值(x1，y1，Y1)，(x2，y2，Y2)，求解过程等价于求解一个线性规划问题：
maxΔY＝|Y1-Y2|
s.t.x1＝x2＝x，y1＝y2＝y，
Figure BDA0003278995380000031
如图2所示，通过建立包含中间运算结果的预制表以减小运算开销，即通过(x，y)直接获得中间结果Ymax，并进一步求解ΔYmax＝min(Ymax-Y，Y)，继续求解该优化问题。
如图3所示，通过增加边缘光滑机制，打散互补色块边缘以减弱两帧切换对于视觉效果的影响。
本实施例中的反射信号，通过环境光传感器TEMT6000，以采样率250Hz采集得到。
本实施例中通过对采集到的反射信号进行进行预处理及分段后，分别选择并提取其中的手势特征，最后经分类得到手势，具体包括：
①对反射信号进行短时傅里叶变换，将时域上的数据转化为频域数据，其中：f0＝0Hz，
Figure BDA0003278995380000032
和
Figure BDA0003278995380000033
的幅值序列是有效的特征序列，本实施例中n＝3。
②对频域数据中的
Figure BDA0003278995380000034
幅值序列来进行分段。当该频率光信号幅值大于阈值时意味着有手势产生，则需要处理该段特征序列并且进行手势识别，反之则略过该段特征序列，不需要进行手势识别。
③选择特征序列后使用K近邻(K-nearestneighbour)的分类方法来进行分类，实现手势识别，具体为：选择f0＝0Hz对应的幅值序列E0(t)、
Figure BDA0003278995380000035
对应的幅值序列E1(t)、二者一阶导数乘积E0(t)'*E1(t)'以及E1与
Figure BDA0003278995380000036
幅值序列E2(t)的比值
Figure BDA0003278995380000037
其中每个特征序列都使用零均值(z-score)的方法规范化，距离度量使用动态时间规整(Dynamictimingwarping)的距离度量方法。
经过具体实际实验，本实施例在一款商用现货平板电脑(具有11英寸屏幕的iPadPro)上实施上述方法，由于操作系统限制对屏幕驱动程序的操作访问，使用预处理的视频来模拟互补帧之间的切换。闪烁块位于屏幕右侧。闪烁区的宽度约为5厘米，可以安装在大多数手机的屏幕上。因此，智能手机不仅可以在平板电脑上实现，也可以在智能手机上实现。默认情况下，屏幕亮度为100％，屏幕显示咖啡厅图片。
如图14所示，本实施例通过使用一个独立的环境光传感器(TEMT6000)作为接收器，光传感器和模块左边缘之间的距离为2.5cm。ALS的默认采样率设置为250Hz，因为大多数ALS的积分时间低于4ms。用户在屏幕上方约10厘米处执行手势，图中右侧为发射光信号的区域。
本实施例在5个环境中测试本方法，其中8个用户(5名男性和3名女性)年龄在20到30岁之间。实验在五种典型环境中进行，如下表所示：
项目 个数 备注
用户 8 5男、3女
手势 9 左右、右左、上下、下上、握拳、张开手、远近、近远、双手翻转
环境 5 0、150、350、750、2000lux
识别准确度：基于不同设计选择和不同环境设置下本方法的分类精度。要求8个用户执行如图5所示的每个手势20次。此外，为测试本方法对各种环境的鲁棒性，要求一个用户在每个环境中执行每个手势50次。默认情况下，使用10倍交叉验证的平均值作为最终结果。
不同的功能集：为证明选择的特征的有效性，比较使用不同特征集训练系统时的识别精度。功能集1仅包括E0、E1和E2的时间序列，分别是DC、f1和f2的功率。功能集2包含选择的四个功能。如图6所示，分别为使用两个特征集训练的识别框架的混淆矩阵。可以看到，特征集2的准确率为96.1％，而特征集1的准确率为87.3％。特别是，对于“上下”、“下上”、“张开手”和“拳头”四种手势，通过两个精心设计的功能，即R12和E0'*E1'，准确率从79.6％提高到95.3％。
不同的照明环境：测试5种与常见照明条件相对应的静态环境，包括：1)完全黑暗的房间，光线强度为0Lux。2)夜间有照明设施的会议室。平均光强度约为150Lux。3)白天的休息室环境，室内平均光照强度约为350Lux。4)白天的普通办公室，有阳光和照明基础设施。平均光强度约为700Lux。5)下午，窗户旁边有一条明亮的走廊。平均光强度约为2000Lux。
为检验光波动对识别精度的影响，还测试两种常见的动态光环境：1)人为干扰：要求一个受试者做这九个手势，另一个受试者被命令在这个地方走动。每种姿势在4种光照环境下测试20次(700lux普通办公室除外，因为测试床周围没有空间让受试者走动)。2)整体光强变化：在办公室用多种光源进行实验。用户每做一个手势20次，而与试验台在同一张桌子上的一盏灯每3秒打开/关闭一次。ALS测量600Lux和750Lux之间的光强度变化。
如图7所示，为不同光照条件下的识别精度。可以观察到1)在静态环境下的识别准确率在94.3％到96.9％之间，即本方法在静态环境下工作良好。2)在两种动态光环境下的精度均在93％以上。因此，本方法能够在各种环境光强度下工作，从黑暗(0lux)到明亮(2000lux)的室内环境，并且在动态变化的光照条件下具有鲁棒性。
用户多样性：为测试本方法对不可见用户的稳健性，使用遗漏1和10倍交叉验证来测试每个用户的准确性。如果去掉一个，测试用户的样本将从训练集中排除，如图8所示。
每个用户的遗漏1和10倍交叉验证结果相似，这意味着本方法是一个通用模型，而不是一个个性化模型。这是因为，尽管不同用户的手势幅度和速度不同，但应用标准化技术(Z-score和动态时间扭曲)来消除个人习惯的干扰，并将重点放在与手势相关的特征上。
不可见的情景：考虑智能的表现为不可见的环境。使用漏掉一个交叉验证。如中所示图9，发现，如果测试环境的样本包含在训练集中，使用kNN可以达到96％的准确率，而对于不可见的环境，可以达到88.7％的准确率。
为提高未知场景的性能，进一步提出用选通递归神经网络(GRN)代替KNN分类器以获得更好的性能。该模型由两个双向门递归层和一个全连接层组成，其中两个层具有用于特征提取的漏极，另一个层用于分类。实验表明，该算法在“不可见”的情况下，平均准确率达到93.45％“环境。此外，GRN的性能可以通过模型集成来提高，模型集成综合考虑多个模型的输出并确定最终标签。通常，模型集成可以提高精度，但代价是增加计算量和存储消耗。实验表明，2个GRN和5个GRN的集合在“不可见”场景下的平均准确率分别达到94.27％和95.61％。不同模型的准确率结果如图9所示。
不同的屏幕内容：(1)静态内容：测试3种不同的静态内容(蔬菜、咖啡馆和足球场)的手势识别精度。这三种内容分别对应三个级别的平均△Y：(20,40)，(40,60)，(60,80)。如所示图10，可以观察到，△Y越大，识别精度越高。这很容易理解，因为△Y越大，意味着来自屏幕的光信号的信噪比越高，从而导致更清晰的特征。(2)动态内容：还测试3种动态内容(包括风景视频、体育和电影)的手势识别准确性。它们分别表示具有轻微、中等和剧烈帧过渡的视频。对于每种视频类型，选择3个视频剪辑，每个约30-90秒。在测试每个视频剪辑时，播放视频cli在一个循环上，受试者在随机时刻执行每个手势10次。如图10所示，可以看到，当屏幕显示动态内容时，本方法的手势识别精度是可以接受的。虽然动态内容会改变光强度，但在大多数情况下，它变化平稳且缓慢。此外，手势的持续时间通常较短(约1-2秒)在如此短的时间间隔内，屏幕光不会发生显著变化。因此，手势在接收到的光强度中起主导作用。
帧处理延迟：为测试本方法支持实时显示的能力，在Android和iOS平台上部署帧处理算法。在5台Android设备(小米MI9 Pro、三星A90、三星Galaxy S10、中兴AXON10Pro)和2台iOS设备(iPhone 11Pro、iPhone XS)上运行智能发射机，并测量每个帧的处理时间。在不同的设备上测试10个1080p图像和2个视频。每个图像/视频在每个设备上测试10次。
执行一些简单的优化以减少计算负载，包括空间域和时间域：1)空间域：如果帧中的块是单色(相同的RGB值)，本方法只进行一次处理；2)时域：如果帧中的像素与前一帧共享相同的颜色，本方法将重用前一帧的结果。计算每个设备处理时间的平均结果，并显示在中图12可以观察到，优化后不同设备的平均处理时间为6-9ms。因此，可以实时处理和渲染每个帧以支持60fps的动态显示。
与深度摄影机的比较：精确测试华为Mate 30Pro的手势识别，它的前面板上有一个手势传感器(即深度摄像头)。由于华为Mate 30Pro支持6种手势，在静态灯光环境中对每个手势进行30次测试。平均准确率为93.8％。对于本方法，识别9种手势的平均准确率为93.0％-96.9％。因此，本方法的精确度与商用系统相当。
功耗测试：在华为Mate 30Pro上运行本方法，功耗测试包括：1)智能发射机：主要指帧处理的功耗。屏幕显示的功耗不包括在测量范围内，因为无论本方法是否运行，当智能手机在使用时，屏幕始终打开。2)智能接收器：主要指运行手势识别算法的功耗。与屏幕类似，智能手机使用时，ALS始终处于打开状态，因此在测量中不包括ALS的功耗。
测试5种显示内容：在线聊天、网络浏览、在线购物、播放风景视频和观看电影。还设置一个控制组(不运行算法，但屏幕和ALS打开)。通过观察实验组和对照组之间的差异，可以测量本方法的功耗。
对于华为Mate30 Pro，使用BatteryManager.BATTERY_PROPERTY_容量读取电池百分比。为使结果准确，让本方法在每次测试中运行1.5小时。每个病例重复3次。中显示每种类型场景的平均电池电量图13为测量深度相机的功耗，使用API函数CameraManager.open()使深度相机保持开启状态1.5小时，并检查手机的电池电量消耗情况。重复实验3次，电池电量下降7％。
比较智能相机和深度相机的功耗，有两个观察结果。首先，发现在大多数情况下，智能相机的功耗低于深度相机。它主要得益于时域优化，因为后续帧中的大部分像素具有很多相似性。其次，发现帧转换越剧烈，功耗越高。原因是剧烈的转换导致相邻帧之间的像素差异更大，这意味着需要处理新帧中的更多像素。
综上，本发明利用移动设备自带的显示设备和环境光传感器作为光信号的发送端和接收端，实现商用设备上基于可见光的手势识别系统。该方法比起现有商用移动设备上的手势识别方法，避免了专门的硬件修改，即不需要在移动设备上外加任何元器件，例如深度摄像头，并很好地保护了用户的隐私。除此之外，将本发明与深度摄像头进行了对比，验证了其耗能优势。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (10)

1.一种基于可见光信号的隔空手势控制方法，其特征在于，通过显示设备发射光信号并采集其带有手势的反射信号，经解析后实现手势识别并用于生成相应的控制指令，其中：发射光信号为可见光波段；
所述的空间分辨信息为嵌入当前显示内容中以减小对于用户视觉效果的影响。
2.根据权利要求1所述的基于可见光信号的隔空手势控制方法，其特征是，所述的发射光信号为以逐行刷新方式产生超出人眼感知范围的空间分辨信息。
3.根据权利要求1所述的基于可见光信号的隔空手势控制方法，其特征是，所述的解析，包括：对反射信号进行预处理及分段后，分别选择并提取其中的手势特征，最后经分类得到手势。
4.根据权利要求1～3中任一所述的基于可见光信号的隔空手势控制方法，其特征是，所述的解析具体包括：
①对反射信号进行短时傅里叶变换，将时域上的数据转化为频域数据，其中：f0＝0Hz，
Figure FDA0003278995370000011
和
Figure FDA0003278995370000012
的幅值序列是有效的特征序列；
②对频域数据中的
Figure FDA0003278995370000013
幅值序列来进行分段，当该频率光信号幅值大于阈值时意味着有手势产生，则需要处理该段特征序列并且进行手势识别，反之则略过该段特征序列，不需要进行手势识别；
③选择特征序列后使用K近邻的分类方法来进行分类，实现手势识别，具体为：选择f0＝0Hz对应的幅值序列E0(t)、
Figure FDA0003278995370000014
对应的幅值序列E1(t)、二者一阶导数乘积E0(t)′*E1(t)′以及E1与
Figure FDA0003278995370000015
幅值序列E2(t)的比值
Figure FDA0003278995370000016
其中每个特征序列都使用零均值的方法规范化，距离度量使用动态时间规整的距离度量方法。
5.根据权利要求1～3中任一所述的基于可见光信号的隔空手势控制方法，其特征是，所述的发射光信号，通过显示设备利用相邻的两个互补帧切换产生，以逐行刷新方式产生超出人眼感知范围的空间分辨信息，当两个n行互补帧连续切换时，显示设备产生
Figure FDA0003278995370000017
的高频光信号，其中：fs表示显示设备的刷新率，则显示设备发出的光信号有两部分频率分量：
Figure FDA0003278995370000018
和
Figure FDA0003278995370000019
互补帧色块在光传感器左侧；为将互补帧隐藏到显示设备内容中，需要将显示设备显示中需要修改的像素点，即互补帧色块部分逐一从RGB颜色空间转换为CIE 1931XYZ颜色空间，再分别转换为两个互补的像素值以组成两互补帧。
6.根据权利要求5所述的基于可见光信号的隔空手势控制方法，其特征是，所述的颜色空间转换是指：X＝0.41R+0.36G+0.18B，Y＝0.21R+0.72G+0.07B，Z＝0.02R+0.12G+0.95B，其中：X，Y，Z分别代表XYZ颜色空间的三个分量，R，G，B分别代表RGB颜色空间的三个分量。
7.根据权利要求5所述的基于可见光信号的隔空手势控制方法，其特征是，所述的互补帧，具体通过以下方式得到：将图像中一个像素点的颜色值(R，G，B)转换为(x，y，Y)，并求解一对互补帧的两个像素点的颜色值(x1，y1，Y1)，(x2，y2，Y2)，求解过程等价于求解一个线性规划问题：maxΔY＝|Y1-Y2|，s.t.x1＝x2＝x，y1＝y2＝y，
Figure FDA0003278995370000021
通过建立包含中间运算结果的预制表以减小运算开销，即通过(x，y)直接获得中间结果Ymax，并进一步求解ΔYmax＝min(Ymax-Y，Y)，继续求解该优化问题。
8.根据权利要求1～3中任一所述的基于可见光信号的隔空手势控制方法，其特征是，通过增加边缘光滑机制，打散互补色块边缘以减弱两帧切换对于视觉效果的影响。
9.一种实现权利要求1～8中任一所述方法的隔空手势控制系统，其特征在于，包括：发送端帧处理单元、接收端信号处理单元和手势识别单元，其中：发送端帧处理单元根据屏幕当前帧显示的内容，将当前内容处理成一对多行互补帧，使得两帧混合前后视觉效果相同的同时能够产生突破屏幕刷新率限制的频率，接收端信号处理单元根据光传感器采集到的光强信号，进行数据预处理，得到关键频率能量序列，手势识别单元根据接收端信号处理单元产生的关键频率能量序列，进行特征运算及kNN分类，得到手势识别结果，进一步地，将XYZ被转换为色度和亮度两个维度：
Figure FDA0003278995370000022
Y＝Y，其中：(x，y)代表色度，Y代表亮度。
10.根据权利要求9所述的系统，其特征是，所述的反射信号，以采样率250Hz采集得到。
CN202111126580.5A 2021-09-26 2021-09-26 基于可见光信号的隔空手势控制方法 Active CN113900513B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111126580.5A CN113900513B (zh) 2021-09-26 2021-09-26 基于可见光信号的隔空手势控制方法
US17/949,951 US11886647B2 (en) 2021-09-26 2022-09-21 In-air gesture control method based on visible light signals

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111126580.5A CN113900513B (zh) 2021-09-26 2021-09-26 基于可见光信号的隔空手势控制方法

Publications (2)

Publication Number Publication Date
CN113900513A true CN113900513A (zh) 2022-01-07
CN113900513B CN113900513B (zh) 2022-10-11

Family

ID=79029487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111126580.5A Active CN113900513B (zh) 2021-09-26 2021-09-26 基于可见光信号的隔空手势控制方法

Country Status (2)

Country Link
US (1) US11886647B2 (zh)
CN (1) CN113900513B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105120325A (zh) * 2015-09-15 2015-12-02 中国人民解放军信息工程大学 一种信息传输方法及系统
CN105453006A (zh) * 2013-07-08 2016-03-30 摩托罗拉移动有限责任公司 手势敏感显示器
CN105518576A (zh) * 2013-06-28 2016-04-20 陈家铭 根据手势的控制装置操作
US20200150772A1 (en) * 2018-11-09 2020-05-14 Google Llc Sensing Hand Gestures Using Optical Sensors
US20200217930A1 (en) * 2018-08-30 2020-07-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for gesture recognition, terminal, and storage medium
CN213519977U (zh) * 2019-04-28 2021-06-22 柳州阜民科技有限公司 显示装置、检测模组、图像模组和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107436685B (zh) * 2017-07-31 2020-07-07 京东方科技集团股份有限公司 显示装置、自发光的显示面板及手势识别方法
CN111078018A (zh) * 2019-12-31 2020-04-28 深圳Tcl新技术有限公司 显示器的触摸控制方法、终端设备及存储介质
EP4160377A4 (en) * 2020-07-31 2023-11-08 Guangdong Oppo Mobile Telecommunications Corp., Ltd. GESTURE CONTROL METHOD AND ASSOCIATED DEVICE

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518576A (zh) * 2013-06-28 2016-04-20 陈家铭 根据手势的控制装置操作
CN105453006A (zh) * 2013-07-08 2016-03-30 摩托罗拉移动有限责任公司 手势敏感显示器
CN105120325A (zh) * 2015-09-15 2015-12-02 中国人民解放军信息工程大学 一种信息传输方法及系统
US20200217930A1 (en) * 2018-08-30 2020-07-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for gesture recognition, terminal, and storage medium
US20200150772A1 (en) * 2018-11-09 2020-05-14 Google Llc Sensing Hand Gestures Using Optical Sensors
CN213519977U (zh) * 2019-04-28 2021-06-22 柳州阜民科技有限公司 显示装置、检测模组、图像模组和电子设备

Also Published As

Publication number Publication date
US11886647B2 (en) 2024-01-30
CN113900513B (zh) 2022-10-11
US20230096340A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
US9558591B2 (en) Method of providing augmented reality and terminal supporting the same
KR102546990B1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
Cheng et al. Efficient histogram modification using bilateral Bezier curve for the contrast enhancement
US10235967B2 (en) Information processing device and information processing method
CN110084204B (zh) 基于目标对象姿态的图像处理方法、装置和电子设备
US20210358181A1 (en) Display device and display control method
US20220093034A1 (en) Video wall
CN112233075B (zh) 视频清晰度评估方法、装置、存储介质及电子设备
KR20140057522A (ko) 디스플레이 광원 장면 조명을 사용하여 신뢰할만한 객체 반사 감지를 위한 방법 및 시스템
CN107025441B (zh) 肤色检测方法及装置
CN116194958A (zh) 热成像的选择性着色
CN109215578A (zh) 屏幕显示方法及装置
Liao et al. SMART: screen-based gesture recognition on commodity mobile devices
CN113900513B (zh) 基于可见光信号的隔空手势控制方法
CN104954627A (zh) 一种信息处理方法及电子设备
US20220179611A1 (en) Video wall
US10885339B2 (en) Display of information related to audio content based on ambient lighting conditions
KR20160039881A (ko) 피부 분석 결과 출력 방법, 이를 위한 장치 및 어플리케이션
CN109616044B (zh) 一种可实现阳光直射下户外显示设备高清高亮显示的方法
US10567699B2 (en) Information processing apparatus to improve image quality by removing flicker component from captured image
CN105321153B (zh) 视频监控低照度图像色彩还原方法和装置
US20110064311A1 (en) Electronic apparatus and image search method
CN114038370A (zh) 显示参数调整方法、装置、存储介质及显示设备
CN112511890A (zh) 视频图像处理方法、装置及电子设备
KR101465940B1 (ko) 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant