CN115097936A - 基于手势动作深度学习的显示屏控制方法 - Google Patents

基于手势动作深度学习的显示屏控制方法 Download PDF

Info

Publication number
CN115097936A
CN115097936A CN202210686458.1A CN202210686458A CN115097936A CN 115097936 A CN115097936 A CN 115097936A CN 202210686458 A CN202210686458 A CN 202210686458A CN 115097936 A CN115097936 A CN 115097936A
Authority
CN
China
Prior art keywords
display screen
person
hand
front camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210686458.1A
Other languages
English (en)
Other versions
CN115097936B (zh
Inventor
余丹
唐霆岳
兰雨晴
彭建强
王丹星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Standard Intelligent Security Technology Co Ltd
Original Assignee
China Standard Intelligent Security Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Standard Intelligent Security Technology Co Ltd filed Critical China Standard Intelligent Security Technology Co Ltd
Priority to CN202210686458.1A priority Critical patent/CN115097936B/zh
Publication of CN115097936A publication Critical patent/CN115097936A/zh
Application granted granted Critical
Publication of CN115097936B publication Critical patent/CN115097936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

本发明提供了基于手势动作深度学习的显示屏控制方法,其先采集与分析显示屏前方人员的脸部图像,以此调整显示屏的开关工作状态;当显示屏开启后,采集与分析人员的手部图像,判断人员的手部是否过分偏离手部图像画面,以此调整前置摄像头的拍摄参数;采集与分析人员的手部动态影像,提取得到对应的手部骨骼点线图,以此确定人员的手势动作;再根据手势动作,从预设控制指令库中调取相匹配的控制指令,调整显示屏的工作状态;上述方法先保证人员的手部能够完整进入到前置摄像头的拍摄视场范围,再从人员的手部动态影像中提取手部骨骼点线图,确定给人员当前手势动作对应的控制指令,避免不同人员对显示屏进行接触控制而引起交叉感染。

Description

基于手势动作深度学习的显示屏控制方法
技术领域
本发明涉及显示屏控制的技术领域,特别涉及基于手势动作深度学习的显示屏控制方法。
背景技术
现有的显示屏通常都是利用显示屏上的按键或者利用遥控器来调整显示屏的工作状态,上述方式都属于直接接触式的显示屏控制手段,当不同人员对显示屏进行控制操作时,会不可避免发生病毒或细菌的交叉感染,无法保证显示屏控制操作的洁净性和满足对显示屏的无接触控制需求。
发明内容
针对现有技术存在的缺陷,本发明提供基于手势动作深度学习的显示屏控制方法,其先采集与分析显示屏前方人员的脸部图像,以此调整显示屏的开关工作状态;当显示屏开启后,采集与分析人员的手部图像,判断人员的手部是否过分偏离手部图像画面,以此调整前置摄像头的拍摄参数;采集与分析人员的手部动态影像,提取得到对应的手部骨骼点线图,以此确定人员的手势动作;再根据手势动作,从预设控制指令库中调取相匹配的控制指令,调整显示屏的工作状态;上述方法先保证人员的手部能够完整进入到前置摄像头的拍摄视场范围,再从人员的手部动态影像中提取手部骨骼点线图,确定给人员当前手势动作对应的控制指令,从而触发对显示屏的非接触控制,避免不同人员对显示屏进行接触控制而引起交叉感染,提高显示屏控制的安全卫生性。
本发明提供基于手势动作深度学习的显示屏控制方法,其包括如下步骤:
步骤S1,指示显示屏的前置摄像头采集位于显示屏前方人员的脸部图像,并对所述脸部图像进行分析处理,确定位于显示屏前方的人员身份信息;根据所述人员身份信息,调整显示屏的开关工作状态;
步骤S2,当显示屏被开启后,指示所述前置摄像头采集所述人员的手部图像,并对所述手部图像进行分析处理,确定在所述手部图像画面中手部像素偏离信息;根据所述手部像素偏离信息,调整所述前置摄像头的拍摄参数;
步骤S3,指示所述前置摄像头采集所述人员的手部动态影像,将所述手部动态影像切分为若干帧图片;对每个帧图片进行深度学习分析处理,从每个帧图片提取得到手部骨骼点线图;
步骤S4,根据所有帧图片的手部骨骼点线图,确定所述人员的手势动作;根据所述手势动作,从预设控制指令库中调取相匹配的控制指令,再根据调取的控制指令,调整显示屏的工作状态。
进一步,在所述步骤S1中,指示显示屏的前置摄像头采集位于显示屏前方人员的脸部图像,并对所述脸部图像进行分析处理,确定位于显示屏前方的人员身份信息具体包括:
指示显示屏的前置摄像头对位于显示屏前方人员的脸部区域进行追踪拍摄,当人员的脸部区域整体全部进入到前置摄像头的拍摄视场范围内时,对人员的脸部区域进行拍摄,得到相应的脸部图像;
从所述脸部图像中提取得到所述人员的脸部五官特征信息,并根据所述脸部五官特征信息,确定位于显示屏前方的人员身份信息。
进一步,在所述步骤S1中,根据所述人员身份信息,调整显示屏的开关工作状态具体包括:
将所述人员身份信息与预设人员身份信息白名单进行比对,若所述人员身份信息存在与预设人员身份信息白名单,则开启显示屏;否则,关闭显示屏。
进一步,在所述步骤S2中,当显示屏被开启后,指示所述前置摄像头采集所述人员的手部图像,并对所述手部图像进行分析处理,确定在所述手部图像画面中手部像素偏离信息具体包括:
当显示屏被开启后,指示所述前置摄像头采集包含所述人员的左手或右手的全部手掌部分的手部图像,并根据所述手部图像得到其对应的手掌骨骼点线图,所述手掌骨骼点线图是指由手掌对应的骨骼和关节点形成的点线图;
以所述手掌骨骼点线图的左下角顶点为原点,下边缘向右为X轴,左边缘向上为Y轴建立平面直角坐标系,则所述手掌骨骼点线图中手掌的每个部位点均能够采用相应坐标进行表示;利用下面公式(1),根据所述手掌骨骼点线图中手掌的每个部位点的坐标,得到所述手部图像画面中手掌的部位点偏离所述手部图像的中心点的最大像素距离,
Figure BDA0003698109030000031
在上述公式(1)中,h表示所述手部图像画面中手掌的部位点偏离所述手部图像的中心点的最大像素距离;[x(i),y(i)]表示所述手掌骨骼点线图中手掌的第i个部位点;D表示所述手掌骨骼点线图每一行或每一列包含的像素点个数;n表示所述手掌骨骼点线图中手掌的部位点的总数量;
Figure BDA0003698109030000032
表示将i的值从1取到n过程中括号内的最大值。
进一步,在所述步骤S2中,调整所述前置摄像头的拍摄参数之前,包括:
利用下面公式(2),通过安装在显示屏前方的红外测距传感器阵列,得到前置摄像头与显示屏前方人员之间的实测距离,
Figure BDA0003698109030000033
在上述公式(2)中,L表示前置摄像头与显示屏前方人员之间的实测距离;L(a)表示红外测距传感器阵列中第a个红外测距传感器检测得到的前置摄像头与显示屏前方人员之间的距离;m表示红外测距传感器阵列包含的红外测距传感器总数量;L0表示人员的手掌厚度,其取值为0.015m;
Figure BDA0003698109030000034
表示将a的值从1取到m的过程中括号内的最小值;F{}表示判断函数,若括号内的算式成立,则判断函数的函数值为1,若括号内的算式不成立,则判断函数的函数值为0;
若前置摄像头与显示屏前方人员之间的实测距离L大于预设距离阈值,则向显示屏前方人员发出语音提醒消息,指示人员向靠近显示屏的方向移动。
进一步,在所述步骤S2中,根据所述手部像素偏离信息,调整所述前置摄像头的拍摄参数具体包括:
利用下面公式(3),根据前置摄像头与显示屏前方人员之间的距离以及所述最大像素距离,确定前置摄像头的拍摄焦距调整目标值,
Figure BDA0003698109030000041
在上述公式(3)中,f表示前置摄像头的拍摄焦距调整目标值;D表示前置摄像头与显示屏前方人员之间的距离;f0表示前置摄像头的预设初始拍摄焦距。
进一步,在所述步骤S3中,指示所述前置摄像头采集所述人员的手部动态影像,将所述手部动态影像切分为若干帧图片具体包括:
指示所述前置摄像头采集所述人员的手部动态影像,按照预定时间间隔,从所述手部动态影像中依次提取得到若干帧图片。
进一步,在所述步骤S4中,根据所有帧图片的手部骨骼点线图,确定所述人员的手势动作;根据所述手势动作,从预设控制指令库中调取相匹配的控制指令,再根据调取的控制指令,调整显示屏的工作状态具体包括:
按照提取得到的所有帧图片在所述手部动态影像的时序,对所有帧图片对应的手部骨骼点线图依次进行比对,得到所述人员的手势动作变化信息;
根据所述人员的手势动作变化信息,确定所述人员当前作出的手势动作类型,再根据所述手势动作类型,从预设控制指令库中调取相匹配的控制指令;
根据调取的控制指令,调整显示屏的画面亮度、画面色度和画面对比度中的至少一者。
相比于现有技术,该基于手势动作深度学习的显示屏控制方法先采集与分析显示屏前方人员的脸部图像,以此调整显示屏的开关工作状态;当显示屏开启后,采集与分析人员的手部图像,判断人员的手部是否过分偏离手部图像画面,以此调整前置摄像头的拍摄参数;采集与分析人员的手部动态影像,提取得到对应的手部骨骼点线图,以此确定人员的手势动作;再根据手势动作,从预设控制指令库中调取相匹配的控制指令,调整显示屏的工作状态;上述方法先保证人员的手部能够完整进入到前置摄像头的拍摄视场范围,再从人员的手部动态影像中提取手部骨骼点线图,确定给人员当前手势动作对应的控制指令,从而触发对显示屏的非接触控制,避免不同人员对显示屏进行接触控制而引起交叉感染,提高显示屏控制的安全卫生性。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的基于手势动作深度学习的显示屏控制方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参阅图1,为本发明实施例提供的基于手势动作深度学习的显示屏控制方法的路程示意图。该基于手势动作深度学习的显示屏控制方法包括如下步骤:
步骤S1,指示显示屏的前置摄像头采集位于显示屏前方人员的脸部图像,并对该脸部图像进行分析处理,确定位于显示屏前方的人员身份信息;根据该人员身份信息,调整显示屏的开关工作状态;
步骤S2,当显示屏被开启后,指示该前置摄像头采集该人员的手部图像,并对该手部图像进行分析处理,确定在该手部图像画面中手部像素偏离信息;根据该手部像素偏离信息,调整该前置摄像头的拍摄参数;
步骤S3,指示该前置摄像头采集该人员的手部动态影像,将该手部动态影像切分为若干帧图片;对每个帧图片进行深度学习分析处理,从每个帧图片提取得到手部骨骼点线图;
步骤S4,根据所有帧图片的手部骨骼点线图,确定该人员的手势动作;根据该手势动作,从预设控制指令库中调取相匹配的控制指令,再根据调取的控制指令,调整显示屏的工作状态。
上述技术方案的有益效果为:该基于手势动作深度学习的显示屏控制方法先采集与分析显示屏前方人员的脸部图像,以此调整显示屏的开关工作状态;当显示屏开启后,采集与分析人员的手部图像,判断人员的手部是否过分偏离手部图像画面,以此调整前置摄像头的拍摄参数;采集与分析人员的手部动态影像,提取得到对应的手部骨骼点线图,以此确定人员的手势动作;再根据手势动作,从预设控制指令库中调取相匹配的控制指令,调整显示屏的工作状态;上述方法先保证人员的手部能够完整进入到前置摄像头的拍摄视场范围,再从人员的手部动态影像中提取手部骨骼点线图,确定给人员当前手势动作对应的控制指令,从而触发对显示屏的非接触控制,避免不同人员对显示屏进行接触控制而引起交叉感染,提高显示屏控制的安全卫生性。
优选地,在该步骤S1中,指示显示屏的前置摄像头采集位于显示屏前方人员的脸部图像,并对该脸部图像进行分析处理,确定位于显示屏前方的人员身份信息具体包括:
指示显示屏的前置摄像头对位于显示屏前方人员的脸部区域进行追踪拍摄,当人员的脸部区域整体全部进入到前置摄像头的拍摄视场范围内时,对人员的脸部区域进行拍摄,得到相应的脸部图像;
从该脸部图像中提取得到该人员的脸部五官特征信息,并根据该脸部五官特征信息,确定位于显示屏前方的人员身份信息。
上述技术方案的有益效果为:通过上述方式,对位于显示屏前方人员进行抓捕拍摄,一旦人员的脸部区域进入到前置摄像头的拍摄视场范围内,对人员的脸部区域进行拍摄,得到相应的脸部图像。再从脸部图像中提取相应的脸部五官特征,确定显示屏前方人员的身份信息,从而便于后续对显示屏进行可靠的开关控制。
优选地,在该步骤S1中,根据该人员身份信息,调整显示屏的开关工作状态具体包括:
将该人员身份信息与预设人员身份信息白名单进行比对,若该人员身份信息存在与预设人员身份信息白名单,则开启显示屏;否则,关闭显示屏。
上述技术方案的有益效果为:通过上述方式,能够确保只有在预设人员身份信息白名单上的人员才能有权限开启显示屏,从而提高显示屏的开启安全性。
优选地,在该步骤S2中,当显示屏被开启后,指示该前置摄像头采集该人员的手部图像,并对该手部图像进行分析处理,确定在该手部图像画面中手部像素偏离信息具体包括:
当显示屏被开启后,指示该前置摄像头采集包含该人员的左手或右手的全部手掌部分的手部图像,并根据该手部图像得到其对应的手掌骨骼点线图,该手掌骨骼点线图是指由手掌对应的骨骼和关节点形成的点线图;
以该手掌骨骼点线图的左下角顶点为原点,下边缘向右为X轴,左边缘向上为Y轴建立平面直角坐标系,则该手掌骨骼点线图中手掌的每个部位点均能够采用相应坐标进行表示;利用下面公式(1),根据该手掌骨骼点线图中手掌的每个部位点的坐标,得到该手部图像画面中手掌的部位点偏离该手部图像的中心点的最大像素距离,
Figure BDA0003698109030000081
在上述公式(1)中,h表示该手部图像画面中手掌的部位点偏离该手部图像的中心点的最大像素距离;[x(i),y(i)]表示该手掌骨骼点线图中手掌的第i个部位点;D表示该手掌骨骼点线图每一行或每一列包含的像素点个数;n表示该手掌骨骼点线图中手掌的部位点的总数量;
Figure BDA0003698109030000082
表示将i的值从1取到n过程中括号内的最大值。
上述技术方案的有益效果为:利用上述公式(1),根据手掌骨骼点线图中手掌的部位点坐标分布情况,得到该手部图像画面中手掌的部位点偏离该手部图像的中心点的最大像素距离,由于前置摄像头的拍摄位置无法移动,先求取手部的点位坐标中偏离中心点位的最大像素距离保证后续调节焦距时也可以将手掌图像全部拍摄到。
优选地,在该步骤S2中,调整该前置摄像头的拍摄参数之前,包括:
利用下面公式(2),通过安装在显示屏前方的红外测距传感器阵列,得到前置摄像头与显示屏前方人员之间的实测距离,
Figure BDA0003698109030000083
在上述公式(2)中,L表示前置摄像头与显示屏前方人员之间的实测距离;L(a)表示红外测距传感器阵列中第a个红外测距传感器检测得到的前置摄像头与显示屏前方人员之间的距离;m表示红外测距传感器阵列包含的红外测距传感器总数量;L0表示人员的手掌厚度,其取值为0.015m;
Figure BDA0003698109030000084
表示将a的值从1取到m的过程中括号内的最小值;F{}表示判断函数,若括号内的算式成立,则判断函数的函数值为1,若括号内的算式不成立,则判断函数的函数值为0;
若前置摄像头与显示屏前方人员之间的实测距离L大于预设距离阈值,则向显示屏前方人员发出语音提醒消息,指示人员向靠近显示屏的方向移动。
上述技术方案的有益效果为:利用上述公式(2),通过安装在显示屏前方的红外测距传感器阵列,测得前置摄像头与显示屏前方人员之间的实测距离,从而在人员距离较远时无法拍摄到较好的手掌图像时及时提醒人员向前移动。
优选地,在该步骤S2中,根据该手部像素偏离信息,调整该前置摄像头的拍摄参数具体包括:
利用下面公式(3),根据前置摄像头与显示屏前方人员之间的距离以及该最大像素距离,确定前置摄像头的拍摄焦距调整目标值,
Figure BDA0003698109030000091
在上述公式(3)中,f表示前置摄像头的拍摄焦距调整目标值;D表示前置摄像头与显示屏前方人员之间的距离;f0表示前置摄像头的预设初始拍摄焦距。
上述技术方案的有益效果为:利用上述公式(3),根据前置摄像头与显示屏前方人员之间的距离以及该最大像素距离,确定前置摄像头的拍摄焦距调整目标值,使得手掌图像可以最大化的显示在图像画面中,便于后续对手势动作变化的分析。
优选地,在该步骤S3中,指示该前置摄像头采集该人员的手部动态影像,将该手部动态影像切分为若干帧图片具体包括:
指示该前置摄像头采集该人员的手部动态影像,按照预定时间间隔,从该手部动态影像中依次提取得到若干帧图片。
上述技术方案的有益效果为:通过上述方式,通过对手部动态影像包含的若干帧图片进行识别分析的方式,替代对手部动态影像整体进行识别分析的方式,能够减少图片识别分析的工作和提高图片识别分析的效率。
优选地,在该步骤S4中,根据所有帧图片的手部骨骼点线图,确定该人员的手势动作;根据该手势动作,从预设控制指令库中调取相匹配的控制指令,再根据调取的控制指令,调整显示屏的工作状态具体包括:
按照提取得到的所有帧图片在该手部动态影像的时序,对所有帧图片对应的手部骨骼点线图依次进行比对,得到该人员的手势动作变化信息;
根据该人员的手势动作变化信息,确定该人员当前作出的手势动作类型,再根据该手势动作类型,从预设控制指令库中调取相匹配的控制指令;
根据调取的控制指令,调整显示屏的画面亮度、画面色度和画面对比度中的至少一者。
上述技术方案的有益效果为:通过上述方式,以人员的手势动作变化信息为基准,确定人员的手势动作类型匹配对应的控制指令,从而对显示屏进行画面亮度、画面色度或画面对比度等显示参数的调整,实现对显示屏的非接触控制。
从上述实施例的内容可知,该基于手势动作深度学习的显示屏控制方法先采集与分析显示屏前方人员的脸部图像,以此调整显示屏的开关工作状态;当显示屏开启后,采集与分析人员的手部图像,判断人员的手部是否过分偏离手部图像画面,以此调整前置摄像头的拍摄参数;采集与分析人员的手部动态影像,提取得到对应的手部骨骼点线图,以此确定人员的手势动作;再根据手势动作,从预设控制指令库中调取相匹配的控制指令,调整显示屏的工作状态;上述方法先保证人员的手部能够完整进入到前置摄像头的拍摄视场范围,再从人员的手部动态影像中提取手部骨骼点线图,确定给人员当前手势动作对应的控制指令,从而触发对显示屏的非接触控制,避免不同人员对显示屏进行接触控制而引起交叉感染,提高显示屏控制的安全卫生性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (8)

1.基于手势动作深度学习的显示屏控制方法,其特征在于,其包括如下步骤:
步骤S1,指示显示屏的前置摄像头采集位于显示屏前方人员的脸部图像,并对所述脸部图像进行分析处理,确定位于显示屏前方的人员身份信息;根据所述人员身份信息,调整显示屏的开关工作状态;
步骤S2,当显示屏被开启后,指示所述前置摄像头采集所述人员的手部图像,并对所述手部图像进行分析处理,确定在所述手部图像画面中手部像素偏离信息;根据所述手部像素偏离信息,调整所述前置摄像头的拍摄参数;
步骤S3,指示所述前置摄像头采集所述人员的手部动态影像,将所述手部动态影像切分为若干帧图片;对每个帧图片进行深度学习分析处理,从每个帧图片提取得到手部骨骼点线图;
步骤S4,根据所有帧图片的手部骨骼点线图,确定所述人员的手势动作;根据所述手势动作,从预设控制指令库中调取相匹配的控制指令,再根据调取的控制指令,调整显示屏的工作状态。
2.如权利要求1所述的基于手势动作深度学习的显示屏控制方法,其特征在于:
在所述步骤S1中,指示显示屏的前置摄像头采集位于显示屏前方人员的脸部图像,并对所述脸部图像进行分析处理,确定位于显示屏前方的人员身份信息具体包括:
指示显示屏的前置摄像头对位于显示屏前方人员的脸部区域进行追踪拍摄,当人员的脸部区域整体全部进入到前置摄像头的拍摄视场范围内时,对人员的脸部区域进行拍摄,得到相应的脸部图像;
从所述脸部图像中提取得到所述人员的脸部五官特征信息,并根据所述脸部五官特征信息,确定位于显示屏前方的人员身份信息。
3.如权利要求2所述的基于手势动作深度学习的显示屏控制方法,其特征在于:
在所述步骤S1中,根据所述人员身份信息,调整显示屏的开关工作状态具体包括:
将所述人员身份信息与预设人员身份信息白名单进行比对,若所述人员身份信息存在与预设人员身份信息白名单,则开启显示屏;否则,关闭显示屏。
4.如权利要求3所述的基于手势动作深度学习的显示屏控制方法,其特征在于:
在所述步骤S2中,当显示屏被开启后,指示所述前置摄像头采集所述人员的手部图像,并对所述手部图像进行分析处理,确定在所述手部图像画面中手部像素偏离信息具体包括:
当显示屏被开启后,指示所述前置摄像头采集包含所述人员的左手或右手的全部手掌部分的手部图像,并根据所述手部图像得到其对应的手掌骨骼点线图,所述手掌骨骼点线图是指由手掌对应的骨骼和关节点形成的点线图;
以所述手掌骨骼点线图的左下角顶点为原点,下边缘向右为X轴,左边缘向上为Y轴建立平面直角坐标系,则所述手掌骨骼点线图中手掌的每个部位点均能够采用相应坐标进行表示;利用下面公式(1),根据所述手掌骨骼点线图中手掌的每个部位点的坐标,得到所述手部图像画面中手掌的部位点偏离所述手部图像的中心点的最大像素距离,
Figure FDA0003698109020000021
在上述公式(1)中,h表示所述手部图像画面中手掌的部位点偏离所述手部图像的中心点的最大像素距离;[x(i),y(i)]表示所述手掌骨骼点线图中手掌的第i个部位点;D表示所述手掌骨骼点线图每一行或每一列包含的像素点个数;n表示所述手掌骨骼点线图中手掌的部位点的总数量;
Figure FDA0003698109020000031
表示将i的值从1取到n过程中括号内的最大值。
5.如权利要求4所述的基于手势动作深度学习的显示屏控制方法,其特征在于:
在所述步骤S2中,调整所述前置摄像头的拍摄参数之前,包括:
利用下面公式(2),通过安装在显示屏前方的红外测距传感器阵列,得到前置摄像头与显示屏前方人员之间的实测距离,
Figure FDA0003698109020000032
在上述公式(2)中,L表示前置摄像头与显示屏前方人员之间的实测距离;L(a)表示红外测距传感器阵列中第a个红外测距传感器检测得到的前置摄像头与显示屏前方人员之间的距离;m表示红外测距传感器阵列包含的红外测距传感器总数量;L0表示人员的手掌厚度,其取值为0.015m;
Figure FDA0003698109020000033
表示将a的值从1取到m的过程中括号内的最小值;F{}表示判断函数,若括号内的算式成立,则判断函数的函数值为1,若括号内的算式不成立,则判断函数的函数值为0;
若前置摄像头与显示屏前方人员之间的实测距离L大于预设距离阈值,则向显示屏前方人员发出语音提醒消息,指示人员向靠近显示屏的方向移动。
6.如权利要求5所述的基于手势动作深度学习的显示屏控制方法,其特征在于:
在所述步骤S2中,根据所述手部像素偏离信息,调整所述前置摄像头的拍摄参数具体包括:
利用下面公式(3),根据前置摄像头与显示屏前方人员之间的距离以及所述最大像素距离,确定前置摄像头的拍摄焦距调整目标值,
Figure FDA0003698109020000041
在上述公式(3)中,f表示前置摄像头的拍摄焦距调整目标值;D表示前置摄像头与显示屏前方人员之间的距离;f0表示前置摄像头的预设初始拍摄焦距。
7.如权利要求6所述的基于手势动作深度学习的显示屏控制方法,其特征在于:
在所述步骤S3中,指示所述前置摄像头采集所述人员的手部动态影像,将所述手部动态影像切分为若干帧图片具体包括:
指示所述前置摄像头采集所述人员的手部动态影像,按照预定时间间隔,从所述手部动态影像中依次提取得到若干帧图片。
8.如权利要求7所述的基于手势动作深度学习的显示屏控制方法,其特征在于:
在所述步骤S4中,根据所有帧图片的手部骨骼点线图,确定所述人员的手势动作;根据所述手势动作,从预设控制指令库中调取相匹配的控制指令,再根据调取的控制指令,调整显示屏的工作状态具体包括:
按照提取得到的所有帧图片在所述手部动态影像的时序,对所有帧图片对应的手部骨骼点线图依次进行比对,得到所述人员的手势动作变化信息;
根据所述人员的手势动作变化信息,确定所述人员当前作出的手势动作类型,再根据所述手势动作类型,从预设控制指令库中调取相匹配的控制指令;
根据调取的控制指令,调整显示屏的画面亮度、画面色度和画面对比度中的至少一者。
CN202210686458.1A 2022-06-16 2022-06-16 基于手势动作深度学习的显示屏控制方法 Active CN115097936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210686458.1A CN115097936B (zh) 2022-06-16 2022-06-16 基于手势动作深度学习的显示屏控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210686458.1A CN115097936B (zh) 2022-06-16 2022-06-16 基于手势动作深度学习的显示屏控制方法

Publications (2)

Publication Number Publication Date
CN115097936A true CN115097936A (zh) 2022-09-23
CN115097936B CN115097936B (zh) 2023-03-24

Family

ID=83290651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210686458.1A Active CN115097936B (zh) 2022-06-16 2022-06-16 基于手势动作深度学习的显示屏控制方法

Country Status (1)

Country Link
CN (1) CN115097936B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067468A1 (zh) * 2022-09-27 2024-04-04 广州视琨电子科技有限公司 基于图像识别的交互控制方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317385A (zh) * 2014-06-26 2015-01-28 青岛海信电器股份有限公司 一种手势识别方法和系统
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技(杭州)有限公司 一种以人脸为参照的手势识别方法
CN109766732A (zh) * 2018-12-14 2019-05-17 同辉同泰科技(天津)有限公司 显示屏信息保密方法和系统
CN110956124A (zh) * 2019-11-27 2020-04-03 云南电网有限责任公司电力科学研究院 一种基于手势的显示设备控制方法和显示设备
WO2021115181A1 (zh) * 2019-12-13 2021-06-17 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
CN113238650A (zh) * 2021-04-15 2021-08-10 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104317385A (zh) * 2014-06-26 2015-01-28 青岛海信电器股份有限公司 一种手势识别方法和系统
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技(杭州)有限公司 一种以人脸为参照的手势识别方法
CN109766732A (zh) * 2018-12-14 2019-05-17 同辉同泰科技(天津)有限公司 显示屏信息保密方法和系统
CN110956124A (zh) * 2019-11-27 2020-04-03 云南电网有限责任公司电力科学研究院 一种基于手势的显示设备控制方法和显示设备
WO2021115181A1 (zh) * 2019-12-13 2021-06-17 RealMe重庆移动通信有限公司 手势识别方法、手势控制方法、装置、介质与终端设备
CN113238650A (zh) * 2021-04-15 2021-08-10 青岛小鸟看看科技有限公司 手势识别和控制的方法、装置及虚拟现实设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067468A1 (zh) * 2022-09-27 2024-04-04 广州视琨电子科技有限公司 基于图像识别的交互控制方法、装置及设备

Also Published As

Publication number Publication date
CN115097936B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110044486B (zh) 用于人体检验检疫系统避免重复报警的方法、装置、设备
US11107246B2 (en) Method and device for capturing target object and video monitoring device
JP2007241500A (ja) 顔認証装置および顔認証方法
US20100166261A1 (en) Subject tracking apparatus and control method therefor, image capturing apparatus, and display apparatus
KR100691348B1 (ko) 팬/틸트 제어기반의 스테레오 카메라를 이용한 이동표적추적방법 및 그 시스템
EP1969993B1 (en) Eyelid detection apparatus
JP5127531B2 (ja) 画像監視装置
JP2008234208A (ja) 顔部位検出装置及びプログラム
JPH0944685A (ja) 顔画像処理装置
JP2003141541A (ja) 人物認識装置および通行制御装置
CN115097936B (zh) 基于手势动作深度学习的显示屏控制方法
CN110032966A (zh) 用于智能服务的人体接近检测方法、智能服务方法及装置
CN103996203A (zh) 一种检测图像面部遮挡的方法和装置
CN111242025A (zh) 一种基于yolo的动作实时监测方法
JP3490910B2 (ja) 顔領域検出装置
CN111325144A (zh) 行为检测方法、装置、计算机设备和计算机可读存储介质
CN112365522A (zh) 园区内人员跨境追踪的方法
JP3459950B2 (ja) 顔検出及び顔追跡方法並びにその装置
CN106569600A (zh) 一种用于控制空调的手势校验方法及装置
US20230419500A1 (en) Information processing device and information processing method
JP2010057105A (ja) オブジェクトの3次元追跡方法およびシステム
JP5766096B2 (ja) 顔画像認証装置
CN108363977B (zh) 一种人体卧姿状态识别方法及装置
JP5203271B2 (ja) 表示情報形成装置およびシステム
CN109492585A (zh) 一种活体检测方法和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant