CN114202799A - 被控对象变化速度确定方法、装置、电子设备及存储介质 - Google Patents
被控对象变化速度确定方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114202799A CN114202799A CN202111248189.2A CN202111248189A CN114202799A CN 114202799 A CN114202799 A CN 114202799A CN 202111248189 A CN202111248189 A CN 202111248189A CN 114202799 A CN114202799 A CN 114202799A
- Authority
- CN
- China
- Prior art keywords
- speed
- target
- determining
- target hand
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开提供一种被控对象变化速度确定方法、装置、电子设备及存储介质。该方法包括:获取目标手的图像帧序列;根据图像帧序列确定目标手的关键点坐标,从而根据关键点坐标确定此帧图像的基准尺寸并根据任意两帧图像确定目标手在图像中的第一参照速度和第二参照速度;进而根据基准尺寸、第一参照速度和第二参照速度,确定在使用连续型隔空手势控制过程中,被控对象被目标手在目标时刻控制下的变化速度。由于目标手的移动速度是以目标手在图像中的尺寸作为参照进行计算的,从而实现了目标手在不同距离的情况下,实际移动速度相同时,被控对象在目标手的控制下的变化效果相同,以保证对被控对象的控制效果相同。
Description
技术领域
本公开涉及人机交互技术领域,尤其涉及一种被控对象变化速度确定方法、装置、电子设备及存储介质。
背景技术
在相关技术中利用隔空手势进行人机交互通常分为开关型控制和连续性控制,连续性控制是通过手势的连续移动对被控对象进行控制的。但是,当操作手在图像中的移动速度与操作手距离手势捕捉设备的距离存在比例关系,因而造成随着操作手距离手势捕捉设备的距离的变化,对被控对象的操作速度产生影响的问题,从而造成对被控对象的控制不稳定性。
发明内容
有鉴于此,本公开的目的在于提出一种被控对象变化速度确定方法、装置、电子设备及存储介质。
基于上述目的,本公开提供了一种被控对象变化速度确定方法,包括:
获取目标手的图像帧序列;
根据所述图像帧序列确定所述目标手的关键点坐标;
根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度;
根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度。
在一种可能的实现方式中,所述关键点坐标,包括:所述目标手的食指根部对应坐标以及小指根部对应坐标;
所述根据所述关键点坐标确定所述图像的基准尺寸,进一步包括:
根据所述图像获取所述食指根部对应坐标和所述小指根部对应坐标;
根据所述食指根部对应坐标和所述小指根部对应坐标确定所述食指根部和所述小指根部之间的距离,将所述距离作为所述基准尺寸。
在一种可能的实现方式中,所述关键点坐标,包括:目标手的掌根对应坐标;
所述根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度,进一步包括:
获取所述目标时刻前的第一时刻的所述图像以及目标时刻的所述图像;
根据所述第一时刻的所述图像确定第一时刻的所述目标手的掌根对应坐标;
根据所述目标时刻的所述图像确定目标时刻的所述目标手的掌根对应坐标,并确定所述第一时刻与所述目标时刻之间的时间差;以及
根据所述第一时刻的所述目标手的掌根对应坐标、所述目标时刻的所述目标手的掌根对应坐标和所述时间差确定所述第一参照速度和所述第二参照速度。
在一种可能的实现方式中,所述根据所述第一时刻的所述目标手的掌根对应坐标、所述目标时刻的所述目标手的掌根对应坐标和所述时间差确定所述第一参照速度和所述第二参照速度,计算公式为:
其中,vk|x表示所述第一参照速度,vk|y表示所述第二参照速度,xk表示所述第一时刻的所述目标手的掌根对应横坐标,xk-1表示所述目标时刻的所述目标手的掌根对应横坐标,yk表示所述第一时刻的所述目标手的掌根对应纵坐标,yk-1表示所述目标时刻的所述目标手的掌根对应纵坐标,Δt表示所述时间差。
在一种可能的实现方式中,所述变化速度包括:所述被控对象的第一速度和第二速度;所述基准尺寸包括所述目标时刻的图像所对应的目标基准尺寸;
所述根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度,进一步包括:
获取所述目标基准尺寸;
根据所述目标基准尺寸和所述第一参照速度确定所述第一速度;以及
根据所述目标基准尺寸和所述第二参照速度确定所述第二速度,计算公式为:
其中,vc|x表示所述第一速度,vc|y表示所述第二速度,m表示常数,standardSize1表示所述目标基准尺寸。
在一种可能的实现方式中,所述变化速度包括:所述被控对象的第一速度和第二速度;
所述根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度,进一步包括:
根据所述图像帧序列中每一帧图像的所述基准尺寸的平均值确定平均基准尺寸;
根据所述平均基准尺寸和所述第一参照速度确定所述第一速度;以及
根据所述平均基准尺寸和所述第二参照速度确定所述第二速度。
在一种可能的实现方式中,所述根据所述图像帧序列确定所述目标手的关键点坐标,进一步包括:
获取关键点检测模型;
将所述图像帧序列输入所述关键点检测模型以确定所述目标手的关键点坐标。
基于同一发明构思,本公开提供了一种被控对象变化速度确定装置,包括:
图像获取模块,被配置为获取目标手的图像帧序列;
第一确定模块,被配置为根据所述图像帧序列确定所述目标手的关键点坐标;
第二确定模块,被配置为根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度;
第三确定模块,被配置为根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度。
在一种可能的实现方式中,所述关键点坐标,包括:所述目标手的食指根部对应坐标以及小指根部对应坐标;
第二确定模块进一步被配置为根据所述图像获取所述食指根部对应坐标和所述小指根部对应坐标;根据所述食指根部对应坐标和所述小指根部对应坐标确定所述食指根部和所述小指根部之间的距离,将所述距离作为所述基准尺寸。
在一种可能的实现方式中,所述关键点坐标,包括:目标手的掌根对应坐标;第二确定模块进一步被配置为获取所述目标时刻前的第一时刻的所述图像以及目标时刻的所述图像;根据所述第一时刻的所述图像确定第一时刻的所述目标手的掌根对应坐标;根据所述目标时刻的所述图像确定目标时刻的所述目标手的掌根对应坐标,并确定所述第一时刻与所述目标时刻之间的时间差;以及根据所述第一时刻的所述目标手的掌根对应坐标、所述目标时刻的所述目标手的掌根对应坐标和所述时间差确定所述第一参照速度和所述第二参照速度。
在一种可能的实现方式中,所述变化速度包括:所述被控对象的第一速度和第二速度;所述基准尺寸包括所述目标时刻的图像所对应的目标基准尺寸;所述第三确定模块进一步被配置为获取所述目标基准尺寸;根据所述基准尺寸和所述第一参照速度确定所述第一速度;以及根据所述基准尺寸和所述第二参照速度确定所述第二速度,计算公式为:
其中,vc|x表示所述第一速度,vc|y表示所述第二速度,m表示常数,standardSize1表示所述目标基准尺寸。
在一种可能的实现方式中,所述变化速度包括:所述被控对象的第一速度和第二速度;第三确定模块进一步被配置为根据所述图像帧序列中每一帧图像的所述基准尺寸的平均值确定平均基准尺寸;根据所述目标基准尺寸和所述第一参照速度确定所述第一速度;以及根据所述目标基准尺寸和所述第二参照速度确定所述第二速度。
在一种可能的实现方式中,所述第一确定模块进一步被配置为获取关键点检测模型;将所述图像帧序列输入所述关键点检测模型以确定所述目标手的关键点坐标。
基于同一发明构思,本公开提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上所述的方法。
基于同一发明构思,本公开提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行上述方法。
从上面所述可以看出,本公开提供的被控对象变化速度确定方法、装置、电子设备及存储介质,获取目标手的图像帧序列;根据图像帧序列确定目标手的关键点坐标,从而根据关键点坐标确定此帧图像的基准尺寸并根据任意两帧图像确定目标手在图像中的第一参照速度和第二参照速度;进而根据基准尺寸、第一参照速度和第二参照速度,确定在使用连续型隔空手势控制过程中,被控对象被目标手在目标时刻控制下的变化速度。由于目标手的移动速度是以目标手在图像中的尺寸作为参照进行计算的,则无论目标手距离手势捕捉设备的距离的远近以及目标手在图像中的尺寸大小,只要目标手的实际移动速度相同,则图像中操作手的变化速度都相同,从而实现了目标手在不同距离的情况下,实际移动速度相同时,被控对象在目标手的控制下的变化效果相同,以保证对被控对象的控制效果相同。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本公开实施例所提供的被控对象变化速度确定方法的应用场景示意图;
图2示出了本公开实施例所提供的被控对象变化速度确定方法的示例性流程示意图;
图3示出了根据本公开实施例的目标手的关节点的示例性示意图;
图4示出了根据本公开实施例的目标手的关节点的示例性编号示意图;
图5示出了本公开实施例所提供的被控对象变化速度确定装置的示例性结构示意图;
图6示出了本公开实施例所提供的电子设备的示例性结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
如背景技术部分所述,随着智能交互技术的发展,隔空手势控制技术越来越多的被应用于各个领域,例如车载系统、智能家居、VR内容交互等领域。隔空手势控制用途一般分为两种:开关型控制和连续性控制。其中,开关型控制,例如可以是亮屏/息屏、开启录像/关闭录像等,而连续型控制,例如可以是调节音量大小、移动光标等。对于开关型控制,只需要静态的特定手势就能完成控制功能,但连续型控制则需要获取手势变化的速度信息。
在隔空手势控制系统中,二维摄像头是较为常见的获取手势信息的手势捕捉设备。申请人通过研究发现,当目标手以一定的速度移动时,目标手在图像中的移动速度与目标手距离摄像头的距离成反比关系。如果以目标手在图像中的移动速度来执行连续型控制,就会导致目标手距离摄像头较近时被控对象变化速度快,而目标手距离摄像头较远时被控对象变化速度慢的问题。
正因如此,本公开实施例提供了一种被控对象变化速度确定方法,包括:获取目标手的图像帧序列;根据所述图像帧序列确定所述目标手的关键点坐标;根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度;根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度。
本公开实施例提供的被控对象变化速度确定方法、装置、电子设备及存储介质,获取目标手的图像帧序列;根据图像帧序列确定目标手的关键点坐标,从而根据关键点坐标确定此帧图像的基准尺寸并根据任意两帧图像确定目标手在图像中的第一参照速度和第二参照速度;进而根据基准尺寸、第一参照速度和第二参照速度,确定在使用连续型隔空手势控制过程中,被控对象被目标手在目标时刻控制下的变化速度。由于目标手的移动速度是以目标手在图像中的尺寸作为参照进行计算的,则无论目标手距离手势捕捉设备的距离的远近以及目标手在图像中的尺寸大小,只要目标手的实际移动速度相同,则图像中操作手的变化速度都相同,从而实现了目标手在不同距离的情况下,实际移动速度相同时,被控对象在目标手的控制下的变化效果相同,以保证对被控对象的控制效果相同。
参考图1,其为根据本公开实施例提供的被控对象变化速度确定方法的应用场景示意图。该应用场景包括终端设备101、服务器102、和数据存储系统103。其中,终端设备101、服务器102以及数据存储系统103之间均可通过有线或无线的通信网络连接。终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备视、个人数字助理(personal digital assistant,PDA)或其它能够实现上述功能的电子设备等。服务器102和数据存储系统103均可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器102用于向终端设备101的用户提供被控对象变化速度确定服务,终端设备101能够与服务器102通信,终端设备101获取用户的控制手势图像,并将用户的控制手势图像发送至服务器102,服务器102处理用户的控制手势图像,通过根据图像确定的基准尺寸、第一参照速度和第二参照速度,得到被控对象被目标手在目标时刻控制下的变化速度,以使终端设备101应用于隔空手势控制场景,例如车载系统、智能家居、VR内容交互等场景。
数据存储系统103中存储有大量训练样本数据,训练样本数据的来源包括但不限于已有的数据库、从互联网爬取的数据或者在用户使用客户端时上传的数据。服务器102还可以基于新增的训练样本数据不断优化被控对象变化速度确定技术。
下面结合图1的应用场景,来描述根据本公开实施例所提供的示例性被控对象变化速度确定方法。需要注意的是,上述应用场景仅是为了便于理解本公开的精神和原理而示出,本公开的实施方式在此方面不受任何限制。相反,本公开的实施方式可以应用于适用的任何场景。
参考图2,本公开实施例所提供的被控对象变化速度确定方法,包括:
S202:获取目标手的图像帧序列。
本公开应用于隔空手势控制相关领域,实现隔空手势控制的设备通常外接或者内置有二维摄像头,这些二维摄像头通常具有能够捕捉目标手的控制手势的传感器,手势捕捉设备通过二维摄像头实时获取包含目标手的图像帧序列,获取多帧目标手的图像,例如获取30帧图像确定图像帧序列。
在一些实施方式中,获取到的包含目标手的图像中可能存在包含有多只手的情况,在这种情况下,可以通过对目标手进行识别,例如捕获出现在二维摄像头中时间最长的手作为目标手,或者在对被控对象进行控制之前,由目标手做出相应的开始手势,用于激活手势控制功能,二维摄像头将最先做出开始手势的手作为目标手,进而捕获其后续的图像。
S204:根据所述图像帧序列确定所述目标手的关键点坐标。
在确定目标手的图像帧序列后,可以构建目标检测模型,将获取的图像帧序列输入目标检测模型进而获取关键点的坐标信息。
在一些实施方式中,可以通过获取关键点检测模型,通过将获取到的图像帧序列输入至关键点检测模型中,从而确定目标手的关键点坐标。具体地,可以基于深度神经网络模型(DNN)框架构建关键点检测模型,需说明的是,构建关键点检测模型的方法可以包括以下步骤:
利用二维摄像头获取图像帧序列,图像帧序列中可以包括目标手,将图像帧序列划分为训练集和测试集;其中,训练集中可以包括训练样本数据和标签,标签用于标识目标手的关键点坐标信息;
获取任意一个具备目标检测功能的深度学习模型,将训练集输入至深度学习模型中以训练该模型,从而得到关键点检测模型;
利用测试集对训练后的关键点检测模型进行测试,得到优化后的关键点检测模型,利用最终确定的关键点检测模型对目标手的关键点坐标信息进行检测并提取。
在一些实施方式中,可以根据目标手的特殊位置来对目标手进行关键点的标识,例如目标手的关节处。参考图3,根据目标手的关节处对目标手的关键点进行标识,从而可以得到目标手的关节点图例,具体包括:将食指从指尖到根部划分为4个关节点、将中指从指尖到根部划分为4个关节点、将无名指从指尖到根部划分为4个关节点、将小指从指尖到根部划分为4个关节点、将大拇指从指尖到根部划分为3个关节点、大鱼际肌肉处关节点以及掌根处关节点。
为了方便对目标手以及各个关节点进行简化,可以得到如图4所示的关节点编号示意图,从掌根处关节点至小指指尖依次为每个关节点顺序设置编号。例如,参考图4,将掌根处关节点编号为0,大鱼际肌肉处关节点编号为1,大拇指从根部到指尖的3个关节点依次编号为2、3、4,类似地,可以将食指、中指、无名指以及小指对应的全部关节点进行编号。
需要说明的是,每个关节点都可以根据其编号对应唯一的坐标信息,例如,掌根处关节点的坐标信息可以表示为P0(x0,y0)。
在一些实施例中,关键点坐标可以进一步包括目标手的关节点坐标和中心点坐标,而关节点坐标可以选择目标手手部关节点中相对位置较稳定的关节点5、9、13、17四个点,分别对应于食指根部对应关节点、中指根部对应关节点、无名指根部对应关节点以及小指根部对应关节点。根据图像确定目标手的关键点坐标,进一步可以根据图像确定目标手的关节点坐标以及目标手的中心点坐标,中心点坐标则对应于掌根处关节点对应的坐标。
S206:根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度。
本实施例中,可以根据关键点坐标确定图像的基准尺寸,用于为每个图像之间建立联系,进一步根据任意两帧图像确定目标手的第一参照速度和第二参照速度来确定目标手在图像中的变化速度。其中,可以选择相邻的两帧图像,也可以选择相隔多帧的图像。由于每一帧的采集速度足够快,在图像中可以确定目标手的位置,在能够确定任意两帧图像之间的时间差的情况下,选择任意两帧图像可以对第一参照速度和第二参照速度进行确定。
在一些实施例中,可以根据图像获取到的食指根部对应坐标以及小指根部对应坐标确定基准尺寸,也就是利用关节点5和关节点17之间的距离作为图像的基准尺寸。需要说明的是,也可以根据其他关节点之间的距离计算基准尺寸,而其中关节点5和关节点17位于目标手靠近中心的位置,且基本位于同一水平线上,同时大体上能够标注出目标手的宽度,因此本实施例中选用的是根据关节点5和关节点17之间的距离来作为基准尺寸。
具体地,可以获取关节点5和关节点17对应的坐标信息,即P5(x5,y5)和P17(x17,y17),计算基准尺寸的公式如下:
其中,standardSize表示基准尺寸,x5表示食指根部对应横坐标,y5表示食指根部对应纵坐标,x17表示小指根部对应横坐标,y17表示小指根部对应纵坐标。
在一些实施例中,为了确定目标手在图像中的变化速度,可以获取目标时刻前的第一时刻的图像以及目标时刻的图像;根据第一时刻的图像确定第一时刻的中心点坐标,根据目标时刻的图像确定目标时刻的中心点坐标,并确定第一时刻与目标时刻之间的时间差;进而根据第一时刻的中心点坐标、目标时刻的中心点坐标和时间差确定第一参照速度和第二参照速度。具体地,分别获取k-1时刻和k时刻的图像,确定k-1时刻的目标手的中心点坐标为Ok(xk,yk),k时刻的目标手的中心点坐标为Ok-1(xk-1,yk-1),定义k-1时刻和k时刻之间的时间差为Δt。k时刻和k-1时刻可以为不相邻的两个时刻,时间差可以根据相隔的帧数来确定。可以根据第一时刻和目标时刻中目标手中心点的位移和时间差来计算目标手在图像中的变化速度,具体计算公式如下:
其中,vk|x表示第一参照速度,vk|y表示第二参照速度,xk表示第一时刻的中心点横坐标(也即所述目标手的掌根对应横坐标),xk-1表示目标时刻的中心点横坐标(也即所述目标手的掌根对应横坐标),yk表示第一时刻的中心点纵坐标(也即所述目标手的掌根对应纵坐标),yk-1表示目标时刻的中心点纵坐标(也即所述目标手的掌根对应纵坐标),Δt表示时间差。需要说明的是,第一参照速度为目标手在图像中沿横轴方向分解出来的变化速度,第二参照速度为目标手在图像中沿纵轴方向分解出来的变化速度。
S208:根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度。
本实施例中,在确定图像的基准尺寸,以及目标手在图像中的变化速度后,可以建立比例关系根据目标手在图像中的变化速度确定被控对象的变化速度。
在一些实施方式中,在使用连续型隔空手势的控制过程中,分别对应于第一参照速度和第二参照速度,可以将被控对象被目标手在目标时刻控制下的变化速度划分为第一速度和第二速度。例如,第一速度可以为目标手沿X轴的变化速度,第二速度可以为目标手沿Y轴的变化速度,当目标手仅沿X轴或Y轴移动时,变化速度可以为第一速度或第二速度,而当目标手不仅沿X轴或Y轴单独移动时,可以通过速度合成公式将第一速度和第二速度的合速度作为变化速度。进一步地,可以根据获取的目标基准尺寸和第一参照速度确定第一速度,计算公式如下:
其中,vc|x表示第一速度,m表示常数,standardSize1表示目标基准尺寸。其中常数m可以根据控制需求进行选择,例如当执行的是移动指令时,需要目标手的移动速度和被控对象的变化速度相同,则m可以取值为1;当执行的是音量控制指令时,m取值越大,则目标手的移动速度即使较慢,被控对象也能够达到较快的变化速度,m可以根据被控对象的变化速度快慢的需求进行调整。基准尺寸包括目标基准尺寸,其中目标基准尺寸可以为目标时刻的图像所对应的基准尺寸。
可以根据目标基准尺寸和第二参照速度确定第二速度,计算公式如下:
其中,vc|y表示第二速度。
速度合成公式如下:
在一些实施例中,用于计算第一速度和第二速度的基准尺寸,可以为目标时刻所获取的当前帧的图像所对应的目标基准尺寸,也可以为根据图像帧序列中每一帧图像的基准尺寸的平均值确定的平均基准尺寸。
具体地,可以根据获取的平均基准尺寸和第一参照速度确定第一速度,计算公式如下:
其中,standardSize2表示平均基准尺寸。
可以根据平均基准尺寸和第二参照速度确定第二速度,计算公式如下:
速度合成公式如下:
当图像帧序列采集的速度足够快的时候,可以选择通过平均基准尺寸standardSize2结合第一参照速度和第二参照速度确定第一速度和第二速度,从而根据合成速度确定被控对象的变化速度。当图像帧序列中各帧的图像没有明显的位置差别时,可以选择通过目标基准尺寸standardSize1结合第一参照速度和第二参照速度确定第一速度和第二速度,从而根据合成速度确定被控对象的变化速度。
需要说明的是,被控对象的变化速度能够以目标手在图像中的变化速度比例计算,无论目标手距离二维摄像头的距离的远近,无论目标手在图像中的尺寸的大小,只要保证目标手的实际移动速度相同,则最终计算得到的被控对象的变化速度都相同。从而实现了目标手对被控对象的控制效果不受目标手距二维摄像头的远近以及目标手在图像中的大小的影响。
从上面所述可以看出,本公开提供的被控对象变化速度确定方法、装置、电子设备及存储介质,获取目标手的图像帧序列;根据图像帧序列确定目标手的关键点坐标,从而根据关键点坐标确定此帧图像的基准尺寸并根据任意两帧图像确定目标手在图像中的第一参照速度和第二参照速度;进而根据基准尺寸、第一参照速度和第二参照速度,确定在使用连续型隔空手势控制过程中,被控对象被目标手在目标时刻控制下的变化速度。由于目标手的移动速度是以目标手在图像中的尺寸作为参照进行计算的,则无论目标手距离手势捕捉设备的距离的远近以及目标手在图像中的尺寸大小,只要目标手的实际移动速度相同,则图像中操作手的变化速度都相同,从而实现了目标手在不同距离的情况下,实际移动速度相同时,被控对象在目标手的控制下的变化效果相同,以保证对被控对象的控制效果相同。
需要说明的是,本公开实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种被控对象变化速度确定装置。
参考图5,所述被控对象变化速度确定装置,包括:图像获取模块、第一确定模块、第二确定模块以及第三确定模块;其中,
图像获取模块,被配置为获取目标手的图像帧序列;
第一确定模块,被配置为根据所述图像帧序列确定所述目标手的关键点坐标;
第二确定模块,被配置为根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度;
第三确定模块,被配置为根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度。
在一些实施方式中,所述关键点坐标,包括:所述目标手的食指根部对应坐标以及小指根部对应坐标;
第二确定模块进一步被配置为根据所述图像获取所述食指根部对应坐标和所述小指根部对应坐标;根据所述食指根部对应坐标和所述小指根部对应坐标确定所述食指根部和所述小指根部之间的距离,将所述距离作为所述基准尺寸。
在一些实施方式中,所述关键点坐标,包括:目标手的掌根对应坐标;第二确定模块进一步被配置为获取所述目标时刻前的第一时刻的所述图像以及目标时刻的所述图像;根据所述第一时刻的所述图像确定第一时刻的所述目标手的掌根对应坐标;根据所述目标时刻的所述图像确定目标时刻的所述目标手的掌根对应坐标,并确定所述第一时刻与所述目标时刻之间的时间差;以及根据所述第一时刻的所述目标手的掌根对应坐标、所述目标时刻的所述目标手的掌根对应坐标和所述时间差确定所述第一参照速度和所述第二参照速度。
在一些实施方式中,根据所述第一时刻的所述目标手的掌根对应坐标、所述目标时刻的所述目标手的掌根对应坐标和所述时间差确定所述第一参照速度和所述第二参照速度,计算公式为:
其中,vk|x表示所述第一参照速度,vk|y表示所述第二参照速度,xk表示所述第一时刻的所述目标手的掌根对应横坐标,xk-1表示所述目标时刻的所述目标手的掌根对应横坐标,yk表示所述第一时刻的所述目标手的掌根对应纵坐标,yk-1表示所述目标时刻的所述目标手的掌根对应纵坐标,Δt表示所述时间差。
在一些实施方式中,所述变化速度包括:所述被控对象的第一速度和第二速度;所述基准尺寸包括所述目标时刻的图像所对应的目标基准尺寸;所述第三确定模块进一步被配置为获取所述目标基准尺寸;根据所述基准尺寸和所述第一参照速度确定所述第一速度;以及根据所述基准尺寸和所述第二参照速度确定所述第二速度,计算公式为:
其中,vc|x表示所述第一速度,vc|y表示所述第二速度,m表示常数,standardSize1表示所述目标基准尺寸。
在一些实施方式中,所述变化速度包括:所述被控对象的第一速度和第二速度;第三确定模块进一步被配置为根据所述图像帧序列中每一帧图像的所述基准尺寸的平均值确定平均基准尺寸;根据所述目标基准尺寸和所述第一参照速度确定所述第一速度;以及根据所述目标基准尺寸和所述第二参照速度确定所述第二速度。
在一些实施方式中,所述第一确定模块进一步被配置为获取关键点检测模型;将所述图像帧序列输入所述关键点检测模型以确定所述目标手的关键点坐标。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的被控对象变化速度确定方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上任意一实施例所述的被控对象变化速度确定方法。图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器610、存储器620、输入/输出接口630、通信接口640和总线650。其中处理器610、存储器620、输入/输出接口630和通信接口640通过总线650实现彼此之间在设备内部的通信连接。
处理器610可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器620可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器620可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器620中,并由处理器610来调用执行。
输入/输出接口630用于连接输入/输出模块,以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口640用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线650包括一通路,在设备的各个组件(例如处理器610、存储器620、输入/输出接口630和通信接口640)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器610、存储器620、输入/输出接口630、通信接口640以及总线650,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的被控对象变化速度确定方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的被控对象变化速度确定方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的被控对象变化速度确定方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
需要说明的是,本公开的实施例还可以以下方式进一步描述:
一种被控对象变化速度确定方法,包括:
获取目标手的图像帧序列;
根据所述图像帧序列确定所述目标手的关键点坐标;
根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度;
根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度。
可选的,
所述关键点坐标,包括:所述目标手的食指根部对应坐标以及小指根部对应坐标;
所述根据所述关键点坐标确定所述图像的基准尺寸,进一步包括:
根据所述图像获取所述食指根部对应坐标和所述小指根部对应坐标;
根据所述食指根部对应坐标和所述小指根部对应坐标确定所述食指根部和所述小指根部之间的距离,将所述距离作为所述基准尺寸。
可选的,
所述关键点坐标,包括:目标手的掌根对应坐标;
所述根据所述关键点坐标确定所述图像的基准尺寸以及所述目标手的第一参照速度和第二参照速度,进一步包括:
获取所述目标时刻前的第一时刻的所述图像以及目标时刻的所述图像;
根据所述第一时刻的所述图像确定第一时刻的所述目标手的掌根对应坐标;
根据所述目标时刻的所述图像确定目标时刻的所述目标手的掌根对应坐标,并确定所述第一时刻与所述目标时刻之间的时间差;以及
根据所述第一时刻的所述目标手的掌根对应坐标、所述目标时刻的所述目标手的掌根对应坐标和所述时间差确定所述第一参照速度和所述第二参照速度。
可选的,
所述根据所述第一时刻的所述目标手的掌根对应坐标、所述目标时刻的所述目标手的掌根对应坐标和所述时间差确定所述第一参照速度和所述第二参照速度,计算公式为:
其中,vk|x表示所述第一参照速度,vk|y表示所述第二参照速度,xk表示所述第一时刻的所述目标手的掌根对应横坐标,xk-1表示所述目标时刻的所述目标手的掌根对应横坐标,yk表示所述第一时刻的所述目标手的掌根对应纵坐标,yk-1表示所述目标时刻的所述目标手的掌根对应纵坐标,Δt表示所述时间差。
可选的,所述变化速度包括:所述被控对象的第一速度和第二速度;所述基准尺寸包括所述目标时刻的图像所对应的目标基准尺寸;
所述根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度,进一步包括:
获取所述目标基准尺寸;
根据所述目标基准尺寸和所述第一参照速度确定所述第一速度;以及
根据所述目标基准尺寸和所述第二参照速度确定所述第二速度,计算公式为:
其中,vc|x表示所述第一速度,vc|y表示所述第二速度,m表示常数,standardSize1表示所述目标基准尺寸。
可选的,所述变化速度包括:所述被控对象的第一速度和第二速度;
所述根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度,进一步包括:
根据所述图像帧序列中每一帧图像的所述基准尺寸的平均值确定平均基准尺寸;
根据所述目标基准尺寸和所述第一参照速度确定所述第一速度;以及
根据所述目标基准尺寸和所述第二参照速度确定所述第二速度。
可选的,所述根据所述图像帧序列确定所述目标手的关键点坐标,进一步包括:
获取关键点检测模型;
将所述图像帧序列输入所述关键点检测模型以确定所述目标手的关键点坐标。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本公开实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本公开实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本公开实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本公开实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (10)
1.一种被控对象变化速度确定方法,其中,包括:
获取目标手的图像帧序列;
根据所述图像帧序列确定所述目标手的关键点坐标;
根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度;
根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度。
2.根据权利要求1所述的方法,其中,所述关键点坐标,包括:所述目标手的食指根部对应坐标以及小指根部对应坐标;
所述根据所述关键点坐标确定所述图像的基准尺寸,进一步包括:
根据所述图像获取所述食指根部对应坐标和所述小指根部对应坐标;
根据所述食指根部对应坐标和所述小指根部对应坐标确定所述食指根部和所述小指根部之间的距离,将所述距离作为所述基准尺寸。
3.根据权利要求1所述的方法,其中,所述关键点坐标,包括:目标手的掌根对应坐标;
所述根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度,进一步包括:
获取所述目标时刻前的第一时刻的所述图像以及目标时刻的所述图像;
根据所述第一时刻的所述图像确定第一时刻的所述目标手的掌根对应坐标;
根据所述目标时刻的所述图像确定目标时刻的所述目标手的掌根对应坐标,并确定所述第一时刻与所述目标时刻之间的时间差;以及
根据所述第一时刻的所述目标手的掌根对应坐标、所述目标时刻的所述目标手的掌根对应坐标和所述时间差确定所述第一参照速度和所述第二参照速度。
6.根据权利要求1所述的方法,其中,所述变化速度包括:所述被控对象的第一速度和第二速度;
所述根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度,进一步包括:
根据所述图像帧序列中每一帧图像的所述基准尺寸的平均值确定平均基准尺寸;
根据所述平均基准尺寸和所述第一参照速度确定所述第一速度;以及
根据所述平均基准尺寸和所述第二参照速度确定所述第二速度。
7.根据权利要求1所述的方法,其中,所述根据所述图像帧序列确定所述目标手的关键点坐标,进一步包括:
获取关键点检测模型;
将所述图像帧序列输入所述关键点检测模型以确定所述目标手的关键点坐标。
8.一种被控对象变化速度确定装置,其中,包括:
图像获取模块,被配置为获取目标手的图像帧序列;
第一确定模块,被配置为根据所述图像帧序列确定所述目标手的关键点坐标;
第二确定模块,被配置为根据所述关键点坐标确定所述图像的基准尺寸,并根据任意两帧图像确定所述目标手的第一参照速度和第二参照速度;
第三确定模块,被配置为根据所述基准尺寸、第一参照速度和第二参照速度确定被控对象被所述目标手在目标时刻控制下的变化速度。
9.一种电子设备,其中,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质,其中,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行权利要求1至7任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111248189.2A CN114202799A (zh) | 2021-10-26 | 2021-10-26 | 被控对象变化速度确定方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111248189.2A CN114202799A (zh) | 2021-10-26 | 2021-10-26 | 被控对象变化速度确定方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114202799A true CN114202799A (zh) | 2022-03-18 |
Family
ID=80646348
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111248189.2A Pending CN114202799A (zh) | 2021-10-26 | 2021-10-26 | 被控对象变化速度确定方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114202799A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115185411A (zh) * | 2022-07-08 | 2022-10-14 | 北京字跳网络技术有限公司 | 光标移动方法、装置和电子设备 |
-
2021
- 2021-10-26 CN CN202111248189.2A patent/CN114202799A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115185411A (zh) * | 2022-07-08 | 2022-10-14 | 北京字跳网络技术有限公司 | 光标移动方法、装置和电子设备 |
CN115185411B (zh) * | 2022-07-08 | 2024-03-15 | 北京字跳网络技术有限公司 | 光标移动方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102319207B1 (ko) | 카메라 자세 정보를 결정하기 위한 방법, 장치 및 디바이스, 그리고 저장 매체 | |
CN108416825B (zh) | 动态图的生成装置、方法及计算机可读存储介质 | |
EP2903256B1 (en) | Image processing device, image processing method and program | |
CN110457414A (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
US11842514B1 (en) | Determining a pose of an object from rgb-d images | |
CN104081307A (zh) | 图像处理装置、图像处理方法和程序 | |
CN102906671A (zh) | 手势输入装置及手势输入方法 | |
US12008167B2 (en) | Action recognition method and device for target object, and electronic apparatus | |
CN110956131B (zh) | 单目标追踪方法、装置及系统 | |
CN111680686B (zh) | 招牌信息识别方法、装置、终端及存储介质 | |
CN111598149B (zh) | 一种基于注意力机制的回环检测方法 | |
CN111199169A (zh) | 图像处理方法和装置 | |
CN112487871A (zh) | 笔迹数据处理方法、装置及电子设备 | |
CN111160308A (zh) | 手势动作识别方法、装置、设备及可读存储介质 | |
CN114202799A (zh) | 被控对象变化速度确定方法、装置、电子设备及存储介质 | |
CN114360047A (zh) | 举手手势识别方法、装置、电子设备及存储介质 | |
CN111601129B (zh) | 控制方法、装置、终端及存储介质 | |
CN113706606B (zh) | 确定隔空手势位置坐标的方法及装置 | |
CN110069126B (zh) | 虚拟对象的控制方法和装置 | |
CN111258413A (zh) | 虚拟对象的控制方法和装置 | |
CN111638794A (zh) | 一种虚拟文物的显示控制方法及装置 | |
Eom et al. | Data‐Driven Reconstruction of Human Locomotion Using a Single Smartphone | |
CN110910478A (zh) | Gif图生成方法、装置、电子设备及存储介质 | |
CN110941327A (zh) | 虚拟对象的显示方法和装置 | |
CN114694257A (zh) | 多人实时三维动作识别评估方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |