CN118212679A - 一种动作匹配方法及装置 - Google Patents

一种动作匹配方法及装置 Download PDF

Info

Publication number
CN118212679A
CN118212679A CN202211617629.1A CN202211617629A CN118212679A CN 118212679 A CN118212679 A CN 118212679A CN 202211617629 A CN202211617629 A CN 202211617629A CN 118212679 A CN118212679 A CN 118212679A
Authority
CN
China
Prior art keywords
image frame
preset
action
matching
matching degree
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211617629.1A
Other languages
English (en)
Inventor
黄磊
陈霄汉
赵杰
马春晖
魏鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Co Ltd filed Critical Huawei Device Co Ltd
Priority to CN202211617629.1A priority Critical patent/CN118212679A/zh
Priority to PCT/CN2023/139020 priority patent/WO2024125622A1/zh
Publication of CN118212679A publication Critical patent/CN118212679A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种动作匹配方法及装置,用于解决现有的动作匹配效率低的问题。本申请中,方法包括:在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;确定第i图像帧中的用户的动作与预设动作场景的预设动作之间的匹配度;针对包括第i图像帧在内的连续n个图像帧中的每个图像帧,若确定图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功;n和i为正整数。无需设置预设阈值,因此动作匹配的速度和准确性不再受预设阈值的大小所影响。用户无需严格完成预设动作,只需要有完成预设动作的趋势即可,因此提高了动作匹配的效率,提高了运动效果,有助于用户的健康。

Description

一种动作匹配方法及装置
技术领域
本申请涉及终端技术领域,尤其涉及一种动作匹配方法及装置。
背景技术
随着人们生活水平的提升和健康意识的增强,越来越多的人开始投入到运动健身之中。基于智能设备的体感健身逐渐成为一种新的趋势。与用户健康相关的应用和服务越来越丰富,例如,与运动等相关的应用(application,APP)有很多。这种应用上的创新和发展为用户通过智能设备进行体感健身创造了便利的条件。用户只需打开智能设备,开启与运动相关的应用,根据应用中的提示做出各种动作;应用也会通过图像采集装置如摄像头采集用户做出的动作并进行分析,若确定用户的动作比较标准,则可提示用户进行下一步动作。如此,既可以使用户达到健身的效果,又增强了趣味性。
图1a示出了一种可能的体感健身的场景,用户可以根据应用的提示做出各种动作,以达到健身的效果。例如在图1a中,应用提示用户做出如图所示的“双臂弯举”的动作,以确定健身角色。图1b示出了对图1a中的显示界面的放大的示意图。在健身开始前,应用提示用户完成预设动作,如图中示意的双臂弯举动作;若用户做出的动作与预设动作的匹配度较高,则将该用户确定为健身角色。在这个过程中,应用先通过摄像头采集用户动作,采集到的任一个图像帧的用户动作如图1b中的左下角所示;再将采集到的该图像帧的用户动作与预设动作计算匹配度;若连续m个图像帧对应的匹配度均大于预设阈值,则动作匹配成功,将完成该动作的用户确定为健身角色。
上述将匹配度与预设阈值进行比较的方案中,若预设阈值太大,则匹配要求太严格,用户动作不够标准甚至身高体型等都可能导致匹配失败。例如在图1a的场景中,当预设阈值太大时,用户大臂不够平齐,或者小臂不够内收,都可能导致与预设动作匹配失败,那么用户就需多次尝试。动作匹配效率低,用户体验差。若预设阈值太小,则匹配要求太宽松,接近预设动作的一些无关动作都可能被认为匹配成功,从而触发错误指令。匹配准确度低,也会影响用户体验。例如在图1a的场景中,当预设阈值太小时,用户伸个懒腰、双手后抱头等都可能导致与预设动作匹配成功。
综上,提供一种动作匹配方法,用以提高动作匹配的准确性的同时,提高动作匹配的效率。
发明内容
本申请提供一种动作匹配方法及装置,用于解决现有的动作匹配效率低的问题。
第一方面,本申请提供一种动作匹配方法,该方法具体可以由计算设备执行或者由计算设备内部的芯片执行,或者由计算设备中的处理器执行。该方法包括:
在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
针对包括所述第i图像帧在内的连续n个图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功;所述n和i为正整数。
上述技术方案中,若连续n个图像帧中,每个图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则说明在连续n个图像帧中,匹配度是逐渐增大的,用户具有完成预设动作的明显意图,那么就可确定动作匹配成功。无需设置预设阈值,因此动作匹配的速度和准确性不再受预设阈值的大小所影响。而是通过对连续n个图像帧对应的匹配度的变化趋势进行分析,确定动作是否匹配成功。用户无需严格完成预设动作,只需要有完成预设动作的趋势即可,因此提高了动作匹配的效率。用户在做无关动作时很难做到连续n帧与预设动作的匹配度逐渐增大,因此降低了误触发的可能,提高了动作匹配的准确性。
在一种可能的实现方式中,在确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度之后,还包括:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
上述技术方案不同于现有技术中的设置一个预设阈值,而是设置了两个预设阈值:第一预设阈值和第二预设阈值。需要包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,即小于等于第一预设阈值且大于第二预设阈值,且每个图像帧对应的匹配度均大于该图像帧对应的动态阈值,可以确定动作匹配成功,并且,动态阈值是从第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至第二预设阈值的。也就是说,随着用户在不断摆出动作的过程中,若满足预设条件的图像帧的个数在增加,说明用户具有非常明显的完成预设动作的意图,那么动态阈值就在逐渐减小直至第二预设阈值,那么匹配成功的难度也会逐渐下降。因此上述技术方案通过设置一个不断动态变化的动态阈值,使得匹配难度也在动态变化,若确定用户的匹配意愿较强烈,则匹配难度不断降低,由此提高了动作匹配的效率。
在一种可能的实现方式中,通过如下方式确定所述图像帧对应的动态阈值,包括:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
上述技术方案中,确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,若有某个图像帧对应的匹配度不满足预设条件,则匹配度满足所述预设条件的连续的图像帧的数量为0。又由于动态阈值随着满足预设条件的图像帧的个数的增加而减小,因此,动态阈值会由于数量为0而恢复为第一预设阈值。增加了匹配成功的难度,提高了动作匹配成功的准确率。
在一种可能的实现方式中,还包括:
若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
第二方面,本申请实施例提供一种动作匹配方法,包括:
在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
在一种可能的实现方式中,通过如下方式确定所述图像帧对应的动态阈值,包括:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
在一种可能的实现方式中,还包括:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
第三方面,本申请实施例提供一种动作匹配装置,该装置具有实现上述第一方面或第一方面的任一种可能的实现方式中方法的功能,该装置包括:
获取单元,用于在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定单元,用于:
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
针对包括所述第i图像帧在内的连续n个图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功;所述n和i为正整数。
第四方面,本申请实施例提供一种动作匹配装置,该装置具有实现上述第二方面或第二方面的任一种可能的实现方式中方法的功能,该装置包括:
获取单元,用于在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定单元,用于:
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
在一种可能的实现方式中,所述确定单元具体用于:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
在一种可能的实现方式中,所述确定单元还用于:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
第五方面,本申请实施例提供一种芯片,包括处理器,处理器与存储器耦合,存储器用于存储程序或指令,当程序或指令被处理器执行时,使得该芯片实现上述第一方面和第二方面中的任一方面的方法。
可选地,该芯片还包括接口电路,该接口电路用于交互代码指令至处理器。
可选地,该芯片中的处理器可以为一个或多个,该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
可选地,该芯片中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起,也可以和处理器分离设置。示例性的,存储器可以是非瞬时性处理器,例如只读存储器ROM,其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上。
第六方面,本申请实施例提供一种计算设备,包括:存储器,用于存储计算机程序;处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行上述第一方面和第二方面中的任一方面的动作匹配方法。
第七方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序或指令,当该计算机程序或指令被执行时,使得计算机执行上述第一方面的动作匹配方法。
第八方面,本申请实施例提供一种计算机程序产品,当计算机读取并执行计算机程序产品时,使得计算机执行上述第一方面和第二方面中的任一方面的动作匹配方法。
附图说明
图1a为本申请提供的一种可能的体感健身的场景的示意图;
图1b为本申请提供的一种对图1a中的显示界面的放大的示意图;
图2为本申请提供的一种智能设备100的结构示意图;
图3为本申请提供的一种智能设备100的软件系统架构框图;
图4a为本申请提供的一种智能设备的显示界面的示意图;
图4b为本申请提供的一种智能设备的显示界面的示意图;
图4c为本申请提供的一种智能设备的显示界面的示意图;
图4d为本申请提供的一种智能设备的显示界面的示意图;
图4e为本申请提供的一种智能设备的显示界面的示意图;
图4f为本申请提供的一种智能设备的显示界面的示意图;
图4g为本申请提供的一种智能设备的显示界面的示意图;
图5为本申请提供的一种动作匹配方法的示意图;
图6为本申请提供的一种动作匹配方法的示意图;
图7为本申请提供的一种智能设备的显示界面的示意图;
图8为本申请提供的一种智能设备的显示界面的示意图;
图9为本申请提供的一种智能设备的显示界面的示意图;
图10为本申请提供的一种智能设备的显示界面的示意图;
图11为本申请提供的一种动作匹配装置的示意图;
图12为本申请提供的一种计算机设备的示意图。
具体实施方式
本申请实施例提供的动作匹配方法适用于智能设备。示例性的,智能设备可以是具有图像采集装置(例如摄像头);例如可以为电视机等智能家居设备;或者,还可以是手表、手环等可穿戴设备;或者,还可以是电视、手机、平板电脑、笔记本电脑等便捷式智能设备,总之本申请实施例不限定智能设备的具体类型。
在一些示例中,本申请实施例提供的动作匹配方法可以是智能设备本身具备的一项功能或服务,也可以是应用具备的功能,该应用安装在智能设备中。所述应用可以是智能设备自带的应用,或者从网络下载的应用。以智能电视为例,智能电视中可以包括运动健康应用,该应用中集成有一项功能,该功能就可以通过本申请实施例提供的动作匹配方法对用户进行动作匹配。
本申请实施例提供的动作匹配方法还可以适用于系统,系统中包括第一智能设备和第二智能设备。第一智能设备与第二智能设备连接,本申请实施例不限定连接方式,例如可以通过有线、或无线方式连接,其中无线方式可以包括但不限于:无线保真(wirelessfidelity,Wi-Fi)、蓝牙。第一智能设备可以是用于采集图像数据的设备,例如家用摄像头等。第一智能设备可以将采集的图像数据发送给第二智能设备。第二智能设备可以基于图像数据执行本申请实施例提供的动作匹配流程,具体流程将在后文介绍。示例性的,第二智能设备可以是任意设备,例如可以是具有较强计算能力的设备,例如智能电视、手机、平板电脑等。可以理解,本申请实施例可以包括多个步骤,其中多个步骤可以由多个智能设备协同执行,也可以由一个智能设备单独执行,本申请实施例对此不作限定。为便于理解,以下实施例中主要以由一个设备单独完成作为示例进行说明。
图2示出了本申请技术方案所应用的一种智能设备100的结构示意图。所述智能设备100可以是智能电视等。如图2所示,智能设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括重力传感器180A,陀螺仪传感器180B,压力传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。其中,控制器可以是智能设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。可避免重复存取,减少处理器110的等待时间,因而可提高系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
智能设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。智能设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在智能设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
无线通信模块160可以提供应用在智能设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,智能设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得智能设备100可以通过无线通信技术与网络以及其他设备通信。
显示屏194用于显示应用的显示界面等。显示屏194包括显示面板。在一些实施例中,智能设备100可以包括1个或N个显示屏194,N为大于1的正整数。例如,本申请实施例中,可以通过显示屏194显示实时采集的图像数据。
智能设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。其中,ISP用于处理摄像头193反馈的数据。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行智能设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,以及至少一个应用程序的软件代码等。存储数据区可存储智能设备100使用过程中所产生的数据(例如图像、视频等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展智能设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将图片,视频等文件保存在外部存储卡中。
智能设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如语音控制指令等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。智能设备100可以通过一个或多个扬声器170A收听引导语音,或背景音乐等外放场景。
受话器170B,也称“听筒”,可以是一个或多个,用于将音频电信号转换成声音信号。当智能设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。本申请实施例中,例如用户可以通过麦克风170C唤醒运动健康应用等。
耳机接口170D用于连接有线耳机。
重力传感器180A可采用弹性敏感元件制成悬臂式位移器,与采用弹性敏感元件制成的储能弹簧来驱动电触点,完成从重力变化到电信号的转换。在一些实施例中,可以通过重力传感器180A确定出智能设备100相对于水平面的倾斜角度;以及,通过重力传感器180A分析动态加速度,进而可以确定分析出智能设备100移动的方式,例如可以应用于一些健身中,以提升智能设备100的交互控制性。
陀螺仪传感器180B可以用于确定智能设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定智能设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。本申请实施例中,可以通过陀螺仪传感器180B确定智能设备100的倾角。
压力传感器180C用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180C可以设置于显示屏194。
磁传感器180D包括霍尔传感器。智能设备100可以利用磁传感器180D检测翻盖皮套的开合。
加速度传感器180E可检测智能设备100在各个方向上(一般为三轴)加速度的大小。当智能设备100静止时可检测出重力的大小及方向。
距离传感器180F,用于测量距离。智能设备100可以通过红外或激光测量距离。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。智能设备100通过发光二极管向外发射红外光。智能设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定智能设备100附近有物体。当检测到不充分的反射光时,智能设备100可以确定智能设备100附近没有物体。
环境光传感器180L用于感知环境光亮度。智能设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。
指纹传感器180H用于采集指纹。
温度传感器180J用于检测温度。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。智能设备100可以接收按键输入,产生与智能设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和智能设备100的接触和分离。
可以理解的是,图2所示的部件并不构成对智能设备100的具体限定。本申请实施例中的智能设备100可以包括比图2中更多或更少的部件。此外,图2中的部件之间的组合/连接关系也是可以调整修改的。
本申请实施例涉及的操作系统(operating system,OS),是运行在智能设备100上的最基本的系统软件。智能设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以采用分层架构的操作系统为例,示例性说明智能设备100的软件系统架构。
图3为本申请实施例提供的一种智能设备100的软件系统架构框图。如图3所示,智能设备100的软件系统架构可以是分层架构,例如可以将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将操作系统分为五层,从上至下分别为应用程序层,应用程序框架层(framework,FWK),运行时和系统库,内核层,以及硬件层。
应用程序层可以包括一系列应用程序包。如图3所示,应用程序层可以包括相机、设置、皮肤模块、用户界面(user interface,UI)、第三方应用程序等。其中,第三方应用程序可以包括无线局域网(wireless local area network,WLAN)、音乐、通话、蓝牙、视频、备忘录、便签等。
在本申请实施例中,应用程序层可以用于实现编辑界面的呈现。上述编辑界面可以为用户提供用于实现本申请实施例中重点关注的如运动健康等健康类APP的编辑操作,例如可以为下文中涉及的身体扫描界面。
一种可能的实现方式中,应用程序可以使用java语言开发,通过调用应用程序框架层所提供的应用程序编程接口(application programming interface,API)来完成,开发者可以通过应用程序框架层来与操作系统的底层(例如硬件层、内核层等)进行交互,开发自己的应用程序。该应用程序框架层主要是操作系统的一系列的服务和管理系统。
应用程序框架层为应用程序层的应用程序提供应用编程接口和编程框架。应用程序框架层包括一些预定义函数。如图3所示,应用程序框架层可以包括活动管理器,窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
活动管理器用于管理各个应用程序生命周期并提供常用的导航回退功能,为所有程序的窗口提供交互的接口。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供智能设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,智能设备100振动,指示灯闪烁等。
运行时包括核心库和虚拟机。运行时负责操作系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是操作系统的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体框架(media framework),三围图形处理库(例如:OpenGL ES),二维图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了二维和3D图层的融合。
媒体框架支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体框架可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现绘图,图像渲染,合成,和图层处理等。
二维图形引擎是二维绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
硬件层可以包括各类传感器,例如加速度传感器、重力传感器、触摸传感器等。
通常智能设备100可以同时运行多个应用程序。较为简单的,一个应用程序可以对应一个进程,较为复杂的,一个应用程序可以对应多个进程。每个进程具备一个进程号(进程ID)。
应理解,智能设备100的硬件结构可以如图2所示,软件系统架构可以如图3所示,其中,智能设备100中的软件系统架构对应的软件程序和/或模块可以存储在内部存储器121中,处理器110可以运行内部存储器121中存储的软件程序和应用,以执行本申请实施例提供的一种动作匹配方法的流程。
在图2所示的硬件结构中,本申请实施例主要用到的功能模块可以有摄像头193、显示屏194和处理器110。
用户开启智能设备后,智能设备可能显示的显示界面如图4a所示,图中示意出了智能设备中的各应用,其中运动健康应用可以用于实现本申请实施例所述的体感健身。用户打开运动健康应用后,智能设备可能显示的显示界面如图4b所示。图中示意出了一些可能的在健身开始前的预设动作场景,如确定健身角色的场景、惯用手选择的场景等。预设动作场景为预先设置好的需要进行动作匹配的场景。当预设动作场景为确定健身角色的场景时,该场景用于将完成了预设动作的用户确定为健身角色。例如,当预设动作场景为惯用手选择场景,该场景用于将用户完成预设动作的手确定为惯用手。在确定惯用手之后,在健身过程中需要做一些动作时,会将惯用手的动作确定为用户的健身动作。例如,确定了用户的惯用手为右手,之后用户选择的健身运动为打乒乓球,那么会将用户的右手的动作确定为打乒乓球的动作。
用户在各预设动作场景中选择了任一预设动作场景,显示屏会相应显示该预设动作场景对应的预设动作。图4g中示意出了一种可能的在用户选择了确定健身角色的场景后,显示屏的显示界面的示意图。在显示屏中显示了确定健身角色的场景中,用户若想被确定为健身角色的话,需要完成的预设动作为“双臂弯举”。在显示屏显示预设动作场景对应的预设动作的同时,处理器开启摄像头,摄像头可以进行图像采集。
用户按照显示屏中该预设动作场景对应的预设动作的提示,摆出相应的动作;摄像头将拍下的每个图像帧发送至处理器,处理器110可以将拍下的图像帧对应的图像直接显示在显示屏194中,也可以对摄像头拍摄的图像帧对应的图像进行一些处理后显示在显示屏194中。处理器110还会根据图像帧中用户的动作与预设动作计算匹配度,从而确定是否匹配成功。
例如,用户选择的预设动作场景为确定健身角色的场景。则处理器110触发确定健身角色的场景,显示屏194会相应显示一些该预设动作场景下的有关预设动作的提示,或者可以通过语音进行提示。图1b中示出了当预设动作场景为确定健身角色的场景时,显示屏的显示界面示意图,显示界面会提示用户做出预设动作,如图1b中的中间“双臂弯举”这个动作即为确定健身角色的场景时,用户需要完成的动作,处理器110只有在确定用户做这个动作或用户做的动作和图1b中展示的这个动作相似度达到一定阈值时才会确定用户准备选择这个角色进行健身;用户根据提示做出预设动作,同时,摄像头193会拍摄下用户的动作,将包含用户动作的图像发送至处理器110,处理器110可以直接将该图像显示在显示屏的左下角,也可以在该图像帧中提取用户动作,将用户动作显示在显示屏的左下角。如图4c中,显示屏的左下角显示的就是提取的用户动作。
当然本申请实施例所指的预设动作动作场景不限于在健身开始前的一些场景,也可以是在健身过程中的一些场景,例如,健身过程中,提示用户做出预设动作,该预设动作可以是跳起来摸到“虚拟球”,或者是双臂伸展、下蹲等动作。这里的“虚拟球”是位于显示界面的一个虚拟的图象或动画,如图4e所示。用户无需触摸智能设备,只需根据指示作出一些动作,例如显示界面显示“请跳起触摸虚拟球”,则用户跳起,摄像头193拍摄下用户的动作,将拍摄的每个图像帧发送至处理器110;处理器110将该图像帧与“虚拟球”所在的图像帧进行复合得到一张复合图像帧,或者提取图像帧中的用户动作,将用户动作与“虚拟球”所在的图像帧形成一张复合图像帧;将该复合图像帧发送至显示屏194进行显示;如图4f示出的一种可能的显示界面的示意图;在用户跳起触摸“虚拟球”的过程中,显示屏194可以实时显示用户触摸“虚拟球”的过程,用户也可根据显示屏194中显示的内容看到自己是否触摸到虚拟球,从而对自己的动作进行调整。
显示屏194还可以显示一些用于指示用户进行各种动作的图像或视频,例如一段运动视频,用户可以跟着这段运动视频运动;还可以显示匹配成功与否的信息,如图4c所示意出了一种可能的显示屏194的显示界面示意图,显示:匹配失败,请重试;也可以显示匹配进度,例如图4d所示意出了一种可能的显示屏194的显示界面示意图,显示:匹配中,匹配进度50%。
处理器110还可以在确定预设动作场景被触发后,获取摄像头193采集到的第i图像帧;针对第i图像帧,提取该图像帧中的用户的动作,将提取到的用户的动作与预设动作场景的预设动作进行匹配,确定匹配度;针对包括所述第i图像帧在内的连续n帧图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功。处理器110还可以将需要显示的内容发送至显示屏进行显示。
为了便于理解本申请实施例提供的动作匹配方法,下面对采用本申请提供的方法进行动作匹配的实现过程进行介绍。本申请实施例提供的动作匹配方法可以在如图2所示的硬件结构和图3所示的软件结构中实施。
本申请实施例提供的动作匹配方法包括如下步骤,如图5所示。
步骤501,在预设动作场景被触发后,获取图像采集装置采集的第i图像帧。
预设动作场景可以是由用户触发的,例如上文中所说的,用户在各预设动作场景中选择了其中一个预设动作场景,则处理器获取到用户的选择后,可以确定是哪个预设动作场景被触发了。
处理器确定预设动作场景触发后,持续地依次获取图像采集装置在该预设动作场景下采集的图像帧。例如,若从预设动作场景触发后开始,获取第1张图像帧、第2张图像帧、第3张图像帧……
步骤502,确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度。
针对依次从图像采集装置获取的每一张图像帧,处理器提取该图像帧中的用户的动作。具体为,首先对图像帧进行对象识别,识别后对该图像帧中的对象进行动作提取。本申请实施例对对象识别和动作提取的方式不作限制,可以采用本领域技术人员熟知的技术完成。
处理器将提取到的用户的动作与该预设动作场景下的预设动作进行相似度匹配,得到匹配度。
例如,预设动作场景为确定健身角色的场景,则预设动作为“双臂弯举”。处理器在确定预设动作场景为确定健身角色的场景后,从图像采集装置获取第1帧图像帧,提取该图像帧中的用户的动作;确定该用户的动作与预设动作场景的预设动作“双臂弯举”的匹配度,例如为60%。本申请实施例对计算匹配度的方法不作限制。例如,可以提取图像帧中的人物的骨骼关键点,将骨骼关键点的坐标、角度等与预设动作中的各骨骼关键点的坐标、角度进行比较,从而确定匹配度。
例如,预设动作场景为惯用手选择场景,则预设动作为“触碰虚拟球”。该预设动作场景用于将触碰了虚拟球的手确定为用户的惯用手。这里的“虚拟球”同上文中所说的“虚拟球”,虚拟球的位置可以发生改变。例如在该预设动作场景中,虚拟球设置在显示界面的右下角。处理器在确定预设动作场景为惯用手选择场景后,从图像采集装置获取第1帧图像帧,提取该图像帧中的用户的两只手分别与虚拟球的距离,将距离作为用户动作与预设动作的匹配度,因此可以得到用户的左手与预设动作的匹配度,以及用户的右手与预设动作的匹配度。
步骤503,针对包括所述第i图像帧在内的连续n个图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功;所述n和i为正整数。
针对第i图像帧,获取第i图像帧之前的n-1个图像帧对应的匹配度,这n-1个图像帧和第i图像帧是连续的。每个图像帧对应的匹配度可以按照步骤502中示意的方式进行确定。
针对这连续的n个图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功。若确定动作匹配成功,则停止从图像采集装置获取第i+1图像帧。
若确定这连续的n个图像帧中,存在任一图像帧对应的匹配度不大于上一个图像帧对应的匹配度,则确定动作匹配不成功,继续从图像采集装置获取第i+1图像帧。重复进行步骤502和步骤503的操作。
例如,当预设动作场景为确定健身角色的场景,n=10。当i=1时,不存在针对包括第1图像帧在内的连续10个图像帧,因此动作匹配不成功。
例如,当i=10时,获取第10图像帧之前的9张图像帧对应的匹配度,若确定包括第10图像帧在内的这10张连续的图像帧(即第1-第10图像帧)中,每个图像帧对应的匹配度均大于上一个图像帧对应的匹配度,即确定出现连续的10张图像帧对应的匹配度越来越大,则可确定用户具有完成预设动作的明显意图,那么就可确定动作匹配成功,不再获取图像采集装置采集的第11图像帧。例如,当i=10时,获取第10图像帧之前的9张图像帧对应的匹配度,若确定包括第10图像帧在内的这10张连续的图像帧中,存在一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,则可确定用户没有完成预设动作的明显意图,那么就可确定动作匹配不成功,继续获取图像采集装置采集的第11图像帧。例如,当i=11时,获取第11图像帧之前的9张图像帧对应的匹配度,若确定包括第11图像帧在内的这10张连续的图像帧(即第2-第11图像帧)中,每个图像帧对应的匹配度均大于上一个图像帧对应的匹配度,即确定出现连续的10张图像帧对应的匹配度越来越大,则可确定用户具有完成预设动作的明显意图,那么就可确定动作匹配成功,不再获取图像采集装置采集的第12图像帧。
例如,当预设动作场景为惯用手选择场景,n=10。当i=1时,在第1图像帧中提取用户的左手和虚拟球的距离作为左手的匹配度,提取用户的右手和虚拟球的距离作为右手的匹配度。由于此时不存在包括第1图像帧在内的连续10个图像帧,因此动作匹配不成功。
例如,当i=10时,获取第10图像帧之前的9张图像帧对应的左手匹配度和右手匹配度,若确定包括第10图像帧在内的这10张连续的图像帧(即第1-第10图像帧)中,每个图像帧对应的左手/右手匹配度均大于上一个图像帧对应的左手/右手匹配度,即确定出现连续的10张图像帧对应的左手/右手匹配度越来越大,则可确定用户具有完成预设动作的明显意图,那么就可确定左手/右手动作匹配成功,不再获取图像采集装置采集的第11图像帧。若确定左手匹配度和右手匹配度均没有越来越大,则说明动作匹配不成功。
例如,当i=11时,获取第11图像帧之前的9张图像帧对应的左手匹配度和右手匹配度,若确定包括第11图像帧在内的这10张连续的图像帧(即第2-第11图像帧)中,每个图像帧对应的左手/右手匹配度均大于上一个图像帧对应的匹配度,即确定出现连续的10张图像帧对应的左手/右手匹配度越来越大,则可确定用户具有完成预设动作的明显意图,那么就可确定动作匹配成功,不再获取图像采集装置采集的第12图像帧。若确定左手匹配度和右手匹配度均没有越来越大,则说明动作匹配不成功。
当预设动作场景为惯用手选择场景时,确定动作匹配成功的条件可以为,包括所述第i图像帧在内的连续n个图像帧中,某只手A的匹配度越来越大,且另一只手B的匹配度越来越小,则可确定手A动作匹配成功,用户的惯用手为手A。这里的手A可以为左手或右手,手B可以为左手或右手。
上述技术方案中,无需设置预设阈值,因此动作匹配的速度和准确性不再受预设阈值的大小所影响。而是通过对连续n个图像帧对应的匹配度的变化趋势进行分析,确定动作是否匹配成功。用户无需严格完成预设动作,只需要有完成预设动作的趋势即可,因此提高了动作匹配的效率。用户在做无关动作时很难做到连续n帧与预设动作的匹配度逐渐增大,因此降低了误触发的可能,提高了动作匹配的准确性。
例如,在确定健身角色的场景中,无需用户严格完成“双臂弯举”的预设动作,可能做得不够标准,但是由于在连续n个图像帧中匹配度逐渐增加,因此认为用户具有完成“双臂弯举”的预设动作的明显意图,因此确定动作匹配完成,将匹配成功的用户确定为健身角色。
例如,在惯用手选择场景中,无需用户严格触碰到虚拟球,只需在连续n个图像帧中左手/右手匹配度逐渐增加,即,左手/右手与虚拟球的距离越来越近,因此认为用户具有完成“触碰虚拟球”的预设动作的明显意图,因此确定动作匹配完成,将匹配成功的手(左手/右手)确定为用户的惯用手。
本申请实施例提供另外一种可能的动作匹配方法,本申请实施例提供的动作匹配方法可以在如图2所示的硬件结构和图3所示的软件结构中实施。
本申请实施例提供的动作匹配方法包括如下步骤:在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
这里的第一预设阈值为匹配度上限值,若图像帧对应的匹配度大于第一预设阈值,则匹配度较高。这里的第一预设阈值相当于现有技术中的预设阈值。现有技术中,若连续m个图像帧对应的匹配度均大于第一预设阈值,则毋庸置疑,该用户摆出的动作非常标准,即可确定匹配成功。但是不是所有的用户都会摆出这么标准的动作,因此本申请实施例设置了第二预设阈值,第二预设阈值为匹配度下限值。若某个图像帧对应的匹配度小于第二预设阈值,则用户摆出的动作过于不标准,因此不会确定为匹配成功。当连续w个图像帧对应的匹配度均小于等于第一预设阈值且大于第二预设阈值,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,并且动态阈值是从第一预设阈值逐渐减小至第二预设阈值的,因此可以说明虽然用户的动作不够标准,但是用户具有完成预设动作的明显意图,用户尝试了很多次,虽然每次匹配度都不大于第一预设阈值,但是每次匹配度都大于匹配度下限值,并大于动态阈值。
在一种可能的实现方式中,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均大于第一预设阈值,则确定动作匹配成功。由于第一预设阈值为匹配度上限值,因此若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均大于第一预设阈值,则说明用户的动作非常标准,因此可以确定动作匹配成功。不再通过图像采集装置获取第i+1图像帧。
下面以第i图像帧为例,介绍上述方法。当确定第i图像帧的匹配度后,则确定包括所述第i图像帧在内的匹配度满足所述预设条件的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。这里数量可以是包括所述第i图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,也可以是包括所述第i图像帧在内的匹配度满足所述预设条件的所有的图像帧的数量(也就是说,也可以不连续),本申请实施例对此不作限制。
若这里的数量是包括所述第i图像帧在内的匹配度满足所述预设条件的所有的图像帧的数量,则数量能够增加的条件会较宽松,那么动态阈值的下降的条件也会较宽松,确定动作匹配成功的标准更加宽松,提升了动作匹配的效率。例如,若第1图像帧对应的匹配度满足预设条件,那么满足所述预设条件的图像帧的数量会增加为1,动态阈值根据数量1从第一预设阈值进行下降;若第2图像帧对应的匹配度不满足预设条件,那么满足所述预设条件的图像帧的数量会保持为1,动态阈值根据数量1从第一预设阈值进行下降;若第3图像帧对应的匹配度满足预设条件,那么满足所述预设条件的图像帧的数量会增加为2,动态阈值会根据数量2从第一预设阈值进行下降;若第4图像帧对应的匹配度不满足预设条件,那么满足所述预设条件的图像帧的数量会保持为2,动态阈值根据数量2从第一预设阈值进行下降;若第5图像帧对应的匹配度满足预设条件,那么满足所述预设条件的图像帧的数量会增加为3,动态阈值会根据数量3从第一预设阈值进行下降。数量越大,则第一预设阈值的下降幅度越大,动态阈值就会越小。可以发现,不管中间出现过几个图像帧不满足预设条件,数量都不会由于匹配度不满足预设条件的图像帧的出现而降低,只会保持不变,那么动态阈值也会保持不变,那么若在之后出现了匹配度满足预设条件的图像帧的话,数量会进一步增加,动态阈值也会进一步减小。如此,每个图像帧对应的匹配度大于该图像帧对应的动态阈值的可能性就会增加,动作匹配成功的概率更高。
若这里的数量是包括所述第i图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,则数量能够增加的条件会较苛刻,那么动态阈值的下降的条件也会较苛刻,确定动作匹配成功的标准更加严格,提升了动作匹配的准确性。具体地,通过如下方式确定所述图像帧对应的动态阈值,包括:确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
例如,若第1图像帧对应的匹配度满足预设条件,那么满足所述预设条件的图像帧的数量会增加为1,动态阈值根据数量1从第一预设阈值进行下降;若第2图像帧对应的匹配度不满足预设条件,那么满足所述预设条件的图像帧的数量会变为0,动态阈值根据数量0从第一预设阈值进行下降;若第3图像帧对应的匹配度满足预设条件,那么满足所述预设条件的图像帧的数量会增加为1,动态阈值会根据数量1从第一预设阈值进行下降;若第4图像帧对应的匹配度不满足预设条件,那么满足所述预设条件的图像帧的数量会变为0,动态阈值根据数量0从第一预设阈值进行下降;若第5图像帧对应的匹配度满足预设条件,那么满足所述预设条件的图像帧的数量会增加为1,动态阈值会根据数量1从第一预设阈值进行下降。数量越大,则第一预设阈值的下降幅度越大,动态阈值就会越小。可以发现,只要中间某个图像帧的匹配度不满足预设条件,那么数量就会置0,第一预设阈值的下降幅度为0,动态阈值就会恢复为匹配度上限,即第一预设阈值。那么之后的图像帧若匹配度满足预设条件,那么它对应的动态阈值也会在该匹配度上限的基础上往下降,那么之后的图像帧的匹配度大于他自己对应的动态阈值的可能性就会降低,无疑增加了动作匹配成功的难度,因此提高了动作匹配的准确性。
上述方案中,每一个图像帧都会有自己对应的动态阈值。每一个图像帧不仅要和第一预设阈值和第二预设阈值比较,而且要和自己的动态阈值比较。针对第i图像帧,若确定包括所述第i图像帧在内的连续n个图像帧中的每个图像帧对应的匹配度均大于上一个图像帧对应的匹配度,或者,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件且所述w个图像帧中的每个图像帧对应的匹配度大于该图像帧对应的动态阈值,则确定动作匹配成功。
在一种可能的实施方式中,该方法还包括:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
在一种可能的实施方式中,可以将上述两种动作匹配方法进行结合,当处理器确定任一种条件满足时,则确定动作匹配成功。即,在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;针对包括所述第i图像帧在内的连续n个图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,或者,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述n和i为正整数。所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
具体地,当获取到第i图像帧,确定该第i图像帧对应的匹配度后,进行如下两个条件判断。条件1:确定包括所述第i图像帧在内的连续n个图像帧中的每个图像帧对应的匹配度均大于上一个图像帧对应的匹配度;条件2:确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值。上述两个条件满足任一个,就可确定动作匹配成功。
值得注意的是,条件1和条件2可以同时判断,也可以划分先后顺序判断。本申请实施例对两个条件判断的先后顺序不作限制。
例如,第一预设阈值为0.9,第二预设阈值为0.8。若在确定了第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度之后,可以进行如下条件判断:条件1:获取包括第i图像帧在内的连续n个图像帧对应的匹配度,确定任一图像帧的匹配度是否大于该图像帧的上一个图像帧的匹配度;条件2:获取包括所述第i图像帧在内的连续w个图像帧对应的匹配度,确定w个匹配度是否均大于0.9,若是,则确定动作匹配成功,若否,则确定w个匹配度是否均小于等于0.9且大于0.8,并且,w个图像帧的匹配度均大于各自的动态阈值。若上述条件1和条件2中的任一个被满足,则确定动作匹配成功。若条件1和条件2中的两个都不满足,则确定动作匹配不成功,获取第i+1图像帧。
若上述两个条件均不满足,则确定动作匹配不成功。即,若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足预设条件,则确定动作匹配不成功。若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
举个例子,若w=10,则在确定第i图像帧对应的匹配度后,若确定包括第i图像帧在内的连续10个图像帧中,每个图像帧对应的匹配度均满足预设条件,且,大于自己对应的动态阈值,那么就可确定动作匹配成功。若确定包括第i图像帧在内的连续10个图像帧中,每个图像帧对应的匹配度均满足预设条件,但是存在任意一个匹配度不大于自己对应的动态阈值,那么就可确定动作匹配不成功。
其中,针对每个图像帧,可以通过如下方式确定该图像帧对应的动态阈值:确定包括所述图像帧在内的满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
下面通过一个具体的实施例介绍某个图像帧对应的动态阈值的确定方式。
令F1为在预设动作场景触发后,匹配度满足预设条件的连续的图像帧的数量。在初始时,F1=0,在确定第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度之后,若确定该匹配度满足预设条件,即小于等于第一预设阈值且大于第二预设阈值时,则令F1=F1+1。若确定该匹配度不满足预设条件,则令F1=0。第i图像帧对应的动态阈值就可以通过如下两种方式进行确定:
方式1:T2=T0*(1-α)+T1*α,其中T2为动态阈值,T0为第一预设阈值,T1为第二预设阈值,α为下降系数,α=min(F1/F0,1),F0可以取经验值。可以发现,随着F1的增加,F1/F0变大,α变大,当F1≥F0时,α=1。即,随着F1的增加,α由0逐渐增加至1,最大可以取1。当α=0时,T2=T0;当α=1时,T2=T1。即,动态阈值随着满足预设条件的连续的图像帧的数量的增加,逐渐由第一预设阈值减小至第二预设阈值。可以看到,F0的取值越大,则α的变化越缓慢,T2随着满足预设条件的连续的图像帧的数量的增加,减小趋势越缓慢,则提高了动作匹配成功的难度,也就提高了动作匹配的准确性。上述方式中,动态阈值是从第一预设阈值线性减小至第二预设阈值的。
例如,假设F0=10,即,当满足预设条件的图像帧的数量大于等于10后,动态阈值就会等于第二预设阈值。例如,在获取第1图像帧对应的匹配度后,确定第1图像帧对应的匹配度满足预设条件,因此F1=1,α=0.1,第1图像帧对应的动态阈值T2=T0*0.9+T1*0.1;在获取第2图像帧对应的匹配度后,确定第2图像帧对应的匹配度不满足预设条件,因此F1=0,α=0,第2图像帧对应的动态阈值T2=T0,恢复为第一预设阈值;在获取第3图像帧对应的匹配度后,确定第3图像帧对应的匹配度满足预设条件,因此F1=1,α=0.1,第3图像帧对应的动态阈值T2=T0*0.9+T1*0.1……依此类推。如此得到了每个图像帧对应的动态阈值。
方式2:T2=T0*α+T1*(1-α),其中T2为动态阈值,T0为第一预设阈值,T1为第二预设阈值,α为下降系数,其中α=exp(-F1)。可以看出,初始时,F1=0,α=1,T2=T0;随着F1的增加,α越来越小,无限趋近于0,则T2=T1。即,动态阈值随着满足预设条件的连续的图像帧的数量的增加,逐渐由第一预设阈值减小至第二预设阈值。上述方式中,动态阈值是从第一预设阈值非线性减小至第二预设阈值的。
例如,在获取第1图像帧对应的匹配度后,确定第1图像帧对应的匹配度满足预设条件,因此F1=1,α=exp(-1),第1图像帧对应的动态阈值T2=T0*exp(-1)+T1*(1-exp(-1));在获取第2图像帧对应的匹配度后,确定第2图像帧对应的匹配度不满足预设条件,因此F1=0,α=1,第2图像帧对应的动态阈值T2=T0;在获取第3图像帧对应的匹配度后,确定第3图像帧对应的匹配度满足预设条件,因此F1=1,α=exp(-1),第3图像帧对应的动态阈值T2=T0*exp(-1)+T1*(1-exp(-1))……依此类推。如此得到了每个图像帧对应的动态阈值。
为了方便理解,下面通过一个具体的实施例对动作匹配方法进行介绍。如图6所示。
令F1为匹配度满足预设条件的连续的图像帧的数量,初始时,F1=0。令F2为匹配成功的连续的图像帧的数量,初始时,F2=0。第一预设阈值为匹配度上限值,例如为0.9,第二预设阈值为匹配度上限值,例如为0.8。
首先处理器在确定预设动作场景被触发后,获取图像采集装置采集的第i图像帧;确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度。例如,i=1,则确定第1图像帧对应的匹配度。判断第1图像帧对应的匹配度是否大于第一预设阈值0.9,若是,由于第一预设阈值为匹配度上限值,因此第1图像帧对应的用户的动作非常标准,因此确定第1图像帧匹配成功。F2=F2+1=1;第三预设阈值为经验值,例如,第三预设阈值为30,则需在预设动作场景中共有30张图像帧匹配成功,才会确定动作匹配成功。当F2=1时,明显不大于等于第三预设阈值30,因此,令i=i+1,获取第2图像帧对应的匹配度。
可选地,在任一图像帧匹配成功后,可以在显示屏上显示提示信息,提示信息可以是文字、图像或视频等形式,用于提示用户该图像帧匹配成功。例如,图7示意出了一种可能的显示界面示意图。显示界面显示:当前动作良好,请继续保持。
在获取第2图像帧对应的匹配度后,确定第2图像帧对应的匹配度是否大于第一预设阈值,若是,则依然令F2=F2+1=1。若否,则说明用户的动作不够标准,因此继续判断该匹配度是否大于第二预设阈值0.8,由于第二预设阈值为匹配度下限值,因此若不大于第二预设阈值的话,则用户的动作实在标准度太低,因此认为第i图像帧匹配失败。由于第2图像帧不满足预设条件(小于等于第一预设阈值且大于第二预设阈值),而F1为匹配度满足预设条件的连续的图像帧的数量,因此F1需要置0;由于第2图像帧匹配失败,而F2为匹配成功的连续的图像帧的数量,因此F2需要置0。令i=i+1,获取第3图像帧对应的匹配度。
可选地,由于第2图像帧对应的匹配度不满足预设条件,说明用户的动作非常不标准。因此可以显示提示信息,以使用户对动作进行调整。例如图8示意出了一种可能的显示界面示意图。显示界面显示:当前动作无法匹配,请调整动作。
若第2图像帧对应的匹配度满足预设条件,则F1=F1+1=1,根据F1确定动态阈值。具体根据F1确定动态阈值的方法可以参考上文,在此不再赘述。如此确定了第2图像帧对应的动态阈值,例如确定的动态阈值为0.89。也就是说,临时定义了一个比第一预设阈值更加宽松的阈值。判断第2图像帧对应的匹配度是否大于动态阈值0.89,若大于动态阈值0.89,则依然认为第2图像帧匹配成功。令F2=F2+1。若不大于动态阈值0.89,则说明该第2图像帧对应的匹配度还是没有满足那个更加宽松的阈值,因此确定第2图像帧匹配失败。由于第2图像帧匹配失败,匹配成功的连续的图像帧的数量F2需要置0。并且,令i=i+1,获取第3图像帧对应的匹配度。
可选地,由于第2图像帧对应的匹配度满足预设条件,只是不大于动态阈值,而动态阈值是随着匹配度满足预设条件的图像帧的数量的增加而逐渐减小的。因此若用户保持当前动作,那么接下来的图像帧对应的匹配度就会一直满足预设条件,那么动态阈值就会继续下降,直至下降至第二预设阈值。那么在此之后总会存在某一个图像帧T对应的匹配度大于动态阈值,那么F2就会从图像帧T慢慢增加,直至大于第三预设阈值30,也就是动作匹配成功。用户的动作越标准,越接近第一预设阈值0.9,那么图像帧T的到来就会越早,那么F2大于第三预设阈值的时刻就会到来的越快,动作匹配成功的效率越高。因此若某个图像帧对应的匹配度满足预设条件,只是不大于动态阈值的话,可以在显示界面显示提示信息,可以使用户保持当前姿态,并提示用户如果想要提高匹配成功的效率的话,可以将动作调整的更标准一点。图9示意出了一种可能的显示界面示意图。显示界面显示:您可以选择继续保持当前动作,也可以为了提高认证效率而将动作调整地更标准一点。
针对第3图像帧、第4图像帧、第5图像帧……继续上述操作,直至F2大于等于第三预设阈值,则确定动作匹配成功。不再获取下一个图像帧。可以在显示界面显示提示信息,以提示用户匹配成功。图10示意出了一种可能的显示界面示意图。显示界面显示:恭喜您,动作匹配成功。可选地,还可以将匹配结果进行显示,例如,在显示界面中显示出的确定健身角色的照片,该照片可以是从任一张获取的图像帧中截取出的角色的照片。
上述技术方案中,F1只有在存在某个图像帧的匹配度不满足预设条件时才会置0,只要图像帧的匹配度满足预设条件,那么F1就会增加。F2会在存在某个图像帧不满足预设条件时,或者满足预设条件但是不大于动态阈值时,置0。只要图像帧的匹配度满足预设条件且大于动态阈值,或者图像帧的匹配度大于低于第一预设阈值时,那么F2就会增加。
处理器在获取第i图像帧对应的匹配度后,进行图6的判断的同时,也会进行如下判断:确定包括第i图像帧在内的n个图像帧中的每个图像帧对应的匹配度是否大于上一个图像帧对应的匹配度,即匹配度越来越大,若是,则可以确定动作匹配成功。
相对于现有技术中设置一个预设阈值,本申请实施例设置两个预设阈值可以增加判定用户动作标准与否的宽容度。若匹配度满足预设条件的连续的图像帧的个数大于等于第三预设阈值,也可确定动作匹配成功,无需严格令匹配度大于第一预设阈值,因此提高了动作匹配的效率。并且,由于匹配度满足预设条件的连续的图像帧的个数大于等于第三预设阈值,说明用户具有完成预设动作的明显意图,只是动作不够标准而已。因此并没有使动作匹配的准确性降低。
并且,设置了可以动态变化的动态阈值,只要某个图像帧的匹配度满足预设条件,则动态阈值会降低,再将该图像帧的匹配度与动态阈值做比较,若大于动态阈值,才会令F2增加。若不大于动态阈值,则会令F2置0。因此针对这个图像帧来说,增加了匹配成功的难度,提高了匹配的准确性。但是由于动态阈值是动态变化的,它会慢慢接近第二预设阈值,因此只要用户的动作较为标准(即虽然没有大于第一预设阈值,但是小于等于第一预设阈值且大于第二预设阈值),匹配度满足预设条件的连续的图像帧的数量慢慢增加,那么动态阈值越来越低,匹配难度会慢慢降低,可以更快地匹配成功。
基于与上述技术内容相同的技术构思,本申请实施例提供一种动作匹配装置,如图11所示,该动作匹配装置包括获取单元1101和确定单元1102。动作匹配装置用于执行上述方法实施例。
获取单元1101,用于在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定单元1102,用于:
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
针对包括所述第i图像帧在内的连续n个图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功;所述n和i为正整数。
在一种可能的实现方式中,所述确定单元1102还用于:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
在一种可能的实现方式中,所述确定单元1102具体用于:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
在一种可能的实现方式中,所述确定单元1102还用于:
若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
基于与上述技术内容相同的技术构思,本申请实施例提供一种动作匹配装置,该装置可参考如图11中的装置所示,该动作匹配装置包括获取单元1101和确定单元1102。该装置包括:
获取单元1101,用于在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定单元1102,用于:
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
在一种可能的实现方式中,所述确定单元1102具体用于:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
在一种可能的实现方式中,所述确定单元1102还用于:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
基于相同的技术构思,本申请实施例提供了一种计算机设备,如图12所示,包括至少一个处理器1201,以及与至少一个处理器连接的存储器1202,本申请实施例中不限定处理器1201与存储器1202之间的具体连接介质,图12中处理器1201和存储器1202之间通过总线连接为例。总线可以分为地址总线、数据总线、控制总线等。
在本申请实施例中,存储器1202存储有可被至少一个处理器1201执行的指令,至少一个处理器1201通过执行存储器1202存储的指令,可以执行上述动作匹配方法的步骤。
其中,处理器1201是计算机设备的控制中心,可以利用各种接口和线路连接计算机设备的各个部分,通过运行或执行存储在存储器1202内的指令以及调用存储在存储器1202内的数据,从而进行动作匹配。在一些实施例中,处理器1201可包括一个或多个处理单元,处理器1201可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1201中。在一些实施例中,处理器1201和存储器1202可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
处理器1201可以是通用处理器,例如中央处理器(CPU)、数字信号处理器、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器1202作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1202可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory,RAM)、静态随机访问存储器(Static Random Access Memory,SRAM)、可编程只读存储器(Programmable Read Only Memory,PROM)、只读存储器(Read Only Memory,ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性存储器、磁盘、光盘等等。存储器1202是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器1202还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
基于与上述技术内容相同的技术构思,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序或指令,当该计算机程序或指令被执行时,使得计算机执行上述所示的方法实施例。
基于与上述技术内容相同的技术构思,本申请实施例提供一种计算机程序产品,当计算机读取并执行计算机程序产品时,使得计算机执行上述所示的方法实施例。
可以理解的是,在本申请的实施例中涉及的各种数字编号仅为描述方便进行的区分,并不用来限制本申请的实施例的范围。上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (17)

1.一种动作匹配方法,其特征在于,包括:
在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
针对包括所述第i图像帧在内的连续n个图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功;所述n和i为正整数。
2.如权利要求1所述的方法,其特征在于,在确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度之后,还包括:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
3.如权利要求2所述的方法,其特征在于,通过如下方式确定所述图像帧对应的动态阈值,包括:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
4.如权利要求2所述的方法,其特征在于,还包括:
若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
5.一种动作匹配方法,其特征在于,包括:
在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
6.如权利要求5所述的方法,其特征在于,通过如下方式确定所述图像帧对应的动态阈值,包括:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
7.如权利要求5所述的方法,其特征在于,还包括:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
8.一种动作匹配装置,其特征在于,包括:
获取单元,用于在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定单元,用于:
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
针对包括所述第i图像帧在内的连续n个图像帧中的每个图像帧,若确定所述图像帧对应的匹配度均大于上一个图像帧对应的匹配度,则确定动作匹配成功;所述n和i为正整数。
9.如权利要求8所述的装置,其特征在于,所述确定单元还用于:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
10.如权利要求9所述的装置,其特征在于,所述确定单元具体用于:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
11.如权利要求10所述的装置,其特征在于,所述确定单元还用于:
若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续n个图像帧中存在至少一个图像帧对应的匹配度不大于上一个图像帧对应的匹配度,并且,若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
12.一种动作匹配装置,其特征在于,包括:
获取单元,用于在预设动作场景被触发后,获取图像采集装置采集的第i图像帧;
确定单元,用于:
确定所述第i图像帧中的用户的动作与所述预设动作场景的预设动作之间的匹配度;
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,且针对所述w个图像帧中的每个图像帧,所述图像帧对应的匹配度大于所述图像帧对应的动态阈值,则确定动作匹配成功;所述预设条件是指小于等于第一预设阈值且大于第二预设阈值;所述动态阈值是从所述第一预设阈值开始随着满足预设条件的图像帧的个数的增加而逐渐减小至所述第二预设阈值的;所述w为正整数。
13.如权利要求12所述的装置,其特征在于,所述确定单元具体用于:
确定包括所述图像帧在内的匹配度满足所述预设条件的连续的图像帧的数量,根据所述数量确定所述图像帧对应的动态阈值。
14.如权利要求12所述的装置,其特征在于,所述确定单元还用于:
若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度存在至少一个匹配度不满足所述预设条件,则确定动作匹配不成功;若确定包括所述第i图像帧在内的连续w个图像帧对应的匹配度均满足预设条件,但是存在至少一个图像帧对应的匹配度不大于其对应的动态阈值,则确定动作匹配不成功。
15.一种计算设备,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于调用所述存储器中存储的计算机程序,以执行如权利要求1至7任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序或指令,当所述计算机程序或指令被动作匹配装置执行时,实现如权利要求1至7中任一项所述的方法。
17.一种芯片,其特征在于,包括至少一个处理器和接口;所述接口,用于为所述至少一个处理器提供程序指令或者数据;所述至少一个处理器用于执行所述程序行指令,以实现如权利要求1至7中任一项所述的方法。
CN202211617629.1A 2022-12-15 2022-12-15 一种动作匹配方法及装置 Pending CN118212679A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211617629.1A CN118212679A (zh) 2022-12-15 2022-12-15 一种动作匹配方法及装置
PCT/CN2023/139020 WO2024125622A1 (zh) 2022-12-15 2023-12-15 一种动作匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211617629.1A CN118212679A (zh) 2022-12-15 2022-12-15 一种动作匹配方法及装置

Publications (1)

Publication Number Publication Date
CN118212679A true CN118212679A (zh) 2024-06-18

Family

ID=91455119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211617629.1A Pending CN118212679A (zh) 2022-12-15 2022-12-15 一种动作匹配方法及装置

Country Status (2)

Country Link
CN (1) CN118212679A (zh)
WO (1) WO2024125622A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762640B2 (en) * 2017-05-22 2020-09-01 Creavision Technologies, Ltd. Systems and methods for user detection, identification, and localization within a defined space
CN110135246B (zh) * 2019-04-03 2023-10-20 平安科技(深圳)有限公司 一种人体动作的识别方法及设备
CN114422848A (zh) * 2022-01-19 2022-04-29 腾讯科技(深圳)有限公司 视频分割方法、装置、电子设备及存储介质
CN114842219A (zh) * 2022-03-31 2022-08-02 阿里巴巴(中国)有限公司 图像特征追踪方法、装置和计算机程序产品
CN115147623A (zh) * 2022-06-13 2022-10-04 网易有道信息技术(北京)有限公司 目标图像的获取方法及相关设备

Also Published As

Publication number Publication date
WO2024125622A1 (zh) 2024-06-20

Similar Documents

Publication Publication Date Title
KR102470275B1 (ko) 음성 제어 방법 및 전자 장치
WO2021129326A1 (zh) 一种屏幕显示方法及电子设备
CN109814766B (zh) 一种应用显示方法及电子设备
CN113645351B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
CN111061912A (zh) 一种处理视频文件的方法及电子设备
CN114363462B (zh) 一种界面显示方法、电子设备及计算机可读介质
CN113132526B (zh) 一种页面绘制方法及相关装置
WO2021052139A1 (zh) 手势输入方法及电子设备
CN112532865A (zh) 慢动作视频拍摄方法及电子设备
CN110633043A (zh) 一种分屏处理方法及终端设备
CN113887264B (zh) 扫码方法、系统及相关装置
CN113805487B (zh) 控制指令的生成方法、装置、终端设备及可读存储介质
CN112698756A (zh) 用户界面的显示方法及电子设备
CN115016869A (zh) 帧率调整方法、终端设备及帧率调整系统
CN110955373A (zh) 一种显示要素的显示方法和电子设备
CN112068907A (zh) 一种界面显示方法和电子设备
CN113986070A (zh) 一种应用卡片的快速查看方法及电子设备
CN114116085A (zh) 一种通知消息管理方法及电子设备
CN114995715A (zh) 悬浮球的控制方法和相关装置
CN113168257B (zh) 锁定触控操作的方法及电子设备
CN113688019A (zh) 响应时长检测方法及装置
CN114911400A (zh) 分享图片的方法和电子设备
CN114201978A (zh) 一种对应用程序的界面进行翻译的方法及相关设备
CN111475363B (zh) 卡死识别方法及电子设备
CN118212679A (zh) 一种动作匹配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination