CN112950672B - 确定关键点的位置的方法、装置和电子设备 - Google Patents

确定关键点的位置的方法、装置和电子设备 Download PDF

Info

Publication number
CN112950672B
CN112950672B CN202110237261.5A CN202110237261A CN112950672B CN 112950672 B CN112950672 B CN 112950672B CN 202110237261 A CN202110237261 A CN 202110237261A CN 112950672 B CN112950672 B CN 112950672B
Authority
CN
China
Prior art keywords
frame
low
current
optical
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110237261.5A
Other languages
English (en)
Other versions
CN112950672A (zh
Inventor
余永佳
李国洪
张柳清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110237261.5A priority Critical patent/CN112950672B/zh
Publication of CN112950672A publication Critical patent/CN112950672A/zh
Application granted granted Critical
Publication of CN112950672B publication Critical patent/CN112950672B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/269Analysis of motion using gradient-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开公开了确定关键点的位置的方法、装置、电子设备和计算机可读存储介质,涉及计算机领域,尤其涉及人工智能领域。具体提供了一种确定关键点的位置的方法。该方法可以包括确定被检测对象的关键点在视频的当前帧中的当前位置信息。进而,可以基于所述视频的先前帧和所述当前帧确定与所述被检测对象的移速相关联的速度信息。此外,该方法可以包括基于所述速度信息、所述当前位置信息以及所述关键点在所述先前帧中的经低通滤波的先前位置信息,对所述当前位置信息进行低通滤波,以确定所述关键点的经低通滤波的所述当前位置信息。以此方式,本公开的技术方案可以解决关键点抖动问题,同时还可以减轻甚至避免“迟滞”跟踪的现象。

Description

确定关键点的位置的方法、装置和电子设备
技术领域
本公开涉及计算机技术领域,尤其涉及图像识别领域,具体地,涉及确定关键点的位置的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
背景技术
随着移动物联网、5G通信、人工智能等技术的发展与普及,出现了越来越多需要依赖人机交互的场景以及产品。人机交互主要研究使用者与设备操作系统之间的信息交互,这里所指的系统不限于智能手机,还包括了各式各样的智能物联设备,比如智能音箱、智能手表、智能门锁等。使用者可以通过诸如手势、身体动作等方式向设备操作系统传递指令信息。由于用于感测用户手势或身体动作的设备所采集的感测数据可能存在抖动,需要对该感测数据进行滤波处理。
发明内容
本公开提供了一种确定关键点的位置的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
根据本公开的第一方面,提供了一种确定关键点的位置的方法。该方法可以包括确定被检测对象的关键点在视频的当前帧中的当前位置信息。进而,可以基于所述视频的先前帧和所述当前帧确定与所述被检测对象的移速相关联的速度信息。此外,该方法可以包括基于所述速度信息、所述当前位置信息以及所述关键点在所述先前帧中的经低通滤波的先前位置信息,对所述当前位置信息进行低通滤波,以确定所述关键点的经低通滤波的所述当前位置信息。
在本公开的第二方面中,提供了一种确定关键点的位置的装置,包括:位置信息确定模块,被配置为确定被检测对象的关键点在视频的当前帧中的当前位置信息;速度信息确定模块,被配置为基于所述视频的先前帧和所述当前帧确定与所述被检测对象的移速相关联的速度信息;以及低通滤波模块,被配置为基于所述速度信息、所述当前位置信息以及所述关键点在所述先前帧中的经低通滤波的先前位置信息对所述当前位置信息进行低通滤波,以确定所述关键点的经低通滤波的所述当前位置信息。
在本公开的第三方面中,提供了一种电子设备,包括一个或多个处理器;以及存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现根据本公开的第一方面的方法。
在本公开的第五方面中,提供了一种计算机程序产品,计算机程序在被处理器执行时实现根据本公开的第一方面的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图;
图2示出了根据本公开的实施例的确定关键点的位置的过程的流程图;
图3示出了根据本公开的实施例的检测关键点的详细过程的流程图;
图4示出了根据本公开的实施例的确定速度信息的详细过程的流程图;
图5示出了根据本公开的实施例的更新跟踪检测框的详细过程的流程图;
图6示出了根据本公开的实施例的确定关键点的位置的装置的框图;以及
图7示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
在本公开的实施例的描述中,术语“包括”及其类似用语应当理解为开放性包含,即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上文所述,在用于与人机交互设备进行人机交互操作的过程中,人机交互设备所识别的用户的动作可能存在抖动。具体地,当人机交互设备识别出被检测对象(例如,用户的诸如手部的特定部位或者用户的手持设备)时,会进一步确定被检测对象的关键点的位置。此时,可能存在关键点抖动问题。应理解,关键点抖动通常是以下原因导致的:感测设备引入的信号杂音、用户本身的动作偏移、以及后期信号处理引入的编解码失真等。无论是任何环节引入的关键点抖动都会影响最终的用户体验。
为了解决关键点抖动问题,通常会使用低通滤波方法。例如,基于当前帧中关键点的位置以及先前帧中关键点的位置的滤波结果来确定当前帧中关键点的位置的滤波结果。然而,这样操作虽然可以缓解关键点抖动的现象,但是会产生新的问题。例如,会导致时延现象,也就是关键点出现“迟滞”跟踪的现象。由于被识别的关键点不能实时跟随用户的动作,故同样会影响用户体验。
本公开提出了一种确定关键点的位置的技术方案,该技术方案既可以解决关键点抖动问题,同时还可以减轻甚至避免“迟滞”跟踪的现象,从而能够改善用户体验。
根据本公开的实施例,提出了一种确定关键点的位置的方案。在该方案中,可以通过经训练的识别模型确定被检测对象的关键点在监控视频的当前帧中的当前位置信息。此外,还需要基于视频中的包含当前帧的至少两帧来确定被检测对象的移速。这里,“移速”可以是被检测对象在视频帧中从一点到另一点移动的速度或速率。接下来,可以基于移速确定低通滤波的系数。例如,当被检测对象的移速快(例如,用户单纯的移动手部)时,由于关键点的抖动对被检测对象的移动效果影响不显著,故可以将低通滤波的系数设置为较大。又例如,当被检测对象的移速慢(例如,用户通过移动手部完成精细化操作)时,由于被延迟的跟踪功能对被检测对象的移动效果影响不显著,故可以将低通滤波的系数设置为较小。通过动态地调节低通滤波的系数,本公开既能够缓解关键点抖动问题,还能够减轻甚至避免跟踪延迟的问题,从而能够改善用户体验。此外,为了更高效、准确地检测物体的移速,本公开示例性地利用了光流检测技术,即,利用光流差判断当前帧中的被检测对象的移速。
以下将参照附图来具体描述本公开的实施例。图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。如图1所示,示例环境100中包含经确定的跟踪检测框110、计算设备120和经关键点检测的跟踪检测框130。跟踪检测框130中可以包含若干个关键点,例如,关键点140。应理解,本公开的检测框的形状均是示例性的,其可以是正方形、长方形、椭圆形等能够包围被检测对象的任意形状。此外,本公开的被检测对象被示出为手部,应理解,被检测对象还可以是头部、躯干、四肢等具有明显特征的人体部位,并且还可以是具有特定形状的手持设备或便携设备。本公开的实施例均是示例性的,并非旨在限制本公开的保护范围。
在一些实施例中,跟踪检测框110是从监控视频的当前帧中截取的。作为示例,当接收到当前帧后,可以通过经训练的识别模型来确定当前帧中是否包含用户的被检测对象。如图1所示,被检测对象可以是用户的手部。应理解,本公开描述的实施例仅是示例性的,并不用于限制本公开的保护范围。当确定当前帧中包含用户的被检测对象后,可以确定包围该被检测对象的跟踪检测框110。
在计算设备120接收到经确定的跟踪检测框110之后,可以利用关键点检测模型来识别被检测对象中的每个关键点及其位置信息,并且根据经识别的关键点的集合确定跟踪检测框130。之后,计算设备120可以输出检测结果,即,跟踪检测框130以及关键点140。
应理解,为了保证用户体验,计算设备120在确定关键点的位置时,需要进行低通滤波处理。本公开的至少一个要点在于,利用了改进的方式来对关键点的位置信息进行低通滤波。为了更清楚地解释上述方案的原理,下文将参考图2来更详细描述确定关键点的位置的过程。
图2示出了根据本公开的实施例的确定关键点的位置的过程200的流程图。在某些实施例中,过程200可以在图1的计算设备120中实现。现参照图2并结合图1描述根据本公开实施例的确定关键点的位置的过程200。为了便于理解,在下文描述中提及的具体实例均是示例性的,并不用于限定本公开的保护范围。
在202,计算设备120可以确定被检测对象的关键点在视频的当前帧中的当前位置信息。在一些实施例中,计算设备120可以包括但不限于个人计算机、服务器计算机、手持或膝上型设备、移动设备(诸如移动电话、个人数字助理PDA、媒体播放器等)、消费电子产品、小型计算机、大型计算机、云计算资源等。应理解,计算设备120可以设置在用于实现人机交互的设备中或者其他用于通过识别操作实现相应功能的设备中。备选地或附加地,计算设备120可以设置在这些设备外部并与其无线连接。
在某些实施例中,可以通过预先训练的对象识别模型和关键点检测模型来确定关键点的当前位置信息。图3示出了根据本公开的实施例的检测关键点的详细过程300的流程图。应理解,过程300也可以在图1的计算设备120中实现。
如图3所示,在302,计算设备120可以确定被检测对象在当前帧中的跟踪检测框110。作为示例,可以通过预先训练的对象识别模型来确定当前帧中是否存在被检测对象。例如,可以利用手部识别模型来确定当前帧中是否存在手部。如果通过识别发现当前帧中存在手部,则可以确定包围该手部的跟踪检测框110。在某些实施例中,跟踪检测框110可以被确定为比紧紧包围手部的检测框更大的框,并且仍然确保将整个手部包围在框中。通过使用范围稍大的框,可以确保手部在下一帧中大概率地仍然存在于框内,从而无需每一帧均利用对象识别模型进行手部识别,由此节约了计算资源。应理解,如果由于用户的被检测对象的大幅度移动,下一帧中的被检测对象可能位于跟踪检测框110外,此时则可以利用对象识别模型进行手部识别,从而确保继续实现手部跟踪。
在304,计算设备120可以对跟踪检测框110中的图像进行关键点检测,以确定关键点的当前位置信息。作为示例,可以利用关键点检测模型确定该手部的多个关键点中的至少一个关键点140及其当前位置信息。以此方式,可以快速且准确地确定关键点的位置信息,并且无需每帧图像均通过对象识别模型进行识别操作,节约了计算资源。
回到图2,在204,计算设备120可以基于视频的先前帧和当前帧确定与被检测对象的移速相关联的速度信息。在某些实施例中,视频的先前帧和当前帧可以是在时间上相邻的两帧。备选地或附加地,先前帧和当前帧可以具有预定帧间隔。应理解,先前帧的时间戳应当早于当前帧的时间戳。
为了确定速度信息,需要确定被检测对象的移速。优选地,可以通过计算光流差的方式来确定被检测对象的移速。图4示出了根据本公开的实施例的确定速度信息的详细过程400的流程图。应理解,过程400也可以在图1的计算设备120中实现。
如图4所示,在402,计算设备120可以确定先前帧与当前帧的光流差。换言之,计算设备120可以分别确定当前帧的光流量和当前帧的光流量,从而确定两帧间的光流量的差,即,光流差。在某些实施例中,计算设备120可以分别将先前帧与当前帧调整至预定尺寸,以确定先前帧的光流量与当前帧的光流量,并且基于先前帧的光流量与当前帧的光流量的差确定光流差。作为示例,计算设备120可以将先前帧和当前帧的宽度(相对于视频帧的横坐标)调整至第一值,并且将先前帧和当前帧的长度(相对于视频帧的纵坐标)调整至第二值。以此方式,可以消除当前帧与先前帧由于尺寸等方面的不同而带来的感测误差。
在404,计算设备120可以基于光流差确定低通滤波系数,作为速度信息。应理解,在传统的低通滤波操作中,低通滤波的系数通常是由人为确定的常量。因此,传统的低通滤波操作不存在光流差与低通滤波系数的对应关系。本公开提供了光流差与低通滤波系数的对应关系,例如,低通滤波系数与光流差之间的预先确定的映射关系。因此,计算设备120可以基于该映射关系和光流差来确定低通滤波系数。作为示例,当光流差小于第一阈值时,将低通滤波系数确定为第一系数;当光流差大于第一阈值且小于第二阈值时,将低通滤波系数确定为第二系数;以及当光流差大于第二阈值时,将低通滤波系数确定为第三系数。应理解,第一阈值小于第二阈值,第一系数小于第二系数小于第三系数。备选地或附加地,还可以使用通过其他方式拟合的函数或训练的模型来确定低通滤波系数。以此方式,可以基于被检测对象的移速动态确定低通滤波系数,从而无论是被检测对象移动快速的情况还是移动缓慢的情况,均能满足用户需求。
回到图2,在206,计算设备120可以基于速度信息、当前位置信息以及关键点在先前帧中的经低通滤波的先前位置信息,对当前位置信息进行低通滤波,以确定关键点的经低通滤波的当前位置信息。应理解,低通滤波的原理即利用关键点在先前帧中的经低通滤波的位置信息以及关键点在当前帧中的位置信息来确定滤波结果,从而去除可能发生的关键点抖动。
在某些实施例中,可以使用一阶低通滤波来实现上述过程。作为示例,一阶低通滤波的公式为:Yn+1=a*Xn+1+(1-a)*Yn。这里,Xn+1代表当前位置信息,Yn代表经低通滤波的先前位置信息,Yn+1代表经低通滤波的当前位置信息,a代表速度信息,a可以在0和1之间根据光流差进行动态调节。备选地或附加地,还可以使用二阶低通滤波或其他低通滤波方式来实现上述过程。
在确定了所有关键点的位置信息之后,需要基于这些位置信息确定跟踪检测框130。图5示出了根据本公开的实施例的更新跟踪检测框的详细过程500的流程图。应理解,过程500也可以在图1的计算设备120中实现。
在502,计算设备120可以基于关键点的经低通滤波的当前位置信息,确定被检测对象在当前帧中的跟踪检测框130。跟踪检测框130可以被确定为比紧紧包围所有关键点的检测框更大的框,并且仍然确保将整个手部包围在框中。通过使用范围稍大的框,可以确保手部在下一帧中大概率地仍然存在于框内,从而无需每一帧均利用对象识别模型进行手部识别,由此节约了计算资源。
在504,计算设备120可以使用跟踪检测框130更新跟踪检测框110,从而作为后续帧的初始检测框继续进行上述过程。
通过上述实施例,本公开能有效确定关键点的位置,既能够缓解关键点抖动问题,还能够减轻甚至避免跟踪延迟的问题,从而能够改善用户体验。
图6示出了根据本公开的实施例的确定关键点的位置的装置600的框图。如图6所示,装置600可以包括:位置信息确定模块602,被配置为确定被检测对象的关键点在视频的当前帧中的当前位置信息;速度信息确定模块604,被配置为基于视频的先前帧和当前帧确定与被检测对象的移速相关联的速度信息;以及低通滤波模块606,被配置为基于速度信息、当前位置信息以及关键点在先前帧中的经低通滤波的先前位置信息对当前位置信息进行低通滤波,以确定关键点的经低通滤波的当前位置信息。
在某些实施例中,速度信息确定模块602可以包括:光流差确定模块,被配置为确定先前帧与当前帧的光流差;以及低通滤波系数确定模块,被配置为基于光流差确定低通滤波系数,作为速度信息。
在某些实施例中,低通滤波系数确定模块可以进一步被配置为基于所述低通滤波系数与所述光流差之间的预先确定的映射关系和所述光流差,确定所述低通滤波系数。
在某些实施例中,光流差确定模块进一步被配置为分别将先前帧与当前帧调整至预定尺寸,以确定先前帧的光流量与当前帧的光流量;以及基于先前帧的光流量与当前帧的光流量确定光流差。
在某些实施例中,位置信息确定模块602可以包括:第一跟踪检测框确定模块,被配置为确定被检测对象在当前帧中的第一跟踪检测框;以及关键点检测模块,被配置为对第一跟踪检测框中的图像进行关键点检测,以确定关键点的所述当前位置信息。
在某些实施例中,装置600还可以包括:第二跟踪检测框确定模块,被配置为基于关键点的经低通滤波的当前位置信息,确定被检测对象在当前帧中的第二跟踪检测框;更新模块,被配置为使用第二跟踪检测框更新第一跟踪检测框。
在某些实施例中,被检测对象可以是手部、头部、躯干、四肢等。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图7示出了能够实施本公开的多个实施例的计算设备700的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图7所示,设备700包括计算单元701,其可以根据存储在只读存储器(ROM)702中的计算机程序或者从存储单元708加载到随机访问存储器(RAM)703中的计算机程序,来执行各种适当的动作和处理。在RAM 703中,还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
设备700中的多个部件连接至I/O接口705,包括:输入单元706,例如键盘、鼠标等;输出单元707,例如各种类型的显示器、扬声器等;存储单元708,例如磁盘、光盘等;以及通信单元709,例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理,例如过程200、300、400、500。例如,在一些实施例中,过程200、300、400、500可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元708。在一些实施例中,计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时,可以执行上文描述的过程200、300、400、500的一个或多个步骤。备选地,在其他实施例中,计算单元701可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行过程200、300、400、500。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (10)

1.一种用于确定关键点的位置的方法,包括:
确定被检测对象的关键点在视频的当前帧中的当前位置信息;
基于所述视频的先前帧和所述当前帧确定与所述被检测对象的移速相关联的速度信息;以及
基于所述速度信息、所述当前位置信息以及所述关键点在所述先前帧中的经低通滤波的先前位置信息,对所述当前位置信息进行低通滤波,以确定所述关键点的经低通滤波的所述当前位置信息,
其中基于所述先前帧和所述当前帧确定所述速度信息包括:确定所述先前帧与所述当前帧的光流差;以及基于所述光流差确定低通滤波系数,作为所述速度信息,
其中基于所述光流差确定所述低通滤波系数包括:基于所述低通滤波系数与所述光流差之间的预先确定的映射关系和所述光流差,确定所述低通滤波系数,
其中确定所述先前帧与所述当前帧的所述光流差包括:分别将所述先前帧与所述当前帧调整至预定尺寸,以确定所述先前帧的光流量与所述当前帧的光流量;以及基于所述先前帧的光流量与所述当前帧的光流量确定所述光流差,并且
其中所述低通滤波的公式为:Yn+1=a*Xn+1+(1-a)*Yn,Xn+1代表当前位置信息,Yn代表经低通滤波的先前位置信息,Yn+1代表经低通滤波的当前位置信息,a代表速度信息,a可以在0和1之间根据所述光流差进行动态调节。
2.根据权利要求1所述的方法,其中确定所述关键点在所述当前帧中的所述当前位置信息包括:
确定所述被检测对象在所述当前帧中的第一跟踪检测框;以及
对所述第一跟踪检测框中的图像进行关键点检测,以确定所述关键点的所述当前位置信息。
3.根据权利要求2所述的方法,还包括:
基于所述关键点的经低通滤波的所述当前位置信息,确定所述被检测对象在所述当前帧中的第二跟踪检测框;
使用所述第二跟踪检测框更新所述第一跟踪检测框。
4.根据权利要求1所述的方法,其中所述被检测对象包括以下至少任一项:手部、头部、躯干、四肢。
5.一种用于确定关键点的位置的装置,包括:
位置信息确定模块,被配置为确定被检测对象的关键点在视频的当前帧中的当前位置信息;
速度信息确定模块,被配置为基于所述视频的先前帧和所述当前帧确定与所述被检测对象的移速相关联的速度信息;以及
低通滤波模块,被配置为基于所述速度信息、所述当前位置信息以及所述关键点在所述先前帧中的经低通滤波的先前位置信息对所述当前位置信息进行低通滤波,以确定所述关键点的经低通滤波的所述当前位置信息,
其中所述速度信息确定模块包括:光流差确定模块,被配置为确定所述先前帧与所述当前帧的光流差;以及低通滤波系数确定模块,被配置为基于所述光流差确定低通滤波系数,作为所述速度信息,
其中所述低通滤波系数确定模块进一步被配置为:基于所述低通滤波系数与所述光流差之间的预先确定的映射关系和所述光流差,确定所述低通滤波系数,
其中所述光流差确定模块进一步被配置为:分别将所述先前帧与所述当前帧调整至预定尺寸,以确定所述先前帧的光流量与所述当前帧的光流量;以及基于所述先前帧的光流量与所述当前帧的光流量确定所述光流差,并且
其中所述低通滤波的公式为:Yn+1=a*Xn+1+(1-a)*Yn,Xn+1代表当前位置信息,Yn代表经低通滤波的先前位置信息,Yn+1代表经低通滤波的当前位置信息,a代表速度信息,a可以在0和1之间根据所述光流差进行动态调节。
6.根据权利要求5所述的装置,其中所述位置信息确定模块包括:
第一跟踪检测框确定模块,被配置为确定所述被检测对象在所述当前帧中的第一跟踪检测框;以及
关键点检测模块,被配置为对所述第一跟踪检测框中的图像进行关键点检测,以确定所述关键点的所述当前位置信息。
7.根据权利要求6所述的装置,还包括:
第二跟踪检测框确定模块,被配置为基于所述关键点的经低通滤波的所述当前位置信息,确定所述被检测对象在所述当前帧中的第二跟踪检测框;
更新模块,被配置为使用所述第二跟踪检测框更新所述第一跟踪检测框。
8.根据权利要求5所述的装置,其中所述被检测对象包括以下至少任一项:手部、头部、躯干、四肢。
9.一种电子设备,所述电子设备包括:
一个或多个处理器;以及
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一项所述的方法。
10.一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
CN202110237261.5A 2021-03-03 2021-03-03 确定关键点的位置的方法、装置和电子设备 Active CN112950672B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110237261.5A CN112950672B (zh) 2021-03-03 2021-03-03 确定关键点的位置的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110237261.5A CN112950672B (zh) 2021-03-03 2021-03-03 确定关键点的位置的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN112950672A CN112950672A (zh) 2021-06-11
CN112950672B true CN112950672B (zh) 2023-09-19

Family

ID=76247492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110237261.5A Active CN112950672B (zh) 2021-03-03 2021-03-03 确定关键点的位置的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN112950672B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627905A (en) * 1994-12-12 1997-05-06 Lockheed Martin Tactical Defense Systems Optical flow detection system
CN106558042A (zh) * 2015-09-29 2017-04-05 阿里巴巴集团控股有限公司 一种对图像进行关键点定位的方法和装置
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
CN107909020A (zh) * 2017-11-09 2018-04-13 东南大学 一种基于滤波器设计的光流向量微表情发生阶段检测方法
WO2018202089A1 (zh) * 2017-05-05 2018-11-08 商汤集团有限公司 关键点检测方法、装置、存储介质及电子设备
CN109241921A (zh) * 2018-09-17 2019-01-18 北京字节跳动网络技术有限公司 用于检测人脸关键点的方法和装置
CN109905590A (zh) * 2017-12-08 2019-06-18 腾讯科技(深圳)有限公司 一种视频图像处理方法及装置
CN110807410A (zh) * 2019-10-30 2020-02-18 北京百度网讯科技有限公司 关键点定位方法、装置、电子设备和存储介质
CN110852254A (zh) * 2019-11-08 2020-02-28 杭州网易云音乐科技有限公司 人脸关键点跟踪方法、介质、装置和计算设备
CN111027495A (zh) * 2019-12-12 2020-04-17 京东数字科技控股有限公司 用于检测人体关键点的方法和装置
CN111523467A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 人脸跟踪方法和装置
CN111627046A (zh) * 2020-05-15 2020-09-04 北京百度网讯科技有限公司 目标部位跟踪方法、装置、电子设备和可读存储介质
CN112101106A (zh) * 2020-08-07 2020-12-18 深圳数联天下智能科技有限公司 人脸关键点确定方法、装置以及存储介质
CN112329740A (zh) * 2020-12-02 2021-02-05 广州博冠信息科技有限公司 图像处理方法、装置、存储介质和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO327279B1 (no) * 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US9727786B2 (en) * 2014-11-14 2017-08-08 Intel Corporation Visual object tracking system with model validation and management
US10720187B2 (en) * 2015-09-29 2020-07-21 International Business Machines Corporation Method and apparatus to extract key video frames from online education
US10115005B2 (en) * 2016-08-12 2018-10-30 Qualcomm Incorporated Methods and systems of updating motion models for object trackers in video analytics
CN106778585B (zh) * 2016-12-08 2019-04-16 腾讯科技(上海)有限公司 一种人脸关键点跟踪方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5627905A (en) * 1994-12-12 1997-05-06 Lockheed Martin Tactical Defense Systems Optical flow detection system
CN106558042A (zh) * 2015-09-29 2017-04-05 阿里巴巴集团控股有限公司 一种对图像进行关键点定位的方法和装置
CN106780557A (zh) * 2016-12-23 2017-05-31 南京邮电大学 一种基于光流法和关键点特征的运动目标跟踪方法
WO2018202089A1 (zh) * 2017-05-05 2018-11-08 商汤集团有限公司 关键点检测方法、装置、存储介质及电子设备
CN107909020A (zh) * 2017-11-09 2018-04-13 东南大学 一种基于滤波器设计的光流向量微表情发生阶段检测方法
CN109905590A (zh) * 2017-12-08 2019-06-18 腾讯科技(深圳)有限公司 一种视频图像处理方法及装置
CN109241921A (zh) * 2018-09-17 2019-01-18 北京字节跳动网络技术有限公司 用于检测人脸关键点的方法和装置
CN110807410A (zh) * 2019-10-30 2020-02-18 北京百度网讯科技有限公司 关键点定位方法、装置、电子设备和存储介质
CN110852254A (zh) * 2019-11-08 2020-02-28 杭州网易云音乐科技有限公司 人脸关键点跟踪方法、介质、装置和计算设备
CN111027495A (zh) * 2019-12-12 2020-04-17 京东数字科技控股有限公司 用于检测人体关键点的方法和装置
CN111523467A (zh) * 2020-04-23 2020-08-11 北京百度网讯科技有限公司 人脸跟踪方法和装置
CN111627046A (zh) * 2020-05-15 2020-09-04 北京百度网讯科技有限公司 目标部位跟踪方法、装置、电子设备和可读存储介质
CN112101106A (zh) * 2020-08-07 2020-12-18 深圳数联天下智能科技有限公司 人脸关键点确定方法、装置以及存储介质
CN112329740A (zh) * 2020-12-02 2021-02-05 广州博冠信息科技有限公司 图像处理方法、装置、存储介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种鲁棒的人脸关键点实时跟踪方法;徐威威;李俊;;计算机工程(第04期);281-286 *

Also Published As

Publication number Publication date
CN112950672A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
EP3832439A2 (en) Method and apparatus for controlling electronic device based on gesture
CN112329740B (zh) 图像处理方法、装置、存储介质和电子设备
CN113378712B (zh) 物体检测模型的训练方法、图像检测方法及其装置
CN115358392A (zh) 深度学习网络的训练方法、文本检测方法及装置
CN113033408B (zh) 数据队列动态更新方法、装置、电子设备及存储介质
CN112784102B (zh) 视频检索方法、装置和电子设备
CN112950672B (zh) 确定关键点的位置的方法、装置和电子设备
CN115511779B (zh) 图像检测方法、装置、电子设备和存储介质
CN113642493B (zh) 一种手势识别方法、装置、设备及介质
CN112541418B (zh) 用于图像处理的方法、装置、设备、介质和程序产品
US11881050B2 (en) Method for detecting face synthetic image, electronic device, and storage medium
CN114882587A (zh) 生成对抗样本的方法、装置、电子设备和介质
CN115482443A (zh) 图像特征融合及模型训练方法、装置、设备以及存储介质
CN113935482A (zh) 一种行人再识别网络的训练方法及装置
CN115312042A (zh) 用于处理音频的方法、装置、设备以及存储介质
CN113448533B (zh) 提醒音频的生成方法、装置、电子设备和存储介质
CN115937958B (zh) 一种眨眼检测方法、装置、设备及存储介质
CN113806532B (zh) 比喻句式判断模型的训练方法、装置、介质及设备
CN113642469A (zh) 嘴唇动作的检测方法、装置、设备和存储介质
CN115456167B (zh) 轻量级模型训练方法、图像处理方法、装置及电子设备
CN113552879B (zh) 自移动设备的控制方法、装置、电子设备及存储介质
CN116824609B (zh) 文档版式检测方法、装置和电子设备
CN113033415B (zh) 数据队列动态更新方法、装置、电子设备及存储介质
CN114821233B (zh) 目标检测模型的训练方法及装置、设备和介质
CN116301361A (zh) 基于智能眼镜的目标选择方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant