CN108108024B - 动态手势获取方法及装置、显示装置 - Google Patents

动态手势获取方法及装置、显示装置 Download PDF

Info

Publication number
CN108108024B
CN108108024B CN201810002966.7A CN201810002966A CN108108024B CN 108108024 B CN108108024 B CN 108108024B CN 201810002966 A CN201810002966 A CN 201810002966A CN 108108024 B CN108108024 B CN 108108024B
Authority
CN
China
Prior art keywords
gesture recognition
recognition area
gesture
area
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810002966.7A
Other languages
English (en)
Other versions
CN108108024A (zh
Inventor
徐楚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810002966.7A priority Critical patent/CN108108024B/zh
Publication of CN108108024A publication Critical patent/CN108108024A/zh
Application granted granted Critical
Publication of CN108108024B publication Critical patent/CN108108024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及动态手势获取方法及装置、显示装置。所述方法包括:获取取景范围之内用户的人脸区域;在所述人脸区域之外的取景范围内生成手势识别区域;获取所述手势识别区域内用户手部的运动轨迹曲线;基于所述运动轨迹曲线确定所述用户的动态手势。可见,本实施例通过将人脸区域和手势识别区域分开,人脸区域内出现用户的脸部,手势识别区域内出现用户的手部,即在手势识别区域内手部和脸部不会同时出现,可以避免人手和人脸重叠,从而提高动态手势获取的成功率,进而提升用户体验。

Description

动态手势获取方法及装置、显示装置
技术领域
本发明涉及智能交互技术领域,尤其涉及动态手势获取方法及装置、显示装置。
背景技术
目前,手势识别越来越成为一种被用户熟悉的人机交互方式。例如,用户利用动态手势对家电进行操作。在手势操作时,用户的手部与人脸经常会重叠在一起,由于手部和人脸的颜色相近或者相同,导致无法正确检测出用户的手势,降低使用体验。
发明内容
本发明提供动态手势获取方法及装置、显示装置,以解决相关技术中的不足。
根据本发明实施例的第一方面,提供一种动态手势获取方法,所述方法包括:
获取取景范围之内用户的人脸区域;
在所述人脸区域之外的取景范围内生成手势识别区域;
获取所述手势识别区域内用户手部的运动轨迹曲线;
基于所述运动轨迹曲线确定所述用户的动态手势。
可选地,在所述人脸区域之外的取景范围内生成手势识别区域,包括:
在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置;
基于所述基准点位置,根据预设长度和预设宽长比生成所述手势识别区域。
可选地,在所述人脸区域之外的取景范围内生成手势识别区域,包括:
在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置;
获取所述人脸区域的尺寸;
基于所述人脸区域的尺寸确定所述手势识别区域的尺寸;
基于所述基准点位置,根据所述手势识别区域的尺寸生成所述手势识别区域。
可选地,基于所述人脸区域的尺寸确定所述手势识别区域的尺寸,包括:
计算所述人脸区域在第一方向上的长度;所述第一方向平行于取景范围的竖直方向;
基于所述人脸区域的长度计算所述手势识别区域在所述第一方向上的长度;
根据所述手势识别区域的预设宽长比和第一方向上的长度确定所述手势识别区域的宽度。
可选地,在所述人脸区域之外的取景范围内生成手势识别区域之后,所述方法还包括:
计算所述手势识别区域与取景范围内取景画面在第一方向上的长度比例;
若所述长度比例小于或者等于比例阈值,则放大所述手势识别区域。
可选地,在所述人脸区域之外的取景范围内生成手势识别区域之后,所述方法还包括:
在所述人脸区域的位置变化时,同步变化所述手势识别区域的位置。
可选地,在所述人脸区域之外的取景范围内生成手势识别区域之后,所述方法还包括:
在所述人脸区域的位置变化时,获取所述手势识别区域与所述人脸区域之间的距离值;
在所述距离值小于或者等于距离阈值时,调整所述手势识别区域的位置,以使所述手势识别区域与所述人脸区域之间的距离大于所述距离阈值。
可选地,基于所述运动轨迹曲线确定所述用户的动态手势,包括:
利用所述运动轨迹曲线依次匹配动态手势模板;
计算所述运动轨迹曲线和所述动态手势模板的相似度;
若相似度大于或者等于相似度阈值,则确定所述动态手势模板中的动态手势与所述运动轨迹曲线为同一动态手势。
根据本发明实施例的第二方面,提供一种动态手势获取装置,所述装置包括:
人脸区域获取模块,用于获取取景范围之内用户的人脸区域;
手势识别区域生成模块,用于在所述人脸区域之外的取景范围内生成手势识别区域;
运动轨迹获取模块,用于获取所述手势识别区域内用户手部的运动轨迹曲线;
动态手势确定模块,用于基于所述运动轨迹曲线确定所述用户的动态手势。
根据本发明实施例的第三方面,提供一种显示装置,包括第二方面所述的动态手势获取装置。
根据本发明实施例的第四方面,提供一种显示装置,所述显示装置包括:
RGB摄像头;
显示屏;
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述存储器中可执行指令以实现第一方面所述方法的步骤。
根据上述实施例可知,通过将人脸区域和手势识别区域分开,人脸区域内出现用户的脸部,手势识别区域内出现用户的手部,即在手势识别区域内手部和脸部不会同时出现,可以避免人手和人脸重叠,从而提高动态手势获取的成功率,进而提升用户体验。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据本发明实施例示出的一种动态手势获取方法的应用场景示意图;
图2是根据本发明实施例示出的一种动态手势获取方法的流程示意图;
图3是根据本发明实施例示出的用户面部和人脸区域的位置关系图;
图4是根据本发明实施例示出的手势识别区域的应用场景示意图;
图5是根据本发明实施例示出的另一种动态手势获取方法的流程示意图;
图6是根据本发明实施例示出的又一种动态手势获取方法的流程示意图;
图7~图13是根据本发明实施例示出的一种动态手势获取装置的框图;
图14是根据本发明实施例示出的一种显示装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
图1是根据本发明实施例示出的一种动态手势获取方法的应用场景图。该动态手势获取方法适用于安装有RGB摄像头102的显示装置101,该RGB摄像头可以采集其取景范围103内的取景画面104,然后将取景画面104传输给显示装置的显示屏(图中未示出);显示屏上可以显示上述取景范围内的取景画面104。当然,RGB摄像头102采集的取景画面也可以不显示,此时取景画面104对应画面数据可以来自网络、电视台等。图2是根据本发明实施例示出的一种动态手势获取方法的流程示意图,参见图2,该动态手势获取方法包括步骤201~步骤204:
201,获取取景范围之内用户的人脸区域。
本实施例中,显示装置上安装有RGB摄像头,该RGB摄像头具有一定的取景范围,图像传感器可以获取取景范围内的取景画面,并可以实时显示在显示装置的显示屏上,当然也可以不显示。
当用户进入RGB摄像头的取景范围内时,图像传感器可以采集到包含用户的取景画面,通过相关技术中的人脸检测算法,可以获取到用户的面部。然后,获取面部在第一方向上的长度和第二方向上的宽度,例如面部中像素点坐标值在第一方向上的最大值和最小值,以及坐标值在第二方向上的最大值和最小值,基于第一方向上的最大值和最小值和第二方向上的最大值和最小值,可以确定包含用户面部的外接四方形,基于该外接四方形可以确定人脸区域。
在一实施例中,参见图3,该外接四方形302对应的区域即是用户面部301的人脸区域。在另一实施例中,还可以设置有距离调整值d,在该外接四方形的外部延伸距离调整值d后,得到另一个方形区域303,该另一个方形区域即是用户面部201的人脸区域。需要说明的是,为提高显示效果,该人脸区域在显示装置的画面中不显示或者透明显示。为方便理解本发明实施例的方案,后续图4中显示人脸区域。
上述第一方向是指RGB摄像头的取景范围的竖直方向。参见图1,用户站立在显示装置正前方时,第一方向可以是用户身高所在方向,如X轴。上述第二方向是指RGB摄像头的取景范围的水平方向。继续参见图1,用户站在显示装置正前方时,第二方向可以是与用户身高所在方向垂直的方向,如Y轴。
202,在所述人脸区域之外的取景范围内生成手势识别区域。
本实施例中,参见图4,在确定人脸区域302之后,在人脸区域302之外和取景范围103之内的区域内,生成手势识别区域401。生成方式可以为:
方式一,生成固定大小的手势识别区域401。
方式二,基于人脸区域302的尺寸生成手势识别区域401。
可理解的是,手势识别区域401可以置于显示屏的顶层显示,此时手势识别区域401覆盖所显示的部分画面,当然手势识别区域401还可以以透明方式显示,这样方便用户同时看到手势识别区域401和取景画面104。
用户移动会引起人脸区域的位置发生变化,若手势动态区域位置固定,则人脸区域与手势动态区域可能重叠。在一实施例中,在人脸区域的位置变化时,同步变化手势识别区域的位置,这样可以避免人脸区域与手势动态区域重叠,降低动态手势误判的概率,提升动态手势获取的成功率,进而提升用户体验。
在另一实施例中,人脸区域的位置变化时,获取手势识别区域和人脸区域之间的距离值,在距离值大于距离阈值时,手势识别区域的位置不变;在距离值小于或者等于距离阈值时,调整手势识别区域的位置,以使手势识别区域与人脸区域之间的距离大于所述距离阈值。这样可以避免用户的微小移动造成手势识别区域的移动,进而影响后续检测动态手势的准确度。
203,获取所述手势识别区域内用户手部的运动轨迹曲线。
本实施例中,获取手势识别区域内用户手部的运动轨迹曲线。继续参见图4,在用户移动手部402的过程中,若用户的手部402位于上述手势识别区域401外,此时获取手部402的位置为无效状态。若用户手部402进入手势识别区域401内,才实时获取手部402的位置并保存,直到手部402做完动作或者计时结束。然后,基于手势识别区域401内对应的手部位置可以得到运动轨迹曲线403。
204,基于所述运动轨迹曲线确定所述用户的动态手势。
本实施例中,利用运动轨迹曲线403依次匹配动态手势模板,在运动轨迹曲线403和动态手势模板的相似度小于相似度阈值时,继续匹配下一个动态手势模板。在运动轨迹曲线403和动态手势模板的相似度大于或者等于相似度阈值时,可以确定动态手势模板中的动态手势与运动轨迹曲线为同一动态手势。
若未匹配到合适的动态手势,则提示用户重新输入,直到得到用户需要的动态手势为止。
可理解的是,动态手势可以根据具体场景进行设置,并基于该动态手势形成动态手势模板。将形成的多个动态手势模板存储在指定位置,形成动态手势模板库。
可见,本实施例中通过将人脸区域和手势识别区域分开,使人脸区域内仅出现用户的脸部,手势识别区域内仅出现用户的手部,即在手势识别区域内手部和脸部不会同时出现,可以避免人手和人脸重叠,从而提高动态手势获取的成功率,进而提升用户体验。
图5是根据本发明实施例示出的另一种动态手势获取方法的流程示意图,参见图5,该动态手势获取方法包括步骤501~步骤505:
501,获取取景范围之内用户的人脸区域。
步骤501和步骤201的具体方法和原理一致,详细描述请参考图2及步骤201的相关内容,此处不再赘述。
502,在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置。
本实施例中,基准点可以为手势识别区域的中心点位置、手势识别区域距离人脸区域最近的顶点。
本实施例中,在人脸区域302之外,可以确定一个如图4所示的基准点A点。
503,基于所述基准点位置,根据预设长度和预设宽长比生成所述手势识别区域。
本实施例中,获取手势识别区域的预设长度和预设宽长比。然后基于基准点位置,即可生成手势识别区域。
例如,基准点A点可以为手势识别区域的中心点,在中心点、预设长度和预设宽长比确定的情况下,可以生成手势识别区域401。
又如,基准点A点可以为手势识别区域的顶点,在顶点、预设长度和预设宽长比确定的情况下,可以生成手势识别区域401。
再如,基准点A点可以为手势识别区域上边框的一个指定点,该指定点与人脸区域的下边框距离保持固定,然后在指定点、预设长度和预设宽长比确定的情况下,可以生成手势识别区域401。
在一实施例中,在用户与显示装置的距离较远时,获取的人脸区域的尺寸会比较小,从而使手势识别区域的尺寸也较小,因此本实施例中动态手势获取方法还可以在生成手势识别区域后,计算手势识别区域与取景范围内取景画面在第一方向上的长度比例。若该长度比例小于或者等于比例阈值(该比例阈值可以进行调整),则放大手势识别区域。至于放大倍数可以预先设置,也可以根据手势识别区域与取景画面的尺寸比例进行确定,可以根据具体场景进行设置,在此不作限定。这样,本实施例中通过放大手势识别区域,方便用户清楚的查看手部,可以提升使用体验。
504,获取所述手势识别区域内用户手部的运动轨迹曲线。
步骤504和步骤203的具体方法和原理一致,详细描述请参考图2及步骤203的相关内容,此处不再赘述。
505,基于所述运动轨迹曲线确定所述用户的动态手势.
步骤505和步骤204的具体方法和原理一致,详细描述请参考图2及步骤204的相关内容,此处不再赘述。
可见,本实施例中在人脸区域外确定基准点位置,然后基于基准点位置、预设长度和预设宽长比生成手势识别区域,通过将人脸区域和手势识别区域分开,可以避免手势识别区域内同时出现手部和脸部,降低人手和人脸重叠的概率,有利于提高动态手势获取的成功率,进而提升用户体验。
图6是根据本发明实施例示出的又一种动态手势获取方法的流程示意图,参见图6,该动态手势获取方法包括步骤601~步骤607:
601,获取取景范围之内用户的人脸区域。
步骤601和步骤201的具体方法和原理一致,详细描述请参考图2及步骤201的相关内容,此处不再赘述。
602,在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置。
步骤602和步骤502的具体方法和原理一致,详细描述请参考图5及步骤502的相关内容,此处不再赘述。
603,获取所述人脸区域的尺寸。
本实施例中,获取人脸区域的长度和宽度。参见图4,人脸区域在第一方向上的长度L,在第二方向上的宽度W。
604,基于所述人脸区域的尺寸确定所述手势识别区域的尺寸。
本实施例中,预先设置手势识别区域和人脸区域的尺寸比例为α。在确定人脸区域的尺寸后,结合尺寸比例α,可以确定手势识别区域的尺寸。
例如,人脸区域的长度L和宽度W,则手势识别区域的长度为αL和宽度为αW。
又如,人脸区域的长度L,则手势识别区域的长度为αL。若手势识别区域的宽长比(β)固定,手势识别区域的宽度为αβL。
可理解的是,步骤602和步骤603~604的执行顺序可以调整,步骤602可以先于603执行,步骤602可以后于604执行,步骤602与步骤603~604同时执行。
605,基于所述基准点位置,根据所述手势识别区域的尺寸生成所述手势识别区域。
本实施例中,基于基准点位置,根据手势识别区域的尺寸生成手势识别区域。
例如,基准点A点可以为手势识别区域的中心点,在中心点、长度和宽度确定的情况下,可以生成手势识别区域401。
又如,基准点A点可以为手势识别区域的中心点,在中心点、长度和预设宽长比确定的情况下,可以生成手势识别区域401。
再如,基准点A点可以为手势识别区域上边框的一个指定点,该指定点与人脸区域的下边框距离保持固定,然后在指定点、长度和预设宽长比(或者宽度)确定的情况下,可以生成手势识别区域401。
在一实施例中,在手势识别区域的尺寸较小时,例如尺寸小于尺寸阈值,则可以进行放大,放大方法可以参考图5以及步骤503的内容,在此不再赘述。本实施例中通过放大手势识别区域,方便用户清楚的查看手部,可以提升使用体验。
606,获取所述手势识别区域内用户手部的运动轨迹曲线。
步骤606和步骤203的具体方法和原理一致,详细描述请参考图2及步骤203的相关内容,此处不再赘述。
607,基于所述运动轨迹曲线确定所述用户的动态手势.
步骤607和步骤204的具体方法和原理一致,详细描述请参考图2及步骤204的相关内容,此处不再赘述。
可见,本实施例中根据人脸区域的尺寸确定手势识别区域的尺寸,然后基于基准点位置和尺寸生成手势识别区域,通过将人脸区域和手势识别区域分开,可以避免手势识别区域内同时出现手部和脸部,降低人手和人脸重叠的概率,有利于提高动态手势获取的成功率,进而提升用户体验。
图7是根据本发明实施例示出的一种动态手势获取装置的框图。参见图7,该动态手势获取装置包括:
人脸区域获取模块701,用于获取取景范围之内用户的人脸区域;
手势识别区域生成模块702,用于在所述人脸区域之外的取景范围内生成手势识别区域;
运动轨迹获取模块703,用于获取所述手势识别区域内用户手部的运动轨迹曲线;
动态手势确定模块704,基于所述运动轨迹曲线确定所述用户的动态手势。
本实施例中人脸区域获取模块701可以接收来自RGB摄像头采集的取景画面,然后根据上述取景画面获取取景范围之内用户的人脸区域,并将人脸区域发送给手势识别区域生成模块702。手势识别区域生成模块702在上述人脸区域之外的取景范围内生成手势识别区域,并将手势识别区域发送给运动轨迹获取模块703。运动轨迹获取模块703获取该手势识别区域内用户手部的位置,基于用户手部的起始位置和终止位置之间的位置确定运动轨迹曲线,或者预设时间段内手部在手势识别区域之内的位置确定运动轨迹曲线。动态手势确定模块704基于运动轨迹曲线和动态手势模块确定用户的动态手势。可见,本实施例中通过将人脸区域和手势识别区域分开,使人脸区域内仅出现用户的脸部,手势识别区域内仅出现用户的手部,即在手势识别区域内手部和脸部不会同时出现,可以避免人手和人脸重叠,从而提高动态手势获取的成功率,进而提升用户体验。
图8是根据本发明实施例示出的另一种动态手势获取装置的框图。参见图8,在图7所示实施例示出的动态手势获取装置的基础上,手势识别区域生成模块702包括:
基准点确定单元801,用于在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置;
手势识别区域生成单元802,用于基于所述基准点位置,根据预设长度和预设宽长比生成所述手势识别区域。
可见,本实施例中基准点确定单元801在人脸区域之外的取景范围内确定手势区域的基准点位置,手势识别区域生成单元802在基准点位置的基础上,根据预设长度和预设宽长比生成手势识别区域,通过将人脸区域和手势识别区域分开,可以避免手势识别区域内同时出现手部和脸部,降低人手和人脸重叠的概率,有利于提高动态手势获取的成功率,进而提升用户体验。
图9是根据本发明实施例示出的另一种动态手势获取装置的框图。参见图9,在图7所示实施例示出的动态手势获取装置的基础上,手势识别区域生成模块702包括:
基准点确定单元901,用于在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置;
人脸区域尺寸获取单元902,用于获取所述人脸区域的尺寸;
手势区域尺寸确定单元903,用于基于所述人脸区域的尺寸确定所述手势识别区域的尺寸;
手势识别区域生成单元904,用于基于所述基准点位置,根据所述手势识别区域的尺寸生成所述手势识别区域。
可见,本实施例中基准点确定单元901在人脸区域之外的取景范围内确定手势区域的基准点位置,人脸区域尺寸获取单元902获取人脸区域的尺寸并将尺寸发送给手势区域尺寸确定单元903。手势区域尺寸确定单元903可以基于人脸区域的尺寸确定出手势识别区域的尺寸。最后手势识别区域生成单元904在基准点位置的基础上,根据手势识别区域的尺寸生成手势识别区域。这样,本实施例中通过将人脸区域和手势识别区域分开,可以避免手势识别区域内同时出现手部和脸部,降低人手和人脸重叠的概率,有利于提高动态手势获取的成功率,进而提升用户体验。
图10是根据本发明实施例示出的另一种动态手势获取装置的框图。参见图10,在图8或者图9所示实施例示出的动态手势获取装置的基础上,动态手势获取装置700还包括:
长度比例计算模块1001,用于计算所述手势识别区域与取景范围内取景画面在第一方向上的长度比例;
手势区域放大模块1002,用于在所述长度比例小于或者等于比例阈值时,放大所述手势识别区域。
可见,本实施例中长度比例计算模块1001可以计算手势识别区域与取景范围内取景画面在第一方向上的长度比例,并将该长度比例发送给手势区域放大模块1002。手势区域放大模块1002对比长度比例与比例阈值,在长度比例小于或者等于比例阈值时,放大该手势识别区域。在长度比例大于比例阈值时,保持手势识别区域的尺寸。本实施例中通过放大手势识别区域,方便用户清楚的查看手部,可以提升使用体验。
图11是根据本发明实施例示出的另一种动态手势获取装置的框图。参见图11,在图7所示实施例示出的动态手势获取装置的基础上,动态手势获取装置700还包括:
位置同步变化模块1101,用于在所述人脸区域的位置变化时,同步变化所述手势识别区域的位置。
本实施例中,位置同步变化模块1101同步变化手势识别区域和人脸区域的位置,可以避免人脸区域与手势动态区域重叠,降低动态手势误判的概率,提升动态手势获取的成功率,进而提升用户体验。
图12是根据本发明实施例示出的另一种动态手势获取装置的框图。参见图12,在图7所示实施例示出的动态手势获取装置的基础上,动态手势获取装置700还包括:
距离值获取模块1201,用于在所述人脸区域的位置变化时,获取所述手势识别区域与所述人脸区域之间的距离值;
手势区域调整模块1202,用于在所述距离值小于或者等于距离阈值时,调整所述手势识别区域的位置,以使所述手势识别区域与所述人脸区域之间的距离大于所述距离阈值。
本实施例中,位置同步变化模块1101同步变化手势识别区域和人脸区域的位置,可以避免人脸区域与手势动态区域重叠,降低动态手势误判的概率,提升动态手势获取的成功率,进而提升用户体验。
图13是根据本发明实施例示出的另一种动态手势获取装置的框图。参见图13,在图7所示实施例示出的动态手势获取装置的基础上,动态手势确定模块704包括:
手势模板匹配单元1301,用于利用所述运动轨迹曲线依次匹配动态手势模板,获取所述运动轨迹曲线和所述动态手势模板的相似度;
动态手势确定单元1302,用于在相似度大于或者等于相似度阈值时,确定所述动态手势模板中的动态手势与所述运动轨迹曲线为同一动态手势。
本实施例中,手势模板匹配单元1301可以利用运动轨迹曲线依次匹配预先存储的动态手势模板,获取运动轨迹曲线和动态手势模板的相似度,并发送给动态手势确定单元1302。动态手势确定单元1302在相似度大于或者等于相似度阈值时,确定运动轨迹曲线和动态手势模板对应同一动态手势。若相似度小于相似度阈值,则本次匹配未成功,手势模板匹配单元1301继续匹配下一个动态手势模板,直到匹配完成所有的动态手势模板,若还未匹配出动态手势,则提示用户重新输入。这样,本实施例通过计算运动轨迹曲线与动态手势模板的相似度,可以提高得到的动态手势的准确度,提升用户体验。
本发明实施例还提供了一种显示装置,包括上述各实施例描述的动态手势获取装置。
图14是根据本发明实施例示出的一种显示装置的框图。参见图14,显示装置1400包括:
RGB摄像头1401;
显示屏1402;
处理器1403;
用于存储所述处理器可执行指令的存储器1404;
其中,处理器1403被配置为执行存储器1404中可执行指令以实现上述各实施例中动态手势获取方法的步骤
需要说明的是,本实施例中的显示装置可以为:电子纸、手机、平板电脑、电视机、笔记本电脑、数码相框、导航仪等任何具有显示功能的产品或部件。
在本发明中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后,将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (8)

1.一种动态手势获取方法,其特征在于,所述方法包括:
获取取景范围之内用户的人脸区域;
在所述人脸区域之外的取景范围内生成手势识别区域;
获取所述手势识别区域内用户手部的运动轨迹曲线;
基于所述运动轨迹曲线确定所述用户的动态手势;
在所述人脸区域之外的取景范围内生成手势识别区域包括:
在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置;基于所述基准点位置,根据预设长度和预设宽长比生成所述手势识别区域;
或者,
在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置;获取所述人脸区域的尺寸;基于所述人脸区域的尺寸确定所述手势识别区域的尺寸;基于所述基准点位置,根据所述手势识别区域的尺寸生成所述手势识别区域;
或者,
计算所述人脸区域在第一方向上的长度;所述第一方向平行于取景范围的竖直方向;基于所述人脸区域的长度计算所述手势识别区域在所述第一方向上的长度;根据所述手势识别区域的预设宽长比和第一方向上的长度确定所述手势识别区域的宽度。
2.根据权利要求1所述的动态手势获取方法,其特征在于,在所述人脸区域之外的取景范围内生成手势识别区域之后,所述方法还包括:
计算所述手势识别区域与取景范围内取景画面在第一方向上的长度比例;
若所述长度比例小于或者等于比例阈值,则放大所述手势识别区域。
3.根据权利要求1或者2所述的动态手势获取方法,其特征在于,在所述人脸区域之外的取景范围内生成手势识别区域之后,所述方法还包括:
在所述人脸区域的位置变化时,同步变化所述手势识别区域的位置。
4.根据权利要求1或者2所述的动态手势获取方法,其特征在于,在所述人脸区域之外的取景范围内生成手势识别区域之后,所述方法还包括:
在所述人脸区域的位置变化时,获取所述手势识别区域与所述人脸区域之间的距离值;
在所述距离值小于或者等于距离阈值时,调整所述手势识别区域的位置,以使所述手势识别区域与所述人脸区域之间的距离大于所述距离阈值。
5.根据权利要求1所述的动态手势获取方法,其特征在于,基于所述运动轨迹曲线确定所述用户的动态手势,包括:
利用所述运动轨迹曲线依次匹配动态手势模板,获取所述运动轨迹曲线和所述动态手势模板的相似度;
若相似度大于或者等于相似度阈值,则确定所述动态手势模板中的动态手势与所述运动轨迹曲线为同一动态手势。
6.一种动态手势获取装置,其特征在于,所述装置包括:
人脸区域获取模块,用于获取取景范围之内用户的人脸区域;
手势识别区域生成模块,用于在所述人脸区域之外的取景范围内生成手势识别区域,包括:在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置;基于所述基准点位置,根据预设长度和预设宽长比生成所述手势识别区域;或者,在所述人脸区域之外的取景范围内确定所述手势识别区域的基准点位置;获取所述人脸区域的尺寸;基于所述人脸区域的尺寸确定所述手势识别区域的尺寸;基于所述基准点位置,根据所述手势识别区域的尺寸生成所述手势识别区域;或者,计算所述人脸区域在第一方向上的长度;所述第一方向平行于取景范围的竖直方向;基于所述人脸区域的长度计算所述手势识别区域在所述第一方向上的长度;根据所述手势识别区域的预设宽长比和第一方向上的长度确定所述手势识别区域的宽度;
运动轨迹获取模块,用于获取所述手势识别区域内用户手部的运动轨迹曲线;
动态手势确定模块,用于基于所述运动轨迹曲线确定所述用户的动态手势。
7.一种显示装置,其特征在于,包括权利要求6所述的动态手势获取装置。
8.一种显示装置,其特征在于,所述显示装置包括:
RGB摄像头;
显示屏;
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述存储器中可执行指令以实现权利要求1~5中任一项所述方法的步骤。
CN201810002966.7A 2018-01-02 2018-01-02 动态手势获取方法及装置、显示装置 Active CN108108024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810002966.7A CN108108024B (zh) 2018-01-02 2018-01-02 动态手势获取方法及装置、显示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810002966.7A CN108108024B (zh) 2018-01-02 2018-01-02 动态手势获取方法及装置、显示装置

Publications (2)

Publication Number Publication Date
CN108108024A CN108108024A (zh) 2018-06-01
CN108108024B true CN108108024B (zh) 2021-01-22

Family

ID=62218569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810002966.7A Active CN108108024B (zh) 2018-01-02 2018-01-02 动态手势获取方法及装置、显示装置

Country Status (1)

Country Link
CN (1) CN108108024B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111126279B (zh) * 2019-12-24 2024-04-16 深圳市优必选科技股份有限公司 一种手势互动方法及手势互动装置
KR20220156601A (ko) * 2020-03-23 2022-11-25 후아웨이 테크놀러지 컴퍼니 리미티드 디바이스의 손 제스처 기반 제어를 위한 방법 및 시스템
CN112492211A (zh) * 2020-12-01 2021-03-12 咪咕文化科技有限公司 一种拍摄方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729053A (zh) * 2012-10-16 2014-04-16 纬创资通股份有限公司 手势控制装置及于其中设定及取消手势操作区域的方法
CN106843489A (zh) * 2017-01-24 2017-06-13 腾讯科技(深圳)有限公司 一种飞行器的飞行路线控制方法及飞行器
CN107422859A (zh) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 基于手势的调控方法、装置及计算机可读存储介质和空调

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101344816B (zh) * 2008-08-15 2010-08-11 华南理工大学 基于视线跟踪和手势识别的人机交互方法及装置
CN104834922B (zh) * 2015-05-27 2017-11-21 电子科技大学 基于混合神经网络的手势识别方法
CN106971130A (zh) * 2016-01-14 2017-07-21 芋头科技(杭州)有限公司 一种以人脸为参照的手势识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729053A (zh) * 2012-10-16 2014-04-16 纬创资通股份有限公司 手势控制装置及于其中设定及取消手势操作区域的方法
CN106843489A (zh) * 2017-01-24 2017-06-13 腾讯科技(深圳)有限公司 一种飞行器的飞行路线控制方法及飞行器
CN107422859A (zh) * 2017-07-26 2017-12-01 广东美的制冷设备有限公司 基于手势的调控方法、装置及计算机可读存储介质和空调

Also Published As

Publication number Publication date
CN108108024A (zh) 2018-06-01

Similar Documents

Publication Publication Date Title
US9613286B2 (en) Method for correcting user's gaze direction in image, machine-readable storage medium and communication terminal
CN108108024B (zh) 动态手势获取方法及装置、显示装置
CN102780893B (zh) 图像处理设备及其控制方法
US20170213385A1 (en) Apparatus and method for generating 3d face model using mobile device
JP6330036B2 (ja) 画像処理装置及び画像表示装置
US10379610B2 (en) Information processing device and information processing method
CN101393477A (zh) 图像处理设备和方法及其程序
KR20140029222A (ko) 제스처 인식 장치, 그 제어 방법, 표시 기기 및 제어 프로그램이 기록된 기록 매체
WO2017067262A1 (zh) 一种图像处理方法和装置
JP5677229B2 (ja) 映像字幕検出装置およびそのプログラム
WO2017101391A1 (zh) 一种放大视频图像的方法及装置
CN112508773B (zh) 图像处理方法及装置、电子设备、存储介质
CN109313797B (zh) 一种图像显示方法及终端
WO2023040288A1 (zh) 显示设备及设备控制方法
JP2016173791A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113627306A (zh) 关键点处理方法及装置、可读存储介质、终端
JP2016167128A (ja) 情報処理装置、情報処理方法及びプログラム
JP2013080266A (ja) 入力装置
US20220172413A1 (en) Method for generating realistic content
CN114756162B (zh) 触控系统及方法、电子设备及计算机可读存储介质
JP2020014075A (ja) 画像投影システム、画像投影方法、及びプログラム
KR102372711B1 (ko) 영상 촬영 장치 및 이의 제어 방법
CN107277362A (zh) 用于生成高清图像的方法和装置
JP6103942B2 (ja) 画像データ処理装置及び画像データ処理プログラム
US20190230296A1 (en) Picture processing device, method of producing picture data, and picture processing program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant