CN110611788A - 手势控制视频会议终端的方法和装置 - Google Patents

手势控制视频会议终端的方法和装置 Download PDF

Info

Publication number
CN110611788A
CN110611788A CN201910918997.1A CN201910918997A CN110611788A CN 110611788 A CN110611788 A CN 110611788A CN 201910918997 A CN201910918997 A CN 201910918997A CN 110611788 A CN110611788 A CN 110611788A
Authority
CN
China
Prior art keywords
hand
video conference
user
conference terminal
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910918997.1A
Other languages
English (en)
Inventor
王飞
陈志军
赵海奇
邓文福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sailian Information Technology Co Ltd
Original Assignee
Shanghai Sailian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sailian Information Technology Co Ltd filed Critical Shanghai Sailian Information Technology Co Ltd
Priority to CN201910918997.1A priority Critical patent/CN110611788A/zh
Publication of CN110611788A publication Critical patent/CN110611788A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明的实施方式提供了一种手势控制视频会议终端的方法。该方法包括:通过视频会议终端拍摄图像;从所述图像中识别出手的图像;根据所述手的图像判断手的移动方向和/或手的姿态;基于所述手的移动方向和/或手的姿态判断用户的意图;基于用户的意图对所述视频会议终端进行相应的控制。通过利用视频会议终端上的摄像头识别出用户的手势信息,进而调用出与之匹配的视频会议终端上的功能信息,本发明的方法使得用户可以不需要使用视频会议终端的遥控器而是直接通过不同的手势便可以对视频会议终端进行控制,从而显著地提高了用户的互动性,为用户带来了更好的体验。此外,本发明的实施方式提供了一种手势控制视频会议终端的装置。

Description

手势控制视频会议终端的方法和装置
技术领域
本发明的实施方式涉及视频会议领域,更具体地,本发明的实施方式涉及一种手势控制视频会议终端的方法和装置。
背景技术
本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
随着视频会议技术的成熟和普及,视频会议正在被越来越多的企业和机构所采用,人们对视频会议设备的需求也越来越高,然而,目前的视频会议设备在进行视频会议时仅仅可以通过遥控设备和/或通过点击视频会议终端上显示的功能按键对正在进行的视频会议进行操作,这种方式使得在进行视频会议的用户操作起来较为不便,例如由于遥控设备的数量有限,当没有遥控设备的用户想要对正在进行的视频会议进行操作时较为不便,另外在多人会议中一般是在大屏幕上投影出参会各方的视频图像,大屏幕会议终端一般距离参会用户较远不能方便地通过触控的方式来操作屏幕上的功能按键。并且现有的技术方案使得使用专业视频会议终端的用户操作起来较为枯燥。现有技术中还有通过语音指令的方式来控制视频会议终端,但是通过语音指令的方式会对当前进行会议的各方造成干扰和困惑,不利于会议的顺利进行。
发明内容
出于目前存在的使用专用的视频会议终端时操作不便以及操作起来较为枯燥的缺陷,并且还要求保证会议顺利进行,因此非常需要一种改进的手势控制视频会议终端的方法,以解决上述存在的问题。
在本上下文中,本发明的实施方式期望提供一种手势控制视频会议终端的方法和装置。
在本发明实施方式的第一方面中,提供了一种手势控制视频会议终端的方法,包括以下步骤:通过视频会议终端拍摄图像;从所述图像中识别出手的图像;根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹;基于所述手的移动方向和/或手的姿态和/或手的移动轨迹确认用户的意图;基于用户的意图对所述视频会议终端进行相应的控制。
在本发明的一个实施例中,所述视频会议终端包括:屏幕、摄像头以及麦克风中的一种或其组合;所述摄像头为可转动摄像头以及可聚焦摄像头。
在本发明的另一实施例中,该方法包括:通过所述视频会议终端上安装的摄像头拍摄处于所述摄像头前方的场景图像;所述场景图像中包含用户的图像。
在本发明的又一个实施例中,该方法包括:在判断出所述图像中包含预设条件后识别出手的图像并且在所述视频会议终端上调出唤醒菜单并显示当前焦点和/或在屏幕上相对位置显示一个手的光标和/或将识别出的手的图像在屏幕上突出显示;所述预设条件为:视频会议终端摄像头拍摄的用户图像中含有预设姿态的手的图像并且该手以所述姿态持续了预定时间。
在本发明的再一个实施例中,该方法包括:根据所述识别出的手在图像中的位置在所述屏幕上与之对应的位置显示一个手的光标。
在本发明的再一个实施例中,该方法包括:根据视频会议终端摄像头拍摄的先后两张图像中手的位置的变化判断手的移动方向;根据视频会议终端摄像头拍摄的先后两张图像中手的轮廓的变化判断手的姿态的变化;根据视频会议终端摄像头拍摄的图像上手的轮廓判断手的姿态;根据视频会议终端摄像头拍摄的连续的多张图像中手的位置的变化确定手的移动轨迹。
在本发明的再一个实施例中,所述移动方向包括:向上、向下、向左、向右、上下、左右以及向一侧移动停顿再继续移动中的一种或其组合。
在本发明的再一个实施例中,所述姿态包括:伸出手掌五指正对摄像头、向右上方挥手、伸出两指比划剪刀手、双手向着相反方向拉伸、双手向着相对方向靠拢以及握拳中的一种或其组合。
在本发明的再一个实施例中,该方法包括:在预先训练好的数据模型中匹配与所述手的移动方向和/或手的姿态和/或手的移动轨迹对应的用户的意图信息;若未在训练模型中匹配到与所述手的移动方向和/或手的姿态对应的用户的意图信息可后期手动添加与之匹配的意图信息。
在本发明的再一个实施例中,所述数据模型为:由技术人员预先训练的将手的不同移动方向与用户不同意图相关联和/或将用户手的不同姿态与用户的不同意图相关联。
在本发明的再一个实施例中,该方法包括:根据获取到的用户的意图信息在所述视频会议终端上调用与之对应的功能指令。
在本发明的再一个实施例中,所述功能指令包括:唤醒菜单、确认指令、录像、静音、调节音量、将视频设备摄像头对焦、将视频设备摄像头进行转动、退出指令、画面缩放、圈定对象进行画面追踪、切换对方画面全屏显示以及缩小显示中的一种或其组合。
在本发明的再一个实施例中,所述移动轨迹为手掌中心或者手指指尖在摄像头拍摄图像中的连续变化的连线。
在本发明的再一个实施例中,该方法包括:根据所述移动轨迹识别用户输入的信息。
在本发明的再一个实施例中,该方法包括:当所述姿态为伸出手掌五指正对摄像头时调出手势控制菜单界面;当所述姿态为向右上方挥手时关闭手势控制菜单界面;当所述姿态为双手向着相反方向拉伸时放大当前显示的视频画面;当所述姿态为双手向着相对方向靠拢时缩小当前显示的视频画面;和/或当所述姿态为伸出两指比划剪刀手时启动拍照、录像或截图。
在本发明的再一个实施例中,该方法包括:当所述姿态为握拳时确认选定当前焦点所在的功能指令。
在本发明实施方式的第二方面中,提供了一种手势控制视频会议终端的装置,包括以下模块:拍摄模块、用于通过视频会议终端拍摄图像的模块;识别模块、用于从所述图像中识别出手的图像的模块;判断模块、用于根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹的模块;确认模块、用于基于所述手的移动方向和/或手的姿态和/或手的移动轨迹确认用户的意图的模块;控制模块、用于基于用户的意图对所述视频会议终端进行相应的控制的模块。
在本发明的一个实施例中,所述视频会议终端包括:屏幕、摄像头以及麦克风中的一种或其组合;所述摄像头为可转动摄像头以及可聚焦摄像头。
在本发明的另一个实施例中,该装置包括:用于通过所述视频会议终端上安装的摄像头拍摄处于所述摄像头前方的场景图像的模块;所述场景图像中包含用户的图像。
在本发明的又一个实施例中,该装置包括:用于在判断出所述图像中包含预设条件后识别出手的图像并且在所述视频会议终端上调出唤醒菜单并显示当前焦点和/或在屏幕上相对位置显示一个手的光标和/或将识别出的手的图像在屏幕上突出显示的模块;所述预设条件为:视频会议终端摄像头拍摄的用户图像中含有预设姿态的手的图像并且该手以所述姿态持续了预定时间。
在本发明的再一个实施例中,该装置包括:用于根据所述识别出的手在图像中的位置在所述屏幕上与之对应的位置显示一个手的光标的模块。
在本发明的再一个实施例中,该装置包括:用于根据视频会议终端摄像头拍摄的先后两张图像中手的位置的变化判断手的移动方向的模块;用于根据视频会议终端摄像头拍摄的先后两张图像中手的轮廓的变化判断手的姿态的变化的模块;用于根据视频会议终端摄像头拍摄的图像上手的轮廓判断手的姿态的模块;用于根据视频会议终端摄像头拍摄的连续的多张图像中手的位置的变化确定手的移动轨迹的模块。
在本发明的再一个实施例中,所述移动方向包括:向上、向下、向左、向右、上下、左右以及向一侧移动停顿再继续移动中的一种或其组合。
在本发明的再一个实施例中,所述姿态包括:伸出手掌五指正对摄像头、向右上方挥手、伸出两指比划剪刀手以及握拳中的一种或其组合。
在本发明的再一个实施例中,该装置包括:用于在预先训练好的数据模型中匹配与所述手的移动方向和/或手的姿态和/或手的移动轨迹对应的用户的意图信息的模块;用于若未在训练模型中匹配到与所述手的移动方向和/或手的姿态对应的用户的意图信息可后期手动添加与之匹配的意图信息的模块。
在本发明的再一个实施例中,所述数据模型为:由技术人员预先训练的将手的不同移动方向与用户不同意图相关联和/或将用户手的不同姿态与用户的不同意图相关联。
在本发明的再一个实施例中,该装置包括:用于根据获取到的用户的意图信息在所述视频会议终端上调用与之对应的功能指令的模块。
在本发明的再一个实施例中,所述功能指令包括:唤醒菜单、确认指令、录像、静音、调节音量、将视频设备摄像头对焦、将视频设备摄像头进行转动、退出指令、画面缩放、圈定对象进行画面追踪、切换对方画面全屏显示以及缩小显示中的一种或其组合。
在本发明的再一个实施例中,所述移动轨迹为手掌中心或者手指指尖在摄像头拍摄图像中的连续变化的连线。
在本发明的再一个实施例中,该装置包括:用于根据所述移动轨迹识别用户输入的信息的模块。
在本发明的再一个实施例中,该装置包括:用于当所述姿态为伸出手掌五指正对摄像头时调出手势控制菜单界面的模块;用于当所述姿态为向右上方挥手时关闭手势控制菜单界面的模块;和/或用于当所述姿态为伸出两指比划剪刀手时启动拍照、录像或截图的模块。
在本发明的再一个实施例中,该装置包括:用于当所述姿态为握拳时确认选定当前焦点所在的功能指令的模块。
根据本发明实施方式的用于实现手势控制视频会议终端的方法和装置,通过视频会议终端上安装的摄像头拍摄的带有用户手的图像,判断出用户当前手的移动方向、手的姿态以及手的移动轨迹,进而将获取到的用户的手的移动方向和手的姿态和手的移动轨迹与预先训练好的数据模型进行匹配,进而确定用户的意图,根据确定的用户的意图调用视频会议终端上与之对应的功能指令。本发明所述的实施方式可以只需要通过判断出与用当前用户的手势匹配的意图信息后便可根据判断出的用户的意图对视频会议终端上的功能进行控制,而无需使用与视频会议终端配对的遥控设备控制视频会议终端,这种方式使得用户对视频会议终端的操作更加的方便,并且极大地提高了与用户的互动性,使得用户在进行视频会议时不那么枯燥,为用户带来了更好的体验。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1示意性地示出了根据本发明实施方式的用于实现手势控制视频会议终端的方法流程图;
图2示意性地示出了根据本发明另一实施例的用于实现手势控制视频会议终端的唤醒菜单界面示意图;
图3示意性地示出了根据本发明又一实施例的用于实现手势控制视频会议终端的选择功能指令的界面示意图;
图4示意性地示出了根据本发明再一实施例的用于实现手势控制视频会议终端的调节音量大小的界面示意图;
图5示意性地示出了根据本发明再一实施例的用于实现手势控制视频会议终端的调转摄像头的界面示意图;
图6示意性地示出了根据本发明再一实施例的用于实现手势控制视频会议终端的启动手势控制功能的界面示意图;
图7示意性地示出了根据本发明再一实施例的用于实现手势控制视频会议终端的获取手的移动轨迹的界面示意图;以及
图8示意性地示出了根据本发明再一实施例的用于实现手势控制视频会议终端的装置示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明,而并非以任何方式限制本发明的范围。相反,提供这些实施方式是为了使本公开更加透彻和完整,并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
根据本发明的实施方式,提出了一种手势控制视频会议终端的方法和装置。
在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
下面参考本发明的若干代表性实施方式,详细阐释本发明的原理和精神。
发明概述
本发明人发现,现有的视频会议设备存在下述缺陷:在用户使用专用的视频会议终端进行视频会议时,需要使用与该视频会议终端配对的遥控设备或通过点击视频会议终端上的功能按键对所述视频会议终端的功能进行控制,这种方式会使得在使用专用的视频会议终端进行视频会议的用户操作不便,并且会使得对视频会议终端进行操作的用户较为枯燥。
为了克服现有技术存在的问题,本发明提供了一种手势控制视频会议终端的方法和装置,该方法包括以下步骤:通过视频会议终端拍摄图像;从所述图像中识别出手的图像;根据所述手的图像判断手的移动方向和/或手的姿态;基于所述手的移动方向和/或手的姿态判断用户的意图;基于用户的意图对所述视频会议终端进行相应的控制。
在介绍了本发明的基本原理之后,下面具体介绍本发明的各种非限制性实施方式。
应用场景总览
本发明实施例可以应用于通过手势控制视频会议终端的场景,例如,当前有多个用户在使用同一个视频会议终端进行视频会议时,若用户希望将当前进行的视频会议录屏,但是与该视频会议终端所匹配的遥控设备不在面前或者是不方便拿到,若用户此时通过点击视频会议终端上的录屏按钮进行录屏的话,由于当前进行视频会议的人数较多,用户可能会挡住其他人的视频画面,并且用户需要走到大屏视频会议终端前进行手动操作,或者用户可以说出“开始录制”的语音指令,但是这会打断会议的进程,干扰会议顺利进行,这些操作方法都是比较不便的,根据本发明的方法用户只需要在远处通过对着摄像头摆出预设的手势则可以使该视频会议终端进行录屏操作。
示例性方法
下面结合应用场景,参考图1-8来描述根据本发明示例性实施方式的用于实现手势控制视频会议终端的方法。需要注意的是,上述应用场景仅是为了便于理解本发明的精神和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
参考图1,示意性地示出了根据本发明一个实施例的用于实现手势控制视频会议终端的方法流程图。该方法可以包括下述步骤:
S100、通过视频会议终端拍摄图像。
作为示例,所述视频会议终端包括屏幕、摄像头以及麦克风等主要构件,其中摄像头为可转动、可聚焦摄像头。所述通过视频会议终端拍摄图像的具体方式为,视频会议终端上的摄像头在进行视频会议时会实时的对该摄像头前的场景画面进行拍摄并且生成场景图像,该场景图像中可包含用户图像。具体地例子,当用户在使用视频会议终端进行视频会议时,视频会议终端上安装的摄像头便会对处于摄像头前的场景进行实时拍摄。
S110、从所述图像中识别出手的图像。
作为示例,在判断出所述图像中包含预设条件后识别出手的图像并且在该视频会议终端上调出唤醒菜单并显示当前焦点,其中所述预设条件为:视频会议终端摄像头拍摄的用户图像中含有预设姿态的手的图像并且该手以所述姿态持续了预定时间,即,当视频会议终端识别出摄像头所拍摄的图像上包含有手的轮廓的图像后,会继续判断该手是否以预设的姿态持续预定的时间,若判断出该手以预设的姿态持续了预定的时间后,便会对该手的图像进行识别,同时会在视频会议终端的屏幕上显示一个唤醒菜单并且会在唤醒菜单的起始位置显示识别出的用户手当前的焦点。具体地例子,如图2所示,当用户在安装有摄像头的视频会议终端前以伸出手掌五指面对摄像头的姿态持续4秒后,视频会议终端则会识别出该用户的手的图像,并同时在视频会议终端的屏幕上显示一个唤醒菜单,并且此时的唤醒菜单的中点处为起始位置,在图2中,该中点的起始位置对应的功能按钮为“切换布局”,此时会在该位置上显示一个焦点,该焦点即为用户手对应在视频会议终端上的焦点位置,即,该焦点会跟随用户手的移动而移动。焦点所在的位置即为用户手当前对应在屏幕上所处的位置。例如,此时用户的手掌向上移动时,焦点相应地移动到之前焦点位置的上方,即“录制”功能按钮所在的位置。需要说明的是,该焦点只可在唤醒菜单内进行移动,即,当焦点处于“挂断”的位置时,若此时用户再向右侧移动手的位置,该焦点会处于唤醒菜单右侧的边缘处,不会移动到唤醒菜单外侧。这种方式使得用户可以可通过视化的方式移动手的位置进而控制视频会议终端。
另一个实施例,如图6所示,当视频会议终端上安装的摄像头识别出用户的手的图像后,会在屏幕上相对位置显示一个手的光标,即,根据识别出的用户的手在图像中的位置在视频会议终端的屏幕上与之对应的位置显示一个手的图形的光标601。具体地例子,当用户在安装有摄像头的视频会议终端前以伸出手掌五指面对摄像头的姿态持续4秒后,视频会议终端则会识别出该用户的手的图像,并同时在视频会议终端的屏幕上相对位置显示一个手的形状的光标601,即,假设在图6中左下角的第一个方框中的画面为本地视频会议终端拍摄的画面,若此时视频会议终端上安装的摄像头拍摄的本地用户的手602是在图像的左侧用户的,则会在视频会议终端的屏幕的左侧显示一个手的形状的光标601,同时还可以调出唤醒菜单603,该光标会根据用户手的移动而移动,需要说明的是,该手的光标可以根据用户手的位置的变化而进行全屏移动,当该手的光标移动到唤醒菜单603的功能按钮上时,可以通过确认手势选择对应的功能按钮并执行相应的功能指令。
再一个实施例,当视频会议终端上安装的摄像头识别出用户的手的图像后,会将识别出的手的图像在屏幕上突出显示,即,会将以手势控制视频会议终端的用户的手在视频会议终端的屏幕上突出显示。具体地例子,若本地视频会议终端的摄像头前有多个用户试图控制该视频会议终端,但由于该视频会议终端在同一时刻只能识别出唯一用户的手的图像,则视频会议终端会将最先识别出的用户的手的图像作为本次识别出的用户的手的图像,即,若用户A、用户B、用户C同时伸出手掌五指正对摄像头,但摄像头最先识别出用户A的手的图像,即用户A可对该视频会议终端进行手势控制,此时视频会议终端的本侧视频会议的分屏幕上用户A的手上会显示一个红点或者高亮显示以表示该用户正在对视频会议终端进行手势控制。这种方法使得在多个用户进行视频会议时,仍可清楚的知道是哪位用户正在对视频会议终端进行控制。当确定当前控制视频会议终端的用户的手后,仅仅跟踪该用户的手的移动方向、姿态以及轨迹来执行相应的控制。
S120、根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹。
作为示例,所述手的移动方向可为:向上、向下、向左、向右、上下、左右以及向一侧移动停顿再继续移动、向斜上方以及向斜下方等移动方向;所述手的姿态可为:伸出手掌五指正对摄像头、向右上方挥手、伸出两指比划剪刀手以及握拳等姿态;所述移动轨迹可为:手掌中心或者手指指尖在摄像头拍摄图像中的连续变化的连线,该移动轨迹可为字母、数字、文字等用户自行输入的信息。需要说明的是,上述所列的手的移动方向、手的姿态以及手的移动轨迹在此处不做限制。所述根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹的具体方式为,根据视频会议终端摄像头拍摄的先后两张图像中手的位置的变化判断手的移动方向;根据视频会议终端摄像头拍摄的先后两张图像中手的轮廓的变化判断手的姿态的变化;根据视频会议终端摄像头拍摄的图像上手的轮廓判断手的姿态;根据视频会议终端摄像头拍摄的连续的多张图像中手的位置的变化确定手的移动轨迹。
具体地例子,当视频会议终端安装的摄像头识别出用户的手的图像后,每间隔1秒对摄像头前方的画面进行拍摄,根据前后间隔1秒所拍摄的两张图像中用户手的位置的关系即可确认当前用户手的移动方向,如,第二张拍摄的用户的手的图片中用户手所处的位置相比较于第一张拍摄的图片中用户手所处的位置的右侧,则可确认当前用户的手的移动方向为向右侧移动;当视频会议终端安装的摄像头识别出用户的手的图像后,每间隔1秒对摄像头前方的画面进行拍摄,根据前后间隔1秒所拍摄的两张图像中用户手的姿态的变化即可确认当前用户手的姿态,如,若第一张拍摄的用户的手的图片中用户手处于五指张开状态,第二张拍摄的用户的手的图片中用户手处于握紧状态,则可确认当前用户手的姿态为握拳动作;当视频会议终端安装的摄像头识别出用户的手的图像后,根据拍摄的图像中用户手所处的姿态即可确认当前用户手所处的姿态,若摄像头拍摄的照片中用户的手处于五指张开面对摄像头的状态,则可确认当前用户手的姿态为五指张开面对摄像头;当视频会议终端安装的摄像头识别出用户的手的图像后,每间隔1秒对摄像头前方的画面进行拍摄,根据前后间隔1秒所拍摄的多张图像中用户手的位置的变化即可确认当前用户手的移动轨迹,如,若通过摄像头所拍摄的连续的多张图片,将多张图片中的用户手的位置点相连接,根据连接后的图形即可确认当前用户手的运动轨迹。这种方式只需要使用视频会议终端上安装的摄像头即可确认用户手当前的各种状态,而无需借用别的特殊的软件和硬件设备来完成,既不需要用户人为进行按键操作又极大的缩短了确认用户手的状态的时间。
S130、基于所述手的移动方向和/或手的姿态和/或手的移动轨迹确认用户的意图。
作为示例,所述基于所述手的移动方向和/或手的姿态和/或手的移动轨迹确认用户的意图的具体方式为,在预先训练好的数据模型中匹配与所述手的移动方向和/或手的姿态和/或手的移动轨迹对应的用户的意图信息,其中,数据模型为技术人员预先通过训练将各种手的移动方向和/或手的姿态以及手的运动轨迹与不同的意图相关联,之后可直接通过获取到的用户的手的移动方向和/或手的姿态和/或手的运动轨迹在训练好的数据模型中查找与之相关联的意图信息。
具体地例子,技术人员可在训练中通过在摄像头前张开手掌五指并且使手心面对摄像头来确认用户的手的姿态,并根据确定出的用户的手的姿态设置与之相关联的意图信息,如意图信息可设置为想要启动手势控制功能;技术人员也可在训练中通过在摄像头前张开手掌五指并且使手向右上方挥动来确认用户的手的姿态变化,并根据确定出的用户的手的姿态变化设置与之相关联的意图信息,如意图信息可设置为想要关闭手势控制功能;技术人员也可在训练中通过在摄像头前伸出两指比划剪刀手来确认用户手的姿态,并根据确定出的用户的手的姿态设置与之相关联的意图信息,如意图信息可设置为想要启动拍照、录像或截图功能,上述具体的意图可在使用该视频会议终端时进行选择设置;技术人员也可在训练中通过在摄像头前握拳来确认用户的手的姿态,并根据确定出的用户的手的姿态设置与之相关联的意图信息,如意图信息可设置为确认;技术人员也可在训练中通过在摄像头前隔空比划字母C来确认用户手的移动轨迹,并根据确定出的用户的手的移动轨迹设置与之相关联的意图信息,如意图信息可设置为想要关闭摄像头;技术人员也可在训练中通过在摄像头前隔空比划字母L来确认用户手的移动轨迹,并根据确定出的用户的手的移动轨迹设置与之相关联的意图信息,如意图信息可设置为想要切换布局;技术人员也可在训练中通过在摄像头前隔空比划字母R来确认用户手的移动轨迹,并根据确定出的用户的手的移动轨迹设置与之相关联的意图信息,如意图信息可设置为想要录制当前会议画面。需要说明的是,上述用户的手势与意图之间的关联关系在此处不做限制,技术人员可根据实际需求进行训练得到。
另一个实施例,若未在预先训练好的数据模型中查找到与当前用户手势所对应的意图信息时,用户可通过点击“自定义”按钮设置手势与意图信息之间的对应关系。具体地例子,若用户在安装有摄像头的视频会议终端前隔空比划了字母a,但在数据模型中未找到与手的移动轨迹为字母a相关联的意图信息,则此时用户可通过点击“自定义”按钮将手的移动轨迹为字母a设置为与想要静音的意图信息相关联。这种方式可以使用户自主设置手势与意图信息之间的关联关系,极大地增加了互动性。
S140、基于用户的意图对所述视频会议终端进行相应的控制。
作为示例,所述基于用户的意图对所述视频会议终端进行相应的控制的具体方式为,根据获取到的用户的意图信息在所述视频会议终端上调用与之对应的功能指令,其中功能指令包括:唤醒菜单、确认指令、录像、静音、调节音量、将视频设备摄像头对焦、将视频设备摄像头进行转动、退出指令、画面缩放、圈定对象进行画面追踪、切换对方画面全屏显示以及缩小显示、调出键盘等。具体地例子,若用户正在使用视频会议终端进行视频会议,在视频会议的过程中用户想将视频会议静音,则用户可伸出手掌五指面对摄像头并持续4秒后,根据在数据模型中查找到与之对应的意图信息为想要启动手势控制界面,则视频会议终端上会启动与之对应的功能指令,即开启手势控制功能,具体的开启方式可根据用户预先选择,即,可以通过调出唤醒菜单进行手势控制功能,也可以通过在视频会议终端的屏幕上相对应位置显示一个手的光标,还可以在本侧视频会议的分屏幕上突出显示正在进行手势控制的用户的手,也可以使上述三种方式中的两种同时显示,也可以使上述三种方式同时显示,此处以第一种显示方式为例,如图3所示,当用户调用唤醒菜单后,焦点会处于唤醒菜单的中间点的位置,可根据屏幕上焦点的位置向下移动手使得焦点的处在“静音”功能按钮上,此时用户只需要握紧拳头,则在数据模型中查找到与之关联的意图信息为确认,则此时会启动视频会议终端的确认功能指令,即,对视频会议终端上的“静音”功能按钮进行了确认操作,则此时完成了对正在进行的视频会议的静音操作。当用户调出屏幕上显示的键盘时,用户可以通过手势选择键盘上的按键来直接输入文字信息,该文字信息可以在被选中的对方视频会议终端上显示,例如输入“请保持安静”等文字信息在对方视频会议终端上显示来提醒对方保持安静。
此处需要说明的是,在刚进入视频会议时,会在视频会议终端的屏幕上以图标和文字的形式显示技术人员预先设置好的手势与意图信息之间的对应关系,若超过预定时间后未启动手势控制功能的话上述图标与文字会自动消失,若在预定时间内启动了手势控制功能,则会在用户选择某个功能后,在屏幕上方显示该功能的具体操作信息。并且若启动手势控制功能后在预定时间内未对唤醒菜单进行操作,该唤醒菜单会自动消失。具体地例子,当用户加入视频会议后,会在屏幕上显示技术人员预先训练的手势图标,并且会在手势图标下方标注与之对应的功能指令,若在20秒后用户并未启动手势控制功能,则在屏幕上显示的手势图标和与之对应的功能指令会自动消失,若在20秒内用户启动了手势控制功能,并调用了唤醒菜单,则会在屏幕上方显示与确认指令相对应的手势信息以及与退出指令相对应的手势信息,并且若在调用唤醒菜单后20秒为对该唤醒菜单进行操作,该唤醒菜单会自动消失。
另一个实施例,如图4所示若正在进行视频会议的用户希望将视频会议的音量调低一些,则用户可在调出唤醒菜单后通过将手移动到右侧使得视频会议终端上的焦点处于唤醒菜单的右侧,此时用户需要在此处停顿5秒后再次将手向右移动,此时焦点会以当前所处的位置为起始点再次向右侧移动,直至焦点移动到视频会议终端屏幕的右侧的音量进度条后,用户可通过将五根手指捏在一起并向下移动,则此时屏幕上的焦点也会向下移动,并降低视频会议的音量。
另一个实施例,若用户希望改变正在进行的视频会议的布局,可通过移动说进而控制在唤醒菜单上移动的焦点,当焦点处于“切换布局”功能按钮处时,用户可通过握拳的方式,使得在数据模型中查找到与之关联的意图信息为确认,并在视频会议终端上启动与该意图对应的确认功能指令,即可切换正在进行的视频会议的界面布局,如可切换为1:1的形式,即将视频会议终端的画面等分为两份,分别显示正在进行的视频会议的两方的画面。具体地的画面布局可预先设置;也可以通过选择“切换布局”功能按钮在当前布局与其他布局直接来回切换,例如,如果当前布局是画中画布局,则选择“切换布局”功能按钮后可以切换到“1:1”布局。也可通过不调用唤醒菜单而是通过直接在屏幕上相对位置显示手的光标的方式,用户可隔空比划预先设置好与切换布局这一意图对应的手的移动轨迹,进而根据确认的意图信息启动视频会议终端与之对应的功能指令。
另一个实施例,如图5所示,当正在进行视频会议的用户希望控制摄像头以使得摄像头可以将对方或者本方参会人员全部拍摄到视频会议的画面中,则用户可通过移动手以使得视频会议终端上显示的调用菜单上的焦点跟着用户手的移动而移动,当焦点移动到“调整摄像头”的功能按钮上后,用户可通过握拳来确定启动该功能,在启动该功能后,用户可通过以捏住手指上下左右移动的方式来调整摄像头的方向,并且可通过以捏住手指前后移动的方式调节摄像头的焦距。
在进行视频会议过程中,视频会议终端的屏幕上会显示多方的视频画面,当用户需要控制某个对方或者本方的视频会议终端的摄像头时,可以通过手势控制将手的光标移动到需要控制的一方的视频画面上,同时唤醒该视频画面对应的视频会议终端的菜单,该菜单可以同时显示在本方和被控制对方的显示屏幕上,这时本方人员可以控制手的光标在菜单上移动和选择来实现对选中的视频会议终端的控制,该控制例如包括,调整被选中的视频会议终端的摄像头的方向、调整被选中的视频会议终端的音量、将被选中的视频会议终端全屏显示、将对方被选中的视频会议终端呈现高亮指示点进行轨迹的划动和指示等等。该方法也可以用于利用手势帮助对方调整和设置视频会议终端。这样在调节摄像头等操作时可以基于控制焦点的位置来自然确认控制哪一个视频会议终端的摄像头。这种方式可以减少用户进行确认选择的层级,更加方便用户记忆和操作。
另一个实施例,当用户正在使用视频会议终端进行视频会议时,可通过伸出双手五指,两只手同时向相反的方向拉伸可控制视频会议终端使得放大正在进行的视频会议画面,若用户伸出双手五指但是同时向相对的方向拉伸可控制视频会议终端使得缩小正在进行的视频会议画面。
另一个实施例,当用户正在使用视频会议终端进行视频会议时,可通过对视频会议终端的屏幕上显示的视频会议画面中的某个人进行圈定,进而视频会议终端的摄像头会锁定被圈定的用户。具体地例子,当用户A正在使用视频会议终端进行视频会议时,由于参加视频会议的人数较多,用户A希望摄像头可以跟随正在讲话的用户B,则用户A可通过隔空通过手势调出手的光标,并控制该手的光标在视频会议终端屏幕上显示的用户B的位置画一个圆圈,该圆圈的轮廓为用户A手的移动轨迹对应在屏幕上显示的手的光标轨迹,并且还可以显示一个确认指令,若用户A发现所圈定的用户不是用户A希望圈定的用户B的话,用户A可通过取消该操作,重新再进行圈定操作。当圈定后,摄像头可以跟随正在被圈定的用户B转动,使其保持在画面中央位置,并且可以进行自适应的放大特写操作。
另一个实施例,如图7所示,当用户正在使用视频会议终端进行视频会议时,在启用手势控制菜单后,可不需要调出唤醒菜单来进行手势控制,而是直接在视频会议终端的屏幕上相对位置显示一个手的光标701,用户可通过隔空在屏幕前输入不同的信息,使得在视频会议终端的屏幕上光标701随着用户手指的移动而生成与之对应的移动轨迹702,根据该手的移动轨迹在数据模型中查找与之关联的意图信息,并根据该意图信息启动视频会议终端的功能指令。具体地例子,若正在进行视频会议的用户A希望暂时关闭摄像头,则用户A可通过在屏目前隔空比划一个字母C的轨迹,并且在视频会议终端的屏幕上会显示出用户A所输入的字母C的移动轨迹图形,根据该图形在数据模型中查找到与之相关联的意图信息为想要关闭摄像头,根据该意图信息启动视频会议终端的关闭摄像头的功能指令,则此时的摄像头会关闭。
示例性装置
在介绍了本发明示例性实施方式的方法之后,接下来,参考图8对本发明示例性实施方式的用于实现手势控制视频会议终端的装置示意图。该装置包括以下模块:
拍摄模块800、用于通过视频会议终端拍摄图像的模块。
作为示例,所述视频会议终端包括屏幕、摄像头以及麦克风等主要构件,其中摄像头为可转动、可聚焦摄像头。所述通过视频会议终端拍摄图像的具体方式为,视频会议终端上的摄像头在进行视频会议时会实时的对该摄像头前的场景画面进行拍摄并且生成场景图像,该场景图像中可包含用户图像。具体地例子,当用户在使用视频会议终端进行视频会议时,视频会议终端上安装的摄像头便会对处于摄像头前的场景进行实时拍摄。
识别模块810、用于从所述图像中识别出手的图像的模块。
作为示例,在判断出所述图像中包含预设条件后识别出手的图像并且在该视频会议终端上调出唤醒菜单并显示当前焦点,其中所述预设条件为:视频会议终端摄像头拍摄的用户图像中含有预设姿态的手的图像并且该手以所述姿态持续了预定时间,即,当视频会议终端识别出摄像头所拍摄的图像上包含有手的轮廓的图像后,会继续判断该手是否以预设的姿态持续预定的时间,若判断出该手以预设的姿态持续了预定的时间后,便会对该手的图像进行识别,同时会在视频会议终端的屏幕上显示一个唤醒菜单并且会在唤醒菜单的起始位置显示识别出的用户手当前的焦点。具体地例子,如图2所示,当用户在安装有摄像头的视频会议终端前以伸出手掌五指面对摄像头的姿态持续4秒后,视频会议终端则会识别出该用户的手的图像,并同时在视频会议终端的屏幕上显示一个唤醒菜单,并且此时的唤醒菜单的中点处为起始位置,在图2中,该中点的起始位置对应的功能按钮为“切换布局”,此时会在该位置上显示一个焦点,该焦点即为用户手对应在视频会议终端上的焦点位置,即,该焦点会跟随用户手的移动而移动。焦点所在的位置即为用户手当前对应在屏幕上所处的位置。例如,此时用户的手掌向上移动时,焦点相应地移动到之前焦点位置的上方,即“录制”功能按钮所在的位置。需要说明的是,该焦点只可在唤醒菜单内进行移动,即,当焦点处于“挂断”的位置时,若此时用户再向右侧移动手的位置,该焦点会处于唤醒菜单右侧的边缘处,不会移动到唤醒菜单外侧。这种方式使得用户可以可通过视化的方式移动手的位置进而控制视频会议终端。
另一个实施例,如图6所示,当视频会议终端上安装的摄像头识别出用户的手的图像后,会在屏幕上相对位置显示一个手的光标,即,根据识别出的用户的手在图像中的位置在视频会议终端的屏幕上与之对应的位置显示一个手的图形的光标601。具体地例子,当用户在安装有摄像头的视频会议终端前以伸出手掌五指面对摄像头的姿态持续4秒后,视频会议终端则会识别出该用户的手的图像,并同时在视频会议终端的屏幕上相对位置显示一个手的形状的光标601,即,假设在图6中左下角的第一个方框中的画面为本地视频会议终端拍摄的画面,若此时视频会议终端上安装的摄像头拍摄的本地用户的手602是在图像的左侧用户的,则会在视频会议终端的屏幕的左侧显示一个手的形状的光标601,同时还可以调出唤醒菜单603,该光标会根据用户手的移动而移动,需要说明的是,该手的光标可以根据用户手的位置的变化而进行全屏移动,当该手的光标移动到唤醒菜单603的功能按钮上时,可以通过确认手势选择对应的功能按钮并执行相应的功能指令。
再一个实施例,当视频会议终端上安装的摄像头识别出用户的手的图像后,会将识别出的手的图像在屏幕上突出显示,即,会将以手势控制视频会议终端的用户的手在视频会议终端的屏幕上突出显示。具体地例子,若本地视频会议终端的摄像头前有多个用户试图控制该视频会议终端,但由于该视频会议终端在同一时刻只能识别出唯一用户的手的图像,则视频会议终端会将最先识别出的用户的手的图像作为本次识别出的用户的手的图像,即,若用户A、用户B、用户C同时伸出手掌五指正对摄像头,但摄像头最先识别出用户A的手的图像,即用户A可对该视频会议终端进行手势控制,此时视频会议终端的本侧视频会议的分屏幕上用户A的手上会显示一个红点或者高亮显示以表示该用户正在对视频会议终端进行手势控制。这种方法使得在多个用户进行视频会议时,仍可清楚的知道是哪位用户正在对视频会议终端进行控制。当确定当前控制视频会议终端的用户的手后,仅仅跟踪该用户的手的移动方向、姿态以及轨迹来执行相应的控制。
判断模块820、用于根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹的模块。
作为示例,所述手的移动方向可为:向上、向下、向左、向右、上下、左右以及向一侧移动停顿再继续移动、向斜上方以及向斜下方等移动方向;所述手的姿态可为:伸出手掌五指正对摄像头、向右上方挥手、伸出两指比划剪刀手以及握拳等姿态;所述移动轨迹可为:手掌中心或者手指指尖在摄像头拍摄图像中的连续变化的连线,该移动轨迹可为字母、数字、文字等用户自行输入的信息。需要说明的是,上述所列的手的移动方向、手的姿态以及手的移动轨迹在此处不做限制。所述根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹的具体方式为,根据视频会议终端摄像头拍摄的先后两张图像中手的位置的变化判断手的移动方向;根据视频会议终端摄像头拍摄的先后两张图像中手的轮廓的变化判断手的姿态的变化;根据视频会议终端摄像头拍摄的图像上手的轮廓判断手的姿态;根据视频会议终端摄像头拍摄的连续的多张图像中手的位置的变化确定手的移动轨迹。
具体地例子,当视频会议终端安装的摄像头识别出用户的手的图像后,每间隔1秒对摄像头前方的画面进行拍摄,根据前后间隔1秒所拍摄的两张图像中用户手的位置的关系即可确认当前用户手的移动方向,如,第二张拍摄的用户的手的图片中用户手所处的位置相比较于第一张拍摄的图片中用户手所处的位置的右侧,则可确认当前用户的手的移动方向为向右侧移动;当视频会议终端安装的摄像头识别出用户的手的图像后,每间隔1秒对摄像头前方的画面进行拍摄,根据前后间隔1秒所拍摄的两张图像中用户手的姿态的变化即可确认当前用户手的姿态,如,若第一张拍摄的用户的手的图片中用户手处于五指张开状态,第二张拍摄的用户的手的图片中用户手处于握紧状态,则可确认当前用户手的姿态为握拳动作;当视频会议终端安装的摄像头识别出用户的手的图像后,根据拍摄的图像中用户手所处的姿态即可确认当前用户手所处的姿态,若摄像头拍摄的照片中用户的手处于五指张开面对摄像头的状态,则可确认当前用户手的姿态为五指张开面对摄像头;当视频会议终端安装的摄像头识别出用户的手的图像后,每间隔1秒对摄像头前方的画面进行拍摄,根据前后间隔1秒所拍摄的多张图像中用户手的位置的变化即可确认当前用户手的移动轨迹,如,若通过摄像头所拍摄的连续的多张图片,将多张图片中的用户手的位置点相连接,根据连接后的图形即可确认当前用户手的运动轨迹。这种方式只需要使用视频会议终端上安装的摄像头即可确认用户手当前的各种状态,而无需借用别的特殊的软件和硬件设备来完成,既不需要用户人为进行按键操作又极大的缩短了确认用户手的状态的时间。
确认模块830、用于基于所述手的移动方向和/或手的姿态和/或手的移动轨迹确认用户的意图的模块。
作为示例,所述基于所述手的移动方向和/或手的姿态和/或手的移动轨迹确认用户的意图的具体方式为,在预先训练好的数据模型中匹配与所述手的移动方向和/或手的姿态和/或手的移动轨迹对应的用户的意图信息,其中,数据模型为技术人员预先通过训练将各种手的移动方向和/或手的姿态以及手的运动轨迹与不同的意图相关联,之后可直接通过获取到的用户的手的移动方向和/或手的姿态和/或手的运动轨迹在训练好的数据模型中查找与之相关联的意图信息。
具体地例子,技术人员可在训练中通过在摄像头前张开手掌五指并且使手心面对摄像头来确认用户的手的姿态,并根据确定出的用户的手的姿态设置与之相关联的意图信息,如意图信息可设置为想要启动手势控制功能;技术人员也可在训练中通过在摄像头前张开手掌五指并且使手向右上方挥动来确认用户的手的姿态变化,并根据确定出的用户的手的姿态变化设置与之相关联的意图信息,如意图信息可设置为想要关闭手势控制功能;技术人员也可在训练中通过在摄像头前伸出两指比划剪刀手来确认用户手的姿态,并根据确定出的用户的手的姿态设置与之相关联的意图信息,如意图信息可设置为想要启动拍照、录像或截图功能,上述具体的意图可在使用该视频会议终端时进行选择设置;技术人员也可在训练中通过在摄像头前握拳来确认用户的手的姿态,并根据确定出的用户的手的姿态设置与之相关联的意图信息,如意图信息可设置为确认;技术人员也可在训练中通过在摄像头前隔空比划字母C来确认用户手的移动轨迹,并根据确定出的用户的手的移动轨迹设置与之相关联的意图信息,如意图信息可设置为想要关闭摄像头;技术人员也可在训练中通过在摄像头前隔空比划字母L来确认用户手的移动轨迹,并根据确定出的用户的手的移动轨迹设置与之相关联的意图信息,如意图信息可设置为想要切换布局;技术人员也可在训练中通过在摄像头前隔空比划字母R来确认用户手的移动轨迹,并根据确定出的用户的手的移动轨迹设置与之相关联的意图信息,如意图信息可设置为想要录制当前会议画面。需要说明的是,上述用户的手势与意图之间的关联关系在此处不做限制,技术人员可根据实际需求进行训练得到。
另一个实施例,若未在预先训练好的数据模型中查找到与当前用户手势所对应的意图信息时,用户可通过点击“自定义”按钮设置手势与意图信息之间的对应关系。具体地例子,若用户在安装有摄像头的视频会议终端前隔空比划了字母a,但在数据模型中未找到与手的移动轨迹为字母a相关联的意图信息,则此时用户可通过点击“自定义”按钮将手的移动轨迹为字母a设置为与想要静音的意图信息相关联。这种方式可以使用户自主设置手势与意图信息之间的关联关系,极大地增加了互动性。
控制模块840、用于基于用户的意图对所述视频会议终端进行相应的控制的模块。
作为示例,所述基于用户的意图对所述视频会议终端进行相应的控制的具体方式为,根据获取到的用户的意图信息在所述视频会议终端上调用与之对应的功能指令,其中功能指令包括:唤醒菜单、确认指令、录像、静音、调节音量、将视频设备摄像头对焦、将视频设备摄像头进行转动、退出指令、画面缩放、圈定对象进行画面追踪、切换对方画面全屏显示以及缩小显示、调出键盘等。具体地例子,若用户正在使用视频会议终端进行视频会议,在视频会议的过程中用户想将视频会议静音,则用户可伸出手掌五指面对摄像头并持续4秒后,根据在数据模型中查找到与之对应的意图信息为想要启动手势控制界面,则视频会议终端上会启动与之对应的功能指令,即开启手势控制功能,具体的开启方式可根据用户预先选择,即,可以通过调出唤醒菜单进行手势控制功能,也可以通过在视频会议终端的屏幕上相对应位置显示一个手的光标,还可以在本侧视频会议的分屏幕上突出显示正在进行手势控制的用户的手,也可以使上述三种方式中的两种同时显示,也可以使上述三种方式同时显示,此处以第一种显示方式为例,如图3所示,当用户调用唤醒菜单后,焦点会处于唤醒菜单的中间点的位置,可根据屏幕上焦点的位置向下移动手使得焦点的处在“静音”功能按钮上,此时用户只需要握紧拳头,则在数据模型中查找到与之关联的意图信息为确认,则此时会启动视频会议终端的确认功能指令,即,对视频会议终端上的“静音”功能按钮进行了确认操作,则此时完成了对正在进行的视频会议的静音操作。当用户调出屏幕上显示的键盘时,用户可以通过手势选择键盘上的按键来直接输入文字信息,该文字信息可以在被选中的对方视频会议终端上显示,例如输入“请保持安静”等文字信息在对方视频会议终端上显示来提醒对方保持安静。
此处需要说明的是,在刚进入视频会议时,会在视频会议终端的屏幕上以图标和文字的形式显示技术人员预先设置好的手势与意图信息之间的对应关系,若超过预定时间后未启动手势控制功能的话上述图标与文字会自动消失,若在预定时间内启动了手势控制功能,则会在用户选择某个功能后,在屏幕上方显示该功能的具体操作信息。并且若启动手势控制功能后在预定时间内未对唤醒菜单进行操作,该唤醒菜单会自动消失。具体地例子,当用户加入视频会议后,会在屏幕上显示技术人员预先训练的手势图标,并且会在手势图标下方标注与之对应的功能指令,若在20秒后用户并未启动手势控制功能,则在屏幕上显示的手势图标和与之对应的功能指令会自动消失,若在20秒内用户启动了手势控制功能,并调用了唤醒菜单,则会在屏幕上方显示与确认指令相对应的手势信息以及与退出指令相对应的手势信息,并且若在调用唤醒菜单后20秒为对该唤醒菜单进行操作,该唤醒菜单会自动消失。
另一个实施例,如图4所示若正在进行视频会议的用户希望将视频会议的音量调低一些,则用户可在调出唤醒菜单后通过将手移动到右侧使得视频会议终端上的焦点处于唤醒菜单的右侧,此时用户需要在此处停顿5秒后再次将手向右移动,此时焦点会以当前所处的位置为起始点再次向右侧移动,直至焦点移动到视频会议终端屏幕的右侧的音量进度条后,用户可通过将五根手指捏在一起并向下移动,则此时屏幕上的焦点也会向下移动,并降低视频会议的音量。
另一个实施例,若用户希望改变正在进行的视频会议的布局,可通过移动说进而控制在唤醒菜单上移动的焦点,当焦点处于“切换布局”功能按钮处时,用户可通过握拳的方式,使得在数据模型中查找到与之关联的意图信息为确认,并在视频会议终端上启动与该意图对应的确认功能指令,即可切换正在进行的视频会议的界面布局,如可切换为1:1的形式,即将视频会议终端的画面等分为两份,分别显示正在进行的视频会议的两方的画面。具体地的画面布局可预先设置;也可以通过选择“切换布局”功能按钮在当前布局与其他布局直接来回切换,例如,如果当前布局是画中画布局,则选择“切换布局”功能按钮后可以切换到“1:1”布局。也可通过不调用唤醒菜单而是通过直接在屏幕上相对位置显示手的光标的方式,用户可隔空比划预先设置好与切换布局这一意图对应的手的移动轨迹,进而根据确认的意图信息启动视频会议终端与之对应的功能指令。
另一个实施例,如图5所示,当正在进行视频会议的用户希望控制摄像头以使得摄像头可以将对方或者本方参会人员全部拍摄到视频会议的画面中,则用户可通过移动手以使得视频会议终端上显示的调用菜单上的焦点跟着用户手的移动而移动,当焦点移动到“调整摄像头”的功能按钮上后,用户可通过握拳来确定启动该功能,在启动该功能后,用户可通过以捏住手指上下左右移动的方式来调整摄像头的方向,并且可通过以捏住手指前后移动的方式调节摄像头的焦距。
在进行视频会议过程中,视频会议终端的屏幕上会显示多方的视频画面,当用户需要控制某个对方或者本方的视频会议终端的摄像头时,可以通过手势控制将手的光标移动到需要控制的一方的视频画面上,同时唤醒该视频画面对应的视频会议终端的菜单,该菜单可以同时显示在本方和被控制对方的显示屏幕上,这时本方人员可以控制手的光标在菜单上移动和选择来实现对选中的视频会议终端的控制,该控制例如包括,调整被选中的视频会议终端的摄像头的方向、调整被选中的视频会议终端的音量、将被选中的视频会议终端全屏显示、将对方被选中的视频会议终端呈现高亮指示点进行轨迹的划动和指示等等。该方法也可以用于利用手势帮助对方调整和设置视频会议终端。这样在调节摄像头等操作时可以基于控制焦点的位置来自然确认控制哪一个视频会议终端的摄像头。这种方式可以减少用户进行确认选择的层级,更加方便用户记忆和操作。
另一个实施例,当用户正在使用视频会议终端进行视频会议时,可通过伸出双手五指,两只手同时向相反的方向拉伸可控制视频会议终端使得放大正在进行的视频会议画面,若用户伸出双手五指但是同时向相对的方向拉伸可控制视频会议终端使得缩小正在进行的视频会议画面。
另一个实施例,当用户正在使用视频会议终端进行视频会议时,可通过对视频会议终端的屏幕上显示的视频会议画面中的某个人进行圈定,进而视频会议终端的摄像头会锁定被圈定的用户。具体地例子,当用户A正在使用视频会议终端进行视频会议时,由于参加视频会议的人数较多,用户A希望摄像头可以跟随正在讲话的用户B,则用户A可通过隔空通过手势调出手的光标,并控制该手的光标在视频会议终端屏幕上显示的用户B的位置画一个圆圈,该圆圈的轮廓为用户A手的移动轨迹对应在屏幕上显示的手的光标轨迹,并且还可以显示一个确认指令,若用户A发现所圈定的用户不是用户A希望圈定的用户B的话,用户A可通过取消该操作,重新再进行圈定操作。当圈定后,摄像头可以跟随正在被圈定的用户B转动,使其保持在画面中央位置,并且可以进行自适应的放大特写操作。
另一个实施例,如图7所示,当用户正在使用视频会议终端进行视频会议时,在启用手势控制菜单后,可不需要调出唤醒菜单来进行手势控制,而是直接在视频会议终端的屏幕上相对位置显示一个手的光标701,用户可通过隔空在屏幕前输入不同的信息,使得在视频会议终端的屏幕上光标701随着用户手指的移动而生成与之对应的移动轨迹702,根据该手的移动轨迹在数据模型中查找与之关联的意图信息,并根据该意图信息启动视频会议终端的功能指令。具体地例子,若正在进行视频会议的用户A希望暂时关闭摄像头,则用户A可通过在屏目前隔空比划一个字母C的轨迹,并且在视频会议终端的屏幕上会显示出用户A所输入的字母C的移动轨迹图形,根据该图形在数据模型中查找到与之相关联的意图信息为想要关闭摄像头,根据该意图信息启动视频会议终端的关闭摄像头的功能指令,则此时的摄像头会关闭。
应当注意,尽管在上文详细描述中提及了用于实现手势控制视频会议终端的装置的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本发明的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
此外,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
虽然已经参考若干具体实施方式描述了本发明的精神和原理,但是应该理解,本发明并不限于所公开的具体实施方式,对各方面的划分也不意味着这些方面中的特征不能组合以进行受益,这种划分仅是为了表述的方便。本发明旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种手势控制视频会议终端的方法,包括以下方法:
通过视频会议终端拍摄图像;
从所述图像中识别出手的图像;
根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹;
基于所述手的移动方向和/或手的姿态和/或手的移动轨迹确认用户的意图;
基于用户的意图对所述视频会议终端进行相应的控制。
2.根据权利要求1所述的方法,所述视频会议终端包括:屏幕、摄像头以及麦克风中的一种或其组合;
所述摄像头为可转动摄像头以及可聚焦摄像头。
3.根据权利要求2所述的方法,所述通过视频会议终端拍摄图像的步骤包括:
通过所述视频会议终端上安装的摄像头拍摄处于所述摄像头前方的场景图像;
所述场景图像中包含用户的图像。
4.根据权利要求1-3其中一个所述的方法,所述从所述图像中识别出手的图像的步骤包括:
在判断出所述图像中包含预设条件后识别出手的图像并且在所述视频会议终端上调出唤醒菜单并显示当前焦点和/或在屏幕上相对位置显示一个手的光标和/或将识别出的手的图像在屏幕上突出显示;
所述预设条件为:视频会议终端摄像头拍摄的用户图像中含有预设姿态的手的图像并且该手以所述姿态持续了预定时间。
5.根据权利要求1所述的方法,所述根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹的步骤包括如下步骤中的至少一个:
根据视频会议终端摄像头拍摄的先后两张图像中手的位置的变化判断手的移动方向;
根据视频会议终端摄像头拍摄的先后两张图像中手的轮廓的变化判断手的姿态的变化;
根据视频会议终端摄像头拍摄的图像上手的轮廓判断手的姿态;
根据视频会议终端摄像头拍摄的连续的多张图像中手的位置的变化确定手的移动轨迹。
6.一种手势控制视频会议终端的装置,包括以下模块:
拍摄模块,用于通过视频会议终端拍摄图像的模块;
识别模块,用于从所述图像中识别出手的图像的模块;
判断模块,用于根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹的模块;
确认模块,用于基于所述手的移动方向和/或手的姿态和/或手的移动轨迹确认用户的意图的模块;
控制模块,用于基于用户的意图对所述视频会议终端进行相应的控制的模块。
7.根据权利要求6所述的装置,所述视频会议终端包括:屏幕、摄像头以及麦克风中的一种或其组合;
所述摄像头为可转动摄像头以及可聚焦摄像头。
8.根据权利要求7所述的装置,所述拍摄模块包括:
用于通过所述视频会议终端上安装的摄像头拍摄处于所述摄像头前方的场景图像的模块;
所述场景图像中包含用户的图像。
9.根据权利要求6-8其中一个所述的装置,所述识别模块包括:
用于在判断出所述图像中包含预设条件后识别出手的图像并且在所述视频会议终端上调出唤醒菜单并显示当前焦点和/或在屏幕上相对位置显示一个手的光标和/或将识别出的手的图像在屏幕上突出显示的模块;
所述预设条件为:视频会议终端摄像头拍摄的用户图像中含有预设姿态的手的图像并且该手以所述姿态持续了预定时间。
10.根据权利要求6所述的装置,所述用于根据所述手的图像判断手的移动方向和/或手的姿态和/或手的移动轨迹的模块包括如下模块中的至少一个:
用于根据视频会议终端摄像头拍摄的先后两张图像中手的位置的变化判断手的移动方向的模块;
用于根据视频会议终端摄像头拍摄的先后两张图像中手的轮廓的变化判断手的姿态的变化的模块;
用于根据视频会议终端摄像头拍摄的图像上手的轮廓判断手的姿态的模块;
用于根据视频会议终端摄像头拍摄的连续的多张图像中手的位置的变化确定手的移动轨迹的模块。
CN201910918997.1A 2019-09-26 2019-09-26 手势控制视频会议终端的方法和装置 Pending CN110611788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910918997.1A CN110611788A (zh) 2019-09-26 2019-09-26 手势控制视频会议终端的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910918997.1A CN110611788A (zh) 2019-09-26 2019-09-26 手势控制视频会议终端的方法和装置

Publications (1)

Publication Number Publication Date
CN110611788A true CN110611788A (zh) 2019-12-24

Family

ID=68893571

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910918997.1A Pending CN110611788A (zh) 2019-09-26 2019-09-26 手势控制视频会议终端的方法和装置

Country Status (1)

Country Link
CN (1) CN110611788A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835969A (zh) * 2020-07-06 2020-10-27 海信视像科技股份有限公司 一种控制摄像头角度的交互方法及显示设备
CN111931762A (zh) * 2020-09-25 2020-11-13 广州佰锐网络科技有限公司 基于ai的图像识别解决方法、装置及可读存储介质
CN112291599A (zh) * 2020-08-21 2021-01-29 海信视像科技股份有限公司 显示设备及调整摄像头角度的方法
CN112817557A (zh) * 2021-02-08 2021-05-18 海信视像科技股份有限公司 一种基于多人手势识别的音量调节方法及显示设备
CN113552949A (zh) * 2021-07-30 2021-10-26 北京凯华美亚科技有限公司 多功能的沉浸式影音交互方法、装置和系统
WO2022083357A1 (zh) * 2020-10-22 2022-04-28 海信视像科技股份有限公司 显示设备及摄像头控制的方法
CN114442797A (zh) * 2020-11-05 2022-05-06 宏碁股份有限公司 用于模拟鼠标的电子装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102323859A (zh) * 2011-09-08 2012-01-18 昆山市工业技术研究院有限责任公司 基于手势控制的讲义播放系统及方法
CN102648626A (zh) * 2009-10-14 2012-08-22 思科系统国际公司 用于摄像机控制的设备和方法
CN103019444A (zh) * 2012-12-09 2013-04-03 广州市动景计算机科技有限公司 一种触摸屏的触摸操作方法及触摸屏设备
US20130332952A1 (en) * 2010-04-12 2013-12-12 Atul Anandpura Method and Apparatus for Adding User Preferred Information To Video on TV
CN103607556A (zh) * 2013-11-25 2014-02-26 广东威创视讯科技股份有限公司 视频会议系统及其实现方法
CN104298348A (zh) * 2014-09-23 2015-01-21 广东欧珀移动通信有限公司 一种红外手势识别器、摄像方法、装置及摄像机
CN104345873A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 用于网络视频会议系统的文件操作方法和装置
CN104639865A (zh) * 2013-11-07 2015-05-20 中兴通讯股份有限公司 视频会议体感控制方法、终端及系统
CN105677031A (zh) * 2016-01-04 2016-06-15 广州华欣电子科技有限公司 基于手势轨迹识别的控制方法和装置
US20180048859A1 (en) * 2016-08-15 2018-02-15 Purple Communications, Inc. Gesture-based control and usage of video relay service communications
CN108536273A (zh) * 2017-03-01 2018-09-14 天津锋时互动科技有限公司深圳分公司 基于手势的人机菜单交互方法与系统
CN109032345A (zh) * 2018-07-04 2018-12-18 百度在线网络技术(北京)有限公司 设备控制方法、装置、设备、服务端和存储介质
CN109582144A (zh) * 2018-12-06 2019-04-05 江苏萝卜交通科技有限公司 一种人机交互的手势识别方法
CN109725723A (zh) * 2018-12-29 2019-05-07 百度在线网络技术(北京)有限公司 手势控制方法和装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102648626A (zh) * 2009-10-14 2012-08-22 思科系统国际公司 用于摄像机控制的设备和方法
US20130332952A1 (en) * 2010-04-12 2013-12-12 Atul Anandpura Method and Apparatus for Adding User Preferred Information To Video on TV
CN102323859A (zh) * 2011-09-08 2012-01-18 昆山市工业技术研究院有限责任公司 基于手势控制的讲义播放系统及方法
CN103019444A (zh) * 2012-12-09 2013-04-03 广州市动景计算机科技有限公司 一种触摸屏的触摸操作方法及触摸屏设备
CN104345873A (zh) * 2013-08-06 2015-02-11 北大方正集团有限公司 用于网络视频会议系统的文件操作方法和装置
CN104639865A (zh) * 2013-11-07 2015-05-20 中兴通讯股份有限公司 视频会议体感控制方法、终端及系统
CN103607556A (zh) * 2013-11-25 2014-02-26 广东威创视讯科技股份有限公司 视频会议系统及其实现方法
CN104298348A (zh) * 2014-09-23 2015-01-21 广东欧珀移动通信有限公司 一种红外手势识别器、摄像方法、装置及摄像机
CN105677031A (zh) * 2016-01-04 2016-06-15 广州华欣电子科技有限公司 基于手势轨迹识别的控制方法和装置
US20180048859A1 (en) * 2016-08-15 2018-02-15 Purple Communications, Inc. Gesture-based control and usage of video relay service communications
CN108536273A (zh) * 2017-03-01 2018-09-14 天津锋时互动科技有限公司深圳分公司 基于手势的人机菜单交互方法与系统
CN109032345A (zh) * 2018-07-04 2018-12-18 百度在线网络技术(北京)有限公司 设备控制方法、装置、设备、服务端和存储介质
CN109582144A (zh) * 2018-12-06 2019-04-05 江苏萝卜交通科技有限公司 一种人机交互的手势识别方法
CN109725723A (zh) * 2018-12-29 2019-05-07 百度在线网络技术(北京)有限公司 手势控制方法和装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111835969A (zh) * 2020-07-06 2020-10-27 海信视像科技股份有限公司 一种控制摄像头角度的交互方法及显示设备
CN112291599A (zh) * 2020-08-21 2021-01-29 海信视像科技股份有限公司 显示设备及调整摄像头角度的方法
CN111931762A (zh) * 2020-09-25 2020-11-13 广州佰锐网络科技有限公司 基于ai的图像识别解决方法、装置及可读存储介质
CN111931762B (zh) * 2020-09-25 2021-07-30 广州佰锐网络科技有限公司 基于ai的图像识别解决方法、装置及可读存储介质
WO2022083357A1 (zh) * 2020-10-22 2022-04-28 海信视像科技股份有限公司 显示设备及摄像头控制的方法
CN114442797A (zh) * 2020-11-05 2022-05-06 宏碁股份有限公司 用于模拟鼠标的电子装置
CN112817557A (zh) * 2021-02-08 2021-05-18 海信视像科技股份有限公司 一种基于多人手势识别的音量调节方法及显示设备
CN113552949A (zh) * 2021-07-30 2021-10-26 北京凯华美亚科技有限公司 多功能的沉浸式影音交互方法、装置和系统

Similar Documents

Publication Publication Date Title
CN110611788A (zh) 手势控制视频会议终端的方法和装置
CN105955579B (zh) 音乐播放控制方法及装置
US9367202B2 (en) Information processing method and electronic device
EP3822742B1 (en) Method, apparatus and device for triggering shooting mode, and storage medium
CN103955275B (zh) 应用控制方法和装置
CN104615359B (zh) 对应用软件进行语音操作的方法及装置
CN111880757A (zh) 投屏方法、投屏装置及存储介质
KR20040063153A (ko) 제스쳐에 기초를 둔 사용자 인터페이스를 위한 방법 및 장치
JP4275304B2 (ja) インターフェース装置およびインターフェース処理プログラムを記録した記録媒体
KR101242531B1 (ko) 시선 인식을 이용한 화면 처리 방법 및 휴대단말
JP6300389B2 (ja) ターゲットオブジェクトの表示方法及び装置
CN107272890A (zh) 一种基于手势识别的人机交互方法和装置
CN103135746B (zh) 基于静态姿势和动态姿势的非接触控制方法、系统和设备
JP6814604B2 (ja) 会議情報表示システム、会議情報表示方法および会議情報表示プログラム
CN107529699A (zh) 电子设备控制方法及装置
US20240048840A1 (en) Photographing device and control method thereof, and storage medium
CN107396151A (zh) 一种视频播放控制方法及电子设备
CN111596760A (zh) 操作控制方法、装置、电子设备及可读存储介质
TWI646526B (zh) 子畫面佈局控制方法和裝置
CN112954209B (zh) 拍照方法、装置、电子设备及介质
EP4105765A1 (en) Device control method, apparatus and system
CN109101181B (zh) 一种数据处理方法及电子设备
Hwang et al. A gesture based TV control interface for visually impaired: Initial design and user study
CN116149477A (zh) 交互方法、装置、电子设备和存储介质
JP2007102415A (ja) 2つの入力モードを有する携帯端末、プログラム及び携帯端末への指令入力方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191224