CN105993038A - 操作控制系统的方法及因此的控制系统 - Google Patents
操作控制系统的方法及因此的控制系统 Download PDFInfo
- Publication number
- CN105993038A CN105993038A CN201580007519.5A CN201580007519A CN105993038A CN 105993038 A CN105993038 A CN 105993038A CN 201580007519 A CN201580007519 A CN 201580007519A CN 105993038 A CN105993038 A CN 105993038A
- Authority
- CN
- China
- Prior art keywords
- gesture
- controller
- user
- motion picture
- district
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C2201/00—Transmission systems of control signals via wireless link
- G08C2201/30—User interface
- G08C2201/32—Remote control based on movements, attitude of remote control device
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Position Input By Displaying (AREA)
- Image Analysis (AREA)
Abstract
一种操作用于控制设备的控制系统的方法,控制系统包括运动捕获仪器和用于提供用于控制设备的一个或多个设备功能的控制信号的控制器,该方法包括下列步骤:由运动捕获仪器捕获空间的运动图片图像并向控制器提供运动图片图像;由控制器分析运动图片图像以检测来自在空间中的用户的用户输入并由控制器检测由用户执行的手势;以及由控制器响应于手势的所述检测向设备提供控制信号用于控制所述一个或多个设备功能中的选定设备功能;其中所述分析由控制器通过监测在所述运动图片图像中的一个或多个手势区来执行,每个手势区与所述多个设备功能的一个相应的设备功能相关,以及其中为了提供所述控制信号,控制器确定其中手势被检测到的手势区,用于建立要控制的选定设备功能。
Description
技术领域
本发明通常涉及操作用于控制设备的控制系统的方法,控制系统包括运动捕获仪器和用于提供用于控制设备的一个或多个设备功能的控制信号的控制器,该方法包括步骤:由运动捕获仪器捕获空间的运动图片图像并向控制器提供运动图片图像;由控制器分析运动图片图像以检测来自在空间中的用户的用户输入并由控制器检测由用户执行的手势;以及由控制器响应于手势的所述检测而向设备提供用于控制所述一个或多个设备功能中的选定设备功能的控制信号。本发明还涉及用于执行这样的方法的控制系统和计算机程序产品。
背景技术
用于借助于手势来操作设备的方法和系统在应用的不同变体和领域中是可用的。这样的系统的早期实现仅仅依赖于由运动传感器对运动的检测以操作设备。然而,技术被发展且目前允许检测特定的运动模式,以使用户能够通过特定的手势靶向设备的操作或使设备的操作变得对在传感器前方的仅仅任何种类的运动更不敏感。
为了使能这样的功能,可应用图像分析算法来执行手势识别。这样的图像模式识别方法目的在于变得越来越准确和可靠以增加功能性。利用此,手势识别不仅变得更准确,它还变得更复杂,需要控制系统的更多的运算能力,系统因而在空闲状态中消耗更多的能量,或替代地需要相对于功能性的折衷。
同时,要求或需要与常规开关不同的控制方式的越来越多的系统变得可用。在现代家庭中,各种设备通过智能电话的使用而变得可控制。然而,因为智能电话可能并不总是在手边,基于手势的控制的使用也进入这个领域。例如,这样的设备可包括手势可控制的灯、电视机、计算机等。随着可依赖于基于手势的控制的设备的数量的增加,基于手势的控制系统和方法的复杂性的前面提到的增加也成为事实。
作为尖端的手势识别系统的例子,美国专利申请No. US 2011/0193939涉及具有深度摄像机的运动捕获系统,其中基于用户的大小和其它因素来定义用户的物理交互区。交互区可被锚定到用户并可适当地成形为具有它自己的坐标系以允许运动到对应行动的映射。系统跟踪用户的手(或其它身体部分)的移动,将它转换成在显示器上的对应的行动。
美国申请号US 2011/296353、US2009/027337和US2013/009861涉及应用基于手势的用户输入的其它控制系统。
发明内容
本发明的目的是提供仪器控制方法,其提供在可接受的复杂度水平下的高级水平的尖端性和用户舒适。
本发明实现这些和其它目的,因为它提供了操作用于控制设备的控制系统的方法。由该方法操作的控制系统包括运动捕获仪器和用于提供用于控制设备的一个或多个设备功能的控制信号的控制器。该方法包括以下步骤:由运动捕获仪器捕获空间的运动图片图像并向控制器提供运动图片图像。该方法还包括由控制器分析运动图片图像以检测来自在空间中的用户的用户输入并由控制器检测由用户执行的手势。响应于手势的所述检测,控制器根据该方法来向设备提供控制信号,来控制所述一个或多个设备功能中的选定设备功能。特别是,根据本发明,分析运动图片图像的方法的前面提到的步骤由控制器通过监测在所述运动图片图像中的一个或多个手势区来执行,其中每个手势区与所述一个或多个设备功能的一个相应的设备功能相关。为了控制信号到设备的所述提供,控制器确定其中手势被检测到手势区,用于建立要控制的选定设备功能。
本发明基于下面的洞悉:用于准确地识别手(或其它身体部分)做出的确切运动以辨别用户的特定的命令或指令的复杂手势识别系统是不需要的,以便允许各种设备功能用简单的手势被控制。在本发明中,通过定义将由控制系统监测的手势区并将每个手势区分配到特定的设备功能来将手势彼此区分开。控制系统接着只必须检测在所定义的手势区中的身体部分的活动以使控制系统能够直接区分待控制的设备功能。
如将认识到的,控制系统可优选地辨别执行在手势区中的运动的身体部分,以防止由用户在特定手势区中的意外运动意外地激活或去激活任何设备功能。而且,手势区可被锚定到在被监测的空间中的特定物体,例如椅子或桌子和甚至人。可通过将手势区定义为相对位于相对于它所链接到的物体或人的固定位置上来实现到物体或人的这个锚定。
控制系统可同时监测多个手势区,并且一旦在这些手势区中的一个或多个中检测到运动就执行对应的行动。替代锚定到物体或人,手势区也可被锚定到定义空间的周围环境的特定空间特征。例如,控制系统可监测位于房间的中间或在房间的入口前面右边或在相对于窗口的固定位置处的手势区。如果手势区被锚定到物体,则手势区可例如位于桌子之上、在长沙发或座椅的侧面处、在灯之下的区域中或相对于空间中的物体的任何其它适当的位置。在手势区被锚定到人的场合,它可例如被定位到用户的头的在他/她的肩膀之上的左边或右边、在人的腹部前方、在人的腿的左或右侧处(例如在他的膝盖附近)或可由用户方便地够到的任何其它适当的位置。
在整个申请中,词“实体”用于指示手势区被锚定于的实体,即物体、空间特征或人(用户或其他人)。如将认识到的,多个手势区可被锚定到同一实体或不同的实体,取决于由用户设置的情况或偏好。替代地或此外,多个手势区可被锚定到单个实体。
不同的手势区必须由控制系统可区分开以允许控制系统使检测到的手势与待控制的正确设备功能相关。使手势区重叠因此可能是事与愿违的,然而具有公共边界的相邻连续手势区可例如在2D或3D中被区分开。
控制系统本身可配备有深度跟踪功能,以允许与运动捕获仪器区分开相对于运动捕获仪器(例如摄像机)彼此对齐的不同手势区,只要这些手势区相对于运动捕获仪器位于不同(非重叠)的距离处。这样的深度跟踪功能可例如借助于由从不同的位置监测空间以捕获空间的3D信息的多个摄像机组成的运动捕获仪器来实现。体地啊地,运动捕获仪器可由单个摄像机组成,其中控制系统布置成借助于图像分析算法来区分深度。
例如,可使用单个摄像机通过当人或物体穿过空间移动时监测它的大小来区分深度。如果运动捕获仪器监测用户,则它能够简单地通过监测在移动时变得更大和更小的用户的大小来区分用户是否执行接近于摄像机或在离那里更远的一段距离处的手势。通过跟踪来自用户的骨骼信息(例如脚、膝盖、臀部、肩膀、肘、手和头的位置),控制系统可能识别人是否站或坐或躺在运动捕获仪器的前方。上述信息中的任一个可用于进一步区分用户的特定输入,而不必依赖于复杂的运动或图像分析算法。
为了允许控制系统监测手势区,可由控制系统的控制器通过访问数据仓库(例如存储器或类似物)或通过经由无线或有线网络例如从远程服务器接收手势区定义数据来得到手势区的手势区定义数据。这个手势区定义数据可基于从用户偏好接收的输入,用户偏好由用户或操作员在更早的任何时间提供到控制系统。
除了上述内容以外,根据另一实施例,控制器还可执行模式识别分析以提供来自运动图片图像的辅助信息,其用于识别来自运动图片图像的用户或另外的人。例如,控制器可被编程来执行面部识别以允许控制系统区分来自不同人的输入。替代执行面部识别,也可通过识别用户或另外的人的身体的从图像可区分开的其它特征来得到这个信息。
然而,如果控制系统和方法适合于也识别用户或另外的人,则控制器可进一步根据实施例访问与所识别的用户相关的手势区简档,其中手势区简档包含为所识别的用户定制的手势区定义数据,以及其中手势区简档由用于执行运动图片图像的分析的控制器使用,用于检测所识别的用户的用户输入。换句话说,第一用户可能已定义用于控制一个或多个设备的优先手势区,其中这些手势区被定位和链接到由那个用户考虑为适当的实体。例如,孩子可以有用于控制在房间中的灯的链接到比成年人更接近地面的物体的手势区。这允许孩子容易控制灯。
在甚至另一实施例中,由控制器监测的一个或多个手势区的位置、形状或存在或缺失可取决于由控制器识别的一个或多个用户和/或另外的人的存在或缺失,控制器根据所述识别来使用不同的手势区定义数据。例如,控制器可识别与用户在一起的未知的人的存在,并基于其来确定用户有访客。作为响应,控制系统可适配照明条件或打开音频系统来播放音乐。
根据另一实施例,该方法包括确定在两个用户和/或另外的人之间的距离的步骤,其中由控制器监测的一个或多个手势区的位置、形状、存在或缺失中的至少一个取决于距离。例如,一些手势区可以只在两个人站得彼此接近时出现,或在两个人之间的手势区可取决于这两个人相对于彼此的相对位置在大小上被适配。
根据本发明的另一实施例,该方法包括下列步骤:控制器对一个或多个运动图片图像执行模式识别分析,以识别在空间中的正在进行的活动。在这个实施例中,由控制器监测的一个或多个手势区的位置、形状或存在或缺失中的至少一个取决于活动的识别,其中控制器根据活动的所述识别来使用不同的手势区定义数据。例如,控制系统和控制器可识别出在运动图片图像上可见的人正坐在桌子周围,并可根据其来适配手势区的位置和大小。如果例如用于控制灯的手势区默认地位于室的入口附近,则在控制系统检测到用户或其他人正坐在桌子周围的情况下,控制系统可将这个手势区的位置适配到在桌子之上的区域。
根据第二方面,本发明涉及从通信网络可下载和/或存储在计算机可读和/或微处理器可执行介质上的计算机程序产品,该产品包括用于实施根据本发明的第一方面的方法的程序代码指令。而且,本发明涉及包括这样的计算机程序产品的数据载体。
根据第三方面,本发明涉及用于控制设备的控制系统,控制系统包括运动捕获仪器和用于提供用于控制设备的一个或多个设备功能的控制信号的控制器,其中运动捕获仪器布置成捕获空间的运动图片图像并向控制器提供运动图片图像,其中控制器布置成分析运动图片图像以检测来自在空间中的用户的用户输入,并检测由用户执行的手势;以及其中控制器还布置成响应于手势的所述检测而向设备提供控制信号以控制所述一个或多个设备功能中的选定设备功能;其中为了执行所述分析,控制器布置成监测在所述运动图片图像中的一个或多个手势区,每个手势区与所述一个或多个设备功能的相应设备功能相关,以及其中为了提供所述控制信号,控制器布置成确定其中手势被检测到手势区,用于建立要控制的选定设备功能。
附图说明
在下文中,本发明将参考附图通过其一些特定的实施例被描述,其中:
图1示意性图示根据本发明的实施例的方法;
图2a和2b示意性图示由本发明的控制系统的运动捕获仪器捕获的视频图像;
图3示意性图示在图2a和2b中所示的情况中使用的本发明的控制系统;
图4示意性图示在本发明的控制系统中使用的运动捕获仪器摄像机设备的视场;
图5示意性图示在本发明的控制系统中的运动捕获仪器中的摄像机设备如何协作以提供深度信息。
具体实施方式
在当前的描述中,术语“运动图片图像”用于指示由运动捕获设备拍摄的图像。术语“运动图片”应被理解为意指图像的连续记录系列,从其可识别出在图像上记录的场景中发生的任何运动。在本发明的很多实施例中,运动捕获仪器将是视频捕获仪器,且运动图片图像将是视频图像,例如一个或多个摄像机记录的场景(即房间或其它所监测的空间)。在其它实施例中,运动捕获仪器可包括热敏运动记录装置,例如热传感器或热摄像机或能够记录图像(从其可记录运动)的甚至其它类型的传感器。在当前的详细描述中,将参考视频图像和视频捕获仪器。然而应理解,本发明不限于常规视频捕获仪器,而是可包括例如在上文中指示的不同的运动捕获仪器。由于这个原因,参考权利要求,其使用也包括视频捕获仪器的术语“运动捕获仪器”和也包括视频图像的术语“运动图片图像”。
图1、2a、2b和3示意性图示如在本发明可被应用的一般情况中使用的本发明的方法、所捕获的视频图像和控制系统。如图3所示,控制系统60包括至少控制器62和可选的存储器63。虽然以控制系统中的存储器的形式的数据仓库的使用将是优先的,控制系统60可此外或替代地利用例如通过数据网络可到达的外部存储器或任何其它输入设备或服务器,可以替代地从其取回定义数据。
控制系统60使用无线信号72与无线网络的无线路由器66通信。替代地,控制系统60可连接到有线网络(未示出)或借助于直接电缆连接到由控制系统60的摄像机设备68和69形成的视频捕获仪器。在图3所示的实施例中,视频捕获仪器摄像机设备68和69利用无线信号73和74还与无线路由器66通信,以通过与控制器62的无线数据连接来交换视频图像。在图3的实施例中,视频捕获仪器68和69由用于捕获如图2a和2b所示的起居室30的视频图像的两个摄像机设备组成。替代地,不同数量的摄像机设备可应用于捕获视频图像。例如,控制系统60还可基于捕获视频图像的单个摄像机设备。而且,虽然在图3的实施例中利用摄像机设备,但是能够记录、定位和/或运动的替代的适当类型的传感器可应用于捕获视频图像。在图3的系统中,两个摄像机68和69被应用于从视频图像得到深度信息。
图2a图示由摄像机68或69之一从起居室30捕获的视频图像,其中用户44存在。在起居室30中,安装可通过控制系统来控制的多个设备。例如,起居室包括连接到扬声器40a和40b的灯43、电视机35和音频系统38。电缆33和机柜37也存在于起居室36中,音频系统38放置在机柜37中。
图1示意性图示本发明的方法1。下面将参考图2a和2b及图3解释本发明的方法。在本发明的方法中,由摄像机设备68和69组成的视频捕获仪器在步骤3中捕获视频图像,并将它们经由无线路由器66和通过无线信号72-74提供到控制系统60的控制器62。由摄像机之一捕获的典型图像在图2a中图示并在上面被简要地解释。控制器62永久地监测在所接收的每个视频图像中的多个手势区48-52、55和56。在该方法的步骤5中通过分析由视频捕获仪器摄像机设备68和69捕获的视频图像来执行这个监测。在图2a中指示手势区。定义锚定到用户44的多个手势区48、49、50、51和52。通过锚定手势区,手势区48-52中的每个位于相对于用户的固定相对位置上。手势区48和52位于用户44的左侧和右侧上,在他的上腿附近。手势区49和51位于用户44的头的左侧和右侧上。以及手势区50位于用户44的头之上。锚定到用户44的手势区48-52中的每个位于用户够到的方便位置上,以使用户能够容易控制在起居室30中的各种设备35、38和43的设备功能。在不同位置上定义另外的手势区,例如在电视机35前面的手势区56和在桌子33之上的手势区55。由控制器62使用的用于监测手势区48-52、55和56中的每个的手势区定义数据可由控制器62从存储器63取回。这个手势区定义数据可基于在安装系统并指示偏好的时候从用户44(或任何其他操作员)接收的输入,或可被预先存储。
在方法1的步骤7中,在分析期间,控制系统决定是否通过在任一手势区48-52、55和56中正在进行的手势的识别而接收到用户输入。如果没有用户输入或手势被检测到,根据分支8,在步骤5和7中的监测和分析继续。如果在步骤7中检测到手势,则方法转到分支9。分支9分成分支10和11:分支11确保手势区的监测继续,同时所接收的手势被处理。分支10与所接收的手势的处理相关。
为了在步骤15中处理所接收的手势,控制器62确定其中手势已被检测到的确切的手势区。手势区48-52、55和56中的每个与将由控制系统60控制的设备35、38和43的一个设备功能相关。可认识到,单个设备功能可与多个手势区相关,使得检测到在这些相关手势区的任一个中的手势触发设备功能的控制。然而,设备功能也可与单个手势区相关。如将认识到的,使多个设备功能与单个手势区相关是事与愿违的,因为在那种情况下,需要进一步的分析来确定在一个手势区中接收的手势是否意欲控制将与那个手势区相关的第一或第二设备功能。在本发明的大部分基本实施例中——其中没有进一步的分析被执行以取回关于所接收的手势的任何另外的信息,手势区只与一个设备功能相关,虽然多个手势区可与单个设备功能相关。
图2b图示用户44将他的手58提升到手势区49内。控制系统60仅仅检测到手58被提升到手势区49内。不需要由手58执行的任何运动的进一步分析来简单地检测用户意欲控制与手势区49相关的设备功能。手势区49与灯43的开启和关闭相关。因此,通过将手58提升到手势区49内,灯43被打开,这由图2b中的提升59示意性地指示。
在图1的方法中,在步骤7中检测到手势区48-52、55或56之一接收到用户输入。然后,根据分支10,用户输入的处理在步骤15中开始,同时系统维持在步骤5和7中的监测和分析。在步骤15中,控制系统60确定手58在手势区49中被提升,且控制器从存储器63中取回手势区49与灯43的打开和关闭相关的数据。在方法1的步骤23中,用于打开灯43的对应的控制信号由无线信号72和75发送到灯43。重要的是注意到下面将进一步解释的步骤17、18、19和20是方法1的可选步骤。在图1中,为了解释的目的图示这些步骤17、18、19、20,然而,在不同实施例中的图1的方法1可跳过步骤17-20并从步骤15直接转到步骤23。
步骤17、18、19和20示出可由控制系统的控制器62执行的可选的额外步骤,以从所捕获的视频图像得到额外的信息。例如在步骤17中,控制器62对所接收的视频图像执行模式识别分析,以从图像识别用户44。通过步骤17,控制系统60将能够识别出哪个用户提供哪个输入,或替代地是否从已知的用户或从存在于视频图像上的未知的人接收输入。这个信息可例如用于为每个用户个性化系统,并实现用户简档的使用,其中手势区定义数据存在用于个性化的手势区。例如,用户44可具有他自己的如在图2a和2b中定义的手势区,然而不同的用户可具有定义在对他/她更方便的不同的位置处的手势区。此外,通过使能输入是否从已知的用户或未知的人接收的检测,系统可依赖于这个信息不同地行动。例如,系统可被编程以忽略来自未知的人的信息,以便只接受来自已知用户的输入。替代地,系统可被编程以允许未知的人只控制已知用户可用的所有设备功能中的有限数量的设备功能。
在步骤18中,控制器确定在两个用户或图像中的另外的人之间的距离。替代地,系统可确定在用户和例如图像中的物体之间的距离。这可例如用于使由控制器监测的一个或多个手势区的位置、形状或存在或缺失取决于距离。例如,某些手势区例如在图2a和2b中的手势区56可以只在用户44在离电视机35的某个距离内时被监测。
在步骤19中,控制器62可执行从视频捕获仪器摄像机设备68和69接收的一个或多个视频图像的模式识别分析,用于识别在被监测的空间30中的正在进行的活动。例如,在步骤19中,控制器62可检测到用户44走过去到桌子33,且作为响应而激活在桌子33之上的手势区55用于监测。另一可能性是在步骤19中的控制器62检测用户或其他人是否坐在长沙发或在桌子33附近的其它座椅上,并响应于其而激活手势区55。将认识到,其它正在进行的活动的检测和对其的期望响应也可通过步骤19来实施。
在步骤20中,控制器62从接收自摄像机68和69的视频图像建立深度信息。这可以用各种方式完成。从使用单个视频捕获仪器摄像机设备捕获的视频图像取回深度信息邮件。这可参考下面的图4和5来被解释。
在图1中,步骤17、18、19和20被示意性图示为同时被执行(彼此并行地)。如将认识到的,步骤17、18、19和20——其中每个对本发明是完全可选的——也可以按任何期望顺序连续地被执行。本发明不限于在图1中图示的这些步骤的特定排序和时序。
图4示意性图示如果只有一个摄像机设备80的话,视频捕获仪器摄像机设备可如何从所捕获的图像取回深度信息。摄像机设备80监测人83。在图4所示的位置上,人83从顶到底完全填充由摄像机设备80捕获的图像。人83的高度由H指示。人83站在离摄像机设备80的距离D1处。摄像机80的视场由85指示。摄像机80位于在地面之上的高度81处。人83’是与83相同的人,只是然后更多地位于离摄像机80的距离D2处的后部。在由人83’指示的位置上,人从脚到头的高度H将填充较小量的图像,且人因此在由摄像机设备80捕获的图像上变得更小。通过知道高度H或通过当人移动到图像时相对地比较高度,深度信息可由控制系统从由摄像机设备80捕获的图像取回。在第一位置上的人83、在第二位置上的83’和后壁88的距离分别由D1、D2和D3指示。
图5示意性图示如果利用形成视频捕获仪器的两个摄像机设备90和91的话,来自图像的深度信息可如何被获取。摄像机设备90的视场由点线92a和92b示意性指示。摄像机设备91的视场由点线94a和94b示意性指示。两个人95和96(示意性图示)站在两个摄像机90和91的视场中。在摄像机90的图像上的人95的边缘由线107-1和107-2示意性图示。对于在摄像机90上的人96,这由线108-1和108-2指示。在摄像机91的图像中,线102-1和102-2指示人95的轮廓,且线103-1和103-2指示人96的轮廓。在人95和96之间,待检测的手势区100存在。
在摄像机91的图像中清楚地,区分开人95与人96很难且也许甚至不可能。这是因为在图像中人96主要站在人95后面。而且,如果人96把手伸向手势区100,则这将不被摄像机91检测到,因为手势区100位于人95后面且因此是不可见的。在摄像机90的图像中,人95和96以及手势区100都是完全可见的。因此,由人96通过把手伸向手势区100来执行的手势可从由摄像机90捕获的视频图像被检测到。从由摄像机90和91捕获的视频图像中,可取回深度信息,这允许区分开不同的人95和96、总是监测手势区100且甚至得到在选项之间的距离信息(例如在人95和96之间的距离)。
本发明的方法和系统提供优于现有技术的基于手势的控制系统和方法的各种优点。例如,本发明的系统允许很多设备功能的控制而基本上不需要高级分析算法来在图像中执行模式识别。简单地,在手势区中的身体部分(例如手)的检测足以识别待控制的设备功能,且对于由布尔参数控制的设备功能(在开或关,0或1、左或右等),仅仅在手势区中的身体部分的存在的检测足以提供对功能的完全控制。而且,通过只需要监测手势区,为其它任务或为减小能量消耗节省了很多算术能力,因为监测完整的图像用于手势区的检测是不必要的。在更高级的设置中,也可能只监测手势区或甚至其小区域,并且一旦活动在较小的区域中被检测到就放大监测的区域。这例如允许首先执行活动的简单检测,并在活动被检测到之后添加高级分析。这样的更高级的分析于是可包括运动模式的识别,或上面关于图1所述的步骤17-20中的任意。而且,这些步骤17-20可以是被实施来操作如上面已经提到的控制系统的标准过程的部分。
本发明已在其特定的实施例方面被描述。将认识,在附图中所示和在这里和上面描述的实施例仅为了例证性目的而设计,且并不以任何方式或手段被规定为对本发明是限制性的。这里讨论的本发明的上下文仅仅由所附权利要求的范围限制。
Claims (15)
1.一种操作用于控制设备(35, 38, 43)的控制系统(60)的方法,所述控制系统包括运动捕获仪器和用于提供用于控制所述设备(35,
38, 43)的一个或多个设备功能的控制信号的控制器(62),所述方法包括下列步骤:
由所述运动捕获仪器捕获空间的运动图片图像并向所述控制器(62)提供所述运动图片图像;
由所述控制器(62)分析所述运动图片图像以检测来自在所述空间中的用户的用户输入并由所述控制器(62)检测由所述用户执行的手势;以及
由所述控制器(62)响应于所述手势的所述检测向所述设备(35, 38, 43)提供控制信号用于控制所述一个或多个设备功能中的选定设备功能;
特征在于,所述分析由所述控制器(62)通过监测在所述运动图片图像中的一个或多个手势区(48, 49, 50, 51, 52, 55, 56)来执行,每个手势区(48, 49, 50, 51, 52, 55, 56)与所述一个或多个设备功能的一个相应的设备功能相关,以及其中为了提供所述控制信号,所述控制器(62)确定其中手势被检测到的所述手势区(48, 49, 50, 51, 52, 55, 56),用于建立要控制的选定设备功能。
2.如权利要求1所述的方法,其中所述手势区(55, 56)中的至少一个锚定到存在于所述空间中并在至少一个所述运动图片图像中可见的实体,所述实体是物体或空间特征中的至少一个,所述空间特征是定义所述空间的周围环境的特征。
3.如权利要求1或2所述的方法,其中所述手势区(48,
49, 50, 51, 52)中的至少一个锚定到存在于所述空间中并在至少一个所述运动图片图像中可见的实体,所述实体是所述用户或另外的人中的至少一个。
4.如权利要求3所述的方法,其中多个手势区(48, 49, 50, 51, 52)被锚定到所述用户,使得所述被锚定的手势区中的每个位于相对于所述用户的不同位置上,以及其中被锚定的手势区是未连接的和非重叠的。
5.如前述权利要求中的任一项所述的方法,其中所监测的所述手势区的手势区定义数据由所述控制器(62)通过下列操作中的至少一个得到:访问包含所述手势区定义数据的数据仓库(63)或通过无线或有线网络(72)接收手势区定义数据。
6.如前述权利要求中的任一项所述的方法,还包括下列步骤: 所述控制器(62)对一个或多个所述运动图片图像执行模式识别分析,以识别所述用户或另外的人。
7.如权利要求6所述的方法,还包括当识别出所述用户时,所述控制器(62)访问与所述识别出的用户相关的手势区简档,所述手势区简档包含为识别出的用户定制的手势区定义数据,其中所述手势区简档由所述控制器(62)使用来执行所述运动图片图像的所述分析,用于检测所述识别出的用户的用户输入。
8.如权利要求6或7所述的方法,其中由所述控制器(62)监测的一个或多个所述手势区的位置、形状或存在或缺失中的至少一个取决于由所述控制器(62)识别的一个或多个用户和/或另外的人的存在或缺失,所述控制器(62)根据所述识别来使用不同的手势区定义数据。
9.如权利要求6-8中的任一项所述的方法,还包括确定在两个用户和/或另外的人之间的距离的步骤,其中由所述控制器(62)监测的一个或多个所述手势区的位置、形状、或存在或缺失中的至少一个取决于所述距离。
10.如前述权利要求中的任一项所述的方法,还包括下列步骤:所述控制器(62)对一个或多个运动图片图像执行模式识别分析,用于识别在所述空间中的正在进行的活动,
其中由所述控制器(62)监测的一个或多个所述手势区的位置、形状或存在或缺失中的至少一个取决于所述活动的所述识别,其中所述控制器(62)根据所述活动的所述识别来使用不同的手势区定义数据。
11.如前述权利要求中的任一项所述的方法,还包括从所述运动图片图像建立深度信息(D1, D2, D3),所述方法包括下列项的至少一个:
所述分析步骤通过分析使用用于从所述运动图片图像得到深度信息的一个或多个摄像机单元捕获的运动图片图像来执行:
所述分析步骤包括在所述运动图片图像中的物体和/或用户和/或另外的人的大小分析的步骤,以建立所述深度信息。
12.一种计算机程序产品,其中所述计算机程序产品当在控制系统(60)上运行时能够根据如在权利要求1-11中的任一项或多项中定义的方法操作控制系统(60),所述控制系统(60)包括运动捕获仪器和用于提供用于控制设备(35, 38, 43)的一个或多个设备功能的控制信号的控制器(62)。
13.一种用于控制设备(35, 38, 43)的控制系统(60),所述控制系统(60)包括运动捕获仪器和用于提供用于控制所述设备(35, 38, 43)的一个或多个设备功能的控制信号的控制器(62),
其中所述运动捕获仪器布置成捕获空间的运动图片图像并向所述控制器(62)提供所述运动图片图像,
其中所述控制器(62)布置成分析所述运动图片图像用于检测来自在所述空间中的用户的用户输入,并用于检测由所述用户执行的手势;以及
其中所述控制器(62)还布置成响应于所述手势的所述检测而向所述设备提供控制信号用于控制所述一个或多个设备功能中的选定设备功能;
特征在于,为了执行所述分析,所述控制器(62)布置成监测在所述运动图片图像中的一个或多个手势区(48, 49, 50, 51, 52, 55, 56),每个手势区(48, 49, 50, 51, 52, 55, 56)与所述多个设备功能的一个相应的设备功能相关,以及其中为了提供所述控制信号,所述控制器(62)布置成确定其中手势被检测到的所述手势区(48, 49, 50, 51, 52, 55, 56),用于建立要控制的选定设备功能。
14.如权利要求13所述的控制系统(60),还包括下列项中的至少一个:
数据仓库(63),其用于在其中存储由所述控制器(62)监测的所述手势区(48, 49, 50, 51, 52, 55, 56)的手势区定义数据;以及
无线或有线通信单元,其用于接收由所述控制器(62)监测的所述手势区的手势区定义数据。
15.如前述权利要求中的任一项所述的控制系统(60),其中所述运动捕获仪器包括一个或多个摄像机单元,以及其中所述控制器(62)布置成从由所述一个或多个摄像机单元接收的运动图片图像建立深度信息。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14154248 | 2014-02-07 | ||
EP14154248.0 | 2014-02-07 | ||
PCT/EP2015/051463 WO2015117852A1 (en) | 2014-02-07 | 2015-01-26 | Method of operating a control system and control system therefore |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105993038A true CN105993038A (zh) | 2016-10-05 |
Family
ID=50112719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580007519.5A Pending CN105993038A (zh) | 2014-02-07 | 2015-01-26 | 操作控制系统的方法及因此的控制系统 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10191536B2 (zh) |
EP (1) | EP3103106A1 (zh) |
JP (1) | JP2017512327A (zh) |
CN (1) | CN105993038A (zh) |
WO (1) | WO2015117852A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110879532A (zh) * | 2019-12-11 | 2020-03-13 | 中国科学院长春光学精密机械与物理研究所 | 一种控制系统及设计方法 |
CN114746132A (zh) * | 2019-11-25 | 2022-07-12 | 拜耳医药保健有限责任公司 | 利用集成的流体注入器和相机的系统和方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10057078B2 (en) * | 2015-08-21 | 2018-08-21 | Samsung Electronics Company, Ltd. | User-configurable interactive region monitoring |
CN107436678B (zh) * | 2016-05-27 | 2020-05-19 | 富泰华工业(深圳)有限公司 | 手势控制系统及方法 |
US11127131B1 (en) * | 2021-02-22 | 2021-09-21 | Marc Michael Thomas | Systems and methods to assess abilities of two or more individuals to perform collective physical acts |
US20240098359A1 (en) * | 2022-09-19 | 2024-03-21 | Lenovo (United States) Inc. | Gesture control during video capture |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101810003A (zh) * | 2007-07-27 | 2010-08-18 | 格斯图尔泰克股份有限公司 | 增强的基于相机的输入 |
CN102722080A (zh) * | 2012-06-27 | 2012-10-10 | 绍兴南加大多媒体通信技术研发有限公司 | 一种基于多镜头拍摄的多用途立体摄像方法 |
US20130044912A1 (en) * | 2011-08-19 | 2013-02-21 | Qualcomm Incorporated | Use of association of an object detected in an image to obtain information to display to a user |
CN103353935A (zh) * | 2013-07-19 | 2013-10-16 | 电子科技大学 | 一种用于智能家居系统的3d动态手势识别方法 |
CN103369391A (zh) * | 2007-11-21 | 2013-10-23 | 高通股份有限公司 | 基于媒体偏好控制电子设备的方法和系统 |
CN103513762A (zh) * | 2012-06-15 | 2014-01-15 | 安泰科技有限公司 | 利用用户手势的操作方法及数码装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003316510A (ja) * | 2002-04-23 | 2003-11-07 | Nippon Hoso Kyokai <Nhk> | 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。 |
CN101213563A (zh) * | 2005-06-30 | 2008-07-02 | 皇家飞利浦电子股份有限公司 | 识别物体运动模式的方法 |
US8693724B2 (en) | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
US9400548B2 (en) | 2009-10-19 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture personalization and profile roaming |
US8659658B2 (en) | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
JP5625643B2 (ja) * | 2010-09-07 | 2014-11-19 | ソニー株式会社 | 情報処理装置、および情報処理方法 |
RU2455676C2 (ru) * | 2011-07-04 | 2012-07-10 | Общество с ограниченной ответственностью "ТРИДИВИ" | Способ управления устройством с помощью жестов и 3d-сенсор для его осуществления |
US8942881B2 (en) * | 2012-04-02 | 2015-01-27 | Google Inc. | Gesture-based automotive controls |
CN102982557B (zh) | 2012-11-06 | 2015-03-25 | 桂林电子科技大学 | 基于深度相机的空间手势姿态指令处理方法 |
JP6202810B2 (ja) * | 2012-12-04 | 2017-09-27 | アルパイン株式会社 | ジェスチャ認識装置および方法ならびにプログラム |
-
2015
- 2015-01-26 US US15/115,434 patent/US10191536B2/en not_active Expired - Fee Related
- 2015-01-26 JP JP2016545895A patent/JP2017512327A/ja active Pending
- 2015-01-26 CN CN201580007519.5A patent/CN105993038A/zh active Pending
- 2015-01-26 EP EP15702209.6A patent/EP3103106A1/en not_active Withdrawn
- 2015-01-26 WO PCT/EP2015/051463 patent/WO2015117852A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101810003A (zh) * | 2007-07-27 | 2010-08-18 | 格斯图尔泰克股份有限公司 | 增强的基于相机的输入 |
CN103369391A (zh) * | 2007-11-21 | 2013-10-23 | 高通股份有限公司 | 基于媒体偏好控制电子设备的方法和系统 |
US20130044912A1 (en) * | 2011-08-19 | 2013-02-21 | Qualcomm Incorporated | Use of association of an object detected in an image to obtain information to display to a user |
CN103513762A (zh) * | 2012-06-15 | 2014-01-15 | 安泰科技有限公司 | 利用用户手势的操作方法及数码装置 |
CN102722080A (zh) * | 2012-06-27 | 2012-10-10 | 绍兴南加大多媒体通信技术研发有限公司 | 一种基于多镜头拍摄的多用途立体摄像方法 |
CN103353935A (zh) * | 2013-07-19 | 2013-10-16 | 电子科技大学 | 一种用于智能家居系统的3d动态手势识别方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114746132A (zh) * | 2019-11-25 | 2022-07-12 | 拜耳医药保健有限责任公司 | 利用集成的流体注入器和相机的系统和方法 |
CN110879532A (zh) * | 2019-12-11 | 2020-03-13 | 中国科学院长春光学精密机械与物理研究所 | 一种控制系统及设计方法 |
CN110879532B (zh) * | 2019-12-11 | 2021-12-07 | 中国科学院长春光学精密机械与物理研究所 | 一种控制系统及设计方法 |
Also Published As
Publication number | Publication date |
---|---|
US10191536B2 (en) | 2019-01-29 |
EP3103106A1 (en) | 2016-12-14 |
WO2015117852A1 (en) | 2015-08-13 |
JP2017512327A (ja) | 2017-05-18 |
US20170177073A1 (en) | 2017-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105993038A (zh) | 操作控制系统的方法及因此的控制系统 | |
CN104378688B (zh) | 模式切换方法和装置 | |
KR100978011B1 (ko) | 국부적 환경 내의 사람들의 위치와 개인적 선호들에 따라 국부적 환경의 분위기를 적응시키는 시스템 및 방법 | |
JP5884554B2 (ja) | 手洗いモニタ、手洗いモニタ方法および手洗いモニタプログラム | |
CN114391163A (zh) | 手势检测系统和方法 | |
US20170049360A1 (en) | Method and apparatus for controlling display device, and intelligent pad | |
CN107113544A (zh) | 物联网设备的3d映射 | |
CN105581570B (zh) | 浴室的控制系统、方法和浴室镜 | |
CN105599642A (zh) | 座椅自动调节方法、装置及终端 | |
CN104881122B (zh) | 一种体感交互系统激活方法、体感交互方法及系统 | |
US11163367B2 (en) | Method of obtaining gesture zone definition data for a control system based on user input | |
US20110091069A1 (en) | Information processing apparatus and method, and computer-readable storage medium | |
KR20170007285A (ko) | 이미지들을 캡처하는 것을 돕기 위해 햅틱 피드백을 제공하기 위한 시스템 및 방법 | |
US20140340498A1 (en) | Using distance between objects in touchless gestural interfaces | |
KR102286043B1 (ko) | 재활운동 관리 장치 및 그 방법 | |
CN110528234B (zh) | 一种智能调整晾衣架高度的方法、智能晾衣架及控制设备 | |
CN103003761B (zh) | 处理视觉、听觉、嗅觉和/或触觉信息的系统和方法 | |
KR102588392B1 (ko) | 체형 관리 장치 | |
CN109996148B (zh) | 一种智能厨房多媒体播放系统 | |
CN107111363A (zh) | 监视 | |
CN107809656A (zh) | 信息处理方法及电子设备 | |
CN104063041A (zh) | 一种信息处理方法及电子设备 | |
US20130257584A1 (en) | Hearing and speech impaired electronic device control | |
KR20150144360A (ko) | 어플리케이션 패키지 기반의 맞춤형 서비스 제공이 가능한 스마트 홈 시스템과 이를 이용한 맞춤형 서비스 제공방법 및 이 방법을 수행하기 위한 기록매체 | |
JP2019062270A (ja) | 機器制御装置、機器制御方法及び機器制御システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161005 |