CN101842810B - 具有协作姿态检测的交互式显示系统 - Google Patents

具有协作姿态检测的交互式显示系统 Download PDF

Info

Publication number
CN101842810B
CN101842810B CN2008801139334A CN200880113933A CN101842810B CN 101842810 B CN101842810 B CN 101842810B CN 2008801139334 A CN2008801139334 A CN 2008801139334A CN 200880113933 A CN200880113933 A CN 200880113933A CN 101842810 B CN101842810 B CN 101842810B
Authority
CN
China
Prior art keywords
spectators
attitude
colony
delivery system
content delivery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801139334A
Other languages
English (en)
Other versions
CN101842810A (zh
Inventor
Y·刘
N·L·A·常
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN101842810A publication Critical patent/CN101842810A/zh
Application granted granted Critical
Publication of CN101842810B publication Critical patent/CN101842810B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种交互式内容递送系统(10)，其包括：用于将视觉内容显示给个体的群体(14)的装置(20)，用于检测群体的共同姿态的装置(12)；以及控制系统(26)，其耦合到用于显示视觉内容的装置(20)以及用于检测共同姿态的装置(12)。所述控制系统(26)被配置成响应于所述共同姿态来修改所述内容。

Description

具有协作姿态检测的交互式显示系统
背景技术
对于公共场所中的数字标牌来说，期望提供可以捕获并且保持观众的注意力的令人感兴趣的并且有吸引力的显示系统。通常，公共广告以及显示是“开环(open-looped)”并且不提供关于它们在引起注意力方面的有效性的直接反馈。代替地，内容提供商以及广告商提供他们认为将吸引期望观众的显示内容，但是通常仅可以间接地(例如通过销售数字(sales figures)、民意测验、焦点群体等等)估量其成功。另外，公共显示系统通常提供很少的方式或者不提供方式来使观众成员与系统或者与其他观众成员进行交互。
附图说明
根据下面结合附图的详细描述，本公开的各个特征和方面将显而易见，附图作为示例一起示出了本公开的特征，以及附图中：
图1是具有协作姿态检测的交互式显示系统的一个实施例的半透视、半示意图；
图2是具有协作姿态检测的交互式显示系统的另一个实施例的图，其示出通常以给定姿态协作的观众成员；
图3是具有协作姿态检测的交互式显示系统的另一个实施例的图，其示出通常以另一个姿态协作的观众成员；以及
图4是示出在交互式显示系统中用于协作姿态检测的方法的一个实施例中的步骤的流程图。
具体实施方式
现在将对附图中示出的示例性实施例进行参考，并且将在本文中使用特定语言来描述所述示例性实施例。然而，将要理解，不打算由此来限制本公开的范围。相关领域的且拥有本公开的技术人员能想到的本文所说明的特征的变更和进一步修改、以及本文所说明的原理的附加应用都被认为处于本公开的范围内。
对于公共地点中的数字标牌来说，重要的是创建可以反复地抓住观众注意力的非常吸引人的体验。如上所指出的那样，观众对显示或广告的响应的检测和识别可以为内容提供商提供关于内容的质量和内容对其观众的吸引力的有价值的反馈。这样的反馈还可以用来允许动态修改显示内容。
本公开给出了用于使用基于视觉的技术来检测观众的协作姿态以实现数字标牌和其他应用的交互性的系统和方法的实施例。在一个实施例中，本系统和方法检测协作姿态，而不是检测一个单一的姿态或者两个或更多个竞争性的或者甚至独立的姿态，并且使用这些来作为视听显示系统的反馈。
图1示出具有协作姿态检测的交互式显示系统10的一个实施例。该系统包括：指向观众14的至少一个成像设备12(例如照相机)；以及视频照相机计算机18，其互连到所述成像设备并且被配置成运行姿态检测和识别算法，所述观众14位于表示该成像设备的至少一部分视场的观众区域16中。该视频照相机计算机是一种视频图像分析计算设备，其被配置成分析由所述成像设备所拍摄的视觉图像。该成像设备可以被配置成以任何期望的帧率来拍摄视频图像(即一系列捕获运动的连续视频帧)，或者它可以拍摄静止图像。术语“视频照相机计算机”被用来指互连到该成像设备的计算设备，并且不打算将该成像设备限制成照相机本身。可以使用各种类型的成像设备。还应该认识到，本文所使用的术语“计算机”被宽泛地理解成指个人计算机、便携式计算机、内容服务器、网络PC、个人数字助理(PDA)、蜂窝电话或者能够执行从与交互式显示系统相关联的各种设备接收输入以及/或者向所述各种设备提供控制或驱动输出到所述各种设备所必需的功能的任何其他计算设备。
该成像设备12被定位在可变显示设备20附近，可变显示设备20诸如CRT、LCD屏、等离子体显示器、LED显示器、投影式显示器(正投影或背投影)或其他类型的显示设备。对于数字标牌应用来说，该显示设备可以是大尺寸公共显示器，并且可以是单个显示器或者多个单独显示器，所述多个单独显示器组合在一起以在拼接(tiled)显示中提供单一复合图像。这可以包括一个或多个投影图像，它们可以以各种方式叠加或组合或拼接在一起从而创建显示。诸如音频扬声器22之类的音频广播设备也可以被定位在显示器附近以连同在该显示器上提供的视频内容一起广播音频内容。
在图1中示出的系统还包括被互连以将期望的视频和音频输出提供到显示器20和音频扬声器22的显示计算机24。如图1所示，视频照相机计算机18可以被互连到显示计算机24，从而允许该显示计算机使用来自所述视频照相机计算机的反馈和分析。该显示计算机还可以向视频照相机计算机提供关于照相机设置的反馈，从而允许改变该照相机的聚焦、缩放、视场以及物理定向(例如摇摆(pan)、倾斜、横滚)，条件是这样做的机构与照相机相关联。该照相机计算机18可以包括输入/输出设备25，其具有键盘、监视器以及其他输入和输出设备(例如计算机鼠标等等)以允许直接输入数据到照相机计算机并且从该照相机计算机直接输出数据。类似地，显示计算机24还可以包括允许直接控制显示器20的输入/输出设备27。
要理解，单一的计算机可以被用来控制成像设备12和显示器20二者。这样的配置在图3中示出，其中单一的计算机26互连到成像设备12和显示设备20二者。该单一的计算机可以被编程为处理成像设备的控制和视频图像分析，以及控制到显示器的输出的所有功能。与在图1中所示的双计算机控制器配置一样，该单一的计算机控制器还可以包括允许直接控制系统以及来自/去往该系统的反馈的输入/输出设备29。
另外，计算机控制器可以是诸如局域网(LAN)的网络或网络的一部分，或者它可以被互连到网络。例如，如图2所示，显示计算机24可以被互连到网络32，其提供到远程计算机系统34的互连。可替换地，图3中示出的组合的控制计算机26还可以被互连到该网络以及由此互连到一个或多个远程计算机系统34。该网络32可以是局域网(LAN)，或者任何其他类型的计算机网络，包括互连的计算机和计算机网络的全局网，例如因特网。网络连接允许远程计算机从交互式显示系统的控制器接收输入，并且还向它提供控制命令以及其他输出。
控制器可以是包括处理单元、系统存储器以及将该处理单元耦合到计算机的各个部件的系统总线的任何类型的工作站计算机、个人计算机、或者便携式计算机。该处理单元可以包括一个或多个处理器，其中每一个处理器的形式可以是各种商业上可获得的处理器中的任何一种。一般来说，每个处理器从只读存储器以及/或者随机存取存储器接收指令和数据。控制器还可以包括通过相应的接口连接到系统总线的硬盘驱动器、软盘驱动器和CD ROM驱动器。该硬盘驱动器、软盘驱动器和CD ROM驱动器包含提供数据、数据结构以及计算机可执行指令的非易失性或永久存储的相应计算机可读介质盘。其他计算机可读存储设备(例如磁带驱动器、闪存设备以及数字多功能盘)还可以与控制器一起使用。
成像设备12被定向成朝向由单独的人28组成的观众14，他们聚集在由轮廓16指定的观众区域中。尽管该观众区域被示出为具有特定形状的明确轮廓，但是这仅打算表示在成像设备12附近存在其中可以看到观众的某个区域。观众区域可以具有多种形状，并且可以包括成像设备的整个视场或者该视场的某个部分。例如，图1中某些个体30可以在观众区域附近以及可能甚至在该成像设备的视场中，但却不在将由视觉识别系统分析的观众区域中。
在操作中，显示器20(以及音频扬声器22)向观众提供视觉和/或视听内容。该内容可以是商业广告、娱乐、政治广告、调查问题或者任何其他类型的内容的形式。该内容可以包括对于以某种姿态为形式的观众响应的建议、请求或其他类型的提示。这些请求或提示针对群体响应。所请求的姿态可以是身体的某种运动，包括相对细微的运动(例如微笑、脸部姿态或点头)到更明显的姿态(例如举手或摇手或者以某种方式(例如舞蹈或锻炼运动)移动整个身体)。将显而易见的是，存在可以被提示并且识别的许多类型的姿态。
在图2和图3中描绘了系统可以识别的某些群体姿态的示例。在这些示例中，使用对特定姿态的提示。然而，不需要使用提示，并且可以辨别所检测的姿态或行为且采取适当的反馈。作为一个示例，在图2中，已提示群体14响应于由显示系统所提供的某种询问而举起手。每当系统提示群体响应时，若干结果是可能的。大多数参与者可能以被请求的方式响应并且举起一只手，以28a指示这些群体成员。然而，一些参与者可能例如通过举起两只手而提供替换的但是潜在地符合要求的响应。以28b指示这样的个体。
其他观众成员可能用含糊的或者不适当的响应来进行响应，例如水平地伸出两个臂的个体28c。最后，某些观众成员可能根本不给出响应，例如个体28d。观众响应的视觉图像由成像设备12来拍摄，并且由图像分析计算机18进行分析。
已在过去的十年里广泛地研究了基于视觉的姿态检测和识别。基于视觉的检测经由例如背景相减、轮廓线检测等等的图像处理技术来捕获观众视图，以便检测并且分类特定姿态。例如，位于成像设备附近的观众参与者可以响应于内容共同地(collectively)执行某种类型的个体姿态(例如举起手)，或者他们可以执行协作姿态，例如群体舞蹈运动。可替换地，观众参与者可以以指定的方式排队或者以某一其他方式一起工作。
使用已经开发的群体姿态检测技术，系统执行的图像分析可以以至少两种基本方式运行。所述系统的一个操作模式是测量作为观众响应函数(例如寻找多数响应)的观众兴趣的等级。例如，可以检测出观众中同时举起许多手并且将其看作对所显示的内容的高度积极的反馈。例如，如果在图2中提供给观众的提示涉及后续内容的可选方案之间的选择，并且该系统被编程为基于观众的多数投票表决来提供内容，则在图2中示出的观众姿态将意味着15个观众成员中的12个赞成那时正被提供的特定选项。然后可以基于该多数投票表决来适配或修改所显示的内容，以便提供由观众响应所指示的内容，并且希望进一步吸引观众的注意力。
该系统可以执行的第二种方式是提示许多个体参与和显示系统的交互以提升交互性的等级。例如，可以提示观众同时效仿或模仿由所显示的内容指示的特定姿态。在图3中示出了这种交互的示例。在该图中，观众14可以表演群体舞蹈或者执行锻炼运动或一套动作(routine)，模仿在显示器20上同时示出的运动。如果该套动作要求每个观众成员在图中示出的那个时刻以一个特定的腿站立，则可以看出一些观众成员28e正确地执行该动作，其他成员28f相反地执行基本运动，一些观众成员28g执行完全不同的动作，并且还有其他成员28d根本不执行。
尽管观众响应有可能存在一些变化，但是假设群体在某种程度上一起行动，从而提供了对所显示的内容的协作响应。术语“协作姿态”或“群体姿态”或“共同姿态”指的是呈现出足够等级的关系或相似性的多个个体的那些姿态，或者遵循由数字标牌系统提供的某种类型的指示的那些姿态，或者落入预先定义的姿态候选种类的那些姿态。例如，观众可以被告知或者可以提前知道将引发某一响应的(一个或多个)期望的协作姿态，或者系统可以被配置成允许观众发现(一个或多个)这样的姿态。
要被检测的协作姿态不限于人的手，而是可以包括人的头、躯干、腿、脚或其他身体部分的移动，以及脸部表情。姿态还可以包括物理运动，或者身体定向的改变，例如向左转或向右转，或者朝向或远离显示设备移动。本质上，协作姿态指的是观众作为群体行为而不是个体行为呈现出的那些姿态。其他示例包括检测复杂的身体移动，例如大量观众成员执行跳跃运动或其他类似舞蹈的移动以触发以及/或者控制某个或某些事件。这一概念的一个示例是在足够多的观众成员表现(例如随着节拍跳舞)得足够好的情况下奖励每个观众成员“奖品”的群体舞蹈比赛或太极竞赛。另外，显示的内容可以包括请求来自群体的至少两个子群体的公共群体姿态进行竞争(compete)的提示。例如，显示系统可以提示第一半群体执行某一舞蹈或锻炼运动，然后提示另一半群体执行相同的运动，并且然后相对于彼此来对两个表现进行评级。其他的变化也是可能的。
协作姿态可以包括由一个或多个人执行的相同或相似移动，并且还可以包括协调的并且互补的姿态。例如，可以提示观众指向公共的位置，而不是每个观众成员指向公共的方向，这提供了在其中每个个体所指的视向因为角度差异而根据个体的位置变化的图像。作为协作但是变化的运动的另一个示例，可以提示观众执行像在体育运动事件中观众经常做的升起和落下的“波浪”运动。协作姿态可以提供同时允许多用户交互的机制。
在该系统中，视觉分析系统检测协作或共同姿态来收集来自一大群人的观众响应，而不是识别个体的不同姿态，或者如对于视频游戏等等所检测的仅仅竞争性的姿态。在该系统中，鼓励全体观众通过协作姿态彼此协调来形成与系统交互的群体，而不是采用来自一个单个个体的响应并且留下剩余观众(例如大多数观众)被消极地忽略。该系统被设计成响应于群体行为，而不是每个不同的个体行为。以这种方式，观众中的许多个体可以同时并且合作地与系统进行交互。该系统因此提供新的机制来使一群人与数字标牌或其他内容递送系统进行交互。群体交互的能力对数字标牌系统是有用的，使得观众可以变成积极地参与，从而潜在地增加了广告和商业机会并且创建了更大的观众吸引和口头传播兴趣。
在本文所公开的系统和方法中，因为观众中存在许多个体，所以可以基于呈现出所提示的协作姿态的若干个体来建立控制点。也就是说，代替设立许多控制点(每个控制点每次基于单个个体)，基于单个共同控制点，更多的观众成员可以参与控制系统或为该系统提供反馈。例如，可以检测手的姿态并且以与使用计算机鼠标来控制光标的方式相类似的方式来将其用于操控显示器上的单个控制点。通过测量协作行为，该方法在不会引起冲突的情况下允许多个用户同时操控控制点，而不是每个个体操控一个控制点。该控制点可以被多个个体的协作姿态触发。在这种情况下，协作姿态可以是手的姿态，其可以并发地遵循在观众中所检测到的相似的运动模式。
图4概述了包括在具有协作姿态检测的交互式内容递送系统的一个实施例中的步骤。为了开始该过程，系统首先提供一些初始显示输出(步骤50)。如上所述，该内容可以是商业广告、娱乐、政治广告、调查问题或者任何其他类型的内容的形式。该内容可以包括对于以某种姿态为形式的观众响应的公开的(overt)建议、请求或其他类型的提示。另一方面，该内容也可以包括对响应的隐藏的或下意识的提示或触发。在第一种情况下，该内容明确地指示或者请求观众做出特定姿态。在后一种情况下，该内容可以被构思成使得特定姿态(例如微笑)是很可能的(例如通过呈现出幽默的内容)，但是该内容没有明确地指示观众做出该姿态。在其他示例中，该内容可以不包括明显的或隐藏的提示，并且简单地对照姿态/行为的一个或多个预定模式来分类所检测到的姿态。这对于对照实际反应来确认期望的反应可能很有用。
一旦提供某一显示输出，该系统就利用(一个或多个)成像设备来捕获观众视图(audience view)(步骤52)。该步骤可以包括捕获单个快照或一系列帧/视频。它可以包括捕获整个照相机视场，或者仅一部分视场(例如区域、仅黑色/白色vs彩色等等)的视图。此外，要理解，多个成像设备可以被同时用来捕获用于处理的视频图像。
下一步骤是检测群体姿态或行为(步骤54)。例如，这可以通过检测多个个体姿态来完成。这是图像处理步骤的第一部分。该系统可以使用已经在上面讨论的视觉识别系统来检测姿态/行为的一个或多个预定模式。所检测的姿态或行为可以是脸部表情、运动或某一其他类型的姿态。还应该注意，可能希望预先校准(一个或多个)成像设备来简化图像处理步骤。例如，多照相机实施例可以结合在计算机视觉中公知的技术使用以解决各照相机之间的对极(epipolar)几何并且将运动估计向下降低到较简单的一维搜索。还可以执行其他类型的预先校准程序。
可以顺序地或者并行地执行各种计算机视觉和图像处理技术以便分析所捕获的图像数据。例如，可以首先形成低等级的检测算法(例如前景/轮廓线提取以及背景相减)以标识场景中的足够大的且移动的邻接区域。该算法然后前进以随着时间跟踪并且调整这些区域，以与所捕获的数据相一致。可以存在其他检测算法来帮助标识一起形成更复杂的姿态/行为的较简单的姿态/行为。这些可能包括用于脸部、表情(例如微笑、皱眉)、身体部分(头、手、躯干、臂、腿、脚等等)的检测符(detector)。该系统然后可以基于这些较简单的检测符中的一个或多个来检测姿态或行为。例如，跳跃运动可以被分解成两个臂和两个腿的一系列期望的运动以及上下移动的躯干。
可替换地，该系统可以被配置成根本不需要复杂的姿态识别算法。作为替换，基于视觉的系统可以被配置成识别在已经存在于多个人之间的多个姿态之间是否存在相关性。例如该协作姿态可以包括同时姿态或对称姿态。外表的多样性以及人体的非刚性影响姿态识别的准确性和有效性。因此，通常在识别程序的简单性以及其准确性之间存在折衷。接近该折衷的一种方式是创建要从观众识别的预先定义的协作姿态集合，其中这些的视觉特性存储在系统控制器的存储器中，从而降低视觉识别系统的复杂性的等级。
该方法的下一步骤是识别协作行为(步骤56)。该步骤可以包括聚集结果或者使其相关，或者检测姿态的相似性，以识别协作姿态/行为。在该步骤中，该系统分析输入数据并且基于各种检测符来计算得分，以便给一个或多个协作姿态/行为的出现的概率分等级。存在这样的协作姿态的许多示例。一种类型的协作姿态可以是观众中举起手，并且使用姿态识别技术来检测该姿态。这可以包括举起一只手或两只手来递送来自观众的关于所显示的内容的反馈，或者多个人同时执行的手指指向姿态。这个情形可能与“多数投票表决”方法相似，其中对举起的手的数目计数并且将其看作投票表决行为。要理解，举起手仅仅是可以考虑的许多协作姿态中的一个。例如，举起手的检测可以与脸部表情的检测和运动检测一起考虑以获得观众对所显示的内容的响应的更精确的测量。此外，系统可以被配置成不只是用表格列出(tabulate)简单的多数投票表决。例如，系统可以被配置成计算得分或评分(rating)，例如在0到10的尺度上的得分，以作为姿态的相对质量的评分或度量。例如，得分可以指示来自观众的积极的(或消极的)反馈的强度。可替换地，得分可以是协作行为自身的定性判断，例如舞蹈或锻炼表现或某一其他竞争活动的评分。
还可以聚集许多其他类型的姿态或使其相关。例如，脸部表情可以被检测以集中于例如观众中的笑脸。在某个特定瞬间系统可以集中于作为协作姿态的所有笑脸。可以使用脸部视觉技术来检测笑脸的数目、每个笑脸的持续时间以及微笑的程度，并且然后可以聚集结果来做出判断。这种类型的协作姿态可以被用来提供关于显示器上的内容的反馈(例如以评估触发观众微笑的内容的质量)，或者它可以被用作控制机制以允许对内容修改或适配，如将在下面更多讨论的。
对象检测和跟踪技术也可以被用来检测和跟踪人群中的每个个体的运动轨迹。在已检测到个体运动之后，分析可以集中于所有运动轨迹上运动的方向和速度。例如，协作姿态可以指遵循公共或相似轨迹、方向和/或速度的运动。该系统还可以被配置成基于遵循运动的特定速度、方向或轨迹的运动轨迹的数目来适配内容。
基于所识别的行为，该系统可以采取若干动作中的任何动作。在一个实施例中，系统可以基于共同行为来修改显示器输出(步骤58)。这可以包括基于所检测的姿态来触发来自显示计算机(图1中的24)的一个或多个输出。为了形成交互式系统，来自观众的输入通常转换成某种类别的输出。例如，通过协作姿态的检测，数字显示器可能被更新以及/或者被控制。如果所显示的内容提供了观众易于重复和模仿的某种类型的指示，则观众中的人群可能呈现出协作姿态。响应必须是由一群人而不是一个单个的不同个体实施的。有利地，所显示的内容可以以直观的方式引导观众执行协作姿态。该系统可以对观众中任何遵循所指定的姿态的个体的数目计数，并且可以由这样的个体的数目适配内容。以这种以及其他方式，协作姿态可以用作对可选内容的选择动作。
除了修改显示内容之外或者作为对修改显示内容的替换，协作行为可以被评估成关于该显示内容的有效性或该内容的反馈。这允许系统提供广告、娱乐、政治消息等等的有效性或效果的直接指示。再次，反馈可以是简单的是/否指示的形式，或者它可以是有效性的更相对度量，例如作为分布或百分比的效果得分(例如14％非常积极反应、20％积极反应、23％消极反应、15％非常消极、28％没有可辨别的反应)。
这时候，可以重复该过程本身。修改的显示内容可以包括就观众而言对协作动作的提示。在这种情况下，系统再次捕获观众视图(步骤52)，并且分析该视图以确定随后对显示内容做出什么样的改变。该过程可以根据需要重复多次直到不再存在要检测的协作姿态为止(步骤60)。然而，该过程可以随时再次开始。
因此本公开给出了结合数字标牌系统或其他内容递送系统视觉地检测群体姿态的系统和方法的实施例，以实现群体交互。该系统可以收集来自观众的对所显示的内容的响应(例如多数响应、或多个同时协作姿态)，并且测量观众兴趣的等级。所显示的内容然后可以被适配成进一步抓住观众的注意力。可替换地，许多个体可以与显示系统交互以增加交互性的等级，例如使观众同时模仿或效仿由所显示的内容指示的特定姿态。控制点可以由呈现出协作姿态的若干个体建立，而不是每次由单个个体来设立控制点。因此，更多观众成员可以参与到控制系统或者提供反馈中。
本发明的实施例可以被用来激发观众的协调动作。例如，所述显示可以指示并且引导观众模仿某个动作。在该上下文中，协作姿态可以被看成一种类型的符号语言。该姿态指示由观众激发的用以彼此协作的特殊事件。协作姿态包括两个或更多人之间的有意协作或者合作。例如，显示内容可以包括要执行的指令或者某一移动的示范，并且观众可以简单地效仿已示范的内容或者做已被指示的内容。还会存在一些要创建的内容，其包括实施已由该内容指定的任务的协作姿态。例如，可以提示观众以需要多于两只手来完成该任务的方式来移动在显示器上示出的虚拟对象。本发明的实施例还可以被用来提示、检测并且评估来自不同位置的多个观众的协作姿态。例如，具有协作姿态检测的多个交互式显示系统可以在不同的地理位置处被提供，并且被互连成网络。利用这种类型的系统，不同位置处的观众的协作姿态或动作可以被组合在一起或被一起分析。
本发明具有许多优点。它利用新颖的协作姿态检测作为用于数字标牌应用的新交互机制以为观众创建非常吸引人的体验。所提议的交互机制被谨慎地设计成获得来自协作和/或协调的多个用户的响应，并且奖励多个用户的参与。例如，在一个实施例中，系统检测来自多个个体的姿态而不管的他们的外形(例如高度、体重、体型、衣着等等)，并且标识从不同个体给出的这些姿态之间的关系(例如相似性)。系统对呈现出协作姿态的用户的数目计数，并且然后基于用户的数目来递送适当的响应(例如作为许多个体的协调的结果可以更新该内容)。最后，它试图捕获更多观众的注意力并且实现标牌系统和一大群用户之间的群体行为交互。
此外，系统实施例可以比其他视觉识别或姿态检测系统简单，并且因此需要实施不那么复杂的硬件。典型的姿态识别是包括运动检测、运动建模、运动分析、模式识别以及机器学习的复杂任务，而协作姿态检测可以是更易于实施的任务。协作姿态的检测不需要明确地识别人的姿态。相反，它仅需要检测是否存在彼此相关的两个或更多个姿态，因此简化了技术挑战。
尽管上述讨论主要集中于数字标牌应用，但是协作姿态检测的想法还可以扩展到不需要大显示器的其他应用中。例如，协作姿态检测可以用来评估、测量或判断协作活动或行为表现，例如一套同步游泳动作。还可以通过协作姿态的检测来分析其他类型的群体姿态、运动或活动。
要理解，上面提及的装置说明了本文所公开的原理的应用。对本领域普通技术人员来说显而易见的是，在不偏离如在权利要求中所陈述的本公开的原理和概念的情况下可以进行许多修改。

Claims (9)

1.一种交互式内容递送系统(10)，包括：
显示设备(20)，其适于将内容显示给由个体组成的群体(14)；
共同姿态检测设备(12)，其被配置成检测并且分析所述群体(14)的共同姿态；以及
控制系统(26)，其耦合到所述显示设备(20)和共同姿态检测设备(12)，并且被配置成响应于所述共同姿态来修改所述内容。
2.根据权利要求1所述的交互式内容递送系统，其中所述显示设备(20)是视频显示设备。
3.根据权利要求2所述的交互式内容递送系统，还包括音频广播设备(22)，其与所述视频显示设备(20)同步。
4.根据权利要求1所述的交互式内容递送系统，其中所述共同姿态检测设备(12)包括：
成像设备(12)；以及
图像分析计算机系统(18)，其耦合到所述成像设备，并且被配置成分析共同姿态。
5.根据权利要求4所述的交互式内容递送系统，其中所述图像分析计算机系统(18)被配置成计算指示来自所述群体的反馈的强度的得分。
6.根据权利要求1所述的交互式内容递送系统，其中所述控制系统(26)经由通信网络(32)互连到远程计算机系统(34)，由此所述远程计算机系统能够提供输入到所述控制系统并从其接收反馈。
7.根据权利要求1所述的交互式内容递送系统，其中所述显示器(20)的内容包括对公共群体姿态的提示。
8.根据权利要求7所述的交互式内容递送系统，其中所述公共群体姿态包括对可选显示内容的选择动作。
9.根据权利要求1所述的交互式内容递送系统，其中所述显示器(20)的内容包括请求来自所述群体(14)的至少两个子群体的公共群体姿态进行竞争的提示。
CN2008801139334A 2007-10-30 2008-10-30 具有协作姿态检测的交互式显示系统 Expired - Fee Related CN101842810B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US98362507P 2007-10-30 2007-10-30
US60/983625 2007-10-30
US60/983,625 2007-10-30
PCT/US2008/081879 WO2009059065A1 (en) 2007-10-30 2008-10-30 Interactive display system with collaborative gesture detection

Publications (2)

Publication Number Publication Date
CN101842810A CN101842810A (zh) 2010-09-22
CN101842810B true CN101842810B (zh) 2012-09-26

Family

ID=40591470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801139334A Expired - Fee Related CN101842810B (zh) 2007-10-30 2008-10-30 具有协作姿态检测的交互式显示系统

Country Status (4)

Country Link
US (1) US9292092B2 (zh)
EP (1) EP2203893A4 (zh)
CN (1) CN101842810B (zh)
WO (1) WO2009059065A1 (zh)

Families Citing this family (163)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
US9529440B2 (en) * 1999-01-25 2016-12-27 Apple Inc. Disambiguation of multitouch gesture recognition for 3D interaction
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US6990639B2 (en) 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US8745541B2 (en) 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
US10438448B2 (en) * 2008-04-14 2019-10-08 Gregory A. Piccionielli Composition production with audience participation
US7907117B2 (en) 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US9171454B2 (en) 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand
US8762892B2 (en) * 2008-01-30 2014-06-24 Microsoft Corporation Controlling an integrated messaging system using gestures
US8952894B2 (en) * 2008-05-12 2015-02-10 Microsoft Technology Licensing, Llc Computer vision-based multi-touch sensing using infrared lasers
US20100031202A1 (en) * 2008-08-04 2010-02-04 Microsoft Corporation User-defined gesture set for surface computing
US8847739B2 (en) * 2008-08-04 2014-09-30 Microsoft Corporation Fusing RFID and vision for surface object tracking
US8301443B2 (en) 2008-11-21 2012-10-30 International Business Machines Corporation Identifying and generating audio cohorts based on audio data input
US8749570B2 (en) 2008-12-11 2014-06-10 International Business Machines Corporation Identifying and generating color and texture video cohorts based on video input
US8190544B2 (en) 2008-12-12 2012-05-29 International Business Machines Corporation Identifying and generating biometric cohorts based on biometric sensor input
US20100153597A1 (en) * 2008-12-15 2010-06-17 International Business Machines Corporation Generating Furtive Glance Cohorts from Video Data
US20100153390A1 (en) * 2008-12-16 2010-06-17 International Business Machines Corporation Scoring Deportment and Comportment Cohorts
US11145393B2 (en) 2008-12-16 2021-10-12 International Business Machines Corporation Controlling equipment in a patient care facility based on never-event cohorts from patient care data
US8493216B2 (en) * 2008-12-16 2013-07-23 International Business Machines Corporation Generating deportment and comportment cohorts
US8219554B2 (en) 2008-12-16 2012-07-10 International Business Machines Corporation Generating receptivity scores for cohorts
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US20100199231A1 (en) 2009-01-30 2010-08-05 Microsoft Corporation Predictive determination
US7996793B2 (en) 2009-01-30 2011-08-09 Microsoft Corporation Gesture recognizer system architecture
US9652030B2 (en) 2009-01-30 2017-05-16 Microsoft Technology Licensing, Llc Navigation of a virtual plane using a zone of restriction for canceling noise
US8294767B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Body scan
US8866821B2 (en) 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
US8773355B2 (en) 2009-03-16 2014-07-08 Microsoft Corporation Adaptive cursor sizing
US9256282B2 (en) 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US8181123B2 (en) 2009-05-01 2012-05-15 Microsoft Corporation Managing virtual port associations to users in a gesture-based computing environment
US8340432B2 (en) 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US9015638B2 (en) 2009-05-01 2015-04-21 Microsoft Technology Licensing, Llc Binding users to a gesture based system and providing feedback to the users
US9498718B2 (en) 2009-05-01 2016-11-22 Microsoft Technology Licensing, Llc Altering a view perspective within a display environment
US9377857B2 (en) 2009-05-01 2016-06-28 Microsoft Technology Licensing, Llc Show body position
US8649554B2 (en) 2009-05-01 2014-02-11 Microsoft Corporation Method to control perspective for a camera-controlled computer
US9898675B2 (en) 2009-05-01 2018-02-20 Microsoft Technology Licensing, Llc User movement tracking feedback to improve tracking
US8638985B2 (en) 2009-05-01 2014-01-28 Microsoft Corporation Human body pose estimation
US8253746B2 (en) 2009-05-01 2012-08-28 Microsoft Corporation Determine intended motions
US8503720B2 (en) 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US8942428B2 (en) 2009-05-01 2015-01-27 Microsoft Corporation Isolate extraneous motions
US8542252B2 (en) 2009-05-29 2013-09-24 Microsoft Corporation Target digitization, extraction, and tracking
US8379101B2 (en) 2009-05-29 2013-02-19 Microsoft Corporation Environment and/or target segmentation
US8418085B2 (en) 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8009022B2 (en) 2009-05-29 2011-08-30 Microsoft Corporation Systems and methods for immersive interaction with virtual objects
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US8176442B2 (en) 2009-05-29 2012-05-08 Microsoft Corporation Living cursor control mechanics
US8856691B2 (en) 2009-05-29 2014-10-07 Microsoft Corporation Gesture tool
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US9182814B2 (en) 2009-05-29 2015-11-10 Microsoft Technology Licensing, Llc Systems and methods for estimating a non-visible or occluded body part
US8509479B2 (en) 2009-05-29 2013-08-13 Microsoft Corporation Virtual object
US8803889B2 (en) 2009-05-29 2014-08-12 Microsoft Corporation Systems and methods for applying animations or motions to a character
US8320619B2 (en) 2009-05-29 2012-11-27 Microsoft Corporation Systems and methods for tracking a model
US8145594B2 (en) 2009-05-29 2012-03-27 Microsoft Corporation Localized gesture aggregation
US8744121B2 (en) 2009-05-29 2014-06-03 Microsoft Corporation Device for identifying and tracking multiple humans over time
US8390680B2 (en) 2009-07-09 2013-03-05 Microsoft Corporation Visual representation expression based on player expression
US9159151B2 (en) 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
US9141193B2 (en) 2009-08-31 2015-09-22 Microsoft Technology Licensing, Llc Techniques for using human gestures to control gesture unaware programs
US8867820B2 (en) 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8988432B2 (en) 2009-11-05 2015-03-24 Microsoft Technology Licensing, Llc Systems and methods for processing an image for target tracking
US20110150271A1 (en) 2009-12-18 2011-06-23 Microsoft Corporation Motion detection using depth images
US10356465B2 (en) * 2010-01-06 2019-07-16 Sony Corporation Video system demonstration
US8284157B2 (en) 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US8334842B2 (en) 2010-01-15 2012-12-18 Microsoft Corporation Recognizing user intent in motion capture system
US8933884B2 (en) * 2010-01-15 2015-01-13 Microsoft Corporation Tracking groups of users in motion capture system
US8265341B2 (en) 2010-01-25 2012-09-11 Microsoft Corporation Voice-body identity correlation
US8864581B2 (en) 2010-01-29 2014-10-21 Microsoft Corporation Visual based identitiy tracking
US8659658B2 (en) 2010-02-09 2014-02-25 Microsoft Corporation Physical interaction zone for gesture-based user interfaces
US8633890B2 (en) 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US9400695B2 (en) 2010-02-26 2016-07-26 Microsoft Technology Licensing, Llc Low latency rendering of objects
US8119898B2 (en) * 2010-03-10 2012-02-21 Sounds Like Fun, Llc Method of instructing an audience to create spontaneous music
US20110223995A1 (en) 2010-03-12 2011-09-15 Kevin Geisner Interacting with a computer based application
US8279418B2 (en) 2010-03-17 2012-10-02 Microsoft Corporation Raster scanning for depth detection
US8213680B2 (en) 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
SG184183A1 (en) * 2010-03-19 2012-10-30 Xyz Wave Pte Ltd An apparatus for enabling control of content on a display device using at least one gesture, consequent methods enabled by the apparatus and applications of the apparatus
US8514269B2 (en) 2010-03-26 2013-08-20 Microsoft Corporation De-aliasing depth images
US8523667B2 (en) 2010-03-29 2013-09-03 Microsoft Corporation Parental control settings based on body dimensions
US9901828B2 (en) 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8379919B2 (en) 2010-04-29 2013-02-19 Microsoft Corporation Multiple centroid condensation of probability distribution clouds
US9400550B2 (en) 2010-05-06 2016-07-26 Nokia Technologies Oy Apparatus and method providing viewer feedback of observed personal user data
US8457353B2 (en) 2010-05-18 2013-06-04 Microsoft Corporation Gestures and gesture modifiers for manipulating a user-interface
JP2011253292A (ja) * 2010-06-01 2011-12-15 Sony Corp 情報処理装置および方法、並びにプログラム
US8803888B2 (en) 2010-06-02 2014-08-12 Microsoft Corporation Recognition system for sharing information
US8602887B2 (en) 2010-06-03 2013-12-10 Microsoft Corporation Synthesis of information from multiple audiovisual sources
US8751215B2 (en) 2010-06-04 2014-06-10 Microsoft Corporation Machine based sign language interpreter
US8675981B2 (en) 2010-06-11 2014-03-18 Microsoft Corporation Multi-modal gender recognition including depth data
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US8878656B2 (en) 2010-06-22 2014-11-04 Microsoft Corporation Providing directional force feedback in free space
US9086727B2 (en) 2010-06-22 2015-07-21 Microsoft Technology Licensing, Llc Free space directional force feedback apparatus
US20120004953A1 (en) * 2010-06-30 2012-01-05 Paul Comito Voting system
US9075434B2 (en) * 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US8613666B2 (en) 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
US8437506B2 (en) 2010-09-07 2013-05-07 Microsoft Corporation System for fast, probabilistic skeletal tracking
US20120058824A1 (en) 2010-09-07 2012-03-08 Microsoft Corporation Scalable real-time motion recognition
US8417058B2 (en) 2010-09-15 2013-04-09 Microsoft Corporation Array of scanning sensors
US10318877B2 (en) 2010-10-19 2019-06-11 International Business Machines Corporation Cohort-based prediction of a future event
CN103201710A (zh) * 2010-11-10 2013-07-10 日本电气株式会社 图像处理系统、图像处理方法以及存储图像处理程序的存储介质
US20120150650A1 (en) * 2010-12-08 2012-06-14 Microsoft Corporation Automatic advertisement generation based on user expressed marketing terms
US9848106B2 (en) 2010-12-21 2017-12-19 Microsoft Technology Licensing, Llc Intelligent gameplay photo capture
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
US9857868B2 (en) 2011-03-19 2018-01-02 The Board Of Trustees Of The Leland Stanford Junior University Method and system for ergonomic touch-free interface
US9098731B1 (en) 2011-03-22 2015-08-04 Plickers Inc. Optical polling platform methods, apparatuses and media
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US9298287B2 (en) 2011-03-31 2016-03-29 Microsoft Technology Licensing, Llc Combined activation for natural user interface systems
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US9244984B2 (en) 2011-03-31 2016-01-26 Microsoft Technology Licensing, Llc Location based conversational understanding
US8620113B2 (en) 2011-04-25 2013-12-31 Microsoft Corporation Laser diode modes
US9064006B2 (en) 2012-08-23 2015-06-23 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
US8760395B2 (en) 2011-05-31 2014-06-24 Microsoft Corporation Gesture recognition techniques
US8635637B2 (en) 2011-12-02 2014-01-21 Microsoft Corporation User interface presenting an animated avatar performing a media reaction
US9100685B2 (en) 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
US8898687B2 (en) 2012-04-04 2014-11-25 Microsoft Corporation Controlling a media program based on a media reaction
US8866771B2 (en) 2012-04-18 2014-10-21 International Business Machines Corporation Multi-touch multi-user gestures on a multi-touch display
US9190021B2 (en) 2012-04-24 2015-11-17 Hewlett-Packard Development Company, L.P. Visual feedback during remote collaboration
US9094570B2 (en) 2012-04-30 2015-07-28 Hewlett-Packard Development Company, L.P. System and method for providing a two-way interactive 3D experience
CA2775700C (en) 2012-05-04 2013-07-23 Microsoft Corporation Determining a future portion of a currently presented media program
JP5981643B2 (ja) * 2012-05-14 2016-08-31 チハン アトキン， 映画を鑑賞するための方法およびシステム
US20140040928A1 (en) * 2012-08-02 2014-02-06 Microsoft Corporation Audience polling system
US9374618B2 (en) * 2012-09-11 2016-06-21 Intel Corporation Interactive visual advertisement service
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9501151B2 (en) * 2013-02-13 2016-11-22 Google Inc. Simultaneous multi-user marking interactions
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9830612B2 (en) * 2013-03-11 2017-11-28 Capital One Financial Corporation Systems and methods for providing advertising services
US9361705B2 (en) * 2013-03-15 2016-06-07 Disney Enterprises, Inc. Methods and systems for measuring group behavior
IN2013MU02083A (zh) * 2013-06-19 2015-07-10 Tata Consultancy Services Ltd
KR102184269B1 (ko) * 2013-09-02 2020-11-30 삼성전자 주식회사 디스플레이장치, 휴대장치 및 그 화면 표시방법
JP2015064513A (ja) * 2013-09-26 2015-04-09 カシオ計算機株式会社 表示装置、コンテンツ表示方法及びプログラム
US10820293B2 (en) * 2013-10-10 2020-10-27 Aura Home, Inc. Digital picture frame with improved display of community photographs
US9965040B2 (en) 2013-12-23 2018-05-08 Intel Corporation Method for using magnetometer together with gesture to send content to wireless display
US11226686B2 (en) * 2014-01-20 2022-01-18 Lenovo (Singapore) Pte. Ltd. Interactive user gesture inputs
US9800845B2 (en) * 2014-02-07 2017-10-24 Microsoft Technology Licensing, Llc Projector-based crowd coordination and messaging
US9386272B2 (en) 2014-06-27 2016-07-05 Intel Corporation Technologies for audiovisual communication using interestingness algorithms
US9445048B1 (en) * 2014-07-29 2016-09-13 Google Inc. Gesture-initiated actions in videoconferences
US9753546B2 (en) 2014-08-29 2017-09-05 General Electric Company System and method for selective gesture interaction
CN104217619B (zh) * 2014-09-19 2017-05-17 广东建业显示信息技术有限公司 一种多人舞蹈教学互动投影装置
US10440757B2 (en) 2015-02-17 2019-10-08 Google Llc Second-screen control automatic pairing using push notifications
US10462421B2 (en) * 2015-07-20 2019-10-29 Microsoft Technology Licensing, Llc Projection unit
US11146661B2 (en) 2016-06-28 2021-10-12 Rec Room Inc. Systems and methods for detecting collaborative virtual gestures
JP6972526B2 (ja) * 2016-09-27 2021-11-24 大日本印刷株式会社 コンテンツ提供装置、コンテンツ提供方法、及びプログラム
US10950052B1 (en) 2016-10-14 2021-03-16 Purity LLC Computer implemented display system responsive to a detected mood of a person
WO2018141948A1 (en) 2017-02-06 2018-08-09 Flatfrog Laboratories Ab Optical coupling in touch-sensing systems
JP2019004927A (ja) * 2017-06-20 2019-01-17 カシオ計算機株式会社 電子機器、リズム情報報知方法及びプログラム
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
KR20230148270A (ko) * 2018-05-04 2023-10-24 구글 엘엘씨 자동 어시스턴트를 위한 시각적 단서들의 선택적 검출
CN109214279A (zh) * 2018-07-27 2019-01-15 东南大学 基于视频的在线人脸表情预检测方法及装置
US11336968B2 (en) * 2018-08-17 2022-05-17 Samsung Electronics Co., Ltd. Method and device for generating content
CN112889016A (zh) 2018-10-20 2021-06-01 平蛙实验室股份公司 用于触摸敏感装置的框架及其工具
US11574458B2 (en) 2019-01-02 2023-02-07 International Business Machines Corporation Automated survey results generation from an image
WO2020153890A1 (en) 2019-01-25 2020-07-30 Flatfrog Laboratories Ab A videoconferencing terminal and method of operating the same
US11589094B2 (en) * 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers
CN114730228A (zh) 2019-11-25 2022-07-08 平蛙实验室股份公司 一种触摸感应设备
WO2021158167A1 (en) * 2020-02-09 2021-08-12 Flatfrog Laboratories Ab Meeting interaction system
JP2023512682A (ja) 2020-02-10 2023-03-28 フラットフロッグ ラボラトリーズ アーベー 改良型タッチ検知装置
CN115943424A (zh) 2020-07-01 2023-04-07 富士胶片株式会社 图像数据处理装置及系统
CN116055667A (zh) * 2021-10-20 2023-05-02 瑞轩科技股份有限公司 会议系统及其操作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1289086A (zh) * 1999-09-21 2001-03-28 精工爱普生株式会社 交互显示系统
US7039676B1 (en) * 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment
US7274803B1 (en) * 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020015064A1 (en) * 2000-08-07 2002-02-07 Robotham John S. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US6704024B2 (en) 2000-08-07 2004-03-09 Zframe, Inc. Visual content browsing using rasterized representations
WO2002019081A2 (en) 2000-08-31 2002-03-07 Zframe, Inc. Gesture-based user interface to multi-level and multi-modal sets of bit-maps
US20060258457A1 (en) * 2005-04-22 2006-11-16 Brigham Thomas C Enhancement of collective experience
US20070030343A1 (en) * 2005-08-06 2007-02-08 Rohde Mitchell M Interactive, video-based content for theaters
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1289086A (zh) * 1999-09-21 2001-03-28 精工爱普生株式会社 交互显示系统
US7039676B1 (en) * 2000-10-31 2006-05-02 International Business Machines Corporation Using video image analysis to automatically transmit gestures over a network in a chat or instant messaging session
US7274803B1 (en) * 2002-04-02 2007-09-25 Videomining Corporation Method and system for detecting conscious hand movement patterns and computer-generated visual feedback for facilitating human-computer interaction
US7225414B1 (en) * 2002-09-10 2007-05-29 Videomining Corporation Method and system for virtual touch entertainment

Also Published As

Publication number Publication date
CN101842810A (zh) 2010-09-22
EP2203893A1 (en) 2010-07-07
US20100207874A1 (en) 2010-08-19
US9292092B2 (en) 2016-03-22
EP2203893A4 (en) 2014-05-07
WO2009059065A1 (en) 2009-05-07

Similar Documents

Publication Publication Date Title
CN101842810B (zh) 具有协作姿态检测的交互式显示系统
CN102656542B (zh) 用于演示的相机导航
Fothergill et al. Instructing people for training gestural interactive systems
Iocchi et al. RoboCup@ Home: Analysis and results of evolving competitions for domestic and service robots
Varona et al. Hands-free vision-based interface for computer accessibility
JP6267861B2 (ja) 対話型広告のための使用測定技法およびシステム
US20090258703A1 (en) Motion Assessment Using a Game Controller
US20120150650A1 (en) Automatic advertisement generation based on user expressed marketing terms
Berkman History of virtual reality
CN110716641B (zh) 交互方法、装置、设备以及存储介质
CN110968239B (zh) 一种展示对象的控制方法、装置、设备及存储介质
Cordeiro et al. ARZombie: A mobile augmented reality game with multimodal interaction
bin Mohd Sidik et al. A study on natural interaction for human body motion using depth image data
Sandygulova et al. Real-time adaptive child-robot interaction: Age and gender determination of children based on 3d body metrics
Wu et al. Communicative learning with natural gestures for embodied navigation agents with human-in-the-scene
Yang et al. A dataset of human and robot approach behaviors into small free-standing conversational groups
JP6819194B2 (ja) 情報処理システム、情報処理装置およびプログラム
Celiktutan et al. Computational analysis of affect, personality, and engagement in human–robot interactions
Alt et al. Orbuculum-Predicting When Users Intend to Leave Large Public Displays
KR102601329B1 (ko) 디지털사이니지를 이용한 맞춤형 고객 대응 장치
Ganguly et al. Kinect sensor based gesture recognition for surveillance application
Wang High-Performance Many-Light Rendering
Ambika et al. 11 Role of augmented reality and virtual reality in sports
Bulzacki Machine recognition of human gestures through principal joint variable analysis
RU2378714C1 (ru) Рекламно-выставочная компьютерная система распознавания возрастной группы и половой принадлежности зрителей-участников с помощью средств видеофикации

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120926

CF01 Termination of patent right due to non-payment of annual fee