CN1462382A - 用于与实时的内容流相互作用的装置 - Google Patents

用于与实时的内容流相互作用的装置 Download PDF

Info

Publication number
CN1462382A
CN1462382A CN02801631A CN02801631A CN1462382A CN 1462382 A CN1462382 A CN 1462382A CN 02801631 A CN02801631 A CN 02801631A CN 02801631 A CN02801631 A CN 02801631A CN 1462382 A CN1462382 A CN 1462382A
Authority
CN
China
Prior art keywords
user
motion
sound
sensor
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN02801631A
Other languages
English (en)
Other versions
CN1296797C (zh
Inventor
M·A·斯蒂恩斯特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1462382A publication Critical patent/CN1462382A/zh
Application granted granted Critical
Publication of CN1296797C publication Critical patent/CN1296797C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1068—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals being specially adapted to detect the point of contact of the player on a surface, e.g. floor mat, touch pad
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8047—Music games
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/341—Floor sensors, e.g. platform or groundsheet with sensors to detect foot position, balance or pressure, steps, stepping rhythm, dancing movements or jumping
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G10H2220/415—Infrared beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Analytical Chemistry (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Systems (AREA)

Abstract

一种用于把实时的内容流转换成一个输出表示终端用户系统(10)，包括使用户能够和该内容流相互作用的用户接口(30)。用户接口(30)包括传感器(32a－f)，用于检测用户进行的运动与/或用户发出的声音。该传感器(32a－f)分布在该相互作用的区域中，使得该用户接口(30)可以确定检测的运动或声音在相互作用的区域内发生的三维的位置。根据检测的运动或声音的类型以及确定的位置，不同的内容流可被致动或解除致动。本发明使用户能够和该输出表示进行相互作用，并按照用户的意愿修改该输出表示，而不是仅仅作为观众。

Description

用于与实时的内容流相互作用的装置
本发明涉及一种用于接收和显示实时的内容流的系统和方法。具体地说，本发明能够使用户和显示的实时的内容流相互作用并使该显示的实时的内容流人格化。
讲故事和其它的叙述形式一直是娱乐和教育的流行形式。在这些最早的形式中，具有口头叙述，歌曲，书面通信，戏剧，以及印刷出版物。由于19世纪和20世纪的技术进步，现在可以把故事向在不同地点的大量的听众广播。广播媒体，例如收音机和电视机，通过同时向许多用户终端装置发送内容流或数据流，并且该转动装置把该流转换成音频与/或视频输出，使得故事讲述者能够向听众表达他们的思想。
这种广播媒体的局限性在于，它们向多个用户终端装置发送一个内容流，并因此传送一个不能偏离其预定的顺序的故事。这些装置的用户仅仅是旁观者，因而不能对故事的结果产生影响。用户可以在电视机或收音机上进行的和实时的内容流广播的唯一的相互作用是在在内容流之间进行转换，即通过改变频道进行该转换。向用户提供与故事讲述过程更多的相互作用，允许他们成为有创造性的并且按照其意愿帮助决定如何展开故事情节，因此使得其中的经历成为更令人愉快的，这将是有利的。
现在，计算机提供了一种使用户与实时的内容流相互作用的媒体。例如，已经创作了计算机游戏，这些游戏能够使用户控制位于虚拟环境例如洞穴或城堡中的人物的动作。游戏者必须控制他的人物，以便和其它人物相互作用，越过障碍物，并选择一条要在虚拟环境中走的路径。在在线计算机游戏中，实时的内容流从服务器向在一个网络上的多个个人计算机传输，使得多个游戏者可以和同一个人物、障碍物以及环境相互作用。虽然这种计算机游戏使用户具有一些用来决定故事如何展开(即对人物发生了什么)的自由度，该故事仍然趋于是非常重复的，因而缺少戏剧性的意义，这是因为要求人物重复相同的动作(例如开枪)，使得在游戏的大部分时间，产生相同的效果。
研发了多种儿童教育软件，这些软件使儿童能够在计算机上和讲述故事的环境相互作用。例如，LivingBooks研发了一种“相互作用书”，其把故事分成若干个场景，并且在每个场景播放一个短的生动的片断之后，使儿童能够控制场景中的多个要素(例如通过点击鼠标)来播放短的动画或滑稽故事。其它类型的软件为儿童提供了通过创作儿童自己的故事来表达他们的感情的工具。除去具有娱乐意义之外，已经证明，相互作用的讲述是发展儿童的语言、社交和认知技巧的强有力的工具。
不过，和这种软件相关的一个问题是，通常要求儿童使用键盘或者鼠标以便进行相互作用。这种输入装置必须用特定的方式控制，并需要儿童一定程度的手眼配合，因而很小的儿童使用时非常困难。此外，儿童的早期认知发展的一个非常重要的部分是应付他们的物理环境。通过“游戏”鼓励儿童进行相互作用的接口比常规的键盘和鼠标接口是有利的，因为从教育的观点看来，这是更有利的，其更直观，更容易使用，并且游戏对儿童提供参与学习过程的较大的动机。此外，扩展游戏区域(即如图可以相互作用的区域)的接口，以及使儿童能够和他们通常游戏的对象相互作用，可以促使更有趣的相互作用。
ActiMatesTMBarneyTM是由微软公司开发的一种相互作用的学习产品，其由嵌入活动的长毛绒洋娃娃中的小的计算机构成。该产品的更详细的说明由E.Strommen的论文“When the Interface is a TalkingDinosaur：Leaning Across Media with ActiMates Barney”Proceedingsof CHI’98，pages288-295说明了。儿童通过挤压洋娃娃的手来进行游戏，挤压洋娃娃的脚趾收听歌曲，以及通过盖住洋娃娃的眼睛来玩“躲躲猫”。Actimates Barney还可以接收来自个人计算机的无线电信号，并在儿童玩由ActiMates提供的教育游戏的同时训练儿童。虽然这个特定的产品鼓励儿童当中的相互作用，但是该相互作用只涉及遵循一些指令。洋娃娃不教导创造力或协作精神，这对发展学习是非常重要的，这是因为其不允许儿童控制任何动作。
CARESS(Creating Aesthetically Resonant Environments inSound)是用于设计一种工具的项目，该工具利用把身体姿势转换成声音的计算机接口激发儿童发展创造力和交流技巧。该接口包括可佩戴的传感器，其检测肌肉的动作，并足够灵敏，以便检测特意的运动。这些传感器在使在身体上有问题的儿童表达自己并和别人交流，借以激发他们参加学习过程方面是尤其有用的。不过，CARESS项目不是期望设计一种使用户能够和内容流进行任何类型的相互作用的接口。
本发明的目的在于使用户能够和在终端用户装置上接收的实时的内容流相互作用。按照本发明，该目的由权利要求1所述的一种用户接口实现了。实时内容流被转换成通过输出装置例如电视或计算机显示器向用户输出的表示。该表示传达一个叙述内容，其情节按照转换的实时内容流展开，并且通过致动或解除致动这些内容流，或者通过修改在这些内容流中传输的信息，用户和这些内容流的相互作用帮助确定故事的进展。用户接口使用户能够以简单的、直接的、以及直观的方式与实时内容流相互作用。在与实时内容流相互作用的同时，用户接口向用户提供身体的和精神的刺激。
本发明的一个实施例涉及一种系统和用户接口，该系统用于把实时内容流转换成一个要被输出的表示，用户通过该用户接口致动或解除致动该表示内的内容流。
在本发明的另一个实施例中，该用户接口包括至少一个运动检测器，用于检测由用户引起的运动或姿势。在这个实施例中，检测的运动决定哪个内容流被致动或者解除致动。
在另一个实施例中，用户接口包括多个运动传感器，它们以这种方式定位，使得能够检测和区分由在三维空间内的不同位置的一个或几个用户作出的运动。
在本发明的另一个实施例中，使一种特定的运动或者几种特定运动的组合和一个特定的内容流相关。当用户接口的运动传感器检测到由用户作出的特定的运动或特定运动的组合时，相应的内容流便被致动或者解除致动。
在本发明的另一个实施例中，用户接口包括多个用于检测声音的传感器。在这个实施例中，检测到的声音决定哪个内容流被致动或者解除致动。
在本发明的另一个实施例中，用户接口包括多个声音检测传感器，它们以这种方式定位，使得能够检测并区分由在三维空间内的不同位置的一个或几个用户发出的特定的声音。
在另一个实施例中，用户接口包括运动传感器和声音检测传感器的组合。在这个实施例中，按照检测到的用户作出的运动或者用户发出的声音，或者按照检测到的运动和声音的组合，内容流被致动。
参照下面结合附图进行的详细说明将清楚地理解本发明的这些和其它的实施例。
应当理解，这些附图只用于说明本发明，而不用于限制本发明，本发明只由所附的权利要求限制。
图1是说明用于把实时的内容流变换成一种表示的系统的配置的方块图；
图2说明按照一个示例的实施例的本发明的用户接口；
图3A和图3B分别表示用户接口的顶视图和侧视图；
图4是说明用于把实时的内容流转换成一种叙述的方法的流程图。
现在参看附图，图1表示按照本发明的一个示例的实施例用于把实时的内容流转换成一种表示的系统的配置。终端用户装置10接收实时的数据流或内容流，并把该流转换成适合于在输出装置15上向用户输出的形式。终端用户装置10可以作为硬件、在微处理器上执行的软件、或者二者的组合被构成。本发明的终端用户装置10和输出装置15的一种可能的实施方案是对要发送给电视机的数据流进行译码的机顶盒。终端用户装置10也可以在个人计算机系统中被实施，用于译码并处理要输出到计算机的CRT显示器和扬声器上的数据流。许多不同的结构都是可能的，如同本领域普通技术人员熟知的那样。
实时的内容流可以是按照适用于压缩和传输多媒体数据的标准编码的数据流，该标准例如是活动图像专家组(MPEG)标准系列中的一种。不过，实时的内容流不限于任何特定的数据格式或编码方案。如图1所示，实时的内容流可以通过有线或无线网络，从几个不同的外部源其中之一，例如电视广播电台50或计算机网络服务器传输给终端用户装置。另外，实时的数据流可以从和终端用户装置相连的数据存储装置70，例如CD-ROM，软盘，或数字通用盘(DVD)取得。
如上所述，实时的内容流通过输出装置15被转换成要和用户通信的表示。在本发明的示例的实施例中，该表示向用户传送一个故事或者叙述内容。不像现有技术的系统那样，该系统仅仅传送其情节是由实时的内容流预先确定的故事，本发明包括用户接口30，其使得用户能够通过致动或解除致动和叙述表示相关的内容流，和叙述表示相互作用，并帮助决定叙述表示的发展。例如，每个内容流可以使叙述内容遵循一个特定的故事情节，并且用户通过致动一个特定的流或者情节来决定如何使情节展开。因此，本发明使用户能够发挥创造性并按照自己的意愿使故事个性化。不过，本发明不限于把实时的内容流转换成要被呈现给用户的叙述内容。按照本发明的其它示例的实施例，可以使用实时的数据流传送歌曲、诗歌、音乐乐曲、游戏、虚拟环境、可修改的图像、或者任何其它类型的用户可以按照其个人意愿修改的内容。
如上所述，图2详细表示按照本发明的一个示例的实施例的用户接口30，其包括分布在一个三维区域中的多个传感器32，用户在该三维区域内进行相互作用。相互作用区域36通常紧靠输出装置15。在示例的实施例中，每个传感器32包括运动传感器34，用于检测用户的运动或手势，声音检测传感器33(例如麦克风)，用于检测用户发出的声音，或者包括运动传感器34和声音检测传感器33二者的组合(图2表示包括这种组合的传感器32)。
运动传感器34可以包括有源传感器，其对环境注入能量，从而检测由运动引起的改变。有源运动传感器的一个例子包括由光传感器检测的光束。光传感器能够通过检测被检测的光的数量的改变来检测横过光束因而遮断该光束的人或物体。另一种有源运动传感器使用雷达的形式。这种传感器发出一串微波能量，并等待反射的能量返回。当有人进入微波能量的区域时，传感器则检测到反射的能量的数量或者反射到达所用的时间的改变。其它的有源运动传感器类似地使用反射的超声波来检测运动。
此外，运动传感器34可以包括无源传感器，其检测由用户辐射的红外能量。这种传感器被称为PIR检测器(被动的红外)，并被设计用于检测波长在9微米和10微米之间的红外能量。这个范围内的波长相应于由人体辐射的红外能量。按照由进出检测的范围的人引起的被检测的红外能量的改变来检测运动。PIR传感器一般具有非常宽的检测角(高达或者超过175度)。
当然，也可以在用户接口30中使用其它类型的运动传感器，包括可佩戴的运动传感器和视频运动检测器。可佩戴的运动传感器可以包括虚拟现实手套，检测肌肉的电活动的传感器，以及检测人体关节的运动的传感器。视频运动检测器检测由视频摄像机拍摄的图像的运动。一种视频运动检测器检测在图像的所选区域中的光量的突然改变来检测运动。更复杂的一种视频运动检测器利用运行图像分析软件的计算机。这种软件能够区分由用户作出的不同的面部表情或手势。
用户接口30可以包括一个或几个上述的运动传感器和本领域公知的用于检测运动的任何其它类型传感器。
检测声音的传感器33可以包括任何类型的用于把声波转换成电信号的转换器(例如麦克风)。由声音检测传感器检测到的电信号可以和一个门限信号比较，以便区分由用户发出的声音和环境噪声。此外，该信号可以被放大，并由模拟装置或在计算机上运行的软件进行处理，以便检测具有特定频率图形的声音。因此，检测声音的传感器34可以区分不同类型的声音，例如跺脚和拍手的声音。
检测声音的传感器33可以包括语音识别系统，用于识别用户说的某个单词。声波可被转换成放大的电信号，该电信号由模拟语音识别系统进行处理，该识别系统能够识别有限的词汇量；此外，该转换的电信号可以被数字化，并被语音识别软件处理，该语音识别软件能够识别较大量的词汇。
检测声音的传感器33可以包括上述的不同的实施例中的一种及其改型，如同本领域技术人员所知的。按照示例的实施例，用户接口30可以包括采用一个或几个不同的实施例的一个或几个检测声音的传感器34。
图3A和3B表示用户接口30的一个示例的实施例，其中具有位于用户进行相互作用的交互作用区域36的周围的多个传感器32a-f。传感器32a-f被这样设置，使得用户接口30不仅能够检测到用户在交互作用区域36内是否运动或者是否发出声音，而且还能确定在交互作用区域36内用户运动或发声的特定位置。如图3A和3B所示，交互作用区域36可以被分成多个三维的区域。具体地说，图3A表示用户接口30的顶视图，其中交互作用区域36的二维平面被分成象限36a-d。图3B表示用户接口30的侧视图，其中交互作用区域被进一步按照第三个维度(垂直的)分成区域36U和36L。在图3A，3B所示的实施例中，交互作用区域36可以被分成8个三维区域：(36a，36U)，(36a，36L)，(36b，36U)，(36b，36L)，(36c，36U)，(36c，36L)，(36d，36U)，(36d，36L)。
按照这个实施例，用户接口30能够确定检测到的运动或声音所在的三维位置，这是因为，有多个传感器32a-f被设置在交互作用区域36的周围。图3A表示传感器32a-f的位置被这样设置，使得在象限36a或36c发生的运动或者声音在传感器32a，32b和32f将产生比传感器32c，32d和32e较强的检测信号。同样，在象限36c或36d发生的运动或者声音在传感器32f和32e将产生比传感器32b和32c较强的检测信号。
图3B表示传感器32a-f所在的不同高度。例如，传感器32b，32f和32d将比传感器32a，32c和32e更强地检测到接近地面发生的运动或声音。
因此，用户接口30可以根据每个传感器的位置和由该传感器产生的信号的强度确定运动或声音是在哪个三维区域内发生的。作为例子，下面结合图3A，3B说明一个实施例，其中传感器32a-f的每一个都含有PIR传感器。
当用户在位置(36b，36U)挥手时，传感器32a-f的每个PIR传感器34可以检测到发出的红外能量的一定数量的改变。不过，传感器32c的PIR传感器将检测到最大的变化量，这是因为其靠近该运动。因此，传感器32c将输出最强的检测信号，因而，用户接口通过确定哪一个三维位置最接近传感器32c，便可以确定发生运动的三维位置。
类似地，用户在交互作用区域36内发出声音的位置可以由传感器32a-f中的检测声音的传感器33按照各自的位置和检测到的信号输出的大小来确定。
图3A，3B表示一个示例的实施例，不应当构成对本发明的限制。按照另一个示例的实施例，用户接口30可以包括视频运动检测器，其包括图像处理软件，用于分析视频图像，从而确定运动在交互作用区域36内的位置和类型。在另一个示例的实施例中，用户接口还可以包括由压电电缆构成的网格，其覆盖交互作用区域36的地板，用于检测用户的脚步的位置和力。
在一个示例的实施例中，终端用户装置10根据由用户接口30检测到的运动与/或声音的类型决定哪一个内容流应当在表示中被致动或解除致动。在这个实施例中，由终端用户装置接收的每个内容流可以包括使该内容流和特定的姿势或运动联系的控制数据。例如，跺脚可以和使叙述内容中的人物开始散步或跑步的内容流相关联。类似地模拟使用一个装置或工具的手势(例如使用铲子的挖掘运动)可以和用于使人物使用该装置或工具的内容流相关联。
在另一个示例的实施例中，用户可以模拟结合一个特定的被致动的内容流正在被输出的运动或声音，以便解除致动该内容流。与此相反，用户可以模拟一个特定的内容流的运动或声音，以便选择该内容流被用户进一步控制。
在另一个示例的实施例中，一个特定内容流可以按照由一个或几个用户说的特定单词或产生的特定类型的声音被致动。和上述的实施例类似，每个接收的内容流可以包括用于使其和特定的单词或声音联系的控制数据。例如用户通过说表示一个动作的单词(例如“跑”)，可以使叙述内容中的人物执行相应的动作。通过发出一般和一个物体有关的声音，用户可以使该物体出现在屏幕上或者由故事中的人物使用。例如通过说“猪”或发出呼噜声，用户便可以使得屏幕上出现一头猪。
在另一个示例的实施例中，内容流可以包括用于使内容流和运动或声音产生的特定位置关联的控制数据。例如，如果用户想要人物朝向一个特定的方向运动，用户就可以指向该特定方向。用户接口30将确定用户的手运动的位置，并向终端用户装置10发出位置信息，这便致动使人物朝向相应的方向运动的内容流。
在另一个示例的实施例中，内容流可以包括用于关联该内容流和特定的运动或声音的控制数据，并且终端用户装置10可以使内容流显示在屏幕上和用户发生该运动或声音的位置相应的位置上。例如，当用户模拟舞步时，用户的每一步将使一个脚印显示在屏幕上的和在交互作用的区域内的实际脚步的位置相应的位置上。
按照另一个示例的实施例，用户接口30不仅确定由用户产生的运动或声音的类型，而且还确定产生该运动或声音的方式。例如用户接口可以通过分析检测到的声波的大小来确定用户发出一个口头命令的声音的洪亮程度。此外，用户接口30还可以确定用户发出一个手势所用的力的量或速度。例如测量反射能量的有源运动传感器(例如雷达)可以检测运动的速度。此外，基于压力的传感器，例如由压电电缆构成的网格，可用于检测某个运动的力的大小。
在上述实施例中，内容流被输出的方式依赖于用于致动该内容流的用户发出的运动或声音的方式。例如用户歌声的大小可用于确定该内容流在屏幕上保持可见的时间长度。同样，用户跺脚的力可用于确定一个内容流在屏幕上运动的速度。
按照本发明的另一个示例的实施例，一个内容流按照一系列的运动与/或声音或者按照运动与/或声音的组合被致动或解除致动。这个实施例可以通过把控制数据包括在接收的数据流中来实现，该控制数据用于联系该数据流和一组运动与/或声音。这个实施例的其它可能的实施方案包括当传感器32检测到一组具有特定序列的或者在某个时间间隔内的运动与/或声音时致动或解除致动内容流。
按照另一个示例的实施例，在终端用户装置10接收的实时内容流可以包含用于自动地致动或解除致动某个内容流的控制数据。这可以使得实时流的创作者能够控制哪些内容流被致动和解除致动。在这个实施例中，叙述内容的作者通过按照在传输的实时内容流内的控制数据致动或解除致动某个内容流，对故事情节的展开进行一定的控制。
在本发明的另一个示例的实施例中，当多个用户同时和本发明相互作用时，用户接口30可以区分由每个用户产生的运动或发出的声音。因此，每个用户都有权利通过终端用户装置致动或解除致动不同的内容流。检测声音的传感器33可以配备有语音识别硬件或软件，使用户接口能够确定哪个用户说的某个指令。用户接口30通过对每个用户分配交互作用区域36的一个特定的部分使得可以区别不同用户的运动。当在交互作用区域36的某个位置检测到一个运动时，用户接口便把该运动归因于指定的用户。此外，视频运动检测器可以包括图像分析软件，其能够识别产生特定运动的用户。
在上述的实施例中，每个用户可以控制在交互作用的叙述内容表示中的不同的人物。在内容流内的控制数据可以联系该内容流和可以致动或解除致动该内容流的特定用户。因此，只有控制特定人物的用户才可以致动或解除致动和该人物相关的内容流。
在另一个示例的实施例中，由两个或更多个不同用户致动的两个或更多个内容流可以组合成为一个内容流。例如，在每个用户致动一个内容流之后，他们可以通过发出一个口头指令(例如“组合“)，或者通过进行特定的运动(例如彼此相向运动)组合致动的内容流。
按照另一个示例的实施例，用户接口30可以包括一个或几个由用户操纵的物体，以便致动或解除致动一个内容流。在这种实施例中，用户可以使物体运动与/或发出特定的声音，并且传感器32检测该运动与/或声音。例如，用户可以踢或投掷一个球，并且用户接口30将确定球行进的距离、方向与/或速度。此外，用户可以演奏一种乐器，用户接口将能够检测用户演奏的音调。这种实施例可用于致动模拟运动的游戏中的内容流或者致动在用于教用户演奏乐器的节目中的内容流。
如上所述，本发明的一个示例的实施例涉及一种终端用户装置，该装置把实时的内容流变换成通过输出装置15呈现给用户的叙述内容。这个实施例的一种可能的实施是交互式电视系统。终端用户装置10可以作为机顶盒来实现，输出装置15可以是电视机。下面结合图4所示的流程图100说明用户和这种系统相互作用的过程。
在步110，终端用户装置10接收相应于一个叙述内容的新场景的数据流，并立即处理该数据流，从而提取场景数据。每个叙述内容的表示包括一系列场景。每个场景包括一个背景，按照所述背景发生某个类型的动作。此外，每个场景具有多个和其相关的内容流，其中每个内容流引入影响故事情节的一个要素。
例如，一个内容流的致动可以使人物完成某个动作(例如，王子开始沿某个方向散步)，引起某个影响该背景的事件发生(例如，暴风雨，地震)，或者在故事中引入新的角色(例如青蛙)。与此相反，内容流的解除致动可以使人物停止进行某个动作(例如王子停止散步)，终止一个事件(例如暴风雨或地震结束)，或者使角色离开故事(例如青蛙跳着离开)。
内容流的致动或解除致动也可以改变在表示中的物体的内部属性或特征。例如，一个特定流的致动可以使人物例如王子的表情从幸福变为悲哀。这种改变在表示中可以是直接明显的(例如王子的微笑变成皱眉头)，或者可以到后来才在表示中出现。这种内部的改变不限于人物，而是可应用于作为表示的一部分的任何物体，该物体包含一些可以改变的特征或参数。
在步120，机顶盒译码提取的场景数据，背景被显示在电视屏幕上，连同一些指示，告诉用户其必须通过与用户接口30相互作用来决定故事如何展开。结果，用户在相互作用区域36产生一个特定的运动或声音，如步130所述。
在步140，传感器32检测由用户产生的运动或声音，并且确定该运动或声音的类型。当有多个用户位于相互作用区域36中时，这一步可以包括确定哪个用户产生该声音或运动。在步150，机顶盒确定哪一个内容流和被确定的运动或声音相关联。这一步可以包括检查每个内容流的控制数据，从而确定检测的运动或声音是否和该内容流相关联。
在步160，按照被致动/解除致动的内容流在电视上显示新的故事情节。在这个特定的例子中，每个内容流是一个MPEG文件，其在被致动时便在电视上播放。
在步170，机顶盒确定致动的内容流是否必定使故事情节进展到一个新的场景。如果是，则处理返回步110，接收相应于新的场景的内容流。不过，如果故事情节不需要一个新的场景，则机顶盒在步180确定叙述内容是否达到一个合适的结束点。如果不是，则指示用户利用用户接口30，以便致动或者解除致动内容流，借以使故事继续进行。图4的流程图和上面相应的说明用于说明一个示例的实施例，而不是用于限制本发明。
本发明提供了一种在儿童的发展教育方面具有许多用途的系统。本发明通过使儿童借助于和一个表示例如故事相互作用并修改该表示而进行自我表达，从而提高创造性并发展交流技巧。本发明不包括儿童可能难于使用的用户接口，例如键盘和鼠标。而是，本发明利用了用户接口30，其使得基本的熟悉的声音和运动与特定的内容流联系起来。因此，儿童和用户接口30的相互作用可以是非常“好玩”的，对儿童提供更大的刺激，使其进行相互作用。此外，可以使内容流和与该流具有逻辑联系的运动或声音联系起来，借以使该相互作用对儿童更加直观。
不过，应当注意，本发明的输入装置30决不限于儿童使用，也不限于教育应用。本发明提供了一种直观的、刺激的接口，用于和适合于所有年龄的用户的许多不同的表示相互作用。
利用本发明，用户可以和该表示进行许多不同的相互作用。如上所述，通过使人物完成某类动作，或者通过启动某个影响背景和影响其中所有人物的事件，例如自然灾害或风暴，用户可以影响故事的进展。用户接口30还可以只用于改变背景内的细节，例如改变大楼的颜色或森林中的树木的数量。不过，用户不限于和叙述性的表示相互作用。用户接口30可用于选择图像中所示的要素，确定在歌曲或者诗歌中使用的歌词，玩游戏，和计算机模拟相互作用，或者进行使得用户能够在一个表示内进行自我表达的任何类型的相互作用。此外，该表示可以包括用于学习身体技能(例如学习跳舞或打高尔夫球)或者口头技能(例如学习说外语或学习唱歌)的辅导程序，用户可以利用该程序练习这些技能，并接收来自该程序的反馈。
此外，本发明的用户接口30不限于包括被设置在特定区域周围并用于检测特定区域内的运动的检测运动和声音的传感器32的实施例。本发明覆盖任何类型的这种用户接口，其中检测的用户或物体的运动引起内容流的致动或者解除致动。例如，用户接口30可以包括含有传感器的物体，其检测任何类型的运动或者用户对该物体的操纵。传感器信号可以借助于有线或无线信号从物体发送给终端用户装置10，结果，致动或解除致动内容流。
此外本发明不限于检测由用户在一个规定的相互作用区域30内产生的运动或声音。本发明可以包括一种传感器，例如全球定位系统(GPS)接收器，其跟踪其自身的运动。在这种实施例中，本发明可以包括一个便携的终端用户装置10，其致动接收的内容流，以便显示相应于其当前位置的实时数据，例如交通新闻，天气预报等。
本发明已经参照示例的实施例进行了说明。显然，对于本领域的技术人员，不脱离权利要求的范围和构思，可以作出多种改变和改型。

Claims (10)

1.一种用于与一装置进行相互作用的用户接口(30)，该装置接收内容流并将该内容流转换成要被输出的表示，该用户接口包括：
相互作用区域(36)；
至少一个传感器(32)，用于检测在所述相互作用区域(36)内的用户产生的运动或声音，
其中一个或几个内容流根据所述检测的运动或声音被操纵，以及
其中该表示根据所述被操纵的内容流被控制。
2.如权利要求1所述的用户接口(30)，其中所述至少一个传感器(32)检测由用户产生的运动，
并且其中通过分析来自所述至少一个传感器(32)的检测信号确定相应于所述检测的运动或声音的运动或声音的类型。
3.如权利要求2所述的用户接口(30)，其中根据确定的运动或声音的类型在该表示中使接收的内容流被致动或解除致动。
4.如权利要求1所述的用户接口(30)，其中所述至少一个传感器(32)包括多个传感器，以及
其中来自所述多个传感器的检测信号被分析，从而确定在所述相互作用区域(36)内发生所述检测的运动或声音的位置。
5.如权利要求4所述的用户接口(30)，其中根据所述确定的位置在该表示中使接收的内容流被致动或解除致动。
6.如权利要求1所述的用户接口(30)，其中所述至少一个传感器(32)包括与语音识别系统相连的检测声音的传感器(33)，以及
其中根据由所述语音识别系统识别的一特定的单词检测接收的内容流。
7.如权利要求1所述的用户接口(30)，其中所述至少一个传感器(32)中的每个包括运动传感器(34)和检测声音的传感器(33)。
8.如权利要求1所述的用户接口(30)，其中所述表示包括叙述内容。
9.一种在用于把内容流转换成要被输出的表示的系统中的方法，包括：
检测在一相互作用的区域(36)内发生的运动或声音；
根据所述检测的运动或声音操纵一个或几个内容流；
根据操纵的内容流控制所述表示。
10.一种系统，包括：
终端用户装置(10)，用于接收内容流并把该内容流转换成一表示；
用户接口(30)，包括传感器(32)，其用于检测由用户在一相互作用区域(36)内产生的运动或声音；
输出装置(15)，用于输出所述表示；
其中所述终端用户装置(10)根据所述检测的运动或声音操纵所述转换的内容流，由此控制所述表示。
CNB028016319A 2001-05-14 2002-05-14 用于与实时的内容流相互作用的装置 Expired - Lifetime CN1296797C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01201799 2001-05-14
EP01201799.2 2001-05-14

Publications (2)

Publication Number Publication Date
CN1462382A true CN1462382A (zh) 2003-12-17
CN1296797C CN1296797C (zh) 2007-01-24

Family

ID=8180307

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028016319A Expired - Lifetime CN1296797C (zh) 2001-05-14 2002-05-14 用于与实时的内容流相互作用的装置

Country Status (7)

Country Link
US (2) US20040174431A1 (zh)
EP (1) EP1428108B1 (zh)
JP (3) JP2004537777A (zh)
KR (1) KR100987650B1 (zh)
CN (1) CN1296797C (zh)
ES (1) ES2403044T3 (zh)
WO (1) WO2002093344A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722929A (zh) * 2012-06-18 2012-10-10 重庆大学 基于运动传感器的门禁控制系统
CN105074620A (zh) * 2013-03-15 2015-11-18 英特尔公司 用于指派语音和手势命令区域的系统和方法
CN105359546A (zh) * 2013-05-01 2016-02-24 乐盟普雷公司 用于交互式视频投影系统的内容产生
CN106537173A (zh) * 2014-08-07 2017-03-22 谷歌公司 基于雷达的姿势识别
US10310621B1 (en) 2015-10-06 2019-06-04 Google Llc Radar gesture sensing using existing data protocols
US10409385B2 (en) 2014-08-22 2019-09-10 Google Llc Occluded gesture recognition
US10496182B2 (en) 2015-04-30 2019-12-03 Google Llc Type-agnostic RF signal representations
US10642367B2 (en) 2014-08-07 2020-05-05 Google Llc Radar-based gesture sensing and data transmission
US10664059B2 (en) 2014-10-02 2020-05-26 Google Llc Non-line-of-sight radar-based gesture recognition
US10664061B2 (en) 2015-04-30 2020-05-26 Google Llc Wide-field radar-based gesture recognition
US10817070B2 (en) 2015-04-30 2020-10-27 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10936085B2 (en) 2015-05-27 2021-03-02 Google Llc Gesture detection and interactions
US10948996B2 (en) 2014-06-03 2021-03-16 Google Llc Radar-based gesture-recognition at a surface of an object
US11140787B2 (en) 2016-05-03 2021-10-05 Google Llc Connecting an electronic component to an interactive textile
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2378371A (en) * 2001-07-31 2003-02-05 Hewlett Packard Co Virtual "Big Brother" broadcasting
US20030064712A1 (en) * 2001-09-28 2003-04-03 Jason Gaston Interactive real world event system via computer networks
EP1387528A1 (en) * 2002-07-31 2004-02-04 Deutsche Thomson-Brandt Gmbh Method and device for performing communication on a bus structured network
US20050002643A1 (en) * 2002-10-21 2005-01-06 Smith Jason W. Audio/video editing apparatus
WO2005022910A1 (en) * 2003-08-29 2005-03-10 Koninklijke Philips Electronics N.V. User-profile controls rendering of content information
JP4243862B2 (ja) 2004-10-26 2009-03-25 ソニー株式会社 コンテンツ利用装置およびコンテンツ利用方法
JP4595555B2 (ja) 2005-01-20 2010-12-08 ソニー株式会社 コンテンツ再生装置およびコンテンツ再生方法
EP1851749B1 (en) 2005-01-21 2012-03-28 Qualcomm Incorporated Motion-based tracking
JP5225548B2 (ja) 2005-03-25 2013-07-03 ソニー株式会社 コンテンツ検索方法、コンテンツリスト検索方法、コンテンツ検索装置、コンテンツリスト検索装置および検索サーバ
JP4741267B2 (ja) 2005-03-28 2011-08-03 ソニー株式会社 コンテンツ推薦システム、通信端末およびコンテンツ推薦方法
JP2007011928A (ja) 2005-07-04 2007-01-18 Sony Corp コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
JP5133508B2 (ja) 2005-07-21 2013-01-30 ソニー株式会社 コンテンツ提供システム、コンテンツ提供装置、コンテンツ配信サーバ、コンテンツ受信端末およびコンテンツ提供方法
FR2889395A1 (fr) * 2005-08-01 2007-02-02 France Telecom Service de personnalisation de communications par traitement des flux media audio et ou video
JP4811046B2 (ja) 2006-02-17 2011-11-09 ソニー株式会社 コンテンツの再生装置、オーディオ再生機およびコンテンツの再生方法
GB2440993C (en) * 2006-07-25 2014-03-19 Sony Comp Entertainment Europe Apparatus and method of interaction with a data processor
US8254319B2 (en) * 2007-01-31 2012-08-28 Broadcom Corporation Wireless programmable logic device
US8121541B2 (en) * 2007-01-31 2012-02-21 Broadcom Corporation Integrated circuit with intra-chip and extra-chip RF communication
US8438322B2 (en) * 2007-01-31 2013-05-07 Broadcom Corporation Processing module with millimeter wave transceiver interconnection
US8280303B2 (en) * 2007-01-31 2012-10-02 Broadcom Corporation Distributed digital signal processor
US20090197641A1 (en) * 2008-02-06 2009-08-06 Broadcom Corporation Computing device with handheld and extended computing units
US8200156B2 (en) * 2007-01-31 2012-06-12 Broadcom Corporation Apparatus for allocation of wireless resources
US8116294B2 (en) * 2007-01-31 2012-02-14 Broadcom Corporation RF bus controller
US8289944B2 (en) * 2007-01-31 2012-10-16 Broadcom Corporation Apparatus for configuration of wireless operation
US8125950B2 (en) * 2007-01-31 2012-02-28 Broadcom Corporation Apparatus for wirelessly managing resources
US20080320293A1 (en) * 2007-01-31 2008-12-25 Broadcom Corporation Configurable processing core
US8204075B2 (en) * 2007-01-31 2012-06-19 Broadcom Corporation Inter-device wireless communication for intra-device communications
US8223736B2 (en) * 2007-01-31 2012-07-17 Broadcom Corporation Apparatus for managing frequency use
US8239650B2 (en) * 2007-01-31 2012-08-07 Broadcom Corporation Wirelessly configurable memory device addressing
US8238275B2 (en) * 2007-01-31 2012-08-07 Broadcom Corporation IC with MMW transceiver communications
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
US20090011832A1 (en) * 2007-01-31 2009-01-08 Broadcom Corporation Mobile communication device with game application for display on a remote monitor and methods for use therewith
US9486703B2 (en) * 2007-01-31 2016-11-08 Broadcom Corporation Mobile communication device with game application for use in conjunction with a remote mobile communication device and methods for use therewith
US20080252786A1 (en) * 2007-03-28 2008-10-16 Charles Keith Tilford Systems and methods for creating displays
US8064952B2 (en) * 2008-02-06 2011-11-22 Broadcom Corporation A/V control for a computing device with handheld and extended computing units
US8717974B2 (en) * 2008-02-06 2014-05-06 Broadcom Corporation Handheld computing unit coordination of femtocell AP functions
US8117370B2 (en) * 2008-02-06 2012-02-14 Broadcom Corporation IC for handheld computing unit of a computing device
US8195928B2 (en) * 2008-02-06 2012-06-05 Broadcom Corporation Handheld computing unit with merged mode
US20090198798A1 (en) * 2008-02-06 2009-08-06 Broadcom Corporation Handheld computing unit back-up system
US8175646B2 (en) * 2008-02-06 2012-05-08 Broadcom Corporation Networking of multiple mode handheld computing unit
US8904430B2 (en) * 2008-04-24 2014-12-02 Sony Computer Entertainment America, LLC Method and apparatus for real-time viewer interaction with a media presentation
US8430750B2 (en) * 2008-05-22 2013-04-30 Broadcom Corporation Video gaming device with image identification
FI20095371A (fi) * 2009-04-03 2010-10-04 Aalto Korkeakoulusaeaetioe Menetelmä laitteen ohjaamiseksi
US8629866B2 (en) * 2009-06-18 2014-01-14 International Business Machines Corporation Computer method and apparatus providing interactive control and remote identity through in-world proxy
US8793727B2 (en) * 2009-12-10 2014-07-29 Echostar Ukraine, L.L.C. System and method for selecting audio/video content for presentation to a user in response to monitored user activity
US8381108B2 (en) 2010-06-21 2013-02-19 Microsoft Corporation Natural user input for driving interactive stories
US9063704B2 (en) * 2011-05-05 2015-06-23 Net Power And Light, Inc. Identifying gestures using multiple sensors
ITMI20110898A1 (it) * 2011-05-20 2012-11-21 Lorenzo Ristori Metodo per proiezione cinematografica interattiva di una trama a sviluppo multiplo
US9159152B1 (en) * 2011-07-18 2015-10-13 Motion Reality, Inc. Mapping between a capture volume and a virtual world in a motion capture simulation environment
ITVI20110256A1 (it) * 2011-09-26 2013-03-27 Andrea Santini Apparato elettronico per la generazione di suoni e/o immagini
FR2982681A1 (fr) * 2011-11-10 2013-05-17 Blok Evenement A Systeme de commande d'un generateur de signaux sensoriels avec retour graphique evolutif
KR101234174B1 (ko) * 2011-12-08 2013-02-19 이성율 이엘 패널 광고 장치
GB2504458B (en) * 2012-06-08 2017-02-01 Microsoft Technology Licensing Llc Real-time communication
US8878043B2 (en) * 2012-09-10 2014-11-04 uSOUNDit Partners, LLC Systems, methods, and apparatus for music composition
US20140073383A1 (en) * 2012-09-12 2014-03-13 Industrial Technology Research Institute Method and system for motion comparison
US9838824B2 (en) 2012-12-27 2017-12-05 Avaya Inc. Social media processing with three-dimensional audio
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US9892743B2 (en) 2012-12-27 2018-02-13 Avaya Inc. Security surveillance via three-dimensional audio space presentation
US10203839B2 (en) 2012-12-27 2019-02-12 Avaya Inc. Three-dimensional generalized space
US9344773B2 (en) * 2013-02-05 2016-05-17 Microsoft Technology Licensing, Llc Providing recommendations based upon environmental sensing
WO2014160290A1 (en) * 2013-03-14 2014-10-02 MindsightMedia, Inc. Method, apparatus and article for providing supplemental media content into a narrative presentation
WO2014149700A1 (en) 2013-03-15 2014-09-25 Intel Corporation System and method for assigning voice and gesture command areas
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
US9472119B2 (en) * 2013-08-26 2016-10-18 Yokogawa Electric Corporation Computer-implemented operator training system and method of controlling the system
KR102034587B1 (ko) * 2013-08-29 2019-10-21 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
KR101567154B1 (ko) * 2013-12-09 2015-11-09 포항공과대학교 산학협력단 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
CN105446463B (zh) * 2014-07-09 2018-10-30 杭州萤石网络有限公司 进行手势识别的方法及装置
US9993733B2 (en) 2014-07-09 2018-06-12 Lumo Interactive Inc. Infrared reflective device interactive projection effect system
PT107791A (pt) * 2014-07-21 2016-01-21 Ricardo José Carrondo Paulino Sistema integrado de divulgação multimeios com capacidade de interação em tempo real por comando natural e capacidade de acionamento e controlo de motores e atuadores elétricos e eletrónicos
WO2016019314A2 (en) 2014-07-31 2016-02-04 MindsightMedia, Inc. Method, apparatus and article for delivering media content via a user-selectable narrative presentation
US10279257B2 (en) 2015-01-14 2019-05-07 Podop, Inc. Data mining, influencing viewer selections, and user interfaces
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
CN108883335A (zh) 2015-04-14 2018-11-23 约翰·詹姆斯·丹尼尔斯 用于人与机器或人与人的可穿戴式的电子多感官接口
US10795692B2 (en) * 2015-07-23 2020-10-06 Interdigital Madison Patent Holdings, Sas Automatic settings negotiation
US9697867B2 (en) * 2015-09-25 2017-07-04 Intel Corporation Interactive adaptive narrative presentation
AU2017307650A1 (en) * 2016-08-03 2019-03-21 Dejero Labs Inc. System and method for controlling data stream modifications
JP2020516327A (ja) 2016-11-25 2020-06-11 キナプティック・エルエルシー 触覚ヒト／機械インターフェースおよび着用可能な電子機器の方法および装置
US11343545B2 (en) * 2019-03-27 2022-05-24 International Business Machines Corporation Computer-implemented event detection using sonification

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4569026A (en) 1979-02-05 1986-02-04 Best Robert M TV Movies that talk back
EP0016314A1 (en) * 1979-02-05 1980-10-01 Best, Robert MacAndrew Method and apparatus for voice dialogue between a video picture and a human
US5081896A (en) * 1986-11-06 1992-01-21 Yamaha Corporation Musical tone generating apparatus
US5442168A (en) * 1991-10-15 1995-08-15 Interactive Light, Inc. Dynamically-activated optical instrument for producing control signals having a self-calibration means
US5598478A (en) * 1992-12-18 1997-01-28 Victor Company Of Japan, Ltd. Sound image localization control apparatus
EP0700623A1 (en) * 1993-05-14 1996-03-13 Rct Systems, Inc. Video traffic monitor for retail establishments and the like
IT1273051B (it) 1993-11-24 1997-07-01 Paolo Podesta Sistema multimediale per il controllo e la generazione di musica ed animazione bidimensionali e tridimensionali in tempo reale pilotato da rilevatori di movimento.
US6947571B1 (en) * 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
JP3428151B2 (ja) * 1994-07-08 2003-07-22 株式会社セガ 画像表示装置を用いた遊戯装置
JPH0838374A (ja) * 1994-07-27 1996-02-13 Matsushita Electric Works Ltd 電動式洗面台
US5882204A (en) * 1995-07-13 1999-03-16 Dennis J. Lannazzo Football interactive simulation trainer
JPH09160752A (ja) * 1995-12-06 1997-06-20 Sega Enterp Ltd 情報記憶媒体及びそれを利用する電子装置
JPH10256979A (ja) * 1997-03-13 1998-09-25 Nippon Soken Inc 車両用通信装置
AU8141198A (en) * 1997-06-20 1999-01-04 Holoplex, Inc. Methods and apparatus for gesture recognition
JPH11259206A (ja) * 1998-03-09 1999-09-24 Fujitsu Ltd 赤外線検出式入力装置
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
JP2001017738A (ja) * 1999-07-09 2001-01-23 Namco Ltd ゲーム装置

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722929B (zh) * 2012-06-18 2015-02-11 重庆大学 基于运动传感器的门禁控制系统
CN102722929A (zh) * 2012-06-18 2012-10-10 重庆大学 基于运动传感器的门禁控制系统
CN105074620A (zh) * 2013-03-15 2015-11-18 英特尔公司 用于指派语音和手势命令区域的系统和方法
CN105074620B (zh) * 2013-03-15 2018-11-20 英特尔公司 用于指派语音和手势命令区域的系统和方法
CN105359546A (zh) * 2013-05-01 2016-02-24 乐盟普雷公司 用于交互式视频投影系统的内容产生
CN105359546B (zh) * 2013-05-01 2018-09-25 乐盟交互公司 用于交互式视频投影系统的内容产生
US10948996B2 (en) 2014-06-03 2021-03-16 Google Llc Radar-based gesture-recognition at a surface of an object
CN106537173B (zh) * 2014-08-07 2019-11-26 谷歌有限责任公司 基于雷达的姿势识别
CN106537173A (zh) * 2014-08-07 2017-03-22 谷歌公司 基于雷达的姿势识别
US10642367B2 (en) 2014-08-07 2020-05-05 Google Llc Radar-based gesture sensing and data transmission
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US10409385B2 (en) 2014-08-22 2019-09-10 Google Llc Occluded gesture recognition
US11816101B2 (en) 2014-08-22 2023-11-14 Google Llc Radar recognition-aided search
US11221682B2 (en) 2014-08-22 2022-01-11 Google Llc Occluded gesture recognition
US10936081B2 (en) 2014-08-22 2021-03-02 Google Llc Occluded gesture recognition
US10664059B2 (en) 2014-10-02 2020-05-26 Google Llc Non-line-of-sight radar-based gesture recognition
US11163371B2 (en) 2014-10-02 2021-11-02 Google Llc Non-line-of-sight radar-based gesture recognition
US10496182B2 (en) 2015-04-30 2019-12-03 Google Llc Type-agnostic RF signal representations
US11709552B2 (en) 2015-04-30 2023-07-25 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10664061B2 (en) 2015-04-30 2020-05-26 Google Llc Wide-field radar-based gesture recognition
US10817070B2 (en) 2015-04-30 2020-10-27 Google Llc RF-based micro-motion tracking for gesture tracking and recognition
US10936085B2 (en) 2015-05-27 2021-03-02 Google Llc Gesture detection and interactions
US11132065B2 (en) 2015-10-06 2021-09-28 Google Llc Radar-enabled sensor fusion
US11693092B2 (en) 2015-10-06 2023-07-04 Google Llc Gesture recognition using multiple antenna
US10823841B1 (en) 2015-10-06 2020-11-03 Google Llc Radar imaging on a mobile computing device
US10768712B2 (en) 2015-10-06 2020-09-08 Google Llc Gesture component with gesture library
US10379621B2 (en) 2015-10-06 2019-08-13 Google Llc Gesture component with gesture library
US10459080B1 (en) 2015-10-06 2019-10-29 Google Llc Radar-based object detection for vehicles
US10503883B1 (en) 2015-10-06 2019-12-10 Google Llc Radar-based authentication
US10705185B1 (en) 2015-10-06 2020-07-07 Google Llc Application-based signal processing parameters in radar-based detection
US10310621B1 (en) 2015-10-06 2019-06-04 Google Llc Radar gesture sensing using existing data protocols
US11175743B2 (en) 2015-10-06 2021-11-16 Google Llc Gesture recognition using multiple antenna
US10401490B2 (en) 2015-10-06 2019-09-03 Google Llc Radar-enabled sensor fusion
US11256335B2 (en) 2015-10-06 2022-02-22 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US11385721B2 (en) 2015-10-06 2022-07-12 Google Llc Application-based signal processing parameters in radar-based detection
US11481040B2 (en) 2015-10-06 2022-10-25 Google Llc User-customizable machine-learning in radar-based gesture detection
US11592909B2 (en) 2015-10-06 2023-02-28 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US11656336B2 (en) 2015-10-06 2023-05-23 Google Llc Advanced gaming and virtual reality control using radar
US10908696B2 (en) 2015-10-06 2021-02-02 Google Llc Advanced gaming and virtual reality control using radar
US11698438B2 (en) 2015-10-06 2023-07-11 Google Llc Gesture recognition using multiple antenna
US11698439B2 (en) 2015-10-06 2023-07-11 Google Llc Gesture recognition using multiple antenna
US10540001B1 (en) 2015-10-06 2020-01-21 Google Llc Fine-motion virtual-reality or augmented-reality control using radar
US11140787B2 (en) 2016-05-03 2021-10-05 Google Llc Connecting an electronic component to an interactive textile

Also Published As

Publication number Publication date
JP2004537777A (ja) 2004-12-16
EP1428108A1 (en) 2004-06-16
WO2002093344A1 (en) 2002-11-21
KR100987650B1 (ko) 2010-10-13
CN1296797C (zh) 2007-01-24
EP1428108B1 (en) 2013-02-13
ES2403044T3 (es) 2013-05-13
US20130086533A1 (en) 2013-04-04
JP2009070400A (ja) 2009-04-02
US20040174431A1 (en) 2004-09-09
JP5743954B2 (ja) 2015-07-01
KR20030016405A (ko) 2003-02-26
JP2012198916A (ja) 2012-10-18

Similar Documents

Publication Publication Date Title
CN1296797C (zh) 用于与实时的内容流相互作用的装置
CN101297997B (zh) 互动影音播放的系统与方法
Yun et al. Improving viewing experiences of first-person shooter gameplays with automatically-generated motion effects
CN1224261C (zh) 用于与实时的内容流相互作用的装置
CN1251503C (zh) 与实时内容流互动的设备
Bongers Interactivation: Towards an e-cology of People, our Technological Environment, and the Arts
WO2011078796A1 (en) Tele-puppetry platform
CN1531675A (zh) 与实时内容流交互的装置
Nijholt et al. Games and entertainment in ambient intelligence environments
Bevacqua et al. Real and virtual body percussionists interaction
Bayliss et al. New shapes on the dance floor: influencing ambient sound and vision with computationally augmented poi
Kerdvibulvech An innovative real-time mobile augmented reality application in arts
Yilmaz et al. Novel 3D Game-like Applications driven by body interactions for learning specific forms of Intangible Cultural Heritage
Bhatia et al. Using the Visual Language of Comics to Alter Sensations in Augmented Reality
Bekkedal Music kinection: Musical sound and motion in interactive systems
Wingren Press play: music performance & release with/in multimedia frameworks
Kim et al. Spatial Orchestra: Locomotion Music Instruments through Spatial Exploration
Baldan et al. Mobile rhythmic interaction in a sonic tennis game
JP2022107658A (ja) プログラム、方法、および情報処理装置
Nijholt et al. c0085 Games and Entertainment in Ambient Intelligence Environments
Al Hashimi Vocal Telekinesis: towards the development of voice-physical installations
Hashimi Users as performers in vocal interactive media—the role of expressive voice visualisation
Kuo et al. Development of Virtual Ping-Pong Game with 6-DOF Tracking System
Hämäläinen Novel applications of real-time audiovisual signal processing technology for art and sports education and entertainment
Mion et al. LEARNING SOUNDING GESTURES

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CX01 Expiry of patent term

Granted publication date: 20070124

CX01 Expiry of patent term