CN101622871A - 视频呼叫设备控制 - Google Patents

视频呼叫设备控制 Download PDF

Info

Publication number
CN101622871A
CN101622871A CN200880006266A CN200880006266A CN101622871A CN 101622871 A CN101622871 A CN 101622871A CN 200880006266 A CN200880006266 A CN 200880006266A CN 200880006266 A CN200880006266 A CN 200880006266A CN 101622871 A CN101622871 A CN 101622871A
Authority
CN
China
Prior art keywords
electronic equipment
video
mobile device
motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200880006266A
Other languages
English (en)
Other versions
CN101622871B (zh
Inventor
F·利纳克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Services Ltd
Accenture International LLC
Original Assignee
Accenture Global Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Services GmbH filed Critical Accenture Global Services GmbH
Publication of CN101622871A publication Critical patent/CN101622871A/zh
Application granted granted Critical
Publication of CN101622871B publication Critical patent/CN101622871B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/173—Analogue secrecy systems; Analogue subscription systems with two-way working, e.g. subscriber sending a programme selection signal
    • H04N7/17309—Transmission or handling of upstream communications
    • H04N7/17318—Direct or substantially direct transmission and handling of requests
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6156—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network
    • H04N21/6181—Network physical structure; Signal processing specially adapted to the upstream path of the transmission network involving transmission via a mobile phone network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client
    • H04N21/6543—Transmission by server directed to the client for forcing some client operations, e.g. recording
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/40—Remote control systems using repeaters, converters, gateways
    • G08C2201/42—Transmitting or receiving remote control signals via a network
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Selective Calling Equipment (AREA)

Abstract

本发明涉及一种使用无线移动设备(1)控制电子设备(5)的方法，该无线移动设备(1)具有显示器(3)以及视频捕捉单元(4)，该方法包括以下连续步骤：在所述移动设备和远程服务器(6)之间建立视频呼叫，从而所述远程服务器接收由所述移动设备捕捉的视频图像；执行图像识别以标识所述捕捉的视频中的电子设备；检测所述视频捕捉单元的运动；并且基于视频捕捉单元的运动将控制信号传输到所述电子设备。

Description

视频呼叫设备控制
技术领域
本发明涉及用于控制电子设备的系统和方法，并且尤其涉及用于使用无线手持设备控制电子设备的系统和方法。
背景技术
诸如音乐系统和电视之类电子设备的用户使用无线遥控器控制这些设备的偏好由来已久。此类遥控器通常随设备提供，并且通常通过在用户按下遥控器上的特定按钮时传输红外信号来控制设备。
通常，大部分用户经常将随电子设备提供的遥控器放错地方，或者完全丢失该遥控器，从而剩下没有遥控器的电子设备。此外，如果用户拥有多个电子设备，每个电子设备都具有自己的遥控器，则不同遥控器的数量可能变得过多。之前已经提出了一种解决方案来提供通用遥控器，该通用遥控器可以学习各种电子设备所需的特定的红外信号，使得能够对它们进行控制(例如，即使已经丢失了原遥控器)，或者允许仅通过一个遥控器来控制各种设备。然而，此类替换设备需要额外的成本，并且由于需要对它们进行编程而复杂。通常，由于需要针对所需操作按动正确按钮，而按钮通常小且难以找到，所以使用遥控器也是很困难的。
发明内容
本发明的目的是提供一种使用无线手持设备控制电子设备的改进系统和方法。
根据本发明的第一方面，提供一种使用无线移动设备控制电子设备的方法，所述无线移动设备具有显示器以及视频捕捉单元，所述方法包括以下连续步骤：在所述移动设备和远程服务器之间建立视频呼叫，从而所述远程服务器接收由所述移动设备捕捉的视频图像；执行图像识别以标识所述捕捉的视频中的电子设备；检测所述视频捕捉单元的运动；以及基于所述视频捕捉单元的运动将控制信号传输到所述电子设备。
根据本发明的一个实施方式，在发送控制信号的所述步骤之前，所述方法进一步包括，在所述远程服务器和所述电子设备之间建立连接。
根据本发明的另一实施方式，所述方法进一步包括，在所述运动检测步骤之前，向所述移动设备传输信息，所述信息指示对应于所述视频捕捉单元的运动的所述设备的命令。
根据本发明的其他实施方式，执行图像识别包括访问包括多个对象图像和/或签名的对象数据库，并且将所述视频图像的特征与所述对象图像和/或签名进行匹配。
根据本发明的其他实施方式，经由因特网传输所述控制信号。
根据本发明的其他实施方式，所述运动包括所述视频捕捉单元的旋转。
根据本发明的其他方面，提供一种应用无线移动设备来控制电子设备的方法，其中所述移动设备包括视频捕捉单元，所述应用包括：使用所述移动设备在所述移动设备和远程服务器之间建立视频呼叫；将所述视频捕捉单元指向所述电子设备；以及移动所述视频捕捉单元，使得所述电子设备在所述视频捕捉单元的视场中移动，以基于所述移动控制所述电子设备。
根据本发明的又一方面，提供一种用于控制电子设备的系统，包括：无线移动设备，包括配置用于捕捉视频图像的视频捕捉单元；以及服务器，其能够在视频呼叫中与所述移动设备通信并且能够接收所述视频图像，所述服务器包括：图像识别单元，配置用于在一个或多个所述视频图像中标识电子设备；运动检测单元，配置用于检测所述视频捕捉单元的运动；以及控制单元，配置用于基于视频捕捉单元的所述运动向所述电子设备传输控制信号。
根据本发明的一个实施方式，所述系统进一步包括可由所述服务器访问的对象数据库，所述对象数据库包含用于标识所述电子设备的图像和/或签名。
根据本发明的其他实施方式，所述系统进一步包括无线通信网络，其允许所述无线移动设备和所述服务器之间的通信。
根据本发明的其他实施方式，所述服务器通过因特网连接至所述无线通信网络。
根据本发明的其他实施方式，所述服务器通过交换网络连接至所述无线通信网络。
根据本发明的其他方面，提供一种配置用于控制电子设备的自动控制单元，包括：视频呼叫单元，配置用于在视频呼叫中与无线移动设备通信，并且接收由所述移动设备捕捉的视频图像；图像识别单元，配置用于标识一个或多个所述视频图像中的电子设备；运动检测单元，配置用于在所述视频图像中检测所述电子设备的运动；以及控制传输单元，配置用于基于所述运动检测单元检测的运动生成控制信号，并且将所述控制信号传输到所述电子设备。
根据本发明的其他实施方式，所述控制传输单元配置用于经由因特网向所述电子设备传输所述控制信号。
根据本发明的其他实施方式，所述运动检测单元配置用于检测所述视频捕捉单元的顺时针或逆时针旋转。
附图说明
图1示意性地示出了根据本发明的第一实施方式的用于电子设备的控制系统；
图2示出了根据本发明一个实施方式的数据记录；
图3示出了根据本发明的手持便携式设备的运动的示例；以及
图4是示出了根据本发明的用于控制电子设备的方法中连续步骤的流程图。
具体实施方式
图1示出了用于控制电子设备的系统。该系统包括作为具有视频呼叫功能的无线移动设备的移动设备1。例如，移动设备1是3G(第三代)标准移动电话，其支持与第三方建立视频呼叫。备选地，移动设备1可以是PDA(个人数字事务管理器)、膝上型计算机、便携式游戏控制台等，它们可以捕捉视频并且进行无线传输以及优选地还接收视频流。示出了该移动设备的正面1a和背面1b。
移动设备1在正面1a包括小键盘2，其允许输入数据或控制设备，以及显示器3，其例如是LCD(液晶显示器)。在该示例中示出的背面1b上，移动设备1还包括照相机4，其允许捕捉数字视频图像。现代移动电话通常配备有安装在设备某处的此类照相机4，并且允许用户在捕捉视频的同时在显示器上查看捕捉的视频。移动设备1还优选地包括用于捕捉声音的麦克风(未示出)，其可以利用捕捉的视频在信号中传输该声音。
根据该实施方式，希望将移动设备1用于控制电子设备5。在本示例中，设备5是音乐系统，然而可以控制各种设备，包括电视、取暖/空调系统、个人计算机等。
在第一步骤中，用户从发起视频呼叫开始，并且将移动单元1的照相机指向电子设备5。因此使用移动设备1的视频功能记录设备5。该设备包括不同的外表面，其例如标识设备的款号和型号。
与远程图像识别服务器6建立视频呼叫。例如，已经为用户提供了特定的拨号，以便在与服务器6建立视频呼叫中使用。备选地，可以由移动设备1自动执行此类视频呼叫的建立，例如，通过用户对显示器3上的特定图标的选择发起视频呼叫或由用户的语音命令发起视频呼叫，所需的连接参数预编程在移动设备1中。图像识别服务器例如是PC、膝上型计算机或其他处理器。
贯穿本申请使用视频呼叫来表示在至少一个方向上传输视频图像的呼叫。通常在本示例中，在视频呼叫期间，视频例如至少从移动设备向对象识别服务器6进行传输。此外，可以在视频呼叫内或独立地将视频图像、静止图像和/或视频信号传回移动设备。
移动设备1例如经由移动通信网络建立呼叫，移动通信网络包括连接至通信单元10的多个传输和接收天线柱8。例如，移动通信网络可以是UMTS(通用移动电话系统)网络，诸如根据3G标准的UTRAN系统(UMTS陆地无线接入网)。备选地，用户当前所在的具有电子设备的房间或办公室可以具有内部WLAN(无线局域网)，移动设备1可以接入该网络。在此类情况中，天线柱8将是WLAN天线，并且通信单元10是WLAN服务器。作为其他示例，移动设备1可以具有WiFi(无线保真)功能，该情况中的天线柱8和通信单元10分别是WiFi天线和服务器或PC。
通信硬件10耦合至图像识别服务器6。如图1所示，在某些实施方式中，通信单元10经由因特网12连接至图像识别服务器6。然而，在备选实施方式中，例如，在用户现在所在的房间/办公室内提供全部图1的信息接入系统的情况中，通信单元10直接连接至图像识别服务器6。备选地，通信单元10可以通过ISDN(综合业务数据网络)连接至图像识别服务器6。某些移动电话服务提供商允许在ISDN网络中将视频呼叫路由至特定线。
图像识别服务器6从移动设备1接收视频流，并且对图像执行图像识别。图像识别技术在本领域中已知并且通常包括实时视觉识别软件，该软件在一系列图像中确定对象标识。图像识别服务器6的实时视觉识别软件接收并且解码视频呼叫数据，标识可见的任何已知对象，在该设备5的图像情况中，优选地计算对象相对于移动设备1的照相机的位置。
例如，在出版物“Robust Object Recognition with Cortex-LikeMechanisms”(作者为T.Serre、L.Wolf、S.Bileschi、M.Riesenhuber和T.Poggio，IEEE Transactions on Pattern Analysis and MachineIntelligence，Vol.29，No.3，2007年3月)中更详细地讨论了用于执行此类图像识别的方法，通过在法律允许的程度上对其进行参考而将其合并于此。
例如，基于设备设计标识对象，设备设计例如为特定部分的颜色、标记于外部的品牌名称等。设备5的部分或全部外表面例如从对象数据库15已知。对象数据库15耦合至图像识别服务器6并且包含对象的识别签名。可以为每个对象存储一个或多个签名和图像。签名是呈现在设备图像中、唯一地标识设备的唯一图案。如果对象具有主要表面，例如音乐系统或电视的正面，那么对象数据库15例如仅存储该表面的签名或图像。然而，某些电子设备的多个不同侧面可以不同，并且在该情况中，对象的每个侧面的图像也可以存储在数据库15中。对象数据库15可以在服务器6的内部或外部。
在某些实施方式中，对象签名可以本地存储在对象数据库15中，并且可以从因特网12获取涉及该对象的其他视觉数据。因特网提供了大量图像源，特别是电子设备的图像。因此，经由因特网12，可以访问包含设备的图像的远程数据库16，并且这些图像例如可以用于确定图像的匹配或利用新设备的图像更新对象数据库。
一旦图像识别服务器6已经标识了电子设备的款号/型号，其也确定了特定设备的地址，该地址例如为以下形式：网络地址、因特网和/或IP地址或统一资源标识符(URI)，并且例如经由因特网打开了到该设备的连接。例如，在某些实施方式中，当请求/建立视频呼叫时，图像识别服务器6识别了主叫的移动号码。图像识别服务器还存储与授权用户控制的电子设备的每个用户相关联的列表，连同每个设备的电子地址。因此，一旦从与该用户相关联的设备中标识出了该设备，那么可以建立经由因特网的连接，其允许向设备传输命令信号。备选地，图像识别服务器可以唯一地标识电子设备。在某些情况中，可能存在不止一个用户可以访问的特定款号和型号的电子设备。在此类情况中，用户可以使它们的设备在视觉上是唯一的，例如，通过添加标签等。
越来越多的电子设备被设计为具有网络和/或因特网接入，或具有连接至具有因特网接入的计算机的能力，以及因此可经由该计算机进行控制。此外，在某些实施方式中，可通过因特网之外的网络访问设备，例如，经由诸如WLAN等的无线网络访问设备。例如，此类连接支持遥控、允许安装软件更新和/或提供对其他媒体的访问，诸如可在线获得的电影或音乐文件。
例如存储与数据库15中的每个对象图像相关联的记录，其指示控制所标识电子设备的可能方式。此类记录预存储在对象数据库中或者一旦与电子设备5的连接建立，则从该设备接收。记录包括用于设备的命令集，其优选的采用可以将其传输至移动设备1并且在显示器3上呈现给用户的形式。图2示出了此类记录的示例。
如图2所示，记录200包括指示设备标识的第一字段202，在该情况中设备是音乐系统。另一字段204列出了电子设备的可控功能。图2中提供的示例是针对音乐系统的，并且包括音量、低音、高音、CD/MP3轨、FM调谐器频率和开/关。其他字段206指示移动设备1的不同移动所具有的效果。在该示例中，顺时针旋转移动设备具有增大所选功能的效果，或在数字控制功能的情况中，诸如开/关，该效果是将其打开，而逆时针旋转移动设备具有减小该功能的效果，或在数字控制功能的情况中，诸如开/关，该效果是将其关闭。向上或向下移动或倾斜移动设备改变所选功能，并且例如通过卷动可能的功能来实现该效果。
图像识别服务器6通过传输信号响应于移动设备1，该信号可以是视频流或与视频呼叫兼容的任何信号，其为用户提供可用的各种命令的细节。例如，该响应可以是在视频呼叫中传输的语音消息的形式，指示可以被控制的电子设备的不同功能。在备选实施方式中，信号包括一个或多个静止图像或具有或不具有声音的视频。例如，信号可以包括从移动设备1接收的视频流，带有屏幕上附加的、确定所标识设备的消息，例如使用字段202的文本：“识别的单元：音乐系统”。然后，可以示出当前所选的功能和用于控制该功能的可能移动。默认功能例如是字段204的功能列表中的第一功能，在该情况中是音量。在图1中的移动设备1的显示器3上示出了该屏幕的示例。
图3示出了移动设备1，并且示出了可以执行以便控制电子设备5的可能移动的示例。特别地，如箭头A和B分别所示的顺时针或逆时针移动或调谐移动设备1分别引起了所识别对象或移动设备的照相机捕捉的图像中的顺时针或逆时针光流。例如，移动设备在箭头A的方向上顺时针旋转将导致显示器3上显示的对象的所有图像逆时针旋转。
图像识别服务器6可以检测到对象或图像的移动。用于从一系列视频图像中检测照相机移动的技术在本领域中已知。例如，名称为“Real-time Simultaneous Localization and Mapping with a SingleCamera”(Proceedings on the 9th International Conference on ComputerVision，Nice，2003年，A.J.Davison)的出版物描述了此类技术，通过在法律允许的程度上对其进行参考而将其合并于此。此外，名称为“Camera Phone Based Motion Sensing：Interactive techniques，Applications and Performance Study”(在ACM UIST 2005，Montreux，Switzerland，2006年10月，J.Wang，S.Zhai和J.Canny)的论文也描述了此类技术，通过在法律允许的程度上对其进行参考而将其合并于此。
在检测到对象或图像的移动之后，图像识别服务器6通过向电子设备传输相应命令进行响应。例如，在该情况中，如果选择音量，并且顺时针旋转移动设备(所捕捉图像中的对象具有逆时针旋转)，向音乐系统发送命令以增大音量。如果检测到图像向上或向下运动，则功能例如是卷动。
图4是示出了图像识别服务器6执行的步骤的流程图。
在第一步骤S0中，启动图像识别，其例如可以由图像识别服务器6接收到启动视频通话的请求以及接收到注册的移动设备1发起的视频流来触发。图像识别服务器优选地通过主叫电话号码来标识进行呼叫的特定移动设备1，并且根据用户的授权级别和诸如语言设置、报警触发和登录选项的偏好设置来配置本身。当图像识别开始时，图像识别服务器例如可以向移动设备1传输视频流，其具有附加在接收自移动设备1的视频图像上的文本“扫描设备”，或可以传输更为个人化的消息。
在下一步骤S1中，图像识别服务器6确定是否已经标识出视频流内的设备。首先，其实时地从图像中提取图像特征点并且通过将提取的特征点与对象数据库15中的对象特征进行匹配，来标识图像中的已知对象。如果没有对象与已经标识的设备相匹配，那么重复步骤S1。在每个图像识别测试之后例如存在小的延迟，从而直到标识出设备，例如以100ms的间隔重复图像识别，该间隔例如对应于视频流中的连续帧之间的时间延迟。如果标识出对象和相应的电子设备，则该设备成为活跃设备，并且下一步骤是S2。
在某些情况中，在视频图像中可以存在不止一个所识别的电子设备。在该情况中，方法例如基于在最接近视频图像中心的设备是用户希望控制的对象的基础上继续进行。继而，该设备成为活跃设备。
在步骤S2中，打开对已经被识别电子设备的连接。而且，图像识别服务器6传输提供该电子设备标识的返回视频流，例如其附加在设备的图像之上，并且在显示器上提供选项以便支配设备。如上所述，可以从对象数据库15或例如从经由因特网访问的电子设备获得该信息。
在下一步骤S3中，确定是否检测到图像运动。通过相对于之前进入的图像计算特征点的光流来执行该检测。然后，可以将这些运动与运动模板进行匹配来检测运动是顺时针、逆时针、向上还是向下。
如果没有检测到图像运动，下一步骤是S4。在步骤S4中，检测电子设备是否仍旧可见。如果设备不再可见，则这可以指示用户不再希望控制该活跃设备，或该活跃设备不是用户希望控制的设备。在该情况中，下一步骤是S1，其中图像识别服务器搜索另一电子设备。然而，如果电子设备仍旧可见中，则下一步骤是重复S3。
如果在步骤S3中检测到运动，则下一步骤是S5。在步骤S5中，根据视频捕捉区域中的图像运动，向电子设备传输不同的命令。一旦生成并且传输了此类命令，则下一步骤是S3，其中检测图像的进一步运动以确定是否需要进一步的命令。
在某些实施方式中，可以在检测到旋转之后重复向电子设备发送命令，直到检测到相反情况的旋转。这与诸如音量的模拟类型的功能特别相关。例如，如果在步骤S3中检测到顺时针旋转，则下一步骤是发送命令以增大音量并且继而重复S3。然而，当在步骤S3中检测到逆时针旋转时，或当移动设备短时保持静止时，或基于诸如“执行”或“结束”的语音命令，将仅停止传输增大音量的命令。
在某些备选实施方式中，一旦已经标识出电子设备5，则其可以保持在移动设备1的运动的控制之下，即使当电子设备5不再出现在移动设备的照相机的视场内。该同一电子设备5的命令继而继续直到远程服务器6识别出其他事件，诸如用户的语音命令、移动设备的特定运动或直到已经在照相机4捕捉的图像中检测到另一电子设备5。在后一情况中，其他电子设备将成为被控制的设备。
在任何时间，用户可以通过结束视频呼叫停止图像识别过程。
因此，已经描述了用户可以支配由具有视频呼叫功能的移动设备捕捉的电子设备、通过该移动设备的移动实现控制的方法和系统。除了在移动设备本身中执行图像识别之外，与服务器维持视频链路，同时执行识别、提供实时内容并且保持所有交互会话的记录。
有优势地，用户可以使用诸如3G移动电话的设备快捷地控制电子设备。因此，当例如遗失遥控单元时，可以将用户已经拥有的具有视频呼叫功能的标准移动设备用于控制设备。
有优势地，用于在视频呼叫期间支配设备的方法是免触摸的，换言之，用户不需要触摸移动设备上的键，而仅仅移动该设备。此外，启动呼叫、支配设备以及结束呼叫的整个过程优选地也是完全或几乎完全免触摸的，例如通过语音命令建立和结束视频呼叫。
通过提供图像识别服务器能够检测移动设备的运动，通过整体移动设备的运动而不是通过按下按钮，来容易地实现电子设备的命令。对于诸如可能难以发现操作小键盘的具有关节炎的残疾人来说，这是特别有用的。
虽然已经参考附图在上面描述了本发明的多个具体实施方式，但是本领域的技术人员应该理解，可以应用多个修改和变形。
例如，虽然已经描述了本发明的特定应用，但是存在可能的本发明的备选应用，诸如控制移动机器人或车辆、以窥镜(looking-glass)方式控制云台全方位照相机、远程控制奏乐或准备食物的机械臂、控制虚拟人(表示人的图形图像)或在视频游戏中作为输入设备。
虽然已经针对控制从图像识别服务器接收的信息而描述了特定类型的运动，但是可以识别不同的运动，例如设备的前后运动，左右运动或对角方向的运动，例如左上运动。

Claims (15)

1.一种使用无线移动设备(1)来控制电子设备(5)的方法，所述无线移动设备(1)具有显示器(3)以及视频捕捉单元(4)，所述方法包括以下连续步骤：
在所述移动设备和远程服务器(6)之间建立视频呼叫，从而所述远程服务器接收由所述移动设备捕捉的视频图像；
执行图像识别以标识所述捕捉的视频中的电子设备；
检测所述视频捕捉单元的运动；以及
基于所述视频捕捉单元的运动将控制信号传输到所述电子设备。
2.根据前述任一权利要求所述的方法，进一步包括：在发送控制信号的所述步骤之前，在所述远程服务器和所述电子设备之间建立连接。
3.根据前述任一权利要求所述的方法，包括：在所述运动检测步骤之前，向所述移动设备传输信息，所述信息指示对应于所述视频捕捉单元的运动的所述设备的命令。
4.根据前述任一权利要求所述的方法，其中执行图像识别包括：访问包括多个对象图像和/或签名的对象数据库(15)，并且将所述视频图像的特征与所述对象图像和/或签名进行匹配。
5.根据前述任一权利要求所述的方法，其中经由因特网传输所述控制信号。
6.根据前述任一权利要求所述的方法，其中所述运动包括所述视频捕捉单元的旋转。
7.一种用于控制电子设备(4)的无线移动设备(1)的应用，其中所述移动设备包括视频捕捉单元，所述应用包括：
使用所述移动设备在所述移动设备和远程服务器(6)之间建立视频呼叫；
将所述视频捕捉单元指向所述电子设备；以及
移动所述视频捕捉单元，使得所述电子设备在所述视频捕捉单元的视场中移动，以基于所述移动控制所述电子设备。
8.一种用于控制电子设备(5)的系统，包括：
无线移动设备(1)，包括配置用于捕捉视频图像的视频捕捉单元(4)；以及
服务器(6)，其能够在视频呼叫中与所述移动设备通信并且能够接收所述视频图像，所述服务器包括：
图像识别单元，配置用于在一个或多个所述视频图像中标识电子设备；
运动检测单元，配置用于检测所述视频捕捉单元的运动；以及
控制单元，配置用于基于视频捕捉单元的所述运动向所述电子设备(5)传输控制信号。
9.根据权利要求8所述的系统，进一步包括可由所述服务器(6)访问的对象数据库(15)，所述对象数据库包含用于标识所述电子设备的图像和/或签名。
10.根据权利要求8或9所述的系统，进一步包括无线通信网络，其允许所述无线移动设备和所述服务器之间的通信。
11.根据权利要求10所述的系统，其中所述服务器通过因特网连接至所述无线通信网络。
12.根据权利要求10所述的系统，其中所述服务器通过交换网络连接至所述无线通信网络。
13.一种配置用于控制电子设备(5)的自动控制单元(6，15)，包括：
视频呼叫单元(4)，配置用于在视频呼叫中与无线移动设备(1)通信，并且接收由所述移动设备捕捉的视频图像；
图像识别单元，配置用于标识一个或多个所述视频图像中的电子设备；
运动检测单元，配置用于在所述视频图像中检测所述电子设备的运动；以及
控制传输单元，配置用于基于所述运动检测单元检测的运动生成控制信号，并且将所述控制信号传输到所述电子设备。
14.根据权利要求13所述的自动控制单元，其中所述控制传输单元配置用于经由因特网向所述电子设备传输所述控制信号。
15.根据权利要求13或14所述的自动控制单元，其中运动检测单元配置用于检测所述视频捕捉单元的顺时针或逆时针旋转。
CN200880006266XA 2007-02-27 2008-02-26 视频呼叫设备控制 Active CN101622871B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07300828.6A EP1968320B1 (en) 2007-02-27 2007-02-27 Video call device control
EP07300828.6 2007-02-27
PCT/EP2008/052315 WO2008104540A1 (en) 2007-02-27 2008-02-26 Video call device control

Publications (2)

Publication Number Publication Date
CN101622871A true CN101622871A (zh) 2010-01-06
CN101622871B CN101622871B (zh) 2013-05-15

Family

ID=38283171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880006266XA Active CN101622871B (zh) 2007-02-27 2008-02-26 视频呼叫设备控制

Country Status (7)

Country Link
US (1) US8467778B2 (zh)
EP (1) EP1968320B1 (zh)
JP (1) JP5486929B2 (zh)
CN (1) CN101622871B (zh)
AU (1) AU2008220838A1 (zh)
CA (1) CA2678041C (zh)
WO (1) WO2008104540A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789029A (zh) * 2010-03-10 2010-07-28 深圳市茁壮网络股份有限公司 一种视频图像的分析方法、装置和数据库
CN102204271A (zh) * 2011-06-28 2011-09-28 华为终端有限公司 控制用户设备的方法和装置
CN102685582A (zh) * 2011-03-15 2012-09-19 Lg电子株式会社 控制电子设备的方法及其便携式终端
CN103999020A (zh) * 2011-12-05 2014-08-20 阿尔卡特朗讯 用于姿势控制的方法，姿势服务器设备与传感器输入设备
CN104637278A (zh) * 2013-11-15 2015-05-20 宏达国际电子股份有限公司 手持式电子装置及其操作方法
WO2017028674A1 (zh) * 2015-08-18 2017-02-23 华为技术有限公司 可视化远程控制可触控设备的方法、系统和相关设备
CN109145878A (zh) * 2018-09-30 2019-01-04 北京小米移动软件有限公司 图像提取方法及装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101937612B (zh) * 2009-06-30 2012-05-09 纬创资通股份有限公司 实像网控装置及其相关方法
CN102760049A (zh) * 2011-04-26 2012-10-31 蓝云科技股份有限公司 行动装置及其与具有显示功能的电子装置互动的方法
KR101798983B1 (ko) * 2011-10-12 2017-11-20 네이버 주식회사 매체간 서비스 연계를 위한 바인딩 장치 및 방법
DE102012001583A1 (de) * 2012-01-27 2013-01-24 Daimler Ag Verfahren und System zur Steuerung, Überwachung und/oder Konfiguration einer netzwerkfähigen Anordnung
US9697346B2 (en) * 2012-03-06 2017-07-04 Cisco Technology, Inc. Method and apparatus for identifying and associating devices using visual recognition
US10084848B2 (en) 2012-10-16 2018-09-25 At&T Intellectual Property I, L.P. Centralized control of user devices via universal IP services registrar/hub
US9747900B2 (en) 2013-05-24 2017-08-29 Google Technology Holdings LLC Method and apparatus for using image data to aid voice recognition
CN104714809B (zh) * 2013-12-11 2018-11-13 联想(北京)有限公司 一种信息处理的方法及电子设备
US9509799B1 (en) 2014-06-04 2016-11-29 Grandios Technologies, Llc Providing status updates via a personal assistant
US8995972B1 (en) 2014-06-05 2015-03-31 Grandios Technologies, Llc Automatic personal assistance between users devices

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6263503B1 (en) * 1999-05-26 2001-07-17 Neal Margulis Method for effectively implementing a wireless television system
JP2002086531A (ja) * 2000-09-12 2002-03-26 Nissei Plastics Ind Co 成形機の監視・管理・制御システム
US6750801B2 (en) * 2000-12-29 2004-06-15 Bellsouth Intellectual Property Corporation Remote control device with directional mode indicator
US6937742B2 (en) * 2001-09-28 2005-08-30 Bellsouth Intellectual Property Corporation Gesture activated home appliance
US20030191629A1 (en) * 2002-02-04 2003-10-09 Shinichi Yoshizawa Interface apparatus and task control method for assisting in the operation of a device using recognition technology
US7653212B2 (en) * 2006-05-19 2010-01-26 Universal Electronics Inc. System and method for using image data in connection with configuring a universal controlling device
FR2842643B1 (fr) * 2002-07-22 2004-09-03 France Telecom Normalisation de score de verification dans un dispositif de reconnaissance vocale de locuteur
AU2003274496A1 (en) * 2002-11-20 2004-06-15 Koninklijke Philips Electronics N.V. User interface system based on pointing device
DE10310746A1 (de) * 2003-03-10 2004-12-16 Deutsches Zentrum für Luft- und Raumfahrt e.V. System zur Fernbedienung von Unterhaltungselektronik-Heimkomponenten und/oder Verwaltung von Medieninhalten
US8014768B2 (en) 2003-04-30 2011-09-06 Disney Enterprises, Inc. Mobile phone multimedia controller
JP2005065118A (ja) * 2003-08-19 2005-03-10 Hitachi Ltd リモコン機能付き携帯端末及びリモコンサーバ
KR20060125735A (ko) * 2003-11-04 2006-12-06 코닌클리케 필립스 일렉트로닉스 엔.브이. 터치 스크린을 구비한 범용 원격 제어 장치
WO2005114476A1 (en) * 2004-05-13 2005-12-01 Nevengineering, Inc. Mobile image-based information retrieval system
WO2007052100A2 (en) * 2005-02-15 2007-05-10 Dspv, Ltd. System and method of user interface and data entry from a video call
JP2006285475A (ja) * 2005-03-31 2006-10-19 Mimi:Kk デジタルカメラ機能を利用した多次元的デジタル画像複合処理インターフェイス技術
US7460884B2 (en) * 2005-06-29 2008-12-02 Microsoft Corporation Data buddy
CN100531248C (zh) * 2005-08-17 2009-08-19 北京邮电大学 一种通过检测可拍照手机摄像头运动代替按键操作的方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101789029A (zh) * 2010-03-10 2010-07-28 深圳市茁壮网络股份有限公司 一种视频图像的分析方法、装置和数据库
CN101789029B (zh) * 2010-03-10 2015-04-29 深圳市茁壮网络股份有限公司 一种视频图像的分析方法、装置和数据库
CN102685582A (zh) * 2011-03-15 2012-09-19 Lg电子株式会社 控制电子设备的方法及其便携式终端
US8937664B2 (en) 2011-03-15 2015-01-20 Lg Electronics Inc. Method of controlling electronic device and portable terminal thereof
CN102685582B (zh) * 2011-03-15 2015-06-17 Lg电子株式会社 控制电子设备的方法及其便携式终端
CN102204271A (zh) * 2011-06-28 2011-09-28 华为终端有限公司 控制用户设备的方法和装置
CN103999020A (zh) * 2011-12-05 2014-08-20 阿尔卡特朗讯 用于姿势控制的方法，姿势服务器设备与传感器输入设备
CN104637278A (zh) * 2013-11-15 2015-05-20 宏达国际电子股份有限公司 手持式电子装置及其操作方法
WO2017028674A1 (zh) * 2015-08-18 2017-02-23 华为技术有限公司 可视化远程控制可触控设备的方法、系统和相关设备
CN109145878A (zh) * 2018-09-30 2019-01-04 北京小米移动软件有限公司 图像提取方法及装置

Also Published As

Publication number Publication date
EP1968320A1 (en) 2008-09-10
JP2010519866A (ja) 2010-06-03
CA2678041C (en) 2016-04-26
WO2008104540A1 (en) 2008-09-04
CN101622871B (zh) 2013-05-15
US20100103242A1 (en) 2010-04-29
EP1968320B1 (en) 2018-07-18
JP5486929B2 (ja) 2014-05-07
AU2008220838A1 (en) 2008-09-04
US8467778B2 (en) 2013-06-18
CA2678041A1 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
CN101622871B (zh) 视频呼叫设备控制
CN102498725B (zh) 自动确定操作模式的移动设备
US8554250B2 (en) Remote object recognition
CN104219785B (zh) 实时视频提供方法、装置及服务器、终端设备
CN106162369A (zh) 一种实现虚拟场景中互动的方法、装置及系统
CN102884537A (zh) 用于设备定位和通信的方法
KR20130116107A (ko) 단말의 원격 제어 방법 및 장치
CN111666009B (zh) 一种界面显示方法及电子设备
CN111124569B (zh) 一种应用共享方法、电子设备及计算机可读存储介质
CN107908765B (zh) 一种游戏资源处理方法、移动终端及服务器
CN111079030B (zh) 一种群组搜索方法及电子设备
CN111708383A (zh) 一种摄像头拍摄角度的调整方法及显示设备
CN105159676B (zh) 进度条的加载方法、装置和系统
CN114205633A (zh) 直播互动方法、装置、存储介质和电子设备
CN106101600A (zh) 视频通话的连接方法及装置
US20100275120A1 (en) Processing of fields in motion picture videos or still photos
CN109165651A (zh) 一种识别码识别方法、终端及计算机可读存储介质
CN107071328B (zh) 一种视频通话处理方法及移动终端
CN110929238B (zh) 一种信息处理方法及设备
CN112423011A (zh) 消息回复方法、装置、设备及存储介质
CN110399074A (zh) 图片拼接方法、装置、移动终端及存储介质
CN109246317A (zh) 一种用户信息的更新方法、系统和服务器
CN108874172A (zh) 输入方法和装置
CN111130998B (zh) 信息处理方法及电子设备
AU2012216491B2 (en) Video call device control

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: ACCENTURE INTERNATIONAL CO., LTD.

Free format text: FORMER OWNER: ACCENTURE GLOBAL SERVICES GMBH

Effective date: 20101215

Owner name: ACCENTURE GLOBAL SERVICES GMBH

Free format text: FORMER OWNER: ACCENTURE INTERNATIONAL CO., LTD.

Effective date: 20101215

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: SCHAFFHAUSEN, SWITZERLAND TO: LUXEMBOURG, LUXEMBOURG

Free format text: CORRECT: ADDRESS; FROM: LUXEMBOURG, LUXEMBOURG TO: DUBLIN, IRELAND

TA01 Transfer of patent application right

Effective date of registration: 20101215

Address after: Dublin, Ireland

Applicant after: ACCENTURE GLOBAL SERVICES Ltd.

Address before: Luxemburg Luxemburg

Applicant before: Accenture international LLC

Effective date of registration: 20101215

Address after: Luxemburg Luxemburg

Applicant after: Accenture international LLC

Address before: Schaffhausen

Applicant before: ACCENTURE GLOBAL SERVICES Ltd.

C14 Grant of patent or utility model
GR01 Patent grant