CN103677259A - 用于引导控制器的方法、多媒体装置及其目标跟踪装置 - Google Patents

用于引导控制器的方法、多媒体装置及其目标跟踪装置 Download PDF

Info

Publication number
CN103677259A
CN103677259A CN201310426326.6A CN201310426326A CN103677259A CN 103677259 A CN103677259 A CN 103677259A CN 201310426326 A CN201310426326 A CN 201310426326A CN 103677259 A CN103677259 A CN 103677259A
Authority
CN
China
Prior art keywords
controller
information
user
target
multimedia device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310426326.6A
Other languages
English (en)
Other versions
CN103677259B (zh
Inventor
崔镇旭
权东旭
金廷燮
金庆溢
金民镐
李起相
李相普
李镇京
郑善太
陈暎究
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020130016574A external-priority patent/KR102010782B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103677259A publication Critical patent/CN103677259A/zh
Application granted granted Critical
Publication of CN103677259B publication Critical patent/CN103677259B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2228—Video assist systems used in motion picture production, e.g. video cameras connected to viewfinders of motion picture cameras or related video signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • User Interface Of Digital Computer (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

描述了用于把主体引导回多媒体系统的可识别范围内的方法、系统和设备。根据所描述的方法之一，当确定目标已经离开多媒体系统的可识别范围时，从用户已经用来控制多媒体系统的便携式电子设备（或者控制器）中获取传感器信息，并且所获取的传感器信息被用来确定用户相对于可识别范围在何处。在一个例子中，用户被要求利用便携式电子设备做出姿态，并且关于该姿态的传感器信息被用来确定用户的相对位置。在另一例子中，用户离开可识别范围时被记录的传感器信息被用来确定用户的相对位置。

Description

用于引导控制器的方法、多媒体装置及其目标跟踪装置
技术领域
本发明一般地涉及把多媒体装置的用户引导回多媒体装置的可识别范围内，并具体涉及估计位于多媒体装置的操作环境内的多媒体装置的控制器的位置。
背景技术
随着通信技术的快速发展，电子设备的功能快速地扩展，这要求实现这些成长和变化的功能的各种用户接口（User Interface，UI）持续并快速的发展。电子设备提供了各种输入方法和用于控制这各种功能的手段。
一般地，用户使用按键输入来控制电子设备的功能。当电子设备具有触摸屏时，用户触碰触摸屏上的特定区域来控制设备。一般地，根据通过特定输入单元的直接输入来控制电子设备。
除了直接输入以外，能够使用基于视觉的识别方法来控制电子系统。基于视觉的识别方法从视觉输入设备拍摄的一个或更多个图像提取图像信息，并且被提取的图像信息被用来给电子系统提供输入。在图1中所示的基于视觉的识别方法的例子中，利用安装在例如电视的显示装置100上的相机110拍摄用户的运动，并且显示装置100的屏幕根据用户的运动改变。为了显示装置100识别用户的运动，用户必须位于相机110的视角范围120内；当用户位于相机110的视角范围外部时，显示装置100不能够识别用户的运动。
但是，用户无法判断他或她在视角范围内部还是外部，并且，即使在被通知时，用户也可能不知道怎样以及向哪儿移动以便回到系统的视角范围内。
因此，需要一种用于在用户移动到视角范围外部时把目标主体（即用户）引导回视角范围内的方法和装置。
发明内容
为了至少解决上面提到的问题和/或缺点并至少提供下面描述的益处，已经做出了本发明。因此，本发明的一个方面是提供一种引导目标主体在多媒体装置的成像区域内移动的装置和方法。
本发明的另一方面是提供一种用于在多媒体装置的操作环境中跟踪多媒体装置的控制器的运动，以便在控制器的用户移动到多媒体装置的可识别范围外部时引导他或她的装置和方法。
根据本发明的一个方面，提供了一种用于引导多媒体装置的控制器的用户移动回连接到多媒体装置的相机的可识别范围内的方法，包括：确定目标是否在相机的可识别范围内；和，如果确定目标不在可识别范围内，则：获取指示控制器的运动的传感器信息；基于控制器的运动的传感器信息，估计控制器的位置；和，输出和估计的控制器位置对应的引导信息，以便引导目标在相机的可识别范围内移动。
根据本发明的另一方面，提供了一种用于引导多媒体装置的控制器的用户在连接到多媒体装置的相机的可识别范围内移动的多媒体装置，包括：图像处理器，被配置成从相机所获取的图像中识别在相机的可识别范围内的目标；控制单元，被配置成当在相机的可识别范围内未检测到目标时，获取控制器的移动的传感器信息，以便使用控制器的传感器信息来估计控制器的位置，并且，被配置成输出和估计的控制器位置对应的引导信息，以便引导目标在相机的可识别范围内移动；和，显示单元，被配置成显示和估计的控制器位置对应的引导信息。
根据本发明的又一个方面，提供了一种便携式电子设备，包括：短距离通信单元，被配置成传送短距离通信信号；至少一个传感器，被配置成获取关于便携式电子设备的取向、移动和位置其中至少一个的信息；和，至少一个其上记录程序指令的非瞬态计算机可读介质，所述程序指令被配置成使便携式电子设备执行以下步骤：当便携式电子设备的用户在多媒体系统的可识别范围外部时，通过短距离通信单元从多媒体系统接收对传感器信息的请求；和，通过短距离通信单元，把被请求的传感器信息传送到多媒体系统，随后，所述多媒体系统使用接收到的传感器信息来确定用户在其可识别范围外部沿哪个方向。
根据本发明的又一个方面，提供了一种多媒体系统，包括：显示器；短距离通信单元，被配置成传送短距离通信信号；至少一个视觉输入设备，被配置成获取便携式电子设备的用户在显示器前方的可识别范围内的移动和位置信息中的至少一个；和，至少一个其上记录程序指令的非瞬态计算机可读介质，所述程序指令被配置成使多媒体系统执行以下步骤：检测用户何时在所述至少一个视觉输入设备的可识别范围外部；和，当检测到用户在可识别范围外部时，请求用户利用便携式电子设备执行动作；通过短距离通信单元从便携式电子设备接收关于被请求动作的传感器信息；和，使用接收的传感器信息确定用户在可识别范围外部沿哪个方向。
附图说明
结合附图，从下面的描述，本发明的某些实施例的上述以及其他方面、特征和益处将更为清晰，在附图中：
图1示出了一般多媒体装置的可识别范围；
图2示出了本发明的一个实施例，其中多媒体装置的控制器位于多媒体装置的可识别范围外部；
图3根据本发明实施例示出了在控制器的屏幕上显示的引导信息；
图4A是根据本发明实施例的多媒体装置及控制器的框图；
图4B是根据本发明实施例的多媒体装置和单独的目标跟踪单元的框图；
图5是根据本发明实施例的多媒体装置的操作方法的流程图；
图6示出了本发明的实施例，其为用户提供了移动回多媒体装置的可识别范围内的指引；
图7示出了本发明的另一实施例，其为用户提供了在多媒体装置的可识别范围内移动的指引；和
图8示出了本发明的另一实施例，其为用户提供了在多媒体装置的可识别范围内移动的指引。
贯穿附图，相同的参考数字将被理解为指示相同的部分、部件和结构。
具体实施方式
此后将参考附图详细地描述本发明的实施例。但是本领域技术人员应该清楚，提供下面对本发明实施例的描述仅用于说明目的而非限制本发明的目的，本发明由所附权利要求及其等同物限定。在下面的描述中，为了容易理解，相同的数字贯穿附图的描述指示相同的元件，并且相同的元件将不被进一步描述。
将会理解，尽管这里使用术语第一、第二等来描述各种元件，但是这些元件不受这些术语限制，它们仅被用来帮助将一个元件与另一个加以区分。例如，第一元件可以被称为第二元件，并且，类似地，第二元件可以被称为第一元件而不偏离本发明的范围。如这里所使用的，单数形式“一”、“一个”、“该”预期也包括复数形式，除非上下文清楚地另有指示。
本发明的实施例提供了用于把目标主体（即，用户）引导回多媒体装置的可识别范围内的方法和装置。所述方法包括：当在多媒体装置的可识别范围内未检测到目标时，从用户的控制器获取加速度信息以确定控制器在多媒体装置的可识别范围外部位于何处；和，输出把用户引导回多媒体装置的可识别范围内的引导信息。
如这里所使用的，“可识别范围”是多媒体装置的目标跟踪单元中所包括的相机的视场（field of view）。换句话说，可识别范围是当通过相机镜头观察主体时什么能够被看见。可识别范围依赖于相机的视角，视角是相机的独特性质。
如果目标主体或者用户（取决于上下文，术语“目标主体”、“目标”、“主体”和“用户”被可互换地用于相同的实体或者实体的部分）在多媒体装置的可识别范围的外部，则多媒体装置不能跟踪目标的移动。此外，在快速移动主体——例如手或者脚的情况下，只使用图像传感器很难跟踪主体已经移动到的位置。因此，有必要准确地估计目标的位置并使用该位置信息来引导目标在可识别范围以内移动。为此目的，根据本发明的一个实施例的方法使用控制器把控制命令输入到多媒体装置，并估计持有控制器的目标的位置，然后，引导目标在多媒体装置的可识别范围内移动。
图2示出了当控制器215已经移动到多媒体装置200的可识别范围外部时确定其取向和/或位置。在图2中，多媒体装置200是电视，但是，多媒体装置200可以是能够跟踪用户的移动并使用跟踪的移动作为输入命令的任何装置，例如电视、桌面PC、平板PC、游戏，等等。图2中示出的控制器215被用作控制由多媒体装置200执行的应用程序、游戏等的输入单元。例如，当用户正在多媒体装置200上玩网球视频游戏时，用户可以像网球拍那样实体地操纵控制器215。在这个例子中，如多媒体装置200的显示器上所示的网球选手针对网球拍的位置和姿态根据由控制器215跟踪的用户的位置和姿态改变。
参考图2，多媒体装置200跟踪用户，并使用用户的移动作为输入命令来输出图像。为此目的，用于拍摄并跟踪用户的目标跟踪单元205被安装在多媒体装置200的上部。目标跟踪单元205的位置可以是能够从其很容易地感测用户的整个身体和移动的任何位置。在这个实施例中，目标跟踪单元205具有可识别范围230。
多媒体装置200通过外部设备连接器连接到外部设备，外部设备连接器例如短距离通信单元210。这里，外部设备连接器可以是任何类型的短距离通信单元，例如蓝牙通信单元、近场通信（NFC）单元，或者能够通过短距离通信以无线方式连接多媒体装置200的任何系统、设备或部件，包括WiFi直连通信单元。在这个实施例中，控制器是使用短距离通信单元与多媒体装置200通信的外部设备，并且可以是移动终端，例如遥控器、传感器带（sensorband）、移动电话、智能电话、平板PC，等等。在这个实施例中，多媒体装置200能够使用短距离通信单元210在10米半径内通信。
识别算法被应用于通过目标跟踪单元205接收的图像，以便检测并跟踪用户。通过这些手段，多媒体装置200能够确定用户何时已经移动出可识别范围230。当这发生时，根据本发明实施例的多媒体装置200使用用户持有的控制器215准确地估计用户的位置。更具体地，多媒体装置200通过短距离通信单元210从控制器215获取传感器信息，然后，把传感器信息用于位置和/或取向估计。
来自控制器215的传感器信息包括x轴、y轴和z轴坐标值。为了确定控制器215位于可识别范围230外部左侧还是右侧，多媒体装置200输出通知消息240来获取控制器215更准确的坐标值。例如，当用户已经移动出可识别范围230时，多媒体装置200可以在屏幕上示出用户的缺失，并为用户显示移动控制器215以朝向屏幕的通知消息。当用户看到通知消息时，用户将转动控制器215以朝向多媒体装置200。如果控制器215相对于多媒体装置200的中心在可识别范围230外部居右，则控制器215将被沿左边方向220转动。如果控制器215相对于多媒体装置200的中心居左，则控制器215将被沿右边方向转动。
在用户做出移动控制器215以朝向多媒体装置200的姿态之前、期间和之后，控制器215正在获取传感器信息。更具体地，控制器215在用户做出姿态之前获取关于其初始坐标(X1，Y1，Z1)的传感器信息，在用户做出姿态之后获取其坐标(X2，Y2，Z2)。该传感器信息指示控制器在该姿态之前和之后取向上的变化，该传感器信息被传送到多媒体装置200，以使多媒体装置200能够准确地识别控制器215在可识别范围230外部位于何处。多媒体装置200随后基于确定的控制器215的位置，通过屏幕、扬声器和振动设备中的至少一个输出用户引导信息。引导信息引导用户沿着和控制器215已经在可识别范围205外部移动的方向相反的方向移动。
根据本发明的另一实施例，如图3中所示，引导信息被在控制器215的屏幕上而非在多媒体装置200的屏幕上显示。当多媒体装置200从控制器215获取传感器信息时，多媒体装置200计算控制器215的参考轴260相对于多媒体装置参考轴255做出的倾斜角度，基于该倾斜角度确定控制器215的相对位置和/或取向，然后把引导信息传送到控制器215，多媒体装置参考轴255对应于多媒体装置200的预先确定的参考轴250。即，多媒体装置200产生关于要在控制器215上显示的引导方向的信息，并把该信息提供给控制器215，控制器215可以在其屏幕上示出例如箭头来指示用户和/或控制器应该往哪儿移动。此外，如图3中所示，在控制器215的屏幕上显示的箭头270的方向随着控制器215的倾斜角度改变。在图3的例子中，控制器215基于使用例如罗盘传感器等确定的取向和/或位置上的变化，把显示箭头270改变到显示箭头280。
根据本发明的实施例，控制器215的屏幕可以示出有关控制器215和多媒体装置200之间的距离的信息，和/或有关多媒体装置200相对于控制器215沿哪个方向的信息。在图3中，像个罗盘，持有控制器215的用户必须沿着移动的方向（基于控制器215的倾斜角度确定）被显示在控制器215的屏幕上。图3仅仅是一个例子。控制器的屏幕也可以显示多媒体装置200和控制器215之间的相对距离，或者用户为了回到可识别范围内必须移动的距离。
在图3中，引导信息被通过屏幕输出，但是，引导信息可以通过扬声器或者振动设备被输出。例如，当使用振动设备时，在从左向右移动或者反向移动的同时，控制器215可以输出和从多媒体装置200接收到的方向信息对应的振动信号，从而通知用户他/她必须沿其移动的方向。
此后，将参考图4A描述多媒体装置200和控制器215的详细操作和配置。图4A只示出了和本发明的实施例相关的部件，并且将省略有关构成多媒体装置200和控制器215的其他公知部件的详细描述，因为它们不和本发明直接相关。
参考图4A，多媒体装置200包括：图像输入单元305、控制单元310、用于和控制器215通信的短距离通信单元315，以及用于显示引导信息的显示单元320。图像输入单元305在控制单元310的控制下，拍摄静态图像或者运动图像。图像输入单元305包括用于获取其可识别范围内的一个或更多个图像的图像传感器，并且通常被从多媒体装置200瞄准前方（即，朝着多媒体装置的任何用户），或者，可以包括用于获取有关位于其前方的用户的深度信息的深度传感器。控制单元310可以起到图像处理器的作用，用于把识别算法用于从图像输入单元305接收到的一个或更多个图像来识别用户。但是，如本领域技术人员公知的，可以与控制单元310分开地提供图像处理器。如果在接收的图像中未检测到用户，则控制单元310通过短距离通信单元315从控制器215获取有关控制器的移动的传感器信息。控制单元310随后基于传感器信息估计控制器215的位置，并控制显示单元320输出引导信息，以使用户将在多媒体装置200的可识别范围内移动控制器215。
控制单元310通过屏幕、扬声器和振动设备中的至少一个输出引导信息。当持有控制器215的用户朝着多媒体装置200移动时，控制器215将其根据用户的移动改变的坐标值（即传感器信息）通过短距离通信单元315传送到多媒体装置200。
在图4A中所示的实施例中，控制器215包括短距离通信单元325、控制单元（例如，应用程序处理器、CPU，等等）330、传感器单元335和输入/输出模块345。
短距离通信单元325被配置成通过短距离通信方法与多媒体装置200通信。
传感器单元335是用于感测控制器215的位置、方向、取向、定位和/或移动的传感器，并且可以包括加速度传感器、陀螺仪传感器、重力传感器、冲击传感器、GPS和罗盘传感器中的一个或更多个。传感器单元335被配置成获取传感器信息，包括例如根据用户的移动改变的坐标值。
响应于来自多媒体装置200的请求，控制单元330通过短距离通信单元325把被传感器单元335获取的传感器信息传送到多媒体装置200。当多媒体装置200已经确定在可识别范围中不存在用户时，请求可被从多媒体装置200传送到控制器215。
根据本发明的另一实施例，指示目标必须沿其移动的方向的引导信息被在控制器215的屏幕上而非多媒体装置200的屏幕上输出。在这种情况下，控制器215从多媒体装置200接收方向信息，并输出引导信息，指示目标为了返回可识别范围内必须沿其移动的方向。
在图4A中所示的实施例中，控制器215包括显示单元340。显示单元340可以被用LCD面板的形式实施，并且也可以被实施为触摸屏，在触摸屏的情况下，显示单元340也作为输入单元工作。除了控制器215的各种菜单以外，显示单元340被用来显示用户输入的信息或者要提供给用户的信息。显示单元340给用户提供对应于各种服务（例如应用程序、游戏，等等）的各种UI。
输入/输出模块345包括按钮、麦克风、扬声器、振动设备、连接器和小键盘中的任一个。
根据本发明的又一实施例，控制器产生方向信息并将其输出到用户。更具体地，控制器215的控制单元330使用传感器信息来计算控制器215的参考轴相对于多媒体装置200的参考轴的倾斜角度、产生有关控制器215必须沿其转动的方向的信息（基于计算的倾斜角度确定），然后把方向引导信息输出给用户。在这个实施例中，方向信息由控制器215而非多媒体装置200计算。这里，多媒体装置200的参考轴可被从多媒体装置200请求并被提供给控制器215。
图4A示出了目标跟踪部件被包括在多媒体装置200中的例子，但是，如图4B中所示，那些部件可以被包括在单独的目标跟踪单元205中。目标跟踪单元可以被安装或者实施在其他类型的外部设备中也是有可能的。例如，目标跟踪单元可以是机顶盒等，其被有线或者无线地连接到多媒体装置200。
参考图4B，目标跟踪单元205包括图像输入单元350、短距离通信单元355和控制单元360。在其他的实施例中，目标跟踪单元205可以只包括图像输入单元350和短距离通信单元355。
目标跟踪单元205的部件以和多媒体装置200的对应部件相同的方式工作。简单地说，图像输入单元350被配置成获得前景图像。如果从接收到的图像未检测到目标，则目标跟踪单元205的控制单元360通过短距离通信单元355从控制器215获取用于位置估计的传感器信息。控制单元360基于使用传感器信息估计的位置创建引导信息，并通过短距离通信单元355把引导信息传送到控制器215，以使用户能够把控制器215移动到目标跟踪单元205的可识别范围内。目标跟踪单元205的可识别范围依赖于图像输入单元350的成像范围。
在目标跟踪单元205只包括图像输入单元350和短距离通信单元355的实施例中，尽管省略了控制单元360，但是图像输入单元350和短距离通信单元355以相同方式工作。
图5是根据本发明实施例的多媒体装置200的操作方法的流程图。
参考图2和图5，当成像开始时，在步骤400中，多媒体装置200从通过相机接收的一个或更多个图像识别要被跟踪的目标，然后在步骤405中监视或者跟踪该目标。如本领域技术人员公知的，存在各种用于识别和跟踪目标的方法，包括使用一般的识别算法从输入图像提取特征点，然后执行模板匹配。在步骤410中，多媒体装置200确定在接收的图像中是否已经识别到目标。如果确定已经检测到目标，则在步骤415中，多媒体装置200执行与作为输入命令的用户移动对应的功能。
如果在步骤410中确定未检测到目标，则在步骤420中，多媒体装置200请求控制器215发送传感器信息，然后在步骤425中，基于由控制器215提供的传感器信息，确定控制器215位于可识别范围外部何处（即，可识别范围的左边还是右边）。在本发明的实施例中，用户被要求利用控制器做出移动或者姿态，并且，在这种情况下，传感器信息包括由用户做出姿态/移动之前、之后和/或期间，有关控制器215的移动、取向和/或方向的坐标和/或信息。在步骤430中，多媒体装置200输出引导信息，以使持有控制器215的用户在可识别范围内移动。例如，引导信息可以是方向图标、符号或者字符，例如图6中在多媒体装置200的屏幕上示出的箭头500。
在上面描述的实施例中，用户被请求执行动作，以便确定控制器215的位置。根据其他实施例，例如下面描述的例子，通过使用始自识别目标移动出可识别范围的时间的加速度传感器信息来确定控制器215的位置而不需要来自用户的移动或者姿态。
在图7中，用户已经沿左边方向715移动出可识别范围700。当多媒体装置200确定用户已经从可识别范围700移动时，多媒体装置200分析在用户移动出可识别范围700的时刻之前和之后的预先确定的时间段期间从控制器215接收到的传感器信息（即，加速度信息）。加速度信息可以被多媒体装置200从控制器215定期接收，或者周期性地，或者间隙性地。或者，多媒体装置200可以在目标不再在可识别范围中被检测到时，从控制器215请求某一加速度传感器信息。某一加速度传感器信息可以是控制器215在预先确定的时间段上收集的加速度传感器度量。控制器215可以自动度量加速度传感器信息达预先确定的时间段，然后把度量的加速度传感器信息存储在临时缓冲区中。
在图7的例子中，如果可识别范围外部左边区域被设置为“+”，则因为速度的方向是“左边”，所以当控制器215移动出可识别范围进入左边区域时的加速度值是“+”。多媒体装置200基于加速度传感器信息确定控制器215的移动方向是沿着加速度方向705。由于控制器215的加速度方向705和用户的加速度方向715相同，所以多媒体装置200确定用户已经移动到可识别范围700的左侧。以这种方式，由于加速度传感器信息具有方向和大小，所以多媒体装置200能够基于加速度传感器信息，确定持有控制器215的用户的移动方向。在确定加速度方向之后，多媒体装置200输出引导信息710，指示和加速度方向相反的方向，从而引导用户移动回可识别范围700内。
图8示出了本发明的实施例，当用户在可识别范围的边界把控制器移入和移出可识别范围时，该实施例补偿由加速度传感器读数所指示的方向。
参考图8，如果用户在他/她沿左边方向815移动出可识别范围700时的大致相同时刻沿着右边方向805把控制器215移动回可识别范围700内，则控制器215在用户退出可识别范围的时刻的移动方向和用户的移动方向815相反。但是，控制器215的移动方向805和用户的移动方向815相反的时间段非常短暂，而控制器215的移动方向800是沿着和用户相同的移动方向815——即朝着可识别范围700的外部左边的时间段则长得多。
因此，当用户移动出可识别范围700时，控制器215的加速度方向被分析更长的时段，即，从确定用户不再在可识别范围700中的时间开始达预先确定的时间段（例如0.5秒到1秒）。如果可识别范围700外部的左边区域被设置为“+”，则初始加速度的方向800是“+”，并且较晚加速度的方向805是“-”。但是，由于其对应于非常短的时段，所以当分析的时段包括沿着方向800的初始加速度的长得多的时段时，较晚加速度的方向805实际上被忽略。因此，多媒体装置200最终确定初始加速度的方向800是用户已经移动的方向，并输出和用户的移动方向相反的方向对应的引导信息810。藉此，多媒体装置200能够实时地引导用户在可识别范围700内移动。
根据上述本发明的实施例，如果在安装在多媒体装置上的相机一开始被驱动时，主体位于多媒体装置的可识别范围以外，或者，如果在相机正在工作时主体移动出可识别范围，则多媒体装置确定主体的相对位置，并把主体引导回可识别范围内。
本发明的实施例可被用硬件、软件或者硬件和软件组合的形式实施。软件可以被存储在例如只读存储器（ROM）的易失或者非易失存储器件中，无论其是可擦除还是可重写的，存储在例如随机访问存储器(RAM)的存储器中、存储器芯片和集成电路（IC）中，或者存储在光学/磁性可记录和机器可读存储介质中，包括非瞬态计算机可读介质，诸如，例如光盘（CD）、数字多功能盘（DVD）、磁盘和磁带。能够被包括在多媒体装置和/或控制器中并构成适于存储一个或更多个程序的机器可读存储介质的任何存储器，均适于本发明的实施例，所述程序包括实施本发明的实施例的指令。因此，本发明的实施例包括具有用于实施所附权利要求中给出的方法的指令的程序，以及存储那些程序的任何机器可读记录介质。根据本发明实施例的程序可以电方式通过任何介质及其等同物转移，所述等同物例如通过有线或者无线连接被转移的通信信号。
因此，多媒体装置和/或控制器可以有线或者无线方式从与其连接的程序提供装置接收根据本发明实施例的程序，并在其中存储所述程序。根据本发明实施例，程序提供装置可以是：存储器，被配置成存储包括用于指令多媒体装置和/或控制器执行输出预先设置的引导信息的方法的指令的程序、所述方法输出引导信息所需要的信息等；通信单元，被配置成与多媒体装置和/或控制器执行有线或无线通信；和，控制单元，被配置成自动地或者根据来自多媒体装置和/或控制器的请求，把对应程序传送到多媒体装置和/或控制器。
虽然已经参考本发明的某些实施例示出和描述了本发明，但是本领域技术人员将会理解，不偏离本发明的由所附权利要求及其等同物限定的精神和范围，就可以对其做出形式和细节上的各种变化。

Claims (24)

1.一种用于引导多媒体装置的控制器的用户在连接到多媒体装置的相机的可识别范围内移动的方法，包含：
确定目标是否在相机的可识别范围内；和
如果确定目标不在相机的可识别范围内，则：
获取指示控制器的移动的传感器信息；
基于控制器的移动的传感器信息，估计控制器的位置；和
输出和估计的控制器的位置对应的引导信息，以便引导目标在相机的可识别范围内移动。
2.如权利要求1所述的方法，其中，如果确定目标不在可识别范围内，则还包含：
输出指令目标利用控制器执行姿态的指令信息。
3.如权利要求1或2所述的方法，其中，确定目标是否在相机的可识别范围内包含：
通过相机接收图像；
从接收的图像识别目标；和
跟踪目标。
4.如权利要求3所述的方法，还包含，如果在相机的可识别范围内未检测到目标，则输出引导目标朝多媒体装置移动的引导信息。
5.如权利要求4所述的方法，其中，当目标响应于指令信息做出预先确定的姿态时，从控制器获取的传感器信息包含控制器的位置、取向或者方向上的变化的传感器信息。
6.如权利要求5所述的方法，还包含：
基于控制器的传感器信息，计算控制器的参考轴相对于多媒体装置的预先确定的参考轴倾斜的角度；
基于计算的倾斜角度，创建要在控制器的屏幕上显示的方向信息；和
把方向信息传送到控制器。
7.如权利要求1所述的方法，其中，估计控制器的位置包含基于控制器的传感器信息，确定控制器位于相机的可识别范围的左边还是右边。
8.如权利要求1所述的方法，其中，输出和估计的控制器的位置对应的引导信息包含输出用于引导目标沿着和估计控制器在可识别范围外部的方向相反的方向移动的信息。
9.如权利要求1所述的方法，其中，输出和估计的控制器的位置对应的引导信息包含通过多媒体装置的显示单元、扬声器和振动设备中的至少一个输出引导信息。
10.如权利要求1所述的方法，其中，传感器信息被从控制器中的加速度传感器和陀螺仪传感器中的至少一个获取。
11.一种用于引导多媒体装置的控制器的用户移动到连接到多媒体装置的相机的可识别范围内的多媒体装置，包含：
图像处理器，被配置成从相机所获取的图像中识别在相机的可识别范围内的目标；
控制单元，被配置成当在相机的可识别范围内未检测到目标时，获取控制器的移动的传感器信息，以便使用控制器的传感器信息来估计控制器的位置，并且，被配置成输出和估计的控制器的位置对应的引导信息，以便引导目标在相机的可识别范围内移动；和
显示单元，被配置成显示和估计的控制器的位置对应的引导信息。
12.如权利要求11所述的多媒体装置，还包含：
一个或更多个输出单元，被配置成当在可识别范围内未检测到目标时输出指令信息，所述指令信息包含用于目标执行预先确定的姿态的指令。
13.如权利要求11或12所述的多媒体装置，还包含：
图像输入单元，被配置成接收相机所获取的一个或更多个图像；和
短距离通信单元，被配置成和控制器通信，以便从控制器接收传感器信息，并把传感器信息从控制器传送到控制单元。
14.如权利要求13所述的多媒体装置，其中，图像输入单元和短距离通信单元被安装在以有线方式和无线方式至少其中之一连接到多媒体装置的机顶盒中。
15.如权利要求11所述的多媒体装置，其中，如果在可识别范围内未检测到目标，则控制单元输出用于引导目标朝多媒体装置移动的引导信息，所述引导信息被通过显示单元、扬声器和振动设备中的至少一个输出。
16.如权利要求12所述的多媒体装置，其中，当目标响应于引导信息做出预先确定的姿态时，来自控制器的传感器信息包含指示控制器的位置、取向和方向中的至少一个的变化的信息。
17.如权利要求16所述的多媒体装置，其中，传感器信息包括用户做出预先确定的姿态之前的控制器的坐标，以及目标做出预先确定的姿态之后的控制器的坐标。
18.如权利要求11所述的多媒体装置，其中，控制单元基于传感器信息，计算控制器相对于多媒体装置的预先确定的参考轴倾斜的角度，并且使用控制器的倾斜角度估计控制器的相对位置。
19.如权利要求18所述的多媒体装置，其中，控制单元基于控制器的倾斜角度，确定控制器位于相机的可识别范围外部左侧还是右侧。
20.如权利要求11所述的多媒体装置，其中，控制单元基于传感器信息，计算控制器相对于多媒体装置的预先确定的参考轴倾斜的角度，基于计算的控制器的倾斜角度，确定控制器位于相机的可识别范围的左边还是右边，并引导目标沿着和确定的控制器在相机的可识别范围外部所位于的左侧或者右侧方向相反的方向移动。
21.如权利要求11所述的多媒体装置，其中，控制器包含：
传感器，被配置成获取指示控制器的位置、取向和/或方向其中之一的变化的传感器信息；
短距离通信单元，被配置成和多媒体装置通信；和
控制单元，被配置成基于传感器信息计算控制器的参考轴相对于多媒体装置的预先确定的参考轴倾斜的角度，以便基于计算的倾斜角度产生关于控制器要转动的方向的信息，并输出关于转动方向的信息。
22.一种便携式电子设备，包含：
短距离通信单元，被配置成传送短距离通信信号；
至少一个传感器，被配置成获取关于便携式电子设备的取向、移动和位置其中至少一个的信息；和
至少一个其上记录程序指令的非瞬态计算机可读介质，所述程序指令被配置成使便携式电子设备执行以下步骤：
当便携式电子设备的用户在多媒体系统的可识别范围外部时，通过短距离通信单元从多媒体系统接收对传感器信息的请求；和
通过短距离通信单元，把被请求的传感器信息传送到多媒体系统，随后，所述多媒体系统使用接收到的传感器信息来确定用户在其可识别范围外部沿哪个方向。
23.如权利要求22所述的便携式电子设备，其中，记录在至少一个非瞬态计算机可读介质上的程序指令还被配置成使便携式电子设备执行以下步骤：
在多媒体系统指令便携式电子设备的用户利用便携式电子设备执行动作之后，通过至少一个传感器，获取关于便携式电子设备的取向上的变化的信息。
24.一种多媒体系统，包含：
显示器；
短距离通信单元，被配置成传送短距离通信信号；
至少一个视觉输入设备，被配置成获取便携式电子设备的用户在显示器前方的可识别范围内的移动和位置信息中的至少一个；和
至少一个其上记录程序指令的非瞬态计算机可读介质，所述程序指令被配置成使多媒体系统执行以下步骤：
检测用户何时在所述至少一个视觉输入设备的可识别范围外部；和
当检测到用户在可识别范围外部时：
请求用户利用便携式电子设备执行动作；
通过短距离通信单元从便携式电子设备接收关于被请求动作的传感器信息；和
使用接收的传感器信息确定用户在可识别范围外部沿哪个方向。
CN201310426326.6A 2012-09-18 2013-09-18 用于引导控制器的方法、多媒体装置及其目标跟踪装置 Active CN103677259B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20120103507 2012-09-18
KR10-2012-0103507 2012-09-18
KR10-2013-0016574 2013-02-15
KR1020130016574A KR102010782B1 (ko) 2012-09-18 2013-02-15 멀티미디어 장치의 인식 범위로 컨트롤러의 위치를 보정하도록 유도하는 방법, 이를 위한 멀티미디어 장치 및 타겟 추적 장치

Publications (2)

Publication Number Publication Date
CN103677259A true CN103677259A (zh) 2014-03-26
CN103677259B CN103677259B (zh) 2018-05-29

Family

ID=49230539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310426326.6A Active CN103677259B (zh) 2012-09-18 2013-09-18 用于引导控制器的方法、多媒体装置及其目标跟踪装置

Country Status (3)

Country Link
US (1) US9838573B2 (zh)
EP (1) EP2708982B1 (zh)
CN (1) CN103677259B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104865831A (zh) * 2014-02-26 2015-08-26 三星电子株式会社 包括查看传感器的家庭控制系统及控制其的方法
CN108243302A (zh) * 2016-12-26 2018-07-03 奥林巴斯株式会社 传感器信息取得装置、传感器信息取得方法及记录介质
CN112805663A (zh) * 2018-10-02 2021-05-14 三星电子株式会社 电子装置及其姿势识别方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150268737A1 (en) * 2014-03-21 2015-09-24 Bose Corporation Gesture-based controller for use in axisymmetric housing
US10477159B1 (en) * 2014-04-03 2019-11-12 Waymo Llc Augmented reality display for identifying vehicles to preserve user privacy
KR102246555B1 (ko) * 2014-09-01 2021-04-30 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
JP6555974B2 (ja) * 2015-08-06 2019-08-07 キヤノン株式会社 情報処理装置、情報処理方法、コンピュータプログラム、及び記憶媒体
CN108628640B (zh) * 2018-04-25 2022-03-01 海信视像科技股份有限公司 用于显示设备中的端子插接引导方法、装置和显示设备
US10860088B2 (en) 2018-05-03 2020-12-08 Microsoft Technology Licensing, Llc Method and system for initiating application and system modal control based on hand locations
CN110970023A (zh) * 2019-10-17 2020-04-07 珠海格力电器股份有限公司 语音设备的控制装置、语音交互方法、装置及电子设备
US11475652B2 (en) 2020-06-30 2022-10-18 Samsung Electronics Co., Ltd. Automatic representation toggling based on depth camera field of view
US12026901B2 (en) 2020-07-01 2024-07-02 Samsung Electronics Co., Ltd. Efficient encoding of depth data across devices
US11901987B2 (en) 2021-07-30 2024-02-13 Samsung Electronics Co., Ltd. System and method for beam directional nulling for SRS-based data beams
US11923923B2 (en) 2021-07-30 2024-03-05 Samsung Electronics Co., Ltd. System and method for beam directional nulling

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050068227A1 (en) * 2003-09-26 2005-03-31 Rami Caspi System and method for presence-based area monitoring
CN1849613A (zh) * 2003-09-10 2006-10-18 皇家飞利浦电子股份有限公司 用于特征识别的设备和方法
US20070060385A1 (en) * 2005-09-14 2007-03-15 Nintendo Co., Ltd. Storage medium storing virtual position determining program
CN101267501A (zh) * 2007-03-13 2008-09-17 株式会社日立制作所 影像信息处理装置
US20090305207A1 (en) * 2005-12-12 2009-12-10 Hiromu Ueshima Training method, training device, and coordination training method
US20100053322A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd Detecting ego-motion on a mobile device displaying three-dimensional content
US20100151948A1 (en) * 2008-12-15 2010-06-17 Disney Enterprises, Inc. Dance ring video game
CN102639199A (zh) * 2009-11-18 2012-08-15 美国索尼电脑娱乐有限责任公司 经由运动敏感控制器的便携设备交互

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3009633B2 (ja) * 1997-04-03 2000-02-14 コナミ株式会社 画像装置、画像表示方法および記録媒体
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
US6424410B1 (en) * 1999-08-27 2002-07-23 Maui Innovative Peripherals, Inc. 3D navigation system using complementary head-mounted and stationary infrared beam detection units
US7409233B2 (en) * 2001-06-14 2008-08-05 Kyocera Wireless Corp. System and method for providing location-based responses
US7274295B2 (en) * 2002-10-30 2007-09-25 At&T Bls Intellectual Property, Inc. Instantaneous mobile access to all pertinent life events
WO2006070047A1 (en) * 2004-12-31 2006-07-06 Nokia Corporation Provision of target specific information
MX2007016046A (es) * 2005-06-13 2008-03-10 Tripath Imaging Inc Sistema y metodo para re-ubicar un objeto en una muestra en un portaobjetos con un dispositivo de imagen de microscopio.
US8981682B2 (en) * 2005-06-27 2015-03-17 Coactive Drive Corporation Asymmetric and general vibration waveforms from multiple synchronized vibration actuators
US7762022B2 (en) * 2005-07-08 2010-07-27 Bea, Inc. Automatic door opening and closing system and method of control thereof
US8313379B2 (en) * 2005-08-22 2012-11-20 Nintendo Co., Ltd. Video game system with wireless modular handheld controller
US8870655B2 (en) * 2005-08-24 2014-10-28 Nintendo Co., Ltd. Wireless game controllers
TWI305892B (en) * 2005-11-23 2009-02-01 Inst Information Industry Apparatus, computer equipment, method and computer readable media for simultaneously controlling a cursor and an optical pointer
JP4151982B2 (ja) * 2006-03-10 2008-09-17 任天堂株式会社 動き判別装置および動き判別プログラム
US8810511B2 (en) * 2007-09-11 2014-08-19 Gm Global Technology Operations, Llc Handheld electronic device with motion-controlled cursor
KR101606834B1 (ko) * 2008-07-10 2016-03-29 삼성전자주식회사 움직임과 사용자의 조작을 이용하는 입력장치 및 이에적용되는 입력방법
US8441441B2 (en) * 2009-01-06 2013-05-14 Qualcomm Incorporated User interface for mobile devices
US20100188397A1 (en) * 2009-01-28 2010-07-29 Apple Inc. Three dimensional navigation using deterministic movement of an electronic device
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US9852156B2 (en) * 2009-12-03 2017-12-26 Google Inc. Hybrid use of location sensor data and visual query to return local listings for visual query
KR101646953B1 (ko) * 2010-01-12 2016-08-09 엘지전자 주식회사 디스플레이 장치 및 그 제어방법
US8339364B2 (en) * 2010-02-03 2012-12-25 Nintendo Co., Ltd. Spatially-correlated multi-display human-machine interface
US8150384B2 (en) * 2010-06-16 2012-04-03 Qualcomm Incorporated Methods and apparatuses for gesture based remote control
US9107040B2 (en) * 2010-09-29 2015-08-11 Apple Inc. Systems, methods, and computer readable media for sharing awareness information
US20120198353A1 (en) * 2011-01-28 2012-08-02 Microsoft Corporation Transferring data using a physical gesture
EP2497547B1 (en) * 2011-03-08 2018-06-27 Nintendo Co., Ltd. Information processing program, information processing apparatus, information processing system, and information processing method
US8929612B2 (en) * 2011-06-06 2015-01-06 Microsoft Corporation System for recognizing an open or closed hand
US8504008B1 (en) * 2012-02-02 2013-08-06 Google Inc. Virtual control panels using short-range communication
US9357348B2 (en) * 2013-01-29 2016-05-31 Tile, Inc. Systems and methods for locating a tracking device
US9080878B2 (en) * 2013-02-21 2015-07-14 Apple Inc. Automatic identification of vehicle location

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1849613A (zh) * 2003-09-10 2006-10-18 皇家飞利浦电子股份有限公司 用于特征识别的设备和方法
US20050068227A1 (en) * 2003-09-26 2005-03-31 Rami Caspi System and method for presence-based area monitoring
US20070060385A1 (en) * 2005-09-14 2007-03-15 Nintendo Co., Ltd. Storage medium storing virtual position determining program
US20090305207A1 (en) * 2005-12-12 2009-12-10 Hiromu Ueshima Training method, training device, and coordination training method
CN101267501A (zh) * 2007-03-13 2008-09-17 株式会社日立制作所 影像信息处理装置
US20100053322A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd Detecting ego-motion on a mobile device displaying three-dimensional content
US20100151948A1 (en) * 2008-12-15 2010-06-17 Disney Enterprises, Inc. Dance ring video game
CN102639199A (zh) * 2009-11-18 2012-08-15 美国索尼电脑娱乐有限责任公司 经由运动敏感控制器的便携设备交互

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104865831A (zh) * 2014-02-26 2015-08-26 三星电子株式会社 包括查看传感器的家庭控制系统及控制其的方法
US10177991B2 (en) 2014-02-26 2019-01-08 Samsung Electronics Co., Ltd. View sensor, home control system including view sensor, and method of controlling home control system
CN104865831B (zh) * 2014-02-26 2019-08-13 三星电子株式会社 包括查看传感器的家庭控制系统及控制其的方法
US10530664B2 (en) 2014-02-26 2020-01-07 Samsung Electronics Co., Ltd. View sensor, home control system including view sensor, and method of controlling home control system
CN108243302A (zh) * 2016-12-26 2018-07-03 奥林巴斯株式会社 传感器信息取得装置、传感器信息取得方法及记录介质
CN112805663A (zh) * 2018-10-02 2021-05-14 三星电子株式会社 电子装置及其姿势识别方法

Also Published As

Publication number Publication date
EP2708982B1 (en) 2019-09-11
EP2708982A2 (en) 2014-03-19
US9838573B2 (en) 2017-12-05
CN103677259B (zh) 2018-05-29
EP2708982A3 (en) 2017-03-15
US20140078311A1 (en) 2014-03-20

Similar Documents

Publication Publication Date Title
CN103677259A (zh) 用于引导控制器的方法、多媒体装置及其目标跟踪装置
US10533857B2 (en) User terminal and control method thereof
EP2901246B1 (en) Remote control with 3d pointing and gesture recognition capabilities
EP2936060B1 (en) Display of separate computer vision based pose and inertial sensor based pose
CN101093167A (zh) 输入设备的空间识别方法和装置
KR101341727B1 (ko) 3ｄ ｇｕｉ 제어 장치 및 방법
CN105814609A (zh) 用于用户识别、跟踪与设备关联的融合设备与图像运动
US11181376B2 (en) Information processing device and information processing method
JP2011075559A (ja) 動き検出装置および方法
US10739870B2 (en) Stylus for coordinate measuring
CN103777872A (zh) 移动终端及其解锁方法
US11537196B2 (en) Drift cancelation for portable object detection and tracking
US20160062472A1 (en) Recognition device, intelligent device and information providing method
KR102190743B1 (ko) 로봇과 인터랙션하는 증강현실 서비스 제공 장치 및 방법
JP6197702B2 (ja) 入力方法，プログラム及び入力装置
CN106200654A (zh) 无人机飞行速度的控制方法和装置
KR102578119B1 (ko) 모바일 디바이스와 연동하는 스마트 안경 작동 방법
KR102010782B1 (ko) 멀티미디어 장치의 인식 범위로 컨트롤러의 위치를 보정하도록 유도하는 방법, 이를 위한 멀티미디어 장치 및 타겟 추적 장치
Chu et al. A study of motion recognition system using a smart phone
KR101558094B1 (ko) 직관적인 핸드 모션에 기반한 멀티-모달 시스템 및 그 제어 방법
Lee New interface design using accelerator sensor for smart phone
US20210134004A1 (en) Information processing device, information processing method, and program
Chu et al. Design and implementation of an intuitive gesture recognition system using a hand-held device
KR20220151328A (ko) 전자 장치 및 전자 장치 제어방법
CN118355357A (zh) 用于与电子设备相关联的远程控制和注解的设备和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant