CN117687500A - 远程控制系统、远程控制器以及远程控制方法 - Google Patents

远程控制系统、远程控制器以及远程控制方法 Download PDF

Info

Publication number
CN117687500A
CN117687500A CN202211364062.1A CN202211364062A CN117687500A CN 117687500 A CN117687500 A CN 117687500A CN 202211364062 A CN202211364062 A CN 202211364062A CN 117687500 A CN117687500 A CN 117687500A
Authority
CN
China
Prior art keywords
display
remote controller
computing device
location information
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211364062.1A
Other languages
English (en)
Inventor
黄群凯
林俊仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
HTC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HTC Corp filed Critical HTC Corp
Publication of CN117687500A publication Critical patent/CN117687500A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明提供一种远程控制系统、远程控制器以及远程控制方法。远程控制方法包含：由远程控制器的图像捕获装置获取环境图像数据；基于同时定位与地图构建(SLAM)算法根据环境图像数据建立地图且由远程控制器根据环境图像数据获取地图中的第一显示器的第一位置信息；以及从远程控制器接收第一位置信息且由计算装置根据第一位置信息控制第一显示器。

Description

远程控制系统、远程控制器以及远程控制方法
技术领域
本公开涉及一种扩展现实(extended reality；XR)技术，且具体来说涉及一种远程控制系统、远程控制器以及远程控制方法。
背景技术
操作XR系统(例如虚拟现实(virtual reality；VR)系统、增强现实(augmentedreality；AR)系统或混合现实(mixed reality；XR)系统)的用户可想要在特定位置上与电视交互。举例来说，由于并非每个人具有头戴式显示器，穿戴头戴式显示器(head mounteddisplay；HMD)的视频游戏玩家可想要经由电视与其他人分享他在XR场景中看到的图像。然而，常规XR系统的远程控制器可仅与XR场景中的事物交互。如果用户想要与电视交互(例如，指向电视上的光标)，那么用户必须取下头戴式显示器且接着经由电视的远程控制器控制电视。
发明内容
本公开涉及一种远程控制系统、远程控制器以及远程控制方法。
本公开涉及包括第一显示器、远程控制器以及计算装置的远程控制系统。远程控制器包括图像捕获装置，其中图像捕获装置获取环境图像数据。计算装置以通信方式连接到远程控制器和第一显示器，其中远程控制器基于同时定位与地图构建(simultaneouslocalization and mapping；SLAM)算法根据环境图像数据建立地图，且根据环境图像数据获取地图中的第一显示器的第一位置信息，其中计算装置从远程控制器接收第一位置信息且根据第一位置信息控制第一显示器。
在一个实施例中，远程控制系统还包括第二显示器。第二显示器以通信方式连接到计算装置，其中远程控制器根据环境图像数据获取地图中的第二显示器的第二位置信息，其中计算装置根据第二位置信息控制第二显示器。
在一个实施例中，远程控制系统还包括头戴式显示器。头戴式显示器以通信方式连接到计算装置，其中计算装置根据第一位置信息控制头戴式显示器输出第一显示器的图像数据。
在一个实施例中，远程控制系统还包括头戴式显示器。头戴式显示器以通信方式连接到计算装置，其中远程控制器获取头戴式显示器的第三位置信息且将第三位置信息转发到计算装置，其中计算装置根据第一位置信息和第三位置信息控制头戴式显示器输出第一显示器的图像数据。
在一个实施例中，第一显示器根据来自计算装置的命令显示定位标记，其中远程控制器根据包含于环境图像数据中的定位标记获取第一位置信息。
在一实施例中，定位标记为阿鲁克(Aruco)标记。
在一个实施例中，远程控制器还包括惯性测量单元，其中远程控制器由惯性测量单元获取姿态数据且根据姿态数据和第一位置信息判定第一显示器上的光标的位置，其中计算装置根据光标的位置控制第一显示器展示光标。
在一个实施例中，计算装置根据对应于光标的命令控制第一显示器。
在一个实施例中，远程控制器经由计算装置控制第一显示器，其中计算装置允许远程控制器经由计算装置与远程控制器之间的通信链路控制第一显示器。
在一个实施例中，地图对应于笛卡尔(Cartesian)坐标系，且第一位置信息包括第一显示器的坐标。
本公开涉及一种远程控制方法。远程控制方法包含：由远程控制器的图像捕获装置获取环境图像数据；由远程控制器基于同时定位与地图构建(SLAM)算法根据环境图像数据建立地图且根据环境图像数据获取地图中的第一显示器的第一位置信息；以及由计算装置从远程控制器接收第一位置信息且根据第一位置信息控制第一显示器。
本公开涉及一种适用于控制第一显示器的远程控制器。远程控制器包含图像捕获装置、处理器以及计算装置。图像捕获装置配置成获取环境图像数据。处理器耦合到图像捕获装置且配置成基于同时定位与地图构建(SLAM)算法根据环境图像数据建立地图且根据环境图像数据获取地图中的第一显示器的第一位置信息。计算装置配置成接收第一位置信息且根据第一位置信息控制第一显示器。
基于以上描述，本发明的远程系统提供一种定位显示器的位置的方法。远程系统进一步提供由XR系统的远程控制器在特定位置上与显示器交互的方法。
为了使前述内容更容易理解，如下详细描述附有附图的若干实施例。
附图说明
包含附图以提供对本公开内容的进一步理解，且附图并入本说明书中且构成本说明书的一部分。附图示出本公开的例示性实施例，且与描述一起用来解释本公开的原理。
图1示出根据本发明的实施例的远程控制系统的示意图。
图2示出根据本发明的实施例的远程控制器与头戴式显示器之间的同步的信令图。
图3示出根据本发明的实施例的远程控制系统的信令图。
图4示出根据本发明的实施例的定位标记的示意图。
图5示出根据本发明的实施例的在显示器上展示的光标的示意图。
图6示出根据本发明的实施例的远程控制方法的流程图。
附图标号说明
10：远程控制系统；
50：光标；
100：计算装置；
200：远程控制器；
210：图像捕获装置；
220、410：惯性测量单元；
230：输入装置；
240：处理器；
310、320：显示器；
311：定位标记；
400：头戴式显示器；
S201、S202、S203、S204、S301、S302、S303、S304、S305、S306、S307、S308、S309、S310、S311、S312、S313、S314、S315、S601、S602、S603：步骤。
具体实施方式
图1示出根据本发明的实施例的远程控制系统10的示意图，其中远程控制系统10可实施于扩展现实(XR)系统(例如，虚拟现实(VR)系统、增强现实(AR)系统或混合现实(MR)系统)中。远程控制系统10可包含计算装置100、远程控制器200以及一或多个显示器。尽管图1仅绘示仅两个显示器，显示器310和显示器320，但显示器的数量可超过两个。在一个实施例中，远程控制系统10可还包含头戴式显示器400。计算装置100可以通信方式连接到远程控制器200、显示器310、显示器320或头戴式显示器400。远程控制器200可以通信方式连接到显示器310、显示器320或头戴式显示器400。
计算装置100可为计算机、服务器、客户端、台式计算机、笔记本计算机、工作站、个人计算机(personal computer；PC)、平板计算机或智能手机，本公开不限于此。计算装置100可包含操作计算装置100的必需组件，例如处理单元(例如，处理器)、通信单元(例如，通信芯片、移动通信芯片、蓝牙芯片或Wi-Fi芯片)以及存储单元(例如，随机存取存储器(random-access memory；RAM)、只读存储器(read-only memory；ROM)、快闪存储器、硬盘驱动器(hard disk drive；HDD)或固态驱动器(solid state drive；SSD))。
远程控制器200可用于控制显示器310、显示器320或头戴式显示器400。远程控制器200可包含图像捕获装置210、惯性测量单元(inertial measurement unit；IMU)220、输入装置230以及处理器240，其中处理器240可耦合到图像捕获装置210、IMU 220或输入装置230。图像捕获装置210或IMU 220可由耦合到图像捕获装置210或IMU 220的处理单元控制。此外，远程控制器200可还包含操作远程控制器200的必需组件，例如通信单元和存储单元。
图像捕获装置210可为相机或用于捕获图像的摄影装置。图像捕获装置210可包含图像传感器，例如互补金属氧化物半导体(complementary metal oxide semiconductor；COMS)传感器或电荷耦合装置(charge coupled device；CCD)传感器。IMU 220可包含加速度计、陀螺仪或磁力计。输入装置230可为按钮、键盘或触摸屏幕。
显示器310(或显示器320)可用于播放视频数据或图像数据。显示器310可包含操作显示器310的必需组件，例如处理单元、通信单元以及存储单元。显示器310可为液晶显示器(liquid-crystal display；LCD)或有机发光二极管(organic light-emitting diode；OLED)显示器，本公开不限于此。
头戴式显示器400可由用户穿戴用于探索扩展现实场景。头戴式显示器400可包含操作头戴式显示器400的必需组件，例如处理单元、通信单元以及存储单元。此外，头戴式显示器400可还包含IMU 410。IMU 410可由耦合到IMU 410的处理单元控制。IMU 410可包含加速度计、陀螺仪或磁力计。
在一个实施例中，计算装置100可嵌入到远程控制器200、显示器310(或显示器320)或头戴式显示器400中。在一个实施例中，计算装置100嵌入到远程控制器200中且电耦合到处理器240。
图2示出根据本发明的实施例的远程控制器200与头戴式显示器400之间的同步的信令图。假设头戴式显示器400已获取扩展现实场景的地图、扩展现实场景的图像数据以及头戴式显示器400的位置信息，其中位置信息对应于地图的坐标系。在步骤S201中，头戴式显示器400可经由例如蓝牙协议的通信协议将扩展现实场景的地图、扩展现实场景的图像数据以及头戴式显示器400的位置信息传输到远程控制器200。在步骤S202中，远程控制器200的处理器240可对准用于定位头戴式显示器400的地图。步骤S203和步骤S204对应于重复处理。在步骤S203中，远程控制器200的处理器240可检测到头戴式显示器400的姿态数据从头戴式显示器400传输到远程控制器200，其中头戴式显示器400的姿态数据可由IMU 410产生。远程控制器200可根据头戴式显示器400的姿态数据执行与头戴式显示器400的同步。在步骤S204中，头戴式显示器400可检测到远程控制器200的姿态数据从远程控制器200传输到头戴式显示器400，其中远程控制器200的姿态数据可由IMU220产生。头戴式显示器400可根据远程控制器200的姿态数据执行与远程控制器200的同步。
图3示出根据本发明的实施例的远程控制系统10的信令图。在步骤S301中，计算装置100和远程控制器200可经由例如蓝牙协议的通信协议以通信方式彼此连接。
在步骤S302中，计算装置100可将命令传输到显示器310(和/或显示器320)以请求显示器310(和/或显示器320)来展示定位标记。在步骤S303中，显示器310(和/或显示器320)可根据来自计算装置100的命令显示定位标记。图4示出根据本发明的实施例的定位标记311的示意图。显示器310(和/或显示器320)可显示如图4中所绘示的一或多个定位标记311，其中定位标记可包含阿鲁克标记。在一个实施例中，显示器310和显示器320可根据来自计算装置100的命令在相同时间内对应地显示定位标记。
参考图3，在步骤S304中，计算装置100可通知远程控制器200定位标记311正由显示器310(和/或显示器320)显示。在步骤S305中，远程控制器200的处理器240可指引用户使用远程控制器200瞄准显示器310(和/或显示器320)。在步骤S306中，远程控制器200的处理器240可检测定位标记311。具体来说，远程控制器200的图像捕获装置210可获取环境图像数据。当用户将远程控制器200瞄准显示器310(和/或显示器320)时，由图像捕获装置210获取的环境图像数据可包含由显示器310(和/或显示器320)显示的定位标记311。远程控制器200的处理器240可基于例如目标检测技术检测环境图像数据中的定位标记311。
在步骤S307中，远程控制器200的处理器240可基于同时定位与地图构建(SLAM)算法根据环境图像数据建立地图，其中地图可对应于扩展现实环境的笛卡尔坐标系。远程控制器200的处理器240可根据定位标记311从环境图像数据进一步获取显示器310(和/或显示器320)的位置信息，其中显示器310(和/或显示器320)的位置信息可包含对应于笛卡尔坐标系的显示器310(和/或显示器320)的坐标。
在步骤S308中，计算装置100可从远程控制器200接收显示器310(和/或显示器320)的位置信息。在步骤S309中，计算装置100可根据显示器310(和/或显示器320)的位置信息控制头戴式显示器400(图3中未绘示)或显示器310(和/或显示器320)。具体来说，计算装置100可根据显示器310(和/或显示器320)的位置信息配置由头戴式显示器400或显示器310(和/或显示器320)输出的图像数据。
在一个实施例中，计算装置100可根据显示器310(和/或显示器320)的位置信息和/或头戴式显示器400的位置信息控制头戴式显示器400输出对应于显示器310(和/或显示器320)的图像数据。远程控制器200的处理器240可从头戴式显示器400获取头戴式显示器400的位置信息且可将头戴式显示器400的位置信息转发到计算装置100。计算装置100可根据显示器310(和/或显示器320)的位置信息和/或头戴式显示器400的位置信息控制头戴式显示器400输出对应于显示器310(和/或显示器320)的图像数据，其中头戴式显示器400的位置信息可包含由IMU 410产生的姿态数据。
举例来说，计算装置100可根据头戴式显示器400的位置信息和/或显示器310(和/或显示器320)的位置信息配置头戴式显示器400输出对应于显示器310(和/或显示器320)的图像数据，其中图像数据可表示显示器310(和/或显示器320)的位置或形状，使得头戴式显示器400的用户可易于在扩展现实场景中找到显示器310(和/或显示器320)。此外，由于由显示器310(和/或显示器320)显示的内容可由计算装置100配置，因此计算装置100可配置头戴式显示器400输出包含正由显示器310(和/或显示器320)显示的相同内容的图像数据。因此，即使头戴式显示器400正向用户输出并未展示真实显示器310(和/或显示器320)的虚拟现实场景，探索虚拟现实环境的用户仍可观看由虚拟现实场景中的显示器310(和/或显示器320)展示的内容。换句话说，头戴式显示器400可向用户展示虚拟现实场景中的虚拟显示器310(和/或显示器320)，其中虚拟的显示器310(和/或显示器320)可显示与现实世界中的显示器310(和/或显示器320)相同的内容。
在步骤S310中，远程控制器200的处理器240可判断远程控制器200是否指向显示器310(或显示器320)。具体来说，IMU 220可测量远程控制器200的姿态数据。远程控制器200的处理器240可根据远程控制器200的姿态数据和显示器310(或显示器320)的位置信息判断远程控制器200是否指向显示器310(或显示器320)。如果远程控制器200指向显示器310(或显示器320)，远程控制器200的处理器240可根据远程控制器200的姿态数据和显示器310(或显示器320)的位置信息判定显示器310(或显示器320)上的光标的位置。因此，头戴式显示器400的用户可经由远程控制器200在相同时间内与多个显示器交互。
在步骤S311中，远程控制器200的处理器240可将光标的位置传输到计算装置100，使得远程控制器200的处理器240可经由计算装置100控制显示器310(或显示器320)展示光标。在步骤S312中，计算装置100可根据光标的位置将命令发送到显示器310(或显示器320)以控制显示器310(或显示器320)展示光标。在步骤S313中，显示器310(或显示器320)可根据来自计算装置100的命令显示光标。图5示出根据本发明的实施例的在显示器310上展示的光标50的示意图。当远程控制器200瞄准显示器310时，对应光标50可在显示器310上展示。当远程控制器200瞄准显示器320时，对应光标50可在显示器320上展示。即，对应于远程控制器200的光标50可在显示器310与显示器320之间移动。
参考图3，在步骤S314中，远程控制器200的处理器240可判断输入装置230是否由用户操作。如果输入装置230由用户操作，那么远程控制器200的处理器240可将命令发送到计算装置100。在步骤S315中，计算装置100可根据命令处理任务。在一个实施例中，命令对应于光标50。计算装置100可响应于从远程控制器200接收到命令根据光标50处理任务。计算装置100可根据对应于光标50的命令控制显示器310。举例来说，计算装置100可根据对应于光标50的命令控制显示器310在光标50的位置处展示特殊效果。
在一个实施例中，显示器310(和/或显示器320)的存取权可由计算装置100管理。计算装置100可判断是否允许远程控制器200经由计算装置100控制显示器310(和/或显示器320)。如果计算装置100允许远程控制器200控制显示器310(和/或显示器320)，那么远程控制器200的处理器240可经由计算装置100与远程控制器200之间的通信链路控制显示器310(和/或显示器320)。
图6示出根据本发明的实施例的远程控制方法的流程图，其中远程控制方法可由如图1中所绘示的远程控制系统10实施。在步骤S601中，由远程控制器的图像捕获装置获取环境图像数据。在步骤S602中，由远程控制器基于同时定位与地图构建(SLAM)算法根据环境图像数据建立地图且根据环境图像数据获取地图中的第一显示器的第一位置信息。在步骤S603中，由计算装置从远程控制器接收第一位置信息且根据第一位置信息控制第一显示器。
总体而言，本发明的远程控制系统可由同一远程控制器控制显示器和头戴式显示器。远程控制器可由图像捕获装置获取图像数据且根据图像数据和SLAM算法建立坐标系，其中显示器的坐标可由远程控制系统已知。因此，远程控制系统可向穿戴头戴式显示器的用户展示显示器的位置，且用户可通过使用同一远程控制器与显示器和XR场景交互。
本领域的技术人员将显而易见，可在不脱离本公开的范围或精神的情况下对所公开实施例作出各种修改和改变。鉴于前述内容，希望本公开涵盖修改和变化，只要所述修改和变化属于所附权利要求书和其等效物的范围内。

Claims (12)

1.一种远程控制系统，包括：
第一显示器；
远程控制器，包括图像捕获装置，其中所述图像捕获装置获取环境图像数据；以及
计算装置，以通信方式连接到所述远程控制器和所述第一显示器，其中
所述远程控制器基于同时定位与地图构建(SLAM)算法根据所述环境图像数据建立地图且根据所述环境图像数据获取所述地图中的所述第一显示器的第一位置信息，其中
所述计算装置从所述远程控制器接收所述第一位置信息且根据所述第一位置信息控制所述第一显示器。
2.根据权利要求1所述的远程控制系统，还包括：
第二显示器，以通信方式连接到所述计算装置，其中所述远程控制器根据所述环境图像数据获取所述地图中的所述第二显示器的第二位置信息，其中
所述计算装置根据所述第二位置信息控制所述第二显示器。
3.根据权利要求1所述的远程控制系统，还包括：
头戴式显示器，以通信方式连接到所述计算装置，其中所述计算装置根据所述第一位置信息控制所述头戴式显示器输出所述第一显示器的图像数据。
4.根据权利要求1所述的远程控制系统，还包括：
头戴式显示器，以通信方式连接到所述计算装置，其中所述远程控制器获取所述头戴式显示器的第三位置信息且将所述第三位置信息转发到所述计算装置，其中所述计算装置根据所述第一位置信息和所述第三位置信息控制所述头戴式显示器输出所述第一显示器的图像数据。
5.根据权利要求1所述的远程控制系统，其中所述第一显示器根据来自所述计算装置的命令显示定位标记，其中所述远程控制器根据包含于所述环境图像数据中的所述定位标记获取所述第一位置信息。
6.根据权利要求5所述的远程控制系统，其中所述定位标记为阿鲁克(Aruco)标记。
7.根据权利要求1所述的远程控制系统，其中所述远程控制器还包括惯性测量单元，其中所述远程控制器通过所述惯性测量单元获取姿态数据且根据所述姿态数据和所述第一位置信息判定所述第一显示器上的光标的位置，其中所述计算装置根据所述光标的所述位置控制所述第一显示器展示所述光标。
8.根据权利要求7所述的远程控制系统，其中所述计算装置根据对应于所述光标的命令控制所述第一显示器。
9.根据权利要求1所述的远程控制系统，其中所述远程控制器经由所述计算装置控制所述第一显示器，其中所述计算装置允许所述远程控制器经由所述计算装置与所述远程控制器之间的通信链路控制所述第一显示器。
10.根据权利要求1所述的远程控制系统，其中所述地图对应于笛卡尔(Cartesian)坐标系，且所述第一位置信息包括所述第一显示器的坐标。
11.一种远程控制方法，包括：
由远程控制器的图像捕获装置获取环境图像数据；
由所述远程控制器基于同时定位与地图构建(SLAM)算法根据所述环境图像数据建立地图且根据所述环境图像数据获取所述地图中的第一显示器的第一位置信息；以及
由计算装置从所述远程控制器接收所述第一位置信息且根据所述第一位置信息控制所述第一显示器。
12.一种远程控制器，适用于控制第一显示器，包括：
图像捕获装置，配置成获取环境图像数据；
处理器，耦合到所述图像捕获装置，配置成基于同时定位与地图构建(SLAM)算法根据所述环境图像数据建立地图且根据所述环境图像数据获取所述地图中的所述第一显示器的第一位置信息；以及
计算装置，配置成接收所述第一位置信息且根据所述第一位置信息控制所述第一显示器。
CN202211364062.1A 2022-09-12 2022-11-02 远程控制系统、远程控制器以及远程控制方法 Pending CN117687500A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/943,131 2022-09-12
US17/943,131 US20240087224A1 (en) 2022-09-12 2022-09-12 Remote-control system, remote-controller, and remote-control method

Publications (1)

Publication Number Publication Date
CN117687500A true CN117687500A (zh) 2024-03-12

Family

ID=88585461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211364062.1A Pending CN117687500A (zh) 2022-09-12 2022-11-02 远程控制系统、远程控制器以及远程控制方法

Country Status (3)

Country Link
US (1) US20240087224A1 (zh)
CN (1) CN117687500A (zh)
TW (1) TWI811141B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9685003B2 (en) * 2013-06-03 2017-06-20 Microsoft Technology Licensing, Llc Mixed reality data collaboration
US10559117B2 (en) * 2016-02-08 2020-02-11 Google Llc Interactions and scaling in virtual reality
US10099122B2 (en) * 2016-03-30 2018-10-16 Sony Interactive Entertainment Inc. Head-mounted display tracking
EP3246879A1 (en) * 2016-05-20 2017-11-22 Thomson Licensing Method and device for rendering an image of a scene comprising a real object and a virtual replica of the real object
CN106341606A (zh) * 2016-09-29 2017-01-18 努比亚技术有限公司 一种设备控制方法及移动终端
TW201917676A (zh) * 2017-10-26 2019-05-01 林淑貞 具有虛擬實境及混合實境購屋體驗的系統裝置
CN111381787A (zh) * 2018-12-28 2020-07-07 北京华为数字技术有限公司 一种投屏方法以及设备
US11099402B2 (en) * 2019-10-25 2021-08-24 Microsoft Technology Licensing, Llc Dynamically changing a fiducial marker for IoT device identification
TWI757824B (zh) * 2020-08-10 2022-03-11 宏碁股份有限公司 擴增實境螢幕系統及擴增實境螢幕顯示方法
WO2021263248A1 (en) * 2021-08-02 2021-12-30 Innopeak Technology, Inc. Multi-person simultaneous location and mapping (slam) linkage positioning and navigation

Also Published As

Publication number Publication date
TWI811141B (zh) 2023-08-01
US20240087224A1 (en) 2024-03-14

Similar Documents

Publication Publication Date Title
US11195307B2 (en) Image processing apparatus, image processing method, and program
US9729608B2 (en) Information processing device, table, display control method, program, portable terminal, and information processing system
KR102479052B1 (ko) 복수의 컨트롤러를 이용한 전자 장치의 디스플레이 제어 방법 및 그 장치
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
US8953036B2 (en) Information processing apparatus, information processing method, program, and information processing system
JP6421670B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
KR101733115B1 (ko) 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
WO2005119591A1 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
WO2020192535A1 (zh) 一种测距方法及电子设备
KR102583682B1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
US20150070247A1 (en) Information processing apparatus, information processing method, and program
CN103391411A (zh) 图像处理设备、投影控制方法及程序
EP3842106A1 (en) Method and device for processing control information, electronic equipment, and storage medium
JP2013506218A (ja) 端末の動きまたは姿勢に基づいてビジュアルサーチを行うための方法、端末およびコンピュータ読取可能な記録媒体
US20200327860A1 (en) Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium
US11947757B2 (en) Personal digital assistant
CN112788443B (zh) 基于光通信装置的交互方法和系统
US20200327867A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
US20240087224A1 (en) Remote-control system, remote-controller, and remote-control method
WO2021136265A1 (zh) 解锁方法及电子设备
TW202411818A (zh) 遠程控制系統、遠程控制器以及遠程控制方法
KR20220057388A (ko) Ar 버츄얼 단말 및 그의 제어 방법
US20220253198A1 (en) Image processing device, image processing method, and recording medium
US11330117B2 (en) Information processing apparatus, information processing system, and information processing method for receiving an image displayed on an image display apparatus upon detecting a predetermined condition is satisfied
JP7480408B1 (ja) 情報処理システム、情報処理装置、プログラム及び情報処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination