CN116486052A - 远程协作方法、远程设备及存储介质 - Google Patents

远程协作方法、远程设备及存储介质 Download PDF

Info

Publication number
CN116486052A
CN116486052A CN202310417583.7A CN202310417583A CN116486052A CN 116486052 A CN116486052 A CN 116486052A CN 202310417583 A CN202310417583 A CN 202310417583A CN 116486052 A CN116486052 A CN 116486052A
Authority
CN
China
Prior art keywords
image
target object
remote
indication information
reference area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310417583.7A
Other languages
English (en)
Inventor
唐海平
钱正清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Futaihua Industry Shenzhen Co Ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Futaihua Industry Shenzhen Co Ltd, Hon Hai Precision Industry Co Ltd filed Critical Futaihua Industry Shenzhen Co Ltd
Priority to CN202310417583.7A priority Critical patent/CN116486052A/zh
Publication of CN116486052A publication Critical patent/CN116486052A/zh
Priority to US18/232,850 priority patent/US20230386094A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/32—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Multimedia (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种远程协作方法、远程设备及存储介质，所述方法包括：利用穿戴式设备将第一图像传送至远程设备；利用远程设备接收第一图像，基于第一图像确定参考区域并确定目标对象与参考区域的相对位置，根据相对位置生成指示信息以及将指示信息传送至穿戴式设备；利用穿戴式设备接收指示信息，将指示信息展示在第二图像中。本申请能够通过远程协作为用户提供视野外的目标对象所在位置的指示信息，提高确定目标对象的位置的效率和准确率。

Description

远程协作方法、远程设备及存储介质
技术领域
本申请涉及多设备协作技术领域，特别是指一种远程协作方法、远程设备及存储介质。
背景技术
由于硬件限制，目前用户通过穿戴式设备的显示装置看到的画面会小于穿戴式设备的摄像装置拍摄得到的画面，使得用户在使用穿戴式设备(例如增强现实设备)时的视野范围非常受限，无法快速准确得到用户想要关注的目标对象的位置信息。
发明内容
鉴于以上内容，有必要提供一种远程协作方法、远程设备及存储介质，能够通过远程协作辅助解决用户在使用穿戴式设备时的视野受限问题。
所述远程协作方法，应用于穿戴式设备，包括：将第一图像传送至远程设备，其中，所述第一图像包括所述穿戴式设备拍摄得到的现实图像；接收所述远程设备基于所述第一图像生成的指示信息，将所述指示信息展示在第二图像中，其中，所述第二图像包括基于所述第一图像生成的增强现实图像。
在一个实施例中，所述指示信息用于指示目标对象的位置。
所述远程协作方法，应用于远程设备，包括：接收穿戴式设备传送的第一图像；基于所述第一图像确定参考区域；确定目标对象与所述参考区域的相对位置；根据所述相对位置生成指示信息，将所述指示信息传送至所述穿戴式设备。
在一个实施例中，所述基于所述第一图像确定参考区域包括：接收所述穿戴式设备基于所述第一图像生成的第二图像，所述第二图像包括基于所述第一图像生成的增强现实图像；根据所述第二图像在所述第一图像中的位置确定所述参考区域。
在一个实施例中，所述方法还包括：利用图像识别算法识别所述第一图像中的所述目标对象，确定所述目标对象在所述第一图像中的位置；或响应用户对所述目标对象的选中操作，确定所述目标对象在所述第一图像中的位置。
在一个实施例中，所述确定目标对象与所述参考区域的相对位置包括：确定所述目标对象是否位于所述参考区域外部；当所述目标对象位于所述参考区域外部时，计算所述目标对象与所述参考区域的相对角度，将所述相对角度作为所述相对位置。
在一个实施例中，当所述目标对象位于所述参考区域内时，所述指示信息包括：在所述参考区域内的用于指示所述目标对象的位置的图形或文字。
在一个实施例中，当所述目标对象位于所述参考区域外时，所述指示信息包括：在所述参考区域内的用于指示所述目标对象的位置的图形或文字，所述文字包括所述相对角度。
所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述远程协作方法。
所述远程设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述远程协作方法。
相较于相关技术，本申请实施例提供的远程协作方法，通过穿戴式设备与远程设备之间的远程协作，利用远程设备生成目标对象位置的指示信息，将指示信息回传给穿戴式设备，使得用户可以看到指示信息并根据指示信息快速准确地找到目标对象，提高确定目标对象的位置的效率和准确率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1是本申请一实施例提供的远程协作方法的应用场景图。
图2是本申请一实施例提供的远程协作方法的流程图。
图3是本申请一实施例提供的第一图像的示意图。
图4是本申请一实施例提供的第二图像的示意图。
图5是本申请一实施例提供的测试图像的示意图。
图6是本申请另一实施例提供的远程协作方法的流程图。
图7是本申请一实施例提供的参考区域的示意图。
图8是本申请一实施例提供的远程设备的结构图。
如下具体实施方式将结合上述附图进一步说明本申请。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施例对本申请进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
在一个实施例中，由于硬件限制，目前用户通过穿戴式设备的显示装置看到的画面会小于穿戴式设备的摄像装置拍摄得到的画面，使得用户在使用穿戴式设备(例如增强现实设备)时的视野范围非常受限，无法快速准确得到用户想要关注的目标对象的位置信息。
为了解决上述问题，本申请实施例提供的远程协作方法，通过穿戴式设备与远程设备之间的远程协作，利用远程设备生成目标对象位置的指示信息，将指示信息回传给穿戴式设备，使得用户可以看到指示信息并根据指示信息快速准确地找到目标对象，提高确定目标对象的位置的效率和准确率。下文先结合应用场景图对本申请实施例提供的远程协作方法进行介绍。
图1为本申请一实施例提供的远程协作方法的应用场景图。如图1所示，穿戴式设备1与远程设备2相通信，从而实现穿戴式设备1与远程设备2之间的数据交互。例如，穿戴式设备1将拍摄后获取的图像传送给远程设备2；远程设备2接收图像并基于接收的图像生成用于指示一目标对象的指示信息，目标对象可以是图像中用户需要重点关注的对象，远程设备2将指示信息传送至穿戴式设备1；穿戴式设备1接收并展示指示信息。下文将结合流程图进行详细说明。
穿戴式设备1可以包括增强现实(Augmented Reality，AR)设备等，例如，AR眼镜、AR头盔等；远程设备2可以是计算机、服务器、笔记本电脑等设备。
在本申请的一个实施例中，所述远程协作方法应用于质检领域时，当初级质检人员在对大型设备进行质检时，由于对大型设备的构造不熟悉，通常无法快速找到需要进行重点关注的目标组件或部件。此时，初级质检人员可以佩戴穿戴式设备，将穿戴式设备获取的第一图像传送至远程的专家质检人员使用的远程设备中。专家质检人员可以通过远程设备，快速确定第一图像中的目标组件或部件的位置，远程设备响应专家质检人员的选择操作，生成用于指示目标组件或部件的位置的指示信息，将指示信息回传给初级质检人员佩戴的穿戴式设备。穿戴式设备在第二画面中展示所述指示信息，从而使得初级质检人员能够快速根据指示信息对目标组件或部件进行质检，提高质检的效率与准确率。
参阅图2所示，为本申请一实施例提供的远程协作方法的流程图。
在本申请的一个实施例中，所述远程协作方法可以应用于穿戴式设备(例如图1所示的穿戴式设备1)。可以在穿戴式设备上集成本申请实施例的方法所提供的远程协作的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在穿戴式设备中。
如图2所示，所述远程协作方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S11，将第一图像传送至远程设备。
在一个实施例中，所述第一图像包括所述穿戴式设备拍摄得到的现实场景的图像。所述穿戴式设备包括摄像装置，所述摄像装置用于拍摄所述第一图像。例如，所述穿戴式设备可以包括AR设备(例如AR眼镜)，利用AR设备的摄像装置拍摄所述第一图像。
例如图3所示，为本申请一实施例提供的第一图像的示意图，第一图像中包括的对象为实际对象，例如图3中的船只。
在一个实施例中，穿戴式设备可以对第一图像进行处理，生成处理后的第一图像。例如，当所述穿戴式设备为AR设备时，处理后的第一图像包括基于所述第一图像生成的增强现实图像。
具体地，AR设备可以利用常用的AR技术基于第一图像生成增强现实图像，所述AR技术包括但不限于Monitor-based技术、光学透视(Optical see-through)技术等。AR技术的基本原理包括：将预先生成的虚拟对象或场景融合至现实图像，得到增强现实图像。
在一个实施例中，穿戴式设备使用显示装置(例如，显示屏)显示增强现实图像，使得用户可以通过显示装置看到增强现实图像。由于硬件限制，用户通过显示装置看到的增强现实图像通常小于穿戴式设备的摄像装置拍摄得到的第一图像。
因此，将用户通过显示装置看到的画面作为第二图像，第二图像的尺寸通常会小于第一图像，并且第二图像中可以包括实际对象与虚拟对象。例如图4所示，为本申请一实施例提供的第二图像的示意图，其中，图4中的鲸鱼为虚拟对象。
在一个实施例中，所述穿戴式设备将第一图像传送至远程设备后，远程设备的另一用户可以根据第一图像确定需要查看的目标对象，但由于目标对象在第一图像中但在第二图像外，即目标对象并未呈现在所述穿戴式设备当前显示的第二图像中。为了帮助佩戴所述穿戴式设备的用户确定目标对象的位置，使得佩戴所述穿戴式设备的用户可以尽快将视角位置聚焦至目标对象，可以利用穿戴式设备将第一图像传送至通信连接的远程设备，利用远程设备帮助生成目标对象位置的指示信息，继而使得佩戴所述穿戴式设备的用户能够根据指示信息调整视角以通过所述穿戴式设备能够看到目标对象。
步骤S12，接收所述远程设备基于所述第一图像生成的指示信息，将所述指示信息展示在第二图像中。
在一个实施例中，所述第二图像包括基于所述第一图像生成的增强现实图像，所述指示信息用于指示目标对象的位置。
在一个实施例中，为了将所述指示信息展示给用户观看，使得用户能根据所述指示信息确认目标对象的位置，将指示信息展示在显示装置正在显示的第二图像中。例如，指示信息可以是图形(例如箭头等)、标号、文字、数字中的一者或多者的组合。
例如图5所示，为本申请一实施例提供的指示信息的示意图，其中的箭头表示所述指示信息，用于指示在第二图像外的目标对象的位置。
在一个实施例中，所述第一图像还可以是从穿戴式设备的摄像装置拍摄的视频中截取的视频帧，按照时间的先后顺序，穿戴式设备通过将视频传送至远程设备的方式将每帧第一图像传送至远程设备；穿戴式设备接收远程设备根据每帧第一图像生成的指示信息，将指示信息显示在每帧第一图像对应的第二图像中，从而使得用户在视线移动时及时获得更新的目标对象位置的指示信息。
参阅图6所示，为本申请另一实施例提供的远程协作方法的流程图。
在本实施例中，所述远程协作方法可以应用于远程设备(例如图1所示的远程设备2)，可以在远程设备上集成本申请实施例的方法所提供的远程协作的功能，或者以软件开发工具包(Software Development Kit，SDK)的形式运行在远程设备中。
如图6所示，所述远程协作方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
步骤S21，接收穿戴式设备传送的第一图像。
在一个实施例中，远程设备与穿戴式设备通信连接，接收穿戴式设备传送的第一图像。所述第一图像包括穿戴式设备拍摄的现实场景的图像，例如图3所示。
步骤S22，基于所述第一图像确定参考区域。
在一个实施例中，所述基于所述第一图像确定参考区域包括：接收所述穿戴式设备基于所述第一图像生成的第二图像，所述第二图像包括基于所述第一图像生成的增强现实图像；根据所述第二图像在所述第一图像中的位置确定所述参考区域。
在一个实施例中，所述第二图像(例如图4所示)表示用户能够在穿戴式设备的显示装置中看到的图像，所述第二图像的尺寸小于第一图像，因此可以确定第二图像在所述第一图像中的位置。具体地，确定第二图像在所述第一图像中的位置时使用的方法包括但不限于模板匹配算法，所述模板匹配算法可以确定第二图像在第一图像中的占用区域，将占用区域作为参考区域。
在一个实施例中，当确定参考区域后，可以将参考区域在第一图像中标注出来。例如图7所示，为本申请实施例提供的参考区域的示意图，其中虚线矩形框内的区域为参考区域。
在其他实施例中，除了上述直接接收穿戴式设备发送的第二图像来确定参考区域的方法之外，还可以获取穿戴式设备基于所述第一图像生成所述第二图像时使用的参数以及穿戴式设备的显示装置的显示参数，从而获得第二图像与第一图像的比例，根据所述比例确定所述参考区域。例如，第一图像生成第二图像时使用的是第一图像中心区域的占比3/4的图像，并且生成的第二图像的长宽比与第一图像的长宽比一致，那么第二图像对应的参考区域即为第一图像中心区域的占比3/4且长宽比与第一图像的长宽比一致的区域。
步骤S23，确定目标对象与所述参考区域的相对位置。
在一个实施例中，所述方法还包括：利用图像识别算法识别所述第一图像中的所述目标对象，确定所述目标对象在所述第一图像中的位置；或响应用户对所述目标对象的选中操作，确定所述目标对象在所述第一图像中的位置。
在一个实施例中，所述图像识别算法包括常用的目标检测算法，例如，预先训练的基于卷积神经网络的目标检测模型。在检测到目标对象后，可以生成目标对象的包围框，从而对目标对象的位置进行标定。图像识别算法能够无需人工成本，快速确定目标对象的位置。
在一个实施例中，远程设备可以响应用户使用鼠标等操作设备对所述目标对象的选中操作，生成目标对象的包围框。响应专家用户的选中操作，能够提高确定的目标对象的位置的准确度。
在一个实施例中，所述确定目标对象与所述参考区域的相对位置包括：确定所述目标对象是否位于所述参考区域外部；当所述目标对象位于所述参考区域外部时，计算所述目标对象与所述参考区域的相对角度，将所述相对角度作为所述相对位置。
在一个实施例中，确定所述目标对象是否位于所述参考区域外部时，可以使用图像重叠区域识别方法，确定目标对象的包围框内的图像与参考区域的图像是否有重叠区域；当无重叠区域时，确定目标对象位于所述参考区域外部；或当有重叠区域时，确定目标对象位于所述参考区域内部。
在一个实施例中，由于第一图像的尺寸大于第二图像对应的参考区域，所述目标对象可能位于第一图像中参考区域之外的位置，用户无法看到目标对象也无法得知目标对象的位置。
因此，当所述目标对象位于所述参考区域外部时，需要确定目标对象与参考区域的相对位置，从而为用户提供目标对象位置的指示信息。
在一个实施例中，所述相对位置包括但不限于所述目标对象与所述参考区域的相对角度。
计算所述目标对象与所述参考区域的相对角度时，可以将所述参考区域的中心点为坐标原点建立直角坐标系，其中直角坐标系的横轴与参考区域的长边相互平行，直角坐标系的纵轴与参考区域的短边相互平行，连接坐标原点与目标区域的包围框的中心点得到一条向量，计算所述向量与直角坐标系的横轴或纵轴的夹角作为所述相对角度。
步骤S24，根据所述相对位置生成指示信息，将所述指示信息传送至所述穿戴式设备。
在一个实施例中，当所述目标对象位于所述参考区域内部时，用户可以直接在参考区域对应的第二画面中看到所述目标对象，可以为用户生成目标对象位置的简单的指示信息。所述指示信息包括：在所述参考区域内的用于指示所述目标对象的位置的图形或文字。例如，所述图形可以是目标对象的包围框所构成的图像，或者指向目标对象的包围框的箭头，所述文字可以是目标对象的包围框上方的指示文字。
在一个实施例中，当所述目标对象位于所述参考区域外时，所述指示信息包括：在所述参考区域内的用于指示所述目标对象的位置的图形或文字，所述文字包括所述相对角度。例如，所述图形可以是根据上述计算的相对角度、目标对象的包围框所构成的图像，或者指向目标对象的箭头。
在一个实施例中，穿戴式设备根据所述相对位置生成指示信息后，将所述指示信息传送至所述穿戴式设备，使得用户可以利用穿戴式设备看到所述指示信息(例如图5中的箭头)，并根据所述指示信息快速移动并看到目标对象。
在一个实施例中，本申请提供的远程协作方法包括：穿戴式设备将第一图像传送至远程设备；远程设备接收所述第一图像，并基于所述第一图像确定参考区域确定目标对象与所述参考区域的相对位置，以及根据所述相对位置生成指示信息以及将所述指示信息传送至所述穿戴式设备；穿戴式设备接收所述指示信息，将所述指示信息展示在第二图像中。
在一个实施例中，本申请提供的远程协作方法，通过穿戴式设备与远程设备之间的远程协作，利用远程设备生成目标对象位置的指示信息，将指示信息回传给穿戴式设备，使得用户可以看到指示信息并根据指示信息快速准确地找到目标对象，提高确定目标对象的位置的效率和准确率。
上述图2、6详细介绍了本申请的远程协作方法，下面结合图8，对实现所述远程协作方法的远程设备的结构进行介绍。
参阅图8所示，为本申请较佳实施例提供的远程设备的结构示意图。
在本申请较佳实施例中，所述远程设备2包括存储器21、至少一个处理器22。本领域技术人员应该了解，图8示出的远程设备的结构并不构成本申请实施例的限定，既可以是总线型结构，也可以是星形结构，所述远程设备2还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述远程设备2包括一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。
需要说明的是，所述远程设备2仅为举例，其他现有的或今后可能出现的电子产品如可适应于本申请，也应包含在本申请的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器21用于存储程序代码和各种数据。例如，所述存储器21可以用于存储安装在所述远程设备2中的远程协作系统20，并在远程设备2的运行过程中实现高速、自动地完成程序或数据的存取。所述存储器21包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者任何其他能够用于携带或存储数据的计算机可读的存储介质。
在一些实施例中，所述至少一个处理器22可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述至少一个处理器22是所述远程设备2的控制核心(Control Unit)，利用各种接口和线路连接整个远程设备2的各个部件，通过运行或执行存储在所述存储器21内的程序或者模块，以及调用存储在所述存储器21内的数据，以执行远程设备2的各种功能和处理数据，例如执行图6所示的远程协作的功能。
在一些实施例中，所述远程协作系统20运行于远程设备2中。所述远程协作系统20可以包括多个由程序代码段所组成的功能模块。所述远程协作系统20中的各个程序段的程序代码可以存储于远程设备2的存储器21中，并由至少一个处理器22所执行，以实现图6所示的远程协作的功能。
本实施例中，所述远程协作系统20根据其所执行的功能，可以被划分为多个功能模块。本申请所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
尽管未示出，所述远程设备2还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器22逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障测试电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述远程设备2还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台远程设备(可以是服务器、个人电脑等)或处理器(processor)执行本申请各个实施例所述方法的部分。
所述存储器21中存储有程序代码，且所述至少一个处理器22可调用所述存储器21中存储的程序代码以执行相关的功能。存储在所述存储器21中的程序代码可以由所述至少一个处理器22所执行，从而实现所述各个模块的功能以达到远程协作的目的。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照以上较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种远程协作方法，应用于穿戴式设备，其特征在于，所述方法包括：
将第一图像传送至远程设备，其中，所述第一图像包括所述穿戴式设备拍摄得到的现实图像；
接收所述远程设备基于所述第一图像生成的指示信息，将所述指示信息展示在第二图像中，其中，所述第二图像包括基于所述第一图像生成的增强现实图像。
2.根据权利要求1所述的远程协作方法，其特征在于，所述指示信息用于指示目标对象的位置。
3.一种远程协作方法，应用于远程设备，其特征在于，所述方法包括：
接收穿戴式设备传送的第一图像；
基于所述第一图像确定参考区域；
确定目标对象与所述参考区域的相对位置；
根据所述相对位置生成指示信息，将所述指示信息传送至所述穿戴式设备。
4.根据权利要求3所述的远程协作方法，其特征在于，所述基于所述第一图像确定参考区域包括：
接收所述穿戴式设备基于所述第一图像生成的第二图像，所述第二图像包括基于所述第一图像生成的增强现实图像；
根据所述第二图像在所述第一图像中的位置确定所述参考区域。
5.根据权利要求3所述的远程协作方法，其特征在于，所述方法还包括：
利用图像识别算法识别所述第一图像中的所述目标对象，确定所述目标对象在所述第一图像中的位置；或
响应用户对所述目标对象的选中操作，确定所述目标对象在所述第一图像中的位置。
6.根据权利要求3所述的远程协作方法，其特征在于，所述确定目标对象与所述参考区域的相对位置包括：
确定所述目标对象是否位于所述参考区域外部；
当所述目标对象位于所述参考区域外部时，计算所述目标对象与所述参考区域的相对角度，将所述相对角度作为所述相对位置。
7.根据权利要求3所述的远程协作方法，其特征在于，当所述目标对象位于所述参考区域内时，所述指示信息包括：
在所述参考区域内的用于指示所述目标对象的位置的图形或文字。
8.根据权利要求6所述的远程协作方法，其特征在于，当所述目标对象位于所述参考区域外时，所述指示信息包括：
在所述参考区域内的用于指示所述目标对象的位置的图形或文字，所述文字包括所述相对角度。
9.一种远程设备，其特征在于，所述远程设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至8中任意一项所述的远程协作方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任意一项所述的远程协作方法。
CN202310417583.7A 2023-04-11 2023-04-11 远程协作方法、远程设备及存储介质 Pending CN116486052A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310417583.7A CN116486052A (zh) 2023-04-11 2023-04-11 远程协作方法、远程设备及存储介质
US18/232,850 US20230386094A1 (en) 2023-04-11 2023-08-11 Remote collaboration method, remote device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310417583.7A CN116486052A (zh) 2023-04-11 2023-04-11 远程协作方法、远程设备及存储介质

Publications (1)

Publication Number Publication Date
CN116486052A true CN116486052A (zh) 2023-07-25

Family

ID=87218858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310417583.7A Pending CN116486052A (zh) 2023-04-11 2023-04-11 远程协作方法、远程设备及存储介质

Country Status (2)

Country Link
US (1) US20230386094A1 (zh)
CN (1) CN116486052A (zh)

Also Published As

Publication number Publication date
US20230386094A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
CN111046744B (zh) 一种关注区域检测方法、装置、可读存储介质及终端设备
CN110427917B (zh) 用于检测关键点的方法和装置
US10395116B2 (en) Dynamically created and updated indoor positioning map
CN110189416B (zh) 检修现场的远程指导方法及系统
CN111693147A (zh) 温度补偿的方法、装置、电子设备及计算机可读存储介质
CN112929602B (zh) 基于图像处理的数据监控方法、装置及相关设备
CN110555876B (zh) 用于确定位置的方法和装置
KR102418994B1 (ko) 증강현실 기반 작업 공정 모니터링 및 작업 숙련도 평가방법
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
US20160005156A1 (en) Infrared selecting device and method
CN115236074A (zh) 一种用于锂电池极片叠片的检测方法、系统及平台
CN113447128A (zh) 一种多人体温检测方法、装置、电子设备及存储介质
JP2014192861A (ja) 監視支援システム
WO2018158815A1 (ja) 点検支援装置、点検支援方法および記録媒体
JP2016103690A (ja) 監視システム、監視装置、および監視方法
CN116486052A (zh) 远程协作方法、远程设备及存储介质
CN113206977A (zh) 输气站场的巡检监控方法、装置和存储介质
KR102603276B1 (ko) Xr 기반의 감리 보조 장치, 방법 및 프로그램
KR102364898B1 (ko) 영상장치를 활용한 시설 모니터링 시스템
US20150350571A1 (en) Device and method for selecting thermal images
CN208673383U (zh) 检修辅助装置和系统
CN111435511B (zh) 订单处理方法、装置、设备、系统及可读存储介质
CN110264515B (zh) 一种标注方法及电子设备
CN113807150A (zh) 数据处理、姿态预测方法、设备及存储介质
CN114189804B (zh) 基站维护方法、装置、服务器、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination