CN113383371B - 在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置 - Google Patents

在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置 Download PDF

Info

Publication number
CN113383371B
CN113383371B CN202080011789.4A CN202080011789A CN113383371B CN 113383371 B CN113383371 B CN 113383371B CN 202080011789 A CN202080011789 A CN 202080011789A CN 113383371 B CN113383371 B CN 113383371B
Authority
CN
China
Prior art keywords
virtual
mark
matrix
space
target mark
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080011789.4A
Other languages
English (en)
Other versions
CN113383371A (zh
Inventor
刘秉炫
李容载
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea Advanced Institute of Science and Technology KAIST
Original Assignee
Korea Advanced Institute of Science and Technology KAIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea Advanced Institute of Science and Technology KAIST filed Critical Korea Advanced Institute of Science and Technology KAIST
Publication of CN113383371A publication Critical patent/CN113383371A/zh
Application granted granted Critical
Publication of CN113383371B publication Critical patent/CN113383371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/755—Deformable models or variational models, e.g. snakes or active contours
    • G06V10/7553—Deformable models or variational models, e.g. snakes or active contours based on shape, e.g. active shape models [ASM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/024—Multi-user, collaborative environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Remote Sensing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及在基于共同坐标系的虚拟空间的虚拟内容提供方法，从表示实际作业对象在实际作业空间中的初始状态的初始图像数据检测作为用于识别实际作业空间中的固定的地点的标记的基础标记及作为用于识别实际作业对象的标记的目标标记，从初始图像数据算出具有基于基础标记的共同坐标系的虚拟作业空间中表征目标标记的初始位置及方向的目标标记的初始模型矩阵及表征基础标记的位置及方向的基础标记的模型矩阵，生成具有实际作业对象的三维模型形状的虚拟作业对象，并且使用算出的基础标记的模型矩阵算出表征目标标记的当前位置及方向的目标标记的当前模型矩阵，从而能够向现场作业者及远程作业者提供基于共同坐标系的虚拟作业空间。

Description

在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置
技术领域
涉及在虚拟空间的虚拟内容提供方法，更具体来讲涉及以基础标记为基准在基于共同坐标系的虚拟空间的虚拟内容提供方法。
背景技术
虚拟空间是指反映(mirroring)实际空间的一部分或全部的三维虚拟空间。虚拟空间包括由计算机生成的非实际的虚拟对象及空间。这种虚拟空间可通过增强现实(AR，Augmented Reality)技术、虚拟现实(VR，Virtual Reality)技术或者混合现实(MixedReality)技术向用户提供相应空间。这种虚拟空间目前应用于游戏、航空、军事等多种领域。应用虚拟空间的代表性的例子为远程协作。
远程协作是指相互之间位于物理相隔的远程位置的多个作业人员进行沟通一起解决同一课题。即，远程协作是指多个作业参与者在不同的空间而非聚集在同一空间共享信息，同时执行作业。这种远程协作能够解除所有作业参与者需要聚集在同一空间的空间限制。
在这种远程协作中，作业参与者通过网络相互连接并共享同一画面。远程协作的示例包括视频会议或共享同一画面，以便远程作业的参与者能够一起处理同一任务。过去的远程协作是作业参与者通过语音和聊天进行交流和协作的方式。最近的远程协作使用增强现实(AR，Augmented Reality)、虚拟现实(VR，Virtual Reality)或混合现实(MixedReality)来提供更多信息，以在远程协作的作业参与者之间提供共享协作空间。应用增强现实、虚拟现实或混合现实的协作空间是反映真实协作对象真实所在的部分或全部空间的虚拟空间。该虚拟协作空间提供给作业参与者，作业参与者可以在虚拟协作空间进行共同作业。
在这种远程协作服务中，当多个作业参与者中的某一个作业参与者在虚拟协作空间执行任意任务时，某一个任务参与者所做的作业都会反映在虚拟协作空间上，并传递至所有作业参与者。其中，当虚拟协作空间中的坐标系和比例尺在多个作业参与者之间不统一时，存在某一个任务参与者执行的作业不能正确反映在虚拟协作空间的问题。在虚拟协作空间，虚拟协作对象被作业参与者中任意一个作业参与者移动的例子中，如果作业参与者之间的坐标比例不同，那么无论协作对象被任意一个作业参与者移动，其他作业参与者都无法知道协作对象的正确移动距离。另外，在上述示例中，如果虚拟协作空间的坐标系不一致，那么即使协作对象被任意一个作业参与者移动，其他作业参与者也无法知道协作对象的移动方向。
如上所述，由于远程协作系统的虚拟协作空间中坐标系和比例尺不统一，无法向其他作业参与者提供关于作业参与者的作业的准确信息。因此，存在妨碍虚拟协作空间上多个作业参与者之间的顺利协作的问题。
在现有远程协作系统中，为了解决这种问题，当作业参与者之间的坐标系和比例尺不一致时，采用每个作业参与者都去调整自己的设备中的虚拟协作空间的坐标系和比例尺，以使作业参与者之间的坐标系和比例尺一致的方法。然而，在这些现有方法中，存在的问题是，由于多个作业参与者中的每一个都在其设备中手动调整虚拟协作空间的坐标系和比例尺，因此所有作业参与者的坐标系和比例尺不能完美匹配。
发明内容
技术问题
旨在提供在基于共同坐标系的虚拟空间的虚拟内容提供方法。并且，不限于如上所述的技术问题，可通过以下说明导出又一技术问题。
技术方案
根据本发明的一方面的在基于共同坐标系的虚拟空间的虚拟内容提供方法包括：从表示实际作业对象在实际作业空间中的初始状态的初始图像数据检测作为用于识别所述实际作业空间的固定地点的标记的基础标记及作为用于识别所述实际作业对象的标记的目标标记的步骤；算出在具有以检测到的所述基础标记为基准的共同坐标系的虚拟作业空间表征所述目标标记的初始位置及方向的目标标记的初始模型矩阵以及表征检测到的所述基础标记的位置及方向的所述基础标记的模型矩阵的步骤；以及使用算出的所述基础标记的模型矩阵算出表征所述目标标记的当前位置及方向的所述目标标记的当前模型矩阵的步骤。
检测所述目标标记的步骤，提取包含于所述初始图像数据的形状，使用提取的所述形状检测所述基础标记及所述目标标记。
检测所述目标标记的步骤，将提取的所述形状与所述基础标记的形状及所述目标标记的形状进行比较，将与所述基础标记的形状匹配的形状检测为所述基础标记，将与所述目标标记的形状匹配的形状检测为所述目标标记。
算出所述基础标记的模型矩阵的步骤包括：根据所述初始图像数据，算出以用于所述初始图像数据的拍摄的摄像头模块的视角为基准表示所述基础标记的位置及方向的所述基础标记的初始模型视角矩阵及以所述摄像头模块的视角为基准表示所述目标标记的位置及方向的所述目标标记的初始模型视角矩阵的步骤；算出在所述虚拟作业空间上所述目标标记的初始模型矩阵的步骤；以及使用算出的所述基础标记的初始模型视角矩阵、算出的所述目标标记的初始模型矩阵、算出的所述目标标记的初始模型视角矩阵算出所述基础标记的模型矩阵的步骤。
使用算出的所述基础标记的初始模型视角矩阵、算出的所述目标标记的初始模型矩阵、算出的所述目标标记的初始模型视角矩阵算出所述基础标记的模型矩阵的步骤根据以下数学式算出所述基础标记的模型矩阵。
<数学式>
Mb＝Mo*(MVo)-1*MVb
(Mb：基础标记的模型矩阵，MVb：基础标记的初始模型视角矩阵，Mo：目标标记的初始模型矩阵，MVo：目标标记的初始模型视角矩阵)
算出所述目标标记的当前模型矩阵的步骤包括：基于所述当前图像数据算出所述基础标记的当前模型视角矩阵及所述目标标记的当前模型视角矩阵的步骤；以及使用算出的所述基础标记的当前模型视角矩阵、算出的所述目标标记的当前模型视角矩阵及算出的所述基础标记的模型矩阵，算出所述目标标记的当前模型矩阵的步骤。
使用算出的所述基础标记的当前模型视角矩阵、算出的所述目标标记的当前模型视角矩阵及算出的所述基础标记的模型矩阵，算出所述目标标记的当前模型矩阵的步骤根据如下数学式算出所述目标标记的当前模型矩阵。
<数学式>
Mo`＝Mb*(MVb`)-1*MVo`
(Mo`：目标标记的当前模型矩阵，MVo`：目标标记的当前模型视角矩阵，MVb`：基础标记的当前模型视角矩阵，Mb：基础标记的模型矩阵)
本发明的一方面的在基于共同坐标系的虚拟空间的虚拟内容提供方法还包括：确定是否从所述远程作业者的远程设备接收到用于改变虚拟作业对象的位置及方向的指令的步骤；以及在接收到用于变更所述虚拟作业对象的位置及方向的指令的情况下，根据接收到的所述指令在所述虚拟作业空间上反映所述虚拟作业对象的位置及方向的变化的步骤。
本发明的一方面的在基于共同坐标系的虚拟空间的虚拟内容提供方法还包括：根据算出的所述目标标记的当前模型矩阵更新所述虚拟作业空间上的虚拟作业对象的位置及方向的步骤。
本发明的另一方面的设备包括从表示实际操作对象在实际作业空间中的初始状态的初始图像数据检测作为用于识别所述实际作业空间的固定地点的标记的基础标记及作为用于识别所述实际操作对象的标记的目标标记的标记检测部；在具有以检测到的所述基础标记为基准的共同坐标系的虚拟作业空间算出表征所述目标标记的初始位置及方向的目标标记的初始模型矩阵及表征检测到的所述基础标记的位置及方向的所述基础标记的模型矩阵，使用算出的所述基础标记的模型矩阵算出表征所述目标标记的当前位置及方向的所述目标标记的当前模型矩阵的矩阵算出部。
技术效果
现场作业者的现场设备将实际作业空间中固定的地点指定为基础标记，以固定的基础标记为基准确定在虚拟作业空间上与实际作业对象对应的虚拟作业对象的位置及方向。即，本发明的虚拟内容提供方法，以附着在实际作业空间中固定地点的基础标记为基准检测实际作业对象的变化，将其反映(mirroring)到虚拟作业空间。基于固定的基础标记算出实际作业对象的位置及方向的变化，并将其反映到虚拟作业空间上的虚拟作业对象，从而用户设备能够生成坐标系及比例尺一定的虚拟作业空间。换句话说，能够给远程作业者生成具有共同坐标系的虚拟作业空间。由此，能够向位于不同空间的远程作业者提供关于实际作业对象的位置及方向的变化的正确的信息。
本发明的实施例的虚拟内容提供方法，通过基于固定的基础标记掌握实际作业对象的移动及摄像头模块的移动，用户设备能够区分实际作业对象的移动和摄像头模块的移动。用户设备基于基础标记算出目标标记的模型矩阵及摄像头模块的视角矩阵，因此能够在虚拟作业空间区分反映实际作业对象的移动及摄像头模块的移动。由此，本发明的实施例的用户设备能够防止将摄像头移动当作实际作业对象的移动错误地反映到虚拟协作空间上的问题。
如上所述，本发明的实施例的虚拟内容提供方法通过生成具有共同坐标系及比例尺的虚拟作业空间，并将生成的虚拟作业空间提供给多个作业参与者，作业参与者之间能够进行顺利且正确的虚拟作业。进一步地，由于基于共同坐标系的虚拟作业空间的坐标系一致，因此能够用虚拟现实、增强现实或者混合现实等多种扩展现实显示。
附图说明
图1是本发明的一个实施例的虚拟作业系统的构成图；
图2是图1所示现场设备的构成图；
图3是基于图1所示现场作业者与远程作业者之间的共同坐标系的虚拟空间的虚拟内容提供方法的流程图；
图4是算出图3所示的基础标记及目标标记的初始模型矩阵的步骤的具体流程图；
图5是说明基础标记的初始模型矩阵及目标标记的初始模型矩阵的计算方法的示意图；
图6是示出在现场设备的显示部显示虚拟作业对象移动前后的示例画面的示意图；
图7是算出图3所示的目标标记的当前模型矩阵的步骤的具体流程图；
图8是说明目标标记的当前模型矩阵的计算方法的示意图；
图9是示出在现场设备及远程设备的显示部显示实际作业对象移动前后的示例画面的示意图；
图10是示出在现场设备及远程设备的显示部显示本实施例的虚拟作业空间的示例画面的示意图。
具体实施方式
以下参见附图详细说明本发明的实施例。以下将要说明的本发明的实施例涉及在基于共同坐标系的虚拟空间的虚拟内容提供方法。更具体来讲，涉及使用基于共同坐标系的虚拟空间的在现场作业者与远程作业者之间的虚拟内容提供方法。本发明的实施例所属技术领域中的普通技术人员能够理解，以下将要说明的“混合现实(MR，Mixed Reality)”是指结合现实和虚拟制作现实物理对象和虚拟对象共存的新的环境，用户能够在该环境进行实时交互作用的技术。
根据以下实施例，相互之间位于远程地点的作业参与者的设备通过通信网相互连接，作业参与者通过以下说明的AR(Augmented Reality)内容或者VR(Virtual Reality)内容共享作业进行状况。以下，将对应于实际作业对象的虚拟对象称为“虚拟作业对象”，将对应于实际作业空间的虚拟空间称为“虚拟作业空间”。将位于实际作业空间，并对实际作业对象进行作业的至少一名参与者称为“现场作业者”，将位于实际作业空间的远程地点，参与对实际作业对象的作业的至少一名参与者称为“远程作业者”。并且，现场作业者的设备和远程作业者的设备共享的、能够用增强现实或者虚拟现实表现的虚拟空间的坐标系称为“共同坐标系”。在此，可根据设备将虚拟空间以虚拟现实或者增强现实提供给用户。
图1是本发明的一个实施例的虚拟作业系统1的构成图。参见图1，本实施例的虚拟作业系统1由现场作业者10的设备11和远程作业者20的设备21构成。现场作业者10的设备11与远程作业者20的设备21可以是相同的设备。以下为了区分现场作业者10的设备11与远程作业者20的设备11，将现场作业者10的设备11称为“现场设备11”，将远程作业者20的设备11称为“远程设备21”。现场设备11与远程设备21通过网络连接以相互通信。多个作业参与者10、20可通过显示在各自的设备11、21的内容在混合现实环境共享作业状况的同时进行作业。
位于实际作业空间的现场作业者10可通过与远程作业者20的共同作业进行对实际作业对象的操作，例如对故障部位的修理作业或部件替换作业等共同作业，或者在虚拟空间上的游戏等作业。更具体来讲，现场设备11使用其摄像头模块112拍摄实际作业空间，即拍摄位于作业现场的实际作业对象，在虚拟作业空间生成与其一起拍摄的对应于实际作业对象的虚拟作业对象，向位于远程地点的远程作业者20的远程设备21传输关于虚拟作业空间中的虚拟作业对象的数据。
远程作业者20能够观察显示于远程设备21的画面的虚拟作业空间中的虚拟作业对象的同时，使用各种输入机构操作虚拟作业对象。通过将远程作业者20对虚拟作业对象的操作反映至虚拟作业空间，将对虚拟作业对象的操作的信息传递至使用虚拟作业应用的所有现场作业者10及远程作业者20。现场作业者10基于虚拟作业空间中虚拟作业对象的变化，能够及时知道远程作业者20在虚拟作业空间进行的作业。现场作业者10能够参照虚拟作业空间中的作业，操作作业现场的实际作业对象。如上所述，虚拟作业技术是通过作为与作业对象远离的专家的远程作业者20与位于作业现场的现场作业者10之间共享表示实际作业对象的虚拟作业对象，使现场作业者10能够观察远程作业者20在虚拟作业空间执行的作业后操作实际作业对象。
与现场作业者10一样，远程作业者20观察显示于远程设备21的画面的虚拟作业空间中的虚拟作业对象的过程中，能够掌握现场作业者10操作的实际作业对象的移动。通过将现场作业者10对实际作业对象进行的操作反映到虚拟作业空间，向使用虚拟作业应用的所有现场作业者10及远程作业者20传递对实际作业对象的操作的信息。远程作业者20能够基于虚拟作业空间中的虚拟作业对象的变化，及时知道现场作业者10在实际作业空间进行的作业。远程作业者20可以参照在实际作业空间中的作业，操作虚拟作业空间的虚拟作业对象。如上所述，虚拟作业技术是通过作为与作业对象远离的专家的远程作业者20与位于作业现场的现场作业者10之间共享显示实际作业对象的虚拟作业对象，使远程作业者20能够在虚拟作业空间观察现场作业者10在实际作业空间执行的作业并操作虚拟作业对象。
现场设备11是能够实现与位于彼此远离的场所的多个作业参与者10、20之间的虚拟作业的装置。现场设备11执行用于进行预设远程协作服务的虚拟作业应用，通过虚拟作业应用向用户提供远程协作服务。虚拟作业应用是通过网络连接到多个作业参与者的现场设备11，能够使位于彼此远离的场所的多个作业参与者进行虚拟作业的应用。以下，假设在进行虚拟作业之前在现场设备11预先设置虚拟作业应用。现场设备11的代表性的例子可以为平板(tablet)PC，此外还可以举例HMD(Head Mounted Display)、VR(virtual reality)设备、智能手机(smart p hone)、、膝上电脑(laptop)等。并且，现场设备11可通过接入WCDMA、LTE等无线通信网连接于其他现场设备11。如上所述，远程设备21可以是与现场设备11相同的设备。
图2是图1所示现场设备11的构成图。参见图2，现场设备11由处理器111、摄像头模块112、标记检测部113、虚拟空间处理器114、矩阵算出部115、显示部116、输入模块117、通信模块118及存储器119构成。处理器111处理现场设备11的一般的任务。摄像头模块112拍摄实际作业对象所在的实际作业空间，生成表示实际作业对象及实际作业空间的图像数据。标记检测部113分析从摄像头模块112生成的图像数据，检测实际作业对象所在实际作业空间中指示起到虚拟作业空间的基准点作用的地点的基础标记(base marker)以及指示虚拟作业空间中的实际作业对象的目标标记(target marker)。虚拟空间处理部114根据表示实际作业空间的图像数据生成作为反映(mirroring)实际作业空间的一部分或者整体的三维虚拟空间的虚拟作业空间。并且，为了现场作业者10和远程作业者20的虚拟作业，虚拟空间处理部114生成具有与实际作业对象相同的三维模型形状的虚拟作业对象，在虚拟作业空间配置生成的虚拟作业对象。虚拟空间处理部114检测实际操作对象或者虚拟操作对象的变化，在虚拟作业空间反映检测到的实际作业对象或者虚拟操作对象的变化。
矩阵算出部115算出在虚拟作业空间根据基准点表征任意对象的状态，即位置(position)和方向(orientation)的矩阵(matrix)。矩阵算出部115算出模型(model)矩阵、视角(view)矩阵及模型视角(Model View)矩阵。在此，矩阵是用于在虚拟空间以虚拟物体的任意原点为基准区分位置和方向，并计算独立虚拟物体的位置及方向的数学工具。模型矩阵是表征虚拟空间中的虚拟物体的状态(位置及方向)的矩阵。例如，虚拟作业对象的模型矩阵是以虚拟作业空间上的原点为基准表征虚拟作业对象的位置及方向的矩阵。以下将详细说明模型矩阵、视角矩阵及模型视角矩阵。在此，标记检测部113、虚拟空间处理部114及矩阵算出部115还可以用与处理器111不同的另外的专用处理器实现，也可以通过执行处理器111的计算机程序来实现。
显示部116显示包括对应于实际操作对象的虚拟操作对象的虚拟作业空间。输入模块117接收来自用户的在虚拟作业空间上操作虚拟作业对象的输入信号。输入模块117可以是例如键盘、鼠标、触摸屏、运动遥控器等。通信模块118支持通信功能，使得连接于LTE基站或者WIFI中继器，能够通过互联网等广域网与其他远程设备21进行通信。存储器119存储有用于虚拟作业的应用及用于这些应用的数据。
现场设备11除了以上说明的构成要素外还包括附加构成要素。例如，现场设备11如图2所示，包括用于在多个构成要素之间传输数据的总线，图2中虽然省略示出，但还包括向各个构成要素供应驱动电源的电力模块。如此，对于本实施例所属技术领域的一般技术人员公知的构成要素的说明混淆本实施例的特征，因此省略该说明。以下，在说明本发明的一个实施例的在基于共同坐标系的虚拟空间的虚拟内容提供方法的过程中，详细说明现场设备11的各个构成要素。
图3是图1所示的现场作业者与远程作业者之间在基于共同坐标系的虚拟空间的虚拟内容提供方法的流程图。参见图3，本实施例的虚拟内容提供方法由在图1所示的现场设备11按时间顺序执行的步骤构成。
在301步骤中，现场设备11的处理器111执行虚拟作业应用。更具体来讲，处理器111通过输入模块117接收到来自现场作业者10的虚拟作业应用的执行指令时，执行虚拟作业应用。参见图1，当现场作业者10的现场设备11接收到来自现场作业者10的虚拟作业应用的执行指令时，执行虚拟作业应用。远程作业者20的远程设备21也在接收到来自远程作业者20的虚拟作业应用的执行指令时执行虚拟作业应用。执行虚拟作业应用的现场作业者10的现场设备11通过网络与远程作业者20的远程设备21相互连接。
在302步骤中，现场设备11的摄像头模块112生成表示实际作业对象在实际作业空间中的初始状态的初始图像数据。其中，图像数据是表示二维或者三维形状的特征的电子信号，是通过摄像头模块112等输入装置生成的数据。远程作业者20为了实现与远离的至少一名远程作业者20的虚拟作业，使用现场设备11的摄像头模块112拍摄作为虚拟作业的对象的实际作业对象。摄像头模块112生成表示实际操作对象在实际作业空间中的初始状态的初始图像数据。初始图像数据表示包括在执行虚拟作业之前的实际作业对象在实际作业空间的位置及方向的实际操作对象的初始状态。由于初始图像数据表示在执行虚拟作业之前的实际作业对象的状态，因此成为判定在执行虚拟作业的过程中实际作业对象的状态是否变化的基准。摄像头模块112将生成的初始图像数据输入至现场设备11的标记检测部113。
在303步骤中，现场设备11的标记检测部113从由摄像头模块112输入的初始图像数据检测基础标记及目标标记。更具体来讲，标记检测部113从表示实际作业对象在实际作业空间中的初始状态的初始图像数据检测用于识别实际作业空间中固定的地点的基础标记及用于识别实际作业对象的目标标记。标记检测部113从表示实际作业对象在实际作业空间中的初始状态的初始图像数据检测作为虚拟作业空间坐标系中基准点的基础标记，检测表示实际作业对象的目标标记。如上所述，基础标记是在虚拟作业空间起到基准点作用的标记，是用于识别在实际作业空间中固定的地点的标记。由于基础标记起到基准点作用，因此标记检测部113将固定的地点或者物体检测为基础标记。目标标记是用于识别作为虚拟作业的实际作业对象的物体的标记。基础标记及目标标记可以由现场作业者10预先设定。以下将详细说明对基础标记及目标标记的检测。
本发明的一个实施例的标记检测部113通过图像处理提取包含于图像数据的形状，使用提取的形状检测基础标记及目标标记。更具体来讲，标记检测部113提取包含于表示实际作业对象在实际作业空间中的初始状态的初始图像数据的形状。例如，标记检测部113在初始图像数据提取特征点(feature point、keypoint)。特征点是图像中区分于周围背景且容易识别的地点。特征点是图像数据中物体的形态、大小或者位置改变也能够容易识别的地点，以及摄像头的视角及照明改变也能够容易识别的地点。特征点例如可以是角落(corner)、边界线(edge)等。标记检测部113分析提取的特征点提取包含于图像数据的形状。标记检测部113可使用人工神经网络(Artificial Neural Network)技法提取包含于图像数据的形状。从图像数据提取特征点及形状的方法是本实施例所属技术领域的一般技术人员公知的，因此对此的详细说明不再赘述，以防止混淆本实施例的特征。
标记检测部113在从初始图像数据提取的形状中提取基础标记和目标标记。更具体来讲，标记检测部113将提取的形状与存储器119中预存的基础标记形状及目标标记形状进行比较。标记检测部113基于比较结果将从图像数据提取的形状中与基础标记的形状一致的形状确定为基础标记，将与目标标记的形状一致的形状确定为目标标记。标记检测部113将与现场设备11的存储器119中预存的基础标记的形状相同的形状提取为基础标记，将与存储器119中预存的目标标记的形状相同的形状提取为目标标记。
现场设备11的存储器119中预存基础标记的形状及目标标记的形状。如上所述，基础标记的形状是在虚拟作业空间能够起到基准点作用的地点或者物体的形状。由于基础标记在虚拟作业空间起到基准点作用，因此能够指定为基础标记的地点或者物体不应移动且需要被固定。例如，实际作业对象所在的空间的地面或书桌、周边壁纸图案、附着于实际作业空间的固定的物体的QR码(Quick Response Code)、条形码(bar code)、特定图案等可作为基础标记。存储特定图案的QR码作为基础标记的形状的情况下，现场作业者10可以用将这种特定图案的QR码附着在实际作业空间的固定的物体的方式在实际作业空间预先确定基础标记。现场设备11的存储器119存储表示作为实际作业空间中固定的地点或者物体的形状的基础标记的形状的图像数据。标记检测部113将存储于存储器119的基础标记的形状与从由摄像头模块112输入的图像数据(即，表示实际作业空间中实际作业对象的状态的图像数据)提取的形状进行比较，将与预存的基础标记的形状一致的形状确定为基础标记。
并且，如上所述，目标标记的形状是现场作业者10和远程作业者20在虚拟作业空间将要一起作业的实际作业对象的形状。现场作业者10确定将在实际作业空间与远程作业者20执行虚拟作业的实际作业对象。本发明的一个实施例中，现场作业者10使用现场设备11的摄像头模块112生成表示确定的实际作业对象的形状的图像数据。现场设备11在存储器预存表示作为实际作业对象的形状的目标标记的形状的图像数据。标记检测部113将存储在存储器119的实际作业对象的形状与从表示实际作业对象在实际作业空间中的状态的图像数据提取的形状进行比较，将与预存的目标标记的形状一致的形状确定为目标标记(即，虚拟作业空间中的作业对象)。虚拟作业的实际作业对象为3D打印机的粉末筒的情况为例，现场设备11的存储器119预存作为实际作业对象的粉末筒的形状。现场设备11的标记检测部113将从表示实际作业空间中的实际作业对象的图像数据提取的形状与预存在存储器119的粉末筒的形状进行比较。比较结果，将与预先在存储器119存储为目标标记的形状的粉末筒的形状一致的形状确定为目标标记。标记检测部113将确定的形状提取为目标标记。
本发明的另一实施例中，现场设备11的存储器119能够将QR码、条码(bar code)等任意编码存储为目标标记的形状。现场协作者10可在待执行虚拟作业的实际作业对象附着存储为目标标记的形状的QR码或者条码，以指定实际作业对象。以虚拟协作的实际作业对象为粉末筒的情况为例，现场作业者10将以目标标记形状存储于存储器119的QR码附着在作为实际作业对象的粉末筒。标记检测部113将存储于存储器119的QR码或者条码的形状与从表示实际作业空间中的实际作业对象的图像数据提取的形状进行比较，可将与预存的QR码或者条码的形状一致的形状确定为目标标记(即，作业对象)。
本发明的又一实施例中，目标标记或者基础标记包括肉眼无法识别的电子信号。例如，现场设备11可通过由小型无线通信设备发送的信号识别目标标记或者基础标记。例如，发送包括关于与基础标记的形状及位置的信息的信标(beacon)信号的无线通信设备附着于实际作业空间的固定的地点，附着在实际作业空间的固定的地点的无线通信设备向现场设备11发送对于基础标记的信号。现场设备11可基于接收到的对基础标记的信号识别基础标记的形状及位置。并且，目标标记也通过发送包括关于实际作业对象的形状及位置的信息的信标信号的无线通信设备附着于实际作业对象，附着于实际作业对象的无线通信设备向现场设备11发送关于目标标记的信号。现场设备11根据接收到的关于目标标记的信号能够识别目标标记的形状及位置。现场设备11除了上述示例意外，还可以通过多种方法识别目标标记及基础标记。
在304步骤中，现场设备11的虚拟空间处理部114生成用于实现与远程作业者20的虚拟作业的虚拟作业空间以及对应于实际作业对象的虚拟作业对象。虚拟空间处理部114生成包括对应于虚拟作业的实际作业对象的虚拟作业对象的虚拟作业空间。虚拟作业空间是根据表示实际作业对象在实际作业空间中的状态的图像数据反映(mirroring)实际作业空间的一部分或者整体的三维虚拟空间。例如，虚拟作业空间作为三维空间可具有原点和X、Y、Z轴。虚拟空间处理部114生成具有实际作业对象的三维模型形状的虚拟作业对象。例如，实际作业对象为圆筒型的粉末筒的情况下，虚拟空间处理部114生成具有圆筒型的形状的虚拟作业对象。并且，虚拟空间处理部114在三维虚拟作业空间的任意位置配置作为实际作业对象的三维模型形状的虚拟作业对象。其中，配置作为实际作业对象的三维模型形状的虚拟作业对象的任意位置可由设计者预先设定。如以下将要说明的，本发明的实施例通过使用在实际作业空间中附着于固定的地点的基础标记确定在虚拟作业空间中的目标标记的状态(位置及方向)，能够生成由具有与实际作业空间共同的基准的坐标系构成的虚拟作业空间。
在305步骤中，现场设备11的矩阵算出部115从在302步骤生成的初始图像数据算出在303步骤感测的基础标记的模型矩阵及目标标记的初始模型矩阵。模型矩阵表征在虚拟作业空间上配置的任意地点或者物体的位置及方向。例如，基础标记的模型矩阵表征虚拟作业空间上基础标记的位置及方向，目标标记的初始模型矩阵是目标标记被感测后最先算出的目标标记的模型矩阵，表征在虚拟作业空间中虚拟作业的虚拟作业对象的初始状态(位置或者方向)。因此，目标标记的初始模型矩阵成为在虚拟作业空间确定目标标记的变化的基准。当实际作业对象的状态(位置及方向)发生变化，则目标标记的状态发生变化，因此表征目标标记的初始模型矩阵和目标标记的当前状态的当前模型矩阵发生差异。
更具体来讲，实际作业对象的位置或者方向发生变化的情况下，现场设备11使用表示变化的实际作业对象的状态的图像数据算出目标标记的模型矩阵，并与目标标记的初始模型矩阵进行比较，从而能够获知虚拟作业空间中的目标标记，即实际作业对象的位置及/或方向的变化。目标标记的初始模型矩阵是确定在虚拟作业中是否发生实际作业对象的移动等变化的基准。
以现场设备11的摄像头模块112为基准算出基础标记的模型矩阵及目标标记的初始模型矩阵的情况下，即使实际作业对象没有发生变化，但随现场设备11的位置的变更在虚拟作业空间中基础标记及目标标记的位置或者方向也发生变化，进而具有可能向远程作业者20传递关于实际作业对象的错误的信息的问题。
更具体来讲，为了实现现场作业者10和远程作业者20的虚拟作业，现场作业者10的现场设备11生成包含对应于实际作业对象的虚拟作业对象的虚拟作业空间。现场设备11为了显示包括虚拟操作对象的虚拟作业空间，需要了解对应于实际作业对象的虚拟作业对象在虚拟作业空间中配置的位置及方向。虚拟作业对象在虚拟作业空间配置于预定位置及方向。可通过模型矩阵表示虚拟作业对象在虚拟作业空间上的位置及方向。虚拟作业对象的模型矩阵表征虚拟作业对象在虚拟作业空间上的位置及方向。
并且，现场设备11为了与实际作业对象的状态相同地配置在虚拟作业空间中对应于实际作业对象的虚拟作业对象，需要了解在实际作业空间中拍摄实际作业对象的现场设备11的摄像头模块112在实际作业空间观察实际作业对象的方向。摄像头模块112的视角矩阵表征在虚拟作业空间摄像头模块112观察对应于实际作业对象的虚拟作业对象的方向。
在实际作业空间，根据用户观察作为实际作业对象的物体时的观察方向，观察到的物体不相同。在虚拟作业空间，根据摄像头模块112观察虚拟作业对象的方向，观察到虚拟作业对象也不相同。模型视角(ModelView)矩阵以现场设备11的摄像头模块112为基准表征虚拟操作对象在虚拟作业空间上的状态(位置及方向)。换句话说，虚拟作业对象的模型视角矩阵是表征以拍摄图像数据时所使用的摄像头模块112的视角为基准的虚拟作业对象的位置及方向的矩阵。虚拟作业对象的模型视角矩阵可以通过表征虚拟作业对象在虚拟作业空间的位置及方向的模型矩阵与表征摄像头模块112观察操作对象的方向的视角矩阵的乘积来表征。模型视角矩阵、模型矩阵及视角矩阵可表征为如下数学式。
【数学式1】
Model View matrix＝View matrix*Model matrix
如上所述，虚拟作业对象的模型视角矩阵基于摄像头模块112的观察方向表征虚拟作业对象在虚拟作业空间上的位置及方向。对于这种虚拟作业对象的模型视角矩阵，可由现场设备11的矩阵算出部115从表示实际作业空间中的实际作业对象的图像数据算出虚拟作业对象的模型视角矩阵。由于如此算出的虚拟作业对象的模型视角矩阵是以摄像头模块112为基准的，因此表征关于摄像头模块112的位置及拍摄方向的虚拟作业对象的相对位置及方向。
虚拟作业对象的模型视角矩阵可通过上述方式算出，但无法得知表征虚拟作业空间上的虚拟作业对象的绝对位置及方向的虚拟作业对象的模型矩阵以及表征在虚拟作业空间上摄像头模块112观察虚拟作业对象的方向的摄像头模块112的视角矩阵。如上所述，由于虚拟作业对象的模型视角矩阵是基于摄像头模块112的位置及方向的虚拟作业对象的相对位置及方向，因此无法知道摄像头模块112与实际作业对象之间发生移动时，这种移动是因摄像头模块112的移动引起的、还是因实际作业对象的移动引起的。由于这种不确定性(indeterminacy)，在虚拟作业中远程作业者20无法知道对实际作业对象的正确的信息。
为了解决这种问题点，本发明的实施例通过如下方式算出基础标记的模型矩阵及目标标记的初始模型矩阵。图4是算出图3所示基础标记的模型矩阵及目标标记的初始模型矩阵的步骤的具体流程图，图5是说明基础标记的模型矩阵及目标标记的初始模型矩阵的计算方法的示意图。参见图4及图5，在3051步骤中，虚拟空间处理部114在304步骤生成的虚拟作业空间中指定原点。虚拟空间处理部114在生成的虚拟作业空间将任意的地点指定为原点。
在3052步骤中，矩阵算出部115基于表示实际作业对象在实际作业空间中的初始状态的初始图像数据算出基础标记的初始模型视角矩阵(MVb matrix)及目标标记的初始模型视角矩阵(MVo matrix)。如上所述，模型视角矩阵以摄像头模块112为基准表征对象在虚拟作业空间上的位置及方向。矩阵算出部115使用分析图像数据的算法，算出根据摄像头模块112分别观察基础标记及目标标记的方向的基础标记的初始模型视角矩阵(MVbmatrix)及目标标记的初始模型视角矩阵(MVo matrix)。
在3053步骤中，矩阵算出部115算出虚拟作业空间上目标标记的初始模型矩阵(Momatrix)。如前所述，假设目标标记作为用于识别实际作业对象的标记，配置在反映实际作业空间的虚拟作业空间上的任意位置。矩阵算出部115算出相对于在3051步骤确定的原点配置在任意位置的目标标记的初始模型矩阵(Mo matrix)。
在3054步骤中，矩阵算出部115使用在3052步骤算出的目标标记的初始模型视角矩阵(MVo matrix)及在3053步骤算出的目标标记的初始模型矩阵(Mo matrix)，算出摄像头模块112的初始视角矩阵(View matrix)。如前述[数学式1]中说明的，模型视角矩阵是视角矩阵与模型矩阵的乘积。根据[数学式1]，目标标记的初始模型视角矩阵(MVo matrix)可以用表征在虚拟作业空间的目标标记的位置及方向的初始模型矩阵(Mo matrix)与表征摄像头模块112观察虚拟作业对象的方向的初始视角矩阵(View matrix)的乘积表征。由于模型矩阵是可逆的(invertible)，因此若在[数学式1]的两侧乘以模型矩阵的逆矩阵，则整理成如下数学式。
【数学式2】
View matrix＝MVo matrix*(Mo matrix)-1
矩阵算出部115可使用所述数学式2算出摄像头模块112的初始视角矩阵(Viewmatrix)。
在3055步骤中，矩阵算出部115使用在3054步骤算出的摄像头模块112的初始视角矩阵(View matrix)及基础标记的初始模型视角矩阵(MVb matrix)算出基础标记的模型矩阵(Mb matrix)。如前所述，基础标记的初始模型视角矩阵(MVb matrix)可以用表征在虚拟作业空间的基础标记的位置及方向的模型矩阵(Mb matrix)与表征摄像头模块112观察虚拟作业对象的方向的初始视角矩阵(Viewmatrix)的乘积表征。因此，基础标记的模型矩阵(Mbmatrix)可表征为如下式。
【数学式3】
Mbmatrix＝(View matrix)-1*MVbmatrix
可将数学式2及3整理为如下式。
【数学式4】
Mbmatrix＝(View matrix)-1*MVbmatrix
＝(MVomatrix*(Momatrix)-1)-1*MVbmatrix
＝Momatrix*(MVomatrix)-1*MVbmatrix
矩阵算出部115通过所述数学式4算出基础标记的模型矩阵(Mbmatrix)。如上所述，基础标记作为在虚拟作业空间起到基准点作用的标记，在实际作业现场相当于固定的地点或者物体，因此基础标记不移动。因此，基础标记的模型矩阵(Mbmatrix)被固定。
现场设备11的矩阵算出部11 5可使用以上说明的数学式算出具有以基础标记为基准的共同坐标系的虚拟作业空间中的基础标记的模型矩阵及目标标记的初始模型矩阵。
在306步骤中，现场设备11的处理器11 1确定是否通过通信模块118从远程作业者20的远程设备21接收到用于改变虚拟作业空间中虚拟作业对象的位置及方向中至少一个的指令。远程作业者20可通过在远程设备21中执行的虚拟作业应用操作虚拟作业空间上的虚拟作业对象的位置及方向。当远程作业者20通过现场设备11的通信模块118接收到改变虚拟作业空间中的虚拟作业对象的位置及方向中至少一个的指令的情况下，执行307步骤，否则执行308步骤。
在307步骤中，现场设备11的虚拟空间处理部114从远程作业者20的远程设备21接收到改变虚拟作业对象的位置及方向中至少一个的指令的情况下，根据接收到的指令将虚拟作业对象的位置及方向的变化反映至虚拟作业空间。远程作业者20使虚拟作业对象发生变化的情况下，现场设备11的虚拟空间处理部114将发生的虚拟作业对象的变化反映至虚拟作业空间。更具体来讲，远程作业者20向远程设备21输入用于在虚拟作业空间移动虚拟作业对象的位置或旋转的指令的情况下，远程设备21通过远程设备21的通信模块向现场设备11发送关于这种虚拟作业对象的变化的指令。接收到这种指令的现场设备11根据接收到的指令移动在虚拟作业空间中的虚拟作业对象的位置或进行旋转，进而将远程作业者20对虚拟作业对象的操作反映至虚拟作业空间。例如，远程作业者20向远程设备21输入用于移动虚拟作业对象的指令的情况下，现场作业者10的现场设备11接收来自远程作业者20的远程设备21的用于移动虚拟作业对象的指令。现场作业者10的现场设备11根据接收到的指令在虚拟作业空间上移动虚拟作业对象。
与此相关，图6是示出虚拟作业对象移动前后在用户设备的显示部显示的示例画面的示意图。参见图6，图6的(a)是示出作为实际作业对象的粉末筒和粉末筒的虚拟作业对象显示在现场设备11的显示部116的画面的示例。参见图6的(a)的示例，现场设备11正在通过摄像头模块拍摄作为实际作业对象的粉末筒和粉末筒所在实际作业空间，现场设备11通过显示部116显示拍摄到的粉末筒和实际作业空间。在显示部116显示的画面中，作为实际作业对象的粉末筒和与粉末筒相同形状的圆筒型的虚拟作业对象配置成相同位置及方向。换句话说，实际粉末筒和圆筒型的虚拟作业对象在显示部116重叠显示。
在此，远程作业者20通过远程设备21输入用于向上移动虚拟作业空间上的圆筒型的虚拟作业对象的指令的情况下，对应于粉末筒的圆筒型的虚拟作业对象在虚拟作业空间上向上移动。图6的(b)是示出粉末筒的虚拟作业对象被远程作业者20向上移动的情况下，现场作业者10的现场设备11的显示部116所显示的画面的示例。参见图6的(b)，现场设备11正在拍摄实际作业对象及实际作业空间，现场设备11的显示部116显示作为实际作业对象的粉末筒和对应于粉末筒的圆筒型的虚拟作业对象。如前所述，在由远程作业者20输入在虚拟作业空间上向上移动对应于粉末筒的圆筒型的虚拟作业对象的指令的示例中，显示于现场设备11的显示部116的虚拟作业对象向上移动。现场作业者10观察到向上分离的圆筒型的虚拟作业对象后，能够向上分离移动作为实际作业对象的粉末筒。现场作业者10可根据远程作业者20在虚拟作业空间上的操作，在实际作业空间中向上抬起并去除粉末筒。通过上述方式，现场作业者10和远程作业者20能够通过虚拟作业空间执行共同作业。
在308步骤中，现场设备11未从远程作业者20的远程设备21接收到用于改变虚拟作业对象的位置及方向中至少一个的指令的情况下，现场设备11的摄像头模块112生成表示作业对象的当前状态及作业现场的当前图像数据。在现场作业者10和远程作业者20进行虚拟作业期间，由于实际作业对象的位置及方向继续变化，因此现场作业者10为了进行与远程作业者20的虚拟作业，使用现场设备11的摄像头模块112持续拍摄变化的实际作业对象。摄像头模块112生成表示实际作业对象在实际作业空间中的当前状态的当前图像数据。
在309步骤中，现场设备11的标记检测部113从摄像头模块112输入的当前图像数据检测基础标记及目标标记。对检测基础标记及目标标记的方式的详细说明用在303步骤中记载的内容替代。
在310步骤中，现场设备11的矩阵算出部115算出在309步骤感测的目标标记的当前模型矩阵。矩阵算出部115算出表征目标标记的当前状态(位置及方向)的当前模型矩阵。作业对象的状态(位置及方向)发生变化的情况下，表征对应于作业对象的目标标记的状态(位置及方向)的模型矩阵可变。
与此相关，图7是算出图3所示目标标记的当前模型矩阵的步骤的具体流程图，图8是用于说明目标标记的当前模型矩阵的计算方法的示意图。参见图7及图8，如前所述，模型视角矩阵用模型矩阵与视角矩阵的乘积表征。在3101步骤中，矩阵算出部115从表示实际作业对象在实际作业空间中的当前状态的当前图像数据算出基础标记的当前模型视角矩阵(MVb`matrix)及目标标记的当前模型视角矩阵(MVo`matrix)。对算出模型视角矩阵的方法的详细说明用在3052步骤中记载的内容替代。
在3102步骤中，矩阵算出部115使用在3055步骤算出的基础标记的模型矩阵(Mbmatrix)算出摄像头模块112的当前视角矩阵(View`matrix)。如前所述，基础标记的当前模型视角矩阵(MVb`matrix)可以由表征虚拟作业空间中基础标记的位置及方向的模型矩阵(Mb matrix)与表征摄像头模块112观察作业对象的方向的当前视角矩阵(View`matrix)的乘积表征。在此，基础标记作为固定的标记没有状态变化，因此基础标记的模型矩阵不变。因此，摄像头模块112的当前视角矩阵(View`matrix)可用如下式表示。
【数学式5】
View`matrix＝MVb`matrix*(Mbmatrix)-1
矩阵算出部115通过所述数学式5算出摄像头模块112的当前视角矩阵(View`matrix)。
在3103步骤中，矩阵算出部115使用在3102步骤中算出的摄像头模块112的当前视角矩阵(View`matrix)及在3101步骤中算出的目标标记的当前模型视角矩阵(MVo`matrix)算出目标标记的当前模型矩阵(Mo`matrix)。如前所述，目标标记的当前模型视角矩阵(MVo`matrix)可由表征虚拟作业空间中目标标记的当前位置及方向的当前模型矩阵(Mo`matrix)与表征摄像头模块112观察当前作业对象的方向的当前视角矩阵(View`matrix)的乘积表征。因此，目标标记的当前模型矩阵(Mo`matrix)可由如下式表示。
【数学式6】
Mo`matrix＝(View`matrix)-1*MVo`matrix
可将数学式5及6整理为如下式。
【数学式7】
Mo`matrix＝(MVb`matrix*(Mbmatrix)-1)-1*MVo`matrix
＝Mbmatrix*(MVb`matrix)-1*MVo`matrix
矩阵算出部115通过所述数学式7算出表征目标标记的当前位置及方向的当前模型矩阵(Mo`matrix)。
在311步骤中，现场设备11的虚拟空间处理部114根据在310步骤算出的目标标记的当前模型矩阵(Mo`matrix)更新虚拟作业对象在虚拟作业空间中的状态。如前所述，目标标记指示作业对象。目标标记的当前模型矩阵(Mo`matrix)表征作业对象在虚拟作业空间中的当前位置及方向。将目标标记的当前模型矩阵(Mo`matrix)与目标标记的初始模型矩阵(Momatrix)进行比较后不相同的情况下，可视为实际作业对象发生了移动。实际作业对象的位置或者方向的变化显示于在310步骤算出的目标标记的当前模型矩阵(Mo`matrix)。由此，为了在虚拟作业空间反映实际作业对象的变化，虚拟空间处理部114可以用将虚拟作业空间中的虚拟作业对象，根据虚拟作业空间中目标标记的当前模型矩阵(Mo`matrix)的位置及方向重新配置的方式更新作业对象在虚拟作业空间中的状态。通过此种方式，现场设备11可将实际作业对象在实际作业空间中的变化实时反映到虚拟作业空间。现场设备11的虚拟空间处理部114在实际作业对象的状态发生变化的情况下，根据目标标记的当前模型矩阵操作虚拟作业对象，从而将实际作业对象的状态变化反映到虚拟作业空间。
与此相关，图9是示出实际作业对象在移动前后显示于现场设备及远程设备的显示部的示例画面的示意图。参见图9，图9的(a)是示出作为实际作业对象的粉末筒和粉末筒的虚拟作业对象在现场设备11的显示部116显示的画面以及虚拟作业空间的虚拟作业对象在远程设备21的显示部显示的画面的示例。参见图9的(a)，现场设备11正在通过摄像头模块拍摄作为实际作业对象的粉末筒和粉末筒所在实际作业空间，现场设备11通过显示部116显示拍摄的粉末筒和实际作业空间。显示部116中显示的画面中，作为实际作业对象的粉末筒和与粉末筒相同形状的圆筒型的虚拟作业对象配置成相同的位置及方向。换句话说，实际粉末筒和圆筒型的虚拟作业对象重叠显示于显示部116。并且，远程设备21的显示部中显示的画面中，虚拟作业对象配置于虚拟作业空间的任意位置。
其中，现场作业者10在实际作业空间移动作为实际作业对象的粉末筒的情况下，对应于粉末筒的虚拟作业对象也在虚拟作业空间移动相当于粉末筒移动的量。图9的(b)是示出现场作业者10在实际作业空间移动作为实际作业对象的粉末筒的情况下在现场作业者10的现场设备11及远程作业者20的远程设备21的显示部显示的画面的示例。参见图9的(b)，现场设备11正在拍摄实际作业对象，现场设备11及远程设备21的显示部显示对应于作为实际作业对象的粉末筒和对应于粉末筒的圆筒型的虚拟作业对象。如前所述，在现场作业者10在实际作业空间上移动作为实际作业对象的粉末筒的示例中，显示于现场设备11及远程设备21的显示部的作为实际作业对象的粉末筒及圆筒型的虚拟作业对象均向相同的方向移动。远程作业者20可通过虚拟作业对象的变化确认现场作业者10对实际作业对象的操作。如上所述，通过在虚拟作业空间上的虚拟作业对象及时反映对实际作业对象的操作，远程作业者20能够准确地得知实际作业对象在实际作业空间中的当前状态。由此，能够执行现场作业者10和远程作业者20之间的精密的共同作业。
在312步骤中，现场设备11的显示部116向现场作业者10显示在307步骤中反映的或者在310步骤更新的虚拟作业对象在虚拟作业空间中的当前状态，并通过通信模块118将在307步骤中反映的或者在310步骤更新的虚拟作业对象在虚拟作业空间中的当前状态发送至远程设备21，从而能够将在基于共同坐标系的虚拟空间的虚拟内容提供给现场作业者10和远程作业者20。如前所述，远程作业者20根据通过远程设备21输入的指令在虚拟作业空间上反映虚拟作业对象的位置及方向的变化，或者现场作业者10根据实际作业对象在实际作业空间的位置及方向的变化更新虚拟作业空间上的虚拟作业对象的状态，从而虚拟作业对象在虚拟作业空间上的状态可变。现场设备11的显示部116显示虚拟作业空间中已变化的虚拟作业对象的当前状态。现场作业者10参照显示于现场设备11的显示部116的虚拟作业对象的当前状态，能够执行对实际作业对象的作业，例如对故障部位的修理作业或者部件的替换作业等。
并且，现场设备11通过通信模块118向远程设备21发送表示虚拟作业对象在虚拟作业空间中的当前状态的数据。远程设备21根据接收到的数据在远程设备21的显示部显示虚拟作业对象在虚拟作业空间中的当前状态。远程作业者20能够通过显示于远程设备21的显示部的虚拟作业对象的当前状态知道实际作业对象在实际作业空间中的状态。远程作业者20参照实际作业对象在实际作业空间中的状态，在虚拟作业空间执行对虚拟作业对象的作业，从而能够向现场作业者10提供对实际作业对象的作业信息。如前所述，本发明的实施例通过现场设备11及远程设备21将作为基于共同坐标系的虚拟作业空间中的虚拟内容得虚拟作业对象的状态提供给现场作业者10及远程作业者20。
与此相关，图10是示出本实施例的虚拟作业空间显示于现场设备及远程设备的显示部的示例画面的示意图。图10的(a)是示出虚拟作业空间显示于现场作业者10的现场设备11的画面的示意图，图10的(b)是虚拟作业空间显示于远程作业者20的远程设备21的画面的示意图。参见图10的(a)，现场设备11为支持AR(augmented reality)的设备的情况下，向现场作业者10提供显示对应于实际作业对象的虚拟作业对象以及实际作业对象所在的实际作业空间的画面。其中，对应于实际作业对象的虚拟作业对象与实际作业对象匹配并重叠显示于相同位置。
远程设备21通过网络30接收从现场设备11发送的关于虚拟作业空间及虚拟作业对象的数据，使用发送的数据，能够向远程作业者提供表示虚拟作业对象在虚拟作业空间中的状态的画面。参见图10的(b)，远程设备21为支持VR(virtual reality)的设备的情况下，向远程作业者20提供显示虚拟作业对象及虚拟作业空间的画面。
在此，显示虚拟作业空间中的虚拟作业对象的画面可根据设备所支持的虚拟环境而变。如前所述示例，现场设备为支持AR的设备的情况下，现场设备显示增强现实的画面，远程设备为支持VR的设备的情况下，远程设备显示虚拟现实的画面。相反，现场设备为支持VR的设备的情况下，现场设备显示虚拟现实画面，远程设备为支持AR的设备的情况下，远程设备显示增强现实画面。
在执行现场作业者10和远程作业者20之间的虚拟作业期间反复执行306步骤至312步骤。根据本实施例，在现场作业者10和远程作业者20之间的虚拟作业过程中，远程作业者20通过远程设备21操作虚拟作业对象的情况下，在虚拟作业空间反映虚拟作业对象的操作，从而能够向现场作业者20提供关于远程作业者20对虚拟作业对象执行的作业的信息。并且，现场设备11使用摄像头模块实时拍摄实际作业空间中的实际作业对象，并将现场作业者10在实际作业空间对实际作业对象执行的作业反映至虚拟作业空间中的虚拟作业对象，从而能够向远程作业者20实时提供关于实际作业对象的状态的信息。
根据上述本发明的实施例，在基于共同坐标系的虚拟空间的虚拟内容提供方法将实际作业空间的固定的地点指定为基础标记，基于固定的基础标记算出表征用于指示实际作业对象的目标标记的状态(位置及方向)的目标标记的模型矩阵。本发明的实施例基于实际作业空间中固定的地点确定反映至虚拟作业空间的实际作业对象的位置及方向，因此虚拟作业空间的坐标系及比例尺固定。由此，统一共享虚拟作业空间的所有作业参与者的坐标系及比例尺。通过固定虚拟作业空间上的坐标系及比例尺，能够向参与到虚拟作业的远程作业者提供关于实际作业对象的正确的信息。
并且，本发明的实施例的在基于共同坐标系的虚拟空间的虚拟内容提供方法，基于固定的基础标记掌握实际作业对象的状态(位置及方向)变化及摄像头模块的移动，因此用户设备能够区分作业对象的移动和摄像头模块的移动。用户设备基于基础标记算出目标标记的模型矩阵及摄像头模块的视角矩阵，从而能够在虚拟作业空间区分反映作业对象的移动及摄像头模块的移动。由此，本发明的实施例的用户设备能够防止错误地将摄像头移动作为作业对象的移动反映至虚拟作业空间上的问题。本发明的实施例的用户设备通过区分作业对象的移动及摄像头模块的移动，能够向参与虚拟作业的远程作业者传递对作业对象的正确的信息。
另外，如上所述的本发明的实施例可制作成能够在计算机的处理器运行的程序，并且能够使用计算机可读存储介质在运行所述程序的通用数字计算机实现。并且，用于上述本发明的实施例的数据结构可通过多种手段记录在所述计算机可读存储介质。所述计算机可读存储介质包括磁存储介质(例如，ROM、软盘、硬盘等)、光学可读介质(例如，CD-ROM、DVD等)等存储介质。
以上以优选实施例为中心说明了本发明，本发明所属技术领域的普通技术人员应理解在不脱离本发明实质特性的范围内可以做多种变形实施。因此，应从说明的角度理解公开的实施例，而不是从限定的角度理解。本发明的范围并非示于上述的说明，而是权利范围所指范围，与其等同范围内的所有差异点均应理解为包含于本发明。

Claims (11)

1.一种在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于，包括：
从表示实际作业对象在实际作业空间中的初始状态的初始图像数据检测作为用于识别所述实际作业空间的固定地点的标记的基础标记及作为用于识别所述实际作业对象的标记的目标标记；
算出在具有以检测到的所述基础标记为基准的共同坐标系的虚拟作业空间表征所述目标标记的初始位置及方向的所述目标标记的初始模型矩阵以及表征检测到的所述基础标记的位置及方向的所述基础标记的模型矩阵；
使用算出的所述基础标记的模型矩阵算出表征所述目标标记的当前位置及方向的所述目标标记的当前模型矩阵；
在所述虚拟作业空间生成包括所述实际作业对象的三维模型形状的虚拟作业对象；以及
通过根据所述目标标记的所述当前模型矩阵和所述初始模型矩阵之间的差异更新所述虚拟作业对象的位置和方向中的至少一个，将所述实际作业对象的位置和方向的变化反映到所述虚拟作业对象。
2.根据权利要求1所述的在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于：
检测所述目标标记，提取包含于所述初始图像数据的形状，使用提取的所述形状检测所述基础标记及所述目标标记。
3.根据权利要求2所述的在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于：
检测所述目标标记，将提取的所述形状与所述基础标记的形状及所述目标标记的形状进行比较，将与所述基础标记的形状匹配的形状检测为所述基础标记，将与所述目标标记的形状匹配的形状检测为所述目标标记。
4.根据权利要求1所述的在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于，算出所述基础标记的模型矩阵包括：
根据所述初始图像数据，算出以用于所述初始图像数据的拍摄的摄像头模块的视角为基准表示所述基础标记的位置及方向的所述基础标记的初始模型视角矩阵及以所述摄像头模块的视角为基准表示所述目标标记的位置及方向的所述目标标记的初始模型视角矩阵；
算出在所述虚拟作业空间上所述目标标记的所述初始模型矩阵；以及
使用算出的所述基础标记的初始模型视角矩阵、算出的所述目标标记的初始模型矩阵、算出的所述目标标记的初始模型视角矩阵算出所述基础标记的模型矩阵。
5.根据权利要求4所述的在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于：
使用算出的所述基础标记的初始模型视角矩阵、算出的所述目标标记的初始模型矩阵、算出的所述目标标记的初始模型视角矩阵算出所述基础标记的模型矩阵根据以下数学式算出所述基础标记的模型矩阵，
Mb＝Mo*(MVo)-1*MVb
其中，Mb：基础标记的模型矩阵，MVb：基础标记的初始模型视角矩阵，Mo：目标标记的初始模型矩阵，MVo：目标标记的初始模型视角矩阵。
6.根据权利要求1所述的在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于，算出所述目标标记的当前模型矩阵包括：
基于当前图像数据算出所述基础标记的当前模型视角矩阵及所述目标标记的当前模型视角矩阵；以及
使用算出的所述基础标记的当前模型视角矩阵、算出的所述目标标记的当前模型视角矩阵及算出的所述基础标记的模型矩阵，算出所述目标标记的当前模型矩阵。
7.根据权利要求6所述的在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于：
使用算出的所述基础标记的当前模型视角矩阵、算出的所述目标标记的当前模型视角矩阵及算出的所述基础标记的模型矩阵，算出所述目标标记的当前模型矩阵根据如下数学式算出所述目标标记的当前模型矩阵，
Mo`＝Mb*(MVb`)-1*MVo`
Mo`：目标标记的当前模型矩阵，MVo`：目标标记的当前模型视角矩阵，MVb`：基础标记的当前模型视角矩阵，Mb：基础标记的模型矩阵。
8.根据权利要求1所述的在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于，还包括：
确定是否从远程作业者的远程设备接收到用于改变虚拟作业对象的位置及方向的指令；以及
在接收到用于变更所述虚拟作业对象的位置及方向的指令的情况下，根据接收到的所述指令在所述虚拟作业空间上反映所述虚拟作业对象的位置及方向的变化。
9.根据权利要求1所述的在基于共同坐标系的虚拟空间的虚拟内容提供方法，其特征在于，还包括：
根据算出的所述目标标记的当前模型矩阵更新所述虚拟作业空间上的虚拟作业对象的位置及方向。
10.一种计算机可读存储介质，其特征在于，其中记录有用于在计算机执行权利要求1所述的方法的程序。
11.一种信息设备，其特征在于，包括：
从表示实际作业对象在实际作业空间中的初始状态的初始图像数据检测作为用于识别所述实际作业空间的固定地点的标记的基础标记及作为用于识别所述实际作业对象的标记的目标标记的标记检测部；
在具有以检测到的所述基础标记为基准的共同坐标系的虚拟作业空间算出表征所述目标标记的初始位置及方向的所述目标标记的初始模型矩阵及表征检测到的所述基础标记的位置及方向的所述基础标记的模型矩阵，使用算出的所述基础标记的模型矩阵算出表征所述目标标记的当前位置及方向的所述目标标记的当前模型矩阵的矩阵算出部；
在所述虚拟作业空间生成包括所述实际作业对象的三维模型形状的虚拟作业对象，通过根据所述目标标记的所述当前模型矩阵和所述初始模型矩阵之间的差异更新所述虚拟作业对象的位置和方向中的至少一个，将所述实际作业对象的位置和方向的变化反映到所述虚拟作业对象的虚拟空间处理部。
CN202080011789.4A 2019-08-14 2020-07-27 在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置 Active CN113383371B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0099263 2019-08-14
KR1020190099263A KR102208708B1 (ko) 2019-08-14 2019-08-14 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치
PCT/KR2020/009852 WO2021029566A1 (ko) 2019-08-14 2020-07-27 공통 좌표계 기반의 가상공간에서 가상 컨텐츠 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
CN113383371A CN113383371A (zh) 2021-09-10
CN113383371B true CN113383371B (zh) 2024-11-08

Family

ID=74239203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080011789.4A Active CN113383371B (zh) 2019-08-14 2020-07-27 在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置

Country Status (4)

Country Link
US (1) US12002162B2 (zh)
KR (1) KR102208708B1 (zh)
CN (1) CN113383371B (zh)
WO (1) WO2021029566A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4226334A4 (en) * 2020-10-06 2024-11-06 Nokia Technologies Oy NETWORK-BASED SPATIAL COMPUTING FOR EXTENDED REALITY (XR) APPLICATIONS

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100963238B1 (ko) * 2008-02-12 2010-06-10 광주과학기술원 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법
US8839121B2 (en) * 2009-05-06 2014-09-16 Joseph Bertolami Systems and methods for unifying coordinate systems in augmented reality applications
JP4869430B1 (ja) * 2010-09-24 2012-02-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US8908918B2 (en) * 2012-11-08 2014-12-09 Navigate Surgical Technologies, Inc. System and method for determining the three-dimensional location and orientation of identification markers
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality
US9767576B2 (en) * 2014-08-22 2017-09-19 Applied Research Associates, Inc. Techniques for accurate pose estimation in outdoor environments
US20160225188A1 (en) * 2015-01-16 2016-08-04 VRstudios, Inc. Virtual-reality presentation volume within which human participants freely move while experiencing a virtual environment
JP6736257B2 (ja) * 2015-04-02 2020-08-05 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
KR101879586B1 (ko) * 2016-12-16 2018-07-18 경희대학교 산학협력단 증강 현실 구현 관리 방법 및 시스템
KR20180086004A (ko) * 2017-01-20 2018-07-30 (주)에스엔티코리아 증강현실 객체 추적 시스템
US10786728B2 (en) * 2017-05-23 2020-09-29 Blast Motion Inc. Motion mirroring system that incorporates virtual environment constraints
CN107727104B (zh) * 2017-08-16 2019-04-30 北京极智嘉科技有限公司 结合标识的同时定位和地图创建导航方法、装置及系统
US10593052B2 (en) * 2017-08-23 2020-03-17 Synaptive Medical (Barbados) Inc. Methods and systems for updating an existing landmark registration
US10573089B2 (en) * 2017-11-09 2020-02-25 The Boeing Company Systems, methods, and tools for spatially-registering virtual content with physical environment in augmented reality platforms
WO2019100011A1 (en) * 2017-11-17 2019-05-23 Divine Logic, Inc. Systems and methods for tracking items
US10679090B2 (en) * 2017-12-12 2020-06-09 Korea Advanced Institute Of Science And Technology Method for estimating 6-DOF relative displacement using vision-based localization and apparatus therefor
JP6453501B1 (ja) * 2018-02-01 2019-01-16 株式会社Ｃｙｇａｍｅｓ 複合現実システム、プログラム、方法、及び携帯端末装置
US11386572B2 (en) * 2018-02-03 2022-07-12 The Johns Hopkins University Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10403047B1 (en) * 2018-03-01 2019-09-03 Dell Products L.P. Information handling system augmented reality through a virtual object anchor
US10839557B1 (en) * 2018-04-03 2020-11-17 A9.Com, Inc. Camera calibration for augmented reality
US10987176B2 (en) * 2018-06-19 2021-04-27 Tornier, Inc. Virtual guidance for orthopedic surgical procedures
CN108830894B (zh) * 2018-06-19 2020-01-17 亮风台（上海）信息科技有限公司 基于增强现实的远程指导方法、装置、终端和存储介质
US11244509B2 (en) * 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
US10898151B2 (en) * 2018-10-31 2021-01-26 Medtronic Inc. Real-time rendering and referencing for medical procedures
US10482677B1 (en) * 2018-11-20 2019-11-19 Dell Products, L.P. Distributed simultaneous localization and mapping (SLAM) in virtual, augmented, and mixed reality (xR) applications
US10369698B1 (en) * 2019-03-07 2019-08-06 Mujin, Inc. Method and system for performing automatic camera calibration for robot control
CA3130160A1 (en) * 2019-04-04 2020-10-08 Centerline Biomedical, Inc. Registration of spatial tracking system with augmented reality display
US20220107681A1 (en) * 2019-06-25 2022-04-07 Hewlett-Packard Development Company, L.P. User interactions in virtual reality
CN114730212A (zh) * 2019-12-05 2022-07-08 Oppo广东移动通信有限公司 用于关联多人ar系统中的设备坐标系的方法和系统
CN115244501A (zh) * 2020-03-10 2022-10-25 瑞典爱立信有限公司 音频对象的表示和渲染
US20220398427A1 (en) * 2021-06-10 2022-12-15 Disney Enterprises, Inc. Context-Based Social Agent Interaction
JP2023026891A (ja) * 2021-08-16 2023-03-01 富士フイルムビジネスイノベーション株式会社 情報処理装置、及び情報処理プログラム
US20230095339A1 (en) * 2021-09-29 2023-03-30 University Of Notre Dame Du Lac Augmented reality for emergency response
US20230119646A1 (en) * 2021-10-14 2023-04-20 Autodesk, Inc. Integration of a two-dimensional input device into a three-dimensional computing environment
US20230290266A1 (en) * 2022-03-10 2023-09-14 Dell Products L.P. Remote collaboration between users utilizing at least one of augmented reality and virtual reality computing devices
US11978165B2 (en) * 2022-03-31 2024-05-07 Wipro Limited System and method for generating recommendations for capturing images of real-life objects with essential features
US11842455B1 (en) * 2022-06-20 2023-12-12 International Business Machines Corporation Synchronizing physical and virtual environments using quantum entanglement

Also Published As

Publication number Publication date
CN113383371A (zh) 2021-09-10
US20220207832A1 (en) 2022-06-30
KR102208708B1 (ko) 2021-01-28
WO2021029566A1 (ko) 2021-02-18
US12002162B2 (en) 2024-06-04

Similar Documents

Publication Publication Date Title
US7139685B2 (en) Video-supported planning of equipment installation and/or room design
US10380469B2 (en) Method for tracking a device in a landmark-based reference system
EP3812959A1 (en) Marker-to-model location pairing and registration for augmented reality applications
JP2020535509A (ja) イメージ内のターゲットオブジェクトに自動的にアノテーションするための方法、装置およびシステム
GB2506239A (en) Projecting maintenance history using optical reference points
EP3330928A1 (en) Image generation device, image generation system, and image generation method
US20110254813A1 (en) Pointing device, graphic interface and process implementing the said device
WO2022107684A1 (ja) パラメータを調整する装置、ロボットシステム、方法、及びコンピュータプログラム
CN113614792A (zh) 维护支援系统、维护支援方法以及程序
CN113383371B (zh) 在基于共同坐标系的虚拟空间的虚拟内容提供方法及装置
JP2021018710A (ja) 現場連携システムおよび管理装置
CN113196165A (zh) 信息投影系统、控制装置以及信息投影方法
CN106203252A (zh) 借助相机查明机器人轴角度并选出机器人
EP1653191A1 (en) Information presentation device and information presentation system using the same
CN113597362B (zh) 用于确定机器人坐标系与可移动装置坐标系之间的关系的方法和控制装置
KR20220085150A (ko) 확장현실 기반 지능형 건설현장 관리 지원 시스템 서버 및 방법
KR20200094941A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
JP6820469B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US20220410394A1 (en) Method and system for programming a robot
CN113858214A (zh) 一种用于机器人作业的定位方法与控制系统
EP4432189A1 (en) Information processing system, program, and information processing method
WO2024042619A1 (ja) 装置、ロボットの制御装置、ロボットシステム、方法
WO2022172471A1 (ja) 支援システム、画像処理装置、支援方法およびプログラム
KR20170089575A (ko) 증강 현실을 이용한 물류 관리 시스템
KR20220112442A (ko) 핸즈 프리　모바일 컴퓨팅 기술인 웨어러블 스마트글라스를 활용한 증강현실　기반의 물류관리 비젼 피킹 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant