CN111667526A - 用于确定环境中的多个对象的尺寸和距离的方法和设备 - Google Patents

用于确定环境中的多个对象的尺寸和距离的方法和设备 Download PDF

Info

Publication number
CN111667526A
CN111667526A CN202010150530.XA CN202010150530A CN111667526A CN 111667526 A CN111667526 A CN 111667526A CN 202010150530 A CN202010150530 A CN 202010150530A CN 111667526 A CN111667526 A CN 111667526A
Authority
CN
China
Prior art keywords
image
size
objects
camera
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010150530.XA
Other languages
English (en)
Other versions
CN111667526B (zh
Inventor
安东·埃伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Ag
Original Assignee
Siemens Healthcare GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare GmbH filed Critical Siemens Healthcare GmbH
Publication of CN111667526A publication Critical patent/CN111667526A/zh
Application granted granted Critical
Publication of CN111667526B publication Critical patent/CN111667526B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种用于确定环境中的多个对象的尺寸和距离的方法和设备。该方法包括以下步骤：在环境中设置多个对象，每个对象包括标记元素；用摄像机记录多个对象中的至少一个对象的视觉图像数据集；根据图像数据集中的标记元素的图像或者根据在摄像机的位置处的附加传感器的测量来确定参数值，其中，参数值是取决于对象到摄像机的距离的值；基于该参数值计算对象与摄像机之间的相对距离；根据图像数据集中的对象的图像的至少一部分和计算出的距离来计算对象的尺寸。本发明还提供了相关系统和用于虚拟现实系统的相关控制单元。

Description

用于确定环境中的多个对象的尺寸和距离的方法和设备
技术领域
本发明涉及确定环境中的多个对象的尺寸和距离的方法和设备，特别涉及用于在虚拟现实中实现对象的数据，特别涉及用于医学用途的系统以及适于虚拟现实的控制单元。
背景技术
对于各种技术和医学领域，虚拟现实(VR)，即为用户创建人工环境，已经变得越来越引起关注。一个重要目标是将真实对象和人集成在虚拟环境中，例如作为虚拟对象或作为化身。为了实现该目标，虚拟现实单元应当具有以下能力：扫描环境，跟踪该环境中的对象或人，以及在虚拟现实中的与现实等同的位置处创建虚拟对象或化身。通常，VR单元必须被训练以实现该目标。
到目前为止，通过跟踪人并随后在虚拟现实中进行映射来实现VR训练。到目前为止，为了还映射环境中的(静态)对象或人与之交互的对象，这些对象必须以耗时的方式被放置在它们在VR中的适当位置处。直到今天，还没有以能够跟踪人的方式来跟踪对象(例如，X射线系统的C形臂)以避免虚拟训练的耗时构造的可接受的解决方案。特别地，到目前为止，在不使用实现的IR信号进行光学跟踪的情况下，不存在技术解决方案。
由于对于用户在虚拟现实中的运动，总是存在撞到如下真实对象的风险，所述真实对象在VR中无法正确地被显示或根本不能被显示，并且由于当在VR中时使用真实对象的能力，主要缺点在于：仅存在适合于记录人体的运动的跟踪，但没有适当的对象的跟踪。
发明内容
本发明的目的是改进已知的设备和方法，以便于在确定环境中的多个对象的尺寸和距离方面做出改进，特别是针对在虚拟现实中实现真实对象做出改进。
该目的通过根据本发明的方法、设备、系统以及控制单元来实现。
根据本发明的确定环境中的多个对象的尺寸和距离的方法包括以下步骤：
-在环境中设置多个对象，每个对象包括标记元素。标记元素应该位于对象中或对象上。合适的标记元素例如是信标，特别是蓝牙低能量(BLE)信标或可见QR码。
-用摄像机记录多个对象中的至少一个对象的视觉图像数据集。这样的图像数据集可以包括(单个)图片、一组图片或图片(例如，具有各种各样焦点的HDR图像)中的一组图像数据。“图像数据集”也可以被称为“图像”、“照片”或“图片”，然而，应当清楚，“图像数据集”可以包括由摄像机拍摄的一个、两个或更多个图像(例如，立体图像或HDR图像)的数据。在最容易的情况下，可以使用一个单独的摄影。
-根据图像数据集或根据在摄像机的位置处的附加传感器的测量来确定标记元素的参数值，其中，参数值是取决于对象与摄像机之间的距离的值。该参数值对于本发明很重要。参数值是取决于对象与摄像机之间的距离的值的要求意味着：可以从该值直接地或间接地得到对象与摄像机之间的距离。例如，可以使用来自信标的信号的强度。此外，由于标记元素的大小是已知的并且可以从该大小和常用投影光学器件的公式得到距离，因此可以使用图像数据中的标记元素的图像作为值。
-基于该参数值计算对象与摄像机之间的相对距离。例如可以根据来自被布置在该对象中或该对象上的信标的信号的强度容易地计算该相对距离(因为绝对信号功率是已知的或者可以容易地被测量)。根据信号随着距离的衰减，可以得到距离。上面描述了使用标记元素的图像的另一示例。-根据图像数据集中的对象的图像的至少一部分和计算出的距离来计算对象的尺寸。这也可以通过使用标记元素的图像来实现。可以例如以标记元素的大小为单位来确定对象的图像的尺寸，并且然后通过对常用投影光学器件的公式的转换来将该尺寸变换为真实尺寸。另一示例是使用上述信标的信号和图像数据中的对象的尺寸。为了计算现实世界中的对象的尺寸，也可以使用投影光学器件的公式。然而，可能存在对象的形状复杂(例如，X射线系统)的情况。于是，被布置在对象的表面上并且在图像数据中被看到的标记元素是有利的，原因在于：通过标记元素的图像的变形(例如，被投影为图像数据中的平行四边形的矩形标记元素)可以用于计算环境中的对象相对于摄像机的旋转方向。
根据本发明的记录环境中的多个对象的设备，其中，多个对象设置有标记元素，所述设备包括以下部件：
-摄像机，其被设计成记录对象中的至少一个对象的视觉图像数据集。
-确定设备，其被设计成根据图像数据集中的标记元素的图像或根据另外的源来确定参数值，其中，所述参数值取决于对象与摄像机之间的距离。-计算单元，其被设计成：基于该参数值来计算对象与摄像机之间的相对距离；以及根据图像数据集中的对象的图像的至少一部分和计算出的距离来计算对象的尺寸。
根据本发明的适于记录环境中的多个对象特别适于医学用途的系统包括根据本发明的设备和多个对象，优选地为医学对象，特别优选地为医学设备。这些对象中的每个对象包括标记元素。
根据本发明的用于虚拟现实系统的控制单元包括根据本发明的设备。
上述设备或控制单元的一些单元或模块可以完全地或部分地被实现为运行在设备或控制单元的处理器上的软件模块。主要以软件模块形式的实现可以具有以下优点：可以以相对少的努力来更新已经安装在现有系统上的应用，以安装和运行本应用的这些单元。本发明的目的还通过具有计算机程序的计算机程序产品来实现，所述计算机程序可以直接被加载到MRI系统的设备或控制单元的存储器中，并且计算机程序产品包括当程序由控制单元或设备执行时执行本发明方法的步骤的程序单元。除计算机程序之外，这样的计算机程序产品还可以包括诸如文档和/或附加部件的其他部分以及诸如硬件密钥(加密狗等)的硬件部件，以便于访问软件。
诸如记忆棒、硬盘或者其他可运输或永久安装的载体的计算机可读介质可以用于运输和/或存储计算机程序产品的可执行部分，从而使得这些可执行部分可以从控制单元或设备的处理器单元被读取。处理器单元可以包括一个或更多个微处理器或其等同物。
如在以下描述中展现的，本发明的特别有利的实施方式和特征由从属权利要求给出。可以适当地组合不同权利要求类别的特征以给出本文中未描述的其他实施方式。
根据优选方法，多个对象包括主动发送具有距离相关的信号形状的电磁信号的标记元素。该信号可以是蓝牙信号或具有距离相关的强度的另外的电磁信号。可以容易地测量或计算强度和距离的相关性。可以用摄像机的传感器或被布置在摄像机的位置处的附加传感器来测量标记元素的信号。
优选地，标记元素发送或显示独特的识别码。这与标记元素的类型无关。这可以通过在标记元素上印上独特的码或图案来实现，或者通过标记元素发送具有独特编码的信号来实现。标记元素的信息，特别是标记元素的标识，优选地与图像数据集一起被存储。
特别优选地，信号元素是蓝牙标记，优选地是蓝牙低能量标志，也被称为“BLE-信标”。
根据优选方法，基于对象的距离和图像数据集中的对象的位置来计算对象相对于摄像机的相对位置，其中，优选地在该计算中还考虑对象的尺寸。优选地，在该计算结束时向对象分配坐标系以及/或者从该计算得到两个对象之间的相对距离。
根据优选方法，通过蓝牙低能量室内导航、即时定位与地图构建(“SLAM”)的原理或惯性传感器来确定摄像机相对于对象的相对位置。这些传感器可以例如在智能电话、平板计算机或笔记本计算机中被发现，其中，这样的设备的机载摄像机优选地用作拍摄图像数据集的摄像机。
根据优选方法，标记元素是具有限定尺寸的视觉标记并且被应用在对象的表面处。在那里它可以被摄像机看到。计算距离所需的所确定的参数值优选地是标记的图像。然后，根据标记的图像和摄像机的聚焦光学器件的已知值优选地计算对象与摄像机之间的相对距离和/或对象的尺寸。应当注意，标记元素必须出现在图像数据集的图片上，并且标记元素的大小必须是已知的。为了在实践中获得良好的结果，若干标记元素应该被应用在不同表面处，使得可以从环境中的任何位置看到至少一个标记元素。
根据优选方法，在记录视觉图像数据集的过程中，立体图像被记录，其中，基于标记元素的立体图像使用三角测量来计算对象与摄像机之间的相对距离。这允许快速且准确地确定环境中的对象的距离和取向。
根据优选方法，在记录视觉图像数据集的过程中，高动态范围图像和/或具有不同焦点的图像被记录。这提供了具有良好对比度和良好亮度的图像数据。
优选地，对象的距离和/或尺寸通过以下操作来确定：
-对标记元素和/或对象周围的区域进行切片，其中，切片包括用不同焦点记录的图像，其中，在每个切片中，较高量的尖锐点被检测为平面/线，以及
-观察所记录的光场的深度和/或所述切片中的图像的锐度，并且基于所记录的光场的深度和/或所述图像的锐度来计算对象的图像的图像尺寸，
-基于图像尺寸，优选地基于标记元素的尺寸和摄像机的聚焦光学器件的已知值，来确定对象的距离和/或尺寸。
切片是具有不同焦点的(HDR数据集的)图片。在每幅图片上，存在环境的一个尖锐平面，而其他区域是散布的。由于焦点在图像数据集中“移动”，因此存在具有不同尖锐区域的一系列图片。其中对象的一个表面或边缘被描绘为尖锐的图片的焦点被视为距离，其中，可以根据对象的其他表面或边缘是锐利的一组图片来计算对象的尺寸。通过在移动焦点的同时移动图像，一个单元可以“沿着对象”进行扫描。还可以首先确定对象的图像的一组尺寸，然后确定距定义的对象的点(例如，表面或质心)的距离，接着通过根据该距离缩放所述一组尺寸来计算对象的真实尺寸。
通常应当注意，摄像机的投影比例S是众所周知的。可以基于公式A＝1/S·B，进行根据图像大小B基于投影光学器件的在现实中的大小A的任何计算。然而，存在与各种各样的失真或成像误差有关的更复杂的公式。
根据优选方法，在图像数据集中识别对象。然后可以优选地在所识别的对象周围构建边界框。标记元素的大小与对象周围的边界框(的轮廓线)相关，以确定对象的尺寸。这优选地通过计算标记与边界框的区域适配多少次来实现。
该边界框使得在虚拟现实环境中布置对象更容易。
根据优选方法，执行在虚拟现实内创建与对象具有相同距离和尺寸的虚拟对象的附加步骤。优选地提供与虚拟对象关联的识别标记，特别优选地，其中虚拟对象的识别标记对应于对象的标记元素的识别码。例如，当(真实)对象的标记元素发送或显示某一码时，该码可以用作相应虚拟对象的识别标记。
优选设备包括虚拟现实显示器，其中，所述设备包括虚拟现实计算单元，所述虚拟现实计算单元被设计成：创建与环境的对象具有相同距离和尺寸的虚拟对象并在虚拟现实显示器上显示虚拟对象。优选地，虚拟现实显示器的壳体包括摄像机，原因是这保证了摄像机的视野对应于虚拟现实显示器的观看方向。这对于到对象的距离也是有效的。
附图说明
根据以下结合附图考虑的详细描述，本发明的其他目的和特征将变得明显。然而，应当理解，附图仅仅是出于说明的目的被设计，而不作为对本发明的限制的定义。
图1示出了根据本发明的优选方法的处理流程的框图。
图2示出了用于获取图像数据集的优选方案以及优选设备和优选系统。
图3示出了用于获取图像数据集的另一优选方案。
图4示出了用于获取图像数据集的另一优选方案。
图5示出了具有边界框的对象。
在附图中，相同的附图标记始终指代相同的对象。图中的对象不一定按比例绘制。
具体实施方式
图1示出了根据本发明的优选方法的处理流程的框图。对于可能的设置和参考标记，请参见图2至图4。
在步骤I中，在环境中设置了多个对象O1，每个对象包括标记元素M1。在此，标记元素M1可以包括用标记元素M1上的图案指示的独特的识别码。在此，标记元素M1是具有限定尺寸的可视标记并且被应用在对象O1的表面处。
在步骤II中，用摄像机2记录对象O1的视觉图像数据集ID，使得标记元素的图像M1i在图像数据集ID中是可见的。
在步骤III中，基于标记元素M1确定参数值PV，在此该参数值PV是标记元素的图像M1i在图像数据集ID中的大小。信标也可以被用作标记元素M1并且信标的信号强度可以被测量作为参数值PV。标记元素的图像M1i的大小取决于对象O1与摄像机2之间的距离。
在步骤IV中，例如通过使用标记元素M1的已知大小以及图像距摄像机2的光学器件的已知距离或图像距摄像机2的光学器件的焦点的已知距离，根据参数值PV(标记元素的图像M1i的大小)计算对象O1与摄像机2之间的相对距离D1。
在步骤V中，根据图像数据集ID中的对象O1的图像的至少一部分和计算出的距离D1来计算对象O1的尺寸a、b、c。
在步骤VI中，基于计算出的距离D1和对象O1在图像数据集ID中的位置来计算如由摄像机2看到的对象O1在环境中的相对位置。
在步骤VII中，在虚拟现实环境内创建与虚拟现实环境中的对象O1具有相同距离和尺寸的虚拟对象VO，优选地，提供与虚拟对象VO关联的识别标记GI，特别优选地，其中虚拟对象VO的识别标记GI对应于图案，即，对象O1的标记元素M1的识别码。在此它是虚拟标记。标签也可以被应用于虚拟对象VO。
图2示出了用于获取图像数据集ID的优选方案以及优选设备1和优选系统6。
优选设备1包括：
-摄像机2，其被设计成记录位于环境中的对象O1、O2的视觉图像数据集ID，
-确定设备3，其被设计成根据图像数据集ID中的标记元素的图像M1i、M2i来确定参数值PV。设备可以替选地或另外地包括例如用于测量蓝牙信号的强度的传感器。
-计算单元4，其被设计成：基于该参数值PV来计算对象O1、O2与摄像机2之间的相对距离D1、D2；以及根据图像数据集ID中的对象O1、O2的图像的至少一部分和计算出的距离D1、D2来计算对象O1、O2的尺寸a、b、c。
该设备还包括在虚拟现实环境中为用户显示虚拟对象VO(参见例如图1)的虚拟现实显示器5，在此是平视显示器5。
所示的设备1与虚拟现实显示器5一起可以用作根据本发明的控制单元。
优选系统6包括设备1和多个对象O1、O2，每个对象包括标记元素M1、M2。
用摄像机2记录两个对象O1、O2。应用了如上所述且在图1中示出的方法，在该方法中，对象O1、O2与摄像机2之间的距离D1、D2被计算并且对象O1、O2的尺寸a、b、c以及对象O1、O2相对于坐标系X、Y、Z的位置被计算。该坐标系X、Y、Z可以起源于环境中的任何地方。另外，根据这些计算得到对象O1、O2之间的相对距离D3。
关于距离D1、D2，它们在此被示出为摄像机2与标记元素M1、M2之间的距离D1、D2。但这不是必需的。通常，对象O1、O2的任意点可以用作用于计算距离D1、D2的原点。然而，由于标记元素M1、M2是对象O1、O2的重要特征，因此优选地将标记元素M1、M2定义为原点。
图3示出了用于获取图像数据集ID的另一优选方案。在此，具有一系列焦点FP的高动态范围图像(HDR图像)被记录为图像数据集ID。通过识别图像数据集ID的不同图像(在不同焦点FP处)中的对象O1的尖锐区域，可以计算对象O1的距离D1和尺寸a、b、c。在此，标记元素M1的大小与标记元素的图像M1i的大小的比率(参见虚线椭圆)也用于计算尺寸a、b、c。
该计算优选地通过对标记元素M1和/或对象O1周围的区域进行切片来实现，其中，切片包括用不同焦点FP记录的图像，其中，在每个切片中，较高量的尖锐点被检测为平面/线。之后，观察所记录的光场的深度和/或切片中的图像的锐度，并且基于所记录的光场的深度和/或图像的锐度来计算对象O1的图像的图像尺寸。最后，基于图像尺寸，优选地基于标记元素M1的尺寸和摄像机2的聚焦光学器件的已知值来确定对象O1的距离D1和/或尺寸a、b、c。
图4示出了用于获取图像数据集ID的另一优选方案。在此，在记录视觉图像数据集ID的过程中，立体图像被记录，其中，基于标记元素的(立体)图像M1i使用三角测量来计算对象O1与摄像机2之间的相对距离D1。
图5示出了具有边界框BB的对象O1。该对象O1(在此是显微镜)具有非常复杂的形状。为了简化对象在虚拟现实环境中的布置，可以使用该边界框BB。可以通过识别图像数据集ID中的对象O1并在所识别的对象周围构建边界框BB来设计边界框BB。
以下条款也是本公开内容的一部分：
条款1：一种用于确定环境中的多个对象O1、O2的尺寸a、b、c和距离D1、D2的方法，包括以下步骤：
-在所述环境中设置多个对象O1、O2，每个对象包括标记元素M1、M2，
-用摄像机2记录所述多个对象O1、O2中的至少一个对象的视觉图像数据集ID，
-根据所述图像数据集ID中的标记元素的图像M1i、M2i或根据在所述摄像机2的位置处的附加传感器的测量来确定参数值V，其中，所述参数值PV是取决于所述对象O1、O2到所述摄像机2的距离D1、D2的值，
-基于该参数值PV计算所述对象O1、O2与所述摄像机2之间的相对距离，
-根据所述图像数据集ID中的对象O1、O2的图像的至少一部分和计算出的距离D1、D2来计算所述对象O1、O2的尺寸a、b、c。
条款2：根据条款1所述的方法，其中，基于所述对象的距离D1、D2和所述对象在所述图像数据集ID中的位置来计算对象O1、O2相对于所述摄像机的相对位置，其中，优选地，在该计算中还考虑了所述对象O1、O2的尺寸a、b、c。
条款3：根据前述条款中的一项所述的方法，其中，多个对象O1、O2包括标记元素M1、M2，所述标记元素M1、M2优选地是蓝牙低能量标志，所述标记元素M1、M2主动发送具有距离相关的信号形状的电磁信号，其中，所述标记元素M1、M2优选地发送和/或显示独特的识别码。
条款4：根据前述条款中的一项所述的方法，其中，通过蓝牙低能量室内导航、即时定位与地图构建或惯性传感器来确定所述摄像机2相对于对象O1、O2的相对位置。
条款5：根据前述条款中的一项所述的方法，其中，标记元素M1、M2是具有限定尺寸的视觉标记并且被应用在对象O1、O2的表面处，其中，所确定的参数值V是所述标记元素M1、M2的图像，并且其中，根据标记的图像M1i、M2i和所述摄像机2的聚焦光学器件的已知值来计算所述对象O1、O2与所述摄像机2之间的相对距离D1、D2和/或所述对象O1、O2的尺寸a、b、c。
条款6：根据前述条款中的一项所述的方法，其中，在记录视觉图像数据集ID的过程中，立体图像被记录，其中，基于所述标记元素的立体图像M1i、M2i使用三角测量来计算对象O1、O2与所述摄像机2之间的相对距离D1、D2。
条款7：根据前述条款中的一项所述的方法，其中，在记录视觉图像数据集ID的过程中，高动态范围图像和/或具有不同焦点的图像被记录，其中，优选地通过以下操作来确定对象O1、O2的距离D1、D2和/或尺寸a、b、c：
-对标记元素M1、M2和/或对象O1、O2周围的区域进行切片，其中，切片包括用不同焦点FP记录的图像，其中，在每个切片中，较高量的尖锐点被检测为平面/线，以及
-观察所记录的光场的深度和/或所述切片中的图像的锐度，并且基于所记录的光场的深度和/或所述图像的锐度来计算所述对象O1、O2的图像的图像尺寸，
-基于所述图像尺寸，优选地基于所述标记元素M1、M2的尺寸和所述摄像机2的聚焦光学器件的已知值，来确定对象O1、O2的距离D1、D2和/或尺寸a、b、c。
条款8：根据前述条款中的一项所述的方法，其中，在所述图像数据集ID中识别对象O1、O2，其中，优选地在所识别的对象O1、O2周围构建边界框BB，并且标记元素M1、M2的大小与所述对象O1、O2周围的边界框BB相关以确定所述对象O1、O2的尺寸a、b、c，优选地通过计算所述标记元素M1、M2与所述边界框BB的区域适配多少次来确定所述对象O1、O2的尺寸a、b、c。
条款9：根据前述条款中的一项所述的方法，包括以下附加步骤：
-在虚拟现实内创建与所述对象O1、O2具有相同距离和尺寸的虚拟对象，优选地提供与所述虚拟对象关联的识别标记，特别优选地，其中，所述虚拟对象的识别标记对应于所述对象O1、O2的标记元素M1、M2的识别码。
条款10：一种用于记录环境中的多个对象O1、O2的设备，其中，多个对象O1、O2设置有标记元素M1、M2，所述设备包括：
-摄像机2，其被设计成记录所述对象O1、O2中的至少一个对象的视觉图像数据集ID，
-确定设备3，其被设计成根据所述图像数据集ID中的标记元素的图像M1i、M2i或根据另外的源来确定参数值，其中，所述参数值V取决于所述对象O1、O2到所述摄像机2的距离D1、D2，
-计算单元4，其被设计成：
a)基于该参数值V计算所述对象O1、O2与所述摄像机2之间的相对距离D1、D2，
b)根据所述图像数据集ID中的对象O1、O2的图像的至少一部
分和计算出的距离D1、D2来计算所述对象O1、O2的尺寸a、b、c。条款11：根据条款10所述的设备1，包括虚拟现实显示器5，其中，所述设备1包括虚拟现实计算单元，所述虚拟现实计算单元被设计成：创建与所述环境的对象O1、O2具有相同距离和尺寸的虚拟对象，并且在所述虚拟现实显示器5上显示虚拟对象。
条款12：一种用于记录环境中的多个对象O1、O2的系统，包括根据条款10或11所述的设备1和多个对象O1、O2，所述多个对象O1、O2优选地是医学对象，所述多个对象O1、O2特别优选地是医学设备，每个对象包括标记元素M1、M2。
条款13：一种用于虚拟现实系统的控制单元，包括根据条款10或11所述的设备1。
条款14：一种计算机程序产品，所述计算机程序产品包括能够直接被加载到设备1或控制单元中的计算机程序，所述计算机程序产品优选地用于虚拟现实系统，所述计算机程序产品包括当所述计算机程序由所述设备1或所述控制单元执行时用于执行根据条款1至9中任一项所述的方法的步骤的程序元素。
条款15：一种计算机可读介质，在所述计算机可读介质上存储有程序元素，当所述程序元素由计算机单元执行时，所述程序元素能够由所述计算机单元读取和执行以执行根据条款1至9中任一项所述的方法的步骤。
尽管已经以优选实施方式及其变型的形式公开了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以对其进行许多附加修改和变型。为了清楚起见，应当理解，贯穿本申请使用“一个(a)”或“一个(an)”并不排除多个，并且“包括”不排除其他步骤或要素。提及“单元”或“模块”并不排除使用多于一个单元或模块。

Claims (15)

1.一种用于确定环境中的多个对象(O1，O2)的尺寸(a，b，c)和距离(D1，D2)的方法，包括以下步骤：
-在所述环境中设置多个对象(O1，O2)，每个对象包括标记元素(M1，M2)，
-用摄像机(2)记录所述多个对象(O1，O2)中的至少一个对象的视觉图像数据集(ID)，其中，在记录视觉图像数据集(ID)的过程中，高动态范围图像和/或具有不同焦点的图像被记录，
-根据所述图像数据集(ID)中的标记元素的图像(M1i，M2i)确定参数值(V)，其中，所述参数值(PV)是取决于对象(O1，O2)到所述摄像机(2)的距离(D1，D2)的值，
-基于该参数值(PV)计算所述对象(O1，O2)与所述摄像机(2)之间的相对距离，
-根据所述图像数据集(ID)中的对象(O1，O2)的图像的至少一部分和计算出的距离(D1，D2)来计算所述对象(O1，O2)的尺寸(a，b，c)，
其中，通过以下操作来确定所述对象(O1，O2)的距离(D1，D2)和/或尺寸(a，b，c)：
-对标记元素(M1，M2)周围的区域进行切片，其中，切片包括用不同焦点(FP)记录的图像，以及
-观察所记录的光场的深度和/或所述切片中的图像的锐度，并且基于所记录的光场的深度和/或所述图像的锐度来计算所述对象(O1，O2)的图像的图像尺寸，
-基于所述标记元素(M1，M2)的尺寸和所述摄像机(2)的聚焦光学器件的已知值来确定对象(O1，O2)的距离(D1，D2)和/或尺寸(a，b，c)。
2.根据权利要求1所述的方法，其中，基于所述对象的距离(D1，D2)和所述对象在所述图像数据集(ID)中的位置来计算对象(O1，O2)相对于所述摄像机的相对位置，其中，优选地，在该计算中还考虑所述对象(O1，O2)的尺寸(a，b，c)。
3.根据前述权利要求中的一项所述的方法，其中，多个对象(O1，O2)包括标记元素(M1，M2)，所述标记元素(M1，M2)优选地是蓝牙低能量标志，所述标记元素(M1，M2)主动发送具有距离相关的信号形状的电磁信号，
其中，所述标记元素(M1，M2)优选地发送和/或显示独特的识别码，
其中，用所述摄像机的传感器或被布置在所述摄像机的位置处的附加传感器来测量所述标记元素的信号。
4.根据前述权利要求中的一项所述的方法，其中，通过蓝牙低能量室内导航、即时定位与地图构建或惯性传感器来确定所述摄像机(2)相对于对象(O1，O2)的相对位置。
5.根据前述权利要求中的一项所述的方法，其中，标记元素(M1，M2)是具有限定尺寸的视觉标记并且被应用在对象(O1，O2)的表面处，其中，所确定的参数值(V)是所述标记元素(M1，M2)的图像，并且其中，根据标记的图像(M1i，M2i)和所述摄像机的聚焦光学器件的已知值来计算所述对象(O1，O2)与所述摄像机(2)之间的相对距离(D1，D2)和/或所述对象(O1，O2)的尺寸(a，b，c)。
6.根据前述权利要求中的一项所述的方法，其中，在记录视觉图像数据集(ID)的过程中，立体图像被记录，其中，基于所述标记元素的立体图像(M1i，M2i)使用三角测量来计算对象(O1，O2)与所述摄像机(2)之间的相对距离(D1，D2)。
7.根据前述权利要求中的一项所述的方法，其中，在记录视觉图像数据集(ID)的过程中，高动态范围图像和/或具有不同焦点的图像被记录，其中，优选地通过以下操作来确定对象(O1，O2)的距离(D1，D2)和/或尺寸(a，b，c)：
-对对象(O1，O2)周围的区域进行切片，其中，切片包括用不同焦点(FP)记录的图像，其中，在每个切片中，较高量的尖锐点被检测为平面/线，以及
-观察所记录的光场的深度和/或所述切片中的图像的锐度，并且基于所记录的光场的深度和/或所述图像的锐度来计算所述对象(O1，O2)的图像的图像尺寸，
-基于所述标记元素(M1，M2)的尺寸和所述摄像机(2)的聚焦光学器件的已知值来确定对象(O1，O2)的距离(D1，D2)和/或尺寸(a，b，c)。
8.根据前述权利要求中的一项所述的方法，其中，在所述图像数据集(ID)中识别对象(O1，O2)，其中，优选地在所识别的对象(O1，O2)周围构建边界框(BB)，并且标记元素(M1，M2)的大小与所述对象(O1，O2)周围的边界框(BB)相关以确定所述对象(O1，O2)的尺寸(a，b，c)，优选地通过计算所述标记元素(M1，M2)与所述边界框(BB)的区域适配多少次来确定所述对象(O1，O2)的尺寸(a，b，c)。
9.根据前述权利要求中的一项所述的方法，包括以下附加步骤：
-在虚拟现实内创建与所述对象(O1，O2)具有相同距离和尺寸的虚拟对象，优选地提供与所述虚拟对象关联的识别标记，特别优选地，其中，所述虚拟对象的识别标记对应于所述对象(O1，O2)的标记元素(M1，M2)的识别码。
10.一种用于记录环境中的多个对象(O1，O2)的设备，其中，多个对象(O1，O2)设置有标记元素(M1，M2)，所述设备包括：
-摄像机(2)，其被设计成以所述对象(O1，O2)中的至少一个对象的高动态范围图像和/或具有不同焦点的图像的形式记录视觉图像数据集(ID)，
-确定设备(3)，其被设计成根据所述图像数据集(ID)中的标记元素的图像(M1i，M2i)来确定参数值，其中，所述参数值(V)取决于对象(O1，O2)到所述摄像机(2)的距离(D1，D2)，
-计算单元(4)，其被设计成：
a)基于该参数值(V)计算所述对象(O1，O2)与所述摄像机(2)之间的相对距离(D1，D2)，
b)根据所述图像数据集(ID)中的对象(O1，O2)的图像的至少一部分和计算出的距离(D1，D2)来计算所述对象(O1，O2)的尺寸(a，b，c)，
其中，通过以下操作来确定所述对象(O1，O2)的距离(D1，D2)和/或尺寸(a，b，c)：
-对标记元素(M1，M2)周围的区域进行切片，其中，切片包括用不同焦点(FP)记录的图像，以及
-观察所记录的光场的深度和/或所述切片中的图像的锐度，并且基于所记录的光场的深度和/或所述图像的锐度来计算所述对象(O1，O2)的图像的图像尺寸，
-基于所述标记元素(M1，M2)的尺寸和所述摄像机(2)的聚焦光学器件的已知值来确定对象(O1，O2)的距离(D1，D2)和/或尺寸(a，b，c)。
11.根据权利要求10所述的设备(1)，包括虚拟现实显示器(5)，其中，所述设备(1)包括虚拟现实计算单元，所述虚拟现实计算单元被设计成：创建与所述环境中的对象(O1，O2)具有相同距离和尺寸的虚拟对象，并且在所述虚拟现实显示器(5)上显示虚拟对象。
12.一种用于记录环境中的多个对象(O1，O2)的系统，包括根据权利要求10或11所述的设备(1)和多个对象(O1，O2)，所述多个对象(O1，O2)优选地是医学对象，所述多个对象(O1，O2)特别优选地是医学设备，每个对象包括标记元素(M1，M2)。
13.一种用于虚拟现实系统的控制单元，包括根据权利要求10或11所述的设备(1)。
14.一种计算机程序产品，所述计算机程序产品包括能够直接被加载到设备(1)或控制单元中的计算机程序，所述计算机程序产品优选地用于虚拟现实系统，所述计算机程序产品包括当所述计算机程序由所述设备(1)或所述控制单元执行时用于执行根据权利要求1至9中任一项所述的方法的步骤的程序元素。
15.一种计算机可读介质，在所述计算机可读介质上存储有程序元素，当所述程序元素由计算机单元执行时，所述程序元素能够由所述计算机单元读取和执行以执行根据权利要求1至9中任一项所述的方法的步骤。
CN202010150530.XA 2019-03-07 2020-03-06 用于确定环境中的多个对象的尺寸和距离的方法和设备 Active CN111667526B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19161318.1A EP3706076B1 (en) 2019-03-07 2019-03-07 Method and device to determine the dimensions and distance of a number of objects in an environment
EP19161318.1 2019-03-07

Publications (2)

Publication Number Publication Date
CN111667526A true CN111667526A (zh) 2020-09-15
CN111667526B CN111667526B (zh) 2023-07-28

Family

ID=65763264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010150530.XA Active CN111667526B (zh) 2019-03-07 2020-03-06 用于确定环境中的多个对象的尺寸和距离的方法和设备

Country Status (3)

Country Link
US (1) US11043037B2 (zh)
EP (1) EP3706076B1 (zh)
CN (1) CN111667526B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD959476S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959447S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
USD959477S1 (en) 2019-12-20 2022-08-02 Sap Se Display system or portion thereof with a virtual three-dimensional animated graphical user interface
US11205296B2 (en) * 2019-12-20 2021-12-21 Sap Se 3D data exploration using interactive cuboids
DE102020129792B4 (de) * 2020-11-11 2023-03-09 Volume Graphics Gmbh Computerimplementiertes Verfahren zum Ermitteln eines Werts eines geometrischen Parameters
KR102696176B1 (ko) * 2022-01-28 2024-08-19 하드콘 주식회사 머신 좌표계와 영상 좌표계의 정합 방법 및 장치

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
CN1689020A (zh) * 2002-09-16 2005-10-26 成像治疗仪股份有限公司 用于肌肉骨骼疾病的成像标记物
CN1983036A (zh) * 2005-11-22 2007-06-20 Asml荷兰有限公司 作为对准标记的二进制正弦子波长格栅
CN101048798A (zh) * 2004-08-31 2007-10-03 美国西门子医疗解决公司 肺结节检测的候选项集产生
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法
CN101785026A (zh) * 2007-07-18 2010-07-21 Metaio有限公司 用于确定摄像机相对于真实对象的位置和方向的方法和系统
US20100321640A1 (en) * 2009-06-22 2010-12-23 Industrial Technology Research Institute Projection display chip
CN102192727A (zh) * 2010-03-19 2011-09-21 阿尔卡特朗讯 移动手持设备和方法
CN102753954A (zh) * 2009-12-22 2012-10-24 纽约大学 利用光学力将胶粒分成多个通道：棱镜光学分离
CN102928979A (zh) * 2011-08-30 2013-02-13 微软公司 调整混合现实显示器以供瞳孔间距对准
CN103177470A (zh) * 2011-12-21 2013-06-26 哈曼贝克自动系统股份有限公司 利用机动车的显示器产生增强现实的方法和系统
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
CN103591943A (zh) * 2013-11-17 2014-02-19 罗建刚 图像指引放线的方法
CN104077746A (zh) * 2013-03-29 2014-10-01 富士通株式会社 灰度图像处理方法及其装置
CN104168837A (zh) * 2011-10-10 2014-11-26 神经束公司 用手持图像设备对组织进行全面检查的方法、装置和系统
CN104572967A (zh) * 2014-12-30 2015-04-29 北京奇虎科技有限公司 一种在页面绘制图形的方法和装置
CN105074615A (zh) * 2013-01-08 2015-11-18 阿约特莱股份公司 虚拟传感器系统和方法
CN105574921A (zh) * 2014-11-04 2016-05-11 达索系统公司 根据图像的自动化纹理映射和动画绘制
CN106327449A (zh) * 2016-09-12 2017-01-11 厦门美图之家科技有限公司 一种图像修复方法、应用和计算设备
CN108765338A (zh) * 2018-05-28 2018-11-06 西华大学 基于卷积自编码卷积神经网络的空间目标图像复原方法
CN109255844A (zh) * 2017-07-12 2019-01-22 通用电气公司 用于使用视频检查设备测量特征的尺寸的图形叠加层
CN109426348A (zh) * 2017-08-29 2019-03-05 西门子医疗有限公司 用于选择虚拟对象或图像参数值的方法和选择单元

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959595B2 (en) * 2010-09-21 2018-05-01 Mobileye Vision Technologies Ltd. Dense structure from motion
EP2546806B1 (en) * 2011-07-11 2019-05-08 Deutsche Telekom AG Image based rendering for ar - enabling user generation of 3d content
WO2013162747A1 (en) * 2012-04-26 2013-10-31 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for providing interactive refocusing in images
JP6264834B2 (ja) * 2013-10-24 2018-01-24 富士通株式会社 ガイド方法、情報処理装置およびガイドプログラム
US10366263B2 (en) * 2016-12-30 2019-07-30 Accenture Global Solutions Limited Object detection for video camera self-calibration
WO2019097456A1 (en) * 2017-11-17 2019-05-23 C 3 Limited Object measurement system
US11010919B2 (en) * 2018-09-20 2021-05-18 Ford Global Technologies, Llc Object locator with fiducial marker

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
CN1689020A (zh) * 2002-09-16 2005-10-26 成像治疗仪股份有限公司 用于肌肉骨骼疾病的成像标记物
CN101048798A (zh) * 2004-08-31 2007-10-03 美国西门子医疗解决公司 肺结节检测的候选项集产生
CN1983036A (zh) * 2005-11-22 2007-06-20 Asml荷兰有限公司 作为对准标记的二进制正弦子波长格栅
CN101272457A (zh) * 2007-03-19 2008-09-24 索尼株式会社 图像处理装置和图像处理方法
CN101785026A (zh) * 2007-07-18 2010-07-21 Metaio有限公司 用于确定摄像机相对于真实对象的位置和方向的方法和系统
US20100321640A1 (en) * 2009-06-22 2010-12-23 Industrial Technology Research Institute Projection display chip
CN102753954A (zh) * 2009-12-22 2012-10-24 纽约大学 利用光学力将胶粒分成多个通道：棱镜光学分离
CN102192727A (zh) * 2010-03-19 2011-09-21 阿尔卡特朗讯 移动手持设备和方法
CN102928979A (zh) * 2011-08-30 2013-02-13 微软公司 调整混合现实显示器以供瞳孔间距对准
CN104168837A (zh) * 2011-10-10 2014-11-26 神经束公司 用手持图像设备对组织进行全面检查的方法、装置和系统
CN103177470A (zh) * 2011-12-21 2013-06-26 哈曼贝克自动系统股份有限公司 利用机动车的显示器产生增强现实的方法和系统
CN105074615A (zh) * 2013-01-08 2015-11-18 阿约特莱股份公司 虚拟传感器系统和方法
CN104077746A (zh) * 2013-03-29 2014-10-01 富士通株式会社 灰度图像处理方法及其装置
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
CN103591943A (zh) * 2013-11-17 2014-02-19 罗建刚 图像指引放线的方法
CN105574921A (zh) * 2014-11-04 2016-05-11 达索系统公司 根据图像的自动化纹理映射和动画绘制
CN104572967A (zh) * 2014-12-30 2015-04-29 北京奇虎科技有限公司 一种在页面绘制图形的方法和装置
CN106327449A (zh) * 2016-09-12 2017-01-11 厦门美图之家科技有限公司 一种图像修复方法、应用和计算设备
CN109255844A (zh) * 2017-07-12 2019-01-22 通用电气公司 用于使用视频检查设备测量特征的尺寸的图形叠加层
CN109426348A (zh) * 2017-08-29 2019-03-05 西门子医疗有限公司 用于选择虚拟对象或图像参数值的方法和选择单元
CN108765338A (zh) * 2018-05-28 2018-11-06 西华大学 基于卷积自编码卷积神经网络的空间目标图像复原方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘月峰等: "基于改进卷积神经网络的单幅图像超分辨率重建方法", 《计算机应用》 *
周明伟等: "基于SVG的动态函数作图研究及其实现", 《计算机工程与设计》 *

Also Published As

Publication number Publication date
EP3706076A1 (en) 2020-09-09
CN111667526B (zh) 2023-07-28
EP3706076B1 (en) 2021-02-24
US20200286291A1 (en) 2020-09-10
US11043037B2 (en) 2021-06-22

Similar Documents

Publication Publication Date Title
CN111667526B (zh) 用于确定环境中的多个对象的尺寸和距离的方法和设备
US11652965B2 (en) Method of and system for projecting digital information on a real object in a real environment
US9448758B2 (en) Projecting airplane location specific maintenance history using optical reference points
EP3812959A1 (en) Marker-to-model location pairing and registration for augmented reality applications
US20200186786A1 (en) Calibration for Augmented Reality
US8335400B2 (en) Information processing method and information processing apparatus
TWI496108B (zh) AR image processing apparatus and method
Tian et al. Handling occlusions in augmented reality based on 3D reconstruction method
Choppin et al. The potential of the Microsoft Kinect in sports analysis and biomechanics
CN109949899A (zh) 图像三维测量方法、电子设备、存储介质及程序产品
Paletta et al. 3D attention: measurement of visual saliency using eye tracking glasses
CN104662435A (zh) 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法
JP2014102246A (ja) 位置姿勢検出システム
Kurz et al. Handheld augmented reality involving gravity measurements
Sobel et al. Camera calibration for tracked vehicles augmented reality applications
Troville et al. Considerations for accurate inclusion of staff member body tracking in a top-down view virtual reality display of a scattered radiation dose map during fluoroscopic interventional procedures
KR100991570B1 (ko) 다양한 형태를 갖는 간판크기를 원격으로 측정하는 방법 및그 방법을 이용한 간판크기 원격 측정 장치
WO2021111613A1 (ja) ３次元地図作成装置、３次元地図作成方法、及び３次元地図作成プログラム
Goral et al. Accuracy assessment of Kinect for Xbox One in point-based tracking applications
Jütte et al. Quantitative performance evaluation in an augmented reality view enhancement driver assistant system
EP3848899B1 (en) Technique of determining a pose of a surgical registration device
Wang et al. Real-Time Multiple Human Height Measurements with Occlusion Handling Using LiDAR and Camera of a Mobile Device
Jallais et al. Ultrasound Augmentation: Rapid 3-D Scanning for Tracking and On-Body Display
Trevisan et al. Augmented vision for medical applications
Schlegel Predicting the accuracy of optical tracking systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240903

Address after: German Phu F Haim

Patentee after: Siemens Medical AG

Country or region after: Germany

Address before: Erlangen

Patentee before: Siemens Healthineers AG

Country or region before: Germany