CN115769045A - 用于标记的方向和位置检测的装置以及计算机程序产品 - Google Patents

用于标记的方向和位置检测的装置以及计算机程序产品 Download PDF

Info

Publication number
CN115769045A
CN115769045A CN202180044171.2A CN202180044171A CN115769045A CN 115769045 A CN115769045 A CN 115769045A CN 202180044171 A CN202180044171 A CN 202180044171A CN 115769045 A CN115769045 A CN 115769045A
Authority
CN
China
Prior art keywords
marking
straight
unit
path
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180044171.2A
Other languages
English (en)
Inventor
L·吉尔森
W·布吕宁
F·哈尼施
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Software 2 Technology Co ltd
Original Assignee
Software 2 Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Software 2 Technology Co ltd filed Critical Software 2 Technology Co ltd
Publication of CN115769045A publication Critical patent/CN115769045A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Abstract

描述了一种用于三维空间中标记(20、21、22、23、24、25)的方向和位置检测的装置，其具有至少一个带有多个标记(20、21、22、23、24、25)的标记单元(10、11)，构造成记录标记单元(10、11)的图像(92)的光学图像捕获单元(90)，以及具有构造成明确确定标记单元(10、11)的方向和位置的评估单元(91)，其中标记单元(10、11)具有至少五个用于确定方向和位置的标记(20、21、22、23、24、25)。规定标记单元(10、11)具有至少一个用于编码标记单元(10、11)的通信元件(31)，并且图像捕获单元(90)构造成记录具有标记(20、21、22、23、24、25)和至少一个通信元件(31)的标记单元(10、11)的图像，并且评估单元(91)构造成从标记(20、21、22、23、24、25)在记录的图像中确定标记单元(10、11)的方向和位置，并从至少一个通信元件(31)确定标记单元(10、11)的身份。还描述了一种用于设置装置(1)的评估单元(91)的计算机程序产品。

Description

用于标记的方向和位置检测的装置以及计算机程序产品
技术领域
根据权利要求1的序言描述了一种用于三维空间中标记的方向和位置检测的装置，其具有
-至少一个标记单元，特别是可固定到物体上，具有几个标记的标记单元，
-适于捕获标记单元()的图像的光学图像捕获单元，以及
-具有适于明确确定标记单元的方向和位置的评估单元，
其中标记单元具有至少五个用于确定方向和位置的标记。
所提出的标记单元具有至少五个标记(在光学活性标记的意义上)用于确定方向和位置，其中优选至少四个标记位于公共平面内，并且优选至少一个标记位于该平面外。然而，所有五个光学标记位于一个公共平面的设计是可以想象的。
背景技术
从公布文件US 2010/014750 A1、US 2012/262487 A1、EP 1 813 911 A1、US2005/0201613A1、EP 1 498 688 B1、WO 2004/114 112A1、US 2008/0111985 A1、WO2006/069748A1、US 5 227 985 A、US 7 742 895 B2和DE 10 2014 012 693 B4中已知系统和方法，可以通过捕获固定在物体上的标记单元来确定物体在空间中的方向和位置。为此目的，在标记单元上以固定的几何布置提供光学有源的(即自发光的)或光学无源的(即反光的)标记。许多不同的评估安排是可能的。大多数建议的布置提供了至少四个标记，其中至少三个标记横跨一个平面，并且至少一个标记位于该平面之外。布置在一个平面中的至少三个标记可以位于横跨该平面的至少两条不平行的直线上。标记的这种布置使得能够从标记单元的单个捕获的二维图像可靠地确定标记单元在空间中的方向和位置，该图像通过光学图像获取单元(例如相机，特别是数码相机)捕获。
DE 10 2014 012 693 B4描述了一种可靠运行但复杂的系统和方法。位置和方向的确定是基于标记装置的单个二维图像，该标记装置设置有至少七个标记，并附着在物体上。该系统还包括图像捕获单元，用于捕获物体或布置在物体上的标记布置的二维图像，以及评估单元，用于基于捕获的图像明确地确定物体的方向和位置。标记装置的七个标记相互之间具有固定的空间关系，这些标记中的六个形成一个平面，而第七个标记设置在该平面之外或与该平面有一段距离。这六个标记被分成数组，位于两条不同的直线上，这两条直线以90°角相交。第一直线包括至少四个标记，第二直线包括至少两个其他标记。在平面的俯视图中，第七平面外标记也位于该第一直线上，在第二直线的背离第一直线的至少两个标记的一侧。这对于图像标记(即图像中描绘的标记)的明确分配是重要的，因此对于标记在空间中的位置和方向的重建也是重要的。在评估期间，为可能的分配计算几个单应性。在每种情况下，从这些单应性中重建方向确定。基于此，对于每次方向确定，为所有图像标记计算平均再投影误差(与标记布置上标记的已知实际布置相比)。具有最低误差的单应性是正确的单应性，并用于唯一的方向确定。
这种评估在实践中导致良好的结果，但是在图像评估和系统的计算能力方面非常广泛，特别是由于需要计算一个以上的单应性，并且每次通过应用列文伯格-马夸尔特法解算器(Levenberg-Marquardt-
Figure SMS_1
)来估计位置。此外，计算共面标记和非共面标记的再现误差，并且匹配最小值用于方向评估。这种复杂的计算，尤其是对大量标记的考虑，在快速移动物体的实时跟踪中导致问题，因为实际中使用的系统的计算能力是不够的，尤其是如果在系统中不仅监视一个标记布置，而且监视多个标记布置，甚至可能在一个图像中。
理论上，每个标记布置可以通过不同的标记与图像中捕获的其他标记布置区分开。然而，如果这些标记(例如，以贴纸的形式)在图像中不能被准确地光学识别，则当跟踪移动物体时，对图像中的标记布置的环境的评估通常会导致模糊。原则上，也可以设想以几何上不同的方式在标记阵列上布置标记。然而，这导致了许多标记已经很复杂的评估。
发明内容
在工业环境中，有时希望能够非常快速地确定标记单元的方向和位置，以便能够使用实时应用，特别是在生产线中。为此，相机图像的评估以及方向和位置的确定必须足够快，以允许在生产过程中直接使用，例如用于运动控制。还希望限制这种标记系统的能量需求，其中一些是电池供电的，有利于长时间工作。
因此，本发明的目的是为上述类型的方向和检测系统中的标记单元的方向和位置检测提供一种简化的可能性，这使得能够在一个图像中检测不同的标记单元，由此标记单元本身能够以最节能的方式运行。
根据本发明，这个目的通过具有权利要求1的特征的装置来解决。为此，特别规定，标记单元具有至少一个用于对标记单元进行编码的通信元件，该标记单元不是标记。根据本发明，在确定方向和位置时不考虑通信元件。这大大减少了用于方向和位置检测的标记数量。这导致方向和位置检测的加速。
根据本发明，图像捕获单元适于捕获具有标记和至少一个通信元件的标记单元的图像，其中根据本发明设置在系统中安装和使用的标记单元，使得从多个(基本上可光学激活的)通信元件装置中选择的(光学激活的)通信元件实际上是光学激活的。根据特别优选的实施例，所选择的通信元件，即光学激活或接通的通信元件装置，在运行期间不能改变。这防止了在评估单元中已知的具有可区分的通信元件的标记单元被改变。
评估单元还配置成根据捕获图像中的标记来确定标记单元的方向和位置，并且根据至少一个通信元件来确定标记单元的身份。
在具有几个标记单元的装置中，这些标记单元可以在该装置中同时运行(在具有多于一个标记单元的系统的意义上)(即，除了例如替换标记单元之外)，根据本发明特别优选的是，所有标记单元可以通过不同布置的通信元件来区分。为此目的，根据本发明，标记单元具有多个(基本上可激活的)通信元件装置，这些通信元件装置布置在标记单元的可区分的位置。然后，根据本发明，可以运行或在装置中运行(即，安装在装置中)的标记单元设置成使得它们可以基于各种通信元件(即，光学有源通信元件装置)而被区分。本发明的优选实施例提供了布置在标记单元的可区分位置处的七个或八个通信元件装置，在标记单元安装在装置中的情况下，其中一个、两个或三个被激活作为通信元件。然而，所提供的通信元件装置的数量原则上可以变化。
在根据本发明的另一优选实施例中，在标记单元中正好提供五个标记。实践经验表明，即使在工业环境中，也可以准确快速地确定具有五个标记的标记单元的方向和位置。大量的标记明显降低了算法的检测速度，也导致能量需求增加。
根据本发明的另一优选实施例，通过将所有标记单元的标记布置在具有多于一个标记单元的装置中标记单元的相同位置，可以进一步加快评估速度。以这种方式，算法可以加速，因为总是相同的布置可以用于检测，并且算法的逻辑被精确地优化用于这种布置。
根据本发明，标记单元上的标记位置对于评估单元是已知的，而不管提供了多少标记或者标记是否布置在系统的所有(不同)标记单元上的相同位置。
标记和通信元件均理解为光学有源装置，其可被图像捕获单元拾取并在图像中可见。标记装置和通信元件装置优选地是可激活的，即可开关的，照明装置，例如光学发光二极管，或者特别优选地，IR发光二极管。优选为相机的图像捕获单元设置成捕获这些光学激活的照明装置，即标记和通信元件。未开启的照明装置不作为标记或通信元件。这些通常在图像中不可识别或不可靠地可识别；因此，图像捕获单元和评估单元不适于捕获关闭的(未激活的)标记装置和通信元件装置或者在图像中识别它们。因此，可以在标记单元上提供更多的标记装置和/或通信元件装置，这些标记装置和/或通信元件装置原则上是可激活的。然而，标记单元适于仅激活，即打开某些选定的标记装置，从而在安装的系统中，存在不能改变的固定的标记布置。去激活的标记装置和通信元件装置没有功能，并且不存在于本发明的含义中。
因此，在本发明的意义上，所选择的标记构成了不能改变的标记，并且用于方向和位置确定。它们不能在已安装的系统中被打开(激活)，因此它们不是本发明意义上的标记，并且不能用于方向和位置确定。这是重要的，因为评估单元针对标记的特殊布置进行了优化，以便能够快速且可靠地执行方向和位置检测，从而实时应用也是可行的。标记单元与其他单元一起设置，使得它们在相同的布置中具有相同的标记，并且在安装的系统中不能改变。
在运行过程中，可以用于或已经用于标识标记单元的通信元件也不能改变。然而，它们优选地对于在同一系统(装置)中使用的多个标记单元中的每一个是唯一的，并且当新的标记单元集成到装置中时是可调节的。然而，通信元件的组合在系统的每个标记单元中可调整地不同，并且形成一种编码，通过该编码，标记单元在系统中是唯一可识别的。在系统中建立的通信元件(代码)的组合在根据本发明的评估单元中是已知的。
根据本发明，至少或正好五个标记中的三个布置在第一直线上，并且至少或正好五个标记中的两个布置在第二直线上，其中第一和第二直线在一个标记中相交，使得正好一个公共标记属于第一和第二直线。根据本发明，在第一直线和第二直线上没有发现其他标记。换句话说，正好四个标记设置在第一直线和第二直线上，它们位于由两条直线跨越的公共平面中，正好三个标记位于第一直线上，并且正好两个标记位于第二直线上。优选地，第一直线和第二直线恰好以直角相交。
这种前述布置的特别优选的实施例提供了连接第一直线上的标记的第一直线路径和连接第二直线上的标记的第二直线路径形成T形，第一路径比第二路径短。特别优选地，第一路径和第二路径形成真正的T形，因为第一路径和第二路径彼此垂直。在优选实施例中，第二路径正好在中间与第一路径相遇。换句话说，在该实施例中，第一路径形成T形的水平分支，第二路径形成T形的垂直分支，并且公共标记位于第一路径的中心和第二路径的一末端。
位于第一直线上的第一直线路径的边缘标记称为第一外部标记和第二外部标记。在第一外部标记和第二外部标记之间，也形成公共标记的第一直线路径的中间标记可选地正好位于中间。因此，公共标记位于第一直线和第二直线的交点处。
位于第二直线上的第二直线路径的边缘标记称为第一末端标记和第二末端标记。公共标记是第一末端标记，位于第二直线路径相对末端的标记是第二末端标记。
相互连接的第一路径和第二路径连接第一直线和第二直线上的所有标记以及任何通信元件。因此，标记位于相应的路径上以及相应的直线上。然而，与数学理解中的无限长直线不同，各自的路径终止于边缘标记。如果该属性不重要，术语“第一路径和第二路径”和“第一直线和第二直线”也作为同义词使用；在每种情况下，路径都是直线的一部分。
继续上述发明构思，至少或正好五个标记中的至少一个区别标记不直接位于第一直线或第二直线之一上，该区别标记也不布置在由第一直线和第二直线跨越的平面之外，使得该区别标记在平面中的垂直投影位于这些直线之一上。在平面上的垂直投影是指在表面法线方向上的投影，即垂直于平面的直线。通过这种不被分配给直线之一的标记，可以通过简单的算法检测这种区别标记来提高确定方向和位置的精度。
如果至少一个区别标记布置在由第一直线和第二直线跨越的平面上方，则可以实现特别好的方向和位置确定。
在标记单元上正好有五个标记的本发明的优选变型中，相应地正好有一个区别标记。
根据本发明的区别标记的布置可以优选地相对于第二直线不对称。根据本发明的一个具体实施例，作为一个优选变型，所提出的区别标记或区别标记在平面中的投影被布置在距第一直线的中间标记(即，与第一直线的中间标记重合的公共标记)第一距离处，并且被布置在距第一直线的第一外部标记第二距离处，第一距离和第二距离均小于沿着第一直线的第一外部标记和中间标记之间的距离。
如果标记本身位于所述平面中，则在本发明的意义上，区别标记在平面中的垂直投影与标记重合。因此，标记或标记在平面中的投影(相对于第二直线)总是位于第一外部标记的一侧。换句话说，区别标记总是位于由第二直线划分的平面的一半，第一个外部标记也位于该平面中。这产生了相对于第二直线的不对称性。
当确定区别标记的方向和位置时，可以有利地利用标记单元的这种不对称性，以便以高检测率快速检测捕获图像中可能的标记单元，从而有助于特别快速和可靠地确定标记单元的正确方向和位置。这将在后面更详细地解释。
第一距离和第二距离可以优选相同。这意味着第一距离和第二距离小于第一外部标记和中间标记之间的距离，并且大于第一外部标记和中间标记之间的距离的一半。在实践中，第一距离和第二距离将选择为至少足够大，使得区别标记的整个区域位于对应于标记(LED)的总区域的第一直线周围的区域之外。这可确保区别标记不会与第一直线(或其垂直投影)上的标记重叠。这避免了捕获图像中的区别标记的检测问题。第一行上的第一标记和中间标记之间的距离相同(因此尽可能大)也有助于此。特别地，如果区别标记布置在由第一和第二直线跨越的平面上方，则单独的标记可以更快地隐藏，这取决于曝光期间的视角。
根据本发明，在算法中不用于确定标记单元的方向和位置的通信元件布置在标记之间的第二直线上。优选地，标记单元的所有通信元件布置在第二直线的恰好两个标记之间。以这种方式，通信元件可以被容易地识别，并且如果必要的话，甚至不需要仅基于对捕获图像的评估来执行方向和位置确定，也不需要确定标记单元的方向和位置，就能够实现标记单元的特别简单的识别。当在一幅图像中捕获了几个标记单元，但是只对一个特定标记单元的位置和方向关注时，这是特别有利的。通过应用关于标记单元的识别的标准，在对这些标记单元执行方向和位置检测之前，可以排除在图像中检测到但不关注的可能的标记单元。
在本发明的特别优选的实施例中，可以在第二直线的两个标记之间提供五个到十个之间的范围，优选地七个或八个通信元件装置，其中标记单元优选地适于从所提供的全部通信元件方向中激活一个、两个或三个作为通信元件。换句话说，提供了一到三个激活的通信元件。
根据激活的通信元件装置(即通信元件)的数量，不同数量的标记单元因此可以被区分。例如，利用标记单元中的八个通信元件装置和一个激活的通信元件(即，一个通信元件)，可以识别八个不同的标记单元，并且利用标记单元中的八个通信元件装置和两个激活的通信元件，可以识别二十八个不同的标记单元。这使得可以在系统中的相应数量的不同标记单元之间进行区分，例如，这些标记单元分配给不同的物体。
根据本发明，评估单元还适于执行一种方法，通过该方法来评估捕获的图像，并且确定标记(并且因此也确定属于图像中捕获的标记的一个或可能多个标记单元)的方向和位置以及标记单元的身份。
该方法显然也是在此描述的本发明的主题，并且可以根据本发明通过评估单元来执行，在计算单元的意义上，该评估单元设置或设计为执行该方法或各个方法步骤。本发明还涉及一种计算机程序产品，如果计算单元(或评估单元)的处理器设计为执行计算机程序产品的程序代码，则利用该计算机程序产品执行根据本发明的方法的步骤。
根据本发明的该方法的各方面描述如下。这些可以单独组合或以本领域中有用的任何组合来形成特定的方法；如此组合的所有过程都是本发明的主题。
根据本发明提出的方法，标记和/或通信元件通过用于图像评估的传统方法在捕获的图像中被检测到，并且二维图像坐标可以分配给它们。二维图像坐标(xB，yB)指示由图像捕获单元捕获的标记单元的图像中的标记或通信元件的位置，并且是下述图像评估的基础，用于识别标记单元和用于识别或确定其相对于图像捕获单元的方向和位置。通常，图像捕获单元(相机)以已知的方式在空间中被三维校准，使得连同相对于图像捕获单元的方向和位置，空间中的方向和位置也是已知的。从现有技术来看，这些用于校准相机的方法对于技术人员来说是足够公知的。
为了检测捕获图像中的标记和/或通信元件，根据本发明的有利实施例可以规定，在捕获图像中确定总共正好三个标记和/或通信元件的所有直线路径。这意味着，正好所有三个照明装置(标记和/或通信元件)被接通，并且因此在图像中被可靠地检测到，这些照明装置布置在直线路径中，这些照明装置在全部直线路径中被三个接通的照明装置检测到，而不管照明装置是标记还是通信元件。这些路径被记录并且可以被保存，例如，作为三元组，其中正好三个标记/通信元件中的每一个的图像坐标在例如列表中。因此，三元组描述了具有可以在捕获的图像中识别的三个标记/通信元件的直线路径。以这种方式确定的所有三元组然后形成直线路径的总体。例如，三元组的形式为[xB(1)，yB(1)；xB(2)，yB(2)；xB(3)，yB(3)]，其中括号中的数字是识别的照明装置(标记/通信元件)的编号。
如果在捕获的图像中的直线路径上布置有多于三个标记或通信元件，则具有恰好三个标记或通信元件的每个可能的子组合被认为是具有恰好三个标记/通信元件的确定的直线路径之一，并且记录在直线路径的整体中，例如包括在三元组的列表中。
在下文中，为了简单起见，直线路径有时简称为路径。因此，这些术语被用作同义词。
为了从原则上可以认为是标记单元的第一和第二路径的直线路径的总体中为这些路径生成第一选择标准，根据本发明的一个实施例可以提出，从所有确定的直线路径，即具有正好三个标记和/或通信元件的直线路径的总体中确定具有正好一个公共标记的路径。如果确定对于正好一条直线路径，公共标记位于直线路径的中间，而对于至少一条(或多条)其他直线路径，公共标记位于直线路径的一末端，即表示可以用第二路径的第一末端标记识别的边缘标记，则由此确定的直线路径可以被分配给可能的标记单元。
例如，这可以通过以下程序来实现：从具有公共标记/通信单元的一组直线路径中，选择公共标记/通信单元位于中间的那些路径。具有中间公共标记/通信单元的这些路径中的每一个被认为是与公共标记/通信单元位于末端的集合中的所有路径相结合的子组。由两个或两个以上路径组成的子组(一个具有中间的公共标记/通信单元，至少另一个在末端具有公共标记/通信单元)认为是可能的标记单元。如果这样的子群在以后的过程中变成了标记单位，那么该子群的共同标记实际上是标记而不是通信元件。
如果公共标记位于直线路径的中间，则可以将直线路径指定给第一直线。如果标记位于直线路径的终点，则直线路径可分配给第二直线。可以想到丢弃所有不能分配给可能的标记单元的直线路径，例如通过从所有直线路径的列表中删除它们。该列表越短，对捕获图像的评估以及之后仍必须执行的方向和位置检测就越快。
因此，已经或可能被分配给可能的标记单元的其他直线路径可以被包括在可能的标记单元的列表中，其中在每种情况下，分配给可能的标记单元的所有直线路径优选地被组合在选定的组中。
另一个(第二)选择标准可以特别地与第一选择标准一起应用，但是也可以与第一选择标准分开应用，该另一个(第二)选择标准可以规定，特别地，在分配给可能的标记单元的直线路径中，确定在其两末端具有匹配的末端标记的直线路径的子组。这些事实上是标记，而不是通信元件。第一末端标记是公共标记，第二末端标记是位于标记单元的第二直线的相对末端的标记，所有通信元件位于第一末端标记和第二末端标记之间。于是，在公共末端标记之间的每条路径上正好有一个通信元件。在仅提供一个通信元件的本发明的实施例中，直线路径的子组仅包括一个路径，在两个通信元件的情况下包括两个路径，等等，其中通信元件位于末端标记之间的不同位置，因为标记单元被布置成使得不同的通信元件装置被接通或激活。
这些预先描述的选择对于从所有确定的直线中合理地预先选择可能的标记单元是有用的，这些直线总共正好具有三个标记和/或通信元件，这些标记和/或通信元件在方向和位置检测期间的以下描述的步骤中被进一步考虑。因为这个步骤在计算上比上述预选更密集，所以进行这样的预选是有用的。然而，将该选择作为第一选择或与其他选择标准分离来执行也可能是有用的，因为这选择了那些具有公共标记的直线路径，通信元件布置在这些直线路径之间。根据本发明，可以从所有这些路径中对通信元件的布置以及第二路径的长度(即，第二路径的第一和第二末端标记之间的距离)进行分组，例如以归一化(normierten)到第二路径长度的n元组的形式，并且通过与系统(装置)整体中允许的通信元件的编码进行比较，从通信元件的这种编码中导出标记单元的标识。这可以在执行方向和位置检测之前完成。因此，在标识标记单元之后，可以丢弃这些标记单元，并且例如从可能的标记单元列表(也称为选定组)中删除这些标记单元，这些标记单元在刚刚执行的方向和位置检测中不关注。这也极大地提高了评估速度。
为了识别捕获图像中的各个标记，根据本发明，可以假设在每种情况下，两个确定的直线路径的边缘标记作为标记单元的临时标记。如果上述选择已经完全或部分发生，则必须执行该选择步骤的假定标记单元的数量可以显著地进一步减少，例如减少到具有共同标记的直线路径的组合(“可能的标记单元”)。对于第二直线，可以附加地预先选择两个末端标记，并且作为附加的应用标准，可以附加地检查末端标记之一是否与公共标记匹配。对于第一直线，可将公共标记位于外部标记之间作为附加标准。通过所有这些选择步骤的组合，如果适用，可以排除进一步的路径。
在实践中，通常的情况是，在一个或多个选择步骤之后，只剩下一个可能的标记单元。在这种情况下，根据本发明，可以取消具有不同限定的选择步骤的进一步选择，并且可以继续分配各个标记。这可以理解为用于执行方向和位置检测的预备步骤或第一步骤，以便可选地加速方向和位置识别。
在保留一个或可能几个标记单元的这种预选之后，根据本发明，以下方式是有用的：将直线路径(其中公共标记位于直线路径的中间)的边缘标记分配给第一直线作为第一外部标记和第二外部标记，以及将直线路径(其中公共标记位于直线路径的末端)的边缘标记分配给第二直线，从而可以选择公共标记作为第一末端标记，选择另一个边缘标记作为第二末端标记。
对于本文中的注释，如下所述：在标记顺序的平面图中，第一外部标记(作为第一直线上的第一直线路径的边缘标记之一)位于第二直线(分别是第一直线路径中间的公共标记)的左侧，第二外部标记(作为第一直线上的另一条直线路径的边缘标记)位于标记顺序平面图中第二直线(分别为第一直线中间的公共标记)的右侧。第二直线上的第二直线路径的第一末端标记对应于第一直线上的第一直线路径的中间标记，并且第二直线路径的第二末端标记在平面图中位于第一直线的右侧。这种符号是任意的，并且对应于稍后示出的实施例。技术功能与它无关。
如果有必要，至少如果在一个或多个先前执行的选择之后，在捕获的图像中仍有多于一个可能的标记单元要考虑，则可以尝试基于区分的标记执行进一步的选择。这将在下文中描述。
作为进一步的选择，根据本发明，根据标记单元上的区别标记的布置，可以在捕获的图像中限定图像区域，并且可以检查在捕获的图像中的该图像区域中是否分配了具有二维图像坐标的另外的标记。如果第一路径(直线)的标记已经被识别，这是特别有用并且可以快速执行的。然而，原则上，也可以想到选择图像中捕获的标记对作为选择标准，以对这些标记对中的每一对尝试该选择选项。然而，这是耗时的。因此，对于下述情况，假设已经对可能的标记单元进行了预选。
如果关于区别标记的进一步选择不成功，则可以排除该可能的标记单元。这可以进一步减少要更精确计算的标记单元的数量。
如果区别标记放置在标记单元上距公共标记第一距离处和距外部标记第二距离处，则图像区域可以被限定，例如，通过在公共标记周围放置半径大于第一距离的第一圆和在第一外部标记周围放置半径大于第二距离的第二圆，并通过第一或第二圆的交点形成图像区域。例如，每个圆的半径可以由(共同的或不同的)半径因子RF来限定，半径因子RF选择为大于1，优选不大于3，更优选小于2。根据优选实施例，半径因子还可以取决于区别标记位于第一直线和第二直线所跨越的平面上方的高度。这个高度越大，图像区域应该选择得越大，因为区别标记的投影相对于第一外部标记和公共标记的投影可能偏移得越多，特别是如果图像是从相对于表面法线的大角度拍摄的。技术人员可以根据几何条件，例如在软件方面精确确定合适的图像区域。
如果剩余几个可能的标记单元(特别是在执行了前述的、可选地联合或部分执行的选择之后)，这可能是由于在捕获的图像中描绘了几个不同的标记单元，这些标记单元由图像捕获单元一起捕获，或者在选择可能的标记单元期间没有正确分配单个标记，或者根本没有执行选择。
根据本发明，然后对所有标记(在用一个或多个选择标准进行选择之后剩余的标记或者实际上所有没有选择的标记)进行方向和位置检测，并且确定标记单元的方向和位置。根据本发明，优选基于可能的标记单元的标记来执行方向和位置检测，这些标记作为初步标记来执行，因为这显著提高了总体评估速度。
标记的已知位置(在真实标记单元中)被用作确定方向和位置的边界条件。现有技术中的技术人员知道合适的算法。原则上，所有已知的算法都适用于此。为了计算用校准的相机(在本发明的光学图像捕获单元的意义上)拍摄的二维图片中的背面标记在空间中的方向和标记单元的方向，属于诸如P3P(透视3点)的求解过程，特别是众所周知的用于透视3点问题的代数求解算法(AP3P过程)或用于透视3点问题的迭代求解算法(迭代P3P)，这些算法对于相关领域的技术人员来说是众所周知的，并且例如在以下出版物AP3P中有所描述：Tong Ke和Stergios Roumeliotis，An efficient algebraic solution to theperspective-three-point problem；在计算机视觉和模式识别(CVPR)，2017年IEEE会议上(Computer Vision and Pattern Recognition(CVPR),2017IEEE Conference on)；IEEE,2017,P3P：Xiao-Shan Gao、Xiao-Rong Hou、Jianliang Tang和Hang-Fei Cheng，Completesolution classification for the perspective-three-point problem；PatternAnalysis and Machine Intelligence,IEEE Transactions on,25(8)：930-943,2003。假设满足先前限定的和已知的约束，这些众所周知的算法从物体上的标记和它们在校准相机的图片中的二维图像之间的已知关系的对应中找到物体在空间中的方向和位置。
为了使这些算法对图像中点重建中的异常值(即，可能包括错误识别或错误分配的标记)更加稳健，可以使用本身已知的数值优化技术来改进方向和位置检测。
这些方法的应用是技术人员已知的。它们可以以所描述的方式应用于本发明，并且如果必要的话，在技术人员优化的框架内进行调整。
根据用于确定方向和位置的方法步骤的优选变型，可以利用至少五个标记中的四个来执行第一初步方向和位置检测。基于标记单元的预先确定的方向和位置，然后在捕获的图像中确定五个标记中的第五个的预期图像坐标，并与该标记的实际分配的图像坐标进行比较。如果从图像确定的图像坐标的位置和期望的图像坐标在预定阈值内匹配，则终止方向和位置检测，并且输出标记或标记单元的方向和位置。
根据可选的优选变型，也可以基于所有五个标记立即执行方向和位置检测，因为在系统中，五个标记的不同布置有有限个，通常等于或小于两个。如果评估假设标记的布置错误，反向计算法将导致预期像素和确定像素之间的巨大差异。在这种情况下，用其他可能的布置重复评估。
如有必要，也可以尝试通过数值优化来改善方向和位置检测。在这种情况下，方向和位置的先验知识，例如由于系统的外部限制，可以用于获得一般优化的起始点；这种可能性在现有技术中有所描述，并且为本领域技术人员所知。
根据另一实施例，当执行所提出的方法时，如已经指出的，还可以提供根据通信元件和两个标记之一之间的距离来确定标记单元的身份，该距离被归一化为第一直线上的两个标记之间的距离。利用标记(以及标记单元)的已知或暂时已知的方向和位置以及潜在可激活通信元件装置的已知可能方向，通过比较特定标记和通信元件之间的确定的归一化距离和预期的归一化距离，可以推断激活的通信元件以及标记单元的身份。
如果几个通信元件被激活，这导致合适的可区分的总编码，则可以通过确定和叠加特定标记和通信元件之间的所有距离来生成合适的编码，如果需要，可以仅基于图案(或编码)来识别和明确地分配给标记单元，即使没有先前的方向和位置检测。
附图说明
本发明的其他优点、特征和应用可能性也源于以下对实施例和附图的描述。因此，所有描述和/或图示的特征一起或以任何技术上合理的组合属于本发明的主题，也独立于它们在描述或图示的实施例或权利要求中的组合。
它显示：
图1是根据本发明的一个实施例的用于检测标记的方向和位置的装置的示意图；
图2详细放大了图1所示的标记单元；
图3a至3e示例性地示出了根据图1的装置的图像捕获单元的图像92，其具有在不同评估步骤的两个不同编码标记单元的检测标记和通信元件；和
图4a、4b是基于捕获的通信元件识别标记单元的示意图。
具体实施方式
图1所示的装置1用于在三维空间中的标记20、21、22、23、24、25的方向和位置检测。标记20、21、22、23、24、25布置在标记单元10上，该标记单元可以固定到物体上。通过确定标记20、21、22、23、24、25的方向和位置，标记单元10在空间中的方向和位置以及标记单元10所固定的物体(如果适用)的方向和位置由此被确定。图中未显示该物体。图1所示的装置1包括第二个同样构造的标记单元11，为了清楚起见，在图1中没有示出两次。
标记20、21、22、23、24、25由光学图像捕获单元90捕获，该光学图像捕获单元90适于捕获具有标记20、21、22、23、24、25以及待下文描述的通信元件30、31的标记单元10、11的图像92。光学图像捕获单元90可以是用于捕获照片和可能的胶片的相机，特别是本领域技术人员已知的数码相机。图像捕获单元90连接到评估单元91，由图像捕获单元90捕获的图像92被传输到评估单元91。然后，评估单元91适于明确地确定标记单元10的方向和位置，具体地，通过在识别标记20、21、22、23、24、25的同时评估捕获的图像92。在该过程中，标记单元10、11的方向和位置根据捕获图像92中的标记20、21、22、23、24、25来确定，并且标记单元10、11的身份根据通信元件30、31来确定。
根据一个特别优选的实施例，图1中所示的标记单元10、11具有正好五个标记20，即用于方向和位置确定的标记21、22、23、24、25以及五个通信元件30、31，其可用于编码并用于识别标记单元10、11。标记20、21、22、23、24、25以及通信元件31分别被激活或接通照明装置，特别是LED或红外LED。取决于被激活的照明装置是标记20、21、22、23、24、25还是通信元件31，这些可以被打开和关闭的照明装置也称为标记装置或通信元件装置30。在接通(即光学激活)状态下，标记装置是标记20、21、22、23、24、25，通信元件装置30是通信元件31。
在优选实施例中，标记单元10具有正好五个标记装置，对于结合在装置1中并在运行中的每个标记单元10、11，这些标记装置被接通，从而形成(光学活性的)标记20。在下文中，除非意味着特定的标记21、22、23、24、25，否则标记通常由附图标记20指代，这将在下文中进一步解释。
在根据图1的图示中，总共提供了五个通信元件装置30，所有这些也作为根据图1的图示中的通信元件31被接通。这与其说是标记单元10、11的常规运行状态，不如说是测试运行。特别是从图3a到3e中可以得到正常的运行状态。
在下文中，通信元件装置指定为30，并且通信元件，即接通的通信元件装置指定为31。未接通的通信元件装置30在下图中显示为不带叉号的圆圈。在图像捕获单元90中，这些关闭的通信元件装置30没有被可靠地捕获，并且在任何情况下都没有在评估单元91中被考虑，即使它们应该是光学可见的。在装置1具有几个标记单元10、11(例如，相同结构)的情况下，在运行中为每个标记单元10、11提供不同的通信元件31，即不同的接通通信元件装置30。
标记装置和标记20之间的图形区别是不必要的，因为根据优选实施例，正好提供了五个标记装置，它们也在运行期间接通，即形成标记20。因此，没有为关闭的标记装置选择特殊的附图标记。
在标记20的特定布置中，正好三个标记21、22、23布置在第一直线43上，并且正好两个标记21、24布置在第二直线44上，第一和第二直线43、44在公共标记21中相交。因此，公共标记21属于第一和第二直线43、44。第一直线43上的标记21、22、23由第一(直)路径41连接，第二直线44上的标记21、24由第二(直)路径42连接，两条路径41、42形成T形。在这里所示的实施例中，第一路径41比第二路径42短，并且第二路径42正好在中间与第一路径42相交。然而，根据本发明，这不是绝对必要的。
在第二直线44左侧的图示中示出的标记22在下文中被称为第一路径41的第一外部标记22，用于精确命名，并且在第二直线44右侧的图示中示出的标记23在下文中被称为第一路径41的第二外部标记23，用于精确命名。公共标记21位于其中心，在所示的例子中，与第一和第二外部标记22、23的距离相同。因此，公共标记21同时形成第一路径41的中间标记和第二路径42的第一末端标记。与之相对，第二路径42由第二末端标记24界定。
另一标记20，即区别标记25，设置在由第一和第二直线43、44跨越的平面33上方，使得区别标记25在平面33中的垂直投影不位于这些直线43、44中的任何一条上。
参照图2解释区别标记25的确切布置，图2示出了在公共标记21周围区域的标记20的放大部分。位于平面33上方的区别标记25相对于位于平面33中的其它标记21、22、23、24被圆顶(Dom)26抬高。在图2所示的平面33的法线方向的平面图中，区别标记25在平面33中的垂直投影正好位于标记25的下方，并且不理解为具有自己的附图标记。
在该示例中，公共标记21到区别标记25的垂直投影之间的第一距离27和第一外部标记22到区别标记25的垂直投影之间的第二距离28相等，距离27、28大于标记21、22之间的距离的一半，并且小于标记21、22之间的距离。在该实施例中，区别标记25位于第一路径41的与第二路径42相对的一侧。
通信元件装置30以及相应地作为接通的通信元件装置30的通信元件31都位于公共标记21(也称为第二路径42的第一末端标记或第一路径41的中间标记)之间的第二路径42上。优选地，通信元件装置30之间的间距是等距的。因此，通过为不同的标记单元10、11接通不同的通信元件装置30，可以产生通信元件31的不同图案，其作为编码允许在图像中区分和分别识别不同的标记单元10、11。
图3a示出了图像捕获单元90的图像92，其分别具有两个标记单元10和11的图像100和110，由此评估单元91最初不能分配这些标记单元10、11。评估单元91仅将标记20和/或通信元件31识别为在图2中以深色示出的亮点，并且最终示意性地将通信元件装置30关闭，然而这并不被考虑和进一步处理。当通信元件装置30，即通信元件31接通时，为了清楚起见，没有示出附图标记30。
在第一评估步骤中，所有标记20和/或通信元件31识别为捕获图像92中的光点L(1)至L(n)。识别的光点L(n)被连续编号，由此每个光点(n)分配一个具有图像坐标L(n)＝[xB(n)，yB(n)]的二元组。在图3a中画出了检测到的标记20/通信元件31作为光点L(n)的结果，其中光点被编号为L(1)到L(14)。在下面的图中，为了清楚起见，不再示出附图标记20、30、31。
在第二评估步骤中，确定总共具有三个标记20和/或通信元件31的所有直线路径C(m)。这些如图3b所示。总共可以识别十条这样的路径C(1)到C(10)。这些路径中的每一个都被包括在具有光点L(n)的相应图像坐标的三元组中，即在具体示例中，路径C(1)包含具有光点(L1)、L(3)和L(4)的图像坐标的三元组，即C(1)＝[L(1)；L(3)；L(4)]。所有找到的路径C(1)到C(10)在图3b中被列为相应的三元组。
作为下一个评估步骤，从所有确定的直线路径C(n)中确定这些直线路径C(n),这些直线路径C(n)具有恰好三个标记20和/或通信元件31，这些标记20和/或通信元件31具有恰好一个公共标记20/通信元件31。在图3c所示的例子中，一次是路径C(1)、C(2)、C(3)和C(4)，它们都具有共同的光点L(3)，一次是路径C(6)、C(7)、C(8)和C(9)，它们都具有共同的光点L(9)。
现在选择那些路径C(n)，其中公共光点L(3)和L(9)位于中心。在示例中，这些是路径C(1)和C(6)。对于这些路径C(1)和C(6)中的每一个，这些路径被分组，其中公共光点L(3)和L(9)分别位于路径的边缘。这在所示的例子中产生了两个子组，即具有路径C(1)、C(2)、C(3)、C(4)的子组1和具有路径C(6)、C(7)、C(8)和C(9)的子组2。这些小组识别可能的标记单元M(o)。
在几种可能的变体中的一种，这些子组中的路径的这些对可以分配给可能的标记单元M(o)，如果可以确定，对于确切的一条直线路径C(1)或C(6)，共同标记L(3)或L(9)位于直线路径C(1)的中间或C(6)的中间，以及对于至少另一条直线路径(C2)、C(3)、C(4)和C(7)、C(8)、C(9)(各自地)，共同标记L(3)和L(9)(各自地)位于直线路径(C2)、C(3)、C(4)的一末端和C(7)、C(8)、C(9)的一末端(各自地)。例如，在路径c(n)的二元组的意义上，作为可能的标记单元M(o)，可以识别图3c中列出的路径对M(1)到M(6)。
在进一步的评估步骤中，例如，从在可能的标记单元M(o)中列出的路径，即路径C(1)、C(2)、C(3)、C(4)、C(6)、C(7)、C(8)、C(9)，这些路径C(n)可以被确定为具有匹配的末端标记的子组(在标记20或通信元件31的意义上，即光点L(n))。在所示的实施例中，这些是具有公共末端点L(3)和L(7)的路径C(3)和C(4)以及具有公共末端点L(9)和L(13)的路径C(8)和C(9)。
不包含这些路径C(3)、C(4)、C(8)或C(9)之一的所有可能的标记单元M(o)可以被排除作为可能的标记单元M(o)。通过这种进一步的选择，只有可能的标记单元M(2)、M(3)、M(5)、M(6)从图3c中列出的可能的标记单元M(1)到M(6)中保留下来。对于仅具有一个通信元件31的标记单元，省略了最后一个步骤。
上述选择步骤当然也可以组合或以相反的顺序执行。
现在清楚的是，对于剩余的可能的标记单元M(2)、M(3)、M(5)、M(6)仅具有在其末端具有边缘标记20作为光点L(n)的路径。对于每个可能的标记单元，这些现在可以被分配给相应的标记21、22、23、24。这在图3d中示出，其中对于可能的标记单元M(2)+M(3)和可能的标记单元M(5)+M(6)，示出了光点L(n)和标记21、22、23、24的各自分配。
该过程基本上是，直线路径41的边缘标记22、23，其中公共标记21位于直线路径41的中间，被分配给第一直线43作为第一外部标记22和第二外部标记23。直线路径42的边缘标记21、24(其中公共标记21位于直线路径42的末端)被分配给第二直线44，其中公共标记21被选择作为第一末端标记21，而另一个边缘标记被选择作为第二末端标记24。每个第二路径42上的相应剩余光点是通信元件31。
如已经描述的，如果以适当的方式将具有适当选择的半径的圆放置在第一外部标记22和公共标记21的周围，则在每种情况下，圆的相交产生如图3e所示的图像区域50。对于相应的可能的标记单元M(2)+M(3)和M(5)+M(6)，位于该图像区域50中的尚未分配给任何标记21、22、23、24或任何通信元件31的光点在随后的评估步骤中被分配给区别标记25。在所示的例子中，这些分别是区别标记25的光点L(2)和L(14)。
随后，对于作为第一标记单元10的可能的标记单元M(2)+M(3)和作为第二标记单元11的可能的标记单元M(5)+M(6)中的每一个，利用在标记21、22、23、24、25的知识中本身已知的算法，执行方向和位置检测。对此的具体可能性已经在说明书的引言中描述过，这里不再重复。根据现有技术，合适的P3P或AP3P方法的使用，例如可能随后的数值优化，对于本领域技术人员来说是充分已知的。
如果方向和位置检测失败，则不会生成解决方案。
基于在第二路径42上检测到的通信元件31，可以识别图像92中的标记单元10、11。为此目的，在可能的实施例中，通信元件31的距离可以被归一化为第一末端标记21和第二末端标记22之间的总长度，并且在相应的归一化中与存储在评估单元91中的用于集成在系统中的所有标记单元10、11的已知代码进行比较，使得检测到的通信元件31的位置可以与存储在评估单元91中的所有代码的预期位置进行比较。
适用于此并且为本申请中的技术人员所知的数值方法是确定检测到的和所有可能的预期代码之间的方差。然后，具有最小平方偏差的预期编码导致编码并允许标识单元10、11被识别。如果这种识别没有达到置信水平，这不需要执行方向和位置检测，也可以在已经执行方向和位置检测之后执行识别，这允许从通信元件31的检测到的布置中计算出可能的失真。然而，在大多数用例中，这是不必要的。
根据图3a至3e所示的图像92，对于标记单元10的图像100和标记单元11的图像110，在图4a、4b中图示了不执行方向检测的过程。假设在系统中仅提供了用于标记单元10、11的两个代码60、61。这些在图4中以与从图像中识别的标记单元10、11的代码62、63相同的归一化示出。在已识别代码62、63的情况下，还示出了用于归一化的第一和第二末端标记21、24，但是它们不是已识别代码62、63的一部分，并且在与预期代码60、61的比较中不被考虑，
图4a示出了预期的编码60、61，其中编码60、61的各个元件根据实际的布置等距离放置。在标记单元的垂直俯视图中，在标记单元10的图像92中也可以预期这种布置。在斜视图中，存在导致通信元件装置30之间不同距离的失真。在图4a中，失真很小。通信元件装置30之间的距离几乎没有不同。在图像92中识别的编码62与预期的编码60有明确的对应关系。
图4b以同样的方式示出了预期的编码60、61。由于清晰的斜视图，图4b中存在明显的失真。通信元件装置30之间的距离是不同的，并且在编码检测编码63的表示中从底部到顶部变得越来越小。然而，仍然存在图像92中检测到的编码63到预期编码61的清晰映射，因为与预期编码60的偏差甚至更大。尽管存在变形，因此可以识别标记单元11，而无需执行方向或位置检测。
附图标记
1装置
10评估单元
11评估单元
20标记，包括：
21公共标记(也称为第一路径的中间标记或第二路径的第一末端标记，取决于它属于哪个路径41、42)。
22第一外部标记
23第二外部标记
24第二末端标记
25区别标记
26圆顶
27第一距离
28第二距离
30通信元件意味着，当接通时，也是通信元件
31通信元件
33平面
41第一路径
42第二路径
43第一直线
44第二直线
50图像区域
60标记单元10的预期标记
61标记单元11的预期标记
62标记单元10的识别编码
63标记单元11的识别编码
90设计为数码相机的图像捕获单元
91评估单元
92评估单元的图像
100的图像
100标记单元10的图像
110标记单元11的图像

Claims (20)

1.一种用于三维空间中标记(20、21、22、23、24、25)的方向和位置检测的装置，具有
-至少一个标记单元(10、11)，其具有多个标记(20、21、22、23、24、25)，
-光学图像捕获单元(90)，其适于捕获标记单元(10、00)的图像(92)，和
-具有评估单元(91)，其适于明确地确定标记单元(10、11)的方向和位置，
其中标记单元(10、11)具有至少五个用于确定方向和位置的标记(20、21、22、23、24、25)，
其特征在于
-标记单元(10、11)具有至少一个用于编码标记单元(10、11)的通信元件(31)，
-图像捕获单元(90)适于捕获具有标记(20、21、22、23、24、25)和至少一个通信元件(31)的标记单元(10、11)的图像，以及
-评估单元(91)，其适于根据标记(20、21、22、23、24、25)确定标记单元(10、11)在捕获图像中的方向和位置，并且根据至少一个通信元件(31)确定标记单元(10、11)的身份。
2.根据权利要求1所述的装置，其特征在于，正好三个标记(21、22、23)布置在第一直线(43)上，并且正好两个标记(21、24)布置在第二直线(44)上，其中第一和第二直线(43、44)在一个标记(21)中相交，使得正好一个公共标记(21)属于第一和第二直线(43、44)。
3.根据权利要求2所述的装置，其特征在于，连接第一直线(43)上的标记(21、22、23)的第一直线路径(41)和连接第二直线(44)上的标记(21、24)的第二直线路径(42)形成T形，其中第一路径(41)比第二路径(42)短，并且第二路径(42)优选正好在中间与第一路径(41)相交。
4.根据权利要求2或3所述的装置，其特征在于，至少一个区别标记(25)既不直接位于所述第一和第二直线(43、44)之一上，也不布置在由所述第一和第二直线(43、44)跨越的平面(33)之外，使得所述区别标记(25)在所述平面(33)中的垂直投影位于所述直线(43、44)之一上。
5.根据权利要求4所述的装置，其特征在于，所述至少一个区别标记(25)布置在由第一和第二直线(43、44)跨越的平面(33)上方。
6.根据权利要求4或5中任一项所述的装置，其特征在于，所述区别标记(25)和/或所述区别标记(25)在平面(33)中的投影布置在距所述第一直线(43)的中间标记(21)第一距离(27)处和距所述第一直线(43)的第一外部标记(22)第二距离(28)处，其中所述第一距离(27)和所述第二距离(28)均小于所述第一外部标记(22)和所述中间标记(21)之间沿着所述第一直线(43)的距离。
7.根据权利要求6所述的装置，其特征在于，第一距离(27)和第二距离(28)相等。
8.根据权利要求2至7中任一项所述的装置，其特征在于，所述至少一个通信元件(31)布置在所述标记(21、24)之间的第二直线(44)上。
9.根据权利要求8所述的装置，其特征在于，在第二直线(44)的两个标记(21、24)之间设置有一到三个通信元件(31)。
10.根据前述权利要求中的一项所述的装置，其特征在于，所述评估单元(91)适于识别所捕获的图像(92)中的所有标记(20、21、22、23、24、25)和/或通信元件(31)，并向它们分配二维图像坐标。
11.根据权利要求10、权利要求2至7之一以及权利要求8或9之一所述的装置，其特征在于，所述评估单元(91)还适于在所捕获的图像(92)中确定具有总共正好三个标记(20、21、22、23、24、25)和/或通信元件(31)的所有直线路径(C)。
12.根据权利要求11所述的装置，其特征在于，所述评估单元(91)还适于从所有确定的具有正好三个标记(20、21、22、23、24、25)和/或通信元件(31)的直线路径(c)中确定具有正好一个公共标记(20、21、22、23、24、25)的直线路径(C)，如果确定对于正好一个直线路径(C)，公共标记(21)位于直线路径(C)的中间，并且对于至少一个其他直线路径(C)，公共标记(21)位于直线路径(C)的一末端，则直线路径(C)被分配给可能的标记单元(M)。
13.根据权利要求11或12所述的装置，其特征在于，所述评估单元(91)还适于确定，特别是在与可能的标记单元(M)相关联的直线路径(C)的情况下，在直线路径C的两端具有匹配边缘标记(22、23；21、24)的直线路径(C)的子组。
14.根据权利要求11至13中任一项所述的装置，其特征在于，所述评估单元(91)还适于分配确定的直线路径(C)中的两个的所述边缘标记(22、23；21、24)分别作为标记单元(10、11)的临时标记(M)。
15.根据权利要求14和权利要求11至13中任一项所述的装置，其特征在于，评估单元(91)还适于将直线路径(41)的边缘标记(22、23)分配给第一直线(43)作为第一外部标记(22)和第二外部标记(23)，其中公共标记(21)位于直线路径(41)的中间，并且适于将直线路径(42)的边缘标记(21、24)到第二直线(44)，其中公共标记(21)位于直线路径(42)的端部，其中公共标记(21)可选择作为第一末端标记，另一边缘标记(24)可选择作为第二末端标记。
16.根据权利要求15和权利要求4至7中的一项所述的装置，其特征在于，所述评估单元(91)还适于在所捕获的图像(92)中限定图像区域(50)，并检查具有二维图像坐标的另一标记(20)是否布置在所捕获的图像(92)中的所述图像区域(50)中。
17.根据权利要求14至16中任一项所述的装置，其特征在于，所述评估单元(91)还适于利用所述至少五个标记(21、22、23、24、25)中的四个来执行第一初步方向和位置检测，并且基于所述标记单元(10、11)的初步确定的方向和位置来确定所述五个标记(21、22、23、24、25)中的第五个在所述捕获图像(92)中的预期的图像坐标，并且将所述预期的图像坐标与实际分配的图像坐标进行比较。
18.根据权利要求2至17中任一项所述的装置，其特征在于，所述评估单元(91)还适于通过数值优化来改进方向和位置检测。
19.根据权利要求2至18中任一项所述的装置，其特征在于，所述评估单元(91)还适于根据所述通信元件(31)和所述两个标记(21、24)之一之间的距离来确定所述标记单元(10、11)的身份，所述距离被归一化为所述第二直线(44)上的两个标记(21、24)之间的距离。
20.一种计算机程序产品，用于当评估单元(91)的处理器被安排成执行所述计算机程序产品的程序代码时，使根据权利要求1至19中任一项的装置(1)中的评估单元(91)适于执行根据权利要求10至19中任一项的措施。
CN202180044171.2A 2020-06-25 2021-01-19 用于标记的方向和位置检测的装置以及计算机程序产品 Pending CN115769045A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE202020103679.3U DE202020103679U1 (de) 2020-06-25 2020-06-25 Vorrichtung zur Lage- und Positionserkennung von Markierungen und Computerprogrammprodukt
DE202020103679.3 2020-06-25
PCT/EP2021/051087 WO2021259523A1 (de) 2020-06-25 2021-01-19 Vorrichtung zur lage- und positionserkennung von markierungen und computerprogrammprodukt

Publications (1)

Publication Number Publication Date
CN115769045A true CN115769045A (zh) 2023-03-07

Family

ID=71739410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180044171.2A Pending CN115769045A (zh) 2020-06-25 2021-01-19 用于标记的方向和位置检测的装置以及计算机程序产品

Country Status (7)

Country Link
US (1) US11815345B2 (zh)
EP (1) EP4172556B1 (zh)
JP (1) JP2023541758A (zh)
KR (1) KR20230026482A (zh)
CN (1) CN115769045A (zh)
DE (1) DE202020103679U1 (zh)
WO (1) WO2021259523A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020118407A1 (de) * 2020-07-13 2022-01-13 Soft2Tec Gmbh Vorrichtung und Verfahren zur Lage- und Positionserkennung von Markierungen im dreidimensionalen Raum
DE102022121541A1 (de) 2022-08-25 2024-03-07 Bayerische Motoren Werke Aktiengesellschaft Fahrerloses Transportsystem

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076419A (ja) * 1998-08-28 2000-03-14 Daiwa Can Co Ltd マーク識別方法および装置
CN1377488A (zh) * 1999-10-01 2002-10-30 阿诺托股份公司 位置确定－计算
CN101526987A (zh) * 2008-03-06 2009-09-09 财团法人工业技术研究院 利用盲文编码图案的区域识别系统
US20100014750A1 (en) * 2008-07-18 2010-01-21 Fuji Xerox Co., Ltd. Position measuring system, position measuring method and computer readable medium
CN101975552A (zh) * 2010-08-30 2011-02-16 天津工业大学 一种基于编码点与计算机视觉的车架的关键点测量方法
JP2011047830A (ja) * 2009-08-27 2011-03-10 Fuji Xerox Co Ltd 位置計測システム、位置計測用演算装置およびプログラム
CN102211523A (zh) * 2010-04-12 2011-10-12 罗伯特·博世有限公司 用于跟踪对象标记位置的方法和装置
US20120262487A1 (en) * 2011-04-12 2012-10-18 Huebner Kenneth J Interactive multi-display control systems
CN102954761A (zh) * 2011-08-25 2013-03-06 Asml荷兰有限公司 位置测量系统、光刻设备以及器件制造方法
CN103336985A (zh) * 2013-07-12 2013-10-02 深圳大学 二维码识别、识读和微缩制版的方法及装置
CN103515357A (zh) * 2012-06-28 2014-01-15 台湾积体电路制造股份有限公司 重合标记及其测量方法
CN104083217A (zh) * 2014-07-03 2014-10-08 北京天智航医疗科技股份有限公司 一种手术定位装置和方法以及机器人手术系统
CN104769454A (zh) * 2012-10-31 2015-07-08 莱卡地球系统公开股份有限公司 用于确定对象的取向的方法和装置
CN106152937A (zh) * 2015-03-31 2016-11-23 深圳超多维光电子有限公司 空间定位装置、系统及其方法
CN109000582A (zh) * 2018-03-15 2018-12-14 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5227985A (en) 1991-08-19 1993-07-13 University Of Maryland Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object
NO301999B1 (no) 1995-10-12 1998-01-05 Metronor As Kombinasjon av laser tracker og kamerabasert koordinatmåling
US6973202B2 (en) 1998-10-23 2005-12-06 Varian Medical Systems Technologies, Inc. Single-camera tracking of an object
SG115546A1 (en) 2003-06-23 2005-10-28 Affineon Technologies Pte Ltd Computer input device tracking six degrees of freedom
ATE305130T1 (de) 2003-07-17 2005-10-15 Axios 3D Services Gmbh Lokator und optisches messsystem
WO2006069748A1 (de) 2004-12-23 2006-07-06 Ife Industrielle Forschung Und Entwicklung Gmbh Vorrichtungen zur vermessung eines objektes und verfahren zur verwendung einer derartigen vorrichtung
DE202006020719U1 (de) 2006-01-25 2009-08-27 Axios 3D Services Gmbh Positionsbestimmungssystem
US7576836B2 (en) 2006-04-20 2009-08-18 Faro Technologies, Inc. Camera based six degree-of-freedom target measuring and target tracking device
JP4530011B2 (ja) 2007-09-12 2010-08-25 富士ゼロックス株式会社 位置計測システム
DE102014012693B4 (de) 2014-09-01 2019-11-14 Hochschule RheinMain University of Applied Sciences Wiesbaden Rüsselsheim Geisenheim System und Verfahren sowie Computerprogramm zur Positions-und Lagebestimmung von Objekten
DE102015013551B4 (de) 2015-10-20 2021-04-29 Hochschule RheinMain University of Applied Sciences Wiesbaden Rüsselsheim Geisenheim System und Verfahren zur Positions-und Lagebestimmung von Objekten
DE102019114531B4 (de) 2019-05-29 2021-06-17 Soft2Tec Gmbh Vorrichtung zur Lage- und Positionserkennung von Markierungen im dreidimensionalen Raum
AU2020303722A1 (en) * 2019-06-28 2022-01-27 Mako Surgical Corp. Tracker-based surgical navigation

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000076419A (ja) * 1998-08-28 2000-03-14 Daiwa Can Co Ltd マーク識別方法および装置
CN1377488A (zh) * 1999-10-01 2002-10-30 阿诺托股份公司 位置确定－计算
CN101526987A (zh) * 2008-03-06 2009-09-09 财团法人工业技术研究院 利用盲文编码图案的区域识别系统
US20100014750A1 (en) * 2008-07-18 2010-01-21 Fuji Xerox Co., Ltd. Position measuring system, position measuring method and computer readable medium
JP2011047830A (ja) * 2009-08-27 2011-03-10 Fuji Xerox Co Ltd 位置計測システム、位置計測用演算装置およびプログラム
CN102211523A (zh) * 2010-04-12 2011-10-12 罗伯特·博世有限公司 用于跟踪对象标记位置的方法和装置
CN101975552A (zh) * 2010-08-30 2011-02-16 天津工业大学 一种基于编码点与计算机视觉的车架的关键点测量方法
US20120262487A1 (en) * 2011-04-12 2012-10-18 Huebner Kenneth J Interactive multi-display control systems
CN102954761A (zh) * 2011-08-25 2013-03-06 Asml荷兰有限公司 位置测量系统、光刻设备以及器件制造方法
CN103515357A (zh) * 2012-06-28 2014-01-15 台湾积体电路制造股份有限公司 重合标记及其测量方法
CN104769454A (zh) * 2012-10-31 2015-07-08 莱卡地球系统公开股份有限公司 用于确定对象的取向的方法和装置
CN103336985A (zh) * 2013-07-12 2013-10-02 深圳大学 二维码识别、识读和微缩制版的方法及装置
CN104083217A (zh) * 2014-07-03 2014-10-08 北京天智航医疗科技股份有限公司 一种手术定位装置和方法以及机器人手术系统
CN106152937A (zh) * 2015-03-31 2016-11-23 深圳超多维光电子有限公司 空间定位装置、系统及其方法
CN109000582A (zh) * 2018-03-15 2018-12-14 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陶聪: "运动模糊效应下的多视图高精度三维重建问题研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Also Published As

Publication number Publication date
US11815345B2 (en) 2023-11-14
WO2021259523A1 (de) 2021-12-30
US20230196610A1 (en) 2023-06-22
EP4172556A1 (de) 2023-05-03
KR20230026482A (ko) 2023-02-24
DE202020103679U1 (de) 2020-07-06
EP4172556B1 (de) 2024-03-27
JP2023541758A (ja) 2023-10-04

Similar Documents

Publication Publication Date Title
US6724930B1 (en) Three-dimensional position and orientation sensing system
CN115769045A (zh) 用于标记的方向和位置检测的装置以及计算机程序产品
US7847844B2 (en) Information processing apparatus and method for determining whether a detected index is an index included in sensed image data
CN107862234A (zh) 一种彩色条形码的识别方法、电子设备及存储介质
WO2004011876A1 (en) Apparatus and method for automatically arranging three dimensional scan data using optical marker
US20080188016A1 (en) Die detection and reference die wafermap alignment
CN106403926B (zh) 一种定位方法和系统
CN106600649A (zh) 一种基于二维标记码的相机自标定方法
KR20040010091A (ko) 광학식 마커를 이용한 3차원 측정 데이터 자동 정렬장치및 그 방법
CN115600118B (zh) 基于二维激光点云的托盘腿识别方法及系统
KR100557202B1 (ko) 이동체의정지위치오차량검출장치
US11620809B2 (en) Robust fiducial marker for flexible surfaces
CN112419381B (zh) 一种x光图像中标记点序列的自动识别方法
KR100241088B1 (ko) 전자광학식으로 포착가능한 인식표 및 그 포착을 위한 신호처리방법
CN103955929A (zh) 图像局部边缘模式与非边缘模式判断方法及判断装置
CN114494316A (zh) 角点标记方法、参数标定方法、介质及电子设备
EP1887313A1 (en) Location determination system and method of location determination
CN115860039A (zh) 定位标签
US11107243B2 (en) Fiducial marker based on blocks of different grayscales
KR100932498B1 (ko) 물체의 위치 추적 시스템에서 위치정보 획득이 용이한적외선 표식 식별 방법 및 그 시스템
JP2562047B2 (ja) 対象物体の位置姿勢認識方法
US20230269455A1 (en) Device and method for detecting the orientation and position of markings in three-dimensional space
CN106951810B (zh) 一种基于ewma模型的汉信码定位方法
CN112927128B (zh) 图像拼接方法及其相关监控摄像设备
CN111553341B (zh) 一种基于二维码的文物拆解相对位置校验方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination