CN105745514B - 用于基于照相机的位置和取向测量的系统和方法 - Google Patents

用于基于照相机的位置和取向测量的系统和方法 Download PDF

Info

Publication number
CN105745514B
CN105745514B CN201480055730.XA CN201480055730A CN105745514B CN 105745514 B CN105745514 B CN 105745514B CN 201480055730 A CN201480055730 A CN 201480055730A CN 105745514 B CN105745514 B CN 105745514B
Authority
CN
China
Prior art keywords
targets
head assembly
target
camera
pome
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480055730.XA
Other languages
English (en)
Other versions
CN105745514A (zh
Inventor
P·Y·蒙哥马利
A·温特
T·克拉默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sheridan Stock Co
Original Assignee
Sheridan Stock Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sheridan Stock Co filed Critical Sheridan Stock Co
Priority to CN201910905319.1A priority Critical patent/CN110455280A/zh
Publication of CN105745514A publication Critical patent/CN105745514A/zh
Application granted granted Critical
Publication of CN105745514B publication Critical patent/CN105745514B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F16M11/08—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting around a vertical axis, e.g. panoramic heads
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G01S17/875—Combinations of systems using electromagnetic waves other than radio waves for determining attitude
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

公开确定物体相对于定义的参考坐标系的位置和取向的系统和方法。多个目标被设置在相对于定义的参考坐标系的已知定位处。头组件被设置在物体上，其中所述头组件包括多个照相机。所述头组件从与所述多个目标相关联的定位数据和来自所述多个照相机的图像数据确定所述物体的位置和取向。

Description

用于基于照相机的位置和取向测量的系统和方法
背景技术
在许多实际应用中，期望知道物体的位置和取向(orientation)(姿势)。在许多室外应用中，使用全球导航卫星系统(GNSS)以位置上大约一厘米且取向上一度以下(subdegree)的精度以及以高达20Hz的独立的更新速率来获得这些测量。存在该技术在耕作、采矿和勘测(survey)应用中使用的许多示例。不幸地，当应用必须在室内或者在卫星信号在许多方向上被阻挡的区域中发生时，基于GNSS的测量技术失败。
已知进一步的系统，其中使用激光测距仪、方位角编码器和俯仰(elevation)角编码器确定物体的位置和取向。激光测距仪的激光束，或者可选地指针束(pointer beam)，指向物体的中心并且对距离测量进行采样。光束的对齐由具有与激光束对齐并且对激光波长灵敏(sensitive)的视场的望远镜或照相机来提供便利。另外，对方位角和俯仰角进行采样。物体的位置和取向从距离以及方位角和俯仰角计算。然而，该系统是低效率的。
因此，存在对于用于确定物体的姿势的改进的系统和方法的需要。
发明内容
公开确定物体相对于定义的参考坐标系(referenceframe)的位置和取向的系统和方法。多个目标被设置在相对于定义的参考坐标系的已知定位(location)处。头组件(head assembly)被设置在物体上，其中所述头组件包括多个照相机。所述头组件从与所述多个目标相关联的定位数据和来自所述多个照相机的图像数据确定所述物体的位置和取向。
附图说明
图1例示根据本发明的原理的位置和取向测量器械(POME)系统的三个实施例；
图2例示本发明的POME头组件的实施例；
图3示出POME头组件中的数据流；
图4例示本发明的旋转附件(accessory)的实施例；
图5例示本发明的勘测附件的实施例；
图6例示本发明的主动(active)目标的实施例；
图7例示POME系统的操作模式的方法的实施例；
图8例示POME系统的勘测模式的方法的实施例；
图9进一步例示包括勘测模式数据收集和自动化的勘测模式的方法；
图10例示本发明的POME校准固定装置(fixture)的实施例；以及
图11例示POME头组件校准的方法的实施例。
具体实施方式
本发明包括用于使用一组移动照相机以及一组安装的或者投影(project)的目标以使得能够以高精度和高更新速率进行物体的位置和取向测量的系统和方法。这些测量均能够在室内和室外进行并且可以在大量的应用中使用。可以在操作模式上通过应用的动力学，例如静态、准静态和动态对应用进行分类。另外，本发明包括新颖的技术，用于一组安装目标的快速和准确的勘测(勘测模式)以及用于POME头组件的内部和外部校准(校准模式)。
最基本地，在实施例中，POME系统使用照相机测量到目标的角度。目标的定位在工作容积(working volume)的坐标系中是已知的。通过知道到目标的角度，角度的交叉(intersection)提供与照相机共置的物体的位置。因此，通过使用透镜模型、目标定位以及照相机组件几何结构(目标角度)，可以在工作容积中计算物体(位于POME头组件上)的姿势。
如下面还将进一步讨论的，每个照相机目标图像提供x和y图像平面测量。为了最佳的姿势确定，最好是估计3个位置和3个取向未知量(unknown)。因此，使用最少三个目标来计算照相机姿势的六个未知量。
在本发明的系统和方法中，一组目标提供在世界坐标系中的已知定位处并且那些目标的图像在摄影图像中提供。然后在定义的参考坐标系中计算照相机的姿势。如上面所讨论的，可用的测量是图像中每个目标的x和y定位。如下面将进一步讨论的，计算将图像定位与特定的目标明确地相关联(配准(registration))。
最终的计算可以考虑系统中由于例如测量精度、照相机透镜畸变等引起的误差。当考虑这些误差时，可以使用加权最小二乘估计以更准确地确定姿势，该加权最小二乘估计采用具有误差因子输入的误差模型。
因此，如下面将进一步讨论的，在实施例中，获得物体的姿势的计算包括图像平面中目标图像定位的确定(质心确定)，哪个图像对应于哪个目标的识别(配准)，姿势的最小二乘确定，以及针对先验知识或者诸如MEM惯性传感器的另外传感器的可能过滤。
下面将讨论系统的进一步细节，以及可替代的实施例。
本发明的系统
系统的移动部件包括以已知的几何结构附接到中心组件的一组广角照相机。该组件也可以包括其它仪器，诸如惯性或激光测距或者感光部件，以及电子设备、电池和用于实时姿势确定的计算硬件和软件。该组件是POME头组件。
系统的基础结构部件包括一组安装的和/或投影的目标。目标可以是主动的(active)或被动的(passive)，或者投影的目标的组合，并且在相对于定义的参考坐标系的已知定位处附接到或者投影到内表面。工作容积的界限由三维区域定义，在三维区域中目标是可见的并且允许满足定义的精度规范的姿势确定。
除了主动、被动和投影的目标之外，目标可以是例如房间或空间的物理特征。因此，目标将是房间或空间的自然特征并且将不需要附接到或者投影到内表面上。而且，因为目标是房间或空间的物理特征，所以物理特征的定位将是已知的或者是可以容易地确定的。作为示例，房间的天花板中的吸声瓦通常由支撑栅格(support grid)保持在适当位置。支撑各个瓦的栅格块的角可以是目标。不仅这些自然特征自身可以用作目标，而且它们也可以在验证其它类型的目标的定位中使用以及用于测量的相关性。
系统的勘测部件包括旋转附件，该旋转附件与POME头组件一起工作以使得能够进行该组安装的和/或投影的目标的快速和准确的勘测。该勘测部件将在这里称作勘测附件。
系统的校准部件包括旋转附件，该旋转附件与POME头组件一起工作以使得能够进行快速和准确的校准。校准涉及每个照相机和透镜的内部投影模型的估计(每个照相机内部校准)。另外，它涉及每个照相机和激光测距源相对于组件框架(frame)的取向和平移的估计(外部校准)。该组件将在这里称作校准固定装置。
本发明的方法
操作方法包括实时过程和算法，以从噪声、干扰和多路径中识别目标并且消除歧义(disambiguate)以及使用基于照相机的测量来估计组件框架的姿势。也可以使用来自微机电系统(MEM)和光电二极管的测量。它还使得能够对于组件框架姿势估计方差边界。
勘测方法包括过程和算法，以收集和处理一组照相机和激光测距测量来确定目标在坐标系中的定位并且将该坐标系与建筑物坐标系相关。它还使得能够对于目标定位估计方差边界。
校准方法包括过程和算法，以捕获和处理数据来准确地确定每个照相机和透镜的内部投影模型以及照相机和激光器部件相对于组件框架的平移和取向参数。它还使得能够对于这些参数估计方差边界。
图1例示三个不同的POME系统实施例，它们中的每一个与基础结构部件同时操作。工作容积填充有六个目标700，该六个目标700在各个定位处附接到工作容积的表面。工作容积的坐标系由参考字符800标识。所有目标700的定位在该定义的参考坐标系800中是已知的并且姿势计算是相对于该定义的参考坐标系的。
图1的左侧是安装在勘测杆200上的POME头组件100。这例示随着勘测杆的实时姿势跟踪，POME系统在动态模式中操作。当人操作员300在工作空间内移动勘测杆200时，POME系统确定勘测杆尖端的定位。相对于期望点的定位或定位误差可以使用移动显示器900显示给操作员。
图1的中心是安装在移动机器人设备400上的POME头组件100。机器人叉车或清洁机器人是移动机器人设备的示例。这例示随着移动机器人设备的实时姿势跟踪，POME系统在动态模式中操作。
图1的右侧是包括POME头组件100和旋转附件500的组件。该组件安装在勘测三角架600上。这例示POME系统中静态模式中操作。静态模式中旋转附件的使用可通过当POME头以增量(in increment)旋转时能够进行大量的独立的照相机测量来增加姿势精度。
图1中例示的模式的每一个可以称作POME系统的操作模式。
图2示出POME头组件100的图。组件包括组件框架或壳体11，下面描述的几个部件固定到该组件框架或壳体11。
一个或多个照相机/透镜组件1被包括。这组照相机被布置以实现包围这组可见目标的组合视场(FOV)。该组合视场比任何单个照相机的视场大。在目标分布在所有方向上的许多情况下，期望的组合FOV比半球大。在一个实施例中，三个照相机以四面体布置而被布置，使得这三个照相机的主轴与正四面体的仰视(upward looking)平面正交对齐。在该实施例中，每个照相机必须具有大于150度的FOV以确保在仰视半球中不存在间隙。照相机的可替代布置可以适用于其它应用。通常，期望最小化照相机的数量同时实现重叠的视场。
每个照相机/透镜组件包括成像传感器以及用于数据抽取(decimation)的相关联的电子设备5。为了实现宽的视场和高的精度，采用大的图像传感器。具有多于5百万像素的图像传感器是可能的。取决于目标的设计，照相机可以是单色或彩色的。在优选实施例中，主动目标利用近IR光谱中的波长进行发射，并且单色照相机与光学过滤器一起被采用以减轻带外干扰的影响。为了实现10Hz更新速率，照相机曝光间隔被最佳地同步并且同时处理来自所有照相机的图像数据。这暗示着必须在图像处理硬件和软件中处理的高数据速率。如果主动目标被同步，则使照相机曝光间隔与目标时基同步可能进一步是必要的。
多个光电二极管2进一步包括在POME头组件100中。用于对在光电二极管处接收到的信号进行功率估计(power)和解调的电子设备8与每个光电二极管相关联。光电二极管的目的在于通过模拟解调来确定众多所有目标中哪组目标在光电二极管的视场中是可见的。如所描述的光电二极管的使用被用于确定粗略的姿势估计，这随后将在本说明书中更详细地描述。粗略的姿势估计用于基于所抽取的数据样本来缩小精确的姿势计算中候选解的集合。
无线通信模块3、能够提供电力的电池4、惯性传感器组(package)6、可编程微控制器7、可选的扇形束激光器模块9、可选的点束激光器或激光测距模块10，以及诸如USB拇指驱动的可移除外部数据存储设备12也被包括。
传感器部件刚性固定到组件框架或壳体11以确保校准之后的稳定性。POME头组件100能够被安装到各种附件，包括旋转和勘测附件。
如上面所讨论的，POME头组件包括惯性测量传感器。在优选实施例中，采用右旋的三个一组的基于MEM的陀螺仪和右旋的三个一组的基于MEM的加速计。如随后将在本说明书中进一步讨论的，惯性测量传感器的目的在于当光学测量变得不可用或损坏时，提供短时间间隔上的航位推算(deadreckoning)。惯性测量传感器可以用于能够进行操作模式切换。例如，用于将POME系统从动态模式切换到静态模式。
图3例示POME头数据流并且示出从传感器部件到计算机和通信部件的数据流。在优选实施例中，所有照相机1上的曝光通过硬件触发同步。该硬件触发可以从各种源得到。例如，可以使用微控制器上的可编程定时器。
命令和配置数据从可编程微控制器7流到照相机中的每一个。命令和配置数据从可编程微控制器7流到惯性传感器组6。命令和配置数据还从可编程微控制器7流到扇形激光器组9和/或线形激光器组10。
来自每个照相机/透镜组件1的高容量数据样本由数据抽取电子设备5进行过滤，并且所抽取的数据样本被输入到微控制器7。输入通过板上串行或并行通信信道或总线传输。
来自惯性传感器6的数据样本通常通过串行或USB数据通信信道输入到微控制器7。
来自光电二极管电子设备8的数据样本通常通过串行或USB数据通信信道输入到微控制器7。
来自扇形激光器组9和/或线形激光器组10的数据样本通常通过串行或USB数据通信信道输入到微控制器7。
微控制器7可经由双向无线通信模块3与外部世界通信。
微控制器7可使用诸如USB拇指驱动的可移除外部数据存储设备12记录/检索数据。记录设备通常不在操作模式期间使用。它被用于在勘测和校准处理期间保存传感器数据，以用于随后的批处理。
图4示出旋转附件500的组装图。该旋转附件500可连接到POME头组件100，并且运行以围绕垂直旋转轴以增量旋转POME头组件100。
在静态操作模式中，旋转附件500通过在POME头组件100的一个或多个完全旋转上收集大量的独立的照相机测量，可以提高姿势精度。
在校准期间，旋转附件对于旋转POME头组件以对POME头组件中的所有照相机的图像平面中的许多定位处的一组已知目标进行采样是必要的。在这两种情况下，虽然不需要精确的马达控制，但是以高精确度知道方位角增量是必要的。
旋转附件500包括旋转盘53，POME头组件100经由配准特征59附接到该旋转盘53。旋转盘53附接到具有角编码器54的步进马达的轴。步进马达可以相对于旋转附件基座旋转旋转盘53以及附接的POME头组件100。马达驱动中的高精确度不是必要的，然而，角编码器对于以优于10角秒的精确度测量连续的方位站之间的角度增量ΔΨ应当是足够的。
具有角编码器54的步进马达安装在自调平(self-leveling)平台55上，该自调平平台55操作以确保步进马达旋转轴与局部重力矢量对齐。步进马达和调平平台由可编程微控制器57控制。
可编程微控制器57可经由无线通信模块58与旋转附件外部的第二无线通信模块通信。
电池56能够向所有旋转附件部件提供电力。
图5示出勘测附件1000的组装图。该勘测附件1000可连接到POME头组件100，并且运行以围绕垂直旋转轴旋转POME头组件。该勘测附件与旋转附件500类似，其中添加有计算机控制的俯仰平台1014。
勘测附件1000在勘测模式期间与POME头组件100一起采用，以收集对于计算目标定位数据库足够的数据样本。方位轴控制和俯仰轴控制的组合使得激光测距仪斑束能够依次瞄准(target)每个目标。使用来自窄FOV目标反馈照相机1011的光学反馈经由计算机控制的搜索实现目标定位。
勘测附件包括旋转盘1003，POME头组件100经由配准特征1009附接到该旋转盘1003。旋转盘1003附接到具有角编码器1004的步进马达的轴。步进马达可以相对于勘测附件基座旋转旋转盘1003以及附接的POME头组件100。马达驱动中的高精确度对于允许激光测距仪1012使用来自目标反馈照相机1011的反馈控制指向目标的中心是必要的。方位角编码器对于以优于10角秒的精确度测量与开始位置的角度增量ΔΨ应当是足够的。
具有角编码器1004的步进马达安装在自调平平台1005上，该自调平平台1005操作以确保步进马达旋转轴与局部重力矢量对齐。
上面对于勘测附件描述的部件可以是先前对于旋转组件500描述的相同的部件。因此，下面对于勘测附件的部件可以作为勘测附件与旋转组件500一起使用。
勘测附件的俯仰平台1014可以相对于旋转盘1003围绕水平轴旋转。与方位步进马达组合，俯仰步进马达和角编码器1010被用于使用来自目标反馈照相机1011的反馈控制而使激光测距仪指向目标的中心。俯仰角编码器对于以优于10角秒的精确度测量相对于水平平面的俯仰角θ应当是足够的。
目标反馈照相机1011可以观察到期望目标附近的激光测距仪照明斑点(spot)。观察到的与目标中心的斑点偏移使得反馈控制能够精确地使激光斑点以目标为中心。来自目标反馈照相机1011的数据样本被输入到微控制器1007。
来自激光测距仪1012的测量数据样本被输入到微控制器1007。
步进马达和调平平台由可编程微控制器1007控制以实现调平、搜索和反馈瞄准以及激光距离测量功能。
可编程微控制器1007可经由无线通信模块1008与旋转附件外部的第二无线通信模块通信。
电池1006能够向所有勘测附件部件提供电力。
图6示出主动目标700A的组件示意图。该组件包括电路板，下面列出的几个部件固定到该电路板。
主动目标包括LED 701A。理想地，LED有效面积为≤1mm2并且辐射功率作为俯仰角的函数是轴对称并且均匀的。
围绕LED 701A的是反射环702A。它的功能是便于激光瞄准和测距。
用于指定物理特征的角用可见的箭头703A标记。
提供机器可读的目标标识符号704A。提供人可读的与704A相对应的目标标识符号705A。
进一步关于目标识别，每个目标具有与在线目标数据库一起使用的唯一的标识符(如下面还将进一步讨论的)，以获得目标的位置的所有相关信息。所以，位置不必存储在目标中，而是存储在可以被访问的目标数据库中。
唯一的标识符可以是目标内置唯一标识符(TIUI)+目标外部标识符(TEI)之间的组合。TEI可以而不限于目标定位的粗略GPS坐标。因此，通过这，可以限制TIUI的范围。如果粗略的GPS坐标可以精确到1km并且如果可以假设在1km半径内将存在少于1000个目标，那么仅10位的地址是需要的。然而，为了余裕，对于TEI提供12位的地址。
另外，可以提供目标类型标识符(TTI)以在不同类型的目标(诸如活动的墙壁(wall)目标、附接到电动工具的可移动目标、具有内置EDM的目标等)之间进行区分。假如至少16个不同的TTI，则提供4位的地址。因此，对于TIUI唯一标识符，可以提供总共16位。
提供可置换的或者可充电的或者一次性的电池706A，该电池706A对于向目标电子设备提供电力是足够的。
提供用于目标调制(modulation)的电子设备707A。功率电平、目标代码/电磁频率/工作周期等可由开关或等同物手动设置。
提供附接机制708A用于目标的附接。这可以是例如粘接、磁性、吸引等机制的一个或组合。
提供具有可选的无线通信模块的微控制器709A。微控制器和通信部件与目标的动态网络一起使用。微控制器还可以被用于响应于命令或工作空间活动/不活动而打开/关闭目标。
对于外部电源提供端口710A。这可以用于在没有电池的情况下的连续操作或者用于对可充电的电池进行充电。
在本发明的系统的实施例中，以预定频率和工作周期或时间序列在开-关(on-off)序列中对多个主动目标的每一个进行调制。调制的目的在于进一步使得每个目标能够从多个这种目标当中被唯一地识别。每个主动目标的功率或工作周期或时间序列可以响应于无线通信信道上的命令而动态地改变。
所有目标的调制序列可以时间同步，使得所有目标的时间序列相对于彼此处于已知的定相(phasing)中。在优选实施例中，所有目标的时间同步通过每个目标感测局部AC配电网络的相位而实现。
在实施例中，多个照相机与主动目标的网络时间同步。
进一步关于同步，为了利用主动目标进行室内定位，如先前讨论的，通过处理由照相机拍摄的图像来计算姿势。假设这种图像的时间序列是可用的，设计主动目标以便于在不存在其它信息并且存在干扰和多路径的情况下进行姿势计算。因此，给定图像中的区域，确定该区域是否是主动目标或者除目标外的某事物的图像。例如，图像中的小的明亮区域可以是目标或者可以是通过窗户来自车辆挡风玻璃的目光的反射。这些处理被称作干扰检测和干扰抑制。
给定图像中已被确定为主动目标的区域，确定该图像区域代表来自一组已知的(候选)目标中的哪个主动目标。该处理被称作目标配准。
进一步地，给定图像中已被确定为特定目标的区域，进一步确定图像是到目标的直接光学视线还是已确定目标从光学表面的某个序列的反射。这些处理被称作多路径检测和多路径抑制。
为了帮助这些确定和这些处理，如上面所讨论的，以及如下面另外讨论的，对目标进行调制。
如果例如已知目标将随着时间以已知的方式改变它的亮度，那么可以使用该知识以从作为目标的考虑中排除日光闪烁。因此，该简单的调制方案因而能够进行干扰检测和抑制。可替代的简单的调制方案是随着时间改变目标传输的颜色。
如果进一步已知每个目标作为特定且唯一的时间函数而改变它的亮度或颜色，那么可以使用该知识在各个目标之间进行区分(消除歧义)。
识别图像中的区域作为到特定目标的映射还帮助多路径检测。如果图像中多于一个区域通过观察它的唯一的时间签名而被确定为特定的目标，那么所有这种区域必须被认为是潜在的多路径而不是直接目标图像。在这种情况下，另外的信息或连续性需求或组合方法可以用于多路径抑制。
对于主动目标，同样如上面所讨论的，根据本发明的原理考虑许多调制方法。如所讨论的，简单的调制方案是以特定的时间频率和工作周期进行开/关。另一个简单的时间调制方案是以特定的时间频率进行幅度调制，其中亮度随着时间而变化但是目标连续地打开。再另一个是颜色(光学频率)的变化。还另一个是时间频率的序列或者这些技术的某种组合。
“高频目标调制”被定义为意指以大于照相机帧速率的频率的目标调制。在这种情况下，照相机不能够用于观察目标调制变化。例如，在以1kHz时间调制几个目标的情况下，以大约10Hz帧速率运行的照相机不能在这些目标之间进行区分。在该情况下，先前所讨论的诸如位置灵敏检测器(PSD)或光电二极管的另外的传感器可以用于通过模拟信号处理在目标之间消除歧义。
“低频目标调制”被定义为意指以等于或小于照相机帧速率的频率的目标调制。在该情况下，照相机图像可以用于直接观察目标调制变化。
此后，下面的讨论针对“低频目标调制”的情况。
考虑多个目标，其中每个目标以给定的基础频率通过颜色和幅度(即，功率)的唯一时间序列进行调制，其中基础频率由“低频目标调制”的定义所限制。颜色和幅度“符号”的该序列被连续地重复，其中每个周期可能包括前导码(preamble)或奇偶校验。
唯一的代码被定义为颜色和幅度符号的预定义的时间序列。
唯一的代码的数量由重复之前的代码序列的长度定义。
对于姿势确定，在可以辨别(消除歧义)的目标的数量与完成辨别处理所需要的图像的数量之间存在权衡。增加照相机帧速率将减小对于给定的代码长度所需要的时间的长度。
相关的问题是照相机曝光间隔与目标符号定相之间的对齐。
在实施例中，如先前讨论的并且如图3中所示的，所有照相机借助于硬件信号或触发而彼此同步。这确保来自所有照相机的图像是时间对齐的。
在实施例中，所有目标彼此同步，使得网络中来自所有目标的代码符号的定相在时间上是对齐的。作为进一步的细化(假设所有目标采用相等长度的代码)，网络中来自所有目标的代码重复间隔的开始在时间上对齐可被强制执行。该细化使得任何目标的观察能够指示要被推断的所有其它目标的代码定相，而不必等待所有目标完成它们的代码序列。这继而最小化完成消除歧义处理的总体时间。不像GPS代码相位那样，由于“飞行时间”而引起的定时延迟在该应用中不重要。
出于所描述的目的，目标同步需要符号相位对齐到与照相机帧速率相关联的周期的仅大约10％。这种级别的精确度可以由下面描述的几种手段容易地实现。
最后相关的问题是照相机曝光间隔与目标网络的符号定相的同步。例如，如果照相机时基可以相对于目标时基滑动(slide)，最终照相机曝光间隔将跨越目标的符号转换时间。为了避免该问题，同样如先前讨论的，照相机曝光时基可以与目标网络的时基对齐。
因此，在第一实施例中，照相机和/或目标网络同步通过每个目标观察电力供应网变化的相位来实现。
在第二实施例中，照相机和/或目标网络同步通过每个目标观察间歇性的光学或射频脉冲来实现。
在第三实施例中，照相机和/或目标网络同步通过每个目标从有线或无线同步服务器接收定时或同步分组来实现。
进一步关于目标，如先前所公开的，目标还可以是投影的目标图像。在优选实施例中，投影的目标图像是已知配置中的激光点或线，例如，已知与局部重力矢量对齐或者正交的投影激光平面。
图7示出用于POME系统的操作模式的方法1100。附图例示来自传感器和基础结构/校准输入的数据流以及如何使用算法、硬件和软件模块处理这些数据流以创建实时的姿势估计。
首先讨论仅仅与POME头组件相关联的数据流，并且随后，讨论静态模式中的旋转附件的可选的添加。
除了实时信号之外，存在特定于POME头组件以及特定于基础结构安装的四(4)个另外的信息源。这些在下面描述。
(1)目标定位数据库。如先前所提及的，目标定位数据库是在工作容积中存在的目标的每个工作容积列表以及与每个目标相关联的属性数据。目标定位数据库可以是静态的或者可以经由无线通信实时地更新。非限制性地，下面的目标属性的列表是有兴趣的：
(a)指示目标类型；主动的或者被动的或者投影的；
(b)启用或者禁用或者电池状态；
(c)动态或者非动态；
(d)传输的光学波长；包括IR和可见光谱波长；
(e)调制类型和标识符，例如，工作周期、调制频率、调制代码标识符、同步类型、同步状态；
(f)布尔值，如果识别工作空间基准点；
(g)定义的坐标系中的目标定位坐标；
(h)定义的坐标系中的目标定位不确定性(协方差)；以及
(i)人可读和/或机器可读的目标标识符。
(2)照相机/透镜点扩展函数(P.S.F.)校准。每个照相机/透镜的P.S.F.校准是在图像平面的所有定位处与脉冲响应的形状相关的来自校准过程的数据。该数据在质心确定算法中使用。
(3)透镜畸变校正。每个照相机/透镜畸变校正是图像平面坐标的2D误差函数和在校准步骤中使用的理想化数学模型的参数的对。这些数据是校准过程的输出。2D函数用于将图像平面定位校正到数学上理想化的模型的那些。这些数据对于从图像平面定位转换到照相机相对射线角是必要的。
(4)外部校准。外部校准是对于POME头组件，并且相对于POME组件框架关联每个传感器的位置和取向。这些数据是校准过程的输出并且是W.L.S.姿势估计的必要输入。
继续讨论与操作模式相关联的数据流，粗略的姿势估计在处理步骤1101中例示。主动目标信号由光电二极管感测并且使用光电二极管电子设备对来自光电二极管视场中的所有目标的信号进行解调。这允许微控制器确定该组主动目标当中哪些目标被阵列中的每个光电二极管观察到。与相对于POME组件框架的已知的光电二极管视场和每个光电二极管的粗略的角分辨率以及目标数据库相组合，该信息用于计算POME头组件的粗略的位置和取向(姿势)估计。
抽取过滤器处理步骤1102。对于每个照相机，数据速率由
Figure GDA0001926625510000151
(#像素＊帧/秒＊位/像素)给出。例如，考虑以10Hz(其中每像素16位)操作的5Mpix照相机，这相当于每秒钟每个照相机800百万个位。该数据中，目标周围的感兴趣区域(ROI)将通常代表总数据的小于5％。为了移除外来的或者不必要的或者损坏的数据，采用抽取过滤器。在优选实施例中，抽取过滤器以硬件，例如以FPGA实现。如在图2中进一步公开的，抽取过滤器在用于POME头组件100的数据抽取的电子设备5中实现。原始的或者空间过滤的像素强度样本与阈值相比较。该阈值可以是图像平面定位的函数并且可以在计算机控制下动态地修改。如果超过阈值，图像平面点周围的感兴趣区域与相对于图像平面原点的ROI的偏移一起被提取。所有其它像素数据被丢弃。抽取过滤器导致必须在随后的计算步骤中被处理的数据量的显著减少。抽取过滤器的输出是感兴趣区域的集合以及每个感兴趣区域的偏移数据。该抽取的数据被传递到POME头组件100的微控制器7并且随后的处理步骤以软件实现。
配准处理步骤1103。给定一批感兴趣区域，每个感兴趣区域包含图像空间团块(blob)(即，抽取过滤器的输出)，配准是将感兴趣区域中的图像空间团块的集合与作为团块能量源的目标的集合相关联。同样如先前所讨论的，检测并且移除不是目标的干扰源以及目标从内表面的反射也是必要的。粗略的姿势估计和目标定位数据库用于几何地限制配准候选的集合。在一些情况下，某种不确定性可能保留在目标标识符与图像空间团块的关联中。在该情况下，少量的候选关联可能需要在W.L.S.姿势估计中被测试并且选择最低残余的候选。该选择处理的可能性由下面将进一步讨论的W.L.S.姿势估计步骤之后的“残余可以了(OK)吗？”反馈循环指示。配准处理的输出是与具有已知目标定位的一组目标相关联的一组图像空间团块数据。一些目标可能对于多于一个照相机可见而一些目标可能通过任何照相机都不可见。
质心确定处理步骤1104。给定感兴趣区域中的团块，确定团块质心的图像平面坐标。团块形状是图像平面定位的函数并且通常是非凸的且不对称的。透镜点扩展函数(P.S.F.)校准是在校准处理期间对于图像平面中的所有定位而记录的团块形状的集合。该记录的数据在质心确定处理中使用。在优选实施例中，处理涉及数据团块与来自图像平面所在地的参考团块的最小二乘拟合。质心确定处理的输出是以像素为单位的图像平面x定位的矢量和图像平面y定位的矢量。另外，产生一个sigma标准偏差值的矢量σ。标准偏差矢量由误差模型所确定，该误差模型的参数在校准处理中确定。对于每个测量，标准偏差将取决于观察到的信号电平、饱和的存在或不存在、与目标的距离和倾斜度以及图像平面中团块的定位。
透镜畸变校正处理步骤1105。透镜畸变校正使用每个照相机/透镜2D畸变校正函数来校正确定的质心定位的集合。2D畸变校正函数在校准处理期间产生。校正的质心定位与理想化的投影模型一起使用来推断这组目标的共线性比(colinearity ratio)。透镜畸变校正处理的输出是一组共线性比，每个共线性比与目标标识符以及每个测量一个的标准偏差值的矢量σ相关联。每个照相机可以输出它的内部测量温度。这允许2D透镜畸变校正函数在校准期间在几个恒定温度点处被记录。在优选实现中，在操作期间使用的2D透镜畸变校正函数值是来自校准表的内插值，该校准表跨越照相机处的测量温度。
加权最小二乘姿势估计处理步骤1106。对于姿势估计步骤，输入是所有配准目标的共线性比和标准偏差值、粗略的姿势估计或卡尔曼过滤姿势估计、外部校准数据、以及目标定位数据库。数据处理涉及非线性加权最小二乘(W.L.S.)优化，以找到定义的参考坐标系中组件框架姿势的六个参数以及这些参数估计上的方差边界。除了姿势和方差估计之外，计算残余矢量，该残余矢量指示测量数据与姿势估计相一致的程度。结果被时间戳记(stamp)在照相机数据从中获得的照相机曝光间隔的中心。诸如发散、奇异性或者收敛到不正确的结果的算法问题是有可能的。由于这个原因，从姿势卡尔曼过滤或者粗略的姿势估计处理开始估计可以用于初始化W.L.S.估计步骤。在优选实现中，在操作期间使用的外部校准数据值是来自在跨越POME头组件的测量温度的温度处获取的外部校准结果的内插值。
配准候选迭代。如果目标在配准步骤中被不正确地配准，那么这可以在W.L.S.估计步骤之后通过检查残余矢量以及通过比较W.L.S.结果与粗略的姿势估计和/或卡尔曼过滤状态来检测。如果确定结果无效，则如由“残余OK”循环1107所指示的，可以处理另一个配准候选。最好的候选可以被选择，或者如果所有候选失败，则可以中止处理。
姿势卡尔曼过滤处理步骤1108。卡尔曼过滤(KF)是用于将来自各种测量的数据与潜在地未对齐的时间戳和与变化的测量不确定性相组合的众所周知的算法。KF通常实现为时间更新(T.U.)和测量更新(M.U.)步骤的序列。在优选实现中，在T.U.步骤中使用来自惯性组的高数据速率测量(步骤1109)以在时间上向前传播姿势估计，并且在该传播间隔上增加姿势内协方差。当来自W.L.S.姿势估计的有效结果变得可用时，在M.U.步骤中使用来自W.L.S.姿势估计的较低速率结果以细化KF状态并且减小姿势不确定性。
在动态操作期间，照相机测量将被阻碍一段时间或者角速率将变得太高以至于照相机测量无法使用是可能的。在这种间隔期间，如果陀螺仪偏置已在前面的时间间隔期间被校准，则KF取向状态的传播可以保持有效长达一些分钟。在这种间隔期间，KF位置状态的传播将在几秒钟内由于错误的加速计测量的双重整合而发散(变得无效)。为了在这种间隔之后重新初始化系统，可以使用与KF的取向状态耦合的来自光电二极管样本的粗略的姿势估计以高可靠性实现瞬间的配准。
因此，根据本发明的原理以及在实施例中，在W.L.S.姿势估计步骤完结时确定物体的姿势。然而，如上面所讨论的，如果框架组件移动(例如在动态模式中)，则该姿势确定可能变得不准确。在该情况下，物体的姿势可以进一步使用上面讨论的姿势卡尔曼过滤处理步骤来计算。因此，“实时”姿势可以通过航位推算，即基于POME头组件的运动学而传播姿势，来进一步在动态模式中计算。
进一步关于操作模式，除了光电二极管、MEM和旋转附件的硬件部件以及抽取过滤器的那些之外，图7的功能由POME头组件100的微控制器7执行。该微控制器可以被编程以执行POME头组件的这些计算功能。
静态模式。在静态模式中，如先前所讨论的，POME头组件在工作容积中的定位处安装在旋转附件上。惯性和照相机测量可以用于确定POME头组件是静止的。自动模式选择和切换也是可能的。旋转附件用于以方位增量围绕垂直轴旋转POME头组件。作为非限制性示例，每秒钟五度的旋转增量将是合理的。在旋转增量之间的静止时段期间，照相机数据从视野中的所有目标捕获。如上面详细描述的，这些照相机数据用于产生W.L.S.姿势测量。通过W.L.S.姿势估计以及还通过来自旋转附件的方位旋转增量(步骤1110；图7)更新KF。作为非限制性示例，方位旋转增量ΔΨ的测量将以一秒的间隔注入到KF。
图8示出用于POME系统的勘测模式的方法。在勘测模式中，一组目标被勘测到坐标系中。如下面将进一步讨论的，来自POME头组件的一组目标图像测量由对目标的准确的激光距离测量而增大。因此，这些测量的全体对于以高精度计算该组目标定位是足够的。
图8例示来自传感器和校准输入的数据流以及如何处理这些数据流以在后置批处理步骤中创建目标定位数据库。批处理使用从POME头组件和勘测附件两者上、以及对于POME头组件和勘测附件的组件的潜在几个单独放置的传感器捕获到磁盘的数据。
在勘测模式的实施例中，POME头组件和勘测附件的组件(勘测组件)由用户放置在工作空间中的几个目标或基准点对POME头组件可见的定位处。目的在于使用勘测附件的激光测距部件收集所有目标的照相机测量以及到所有目标和基准点的距离测量。将勘测组件移动到几个定位以确保所有目标和基准点被采样可能是必要的。如果工作空间具有不规则的形状或者具有许多视线阻挡，则这将发生。
为了实现激光距离测量，首先将激光的光轴与待测量的目标或基准点的中心对齐是必要的。对齐步骤由具有与激光束对齐并且对激光波长灵敏的窄视场的目标反馈照相机提供便利。激光斑点可见性还由围绕每个目标的中心的反射环增强。瞄准功能可以在手动控制下完成或者可以使用计算机控制而自动化。除了激光距离测量之外，记录来自角编码器的方位角和俯仰角。方位角测量相对于未知的起始点。俯仰角测量相对于水平平面。在数据收集期间，垂直旋转轴通过自调平功能与局部重力矢量对齐。来自POME头组件的加速计数据可以出于确定局部水平的目的或者为了估计加速计偏差而保存。
图8示出照相机和激光测距以及编码器数据通过各种算法、硬件和软件的处理。照相机和抽取过滤器1202方框与对于操作模式而描述的那些相同。配准处理1203不同，因为目标定位数据库不可用，但是目标的一般方向和识别使用来自光电二极管阵列的解调的目标信号而保持可能。
配准处理的输出再次是一组目标团块与目标标识符之间的关联。识别并且手动地瞄准工作空间中的基准点的人交互可能是需要的，如果这种点没有利用主动目标而仪表化。质心确定1204和透镜畸变校正1205步骤与在操作模式中描述的那些相同。
在勘测组件的每个放置处，以及对于视野中的每个目标和每个基准点，下面的数据被记录到磁盘1211：
1.对视野中的所有目标的照相机测量1206；
2.俯仰角测量1207；
3.方位角测量1208；以及
4.激光距离测量1209。
来自POME头组件的加速计数据1210也可以出于确定局部水平的目的或者为了估计加速计偏差而保存。
在数据收集完成之后，单独的批处理1212用于处理收集到的数据。批处理的输出是目标定位数据库1213以及每个目标定位的不确定性估计。除了MEM和勘测附件的硬件部件以及抽取过滤器的那些之外，图8的功能可以由POME头组件100的微控制器7和/或勘测附件的微控制器1007执行。微控制器可以被编程以执行这些计算功能。
图9是进一步例示勘测模式数据收集和自动化的方法的流程图。第一列示出需要手动交互来识别和瞄准该组基准点的步骤。基准点是工作空间中用于将目标定位连结到工作空间坐标系的已知点。最少2个基准点是需要的。
第二列示出用于识别该组主动目标并且对于这组主动目标收集距离测量的步骤。对于使用光学反馈进行激光瞄准和测距的计算机自动化所需要的详细步骤在第三列中示出。
图10示出POME校准固定装置1300的图。固定装置包括稳定(stable)平台1303以及稳定/刚性结构1305。大量的目标700安装在稳定结构上相对于稳定平台原点的已知定位处。在优选实施例中，当照相机围绕轴旋转时，这组目标被约束到超过照相机的视场限制的平面。目标被填充得足够靠近，以在照相机图像中创建目标团块的密集阵列。设计固定装置的大小以确保目标足够小，使得它们可以由它们的点扩展函数表征。被采样的点扩展函数在图像平面中的所有定位处被记录并且在质心确定处理中在操作模式期间使用。
目标700可以是主动的或者被动的。被动的目标可以以受控的方式被外部照明。
除了所描述的主动和被动的目标之外，可以采用一组投影的目标。投影的目标图像可以具有任何形式。在优选实施例中，如先前所讨论的，投影的目标可以是源自将激光束和激光扇形投影到平坦表面上的点和线。例如，水平的激光线1306通过将POME头组件的调平的激光扇形束投影到平坦表面上而实现。
为了实现校准，待校准的POME头组件100在稳定平台1303上安装有旋转附件1302(图4的旋转附件500)。POME头组件在计算机控制下以小的增量围绕垂直轴旋转。在每一个站，照相机数据和方位角测量被保存到磁盘。
在优选实施例中，校准组件(POME头组件100和旋转附件1302)被封闭在热控制箱内。该箱具有狭缝以允许目标阵列的可见性。通过在两个或更多个受控的温度下执行校准过程，可以记录几个校准数据集。在操作模式中，所使用的校准数据应当是来自跨越操作温度的两个数据集的内插数据。
图11示出POME头组件校准功能的方法1400。该图例示来自传感器和目标定位输入的数据流以及如何处理这些数据流来创建每个照相机内部校准以及POME头组件外部校准。批处理使用从POME头组件和旋转附件两者上的传感器捕获到磁盘的数据。
为了校准，POME头100和旋转附件1302的组件放置在稳定平台1303上。在数据收集期间，垂直旋转轴通过自动化调平功能与局部重力矢量对齐。来自POME头组件的加速计数据也可以出于确定局部水平的目的或者为了估计加速计偏差和旋转误差而保存。当POME头组件以小的增量围绕垂直旋转轴旋转时，每个照相机的视场顺序地旋转通过目标被填充的垂直平面。所有图像的总和对于在整个视场上采样每个照相机的图像平面是足够的。
图11示出照相机和编码器数据通过各种算法、硬件和软件的处理。照相机和抽取过滤器1402方框与对于操作和勘测模式而描述的那些相同。配准处理未示出，因为目标与团块之间的关联是直截了当地基于几何和方位测量确定。配准步骤作为随后批处理的一部分而完成。
对于旋转序列中的每一个站，下面的数据被记录到磁盘1406：
1.对于视野中的所有目标的每个团块周围的感兴趣区域1403；
2.方位角测量1404；以及
3.惯性测量1405。
在数据收集完成之后，单独的批处理1407用于处理收集到的数据。该批处理的输出是：
1.每个照相机的内部校准，包括：
(a)透镜误差模型1408，包括：
i.理想化的投影模型参数；
ii.x和y 2D畸变校正函数；
(b)透镜P.S.F.校准1409；以及
2.POME头组件的外部校准1410。
在优选实现中，这些数据在两个或多个稳定的温度下被记录。
除了MEM和旋转附件的硬件部件以及抽取过滤器的那些之外，图11的功能可以由POME头组件100的微控制器7和/或旋转附件500/1302的微控制器57执行。微控制器可以被编程以执行这些计算功能。
进一步关于本发明的校准处理，在实施例中，使用一组图像平面测量以基于校准的透镜模型估计经纬仪角度。估计的经纬仪角度然后直接与照相机的准确测量的平移和倾斜角度相比较。因此，与图像平面残余相对照，这允许测量噪声、内插误差以及反向投影非线性直接被测量而不是被估计的效果。
已阐述了前述公开，仅仅用于例示本发明而不意图是限制性的。由于包含本发明的精神和实质的公开实施例的修改可以由本领域技术人员想到，所以本发明应当被解释为包括附加权利要求书的范围内的所有及其等同物。

Claims (20)

1.一种用于确定工作容积中的物体相对于定义的工作容积的参考坐标系的位置和取向的系统，包括：
多个目标，该多个目标设置在相对于所述定义的工作容积的参考坐标系的已知定位处；和
头组件，该头组件设置在物体上，其中所述头组件包括多个照相机；
其中所述物体相对于所述定义的参考坐标系的位置和取向可由所述头组件从所述定义的参考坐标系中的、与所述多个目标相关联的定位数据和所述头组件的组件坐标系中的、来自所述多个照相机的图像数据确定，
所述系统还包括旋转附件，其中所述头组件被连接到所述旋转附件，并且所述旋转附件包括：
旋转盘；
方位马达，该方位马达具有连接到所述旋转盘的轴和用于该轴的方位角编码器；
自调平平台，其中该自调平平台使所述方位马达的旋转轴与局部重力矢量对齐；以及
微控制器，其中该微控制器控制所述方位马达和自调平平台，并且接收来自所述方位角编码器的信号。
2.根据权利要求1所述的系统，其中所述多个目标是主动目标、被动目标或者投影目标。
3.根据权利要求1所述的系统，其中所述多个目标是主动目标，并且其中所述多个主动目标中的每一个以预定频率和工作周期或者时间序列在开-关时间序列中进行调制。
4.根据权利要求3所述的系统，其中所述多个主动目标中的每一个的功率或者工作周期或者时间序列可响应于无线通信信道上的命令而动态地改变。
5.根据权利要求1所述的系统，其中所述多个目标的调制序列是时间同步的。
6.根据权利要求5所述的系统，其中所述调制序列基于交流配电网络的相位的感测。
7.根据权利要求5所述的系统，其中所述多个照相机与所述多个目标是时间同步的。
8.根据权利要求1所述的系统，其中使用具有一组预定义的代码的低频调制对所述多个目标进行调制。
9.根据权利要求2所述的系统，其中所述投影目标是已知配置中的激光点或线。
10.根据权利要求1所述的系统，其中所述头组件包括多个光电二极管，并且其中光电二极管感测来自所述多个目标中的至少一个的信号。
11.根据权利要求1所述的系统，其中所述头组件包括惯性测量传感器。
12.根据权利要求1所述的系统，其中与所述多个目标相关联的定位数据从目标定位数据库获得，并且其中来自所述多个照相机的图像数据是图像空间团块。
13.根据权利要求1所述的系统，其中来自所述多个照相机的图像数据是由抽取过滤器处理的图像数据，并且其中经处理的图像数据是一组感兴趣区域，其中每个感兴趣区域包含图像空间团块。
14.根据权利要求1所述的系统，还包括：
俯仰平台；
俯仰马达，该俯仰马达具有连接到所述俯仰平台的轴和用于该轴的俯仰角编码器，其中所述轴总是由旋转附件的自调平平台设置在水平平面中；
激光测距仪，该激光测距仪附接到所述俯仰平台，使得激光测距仪的光轴与俯仰马达轴正交；以及
目标反馈照相机，该目标反馈照相机附接到所述俯仰平台，使得照相机的光轴与激光测距仪光轴对齐，并且其中所述照相机在激光测距仪的波长处灵敏。
15.根据权利要求1所述的系统，还包括稳定基座和刚性外壳，其中所述多个目标设置在相对于稳定基座的已知位置中。
16.一种用于确定工作容积中的物体相对于定义的工作容积的参考坐标系的位置和取向的方法，包括步骤：
在相对于所述定义的参考坐标系的已知定位处设置多个目标；
在设置在所述物体上的头组件处接收相对于所述头组件的组件坐标系的、来自多个照相机的图像数据；
在所述头组件处接收相对于所述定义的参考坐标系的、与所述多个目标相关联的定位数据；以及
由所述头组件从接收到的所述组件坐标系中的图像数据和所述定义的参考坐标系中的定位数据确定所述物体的位置和取向，
其中所述头组件被连接到旋转附件，并且所述旋转附件包括：
旋转盘；
方位马达，该方位马达具有连接到所述旋转盘的轴和用于该轴的方位角编码器；
自调平平台，其中该自调平平台使所述方位马达的旋转轴与局部重力矢量对齐；以及
微控制器，其中该微控制器控制所述方位马达和自调平平台，并且接收来自所述方位角编码器的信号。
17.根据权利要求16所述的方法，其中所述多个目标是主动目标、被动目标或者投影目标。
18.根据权利要求16所述的方法，其中所述头组件包括多个光电二极管，并且所述方法还包括由光电二极管感测来自所述多个目标中的至少一个的信号的步骤。
19.根据权利要求16所述的方法，其中所述头组件包括惯性测量传感器。
20.根据权利要求16所述的方法，其中与所述多个目标相关联的定位数据从目标定位数据库接收，并且其中来自所述多个照相机的图像数据是图像空间团块。
CN201480055730.XA 2013-10-09 2014-10-07 用于基于照相机的位置和取向测量的系统和方法 Active CN105745514B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910905319.1A CN110455280A (zh) 2013-10-09 2014-10-07 用于基于照相机的位置和取向测量的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/049,607 US20150098079A1 (en) 2013-10-09 2013-10-09 System and method for camera based position and orientation measurement
US14/049,607 2013-10-09
PCT/US2014/059418 WO2015054194A2 (en) 2013-10-09 2014-10-07 System and method for camera based position and orientation measurement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201910905319.1A Division CN110455280A (zh) 2013-10-09 2014-10-07 用于基于照相机的位置和取向测量的系统和方法

Publications (2)

Publication Number Publication Date
CN105745514A CN105745514A (zh) 2016-07-06
CN105745514B true CN105745514B (zh) 2020-02-11

Family

ID=52776715

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910905319.1A Pending CN110455280A (zh) 2013-10-09 2014-10-07 用于基于照相机的位置和取向测量的系统和方法
CN201480055730.XA Active CN105745514B (zh) 2013-10-09 2014-10-07 用于基于照相机的位置和取向测量的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201910905319.1A Pending CN110455280A (zh) 2013-10-09 2014-10-07 用于基于照相机的位置和取向测量的系统和方法

Country Status (6)

Country Link
US (2) US20150098079A1 (zh)
EP (1) EP3055649B1 (zh)
JP (2) JP2016536580A (zh)
CN (2) CN110455280A (zh)
CA (1) CA2926705C (zh)
WO (1) WO2015054194A2 (zh)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2502115A4 (en) 2009-11-20 2013-11-06 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES THROUGH A MONOLITHIC CAMERA ARRAY WITH HETEROGENIC IMAGE CONVERTER
US20120012748A1 (en) 2010-05-12 2012-01-19 Pelican Imaging Corporation Architectures for imager arrays and array cameras
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN107404609B (zh) 2011-05-11 2020-02-11 快图有限公司 用于传送阵列照相机图像数据的方法
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
CN104081414B (zh) 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP3869797B1 (en) 2012-08-21 2023-07-19 Adeia Imaging LLC Method for depth detection in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9903950B2 (en) * 2014-08-27 2018-02-27 Leica Geosystems Ag Multi-camera laser scanner
CN105425527B (zh) * 2014-09-03 2018-03-20 深圳富泰宏精密工业有限公司 多镜头摄像装置
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US10809379B2 (en) * 2016-07-04 2020-10-20 Topcon Corporation Three-dimensional position measuring system, three-dimensional position measuring method, and measuring module
CN108253928B (zh) * 2016-12-28 2023-01-10 北京远度互联科技有限公司 姿态角度获取方法、装置及可移动设备
DE112018007660T5 (de) * 2018-06-29 2021-03-18 Komatsu Ltd. Kalibriervorrichtung für eine abbildungsvorrichtung, überwachungsvorrichtung, arbeitsmaschine und kalibrierverfahren
JP7238542B2 (ja) * 2019-03-28 2023-03-14 コベルコ建機株式会社 解体システム
US10997747B2 (en) 2019-05-09 2021-05-04 Trimble Inc. Target positioning with bundle adjustment
US11002541B2 (en) * 2019-07-23 2021-05-11 Trimble Inc. Target positioning with electronic distance measuring and bundle adjustment
CN110285816B (zh) * 2019-06-28 2023-12-12 航天东方红卫星有限公司 一种小卫星星上设备高精度姿态测量系统及方法
JP7273250B2 (ja) 2019-09-17 2023-05-12 ボストン ポーラリメトリックス，インコーポレイティド 偏光キューを用いた面モデリングのためのシステム及び方法
DE112020004813B4 (de) 2019-10-07 2023-02-09 Boston Polarimetrics, Inc. System zur Erweiterung von Sensorsystemen und Bildgebungssystemen mit Polarisation
FI20196023A1 (en) 2019-11-27 2021-05-28 Novatron Oy Method for determining the position and orientation of a machine
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
EP3883235A1 (en) 2020-03-17 2021-09-22 Aptiv Technologies Limited Camera control modules and methods
CN111479217B (zh) * 2020-04-17 2022-03-04 新石器慧通（北京）科技有限公司 隧道内无人驾驶车辆的定位方法、系统和电子设备
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
CN111964693B (zh) * 2020-07-21 2022-03-22 中国科学院长春光学精密机械与物理研究所 一种测绘相机高精度内、外方位元素的标定方法
CN111853484B (zh) * 2020-07-30 2022-04-12 陕西工业职业技术学院 一种用于工程测量的对中整平装置
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN113552648A (zh) * 2021-07-09 2021-10-26 中国测绘科学研究院 空间目标的天文定位及自动跟踪方法、系统及电子设备
CN116772728B (zh) * 2023-08-18 2023-11-21 国家文教用品质量监督检验中心 一种影像测量仪及其控制方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61117409A (ja) 1984-11-14 1986-06-04 Komatsu Zoki Kk 建設機械の現在地検出方法
GB8925196D0 (en) * 1989-11-08 1990-05-30 Smiths Industries Plc Navigation systems
JPH06131446A (ja) 1992-05-15 1994-05-13 Matsumura Electron:Kk 指紋照合装置及び指紋照合方法
US5444902A (en) * 1994-06-29 1995-08-29 The United States Of America As Represented By The United States National Aeronautics And Space Administration Cylinder rounding/holding tool
JPH1038513A (ja) 1996-07-22 1998-02-13 Nikon Corp 表面高さ計測装置及び、これを用いた露光装置
JP3724786B2 (ja) * 2000-11-17 2005-12-07 鹿島建設株式会社 構造物の移動式変位計測方法及び装置
JP4595212B2 (ja) 2001-02-20 2010-12-08 コニカミノルタビジネステクノロジーズ株式会社 位置情報設定装置および環境情報獲得装置
US6997387B1 (en) * 2001-03-28 2006-02-14 The Code Corporation Apparatus and method for calibration of projected target point within an image
US20030038933A1 (en) 2001-04-19 2003-02-27 Dimensional Photonics Inc. Calibration apparatus, system and method
SE525290C2 (sv) 2002-12-20 2005-01-25 Trimble Ab Geodetiskt system för mätning/utsättning och metod för användning av detsamma
JP4136859B2 (ja) * 2003-01-10 2008-08-20 キヤノン株式会社 位置姿勢計測方法
US7720554B2 (en) * 2004-03-29 2010-05-18 Evolution Robotics, Inc. Methods and apparatus for position estimation using reflected light sources
JP4746896B2 (ja) 2005-03-24 2011-08-10 株式会社トプコン レーザ照射装置
US8625854B2 (en) * 2005-09-09 2014-01-07 Industrial Research Limited 3D scene scanner and a position and orientation system
US9858712B2 (en) 2007-04-09 2018-01-02 Sam Stathis System and method capable of navigating and/or mapping any multi-dimensional space
WO2009139945A2 (en) 2008-02-25 2009-11-19 Aai Corporation System, method and computer program product for integration of sensor and weapon systems with a graphical user interface
WO2009113484A1 (ja) * 2008-03-11 2009-09-17 株式会社ニコン 基準球検出装置、基準球位置検出装置、及び、三次元座標測定装置
US8348166B2 (en) 2008-05-20 2013-01-08 Trimble Navigation Limited System and method for surveying with a barcode target
US8803055B2 (en) 2009-01-09 2014-08-12 Automated Precision Inc. Volumetric error compensation system with laser tracker and active target
EP2226610A1 (de) 2009-03-06 2010-09-08 Leica Geosystems AG Geodätisches Vermessungssystem und Verfahren zum Identifizieren einer Zieleinheit mit einem geodätischen Vermessungsgerät
DE102009016585A1 (de) 2009-04-06 2010-10-07 Eos Gmbh Electro Optical Systems Verfahren und Vorrichtung zum Kalibrieren einer Bestrahlungsvorrichtung
DE102009045323A1 (de) * 2009-10-05 2011-04-07 Robert Bosch Gmbh Optisches Entfernungsmessgerät mit Kalibrierungseinrichtung
US8590377B2 (en) * 2010-02-08 2013-11-26 Massachusetts Institute Of Technology Inertial measurement unit
US8619265B2 (en) 2011-03-14 2013-12-31 Faro Technologies, Inc. Automatic measurement of dimensional data with a laser tracker
US8290726B2 (en) 2010-04-28 2012-10-16 Raytheon Company Photoconductive photodiode built-in test (BIT)
JP5281610B2 (ja) 2010-05-14 2013-09-04 西日本旅客鉄道株式会社 レーザー距離計付き撮影装置
JP6002126B2 (ja) * 2010-06-25 2016-10-05 トリンブル ナビゲーション リミテッドＴｒｉｍｂｌｅ Ｎａｖｉｇａｔｉｏｎ Ｌｉｍｉｔｅｄ 画像ベースの測位のための方法および装置
US8087176B1 (en) * 2010-06-28 2012-01-03 Trimble Navigation Ltd Two dimension layout and point transfer system
JP5705514B2 (ja) 2010-11-30 2015-04-22 株式会社ディテクト 発光マーカ装置
JP5803189B2 (ja) * 2011-03-23 2015-11-04 セイコーエプソン株式会社 ロボット装置

Also Published As

Publication number Publication date
CA2926705C (en) 2020-02-11
US20160238706A1 (en) 2016-08-18
EP3055649A4 (en) 2017-06-21
US10197675B2 (en) 2019-02-05
JP2016536580A (ja) 2016-11-24
EP3055649A2 (en) 2016-08-17
WO2015054194A3 (en) 2015-10-22
CN110455280A (zh) 2019-11-15
JP2019015739A (ja) 2019-01-31
CA2926705A1 (en) 2015-04-16
JP6585262B2 (ja) 2019-10-02
EP3055649B1 (en) 2023-03-01
US20150098079A1 (en) 2015-04-09
WO2015054194A2 (en) 2015-04-16
CN105745514A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105745514B (zh) 用于基于照相机的位置和取向测量的系统和方法
US9958268B2 (en) Three-dimensional measuring method and surveying system
US9562764B2 (en) Use of a sky polarization sensor for absolute orientation determination in position determining systems
US9377301B2 (en) Mobile field controller for measurement and remote control
US20070238073A1 (en) Projectile targeting analysis
EP3483554A1 (en) Surveying device, and calibration checking method and calibration checking program for surveying device
CN110737007A (zh) 用于获得地理空间位置的便携式定位设备和方法
US9618340B2 (en) Surveying instrument
JP2008268204A (ja) 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション
US10976158B2 (en) Device and method to locate a measurement point with an image capture device
KR101144200B1 (ko) 일반도화기에서 사용되는 영상도화이미지의 데어터 수집시스템
Rydell et al. Chameleon v2: Improved imaging-inertial indoor navigation
JP6783681B2 (ja) 演算装置、演算方法およびプログラム
CN114910933B (zh) 带视觉测量功能的rtk接收机系统、板卡及测量方法
EP4345412A1 (en) On-site compensation of measurement devices
CN107478213B (zh) 移动装置及用于移动装置的数据采集主动控制方法和装置
JP2024047242A (ja) 測量システム、測量方法およびプログラム
JP2024050349A (ja) 送光器および測量システム
CN116972830A (zh) 一种移动充电机器人的位置检测系统及装置
EP3688410A1 (en) Queue of data collection tasks for surveying instrument

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant