CN106662649B - 基于3d飞行时间照相机的动态跟踪系统和自动引导方法 - Google Patents
基于3d飞行时间照相机的动态跟踪系统和自动引导方法 Download PDFInfo
- Publication number
- CN106662649B CN106662649B CN201580042429.XA CN201580042429A CN106662649B CN 106662649 B CN106662649 B CN 106662649B CN 201580042429 A CN201580042429 A CN 201580042429A CN 106662649 B CN106662649 B CN 106662649B
- Authority
- CN
- China
- Prior art keywords
- beacon
- dimensional camera
- signal
- tracking system
- dynamic tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000004891 communication Methods 0.000 claims abstract description 20
- 230000003287 optical effect Effects 0.000 claims abstract description 16
- 238000002366 time-of-flight method Methods 0.000 claims abstract description 4
- 238000007405 data analysis Methods 0.000 claims abstract description 3
- 230000035945 sensitivity Effects 0.000 claims abstract description 3
- 230000033001 locomotion Effects 0.000 claims description 32
- 230000001934 delay Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 3
- 238000003032 molecular docking Methods 0.000 claims 1
- 238000005259 measurement Methods 0.000 description 16
- 230000005540 biological transmission Effects 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 238000012300 Sequence Analysis Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000013214 routine measurement Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S1/00—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith
- G01S1/70—Beacons or beacon systems transmitting signals having a characteristic or characteristics capable of being detected by non-directional receivers and defining directions, positions, or position lines fixed relatively to the beacon transmitters; Receivers co-operating therewith using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/74—Systems using reradiation of electromagnetic waves other than radio waves, e.g. IFF, i.e. identification of friend or foe
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
一种动态跟踪系统(3)包括基于飞行时间技术的三维照相机(2),所述三维照相机包括:对包括在特定波长范围内的光发射敏感的接收器,光信号的第一发射器(2c);微计算机(2a),其对接和计算来自所述接收器(2b)的三维信息并且控制所述发射器(2c),以及内部或外部辅助计算机(2d),其结合数据分析、数据库服务、对运载工具的控制和外部对接以及局部或全局数据通信服务。所述系统还包括对源自所述三维照相机(2)的第一光发射器(2c)的光信号敏感的信标(1),该信标(1)本身配备有光信号的第二发射器[图2,(1b)],该第二发射器的光信号的波长与所述三维照相机(2)的灵敏度兼容。所述信标(1)包括用于调制源自所述光信号的第一发射器(2c)的光信号的装置[图2,(1c、c'、d)]。所述三维照相机配置成测量由所述信标重新发射的信号的返回时间。所述调制配置成借助于所述三维照相机允许唯一识别所述信标(1)并且同时确定所述信标(1)在由所述三维照相机(2)的视场覆盖的三维体积中的位置。通过在所述三维照相机(2)的连续帧中分析所述信标的视距离,在所述微计算机中实现所述信标(1)的唯一识别。
Description
技术领域
本发明涉及一种用于在空中(例如无人机)、或在陆上(例如车辆)或在水上(例如船)移动的自主运载工具的动态跟踪系统和自动引导方法。
背景技术
在例行监视任务期间,例如,引入自主装置可能是有用的,该自主装置能够通过使用位于其路径上的参考点以适当方式操纵自身。诸如无人机、机器人或车辆的装置可以有利地配备有自动跟踪系统。这些装置通常在重量和总体尺寸方面受到约束。所以车载设备必须满足这些要求并且保持在体积和重量的可接受范围内。此外,运动中的装置必须能够快速跟踪和识别障碍物或其前进所需的参考点。事实上,由于设备的响应时间太长,在分析资源方面太苛刻的设备不能适应这些装置的速度。
发明内容
本发明的一个目的是提供一种可由飞行时间照相机唯一地识别的设备信标。
本发明的另一个目的是提供一种跟踪和引导系统或设备,其轻便、快速、自主并适应于运动中的任何装置,无论是在空中、陆上还是在水上。例如,系统可以与移动电话或任何其他移动通信装置(包括平板电脑、智能电话、诸如GPS的定位系统等)关联或组合或整合。
根据本发明,该目的借助于主动跟踪和引导系统或设备[图1,(1)和(3)]实现,允许在空间中定位运动中的对象[图1,(4)],并且允许以受控和自动方式定向其路线。
具体地,作为其目的,本发明具有一种动态跟踪系统,其包括基于飞行时间技术的三维照相机,所述三维照相机包括:对包括在特定波长范围内的光发射敏感的接收器,光信号的第一发射器;微计算机,其对接和计算来自所述接收器的三维信息并且控制所述发射器,以及内部或外部辅助计算机,其结合数据分析、数据库服务、对运载工具的控制和外部对接以及局部或全局数据通信服务。所述系统还包括对源自所述三维照相机的第一光发射器的光信号敏感的信标,该信标本身配备有光信号的第二发射器[图2,(1b)],该第二发射器的光信号的波长与所述三维照相机的灵敏度兼容。所述信标包括用于调制源自光信号的第一发射器的光信号的装置。所述三维照相机配置成测量由所述信标重新发射的信号的返回时间。所述调制配置成借助于所述三维照相机和至少两个被测量帧而允许唯一识别所述信标并且同时确定所述信标在由所述三维照相机的视场覆盖的三维体积中的位置。通过在所述三维照相机的连续帧中分析所述信标的视距离在所述微计算机中实现所述信标的唯一识别。
更特别地,系统包括彼此通信的两个或更多个实体。第一实体是包含光信号的发射器[图1,(2c)]的三维照相机[图1,(2)],并且第二实体以固定的或移动的信标[图1,(1)]的方式工作,信标能够识别由三维照相机[图1,(2)]发射的光信号,并且能够以主动方式朝着三维照相机[图1,(2)]重新传输该光信号,使得三维照相机[图1,(2)]可以测量将其与信标分离的距离,并且可以将其精确地定位在它的视场中。从信标[图1,(1)]朝着三维照相机[图1,(2)]的光信号的主动接收、调制和重新发射允许三维照相机[图1,(2)]从其视场中的所有其他测量点识别信标[图1,(1)]。所以信标[图1,(1)]返回比由三维照相机[图1,(2)]发射的信号的简单、被动光反射更强的光信号是不可缺少的。三维照相机[图1,(2)]优选地固定在形成自动引导的对象的运动中的装置[图1,(4)]上,或者包含在其中。与照相机通信的信标(图1,(1))可以是单个的或者可以形成布置在运动中的装置的路径上的一组若干信标[图3,(1)]的一部分。信标[图3,(1)]可以事先固定和布置在预先建立的路径上。它们也可以以随机方式分散,或者它们可以根据运动中的装置所针对的特定应用而处于运动中。
根据本发明,信标[图1,(1)]能够在传输之前调制由三维照相机发射的信号[图1,(2)],允许三维照相机[图1,(2)]精确地识别信标[图1,(1)]的性质。在装置的视场中有若干信标[图3,(1)]的情况下,每个信标[图3,(1)]以独特且特征的方式调制光信号。三维照相机[图3,(2)]然后能够在三维空间中精确地识别和定位在其视场中的每个信标[图3,(1)]。
在优选实施例中,以近红外发射光信号。
在另一优选实施例中,来自所述第一发射器的光信号是特征脉冲序列。
在另一优选实施例中,所述信标还包括从所述第一发射器发射的信号的分析系统和允许存储由所述第一发射器发射的信号的特征的数据库。
在另一优选实施例中,由所述信标重新发射的信号的调制包括在朝着所述三维照相机重新发射光信号之前的确定的延迟。
在另一优选实施例中,由所述信标重新发射的信号的调制包括:每当新开始所述三维照相机的帧采集时改变的若干连续延迟的预先建立的序列。
在另一优选实施例中,由所述信标重新发射的信号的调制包括波长的变化。
在另一优选实施例中,所述三维照相机还布置成连接到数据库,以允许识别由所述信标重新发射的信号的调制。
在另一优选实施例中,所述三维照相机另外包含能够将一个或多个指令传送到一个或多个信标的通信装置。
该引导系统[图1,(3)]的用途也是本发明的主题。用途的例子可以是需要特定和例行警戒的区域的监视。例如由于使用一个或若干无人机,监视可以是空中的。监视也可以是陆地的。诸如铁路线、道路网或城市区的区域可以有利地由配备有本发明的引导系统的自主设备(例如无人机)监视。封闭空间也可以配备有作为本发明主题的设备,例如医院、工厂或生产区域,包括运动中的机器。在后一种应用中,借助于三维照相机[图1,(2)]检测和分析配备有信标的机器的运动[图1,(1)]。另一种应用是跟踪货物的库存,其中待被跟踪的元件配备有信标[图3,(1)],所述信标包含能够特定于每个元件的信息,并且其中引导和跟踪系统[图3,(3)]允许跟踪它们的运动、它们的位置、它们的储存持续时间以及对于管理货物的库存必须遵守的任何其他信息。作为本发明主题的设备也可以用于城市测量,例如建筑物之间的距离、基础设施的尺寸和占用空间的测量,或随着建筑物的老化对它们的结构完整性的监视,其包括结构的沉降、漂移、倾斜、变形的测量。另一使用的例子可以是给定运载工具周围的运动中的运载工具的侦察和定位。所以环境的不断预警允许避免意外的碰撞。
在一个变型中,作为本发明主题的装置也可以应用于两个或更多个运载工具的自动引导[图4,(5a、b)],使得它们彼此跟随。在该情况下,安装或整合在一个运载工具[图4,(5b)]的后部处的信标[图4,(1)]能够与安装或整合在另一运载工具[图4,(5b)]的前部处的跟踪和引导系统[图4,(3)]通信,使得第二运载工具能够通过使用由本发明提供的距离和航向信息[图4,(6)]跟随并且与第一运载工具保持跟随距离。为了自动制图或参考目的,本发明也可以安装在由人驾驶的运载工具上。使用本发明的设备的另一例子是自动检测人的运动[图5]。可以使运动中的人配备以合适的方式定位在他身体上的不同位置处的一个或若干信标(图5,(1)],并且测量朝着定位在运动中的人的外部的支撑件上的三维照相机[图5,(2)]重新发射的这些信标的信号[图5,(1)]。该方法可以有利地用于创建动画,用于体育运动的科学分析,用于修正或运动再教育的目的,或用于需要对运动的检测和/或差异分析的任何其他活动。
在另一方面,本发明提供一种用于标记可能是公众感兴趣的对象的系统,由此对对象感兴趣的人或机器配备有连接到计算装置的三维照相机,系统还包括信标,所述信标布置成用在感兴趣的环境中唯一的代码来识别自身,由此使对对象感兴趣的人或机器能够识别对象并且接收关于对象的元信息。
事实上,本发明的跟踪和引导系统[图1,(3)]包括用于三维照相机[图1,(2)]的跟踪装置或方法[图1,(2)]。
然而,这些应用仅是非限制性例子,并且基于本发明的系统的任何应用也是本发明的主题。
根据另一方面,本发明也提供一种运动中的装置的自动引导方法,其包括以下步骤:
a)由基于飞行时间技术的三维照相机朝着信标发射信号,所述三维照相机包括在引导和跟踪系统中;
b)由所述信标接收信号并且朝着所述三维照相机重新发射非调制信号或调制信号,以及
c)由所述三维照相机接收和分析由所述信标重新发射的信号。
在另一优选实施例中,朝着所述信标发射的信号是脉冲光序列。
在另一优选实施例中,所述信号的调制包括一个或多个预定延迟的应用。
在另一优选实施例中,所述调制包含所述信标的特征。
在另一优选实施例中,所述调制包含用于启用或禁用所述运动中的装置的功能的信息。
在另一优选实施例中,所述方法还另外包括由所述引导和跟踪系统发射用于所述信标的指令。
附图说明
现在将在参考附图给出的下述说明书中详细地描述本发明的其他特征和优点,附图示意性地示出:
图1:配备有三维照相机[图1,(2)]的运动中的示例性装置[图1,(4)],所述三维照相机与用于帧序列分析并且用于提供数据库或提供到数据库的连接的微计算机[图1,(2d)]相连接,与重新发射即时或延迟的相应调制信号的信标[图1,(1)]通信;
图2:信标[图1,(1)]的框图表示,所述信标包括适合于三维照相机[图1,(2)]的光发射、将该光信号转换为电信号的接收器[图2,(1a)],优选地适合于三维照相机[图1,(2)]的灵敏波长范围并且将电信号转换成相应的光信号的光发射器[图2,(1b)],将电子信号从接收器[图2,(1a)]转发到发射器[图2,(1b)]而不进行调制[图2,(1c')]和进行调制[图2,(1c)]的装置,以及能够控制调制单元[图2,(1c)或(1c')]并且能够分析由接收器[图2,(1a)]接收的信号的计算机[图2,(1d)]。信标[图2,(1a、b、c、d)]可以包括内部或外部数据库[图2,(1e)],数据库存储关于信标[图2,(1a、b、c、d)]的标识的信息或将传输到三维照相机[图1,(2)]或将与从三维照相机接收的信息进行比较的任何其他感兴趣的静态或动态信息,信标还可以包括一个或多个内部或外部传感器或动作器[图2,(1f)],其测量或动作是感兴趣的以传送到跟踪和引导系统[图1,(3)],或者可以根据由跟踪和引导系统[图1,(3)]接收的命令来动作;
图3:跟踪和引导系统[图3,(3)和(1)],其包括连接到用于帧序列分析和数据库访问的计算机[图3,(2d)]的三维照相机[图3,(2)],以及多个信标[图3,(1)]和在三维照相机[图3,(2)]的视场中的被动反射背景或环境;
图4:跟踪和引导系统[图4,(3)和(1)],其包括安装在运载工具[图4,(5a)]上或整合在其中的、连接到用于帧序列分析和数据库访问的计算机[图4,(2d)]的三维照相机[图4,(2a、b、c)]和安装在至少一个或多个运载工具[图4,(5b)]的后部上或整合在其中的至少一个信标[图4,(1)],其中跟踪和引导系统[图4,(3)]提供运载工具在三维照相机[图4,(2)]的视场中的距离和航向数据[图4,(6)],允许运载工具的驾驶员支持或自动公路列车式跟随。
图5:根据本发明的跟踪和引导系统(图5,(3)),用于通过将信标[图5,(1)]附连到运动中的感兴趣部分并且使用跟踪和引导系统[图5,(3)]测量每个信标[图5,(1)]的航向和距离来跟踪人的运动;以及
图6:具有与信标[图6,(1)]通信的装置的跟踪和引导系统[图6,(3)],通信包括三维照相机[图6,(2)]的连续帧测量之间的时间的调制以能够朝着信标[图6,(1)]传输编码为该调制的信息。在另一实施例中,从跟踪和引导系统[图6,(3)]朝着信标[图6,(1)]的信息传输借助于连接到跟踪和引导系统计算机[图6,(2d)]的发射器或收发器[图6,(2e)]实现,其可以在无线电频谱或光谱中工作或使用合适的数据传输技术的任何其他手段来工作。信标上的接收器或收发器[图6,(1g)]适合于跟踪和引导系统发射器或收发器[图6,(2e)]的发射,并且可以从跟踪和引导系统[图6,(3)]接收单向信息或与其双向通信。
具体实施方式
本发明的跟踪和引导系统[图1,(3)]基于配备有光信号的发射器[图1,(2c)]的三维照相机[图1,(2)]以及能够识别三维照相机[图1,(2)]的光信号并且朝着三维照相机[图1,(2)]发射相同光信号或不同信号的至少一个信标[图1,(1)]。
由信标[图1,(1)]朝着三维照相机[图1,(2)]重新发射的光信号适合于三维照相机[图1,(2)]的特征,使得它们可以由三维照相机检测、分析和识别。三维照相机[图1,(2)]的光源可以发射人眼可见或不可见的光。在该情况下,大于780nm的波长对于人眼是不可见的,并且表现出不被环境光源污染的优点,并且此外不干扰人或在可见光波长范围内工作的任何其他成像系统。事实上,由三维照相机[图1,(2)]的发射器[图1,(2c)]发射的光有利地在红外范围内,但是,为了将其与任何热发射区别,发射器[图1,(2c)]优选地以近红外范围发射。所以,光优选地在包括在750nm到1000nm之间,更有利地在800nm到900nm之间的光谱中发射。然而,三维照相机[图1,(2)]在波长的更宽范围内保持功能,能够扩展到例如高达2000nm或更大。可以以下述方式改进三维照相机[图1,(2)]而不失去其主要功能:使得其根据特有且可能重复的序列发射脉冲光,该序列用作代码或用作识别密钥。因此,信标[图1,(1)]配备有数据库[图2,(1e)],该数据库包含由以这种方式改进的三维照相机[图1,(2)]发射的识别密钥或代码。因此能够识别三维照相机[图1,(2)]。
光信号的发射器[图1,(2c)]和接收器[图1,(2b)]与控制和处理计算机[图1,(2a)]一起是基于飞行时间原理的三维照相机的一体部分并且可作为商业产品获得。
信标[图1,(1)]发射由三维照相机[图1,(2)]可检测的光作为回答。信标[图1,(1)]优选地发射与由三维照相机[图1,(2)]发射的光相同的光谱。信标[图1,(1)]理想地根据与三维照相机[图1,(2)]相同的波长发射。由信标[图1,(1)]接收的光的脉冲序列一般保持在其朝着三维照相机[图1,(2)]的返回上。重新发射的光的序列被修改,即调制。配备有用于计算发射的光和接收的光之间的延迟的装置[图1,(2a)]的三维照相机[图1,(2)]能够测量将其与信标[图1,(1)]分离的距离。典型地在环境条件下的空气中,约1纳秒的延迟对应于大约三十厘米的路程。在该情况下,将三维照相机[图1,(2)]与信标[图1,(1)]分离的距离在大约十五厘米处测量,即,光从其发射到其由三维照相机[图1,(2)]接收的总路径的一半。可以实现用于计算距离的各种装置。在用于距离计算的特定模式中,三维照相机[图1,(2)]发送光脉冲并且测量延迟,在所述延迟之后它接收由在其视场中的被动反射对象重新发射的信号,包括一个或多个信标[图1,(1)和图3,(1)]的主动反射信号。延迟与将三维照相机[图1,(2)]与其视场中的对象分离的(并且因此与信标[图1,(1)]分离的)距离直接相关,并且直接相关,如上所述。在另一操作模式中,三维照相机[图1,(2)]发射具有幅度或相位调制的连续信号,并且测量在从其视场中的对象返回中(并且因此在从信标[图1,(1)]的返回中)接收的信号的调制的相位差。另一种距离测量模式包括由三维照相机[图1,(2)]发射特定数学类型或代码的一系列信号并且将它们与由其视场中的对象重新发射的(并且因此与由信标[图1,(1)]重新发射的)相应的一系列信号时移自相关。在该一系列信号的自相关之前应用了相应时移的接收上的延迟与将信标[图1,(1)]与三维照相机[图1,(2)]分离的距离直接成比例。
一般而言,在三维照相机[图1,(2)]中,也相对于非活动对象[图3,(7)]确定距离,即不同于主动地重新发射光信号的信标[图3,(1)]。特别地,在反射表面上被动反射三维照相机[图1,(2)]的信号就是该情况。然后可以使用上述用于确定距离的方法。
三维照相机[图1,(2)]的像素足以识别信标[图1,(1)],该信标表示通过限制资源的消耗和信号的处理时间而仅需要非常少的计算资源和保留非常好的反应性的优点。在三维照相机[图1,(2)]以及三维照相机[图1,(2)]的视场和范围内的信标[图1,(1)]的连续测量帧中,对于由三维照相机[图1,(2)]拍摄的每个新帧,信标[图1,(1)]的至少一个像素将以不同的距离出现。改变距离的序列可以包含信标[图1,(1)]的编码的、唯一的标识或由信标[图1,(1)]提供的其他数据,并且由跟踪和引导系统[图1,(3)]的计算机[图1,(2d)]提取和分析。
在一个变型中,三维照相机[图1,(2)]可以配备有屏幕。若干信标[图3,(1)]可以同时被定位。在该情况下,它们均激活由三维照相机[图1,(2)]拍摄的连续测量帧中的不同像素,并且在由跟踪和引导系统[图1,(3)]的计算机[图1,(2d)]提取和分析之后采取点集的形式。
根据实现方式的特定方面,三维照相机的发射装置[图1,(2c)]和信标的发射装置[图2,(1b)]是在近红外范围中以上面指定的波长发射的发光二极管或LED。替代地,也可以使用LASER或VCSEL类型的二极管。根据具体需要,三维照相机[图1,(2)]的发射装置可以在包括近红外和扩展超过近红外的波长范围(例如从750到2000nm的范围)内发射。根据具体需要,三维照相机[图1,(2)]的发射装置可以在包括或不包括近红外的其他波长范围内发射。特别地,发射可以在可见光范围内,并且不限于窄带发射,而是还可以覆盖部分或甚至全部可见光谱,甚至超出可见光谱,例如运载工具头灯,其被调制,并且除了用作三维照相机[图1,(2)]的照明的主要目的之外,还用于提供由跟踪和引导系统[图1,(3)]提供的被照明区域的三维表示,而不需要用于三维照相机[图1,(2)]的独立光源。
放置在三维照相机[图1,(2)]上的由信标[图1,(1)]重新发射的信号的接收装置理想地是CMOS或CCD类型的光子传感器,或任何类型的光电二极管或光电晶体管。若干传感器的组合也是可能的。可以类似地使用所使用的波长范围中的其他有源传感器。放置在信标上的接收器[图2,(1a)]优选地是光电二极管、光电倍增管或雪崩二极管类型。然而,能够将光信号转换为电信号的任何接收器都可以以类似的方式用在作为本发明的主题的设备中。若干接收器也可以被整合在信标中[图2]中,从而能够根据系统的应用以同时或交替的方式起作用。在该情况下使用的接收器[图2,(1a)]可以对给定波长范围或特定波长进行选择。
在特定实施例中,信标[图2]在没有延迟或调制[图1,没有调制]的情况下重新发射由三维照相机[图1,(2)]接收的光信号,或在调制[图1,有调制]之后重新发射信号。调制和非调制信号以大于来自信标[图2]的外壳的表面的简单自然反射的强度被重新发射。调制信号的重新发射可以与非调制信号相伴随或相继。调制和非调制信号也可以形成给定序列的主体并且重复一次或若干次。在该情况下,序列的重复符合三维照相机[图1,(2)]的测量帧速率,即三维照相机[图1,(2)]每秒提供数据点的全新集合的频率。
在优选的操作模式中,三维照相机[图1,(2)]的测量时间显著快于被测量的运动,使得可以在三维照相机[图1,(2)]的视场中的对象的被测量距离已显著变化之前建立两个或更多个连续测量或帧的序列。
因此,信标[图1,(1)]配备有用于在重新发射信号之前调制信号的装置[图2,(1c、d)]。为此,信标[图1,(1)]配备有接收器[图2,(1a)],该接收器适合于来自三维照相机[图1,(2)]的发射的波长和时间结构,并且将接收的信号转换为电子信号。然后借助于由嵌入式计算机[图2,(1d)]控制的电子调制器[图2,(1c)]调制该电子信号。该嵌入式计算机[图2,(1d)]也可以用于分析电子信号以能够对由三维照相机[图1,(2)]发射的序列做出适当反应,并且该嵌入式计算机可以访问存储关于信标[图2]的信息的数据库[图2,(1e)]或附连到信标的外部传感设备[图2,(1e)]。在调制之后,电子信号被转换回去并且借助于光发射器[图2,(1b)]在接收三维照相机[图1,(2)]的波长范围内被发射。该发射可以符合但不限于由三维照相机[图1,(2)]预期的光的敏感波长和时间结构。
信号的调制可以例如包括:在信号的重新发射之前应用存储数据库[图2,(1e)]中的约几纳秒的一系列预定延迟,该数据库在信标内部或连接到信标。可以由连接到三维照相机[图1,(2)]的跟踪和引导系统[图1,(3)]的计算机[图1,(2d)]将重新发射延迟与存储在数据库[图1,(1e)]中的值相比较,该数据库整合在或连接到跟踪和引导系统[图1,(3)]。以该方式,跟踪和引导系统[图1,(3)]能够识别信标[图1,(1)]。在优选的操作模式中,三维照相机[图1,(2)]执行由信标[图1,(1)]重新发射的信号的至少两个连续测量。没有延迟的重新发射和有延迟的重新发射的组合允许三维照相机[图1,(2)]测量将其与信标[图1,(1)]分离的变化视距离,同时使用跟踪和引导系统[图1,(3)]的计算机[图1,(2d)]识别信标[图1,(1)]。数据库(跟踪和引导系统[图1,(3)]连接到该数据库)例如可以是电子芯片的形式,但是可以使用用于在线或离线数据存储的其他装置,这取决于装置的用途。数据库也可以结合在跟踪和引导系统[图1,(3)]的计算机[图1,(2d)]中。
在特定实施例中,信标[图1,(1)]能够在光信号的重新发射之前应用可变延迟。延迟的变化可以是随机的或者可以遵循由嵌入式计算机[图2,(1d)]控制并存储在内部或外部数据库[图2,(1e)]中的预先建立的方案。在预先建立的延迟变化的情况下,信标[图1,(1)]可以例如根据以下序列重新发射信号:
接收信号→在没有延迟的情况下重新发射→以延迟1重新发射→以延迟2重新发射→以延迟3重新发射…
以上序列可以进行一次或几次。它也可以在循环中重复预定次数。它可以包括根据预先建立的顺序排序的多个可变延迟,优选2到50个不同延迟。该序列也可以包含重复一次或几次的一个或多个延迟。
序列“延迟1→延迟2→延迟3→延迟n..”表示由于其数据库而可由连接到三维照相机[图1,(2)]的跟踪和引导系统[图1,(3)]的计算机[图1,(2d)]识别的代码,其中n是所使用的延迟的数量。该预先建立的代码允许信标[图1,(1)]将特定信息发送到跟踪和引导系统[图1,(3)]。由延迟序列传输的信息可以仅仅是与跟踪和引导系统[图1,(3)]通信的信标[图1,(1)]的特征。在该情况下,重新发射的信号用作信标[图1,(1)]的签名或指纹,并且由于知道由信标[图1,(1)]施加的并存储在作为跟踪和引导系统[图1,(3)]的一部分的数据库中的延迟,允许将视位置校正为实际位置。信息可以另外包含不同性质的消息,例如命令,指令,危险消息,或适合于装置的使用的任何其他信息。由信标[图1,(1)]发射的补充信息项可以由信标[图1,(1)]执行或由连接到信标的传感器[图2,(1f)]进行的独立测量产生。它们也可以由合适的通信装置[图6,(2e)和(1g)]预先传输到信标[图6,(1)],所述通信装置包括Wi-Fi系统、无线电通信、红外通信或任何其他信息传输装置。
可以使用基于飞行时间原理的三维照相机[图1,(2)],例如可商购的三维照相机。在本发明中使用的三维照相机[图1,(2)]理想地能够具有每秒至少几十帧的帧速率,即使该概念可以应用于特定应用中的较慢帧速率。
在特定实施例中,在运动的装置[图1,(4)]中的机载跟踪和引导系统[图1,(3)]配备有与装置[图1,(4)]的命令通信的装置。因此它可以根据由信标[图1,(1)]重新发射的信息作用于装置[图1,(4)]的轨迹。在预先建立的路径上的区域监视的情况下,由信标[图1,(1)]传输的信息可以例如用于使装置导向下一信标[图1,(1)],或者替代地导向路径的另一信标[图1,(1)或图3,(1)]。在防碰撞系统的情况下,由信标[图1,(1)]传输的信息可以例如用于当与被识别信标[图1,(1)]的距离达到一定限度时停止装置[图1,(4)]。显然,可以传输旨在修改装置[图1,(4)]的轨迹的任何命令,以改变为光信号的调制。旨在启用或禁用装置[图1,(4)]的某些功能的命令也是可能的。例如,可能在接近特定信标[图1,(1)]时启用或禁用监视照相机。因此可以根据装置[图1,(4)]的特定应用管理装置[图1,(4)]的任何其他功能。非穷举地,其可以是通过照相机的监视,或在耕作区域上方的处理,或制图或拓扑系统的启用,声音记录系统的启用和/或停止,或用于分析空气或环境的另一成分或性质的系统。自主装置[图1,(4)]的功能可以专用于安全任务,例如监视或劝阻(但当关注执行特定和/或常规测量时也可专用于科学任务),侦察或探测任务,声音、热或高光谱制图任务,或跟随并且拍摄行动中的人(包括自拍)的无人机任务─—无人机可以停留在离人身上的信标恒定距离处并且每当被摄体处于场景中时可能也触发拍摄照片的事实是一个有利的属性。装置也可以带有由信标[图1,(1)和图3,(1)]根据上述模式来控制的声音或视觉或无线电警告系统或任何其他警告系统。
配备有根据本发明的跟踪和引导系统[图1,(3)]的自主装置[图1,(4)]可以在户外或在封闭环境中使用,例如机库、展览馆、隧道或另一定界环境。
在另一特定实施例中,由信标[图1,(1)]应用的延迟序列是随机的,使得传输的信息不能被三维照相机[图1,(2)]理解。信标[图1,(1)]然后用作干扰或伪装系统,优选地信标[图1,(1)]的发射器朝着三维照相机的接收器[图1,(2b)]发射,其功率水平优于三维照相机[图1,(2)]的视场中的被动反射对象发射的功率水平。
由信标[图1,(1)]进行的光信号的调制可以是延迟或延迟序列的应用,如上所述。替代地,调制可以包括相对于接收的信号改变重新发射的信号的波长。以与延迟类似的方式,由三维照相机[图1,(2)]接收的波长可以与数据库进行比较,并且可以允许能够由跟踪和引导系统[图1,(3)]理解的信息的通信。波长的变化可以是单个的或序列的。也可以优选地根据预先建立的方案以单个方式或以序列方式应用波长中的若干变化。波长的变化可以与延迟或延迟序列的应用组合或不组合。当若干信标[图3,(1)]有效时,每个信标[图3,(1)]可以独立于其他信标[图3,(1)]应用调制模式。所以跟踪和引导系统[图1,(3)]可以识别由一个信标[图3,(1)]执行的波长调制,以及由另一信标[图3,(1)]执行的特定延迟的应用而产生的调制。
根据优选的操作模式,三维照相机[图1,(2)]对其发射的信号保持不敏感,并且仅检测由位于其视场中的信标[图1,(1)]或多个信标[图3,(1)]重新发射的信号,而不是在视场中仅以被动方式反射而不改变波长的其周围环境的细节。所以信标[图1,(1)]需要在三维照相机[图1,(2)]敏感的波长范围内发射。由此便于检测、识别和定位信标[图3,(1)],并且也便于接收由信标[图3,(1)]重新发射的任何附加信息。
在另一特定实施例中,作为本发明主题的跟踪和引导系统[图1,(3)]允许三维照相机[图1,(2)]将信息发送到特定信标[图3,(1)]。跟踪和引导系统[图6,(3)]连接到通信装置[图6,(2e)],其可以与上述的发射装置相同或不同,并且允许跟踪和引导系统[图6,(3)]将特定指令发送到信标[图6,(1)]。特别地,三维照相机[图1,(2)]可以配备有在与近红外不同的波长中发射的光源[图1,(2c)]。替代地,它可以连接到例如Wi-Fi类型的无线电频率的发射装置[图6,(2e)],或允许将指令发送到信标[图6,(1)]的任何其他通信装置。在特定的操作模式中,跟踪和引导系统计算机[图6,(2d)]可以以特定方式改变三维照相机[图6,(2)]的两次测量之间的延迟。以该方式,由跟踪和引导系统[图6,(3)]用在光信号的发射上的特征延迟或时间结构包含或表示由信标[图6,(1)]识别的代码。与跟踪和引导系统[图6,(3)]使用的特定延迟或时间结构相关的代码对应于传输到信标[图6,(1)]的指令。在该特定模式中,指令可以在信标识别的同时由跟踪和引导系统[图6,(3)]传输到信标[图6,(1)]。信标[图6,(1)]配备有合适的接收装置,无论这是光伏或光敏传感器[图6,(1a)],无线电接收器[图6,(1a)]或Wi-Fi接收器,或能够接收或分析由跟踪和引导系统[图6,(3)]发射的信号的任何其他接收器或检测器。这使跟踪和引导系统[图6,(3)]能够同时地定位三维照相机[图6,(2)]的视场中的信标[图1,(1)]并向其发送指令或数据。由跟踪和引导系统[图6,(3)]返回到信标[图6,(1)]的指令的例子可以是用于开始或停止信标[图6,(1)]的指令。取决于使用,指令也可以用于修改由信标[图6,(1)]进行的信号的调制。所以由信标[图6,(1)]发射的信号在其与跟踪和引导系统[图6,(3)]通信之后可能变得不同。信标[图6,(1)]实际上可以改变签名,或改变用于跟踪和引导系统[图6,(3)]或在其随后的通路期间用于跟踪和引导系统[图6,(3)]的指令,或者同时改变签名和指令。
事实上,本发明是通过跟踪和引导系统[图1,(3)]跟踪信标[图1,(1)]的系统或装置或设备或方法,其包括三维照相机[图1,(2)]和连续帧分析计算机[图1,(2d)],所述计算机从三维照相机[图1,(2)]的数据流提取来自信标[图1,(1)]的编码消息。它也是引导运动中的自主装置[图1,(4)]的系统或装置或设备或方法。更特别地,本发明也涉及一种跟踪和/或引导方法,其包括以下步骤:
a)由基于飞行时间技术的三维照相机[图1,(2)]朝着信标[图1,(1)]发射信号,三维照相机包括在引导和跟踪系统中;
b)由信标[图1,(1)]接收信号并且朝着三维照相机[图1,(2)]重新发射未调制信号[图1,(1c')]或调制信号,以及
c)由三维照相机[图1,(2)]接收和分析由信标[图1,(1)]重新发射的信号,
d)重复步骤a)至c)至少一次,
e)使用跟踪和引导系统[图1,(3)]的计算机[图1,(3)]通过与数据库对照而对重新发射的信号进行分析,
f)执行任何指令。
在信标[图1,(1)]对信号的调制应用不同的延迟的情况下,步骤d)是必要的。
本发明也是用于在两个或更多个地理上分离的实体之间通信的系统或装置或设备。在优选实施例中,实体中的至少一个处于运动中。在该通信系统或装置或设备中,由实体发送或在实体之间交换的信息旨在直接或间接地自动引导运动中的实体。更特别地,通信协议包含以下阶段:
a)从三维照相机[图1,(2)]朝着信标[图1,(1)]发射信号,
b)由信标[图1,(1)]接收信号并且朝着三维照相机[图1,(2)]重新发射非调制信号或调制信号,
c)由三维照相机[图1,(2)]接收由信标[图1,(1)]重新发射的信号,
d)重复步骤a)至c)至少一次,
e)使用跟踪和引导系统[图1,(3)]的计算机[图1,(3)]通过与数据库对照而对重新发射的信号进行分析,
f)执行任何指令。
在信标[图1,(1)]对信号的调制应用不同的延迟的情况下,步骤d)是必要的。
作为本发明的主题的通信装置由如上所述的跟踪和引导系统[图1,(3)]和由如上所述的一个或多个信标[图1,(1)或图3,(1)]组成。通信协议中的补充步骤可以是从跟踪和引导系统[图1,(3)]朝着信标[图1,(1)]传输指令。可以在识别信标[图1,(1)]之前或之后执行从跟踪和引导系统[图1,(3)]朝着信标[图1,(1)]]传输指令。指令也可以在信标[图1,(1)]的识别的同时由跟踪和引导系统[图1,(3)]传输。
本发明的另一个目的是实现引导方法,其中由三维照相机[图1,(2)]朝着信标[图1,(1)]发射的信号是理想地由诸如红外二极管(LED,VCSEL或LASER类型)的装置产生的脉冲红外序列。在本发明的引导方法中,信号根据上述模态由信标[图1,(1)]重新发射。在该情况下,引导方法的优选实现方式包括信号的立即重新发射,其与在三维照相机[图1,(2)]的下一测量帧中的预定延迟之后的重新发射结合。信号的重新发射有利地根据特征序列被执行,所述特征序列能够包括若干不同延迟并且用作信标[图1,(1)]的签名或指纹,并且另外能够包含专用于机载跟踪和引导系统[图1,(3)]的信息。如这里所述,该方法根据上述模态允许用于信标[图1,(1)]的指令的可能通信(作为回答)。
本发明包括配备有上述系统或根据这里描述的方法引导的装置[图1,(4)]。装置[图1,(4)]可以是在空中(例如无人机)、或陆上(例如车辆)、或在水上(例如船)移动的自主运载工具。本发明也包括配备有这里描述的检测和引导设备[图1,(3)]的生产机器。本发明也包括用于由作为本发明的主题的装置对其运动进行分析的人[图5]或动物的设备的装置。自主或自动装置意味着它不载有人类驾驶员,并且其引导装置是自动的。另外,这里描述的系统可以用作人类驾驶的补充,用于辅助或安全目的[图4]。例如,当该系统用作被载人运载工具上的防碰撞系统时就是该情况。根据应用,这样的装置可以是无人机、机器人、机器或进行移动的任何其他机械装置。本发明还可以用于标记或标示可能是公众感兴趣的静态或移动对象,例如艺术品,或在对对象识别感兴趣以优化某些动作或工作流的环境中,例如在仓库中标记对象。对那些对象感兴趣的人或机器需要配备有三维照相机[图1,(2)],该三维照相机连接到类似于可以包括在例如智能电话或任何其他类型的手持设备或者包括在机器或机器人本身中的计算装置[图1,(2d)]。信标[图1,(1)]在感兴趣的环境或甚至世界范围内用唯一的代码来识别自身。这使对对象感兴趣的人或机器能够识别该对象并且接收关于该对象的元信息。为此,三维照相机[图1,(2)]可以但不一定连接到数据库,该数据库链接到并包含元信息。如果未连接到数据库,则关于对象的信息可以完全存储在信标上并由信标[图1,(1)]传输。该信息可以实时更新,例如,使用连接到信标的传感器[图2,(1f)]的传感器读数来实时更新。
Claims (25)
1.一种用于在空间中定位运动中的对象的动态跟踪系统,包括:- 基于飞行时间技术的三维照相机,所述三维照相机包括:对包括在特定波长范围内的光发射敏感的接收器,光信号的第一发射器;微计算机,其对接和计算来自所述接收器的三维信息并且控制所述第一发射器,以及内部或外部辅助计算机,其结合数据分析、数据库服务、对运载工具的控制和外部对接以及局部或全局数据通信服务;- 对源自所述三维照相机的第一发射器的光信号敏感的信标,该信标本身配备有光信号的第二发射器,该第二发射器的光信号的波长与所述三维照相机的灵敏度兼容,由此所述信标包括用于调制源自所述第一发射器的光信号的调制装置,所述三维照相机配置成测量由所述信标重新发射的信号的返回时间,其中所述调制配置成借助于所述三维照相机和至少两个被测量帧而允许唯一识别所述信标并且同时确定所述信标在由所述三维照相机的视场覆盖的三维体积中的位置;其中,由所述信标重新发射的信号的调制包括在朝着所述三维照相机重新发射光信号之前的确定的延迟;通过在所述三维照相机的连续帧中分析所述信标的视距离,在所述微计算机中实现所述信标的唯一识别。
2.根据权利要求1所述的动态跟踪系统,其中,所述光信号以近红外发射。
3.根据权利要求1或2所述的动态跟踪系统,其中,来自所述第一发射器的光信号是特征脉冲序列。
4.根据权利要求中1或2所述的动态跟踪系统,其中,所述信标还包括从所述第一发射器发射的信号的分析系统和允许存储由所述第一发射器发射的信号的特征的数据库。
5.根据权利要求1或2所述的动态跟踪系统,其中,由所述信标重新发射的信号的调制包括:每当新开始所述三维照相机的帧采集时改变的若干连续延迟的预先建立的序列。
6.根据权利要求1或2所述的动态跟踪系统,其中,由所述信标重新发射的信号的调制包括波长的变化。
7.根据权利要求1或2所述的动态跟踪系统,其中,所述三维照相机还布置成连接到数据库,以允许识别由所述信标重新发射的信号的调制。
8.根据权利要求1或2所述的动态跟踪系统,其中,所述三维照相机还包含能够将一个或多个指令传送到一个或多个信标的通信装置。
9.一种运动中的装置的自动引导方法,其特征在于,该方法包括以下步骤:a)由基于飞行时间技术的三维照相机朝着信标发射信号,所述三维照相机包括在引导和跟踪系统中;b)由所述信标接收信号并且朝着所述三维照相机重新发射调制信号,其中,信号的调制包括一个或多个预定延迟的应用,以及c)由所述三维照相机接收和分析由所述信标重新发射的信号。
10.根据权利要求9所述的自动引导方法,其中,朝着所述信标发射的信号是脉冲光序列。
11.根据权利要求10所述的自动引导方法,其中,所述调制包含所述信标的特征。
12.根据权利要求9至11中任一项所述的自动引导方法,其中,所述调制包含用于启用或禁用所述运动中的装置的功能的信息。
13.根据权利要求9至11中的任一项所述的自动引导方法,该方法还包括由所述引导和跟踪系统发射用于所述信标的指令。
14.一种将根据权利要求1至8中任一项所述的动态跟踪系统用于无人机或机器人的引导的方法。
15.根据权利要求14所述的方法,其中,所述无人机或机器人的引导包括所述无人机的特定命令的启用和/或禁用。
16.一种将根据权利要求1至8中的任一项所述的动态跟踪系统用于防碰撞预警的方法。
17.根据权利要求16所述的方法,其中,所述信标固定或整合在运动中的其他运载工具中。
18.根据权利要求16或17所述的方法,其中,所述防碰撞预警还包括所述运载工具的警告的启用和/或运载工具的停止。
19.一种使用根据权利要求1至8中的任一项所述的动态跟踪系统的方法,其中,所述信标用于干扰或伪装。
20.根据权利要求19所述的方法,其中,所述干扰包括随机调制,使得由所述信标重新发射的信号不被所述动态跟踪系统识别。
21.一种自动运载工具,其配备有根据权利要求1至8中的任一项所述的动态跟踪系统,或者该自动运载工具由根据权利要求9至13中的任一项所述的自动引导方法来引导。
22.根据权利要求21所述的自动运载工具,其中,信标安装在所述运载工具的后部处并且配置成与安装在第二运载工具的前部处的根据权利要求1至8中的任一项所述的动态跟踪系统通信,由此所述第二运载工具能够通过使用由所述动态跟踪系统提供的距离和航向信息跟随所述运载工具并且与运载工具保持距离。
23.一种用于标记能够是公众感兴趣的对象的系统,由此对对象感兴趣的人或机器配备有根据权利要求1所述的动态跟踪系统,在所述动态跟踪系统中,三维照相机连接到计算装置,信标链接到对象并且布置成用在感兴趣的环境中唯一的代码来识别自身,由此使对对象感兴趣的人或机器能够识别对象并且接收关于对象的元信息。
24.根据权利要求23所述的系统,其中,所述三维照相机包括在手持设备中。
25.一种使用三维照相机的用于测量由根据权利要求1至8中的任一项所述的动态跟踪系统中的信标重新发射的信号的返回时间的方法,由此所述动态跟踪系统包括两个或更多个三维照相机,其中至少一个三维照相机用作引导系统并且至少一个三维照相机用于测量由信标重新发射的信号的返回时间。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1401338A FR3022358A1 (fr) | 2014-06-12 | 2014-06-12 | Systeme de reperage dynamique et procede de guidage automatique |
FR14/01338 | 2014-06-12 | ||
PCT/EP2015/063238 WO2015189418A2 (en) | 2014-06-12 | 2015-06-12 | Dynamic tracking system and automatic guidance method based on 3d time-of-flight cameras |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106662649A CN106662649A (zh) | 2017-05-10 |
CN106662649B true CN106662649B (zh) | 2021-01-12 |
Family
ID=51726547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580042429.XA Expired - Fee Related CN106662649B (zh) | 2014-06-12 | 2015-06-12 | 基于3d飞行时间照相机的动态跟踪系统和自动引导方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US11016194B2 (zh) |
EP (1) | EP3155494B1 (zh) |
JP (1) | JP6782693B2 (zh) |
KR (1) | KR20170018037A (zh) |
CN (1) | CN106662649B (zh) |
CA (1) | CA2951763C (zh) |
ES (1) | ES2733106T3 (zh) |
FR (1) | FR3022358A1 (zh) |
RU (1) | RU2699177C2 (zh) |
WO (1) | WO2015189418A2 (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019010626A1 (zh) * | 2017-07-11 | 2019-01-17 | 深圳市柔宇科技有限公司 | 拍摄方法和终端 |
FR3070498B1 (fr) * | 2017-08-28 | 2020-08-14 | Stmicroelectronics Rousset | Dispositif et procede de determination de la presence ou de l'absence et eventuellement du deplacement d'un objet contenu dans un logement |
RU2670649C9 (ru) * | 2017-10-27 | 2018-12-11 | Федоров Александр Владимирович | Способ изготовления перчатки виртуальной реальности (варианты) |
EP3514574A1 (en) * | 2018-01-19 | 2019-07-24 | Koninklijke Philips N.V. | Time-of-flight imaging system for autonomous movable objects |
US11940262B2 (en) * | 2018-01-22 | 2024-03-26 | Fnv Ip B.V. | Surveying instrument for and surveying method of surveying reference points |
NL2020304B1 (en) * | 2018-01-22 | 2019-07-29 | Fugro N V | Method of and apparatus for monitoring positions on an object |
DE102018133281A1 (de) * | 2018-12-21 | 2020-06-25 | Sick Ag | Sensor und Verfahren zur Erfassung eines Objekts |
PE20220478A1 (es) * | 2019-08-30 | 2022-04-01 | Esco Group Llc | Herramienta de corte, sistema y metodos de monitoreo para equipo de trabajo en tierra y operaciones |
EP4172643A1 (en) * | 2020-06-25 | 2023-05-03 | Sony Group Corporation | Apparatuses and methods for collision avoidance |
US20230415891A1 (en) * | 2022-06-24 | 2023-12-28 | General Atomics Aeronautical Systems, Inc. | Relative navigation for aerial recovery of aircraft |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101889215A (zh) * | 2007-09-03 | 2010-11-17 | 塞莱斯系统集成公司 | 二次监视雷达中的应答检测 |
CN102004254A (zh) * | 2009-09-01 | 2011-04-06 | 三星电子株式会社 | 调制光学飞行时间相位估计中的延迟补偿 |
CN103824298A (zh) * | 2014-03-10 | 2014-05-28 | 北京理工大学 | 一种基于双摄像机的智能体视觉三维定位装置与方法 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4559597A (en) * | 1982-07-07 | 1985-12-17 | Clayton Foundation For Research | Three-dimensional time-of-flight positron emission camera system |
IL88263A (en) * | 1988-11-02 | 1993-03-15 | Electro Optics Ind Ltd | Navigation system |
CA2055198A1 (en) * | 1991-11-08 | 1993-05-09 | Raymond Carbonneau | Optical identification friend-or-foe |
US5367373A (en) | 1992-11-19 | 1994-11-22 | Board Of Regents, The University Of Texas System | Noncontact position measurement systems using optical sensors |
US7912645B2 (en) * | 1997-10-22 | 2011-03-22 | Intelligent Technologies International, Inc. | Information transfer arrangement and method for vehicles |
US5966226A (en) * | 1996-10-11 | 1999-10-12 | Oerlikon-Contraves Ag | Combat communication system |
US6266142B1 (en) * | 1998-09-21 | 2001-07-24 | The Texas A&M University System | Noncontact position and orientation measurement system and method |
JP2002526989A (ja) * | 1998-09-28 | 2002-08-20 | スリーディーヴィー システムズ リミテッド | カメラを用いた距離測定 |
RU2155322C1 (ru) * | 1999-08-09 | 2000-08-27 | Дубинский Александр Михайлович | Оптический дальномер |
US7489865B2 (en) * | 2002-02-01 | 2009-02-10 | Cubic Corporation | Integrated optical communication and range finding system and applications thereof |
US7054716B2 (en) * | 2002-09-06 | 2006-05-30 | Royal Appliance Mfg. Co. | Sentry robot system |
US6952001B2 (en) * | 2003-05-23 | 2005-10-04 | Raytheon Company | Integrity bound situational awareness and weapon targeting |
JP4464780B2 (ja) * | 2004-09-28 | 2010-05-19 | 株式会社日立製作所 | 案内情報表示装置 |
US20100004802A1 (en) * | 2005-01-25 | 2010-01-07 | William Kress Bodin | Navigating UAVS with an on-board digital camera |
US8451432B2 (en) * | 2005-06-09 | 2013-05-28 | Analog-Modules, Inc. | Laser spot tracking with off-axis angle detection |
JP4478885B2 (ja) * | 2005-06-28 | 2010-06-09 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに記録媒体 |
US7739034B2 (en) * | 2007-04-17 | 2010-06-15 | Itt Manufacturing Enterprises, Inc. | Landmark navigation for vehicles using blinking optical beacons |
EP2240798B1 (en) * | 2008-01-30 | 2016-08-17 | Heptagon Micro Optics Pte. Ltd. | Adaptive neighborhood filtering (anf) system and method for 3d time of flight cameras |
JP2010002225A (ja) * | 2008-06-18 | 2010-01-07 | Toshiba Corp | 可視光通信を利用した位置測定装置、位置測定システム、及び位置測定方法 |
WO2010123529A2 (en) * | 2008-12-19 | 2010-10-28 | Xollai, Llc | System and method for autonomous vehicle control |
US9091754B2 (en) * | 2009-09-02 | 2015-07-28 | Trimble A.B. | Distance measurement methods and apparatus |
US8643850B1 (en) * | 2010-03-02 | 2014-02-04 | Richard L. Hartman | Automated system for load acquisition and engagement |
JPWO2011155002A1 (ja) * | 2010-06-11 | 2013-08-01 | 村田機械株式会社 | 測距装置、および、走行車 |
US9300321B2 (en) | 2010-11-05 | 2016-03-29 | University of Maribor | Light detection and ranging (LiDAR)data compression and decompression methods and apparatus |
JP5775354B2 (ja) * | 2011-04-28 | 2015-09-09 | 株式会社トプコン | 離着陸ターゲット装置及び自動離着陸システム |
WO2013120041A1 (en) * | 2012-02-10 | 2013-08-15 | Massachusetts Institute Of Technology | Method and apparatus for 3d spatial localization and tracking of objects using active optical illumination and sensing |
WO2014024196A2 (en) * | 2012-08-09 | 2014-02-13 | Israel Aerospace Industries Ltd. | Friend or foe identification system and method |
-
2014
- 2014-06-12 FR FR1401338A patent/FR3022358A1/fr active Pending
-
2015
- 2015-06-12 RU RU2016150543A patent/RU2699177C2/ru active
- 2015-06-12 EP EP15733369.1A patent/EP3155494B1/en active Active
- 2015-06-12 WO PCT/EP2015/063238 patent/WO2015189418A2/en active Application Filing
- 2015-06-12 CA CA2951763A patent/CA2951763C/en active Active
- 2015-06-12 US US15/317,493 patent/US11016194B2/en active Active
- 2015-06-12 ES ES15733369T patent/ES2733106T3/es active Active
- 2015-06-12 CN CN201580042429.XA patent/CN106662649B/zh not_active Expired - Fee Related
- 2015-06-12 JP JP2017517416A patent/JP6782693B2/ja not_active Expired - Fee Related
- 2015-06-12 KR KR1020177000911A patent/KR20170018037A/ko active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101889215A (zh) * | 2007-09-03 | 2010-11-17 | 塞莱斯系统集成公司 | 二次监视雷达中的应答检测 |
CN102004254A (zh) * | 2009-09-01 | 2011-04-06 | 三星电子株式会社 | 调制光学飞行时间相位估计中的延迟补偿 |
CN103824298A (zh) * | 2014-03-10 | 2014-05-28 | 北京理工大学 | 一种基于双摄像机的智能体视觉三维定位装置与方法 |
Non-Patent Citations (1)
Title |
---|
多舰艇协同导航误差分析与算法研究;曾浩瀚;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20140415(第04期);正文第4,30-37页 * |
Also Published As
Publication number | Publication date |
---|---|
EP3155494B1 (en) | 2019-04-03 |
WO2015189418A3 (en) | 2016-02-04 |
JP6782693B2 (ja) | 2020-11-11 |
RU2016150543A3 (zh) | 2018-12-17 |
CA2951763C (en) | 2022-10-18 |
KR20170018037A (ko) | 2017-02-15 |
CN106662649A (zh) | 2017-05-10 |
EP3155494A2 (en) | 2017-04-19 |
FR3022358A1 (fr) | 2015-12-18 |
RU2016150543A (ru) | 2018-07-18 |
CA2951763A1 (en) | 2015-12-17 |
RU2699177C2 (ru) | 2019-09-03 |
WO2015189418A2 (en) | 2015-12-17 |
US11016194B2 (en) | 2021-05-25 |
US20170146659A1 (en) | 2017-05-25 |
ES2733106T3 (es) | 2019-11-27 |
JP2017526087A (ja) | 2017-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106662649B (zh) | 基于3d飞行时间照相机的动态跟踪系统和自动引导方法 | |
US11237263B2 (en) | High-precision time of flight measurement systems | |
US11226413B2 (en) | Apparatus for acquiring 3-dimensional maps of a scene | |
US11458615B2 (en) | Collision avoidance of mobile robots | |
CN106444843B (zh) | 无人机相对方位控制方法及装置 | |
JP2018522233A (ja) | 高精度飛行時間測定システム | |
CN109324634B (zh) | 一种飞行器及其定位方法、控制方法及光流模块 | |
US20180239368A1 (en) | Control device, optical device, and control method for tracking unmanned aerial vehicle, and system and program therefor | |
US11053005B2 (en) | Circular light source for obstacle detection | |
US20190041872A1 (en) | Method, an unmanned aerial vehicle, a system and a control circuit for emergency operation | |
US11899108B2 (en) | Time-of-flight imaging system for autonomous movable objects | |
KR102351057B1 (ko) | 재난 상황 복잡도를 기초로 무인항공기를 제어하기 위한 장치 및 이를 위한 방법 | |
CN207669312U (zh) | 智能机器人 | |
US11483070B2 (en) | Systems, methods, and devices for infrared communications | |
RBE et al. | THINK Robots | |
Choi et al. | Survey on Sensor-Based Distance Estimation: Methodological Approaches for Autonomous Vehicles and Robots | |
JP2021060695A (ja) | 警護用自律移動体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210112 |
|
CF01 | Termination of patent right due to non-payment of annual fee |