CN115668969A - 一种自推进载具 - Google Patents
一种自推进载具 Download PDFInfo
- Publication number
- CN115668969A CN115668969A CN202180036742.8A CN202180036742A CN115668969A CN 115668969 A CN115668969 A CN 115668969A CN 202180036742 A CN202180036742 A CN 202180036742A CN 115668969 A CN115668969 A CN 115668969A
- Authority
- CN
- China
- Prior art keywords
- self
- light
- propelled vehicle
- image
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
Abstract
本发明涉及一种自推进载具(100),包括:用于将光脉冲发射到自推进载具(100)之外的光发射装置;以及用于捕获位于自推进载具(100)之外的区域的图像的成像装置(1),所述成像装置(1)包括快门;其中,所述光发射装置与所述成像装置(1)的快门相协调,使得所述成像装置(1)在光脉冲的持续时间的至少部分期间捕获图像(50);所述光发射装置被配置为发射光脉冲,每个光脉冲的持续时间小于5000μs。本发明还涉及一种从自推进载具(100)捕获图像(50)的方法。
Description
技术领域
本发明总体上涉及自推进载具领域,更具体地,涉及自推进载具的导航领域。
背景技术
辅助自推进载具导航的系统,更具体地,辅助自主自推进载具导航的系统在本领域中是已知的。这些系统中的一些允许在黑暗中导航(例如,在没有照明的地下矿井中)。然而,这些系统中的大多数不适用于小型、轻型载具,例如用于室内检查的空中无人机。
Kauhanen,H.2008,“Close range photogrammetry-Structured light approachfor machine vision aided harvesting”,ISPRS Archives,vol.XXXVII,part B5,pp.75-80(以下称为“Kauhanen”)公开了一种具有两个摄像机和一个投影仪的机器视觉辅助收割机。投影仪将图案化的NIR光的脉冲投影到树上,并且摄像机捕获光脉冲被投影到其上的树的部分的图像。光谱滤光器允许区分捕获的图像中的图案化光,其是二进制形式,更具体地,黑和白形式。由于摄像机的定向是已知的,因此用两个摄像机拍摄的同一目标的图像可用于摄影测量任务。以这种方式,通过用两个摄像机同步拍摄同一目标的图像,所得到的数据可用于摄影测量任务,允许在接触单棵树之前测量单棵树的特征。使用砍伐树木的数据库对于规划随后的收割事件是有利的。然而,Kauhanen中公开的图案化光不允许跟踪图案化光投影到其上的对象,因为投影仪将跟随载具运动,从一帧到下一帧改变投影图案化光的光源的位置。光源的位置发生变化的结果是同一对象在不同帧中可能看起来非常不同,从而妨碍了对象的跟踪。此外,Kauhanen公开了与两个摄像机的使用组合使用图案化光。Kauhanen中的机器视觉辅助收割机需要多个(不止一个)摄像机,以同时从不同的视点捕获同一图像。此外,如果在小型载具(例如小型无人机或类似物)中实施Kauhanen所公开的机器辅助视觉系统,则摄像机之间的距离将被限制成仅为几厘米,因此,景深将被限制为非常近的范围。这种限制将使得载具不可能在大空间(例如,从小型载具到最接近的室壁的距离大约是摄像机之间的距离的十倍的空间)内导航。
WO2019/084595A1公开了一种用于在弱光条件下改善目标跟踪中的信噪比的系统和方法。WO 2020/014706 A1公开了一种能够在不同环境照明条件下操作的移动装置的视觉导航。US 2017/083748 A1公开了一种用于检测和跟踪可移动对象的系统和方法。US2018/348764 A1公开了一种用于提供无人机应用的易用的释放和自动定位的系统和方法。US2018/143018A1公开了一种投影平行图案的距离传感器。Mueller K等人:“Combinationof Wide Baseline Image Matching and Tracking for Autonomous UAV Approaches toa Window”,GYROSCOPY AND NAVIGATION,PLEIADES PUBLISHING,MOSCOW,vol.10,no.4,1October 2019(2019-10-01),pages 206-215,XP037006472公开了一种用于自主UAV接近窗口的宽基线图像匹配和跟踪的组合。
发明内容
本发明的第一方面涉及一种自推进载具,优选地涉及一种小型轻量载具,例如用于室内检查的空中无人机,包括:
光发射装置,其用于将光脉冲发射到自推进载具之外,例如可见光脉冲和/或红外光脉冲;以及
成像装置,其用于捕获位于自推进载具之外的区域的图像,该成像装置包括快门;其中
光发射装置与成像装置的快门相协调,使得在光脉冲的持续时间的至少部分期间,例如在光脉冲的持续时间的至少25%、50%、75%、90%或100%期间,优选地在所有光脉冲期间或在大多数光脉冲期间,由成像装置捕获图像。由此,光发射装置和成像装置之间的协调使得位于自推进载具之外的区域的图像在光脉冲的持续时间的至少部分期间被成像装置捕获。
根据该第一方面:
该光发射装置被配置为发射光脉冲,其中每个光脉冲的持续时间小于5000μs(例如小于4000、3000、2000或1000μs),但是优选地大于10、15、20或25μs。
已发现,将持续时间小于5000μs的光脉冲与足够高以避免或充分减少图像模糊的快门速度组合是有利的,例如曝光时间小于120、100、80或60μs,但优选大于10、15、20或25μs。这种组合保证了当自推进载具在黑暗中移动时所捕获的图像具有低模糊和模糊性(即,图像清晰且锐利),使得可以在基于图像匹配的应用中处理图像。使用低持续时间的光脉冲还用于最小化对应于光源的操作的能量消耗,这在小型空中载具的情况下可能是特别有利的。它还用于使热的生成最小化,这有时也是优点,使部件、特别是电子部件、更特别是光脉冲源的过热最小化。特别有利的是,使小型空中载具的电子部件的过热最小化,小型空中载具不能像在较大载具中那样远离光脉冲源,并且不能使用某些散热器,这些散热器可以用在对低重量和小尺寸的要求不像在小型空中载具的情况下那样严格的载具中。在本发明的一些实施例中,期望图像传感器的未来改进将允许曝光时间低于10μs。
在一些实施例中,每个光脉冲的持续时间小于4000、3000、2000或1000μs。这样,自推进载具每光脉冲生成更少的热量,并且因此可以在相同的时间量内发射更多的光脉冲。这允许从定位估计的角度提高性能,并提供增强的导航能力。
在一些实施例中,每个光脉冲的持续时间在20和2000μs之间。在这些实施例中的一些中,每个光脉冲的持续时间在20和50μs之间。已经发现,在基于近距离摄影测量的大部分导航时间(例如通常在室内导航中)期间内,20和50μs之间的持续时间是特别有利的,因为在生成光脉冲时能量消耗非常少,并且同时当自推进载具在黑暗中移动时捕获的图像具有低模糊和模糊性(即,图像清晰且锐利),使得可以在基于图像匹配的应用中处理图像。
在一些实施例中,自推进载具被配置为在自推进载具移动期间使光脉冲的持续时间适应位于成像装置视场内的对象所反射的光,该持续时间根据成像装置先前捕获的对象的至少一个图像进行适应。以这种方式,如果在图像中示出的对象太亮以至于其意味着所捕获的图像中的细节丢失,则可以减少随后的光脉冲的持续时间,以减少到达成像装置的光量,因此在所述随后的光脉冲期间减少所捕获的图像中示出的对象的亮度。由此,可以实时地适应由对象反射并由成像装置的图像传感器检测的光量。由对象反射的光量取决于诸如对象的目标表面的光反射率、自然光的量(如果存在)和从对象到成像装置的图像传感器的距离之类的参数。优选地,成像装置的孔径和增益保持恒定。
在一些实施例中,每个光脉冲几乎与曝光时间同时启动,使得光脉冲的启动与曝光时间的启动之间的时间差小于5、2或0.5μs。在这些实施例中的一些实施例中或在其他实施例中,每个光脉冲几乎在曝光时间结束的同时结束,使得光脉冲的结束与曝光时间的结束之间的时间差小于5、2或0.5μs,这可以例如通过一旦成像装置的光传感器接收到低于特定阈值的每单位时间的光量就结束曝光时间来实现。在一些实施例中,在曝光时间启动的同时启动光脉冲,和/或在曝光时间结束的同时结束光脉冲。这展示了充分利用光脉冲的优点,因为在曝光时间之外发射的光虽然到达成像装置,但未被成像装置的图像传感器检测到。
在一些实施例中,快门与光发射装置发射的至少一些光脉冲同步,优选地与光发射装置发射的所有光脉冲同步。在这些实施例中,光脉冲和快门之间的同步意味着:
每个光脉冲在曝光时间启动的同时启动,以及
光脉冲在曝光时间结束的同时结束。
与光发射装置发射的所有光脉冲同步的快门的优点在于,针对每个光脉冲捕获一个图像,从而减少光发射装置消耗的能量和所述装置生成的热量。
在自推进载具的常规操作期间内,持续时间较短的光脉冲展示较低的占空比。在一些实施例中,自推进载具被配置为发射占空比在0.05%和10%之间的光脉冲。在一些实施例中,占空比小于10%、5%、1%或0.5%。已经发现,在黑暗中基于近距离摄影测量的导航的大部分时间期间(例如,通常在室内导航中)使用0.1%和0.3%之间的占空比,并且更具体地使用0.2%的占空比(例如,每秒50个脉冲,每个脉冲具有40μs的持续时间)是有利的。以这种方式,光发射装置生成较少的热量,并且具有足够的时间来耗散所述热量。此外,光发射装置需要更少的能量用于照明。此外,较低的热耗散和较低的照明功率要求使得能够使用具有较低重量的较小部件,这是有利的,特别是在小型载具领域和飞行载具领域中。由于光发射装置发射光脉冲,所以光发射装置经受循环加热(即,当光发射装置发射光脉冲时)和冷却(即,当光发射装置不发射光脉冲时)。有利的是,光脉冲的持续时间明显短于两个连续光脉冲之间的时间长度(即,光发射装置不发射光的时间长度)。由此,光发射装置具有更多的时间来耗散在光脉冲的发射期间由光源生成的热量。
在一些实施例中,成像装置被配置为每秒捕获至少50个帧或图像。换言之,成像装置被配置为以至少每秒50帧的帧速率工作。在这些实施例中的一些中,成像装置被配置为捕获以下之一:至少每秒60、70、80、90或100帧,这取决于帧的应用。
由于光发射装置在两个连续的光脉冲之间具有足够的冷却时间,因此由光发射装置发射的光脉冲的低持续时间允许高的单位时间帧速率。此外,高的单位时间帧速率有助于减少在自推进载具移动时捕获的图像之间的照明和曝光变化。以这种方式,可以在捕获的图像之间发生大量的匹配。这使得图像匹配的效率增加,并且因此改善了摄影测量和/或计算机视觉算法的性能,减少了计算时间。这些特征使得信息的实时处理成为可能,这在自推进载具的导航方面是有利的特征。因此,这种效率的提高可以改善自推进载具的导航。
在一些实施例中,对以行捕获的图像(一个接一个)执行图像匹配。因此,在基于图像匹配的应用中处理的图像在照明和曝光中展示较低变化,这增加了图像匹配中的匹配,并且特别地,允许识别更多的连接点,因为在连续图像中,不同图像中显示的更多对象在所述不同图像中的一个以上是共同的,并且因此更多的参考点可以用于相对于所述对象定位自推进载具。
在一些实施例中,自推进载具被配置为根据由成像装置捕获的图像的第一多个连接点与成像装置捕获的另一图像的第二多个连接点之间的相对位置被引导,其中第一多个连接点是自推进载具的周围环境的位置的视觉表示,第二多个连接点是由第一多个连接点表示的自推进载具的周围环境的位置的视觉表示。在这些实施例中的一些中,两个图像中的每一个都是连续捕获的。
在一些实施例中,自推进载具被配置为执行存在于不同图像中的连接点的匹配,其中这些连接点优选地是在未图案化的光的脉冲期间捕获的图像内可识别的。已经发现,在用于自推进载具的导航的图像匹配中使用连接点是特别有利的,因为其允许实时导航;在其他实施例中,可以使用其他的图像处理方法。在一些实施例中,图像的连接点对应于对象的特征,对象在图像捕获时位于成像装置的视场内,被脉冲化但未图案化的光照射。因此,由成像装置捕获的图像相对于现实而言不会像由光发射装置发射的光被图案化那样失真。
在一些实施例中,光发射装置被配置为投影未图案化的光,即没有任何成形的图案(例如圆形、直线、正方形和/或任何其他形状)的光。在一些实施例中,光发射装置被配置为投影没有任何图形形式的光,其旨在全部或部分地被成像装置捕获。这些实施例是有利的,因为图案化的光或包括图形形式的光在成像装置捕获的图像中可能会遮蔽自推进载具周围环境的细节。换言之,由于光发射装置用于向自推进载具之外发射光脉冲(即,朝向自推进载具的外部引导),并且成像装置用于捕获位于自推进载具之外的区域的图像,因此由光发射装置发射图案化的光或包括图形形式的光可能在由成像装置捕获的图像中遮蔽位于自推进载具之外的区域的细节。因此,图案化的光或包含图形形式的光的投影可能会不期望地妨碍基于图像相对于其周围环境而对自推进载具进行定位的过程。
在一些实施例中,成像装置的快门为全局快门。在其他实施例中,快门是卷帘快门,只需适当地考虑(例如,避免或校正)在捕获的图像中存在的卷帘快门效应。在撰写本申请时,在本发明的上下文中,当与全局快门相比时,卷帘快门是不利的,因为全局快门捕获图像需要的时间较少(即,较低的曝光时间),因此需要被光发射装置照射的时间较少,并且可以实现较高的单位时间帧速率。因此,卷帘快门相对于全局快门是不利的,这是由于它们的较低能量效率和它们对实时三角测量的不利影响。然而,全局快门比卷帘快门昂贵得多,并且卷帘快门及其相关软件如今正在改进以处理卷帘快门效应,因此在不久的将来,卷帘快门在本发明的上下文中可能是有利的。尽管如此,用于基于近距离摄影测量(例如,通常在室内导航中)导航的图像的捕获并不需要比低分辨率全局快门昂贵得多的高分辨率全局快门。
在一些实施例中,成像装置被配置为将光转换为电信号,而不使用任何电放大器在转换中提供增益,更特别地,不使用任何电放大器为成像装置的光传感器生成的图像信号提供增益。高功率光脉冲的使用避免了对与成像装置的光传感器相关联的电放大器的需要。高功率的光脉冲可以通过向光发射装置提供高电功率的脉冲来生成。在每个高功率的光脉冲中提供给光发射装置的平均电功率(其包括由于照明而转换成热的电功率)可以是例如至少70、150、300或400W。在这些实施例中的一些中,小于35%、30%或25%的每个高电功率的脉冲的平均电功率被转换成热。电放大器通常用于在图像传感器中将光转换为电信号时提供增益。放大器的目的是人为地增加图像的亮度和曝光,特别是在黑暗中拍摄图像时。然而,放大器的使用(传统摄影中的图像增益或ISO)在图像中产生噪声,使像素颜色失真,并因此负面地影响图像匹配。由于光脉冲的高功率,该系统降低了图像噪声,改善了图像匹配,提高了载具定位和导航的可靠性,以及使用摄影测量技术产生的图像表面的3D模型的质量。
在一些实施例中,成像装置包括图像传感器,所述图像传感器包括光传感器阵列,并且该成像装置被配置为对该光传感器阵列的相邻光传感器进行像素合并(bin),以降低捕获的图像的像素分辨率,在这种意义上,该成像装置被配置为组合由该图像传感器的相邻光传感器检测到的信息(或者由该图像传感器的相邻像素检测到的信息),以在捕获的图像中创建一个单个像素。这样的好处是,相同的图像传感器可以用于捕获具有低像素分辨率的图像和具有较高像素分辨率的图像。在这些实施例中的一些中,相同的图像传感器既用于捕获用于导航目的的低分辨率图像,又用于捕获旨在用于后续处理任务的全分辨率图像。因此,在这些实施例中,可以使用单个图像传感器。低分辨率图像可以是灰度图像,以允许对低分辨率图像的快速处理,并且同时允许利用图像传感器的灵敏度。由相同图像传感器捕获的全分辨率图像可以是彩色图像。在本发明的上下文中,全分辨率图像是在没有对相邻的光传感器进行像素合并的情况下捕获的图像。
为了捕获低分辨率图像,优选将图像传感器的相邻光传感器进行像素合并,例如,以4x4矩阵。该像素合并的目的是通过增加图像的每个像素的面积来增加图像传感器的灵敏度,减少捕获图像所需的每光传感器的光量,从而减少整个系统的曝光时间和能量消耗以及热生成。因此,像素合并允许在相同的时间量内捕获更多的图像。此外,像素合并允许保持相同的视场。因此,由于通过像素合并减少了构成图像的像素的数量,因此用于识别连接点和用于与其他图像匹配的图像处理比相同处理应用于全分辨率图像的情况更快。这允许提高图像匹配算法的性能,并且允许减少在捕获图像和根据图像匹配计算自推进载具的位置之间所需的时间,这对于适当的载具导航是有利的。在这些实施例中的一些中,预计其用于导航目的的低分辨率图像的分辨率低于一百万像素。在一些实施例中,除了灰度色调外,图像的像素的颜色信息在处理用于导航目的的图像时不被使用。
在一些实施例中,使用相同的图像传感器来捕获全分辨率图像(例如,在标称传感器分辨率下,通常高于五百万像素),在必要时移除光传感器的像素合并。在自推进载具完成任务例如隧道检查任务之后,全分辨率图像可以进行进一步的后期处理。
在一些实施例中,机载处理单元可被配置为测量最近捕获的全分辨率图像与最近捕获的图像之间的表面重叠量,即图像区域的重叠量。当达到最近捕获的全分辨率图像和最近捕获的图像之间的重叠阈值(通常由用户根据应用确定的阈值)时,可以移除光传感器的像素合并,捕获可以保存在机载存储器上的全分辨率图像。在这些实施例中,可以使用较高分辨率的图像来代替全分辨率图像。该方法确保了全分辨率图像(或者当捕获较高分辨率图像而不是全分辨率图像时的较高分辨率图像)之间的重叠,这对于从全分辨率图像产生高分辨率摄影测量3D模型是有利的。此外,该方法允许最小化所捕获的具有全分辨率的图像的量,减少自推进载具所消耗的能量,因为捕获较高分辨率的图像比捕获低分辨率的图像消耗更多的能量。此外,该低/高分辨率切换技术集成了两个特征,即,用于导航的图像的生成和用于3D建模中的全分辨率的图像的生成,使用相同的图像传感器,降低了自推进载具的重量和成本,并增加了其3D建模能力。
在一些实施例中,光发射装置还发射光脉冲(或脉冲),其中每个光脉冲的持续时间最多为20000μs。这些具有较高持续时间的脉冲(或多个脉冲)在脉冲序列之后或之前发射,其中每个脉冲持续时间小于5000μs。与持续时间小于5000μs的脉冲不同,已经发现具有较高持续时间的脉冲通常不适合于在导航期间通过基于图像匹配的应用来定位载具。具有较高持续时间的脉冲适合于捕获具有较高分辨率的图像,其适合于3D建模。
在一些实施例中,光发射装置在捕获图像时均匀地照射成像装置的视场。以这种方式,图像匹配依赖于图像中示出的对象,这些对象固有地存在于自推进载具的周围环境中,并且不是由自推进载具人工创建的,例如通过投影图案化的光。
在一些实施例中,光发射装置包括光漫射器。用于发射光的部件的较低的重量和空间要求使得能够在自推进载具中引入诸如光漫射器的附加部件,而不会不适当地超过自推进载具的重量和/或空间要求。光漫射器是有利的,因为它使成像装置以增强的均匀性曝光于光,减少图像传感器的过度曝光并因此经受导致所捕获图像中的细节损失的过量光的区域。光漫射器在本发明的一些实施例中是特别有利的,在这些实施例中,光发射装置的光源比成像装置的视场小得多。这样,光漫射器可以最小化图像中表示的区域(所述区域在图像的捕获期间靠近光源)的过度曝光。这样,在图像的中心部分中表示的区域比图像中表示的其余区域更靠近光源的情况下,可以通过光漫射器使中心部分的过度曝光最小化。此外,这种增强的均匀性减少了不同捕获图像之间的阴影、光照和曝光的变化,这提高了图像匹配的性能。这种增强的均匀性在近距离成像领域中尤其有利,例如当载具接近想要躲避的障碍物时。
在一些实施例中,光发射装置被配置为发射光脉冲,光脉冲照射自推进载具前方的道路,同时照射成像装置的视场。
在一些实施例中,成像装置包括成像透镜,光发射装置包括多个光源,每个光源定向在与所述成像装置的成像透镜的光轴形成35°和55°之间的角度(例如40°和50°之间的角度,例如45°)的方向上。以此方式,成像装置的视场经受具有增强的均匀性的光。另外,以这种方式,由于光脉冲而生成的所述颗粒的阴影被最小化,因此悬浮在空气中的颗粒不太可能出现在图像上,从而提高了由成像装置捕获的图像的质量。
在一些实施例中,自推进载具通过推进器(例如,四旋翼)推进,光发射装置的光源(例如,LED)位于推进器附近,从而改善光源的散热。
在一些实施例中,自推进载具优选为相对较小的自推进载具,例如其尺寸允许自推进载具被容纳在立方体中的自推进载具,该立方体具有长度小于1m(例如小于50cm)的边,和/或重量小于4kg(例如小于2kg)。
根据本发明的另一个方面,本发明涉及一种从自推进载具捕获位于自推进载具外部的目标的图像的方法,该方法包括:
向目标发射光脉冲,其中每个光脉冲的持续时间小于5000μs,使得位于黑暗中的目标被光脉冲间歇地照射,以及
捕获目标的图像,
其中捕获目标的图像的步骤与向目标发射的光脉冲相协调,使得在光脉冲的持续时间的至少部分期间捕获图像。
在一些实施例中,该方法还包括计算载具定位信息的步骤,用于向自推进载具提供引导指令,其中,计算载具定位信息的步骤包括根据图像匹配算法(优选卡尔曼滤波)处理捕获的图像。以这种方式,自推进载具可以通过调整引导指令并因此调整其未来的运动来对其周围环境的障碍物作出反应。优选地,这些步骤在引导指令所针对的载具上执行,使得载具可以在基于卫星的地理定位被拒绝的情况下被引导。
上述定义的本发明的不同方面和实施例只要彼此兼容就可彼此组合。
本发明的其他优点和特征将从下面的详细描述中变得显而易见,并将在所附权利要求中特别指出。
附图说明
为了使描述完整,并为了更好地理解本发明,提供了一组附图。所述附图形成说明书的整体部分,并且示出了本发明的实施例,这些实施例不应被解释为限制本发明的范围,而仅作为如何实施本发明的示例。附图包括以下各图:
图1是根据本发明的实施例的自推进载具的成像装置的示意性表示的透视图,其中,成像装置保持PCB。
图2是根据本发明的实施例的自推进载具的成像装置和光发射装置的透视图。
图3是示出根据本发明的实施例的自推进载具的多个部件的操作示例的示意图。
图4示出了施加到光源(顶部)的光发射装置的照明功率脉冲和施加到用于触发照明功率脉冲的高速触发单元(底部)的触发电压脉冲的第一示例;照明功率脉冲在与触发电压脉冲相同的周期重复出现;光发射装置和高速触发单元是根据本发明的实施例的自推进载具的一部分。
图5示出了施加到光源(顶部)的光发射装置的照明功率脉冲和施加到用于触发照明功率脉冲的高速触发单元(底部)的触发电压脉冲的第二示例;照明功率脉冲在与触发电压脉冲相同的周期重复出现;光发射装置和高速触发单元是根据本发明的实施例的自推进载具的一部分。
图6示出了施加到光源(顶部)的光发射装置的照明功率脉冲和施加到用于触发照明功率脉冲的高速触发单元(底部)的触发电压脉冲的第三示例;照明功率脉冲在与触发电压脉冲相同的周期重复出现;光发射装置和高速触发单元是根据本发明的实施例的自推进载具的一部分。
图7示出了施加到光源(顶部)的光发射装置的照明功率脉冲和施加到用于触发照明功率脉冲的高速触发单元(底部)的触发电压脉冲的示例;光发射装置和高速触发单元是根据本发明的实施例的自推进载具的一部分。
图8是用根据本发明的实施例的自推进载具的成像装置捕获的第一图像的示意图。
图8A示出了图8的示意性表示,其中标记了用于图像匹配应用的示例连接点。
图8B示出了在图8A中表示的具有绿色连接点的灰度图像。
图9是用根据本发明的实施例的自推进载具的成像装置捕获的第二图像的示意图。
图9A示出了图9的示意性表示,其中标记了用于图像匹配应用的示例连接点。
图9B示出了在图9A中表示的具有绿色连接点的灰度图像。
图10示出了根据本发明的实施例的自推进载具。
具体实施方式
以下描述不应视为限制性的,而仅用于描述本发明的主要原理。将参照上述附图通过示例的方式描述本发明的实施例。
图1公开了一种包括壳体12的成像装置1。成像装置1的壳体12可以具有前侧、后侧、上侧、下侧和两个横向侧。成像装置1的透镜,优选地为定焦透镜11,可以布置在成像装置1的前侧。成像装置1的壳体12容纳图像传感器14(在图3中示意性地示出),这样壳体保护图像传感器14免受环境和在自推进载具的导航期间可能发生的振动的影响。成像装置1的壳体12包括载具附接装置13,用于将成像装置1的壳体12附接到自推进载具的一部分。优选地,载具附接装置13位于成像装置1的壳体12的后侧和/或上侧和/或下侧。
此外,成像装置1的壳体12可以保持四个PCB 2。图1仅示出了这四个PCB 2中的两个,另外两个PCB 2可以布置在定焦透镜11周围,使得四个PCB 2均匀地分布在定焦透镜11周围,使得PCB 2和由壳体12保持的最近的PCB 2之间的角距离是360°/4=90°。由于光源旨在安装在PCB 2上,因此PCB 2在定焦透镜11周围的均匀分布是有利的,因为这样,光源可以容易地以均匀的方式分布在定焦透镜11周围,使得定焦透镜11的视场被具有增强的均匀性的光照射。
在其他实施例中,成像装置1的壳体12保持N个PCB 2,其中N>4。如上所述,N个PCB2优选地均匀分布在定焦透镜11周围,使得PCB 2与最近的PCB 2之间的角距离为360°/N。
此外,有利的是,PCB 2位于成像装置1的视场之外。由此,成像装置1能够捕获自推进载具的周围环境的更多细节,以改进图像匹配算法的性能。
优选地,PCB 2附接至成像装置1的壳体12,使得PCB 2不与壳体12直接接触。由此,由光源生成的较少的热被传递到成像装置1的壳体12。更优选地,每个PCB 2的大部分表面未被覆盖,以改善散热。这是特别有利的,因为当自推进载具移动时,更多的热量通过对流的方式传递到空气中。
继续图1,每个PCB 2可适合安装光源,例如多个LED(例如,四至十六个LED),用于照射成像装置的视场,而不是具有较低照明功率的LED,例如仅用于发信号目的的LED。例如,光源可以包括多个高功率LED,例如多个LED,其中每个LED能够承受至少1、2或3A的额定电流和/或至少3、5或10W的电功率。优选地,每个PCB 2限定了相对于定焦透镜11的光轴形成45°角的平面。每个PCB 2可以是热优化的,包括PCB 2层之间的热传递路径和大面积的铜,以减小LED结点和空气之间的热阻。
如图2所示,LED 3可以以均匀的方式围绕定焦透镜11布置。这样,LED 3可以安装在几个PCB 2上(例如在四个PCB 2上),均匀地布置在透镜11周围。每个PCB 2的LED 3可以被布置为尽可能靠近PCB 2的最靠近定焦透镜11的边界。在每个PCB 2上,八个LED 3可以布置成平行的行,每行四个LED 3。为了改善连接点的识别,可以漫射由LED 3发射的光。所有的LED 3可以发射具有相同颜色的可见光。为了改善连接点的识别,由LED 3发射的光可以是漫射光。如图2所示,由每个PCB 2限定的平面可以相对于透镜11的光轴形成45°的角度。
如图2所示,LED 3(或其他光源)可布置为使每个LED 3定向为垂直于其安装的PCB2所限定的平面,这样,LED 3可定向为与定焦透镜11的光轴形成45°角。在图1和图2中,LED3位于成像装置1的壳体12的前侧,即,定位了定焦透镜11的成像装置1的一侧。优选地,LED3略微位于定焦透镜11的后面(这在图3中可以更容易地理解)。这并不排除其他实施例(未示出),其中附加光源(例如LED 3)相对于定焦透镜11布置在其他位置(例如,在成像装置1的壳体12的后侧,优选面向与定焦透镜11所面向的方向相反的方向),使得光更间接地行进,因为其在围绕自推进载具的对象上被反射更多次。
如图3所示,每个PCB 2上可安装高速触发单元21。高速触发单元21接通和关闭安装在同一PCB 2上的LED 3。高速触发单元21具有电子装置,该电子装置向LED 3发送用于照明的照明功率脉冲。照明功率脉冲在高速触发单元21接收到信号时启动,并且在高速触发单元21接收到另一个信号时结束,优选地在接收到诸如TTL信号的低功率信号时结束。照明功率脉冲可以小于6、5或4A,尽管优选大于0.5、1或2A的平均电流。高速触发单元21具有快速响应,这意味着高速触发单元21在接收信号和相应的照明功率脉冲的开始或结束之间仅需要很短的时间,例如需要小于5、2或0.5μs的时间。这可以通过使高速触发单元21的用于发送照明功率脉冲的部分与高速触发单元21的用于处理由高速触发单元21接收的信号的部分之间的电干扰最小化来实现。在其中曝光时间刚好在高速触发单元21接收到用于结束照明功率脉冲的相应信号之前结束的实施例中,快速响应是有利的,因为以这种方式,最小化了在曝光时间之外光源保持接通的时间量。在其中快速响应是有利的这些实施例中的一些中,由成像装置1生成用于结束照明功率脉冲的信号,例如由突然的电压降低构成的信号,并且当成像装置1的图像传感器已经结束了成像装置1所连接的处理单元4预先确定的曝光时间时,将该信号发送到高速触发单元21。在其他实施例(未示出)中,可以使用不同于LED 3的光源,所述光源必须足够快地响应于控制光脉冲发射的信号,并且优选地尽可能高效,以仅消耗很少的能量,特别是在发射光脉冲时。
用于向LED 3提供照明能量的电源5,例如锂离子电池,可与LED 3的高速触发单元21连接。另外,高速触发单元21可以连接到图像传感器,例如,全局快门图像传感器14(例如,CMOS图像传感器),该全局快门图像传感器14对光具有高灵敏度并且快速响应于触发图像捕获的信号。为了简明起见,图3示出了仅与位于所示出的成像装置1的下半部分中的PCB2的所述连接,但是可以理解,在其他PCB 2、它们的高速触发单元21、图像传感器14和电源5之间可以存在类似的连接。电源5提供由LED3发射光脉冲所需的能量。
由LED 3发射的部分光脉冲可被反射,例如,其可被自推进载具正在导航的地下洞穴的壁反射,然后光脉冲可穿过透镜11到达图像传感器14。图像传感器14可以连接到载置在自推进载具上的处理单元4。处理单元14可以被配置为向图像传感器14发送触发脉冲8,用于触发图像的捕获。这样,处理单元4控制成像装置1的快门的激活,并且可以设置曝光时间,尽管优选地,触发图像捕获的触发脉冲8仅启动图像的捕获,触发脉冲8的持续时间(或触发脉冲8的宽度)不向快门提供关于图像捕获的曝光时间的持续时间的信息。优选地,当图像传感器14停止接收光时,图像传感器14自动停用。
在接收到触发图像捕获的触发脉冲8时,全局快门图像传感器14可将触发脉冲6发送至LED 3的高速触发单元21。在接收到触发脉冲6时,高速触发单元21可以使得电源5向LED 3提供照明功率脉冲,以用于由LED 3发射光脉冲。优选地,由高速触发单元21接收的每个触发脉冲6的持续时间(或宽度)可以确定由高速触发单元21引起的照明功率脉冲的持续时间,并且因此确定光脉冲的持续时间。为了防止由于触发脉冲6的持续时间过长而产生的LED 3的过热,可以在图像传感器14和LED 3的高速触发单元21之间布置脉冲持续时间限制器7,也称为脉冲宽度限制器。
在图3中示意性地示出了在光脉冲被自推进载具的周围环境偏离(例如被自推进载具周围的环境的对象折射或反射)之前离开LED 3的光脉冲所遵循的光脉冲的路径23。优选地,该路径23不进入成像装置1的视场的中心体积9,中心体积9平行于定焦透镜11的光轴从定焦透镜11延伸。
在图像捕获中,将由图像传感器14检测的光转换为限定原始图像的电信号22。原始图像例如通过高速数据总线被传送到处理单元4。不对原始图像进行压缩可能是有利的,这样原始图像就能保留细节,如果对原始图像进行压缩,这些细节就会消失。处理单元4可以被配置为对从图像传感器14接收的原始图像进行处理。例如,处理单元4可以被配置为在自推进载具的移动期间识别后续原始图像中的连接点,以确定自推进载具相对于其周围环境所遵循的轨迹,并且校正其轨迹,例如,以避免与其周围环境碰撞。处理单元4可以被配置为在分析原始图像时(例如,在对原始图像执行图像匹配时),适应单位时间的图像速率。处理单元4可以被配置为在分析捕获的原始图像时(例如,在对原始图像执行图像匹配时),适应成像装置1的像素合并。处理单元4可以被配置为在分析捕获的原始图像时(例如,在对原始图像执行图像匹配时),适应在一个或多个图像的后续捕获中的曝光时间和/或光脉冲的持续时间。
处理单元4可被配置为将全分辨率图像和/或较高分辨率图像保存在与保存具有较低像素分辨率的图像的机载存储器不同的机载存储器中。
图10公开了示例自推进载具100,更具体地,无人机,其包括图2所示的成像装置1。如图10所示,自推进载具100的成像装置1是用于捕获自推进载具100的外部的区域的图像的成像装置1。无人机100包括四个臂,每个臂具有布置在其顶部上并靠近臂的末端的电机102。每个电机102可以耦接到叶片,以这种方式形成螺旋桨。
如图10所示,自推进载具100的光发射装置1包括用于向自推进载具100的外部发射光脉冲的光发射装置,更具体地,包括沿自推进载具100的每个臂布置的光源,例如LED。因此,自推进载具100具有增强照明功率和照明均匀性的优点。为了进一步增强照明均匀性,有利的是,臂具有不同的定向(即,臂彼此不平行)。图10公开了具有光源的所有四个臂,但是在其他实施例中,较少的臂可以具有光源。在其他不同的实施例中,自推进载具100可以具有多于四个臂,在这些实施例中的一些中,光源沿着每个臂延伸,而在这些实施例中的其他实施例中,光源仅沿着这些臂中的一些延伸。
如图10所示,光源优选地面向成像装置1的视场被定向为朝向的无人机100的一侧。在图10中未示出的其他实施例中,为了增强照明均匀性,一些光源面向无人机100的与成像装置1的视场被定向为朝向的一侧不同的一侧。
如图10所示,光源优选地沿无人机100的每个臂平行布置成两行。
沿自推进载具100的臂布置的光源可安装在PCB 101上,并且被配置成与安装在PCB 2上的光源同时并且以相同的持续时间发射光脉冲。这样,增加了光脉冲的照明功率,这允许捕获具有较高质量的图像和/或允许减少成像装置1在图像捕获中的曝光时间。
此外,由于臂靠近螺旋桨,螺旋桨产生的气流有助于光源散热,因此,将光源布置在臂中是有利的。
自推进载具100包括一个支腿103,支腿103布置在每个臂的纵向中心和臂的末端之间,在支腿103的顶部设有电机102。支腿103可有利地用于支撑自推进载具100的重量,并且用于在自推进载具100不飞行时为自推进载具100提供稳定性。
自推进载具100还包括附接到四个臂和成像装置1的中心板105。成像装置1可以通过后板106、减振装置108、上板107和下板(未示出)附接到中心板105的边缘。上板107和下板优选地是L形板。
上板107可以螺纹连接到成像装置1的壳体12的上侧。下板可以螺纹连接到成像装置1的壳体12的下侧。上板107和下板可以通过减振装置108附接到后板106。减振装置108优选地由橡胶制成。后板106附接到板105。
在一些实施例(未示出)中,后板106和上板107之间的连接使得后板106相对于上板107实现特定的定向角度(例如,与图10所示的角度不同的定向角度)。由此,实现了成像装置1和附接到壳体12的光源相对于自推进载具100的特定定向角度,使得成像装置1能够从不同于图10所示方向的方向捕获图像。例如,成像装置1的定向可以是向下定向,使得由成像装置1捕获的图像可以示出自推进载具100在其上飞行的地面的更大部分。或者,例如,成像装置1的定向可以是向上定向,使得由成像装置1捕获的图像可以示出自推进载具100在其下飞行的上空的更大部分。
板105可支撑箱体104,箱体104容纳电子部件,例如处理单元4或用于存储全分辨率和/或低分辨率图像的机载存储器。处理单元4可以通过电线109电连接到成像装置1。
自推进载具100包括电池连接器110,用于向自推进载具100的电子部件(例如,电机102、处理单元4、成像装置1和光发射装置)供电。
图4示出了光发射装置3的接通照明功率脉冲的示例分布。例如,接通照明功率脉冲可以由触发单元21发送到光源3。触发单元21可以从电源5获取接通照明功率脉冲所需的能量。在图4中,可以区分出对应于不同时间范围的四个区域。第一区域31和第三区域33,其中每单位时间具有更多的接通照明功率脉冲,以及第二区域32,其中每单位时间具有更少的接通照明功率脉冲。在图4中,当电压增加到特定电压值以上时(即,在每一近似垂直线中)接通光源3。
如图4所示,第一区域31开始于0ms,结束于约240ms。第一区域31和第三区域33的照明功率脉冲的周期为20ms,并达到约为11.0V的最大电压。第三区域33约从590ms开始,一直延伸到曲线图的末端,但实际上其持续时间可能比图4所示的更长。当受到第一区域31或第三区域33的照明功率脉冲时,由光源3发射的光脉冲适合于捕获具有低分辨率的图像,因为每单位时间照明功率脉冲的数量高(并且因此存在高数量的光脉冲)。
第二区域32分别在大约310ms和370ms处呈现两个照明功率脉冲。第二区域32具有大约120ms的持续时间。在此时间期间,处理单元4刷新图像传感器缓冲器,并且执行与用于随后的高分辨率图像的捕获的快门时间相关的一些配置。第二区域32的在310ms的照明功率脉冲达到大约11.0V的最大电压。第二区域32的在370ms的照明功率脉冲达到大约11.0V的最大电压。当受到第二区域32的照明功率脉冲时,由光源3发射的光脉冲适合于捕获具有全分辨率的图像,因为每单位时间的照明功率脉冲数量少(并且因此存在低数量的光脉冲)。由此,光源3可以在较高的持续时间期间保持接通而不烧毁,允许更多的时间用于捕获每个图像(即,允许捕获的每个图像曝光时间更长)。这些全分辨率图像可用于生成自推进载具的周围环境的表面的3D模型。
如上所述,第二区域32的每个接通照明功率脉冲持续的时间长于第一区域31或第三区域33的接通照明功率脉冲。光源3在每个照明功率脉冲的整个持续时间(或整个宽度)期间产生光。图4示出了其中光源3接通的照明功率脉冲的第一示例点71和其中光源3关闭的脉冲的第二示例点72。另外,图4示出了由所述照明功率脉冲产生的光脉冲的持续时间73。一旦光源在点72中被关闭,能量消耗就大大减少,直到下一个照明功率脉冲,因为光源3在它们被关闭时不消耗照明能量。从其中光源3被关闭的点72开始,直到下一个照明功率脉冲为止,大部分能量消耗可能是由于寄生电容的卸载。参考图7,将更好地理解照明功率脉冲的这些不同部分。
图4中的第四区域34大约在420ms和580ms之间延伸。在第四区域34期间,在第二区域32中捕获的全分辨率图像被传输到处理单元4,以存储在机载存储器中。
此外,图4示出了与照明功率脉冲32、31、33周期相同的触发电压脉冲41、42。从图4中可以看出,触发脉冲41、42几乎与光脉冲同时开始,并且几乎与光脉冲同时结束。触发电压脉冲41、42由成像装置1施加到高速触发单元21,以使高速触发单元发送照明功率脉冲32、31、33。触发脉冲41适合于捕获全分辨率图像。触发脉冲42适合于捕获较低分辨率的图像。在图4中示出了对应于第二区域32的触发脉冲41比对应于第一或第三区域31、33的触发脉冲42持续更长的时间。
图4示出了由高速触发单元21接收的每个触发脉冲41、42几乎在照明功率脉冲接通光源3的同时开始,因为可以观察到,触发脉冲41、42的开始几乎与照明功率脉冲的垂直部分共线。在一旦曝光时间启动,高速触发单元21就接收触发电压脉冲41、42的实施例中,与在曝光时间开始之前接通光源3相比,实现了较高的能量效率。
此外,图4示出了成像装置1的触发脉冲41和42达到约2.5V的最大值。
在图5中,可区分对应于不同时间范围的两个区域。第一区域31,其中每单位时间的照明功率脉冲的数量高(并且因此存在高数量的光脉冲),以及第二区域32,其中每单位时间照明功率脉冲数量少(并且因此存在低数量的光脉冲)。当照明功率脉冲的电压增加到高于特定电压值时(即,在每个近似垂直的线中),光源3被接通。
如图5所示,第一区域31在0ms开始,在约150ms结束。第一区域31的每个照明功率脉冲达到约11.0V的最大电压。第二区域32在约230ms开始,在约310ms结束。
由于每单位时间内有许多照明功率脉冲(以及光脉冲),因此,光源3在受到第一区域31的接通照明功率脉冲时发射的光脉冲适合于捕获具有低分辨率的图像。
第二区域32分别在约230和300ms处呈现两个光脉冲。第二区域32在230ms时的接通照明功率脉冲达到大约11.0V的最大电压。第二区域32的在300ms时的照明功率脉冲达到大约11.0V的最大电压。
光源3在受到第二区域32的照明功率脉冲时发射的光脉冲适合于捕获具有全分辨率的图像,因为每单位时间的照明功率脉冲(以及光脉冲)的数量少。由此,光源3可以在更长的时间段期间保持接通而不烧毁,从而允许更多的时间来捕获每个图像。
图5示出了以与照明功率脉冲32、31、33相同的周期重复出现的触发脉冲41、42。从图5中可以看出,触发脉冲41、42几乎与光脉冲同时开始,并且几乎与光脉冲同时结束。触发电压脉冲41、42由成像装置1施加到高速触发单元21,以使高速触发单元发送照明功率脉冲32、31。触发脉冲41适合于捕获全分辨率图像。触发脉冲42适合于捕获较低分辨率的图像。在图5中示出了第二区域32的触发脉冲41的持续时间高于第一区域31的脉冲42的持续时间。
图6示出了图4或图5中区域31的放大图。图6公开了由高速触发单元21接收的每个触发脉冲42几乎在照明功率脉冲接通光源3的同时启动。在一旦曝光时间启动,高速触发单元21就接收触发电压脉冲42的实施例中,与在曝光时间启动之前接通光源3相比,实现了较高的能量效率。
此外,图6示出了由高速触发单元21接收的触发脉冲42具有每秒50个脉冲的频率,并且光源3的照明功率脉冲呈现相同的频率,即每秒50个脉冲。快门1的触发脉冲达到2.5V的最大值。
图7示出了图6的第一区域31的照明功率脉冲311的放大图。照明功率脉冲311在大约100μs接通光源3,并且在大约140μs关闭光源3。由高速触发单元21接收的触发脉冲43几乎在与照明功率脉冲311接通光源3的同时启动。成像装置1在与光发射装置相关联的电子器件完全关闭之前停止捕获图像。如果图7中所示的照明功率脉冲311和触发脉冲43以图6中公开的频率发生,则光发射装置3将呈现大约0.2%的占空比。
由于照明而消耗的能量发生在光源3接通时(例如在图7中约在100和140μs之间)。当关闭光源3时,所涉及的电子器件的其余部分的一部分需要电能(例如,可能需要卸载寄生电容),但是当关闭光源3时,所述电子器件的所述部分消耗的能量的量与接通光源3时消耗的能量相比可以忽略不计。
图8和图9公开了由成像装置1捕获的图像的示意图50、60。所述图像是具有低分辨率的灰度图像的示例,其适合于在执行图像匹配应用时由处理单元4快速处理。
在捕获图像(诸如由50表示的灰度图像或由60表示的灰度图像)后,处理单元4在捕获的图像内查找并识别连接点511、611,并将连接点511、611保存在机载存储器中。图8A和9A分别示出了示例连接点511、611,其已经由处理单元4在分别由50和60表示的图像中识别。
在图8A和9A中可观察到,连接点511、611分别对应于50和60表示的图像的特征,其以它们相邻的轮廓具有高色彩对比度(例如,高灰度对比度),并且同时具有不同于与所述特征相邻的形状的特定形状。如果所述表示(图)是黑色和白色的,则在表示50和60中可能注意不到灰色阴影的高对比度,然而它们分别在图8B和9B中可以被理解。这样,处理单元4识别由连接点511、611表示的自推进载具的周围环境的特征,并且执行随后捕获的图像之间的连接点的匹配,以计算载具相对于其周围环境的位置,因此能够基于所述计算的位置进行导航。
更具体地,图8A示出了多个相互连接的杠条,其中处理单元4已经识别了交叉杠条的第一多个连接点511和杠条的突出部分的第二多个连接点511。
图9A示出了多个相互连接的杠条,其中,处理单元4已经识别了与杠条改变方向的区域相对应的第一多个连接点611、与具有不同纵向的杠条相交的区域相对应的第二多个连接点611、交叉杠条的第三多个连接点611和杠条的突起部分的第四多个连接点611。
通过这种方式,可在连续捕获的图像中识别自推进载具的周围环境的相同特征,因此,自推进载具的处理单元4可计算自推进载具相对于周围环境的所述特征的位置和相对运动。
在本文中,术语“包括”及其派生词(诸如“包含”等)不应以排除的意义来理解,即,这些术语不应被解释为排除所描述和定义的内容可包括其它元件、步骤等的可能性。
另一方面,本发明显然不限于在此描述的特定实施例,而是还包括在如权利要求中限定的本发明的一般范围内的本领域技术人员可以考虑的任何变化(例如,关于材料、尺寸、部件、配置等的选择)。
Claims (15)
1.一种自推进载具(100),包括:
光发射装置,其用于将光脉冲发射到所述自推进载具(100)之外;以及
成像装置(1),其用于捕获位于所述自推进载具(100)之外的区域的图像,所述成像装置(1)包括快门;其中,
所述光发射装置与所述成像装置(1)的快门相协调,使得所述成像装置(1)在光脉冲的持续时间的至少部分期间捕获图像(50);
其特征在于,
所述光发射装置被配置为发射光脉冲,其中每个光脉冲的持续时间小于5000μs。
2.根据权利要求1所述的自推进载具(100),其中,每个光脉冲的持续时间小于2000μs,并且优选地其中每个光脉冲的持续时间大于20μs。
3.根据前述权利要求中任一项所述的自推进载具(100),其中,所述自推进载具(100)被配置为在所述自推进载具(100)移动期间使所述光脉冲的所述持续时间适应位于所述成像装置(1)视场内的对象所反射的光,所述持续时间根据所述成像装置(1)先前捕获的对象的至少一个图像(50)进行适应。
4.根据前述权利要求中任一项所述的自推进载具(100),其中,所述自推进载具(100)被配置为发射具有在0.05%和10%之间的占空比的光脉冲。
5.根据前述权利要求中任一项所述的自推进载具(100),其中,所述成像装置(1)被配置为每秒捕获至少50张图像(50)。
6.根据前述权利要求中任一项所述的自推进载具(100),其中,所述自推进载具(100)被配置为根据由所述成像装置(1)捕获的图像(50)的第一多个连接点(511)与所述成像装置(1)捕获的另一图像(50)的第二多个连接点(511)之间的相对位置被引导,其中所述第一多个连接点(511)是所述自推进载具(100)的周围环境的位置的视觉表示,所述第二多个连接点(511)是由所述第一多个连接点(511)表示的所述自推进载具(100)的周围环境的位置的视觉表示。
7.根据前述权利要求中任一项所述的自推进载具(10),其中,所述自推进载具(100)被配置为执行存在于不同图像(50)中的连接点(511)的匹配,其中所述连接点(511)在未图案化光的脉冲期间捕获的图像(50)内是能够识别的。
8.根据前述权利要求中任一项所述的自推进载具(100),其中,所述成像装置(1)的快门是全局快门。
9.根据前述权利要求中任一项所述的自推进载具(100),其中,所述成像装置(1)被配置为将光转换成电信号,而不使用任何电放大器来在所述转换中提供增益。
10.根据前述权利要求中任一项所述的自推进载具(100),其中,所述成像装置(1)包括图像传感器(14),其包括光传感器阵列,并且所述成像装置(1)被配置为对所述光传感器阵列的相邻光传感器进行像素合并,以降低所捕获的图像(50)的像素分辨率。
11.根据前述权利要求中任一项所述的自推进载具(100),其中,所述光发射装置包括光漫射器。
12.根据前述权利要求中任一项所述的自推进载具(100),其中:
所述成像装置(1)包括成像透镜,并且
所述光发射装置包括多个光源(3),每个光源(3)定向在相对于所述成像装置(1)的所述成像透镜(11)的光轴形成35°和55°之间的角度的方向上。
13.一种从自推进载具(100)捕获图像(50)的方法,该方法包括:
向位于所述自推进载具(100)之外的目标发射光脉冲,其中每个光脉冲的持续时间小于5000μs;以及
捕获所述目标的图像(50);
其中,捕获所述目标的图像(50)的步骤与向所述目标发射的光脉冲相协调,使得在光脉冲的持续时间的至少部分期间捕获图像(50)。
14.根据权利要求13所述的方法,其进一步包括计算载具定位信息以向所述自推进载具(100)提供引导指令的步骤,其中计算载具定位信息的所述步骤包括根据图像匹配算法处理所捕获的图像(50)。
15.根据权利要求13-14中任一项所述的方法,其中,所述自推进装置(100)是根据权利要求1-12中任一项所述的。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20382269.7 | 2020-04-03 | ||
EP20382269.7A EP3890300B1 (en) | 2020-04-03 | 2020-04-03 | A self-propelled vehicle |
PCT/EP2021/058533 WO2021198387A1 (en) | 2020-04-03 | 2021-03-31 | A self-propelled vehicle |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115668969A true CN115668969A (zh) | 2023-01-31 |
Family
ID=70189892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180036742.8A Pending CN115668969A (zh) | 2020-04-03 | 2021-03-31 | 一种自推进载具 |
Country Status (10)
Country | Link |
---|---|
EP (1) | EP3890300B1 (zh) |
CN (1) | CN115668969A (zh) |
AU (1) | AU2021247114A1 (zh) |
CA (1) | CA3174555A1 (zh) |
CL (1) | CL2022002709A1 (zh) |
DK (1) | DK3890300T3 (zh) |
ES (1) | ES2943155T3 (zh) |
IL (1) | IL296910A (zh) |
PT (1) | PT3890300T (zh) |
WO (1) | WO2021198387A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023232592A1 (en) * | 2022-06-03 | 2023-12-07 | Ams International Ag | Picture recording arrangement, light source and method for operating a picture recording arrangement |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10488192B2 (en) * | 2015-05-10 | 2019-11-26 | Magik Eye Inc. | Distance sensor projecting parallel patterns |
EP3347789B1 (en) * | 2015-09-11 | 2021-08-04 | SZ DJI Technology Co., Ltd. | Systems and methods for detecting and tracking movable objects |
US10505057B2 (en) * | 2017-05-01 | 2019-12-10 | Symbol Technologies, Llc | Device and method for operating cameras and light sources wherein parasitic reflections from a paired light source are not reflected into the paired camera |
US10168704B2 (en) * | 2017-06-05 | 2019-01-01 | Hanzhou Zero Zero Technology Co., Ltd. | System and method for providing easy-to-use release and auto-positioning for drone applications |
DE112018005191T5 (de) * | 2017-10-31 | 2020-06-18 | Seeing Machines Limited | System und Verfahren zur Verbesserung des Signal-Rausch-Verhältnisses bei der Objektverfolgung unter schlechten Lichtbedingungen |
WO2020014706A1 (en) * | 2018-07-13 | 2020-01-16 | Labrador Systems, Inc. | Visual navigation for mobile devices operable in differing environmental lighting conditions |
-
2020
- 2020-04-03 EP EP20382269.7A patent/EP3890300B1/en active Active
- 2020-04-03 PT PT203822697T patent/PT3890300T/pt unknown
- 2020-04-03 ES ES20382269T patent/ES2943155T3/es active Active
- 2020-04-03 DK DK20382269.7T patent/DK3890300T3/da active
-
2021
- 2021-03-31 AU AU2021247114A patent/AU2021247114A1/en active Pending
- 2021-03-31 CN CN202180036742.8A patent/CN115668969A/zh active Pending
- 2021-03-31 CA CA3174555A patent/CA3174555A1/en active Pending
- 2021-03-31 WO PCT/EP2021/058533 patent/WO2021198387A1/en active Application Filing
-
2022
- 2022-09-29 IL IL296910A patent/IL296910A/en unknown
- 2022-10-03 CL CL2022002709A patent/CL2022002709A1/es unknown
Also Published As
Publication number | Publication date |
---|---|
EP3890300B1 (en) | 2023-01-25 |
IL296910A (en) | 2022-12-01 |
CA3174555A1 (en) | 2021-10-07 |
WO2021198387A1 (en) | 2021-10-07 |
PT3890300T (pt) | 2023-05-05 |
ES2943155T3 (es) | 2023-06-09 |
EP3890300A1 (en) | 2021-10-06 |
AU2021247114A1 (en) | 2022-12-08 |
DK3890300T3 (da) | 2023-05-01 |
CL2022002709A1 (es) | 2023-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6729561B2 (ja) | 光照射装置および光照射システム | |
KR102210928B1 (ko) | 향상된 화상을 형성하도록 장면의 대상들을 선택적으로 촬상하기 위한 방법 및 시스템 | |
CN108919294A (zh) | 测距摄像系统以及固体摄像元件 | |
EP1645844A1 (en) | Object recognition apparatus | |
CN110895678A (zh) | 脸部识别模块及方法 | |
CN108270970A (zh) | 一种图像采集控制方法及装置、图像采集系统 | |
KR102599609B1 (ko) | 전자 장치의 제어 방법 및 전자 장치 | |
US9992404B2 (en) | Method and system for adjusting camera focus to facilitate infrared imaging | |
JP2021532648A (ja) | ハイブリッド飛行時間型イメージャモジュール | |
CN111465819A (zh) | 借助伪随机图案序列的投射以及立体摄像模块的三维环境感测 | |
JP2023115027A (ja) | 無人航空機用の自己位置推定装置及び自己位置推定方法 | |
CN209991983U (zh) | 一种障碍物检测设备及无人机 | |
CN115668969A (zh) | 一种自推进载具 | |
CN110573981A (zh) | 控制方法与装置、云台系统、无人机和计算机可读存储介质 | |
JP2021072530A (ja) | 無人航空機 | |
JP2017112433A (ja) | 画像撮影装置、画像撮影方法、および画像撮影プログラム | |
JP6759921B2 (ja) | 測距装置、移動システム及び測距方法 | |
CN115022553B (zh) | 一种补光灯的动态控制方法和装置 | |
CN110720210B (zh) | 照明设备控制方法、设备、飞行器及系统 | |
CN111182287A (zh) | 发射模组、成像装置和电子装置 | |
CN112154715B (zh) | 智能辅助照明系统、方法、装置及可移动平台 | |
JP7168418B2 (ja) | 画像撮影装置及び遠隔画像監視システム | |
CN116648921A (zh) | 车载用传感系统以及门控照相机 | |
US20210287334A1 (en) | Information processing apparatus, information processing method, and program | |
EP4013037B1 (en) | Space mapping illumination in image system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40087781 Country of ref document: HK |