CN109990757B - 激光测距和照明 - Google Patents
激光测距和照明 Download PDFInfo
- Publication number
- CN109990757B CN109990757B CN201811619107.9A CN201811619107A CN109990757B CN 109990757 B CN109990757 B CN 109990757B CN 201811619107 A CN201811619107 A CN 201811619107A CN 109990757 B CN109990757 B CN 109990757B
- Authority
- CN
- China
- Prior art keywords
- signal
- camera
- distance
- illumination
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4911—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Abstract
本发明涉及激光测距和照明。一种方法可以包括:用参考信号调制激光器的属性以产生发射信号;以及将发射信号发散以用发射信号照亮照明场,其中照明场包括对象。该方法可以包括在传感器处接收从照明场和对象反射的信号,并将接收的信号的相位与参考信号的相位进行比较。该方法可以包括基于比较来计算到对象的距离。
Description
背景技术
随着相机和其他监视设备变得更便宜,这些设备正在激增。然而,有时黑暗会模糊或遮盖相机的视场中的对象。因此,相机(或计算机视觉)的操作员可能无法辨别该对象。因此,捕获对象的图像的过程可以涉及照亮场景以及聚焦在对象上。照明源可以是自然的或非自然的,并且附接到相机或与相机分离。聚焦可以由相机自动执行或由摄影师手动执行。当自动执行聚焦时,相机可以检测到要聚焦到的对象的距离。
发明内容
一种方法可以包括:利用参考信号调制激光器的属性以产生发射信号;以及将发射信号发散以利用发射信号照亮照明场,其中照明场包括对象。该方法可以包括:在传感器处接收从照明场和对象反射的信号;以及将接收的信号的相位与参考信号的相位进行比较。该方法可以包括:基于比较计算到对象的距离。该方法可以使操作员能够照亮场景。该方法还可以使得能够测量到对象的距离(例如,利用照明源)。该距离可以用于其他目的,诸如自动聚焦,并且该距离可以用于调节照明本身。例如,该方法可以使得能够利用照明源确定到对象的距离。
比较相位可以包括:测量接收的信号和参考信号之间的相位差;以及基于相位差计算到对象的距离。该方法可以包括:当计算的距离低于阈值时降低发射信号的平均强度。调制激光器的属性可以包括调制激光器的强度。例如,降低激光器的强度可以保持照明区域中对人们的安全的光照条件。该方法可以帮助防止对人类危险的照明条件并防止对人眼的伤害。
在传感器处接收可以包括:在相机中捕获包括由发射信号照亮的视场的图像;以及检测图像中的对象的边界。该方法可以包括:基于检测到的边界辨别接收的信号中与对象相关联的部分。测量相位差可以包括:测量接收的信号中与对象相关联的部分和参考信号之间的相位差。计算距离可以包括:基于接收的信号中与对象相关联的部分和参考信号之间的相位差来计算到对象的距离。例如,该方法可以使得能够利用照明源确定到对象的距离。该距离可以用于其他目的,诸如自动聚焦,并且该距离可以用于调节照明本身。例如,该方法可以使得能够利用照明源确定到对象的距离。
该方法可以包括:确定对象是人类,并且当计算的距离低于第一阈值时以及当确定对象是人类时降低激光器的强度。检测对象的边界可以包括检测人类的面部的边界。在传感器处接收可以:包括在相机中捕获由发射信号照亮的包括对象的视场的图像,其中计算的距离用作自动聚焦算法的参考点。该方法可以保持照明区域中对人们安全的光照条件。该方法可以帮助防止对人类危险的照明条件并防止对人眼的伤害。
自动聚焦算法可以是基于对比度的,并且计算的距离可以用于设置算法的下限和上限。下限和上限之间的差基于接收的信号的信号强度,使得低信号强度导致比高信号强度更大的差。该方法可以使光照明源能够用于自动聚焦(例如,距离计算)以及照明。
设备可以包括激光器、驱动器、透镜、传感器、混频器和处理器。驱动器可以用参考信号调制激光器的属性以产生发射信号。透镜可以使发射信号发散以用发射信号照亮照明场,其中照明场包括对象。传感器可以接收从照明场和对象反射的信号。混频器可以将接收的信号的相位与参考信号的相位进行比较。处理器可以基于比较来计算到对象的距离。该设备可以照亮场景。该设备还可以使得能够测量到对象的距离(例如,利用照明源)。该距离可以用于其他目的,诸如自动聚焦,并且该距离可以用于调节照明本身。
混频器可以测量接收的信号和参考信号之间的相位差,并且处理器可以基于相位差计算到对象的距离。当计算的距离低于阈值时,驱动器可以降低发射信号的平均强度。驱动器可以调制激光器的强度。例如,降低激光器强度可以保持照明区域中对人们的安全的光照条件。该方法可以帮助防止对人类危险的照明条件并防止对人眼的伤害。
该设备可以包括相机,以用于捕获包括由发射信号照亮的视场的图像。处理器可以被配置为检测图像中的对象的边界,并基于检测到的边界辨别接收的信号中与对象相关联的部分。混频器可以被配置为测量接收的信号中与对象相关联的部分和参考信号之间的相位差。处理器可以被配置为基于接收的信号中与对象相关联的部分和参考信号之间的相位差来计算到对象的距离。例如,该方法可以使得能够利用照明源确定到对象的距离。该距离可以用于其他目的,诸如自动聚焦,并且该距离可以用于调节照明本身。例如,该方法可以使得能够利用照明源确定到对象的距离。
处理器可以被配置为确定对象是人类。当计算的距离低于第一阈值时以及当处理器确定对象是人类时,驱动器降低激光器的强度。处理器可以被配置为检测人类的面部的边界。该方法可以保持照明区域中的对人们安全的光照条件。该方法可以帮助防止对人类危险的照明条件并防止对人眼的伤害。
相机可以被配置为捕获由发射信号照亮的包括对象的视场的图像,其中计算的距离用作自动聚焦算法的参考点。自动聚焦算法可以是基于对比度的,并且计算的距离用于设置算法的下限和上限。下限和上限之间的差基于接收的信号的信号强度,使得低信号强度导致比高信号强度更大的差。该方法可以使光照明源能够用于自动聚焦(例如,距离计算)以及照明。
附图说明
图1A是一个实施例中的具有监视具有对象的区域的相机的示例性环境的框图;
图1B是另一实施例中的包括多个相机的另一示例性环境的框图;
图2A是示出一个实施例中的图1A和1B的相机的示例性组件的框图;
图2B是示出图2A的相机控制器的示例性组件的框图;
图3是示出一个实施例中的计算模块的示例性组件的框图;
图4是类似于图1的环境但以人为对象的示例性环境的框图;
图5是一个实施例中的用激光器照明场景和测距的过程的流程图;
图6是示出一个实施例中的对象、边界和人类识别的示图;和
图7是另一个实施例中的利用激光器测距的过程的流程图。
具体实施方式
以下详细描述参考附图。不同附图中的相同附图标记表示相同或相似的元件。
如上所述,黑暗可能使相机视场中的对象模糊。结果,操作员(例如,和/或计算机视觉)可能无法辨别该对象。如这里使用的术语,“操作员”包括计算机视觉。例如,相机还可以用光(例如,不可见光)照亮对象以用于计算机视觉。如下所述,方法和系统允许操作员照亮场景。另外,照明方法可以允许测量到对象的距离以用于其他目的,诸如自动聚焦。此外,该距离可以用于调节照明本身。
然而,某些类型的照明在足够高的强度下对人眼是危险的。例如,近红外光可能是危险的,因为人们不能感知该光,并且人们在他的眼睛永久性伤害之前可能不知道充分保护自己。在这些情况下,一些规定要求将照明源放置在某些位置(例如,高位置)以降低伤害人眼的风险。也就是说,假设某些位置与人的距离足够大,使得永久性眼睛伤害的风险被认为可接受的低(即,到达眼睛的光的强度足够小)。
在一个实施例中,单独的距离传感器有时可以与近红外照明组合,使得当人足够靠近时可以降低(例如,关闭)强度。然而,这些传感器可能昂贵,并且可能使监视系统进一步复杂化。在另一个实施例中,照明源本身(例如,激光器)可以用于测量到对象的距离。然而,用于照亮的激光器也可能是“慢的”,因为测量距离的适当调制方案在技术上可能具有挑战性。使用激光器(例如,代替普通的发光二极管)使得发射的光能够容易地变焦或发散。例如,当要由变焦聚焦相机捕获被照亮的场景时,该属性也可能是有用的。
图1A是具有监视具有对象102的区域106的相机110示例性环境100A的框图。环境100A可以是例如监视区域或提供公共安全的安全或监视系统。对象102可以包括特定的感兴趣对象,诸如门、人、动物、车辆、牌照等。
相机110包括相机透镜组件116和相关联的传感器,以捕获被监视区域106中的图像和视频。相机110可以包括例如使用可见光、红外光和/或其他不可见的电磁辐射来捕获图像数据的视频相机。捕获的图像数据可以包括连续图像序列(例如,视频)、有限图像序列、静止图像和/或其组合。相机110可以包括用于捕获和数字化图像的数字相机和/或用于捕获图像和以模拟格式存储图像数据的模拟相机。如这里所使用的,“视频数据”和“视频”可以更一般地分别称为“图像数据”和“图像”。因此,除非另有说明,否则“图像数据”或“图像”意味着包括“视频数据”和“视频”。同样地,除非另有说明,否则“视频数据”或“视频”可以包括静止图像。
相机110可以使用可见光、红外光和/或其他不可见的电磁辐射(例如,紫外光、红外光、近红外光、太赫兹辐射、微波辐射等)来捕获图像数据。相机110可以包括热相机和/或用于雷达成像的雷达。捕获的图像数据可以包括连续图像序列(例如,视频)、有限图像序列、静止图像和/或其组合。相机110可以包括用于捕获和数字化图像的数字相机和/或用于捕获图像并以模拟格式存储图像数据的模拟相机。
相机110包括照明源112以用照明光104照明场景(称为“照明场”)。在该示例中,照明场包括对象102。照明源112可以包括激光器(例如垂直腔表面发射激光器)、发光二极管(LED)、白炽灯泡和/或氙闪光灯。从照明源112发射的光可以包括红外光、近红外光、可见光和/或其他频率的光。相机110可以包括其他类型的照明源或不止一个照明源。
相机110包括接收环境100中的光的传感器114。例如,传感器114检测反射光105,该反射光105在该示例中已经从对象102(例如,来自照明光104)反射。当相机110使用传感器114检测到低光条件时,相机110可以增加照明源112的输出。同样,当相机110使用传感器114检测到改善的光条件时,相机110可以减少照明源112的输出。传感器114可以另外或者可替代地包括检测相机110和对象102之间的距离的距离传感器。在一个实施例中,如果确定对象102足够靠近,则相机110可以减少照明源112的输出。相机110可以包括其他类型的传感器或者可以包括不止一个传感器。
尽管环境100A包括相机110,但是相机110可以采用任何类型的监视设备的形式,诸如用于检测监视区域106中的运动的运动检测器、用于捕获监视区域106中的热图像的热相机,或者热检测器。此类其他监视设备也可以使用照明和/或测距。
图1A的环境100A包括一个相机。另一方面,图1B是另一实施例中的包括多个相机的另一示例性环境100B的框图。如图1B所示,环境100B包括相机110-A到110-N、网络120和监视站130。相机110统称为“相机110”并且分别称为“相机110”。如上所述,相机110可以包括其他类型的监视设备。
网络120使环境100B中的设备能够彼此通信。例如,相机110可以彼此通信并且与监视站130通信。网络120可以使一个相机110-A能够与诸如相机110-N的其他相机110通信并协调照明。如果对象102(诸如人)太靠近用于照明的相机110-A,则相机110-A可以请求另一相机(诸如相机110-N)对对象102照明。同样地,监视站130可以与相机110中的任何一个通信。
网络120可以包括一个或多个电路交换网络和/或分组交换网络。例如,网络120可以包括局域网(LAN)、广域网(WAN)、城域网(MAN)、公共交换电话网(PSTN)、自组织网、无线网状网、内联网、因特网、基于光纤的网络、无线网和/或这些或其他类型的网络的组合。
监视站130使操作员能够连接到特定相机110以查看图像和/或视频,使操作员能够配置相机110和/或以其他方式管理相机110。监视站130还可以使操作员能够监视环境100A(包括对象102)。例如,操作员可以监视环境100A以进行入侵检测以保护建筑物。
监视站130可以包括被配置用于与相机110通信的任何设备。这样,操作员可以从任何其他相机110管理任何相机110。例如,监视站130可以包括便携式通信设备(例如,移动智能电话和/或其他类型的无线设备);个人计算机或工作站(例如,具有监视器、键盘、鼠标等);服务器设备;笔记本电脑、平板电脑或其他类型的便携式计算机;和/或具有通信能力的任何类型的设备。在一个实施例中,监视站130可以是相机110的一部分。
尽管图1A和图1B示出了环境100A和100B的示例性组件,但在其他实施方式中,环境100A和100B可以包括比1A和图1B中所描绘的更少的组件、不同的组件、不同地布置的组件或附加组件。附加地或可替代地,任何一个设备(或任何设备组)可以执行描述为由一个或多个其他设备执行的功能。
图2A是示出一个实施例中的相机110的示例性组件的框图。在该示例中,相机透镜组件116(参见图1A)包括光学链202、传感器阵列204、图像透镜电机272和图像透镜控制器270。此外,照明源112(参见图1A)包括透镜235、光源234、光源驱动器232、参考信号发生器230、照明电机控制器239和照明透镜电机237。此外,传感器114(参见图1A)包括检测器透镜241、检测器240、放大器242、带通滤波器238、信号比较器236、距离计算器244和距离表246。传感器144还可以包括检测器透镜控制器245和检测器透镜电机243。
在一个实施例中,相机110可以包括安全组件,该安全组件包括安全参考252和安全比较器248。相机110还可以包括其他组件,诸如图像处理器208、相机控制器210、存储器209、视频编码器214和通信接口216。
以下组件可以以硬件实现(在图2A中用暗化背景示出):光源234、光源驱动器232、参考信号发生器230、信号比较器、带通滤波器238。放大器242。检测器240、距离计算器244、距离表246、安全参考252和/或安全比较器248。其他组件也可以以硬件而不是软件实现,诸如检测器透镜控制器245、照明电机控制器239和/或图像电机控制器。
光学链202包括附件(enclosure),该附件将入射辐射203(例如反射光105)引导至传感器阵列204以基于入射辐射捕获图像。入射辐射203可以包括可见光、红外光、近红外光、毫米波等。光学链202包括一个或多个透镜212(以单数形式称为透镜212)以收集来自“视场”(例如,在被监视区域106中)的入射辐射203并将其聚焦到传感器阵列204上。
入射辐射203穿过透镜212以将视场聚焦到传感器阵列204上。聚焦和视场取决于光圈(未示出)的物理特性和透镜212的放置,透镜212可以通过由图像透镜控制器270控制的图像透镜电机272进行移动。图像透镜电机272可以包括不止一个电机(例如,用于不止一个透镜212),但这里以单数形式表示。
传感器阵列204可以包括用于记录、感测和测量入射在或落在传感器阵列204上的辐射(例如,光)的传感器阵列。辐射可以在可见光波长范围、红外波长范围,或者其他波长范围内。传感器阵列204可以包括例如电荷耦合器件(CCD)阵列和/或有源像素阵列(例如,互补金属氧化物半导体(CMOS)传感器阵列)。传感器阵列204还可以包括微测辐射热计(例如,当相机110包括热相机或检测器时)。在替代实施例中,传感器阵列204可以是可以使用扫描硬件(例如,旋转镜)来形成图像的线性阵列,或者是可以依赖于图像处理器208和/或控制器210来产生图像传感器数据的非阵列传感器。
作为照明源112的一部分,光源234提供光以照亮相机110的场景和/或检测从相机110到对象的距离。光源234可以包括激光器(诸如垂直腔表面发射激光器)、LED、氙闪光灯和/或白炽灯泡。从光源234发射的光可以包括红外光、近红外光和/或可见光。其他类型的光源和激光器也是可行的。
来自光源234的输出可以穿过透镜235以照亮照明场。透镜235可以包括一个或多个透镜,但在本文中以单数形式表示。从光源234输出的光穿过透镜235,使得光发散(图1A的照明光104)以照亮比在没有透镜235的情况下更大的区域。光的发散程度取决于透镜235的物理特性和放置,透镜235可以通过由照明电机控制器239控制的透镜电机237进行移动。照明透镜电机237可以包括不止一个电机(特别是如果存在不止一个透镜235),但在本文中以单数形式表示。在光源234是激光器的实施方式中,与来自LED的光输出相比,可以更精确地控制光输出的发散。在一个实施例中,除了使用发散透镜235之外或代替使用发散透镜235,可以机械地移动照明源112(例如,用于扫描被监视区域106)。
光源234可以使用除近红外之外的频率,诸如微波或紫外光。较小波长的光(例如,作为激光器的输出)允许光聚焦成较小的光点(例如,照明场),这可以增加空间分辨率。此外,窄的光学带通滤波器(图2A中未示出)可以提供滤除除了所用波长之外的波长的光的方法。这可以降低噪声并提高信噪比(SNR)。
在一个实施例中,“照明场”(通过照明光104)的照明可以对应于由光学链202和透镜212聚焦的视场(例如,由传感器阵列204捕获)。换句话说,如果传感器阵列204在一定距离处感测到窄视场,则照明光104可以照亮在该距离处的相同窄视场。换句话说,照明场可以与相机传感器阵列204的视场匹配。换句话说,光源234的照明场(由透镜235控制)可以与被聚焦(通过透镜212)在传感器阵列204上并由传感器阵列204捕获的视场匹配。
光源驱动器232驱动(即,提供电压和电流)光源234。来自光源234的光输出的强度取决于例如由光源驱动器232供应到光源234的电压和/或电流。在一个实施例中,光源驱动器232在接收到ENABLE信号时驱动光源234;并且当它没有接收到ENABLE信号时不驱动光源234。例如,光源驱动器232仅在其接收到ENABLE信号时驱动光源234。在该实施例中,当安全比较器248确定条件是安全的时,安全比较器248输出ENABLE信号;并且当安全比较器248确定条件不安全时,安全比较器248不输出ENABLE信号(或输出NOT ENABLE信号)。
参考信号发生器230产生参考信号,参考信号被输出到光源驱动器232。参考信号也可以称为“调制信号”。参考信号允许驱动器232根据参考信号调制从光源234发射的光的强度。换句话说,光源驱动器232可以基于参考信号改变输出到光源234的电流和/或电压。在这些情况下,光(例如,近红外光)是参考信号的载波信号。在不同的实施方式中,参考信号可以采用不同的形式。例如,参考信号可以是正弦的或包括脉冲(例如,切屑脉冲(chipping pulse))。作为正弦信号,参考信号的频率可以在例如0.1MHz和100MHz之间的范围内。在一个实施方式中,调制信号(即,参考信号)使得照明光104的调制具有足够低的幅度和足够高的频率,以便不引起由相机110拍摄的图像中的干扰。也就是说,减小光104的调制的幅度并增加调制的频率可以减少由相机110捕获的图像的斑点。
作为传感器114的一部分,检测器240感测光,诸如从光源234发射并从对象102反射的光。例如,检测器240可以包括光检测二极管和/或电荷耦合器件(CCD)。在一个实施例中,检测器240输出与照射在检测器240上的光的强度成比例的模拟信号。结果,检测器240通过剥离载波信号(即光)有效地解调载波信号(如果反射光105上存在任何载波信号)。
在一个实施方式中,由检测器240接收的光穿过检测器透镜241,使得来自“检测场”的光会聚(或聚焦)到检测器240上。透镜241可以包括不止一个透镜,但是这里以单数形式表示。光的会聚程度取决于光圈以及检测器透镜241的物理特性和放置,检测器透镜241可以通过由检测器透镜控制器245控制的检测器透镜电机243进行移动。照明透镜电机237可以包括不止一个电机(特别是如果存在不止一个透镜235),但在本文中以单数形式表示。
在一个实施例中,传感器114的检测场中的光的检测(如由透镜241控制)可以与聚焦(例如,通过相机透镜组件116)在传感器阵列204上并由传感器阵列204捕获的视场匹配。换句话说,如果传感器阵列204正在一定距离处捕获特定视场,则检测器240(与透镜241组合)可以检测来自该距离处的该特定视场的光。附加地或可替代地,如果照明光104在一定距离处发散到特定的照明场,则传感器114(与透镜241组合)可以检测来自该距离处的特定照明场的光。换句话说,传感器114的检测场可以与照明场匹配并/或可以与由相机透镜组件116捕获的视场匹配。在一些实施例中,传感器114的检测场不对应于照明场并/或不对应于相机透镜组件116的视场。例如,检测场可以大于照明场;或者检测场可以小于照明场。
在另一个实施例中,透镜241可以是没有检测器透镜电机243或检测器透镜控制器245的定焦透镜。在该实施例中,检测器240的检测场比用可以由检测器透镜电机243和检测器透镜控制器245移动的透镜更全向,并且传感器114的检测场可以比照明源112的照明场更宽。在又一个实施例中,检测器240与光源234共用透镜235,使得照明场与传感器114的检测场相同。在又一个实施例中,可以完全省略透镜241,并且检测器240不与透镜相关联。
因为反射光105可能较弱,所以检测器240的输出也可能较弱。在一个实施方式中,检测器240的输出由放大器242放大以增加信号强度。带通滤波器238输入来自放大器242的信号并去除噪声和/或隔离所需频率(例如,对应于参考信号的频率)。带通滤波器238的输出被传递到信号比较器236。带通滤波器238的输出可以被称为“解调信号”。
信号比较器236将参考信号(即,从参考信号发生器230输出)与解调信号(从带通滤波器238输出)进行比较。在一个实施例中,信号比较器236的输出与到反射照明光104(作为反射光105)的对象102的距离成比例。可以使用不同的技术来将参考信号与解调信号进行比较。例如,如果参考信号是正弦的,则信号比较器236(例如,干涉仪)可以输出参考信号和解调信号之间的相位差,该相位差与到对象的距离成比例。在另一实施例中,参考信号可以包括啁啾(chirped)激光脉冲。在一个实施方式中,信号比较器236使用相干检测,其中混频操作在光域中完成。在相位检测系统中以及当使用啁啾激光脉冲时可以使用相干检测。
在一个实施方式中,信号比较器236包括正交相位检测器。如果参考信号是具有频率fm的正弦波,则解调信号也具有fm的频率(假设非移动对象102)但是由于信号已经行进到对象102的距离d并再次返回而具有相位差。可以使用混频器(例如,干涉仪)测量相位差。混频器是如下的一种设备:其输入是频率为f1和f2的两个周期信号,其输出是具有差频与和频以及谐波的信号。这是通过在时域中乘以输入信号来实现的。非线性设备可以用作混频器。在一个实施例中,测量相位差可以包括参考信号和接收的信号的模拟混频。混频模拟信号可以用作阈值检测的反馈。
正交相位检测器可以允许将被测量的对象102的相位差θ和反射率。可以使用反射率来补充和增强距离测量,从而提供额外的尺寸和自由度。这可以以确定某些特定对象(例如人)的存在或甚至存在的对象的分类的形式来利用,而不是仅仅测量到它们的距离。此外,正交相位检测器允许快速执行距离计算(例如,通过硬件电路)。因为这些测量基于连续波的相位,所以高测量速率(例如,以8kHz的速率测量距离,取决于调制频率fm)是可行的。
距离计算器244可以基于从信号比较器236输出的信号确定从相机110到对象102的距离。例如,如果信号比较器236输出相位差,则距离计算器244可以访问距离表246以确定到对象406的相应距离(或多个距离)。如果距离是不明确的(即,不止一个解),则参考信号发生器230可以改变参考信号(例如,改变到不同的频率)以解决任何模糊性。也就是说,解决模糊性的方案可以包括使用不是彼此的谐波的不同调制频率的组合。距离计算器244可以包括例如数字逻辑(例如,数字处理器)和/或模拟逻辑(模拟处理器)。
在一个实施方式中,距离计算器可以测量高达27米的距离,精度具有15厘米的标准偏差,测量速度为8kHz。例如,10MHz到90MHz之间的正弦参考信号允许计算的距离在10米到30米之间。100MHz至1GHz之间的正弦参考信号可以允许计算的距离精确到厘米。大约1MHz的正弦参考信号可以允许计算的数百米的距离。这里描述的实施方式可以使用这些频率的组合。
在一个实施方式中,信号比较器236包括飞行时间检测器。利用该实施方式,参考信号可以包括短脉冲强度。然后,信号比较器236可以测量脉冲返回的时间(例如,通过将接收的信号与参考信号进行比较)。如果信号比较器236输出飞行时间,则距离计算器244可以通过将飞行时间乘以光速并且除以2来确定距离。使用飞行时间可以允许500kHz的距离测量速率。
安全比较器248将计算的距离与安全阈值进行比较。在该实施方式中,安全参考252是认为对被照明光104照亮的人安全的最小距离。在一个实施例中,安全参考252可以包括安全距离和对应光强度的表。如果计算的距离小于相应的安全参考252,则安全比较器248可以禁用光源234的持续照明。如果计算的距离大于安全参考252,则安全比较器248可以启用光源234的持续照明。尽管安全参考252可以是常数,它也可以是取决于许多因素的因素,诸如来自光源234的光的发散程度和/或由光源234发射的光的强度。安全比较器248可以包括例如数字逻辑(例如,处理器)和/或模拟逻辑。
在一个实施方式中,图2A中所示的多个组件可以以硬件而不是软件实现。在该实施方式中,安全比较器248可以命令光源驱动器232基于检测到的光快速衰减或停用光源234,而不涉及通用处理器。例如,运行软件的通用处理器可能会因请求(诸如图像处理)而负担过重。作为另一个示例,操作系统(在通用处理器中运行)可能由于与安全性无关的错误软件而崩溃。因此,在一个实施方式中,以下组件可以以硬件实现(在图2A中以暗化背景示出):光源234、光源驱动器232、参考信号发生器230、信号比较器、带通滤波器238、放大器242、检测器240、距离计算器244、距离表246、安全参考252和/或安全比较器248。其他组件也可以以硬件而不是软件实现,诸如检测器透镜控制器245、照明电机控制器239和/或图像电机控制器。
可以在通用处理器、专用处理器和/或专门处理器中运行的软件中实现的相机110的组件包括例如:图像处理器208、视频编码器214和/或相机控制器210。这些组件可以连接到相机110中的数据路径218(图2A中的虚线),以允许相机110的软件和/或硬件组件彼此通信。例如,相机控制器210可以经由数据路径218指示检测器透镜控制器245以使用检测器透镜电机243移动透镜241。相机控制器210可以从距离计算器244接收计算的距离。相机控制器210、视频编码器214和图像处理器208还可以从相机传感器阵列204接收图像数据。
相机传感器阵列204输出指示(例如,描述属性或特性)入射在传感器阵列204上的辐射(例如,光)的数据。在图2A的示例中,传感器阵列204将数据输出到数据路径218上,以供相机110中的其他组件处理。从传感器阵列204输出的数据可以包括入射在传感器阵列204中的一个或多个像素上的诸如光强度(例如,亮度)、颜色等的信息。入射在传感器阵列204上的光可以是“图像”,因为光可以由于光学链202中的透镜而聚焦。
传感器阵列204可以被认为是“图像传感器”,因为它感测到照射在传感器阵列204上的电磁辐射(例如,光)并将辐射转换成多维数据信号。如这里使用的术语,“图像”包括指示入射在传感器阵列204上的辐射(例如,描述光的属性或特性)的数据。因此,术语“图像”也可以用于意指“图像传感器数据”或描述图像的任何数据或数据集。
视频编码器214可以对图像传感器数据进行编码以用于传输到相机110中的另一组件或环境100中的其它设备,诸如监视站130。视频编码器214可以使用视频编码技术,诸如ISO/MPEG或ITU-H.26X系列的视频编码标准。
相机控制器210和/或图像处理器208对由传感器阵列204捕获的图像数据执行信号处理操作。控制器210和/或图像处理器208可以包括解释和执行指令的任何类型的单核或多核处理器、微处理器、基于锁存器的处理器和/或处理逻辑(或处理器、微处理器和/或处理逻辑的系列)。控制器210和/或图像处理器208可以包括或耦接到硬件加速器,诸如图形处理单元(GPU)、通用图形处理单元(GPGPU)、Cell、现场可编程门阵列(FPGA)、专用集成电路(ASIC)和/或其他类型的集成电路或处理逻辑。
控制器210还可以确定和控制相机110的期望焦点和位置(例如,倾斜和变焦)。为此,控制器210向图像电机控制器270发送命令以驱动电机220倾斜和/或摇移相机110或对透镜212进行光学变焦。图2B是示出相机控制器210和/或图像处理器208的示例性组件的框图。如图2B所示,相机控制器210和/或图像处理器208包括自动聚焦逻辑280、对象识别逻辑282和/或人类识别逻辑284。
自动聚焦逻辑280控制(例如,包括用于控制的算法)相机透镜组件116的期望焦点。在一个实施例中,自动聚焦算法基于对比度并且计算的距离(例如,来自距离计算器244)可以用于设置算法的下限和上限。基于接收的信号的信号强度设置下限和上限之间的差,使得低信号质量导致大的差(宽范围)并且良好的信号质量导致小的差(窄范围)。
对象识别逻辑282可以检测图像中的对象(诸如对象102)和图像中的对象的边界。人类识别逻辑284可以检测例如图像中的人类和/或人的面部。
存储器209可以包括存储信息和/或指令的任何类型的易失性和/或非易失性存储设备。存储器209可以包括随机存取存储器(RAM)或任何类型的动态存储设备、只读存储器(ROM)设备或任何类型的静态存储设备、磁或光记录存储器设备及其相应的驱动器,或者可移除存储器设备。存储器209可以存储供相机110使用的信息和指令(例如,应用程序和/或操作系统)和数据(例如,应用程序数据)。
存储器209可以存储用于由控制器210和/或图像处理器208执行的指令。软件指令可以从另一计算机可读介质或从另一设备被读取到存储器209中。软件指令可以使控制器210和/或图像处理器208执行本文描述的过程。例如,相机110可以响应于控制器210和/或图像处理器208执行存储在存储器209中的软件指令而执行与图像处理有关的操作(例如,编码、转码、检测对象等)。可替代地,硬连线电路(例如,逻辑)可以用于代替软件指令或与软件指令组合以实现本文所述的过程。
通信接口216包括电路和逻辑电路,该逻辑电路包括输入和/或输出端口、输入和/或输出系统和/或便于将数据传输到另一设备的其他输入和输出组件。例如,通信接口216可以包括用于有线通信的网络接口卡(例如,以太网卡)或用于无线通信的无线网络接口(例如,WiFi)卡。
尽管图2A和图2B示出了相机110的示例性组件,但是在其他实施方式中,相比与图2A和图2B中所描绘的,相机110可以包括附加组件、更少组件、不同组件和/或不同布置的组件。附加地或可替代地,相机110的一个或多个组件可以执行描述为由相机110的一个或多个其他组件执行的功能。例如,控制器210可以执行描述为由图像处理器208执行的功能,反之亦然。可替代地或附加地,相机110可以包括如下面参考图3所述的计算模块。在一个实施例中,相机110可以包括一个或多个电机控制器(例如,三个)和一个或多个电机220(例如,三个),以用于对相机110进行摇移、倾斜和变焦。
图3是示出一个实施例中的计算模块300的示例性组件的框图。诸如相机110、图像处理器208、相机控制器210和/或监视站130的设备可以包括一个或多个计算模块300。如图3所示,计算模块300可以包括总线310、处理器320、存储器330和/或通信接口360。在一些实施例中,计算模块300还可以包括输入设备340和/或输出设备350。
总线310包括允许计算模块300或其他设备的组件之间通信的路径。处理器320可以包括解释和执行指令的任何类型的单核处理器、多核处理器、微处理器、基于锁存器的处理器和/或处理逻辑(或处理器、微处理器和/或处理逻辑的系列)。处理器320可以包括ASIC、FPGA和/或另一类型的集成电路或处理逻辑。处理器320可以包括或耦接到硬件加速器,诸如GPU、GPGPU、Cell、FPGA、ASIC和/或另一类型的集成电路或处理逻辑。
存储器330可以包括存储信息和/或指令的任何类型的易失性和/或非易失性存储设备。存储器330可以包括RAM或任何类型的动态存储设备、ROM或任何类型的静态存储设备、磁或光记录存储器设备及其相应的驱动器,或可移除存储器设备。存储器330可以存储供处理器320使用的信息和指令(例如,应用程序和操作系统)和数据(例如,应用程序数据)。
存储器330可以存储用于由处理器320执行的指令。软件指令可以从另一计算机可读介质或从另一设备被读取到存储器330中。软件指令可以使处理器320执行本文描述的过程。可替代地,可以使用硬连线电路(例如,逻辑)代替软件指令或与软件指令组合以实现本文所述的过程。
操作系统可以包括用于管理计算模块300的硬件和软件资源的软件指令。例如,操作系统可以包括Linux、Windows、OS X、安卓(Android)、嵌入式操作系统等。应用程序和应用程序数据可以提供网络服务或包括应用程序,这取决于找到特定计算模块300的设备。
通信接口360可以包括使计算模块300能够与其他组件、设备和/或系统通信的发射器和/或接收器(例如,收发器)。通信接口360可以经由无线通信(例如,射频、红外等)、有线通信或其组合进行通信。通信接口360可以包括收发器,该收发器将基带信号转换为射频(RF)信号,反之亦然,并且可以耦接到天线。
通信接口360可以包括逻辑组件,该逻辑组件包括输入和/或输出端口、输入和/或输出系统和/或便于将数据传输到其他设备的其他输入和输出组件。例如,通信接口360可以包括用于有线通信的网络接口卡(例如,以太网卡)或用于无线通信的无线网络接口(例如,WiFi)卡。
一些设备还可以包括输入设备340和输出设备350。输入设备340可以使用户能够将信息输入到计算模块300。输入设备370可以包括键盘、鼠标、笔、麦克风、相机、触摸屏显示器等。
输出设备350可以向用户输出信息。输出设备350可以包括显示器、打印机、扬声器等。输入设备340和输出设备350可以使用户能够与由计算模块300执行的应用程序交互。在“无头(headless)”设备的情况下(诸如部署的远程相机),输入和输出主要通过通信接口360而不是输入设备340和输出设备350。
如果相机110用计算模块300实现,则数据路径218(参考图2A描述)可以包括总线310。在该实施方式中,视频编码器214、图像处理器208和/或相机控制器210可以包括例如GPU、GPGPU、Cell、FPGA和/或ASIC。另外,在一个实施例中,计算模块300(例如,处理器320)可以执行图2A和图2B中所示的相机110的任何功能的功能。此外,在该实施方式中,通信接口216(图2A)可以实现为例如通信接口360(图3)。
计算模块300可以包括帮助接收、传输和/或处理数据的其他组件(未示出)。此外,计算模块300中的组件的其他配置是可行的。在其他实施方式中,计算模块300可以包括比图3中描绘的更少的组件、不同的组件、附加组件或不同地布置的组件。附加地或可替代地,计算模块300的一个或多个组件可以执行被描述为由计算模块300的一个或多个其他组件执行的一个或多个任务。
图4是类似于环境100A但用人406作为被监视区域106中的对象102的示例性环境400的框图。环境400用于描述图5中的流程图示出的过程500。过程500可以在相机110中或由相机110运行,并且用图4的以下示例来描述:人406(即对象102)站在被监视区域106中;相机透镜组件116聚焦在视场408上;照明源112用照明光104照亮照明场404;当传感器114也聚焦在检测场405上时,传感器114检测反射光105(即,从人406反射的照明光104)。
过程500开始于产生用于调制光源的属性的参考信号(框502)。参考图2A,参考信号发生器230产生参考信号。例如,参考信号可以是正弦的。调制信号的其他可能性可以包括切屑参考信号。
如果未启用光源234(框504:否),则光源驱动器232不驱动光源234并且没有从相机110发射照明信号。未启用光源234的示例是当安全比较器248向光源驱动器232输出NOTENABLE信号时。例如,考虑到将照射到人类上的光的强度,当安全比较器248确定人类太靠近相机110时,安全比较器248可以输出NOT ENABLE信号。在另一个实施例中,光源驱动器232可以反而将照明光104的强度降低到可接受的安全范围内(即,不是完全不发射照明光源112)。
另一方面,如果光源234被启用(框504:是),则光源驱动器232根据从参考信号发生器230输出的参考信号驱动光源234(例如,激光器)(框508)。换句话说,光源驱动器232根据参考信号调制光源234(例如,激光器)的属性。启用光源234的示例是当安全比较器248向光源驱动器232输出ENABLE信号时。例如考虑到照明光104的强度,当安全比较器248确定任何人类都离相机足够远时,安全比较器248可以输出ENABLE信号。
再次参见图2A,光源234(例如,激光器)可以发射由光源驱动器232驱动的近红外光。光源驱动器232基于由参考信号发生器230产生的参考信号调制由光源234发射的光的强度。也就是说,近红外频率是参考信号的载波。作为调制的结果,由光源234发射的光的强度可以随时间变化。在一个实施例中,调制包括将光的强度改变十分之一或二十分之一。取决于参考信号,调制可以包括切削、频率调制和/或幅度调制。例如,可以改变强度变化的频率并/或可以改变强度的幅度。
可以发散来自光源234的光(框510)。在该实施例中,透镜235扩散来自光源234的光(例如,激光)。照明电机控制器239可以根据距离和/或照明场计算来确定激光的发散程度。然后,照明电机控制器239可以指导照明透镜电机237相应地移动透镜235。如图4所示,用照明光104照亮(框512)照明场404,照明场404包括人406。照明光104也可以称为发射信号104。
照明光104(发射信号104)从一个或多个对象反射并由传感器114接收(框514)。参考图4,照明光104从人406放射作为反射光105,该反射光105穿过检测器透镜241并照射在检测器240上。在该示例中,检测器透镜241的检测场405与照明场404匹配。传感器114的检测场405由指导检测器透镜电机243移动透镜241的检测器透镜控制器245确定。反射光105也可以称为“反射信号105”或“接收的信号105”。
因为反射信号105可能是弱的,所以检测器240的输出也可能是弱的,并且检测器240的输出由放大器242放大。在该实施方式中,检测器240的输出是与照射在检测器240上的光的强度成比例的模拟信号。也就是说,检测器240通过剥离载波频率(例如,近红外频率)有效地解调反射信号105。此外,放大器242的输出可以由带通滤波器238滤波,以去除噪声并隔离所需频率(例如,对应于参考信号的频率)。带通滤波器238的输出可以称为“解调信号”。
过程500继续进行发射的信号(例如,参考信号)与接收的信号(例如,从带通滤波器238输出的解调信号)的比较(框516)。在该实施方式中,信号比较器236的输出与到反射照明光104的对象的距离成比例。可以使用不同的技术来将参考信号与解调信号进行比较。例如,如果参考信号是正弦的,则信号比较器236(例如,干涉仪)可以输出参考信号和解调信号之间的相位差,该相位差与到对象102的距离成比例。在另一个实施例中,如果参考信号包括脉冲,则脉冲的飞行时间与到对象102的距离成比例。
计算到对象的距离(框518)。例如,如果信号比较器236输出相位差,则距离计算器244可以访问距离表246以基于相位差确定到人406的相应距离(或距离)。如果距离是模糊的(即,不止一个合理的方案),则可以改变参考信号(例如,改变为不同的频率)以解决任何模糊性。解决模糊性的方案可以包括使用不是彼此的谐波的不同调制频率的组合。
例如,如果信号比较器236输出飞行时间,则距离计算器244可以访问距离表246以基于飞行时间确定到人406的相应距离。
确定距离阈值(框520)。如果到人406的距离小于阈值(框522:是),则可以相应地降低照明光104的强度(或平均强度)(框524)。安全比较器248执行安全参考252与到人406的距离的比较。在一个实施例中,如果到人406的距离小于阈值,则安全比较器248输出NOTENABLE以禁用光源驱动器232,其关闭光源234并移除照明光104。在另一实施例中,安全比较器248输出信号以允许光源驱动器232减小照明光122的强度,以便假设人处于计算的距离(在框518中计算的)时不会有危险。一旦强度降低,过程500可以进行到下面描述的框526。
如果到对象406的距离大于阈值(框522:是),则不降低发射信号的强度,并且透镜控制器270可以命令透镜电机272相应地基于计算的距离聚焦透镜212(框522)。也就是说,过程500可以使用计算的距离作为自动聚焦算法的参考点。另外,可以捕获图像(框528)。在图4的示例中,过程500在相机110中捕获包括由照明光104(即,发射信号104)照亮的视场的图像。在一个实施例中,本文描述的方法和系统可以用于照明而不必捕获图像。也就是说,一个设备(例如,包括照明源112和传感器114)可以提供照明,并且单独的设备可以包括用于捕获图像的相机透镜组件116。
图7是在另一个实施例中用激光器进行测距的过程700的流程图。关于图6中所示的示例描述过程700。图6示出了一个实施例中的对象、边界和人类识别。过程700详细说明当反射信号105被接收为图像的一部分时接收反射信号(框514)。
过程700以捕获图像开始(框702)。如图6所示,相机110捕获视场408的图像604(参见图4)。也就是说,相机透镜组件116通过光学链202(即,透镜212)接收反射光105,并且光105照射在传感器阵列204(例如,CCD传感器)上。图像数据经过路径218行进到存储器209,并且可以由图像处理器和/或相机控制器210处理。
过程700继续识别图像中的对象和/或人(框704)。在图6的示例中,对象识别逻辑282在图像604中识别恰好是人类的对象102。如果检测到对象和/或人类,则可以确定对象和/或人类的边界(框706)。如图6所示,检测人脸的边界602。辨别与对象和/或人类相关联的接收的信号(框708)并将其用作解调信号。也就是说,传感器阵列204的与边界602的内部相关联的部分的强度波动可以用作解调信号以与参考信号进行比较(图5的框506)。在这种情况下,过程500可以继续。过程700还可以包括辨别与对象和/或人类不相关的接收的信号,并且不将接收的信号的那些部分用作解调信号。在这种情况下,到对象102的距离的计算不是基于参考信号和与对象不相关的接收的信号的部分之间的相位差。
术语“包括”和“包含”指定所述特征、整体、步骤或组件的存在,但不排除存在或附加的一个或多个其他特征、整体、步骤、组件或其组。词语“示例性”用于意指“用作不止一个示例的示例、实例或说明”。作为“示例性”在本文描述的任何实施例不一定意味着其优越于或优于其他实施例。
除非明确地如此描述,否则本申请中使用的元件、动作或指令不应被解释为对实施例是关键或必要的。而且,如这里所使用的,冠词“一”旨在包括一个或多个项目。此外,除非另有明确说明,否则短语“基于”旨在意指“至少部分地基于”。
Claims (15)
1.一种激光测距和照明方法,包括:
用参考信号调制激光的属性以产生发射信号(104);
将所述发射信号(104)发散以用所述发射信号(104)照亮与照明场(404)相对应的场景,其中所述场景和所述照明场(404)包括对象(102);
在传感器(114)处接收通过从所述对象(102)反射所述发射信号(104)而形成的反射信号(105);
将所接收的信号的相位与所述参考信号的相位进行比较;
基于所述比较计算到所述对象(102)的距离;并且
在相机(110)中捕获所述反射信号(105)以形成供视场(408)的操作员查看的图像,
其中,所述视场(408)由所述发射信号(104)照亮,对应于所述场景,并且包括所述对象,并且其特征在于调制所述激光的所述属性包括减小所述激光的调制的幅度并且增加所述激光的调制的频率以减少由所述相机(110)捕获的所述图像的斑点。
2.根据权利要求1所述的方法,其中比较所述相位包括:
测量所接收的信号和所述参考信号之间的相位差,并且
基于所述相位差计算到所述对象(102)的所述距离。
3.根据权利要求2所述的方法,还包括:
当所计算的距离低于阈值时,降低所述发射信号(104)的平均强度。
4.根据权利要求2所述的方法,其中在所述传感器(114)处接收还包括:
检测所述图像(604)中的所述对象(102)的边界(602);以及
基于所检测的边界(602)辨别所接收的信号中与所述对象(102)相关联的部分,
其中测量所述相位差包括测量所接收的信号中与所述对象(102)相关联的所述部分与所述参考信号之间的相位差,并且
其中计算所述距离包括基于所接收的信号中与所述对象(102)相关联的所述部分与所述参考信号之间的所述相位差来计算到所述对象(102)的所述距离。
5.根据权利要求4所述的方法,还包括:
确定所述对象(102)是人类(406),其中,所述照明场(404)足够大以包围所述人类(406)的头部和上身;以及
当所计算的距离低于第一阈值时且当确定所述对象(102)是人类(406)时,降低所述激光的强度。
6.根据权利要求4所述的方法,其中检测所述对象(102)的边界(602)包括检测人类(406)的面部的边界(602)。
7.根据权利要求4所述的方法,其中在所述传感器(114)处接收还包括:
在所述相机中捕获所述反射信号(105)以形成已经由所述发射信号(104)照亮的包括所述对象(102)的所述视场的所述图像,其中所计算的距离用作自动聚焦算法的参考点。
8.根据权利要求7所述的方法,
其中所述自动聚焦算法是基于对比度的,并且所计算的距离用于设置所述自动聚焦算法的下限和上限,并且
其中所述下限和所述上限之间的差基于所接收的信号的信号强度,使得低信号强度导致比高信号强度更大的差,
其中,所述方法包括在所述传感器(114)处接收来自检测场(405)的所述反射信号(105),其中,所述检测场(405)小于所述照明场(404)。
9.一种激光测距和照明设备,包括:
激光器(234),发射激光;
驱动器(232),用参考信号调制所述激光的属性以产生发射信号(104);
透镜(235),将所述发射信号(104)发散以用所述发射信号(104)照亮与照明场(404)相对应的场景,其中所述场景和所述照明场(404)包括对象(102);
传感器(114),接收通过从所述对象(102)反射所述发射信号(104)而形成的反射信号(105);
混频器(236),将所接收的信号的相位与所述参考信号的相位进行比较;
处理器(244),基于所述比较计算到所述对象(102)的距离;和
相机(110),捕获由所述发射信号(104)照亮的与视场(408)相对应的所述场景的图像(604),
其中,所述视场(408)由所述发射信号(104)照亮,对应于所述场景,并且包括所述对象,并且其特征在于所述驱动器通过减小所述激光的调制的幅度并且增加所述激光的调制的频率来调制所述激光的所述属性以减少由所述相机(110)捕获的所述图像的斑点。
10.根据权利要求9所述的设备,其中所述混频器(236)被配置为测量所接收的信号与所述参考信号之间的相位差,且所述处理器(244)被配置为基于所述相位差来计算到所述对象(102)的所述距离。
11.根据权利要求10所述的设备,
其中所述驱动器(404)被配置为当所计算的距离低于阈值时降低所述发射信号(104)的平均强度。
12.根据权利要求10所述的设备,
其中所述处理器(244)被配置为检测所述图像中的所述对象(102)的边界(602),并基于所检测的边界(602)辨别所接收的信号中与所述对象(102)相关联的部分,
其中所述混频器(236)被配置为测量所接收的信号中与所述对象(102)相关联的所述部分与所述参考信号之间的相位差,并且
其中处理器(244)被配置为基于所接收的信号中与所述对象(102)相关联的所述部分与所述参考信号之间的所述相位差来计算到所述对象(102)的所述距离。
13.根据权利要求12所述的设备,
其中所述处理器(244)确定所述对象(102)是人类(406)或其中所述处理器(244)检测所述人类(406)的面部的边界(602);
其中所述照明场(404)足够大以包围所述人类(406)的头部和上身;并且
其中当所计算的距离低于第一阈值时且当所述处理器(244)确定所述对象(102)是所述人类(406)时,所述驱动器(404)降低所述激光器的强度。
14.根据权利要求12所述的设备,其中所述相机(110)被配置为捕获所述反射信号(105)(104)以形成已经由所述发射信号(104)照亮的包括所述对象的所述视场(408)的所述图像(604),其中所计算的距离用作自动聚焦算法(280)的参考点。
15.根据权利要求14所述的设备,
其中所述自动聚焦算法(280)是基于对比度的,并且所计算的距离用于设置所述自动聚焦算法(280)的下限和上限,并且
其中所述下限和所述上限之间的差基于所接收的信号的信号强度,使得低信号强度导致比高信号强度更大的差,
其中,所述传感器(114)被配置为接收来自检测场(405)的从所述对象(102)反射的所述信号(105),其中,所述检测场(405)小于所述照明场(404)。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/858,008 US10721393B2 (en) | 2017-12-29 | 2017-12-29 | Laser ranging and illumination |
US15/858,008 | 2017-12-29 | ||
EP18156609.2 | 2018-02-14 | ||
EP18156609.2A EP3505953B1 (en) | 2017-12-29 | 2018-02-14 | Laser ranging and illumination |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109990757A CN109990757A (zh) | 2019-07-09 |
CN109990757B true CN109990757B (zh) | 2021-06-29 |
Family
ID=61223779
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811619107.9A Active CN109990757B (zh) | 2017-12-29 | 2018-12-28 | 激光测距和照明 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10721393B2 (zh) |
EP (1) | EP3505953B1 (zh) |
JP (1) | JP6937735B2 (zh) |
KR (1) | KR102195525B1 (zh) |
CN (1) | CN109990757B (zh) |
TW (1) | TWI722353B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210341581A1 (en) * | 2018-09-06 | 2021-11-04 | Nec Corporation | Processing device, system, method, and non-transitory computer readable medium |
US10855929B1 (en) * | 2019-06-27 | 2020-12-01 | Guangdong Outdoor Technology Limited. | Monitoring method of monitoring camera and monitoring camera |
TWI704366B (zh) * | 2019-10-17 | 2020-09-11 | 城市學校財團法人臺北城市科技大學 | 物聯網雷射空間測距機 |
US11891067B2 (en) * | 2019-12-11 | 2024-02-06 | Electronics And Telecommunications Research Institute | Vehicle control apparatus and operating method thereof |
WO2021145473A1 (ko) | 2020-01-14 | 2021-07-22 | 엘지전자 주식회사 | 이동 단말기 및 그의 제어 방법 |
JP7242061B2 (ja) * | 2020-01-28 | 2023-03-20 | 学校法人金沢工業大学 | 繊維強化プラスチックの接合方法 |
JP2021139682A (ja) * | 2020-03-03 | 2021-09-16 | キヤノン株式会社 | テラヘルツ波カメラシステム、入出管理装置、テラヘルツ波カメラシステムの制御方法 |
US11886968B2 (en) * | 2020-03-27 | 2024-01-30 | Intel Corporation | Methods and devices for detecting objects and calculating a time to contact in autonomous driving systems |
US20230400557A1 (en) * | 2020-10-14 | 2023-12-14 | Nec Corporation | Optical distance measurement device and optical distance measurement method |
TWI745134B (zh) * | 2020-10-26 | 2021-11-01 | 友達光電股份有限公司 | 控制雷射光的方法、控制系統及輸入裝置 |
US11187803B1 (en) * | 2021-01-23 | 2021-11-30 | Michael H. Panosian | Laser distance measurement device |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7852462B2 (en) * | 2000-05-08 | 2010-12-14 | Automotive Technologies International, Inc. | Vehicular component control methods based on blind spot monitoring |
CN103299157A (zh) * | 2010-10-04 | 2013-09-11 | 辛特拉有限公司 | 激光测距装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4492128T1 (de) * | 1993-03-31 | 1996-06-27 | Automotive Tech Int | Positions- und Geschwindigkeitssensor für Fahrzeuginsassen |
US6584283B2 (en) * | 2001-02-02 | 2003-06-24 | Eastman Kodak Company | LED illumination device for a scannerless range imaging system |
JP4166083B2 (ja) * | 2002-12-26 | 2008-10-15 | 株式会社トプコン | 測距装置 |
JP2005077379A (ja) * | 2003-09-03 | 2005-03-24 | Denso Corp | レーダ装置 |
DE10343479A1 (de) | 2003-09-19 | 2005-04-28 | Bosch Gmbh Robert | Verfahren zur Verbesserung der Sicht in einem Kraftfahrzeug |
JP2007086596A (ja) | 2005-09-26 | 2007-04-05 | Pentax Corp | カメラ |
JP2007114831A (ja) * | 2005-10-18 | 2007-05-10 | Omron Corp | 物体検出装置 |
US9854977B2 (en) * | 2006-01-10 | 2018-01-02 | Accuvein, Inc. | Scanned laser vein contrast enhancer using a single laser, and modulation circuitry |
CN101395772B (zh) * | 2006-03-03 | 2011-01-26 | 松下电器产业株式会社 | 照明光源及激光投影装置 |
US7667598B2 (en) | 2007-06-19 | 2010-02-23 | Lockheed Martin Corporation | Method and apparatus for detecting presence and range of a target object using a common detector |
US8681321B2 (en) | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
US8111383B1 (en) | 2010-01-15 | 2012-02-07 | Robert Foley | Portable laser surveillance method of a point on a target |
US10012474B2 (en) | 2012-10-22 | 2018-07-03 | Wilcox Industries Corp. | Combined laser range finder and sighting apparatus having dual function laser and method |
US20140139632A1 (en) * | 2012-11-21 | 2014-05-22 | Lsi Corporation | Depth imaging method and apparatus with adaptive illumination of an object of interest |
GB2526341A (en) * | 2014-05-21 | 2015-11-25 | Digital Metal Ab | A flow cabinet system for cleaning at least one object |
US9575184B2 (en) * | 2014-07-03 | 2017-02-21 | Continental Advanced Lidar Solutions Us, Inc. | LADAR sensor for a dense environment |
TWI526705B (zh) * | 2014-12-17 | 2016-03-21 | 信泰光學(深圳)有限公司 | 雷射尺及其測量方法 |
JP6342874B2 (ja) * | 2015-11-24 | 2018-06-13 | 矢崎総業株式会社 | 画像認識装置 |
-
2017
- 2017-12-29 US US15/858,008 patent/US10721393B2/en active Active
-
2018
- 2018-02-14 EP EP18156609.2A patent/EP3505953B1/en active Active
- 2018-12-18 KR KR1020180163878A patent/KR102195525B1/ko active IP Right Grant
- 2018-12-19 TW TW107145839A patent/TWI722353B/zh active
- 2018-12-27 JP JP2018244743A patent/JP6937735B2/ja active Active
- 2018-12-28 CN CN201811619107.9A patent/CN109990757B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7852462B2 (en) * | 2000-05-08 | 2010-12-14 | Automotive Technologies International, Inc. | Vehicular component control methods based on blind spot monitoring |
CN103299157A (zh) * | 2010-10-04 | 2013-09-11 | 辛特拉有限公司 | 激光测距装置 |
Also Published As
Publication number | Publication date |
---|---|
US20190208113A1 (en) | 2019-07-04 |
JP2019144230A (ja) | 2019-08-29 |
KR102195525B1 (ko) | 2020-12-28 |
CN109990757A (zh) | 2019-07-09 |
TWI722353B (zh) | 2021-03-21 |
TW201937191A (zh) | 2019-09-16 |
EP3505953A1 (en) | 2019-07-03 |
JP6937735B2 (ja) | 2021-09-22 |
KR20190082097A (ko) | 2019-07-09 |
EP3505953B1 (en) | 2020-09-09 |
US10721393B2 (en) | 2020-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109990757B (zh) | 激光测距和照明 | |
US11693115B2 (en) | Determining positional information of an object in space | |
EP3223034B1 (en) | Object detection apparatus and moveable apparatus | |
KR101205039B1 (ko) | 눈 검출 시스템 및 그 동작 방법 | |
US20180239019A1 (en) | Sensing system and method | |
US9952047B2 (en) | Method and measuring instrument for target detection and/or identification | |
US8994819B2 (en) | Integrated optical detection system | |
US20140192206A1 (en) | Power consumption in motion-capture systems | |
US9699377B2 (en) | Depth detecting apparatus and method, and gesture detecting apparatus and gesture detecting method | |
US20180095168A1 (en) | Optoelectronic sensor and method for optical monitoring | |
CN108226953A (zh) | 一种基于双光束交替发射的针孔摄像头检测方法及装置 | |
CN113286979B (zh) | 使用飞行时间(ToF)成像装置进行微振动数据提取的系统、装置和方法 | |
US20210215801A1 (en) | Eye-safe lidar system having an adjustable scanning range | |
KR20090130696A (ko) | 거울의 패닝과 틸팅을 이용한 원거리 홍채 영상 획득시스템 | |
US20190051005A1 (en) | Image depth sensing method and image depth sensing apparatus | |
EP3701603B1 (en) | Vcsel based biometric identification device | |
KR102274270B1 (ko) | 홍채인식범위 확장을 위한 홍채 영상 획득시스템 | |
TWI526704B (zh) | 智能監測系統與方法 | |
WO2022196109A1 (ja) | 計測装置および計測方法、ならびに、情報処理装置 | |
US20220171259A1 (en) | Imaging apparatus, method for controlling imaging apparatus, and non-transitory computer readable storage | |
US20190394386A1 (en) | Synchronizing time-of-flight cameras | |
US20230003894A1 (en) | Time-of-flight imaging circuitry, time-of-flight imaging system, time-of-flight imaging method | |
CN211377985U (zh) | 一种光伏组件的检测系统 | |
US20230384428A1 (en) | Laser-safety control for lidar applications | |
JP7318793B2 (ja) | 生体認証装置、生体認証方法、及び、そのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |