CN111562588B - 用于检测大气颗粒的存在的方法、装置和计算机程序 - Google Patents

用于检测大气颗粒的存在的方法、装置和计算机程序 Download PDF

Info

Publication number
CN111562588B
CN111562588B CN202010090893.9A CN202010090893A CN111562588B CN 111562588 B CN111562588 B CN 111562588B CN 202010090893 A CN202010090893 A CN 202010090893A CN 111562588 B CN111562588 B CN 111562588B
Authority
CN
China
Prior art keywords
image sensor
depth image
sensor module
modulated light
atmospheric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010090893.9A
Other languages
English (en)
Other versions
CN111562588A (zh
Inventor
C·纳勒尔
H·波兰克
A·施恩莱博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infineon Technologies AG
Original Assignee
Infineon Technologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infineon Technologies AG filed Critical Infineon Technologies AG
Publication of CN111562588A publication Critical patent/CN111562588A/zh
Application granted granted Critical
Publication of CN111562588B publication Critical patent/CN111562588B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/95—Lidar systems specially adapted for specific applications for meteorological use
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1757—Time modulation of light being essential to the method of light modification, e.g. using single detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30192—Weather; Meteorology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Dispersion Chemistry (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

示例涉及用于检测大气颗粒的存在的方法、装置和计算机程序。该方法包括获取(110)深度图像传感器模块的环境的参考测量。参考测量基于第一时间间隔内调制光的测量。调制光被深度图像传感器模块的环境的特征反射。该方法包括在第二时间间隔中获取调制光的后续测量。该方法包括基于调制光的后续测量来检测(130)大气颗粒的存在。通过使用在第一时间间隔内执行的参考测量来检测大气颗粒的存在，以忽略深度图像传感器模块的环境的全部或部分特征。该方法包括基于检测到的大气颗粒的存在生成(140)指示所检测到的大气颗粒的一个或多个特性的信号。

Description

用于检测大气颗粒的存在的方法、装置和计算机程序
技术领域
示例涉及用于检测大气颗粒的存在的方法、装置和计算机程序。
背景技术
深度图像相机(诸如飞行时间(ToF)相机或结构光相机)通常用于确定相机的传感器与相机周围的对象之间的距离。例如，ToF相机基于光学红外(IR)信号的发射(该信号随后被对象反射)与光子混合设备(PMD)成像器处对光学信号的接收之间的延迟的测量。测量的延迟与对象的距离成比例。结构光相机基于将预定图案投射到结构光相机的传感器环境中的对象的表面。基于预定图案在对象表面处的变形，可以计算传感器和相应对象之间的距离。这两种方法都可用于确定基于对象相对于相应相机的传感器的距离的深度图像。
发明内容
一个示例涉及一种用于检测大气颗粒的存在的方法。该方法包括获取深度图像传感器模块的环境的参考测量。参考测量基于第一时间间隔内的调制光的测量。调制光被深度图像传感器模块的环境的特征反射。该方法包括在第二时间间隔内获取调制光的后续测量。该方法包括基于调制光的后续测量来检测大气颗粒的存在。通过使用在第一时间间隔内执行的参考测量来检测大气颗粒的存在，以忽略深度传感器模块的环境的全部或部分特征。该方法包括基于检测到大气颗粒的存在来生成指示所检测到的大气颗粒的一个或多个特性的信号。
一个示例涉及一种用于检测大气颗粒的存在的装置。该装置包括用于与深度图像传感器模块通信的接口。该装置包括处理模块，处理模块被配置为从深度图像传感器模块获取深度图像传感器模块的环境的参考测量。参考测量是基于第一时间间隔中的调制光的测量。调制光被深度图像传感器模块的环境的特征反射。处理模块被配置为在第二时间间隔内从深度图像传感器模块获取调制光的后续测量。处理模块被配置为基于调制光的后续测量来检测大气颗粒的存在。通过使用在第一时间间隔内执行的参考测量来检测大气颗粒的存在，以忽略传感器模块的环境的全部或部分特征。处理模块被配置为基于检测到大气颗粒的存在生成指示所检测大气颗粒的一个或多个特性的信号。
一个示例涉及一种系统，该系统包括用于检测大气颗粒的存在的装置和深度图像传感器模块。该装置包括用于与深度图像传感器模块通信的接口。该装置包括处理模块，处理模块被配置为从深度图像传感器模块获取深度图像传感器模块的环境的参考测量。参考测量是基于第一时间间隔内的调制光的测量。调制光被深度图像传感器模块的环境的特征反射。处理模块被配置为在第二时间间隔内从深度图像传感器模块获取调制光的后续测量。处理模块被配置为基于调制光的后续测量来检测大气颗粒的存在。通过使用在第一时间间隔内执行的参考测量来检测大气颗粒的存在，以忽略深度传感器模块的环境的全部或部分特征。处理模块被配置为基于检测到大气颗粒的存在生成指示所检测到的大气颗粒的一个或多个特性的信号。深度图像传感器模块被配置为执行参考测量和后续测量。深度图像传感器模块被配置为经由接口向处理模块提供参考测量和后续测量。
附图说明
下面将仅以示例的方式并参照附图描述装置和/或方法的一些示例，其中：
图1a和图1b示出了用于检测大气颗粒的存在的方法的实施例的流程图。
图1c示出了用于检测大气颗粒的存在的装置的实施例以及包括用于检测大气颗粒的存在的装置和深度图像传感器模块的系统的框图。
图2示出了检测尘埃颗粒的实施例的示意图。
图3示出了编码调制和连续波ToF感测的比较的示意图。
具体实施方式
现在将参照示出一些示例的附图更全面地描述各种示例。在图中，为了清楚，线条、层和/或区域的厚度可以被放大。
因此，虽然进一步的示例能够进行各种修改和替代形式，但图中示出了其中的一些特定示例并且随后将详细描述。然而，该详细描述并不将进一步的示例限于所描述的特定形式。进一步的示例可涵盖落入本公开范围内的所有修改、等效和替代。相同或相似的数字在附图的整个描述中表示相同或相似的元件，在提供相同或相似功能的同时当相互比较时，这些元件可相同地或以修改形式实施。
应理解，当一个元件被称为“连接”或“耦合”至另一元件时，元件可直接连接或耦合，或者经由一个或多个中间元件。如果使用“或”组合两个元素A和B，则这将被理解为公开所有可能的组合，即，仅A、仅B以及A和B，如果没有明确或隐含地另外定义。相同组合的另一替代措辞是“A和B中的至少一个”或“A和/或B”。加上必要的修改，这同样适用于两个以上元素的组合。
本文用于描述特定示例的术语无意限制进一步的示例。每当使用诸如“一个”和“该”的单数形式并且仅使用单个元素既不是显式也不是隐式地被定义为强制性时，进一步的示例也可以使用多个元素来实施相同的功能。类似地，当随后将功能描述为使用多个元素实施时，进一步的示例可使用单个元素或处理实体实施相同的功能。将进一步理解，术语“包括”和/或“包含”在使用时规定了所提特征、整数、步骤、操作、处理、动作、元素和/或部件的存在，但不排除一个或多个其他特征、整数、操作、处理、动作、元素、部件和/或其任何组的存在或添加。
除非另有定义，否则本文使用的所有术语(包括技术和科学术语)均为示例所属领域的一般含义。
图1a和图1b示出了用于检测大气颗粒的存在的方法的实施例的流程图。该方法包括获取110深度图像传感器模块的环境的参考测量。参考测量是基于在第一时间间隔内调制光的测量。调制光被深度图像传感器模块的环境的特征反射。该方法包括在第二时间间隔内获取120调制光的后续测量。该方法包括基于调制光的后续测量检测130大气颗粒的存在。通过使用在第一时间间隔内执行的参考测量来检测大气颗粒的存在，以忽略深度图像传感器模块的环境的全部或部分特征。该方法基于检测到大气颗粒的存在生成140指示所检测到的大气颗粒的一个或多个特性的信号。
图1c示出了用于检测大气颗粒的存在的(对应)装置10的实施例的框图。图1c进一步示出了系统100的实施例的框图，该系统包括用于检测大气颗粒的存在的装置，并且包括深度图像传感器模块20。装置10包括用于与深度图像传感器模块20通信的接口12。装置10包括耦合至接口12的处理模块14。处理模块可被配置为执行结合图1a和/或图1b引入的方法，例如与接口12协同。处理模块14被配置为从深度图像传感器模块获取深度图像传感器模块的环境的参考测量。参考测量是基于在第一时间间隔内调制光的测量。调制光被深度图像传感器模块的环境的特征反射。处理模块14被配置为在第二时间间隔内从深度图像传感器模块获取调制光的后续测量。处理模块14被配置为基于调制光的后续测量来检测大气颗粒的存在。通过使用在第一时间间隔内执行的参考测量来检测大气颗粒的存在，以忽略传感器模块的环境的全部或部分特征。处理模块被配置为基于所检测到的大气颗粒的存在生成指示所检测到的大气颗粒的一个或多个特性的信号。系统100包括装置10和深度图像传感器模块20。深度图像传感器模块20可被配置为执行参考测量和后续测量。深度图像传感器模块可被配置为经由接口12向处理模块14提供参考测量和后续测量。
以下描述涉及图1a和/或图1b的方法以及图1c的装置10和/或系统100。
实施例基于以下发现：可使用调制光(例如，在飞行时间(ToF)或结构光深度感测场景中使用的调制光)来执行大气颗粒的检测。为了实现对大气颗粒的检测，实施例执行深度图像传感器周围区域的背景的参考测量。然后，使用该参考测量来忽略背景，例如，通过在一些实施例中计算性地从后续测量中移除背景，或者通过调整调制光的发射以使测量范围排除背景。
实施例不限于单个深度图像传感器技术。虽然结合ToF深度图像传感器模块描述了一些实施例，但也可以使用其他深度图像传感器模块，例如基于使用结构光的深度图像传感器模块。
结合图1a-图1c介绍的方法、装置和系统可用于检测大气颗粒的存在。在示例中，大气颗粒的范围可以从蒸汽或烟雾中发现的颗粒(即，细颗粒物)到较大的大气颗粒(诸如雨滴、冰雹或雪花)。例如，大气颗粒物可包括尘埃、雾、雨、雪、烟和蒸发水中的至少一种。一般来说，大气颗粒物可以是存在于深度图像传感器模块的环境的背景与深度图像传感器模块本身之间的颗粒物。大气颗粒既可以指漂浮在空气中的大气颗粒(例如，由热推动，诸如在湿蒸汽或烟雾中)以及落在空气中的大气颗粒(诸如雨滴、雪花或冰雹)。
方法、装置和计算机程序的实施例的目的是检测大气颗粒的存在。在一些情况下，可能仅检测大气颗粒的存在，即，具有特定预定特性的大气颗粒存在于深度图像传感器模块的环境中。指示所检测大气颗粒的一个或多个特性的信号可以指示一个或多个微粒的存在，即，深度图像传感器模块的环境包括具有特定预定特性的大气颗粒。在一些其他情况下，检测大气颗粒的存在还可以包括基于对颗粒的检测来确定大气颗粒的一个或多个特性。然后，大气颗粒的一个或多个特性可包括在指示所检测大气颗粒的一个或多个特性的信号中。
该方法包括获取110深度图像传感器模块的环境的参考测量。例如，如果该方法由处理模块或处理设备(例如，装置10)执行，参考测量可以通过从深度图像传感器模块接收参考测量(例如，经由接口12)或者通过从深度图像传感器模块读取参考测量(例如，经由接口12)来获取。如果该方法由包括处理模块(或装置10)和深度图像传感器模块的系统执行，则可以通过使用深度图像传感器模块和从深度图像传感器模块接收或读出参考测量的处理模块或装置10执行参考测量来获取参考测量。例如，深度图像传感器模块可以是ToF传感器模块或结构光传感器模块。
参考测量是基于在第一时间间隔内调制光的测量。例如，调制光的波长可以在350nm和0.01cm之间，即，调制光可以是调制红外光或调制可见光。例如，调制光可来自被配置为发射调制光的光源。如图1c所示，系统100还可以包括光源30。光源可被处理模块14控制(例如，经由接口12)。如图1b所示，该方法可包括发射150调制光。例如，调制光可以是连续波调制光，例如基于连续方波调制，其可以被ToF相机系统的连续波光源省略。在这种情况下，该系统可以是包括连续波光源的ToF相机系统。备选地，调制光可以由ToF相机系统的光源发射，但是可以使用编码调制来代替连续波调制。换句话说，调制光可以是基于光的编码调制的调制光。飞行时间成像中的编码调制是指改变发射光脉冲的序列和相应像素调制信号。这能够定制化相位距离功能。在ToF中，编码调制可基于用在相位图像曝光时间内重复的代码序列来替换方波信号。对于代码设计，可以使用不同类型的代码，如最大长度码、金氏码或巴克码。换句话说，编码调制可基于最大长度码、金氏码或巴克码中的一种。
在ToF相机的情况下，可以使用编码调制来代替连续波调制。为了忽略反射率对深度图像的影响，ToF深度算法可要求多个相位图像。在连续波操作模式下，这通过向参考信号移位相位偏移90°来实现。对于编码调制，可以使用类似的方法。这里，其中一个信号可以被延迟或旋转以创建相位偏移。相关峰的位置可通过旋转代码序列来调整。每个代码可包括最小信号部分(即，相同信号值的最短序列)。在至少一些实施例中，两个或更多个编码模块图像可被移位最小信号部分的倍数。
备选地，编码调制也可以应用于结构光。调制光可基于结构光的发射。这能够在大气颗粒的检测中使用相对简单的图像传感器。在这种情况下，深度图像传感器模块可以是结构光传感器模块。结构光是将已知图案(诸如网格或水平条)投影到场景上的处理。网格或水平条在撞击到表面(诸如背景中的墙)时变形的方式可用于计算场景中对象的深度和表面信息。在至少一些实施例中，结构光的发射可进一步基于编码调制，例如以能够在距离深度图像传感器模块的预定距离处进行深度感测。
调制光被深度图像传感器模块的环境的特征反射。例如，环境的特征可以是静态特征或背景特征。背景特征或静态特征可以是在进行参考测量时存在的特征，其中可以假设感兴趣的大气颗粒不存在。在至少一些实施例中，参考测量可对应于深度测量，该深度测量(仅或主要)包括作为深度图像传感器的环境背景的一部分的特征的深度信息。在一些情况下，例如，如果深度图像传感器模块静态地附接至一位置，则可以进行一次深度测量或以更长的间隔进行参考测量；在一些其他情况下，例如，如果深度图像传感器模块相对于其环境移动，则可以更短的间隔进行参考测量。
在至少一些实施例中，调制光可基于光的编码调制。如图1b进一步所示，该方法可包括基于环境的参考测量来确定112深度图像传感器模块与环境特征之间的距离。例如，深度图像传感器模块与环境特征之间的距离可基于连续波调制光或基于结构光来确定，例如使用基于光的连续波调制的ToF深度图像感测或使用基于结构光的深度图像感测。
备选地，可基于调制光的编码调制来确定深度图像传感器模块与环境特征之间的距离。例如，深度图像传感器模块与环境特征之间的距离可基于参考测量中包括的两个或更多个编码调制图像来确定112。环境的参考测量中包括的两个或更多个编码调制图像可用于“扫描”深度图像传感器模块的环境，以确定深度图像传感器模块与环境特征之间的距离。换句话说，该方法可包括发射基于编码调制的调制光，使得调制光在距离深度图像传感器模块的两个或更两个的距离处形成相关峰。这可以通过旋转用于调制光的编码调制的代码序列来实现，使得调制光的相关峰出现在两个或更多个距离处。该方法可包括获取包括两个或更多个编码调制图像的参考测量，该两个或更多个编码调制图像在距离深度图像传感器模块的两个或更多个距离处具有它们相应的相关峰。该方法可包括基于参考测量确定深度图像传感器模块与环境特征之间的距离，其中参考测量包括在距离深度图像传感器模块的两个或更多个距离处具有它们相应的相关峰的两个或更多个编码调制图像。
该方法可包括在第二时间间隔内将调制光的编码调制的测量范围设置114到位于深度图像传感器模块和环境特征之间的区域。测量范围可对应于深度图像传感器模块与背景之间的距离范围，其中，基于编码调制的调制光的相关峰出现在距离范围内，和/或其中，距离范围通过基于编码调制的调制光的相关峰界定。为了使用编码调制获取测量范围，后续测量范围可包括两个或更多个编码调制图像，即，至少具有定位为最接近深度图像传感器模块的相关峰值的第一编码调制图像和具有定位为最远离深度图像传感器模块的相关峰的第二编码调制图像。测量范围可表示第一编码调制图像的相关峰和第二编码调制图像的相关峰之间的范围。两个或更多个编码调制图像的又一些编码调制图像的相关峰可位于第一和第二编码调制图像的相关峰之间。因此，编码调制的测量范围可通过在第二时间间隔内在后续测量中获取的两个或更多个编码调制图像来定义。两个或更多个编码调制图像可表示调制光的编码调制的测量范围内的两个或更多个距离(即，两个或更多个调制图像的相关峰与深度图像传感器模块的距离)。可通过旋转用于调制光的编码调制的代码序列来设置两个或更多个距离，使得调制光的相关峰出现在两个或更多个距离处。这可以使得能够在位于深度图像传感器模块和第二时间间隔内的环境特征(排除背景特征)之间的区域内执行后续测量。
该方法还包括在第二时间间隔内获取120调制光的后续测量。例如，第二时间间隔可以在第一时间间隔之后。例如，第一时间间隔可以是校准时间间隔或初始化时间间隔，而第二时间间隔可以是用于检测大气颗粒的时间间隔。在实施例中，调制光的后续测量可类似于调制光的参考测量来获取，例如通过从深度图像传感器模块接收或读出读取后续测量或者通过使用深度图像传感器模块执行后续测量，然后从深度图像传感器模块接收或读出后续测量。
在一些实施例中，后续测量可包括单个后续测量。备选地，例如，当使用在距离深度图像传感器模块的两个或更多个距离处使用的编码调制时，后续测量可包括两个或更多个后续测量。例如，调制光的后续测量可包括表示调制光的编码调制的测量范围内的两个或更多个距离的两个或更多个编码调制图像。这能够在两个或更多个距离处检测大气颗粒物。另外，两个或更多个编码调制图像可用于推断位于两个或更多个距离之间的区域的特性，例如由大气颗粒形成的颗粒云的密度。
待检测的大气颗粒可具有特定的特性，诸如落入被检测尺寸范围内的尺寸和/或待检测大气颗粒的材料组成。换句话说，待检测的大气颗粒可具有预定尺寸和/或预定材料组成。从而，可选择调制光，使得(仅)检测具有预定尺寸和/或预定材料组成的大气颗粒。如果将要检测具有不同材料组成的大气颗粒或者如果在一个波长而不是另一个波长处检测到大气颗粒而可以确定大气颗粒的材料组成，则两个或更多个不同的波长可用于调制光。在一些实施例中，调制光可在第二时间间隔内使用两个或更多个不同的波长。可基于两个或更多个不同波长处大气颗粒的反射率来选择两个或更多个不同波长。后续测量可包括基于两个或更多个不同波长的两个或更多个后续测量，即，两个或更多个后续测量中的每个后续测量可基于两个或更多个不同波长中的单个波长。该方法可包括基于两个或更多个后续测量(它们基于两个或更多个不同波长)来确定138个大气颗粒的材料组成(诸如大气颗粒的化学组成和/或聚集状态)。不同材料的大气颗粒对不同波长的调制光可做出不同的反应。
该方法包括基于调制光的后续测量检测130大气颗粒的存在。通过使用在第一时间间隔内执行的参考测量来检测大气颗粒的存在，以忽略深度图像传感器模块的环境的全部或部分特征。
为了忽略深度图像传感器模块的环境的全部或部分特征，可以使用各种方法。例如，在一些情况下，调制光可基于光的连续波调制。可基于后续测量和参考测量之间的比较来检测大气颗粒的存在。在这种情况下，参考测量的深度值与后续测量的深度值之间的比较可用于忽略深度图像传感器模块的环境的全部或部分特征。如果在参考测量和后续测量内的对应位置处存在相同的深度值，则深度值可被忽略，因为它是基于深度图像传感器模块的环境的特征。如果使用没有调制光的编码调制的结构光，则可以采用相同或类似的方法。这可有助于ToF相机或结构光相机适应大气颗粒的检测，因为在后续测量的处理中忽略背景的特征，而不强制改变ToF或结构光传感器或光发射器。
当使用调制光的编码调制时，可以使用不同的方法：代替在后续测量的后续处理中忽略环境的特征，而是可以采用调制光本身，使得环境的特征不影响调制光的后续测量。例如，可通过将调制光的编码调制的测量范围设置到位于深度图像传感器模块和第二时间间隔内的环境特征之间的区域来忽略环境的背景特征，从而从后续测量中(例如，从后续测量的两个或更多个编码调制图像中)排除环境特征。在这种情况下，在后续测量中检测到的与预定尺寸的大气颗粒相对应的(任何)对象可以在检测大气颗粒的存在时视为大气颗粒。换句话说，如果在后续测量中(例如，在两个或更多个编码调制图像内)检测到具有与预定尺寸的大气颗粒相对应的对象大小的对象，则可以检测到大气颗粒的存在。
与“正常”相机传感器类似，深度图像传感器模块可使用二维像素网格提供后续测量。后续测量可由多个像素来表示，例如布置为二维网格的多个像素。二维像素网格中的像素均可指示测量对象(即，大气颗粒)与深度图像传感器模块的距离(其基于入射调制光(即，深度信息)测量)、入射到像素的反射调制光的幅度/强度(即，幅度信息)以及入射到像素的反射调制光的相位(即，相位信息)中的至少一个。
在至少一些实施例中，调制光的后续测量可包括一个或多个编码调制图像，其包括幅度信息、相位信息和深度信息中的至少一个。换句话说，一个或多个编码调制图像可包括与第二时间间隔中针对调制光的传感器响应函数相关的信息。可基于第二时间间隔中针对调制光的传感器响应函数(例如，基于一个或多个编码调制图像的幅度信息、相位信息和深度信息中的至少一个)来检测大气颗粒的存在。可基于第二时间间隔中的调制光的传感器响应函数(例如，基于一个或多个编码调制图像的幅度信息、相位信息和深度信息中的至少一个)来生成指示所检测大气颗粒的一个或多个特性的信号。幅度信息可与深度信息或相位信息一起用于检测大气颗粒。这同样适用于基于连续波调制光或基于结构光的实施例。因此，在更一般的术语中，后续测量可包括第二时间间隔中的调制光的传感器响应函数，例如幅度信息、相位信息和深度信息中的至少一个。可基于第二时间间隔中针对调制光的传感器响应函数(例如，基于后续测量的幅度信息、相位信息和深度信息中的至少一个)来检测大气颗粒的存在。
该方法包括基于检测到大气颗粒的存在来生成140指示所检测大气颗粒的一个或多个特性的信号。例如，指示所检测大气颗粒的一个或多个特性的信号可包括与大气颗粒的位置有关的信息、与大气颗粒的组成有关的信息、与大气颗粒的范围有关的信息、与大气颗粒(即，由大气颗粒形成的颗粒云)的密度有关的信息以及与大气颗粒的体积有关的信息中的至少一个。大气颗粒的组成可指大气颗粒的材料组成，即，大气颗粒包括或由其组成的化学元素和/或化学元素的聚集状态。备选地或附加地，大气颗粒的组成可指被检测的两种或更多种不同类型的大气颗粒以及两种或更多种不同类型的大气颗粒在被检测大气颗粒中的相对份额。大气颗粒的范围可指由大气颗粒形成的颗粒云的宽度、高度和深度中的至少一个。大气颗粒的体积可指由大气颗粒形成的颗粒云的体积或容量。
例如，大气颗粒可形成大气颗粒的颗粒云，诸如烟雾云或蒸汽云。指示所检测到的大气颗粒的一个或多个特性的信号包括与颗粒云的位置、范围、体积、密度和组成中的至少一个有关的信息。这能够在信号的后续处理中评估颗粒云的特性。
如图1b所示，该方法可进一步包括基于一个或多个编码调制图像确定132与大气颗粒的位置有关的信息。例如，可以使用一个或多个编码调制图像的深度信息来确定与大气颗粒的位置有关的信息，例如，与提供深度信息的二维像素网格内的位置一起。指示所检测大气颗粒的一个或多个特性的信号可包括与大气颗粒的位置相关的信息。大气颗粒的位置例如可用于进一步的处理步骤。
该方法可进一步包括基于一个或多个编码调制图像来确定134与大气颗粒的组成有关的信息。指示所检测到的大气颗粒的一个或多个特性的信号可包括与大气颗粒的组成有关的信息。例如，大气颗粒的组成可用于区分烟与蒸汽、雨与雪等。例如，如上所述，与大气颗粒的组成有关的信息可使用两个或更多个不同波长来确定。例如，可以使用不同波长(两个或更多个不同波长)来确定感兴趣的每种材料(化学组成)。备选地，可以使用大气颗粒的反射模式。例如，大气颗粒的不同组成可在后续测量(例如，一个或多个编码调制图像)的幅度信息中产生不同模式。从而，该方法可包括基于后续测量(例如，一个或多个编码调制图像)的幅度信息中的大气颗粒的模式来区分大气颗粒的不同组成。例如，可以使用机器学习算法(即，基于预训练神经网络或支持向量机)来区分不同的模式。换句话说，可以使用机器学习算法来确定大气颗粒的组成。一个或多个编码调制图像可用作机器学习算法的输入。与大气颗粒的组成相关的信息可基于机器学习算法的输出。在编码调制的情况下，可将示例编码调制图像用作训练输入且将示例合成信息用作训练输出来预先训练机器学习算法。这能够通过使用先前收集的训练样本来确定大气颗粒的组成。
实施例可用于不同的场景，例如，用于车辆以检测车辆外的雨、雪等，或者用于烹饪环境以检测烟雾等。例如，可根据使用实施例的场景调整大气颗粒的组成的确定。
例如，可以对车辆的环境进行调制光的后续测量。例如，深度图像传感器模块可包括在车辆的传感器系统中。一方面，深度图像传感器模块可用于距离感测，例如支持车辆的辅助停车功能。另一方面，使用实施例，深度图像传感器模块可用于检测车辆外的天气状况。换句话说，与组成相关的信息可指示大气颗粒是否包括雨、雪、雾、尘埃和冰雹中的至少一个。该方法可包括基于检测到大气颗粒的存在检测雨、雪、雾、尘埃和冰雹中的至少一个。这能够将该方法应用于车辆，例如能够对车辆周围的大气颗粒进行危险评估。
备选地，实施例可用于烹饪器具或烟雾报警器。例如，与组成有关的信息可指示大气颗粒是否主要包括蒸汽，或者大气颗粒是否主要包括烟雾。换句话说，该方法可包括在确定与组成有关的信息时区分蒸汽和烟雾。
在一些实施例中，该方法可包括检测160大气颗粒中蒸汽或烟雾的存在。例如，可基于与大气颗粒的组成有关的确定信息来检测大气颗粒中是否存在蒸汽或烟雾。该方法可包括基于检测到蒸汽或烟雾的存在，向烹饪器具(诸如炉子或烤箱)提供指示所检测大气颗粒的一个或多个特性的信号，即，使烹饪器具降低热量或使烹饪器具发出警报。例如，指示所检测到的大气颗粒的一个或多个特性的信号可指示和/或区分是否在大气颗粒中检测到蒸汽或烟雾的存在。
在各种实施例中，该方法可包括基于检测到大气颗粒的存在检测170烟雾的存在。例如，可基于与大气颗粒的组成有关的确定信息来检测烟雾的存在。该方法可包括使用指示所检测大气颗粒的一个或多个特性的信号，基于检测到烟雾发出烟雾警报。为了实现这一点，可将指示所检测到的大气颗粒的一个或多个特性的信号提供给警报器或喇叭。被提供给警报器或喇叭的指示所检测大气颗粒的一个或多个特性的信号可指示一个或多个颗粒包括烟雾。这能够使该方法用于烹饪器具的烟雾传感器。如图1b进一步所示，该方法可进一步包括基于后续测量和基于参考测量检测180一个或多个生物。可以在检测到烟雾之后执行一个或多个生物的检测。指示所检测大气颗粒的一个或多个特性的信号还可以包括与检测到的一个或多个生物有关的信息。这能够基于是否存在生物来区分烟雾报警器的产生，例如，如果在附近检测到人并且能够处理导致产生烟雾的情况，则在发出烟雾报警之前允许更高的阈值。
如上所述，大气颗粒可形成大气颗粒的颗粒云，诸如烟雾云或蒸汽云。由于颗粒云通常在三维中延伸，即具有宽度、高度和深度，因此两个或多个后续测量可用于确定颗粒云的一个或多个特性中的一些特性，诸如颗粒云的密度、颗粒云的体积和颗粒云的范围。换句话说，该方法可包括基于表示调制光的编码调制的测量范围内的两个或多个距离的两个或多个编码调制图像来确定136与颗粒云的密度、体积和范围中的至少一个有关的信息。例如，可基于两个或更多个编码调制图像内的颗粒云的高度和宽度来确定颗粒云的体积(三维)，例如，通过基于两个或更多个编码调制图像内的颗粒云的高度和宽度以及基于两个或更多个距离的颗粒云来估计颗粒云的三维范围(即，高度、宽度和深度)。类似地，可基于两个或更多个编码调制图像内的颗粒云的高度和宽度以及基于两个或更多个距离来确定颗粒云的范围。颗粒云的密度可基于两个或更多个编码调制图像的幅度信息来确定。如果两个或更多个距离之间的幅度信息的衰减较高，则可以确定颗粒云的第一较高密度；而如果两个或更多个距离之间的幅度信息的衰减较低，则可以确定颗粒云的第二较低密度。通过比较两个或更多个编码调制图像的特性，可以推断出位于两个或更多个距离之间的大气颗粒的特性。
在至少一些实施例中，该方法的至少部分可以重复执行，例如周期性地重复。例如，可以周期性地获取后续测量，可以基于周期性获取的后续测量重复检测大气颗粒的存在，以及可以相应地更新指示所检测大气颗粒的一个或多个特性的信号。
在实施例中，处理模块14可使用一个或多个处理单元、一个或多个处理设备、任何处理设备(诸如可利用相应适配软件操作的处理器、计算机或可编程硬件组件)来实施。换句话说，处理模块14的所述功能也可以用软件来实施，而软件又在一个或多个可编程硬件部件上执行。这种硬件部件可包括通用处理器、数字信号处理器(DSP)、微控制器等。接口12可对应于模块内、模块之间或者不同实体的模块之间用于接收和/或发射信息(根据指定代码以数字(位)值表示)的一个或多个输入和/或输出。接口12与处理模块14耦合。
实施例还提供了一种计算机程序产品，其包括计算机可读介质，计算机可读介质中具有计算机可读程序代码，当加载到计算机、处理器或可编程硬件部件上时，计算机可读程序代码被配置为实施该方法。
结合所提出的概念或者上面或下面描述的一个或多个示例(例如，图2或图3)，提出了方法、装置、系统和计算机程序的更多细节和方面。方法、装置、系统和计算机程序可包括与所提出的概念的一个或多个方面或者上面或下面描述的一个或多个示例相对应的一个或多个附加可选特征。
至少一些实施例可提供使用飞行时间(ToF)传感器的大气颗粒检测。各种实施例能够使装配ToF传感器的设备检测小的大气颗粒，否则将需要额外的传感器。这些物质可包括尘埃、雾、雨、雪、烟和蒸汽水。
实施例可使ToF相机传感器(除其他外)能够使用调制编码检测小的大气颗粒。可以使得(仅)覆盖相机前方的自由空间的方式来选择调制码(例如，调制光到位于深度图像传感器模块和环境特征之间的区域的编码调制的测量范围)。这可以通过生成常规深度图像(例如，第一时间间隔中的参考测量)然后将调制码调整到场景(用于第二时间间隔中的后续测量)来动态地完成。如果空气中存在颗粒，则光从中反射，这是ToF相机可观察的。由于调制编码，场景中的对象(例如，深度图像传感器模块的环境背景的特征)可能不存在于相机测量中(例如，在后续测量中)，因为可以仅在相机前面的自由空间中相关的方式选择代码。
图2示出了一个实施例的示意图，在该实施例中，检测到尘埃颗粒，而未检测到对象的背景。图2示出了ToF相机210(例如，深度图像传感器模块或包括深度图像传感器模块的系统)、背景对象220、背景对象220和ToF相机210之间的已知距离、调制光的编码调制的测量范围和尘埃颗粒250。在图2中，背景对象220和ToF相机210之间的已知距离可用于限定调制光的编码调制的测量范围，这能够在忽略背景对象的情况下实现尘埃颗粒的检测。
图3示出了在0°、90°、180°、270°相位的编码调制与连续波ToF感测(分别表示为参考标号302、304、306和308)。参考标号310表示滤波器阈值，参考标号320表示背景对象，参考标号340表示测量范围(例如，编码调制的测量范围)，以及参考标号350表示尘埃颗粒(例如，大气颗粒)。相关输出可仅在ToF相机(未示出)和背景对象320之间(即，在测量范围340内)产生。
下面，给出一些示例性实施例。
在第一示例中，可以使用传统的连续波ToF成像来代替编码调制。可以通过比较参考图像(例如，参考测量)和测量图像(例如，后续测量)来检测(大气)颗粒。
在第二示例中，可拍摄多个编码调制图像(例如，一个或多个编码调制图像)以检索大气颗粒的幅度图像。
在第三示例中，可以提供关于包括烟雾的颗粒云的位置和体积大小的信息。
在第四示例中，可以使用在不同深度具有相关峰的两个编码调制图像(例如，两个或更多个编码调制图像)用于测量光的衰减(不同深度之间)并从而测量颗粒密度。
在第五示例中，类似于第一示例，由于结构光也测量深度，因此它也可用于检测大气颗粒。结构光传感器也可以使用调制编码。
第六示例可提供厨房器具(例如，烹饪器具)的烟雾和蒸汽检测。ToF传感器(例如，深度图像传感器模块)可检查厨房炉子，并且可以检测由沸水引起的蒸汽。ToF传感器可以是炉子的一部分，或者与炉子通信应该调节热量(例如，使用指示所检测大气颗粒的一个或多个特性的信号)。ToF传感器也可以是烹饪热控制回路的一部分。这能够使用户在煮沸之前离开正在制作的菜肴。
在第七示例中，ToF相机可用作烟雾探测器。相机甚至可以在烟雾到达安装在天花板上的烟雾探测器之前检测到烟雾。与专用传感器相比，相机不限于颗粒检测，还可用于检测室内人员(例如，一个或多个生物)。
在第八示例中，ToF传感器可用于汽车对抗性天气探测。其可用于区分雪和雨。其也可以使用第四示例用于检测雾及其密度。这可以为自主驾驶提供有价值的信息。
至少一些实施例可通过发送编码红外光来检测大气颗粒，其中接收到的光信号(例如，后续测量)可能仅受到大气颗粒的反射的影响。编码光信号可适应场景以仅测量自由空间。
与先前详述的一个或多个示例和附图一起描述的方面和特征也可以与一个或多个其他示例组合，以替换其他示例的类似特征或者为了将该特征另外引入其他示例。
当计算机程序在计算机或处理器上执行时，示例还可以是或涉及具有用于执行上述一种或多种方法的程序代码的计算机程序。上述各种方法的步骤、操作或处理可由编程计算机或处理器执行。示例还可以包括程序存储设备，诸如数字数据存储介质，其是机器、处理器或计算机可读的，并且对机器可执行程序、处理器可执行程序或计算机可执行程序的指令进行编码。指令执行或引起执行上述方法的部分或全部动作。程序存储设备可包括或者例如是数字存储器、诸如磁盘和磁带的磁性存储介质、硬盘驱动器或光可读数字数据存储介质。进一步的示例还可以涵盖被编程以执行上述方法的动作的计算机、处理器或控制单元或者被编程以执行上述方法的动作的(现场)可编程逻辑阵列((F)PLA)或(现场)可编程门阵列((F)PGA)。
说明书和附图仅示出了本公开的原理。此外，本文引用的所有示例主要旨在明确地仅用于说明性目的，以帮助读者理解本公开的原理和发明人为促进本领域的发展而贡献的概念。本文所有引用本公开的原理、方面和示例及其具体示例的陈述意在包含其等效物。
表示为“用于…的装置”的功能块可表示被配置为执行特定功能的电路。因此，“用于…的装置”可实施为“被配置为或适合于…的装置”，诸如被配置为或适合于对应任务的设备或电路。
图中所示各种元件的功能，包括标记为“装置”、“用于提供信号的装置”、“用于生成信号的装置”等的任何功能块可以专用硬件的形式实施，诸如“信号提供器”、“信号处理单元”、“处理器”、“控制器”等以及能够执行与适当软件相关的软件的硬件。当由处理器提供时，功能可由单个专用处理器、单个共享处理器或多个单独处理器(其中一些或全部可以共享)提供。然而，术语“处理器”或“控制器”到目前为止并不限于仅能够执行软件的硬件，而是可以包括数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)，随机存取存储器(RAM)和非易失性存储器。也可包括其他常规和/或定制的硬件。
例如，框图可示出实施本公开的原理的高级电路图。类似地，流程图、状态转换图、伪代码等可表示各种处理、操作或步骤，它们例如基本在计算机可读介质中表示并且由计算机或处理器执行，而无论是否显式地示出这种计算机或处理器。说明书或权利要求中公开的方法可通过具有用于执行这些方法的每一个相应动作的设备来实施。
应当理解，说明书或权利要求书中公开的多个动作、处理、操作、步骤或功能的公开不得被理解为按照特定顺序，除非另有明确或暗示，例如出于技术原因。因此，对多个动作或功能的公开不会将这些动作或功能限于特定顺序，除非出于技术原因，这些动作或功能不能互换。在一些示例中，单个动作、功能、处理、操作或步骤可包括或可分解成多个子动作、子功能、子处理、子操作或子步骤。除非明确排除，否则可包括这种子动作并且作为该单个动作的公开的一部分。
此外，以下权利要求在此并入详细描述，其中每项权利要求本身都可作为独立的示例。虽然每项权利要求本身可作为独立示例，但应当注意，尽管从属权利要求可以在权利要求中提及与一项或多项其他权利要求的特定组合，但其他示例也可以包括该从属权利要求与彼此从属或独立权利要求的主题的组合。除非说明不打算进行特定组合，否则在此明确提出这种组合。此外，还包括任何其他独立权利要求的权利要求的特征，即使该权利要求并非直接从属于该独立权利要求。

Claims (12)

1.一种用于检测大气颗粒的存在的方法，所述方法包括：
获取（110）深度图像传感器模块的环境的参考测量，其中所述参考测量基于第一时间间隔内的调制光的测量，其中所述调制光被所述深度图像传感器模块的所述环境的特征反射，其中所述调制光是基于光的编码调制；
在第二时间间隔内获取（120）调制光的后续测量；
基于所述调制光的所述后续测量来检测（130）所述大气颗粒的存在，其中通过使用在所述第一时间间隔内执行的所述参考测量来检测所述大气颗粒的存在，以忽略所述深度图像传感器模块的所述环境的全部或部分特征；
基于检测到所述大气颗粒的存在来生成（140）指示所检测到的大气颗粒的一个或多个特性的信号；
基于所述环境的所述参考测量确定（112）所述深度图像传感器模块和所述环境的特征之间的距离；以及
在所述第二时间间隔内将所述调制光的编码调制的测量范围设置（114）到位于所述深度图像传感器模块和所述环境的特征之间的区域，
其中所述调制光的所述后续测量包括表示所述调制光的编码调制的所述测量范围内的两个或更多个距离的两个或更多个编码调制图像，和/或其中所述深度图像传感器模块与所述环境的特征之间的距离是基于所述参考测量中包括的两个或更多个编码调制图像来确定（112）的，所述两个或更多个编码调制图像在距离所述深度图像传感器模块的所述两个或更多个距离处具有其相应的相关峰。
2.根据权利要求1所述的方法，其中所述方法包括：基于所述一个或多个编码调制图像确定（132）与所述大气颗粒的位置相关的信息，其中指示所检测到的大气颗粒的所述一个或多个特性的所述信号包括与所述大气颗粒的位置相关的信息。
3.根据权利要求1所述的方法，其中所述方法包括：基于所述一个或多个编码调制图像确定（134）与所述大气颗粒的组成相关的信息，其中指示所检测到的大气颗粒的所述一个或多个特性的所述信号包括与所述大气颗粒的组成相关的信息。
4.根据权利要求3所述的方法，其中与所述组成相关的信息指示所述大气颗粒是否包括蒸汽或者所述大气颗粒是否包括烟雾。
5.根据权利要求3所述的方法，其中使用机器学习算法来确定所述大气颗粒的组成，其中所述一个或多个编码调制图像被用作所述机器学习算法的输入，其中将示例编码调制图像用作训练输入且将示例组成信息用作训练输出来预先训练所述机器学习算法。
6.根据权利要求1所述的方法，其中所述大气颗粒形成大气颗粒的颗粒云，其中指示所检测到的大气颗粒的所述一个或多个特性的所述信号包括与所述颗粒云的位置、范围、体积、密度和组成中的至少一个相关的信息。
7.根据权利要求6所述的方法，其中所述方法包括：基于表示所述调制光的编码调制的测量范围内的两个或更多个距离的两个或更多个编码调制图像，确定（136）与所述颗粒云的密度、体积和范围中的至少一个相关的信息。
8.根据权利要求1所述的方法，其中所述调制光是基于结构光的发射。
9.根据权利要求1所述的方法，其中所述调制光是基于光的连续波调制，其中所述大气颗粒的存在是基于所述后续测量与所述参考测量之间的比较来检测的。
10.根据权利要求1所述的方法，其中所述方法包括发射（150）所述调制光，其中所述调制光使用所述第二时间间隔内的两个或更多个不同波长，其中所述后续测量包括基于所述两个或更多个不同波长的两个或更多个后续测量，其中所述方法包括：根据基于所述两个或更多个不同波长的所述两个或更多个后续测量确定（138）所述大气颗粒的材料组成。
11.一种用于检测大气颗粒的存在的装置（10），所述装置包括：
接口（12），包括一个或多个输入和/或输出并且用于与深度图像传感器模块（20）通信；
处理模块（14），被配置为：
从所述深度图像传感器模块获取所述深度图像传感器模块的环境的参考测量，其中所述参考测量是基于第一时间间隔中的调制光的测量，其中所述调制光被所述深度图像传感器模块的所述环境的特征反射，其中所述调制光是基于光的编码调制；
在第二时间间隔内从所述深度图像传感器模块获取调制光的后续测量；
基于所述调制光的所述后续测量检测所述大气颗粒的存在，其中通过使用在所述第一时间间隔内执行的所述参考测量来检测所述大气颗粒的存在，以忽略所述深度图像传感器模块的所述环境的全部或部分特征；
基于检测到所述大气颗粒的存在来生成指示所检测到的大气颗粒的一个或多个特性的信号；
基于所述环境的所述参考测量确定（112）所述深度图像传感器模块和所述环境的特征之间的距离；以及
在所述第二时间间隔内将所述调制光的编码调制的测量范围设置（114）到位于所述深度图像传感器模块和所述环境的特征之间的区域，
其中所述调制光的所述后续测量包括表示所述调制光的编码调制的所述测量范围内的两个或更多个距离的两个或更多个编码调制图像，和/或其中所述深度图像传感器模块与所述环境的特征之间的距离是基于所述参考测量中包括的两个或更多个编码调制图像来确定（112）的，所述两个或更多个编码调制图像在距离所述深度图像传感器模块的所述两个或更多个距离处具有其相应的相关峰。
12.一种系统（100），包括权利要求11所述的装置（10）和深度图像传感器模块（20），其中所述深度图像传感器模块被配置为执行所述参考测量和所述后续测量，并且其中所述深度图像传感器模块被配置为经由所述接口（12）向所述处理模块（14）提供所述参考测量和所述后续测量。
CN202010090893.9A 2019-02-13 2020-02-13 用于检测大气颗粒的存在的方法、装置和计算机程序 Active CN111562588B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19156978.9 2019-02-13
EP19156978.9A EP3696572A1 (en) 2019-02-13 2019-02-13 Method, apparatus and computer program for detecting a presence of airborne particles

Publications (2)

Publication Number Publication Date
CN111562588A CN111562588A (zh) 2020-08-21
CN111562588B true CN111562588B (zh) 2023-12-15

Family

ID=65433614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010090893.9A Active CN111562588B (zh) 2019-02-13 2020-02-13 用于检测大气颗粒的存在的方法、装置和计算机程序

Country Status (3)

Country Link
US (1) US11209372B2 (zh)
EP (1) EP3696572A1 (zh)
CN (1) CN111562588B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784711A (zh) * 2021-01-08 2021-05-11 清华大学 运动物体检测方法和装置
CN114612864B (zh) * 2022-03-24 2024-09-13 深圳技术大学 一种基于深度学习分割策略的智能黑烟检测方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2219010A1 (de) * 1972-04-19 1973-10-31 Aboyne Pty Ltd Detektoreinrichtung, insbesondere fuer feuerschutz- und feueralarmanlagen
US5565982A (en) * 1994-05-31 1996-10-15 Recon Exploration Apparatus and method for time resolved spectroscopy
CN103091266A (zh) * 2012-12-29 2013-05-08 聚光科技(杭州)股份有限公司 具有报警功能的气体遥测方法
DE102015004458A1 (de) * 2014-06-26 2015-12-31 Elmos Semiconductor Aktiengesellschaft Vorrichtung und Verfahren für einen klassifizierenden, rauchkammerlosen Luftzustandssensor
CN105911232A (zh) * 2016-07-09 2016-08-31 夏百战 一种空气污染物检测设备
US9677986B1 (en) * 2014-09-24 2017-06-13 Amazon Technologies, Inc. Airborne particle detection with user device
CN108982309A (zh) * 2018-05-02 2018-12-11 Oppo广东移动通信有限公司 检测方法、检测模组、电子装置、计算机设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7224825B2 (en) * 2002-04-18 2007-05-29 Lockheed Martin Corporation Detecting and identifying hazardous substances contained in mail articles
CN101099186B (zh) * 2004-11-12 2012-01-18 Vfs技术有限公司 微粒探测器，系统与方法
WO2009017721A2 (en) * 2007-07-28 2009-02-05 Buglab Llc Particle sensor with wide linear range
WO2009079789A1 (en) * 2007-12-21 2009-07-02 Leddartech Inc. Detection and ranging methods and systems
WO2009079779A1 (en) * 2007-12-21 2009-07-02 Leddartech Inc. Parking management system and method using lighting system
KR101947004B1 (ko) * 2008-06-10 2019-02-12 엑스트랄리스 테크놀로지 리미티드 입자 검출
CA2760026C (en) * 2009-05-01 2018-03-20 Xtralis Technologies Ltd Improvements to particle detectors
US8907802B2 (en) * 2012-04-29 2014-12-09 Valor Fire Safety, Llc Smoke detector with external sampling volume and ambient light rejection
DE102013224937A1 (de) * 2013-12-05 2015-06-11 Pmdtechnologies Gmbh Lichtlaufzeitkamerasystem
US9228919B1 (en) * 2014-12-22 2016-01-05 King Fahd University Of Petroleum And Minerals System for leak detection in pipelines by optical means
CN105141939B (zh) * 2015-08-18 2017-05-17 宁波盈芯信息科技有限公司 一种工作范围可调的三维深度感知方法及装置
EP3206045B1 (en) * 2016-02-15 2021-03-31 Airborne Hydrography AB Single-photon lidar scanner
WO2019143250A1 (en) * 2018-01-22 2019-07-25 Fugro N.V. Surveying instrument for and surveying method of surveying reference points

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2219010A1 (de) * 1972-04-19 1973-10-31 Aboyne Pty Ltd Detektoreinrichtung, insbesondere fuer feuerschutz- und feueralarmanlagen
US5565982A (en) * 1994-05-31 1996-10-15 Recon Exploration Apparatus and method for time resolved spectroscopy
CN103091266A (zh) * 2012-12-29 2013-05-08 聚光科技(杭州)股份有限公司 具有报警功能的气体遥测方法
DE102015004458A1 (de) * 2014-06-26 2015-12-31 Elmos Semiconductor Aktiengesellschaft Vorrichtung und Verfahren für einen klassifizierenden, rauchkammerlosen Luftzustandssensor
US9677986B1 (en) * 2014-09-24 2017-06-13 Amazon Technologies, Inc. Airborne particle detection with user device
CN105911232A (zh) * 2016-07-09 2016-08-31 夏百战 一种空气污染物检测设备
CN108982309A (zh) * 2018-05-02 2018-12-11 Oppo广东移动通信有限公司 检测方法、检测模组、电子装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于TOF计算成像的三维信息获取与误差分析;卢纯青;宋玉志;武延鹏;杨孟飞;;红外与激光工程(第10期);全文 *
基于飞行时间的三维成像研究进展和发展趋势;侯飞 等;导航与控制;第17卷(第5期);全文 *

Also Published As

Publication number Publication date
CN111562588A (zh) 2020-08-21
US20200256806A1 (en) 2020-08-13
EP3696572A1 (en) 2020-08-19
US11209372B2 (en) 2021-12-28

Similar Documents

Publication Publication Date Title
JP6667596B2 (ja) 物体検出システム、それを用いた自律走行車、およびその物体検出方法
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
KR20220069930A (ko) 라이다 정확도를 위한 시계열 측정 처리
CN111562588B (zh) 用于检测大气颗粒的存在的方法、装置和计算机程序
CN106461762A (zh) 对象检测系统和方法
US9258548B2 (en) Apparatus and method for generating depth image
Natale et al. Using full motion 3D Flash LIDAR video for target detection, segmentation, and tracking
KR102664396B1 (ko) 라이다 장치 및 그 동작 방법
CN112867939A (zh) 光探测和测距的直流偏置和噪声功率的实时估计
KR20200059666A (ko) 이동 장치 및 이동 장치의 객체 감지 방법
US11879993B2 (en) Time of flight sensor module, method, apparatus and computer program for determining distance information based on time of flight sensor data
CN113219476B (zh) 测距方法、终端及存储介质
JP2017524917A (ja) 飛行時間データをビニングするための方法
Buck et al. Generic 3D obstacle detection for AGVs using time-of-flight cameras
US10782409B2 (en) Technologies for LIDAR based moving object detection
CN113099120B (zh) 深度信息获取方法、装置、可读存储介质及深度相机
US8805075B2 (en) Method and apparatus for identifying a vibrometry spectrum in imaging applications
US11458980B2 (en) Enhanced sensor cleaning validation
Anwer et al. Real-time underwater 3D scene reconstruction using commercial depth sensor
JP6342169B2 (ja) 物体検出センサ及びプログラム
US20050012055A1 (en) Optical method for detecting object
US20090153326A1 (en) Method for locating intruder
CN116299496A (zh) 估计对象反射率的方法、处理装置和存储介质
WO2020235458A1 (ja) 画像処理装置、方法及び電子機器
US12128910B2 (en) Enhanced sensor cleaning validation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant