CN114173066A - 成像系统和方法 - Google Patents

成像系统和方法 Download PDF

Info

Publication number
CN114173066A
CN114173066A CN202110497655.4A CN202110497655A CN114173066A CN 114173066 A CN114173066 A CN 114173066A CN 202110497655 A CN202110497655 A CN 202110497655A CN 114173066 A CN114173066 A CN 114173066A
Authority
CN
China
Prior art keywords
image
channel
polarized
hyperspectral
merged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110497655.4A
Other languages
English (en)
Inventor
D.莱维
E.莫德柴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN114173066A publication Critical patent/CN114173066A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4061—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by injecting details from different spectral ranges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/286—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising for controlling or changing the state of polarisation, e.g. transforming one polarisation state into another
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种系统和方法可以包括通过彩色偏振成像相机捕获场景的多通道偏振图像和多通道RGB图像。可以从多通道RGB图像合成多通道高光谱图像，并将其与多通道偏振图像拼接以创建合并的偏振高光谱图像。合并的偏振高光谱图像中的场景特性可以被分离。

Description

成像系统和方法
技术领域
本发明涉及环境感知和自动车辆控制。
背景技术
众所周知，成像系统可以监控车辆周围的区域，以提高环境感知能力。这种系统可提供场景重建，包括目标和净路径确定，为操作员警报提供此类确定，并用作控制输入。这种系统可用于从完全操作员控制到完全自主控制的车辆控制。车辆可包括各种高级驾驶员辅助系统(ADAS)，其可响应于来自此类成像系统的输入来控制车辆导航动力学的一些或所有方面。
成像系统可提供场景识别和目标分类。场景深度信息可以由飞行时间测量提供，例如由无线电探测和测距(RaDAR)和光探测和测距(LiDAR)系统提供。然而，与成像系统相比，RaDAR和LiDAR系统的空间分辨率可能有限。因此，在空间信息不匹配的情况下，将来自这两种系统的信息结合起来是一项挑战。已知彩色偏振成像设备，其以等效成像系统空间分辨率提供组合的颜色和偏振信息。彩色偏振成像可以提高场景识别、目标分类和深度的综合能力。然而，这种成像设备提供的场景特性信息实质上是复杂的，因此难以提取。
发明内容
在一个示例性实施例中，装置可以是提供场景的多通道偏振图像的彩色偏振成像相机。彩色偏振成像相机还可以提供场景的多通道RGB图像。处理器可以适于从彩色偏振成像相机接收多通道偏振图像和多通道RGB图像，并且可以配置成从多通道RGB图像合成多通道高光谱图像，将多通道偏振图像和多通道高光谱图像拼接以创建合并的偏振高光谱图像，并分离合并的偏振高光谱图像中的场景特性。
除了本文描述的一个或多个特征之外，分离合并的偏振高光谱图像内的场景特性可以包括从合并的偏振高光谱图像中提取单独场景特性。
除了本文描述的一个或多个特征外，分离合并的偏振高光谱图像内的场景特性可包括在训练的神经网络的输入层接收合并的偏振高光谱图像，并通过训练的神经网络从合并的偏振高光谱图像中提取单独场景的特征。
除了本文描述的一个或多个特征外，分离合并的偏振高光谱图像内的场景特性可包括在训练的神经网络的输入层接收合并的偏振高光谱图像，以及通过训练的神经网络生成深度映射空间图像。
除了本文描述的一个或多个特征外，单独场景特性可以包括照明、材料和表面取向。
除了本文描述的一个或多个特征之外，从多通道RGB图像合成多通道高光谱图像可以包括超完备字典技术的稀疏应用。
除了本文描述的一个或多个特征之外，多通道偏振图像、多通道RGB图像和多通道高光谱图像可以包括空间标识。
在另一个示例性实施例中，一种方法可以包括通过彩色偏振成像相机捕获场景的多通道偏振图像和多通道RGB图像，通过处理器从多通道RGB图像合成多通道高光谱图像，通过处理器将多通道偏振图像和多通道高光谱图像拼接以创建合并的偏振高光谱图像，以及分离合并的偏振高光谱图像内的场景特性。
除了本文描述的一个或多个特征之外，分离合并的偏振高光谱图像内的场景特性可以包括从合并的偏振高光谱图像中提取单独场景特性。
除了本文描述的一个或多个特征外，分离合并的偏振高光谱图像内的场景特性可包括在训练的神经网络的输入层接收合并的偏振高光谱图像，并通过训练的神经网络从合并的偏振高光谱图像中提取单独场景特性。
除了本文描述的一个或多个特征外，分离合并的偏振高光谱图像内的场景特性可包括在训练的神经网络的输入层接收合并的偏振高光谱图像，以及通过训练的神经网络生成深度映射空间图像。
除了本文描述的一个或多个特征外，单独场景特性还可以包括照明、材料和表面取向。
除了本文描述的一个或多个特征外，从多通道RGB图像合成多通道高光谱图像可以包括超完备字典技术的稀疏应用。
除了本文描述的一个或多个特征外，多通道偏振图像、多通道RGB图像和多通道高光谱图像可以包括空间标识。
在又一个示例性实施例中，一种方法可包括通过车辆上的彩色偏振成像相机捕获车辆外部场景的多通道偏振图像和多通道RGB图像，并通过处理器从多通道RGB图像合成多通道高光谱图像，通过处理器将所述多通道偏振图像和所述多通道高光谱图像拼接以创建合并的偏振高光谱图像，通过处理器在训练的神经网络的输入层接收合并的偏振高光谱图像，以下中的至少一个成立：(i)由处理器通过训练的神经网络从合并的偏振高光谱图像中提取单独场景特性，以及(ii)由处理器通过训练的神经网络生成深度映射空间图像，以及执行车辆控制操作以响应于场景特性和深度映射空间图像中的至少一个来控制车辆。
除了本文描述的一个或多个特征外，单独场景特性还可以包括照明、材料和表面取向。
除了本文描述的一个或多个特征外，深度映射空间图像包括深度通道图像和多通道RGB图像。
除了本文描述的一个或多个特征外，从多通道RGB图像合成多通道高光谱图像可以包括超完备字典技术的稀疏应用。
除了本文描述的一个或多个特征外，多通道偏振图像、多通道RGB图像和多通道高光谱图像可以包括空间标识。
上述特征和优点以及本发明的其他特征和优点在结合附图进行以下详细描述时显而易见。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，该详细描述参考附图，其中：
图1示出了根据本发明用于感测车辆附近环境和控制车辆导航动力学的示例性系统；
图2示出了根据本发明的4x4(16像素)计算单元的布置，该4x4(16像素)计算单元包括示例性彩色偏振相机传感器的偏振器阵列层和公共滤色器阵列；
图3示出了根据本发明的示例性彩色偏振相机传感器的2x2(4像素)计算单元；
图4示出了根据本发明的示例性彩色偏振相机传感器的4x4(16像素)计算单元的视图；
图5示出了根据本发明的复杂数据集的图形表示，该复杂数据集说明了影响高光谱和偏振图像的图像特性；以及
图6示出了根据本发明的用于从单色偏振相机生成深度映射空间图像的示例性过程。
具体实施方式
以下描述仅为示例性描述，并不旨在限制本发明及其应用或用途。在整个附图中，对应的附图标记指示相似或对应的部件和特征。如本文所使用的，控制模块、模块、控制、控制器、控制单元、电子控制单元、处理器和类似术语是指以下中的任一个或以下中一个或多个的各种组合：专用集成电路(ASIC)、电子电路、，中央处理单元(优选微处理器)和相关存储器和储存器(只读存储器(ROM)、随机存取存储器(RAM)、电可编程只读存储器(EPROM)、硬盘驱动器等)、图形处理单元或执行一个或多个软件或固件程序或例程的微控制器，组合逻辑电路、输入/输出电路和设备(I/O)以及适当的信号调节和缓冲电路、高速时钟、模拟到数字(A/D)和数字到模拟(D/A)电路以及提供所述功能的其他部件。控制模块可以包括各种通信接口，包括点对点或离散线路以及到网络的有线或无线接口，包括广域网和局域网、车上控制器局域网以及厂内和服务相关网络。本发明所述的控制模块的功能可以在多个网络控制模块之间的分布式控制体系结构中执行。软件、固件、程序、指令、例程、代码、算法和类似术语是指任何控制器可执行指令集，包括校准、数据结构和查找表。控制模块具有一组执行以提供所述功能的控制例程。例程被执行，例如由中央处理单元执行，并且可操作以监视来自感测设备和其他网络控制模块的输入，并执行控制和诊断例程以控制致动器的操作。例行程序可在发动机和车辆运行期间定期执行。或者，可以响应于事件的发生、软件调用或通过用户界面输入或请求按需执行例程。
现在转到图1，框图示出了用于感测车辆附近环境并响应其控制车辆导航动态的示例性系统100。系统100可以包括车辆101、处理器140、彩色偏振相机120、存储器145、车辆控制器130、节气门控制器155、制动控制器160和转向控制器170。处理器140可以是图形处理单元。车辆控制器130可以生成用于耦合到其他车辆系统控制器(例如节气门控制器155、制动控制器160和转向控制器170)的控制信号，以便根据ADAS控制来控制车辆的操作。车辆控制器130可以响应于处理器140生成的输入(例如深度映射的空间图像)来操作，以通过节气门控制器155调整车辆的速度或通过制动控制器160应用摩擦制动器。车辆控制器130可以响应于由处理器140产生的输入来操作，以调整经由转向控制器170控制车辆转向的车辆的方向。
除其他传感器外，系统100可利用彩色偏振相机120来检测车辆附近的物体。可以执行传感器融合以提供外部物体的精确检测、分类、跟踪等以及诸如相对速度、加速度等适当属性的计算。彩色偏振相机120用于捕获视野(FOV)内的图像，该视野可包括该FOV内的静态和动态物体。图像处理技术可用于定位和分类视野内的物体。FOV通常与驾驶场景或部分驾驶场景相关，受FOV限制。
彩色偏振相机120可用于捕获靠近车辆101的视野的图像或一系列图像。该系列图像可用于随时间生成视野的视频等。彩色偏振相机120可以用于被动地收集偏振数据，并且可以在公共滤色器阵列(CFA)(拜耳滤波器)上配备偏振阵列层。在示例性实施例中，偏振相机120可操作以收集公共滤色器阵列的四象限颜色(RGGB)中的每种颜色的0°，45°，90°和135°偏振角数据。因此，在该示例性实施例中，彩色偏振相机120可以为每个计算单元提供16个不同的偏振值。在该示例性实施例中，处理器140可操作以从彩色偏振相机120接收来自彩色偏振相机120的公共滤色器阵列的每个色象限(RGGB)的原始偏振角数据(I0、I45、I90和I135)。另外，处理器140可以从彩色偏振相机120的公共滤色器阵列的每个色象限(RGGB)接收红、绿和蓝(RGB)光信息。因此，在示例性实施例中，来自车辆附近的视野的电磁辐射被偏振相机120捕获为每个像素的颜色和偏振数据，并且耦合到处理器140。从偏振相机120输出的数字化原始数据可以包括七个信息信道，其中三个信道是RGB颜色信道，四个信道是偏振信道。
现在转到图2、3和4，示例性彩色偏振相机传感器250可包括由置于光电二极管层上方的焦平面阵列(FPA)上的纳米线网格图案制成的偏振器阵列层260。偏振器阵列层260可以固有地实现为传感器制造过程的一部分。或者，可以设计和制造偏振器阵列层260，然后将其应用于FPA。图2示出了彩色偏振相机传感器250的一个4x4(16像素)计算单元，应当理解，彩色偏振相机传感器250根据彩色偏振相机120的期望分辨率包括多个这样的计算单元。
为了测量光的颜色强度(即，红、绿、蓝(RGB)数据)以及偏振数据，可以在公共滤色器阵列255的顶部实现偏振器阵列层260。CFA 255的每个色象限(RGGB)可对应于2x2(4像素)计算单元Q(图3)，其中每个像素对应于偏振器阵列层260的四个偏振角中的相应一个0°，45°，90°和135°。在示例性实施例中，四个2x2(4像素)计算单元(Q1、Q2、Q3、Q4)用于形成4x4(16像素)计算单元(图4)，每个计算单元对应于CFA的四个色象限(RGGB)中的相应一个。
图3示出了允许测量三个斯托克斯参数(表示为S0、S1、S2)和推导线偏振角(AoLP)和线偏振度(DoLP)的示例性2x2(4像素)计算单元Q。在该示例中，针对CFA的四种颜色中的每种颜色独立地计算偏振数据，并且相机输出是具有五个通道的场景图像：R、G、B、AoLP和DoLP。因此，使用从每个角偏振器I0、I45、I90和I135接收的原始数据来根据等式1-3确定斯托克斯参数S0、S1、S2。
S0＝I0+I90＝I45+I135 [1]
S1＝Io-I90 [2]
S2＝I45-I135 [3]
接着，斯托克斯参数可用于根据等式4和5生成具有3个通道的视野图像的相机输出：强度、AoLP和DoLP。。
Figure BDA0003053879030000061
Figure BDA0003053879030000062
图5在左侧示出了照明501、材料503和表面取向505的众所周知的场景特性。右边是高光谱成像507和偏振成像509。已知，照明501实质上影响高光谱成像507和偏振成像509二者，如图所示。还已知，材料503对高光谱成像507和偏振成像509都有实质影响，如图所示。然而，如图所示，已知表面取向仅实质性地影响偏振成像509而不影响高光谱成像507。此外，如图所示，在连接箭头的相对权重中例示了每个场景特性501-505的相对影响。因此，可以理解，高光谱成像507受照明501和材料503的场景特性的影响相对相等，而偏振成像509受材料503的场景特性的影响基本上等同于其对高光谱成像507的影响，受照明501的场景特性相对较小程度的影响且受表面取向505的场景特性相对较大程度的影响。图5表示说明影响高光谱和偏振图像的场景特性的复杂数据集的简单的图形表示。
根据一个实施例，图6示出了用于从单色偏振相机120生成深度映射空间图像的示例性过程。该过程可以由处理器140(图1)执行。彩色偏振相机120提供相机视野内的场景的多通道偏振图像601。本实施例中的多通道偏振图像601包括四个通道的偏振信息，每个通道用于原始偏振数据(I0、I45、I90和I135)。多通道偏振图像601的每个通道占据与彩色偏振相机120的分辨率相对应的相同空间尺寸。彩色偏振相机120还提供相机视野内的场景的多通道RGB图像603。本实施例中的多通道RGB图像603包括三个颜色信息通道，每个RGB颜色一个通道。多通道RGB图像603的每个通道占据与彩色偏振相机120的分辨率相对应的相同空间尺寸。根据本发明，从RGB图像603合成多通道高光谱图像605。多通道高光谱图像605的每个通道占据与彩色偏振相机120的分辨率相对应的相同空间尺寸。多通道偏振图像601、多通道RGB图像603和多通道高光谱图像605的每个通道可以保存到存储器145中，并且有利地可以存储为等效空间标识的阵列。因此，可以理解，多通道偏振图像601、多通道RGB图像603和多通道高光谱图像605共享空间标识。
众所周知，RGB图像603的每个像素可以在多个光谱点或区域(例如100个)处从预先确定的感兴趣的频率或波长范围内(例如，在约400nm到约700nm的可见光谱内)采样。因此，可以从每个像素提取100维向量，其中每个维是不同的光谱点或区域。因此，每个像素RGB可以由100维向量表示。然而，已经认识到，虽然整个光谱可能需要例如高(例如100)维空间的表示，但是实际上需要低得多的维空间(例如3-8)来令人满意地表示每个像素。因此，在一个实施例中，可以建立100维向量的超完备字典，并且每个实际RGB点可以仅具有这些向量中的几个的稀疏线性组合。超完备字典强制表示稀疏性。因此，从100维到例如3-8维的RGB投影是一个简单的确定性函数。给定来自彩色偏振相机120的新RGB图像，可以确定字典在投影到RGB之后的系数，以返回字典中整个多个向量中的几个向量的最小线性组合的稀疏表示。因此，可以使用图像中每个像素处的向量的线性组合来合成高光谱图像。前述仅表示一种被称为超完备字典技术的稀疏应用的已知技术，该技术为本领域技术人员所知，用于从RGB图像重建多通道高光谱图像。
在合成多通道高光谱图像605之后，多通道偏振图像601和多通道高光谱图像605的空间标识允许将各个图像(601、605)的所有通道简单地线性拼接成合并的图像607。合并的图像接下来可以被输入到下游处理609以分离隐含的照明、材料和表面取向场景特性。这种处理和分离可以进一步增强独立地感知和利用场景特性中的每一个的能力。因此，除了对场景、物体或特征的全三维感知之外，还可以区分材料。例如，前面的道路斑块特征可区分为黑冰与纸屑，这一区别可能与操作员通知和/或ADAS功能有关。在一个实施例中，下游处理可包括训练的深度神经网络以生成深度映射空间图像。在一个实施例中，处理器140可采用卷积编码器-解码器将合并的图像信息转换为深度映射空间图像。例如，编码器可以包括若干层，每个层包含各种大小的卷积滤波器、池块、归一化块和非线性激活函数。每个层可以输出一组特征图，也称为通道。编码器可以接收合并的图像并生成低维表示。解码器可以反转编码器的操作，并且还可以包括多个层，每个层包含卷积、池化、归一化和非线性激活函数。编码器中的层和解码器中的相应层之间可能存在连接。在一个示例性实施例中，编码器-解码器架构可以类似于用于图像分割的U-net卷积网络。网络输入可以包括具有预定数量的总通道(包括高光谱数据通道和偏振数据通道)的合并的图像。网络输出可以包括表示深度通道图像中像素级的空间精确深度的单个通道。替代地或者另外，网络输出可以包括一个或多个附加通道，这些通道表示独立场景特性(例如，各个场景特性图像中的照明、材料和表面取向)的空间精确度量。替代地或者另外，多个网络可以独立地输出表示深度、照明、材料和表面取向的空间上精确度量的各个通道。下游处理609还可以包括各种图像通道的重新整合，例如来自网络的深度通道图像与原始RGB图像的RGB通道的拼接，以生成深度映射空间图像。其他附加通道，例如照明通道图像、材料通道图像或表面取向通道图像中的一个或多个，可以与这种深度映射空间图像合并。这种多通道空间图像和/或独立场景特性的空间精确度量的独立通道可以向车辆控制器130提供输入以与ADAS控件一起使用。
除非明确描述为“直接”，当上述公开中描述了第一和第二元素之间的关系时，该关系可以是直接关系，其中第一和第二元素之间不存在其他中间元素，但是也可以是间接关系，其中在第一和第二元素之间存在一个或多个中间元素(空间上或功能上)。
应该理解，方法或过程中的一个或多个步骤可以以不同的顺序(或同时)执行，而不改变本发明的原则。此外，尽管上述每个实施例被描述为具有某些特征，但是关于本发明的任何实施例所描述的那些特征中的任何一个或多个可以在任何其他实施例的特征中实现和/或组合，即使没有明确描述该组合。换言之，所描述的实施例不是相互排斥的，并且一个或多个实施例彼此之间的排列仍在本公开的范围内。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变，并且可以用等效物代替其元件。此外，在不脱离本发明的基本范围的情况下，可以作出许多修改以使特定情况或材料适应本发明的教导。因此，本发明不限于所公开的特定实施例，而是包括在其范围内的所有实施例。

Claims (10)

1.一种装置，包括：
提供场景的多通道偏振图像的彩色偏振成像相机；
提供场景的多通道RGB图像的彩色偏振成像相机；
处理器，适于从所述彩色偏振成像相机接收所述多通道偏振图像和所述多通道RGB图像，并且配置成：
由所述多通道RGB图像合成多通道高光谱图像；
将所述多通道偏振图像与所述多通道高光谱图像拼接，形成合并的偏振高光谱图像；以及
在所述合并的偏振高光谱图像中分离场景特性。
2.根据权利要求1所述的装置，其中分离所述合并的偏振高光谱图像内的场景特性包括从所述合并的偏振高光谱图像中提取单独场景特性。
3.根据权利要求1所述的装置，其中分离所述合并的偏振高光谱图像内的场景特性包括：
在训练的神经网络的输入层接收所述合并的偏振高光谱图像；和
通过所述训练的神经网络从合并的偏振高光谱图像中提取场景特性。
4.根据权利要求1所述的装置，其中分离合并的偏振高光谱图像内的场景特性包括：
在训练的神经网络的输入层接收所述合并的偏振高光谱图像；和
通过所述训练的神经网络生成深度映射的空间图像。
5.根据权利要求3所述的装置，其中单独场景特性包括照明、材料和表面取向。
6.根据权利要求1所述的装置，其中，从所述多通道RGB图像合成多通道高光谱图像包括超完备字典技术的稀疏应用。
7.根据权利要求1所述的装置，其中所述多通道偏振图像、所述多通道RGB图像和所述多通道高光谱图像包括空间标识。
8.一种方法，包括：
通过彩色偏振成像相机捕获场景的多通道偏振图像和多通道RGB图像；
通过处理器从所述多通道RGB图像合成多通道高光谱图像；
通过所述处理器来拼接所述多通道偏振图像和所述多通道高光谱图像，以形成合并的偏振高光谱图像；和
分离所述合并的偏振高光谱图像中的场景特性。
9.根据权利要求8所述的方法，其中分离所述合并的偏振高光谱图像内的场景特性包括从所述合并的偏振高光谱图像中提取单独场景特性。
10.根据权利要求8所述的方法，其中，从所述多通道RGB图像合成多通道高光谱图像包括超完备字典技术的稀疏应用。
CN202110497655.4A 2020-09-11 2021-05-07 成像系统和方法 Pending CN114173066A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/017,806 2020-09-11
US17/017,806 US11418762B2 (en) 2020-09-11 2020-09-11 Imaging system and method

Publications (1)

Publication Number Publication Date
CN114173066A true CN114173066A (zh) 2022-03-11

Family

ID=80351592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110497655.4A Pending CN114173066A (zh) 2020-09-11 2021-05-07 成像系统和方法

Country Status (3)

Country Link
US (1) US11418762B2 (zh)
CN (1) CN114173066A (zh)
DE (1) DE102021111112A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115265786A (zh) * 2022-09-30 2022-11-01 长春理工大学 一种自动调节曝光值的强光偏振探测装置及其探测方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220180630A1 (en) * 2020-12-04 2022-06-09 Intelinair, Inc. Resudue analysis and management system
US11810225B2 (en) * 2021-03-30 2023-11-07 Zoox, Inc. Top-down scene generation
US11858514B2 (en) 2021-03-30 2024-01-02 Zoox, Inc. Top-down scene discrimination

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110058038A1 (en) * 2009-09-04 2011-03-10 Lockheed Martin Corporation Single camera color polarimetric imaging
US20130293871A1 (en) * 2012-04-20 2013-11-07 Washington University Sensor for spectral-polarization imaging
CN104614731A (zh) * 2015-01-20 2015-05-13 长春理工大学 基于高光谱全偏振的目标探测成像系统
JP2018040976A (ja) * 2016-09-08 2018-03-15 国立大学法人宇都宮大学 フィルタ、画像撮影装置および画像撮影システム
US20180308260A1 (en) * 2015-10-19 2018-10-25 National Ict Australia Limited Spectral reconstruction
CN109405972A (zh) * 2018-11-29 2019-03-01 天津津航技术物理研究所 一种高光谱偏振成像系统
CN110070572A (zh) * 2018-01-24 2019-07-30 通用汽车环球科技运作有限责任公司 使用稀疏深度数据生成距离图像的方法和系统
CN110995968A (zh) * 2019-11-25 2020-04-10 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备和成像方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589195B2 (en) * 2014-01-22 2017-03-07 Polaris Sensor Technologies, Inc. Polarization-based mapping and perception method and system
US10395113B2 (en) * 2014-01-22 2019-08-27 Polaris Sensor Technologies, Inc. Polarization-based detection and mapping method and system
GB2534884B (en) * 2015-02-03 2019-04-17 Jaguar Land Rover Ltd A system for use in a vehicle
US10421459B2 (en) * 2016-12-20 2019-09-24 GM Global Technology Operations LLC Contextual-assessment vehicle systems
WO2018194920A1 (en) * 2017-04-19 2018-10-25 Arizona Board Of Regents On Behalf Of The University Of Arizona Polarization sensitive devices, methods and applications
EP3709216B1 (en) * 2018-02-09 2023-08-02 Bayerische Motoren Werke Aktiengesellschaft Methods and apparatuses for object detection in a scene represented by depth data of a range detection sensor and image data of a camera
US10482576B2 (en) * 2018-03-19 2019-11-19 Mitsubishi Electric Research Laboratories, Inc. Systems and methods for multi-spectral image super-resolution
US10659751B1 (en) * 2018-12-14 2020-05-19 Lyft Inc. Multichannel, multi-polarization imaging for improved perception
US11405601B2 (en) * 2019-09-17 2022-08-02 Meta Platforms Technologies, Llc Polarization capture device, system, and method
US11127147B2 (en) * 2019-12-10 2021-09-21 GM Global Technology Operations LLC Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle
WO2021154459A1 (en) * 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11367292B2 (en) * 2020-02-24 2022-06-21 Ford Global Technologies, Llc Road marking detection
EP4115197A4 (en) * 2020-04-15 2024-03-27 Trieye Ltd SYSTEM FOR IDENTIFYING BLACK ICE AND WATER ON ROADS
EP3944183A1 (en) * 2020-07-20 2022-01-26 Hexagon Technology Center GmbH Method and system for enhancing images using machine learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110058038A1 (en) * 2009-09-04 2011-03-10 Lockheed Martin Corporation Single camera color polarimetric imaging
US20130293871A1 (en) * 2012-04-20 2013-11-07 Washington University Sensor for spectral-polarization imaging
CN104614731A (zh) * 2015-01-20 2015-05-13 长春理工大学 基于高光谱全偏振的目标探测成像系统
US20180308260A1 (en) * 2015-10-19 2018-10-25 National Ict Australia Limited Spectral reconstruction
JP2018040976A (ja) * 2016-09-08 2018-03-15 国立大学法人宇都宮大学 フィルタ、画像撮影装置および画像撮影システム
CN110070572A (zh) * 2018-01-24 2019-07-30 通用汽车环球科技运作有限责任公司 使用稀疏深度数据生成距离图像的方法和系统
CN109405972A (zh) * 2018-11-29 2019-03-01 天津津航技术物理研究所 一种高光谱偏振成像系统
CN110995968A (zh) * 2019-11-25 2020-04-10 Oppo广东移动通信有限公司 图像传感器、摄像装置、电子设备和成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
柏财勋等: "基于微偏振阵列的干涉型高光谱偏振成像方法", 《红外与激光工程》 *
马雪洁等: "高光谱在体组织成像方法的研究进展", 《激光与光电子学进展》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115265786A (zh) * 2022-09-30 2022-11-01 长春理工大学 一种自动调节曝光值的强光偏振探测装置及其探测方法

Also Published As

Publication number Publication date
US20220086403A1 (en) 2022-03-17
DE102021111112A1 (de) 2022-03-17
US11418762B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114173066A (zh) 成像系统和方法
US10638099B2 (en) Extended color processing on pelican array cameras
US8687073B2 (en) Multi-channel imaging devices
TWI682671B (zh) 影像處理裝置和影像處理方法及攝像元件
CN110017897B (zh) 一种紧凑型单目多通道可组合式多光谱成像系统
CN110771152B (zh) 复眼摄像装置、图像处理方法以及记录介质
CN112954281B (zh) 在车辆中使用偏振相机生成三维点云的设备和方法
JP7171254B2 (ja) 画像処理装置、撮像装置、および画像処理方法
WO2012014627A1 (ja) 車両周辺監視装置
CN114757831B (zh) 基于智能空谱融合的高分辨率视频高光谱成像方法、装置及介质
US20220103797A1 (en) Integrated Spatial Phase Imaging
WO2019234504A2 (en) High-resolution automotive lens and sensor
CN110809881A (zh) 图像处理系统和方法
EP3163867A1 (en) Automated vehicle imager device with improved infrared sensitivity
US20220368873A1 (en) Image sensor, imaging apparatus, and image processing method
JP2007264838A (ja) 物体識別装置
Haavardsholm et al. Multimodal Multispectral Imaging System for Small UAVs
TW202135522A (zh) 圖像處理方法及感測器裝置
Karaca et al. Ground-based panoramic stereo hyperspectral imaging system with multiband stereo matching
CN112802068A (zh) 一种同步获取深度、彩色与光谱图像的装置及识别系统
KR102667267B1 (ko) 영상 획득 장치 및 이를 포함하는 전자 장치
US20230066267A1 (en) Image acquisition apparatus including a plurality of image sensors, and electronic apparatus including the image acquisition apparatus
Buquet et al. In-flight testing of wide-angle low-light for UAS automated navigation
CN118115844A (zh) 基于图像和点云融合的目标检测方法、车辆及存储介质
Park et al. Spatially High Resolution Visible and Near-Infrared Separation using Conditional Generative Adversarial Network and Color Brightness Transfer Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220311

RJ01 Rejection of invention patent application after publication