CN110365872A - 相机像素的动态去马赛克 - Google Patents

相机像素的动态去马赛克 Download PDF

Info

Publication number
CN110365872A
CN110365872A CN201910230509.8A CN201910230509A CN110365872A CN 110365872 A CN110365872 A CN 110365872A CN 201910230509 A CN201910230509 A CN 201910230509A CN 110365872 A CN110365872 A CN 110365872A
Authority
CN
China
Prior art keywords
filter
light
green
wave
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910230509.8A
Other languages
English (en)
Other versions
CN110365872B (zh
Inventor
S·G·帕特勒
M·穆拉德
J·G·马恰克
F·W·亨特齐克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110365872A publication Critical patent/CN110365872A/zh
Application granted granted Critical
Publication of CN110365872B publication Critical patent/CN110365872B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • H04N9/78—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase for separating the brightness signal or the chrominance signal from the colour television signal, e.g. using comb filter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Traffic Control Systems (AREA)

Abstract

用于对车辆中的摄像机执行动态去马赛克的方法和系统涉及摄像机的图像传感器阵列以获得光强度值。图像传感器阵列的每个图像传感器表示像素。摄像机的滤光器阵列覆盖图像传感器阵列并且限制图像传感器阵列的一个图像传感器获得光强度值的波长范围。滤光器阵列包括与两个不同波长范围对应的至少两种不同类型的滤光器。处理器估计与车辆相关联的当前状态，并且基于当前状态选择去马赛克算法，使得对于每个像素，去马赛克算法有助于在与对应图像传感器获得光强度值的波长范围不同的波长范围内估计光强度值。

Description

相机像素的动态去马赛克
引言
本发明涉及摄像机像素的动态去马赛克。
车辆(例如，机动车、卡车、建筑设备、农用设备、自动化工厂设备)越来越多地包括获得关于车辆操作和车辆周围环境的信息的传感器。诸如摄像机、无线电检测和测距(雷达)系统以及光检测和测距(激光雷达)系统的一些传感器可以检测和跟踪车辆附近的物体。通过确定车辆周围物体的相对位置和航向，可以增强或自动化车辆操作以提高安全性和性能。例如，传感器信息可以用于向车辆驾驶员发出警报或操作车辆系统(例如，碰撞避免系统、自适应巡航控制系统、自动驾驶系统)。摄像机可以包括通常与一个去马赛克算法相关联的色彩滤光器阵列(CFA)。因此，期望提供摄像机像素的动态去马赛克。
发明内容
在一个示例性实施例中，用于对车辆中的摄像机执行动态去马赛克的系统包括摄像机的图像传感器阵列以获得光强度值。图像传感器阵列的每个图像传感器表示像素。系统还包括摄像机的滤光器阵列，以覆盖图像传感器阵列，使得滤光器阵列的每个滤光器对应于图像传感器阵列的一个图像传感器，并且限制图像传感器阵列的一个图像传感器获得光强度值的波长范围。滤光器阵列包括与两个不同波长范围对应的至少两种不同类型的滤光器。处理器估算与车辆相关联的当前状态，并且基于当前状态选择去马赛克算法，使得用于每个像素。去马赛克算法有助于在与对应图像传感器获得光强度值的波长范围不同的波长范围内估算光强度值。
除了本文描述的一个或多个特征之外，至少两种不同类型的滤光器包括分别对应于红光、绿光和蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器，以及对应于比红光、绿光和蓝光的波长范围更大的波长范围的单色滤光器。
除了本文描述的一个或多个特征之外，基于当前状态是低于阈值水平的环境光，去马赛克算法将由具有单色滤光器的图像传感器阵列的一个或多个图像传感器测量的一个或多个光强度值的加权和添加到每个像素处的红光、绿光和蓝光的估算中。
除了本文描述的一个或多个特征之外，其中，基于当前状态是正在接近交通灯，去马赛克算法将由具有单色滤光器的图像传感器阵列的一个或多个图像传感器测量的光强度水平用作每个像素处的蓝光的估算。
除了本文描述的一个或多个特征之外，基于当前状态是车道感测状态，去马赛克算法将由具有单色滤光器的图像传感器阵列的一个或多个图像传感器测量的光强度水平用作每个像素处的红光、绿光和蓝光的估算。
除了本文描述的一个或多个特征之外，基于当前状态是前进制动事件，去马赛克算法将由具有单色滤光器的图像传感器阵列的一个或多个图像传感器测量的光强度水平用作每个像素处的绿光和蓝光的估算。
除了本文描述的一个或多个特征之外，处理器根据将当前状态与去马赛克算法相匹配的基于规则的算法选择去马赛克算法。
除了本文描述的一个或多个特征之外，处理器使用雷达系统、激光雷达系统或环境光检测器来估算当前状态。
在另一个示例性实施例中，一种对车辆中的摄像机执行动态去马赛克的方法包括从摄像机的图像传感器阵列获得光强度值，图像传感器阵列的每个图像传感器代表像素，并且图像传感器阵列的每个图像传感器具有叠加的滤光器阵列的滤光器，使得滤光器阵列的滤光器限制图像传感器阵列的图像传感器获得光强度值的波长范围。滤光器阵列包括与两个不同波长范围对应的至少两种不同类型的滤光器。方法还包括估算与车辆相关联的当前状态，并且基于当前状态选择去马赛克算法，使得对于每个像素，去马赛克算法有助于在与对应图像传感器获得光强度值的波长范围不同的波长范围内估算光强度值。
除了本文描述的一个或多个特征之外，获得光强度值包括基于至少两种不同类型的滤光器(包括分别对应于具有红光、绿光和蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器)和单色滤光器(对应于与红光、绿光和蓝光的波长范围相比具有更大波长范围的单色光)来获得红光、绿光、蓝光和单色光。
除了本文描述的一个或多个特征之外，基于估算指示环境光水平低于阈值水平的当前状态，选择去马赛克算法包括选择去马赛克算法，其将由具有单色滤光器的图像传感器阵列的一个或多个图像传感器测量的一个或多个光强度值的加权和添加到每个像素处的红色、绿色和蓝色的估算中。
除了本文描述的一个或多个特征之外，基于估算指示接近交通灯的当前状态，选择去马赛克算法包括选择将由具有单色滤光器的图像传感器阵列的一个或多个图像传感器测量的光强度水平用作每个像素处的蓝光的估算的去马赛克算法。
除了本文描述的一个或多个特征之外，基于估算指示车道感测状态的当前状态，选择去马赛克算法包括选择将由具有单色滤光器的图像传感器阵列的一个或多个图像传感器测量的光强度水平用作每个像素处的红光、绿光和蓝光的估算的去马赛克算法。
除了本文描述的一个或多个特征之外，基于估算指示前进制动事件的当前状态，选择去马赛克算法包括选择将由具有单色滤光器的图像传感器阵列的一个或多个图像传感器测量的光强度水平用作每个像素处的绿光和蓝光的估算的去马赛克算法。
除了本文描述的一个或多个特征之外，选择去马赛克算法是根据将当前状态与去马赛克算法相匹配的基于规则的算法。
除了本文描述的一个或多个特征之外，估算当前状态是基于来自雷达系统、激光雷达系统或环境光检测器的信息。
在又一示例性实施例中，非暂时性计算机可读介质存储在由处理电路处理时使得处理电路实施对车辆中的摄像机执行动态去马赛克的方法的指令。方法包括从摄像机的图像传感器阵列获得光强度值，图像传感器阵列的每个图像传感器代表像素，并且图像传感器阵列的每个图像传感器具有叠加的滤光器阵列的滤光器，使得滤光器阵列的滤光器限制图像传感器阵列的图像传感器获得光强度值的波长范围。滤光器阵列包括与两个不同波长范围对应的至少两种不同类型的滤光器。方法还包括估算与车辆相关联的当前状态，并且基于当前状态选择去马赛克算法，使得对于每个像素，去马赛克算法有助于在与对应图像传感器获得光强度值的波长范围不同的波长范围内估算光强度值。
除了本文描述的一个或多个特征之外，获得光强度值包括基于至少两种不同类型的滤光器(包括分别对应于具有红光、绿光和蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器)和单色滤光器(对应于与红光、绿光和蓝光的波长范围相比具有更大波长范围的单色光)来获得红光、绿光、蓝光和单色光。
除了本文描述的一个或多个特征之外，选择去马赛克算法是根据将当前状态与去马赛克算法相匹配的基于规则的算法。
除了本文描述的一个或多个特征之外，估算当前状态是基于来自雷达系统、激光雷达系统或环境光检测器的信息。
从以下结合附图的详细描述中，本发明的上述特征和优点以及其它特征和优点将变得显而易见。
附图说明
仅通过实例的方式，在以下详细描述出现其它特征、优点和细节，详细描述参照附图，其中：
图1是具有摄像机的车辆的框图，摄像机包括摄像机像素的动态去马赛克；
图2详细描述了根据一个或多个实施例的与动态去马赛克相关的摄像机的各方面；
图3是根据一个或多个实施例的执行动态去马赛克的方法的处理流程；
图4示出了根据一个或多个实施例的可以被选择用于动态去马赛克的示例性去马赛克算法；
图5示出了根据一个或多个实施例的可以被选择用于动态去马赛克的另一示例性去马赛克算法；
图6示出了根据一个或多个实施例的可以被选择用于动态去马赛克的又一示例性去马赛克算法；
图7示出了根据一个或多个实施例的可以被选择用于动态去马赛克的又一示例性去马赛克算法；以及
图8是参照图3讨论的过程的示例性实施。
具体实施方式
以下描述本质上仅是示例性的，并不旨在限制本发明、其应用或使用。应该理解，在整个附图中，相应的附图标记指示相同或相应的零件和特征。
如前所述，摄像机是可以用于检测和跟踪车辆周围物体的传感器之一。通常，摄像机包括成像器，成像器包括例如可以是互补金属氧化物半导体(CMOS)集成电路的图像传感器。每个图像传感器与图像像素相关联，并且包括光检测器，其捕获光(即，测量光强度)并且将测量结果转换为电信号。因为这些电信号不传达关于颜色的信息，所以每个图像传感器通常具有覆盖在其上的滤光器，滤光器使图像传感器主要从滤光器指定的一个波长范围或带宽范围测量光强度。成像器的所有图像传感器上的所有色彩滤光器组形成称为CFA的色彩滤光器的马赛克。出于解释的目的，不具有色彩滤光器的图像传感器(即单色像素)被认为是CFA的一部分，并且参照与那些图像传感器相关联的单色或单色滤光器。例如，CFA可以包括通过红光、绿光或蓝光的滤光器的马赛克。每个图像传感器将仅直接测量一个带宽范围内的光(对应于一种颜色)的强度而不是另外两个。例如，所给定图像传感器可以测量红光而不是绿光或蓝光的强度，或者绿光而不是红光或蓝光的强度，或者蓝光而不是红光或绿光的强度。为了推断另外两个波长范围的光的强度，实施称为去马赛克的算法。基于去马赛克，可以获得完整的图像，其中通过以某种指定的方式考虑所有滤光器而得到每个像素的颜色。
去马赛克算法可以是简单直接的。例如，去马赛克算法可以指定，与应用了蓝色滤光器的像素相关联的红色贡献和绿色贡献将会与应用了红色滤光器的最近像素的红色贡献和应用了绿色滤光器的最近像素的绿色贡献相同。其它去马赛克算法可以将图像传感器记录的强度与给定区域中的相同滤光器进行平均。例如，可以对应用了红色滤光器的附近图像传感器输出进行平均，并将其用作应用了其它(非红色)滤光器的其它像素的红色贡献。
本文详述的系统和方法的实施例涉及摄像机像素的动态去马赛克。根据实施例，CFA可以包括用于多于一种颜色的滤光器。示例性已知的CFA包括拜耳滤光器(红色、绿色、蓝色(RGB)滤波器)、红色、绿色、蓝色、祖母绿(RGBE)滤波器、青色、黄色、绿色、品红色(CYGM)滤光器和例如对应于颜色(例如，灰色)的阴影与RGB滤波器相比通过相对较宽范围的波长的单色滤光器。出于解释的目的，讨论了包括RGB和单色滤光器的CFA。然而，滤光器的其它组合在预期范围内。根据实施例，车辆状态和其它信息用于选择特定的去马赛克算法。
根据示例性实施例，图1是具有包括摄像机像素的动态去马赛克的摄像机110的车辆100的框图。图1所示的车辆100是机动车101，并且示出在车道标记150之间。示出了两个摄像机110；一个在机动车101的前面，并且另一个在后面。根据替代或附加的实施例，一个或多个摄像机110可以位于车辆100上的其它位置。在进一步的实施例中，本文讨论的去马赛克算法和动态选择可以在摄像机110中实施，摄像机110是数字单镜头反光(DSLR)摄像机、动作摄像机或手机摄像机。还示出了另一传感器115(例如，激光雷达系统、麦克风、雷达系统)。由摄像机110和一个或多个其它传感器115获得的信息可以被提供给控制器120(例如，电子控制单元(ECU))。
控制器120可以使用信息来控制一个或多个车辆系统130(例如，自适应巡航控制、碰撞避免、自动驾驶)。控制器120和车辆系统130之间的通信还可以用于获得车辆系统130使用的信息，例如车辆速度、振动、位置和航向以及即将到来的机动(例如，转弯、由转弯信号激活指示的车道变更)。这种类型的信息通过已知的车辆传感器115获得，例如陀螺仪、全球定位系统(GPS)接收器和测绘系统、加速度计等。在示例性实施例中，车辆100可以是自主车辆，其至少部分地由控制器120控制。摄像机110和一个或多个其它传感器115可以用于检测物体140，例如图1中所示的行人145或交通灯160。控制器120可以包括处理电路，其可以包括专用集成电路(ASIC)、电子电路、处理器(共享、专用或组)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其它合适部件。
图2详细描述了根据一个或多个实施例的与动态去马赛克相关的摄像机110的各方面。示出了图像传感器215的图像传感器阵列210和滤光器225的对应CFA 220。在摄像机110中，CFA 220覆盖在图像传感器阵列210上，以影响由每个图像传感器215测量光强度的波长。CFA 220示出为具有四个不同的滤光器225a、225b、225c、225d(通常称为225)。滤光器225a可以特定于红光，滤光器225b可以特定于绿光，滤光器225c可以特定于蓝光，并且滤光器225d可以是单色(例如，灰度)滤光器。照此，滤光器225d可以允许明显更多的光-例如，比其它滤光器225a、225b、225c多约300％。
根据示例性实施例，由图像传感器215基于其对应的滤光器225输出的电信号230被提供用于处理到控制器120。在替代实施例中，可以附加地或替代地使用摄像机110内或其外部的一个或多个处理器来执行本文详述的动态去马赛克。如参照图3所讨论的，例如，去马赛克算法的选择需要关于车辆100的状态的信息，并且可以附加地使用来自其它传感器115的信息。因此，控制器120或执行动态去马赛克的任何其它处理器必须能够访问该信息。
图3是根据一个或多个实施例的执行动态去马赛克的方法的处理流程。在框310处，开始新帧是指利用摄像机110获得数字图像。在框320处，根据各种实施例，可以使用不同的信息源来执行评估当前状态。在最简单的形式中，环境光水平可以由车辆100的其它传感器115中的一个测量。在替代实施例中，估算当前状态可以涉及从传感器115和车辆系统130获得关于车辆操作(例如，速度、位置、航向、即将到来的机动)、环境(例如，环境光条件、交通信息(例如，交通繁忙的市区、乡村道路或交通极少的高速公路))或两者的组合的信息。在框320处，本文讨论的实例不旨在限制在评估当前状态时可以考虑的信息。
在框330处，从去马赛克算法中进行选择涉及将适当的去马赛克算法与在框320处评估的状态进行匹配。匹配可以根据基于规则的算法来执行，或者可以涉及根据各种实施例训练机器学习算法。本文详述的实例不旨在限制用于在框320处将用于评估当前状态的一组因子与可用的去马赛克算法进行匹配的已知方法。在框340处，处理图像是指将在框320处选择的去马赛克算法应用于由图像传感器阵列210输出的电信号230。
继续参照图2，图4-7示出了根据实施例的可以被选择用于动态去马赛克的四种不同的示例性去马赛克算法400、500、600、700。在每个示例中，矩阵指示在对应图像传感器215处测量的强度水平。在示例中，R指示对应滤光器225是红色，G指示对应滤光器225是绿色，B指示对应滤光器225是蓝色，并且C指示对应滤光器225是单色的(灰度)，或者没有用于对应图像传感器115的滤光器。当CFA 220包括多于一个相同类型的滤光器225时，每个所得强度水平用不同的数字标记(例如，当使用两个蓝色滤波器225时，B1和B2)。出于解释每个去马赛克算法400、500、600、700的目的，考虑与中心(即，中心像素X)相关联的滤光器225的四种不同场景。也就是说，在每个去马赛克算法400、500、600、700的解释中，与中心像素X相关联的滤光器225被认为是红色、绿色、蓝色或单色。然而，这并不旨在暗示示例性CFA 220本身正在改变，而是根据去马赛克算法400、500、600、700来解释每种类型的像素的处理。
应用去马赛克算法(在框340处)指的是以每个像素使用由CFA 220的每个滤光器225所经过的带宽的所测量光强度来估算每个感兴趣带宽(例如，R、G、B)的强度的特定方式。如前所述，在每个像素处(在每个对应图像传感器215上)使用一个滤光器225。因此，在每个像素处测量一个带宽。例如，如果通过蓝光的滤光器225与给定的图像传感器215相关联，则在该像素处测量蓝光强度。去马赛克算法指定如何估算同一像素处的红光强度和绿光强度。类似地，如果在给定像素处测量红光，则通过去马赛克算法指示估算像素处的绿光强度和蓝光强度的特定方式。
图4示出了根据一个或多个实施例的可以被选择用于动态去马赛克的示例性去马赛克算法400。在当前状态的评估(在框320处，图3)指示低光条件时，可以选择示例性去马赛克算法400(在框330处，图3)，如参照图8所讨论的。根据示例性去马赛克算法400，由具有单色滤光器225的图像传感器215(即，在单色像素处)测量的光强度被包括在每个像素的红色、绿色和蓝色分量的估算中。
如图4所指示的，CC是以单色像素测量的光强度值C1、C2的平均值，RR是以红色像素测量的光强度值R1、R2的平均值，GG是以绿色像素测量的光强度值G1、G2的平均值，并且BB是以蓝色像素测量的光强度值B1、B2的平均值。图4(以及图5-7)中所示的每种类型的滤光器225的数量仅是示例性的。例如，如果存在具有对应的所测量光强度值R1、R2、R3的三个红色像素和具有围绕中心像素X的对应光强度值B1的仅一个蓝色像素，则RR将是R1、R2和R3的平均值，并且BB将只是B1。X指示示例性CFA 220的中心处的像素，或者更可能是较大CFA220的一部分。为了解释去马赛克算法400，针对四种不同场景讨论了中心像素X处的红光强度值、绿光强度值和蓝光强度值的估算。在第一种场景下，X是单色(清晰)像素(X＝C)。在第二种场景下，X是红色像素(X＝R)。在第三种场景下，X是绿色像素(X＝G)，并且在第四种场景下，X是蓝色像素(X＝B)。
在中心像素X是单色像素(X＝C)的场景下，在表401处指示用于估算该单色像素处的红光强度C-R、绿光强度C-G和蓝光强度C-B的计算。如图所示，加权值W用于平衡单色像素(X＝C)处的所测量光强度C和在彩色像素处测量的光强度。W的值表示百分比，因此可以是0至100。例如，具有所测量光强度C的单色像素处的红光强度C-R的估算由(RR*W+C*(100-W))给出。作为另一实例，具有所测量光强度C的单色像素处的绿光强度C-G的估算由(GG*W+C*(100-W))给出。
当中心像素是红色(X＝R)时，中心像素处的红光强度值、绿光强度值和蓝光强度值的估算由表402指示。例如，将所测量红光强度值R调整为(R*W+CC*(100-W))。进一步，红色像素处的绿色分量和蓝色分量的估算分别使用平均值GG和BB，如图4中的表402所指示的。例如，红色像素(X＝R)处的蓝光强度R-B的估算由(BB*W+CC*(100-W))给出。
当中心像素是绿色(X＝G)时，中心像素处的红光强度值、绿光强度值和蓝光强度值的估算由表403指示。例如，将所测量绿光强度值G调整为(G*W+CC*(100-W))。进一步，绿色像素处的红色分量和蓝色分量的估算分别使用平均值RR和BB，如图4中的表403所指示的。例如，绿色像素(X＝G)处的红光强度G-R的估算由(RR*W+CC*(100-W))给出。
当中心像素是蓝光(X＝B)时，中心像素处的红光强度值、绿光强度值和蓝光强度值的估算由表404指示。例如，将所测量光强度值B调整为(B*W+CC*(100-W))。进一步，蓝色像素处的红色分量和绿色分量的估算分别使用平均值RR和GG，如图4中的表404所指示的。例如，蓝色像素(X＝B)处的绿光强度B-G的估算由(GG*W+CC*(100-W))给出。
当像素未被其它像素围绕时，稍微修改去马赛克算法400。出于解释目的，R1被认为是CFA 220的真正角。也就是说，不论图4中所示的CFA220是完整的CFA 220还是CFA 220的一部分，仅有与R1相邻的三个像素(G1、X、B1)。在这种情况下，可以调整表402中所示的示例性计算。值CC仍然可以用在计算中，因为C1和C2是与像素R1最接近的单色像素，尽管它们不相邻。如果X＝C，则使用C代替CC。红色分量R1-R可以是(R1*W+CC*(100-W))。像素R1处的绿光强度R1-G的估算将不考虑G2，因此也不考虑GG。相反，R1-G仅使用相邻的所测量光强度G1，使得R1-G为(G1*W+CC*(100-W))。但是，如果X＝G，那么将使用G1和G的平均值而不是单独的G1。类似地，像素R1处的蓝光强度R1-B的估算将仅使用相邻的所测量光强度B1，使得R1-B为(B1*W+CC*(100-W))。但是，如果X＝B，则在计算R1-B时将使用B1和B的平均值而不是单独的B1。将类似于示例性角像素R1来处理结束像素(例如，G1)。
图5示出了根据一个或多个实施例的可以被选择用于动态去马赛克的示例性去马赛克算法500。在当前状态的评估(在框320处，图3)指示车辆100正在接近交通灯160时，可以选择示例性去马赛克算法500(在框330处，图3)，如参照图8所讨论的。根据示例性去马赛克算法500，根本不使用由蓝光滤光器225的所测量强度值B1和B2。在交通灯包括蓝光而不仅仅是红色、黄色和绿色的区域中可能不是这种情况。如图5所指示的，CC是以单色像素测量的光强度值C1、C2的平均值，RR是以红色像素测量的光强度值R1、R2的平均值，并且GG是以绿色像素测量的光强度值G1、G2的平均值。如参照图4所知，针对中心像素X考虑四种不同的场景，以便解释去马赛克算法500。
在中心像素是单色(X＝C)的场景下，所测量光强度C被替换为蓝光强度C-B的估算，如表501所指示的。中心像素处的红光强度C-R的估算是相邻红色像素处的所测量光强度值R1、R2的平均值。也就是说，如表501所指示的，C-R是RR。类似地，中心像素处的绿光强度C-G的估算是相邻绿色像素G1、G2处的所测量光强度的平均值GG。
当中心像素是红色(X＝R)时，所测量光强度值R保留用于红色分量。对于中心像素处的绿光强度R-G的估算，如图5中的表502所指示的使用平均值GG。对于中心像素处的蓝光强度R-B的估算，使用平均值CC。这是因为，如上所述，蓝光强度在示例性去马赛克算法500中不是感兴趣的。当中心像素是绿色(X＝G)时，所测量光强度值G保留用于绿色分量。对于中心像素处的红光强度G-R的估算，如图5中的表503所指示的使用平均值RR。对于蓝光强度G-B的估算，使用平均值CC。当中心像素是蓝色(X＝B)时，平均值CC被替换为蓝色分量，如图5中的表504所指示的。也就是说，用CC代替所测量光强度值B。对于红光强度B-R的估算，如图5中的表504所示，使用平均值RR。类似地，对于绿光强度B-G，如图5中的表504所示，使用平均值GG。
如参照图4所述，可以针对角和结束像素稍微修改去马赛克算法500。出于解释的目的，C1被认为是CFA 220的真正角像素，使得仅像素B1、X和G2是相邻像素。为了简洁，假设X是红色像素(X＝R)。红光强度C1-R的估算将为R。如果X不是R，则仍然可以使用RR，因为R1和R2与像素C1等距。绿光强度C1-G的估算将是G2而不是GG，因为只有G2与C1相邻。最后，蓝光强度C1-B的估算将是C1，因为根据去马赛克算法500，蓝光强度不是感兴趣的。
图6示出了根据一个或多个实施例的可以被选择用于动态去马赛克的示例性去马赛克算法600。在当前状态的评估(在框320处，图3)指示即将到来的车道变更或需要车道感测的另一状态时，可以选择示例性去马赛克算法600(在框330处，图3)，如参照图8所讨论的。根据示例性去马赛克算法600，由具有单色滤光器225的图像传感器215(即，单色像素)测量的光强度被用于每个像素的红色、绿色和蓝色分量的估算中。如图6所指示的，CC是在单色像素处测量的光强度值C1、C2的平均值。对于中心像素X，再考虑四种不同的场景。
对于中心像素是单色像素(X＝C)的场景，在中心像素处测量的光强度值C被用作红光强度C-R的估算、绿光强度C-G的估算、以及蓝光强度C-B的估算。这在图6中的表601中指示。当中心像素为红色、绿色或蓝色(X＝R、G、B)时，则使用平均值CC作为红光强度、绿光强度和蓝光强度的估算，如表602、603和604所指示的。例如，如表603所示，当中心像素是绿色(X＝G)时，绿光强度G-G的估算不是所测量光强度值G，而是平均单色像素值CC。作为另一个实例，如表604所指示的，当中心像素是蓝色(X＝B)时，红光强度B-R的估算也是CC。
可以针对角或结束像素修改去马赛克算法600。出于解释的目的，G2被认为是CFA220中的结束像素，其中仅有与其相邻的像素C1、B1、X、B2和R2。因此，除非中心像素是单色像素(X＝C)，否则单独的C1值而不是平均值CC可以用作红光强度、绿光强度和蓝光强度的估算。如果X＝C，则可以替代地使用C和C1的平均值。
图7示出了根据一个或多个实施例的可以被选择用于动态去马赛克的示例性去马赛克算法700。在对当前状态的评估(在框320处，图3)指示在包括摄像机110的车辆100前面的另一车辆100的制动时，可以选择示例性去马赛克算法700(在框330处，图3)，如参照图8所讨论的。如图7所指示的，CC是在单色像素处测量的光强度值C1、C2的平均值，并且RR是在红色像素处测量的光强度值R1、R2的平均值。因为红色制动灯的检测可能是检测的焦点，所以在示例性去马赛克算法700中根本不使用由绿色像素或蓝色像素测量的光强度值G1、G2、B1、B2。再次考虑涉及中心像素X的四个不同值的四种不同场景。
对于中心像素是单色像素(X＝C)的场景，红光强度C-R的估算是RR，如表701所指示的。绿光强度C-G的估算和蓝光强度C-B的估算是中心像素处的所测量光强度值C。
当中心像素是红色(X＝R)时，所测量光强度值R被保持为红光强度R-R。值CC用于绿光强度R-G的估算，并且用于蓝光强度R-B的估算，如图7中的表702所示。当中心像素为绿色(X＝G)时，值RR用作红光强度G-R的估算，并且值CC代替所测量光强度G并且还用作蓝光强度G-B的估算。当中心像素为蓝色(X＝B)时，值RR用作红光强度B-R的估算，并且值CC用作绿光强度B-G的估算。值CC还将所测量光强度值B替换为蓝光强度，如图7中的表704所指示的。
再次，可以针对角或结束像素修改去马赛克算法700。例如，假设G1是图7中所示的CFA 220的真实结束像素并且还假设中心像素是单色像素(X＝C)，则红光强度G1-R的估算将是R1而不是RR，因为R1与像素G1相邻但R2不是。与G1相邻的C和C2的平均值将代替绿光强度G1-G，并且用作像素G1处的蓝光强度G1-B的估算。
图8是参照图3讨论的过程的示例性实施。在框320处，评估当前状态导致控制器120识别四个状态810-1、810-2、810-3、810-4中的一个(通常称为810)。基于该状态，在框330处，在选择适当的去马赛克算法时进行一对一匹配。因此，图8中所示的实例是基于规则的动态去马赛克。
状态810-1指示低光条件。如前所述，控制器120可以使用传感器115，例如由车辆100的自动前灯系统使用的环境光检测器，以确定低光状态。基于状态，CFA 220的红色分量、绿色分量和蓝色分量可以被认为不如单色像素有用。照此，可以在框330处选择去马赛克算法400，以便于加权并将由单色像素测量的光强度结合到每个像素处的红色分量、绿色分量和蓝色分量的估算中。
状态810-2指示交通灯160在车辆100的前方的条件，如图1所示。交通灯160可以基于其在测绘系统中的位置来检测，或者可以使用摄像机110本身通过图像处理来检测。其它传感器115(例如，激光雷达系统)也可用于检测交通灯160。如前所述，在这种状态下，检测红光和绿光以及基于红色和绿色的组合检测黄光是很重要的。然而，每个像素的蓝色分量对确定交通灯160的当前状态没有帮助。基于该状态，可以在框330处选择去马赛克算法500。如参照图5的讨论中所述，根据去马赛克算法500，用由单色像素测量的光强度代替蓝色分量。
状态810-3指示车道标记150需要被感测(如图1所示)的条件。该条件可以是即将到来的车道变更的确定，如传感器115或车辆系统130或两者的组合所指示的。例如，可以在地图指示没有即将到来的街道(在该街道上需要转弯)的区域中检测到转弯信号的激活。雷达系统可以检测相邻车道中的另一车辆，其需要确保具有摄像机110的车辆100停留在相邻车道标记150内。基于该状态的检测，在框320处，可以选择去马赛克算法600。如参照图6所讨论的，单色像素是在需要车道标记150感测时使用的唯一像素，因为彩色像素不提供附加信息，而单色像素允许测量更大的波长范围并且因此测量更高的光强度。
状态810-4指示前进制动条件。如前所述，这指的是在包括摄像机110的车辆100前面的另一车辆100的制动。在框320处，可以基于诸如雷达系统的传感器115来评估状态，该传感器115例如利用摄像机110检测车辆100前面的其它车辆110。在这种状态下，其它车辆100的红色制动灯是感兴趣的。因此，可以在框330处选择去马赛克算法700。如参照图7所讨论的，去马赛克算法700保持由红色像素获得的信息但不使用由绿色像素或蓝色像素测量的光强度，因为这些颜色在该状态下不提供信息。
而图8示出了动态去马赛克方案的一个基于规则的示例性实施，该实例不旨在限制可以根据基于规则的实施例包括的附加状态和去马赛克算法。进一步，根据替代实施例，在框320处评估当前状态可以使用机器学习来实施。在框330处，基于状态选择或生成去马赛克算法也可以使用机器学习来实施。
虽然已经参照示例性实施例描述了以上发明，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物替代其元件。另外，在不脱离本发明的实质范围的情况下，可以进行许多修改以使特定情况或材料适应本发明的教导。因此，意图是本发明不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于对车辆中的摄像机执行动态去马赛克的系统，所述系统包含：
所述摄像机的图像传感器阵列，其配置为获得光强度值，其中，所述图像传感器阵列的每个图像传感器表示像素；
所述摄像机的滤光器阵列，其配置为覆盖所述图像传感器阵列，使得所述滤光器阵列的每个滤光器对应于所述图像传感器阵列的一个图像传感器，并且限制所述图像传感器阵列的所述一个图像传感器获得所述光强度值的波长范围，其中，所述滤光器阵列包括对应于两个不同波长范围的至少两种不同类型的滤光器；以及
处理器，其配置为估算与所述车辆相关联的当前状态并且基于所述当前状态选择去马赛克算法，使得对于每个像素，所述去马赛克算法有助于在与所述对应图像传感器获得所述光强度值的所述波长范围不同的波长范围内估算所述光强度值。
2.根据权利要求1所述的系统，其中，所述至少两种不同类型的滤光器包括分别对应于红光、绿光和蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器以及对应于比所述红光、所述绿光和所述蓝光的所述波长范围更大的波长范围的单色滤光器，并且基于所述当前状态是低于阈值水平的环境光，所述去马赛克算法将由具有所述单色滤光器的所述图像传感器阵列的一个或多个图像传感器测量的一个或多个光强度值的加权和添加到每个像素处的所述红光、所述绿光和所述蓝光的估算中。
3.根据权利要求1所述的系统，其中，所述至少两种不同类型的滤光器包括分别对应于红光、绿光和蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器以及对应于比所述红光、所述绿光和所述蓝光的所述波长范围更大的波长范围的单色滤光器，并且基于所述当前状态是正在接近交通灯，所述去马赛克算法将由具有所述单色滤光器的所述图像传感器阵列的一个或多个图像传感器测量的所述光强度水平用作每个像素处的所述蓝光的估算。
4.根据权利要求1所述的系统，其中，所述至少两种不同类型的滤光器包括分别对应于红光、绿光和蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器以及对应于比所述红光、所述绿光和所述蓝光的所述波长范围更大的波长范围的单色滤光器，并且基于所述当前状态是车道感测状态，所述去马赛克算法将由具有所述单色滤光器的所述图像传感器阵列的一个或多个图像传感器测量的所述光强度水平用作每个像素处的所述红光、所述绿光和所述蓝光的估算。
5.根据权利要求1所述的系统，其中，所述至少两种不同类型的滤光器包括分别对应于红光、绿光和蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器以及对应于比所述红光、所述绿光和所述蓝光的所述波长范围更大的波长范围的单色滤光器，并且基于所述当前状态是前进制动事件，所述去马赛克算法将由具有所述单色滤光器的所述图像传感器阵列的一个或多个图像传感器测量的所述光强度水平用作每个像素处的所述绿光和所述蓝光的估算。
6.一种对车辆中的摄像机执行动态去马赛克的方法，所述方法包含：
从所述摄像机的图像传感器阵列获得光强度值，所述图像传感器阵列的每个图像传感器代表像素，并且所述图像传感器阵列的每个图像传感器具有覆盖的滤光器阵列的滤光器，使得所述滤光器阵列的所述滤光器限制所述图像传感器阵列的所述图像传感器获得所述光强度值的波长范围，其中，所述滤光器阵列包括对应于两个不同波长范围的至少两种不同类型的滤光器；
使用处理器估算与所述车辆相关联的当前状态；以及
使用所述处理器选择基于所述当前状态的去马赛克算法，使得对于每个像素，所述去马赛克算法有助于在与所述对应图像传感器获得所述光强度值的所述波长范围不同的波长范围内估算所述光强度值。
7.根据权利要求6所述的方法，其中，所述获得所述光强度值包括基于包括分别对应于具有所述红光、所述绿光和所述蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器的所述至少两种不同类型的滤光器和对应于与所述红光、所述绿光和所述蓝光的所述波长范围相比具有更大波长范围的所述单色光的单色滤光器来获得红光、绿光、蓝光和单色光，并且基于所述估算指示环境光水平低于阈值水平的所述当前状态，所述选择所述去马赛克算法包括选择下述去马赛克算法：将由具有所述单色滤光器的所述图像传感器阵列的一个或多个图像传感器测量的一个或多个光强度值的加权和添加到每个像素处的所述红色、所述绿色和所述蓝色的估算中。
8.根据权利要求6所述的方法，其中，所述获得所述光强度值包括基于包括分别对应于具有所述红光、所述绿光和所述蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器的所述至少两种不同类型的滤光器和对应于与所述红光、所述绿光和所述蓝光的所述波长范围相比具有更大波长范围的所述单色光的单色滤光器来获得红光、绿光、蓝光和单色光，并且基于所述估算指示接近交通灯的所述当前状态，所述选择所述去马赛克算法包括选择下述去马赛克算法：将由具有所述单色滤光器的所述图像传感器阵列的一个或多个图像传感器测量的所述光强度水平用作每个像素处的所述蓝光的估算。
9.根据权利要求6所述的方法，其中，所述获得所述光强度值包括基于包括分别对应于具有所述红光、所述绿光和所述蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器的所述至少两种不同类型的滤光器和对应于与所述红光、所述绿光和所述蓝光的所述波长范围相比具有更大波长范围的所述单色光的单色滤光器来获得红光、绿光、蓝光和单色光，并且基于所述估算指示车道感测状态的所述当前状态，所述选择所述去马赛克算法包括选择下述去马赛克算法：将由具有所述单色滤光器的所述图像传感器阵列的一个或多个图像传感器测量的所述光强度水平用作每个像素处的所述红光、所述绿光和所述蓝光的估算。
10.根据权利要求6所述的方法，所述获得所述光强度值包括基于包括分别对应于具有所述红光、所述绿光和所述蓝光的波长范围的红色滤光器、绿色滤光器和蓝色滤光器的所述至少两种不同类型的滤光器和对应于与所述红光、所述绿光和所述蓝光的所述波长范围相比具有更大波长范围的所述单色光的单色滤光器来获得红光、绿光、蓝光和单色光，并且基于所述估算指示前进制动事件的所述当前状态，所述选择所述去马赛克算法包括选择下述去马赛克算法：将由具有所述单色滤光器的所述图像传感器阵列的一个或多个图像传感器测量的所述光强度水平用作每个像素处的所述绿光和所述蓝光的估算。
CN201910230509.8A 2018-04-10 2019-03-26 相机像素的动态去马赛克 Active CN110365872B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/949,261 US10567724B2 (en) 2018-04-10 2018-04-10 Dynamic demosaicing of camera pixels
US15/949261 2018-04-10

Publications (2)

Publication Number Publication Date
CN110365872A true CN110365872A (zh) 2019-10-22
CN110365872B CN110365872B (zh) 2021-09-07

Family

ID=67992017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910230509.8A Active CN110365872B (zh) 2018-04-10 2019-03-26 相机像素的动态去马赛克

Country Status (3)

Country Link
US (1) US10567724B2 (zh)
CN (1) CN110365872B (zh)
DE (1) DE102019108454A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10803743B2 (en) * 2018-05-02 2020-10-13 Lyft, Inc. Monitoring ambient light for object detection
DE102020209353A1 (de) * 2020-07-24 2022-01-27 Ford Global Technologies, Llc Steuern eines Fahrzeugs unter Berücksichtigung der Sensorreichweite

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113330A (zh) * 2008-06-05 2011-06-29 微软公司 伪像减少的自适应内插
US20130329053A1 (en) * 2011-12-16 2013-12-12 Tenebraex Corporation Systems and methods for creating full-color image in low light
CN204498282U (zh) * 2013-11-21 2015-07-22 半导体元件工业有限责任公司 具有可见光感光像素和红外光感光像素的成像系统
CN105993169A (zh) * 2014-09-15 2016-10-05 深圳市大疆创新科技有限公司 用于图像去马赛克的系统及方法
CN106664392A (zh) * 2014-09-24 2017-05-10 株式会社电装 车辆用图像处理装置
CN107026962A (zh) * 2016-01-29 2017-08-08 福特全球技术公司 包括具有稀疏滤色器阵列的电子图像传感器的机动车辆成像系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883968A (en) * 1994-07-05 1999-03-16 Aw Computer Systems, Inc. System and methods for preventing fraud in retail environments, including the detection of empty and non-empty shopping carts
US6507364B1 (en) * 1998-03-13 2003-01-14 Pictos Technologies, Inc. Edge-dependent interpolation method for color reconstruction in image processing devices
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
AU2003225228A1 (en) * 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US7780089B2 (en) * 2005-06-03 2010-08-24 Hand Held Products, Inc. Digital picture taking optical reader having hybrid monochrome and color image sensor array
US7770799B2 (en) 2005-06-03 2010-08-10 Hand Held Products, Inc. Optical reader having reduced specular reflection read failures
JP2011155365A (ja) * 2010-01-26 2011-08-11 Honda Elesys Co Ltd 画像処理装置および画像処理方法
US8441562B1 (en) * 2010-09-02 2013-05-14 Xilinx, Inc. Color filter array alignment detection
US9344690B2 (en) * 2014-01-24 2016-05-17 Microsoft Technology Licensing, Llc Image demosaicing
EP3324383B1 (en) * 2015-07-13 2021-05-19 Nissan Motor Co., Ltd. Traffic light recognition device and traffic light recognition method
CN105141838B (zh) * 2015-08-19 2018-08-07 上海兆芯集成电路有限公司 去马赛克方法以及使用该方法的装置
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
DE102017101164B4 (de) * 2017-01-23 2023-01-12 Carl Zeiss Ag Vorsatzobjektivsystem, Feldeingriffsvorrichtung, Pupilleneingriffsvorrichtung, Vorsatzobjektiv, Objektträger sowie Beleuchtungssystem
KR102369802B1 (ko) * 2017-07-13 2022-03-04 한화디펜스 주식회사 영상 처리 시스템 및 그에 의한 영상 처리 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113330A (zh) * 2008-06-05 2011-06-29 微软公司 伪像减少的自适应内插
US20130329053A1 (en) * 2011-12-16 2013-12-12 Tenebraex Corporation Systems and methods for creating full-color image in low light
CN204498282U (zh) * 2013-11-21 2015-07-22 半导体元件工业有限责任公司 具有可见光感光像素和红外光感光像素的成像系统
CN105993169A (zh) * 2014-09-15 2016-10-05 深圳市大疆创新科技有限公司 用于图像去马赛克的系统及方法
CN106664392A (zh) * 2014-09-24 2017-05-10 株式会社电装 车辆用图像处理装置
CN107026962A (zh) * 2016-01-29 2017-08-08 福特全球技术公司 包括具有稀疏滤色器阵列的电子图像传感器的机动车辆成像系统

Also Published As

Publication number Publication date
US10567724B2 (en) 2020-02-18
DE102019108454A1 (de) 2019-10-10
US20190313073A1 (en) 2019-10-10
CN110365872B (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
AU2022203095B2 (en) Real-time HDR video for vehicle control
CN104512411B (zh) 车辆控制系统及图像传感器
US10055654B2 (en) Monitoring unit for a motor vehicle, having partial color encoding
CN110519489B (zh) 图像采集方法及装置
US9171215B2 (en) Image processing device
KR20180133777A (ko) 신호 처리 장치 및 촬상 장치
US20130229513A1 (en) Image input device and image processing device
JP3782322B2 (ja) 車載用画像処理カメラ装置
KR101913876B1 (ko) 이미지처리방법과 장치
JP4775123B2 (ja) 車両用監視装置
CN103227905B (zh) 车载摄像机用曝光控制装置
EP1311130B1 (en) Method for matching stereoscopic color images
CN110365872A (zh) 相机像素的动态去马赛克
US10630952B2 (en) Image sensor
Kidono et al. Visibility estimation under night-time conditions using a multiband camera
JP5904825B2 (ja) 画像処理装置
JP4053280B2 (ja) 画像処理装置および画像処理方法
JP5703279B2 (ja) 車両周辺監視装置
JP7116001B2 (ja) 撮像装置及び画像処理方法
WO2012023370A1 (ja) ターゲット位置決定装置
JP2013187572A (ja) 画像処理装置
US20240187741A1 (en) Real-time hdr video for vehicle control
WO2023032338A1 (ja) 色判別装置及び色判別方法
JP2024071018A (ja) 地図データ作成装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant