CN107026962A - 包括具有稀疏滤色器阵列的电子图像传感器的机动车辆成像系统 - Google Patents

包括具有稀疏滤色器阵列的电子图像传感器的机动车辆成像系统 Download PDF

Info

Publication number
CN107026962A
CN107026962A CN201710048746.3A CN201710048746A CN107026962A CN 107026962 A CN107026962 A CN 107026962A CN 201710048746 A CN201710048746 A CN 201710048746A CN 107026962 A CN107026962 A CN 107026962A
Authority
CN
China
Prior art keywords
motor vehicles
color filter
imaging system
camera lens
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710048746.3A
Other languages
English (en)
Other versions
CN107026962B (zh
Inventor
阿迪尔·尼扎姆·西迪基
乔纳森·迪德里希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107026962A publication Critical patent/CN107026962A/zh
Application granted granted Critical
Publication of CN107026962B publication Critical patent/CN107026962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本发明的各种实施例提供一种包括具有稀疏滤色器阵列(CFA)的电子图像传感器的机动车辆成像系统。使用稀疏CFA的结果是：(1)改善的图像质量；和/或(2)通过能够使用不太复杂、更便宜的镜头在没有任何或任何实质上图像质量降低的情况下实现的成本节约。

Description

包括具有稀疏滤色器阵列的电子图像传感器的机动车辆成像 系统
技术领域
本发明总体上涉及机动车辆成像系统。更具体地，机动车辆成像系统包括摄像机，该摄像机具有镜头和具有稀疏滤色器阵列的电子图像传感器。
背景技术
通常在已知的机动车辆成像系统中使用的摄像机包括电子图像传感器，如使用互补金属氧化物半导体(Complementary Metal-Oxide Semiconductor，CMOS)工艺制造的有源像素传感器(Active Pixel Sensor，APS)或电荷耦合器件(Charge Coupled Device，CCD)。这种已知的电子图像传感器包括通常以行和列的矩阵布置的多个光敏像素。图1A示出了包括以12×12矩阵布置的144个像素12a的一个示例的现有技术的电子图像传感器12。在操作中，该已知电子图像传感器的电路将在像素上入射的光转换成数字图像数据。控制器将图像数据转换为可在显示装置上显示的图像。
为了捕获颜色数据并且能够创建彩色图像，这些已知的电子图像传感器包括拜耳滤色器阵列(Color Filter Array，CFA)。拜耳CFA包括以重复图案设置或形成在像素上(每个像素一个)的红色、绿色和蓝色滤色器。图1B示出了包括拜耳CFA的现有技术的电子图像传感器12，该拜耳CFA包括两个绿色滤色器13a、一个红色滤色器13b和一个蓝色滤色器13c的重复马赛克13。在操作中，每个滤色器仅允许特定波长的光(在这种情况下为红色、绿色或蓝色)到达其像素，这向电子图像传感器提供颜色信息。控制器使用去马赛克算法来使用该颜色信息重建全色图像。
由于每个滤色器仅允许特定波长的光到达其像素，所以约三分之二的光到达每个滤波像素比在该像素未经滤波的情况下更少。使用拜耳CFA(其中每个像素被滤波)导致显着降低的光灵敏度。这相应地导致与使用未经滤波的电子图像传感器获得的单色图像相比质量差的彩色图像。在低光照条件下使用时会加剧这个问题。例如，彩色图像可能具有增加的噪声、混叠、减小的空间分辨率，以及由于降低的光灵敏度或用于应对降低的光灵敏度的后处理技术而导致的降低的图像清晰度。
需要解决这些问题的新的机动车辆成像系统。
发明内容
所附权利要求定义了本申请。说明书概述了实施例的多个方面，并且不应被用于限制权利要求。如对于本领域的普通技术人员在审查以下附图和详细描述之后将显而易见的，根据本文所描述的技术预期其它实施方式，并且这些实施方式旨在在本申请的范围内。
示例性实施例提供了一种机动车辆和用于机动车辆的机动车辆成像系统。根据一个实施例，一种机动车辆包含车架；以及由车架支撑的成像系统，并且成像系统包括：包括镜头和具有稀疏滤色器阵列的图像传感器的摄像机，该摄像机被配置为基于入射到传感器上的光来生成图像数据，镜头具有高于f/2.4的光圈值(f-stop)；被配置为使用图像数据生成图像的控制器；以及配置为显示图像的显示装置。
根据另一实施例，一种机动车辆成像系统包含摄像机，该摄像机包括镜头和具有稀疏滤色器阵列的图像传感器，摄像机被配置为基于入射到传感器上的光来生成图像数据，镜头具有高于f/2.4的光圈值；配置为使用图像数据生成图像的控制器；以及配置为显示图像的显示装置。
附图说明
为了更好地理解本发明，详细描述参考了以下附图中所示的实施例。附图中的部件不一定按比例，并且可以省略相关的元件以强调和清楚地示出本文所描述的新颖性特征。此外，如本领域中已知的，系统部件可以不同地布置。在附图中，除非另有说明，否则在不同附图中，相同的附图标记可以指代相同的部件；
图1A示出了现有技术的电子图像传感器；
图1B示出了具有拜耳CFA的图1B的电子图像传感器；
图2是本发明的机动车辆成像系统的一个示例实施例的框图；
图3A、3B和3C示出了具有不同类型的稀疏CFA的电子图像传感器的不同实施例。
具体实施方式
包括具有稀疏滤色器阵列的电子图像传感器的机动车辆成像系统
尽管本发明的机动车辆成像系统可以以各种形式实施，但附图示出并且本说明书描述了机动车辆成像系统的一些示例性和非限制性实施例。本发明是机动车辆成像系统的示例并且不将机动车辆成像系统限于具体示出和描述的实施例。可能不需要所有描绘或描述的部件，并且一些实施例可包括额外的、不同的或更少的部件。部件的布置和类型可以变化而不脱离本文所阐述的权利要求的精神或范围。
本发明的机动车辆成像系统(为了简洁有时被称为“成像系统”)的各种实施例包括具有稀疏CFA的电子图像传感器。根据实施，与拜耳CFA相比，使用稀疏CFA的结果是：(1)改善的图像质量；和/或(2)通过能够使用不太复杂、更便宜的镜头在没有任何或任何实质降低图像质量的情况下实现的成本节约。
1.机动车辆成像系统部件
图2是本发明的机动车辆成像系统10的一个示例实施例的框图。在该示例性实施例中，机动车辆成像系统10由机动车辆的车架支撑，但是在其他实施例中，车辆可以是任何合适的交通工具(例如卡车、船只或飞机)。机动车辆成像系统10包括：摄像机100、控制器20和显示装置30。摄像机100和显示装置30电连接到控制器20使得控制器20可以向这些部件发送信号和从这些部件接收信号(反之亦然)。
摄像机100可以是包括镜头110和电子图像传感器120的任何合适的摄像机。镜头110可以是任何合适的镜头，例如(但不限于)直线镜头或机动车辆鱼眼镜头(也称为宽视野镜头)。镜头可以是固定光圈镜头或可变光圈镜头。电子图像传感器120可以是包括以行和列的矩阵布置的多个像素120a的任何合适的电子图像传感器(例如APS或CCD)。电子图像传感器120相对于镜头110定位使得镜头将入射光聚焦到像素120a上。
电子图像传感器包括稀疏CFA(SCFA)，稀疏CFA包括比相同像素密度的拜耳CFA更少的滤色器。保持其他因子不变，与拜耳CFA相比，使用SCFA增加了到达像素的光的量。
如图3A所示，在该实施例中，电子图像传感器120包括具有两个绿色滤色器130a、一个红色滤色器130b和一个蓝色滤色器130c的重复马赛克130的4×4 SCFA。在4×4 SCFA中，马赛克130被设置成使得一行或一列未滤波像素120将相邻马赛克130彼此分离的图案。
图3B示出了包括具有两个绿色滤色器1130a、一个红色滤色器1130b和一个蓝色滤色器1130c的重复马赛克1130的3×3 SCFA的电子图像传感器1120的另一实施例。在3×3SCFA中，马赛克1130被设置成使得两行或两列未滤波像素1120将相邻马赛克1130彼此分离的图案。
图3C示出了电子图像传感器2120的另一实施例，该电子图像传感器2120包括具有两个绿色滤色器2130a、一个红色滤色器2130b和一个蓝色滤色器2130c的重复马赛克2130的鱼眼SCFA。在鱼眼SCFA中，马赛克2130被设置成使得马赛克2130在电子图像传感器2120的水平和垂直中心附近靠近在一起，并且移动远离中心地间隔开。这导致在电子图像传感器的中心附近的高集中的马赛克和在电子图像传感器的边缘附近的低集中的马赛克。该间距对应于鱼眼镜头的唯一视野。
这三种SCFA仅仅是示例，并且电子图像传感器可以包括具有以任何合适的图案布置的任何合适的马赛克的、具有任何合适滤色器的和具有任何合适的滤色器数量的任何合适的SCFA，只要某些像素保留未过滤。
控制器20包括与存储指令集的存储器通信的至少一个处理器。处理器被配置为与存储器通信、访问一组指令并且执行这组指令以使成像系统10执行本文所描述的方法、过程和特征中的任何一个。
处理器可以是任何合适的处理设备或处理设备集，例如但不限于：微处理器、基于微控制器的平台、适合的集成电路或配置为执行这组指令的一个或多个专用集成电路(Application-Specific Integrated Circuit，ASIC)。存储器可以是任何合适的存储器设备，例如但不限于：可以包括非易失性RAM、磁性RAM、铁电RAM和任何其它合适的形式的随机存取存储器(RAM)；磁盘存储器；硬盘驱动器(Hard Disk Drive，HDD)；固态驱动器(SolidState Drive，SSD)；闪存存储器；可擦可编程只读存储器(EPROM)；电可擦可编程只读存储器(EEPROM)；基于忆阻器的非易失性固态存储器；不可更改的内存；或只读存储器。
显示装置30可以是被配置为显示由控制器20生成的图像的任何合适的显示装置，例如(但不限于)液晶显示器(Liquid Crystal Display，LCD)或有机发光二极管(OrganicLight Emitting Diode，OLED)。显示装置30可以是任何合适的尺寸和任何合适的形状，并且可以位于机动车辆内的任何合适的位置。在一个实施例中，显示设备是机动车辆的信息娱乐系统的一部分。
2.操作
为了使用机动车辆成像系统10产生和显示图像，摄像机100首先将电子图像传感器120(特别是像素120a)暴露于入射光(通过镜头110)一段时间——称为积分时间。摄像机100通过打开其快门，保持快门打开持续积分时间，然后关闭快门来这样做。快门可以是电子的或机械的。电子图像传感器120的电路将入射到像素上的光转换成数字图像数据，并且将该图像数据发送到控制器20。控制器20——至少部分地通过使用如本领域已知的用于重建色彩的去马赛克算法——将图像数据转换成图像，并将图像发送到显示装置30用于显示。
3.光圈值和积分时间
如本领域中已知的，摄像机镜头具有表示镜头的焦距与镜头的入射光瞳的直径的比的光圈值(有时称为焦距比数、焦比或f值)。光圈值越小，光圈越大，并且透过镜头的光线越多，反之亦然。例如，f/1.4镜头的光圈大于f/8镜头的光圈。具有较大光圈值(较小光圈)的镜头比具有较小光圈值(较大光圈)的镜头具有更好的景深，这对于期望所得图像传达深度的应用是有利的。具有较小光圈值(较大光圈)的镜头比具有较大光圈值(较小光圈)的镜头更复杂，这意味着它们容纳在比具有较大光圈值(较小光圈)的镜头更大的壳体或外壳中。
产生可接受质量的图像需要平衡三个主要因素：(1)镜头的光圈值，(2)积分时间，以及(3)电子图像传感器的CFA的类型(如果有的话)。
下表1示出了对于多个光圈值中的每一个以及对于四种类型的CFA(无、4×4SCFA、3×3 SCFA和拜耳CFA)，入射光到达电子图像传感器像素的百分比，标准化为f/2.4并且假设30毫秒积分时间。
表1
下表2示出对于多个积分时间中的每一个以及对于四种类型的CFA(无、4×4SCFA、3×3 SCFA和拜耳CFA)，入射光到达电子图像传感器像素的百分比，标准化到任何特定的光圈值。
表2
典型的已知机动车辆成像系统包括具有拜耳CFA的电子图像传感器，具有f/2.4镜头，并且使用30毫秒的积分时间。这导致33.33％的入射光到达电子图像传感器的像素。
如表1和2所示，通过使用具有本发明的3×3 SCFA或4×4 SCFA的电子图像传感器并且保持积分时间和光圈值恒定(在本示例性实施例中是30毫秒和f/2.4)，与使用拜耳CFA时所产生的相比，可以提高最终由控制器产生的图像的质量。使用3×3 SCFA增加了入射光到达电子图像传感器像素的百分比超过2倍，达69％，并且使用4×4 SCFA增加了入射光到达电子图像传感器像素的百分比多于2.5倍，达86％。由于积分时间和光圈值不改变，更多的光到达像素将导致更好质量的图像。这也提高了在低光情况下的性能。由于当使用具有3×3 SCFA或4×4 SCFA的电子图像传感器时更多的光到达像素，所以机动车辆成像系统可以在低光场景中可接受地操作，并且在某些情况下不需要机动车辆产生其自己的光源来提供可接受的环境光的量。
如表1所示，通过使用具有本发明的3×3 SCFA或4×4 SCFA的电子图像传感器并且保持积分时间恒定(在该示例实施例中为30毫秒)，可以使用与拜耳CFA使用的光圈值相比更高的光圈值而没有任何或任何实质的图像质量的降低。例如，使用3×3 SCFA与f/2.8镜头组合的电子图像传感器——比拜耳CFA使用的f/2.4镜头高一个光圈值——结果是48.3％的入射光到达电子图像传感器的像素。在这种情况下，使用具有较高光圈值的较不复杂的镜头与上述典型的机动车辆成像系统相比导致更紧凑的摄像机，以及更多的光到达像素。并且由于积分时间不改变，更多的光到达像素导致更高质量的图像。此外，较高的光圈值提供较大的景深，因此在图像平面上提供较清晰的图像。
在另一实施例中，使用具有4×4 SCFA的电子图像传感器结合f/4镜头——比拜耳CFA使用的f/2.4镜头高两个光圈值——结果是30.1％的入射光到达电子图像传感器的像素。在这种情况下，使用具有较高光圈值的较不复杂的镜头导致更紧凑的摄像机和与上述典型的机动车辆成像系统大约相同量的光到达像素。因此，图像质量基本上不会劣化，但是可以使用不太复杂、更便宜和更小的镜头。此外，较高的光圈值提供较大的景深，因此在图像平面上提供更清晰的图像。
如表2所示，通过使用具有本发明的3×3 SCFA或4×4 SCFA的电子图像传感器并保持光圈值恒定(在该示例实施例中是f/2.4)，可以与使用拜耳CFA的积分时间相比，使用更短的积分时间，并提高图像质量。例如，使用具有3×3 SCFA的电子图像传感器和15毫秒积分时间——是使用拜耳CFA积分时间的一半——结果是34.5％的入射光到达电子图像传感器的像素。在这种情况下，减少积分时间导致更清晰、更好质量的图像。并且由于光圈值不改变，所以更多的光到达像素也导致更高质量的图像。
在另一示例中，使用具有4×4 SCFA的电子图像传感器和15毫秒积分时间——是使用拜耳CFA积分时间的一半——结果是43％的入射光到达电子图像传感器的像素。在这种情况下，减少积分时间导致更清晰、更好质量的图像。并且由于光圈值不改变，所以更多的光到达像素也导致更高质量的图像。
因此应当理解，可以选择光圈值、积分时间和SCFA的类型以产生更清晰的图像、改善的整个图像的光均匀性(减少的渐晕)、改善的颜色再现、提高的信噪比、以及改善的动态范围和色调再现。
上述实施例，特别是任何“优选的”实施例是实现的可能示例，并且仅仅是为了清楚理解本发明的原理而提出的。在不实质上背离本文所描述的技术的精神和原理的情况下，可以对上述实施例进行许多变化和修改。所有修改旨在包括在本发明的范围内并由所附权利要求保护。

Claims (20)

1.一种机动车辆，包含：
车架；以及
成像系统，所述成像系统由所述车架支撑并且包括：
摄像机，所述摄像机包括镜头和具有稀疏滤色器阵列的图像传感器，所述摄像机被配置为基于入射到所述传感器上的光来生成图像数据，所述镜头具有高于f/2.4的光圈值；
控制器，所述控制器被配置为使用所述图像数据生成图像；以及
显示装置，所述显示装置被配置为显示所述图像。
2.根据权利要求1所述的机动车辆，其中所述摄像机的积分时间约为30毫秒或更少。
3.根据权利要求1所述的机动车辆，其中所述镜头的所述光圈值高于f/2.8。
4.根据权利要求3所述的机动车辆，其中所述稀疏滤色器阵列是4×4稀疏滤色器阵列并且所述摄像机的积分时间大约为30毫秒。
5.根据权利要求4所述的机动车辆，其中所述镜头的所述光圈值为f/4。
6.根据权利要求1所述的机动车辆，其中所述镜头的所述光圈值是f/2.8且所述稀疏滤色器阵列是3×3稀疏滤色器阵列。
7.根据权利要求1所述的机动车辆，其中所述摄像机的积分时间约为15毫秒或更少。
8.根据权利要求7所述的机动车辆，其中所述稀疏滤色器阵列是3×3稀疏滤色器阵列。
9.根据权利要求1所述的机动车辆，其中所述镜头是鱼眼镜头。
10.根据权利要求9所述的机动车辆，其中所述图像传感器包括多个像素并且所述稀疏滤色器阵列包括滤色器的重复马赛克，所述滤色器的重复马赛克以使得所述马赛克在所述图像传感器的中心附近比在所述图像传感器的边缘附近更高度集中的图案布置。
11.一种机动车辆成像系统，包含：
摄像机，所述摄像机包括镜头和具有稀疏滤色器阵列的图像传感器，所述摄像机被配置为基于入射到所述传感器上的光来生成图像数据，所述镜头具有高于f/2.4的光圈值；
控制器，所述控制器被配置为使用所述图像数据生成图像；以及
显示装置，所述显示装置被配置为显示所述图像。
12.根据权利要求11所述的机动车辆成像系统，其中所述摄像机的积分时间约为30毫秒或更少。
13.根据权利要求11所述的机动车辆成像系统，其中所述镜头的所述光圈值高于f/2.8。
14.根据权利要求13所述的机动车辆成像系统，其中所述稀疏滤色器阵列是4×4稀疏滤色器阵列并且所述摄像机的积分时间大约为30毫秒。
15.根据权利要求14所述的机动车辆成像系统，其中所述镜头的所述光圈值为f/4。
16.根据权利要求11所述的机动车辆成像系统，其中所述镜头的所述光圈值是f/2.8并且所述稀疏滤色器阵列是3×3稀疏滤色器阵列。
17.根据权利要求11所述的机动车辆成像系统，其中所述摄像机的积分时间约为15毫秒或更少。
18.根据权利要求17所述的机动车辆成像系统，其中所述稀疏滤色器阵列是3×3稀疏滤色器阵列。
19.根据权利要求11所述的机动车辆成像系统，其中所述镜头是鱼眼镜头。
20.根据权利要求19所述的机动车辆成像系统，其中所述图像传感器包括多个像素并且所述稀疏滤色器阵列包括滤色器的重复马赛克，所述滤色器的重复马赛克以使得所述马赛克在所述图像传感器的中心附近比在所述图像传感器的边缘附近更高度集中的图案布置。
CN201710048746.3A 2016-01-29 2017-01-22 机动车辆及机动车辆成像系统 Active CN107026962B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/010,698 US9998695B2 (en) 2016-01-29 2016-01-29 Automotive imaging system including an electronic image sensor having a sparse color filter array
US15/010,698 2016-01-29

Publications (2)

Publication Number Publication Date
CN107026962A true CN107026962A (zh) 2017-08-08
CN107026962B CN107026962B (zh) 2021-03-02

Family

ID=58462882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710048746.3A Active CN107026962B (zh) 2016-01-29 2017-01-22 机动车辆及机动车辆成像系统

Country Status (6)

Country Link
US (1) US9998695B2 (zh)
CN (1) CN107026962B (zh)
DE (1) DE102017101517A1 (zh)
GB (1) GB2548687A (zh)
MX (1) MX2017001357A (zh)
RU (1) RU2678018C2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365872A (zh) * 2018-04-10 2019-10-22 通用汽车环球科技运作有限责任公司 相机像素的动态去马赛克

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
CN108122004A (zh) * 2017-12-19 2018-06-05 杭州电子科技大学 基于Fisher判别稀疏超限学习机的脑电分类方法
US10838250B2 (en) * 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
CN112840633A (zh) * 2018-07-31 2021-05-25 3M创新有限公司 交通工具辅助系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015200A (zh) * 2004-09-10 2007-08-08 松下电器产业株式会社 摄像机和摄像机装置
US20090195681A1 (en) * 2008-02-01 2009-08-06 Compton John T Sampling and Readout of an Image Sensor Having a Sparse Color Filter Array Pattern
CN102449999A (zh) * 2009-06-03 2012-05-09 全视科技有限公司 具有全局及滚动快门过程的成像器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6476865B1 (en) 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
JP2006165975A (ja) 2004-12-07 2006-06-22 Konica Minolta Photo Imaging Inc 撮像素子、撮像装置、画像処理方法
JP2007103401A (ja) 2005-09-30 2007-04-19 Matsushita Electric Ind Co Ltd 撮像装置及び画像処理装置
US7916362B2 (en) 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7893976B2 (en) 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
US8164669B2 (en) * 2008-12-19 2012-04-24 Truesense Imaging, Inc. Charge-coupled device image sensor with efficient binning of same-color pixels
US20110115954A1 (en) 2009-11-19 2011-05-19 Eastman Kodak Company Sparse color pixel array with pixel substitutes
WO2013145487A1 (ja) 2012-03-27 2013-10-03 ソニー株式会社 画像処理装置、撮像素子、および画像処理方法、並びにプログラム
US9105550B2 (en) * 2013-01-11 2015-08-11 Digimarc Corporation Next generation imaging methods and systems
TWI690209B (zh) 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器
KR102163727B1 (ko) 2014-04-03 2020-10-08 삼성전자주식회사 광 이용 효율이 향상된 이미지 센서
KR102276432B1 (ko) 2014-04-07 2021-07-09 삼성전자주식회사 색분리 소자 및 상기 색분리 소자를 포함하는 이미지 센서
US9906691B2 (en) * 2015-03-25 2018-02-27 Tripurari Singh Methods and system for sparse blue sampling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101015200A (zh) * 2004-09-10 2007-08-08 松下电器产业株式会社 摄像机和摄像机装置
US20090195681A1 (en) * 2008-02-01 2009-08-06 Compton John T Sampling and Readout of an Image Sensor Having a Sparse Color Filter Array Pattern
CN102449999A (zh) * 2009-06-03 2012-05-09 全视科技有限公司 具有全局及滚动快门过程的成像器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110365872A (zh) * 2018-04-10 2019-10-22 通用汽车环球科技运作有限责任公司 相机像素的动态去马赛克
CN110365872B (zh) * 2018-04-10 2021-09-07 通用汽车环球科技运作有限责任公司 相机像素的动态去马赛克

Also Published As

Publication number Publication date
US20170223288A1 (en) 2017-08-03
GB2548687A (en) 2017-09-27
RU2017101529A3 (zh) 2018-11-21
GB201701408D0 (en) 2017-03-15
US9998695B2 (en) 2018-06-12
RU2017101529A (ru) 2018-07-19
MX2017001357A (es) 2018-07-30
DE102017101517A1 (de) 2017-08-03
RU2678018C2 (ru) 2019-01-22
CN107026962B (zh) 2021-03-02

Similar Documents

Publication Publication Date Title
CN107026962A (zh) 包括具有稀疏滤色器阵列的电子图像传感器的机动车辆成像系统
US8325241B2 (en) Image pickup apparatus that stores adjacent and contiguous pixel data before integration of same
CN102365861B (zh) 在产生数字图像时曝光像素组
CN102892008B (zh) 双图像捕获处理
JP5472584B2 (ja) 撮像装置
CN102369721B (zh) 具有合成全色图像的彩色滤光器阵列(cfa)图像
CN105306786B (zh) 用于具有相位检测像素的图像传感器的图像处理方法
US8502911B2 (en) Image pickup apparatus, display and image processing apparatus
JP5663580B2 (ja) 撮像素子、撮像素子のダイナミックレンジを増大させる方法、及び撮像装置
CN101755463B (zh) 图像传感器的多分量读出
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
US9906716B2 (en) Image pickup apparatus, image pickup method, and recording medium for controlling pixel shifts
CN103125112B (zh) 成像设备以及成像方法
CN103597811B (zh) 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
US10735632B2 (en) Multiple camera control system
WO2013089036A1 (ja) 撮像装置
CN108712608A (zh) 终端设备拍摄方法和装置
CN102783135A (zh) 利用低分辨率图像提供高分辨率图像的方法和装置
CN106331662A (zh) 一种图像撷取装置及图像撷取方法
CN204633909U (zh) 成像器
JP2022106861A (ja) 撮像素子
US20130128083A1 (en) High dynamic range image sensing device and image sensing method and manufacturing method thereof
JP2009253447A (ja) 近赤外光／可視光共用の固体撮像素子及び固体撮像装置
US10151862B2 (en) Color filter array having low density of blue color
JP2007110229A (ja) 撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant