CN108965726B - 车辆摄相机系统 - Google Patents
车辆摄相机系统 Download PDFInfo
- Publication number
- CN108965726B CN108965726B CN201810456232.6A CN201810456232A CN108965726B CN 108965726 B CN108965726 B CN 108965726B CN 201810456232 A CN201810456232 A CN 201810456232A CN 108965726 B CN108965726 B CN 108965726B
- Authority
- CN
- China
- Prior art keywords
- exposure
- hdr
- camera
- subset
- exposures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims description 44
- 238000012360 testing method Methods 0.000 claims description 29
- 238000003384 imaging method Methods 0.000 claims description 16
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000001514 detection method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6016—Conversion to subtractive colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明涉及车辆摄相机系统。一种用于利用高动态范围(HDR)摄相机系统(10)创建HDR图像的方法,包括:利用HDR摄相机系统的摄相机(20)捕获多个摄相机曝光;从多个摄相机曝光的第一子集创建第一HDR图像(52A,62A),第一子集中的每个摄相机曝光具有不同的曝光值;以及从多个摄相机曝光的第二子集创建第二HDR图像(52B,62B),第二子集包括来自第一子集的至少一个曝光以及比第一子集的曝光更近捕获的至少一个附加曝光,第二子集中的每个曝光具有不同的曝光值。
Description
技术领域
本公开内容涉及一种车辆摄相机系统。
背景技术
越来越多的车辆配备有摄相机来检测车道标志、障碍物、标牌、基础设施、其他车辆、行人等。摄相机例如可以用于增强安全车辆操作和/或在自动驾驶期间引导车辆。虽然当前的摄相机适合其预期的用途,但当前的摄相机有待改进。
关于高动态范围(HDR)成像,使用单个摄相机拍摄的多个图像会被处理并且合并成单个HDR合成图像。多个图像中的每一个图像通常具有不同光量下的不同曝光值(EV),例如第一图像正常被曝光,第二图像曝光不足以及第三图像曝光过度。图像被对准并且然后组合以获得最终图像。这样对多个图像的HDR处理在计算上是繁重的,特别是对于以高速行驶的自动车辆系统。例如,本教示有利地包括用于促进HDR处理和增强车辆摄相机系统的对象检测能力的摄相机系统和方法。本领域技术人员将认识到,除了本文中阐述的内容以外,本教示还提供了许多附加的优点和意想不到的结果。
发明内容
本公开内容的目的是提供一种用于利用HDR摄相机系统来创建高动态范围(HDR)图像的方法。
本公开内容的另一目的是提供一种高动态范围成像系统。
根据本公开内容的一个方面,提供了一种用于利用HDR摄相机系统创建高动态范围(HDR)图像的方法。该方法包括:利用HDR摄相机系统的摄相机捕获多个摄相机曝光;从多个摄相机曝光的第一子集创建第一HDR图像,第一子集中的每个摄相机曝光具有不同的曝光值;以及从多个摄相机曝光的第二子集创建第二HDR图像,第二子集包括来自第一子集的至少一个曝光以及比第一子集中的曝光更近捕获的至少一个附加曝光,第二子集中的每个曝光具有不同的曝光值。
根据本公开内容的另一方面,一种高动态范围(HDR)成像系统包括:摄相机,其被配置成捕获区域的多个摄相机曝光;以及控制模块,其被配置成:从多个摄相机曝光的第一子集创建第一HDR图像,第一子集中的每个摄相机曝光具有不同的曝光值;以及从多个摄相机曝光的第二子集创建第二HDR图像,第二子集包括来自第一子集的至少一个曝光以及比第一子集中的曝光更近捕获的至少一个附加曝光,第二子集中的每个曝光具有不同的曝光值。
根据本公开内容,可以加速从多个摄相机曝光创建HDR图像,以用于输入到任何合适的对象检测模块,并且促进HDR处理并增强车辆摄相机系统的对象检测能力。
附图说明
本文中描述的附图仅用于说明所选实施方式的目的,而非所有可能的实现,并且不旨在限制本公开内容的范围。
图1示出了根据本教示的包括在示例性车辆中的摄相机系统;
图2A示出了根据本教示的具有不同曝光值的多个摄相机曝光以及选择多个摄相机曝光组以创建多个HDR图像;
图2B示出了根据本教示的具有不同曝光值的附加摄相机曝光以及选择多个摄相机曝光组以创建多个HDR图像;
图3示出了根据本教示的用于确定摄相机曝光的最佳数目以创建高动态范围(HDR)图像的方法;
图4示出了根据本教示的用于创建训练HDR图像数据的训练模型的方法;以及
图5示出了根据本教示的用于选择摄相机曝光以用于从具有不同曝光值的多个摄相机曝光创建HDR图像的方法。
贯穿附图的多个视图,对应的附图标记指示对应的部分。
具体实施方式
现在将参照附图更全面地描述示例性实施方式。
首先参照图1,附图标记10示出根据本教示的高动态范围(HDR)摄相机或成像系统。HDR摄相机系统10通常包括HDR摄相机20和控制模块30。虽然HDR摄相机系统10被示出为包括在客运车辆40中,但是HDR摄相机系统10可以包括在任何合适类型的车辆中。例如,HDR摄相机系统10可以包括在任何合适的休闲车辆、公共交通车辆、建筑车辆、军用车辆、摩托车、建筑设备、采矿设备、船只、飞行器等中。此外,HDR摄相机系统10可以与任何合适的非车辆应用一起使用,以增强HDR摄相机20对感兴趣的对象成像的能力。HDR摄相机系统10可以被称为HDR成像系统。
HDR摄相机20可以是能够对感兴趣的对象成像的任何合适的摄相机。例如,HDR摄相机20可以是任何合适的可见光摄相机。摄相机类型可能包括PC网络摄相机、诸如GigE和USB3摄相机的工业摄相机、傻瓜摄相机以及高级DSLR摄相机。这也可以包括对诸如IR(红外)、NIR(近红外)、FIR(远红外)、SWIR(短波红外)和LWIR(长波红外)的光谱的不同区域进行成像的摄相机。HDR摄相机20可以安装在车辆40周围的任何合适的位置处,例如在车辆40的车顶上、在车辆40的前部处、在车辆40的挡风玻璃上等。尽管本文中描述的示例性系统包括单个摄相机20,但HDR摄相机系统10可以包括任何合适数量的摄相机20。
如本文中进一步说明的,控制模块30接收由HDR摄相机20捕获的多个曝光(有时称为摄相机曝光或图像曝光),并且选择多个曝光来组合成单个HDR图像。在包括下面的限定的本申请中,术语“模块”可以用术语“电路”替换。术语“模块”可以指执行代码的处理器硬件(共享的、专用的或组)和存储有处理器硬件执行的代码的存储器硬件(共享的、专用的或组)的一部分或包括处理器硬件和存储硬件。该代码被配置成提供本文中描述的模块、控制器和系统的特征。术语存储硬件是术语计算机可读介质的子集。术语计算机可读介质不包含通过介质(例如在载波上)传播的暂态电信号或电磁信号;因此,术语计算机可读介质被认为是有形的和非暂态的。非暂态计算机可读介质的非限制性示例是非易失性存储器装置(例如闪速存储器装置、可擦除可编程只读存储器装置或掩模只读存储器装置)、易失性存储器装置(例如静态随机存取存储器装置或动态随机存取存储器装置)、磁存储介质(例如模拟或数字磁带或硬盘驱动器)以及光存储介质(例如CD、DVD或蓝光光盘)。
由HDR摄相机20捕获的多个曝光中的至少两个曝光具有不同的曝光值,曝光值基于曝光中的光量而变化。例如,如图2A所示,以附图标记50A-50L示出了由HDR摄相机20捕获的多个摄相机曝光。曝光50A-50L按时间顺序排列。因此,曝光50A在曝光50B之前被HDR摄相机20捕获。曝光50C在曝光50B被捕获之后并且在曝光50D被捕获之前由HDR摄相机20捕获。在曝光50A-50K中的每个曝光被捕获之后,曝光50L被HDR摄相机20捕获。
曝光50B具有曝光值0,因此是基准曝光。曝光50E、50H和50K也具有曝光值0,因此也是基准曝光。曝光50A具有曝光值-1,这指示曝光50A具有较少的光或比基准曝光50B更暗。曝光50A可以具有比基准曝光50B更少的任何合适的光量,例如,基准曝光50B的一半的光量。曝光50C具有曝光值+1,这指示曝光50C比基准曝光50B具有更多的光。曝光50C可以具有比基准曝光50B的光更大的任何合适的光量,例如,基准曝光50B的两倍的光量。曝光50F、50I和50L各自具有曝光值+1,因此各自具有与曝光50C相似的光量。曝光50D、50G和50J各自具有曝光值-1,因此各自具有与曝光50A相似的光量。
如本文中进一步说明的,控制模块30将具有不同曝光值的曝光50A-50L中的两个或更多个组合成单个HDR图像。在图2A的示例中,具有不同曝光值的曝光50A-50L中的三个被组合成单个HDR图像。具体地,由控制模块30将曝光50A、50B和50C组合成单个HDR图像52A。因此,曝光50A、50B和50C是多个摄相机曝光50A-50L的第一子集。该第一子集中的这些曝光50A、50B和50C中的每一者具有不同的曝光值。
在创建第一HDR图像52A之后,控制模块30创建第二HDR图像52B。第二HDR图像52B包括第一子集中的曝光50B和曝光50C中的至少一个,并且利用具有与50A的曝光值相同的曝光值的最近捕获的曝光50D来替换至少曝光50A。因此,在图2A的示例中,第二HDR图像52B包括曝光50B和50C,并且用最近捕获的曝光50D替换曝光50A。在一些应用中,第二HDR图像52B可以包括曝光50C、曝光50D和曝光50E。因此,曝光50D和曝光50E可以分别替换曝光50A和曝光50B。
控制模块30还被配置成创建第三HDR图像52C,该第三HDR图像52C在图2A的示例中包括曝光50C、50D和50E。由控制模块30创建的第四HDR图像52D包括曝光50D、50E和50F。如本文中进一步说明的,控制模块30可以将HDR摄相机20配置成捕获包括任何合适数量的曝光值的任何合适数量的曝光。此外,控制模块30可以被配置成创建包括任何合适数量的曝光的HDR图像,并且保持从一个HDR图像到下一个HDR图像(例如从HDR图像52A到HDR图像52B)的任何合适数量的曝光。
图2B示出了控制模块30将HDR摄相机20配置成捕获与图2A的曝光50A-50L相比包括附加曝光值的多个摄相机曝光60A-60L的示例。具体地,除了包括上述的曝光50A-50L的曝光值以外,还包括曝光值-2和+2。例如,曝光60A具有曝光值-2,这指示曝光60A与具有曝光值为-1的曝光60B相比更暗,例如是曝光60B的两倍暗。具有曝光值为+2的曝光60E与具有曝光值为+1的曝光60D相比更亮。例如,曝光60E的光可以包括两倍于曝光60D的光。曝光60F包括曝光值为-2,并且比具有曝光值为-1的曝光60G更暗,例如是曝光60G的两倍暗。曝光60J具有曝光值+2,因此与曝光60I相比具有更多的光,例如两倍于曝光60I的光。曝光60K具有曝光值-2,因此与具有曝光值为-1的曝光60L相比具有更少的光,例如光量是具有曝光值为-1的曝光60L的光量的一半。
在图2B的示例中,控制模块30被配置成根据曝光60A-60L创建HDR图像62A-62E,曝光60A-60L在图2B中按照时间顺序从左到右排列。HDR图像62A-62E中的每一个HDR图像包括具有不同曝光值的五个曝光。具体地,控制模块30被配置成创建包括曝光60A-60E的第一HDR图像62A,曝光60A-60E构成多次曝光60A-60L的第一子集。控制模块30被配置成创建第二HDR图像62B,该第二HDR图像62B包括用于创建HDR图像62A的曝光60A-60E中的至少一者。在所示的示例中,控制模块30根据曝光60B-60F创建HDR图像62B。更近捕获的曝光60F替换曝光60A。控制模块30还被配置成形成HDR图像62C、62D和62E,其中每一个HDR图像都包括用于创建先前HDR图像的四个曝光再加上一个更近捕获的曝光,该一个更近捕获的曝光的曝光值与被替换的先前捕获的HDR图像的最早曝光的曝光值相同。尽管图2B的示例示出了由用于创建前一HDR图像的四个曝光加上单个更近捕获的曝光形成的HDR图像62A-62E,但控制模块30可以被配置成使用用于创建之前的HDR图像的任何合适数量的曝光加上任何合适数量的更近捕获的曝光来创建HDR图像。
通过创建保留来自先前创建的HDR图像的至少一个曝光的HDR图像,控制模块30可以有利地加速创建来自多个摄相机曝光的HDR图像,以用于输入到任何合适的对象检测模块32,例如车道检测模块。例如,当车辆40以高速度行驶时,由HDR摄像机20捕获的曝光必须被快速处理成HDR图像以用于输入到车道检测模块,使得对象检测系统可以容易地识别车道标记的位置。
继续参照图1、图2A和图2B,并且另外参照图3,现在将描述根据本教示的方法110,用于设置包括在由控制模块30创建的每个HDR图像(例如HDR图像52A-52D和HDR图像62A-62E)中的摄相机曝光的数量。首先参照图3的块112,控制模块30访问包括训练图像数据的训练模型。训练模型可以以任何合适的方式提供,例如由HDR成像系统10的开发者、制造商、分销商等提供。训练模型可以以任何合适的方式生成,例如通过图4所示的方法210来生成。
参照图4的方法210的块212,以任何合适的方式(例如由HDR成像系统10的开发者、制造商、分销商等)捕获针对通常遇到的各种类型的场景的多个训练HDR图像。例如,可以在不同的条件(例如不同的光和可见度条件)下针对如下的场景中的每一个场景捕获3000个图像:正常场景;下雨场景;下雪场景;晴天场景;多云场景;隧道进入场景;以及隧道离开场景。参照块214,训练HDR图像中的每一个训练HDR图像被转换成任何合适的格式,以使得能够从每一个训练HDR图像中提取各种特征。例如,可以将训练HDR图像的彩色版本转变成灰度图像,对灰度图像执行多个高斯模糊,并且对高斯模糊进行差分。训练HDR图像中的每一个训练HDR图像也可以从彩色版本转换成色调、饱和度和明度(HSV)图像。
在块216处,从每一个训练HDR图像的每个摄相机曝光中提取各种特征。可以提取任何合适的特征,例如以下中的一个或更多个:每个训练HDR图像中的曝光的数目(块218A);每个训练HDR图像的每个曝光之间经过的时间(218B);针对每个训练HDR图像的每个曝光的一个或更多个平面的均值和/或标准偏差(218C)。示例性平面包括红绿蓝色平面一起、红色平面、蓝色平面、绿色平面、色调平面、饱和度平面和明度平面(value plane)。参照块220,以任何合适的方式评估每个训练HDR图像(组合的训练HDR图像和/或用于创建训练HDR图像的每个曝光)的图像质量。例如,每个训练HDR图像(组合的训练HDR图像和/或用于创建训练HDR图像的每个曝光)可以由HDR成像系统10的开发者、制造商、分销商等对质量(例如好的或坏的质量)进行观察并且分级。分级可以发生在方法210期间的任何合适的时间处,并且不需要如图4所示的那样发生在块222之前。在从每个训练HDR图像的每个曝光已经提取上述特征或任何其他合适的特征之后,方法210进行到块222,其中,特征和图像分级被用于训练利用任何合适的算法(例如随机森林算法)训练图像数据的模型。
重新参照图3的方法110,在控制模块30访问训练图像数据(例如根据图4的方法210创建和训练的图像数据)的训练模型之后,控制模块30进行到图3的块114。在块114处,控制模块30从HDR摄相机20取回实时摄相机曝光并且从其创建测试HDR图像,包括任何合适数量的曝光,例如图2A所示的曝光50A-50L中的三个,或图2B所示的曝光60A-60L中的五个。参照块116,控制模块30根据捕获到的场景(例如正常场景、下雨场景、晴天场景、多云场景、隧道进入场景或隧道离开场景)来对测试HDR图像进行分类。在块118处,例如以与先前结合块214对训练HDR图像的描述所说明的方式相同方式来准备测试HDR图像,以用于从测试HDR图像中提取特征。然后,从测试HDR图像中(例如从测试HDR图像的每个曝光中)提取相关特征。可以提取任何合适的特征,例如至少方法210的块216A、216B和216C中详述的特征。
在块120处,将提取的测试HDR图像的特征与训练图像数据的训练模型的训练图像的特征进行比较。在块122处,识别具有与测试HDR图像(和相同场景)的特征最相似的特征并且具有如在块220处所评估的满意的图像质量的训练HDR图像。参照块124,控制模块30被设置成使得由此创建的HDR图像由如下数目的曝光(例如图2A的示例中的三个摄相机曝光或图2B的示例中的五个摄相机曝光)组成,该曝光数目与在块122处被确定为与测试HDR图像最相似的训练HDR图像中包括的曝光数目匹配。因此,控制模块30将有利地创建其清晰度最适合于目前条件的HDR图像。例如,方法110可以例如由控制模块30定期执行,以确保随着环境条件改变而生成最高质量的HDR图像。
参照图5,示出了根据本教示的用于创建具有如下数目的曝光的HDR图像的方法310,该数目与用于创建被确定为与测试HDR图像最相似(如方法110的块124处确定的那样)的训练HDR图像的曝光数目匹配。尽管方法310被描述为使用本教示的系统10以及方法110和210,但方法310可以使用任何其他合适的系统和方法来执行。
首先参照方法310的块312,捕获多个摄相机曝光,例如曝光50A-50L(图2A)或曝光60A-60L(图2B)。参照块314,控制模块30或任何其他合适的模块从多个摄相机曝光的第一子集创建第一HDR图像(例如图2A的HDR图像52A或图2B的HDR图像62A)曝光。第一子集中的每个摄相机曝光具有不同的曝光值。参照块316,控制模块30或任何其他模块从多个摄相机曝光的第二子集创建第二HDR图像(例如图2A的HDR图像52B或图2B的HDR图像62B)。第二子集包括来自第一子集中的曝光的至少一个曝光以及比第一子集的曝光更近捕获的至少一个附加曝光。第二子集中的每个曝光具有不同的曝光值。通过创建从先前创建的HDR图像中保留至少一个曝光的HDR图像,本教示可以有利地加速从多个摄相机曝光中创建HDR图像,以用于输入到任何合适的对象检测模块,例如车道检测模块。例如,当车辆以高速度行驶时,由HDR摄相机捕获的曝光必须被快速处理成HDR图像,以用于输入到车道检测模块,使得对象检测系统可以容易地识别车道标记的位置。
为了说明和描述的目的已提供了对实施方式的前述描述。这并不旨在是穷尽性的或限制本公开内容。特定实施方式的各个元件或特征通常不限于该特定实施方式,而是在适用的情况下是可互换的,并且可以在所选择的实施方式中使用,即使没有具体示出或描述。特定实施方式的各个元件或特征也可以通过多种方式变化。这些变化不被视为偏离本公开内容,并且所有这些修改旨在被包括在本公开内容的范围内。
提供了示例性实施方式,使得本公开内容将是透彻的,并且将向本领域技术人员充分地传达该范围。阐述了许多具体细节,例如特定部件、装置和方法的示例,以提供对本公开内容的实施方式的透彻理解。对于本领域技术人员明显的是,不需要采用具体细节,该示例性实施方式可以以许多不同的形式呈现,并且细节和实施方式都不应被解释为限制本公开内容的范围。在一些示例性实施方式中,未详细描述公知的处理、公知的装置结构和公知的技术。
本文中所使用的术语仅用于描述特定示例性实施方式的目的,而不旨在是限制性的。如本文中所使用的,单数形式的“一”、“一个”和“该”也可以旨在包括复数形式,除非上下文另有明确指出。术语“包括”、“包含”、“含有”和“具有”是包容性的,因此指定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除存在或添加一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组合。本文中描述的方法步骤、处理和操作不应被解释为必须要求它们以所讨论或示出的特定顺序执行,除非被特别地标识了执行的顺序。还应当理解,可以采用附加的或可替选的步骤。
当元件或层被称为在另一元件或层“上”、“啮合至”、“连接至”或“耦接至”另一个元件或层时,其可以直接在该另一元件或层上、直接啮合至、连接至或耦接至该另一元件或层,或者可能存在中间元件或层。相对地,当元件被称为直接在另一元件或层“上”、“直接啮合至”、“直接连接至”或“直接耦接至”另一个元件或层时,可能不存在中间元件或层。用于描述元件之间的关系的其他词语应当以类似的方式来解释(例如,“在……之间”与“直接在……之间”、“相邻”与“直接相邻”等)。如本文中所使用的,术语“和/或”包括一个或更多个相关列出的项目的任意组合和所有组合。
尽管术语第一、第二、第三等可以在本文中用于描述各种元件、部件、区域、层和/或部分,但是这些元件、部件、区域、层和/或部分不应受这些术语的限制。这些术语可以仅用于将一个元件、部件、区域、层或部分与另一个区域、层或部分区分开来。诸如“第一”、“第二”和其他数字术语的术语在本文中使用时不意味着序列或顺序,除非上下文明确指出。因此,下面讨论的第一元件、第一部件、第一区域、第一层或部分在不脱离示例性实施方式的教示的情况下可以被称为第二元件、第二部件、第二区域、第二层或部分。
为了便于描述,本文中可以使用诸如“内”、“外”、“下”、“下方”、“以下”、“上方”、“以上”等的空间相对术语,以描述一个元件或特征与另一个(或多个)元件或特征的关系,如图所示。空间相对术语可以旨在包括除了图中所描绘的取向以外的装置在使用或操作中的不同取向。例如,如果图中的装置翻转,则被描述为在其他元件或特征“下方”或“以下”的元件将被定向为在所述其他元件或特征“上方”。因此,示例术语“下方”可以包括上方和下方两个方向。该装置可以以其他方式定向(旋转90度或以其他方向),并且本文中所使用的空间相对描述符被相应地解释。
尽管已经通过示例的方式描述了车辆摄相机系统的实施方式、配置、方面,但是应当理解,本公开内容的实施方式、配置、方面不限于以上描述的各个实施方式、各个配置以及各个方面。例如,通过适当组合在不同实施方式、配置和方面中公开的技术部分获得的实施方式、配置、方面被包括在本公开内容的实施方式、配置和方面的范围内。
Claims (18)
1.一种利用高动态范围HDR摄相机系统(10)创建HDR图像的方法,所述方法包括:
使用所述HDR摄相机系统的摄相机(20)捕获多个摄相机曝光;
从所述多个摄相机曝光的第一子集创建第一HDR图像(52A,62A),所述第一子集中的每个摄相机曝光具有不同的曝光值;
从所述多个摄相机曝光的第二子集创建第二HDR图像(52B,62B),所述第二子集包括来自所述第一子集的至少一个曝光以及比所述第一子集中的曝光时间上更近捕获的至少一个附加曝光,所述第二子集中的每个曝光具有不同的曝光值;以及
通过以下步骤来确定包括所述第一HDR图像和所述第二HDR图像的HDR摄相机系统的HDR图像中含有所述多个摄相机曝光中的多少个摄相机曝光,所述步骤为:
创建测试HDR图像;
将所述测试HDR图像与先前捕获的多个HDR训练图像进行比较;
确定所述多个HDR训练图像中的哪一个与所述测试HDR图像最相似;以及
将包括所述第一HDR图像和所述第二HDR图像的HDR摄相机系统的HDR图像含有的摄相机曝光的数目设置成等于所述多个HDR训练图像中的与所述测试HDR图像最相似的一个HDR训练图像所含有的摄相机曝光的数目。
2.根据权利要求1所述的方法,其中,所述多个摄相机曝光的第二子集具有与所述多个摄相机曝光的第一子集相同数量的摄相机曝光。
3.根据权利要求2所述的方法,其中,所述多个摄相机曝光的第二子集包括所述多个摄相机曝光的第一子集中的除了最早曝光之外的摄像机曝光;并且
其中,在所述多个摄相机曝光的第二子集中,比所述第一子集中的曝光时间上更近捕获的至少一个附加曝光是替换所述最早曝光的单个摄相机曝光。
4.根据权利要求1所述的方法,还包括:使用所述HDR摄相机系统的控制模块(30)创建所述第一HDR图像并且创建所述第二HDR图像。
5.根据权利要求1所述的方法,其中,所述多个摄相机曝光的第一子集包括:基准曝光、与所述基准曝光相比具有更多光的第一较亮曝光以及与所述基准曝光相比具有更少光的第一较暗曝光。
6.根据权利要求5所述的方法,其中,所述多个摄相机曝光的第一子集包括:与所述第一较亮曝光相比具有更多光的第二较亮曝光以及与所述第一较暗曝光相比具有更少光的第二较暗曝光。
7.根据权利要求5所述的方法,其中,所述多个摄相机曝光的第二子集包括:
所述基准曝光和所述第一较亮曝光;以及
比所述第一子集中的曝光时间上更近捕获的所述至少一个附加曝光,所述至少一个附加曝光是曝光值等于所述第一较暗曝光并且替换所述第一较暗曝光的单个曝光。
8.根据权利要求1所述的方法,还包括将所述测试HDR图像分类为包括以下场景中的一个:正常、下雨、下雪、晴天、多云、隧道进入和隧道离开。
9.根据权利要求1所述的方法,还包括从所述测试HDR图像中提取图像特征;
其中,确定所述多个HDR训练图像中的哪一个与所述测试HDR图像最相似包括:将从所述测试HDR图像中提取的所提取图像特征与从所述多个训练图像中提取的图像特征进行比较。
10.根据权利要求9所述的方法,其中,所提取图像特征包括以下中的一个或更多个:摄相机曝光的数目;每个摄相机曝光之间经过的时间;以及红绿蓝色平面一起、红色平面、蓝色平面、绿色平面、色调平面、饱和度平面和/或明度平面中的一个或更多个的均值和/或标准偏差。
11.根据权利要求9所述的方法,其中,通过以下步骤来准备所述测试HDR图像以及所述多个HDR训练图像中的至少一个以用于从中提取特征:
将所述测试HDR图像以及所述多个HDR训练图像中的至少一个的彩色版本转变成灰度图像,对所述灰度图像执行多个高斯模糊,并且对所述高斯模糊进行差分;以及/或者
将所述测试HDR图像以及所述多个HDR训练图像中的至少一个的彩色版本转变成HSV图像。
12.一种高动态范围HDR成像系统,包括:
摄相机(20),其被配置成捕获区域的多个摄相机曝光;以及
控制模块(30),其被配置成:
从所述多个摄相机曝光的第一子集创建第一HDR图像(52A,62A),所述第一子集中的每个摄相机曝光具有不同的曝光值;
从所述多个摄相机曝光的第二子集创建第二HDR图像(52B,62B),所述第二子集包括来自所述第一子集的至少一个曝光以及比所述第一子集中的曝光时间上更近捕获的至少一个附加曝光,所述第二子集中的每个曝光具有不同的曝光值;以及
通过以下步骤来确定包括所述第一HDR图像和所述第二HDR图像的HDR摄相机系统的HDR图像中含有所述多个摄相机曝光中的多少个摄相机曝光,所述步骤为:
创建测试HDR图像;
将所述测试HDR图像与先前捕获的多个HDR训练图像进行比较;
确定所述多个HDR训练图像中的哪一个与所述测试HDR图像最相似;以及
将包括所述第一HDR图像和所述第二HDR图像的HDR摄相机系统的HDR图像含有的摄相机曝光的数目设置成等于所述多个HDR训练图像中的与所述测试HDR图像最相似的一个HDR训练图像所含有的摄相机曝光的数目。
13.根据权利要求12所述的HDR成像系统,其中,所述多个摄相机曝光的第二子集具有与所述多个摄相机曝光的第一子集相同数量的摄相机曝光。
14.根据权利要求13所述的HDR成像系统,其中,所述多个摄相机曝光的第二子集包括所述多个摄相机曝光的第一子集中的除了最早曝光之外的摄像机曝光;并且
其中,在所述多个摄相机曝光的第二子集中,比所述第一子集中的曝光时间上更近捕获的至少一个附加曝光是替换所述最早曝光的单个摄相机曝光。
15.根据权利要求12至14中任一项所述的HDR成像系统,其中,所述多个摄相机曝光的第一子集包括:基准曝光、与所述基准曝光相比具有更多光的第一较亮曝光以及与所述基准曝光相比具有更少光的第一较暗曝光。
16.根据权利要求15所述的HDR成像系统,其中,所述多个摄相机曝光的第一子集包括:与所述第一较亮曝光相比具有更多光的第二较亮曝光以及与所述第一较暗曝光相比具有更少光的第二较暗曝光。
17.根据权利要求15所述的HDR成像系统,其中,所述多个摄相机曝光的第二子集包括:
所述基准曝光和所述第一较亮曝光;以及
比所述第一子集中的曝光时间上更近捕获的所述至少一个附加曝光,所述至少一个附加曝光是曝光值等于所述第一较暗曝光并且替换所述第一较暗曝光的单个曝光。
18.根据权利要求12所述的HDR成像系统,其中,所述控制模块还被配置成:
将所述测试HDR图像分类为包括以下场景中的一个:正常、下雨、下雪、晴天、多云、隧道进入和隧道离开;以及
从所述测试HDR图像中提取图像特征;
其中,确定所述多个HDR训练图像中的哪一个与所述测试HDR图像最相似包括:将从所述测试HDR图像中提取的所提取图像特征与从所述多个训练图像中提取的图像特征进行比较;并且
其中,所提取图像特征包括以下中的一个或更多个:摄相机曝光的数目;每个摄相机曝光之间所经过的时间;以及红绿蓝色平面一起、红色平面、蓝色平面、绿色平面、色调平面、饱和度平面和/或明度平面中的一个或更多个的均值和/或标准偏差。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/605,435 US10334141B2 (en) | 2017-05-25 | 2017-05-25 | Vehicle camera system |
US15/605,435 | 2017-05-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108965726A CN108965726A (zh) | 2018-12-07 |
CN108965726B true CN108965726B (zh) | 2020-09-18 |
Family
ID=64109351
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810456232.6A Expired - Fee Related CN108965726B (zh) | 2017-05-25 | 2018-05-14 | 车辆摄相机系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10334141B2 (zh) |
CN (1) | CN108965726B (zh) |
DE (1) | DE102018112345A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107809593B (zh) * | 2017-11-13 | 2019-08-16 | Oppo广东移动通信有限公司 | 拍摄图像的方法、装置、终端和存储介质 |
CN112243089B (zh) * | 2019-07-17 | 2022-05-13 | 比亚迪股份有限公司 | 摄像头hdr图像效果开关控制方法、装置、后视镜、车辆及存储介质 |
US11599745B2 (en) * | 2020-06-24 | 2023-03-07 | Denso International America, Inc. | System and method for generating synthetic training data |
CN111815804B (zh) * | 2020-06-30 | 2022-02-18 | 中国第一汽车股份有限公司 | 一种控制方法、装置、设备及存储介质 |
CN114363525B (zh) * | 2022-03-17 | 2022-06-28 | 杭州灵西机器人智能科技有限公司 | Hdr快速自动成像方法、结构光相机、电子设备和存储介质 |
DE102022002637B3 (de) | 2022-07-19 | 2023-07-27 | Mercedes-Benz Group AG | Kamerasystem und Verfahren zu dessen Betrieb |
DE102023002181B3 (de) | 2023-05-30 | 2024-03-14 | Mercedes-Benz Group AG | Adaptive Filterkette zum Anzeigen eines Umfeldmodells in einem Fahrzeug |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102257531A (zh) * | 2008-12-19 | 2011-11-23 | 高通股份有限公司 | 高动态范围图像组合 |
CN105959584A (zh) * | 2016-04-29 | 2016-09-21 | 京东方科技集团股份有限公司 | 一种图像处理方法、图像处理装置及显示装置 |
US9607366B1 (en) * | 2014-12-19 | 2017-03-28 | Amazon Technologies, Inc. | Contextual HDR determination |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6879731B2 (en) | 2003-04-29 | 2005-04-12 | Microsoft Corporation | System and process for generating high dynamic range video |
US7483486B2 (en) | 2004-07-02 | 2009-01-27 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V. | Method and apparatus for encoding high dynamic range video |
US8014445B2 (en) | 2006-02-24 | 2011-09-06 | Sharp Laboratories Of America, Inc. | Methods and systems for high dynamic range video coding |
CN100452090C (zh) * | 2006-03-14 | 2009-01-14 | 腾讯科技(深圳)有限公司 | 一种实现高动态光照范围的方法及系统 |
CN100539648C (zh) * | 2006-05-11 | 2009-09-09 | 精工爱普生株式会社 | 摄像元件及摄像装置和方法 |
EP2289235A4 (en) * | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
US8866920B2 (en) * | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
EP2606637B1 (en) | 2010-08-23 | 2016-09-21 | Red.Com, Inc. | High dynamic range video |
MX340266B (es) | 2011-06-14 | 2016-07-04 | Koninklijke Philips Nv | Procesamiento de graficos para video de intervalo dinamico alto. |
KR101664158B1 (ko) * | 2012-01-18 | 2016-10-11 | 인텔 코포레이션 | 지능형 계산 촬영 시스템 |
US9489706B2 (en) | 2012-07-02 | 2016-11-08 | Qualcomm Technologies, Inc. | Device and algorithm for capturing high dynamic range (HDR) video |
US9741143B2 (en) * | 2013-05-29 | 2017-08-22 | Nec Corporation | Multocular imaging system, synthesis process method of acquired images, and program |
US20150130967A1 (en) * | 2013-11-13 | 2015-05-14 | Nvidia Corporation | Adaptive dynamic range imaging |
EP3075140B1 (en) * | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
JP6343200B2 (ja) | 2014-07-31 | 2018-06-13 | キヤノン株式会社 | 撮像装置およびその制御方法ならびにプログラム |
GB2545588B (en) * | 2014-09-22 | 2018-08-15 | Shanghai United Imaging Healthcare Co Ltd | System and method for image composition |
EP3046319A1 (en) * | 2015-01-19 | 2016-07-20 | Thomson Licensing | Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion |
US10440288B2 (en) * | 2015-09-02 | 2019-10-08 | Microsoft Technology Licensing, Llc | Methods and apparatuses for capturing image frames with interlaced exposure |
US20170332000A1 (en) * | 2016-05-10 | 2017-11-16 | Lytro, Inc. | High dynamic range light-field imaging |
US20180198970A1 (en) * | 2017-01-12 | 2018-07-12 | Intel Corporation | High dynamic range imaging using camera arrays |
US10084967B1 (en) * | 2017-03-24 | 2018-09-25 | Qualcomm Incorporated | Systems and methods for regionally controlling exposure time in high dynamic range imaging |
US10474906B2 (en) * | 2017-03-24 | 2019-11-12 | Echelon Corporation | High dynamic range video of fast moving objects without blur |
US10009551B1 (en) * | 2017-03-29 | 2018-06-26 | Amazon Technologies, Inc. | Image processing for merging images of a scene captured with differing camera parameters |
-
2017
- 2017-05-25 US US15/605,435 patent/US10334141B2/en active Active
-
2018
- 2018-05-14 CN CN201810456232.6A patent/CN108965726B/zh not_active Expired - Fee Related
- 2018-05-23 DE DE102018112345.0A patent/DE102018112345A1/de not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102257531A (zh) * | 2008-12-19 | 2011-11-23 | 高通股份有限公司 | 高动态范围图像组合 |
US9607366B1 (en) * | 2014-12-19 | 2017-03-28 | Amazon Technologies, Inc. | Contextual HDR determination |
CN105959584A (zh) * | 2016-04-29 | 2016-09-21 | 京东方科技集团股份有限公司 | 一种图像处理方法、图像处理装置及显示装置 |
Also Published As
Publication number | Publication date |
---|---|
DE102018112345A1 (de) | 2018-11-29 |
CN108965726A (zh) | 2018-12-07 |
US10334141B2 (en) | 2019-06-25 |
US20180343399A1 (en) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108965726B (zh) | 车辆摄相机系统 | |
DE102011106050B4 (de) | Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild zur Detektion eines freien Pfads | |
AU2018214066B2 (en) | Automated detection and avoidance system | |
US8571261B2 (en) | System and method for motion detection in a surveillance video | |
CN107730481B (zh) | 一种交通信号灯图像处理方法及交通信号灯图像处理装置 | |
US20180307911A1 (en) | Method for the semantic segmentation of an image | |
US8934711B2 (en) | Apparatus and method of processing image | |
US8319854B2 (en) | Shadow removal in an image captured by a vehicle based camera using a non-linear illumination-invariant kernel | |
DE102020114916A1 (de) | Systeme und verfahren zum reduzieren von flimmerartefakten in bildlichtquellen | |
US11941815B2 (en) | Method and a system training a model to perform semantic segmentation on foggy images | |
US11436839B2 (en) | Systems and methods of detecting moving obstacles | |
Cord et al. | Detecting unfocused raindrops: In-vehicle multipurpose cameras | |
US11124173B2 (en) | Method and apparatus for outputting a control signal | |
US10417518B2 (en) | Vehicle camera system | |
CN113792600B (zh) | 一种基于深度学习的视频抽帧方法和系统 | |
CN113989785A (zh) | 一种驾驶场景分类方法、装置、设备及存储介质 | |
CN114170565A (zh) | 一种基于无人机航拍的图像对比方法、装置及终端设备 | |
US20200184244A1 (en) | Sequential training method for heterogeneous convolutional neural network | |
CN111160340A (zh) | 一种运动目标检测方法、装置、存储介质及终端设备 | |
DE112019003836T5 (de) | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und bildaufnahmevorrichtung | |
CN110741379A (zh) | 用于确定车辆行驶所在的道路的类型的方法 | |
Qiu et al. | Attention mechanism improves YOLOv5x for detecting vehicles on surveillance videos | |
Sincha et al. | Vehicle detection and classification in aerial images | |
Park et al. | Classification of daytime and night based on intensity and chromaticity in RGB color image | |
AU2021103120A4 (en) | A model for an enhancement in Road Scenes Captured by Intelligent Transportation Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200918 |
|
CF01 | Termination of patent right due to non-payment of annual fee |