CN114339185A - 用于车辆相机图像的图像彩色化 - Google Patents
用于车辆相机图像的图像彩色化 Download PDFInfo
- Publication number
- CN114339185A CN114339185A CN202111156199.3A CN202111156199A CN114339185A CN 114339185 A CN114339185 A CN 114339185A CN 202111156199 A CN202111156199 A CN 202111156199A CN 114339185 A CN114339185 A CN 114339185A
- Authority
- CN
- China
- Prior art keywords
- image
- color
- primary color
- vehicle
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims description 37
- 238000013507 mapping Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 description 15
- 238000004422 calculation algorithm Methods 0.000 description 14
- 239000003086 colorant Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000007613 environmental effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 240000006240 Linum usitatissimum Species 0.000 description 1
- 206010034960 Photophobia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了“用于车辆相机图像的图像彩色化”。一种用于机动车辆的装置包括图像传感器，所述图像传感器生成非三原色图像数据作为覆盖相对于所述车辆的预定视场的图像像素阵列。颜色校准源根据所述非三原色图像数据中描绘的对象生成至少一个颜色参考值。控制器被配置为1)将所述至少一个颜色参考值与所述图像像素阵列内的一组像素相关联，以及2)根据所述至少一个颜色参考值对所述非三原色图像数据进行彩色化以产生彩色化图像。显示器被配置为向所述车辆中的观看者显示所述彩色化图像。
Description
技术领域
本发明总体上涉及用于机动车辆的成像系统，并且更具体地，涉及通过融合成像数据源以便对由具有较高分辨率的非三原色图像传感器获得的非三原色图像进行彩色化来提高图像质量。
背景技术
机动车辆(例如，客运车辆，诸如使用内燃机、电动动力传动系统或两者的轿车和卡车)通常具有安装在整个车辆中的使用各种成像技术的多个图像传感器(即，相机)。多个相机/图像传感器的使用改善了对对象的检测和对紧邻车辆周围区域的情景感知。一些相机被部署为捕获图像以在显示器上可视地呈现给驾驶员，诸如当车辆变速器换挡到倒车时提供车辆后方区域的实时视图的倒车相机。其他相机捕获通常根本不供人类驾驶员查看的图像，而是提供由高级驾驶员辅助系统(ADAS)和/或自主驾驶控制器使用的图像数据。例如，非人类系统通常可以利用计算机视觉技术来检测对象和/或车辆周围环境，以维持适当的驾驶路径并避开任何检测到的障碍物。
具有非三原色滤色器阵列(CFA)的相机已被证明有利于计算机视觉性能。如本文所使用的，非三原色是指单色或双色图像传感器，其中图像数据中的像素不区分CIE 1931标准观测者可辨识的颜色。非三原色CFA的示例包括灰度或RCCC图像传感器，其中主要强调低光灵敏度，但代价是获得人类可见的色彩准确度。特别地，非三原色图像传感器值不能准确地变换到由国际照明委员会(CIE)定义的XYZ色彩空间。另一个示例包括IR或近IR图像传感器，其可以是单色的并且可能不符合CIE亮度、三色视觉或人类可见波长范围。
边缘(即，边界)是对于检测图像内的对象重要的主要图像特征，并且由于颜色信息(色调、色度或饱和度)通常不是找到边缘所必需的，因此以更高分辨率但没有全色信息捕获图像更适合于在计算机视觉中使用。另一方面，对于人类观看，彩色图像是更优选的，以便提供自然图像并使图像中的颜色能够为人类感知提供提示并快速识别场景中的元素。这些对图像收集的竞争要求可能导致在单个车辆上部署大量相机。
最好将优化图像感测技术的使用，以便使封装、零件成本和零件计数最小化，同时支持包括人类视觉和计算机视觉应用的广泛特征。
发明内容
本发明结合跨传感器类别的信息以创建更丰富的视频流，诸如利用来自颜色传感器的颜色信息来增强单色或非三原色图像传感器。在一些实施例中，汽车级三色(例如，红-蓝-绿)CFA相机将颜色数据(例如，彩色参考图像)发送到控制器或其他处理器以执行图像彩色化算法以校正来自非三原色相机(例如，其可以具有更高的分辨率或不同的视场)的非RGB图像的彩色化。图像彩色化处理本身可以包含用于旧的黑白照片或电影的类型的许多众所周知的程序和算法。另外，所述处理可以使用提供颜色参考点的一个或多个车载相机，以便约束彩色化问题并为非三原色图像内的至少一些对象产生准确的彩色化。如本文所使用的，“对象”是指相机视场中具有可辨别边界(即，周边边缘)并且在该边界内具有特定颜色外观的区域。本发明使得能够由车辆中的所有可用相机传感器(包括具有非三原色CFA的相机)生成要求高质量彩色图像的车载和远程任务。在一些实施例中，用于彩色化的处理可以利用已经使用彩色CFA相机图像和非三原色图像进行适配和训练的卷积神经网络(CNN)。如本文所述，也可以使用非基于CNN的彩色化算法。
在本发明的一个方面，用于机动车辆的装置包括图像传感器，所述图像传感器生成非三原色图像数据作为覆盖相对于所述车辆的预定视场的图像像素阵列。颜色校准源根据所述非三原色图像数据中描绘的对象生成至少一个颜色参考值。控制器被配置为1)将所述至少一个颜色参考值与所述图像像素阵列内的一组像素相关联，以及2)根据所述至少一个颜色参考值对所述非三原色图像数据进行彩色化以产生彩色化图像。显示器被配置为向所述车辆中的观看者显示所述彩色化图像。
附图说明
图1是示出用于车辆成像和处理系统的装置的图。
图2描绘了一对图像传感器的重叠视场。
图3是车辆成像和处理系统的一个优选实施例的框图。
图4是根据一个实施例的用于映射图像之间的颜色对应关系并且用于使图像彩色化的框图。
图5是根据另一实施例的用于映射图像之间的颜色对应关系并且用于使图像彩色化的框图。
图6示出了用于执行图像之间的像素映射的几何关系。
图7是根据一个实施例的用于适配神经网络以对图像进行彩色化的框图。
图8是示出用于对图像进行彩色化的处理功能的框图。
图9是示出用于创建和分布彩色化图像的车辆装置的另一个实施例的框图。
具体实施方式
参考图1，车辆10包括用于监测周围环境的多个遥感设备(例如，诸如光学图像传感器的无源传感器和诸如雷达和声纳的有源传感器)。响应于周围场景，可以捕获各种图像，诸如使用显示面板13显示给车辆的驾驶员或其他乘员的图像11。图像11可以包括感兴趣的对象12，所述感兴趣的对象具有包围对象的将被视为反射特征颜色的光的一部分的边缘边界。控制器14基于通过通信总线15(例如，CAN总线)从图像传感器收集的图像数据来驱动要在显示器13上产生的图像。除了在显示器13上实时馈送选定的相机视图之外，还可以自动地或响应于用户请求来记录(即，存储)图像。例如，驾驶员或乘客可以选择记录感兴趣的地标、风景或事件的图像以供以后观看。在自动图像记录的情况下，图像可以用于事故重建或其他目的。无论是作为实时馈送还是记录的图像，由于可用的分辨率、视场或其他因素，可能需要从没有全三色能力的图像传感器捕获的图像。
光学图像传感器可以包括鱼眼(即，广角)相机，其提供要显示给驾驶员的全色图像以辅助停车、倒车和其他操纵。例如，车辆10具有前置鱼眼相机16、后置鱼眼相机17以及侧视镜鱼眼相机18和19。鱼眼相机各自具有相对宽的视场(FOV)，诸如FOV 16A、17A、18A和19A。所得的全彩图像在几何上失真。此外，由于大的FOV，并且因为可能不需要高分辨率来实现在显示器13上呈现给驾驶员的图像的预期目的，所以图像分辨率可能相对较低。为了支持具有更高分辨率和没有几何失真的计算机视觉功能，在包括安装在挡风玻璃上的前置相机20和安装在后窗上的后置相机21的车辆10上提供了一套非三原色(即，缺少RGB滤色器阵列，诸如单色或红色透明的)图像传感器。可以使用前格栅相机22来代替前置相机20或者作为其补充。这些相机分别提供较窄的FOVs 20A、21A和22A。
本发明的一些实施例可以利用关于使用其他种类的遥感检测到的附近对象的数据。因此，雷达收发器23-27以已知方式围绕车辆10的周边部署。
本发明的一些实施例可以利用非车载数据源和/或与远程实体共享图像数据。控制器14可以使用车辆10中的通信模块28通过无线通信与远程资产交互，所述通信模块与充当云服务器31的网关的蜂窝网络30交换无线信号。
图2描绘了非三原色图像的视场33，所述非三原色图像的至少一部分(例如，对象34)将使用从非三原色图像本身之外的来源获得的颜色参考数据进行彩色化。在一些实施例中，颜色参考数据可以从由部署在车辆上的不同图像传感器捕获的第二图像得到。特别地，可以从具有与FOV 33重叠的FOV 35的图像传感器获得第二图像，使得可以与要彩色化的非三原色图像基本上同时地捕获从第二图像得到的颜色参考数据(即，对象34出现在两个图像中的可以根据如下所述的像素到像素映射来识别的图像部分处)。在其他实施例中，可以通过跟踪对象的移动来利用非同时图像(例如，当对象在FOV35内但不在FOV33内时，在先前或稍后获得的图像中以全色捕获为对象36)。当利用对象跟踪时，将不需要FOV 33和FOV 35的重叠。
图3示出了用于捕获图像并使用外部颜色参考数据执行图像的至少一部分的彩色化的装置40的一个优选实施例。安装在车辆上的非三原色相机41捕获缺乏逼真色彩表示的图像并将捕获的图像提供给控制器42。作为颜色参考数据的一个潜在源，全色相机43捕获也提供给控制器42的逼真的彩色图像。通常，相机43也安装在车辆上，但是可选地，可以是具有同时或在不同时间捕获要彩色化的对象的视场的非车载相机。使用外部颜色参考数据，控制器42对对象进行彩色化，并且可以在彩色显示器44上显示所得的彩色化图像。在一些实施例中，可以利用用户输入45(例如，用户在其上选择对象并启动彩色化过程的触摸屏)手动地执行对要彩色化的对象的选择。
也可以根据对象的标识从数据库46中检索外部颜色参考值。例如，用于彩色化的对象可以是车辆的发动机罩，并且数据库46可以存储施加到发动机罩的已知颜色的油漆的颜色值。可选地，可以使用传感器50(例如，雷达)和/或其他车辆模块(例如，GPS导航模块)来检测特定地标(例如，雕像，建筑物，纪念碑等)的标识或对象类型(例如，交通标志)，然后使用数据库46将其与颜色参考值相关联。包含地标或对象类型的颜色参考值的数据库可以可选地存储在控制器42可经由无线接口48访问的云服务器47中。用于非车载彩色化的彩色化图像和/或图像数据可以被发送到云服务器47或其他远程位置以供第三方使用。
用于识别相关颜色参考值然后使用颜色参考值来对目标图像进行彩色化的优选方法涉及估计非三原色图像中的图像像素与颜色参考数据(例如，表示全色图像中同一对象的图像像素)之间的对应关系。所述对应关系可以1)从重叠图像实时确定，2)基于基本上同时或提前获得的图像内的对象跟踪来实时确定，和/或3)使用图案识别来对具有预定颜色参考值的对象类型进行分类来确定。估计i)要彩色化的图像对象与ii)提供颜色参考值的图像像素或参考项之间的对应关系的功能以及执行彩色化本身的功能可以使用经训练的卷积神经网络(CNN)或使用计算模型来实施。图4中示出了第一模型，其中控制器55包括对应关系估计块56和颜色估计块57。I1和I2表示从具有不同CFA图案(即，三原色图案和非三原色图案)的图像传感器捕获的图像数据流。图像是从单独的相机位置捕获的，所述相机位置由相机原点和相机3D轴线的旋转(外部校准)描述，所述相机原点和相机3D轴线的旋转由它们在车辆上的安装位置产生。在对应关系块56中确定的映射M描述了来自I1和I2的两个图像之间的像素对应关系。像素到像素映射是获取一个图像中的输入像素位置并输出第二图像中与FOV中的对象的相同区域匹配的像素位置的函数。在给定来自两个相机的输入颜色和图像之间的对应关系映射的情况下，颜色估计块57近似输出颜色。输出图像E2表示估计的输出彩色图像。
在图5中示出的具有控制器60的可选实施例中，来自对应关系估计块61的对应关系映射M上被施加到颜色映射块62中的图像I1来创建估计的图像I1′。估计的图像保持图像I1的像素颜色特性，但具有图像I2的空间图像特性。估计的图像I1′和图像I2在颜色估计块63中组合以产生输出图像E2。
估计图像I1和I2之间的对应关系的一种方法是通过将I1和I2视为立体图像对来执行深度估计，如图6所示。通常将镜头失真校正应用于图像I1和I2，并且相机姿态P1和P2(例如，视场)是已知的。这些被称为外部相机校准信息。姿态由相机投影原点和相机坐标系的旋转组成。相机内部信息和外部信息限定相机图像平面之间的对极几何，所述对极几何限定第二图像中对应于第一图像中的像素的点的轨迹。对极几何和极线(epipolar line)通常用于限制搜索区域以基于邻域相似性度量来确定对应点。图像之间的对应关系是基于识别极线上或附近的哪些像素与第一图像中的输入像素最相似。
如果内部或外部校准中存在误差，则可能发生估计的对极几何的不精确。可以通过放宽极线约束来扩展搜索区域以允许落在极线附近的匹配来补偿这些误差。
如图6所示，点P在点p和p′处投影到两个相机传感器平面上。极点(epipole)e和e′是相机图像平面中与连接原点O和O′的线相交的点。极线描述了图像平面中的轨迹，场景点P将沿着所述轨迹进行成像。例如，如果场景点P朝向原点O径向移动，则在第二图像平面中，对应点p′将位于第二图像平面中通过极点e′的线上。知道图像传感器对的对极几何的益处是对应点的搜索区被约束到极线，并且这被称为极线约束。对应点可以表示为指示对应点的图像之间的移位的视差。视差表示图像之间的映射，其中映射取决于相机姿态和到每个场景点的深度。
估计图像之间的视差是在图像对之间建立对应关系的一种方法。可以通过三角测量将视差估计转换为来自相机几何的场景深度估计。存在用于视差和深度估计的许多技术，包括应用卷积神经网络、利用极线约束、分层搜索和平面扫描。这些方法中的每一种都将估计对应像素之间的视差。可以使用附加技术来减少视差估计中的噪声或误差，诸如应用平滑约束或边缘保持滤波。
可以应用其他技术来通过使用附加约束来估计对应点。例如，投影几何确定平面表面上的点被投影到两个平面图像传感器上，使得被称为图像单应性的3x3变换限定对应点。将3x3变换应用于齐次表示中的图像坐标，其中2D图像位置增加值1以还允许表示矩阵乘法运算内的偏移。对于地平面中或其他平面上的场景点，与基于匹配的视差估计技术相比，单应性以更少的计算确定准确的对应关系。
可以创建输出的估计的彩色图像以具有准确的对象颜色并且具有最小的空间伪影。色彩准确度可以被定义为与捕获的场景的人类观测者的色彩外观相匹配(参见例如Fairchild的“Color Appearance Models”，Wiley，第3版，2013年)。输出的彩色图像可以是标准化的色彩空间，诸如sRGB、ITU-R BT.709RGB、ITU-R BT.709YCbCr或CIE XYZ。输出的彩色图像也可以在设备色彩空间中，诸如对应于一组特定的显示器RGB原色或图像传感器RGB感色灵敏度。在设备RGB原色的情况下，可以将设备RGB颜色值计算为一组目标CIE XYZ值的最佳呈现。在传感器设备RGB颜色值的情况下，到标准色彩空间的转换可以在估计传感器设备RGB图像之后。
估计的输出彩色图像中的不期望的空间伪影包括锯齿状边缘、未对准或加倍的对象边缘、模糊的边缘或纹理或放大的噪声。此类伪影可在基于融合来自同一图像传感器或同一图像传感器类型的多个实例的图像的许多不同图像融合技术中发生。来自常见图像传感器类型的图像融合的示例包括高动态范围图像生成、全景图像拼接或环视图像生成。
可以通过在对应的图像像素值之间应用加权回归来生成来自颜色估计块的输出彩色图像。加权回归可以基于在给定图像传感器的特定设备彩色成像器光谱灵敏度和颜色校准的情况下估计颜色准确输出颜色。
可以通过应用图像处理算法来生成输出彩色图像，所述图像处理算法接受对应的图像像素值的空间窗口作为输入。空间窗口的使用允许对输出图像施加空间平滑约束，以便减少噪声并增强输出图像中的边缘。例如，图像处理算法可以计算输入图像中的一者或两者中的图像梯度，并且使用梯度信息来估计边缘、纹理和平滑图像区域。可以基于估计的边缘、纹理或平滑图像区域来应用用于估计输出图像值的单独技术。例如，在边缘附近，可以组合对应的输入像素值，以避免使边缘模糊或引入边缘不连续性或双边缘。在平滑图像区域中，估计技术可以组合跨空间邻域的像素值，以通过调整来自输入像素邻域的像素的加权贡献来减少输出图像噪声。用于从不同的对应输入图像CFA进行组合的算法可以包含来自高级单图像降噪技术(诸如双边滤波和中值滤波)的原理。
图7示出了用于训练卷积神经网络以在给定I1、I2和M的值或给定I2和I1′的值的情况下执行估计的控制器过程。监督训练将使用以与输出参考图像传感器I2几乎相同的相机姿态捕获的地面实况彩色图像(G2)。彩色图像G2可以由模拟器66转换成单色图像数据，以模拟来自非三原色传感器的图像。地面实况训练集可以由图像I1、I2和G2组成，所述图像被应用于对应估计块67、颜色映射块68和颜色估计块69以产生输出的彩色化图像E2。在误差块70中计算G2与E2之间的误差图像，并且在给定输入I1、I2和M或给定I2和I1′的值的情况下应用反向传播来训练CNN以最佳地近似G2。
可以可选地提供颜色估计块的基础的附加算法包括Zhang等人的[R.Zhang、J.Y.Zhu、P.Isola、X.Geng、A.S.Lin、T.Yu、A.A.Efros，Real-Time User-Guided ImageColorization with Learned Deep Prior，SIGGRAPH，2017]，其描述了经过训练以预测对应于灰度输入图像的CIE a＊b＊通道的卷积神经网络。使用原始RGB图像作为地面实况来训练网络，其中RGB被转换为灰度以输入到CNN。CNN通过反向传播进行训练，以预测输入灰度图像的a＊b＊分布。将预测的a＊b＊值与输入图像亮度L＊组合以创建输出CIE Lab图像(其可转换为CIE XYZ或与设备无关的RGB或YCbCr)。这种类型的灰度到彩色算法能够从纹理和对象提示“学习”以预测对象颜色并将这些有效地扩展到对象边界。然而，人为对象的预测颜色通常是不明确的，并且在没有本发明提供的添加的颜色参考值的情况下，所述算法将生成不正确的预测。可以修改以并入本发明的颜色参考数据的另一种基于CNN的彩色化方法在S.Iizuka、E.Simo-Serra和H.Ishikawa的Let there be Color！：Joint End-to-end Learning of Global and Local Image Priors for Automatic ImageColorization with Simultaneous Classification，SIGGRAPH，2016年，进行描述。这种基于CNN的彩色化方法计算低级、中级和全局特征，然后将其组合在融合和彩色化网络内。彩色化网络估计与原始亮度信息组合以创建输出图像的色度信息。
已经展示了用户引导的图像彩色化方法，其中用户手动地选择要应用于单色图像的颜色选择。例如，Lein等人的[Anat Levin，Dani Lischinski，Yair Weiss，“Colorization using optimization”，美国计算机学会图形学汇刊，23(3)：689-694，2004]描述了单色图像的计算机辅助彩色化的“基于笔划”的方法。美工人员用几个彩色笔划对输入的单色图像进行注解。所述算法基于与相邻像素的颜色相似性、来自先前标记的帧的运动补偿位置以及亮度相似性来估计像素彩色化。本发明修改了彩色化过程以利用在车辆上实时识别的颜色参考数据，而不是美工笔划。因此，本发明在每个对象级别上使来自附加RGB信息的对象颜色的分配自动化。附加RGB信息可以是CIE a*b*颜色分布的形式以及基于单个对象。
本发明的车载颜色参考值和对应关系映射也可以用于修改如Larsson等人的[G.Larsson、M.Maire和G.Shakhnarovich，Learning Representations forAutomaticColorization，ECCV，2016年]所描述的自动化CNN彩色化方法。在该方法中，利用来自ImageNet的图像对VGG架构进行预训练。所述架构是跨分辨率级别的特征响应的超列(hyper column)，所述超列被创建为局部图像结构和纹理的描述符。CNN被训练以从超列特征映射到预测的色调和色度值。所述训练利用基于空间邻域内的2D色调-色度直方图相似性的成本函数。基于色调和色度的不同权重以及目标直方图与源直方图之间的空间接近度的权重来描述若干不同的成本函数。
此外，本发明的车载颜色参考值和对应关系映射也可以用于修改由Welsh等人[T.Welsh，M.Ashikhmin，K.Mueller，Transferring Color to Greyscale Images，SIGGRAPH′02：第29届计算机图形和交互技术年会会议录，第277-280页，2002年]公开的灰度彩色化方法。在该方法中，识别输入灰度图像与不同场景的RGB图像之间的对应像素。在针对5x5窗口搜索RGB图像内的大约200个网格位置之后，对应关系是基于亮度和纹理相似性。使用纹理合成方法将颜色作为(a，b)值传输到Lab色彩空间中。
本发明可以利用要在像素级组合的环绕车辆图像的集合来增强环绕视频体验。可以使用一种以上的感测模态(可见光谱、SWIR、激光雷达、超声波、光传感器、GPS)来辅助车辆算法以像素级对准图像数据。车辆算法还可以执行1)几何评估(标志、交通信号、路沿、墙壁等)，2)对象检测和与云数据的比较，以及3)当日时间估计(例如，实时数据以及云数据的比较，所述云数据包含与由所述车辆图像传感器成像的对象相对应的对象，以便根据照明条件调整图像外观)。相机视频的分析可以通过CAN总线、以太网和/或无线或其他通信方法共享，其中来自其他传感器(例如，悬架、转向器、天气预报)的输入可以用于细化用于图像彩色化算法的像素到像素对应关系的估计。例如，在车辆从周围环境收集图像和其他传感器数据之后，结合可用的车辆数据，控制器可以分析数据并广播像素到像素覆盖。如果可用，则车辆可以将结果与来自远程数据中心的信息进行比较和/或使用V2X通信从可用图像获得实时反馈，从而使得车辆控制器能够分析数据并识别像素到像素颜色点。
图8示出了具有支持主彩色化块72的计算块的车辆控制器装置71。如上面所解释的，可以在使用来自映射块75的像素到像素对应关系的块74中使用来自颜色校准源的全色参考值(例如，包含来自车载三原色图像传感器的三原色图像数据或其他参考数据)来执行块73中的非三色图像数据的彩色化。代替两个静态图像的像素到像素映射，可以将颜色参考值映射到使用对象检测块76检测到的感兴趣的对象。可以使用边界跟踪块77来跟踪检测到的对象，所述边界跟踪块可以利用运动跟踪过程78(例如，使用车辆稳定性感测、车辆位置数据和其他已知技术)和车辆速度数据79。可以提供用于去除锯齿状边缘或双边缘的伪影去除块80，其可以利用例如来自边界跟踪块77的输入。在块81中可以使用照明和/或天气数据来进一步改进彩色化。
图9中示出了提供涉及远程资产的附加特征的装置90的一个实施例。车辆91包括相机系统，所述相机系统具有各自具有相应姿态并提供用于特定目的的图像的非三原色图像传感器和三原色图像传感器。本发明执行图像融合，以便使用各种因素(诸如外部校准数据92、环境影响数据93和几何周围(例如，建筑物和景观)数据94)对非三原色图像数据进行彩色化。使用通向云95的无线通信信道，将包括彩色化图像或原始图像的车辆数据连同与颜色参考值相关的数据传输到数据收集中心96/从数据收集中心96传输。从数据收集中心96，可以与车辆所有者/用户98或与第三方(诸如保险公司97)电子地共享彩色化图像。
前述发明提供了优于现有车辆成像系统的显著优点。特别地，车辆级系统提供必要的输入信息以允许高质量图像彩色化。以提高的颜色准确度获得颜色准确/实时像素到像素输入彩色化，这不是劳动密集型的、用户驱动的或依赖于虚构的颜色选择。例如，当利用能够看到车辆发动机罩的颜色的前挡风玻璃ADAS相机时，可以利用对应的已知颜色信息来对适当的像素进行彩色化。如果在特定视场中看到，则其他内部或外部区域的已知颜色将是附加的颜色参考数据点。
数据中心可以接收实时广播的车辆图像或视频，并且还可以发送任何其他过去或当前的数据，以允许车辆系统将图像变化与实时信息进行比较。彩色化方法可以应用于车辆上或使用由车辆发送的综合信息以减少车辆到数据中心的通信带宽。例如，非三原色图像数据可以与从RGB图像传感器计算的场景对象的概要颜色信息一起传输(而不是发送整个RGB参考图像)。一旦编译了所有数据，车辆算法就可以确认图像彩色化并广播彩色化版本。可选地，所传输的信息可以用于离线和非车载地执行彩色化。
车辆运动可以用于增强连续帧之间的对应关系，以便跨时间生成一致的彩色化。在这种情况下，使用多个时间上分离的帧可以使用光流和来自运动技术的结构来辅助场景深度估计。从光流预测的对应关系可以用于传播来自先前时间步长的彩色化，并且允许针对当前帧彩色化生成时间平滑或一致性。
GPS和其他定位数据可以用于关联场景、道路和地标的所存储的颜色信息，这些信息可以用于增强彩色化输出的颜色准确性。例如，存储的地标颜色信息可以减少估计的颜色的误差或改进白平衡估计和白平衡校正方法。
另外，所识别的对象的颜色参考数据可以为具有与原始对象类似的图像属性的非三原色图像的其他区域提供颜色选择的插值机会。
根据本发明的一个实施例，本发明的特征还在于提供环境参数的环境数据收集器，其中所述控制器根据所述环境参数对所述非三原色图像数据进行彩色化。
根据一个实施例，所述非三原色图像数据的所述预定视场至少部分地与所述三原色图像传感器的视场重叠，并且其中所述映射包括所述非三原色图像数据和所述参考图像的深度估计。
根据一个实施例，所述映射包括检测和跟踪所述参考图像内和所述非三原色图像数据内的所述对象。
根据一个实施例，所述颜色校准源包括将多个预定对象标识符与已知颜色参考值相关联的数据库，所述方法还包括确定所述非三原色图像数据中描绘的所述对象的对象标识符的步骤；以及根据所述确定的对象标识从所述数据库检索所述颜色参考值。
根据一个实施例，本发明的特征还在于包括以下步骤：使用环境数据收集器确定影响所述对象的视觉外观的环境参数；以及根据所述环境参数调整所述非三原色图像数据的所述彩色化。
Claims (15)
1.一种用于机动车辆的装置，其包括：
图像传感器，其生成非三原色图像数据作为覆盖相对于所述车辆的预定视场的图像像素阵列；
颜色校准源，其根据所述非三原色图像数据中描绘的对象生成至少一个颜色参考值；
控制器，其被配置为1)将所述至少一个颜色参考值与所述图像像素阵列内的一组像素相关联，以及2)根据所述至少一个颜色参考值对所述非三原色图像数据进行彩色化以产生彩色化图像；以及
显示器，其被配置为向所述车辆中的观看者显示所述彩色化图像。
2.如权利要求1所述的装置，其中为使用计算机视觉的驾驶员辅助系统收集所述非三原色图像数据。
3.如权利要求1所述的装置，其中所述颜色校准源包括三原色图像传感器，所述三原色图像传感器安装到所述车辆并且捕获至少一个参考图像以用于确定所述颜色参考值。
4.如权利要求3所述的装置，其中所述控制器还被配置为构建映射，所述映射识别与所述非三原色图像数据中描绘的所述对象匹配的所述参考图像的一部分。
5.如权利要求4所述的装置，其中所述映射包括像素到像素映射，并且其中所述参考图像中的像素的颜色数据提供包括对应于所述对象的映射像素的所述非三原色图像数据的映射像素的所述颜色参考值。
6.如权利要求4所述的装置，其中所述非三原色图像数据的所述预定视场至少部分地与所述三原色图像传感器的视场重叠，并且其中所述映射包括所述非三原色图像数据和所述参考图像的深度估计。
7.如权利要求4所述的装置，其中所述映射包括检测和跟踪所述参考图像内和所述非三原色图像数据内的所述对象。
8.如权利要求1所述的装置，其中所述控制器被配置为确定所述对象的标识，并且其中所述颜色校准源包括使所述标识与所述颜色参考值关联的数据库。
9.如权利要求8所述的装置，其中所述标识包括对象类型。
10.如权利要求8所述的装置，其中所述标识包括根据所述车辆的地理位置确定的地标标识符，并且其中所述数据库包括针对多个地标预先确定的颜色参考值。
11.一种用于对从机动车辆获得的非三原色图像进行彩色化的方法，其包括以下步骤：
使用图像传感器捕获目标图像，所述图像传感器生成非三原色图像数据作为覆盖相对于所述车辆的预定视场的图像像素阵列；
根据所述非三原色图像数据中描绘的对象在颜色校准源中生成至少一个颜色参考值；
将所述至少一个颜色参考值与所述图像像素阵列内的一组像素相关联；
根据所述至少一个颜色参考值对所述非三原色图像数据进行彩色化以产生彩色化图像；以及
向所述车辆中的观看者显示所述彩色化图像。
12.如权利要求11所述的方法，其中将所述非三原色图像数据输入到利用计算机视觉来检测所述车辆附近的对象的驾驶员辅助系统。
13.如权利要求11所述的方法，其中所述颜色校准源包括安装到所述车辆的三原色图像传感器，并且其中生成至少一个颜色参考值的步骤包括捕获至少一个参考图像。
14.如权利要求13所述的方法，其还包括构建映射，所述映射识别与所述非三原色图像数据中描绘的所述对象匹配的所述参考图像的一部分。
15.如权利要求14所述的方法，其中所述映射包括像素到像素映射，并且其中所述参考图像中的像素的颜色数据提供包括对应于所述对象的映射像素的所述非三原色图像数据的映射像素的所述颜色参考值。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/035,877 US11380111B2 (en) | 2020-09-29 | 2020-09-29 | Image colorization for vehicular camera images |
| US17/035,877 | 2020-09-29 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114339185A true CN114339185A (zh) | 2022-04-12 |
Family
ID=80624633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111156199.3A Pending CN114339185A (zh) | 2020-09-29 | 2021-09-29 | 用于车辆相机图像的图像彩色化 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11380111B2 (zh) |
| CN (1) | CN114339185A (zh) |
| DE (1) | DE102021124986A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433508A (zh) * | 2023-03-16 | 2023-07-14 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2728836C2 (ru) | 2016-10-28 | 2020-07-31 | Ппг Индастриз Огайо, Инк. | Покрытия для увеличения расстояния обнаружения до объекта, обнаруживаемого с помощью электромагнитного излучения ближнего инфракрасного диапазона |
| US11887219B2 (en) * | 2019-05-07 | 2024-01-30 | Google Llc | Systems and methods for training an image colorization model |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0575783A (ja) * | 1991-07-11 | 1993-03-26 | Matsushita Electron Corp | 固体撮像装置 |
| JP4840495B2 (ja) | 2009-09-18 | 2011-12-21 | コニカミノルタビジネステクノロジーズ株式会社 | 画像処理装置及びコンピュータプログラム |
| US20220041105A1 (en) * | 2010-04-19 | 2022-02-10 | SMR Patent S.à.r.l. | Rearview device simulation |
| TW201406343A (zh) * | 2012-08-01 | 2014-02-16 | Altek Corp | 眼底攝像裝置及其成像方法 |
| US9124778B1 (en) * | 2012-08-29 | 2015-09-01 | Nomi Corporation | Apparatuses and methods for disparity-based tracking and analysis of objects in a region of interest |
| US9769365B1 (en) * | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
| US9449227B2 (en) | 2014-01-08 | 2016-09-20 | Here Global B.V. | Systems and methods for creating an aerial image |
| US10110880B2 (en) | 2015-09-25 | 2018-10-23 | Amazon Technologies, Inc. | Selective colorization using monochromic imagery |
| US9904867B2 (en) | 2016-01-29 | 2018-02-27 | Pointivo, Inc. | Systems and methods for extracting information about objects from scene information |
| US10140690B2 (en) | 2017-02-03 | 2018-11-27 | Harman International Industries, Incorporated | System and method for image presentation by a vehicle driver assist module |
| WO2020219694A1 (en) * | 2019-04-23 | 2020-10-29 | Apple Inc. | Systems and methods for resolving hidden features in a field of view |
-
2020
- 2020-09-29 US US17/035,877 patent/US11380111B2/en active Active
-
2021
- 2021-09-27 DE DE102021124986.4A patent/DE102021124986A1/de active Pending
- 2021-09-29 CN CN202111156199.3A patent/CN114339185A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116433508A (zh) * | 2023-03-16 | 2023-07-14 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
| CN116433508B (zh) * | 2023-03-16 | 2023-10-27 | 湖北大学 | 一种基于Swin-Unet的灰度图像着色校正方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102021124986A1 (de) | 2022-03-31 |
| US11380111B2 (en) | 2022-07-05 |
| US20220101021A1 (en) | 2022-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| US11676254B2 (en) | Systems and methods for positioning vehicles under poor lighting conditions | |
| CN112912920B (zh) | 用于2d卷积神经网络的点云数据转换方法和系统 | |
| US11035958B2 (en) | Systems and methods for correcting a high-definition map based on detection of obstructing objects | |
| US11380111B2 (en) | Image colorization for vehicular camera images | |
| CN103400150B (zh) | 一种基于移动平台进行道路边缘识别的方法及装置 | |
| CN110033475B (zh) | 一种高分辨率纹理生成的航拍图运动物体检测与消除方法 | |
| CN110651301A (zh) | 用于自动为夜视图像着色的方法和系统 | |
| WO2022165809A1 (zh) | 一种训练深度学习模型的方法和装置 | |
| US11307595B2 (en) | Apparatus for acquisition of distance for all directions of moving body and method thereof | |
| US20190020861A1 (en) | High-speed and tunable scene reconstruction systems and methods using stereo imagery | |
| CN111768332B (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
| CN111028155A (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
| WO2018134897A1 (ja) | 位置姿勢検出装置、ａｒ表示装置、位置姿勢検出方法およびａｒ表示方法 | |
| CN114372919B (zh) | 一种双挂汽车列车全景环视图像拼接方法及系统 | |
| CN108564654B (zh) | 三维大场景的画面进入方式 | |
| CN114821544B (zh) | 感知信息生成方法、装置、车辆、电子设备及存储介质 | |
| CN116403186A (zh) | 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法 | |
| Rameau et al. | A real-time vehicular vision system to seamlessly see-through cars | |
| Chen et al. | Making in‐Front‐of Cars Transparent: Sharing First‐Person‐Views via Dashcam | |
| CN115272450A (zh) | 一种基于全景分割的目标定位方法 | |
| WO2021049281A1 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法 | |
| Berrio et al. | Semantic sensor fusion: From camera to sparse LiDAR information | |
| US20240137477A1 (en) | Method and apparatus for generating 3d image by recording digital content | |
| JP5196472B2 (ja) | 画像表示処理プログラム、及び、画像表示処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |