CN112633045A - 一种障碍物检测方法、装置、设备及介质 - Google Patents

一种障碍物检测方法、装置、设备及介质 Download PDF

Info

Publication number
CN112633045A
CN112633045A CN201910954529.XA CN201910954529A CN112633045A CN 112633045 A CN112633045 A CN 112633045A CN 201910954529 A CN201910954529 A CN 201910954529A CN 112633045 A CN112633045 A CN 112633045A
Authority
CN
China
Prior art keywords
image
hyperspectral
features
obstacle detection
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910954529.XA
Other languages
English (en)
Inventor
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910954529.XA priority Critical patent/CN112633045A/zh
Priority to EP20875435.8A priority patent/EP4030338A4/en
Priority to PCT/CN2020/100051 priority patent/WO2021068573A1/zh
Publication of CN112633045A publication Critical patent/CN112633045A/zh
Priority to US17/716,837 priority patent/US20220230448A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/58—Extraction of image or video features relating to hyperspectral data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种障碍物检测方法，包括获取第一图像，所述第一图像为基于三原色光模式进行编码的图像；对所述第一图像重建得到第二图像，所述第二图像为高光谱图像；从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。由于不同材质对应的高光谱特征是不同的，因此，基于该高光谱特征对高光谱图像中的候选对象分类，能够区分出颜色相近但材质不同的对象，基于此，能够实现与环境颜色相同或相近的障碍物检测，降低漏检率。此外，该方法采用普通摄像头即可通过重建图像方式获得高光谱图像，无需采用成像光谱仪，因而成本较低，具有较高可行性。本申请还公开了对应的装置、设备及介质。

Description

一种障碍物检测方法、装置、设备及介质
技术领域
本申请涉及通信领域，尤其涉及一种障碍物检测方法、装置、设备、介质以及计算机程序产品。
背景技术
随着人工智能的快速发展，辅助驾驶和自动驾驶技术应运而生。在启用辅助驾驶或自动驾驶功能时，需要对行车周围环境进行感知，即对行车路径上的行人、车辆、车道线、可行驶区域以及障碍物等信息进行感知，避免碰撞到其他车辆、行人、障碍物，或者偏离车道线等等。
针对障碍物的感知，业界提供了一种基于双目摄像头的障碍物检测方法。通过双目摄像头可以实现图像的视差检测，如此可以获取障碍物的视差情况，基于该视差情况可以实现障碍物检测。
然而，双目摄像头存在基线要求高、标定要求高等问题，并且障碍物颜色和环境颜色相近时，很有可能造成漏检，从而导致基于双目摄像头的检测系统无法检测出来，给行车带来一定的安全隐患。
发明内容
有鉴于此，本申请提供了一种障碍物检测方法，其通过将基于三原色光模式进行编码的图像重建为高光谱图像，基于该高光谱图像可以实现基于材质对障碍物进行检测，解决了障碍物颜色和环境相近导致的漏检问题，而且成本较低，具有较高的可行性。
本申请实施例第一方面提供了一种障碍物检测方法，所述方法包括：
获取第一图像，所述第一图像为基于三原色光模式进行编码的图像；
对所述第一图像重建得到第二图像，所述第二图像为高光谱图像；
从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
可选的，所述对所述第一图像重建得到第二图像包括：
提取所述第一图像的空间特征；
根据所述第一图像的空间特征，利用所述空间特征与光谱特征的对应关系进行图像重建得到第二图像。
可选的，所述方法还包括：
从配置文件中获取数据字典，所述数据字典中包括空间特征与光谱特征的对应关系；或者，
获取样本数据，利用所述样本数据进行机器学习获得空间特征与光谱特征的对应关系。
可选的，所述方法还包括：
融合所述高光谱特征和所述第一图像的空间特征得到融合特征；
则所述根据所述高光谱特征对所述高光谱图像中的候选对象进行分类包括：
根据所述融合特征对所述高光谱图像中的候选对象进行分类。
可选的，通过贝叶斯数据融合算法融合所述高光谱特征和所述第一图像的空间特征。
可选的，所述第一图像包括RGB图像、RCCC图像、RCCB图像或RGGB图像。
可选的，所述障碍物检测结果包括所述障碍物的位置和材质；
所述方法还包括：
根据所述障碍物的位置和材质确定可行驶区域；
向车辆控制器发送所述可行驶区域指示车辆按照所述可行驶区域行驶。
本申请实施例第二方面提供了一种碍物检测装置，所述装置包括：
获取模块，用于获取第一图像，所述第一图像为基于三原色光模式进行编码的图像；
重建模块，用于对所述第一图像重建得到第二图像，所述第二图像为高光谱图像；
检测模块，用于从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
可选的，所述重建模块具体用于：
提取所述第一图像的空间特征；
根据所述第一图像的空间特征，利用所述空间特征与光谱特征的对应关系进行图像重建得到第二图像。
可选的，所述获取模块还用于：
从配置文件中获取数据字典，所述数据字典中包括空间特征与光谱特征的对应关系；或者，
获取样本数据，利用所述样本数据进行机器学习获得空间特征与光谱特征的对应关系。
可选的，所述装置还包括：
融合模块，用于融合所述高光谱特征和所述第一图像的空间特征得到融合特征；
则所述检测模块具体用于：
根据所述融合特征对所述高光谱图像中的候选对象进行分类。
可选的，所述融合模块具体用于:
通过贝叶斯数据融合算法融合所述高光谱特征和所述第一图像的空间特征。
可选的，所述第一图像包括RGB图像、RCCC图像、RCCB图像或RGGB图像。
可选的，所述障碍物检测结果包括所述障碍物的位置和材质；
所述装置还包括：
确定模块，用于根据所述障碍物的位置和材质确定可行驶区域；
发送模块，用于向车辆控制器发送所述可行驶区域指示车辆按照所述可行驶区域行驶。
本申请实施例第三方面提供了一种驾驶辅助系统，包括处理器和存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序中的指令执行第一方面所述的障碍物检测方法。
本申请实施例第四方面提供了一种车辆，所述车辆包括第三方面所述的驾驶辅助系统和控制器；
所述控制器用于根据所述驾驶辅助系统输出的障碍物检测结果控制车辆行驶。
本申请实施例第五方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行本申请第一方面所述的障碍物检测方法。
本申请实施例第六方面提供了在一种包含计算机可读指令的计算机程序产品，当该计算机可读指令在计算机上运行时，使得计算机执行上述各方面所述的障碍物检测方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
本申请实施例提供了一种障碍物检测方法，在该方法中通过对基于三原色光模式进行编码的第一图像进行重建得到高光谱图像，从高光谱图像中提取高光谱特征，由于不同材质对应的高光谱特征是不同的，因此，基于该高光谱特征对高光谱图像中的候选对象分类，能够区分出颜色相近但材质不同的对象，基于此，能够实现与环境颜色相同或相近的障碍物检测，降低漏检率。此外，该方法采用普通摄像头即可通过重建图像方式获得高光谱图像，无需采用成像光谱仪，因而成本较低，具有较高可行性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中障碍物检测方法的系统架构图；
图2为本申请实施例中障碍物检测方法的流程图；
图3为本申请实施例中障碍物检测方法的流程图；
图4为本申请实施例中高光谱图像提取光谱曲线的示意图；
图5为本申请实施例中障碍物检测方法的交互流程图；
图6为本申请实施例中障碍物检测方法的交互流程图；
图7为本申请实施例中障碍物检测装置的结构示意图；
图8为本申请实施例中服务器的一个结构示意图。
具体实施方式
本申请实施例提供了一种障碍物检测方法，用于解决双目摄像头进行障碍物检测时存在基线要求高、标定要求高等问题，以及障碍物颜色和环境颜色相近时导致漏检的问题，而且无需增加额外的成本。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
可以理解，本申请实施例提供的障碍物检测方法可以应用于自动驾驶(Autonomous Driving，AD)或辅助驾驶等场景中。以辅助驾驶场景为例，该方法可应用于高级辅助驾驶系统(Advanced Driver Assistant System，ADAS)，通过该ADAS可以实现障碍物目标检测(Obstacle Detection，OD)、路面检测(Road Profile Detection，RPD)、交通标识识别(Traffic Sign Reorganization，TSR)，并进一步提供智能限速提醒(IntelligentSpeed Limit Information，ISLI)等服务，如此，通过自动检测可以避免人为疏忽导致的行车安全隐患，提高行车安全，而且，由于大幅减少驾驶员操作，可以提高驾驶体验。
在实际应用时，上述障碍物检测方法可应用于任意具有图像处理能力的处理设备，该处理设备可以是具有中央处理器(Central Processing Unit/Processor，CPU)和/或图形处理器Graphics Processing Unit的终端，也可以是具有CPU和/或GPU的服务器，其中，终端可以是个人计算设备(Personal Computer，PC)或者工作站等，终端或者服务器通过与车辆的驾驶辅助系统等进行通信实现障碍物检测方法。当然，在有些情况下，终端也可以是车载终端，例如车辆自带的驾驶辅助系统等，该驾驶辅助系统也可以独立实现障碍物检测方法。
其中，本申请实施例提供的障碍物检测方法能够以计算机程序的形式存储于处理设备中，处理设备通过运行计算机程序实现本申请实施例提供的障碍物检测方法。该计算机程序可以是独立的，也可以是集成于其他计算机程序之上的功能模块、插件或者小程序等等。
接下来，对本申请实施例提供的障碍物检测方法的应用环境进行详细介绍。该方法可应用于包括但不限于如图1所示的应用环境中。
如图1所示，车辆部署有驾驶辅助系统101，该驾驶辅助系统101能够调用车辆前视摄像头对车辆周围环境进行拍摄得到第一图像，也可以通过测试摄像头、后视摄像头或环视摄像头来获取第一图像，该第一图像具体为基于三原色光模式进行编码的图像，接着驾驶辅助系统101可以将该第一图像通过网络，例如如4G或5G等无线通信网络传输至服务器102，服务器102对第一图像重建得到第二图像，该第二图像具体为高光谱图像，然后从高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
为了使得本申请的技术方案更加清楚、易于理解，下面将从服务器的角度，结合附图对本申请实施例提供的障碍物检测方法进行详细说明。
参见图2所示的障碍物检测方法的流程图，该方法包括：
S201：获取第一图像。
所述第一图像为基于三原色光模式进行编码的图像。其中，三原色光模式(RGBmodel)又称RGB颜色模型或红绿蓝颜色模型，其为一种加色模型，将红、绿、蓝三原色的色光以不同比例相加，产生各种各样颜色的光。
在实际应用时，上述基于RGB model进行编码的图像可以是采用通用色彩滤波阵列(Color Filter Array，CFA)进行滤波所得图像，即RGB图像，也可以是采用其他滤波器滤波所得图像，具体可以根据实际需求而确定。
例如，Bayer Filter CFA配置有1个红光、1个蓝光和2个绿光滤波器(即25％Red,25％Blue,50％Green)，而人眼天生对于绿色比较敏感，Bayer Filter中绿色光通透性要好于其它两种颜色，因此，相比于等同处理RGB三种颜色，该方法还原出来的图像，在人眼看来噪点更低、细节更加清晰。在要求高清晰度图像的应用中，可以选择基于Bayer Filter所得图像也即Bayer图像。其中，Bayer图像可以分为四种Bayer pattern，包括BGGR、GBRG、GRBG或者RGGB。
又例如，在车载前视应用中，上述CFA可以采用Red-Monochrome(RCCC)配置，该配置中CFA滤波器结构包括3个空白(Clear-C)滤波器和1个红光滤波器，相较于Bayer Filter在处理过程中丢弃2/3的光源，RCCC CFA信号灵敏度更高，同时通过红色光的强度也足以判断汽车前灯(白色)和尾灯(红色)等情况。基于此，RCCC图像适用于弱光环境，主要应用于都红色标识敏感的场合，如交通灯检测、汽车前灯和尾灯检测等等。
考虑到在对图像进行机器分析时，一般要求图像对色彩分辨能力较好，因此，上述CFA配置还可以是50％透传，其余红蓝光各占25％，基于此所得图像为RCCB图像，也即上述第一图像还可以是RCCB图像。
在一些对颜色物识别要求的场合，例如对驾驶员状态进行检测时，上述第一图像还可以是Monochrome，其为100％透传，不能分辨色彩，但是该配置中弱光灵敏度最高，因而具有较好的检测效果。
针对具有自动驾驶功能或者辅助驾驶功能的车辆，当上述功能启用时，上述自动驾驶系统或者辅助驾驶系统可以调用摄像头进行图像拍摄得到第一图像，服务器从上述自动驾驶系统或者辅助驾驶系统获取该第一图像，以便后续通过图像处理技术实现障碍物检测。
需要说明的是，服务器在获取第一图像时，可以是周期性自动获取上述第一图像，也可以是在接收到进行障碍物检测的请求消息时，响应于该请求消息获取第一图像。
S202：对所述第一图像重建得到第二图像，所述第二图像为高光谱图像。
所谓高光谱图像是指光谱分辨率在10I(即10-2λ)数量级范围内的一组光谱图像，一般包含几十至数百个光谱波段。具体到本实施例，服务器可以基于空间特征与高光谱特征之间的对应关系，利用普通摄像头拍摄得到的第一图像进行重建得到第二图像，从而实现无需采用成像光谱仪即可获得高光谱图像，也就无需增加硬件成本。
具体地，服务器可以先通过图像处理技术，例如通过卷积神经网络提取第一图像的空间特征，然后根据该第一图像的空间特征利用所述空间特征与光谱特征的对应关系进行图像重建得到第二图像。
其中，空间特征与光谱特征的对应关系可以通过多种方式获得。参见图3，在第一种方式中，服务器可以基于已有数据中的RGB图像和高光谱图像生成数据字典，该数据字典中包括空间特征与光谱特征的对应关系，服务器将其写入配置文件，如此，服务器在进行图像重建时，可以从配置文件中获取数据字典，进而基于该数据字典中包括的空间特征与光谱特征的对应关系对待分析RGB图像(即第一图像)重建得到高光谱图像(即第二图像)。
接下来，对数据字典的获取过程进行详细说明。
从图像场景中的物质组成可知，尽管高光谱图像由数十个或数百个波段的二维图像组成，但由于图像场景中的物质不会发生剧烈的变化，因此，每幅高光谱图像场景中所包含的物质不多于12种，高光谱图像的这些特性决定其可以通过某个适当的字典进行稀疏表示。
可以理解，高光谱图像场景中的不同物质具有特定的光谱反射曲线，尽管物质反射比的大小因光照、拍摄视角、物体几何结构、物质的不均匀性、水分含量的不同而发生变化，但其曲线走势时固定的。基于此，如图4所示，针对高光谱图像空间上的每个像素均可以提取出一条光谱的光谱曲线，这些光谱曲线都是由一种或几种物质光谱曲线线性叠加得到，因此，以高光谱图像场景中所包含物质的光谱反射曲线作为字典原子，则高光谱图像上所有的像素点均可以通过该字典进行稀疏表示。
此外，高光谱图像在空间方向上具有同灰度图像相似的空间相关性，即在空间位置上相邻的像素点，其物质组成结构是相似的，因此，每个光谱波段都可以看成是一幅独立的二维图像，若对其进行重叠分块进而学习空间字典，则这些块即可通过得到的字典稀疏表示。
通过对高光谱图像进行三维重叠分块，既考虑到图像的空间相关性，又应用了其谱间相关性，由此学习出的字典更符合高光谱图像的结构特点。
在第二种实现方式中，服务器也可以获取样本数据，利用样本数据进行机器学习获得空间特征与光谱特征的对应关系。其中，服务器可以采用传统的机器学习算法如随机森林等获得空间特征与光谱特征的对应关系，也可以是采用深度学习获得空间特征与光谱特征的对应关系。
以基于深度学习获得上述对应关系进行示例说明。
在一个示例中，参见图3，服务器基于已有数据中的RGB图像和高光谱图像进行特征提取，生成样本数据，该样本数据包括从RGB图像提取的空间特征和从高光谱图像提取的光谱特征，服务器初始化卷积神经网络模型，该卷积神经网络模型以空间特征为输入，以光谱特征为输出，然后将上述样本数据输入该卷积神经网络模型，卷积神经网络模型可以预测上述空间特征对应的光谱特征，然后基于预测得到的光谱特征以及样本数据中包括的光谱特征计算损失函数，基于该损失函数更新卷积神经网络模型的模型参数。
通过大量样本不断更新，当卷积神经网络模型的损失函数趋于收敛，或者，卷积神经网络模型的损失函数小于预设值时，可以停止迭代训练，此时的卷积神经网络模型可以用于提取空间特征与光谱特征的对应关系。基于此，在提取第一图像的空间特征后，将上述空间特征输入至卷积神经网络模型可以得到对应的光谱特征，基于该光谱特征可以重建得到高光谱图像。
S203：从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
在实际应用时，服务器可以先根据高光谱图像确定候选对象，例如可以通过候选框的方式标识出候选对象，然后根据从高光谱图像提取得到的高光谱特征对上述候选对象进行分类，从而得到障碍物检测结果。
由于不同材质对应的高光谱特征是不同的，因此，基于高光谱特征对颜色相同或相近但材质不同的候选对象进行分类，具有较高的准确度，基于此，进行障碍物检测具有较高的检出率，可以避免相同或相近颜色障碍物漏检导致的安全隐患。
进一步地，服务器也可以在上述高光谱特征的基础上，结合空间特征对候选对象进行分类，进一步提高分类准确度。具体地，服务器可以融合所述高光谱特征和所述第一图像的空间特征得到融合特征，然后根据所述融合特征对所述高光谱图像中的候选对象进行分类。
在进行特征融合时，服务器可以通过融合算法实现。作为本申请的一个示例，服务器可以通过贝叶斯数据融合算法融合所述高光谱特征和所述第一图像的空间特征。需要说明的是，贝叶斯数据融合算法仅为本申请的一具体示例，在实际应用时，服务器也可以采用其他融合算法进行高光谱特征和空间特征的融合。
可以理解，当服务器基于高光谱特征确定某一候选对象为障碍物时，可以将该障碍物的位置和材质作为障碍物检测结果一并输出。需要说明，本申请保护基于材质特征的障碍物检测方法，因此，描述这些信息的接口也属于本申请保护范围内，基于此，还可以针对相关标准中的相应接口进行改进。
例如，针对ISO 23150中检测到的目标接口，参见表1，可以增加目标材质(ObjectTexture)的字段，用于描述检测出来的障碍物的材质:
表1目标接口描述(部分)
Figure BDA0002226836580000101
当然，在一些可能的实现方式中，上述障碍物检测结果还可以包括障碍物的纹理，如此，服务器可以基于材质特征和纹理特征的至少一种对候选对象进行分类。
在自动驾驶或者辅助驾驶等场景中，当障碍物检测结果包括障碍物的位置和材质时，服务器还可以根据障碍物的位置和材质确定可行驶区域，然后服务器向车辆控制器发送所述可行驶区域指示车辆按照所述可行驶区域行驶。当然，服务器可以根据上述障碍物的位置和材质对用户进行预警，提醒驾驶员行驶路径上存在或不存在上述障碍物。
由上可知，本申请实施例提供了一种障碍物检测方法，在该方法中通过对基于三原色光模式进行编码的第一图像进行重建得到高光谱图像，从高光谱图像中提取高光谱特征，由于不同材质对应的高光谱特征是不同的，因此，基于该高光谱特征对高光谱图像中的候选对象分类，能够区分出颜色相近但材质不同的对象，基于此，能够实现与环境颜色相同或相近的障碍物检测，降低漏检率。此外，该方法采用普通摄像头即可通过重建图像方式获得高光谱图像，无需采用成像光谱仪，因而成本较低，具有较高可行性。
为了使得本申请的技术方案更加清楚、易于理解，下面将从模块交互的角度对障碍物检测方法进行介绍。
参见图5所示的障碍物检测方法的流程图，该方法包括：
1、Camera模块获取RGB图像；
其中，Camera模块中的相机可以是普通相机，如此可以降低硬件成本；
2、Camera模块向高光谱模块发送RGB图像；
3、Camera模块从RGB图像中提取空间特征；
其中，空间特征具体可以是RGB图像中的Freespace信息；
4、高光谱模块对RGB图像重建得到高光谱图像，从高光谱图像中提取高光谱特征；
5、Camera模块向融合模块发送空间特征；
6、高光谱模块箱融合模块发送高光谱特征；
其中，步骤2、3以及步骤5、6的执行顺序可以是任意的，例如可以同时执行，也可以按照设定顺序先后执行；
7、融合模块将空间特征和高光谱特征融合，得到融合特征；
在一个示例中，融合模块可以根据两个图像即RGB图像和高光谱图像上的目标Bounding Box(边界框)来进行融合，输入是RGB图像上的目标Bounding Box，以及高光谱模块上的目标Bounding Box，结合这些目标的位置和速度等属性，将这些目标Bounding Box进行融合，从而实现对RGB图像中空间特征和高光谱图像中高光谱特征的融合；
典型的融合算法可以采用贝叶斯数据融合算法来进行。对于在RGB图像中因为颜色特征不明显而未检测的目标，在高光谱中实现了目标检测，则在融合的时候依赖于高光谱的目标检测结果，如此可以实现对目标的全面检测，降低障碍物漏检；
8、融合模块利用融合特征对图像中的候选对象分类，输出障碍物检测结果；
其中，障碍物检测结果包括障碍物的位置和材质。
需要说明的是，上述高光谱模块是逻辑上的模块，在物理部署时，其可以和Camera模块统一部署，也可以单独部署。
在一些可能的实现方式中，高光谱模块也可以基于配置模块中的数据字典进行图像重建，进而基于重建后的高光谱图像实现障碍物检测。参见图6所示的障碍物检测方法的流程图，该方法包括：
0、高光谱模块预先从配置模块中获取应用于高光谱模块重建的数据字典；
该数据字典中包括可以空间特征和光谱特征的对应关系，因此，可以基于该数据字典将RGB图像转换为高光谱图像，应用于后续的障碍物检测；
1、通过Camera模块获取RGB图像；
2、Camera模块向高光谱模块发送RGB图像；
3、高光谱模块基于数据字典重建RGB图像得到高光谱图像；
4、Camera模块从RGB图像中提取空间特征；
5、高光谱模块从高光谱图像中提取高光谱特征；
6、Camera模块向融合模块发送空间特征；
7、高光谱模块向融合模块发送高光谱特征；
8、融合模块利用融合算法将空间特征和高光谱特征融合；
9、融合模块基于融合特征对候选对象进行分类，得到障碍物检测结果。
本实施例中相关步骤的具体实现可以参见上文相关内容描述，在此不再赘述。需要说明的是，本实施例中步骤0至7之间的执行顺序可以根据实际需要而设置，例如，步骤0、1可以并行执行，步骤6、7也可以并行执行，当然上述步骤也可以按照设定顺序先后执行。
以上为本申请实施例提供的障碍物检测方法的具体实现方式，基于此，本申请还提供了对应的装置，下面从功能模块化的角度进行介绍。
参见图7所示的障碍物检测装置的结构示意图，该装置700包括：
获取模块710，用于获取第一图像，所述第一图像为基于三原色光模式进行编码的图像；
重建模块720，用于对所述第一图像重建得到第二图像，所述第二图像为高光谱图像；
检测模块730，用于从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
可选的，所述重建模块720具体用于：
提取所述第一图像的空间特征；
根据所述第一图像的空间特征，利用所述空间特征与光谱特征的对应关系进行图像重建得到第二图像。
可选的，所述获取模块710还用于：
从配置文件中获取数据字典，所述数据字典中包括空间特征与光谱特征的对应关系；或者，
获取样本数据，利用所述样本数据进行机器学习获得空间特征与光谱特征的对应关系。
可选的，所述装置700还包括：
融合模块，用于融合所述高光谱特征和所述第一图像的空间特征得到融合特征；
则所述检测模块730具体用于：
根据所述融合特征对所述高光谱图像中的候选对象进行分类。
可选的，所述融合模块具体用于:
通过贝叶斯数据融合算法融合所述高光谱特征和所述第一图像的空间特征。
可选的，所述第一图像包括RGB图像、RCCC图像、RCCB图像或RGGB图像。
可选的，所述障碍物检测结果包括所述障碍物的位置和材质；
所述装置还包括：
确定模块，用于根据所述障碍物的位置和材质确定可行驶区域；
发送模块，用于向车辆控制器发送所述可行驶区域指示车辆按照所述可行驶区域行驶。
本申请实施例还提供了一种设备，用于实现障碍物检测，该设备具体可以是服务器，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)822(例如，一个或一个以上处理器)和存储器832，一个或一个以上存储应用程序842或数据844的存储介质830(例如一个或一个以上海量存储设备)。其中，存储器832和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器822可以设置为与存储介质830通信，在服务器800上执行存储介质830中的一系列指令操作。
服务器800还可以包括一个或一个以上电源826，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口858，和/或，一个或一个以上操作系统841，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由服务器所执行的步骤可以基于该图8所示的服务器结构。
其中，CPU 822用于执行如下步骤：
获取第一图像，所述第一图像为基于三原色光模式进行编码的图像；
对所述第一图像重建得到第二图像，所述第二图像为高光谱图像；
从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
可选的，CPU822还用于执行本申请实施例提供的障碍物检测方法的任意一种实现方式的步骤。
可以理解，上述服务器是和车辆中的驾驶辅助系统或者自动驾驶系统协作，实现障碍物检测，在一些可能的实现方式中，上述障碍物检测方法也可以由驾驶辅助系统或自动驾驶系统独立实现，下面以驾驶辅助系统进行示例性说明。
本申请实施例还提供了一种驾驶辅助系统，包括处理器和存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序中的指令执行如下步骤：
获取第一图像，所述第一图像为基于三原色光模式进行编码的图像；
对所述第一图像重建得到第二图像，所述第二图像为高光谱图像；
从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
可选的，处理器还用于执行本申请实施例提供的障碍物检测方法中任意一种实现方式的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行本申请所述的障碍物检测方法。
本申请实施例还提供了在一种包含计算机可读指令的计算机程序产品，当该计算机可读指令在计算机上运行时，使得计算机执行上述各方面所述的障碍物检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种障碍物检测方法，其特征在于，所述方法包括：
获取第一图像，所述第一图像为基于三原色光模式进行编码的图像；
对所述第一图像重建得到第二图像，所述第二图像为高光谱图像；
从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像重建得到第二图像包括：
提取所述第一图像的空间特征；
根据所述第一图像的空间特征，利用所述空间特征与光谱特征的对应关系进行图像重建得到第二图像。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从配置文件中获取数据字典，所述数据字典中包括空间特征与光谱特征的对应关系；或者，
获取样本数据，利用所述样本数据进行机器学习获得空间特征与光谱特征的对应关系。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：
融合所述高光谱特征和所述第一图像的空间特征得到融合特征；
则所述根据所述高光谱特征对所述高光谱图像中的候选对象进行分类包括：
根据所述融合特征对所述高光谱图像中的候选对象进行分类。
5.根据权利要求4所述的方法，其特征在于，通过贝叶斯数据融合算法融合所述高光谱特征和所述第一图像的空间特征。
6.根据权利要求1至3任一项所述的方法，其特征在于，所述第一图像包括RGB图像、RCCC图像、RCCB图像或RGGB图像。
7.根据权利要求1至3任一项所述的方法，其特征在于，所述障碍物检测结果包括所述障碍物的位置和材质；
所述方法还包括：
根据所述障碍物的位置和材质确定可行驶区域；
向车辆控制器发送所述可行驶区域指示车辆按照所述可行驶区域行驶。
8.一种障碍物检测装置，其特征在于，所述装置包括：
获取模块，用于获取第一图像，所述第一图像为基于三原色光模式进行编码的图像；
重建模块，用于对所述第一图像重建得到第二图像，所述第二图像为高光谱图像；
检测模块，用于从所述高光谱图像提取高光谱特征，根据所述高光谱特征对所述高光谱图像中的候选对象进行分类，得到障碍物检测结果。
9.一种驾驶辅助系统，其特征在于，包括处理器和存储器：
所述存储器用于存储计算机程序；
所述处理器用于根据所述计算机程序中的指令执行权利要求1至7中任一项所述的障碍物检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行权利要求1至7中任一项所述的障碍物检测方法。
CN201910954529.XA 2019-10-09 2019-10-09 一种障碍物检测方法、装置、设备及介质 Pending CN112633045A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910954529.XA CN112633045A (zh) 2019-10-09 2019-10-09 一种障碍物检测方法、装置、设备及介质
EP20875435.8A EP4030338A4 (en) 2019-10-09 2020-07-03 OBSTACLE DETECTION METHOD, APPARATUS AND DEVICE, AND MEDIA
PCT/CN2020/100051 WO2021068573A1 (zh) 2019-10-09 2020-07-03 一种障碍物检测方法、装置、设备及介质
US17/716,837 US20220230448A1 (en) 2019-10-09 2022-04-08 Obstacle detection method and apparatus, device, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910954529.XA CN112633045A (zh) 2019-10-09 2019-10-09 一种障碍物检测方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN112633045A true CN112633045A (zh) 2021-04-09

Family

ID=75283697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910954529.XA Pending CN112633045A (zh) 2019-10-09 2019-10-09 一种障碍物检测方法、装置、设备及介质

Country Status (4)

Country Link
US (1) US20220230448A1 (zh)
EP (1) EP4030338A4 (zh)
CN (1) CN112633045A (zh)
WO (1) WO2021068573A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160183A (zh) * 2021-04-26 2021-07-23 山东深蓝智谱数字科技有限公司 一种高光谱数据处理方法、设备及介质
CN113650016A (zh) * 2021-08-24 2021-11-16 季华实验室 机械臂路径规划系统、方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609963A (zh) * 2012-01-18 2012-07-25 中国人民解放军61517部队 高光谱图像的模拟方法
CN106960221A (zh) * 2017-03-14 2017-07-18 哈尔滨工业大学深圳研究生院 一种基于光谱特征和空间特征融合的高光谱图像分类方法及系统
CN108460400A (zh) * 2018-01-02 2018-08-28 南京师范大学 一种结合多种特征信息的高光谱图像分类方法
CN108470192A (zh) * 2018-03-13 2018-08-31 广东工业大学 一种高光谱分类方法及装置
CN110009032A (zh) * 2019-03-29 2019-07-12 江西理工大学 一种基于高光谱成像的组装分类方法
CN110188606A (zh) * 2019-04-23 2019-08-30 合刃科技（深圳）有限公司 基于高光谱成像的车道识别方法、装置及电子设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1736928A1 (en) * 2005-06-20 2006-12-27 Mitsubishi Electric Information Technology Centre Europe B.V. Robust image registration
CN108108721A (zh) * 2018-01-09 2018-06-01 北京市遥感信息研究所 一种利用高光谱进行道路提取的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609963A (zh) * 2012-01-18 2012-07-25 中国人民解放军61517部队 高光谱图像的模拟方法
CN106960221A (zh) * 2017-03-14 2017-07-18 哈尔滨工业大学深圳研究生院 一种基于光谱特征和空间特征融合的高光谱图像分类方法及系统
CN108460400A (zh) * 2018-01-02 2018-08-28 南京师范大学 一种结合多种特征信息的高光谱图像分类方法
CN108470192A (zh) * 2018-03-13 2018-08-31 广东工业大学 一种高光谱分类方法及装置
CN110009032A (zh) * 2019-03-29 2019-07-12 江西理工大学 一种基于高光谱成像的组装分类方法
CN110188606A (zh) * 2019-04-23 2019-08-30 合刃科技（深圳）有限公司 基于高光谱成像的车道识别方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BOAZ ARAD，ET AL: "Sparse Recovery of Hyperspectral Signal from Natural RGB Images", COMPUTER VISION-ECCV 2016, 20 February 2019 (2019-02-20), pages 19 - 34 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160183A (zh) * 2021-04-26 2021-07-23 山东深蓝智谱数字科技有限公司 一种高光谱数据处理方法、设备及介质
CN113160183B (zh) * 2021-04-26 2022-06-17 山东深蓝智谱数字科技有限公司 一种高光谱数据处理方法、设备及介质
CN113650016A (zh) * 2021-08-24 2021-11-16 季华实验室 机械臂路径规划系统、方法、装置、电子设备及存储介质
CN113650016B (zh) * 2021-08-24 2022-03-08 季华实验室 机械臂路径规划系统、方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4030338A4 (en) 2022-10-26
US20220230448A1 (en) 2022-07-21
WO2021068573A1 (zh) 2021-04-15
EP4030338A1 (en) 2022-07-20

Similar Documents

Publication Publication Date Title
US10504214B2 (en) System and method for image presentation by a vehicle driver assist module
CN102314600B (zh) 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影
Creusot et al. Real-time small obstacle detection on highways using compressive RBM road reconstruction
US20190197344A1 (en) Saliency-based method for extracting road target from night vision infrared image
Kanzawa et al. Human skin detection by visible and near-infrared imaging
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
CN112417934B (zh) 一种图像检测方法及相关设备
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
US20170206427A1 (en) Efficient, High-Resolution System and Method to Detect Traffic Lights
US20220230448A1 (en) Obstacle detection method and apparatus, device, and medium
US20110157184A1 (en) Image data visualization
CN107273788A (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
Paul et al. Application of HDR algorithms to solve direct sunlight problems when autonomous vehicles using machine vision systems are driving into sun
CN111144315A (zh) 目标检测方法、装置、电子设备和可读存储介质
US11645779B1 (en) Using vehicle cameras for automatically determining approach angles onto driveways
US20160232415A1 (en) Detection detection of cell phone or mobile device use in motor vehicle
Valeja et al. Traffic sign detection using Clara and Yolo in python
CN112204566A (zh) 基于机器视觉的图像处理方法和设备
CN106067942B (zh) 图像处理装置、图像处理方法和车载设备
JP2019106149A (ja) 情報処理装置、情報処理プログラム、及び、情報処理方法
EP2778603A1 (en) Image processing apparatus and image processing method
Schleusner et al. Deep learning based classification of pedestrian vulnerability trained on synthetic datasets
CN115880662A (zh) 利用异类传感器的协同作用进行自主驾驶的3d目标检测方法
EP4323953A1 (en) Colorization to show contribution of different camera modalities
Manoharan et al. Robust lane detection in hilly shadow roads using hybrid color feature

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination