CN117079089A - 光学传感器启用和融合 - Google Patents
光学传感器启用和融合 Download PDFInfo
- Publication number
- CN117079089A CN117079089A CN202211336899.5A CN202211336899A CN117079089A CN 117079089 A CN117079089 A CN 117079089A CN 202211336899 A CN202211336899 A CN 202211336899A CN 117079089 A CN117079089 A CN 117079089A
- Authority
- CN
- China
- Prior art keywords
- image
- response
- camera
- visible light
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003287 optical effect Effects 0.000 title abstract description 12
- 230000004927 fusion Effects 0.000 title description 13
- 230000004913 activation Effects 0.000 title description 2
- 230000004044 response Effects 0.000 claims abstract description 137
- 230000007613 environmental effect Effects 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims description 50
- 238000012545 processing Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 description 18
- 230000002411 adverse Effects 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 239000007788 liquid Substances 0.000 description 5
- 239000011368 organic material Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012634 optical imaging Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000003305 oil spill Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000005416 organic matter Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
- G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Signal Processing (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
一种光学传感器系统操作以用于：由处理器接收由可见光相机捕获的第一图像；确定第一图像的特性的值；响应于该值小于阈值而确定环境状况；响应于该环境状况而启用红外相机；由可见光相机捕获第二图像以及由红外相机捕获第三图像；响应于第二图像和第三图像而生成融合图像；响应于融合图像而检测物体；以及响应于检测到物体而控制车辆。
Description
技术领域
本公开总体上涉及传感器融合技术。更具体地，本公开的各方面涉及用以实施多成像传感器检测算法以供用于生成车辆控制应用中所使用的区域图的系统、方法和装置。
背景技术
现代车辆的操作正变得更加自动化，即，能够以越来越少的驾驶员干预来提供驾驶控制。车辆自动化已被归类为数字级别，其范围为从零（对应于没有自动化而具有完全人为控制）到五（对应于完全自动化而没有人为控制）。各种自动化驾驶员辅助系统（ADAS）（诸如，巡航控制、自适应巡航控制和停车辅助系统）对应于较低的自动化水平，而真正的“无人驾驶”车辆对应于较高的自动化水平。
越来越多地，车辆配备有车载传感器以自主地确定它们周围的环境。然而，出现的问题在于，虽然一些传感器在一些环境状况下可能表现得最佳，但那些传感器在其他天气状况期间可能表现得不尽如人意，这可能导致ADAS的脱离。例如，由于光学/物理学的硬件技术约束所致，安装在车辆上的相机可能因来自迎面而来的车辆的前照灯的直接照明而失明，并且在极弱的光条件下可能非常无效。将期望克服这些缺点以改进安装在车辆上的相机和其他实时环境感测系统和方法的光学感测性能。
该背景部分中所公开的以上信息仅用于加强对本发明的背景的理解，且因此它可包含不构成本领域普通技术人员在本国已经知道的现有技术的信息。
发明内容
本文中公开了用于提供车辆传感器系统、用于制造这种系统的方法和用于操作这种系统的方法、以及配备有车载环境传感器和控制系统的各种环境感测协议和相关的控制逻辑。举例来说而非限制，呈现了一种汽车，其具有可见光相机、短波红外（SWIR）相机、长波红外（LWIR）相机、光检测和测距（LiDAR）系统以及对应的处理和控制系统。
根据本公开的方面，一种方法包括：由处理器接收由可见光相机捕获的第一图像；确定第一图像的特性的值；响应于该值小于阈值而确定环境状况；响应于该环境状况而启用红外相机；由可见光相机捕获第二图像以及由红外相机捕获第三图像；响应于第二图像和第三图像而生成融合图像；响应于融合图像而检测物体；以及响应于检测到物体而控制车辆。
根据本公开的另一个方面，处理第二图像以生成第一数据并且处理第三图像以生成第二数据，并且其中，融合图像是响应于第一数据和第二数据而生成的。
根据本公开的另一个方面，其中，红外相机是短波红外相机。
根据本公开的另一个方面，其中，红外相机是远程（long range）红外相机。
根据本公开的另一个方面，其中，环境状况是响应于主车辆的位置的天气状况而进一步确定的。
根据本公开的另一个方面，其中，环境状况是响应于第一图像的亮度值而确定的。
根据本公开的另一个方面，其中，环境状况是响应于第一图像和由可见光相机捕获的先前图像之间的物体跟踪丢失而确定的。
根据本公开的另一个方面，其中，环境状况是响应于由可见光相机捕获的多个先前图像而确定的。
根据本公开的另一个方面，进一步包括：响应于融合图像的特性的值而启用第二红外相机。
根据本公开的另一个方面，一种设备包括：可见光相机，其用于捕获第一图像和第二图像；红外相机，其用于捕获第三图像；处理器，其被构造成用于：确定第一图像的特性的值；响应于该值小于阈值而确定环境状况；响应于该环境状况而启用红外相机；响应于第二图像和第三图像而生成融合图像；以及响应于检测到物体而生成物体数据，该检测是响应于融合图像进行的；以及车辆控制器，其用于响应于物体数据而控制主车辆。
根据本公开的另一个方面，其中，红外相机包括短波红外传感器和长波红外传感器中的至少一个。
根据本公开的另一个方面，其中，环境状况是主车辆位置处的天气状况。
根据本公开的另一个方面，其中，环境状况是雾。
根据本公开的另一个方面，进一步包括：响应于物体数据和第三图像而预测黑冰（black ice）状况。
根据本公开的另一个方面，进一步包括：响应于物体数据和第三图像而预测路面上的一滩液体。
根据本公开的另一个方面，进一步包括：响应于物体数据和第三图像而预测有机材料的存在。
根据本公开的另一个方面，包括用于响应于危险道路状况而提供用户警报的用户接口，该危险道路状况是响应于物体数据而预测的，其中，该危险道路状况响应于第三图像而得到确认。
根据本公开的另一个方面，其中，第一图像的特性的值是第一图像内检测到的边缘的数量。
根据本公开的另一个方面，一种光学成像系统包括：可见光传感器，其用于生成第一可见光图像和第二可见光图像；红外传感器，其用于生成红外光图像；处理器，其用于检测第一可见光图像内的边缘的数量、用于响应于边缘数量低于阈值而启用红外传感器、用于响应于第二可见光图像和红外光图像而生成融合图像、响应于检测到融合图像内的物体而生成物体数据；以及车辆控制器，其用于响应于物体数据而控制车辆。
根据本公开的另一个方面，其中，可见光传感器的视场和红外传感器的视场是重叠的。
本公开还公开了以下技术方案：
1. 一种方法，其包括：
由处理器接收由可见光相机捕获的第一图像；
确定所述第一图像的特性的值；
响应于所述值小于阈值而确定环境状况；
响应于所述环境状况而启用红外相机；
由所述可见光相机捕获第二图像以及由所述红外相机捕获第三图像；
响应于所述第二图像和所述第三图像而生成融合图像；
响应于所述融合图像而检测物体；以及
响应于检测到所述物体而控制车辆。
2. 根据技术方案1所述的方法，其进一步包括：处理所述第二图像以生成第一数据并且处理所述第三图像以生成第二数据，并且其中，所述融合图像是响应于所述第一数据和所述第二数据而生成的。
3. 根据技术方案1所述的方法，其中，所述红外相机是短波红外相机。
4. 根据技术方案1所述的方法，其中，所述红外相机是长波红外相机。
5. 根据技术方案1所述的方法，其中，所述环境状况是响应于主车辆的位置的天气状况而进一步确定的。
6. 根据技术方案1所述的方法，其中，所述环境状况是响应于所述第一图像的亮度值而确定的。
7. 根据技术方案1所述的方法，其中，所述环境状况是响应于所述第一图像和由所述可见光相机捕获的先前图像之间的物体跟踪丢失而确定的。
8. 根据技术方案1所述的方法，其中，所述环境状况是响应于由所述可见光相机捕获的多个先前图像而确定的。
9. 根据技术方案1所述的方法，其进一步包括：响应于所述融合图像的特性的值而启用第二红外相机。
10. 一种设备，其包括：
可见光相机，其用于捕获第一图像和第二图像；
红外相机，其用于捕获第三图像；
处理器，其被构造成用于：确定所述第一图像的特性的值；响应于所述值小于阈值而确定环境状况；响应于所述环境状况而启用所述红外相机；响应于所述第二图像和所述第三图像而生成融合图像；以及响应于检测到物体而生成物体数据，所述检测是响应于所述融合图像进行的；以及
车辆控制器，其用于响应于所述物体数据而控制主车辆。
11. 根据技术方案10所述的设备，其中，所述红外相机包括短波红外传感器和长波红外传感器中的至少一个。
12. 根据技术方案10所述的设备，其中，所述环境状况是主车辆位置处的天气状况。
13. 根据技术方案10所述的设备，其中，所述环境状况是雾。
14. 根据技术方案10所述的设备，其进一步包括：响应于所述物体数据和所述第三图像而预测黑冰状况。
15. 根据技术方案10所述的设备，其进一步包括：响应于所述物体数据和所述第三图像而预测路面上的一滩液体。
16. 根据技术方案10所述的设备，其响应于所述物体数据和所述第三图像而预测有机材料的存在。
17. 根据技术方案10所述的设备，其进一步包括用于响应于危险道路状况而提供用户警报的用户接口，所述危险道路状况是响应于所述物体数据而预测的，其中，所述危险道路状况响应于所述第三图像而得到确认。
18. 根据技术方案10所述的设备，其中，所述第一图像的所述特性的所述值是所述第一图像内检测到的边缘的数量。
19. 一种光学成像系统，其包括：
可见光传感器，其用于生成第一可见光图像和第二可见光图像；
红外传感器，其用于生成红外光图像；
处理器，其用于检测所述第一可见光图像内的边缘的数量、用于响应于所述边缘数量低于阈值而启用所述红外传感器、用于响应于所述第二可见光图像和所述红外光图像而生成融合图像、响应于检测到所述融合图像内的物体而生成物体数据；以及
车辆控制器，其用于响应于所述物体数据而控制车辆。
20. 根据技术方案19所述的光学成像系统，其中，所述可见光传感器的视场和所述红外传感器的视场是重叠的。
当结合附图理解时，本公开的以上优点以及其他优点和特征将从优选实施例的以下详细描述中显而易见。
附图说明
通过参考结合附图进行的本发明的实施例的以下描述，本公开的上文提到的和其他的特征及优点以及实现它们的方式将变得更加显而易见并且本发明将被更好理解。
图1图示了用于实施根据示例性实施例的光学传感器融合系统的示例性工作流程。
图2示出了图示根据示例性实施例的用于光学传感器融合的系统的框图。
图3示出了图示根据示例性实施例的用于光学传感器融合的方法的流程图。
图4示出了图示根据另一个示例性实施例的用于光学传感器融合的另一个系统的框图。
图5示出了图示根据另一个示例性实施例的用于光学传感器融合的另一种方法的流程图。
具体实施方式
本文中描述了本公开的实施例。然而，将理解的是，所公开的实施例仅是示例，并且其他实施例可以采取各种和替代形式。附图不一定按比例绘制；一些特征可被夸大或最小化以示出特定部件的细节。因此，本文中所公开的具体结构和功能细节将不被解释为限制性的，而仅仅是代表性的。参考附图中的任一者所图示和描述的各种特征可以与在一个或多个其他附图中所图示的特征进行组合，以产生未明确图示或描述的实施例。所图示的特征的组合为典型应用提供了代表性实施例。然而，对于特定的应用或实施方式可期望符合本公开的教导的特征的各种组合和修改。
各种传感器被用于映射接近主车辆的环境，以实现ADAS算法和车辆控制算法。然而，这些传感器中的每一个的性能在特定的环境状况期间可能是有限的。例如，由于光学/物理学的硬件技术约束所致，可见光相机可能因来自迎面而来的车辆的前照灯的直接照明而失明，并且在极弱的光条件下可能无效。有利的是，将这些可见光相机与智能地合并的SWIR成像、LWIR/热成像、LiDAR技术合并以克服这些限制，使得合并的传感器系统的物体检测和辨识能力呈指数增加以改进自主车辆的性能。各种光学传感器的融合可进一步提高ADAS的能力并减少ADAS系统由积极预测诸如黑冰、自然植被、覆盖路面的液体等状况造成的脱离的发生。
每当可见光相机技术的性能下降时，便可使用可见光相机技术、SWIR相机、LWIR/热相机和LiDAR的智能合并（smart integration）来检测、辨识和预测道路危险，以积极地警告客户并改进车辆机动。组合和交替使用或融合可见光/不可见光相机技术和LiDAR以便高效使用车上能量资源并提高对检测、辨识和预测的信心，这可能导致改进对车辆周围环境的理解以实现精确、平稳的机动和车辆控制。示例性系统可被构造成检测、辨识和区分黑冰情况下的油/汽油/柴油溢出、破碎的玻璃/金属/车辆零件、以及有机物体（诸如，树叶和树枝）。作为响应，示例性ADAS然后可对检测到的状况安全地作出反应并与其他车辆和/或基础设施分享这一信息。在一些示例性实施例中，示例性系统可在相机成像技术和LiDAR之间交替使用，以降低功耗。另外，ADAS算法可响应于确定不利的天气和/或道路状况而从可见光相机切换到最佳已知的替代方案（诸如，SWIR或LWIR）。
当可见光相机技术、SWIR相机、LWIR/热相机和LiDAR朝向组合或交替使用而智能地合并时，用于进一步分类、训练的物体检测和辨识的准确性和置信率呈指数增加。这种系统可改进自主车辆的应用用途。此外，自主车辆可被非常高效地校准，以便对周围环境作出平稳的反应。它们的使用和行为可以在更加不利的道路状况/情况下被信任。另外，乘客、脆弱的道路用户和活物体的安全也呈指数增加。技术之间的交替有助于减少对其他部件的不必要的使用，因此节约了能量从而延长电池寿命。
现在转向图1，示出了用于实施根据示例性实施例的光学传感器融合系统的示例性工作流程100。该示例性工作流程可响应于ADAS车辆控制算法110（诸如，自主车辆控制、自适应巡航控制、自动紧急制动等）的启用而起始。ADAS车辆控制算法110可响应于输入105（诸如，经由用户接口接收到的用户输入）或由另一个车辆控制系统（诸如，防撞系统）生成的输入等而起始。
ADAS算法110可首先被构造成用于请求来自可见光成像传感器115的传感器数据，可见光成像传感器115诸如安装在车辆上的相机等。可见光成像传感器115执行可见光成像传感器视场的帧采集120。接下来对该帧进行分析，以确定该帧的可用性125。在一些示例性实施例中，如果检测到的边缘的数量超过预定阈值，则该帧可被确定为可用。如果该帧被确定为可用130，则将该帧反转并且可对反转的帧执行线性伽马校正。执行直方图均衡化154，并且在均衡化的帧上获得156边缘轮廓。
然后，响应于边缘轮廓而执行物体检测158。然后，对检测到的物体进行分类160，诸如车辆、行人、树木等。接下来对检测到的物体执行扫描以确定是否发生重复162。如果发生重复，则接下来确定该重复是否由于油、黑冰或有机材料的反射164所致而发生。如果确定164不是黑冰或油溢出引起物体重复或者是有机物体导致了模糊的反射或模糊的物体，则工作流程返回到针对物体重复或模糊的反射进行进一步扫描162。如果检测到164反射或模糊的反射，则生成166驾驶员警报，更新168车辆跟踪、底盘、制动和速度数据。然后，更新170车辆位置和地图数据，并且将信息提供给ADAS算法110。
如果从可见光成像传感器捕获的帧被确定130为不可用，则示例性工作流程100接下来被构造成确定132车辆位置并请求该位置的天气信息。在一些示例性实施例中，天气位置可以是响应于车辆上的传感器而确定的和/或经由无线网络接收到的。经由耦接到主车辆的传感器来确定134环境温度。还可确定一天中的时间。如果天气、温度和/或一天中的时间指示不利的天气，则可启用137附加传感器，诸如SWIR 140、LWIR 142和/或LiDAR 144。传感器中的一个或多个可以是响应于天气的特性而启用的。然后，将指示启用的数据耦接到ADAS算法110。
响应于SWIR 140、LWIR 142和LiDAR 144中的一个或多个的启用，SWIR 140和/或LWIR 142被构造成捕获帧和/或对视场执行距离采集。LiDAR可被构造成生成视场的点云147。另外，可见光图像传感器115也可被构造成捕获视场的帧。然后，将来自可见光传感器115、SWIR 140、LWIR 142和来自LiDAR 144的点云中的每一个的帧融合以生成单个融合数据帧。
接下来将该单个融合数据帧反转和/或可对反转的帧执行线性伽马校正152。执行直方图均衡化154，并且在均衡化的帧上获得156边缘轮廓。然后，响应于边缘轮廓而执行物体检测158。然后，对检测到的物体进行分类160，诸如车辆、行人、树木等。接下来对检测到的物体执行扫描以确定是否发生重复162。如果发生重复，则接下来确定该重复是否由于油、黑冰或有机材料的反射164所致而发生。如果确定164不是黑冰或油溢出引起物体重复或者是有机物体导致了模糊的反射或模糊的物体，则工作流程返回到针对物体重复或模糊的反射进行进一步扫描162。如果检测到164反射或模糊的反射，则生成166驾驶员警报，更新168车辆跟踪、底盘、制动和速度数据。然后，更新170车辆位置和地图数据，并且将信息提供给ADAS算法110。在一些示例性实施例中，如果来自可见光成像传感器115的帧被确定为可用130，则可停用附加传感器。
现在转向图2，示出了根据示例性实施例的用于执行用于传感器融合的方法的示例性系统200。示例性系统200包括第一可见光相机210、第二可见光相机212、LWIR相机220、SWIR相机240、LiDAR 230、LiDAR处理器235、图像处理器215、ADAS处理器260、用户接口265和车辆控制器255。
第一可见光相机210可安装在主车辆上而具有前向视场。第一可见光相机210可安装到主车辆格栅、在后视镜后面、或在主车辆车顶的前向边缘上。第一可见光相机210可被构造成捕获前向视场的图像并将该图像耦接到图像处理器215。另外，第二可见光相机212可安装到一个或多个侧视镜壳体上而具有第二视场，该第二视场与前向视场部分地重叠。在一些示例性实施例中，可由图像处理器215组合来自第一可见光相机210的图像和由第二可见光相机212捕获的图像，以生成包括第一视场和第二视场的扩展视图图像。可见光相机捕获在400 nm至700 nm光谱范围内的光。
LWIR相机220可被构造成捕获在8-14 μm光谱带内的光。LWIR相机通常用于热成像，热成像是检测由热能转化为电磁能造成的自然发生的红外辐射。LWIR相机可以用于通过较冷物体来检测这种红外辐射，从而使它们对检测通过雾、植被、低光或高强度光条件被遮挡的物体（诸如，行人）有用。LWIR相机220可被构造成具有包括前向视场的视场，并且操作以捕获前向视场的LWIR图像。LWIR相机220可进一步被构造成捕获扩展视场的LWIR图像。
SWIR相机240是被构造成捕获在900 nm至2500 nm光谱带内的光的相机。SWIR相机检测反射光（很像可见光相机），并且可以提供高分辨率图像（不同于LWIR相机图像）。SWIR相机可以在低照明状况下用于检测物体，诸如黑色和/或伪装的动物、浮油和黑冰。SWIR相机240可被构造成具有包括前向视场的视场，并且操作以捕获前向视场的SWIR图像。SWIR相机220可进一步被构造成捕获扩展视场的SWIR图像。
LiDAR 230被构造成以已知的方位角和仰角传输光脉冲并从远侧物体接收该光脉冲的反射。LiDAR 230和/或LiDAR处理器235可响应于光脉冲的传播时间而确定到远侧物体的距离。LiDAR 230可将针对已知的方位角和仰角的该距离测量值耦接到LiDAR处理器235以便生成点云。点云包括针对多个方位角和仰角的距离，以生成LiDAR 230的视场的深度表示。LiDAR系统通常利用在750 nm至1500 nm范围内的光。有利地，由LiDAR 230传输的光脉冲可照亮视场，其中反射光由SWIR相机240图像捕获。因此，在一些示例性实施例中，可通过针对同一视场同时使用LiDAR来增强SWIR相机240性能。
由第一可见光相机210、第二可见光相机212、LWIR相机220和SWIR相机240捕获的图像可耦接到图像处理器215以进行进一步处理，从而实现物体检测以输入到ADAS算法。进一步的处理可包括反转或线性化伽马校正、直方图均衡化和边缘检测。在一些示例性实施例中，图像处理器215可被构造成从SWIR相机240、LWIR相机220、第一可见光相机210和第二可见光相机212中的两个或更多个接收图像。然后，图像处理器215可被构造成将来自所述多个接收到的图像的数据组合成融合图像。融合图像可具有比各个图像中的每一个增大的动态范围和/或增加的分辨率。然后，图像处理器215可对融合图像执行反转或线性化伽马校正、直方图均衡化和边缘检测。然后，可使用对融合图像进行的图像处理的结果和耦接到ADAS处理器260的所得数据来执行物体检测和分类。可使用经训练的神经网络来执行对融合图像抑或来自第一可见光相机210的图像的物体检测。物体检测的结果可用于进一步训练神经网络。
然后，可将这种处理的结果和/或图像作为输入耦接到ADAS处理器260。ADAS处理器260可使用检测到的物体信息、存储在存储器270中的地图数据、响应于全球定位系统（GPS）275而接收到的位置数据，以生成关于主车辆的本地化区域图。ADAS处理器260可进一步操作以响应于ADAS算法而生成控制信号以用于耦接到车辆控制器255，以便控制主车辆。例如，ADAS算法可执行自适应巡航控制操作，并生成转向、制动和油门控制信息以用于耦接到车辆控制器255。替代地，ADAS控制器可响应于检测到的物体信息和LiDAR点云而生成运动路径，并将该运动路径耦接到车辆控制器255。
用户接口265可被构造成接收用于起始ADAS算法的用户输入。另外，用户接口265可被构造成响应于由ADAS处理器260和/或车辆控制器255生成的用户警报控制信号而显示用户警报、用户警告和/或对车辆操作的ADAS系统反馈。
在一些示例性实施例中，图像处理器215首先被构造成响应于ADAS算法而启用第一可见光相机210。图像处理器215可最初响应于ADAS算法的起始而停用SWIR相机240和LWIR相机220。然后，第一可见光相机210可捕获前向视场的第一图像。然后，图像处理器215可分析该第一图像以确定该图像的可用性。如果图像处理器215认为该第一图像不可用，则可检索当前主车辆位置的温度、一天中的时间和/或天气，以确定主车辆周围是否存在不利的天气状况。如果存在不利的天气状况或不利于捕获可见光图像的其他状况（诸如，第一图像的光度饱和度），则图像处理器215可操作以响应于不利的天气状况而起始SWIR相机240和/或LWIR相机220中的至少一个。然后，由第一可见光相机210、SWIR相机240和/或LWIR相机220中的每一个同时捕获前向视场的图像，并且将来自这些图像的数据组合以生成融合图像数据。然后，将该融合图像数据耦接到ADAS处理器260以供由ADAS车辆控制算法使用。
现在转向图3，示出了图示用于优化的传感器融合的方法300的示例性实施方式的流程图。该方法首先操作以用于初始化ADAS算法310。ADAS算法可响应于用户输入、来自另一个ADAS算法的请求或控制信号、或响应于来自车辆控制器的数据等而被初始化。例如，ADAS算法可以是ADAS安全算法（诸如，紧急制动），其可响应于车辆遥测和/或预测可能的车辆接触事故的车辆传感器数据而起始。
响应于ADAS算法的起始，接下来示例性方法可被构造成利用可见光相机来捕获320视场的图像。该视场可以是前向视场，其中可见光相机安装到主车辆。在一些示例性实施例中，图像可以是通过组合由具有重叠视场的多个可见光相机捕获的多个图像所生成的复合图像。
接下来针对对于ADAS算法的可用性来评估图像的可用性330。可用性可以是响应于图像亮度值而确定的，诸如低光和饱和度状况、色彩对比度和/或图像失真。当与一个或多个先前接收到的图像相比时，信息或物体检测结果的丢失也可能是将图像指定为不可用的因素。
如果图像被确定330为可用，则然后对图像进行处理以提取数据。图像处理可包括反转或线性伽马校正、直方图均衡化和边缘轮廓的检测。然后，可对所提取的数据执行350物体检测和分类。可使用经训练的神经网络来执行物体分类，以对检测到的物体进行分类以供由ADAS算法使用。
如果图像被确定330为不可用，则接下来该方法操作以确定380可能使可见光图像呈现为不可用的不利的环境状况。例如，可确定主车辆的位置的温度和天气状况，以确立（establish）不利的天气状况。可检测主车辆的位置的照明状况，以确定暗度和/或亮度饱和度状况。
接下来响应于确定不利的环境状况而启用385一个或多个附加图像传感器。例如，对于低光条件，可启用SWIR相机。对于有雾的状况，可启用LWIR相机。如果没有检测到不利的环境状况，或检测到多种可能的不利的环境状况，则可启用SWIR相机和LWIR相机两者。
然后，接下来由所启用的相机中的每一个同时捕获390图像。例如，可由可见光相机、SWIR相机和LWIR相机中的每一个捕获包括同一视场的图像。然后，将来自这些图像的数据融合395，以生成融合图像数据。接下来该方法确定330融合图像数据是否适合由ADAS算法使用。如果图像不适合，则该方法再次响应于融合数据而确定380不利的环境状况。然后，可响应于新近确定的不利的环境状况而启用附加图像传感器385。接下来将来自所启用的图像传感器中的每一个的图像数据融合395以生成融合图像数据，并且评估融合图像数据的可用性330。
如果融合图像数据被评估330并发现为可用的，则对来自融合图像的数据进行处理340以提取图像数据。对融合图像数据的图像处理可包括反转或线性伽马校正、直方图均衡化和边缘轮廓的检测。然后，可对所提取的数据执行350物体检测和分类。可使用经训练的神经网络来执行物体分类，以对检测到的物体进行分类以供由ADAS算法使用。
接下来可响应于物体分类数据而检测360黑冰、油和/或有机物质。路面上的黑冰和油可以是响应于物体分类数据中的同一物体（the same object）的反射而确定的。例如，如果检测到物体并且竖直地检测到同一物体的反转版本，则可能发生可见光从反射表面（诸如，黑冰、油或一滩水）的反射。接下来该方法可使用非可见光图像中的一个（诸如，SWIR图像）来检测和表征该反射表面。
响应于对反射表面（诸如，黑冰）的检测和分类，接下来该方法可生成370用户警报以通知车辆操作员危险状况。另外，对反射表面的分类和定位可与从可见光和/或融合图像数据生成的物体分类数据进行组合并耦接到ADAS算法。然后，ADAS算法可生成车辆控制信号以耦接到车辆控制器，以便响应于ADAS算法而控制主车辆。然后，该方法返回到捕获320后续的可见光图像。在一些示例性实施例中，如果附加图像传感器被启用，则它们可保持被启用以生成单个融合图像数据。替代地，附加图像传感器可在预定次数的图像处理循环（此时可重新评估后续的可见光图像的可用性）内保持被启用，或者附加传感器可保持被启用直到停用ADAS算法。
现在转向图4，示出了图示用于优化的传感器融合的装置300的示例性实施例的图。示例性装置400可包括可见光相机405、红外相机410、处理器420和车辆控制器430。
可见光相机404可被构造成用于捕获视场的第一图像和第二图像。第一图像可在第一时间被捕获，并且第二图像可在稍后的时间被捕获。可见光相机405可以是视频相机等，其安装到主车辆以用于以各种帧速率捕获前视（forward looking）视场的一系列图像。在一些示例性实施例中，可见光相机405可包括多个可见光传感器，每个可见光传感器用于捕获不同的视场。不同的所捕获的视场可以是重叠的，并且由所述多个光传感器中的每一个捕获的图像可进行组合以生成组合图像，诸如全景图像、鸟瞰图等。
红外相机410可被构造成用于捕获视场的第三图像。在一些示例性实施例中，该第三图像可与由可见光相机405捕获的第二图像同时捕获。红外相机410可包括SWIR传感器和/或LWIR传感器。
处理器420可被构造成用于：确定第一图像的特性的值；响应于该值小于阈值而确定环境状况；响应于该环境状况而启用红外相机；响应于第二图像和第三图像而生成融合图像；以及响应于检测到物体而生成物体数据，该检测是响应于融合图像进行的。环境状况可以是响应于确定主车辆位置而确定的，确定主车辆位置可以是响应于来自GPS 475的数据和/或存储在存储器470中的地图数据进行的。与环境状况有关的数据可经由网络接口480（诸如，蜂窝网络和/或无线网络接口）来接收。在一些示例性实施例中，环境状况可以是主车辆位置处的天气状况，诸如雾、雨、风、由头顶上方的有机物覆盖造成的光扩散等。第一图像的特性的值可以是第一图像内检测到的边缘的数量，如响应于边缘检测图像处理算法而检测到的。
车辆控制器430可操作以用于响应于物体数据而控制主车辆。物体数据可用于由ADAS算法生成运动路径以便用于控制主车辆。示例性系统可进一步包括用于响应于危险道路状况而提供用户警报的用户接口465，该危险道路状况是响应于物体数据而预测的，其中，该危险道路状况是响应于所述第三图像而得到确认的。
在一些示例性实施例中，处理器420可进一步被构造成用于响应于物体数据和第三图像而预测黑冰状况或路面上的一滩液体状况。例如，处理器420可被构造成检测可见光图像中物体的反射。然后，处理器420可响应于红外图像而确认黑冰和/或一滩液体状况。同样地，处理器420可被构造成用于响应于物体数据和第三图像而确定有机材料的存在。
在一些示例性实施例中，示例性系统400可以是光学成像系统，其包括：可见光传感器405，其用于生成第一可见光图像和第二可见光图像；红外传感器410，其用于生成红外光图像；处理器420，其用于检测第一可见光图像内的边缘的数量、用于响应于边缘数量低于阈值而启用红外传感器410。处理器420可进一步被构造成用于：响应于第二可见光图像和红外光图像而生成融合图像、响应于检测到融合图像内的物体而生成物体数据。然后，可将物体数据耦接到车辆控制器430以用于响应于物体数据而控制主车辆。在一些示例性实施例中，可见光传感器的视场和红外传感器的视场是重叠的。
现在转向图5，示出了图示用于智能无线协议优化的方法500的示例性实施方式的流程图。该方法首先操作以用于由处理器接收510起始ADAS算法的请求。该请求可以是响应于用户输入或响应于车辆控制算法（诸如，车辆安全控制算法或ADAS算法）而生成的。
接下来该方法被构造成捕获520由可见光相机捕获的第一图像。该第一图像可以是面向前的视场的可见光图像。接下来该方法通过确定第一图像的特性的值来确定530图像的可用性。在一些示例性实施例中，特性的值可包括在第一图像中检测到的边缘的数量。
如果特性的值小于阈值，则接下来该方法操作以用于响应于特性的值而确定530环境状况。该环境状况是响应于第一图像的亮度值、响应于第一图像和由可见光相机捕获的先前图像之间的物体跟踪丢失、和/或响应于由可见光相机捕获的多个先前图像而确定的。
响应于环境状况，接下来该方法操作以用于响应于环境状况而启用540红外相机。在一些示例性实施例中，红外相机是短波红外相机和长波红外相机中的至少一个。接下来该方法操作以用于利用红外相机捕获545第三图像以及由可见光相机捕获520第二可见光图像。第二图像和第三图像可同时捕获，并且可包括同一视场。接下来该方法可响应于第二图像和第三图像而生成融合图像。例如，该方法可被构造成用于处理第二图像以生成第一数据并且处理第三图像以生成第二数据，并且其中，融合图像是响应于第一数据和第二数据而生成的。
如果融合图像被认为可用530，则接下来该方法可操作以用于响应于融合图像而检测550物体以及响应于检测到物体而控制560车辆。如果融合图像被认为不可用，则该方法可被构造成用于响应于融合图像的特性的值小于阈值而启用第二红外相机。
尽管在前面的详细描述中已呈现了至少一个示例性实施例，但是应了解，存在大量的变型。还应了解，一个或多个示例性实施例仅是示例，并且不旨在以任何方式限制本公开的范围、适用性或构型。相反，前面的详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便捷路线图。应理解，在不脱离如所附权利要求书及其法定等同物中陈述的公开内容的范围的情况下，可以对元件的功能和布置进行各种改变。
Claims (10)
1.一种方法，其包括：
由处理器接收由可见光相机捕获的第一图像；
确定所述第一图像的特性的值；
响应于所述值小于阈值而确定环境状况；
响应于所述环境状况而启用红外相机；
由所述可见光相机捕获第二图像以及由所述红外相机捕获第三图像；
响应于所述第二图像和所述第三图像而生成融合图像；
响应于所述融合图像而检测物体；以及
响应于检测到所述物体而控制车辆。
2.根据权利要求1所述的方法，其进一步包括：处理所述第二图像以生成第一数据并且处理所述第三图像以生成第二数据，并且其中，所述融合图像是响应于所述第一数据和所述第二数据而生成的。
3.根据权利要求1所述的方法，其中，所述红外相机是短波红外相机。
4.根据权利要求1所述的方法，其中，所述红外相机是长波红外相机。
5.根据权利要求1所述的方法，其中，所述环境状况是响应于主车辆的位置的天气状况而进一步确定的。
6.根据权利要求1所述的方法，其中，所述环境状况是响应于所述第一图像的亮度值而确定的。
7.根据权利要求1所述的方法，其中，所述环境状况是响应于所述第一图像和由所述可见光相机捕获的先前图像之间的物体跟踪丢失而确定的。
8.根据权利要求1所述的方法，其中，所述环境状况是响应于由所述可见光相机捕获的多个先前图像而确定的。
9.根据权利要求1所述的方法，其进一步包括：响应于所述融合图像的特性的值而启用第二红外相机。
10.一种设备，其包括：
可见光相机，其用于捕获第一图像和第二图像；
红外相机，其用于捕获第三图像；
处理器，其被构造成用于：确定所述第一图像的特性的值；响应于所述值小于阈值而确定环境状况；响应于所述环境状况而启用所述红外相机；响应于所述第二图像和所述第三图像而生成融合图像；以及响应于检测到物体而生成物体数据，所述检测是响应于所述融合图像进行的；以及
车辆控制器，其用于响应于所述物体数据而控制主车辆。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/662,730 US11924527B2 (en) | 2022-05-10 | 2022-05-10 | Optical sensor activation and fusion |
| US17/662730 | 2022-05-10 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117079089A true CN117079089A (zh) | 2023-11-17 |
Family
ID=88698688
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211336899.5A Pending CN117079089A (zh) | 2022-05-10 | 2022-10-28 | 光学传感器启用和融合 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11924527B2 (zh) |
| CN (1) | CN117079089A (zh) |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
| US8164543B2 (en) * | 2009-05-18 | 2012-04-24 | GM Global Technology Operations LLC | Night vision on full windshield head-up display |
| US8098171B1 (en) * | 2010-12-28 | 2012-01-17 | GM Global Technology Operations LLC | Traffic visibility in poor viewing conditions on full windshield head-up display |
| KR101349025B1 (ko) * | 2011-11-25 | 2014-01-10 | 현대자동차주식회사 | 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법 |
| KR101601475B1 (ko) * | 2014-08-25 | 2016-03-21 | 현대자동차주식회사 | 야간 주행 시 차량의 보행자 검출장치 및 방법 |
| US10419723B2 (en) * | 2015-06-25 | 2019-09-17 | Magna Electronics Inc. | Vehicle communication system with forward viewing camera and integrated antenna |
| US10740658B2 (en) * | 2016-09-08 | 2020-08-11 | Mentor Graphics Corporation | Object recognition and classification using multiple sensor modalities |
| WO2018086133A1 (en) * | 2016-11-14 | 2018-05-17 | SZ DJI Technology Co., Ltd. | Methods and systems for selective sensor fusion |
| US10558873B2 (en) * | 2017-12-14 | 2020-02-11 | Waymo Llc | Methods and systems for controlling extent of light encountered by an image capture device of a self-driving vehicle |
| US10468062B1 (en) * | 2018-04-03 | 2019-11-05 | Zoox, Inc. | Detecting errors in sensor data |
| US10958830B2 (en) * | 2018-05-24 | 2021-03-23 | Magna Electronics Inc. | Vehicle vision system with infrared LED synchronization |
| US10852743B2 (en) * | 2018-09-07 | 2020-12-01 | GM Global Technology Operations LLC | Multimodal multi-technique signal fusion system for autonomous vehicle |
| US20200169671A1 (en) * | 2018-11-27 | 2020-05-28 | GM Global Technology Operations LLC | Method and apparatus for object detection in camera blind zones |
| US20200167573A1 (en) * | 2018-11-27 | 2020-05-28 | GM Global Technology Operations LLC | Method and apparatus for object detection in camera blind zones |
| US11829128B2 (en) * | 2019-10-23 | 2023-11-28 | GM Global Technology Operations LLC | Perception system diagnosis using predicted sensor data and perception results |
| US11113584B2 (en) * | 2020-02-04 | 2021-09-07 | Nio Usa, Inc. | Single frame 4D detection using deep fusion of camera image, imaging RADAR and LiDAR point cloud |
| US11341621B2 (en) * | 2020-03-04 | 2022-05-24 | GM Global Technology Operations LLC | Enhanced imaging system for a motor vehicle |
| US20220169279A1 (en) * | 2020-12-02 | 2022-06-02 | Micron Technology, Inc. | Sunlight processing for autonomous vehicle control |
| US11699250B1 (en) * | 2022-07-12 | 2023-07-11 | GM Global Technology Operations LLC | System and method for low visibility driving |
-
2022
- 2022-05-10 US US17/662,730 patent/US11924527B2/en active Active
- 2022-10-28 CN CN202211336899.5A patent/CN117079089A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230370701A1 (en) | 2023-11-16 |
| US11924527B2 (en) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2021200258B2 (en) | Multiple operating modes to expand dynamic range | |
| US9904859B2 (en) | Object detection enhancement of reflection-based imaging unit | |
| US11126195B2 (en) | System and method for detecting occluded objects based on image processing | |
| US8995723B2 (en) | Detecting and recognizing traffic signs | |
| Eum et al. | Enhancing light blob detection for intelligent headlight control using lane detection | |
| US10339400B1 (en) | Traffic light detection using multiple cameras | |
| US11436839B2 (en) | Systems and methods of detecting moving obstacles | |
| EP4149809B1 (en) | Motor-vehicle driving assistance in low meteorological visibility conditions, in particular with fog | |
| CN111753629A (zh) | 车辆环境的环境数据处理 | |
| CN112101316B (zh) | 一种目标检测方法及系统 | |
| Wang et al. | On the application of cameras used in autonomous vehicles | |
| CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及系统 | |
| JP6847709B2 (ja) | カメラ装置、検出装置、検出システムおよび移動体 | |
| US11924527B2 (en) | Optical sensor activation and fusion | |
| JP6789151B2 (ja) | カメラ装置、検出装置、検出システムおよび移動体 | |
| EP3227742B1 (en) | Object detection enhancement of reflection-based imaging unit | |
| KR20230136830A (ko) | 운전자 보조 시스템 및 운전자 보조 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |