CN108460734B - 车辆驾驶员辅助模块进行图像呈现的系统和方法 - Google Patents

车辆驾驶员辅助模块进行图像呈现的系统和方法 Download PDF

Info

Publication number
CN108460734B
CN108460734B CN201810105688.8A CN201810105688A CN108460734B CN 108460734 B CN108460734 B CN 108460734B CN 201810105688 A CN201810105688 A CN 201810105688A CN 108460734 B CN108460734 B CN 108460734B
Authority
CN
China
Prior art keywords
image data
vehicle
driver assistance
enhanced
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810105688.8A
Other languages
English (en)
Other versions
CN108460734A (zh
Inventor
P.查克拉伯蒂
R.比斯瓦尔
D.穆克吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of CN108460734A publication Critical patent/CN108460734A/zh
Application granted granted Critical
Publication of CN108460734B publication Critical patent/CN108460734B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及用于车辆驾驶员辅助的图像呈现的系统、设备和方法。在一个实施方案中，一种方法包括接收表示车辆的外部的图像数据并增强所述图像数据。图像增强可以包括反转所述图像数据，基于所述图像数据的场景辐射、介质透射和大气光进行去雾霾操作。所述方法还可以包括通过执行以下操作来从所述增强的图像数据生成重建的图像数据：执行所述增强的图像数据的稀疏表示以对所述增强的图像数据进行去噪，并执行学习操作以利用所述稀疏表示来识别和增强所述增强的图像数据中的感兴趣对象。所述方法还包括将所述重建的图像数据输出到所述车辆的显示单元。提供了车辆驾驶员辅助系统和设备以增强由车载摄像头和可穿戴设备检测到的图像数据。

Description

车辆驾驶员辅助模块进行图像呈现的系统和方法
技术领域
本公开涉及电子设备和应用，且更具体地涉及用于由车辆驾驶员辅助模块进行图像呈现的过程和配置。
背景技术
车辆的安全操作是许多车辆操作者的主要关注点。因此，技术发展已经转向以事故预防和安全操作为重点的系统。技术进步已带来了提供警示和补充车辆操作员的视野的辅助系统。例如，一些常规的车辆系统使用传感器和摄像头来避免事故和用于其他车辆辅助功能。一些现有的系统提供对近距离车辆的亮灯指示。其他系统还包括主动制动技术。尽管开发出了这样的系统，但是需要和期望在低和/或能见度降低的情况下辅助驾驶员。
车辆操作可能由于照明条件和天气而更加困难。对于弱光和夜间行驶，即使使用大灯也难以检测到车辆路径内的物体。来自其他车辆的环境照明条件和定向光源也可能减弱操作者的视野。阳光导致的照明条件也可能由于白天行驶期间的高曝光(例如，眩光)而降低或减弱能见度。除了照明条件，天气条件、大气颗粒和水分也会影响能见度。由于照明条件、天气和其他环境特征，光学成像设备(例如，摄像头等)和常规的驾驶员辅助系统可能不能提供足够的信息。
一些常规方法利用红外(IR)摄像头来辅助识别物体，特别是在弱光情景中。然而，这些系统可能难以根据环境温度识别某些类型的物体。在高温环境下使用时，IR传感器可能无效。此外，IR系统可能无法提供足够的细节或一致的输出来识别感兴趣的对象。另外，由于IR系统通常是为夜视而设计的，因此IR系统并非设计用来改善不同照明和环境条件下的能见度。IR系统也很昂贵，它们的使用对于某些应用来说可能是成本过高的。
期望驾驶员辅助系统提高弱光条件下，例如黄昏或夜晚，尤其在不太亮的道路上的能见度。
发明内容
本文公开了并要求保护用于由车辆驾驶员辅助模块进行图像呈现的方法、设备和系统。一个实施方案涉及一种方法，包括驾驶员辅助模块接收表示车辆的外部的图像数据。该方法还包括驾驶员辅助模块将图像数据反转以形成反转的图像数据，以及驾驶员辅助模块对反转的图像数据执行去雾霾操作以生成车辆的外部的增强的反转图像数据，其中去雾霾操作基于图像数据的场景辐射、介质透射和大气光。该方法还包括驾驶员辅助模块反转增强的反转图像数据以生成增强的图像数据。该方法还包括驾驶员辅助模块从增强的图像数据生成重建的图像数据，其中重建的图像数据是通过执行增强的图像数据的稀疏表示以对增强的图像数据进行去噪并执行学习操作以利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象而生成。该方法还包括驾驶员辅助模块将重建的图像数据输出到车辆的显示单元。
在一个实施方案中，表示车辆的外部的图像数据包括由车辆的前置摄像头捕获的视频数据。
在一个实施方案中，表示车辆的外部的图像数据包括由与车辆的操作者相关联的可佩戴设备捕获的视频数据。
在一个实施方案中，反转包括图像数据的全部帧的逐像素反转。
在一个实施方案中，去雾霾操作包括基于对介质透射的调整参数来确定反转的图像数据的场景辐射。
在一个实施方案中，增强的图像数据的稀疏表示利用现有的或推断出形成原子字典的图像数据的帧的基本元素的组合来改变帧的基本元素的噪声水平。
在一个实施方案中，执行学习操作以利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象包括识别帧中的对象、比较和调整帧中的对象，以及选择图像数据的帧中待识别的一个或多个对象。
在一个实施方案中，基于使用车辆的位置同与图像数据相关联的日光图像进行比较来执行稀疏表示和学习操作。
在一个实施方案中，基于增强的图像数据生成重建的图像数据包括使用由学习模块识别出的对象来从稀疏表示拼接去噪的图像数据。
在一个实施方案中，输出重建的图像数据包括叠加与为重建的图像数据识别出的对象相关联的轮廓元素。
另一个实施方案涉及一种车辆驾驶员辅助模块，包括用于接收表示车辆的外部的图像数据的输入模块、输出模块和图像增强器模块。图像增强器模块包括处理器，处理器被配置用于反转图像数据以形成反转的图像数据，并对反转的图像数据执行去雾霾操作，以生成车辆的外部的增强的反转图像数据，其中去雾霾操作基于图像数据的场景辐射、介质透射和大气光。处理器还被配置用于反转增强的反转图像数据以生成增强的图像数据。处理器还被配置用于从增强的图像数据生成重建的图像数据，其中重建的图像数据是通过执行增强的图像数据的稀疏表示以对增强的图像数据进行去噪并执行学习操作以利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象而生成。处理器还被配置用于控制输出模块将重建的图像数据输出到车辆的显示单元。
结合以下对实施方案的详细描述，其他方面、特征和技术对于相关领域的技术人员将是显而易见的。
附图说明
结合附图，从下面阐明的详细描述中，本公开的特征、目的和优点将变得更加明显，在附图中相似的附图标记始终对应地标识，其中：
图1描绘了根据一个或多个实施方案的系统的图形表示；
图2描绘了根据一个或多个实施方案的用于图像增强的过程；
图3描绘了根据一个或多个实施方案的图像增强器的图；
图4描绘了根据一个或多个实施方案的图像增强处理的图形表示；
图5描绘了根据一个或多个其他实施方案的系统图；
图6描绘了根据一个或多个实施方案的可佩戴单元的图形表示；
图7描绘了根据一个或多个实施方案的图像数据的图形表示；
图8描绘了根据一个或多个实施方案的弱光图像增强的流程图；
图9描绘了根据一个或多个实施方案的深度学习的图形表示；以及
图10描绘了根据一个或多个实施方案的深度学习的流程图。
具体实施方式
本公开的一个方面涉及由车辆驾驶员辅助模块进行图像呈现的过程。在一个实施方案中，一种由车辆驾驶员辅助模块进行图像呈现的方法包括图像数据的反转、图像数据的图像去雾霾和重建以供显示。本文描述的过程可以应用于呈现图像和视频内容的非IR光学图像设备(例如，数码摄像头等)。这些过程可以提供由车辆硬件执行的有序的一系列功能，以增强检测并改进车辆辅助系统和设备的操作。本文描述的过程可以针对由于弱光、定向光(例如，远光等)、眩光和天气条件(例如，雾霾、雾、高温等)中的一个或多个导致的低能见度条件。本文描述的过程可以由设备和系统配置采用，并且可以包括使用学习算法来生成图像数据的稀疏表示(例如，字典学习)和深度学习算法。
另一个实施方案涉及一种可以部署用来提供驾驶员辅助的车辆系统。在一个实施方案中，系统可以采用前置成像设备来捕获车辆的外部的视频图像数据。该系统还可以被配置用于利用由可穿戴设备捕获的图像数据。设备执行的图像操作和处理可以输出到一个或多个显示器，包括但不限于车辆信息娱乐显示器和/或车辆操作者的平视显示器。
另一个实施方案涉及一种图像增强模块。该设备可以被配置用于执行一个或多个图像增强功能。图像增强模块以及本文描述的过程和系统可以采用位置数据和先前检测到的日光图像用于弱光条件期间的图像增强。
如本文所使用的，术语“一”或“一个”应意指一个或多于一个。术语“多个”应意指两个或两个以上。术语“另一个”定义为第二个或更多个。术语“包括”和/或“具有”是开放式的(例如，包括)。本文所使用的术语“或”应解释为包含性的或意指任何一个或任何组合。因此，“A、B或C”意指“以下任何一种：A；B；C；A和B；A和C；B和C；A、B和C”。只有当元素、功能、步骤或动作的组合以某种方式内在地相互排斥时，才会出现这一定义的例外。
贯穿本文档对“一个实施方案”、“某些实施方案”、“实施方案”或类似术语的引用意味着结合该实施方案描述的特定特征、结构或特性包括在至少一个实施方案中。因此，在本说明书各个地方出现这样的短语不一定都指同一实施方案。此外，特定的特征、结构或特性可以以任何合适的方式在一个或多个实施方案中组合，而没有限制。
示例性实施方案
现在参考附图，图1描绘了根据一个或多个实施方案的系统的图形表示。在一个实施方案中，系统100是用于车辆的驾驶员辅助系统。系统100包括摄像头105、图像增强模块110和显示器115。在某些实施方案中，系统100可以包括平视显示器120。
根据一个实施方案，摄像头105捕获与道路相关联的车辆的外部，例如车辆的前部区域中，的视频图像数据。图像增强模块110被配置用于增强由摄像头105捕获的图像数据，并呈现图像，该图像输出以供在显示器115上或者利用平视显示器120在车辆中显示。根据一个实施方案，摄像头105涉及被配置用于光学检测和捕获图像数据的数码摄像头。摄像头105的示例性帧检测速率可以是一个或多个帧检测速率，包括但不限于60Hz、120Hz、240Hz等。在其他实施方案中，系统100可以从可穿戴设备(图1未示出)接收图像内容。图像增强模块110被配置用于增强由一个或多个摄像头，例如摄像头105，检测到的图像数据。根据一个实施方案，图像增强模块110可以被配置用于在弱光、定向光(例如，远光等)、眩光和天气条件(例如，雾霾、雾、高温等)中的一个或多个情形下增强图像数据。图像增强模块110可以被配置用于检测对象并呈现图形元素以向车辆的操作者指示检测到的对象。
根据一个实施方案，显示器115被配置用于呈现增强的图像数据。显示器115可以是车辆信息娱乐系统的一部分。显示器可以涉及平视显示器120，并且可以呈现图像数据、对象指示器和由摄像头105检测到的场景的表示中的一个或多个。
根据一个实施方案，系统100可以被配置用于检测和识别固定和非固定的(例如移动的、非永久性的等)对象。图1利用示例性标识符126的图形表示示出了一个人125。标识符126涉及呈现为对人125的位置的叠层的矩形轮廓。根据一个实施方案，图像增强模块110可以将一个或多个标识符添加到增强的图像以供显示器115呈现。道路可以包括一个或多个危险，诸如驾驶员辅助系统可以检测和识别的危险130。图像增强模块110检测到的危险可以包括坑洼、减速块、中央分隔带等。
根据一个实施方案，图像增强模块110可以被配置用于检测统一示为135的固定对象，并可以呈现示为140的标识符。图像增强模块110还可以检测和/或指示某些大的物体，诸如结构145。在图1中，将矩形形状描绘为指示符，然而，应该理解，可以采用阴影、着色、突显和图形图像的显示中的一个或多个作为指示符。
图2描绘了根据一个或多个实施方案的用于图像增强的过程。过程200可以由诸如车辆驾驶员辅助系统(例如，系统100)的图像增强模块(例如，图像增强模块110)之类设备和一个或多个其他组件采用来呈现对象的指示。根据一个实施方案，过程200可以由驾驶员辅助系统的图像增强模块启动，该图像增强模块在框205处接收表示车辆的外部的图像数据。在框205处接收到的图像数据可以涉及由车辆的前置摄像头捕获的视频数据。图像增强模块可以表征接收到的图像数据的选定帧或所有帧以用于对象的检测。过程200可以涉及接收到的图像数据的单个帧或多个帧。在一些实施方案中，可以同时处理多个帧以提供对检测到的对象的实时显示。在一些实施方案中，在框205处接收到的图像数据包括由与车辆的操作者相关联的可穿戴设备捕获的视频数据。
在框210处，反转接收到的图像数据以形成反转的图像数据。在一个实施方案中，在框210处的反转包括图像数据的全部帧的逐像素反转。在框210处并在本文使用的反转涉及图像帧的颜色反转，使得图像帧的颜色被反转。举例来说，白色像素反转为黑色，并且帧的黑色像素被反转以变成白色等。根据一个实施方案，反转图像数据以更好地检测暗淡的物体或表面。
在框215处，图像增强模块对反转的图像数据执行去雾霾操作，以生成车辆的外部的增强的反转图像数据。框215处的去雾霾操作基于图像数据的场景辐射、介质透射和大气光。去雾霾操作包括基于对介质透射的调整参数来确定反转的视频数据的场景辐射。基于框210处的去雾霾，尽管存在低能见度条件和温度对对象的影响中的一个或多个，但仍可以恢复场景辐射。
在框220处，驾驶员辅助模块反转增强的反转图像数据以生成增强的图像数据。在框225处，从增强的图像数据生成重建的图像数据。根据一个实施方案，重建的图像数据包括执行增强的图像数据的稀疏表示以对增强的图像数据进行去噪，并执行学习操作以利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象。在一个实施方案中，增强的图像数据的稀疏表示利用现有的或推断出形成原子字典的图像数据的帧的基本元素的组合来改变帧的基本元素的噪声水平。执行学习操作是为了利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象。学习操作包括识别帧中的对象、比较和调整帧中的对象，以及选择图像数据的帧中待识别的一个或多个对象。基于使用车辆的位置同与图像数据相关联的日光图像进行比较来执行稀疏表示和学习操作。在框225处基于增强的图像数据生成重建的图像数据可以包括使用由学习模块识别出的对象来从稀疏表示拼接去噪的图像数据。
在框230处，驾驶员辅助模块将重建的图像数据输出到车辆的显示单元。输出重建的图像数据包括叠加与为重建的图像数据识别出的对象相关联的轮廓元素。过程200的元素可以由驾驶员辅助系统和图像增强模块采用。
图3描绘了根据一个或多个实施方案的图像增强操作的图。图像增强功能300可以包括在车辆中以在低能见度情况下检测对象并将其通知给操作者。可以采用图3的特征和操作来显著改善车载摄像头传感器所收集的图像数据的质量。根据一个实施方案，图像增强模块305从输入端306接收输入视频帧。增强的图像数据可以使用输出端来输出。
根据一个实施方案，图像增强模块305在框310处反转接收到的视频帧。在310处的视频帧反转可以包括反转视频帧的像素。根据一个实施方案，反转涉及颜色反转，诸如从白色到黑色以及从黑色到白色。对于彩色输入图像I(x)(x是每个像素)，逐像素反转可以计算为：
I(X)c＝255–I(X)
然后可以在框315处通过去雾霾来增强反转的图像数据。根据一个实施方案，去雾霾框315基于暗原色先验根据以下公式增强低照明视频和高动态范围视频：
Jinv(x)＝(Iinv(x)-A)/t(x)+A
其中Jinv(x)是场景辐射，t(x)是介质透射，A是全球大气光：t(x)＝1.0–w dark(x)，w是用于调整t(x)的值的参数。根据一个实施方案，w可以是自适应的，可以基于图像内的像素区域的光强度来计算。这不仅可以用来增强弱光条件下的图像，而且还可以用来减少迎面而来的车流的远光眩光。
然后，在框320处反转去雾霾的图像数据并将其增强为视频帧。在一个实施方案中，框320处的反转可以根据以下公式来实现：
J(X) ＝ 255 - Jinv (x)
深度学习模块325与字典学习模块330一起工作以在框340处进行重建。根据一个实施方案，深度学习模块325识别感兴趣的对象并增强对象。在一个实施方案中，由深度学习模块325进行的对象识别使用一个或多个学习算法(例如，深度学习模块)来查找车载摄像头或可穿戴设备图像的视野中的感兴趣对象，比如行人/动物、坑洼/颠簸、道路标志、路边路缘等。即使由于弱光或遮挡而使对象仅部分可见，也可以识别出该对象。深度学习模块325基于帧比较来增强感兴趣对象。一旦识别出对象，则使用进一步的深度学习算法来增强感兴趣对象。然后可以将对象和/或图形元素叠加在原始图像数据上。对象增强可以包括关于来自同一位置的可用白天图像的静态对象(道路标志、坑洼等)的先前知识。
字典学习模块330被配置用于执行图像数据的表示学习。在一个实施方案中，字典学习模块330执行稀疏字典学习，从而以基本元素的线性组合以及这些基本元素本身的形式来确定输入数据的稀疏表示(也称为编码)。字典学习模块330识别出的基本元素可以表征为构成字典的原子。字典学习模块330还可以使用具有GPS坐标(和驶向)的现有图像来为检测到的图像数据提供字典。举例来说，如果可用，可以提供日光图像335。在某些实施方案中，当无法获得现有图像时，可以使用聚类算法(例如，KSVD聚类等)来执行图像帧的去噪。
根据一个实施方案，日光图像335涉及基于车辆的位置(例如，GPS数据、行驶方向)在能见度未降低期间捕获的图像数据。深度学习模块325和字典学习模块330可以采用日光图像335。
重建模块340接收深度学习模块325和字典学习模块330的输出。重建模块340通过拼接来自深度学习模块325的对象来重建来自字典学习模块330的去噪的图像数据。然后将重建的图像数据作为视频帧345输出，以实时提供给驾驶员。
图4描绘了根据一个或多个实施方案的图像增强处理的图形表示。根据一个实施方案，过程400可以由驾驶员辅助系统的图像增强模块采用。过程400可以在框405处基于一个或多个视频帧来开始。然后在框410处通过逐像素反转来反转图像数据。图像数据的反转可以基于像素颜色和/或单色反转来执行。在框415处，针对反转的图像计算暗原色先验。然后在框420处使用反转的图像和暗原色来估计大气光。在框425处使用反转的图像和光计算来估计检测到的图像的透光率。
在框430处，过程400继续，使用反转的图像、估计的大气光和透射来恢复场景辐射。在框435处，然后通过逐像素反转来反转恢复的图像。在框435处恢复的图像数据涉及关于大气光、透射和去雾霾的一个或多个效果的去除和/或校正的增强图像。过程400然后可以通过执行字典学习操作和图像内容的深度学习来进一步增强图像。
在判定框440处，过程400确定是否有日光视图可用。可以在框445处获得用于车辆的位置的日光图像。在某些实施方案中，车辆通信可以基于与网络的通信来请求用于位置的日光图像。在其他实施方案中，可以针对特定路线存储日光图像。当日光图像可用时(例如，从判定框440出来的“是”路径)，在框450处运行字典学习算法。当日光图像不可用时(例如，从判定框440出来的“否”路径)，在框455处运行字典学习算法以创建字典。过程400还包括在框465处运行一个或多个去噪和图像修复算法，这些算法将基于字典学习生成增强的图像数据。
深度学习模块在框460处从框435接收图像数据，并识别图像数据中的对象。在某些实施方案中，深度学习模块还可以接收来自框445的用于某一位置的日光图像。在框470处，过程400从字典学习和深度学习增强中重建图像数据。然后增强的视频数据可以在框475处由诸如挡风玻璃显示器、平视显示器(HUD)、一般显示器之类的车辆显示器输出，过程在框480处结束。
图5描绘了根据一个或多个其他实施方案的系统图。根据一个或多个实施方案，系统500可以被配置用于显示增强的图像数据。系统500可以包括驾驶员辅助系统505和外部摄像头515。外部摄像头515涉及外部前置摄像头。在某些实施方案中，系统500可以包括用于检测图像数据的外围设备。当系统500包括次级设备520时，当次级设备520的电池水平不能够驱动内置摄像头，或用户偏好前置摄像头时，可以采用外部摄像头515，或者当请求物体的深度感知时，外部摄像头515可以与次级设备520的摄像头一起使用。
驾驶员辅助系统505可以是车辆的信息娱乐系统的一部分，并且可以包括用于获得车辆的定位和驶向数据的GPS模块506以及用于确定车辆速度的速度检测模块507。GPS模块506使得驾驶员辅助系统505能够接收车辆定位数据。速度检测模块507检测车辆的速度，并经由通信模块510将速度信息传递给次级设备520。
网络/通信搜索模块508接收GPS信息以搜索相同位置的日光视图。图像增强模块511的字典学习和深度学习模块在日光图像可用时利用日光图像进行视图重建。网络/通信搜索模块508可以接收要用于增强收集的图像数据的位置和速度数据。另外，网络/通信搜索模块508可以从诸如蜂窝网络509之类的外部网络获得数据。
通信模块510被配置用于从一个或多个次级设备，诸如次级设备520，接收图像数据。图像增强模块511包括处理器512和存储器513。处理模块514可以被配置用于接收和处理来自外部摄像头515的图像数据。举例来说，处理模块514可以存储帧并将其提供给图像增强模块511。处理模块514可以处理前视摄像头视频并将其经由通信模块510发送给次级设备520。
投影模块516被配置用于将增强的图像数据输出到显示器517。显示器517被配置用于呈现由外部摄像头515或次级设备520捕获的图像数据。
根据一个实施方案，系统500可选地包括次级设备520。次级设备520可以是可穿戴设备，诸如智能眼镜系统。次级设备520包括被配置用于检测相对于车辆操作者的视野的图像数据的摄像头550、555(例如，摄像头1、摄像头2)。视频拼接器560组合来自摄像头550、555的两个视图以创建组合视图。这一组合视图可以复制车辆操作员的视野。可以使用摄像头550、555来从检测到的图像确定深度。通信模块565使得能够将数据从次级设备520传输到驾驶员辅助系统505。次级设备520还可以包括电源570。
图6描绘了根据一个或多个实施方案的次级设备的图形表示。次级设备600(例如，次级设备520)涉及提供实时视频图像数据的可佩戴图像检测器。次级设备600包括安装到眼镜架以捕获车辆操作者的视野的摄像头605和610。在某些实施方案中，摄像头605和610能够达到30fps(每秒帧数)。次级设备600可以包括被配置用于无线通信(例如，WiFi等)以实现将数据传输到车辆单元(例如，信息娱乐系统)的通信模块。摄像头605和610可以提供实时视频捕获。
图7描绘了根据一个或多个实施方案的图像数据的图形表示。根据一个实施方案，关于帧讨论了本文所述的图像增强设备和过程。应该理解，本文描述的过程和设备使用视频图像的许多帧来操作以创建作为增强帧的集合呈现的增强的图像数据。图7描绘了图像增强的示例性视觉描述。图像705涉及在低能见度期间由摄像头检测到的图像数据。图像705可以包括具有弱视觉细节的区域720，区域720显得暗淡或具有一点像素变化。根据本文描述的过程和设备，可以通过去雾霾和去噪中的一个或多个来增强图像705。由于去噪而增强的图像数据可以提供给深度学习模块以检测对象。
图像710表示深度学习对象检测，其中在区域720中识别出对象725。可以基于对一系列图像的一个或多个推断来检测对象725。基于检测到的对象和增强的图像，可以呈现图像715，其中图像的内容作为整体被改善和去噪。另外，在帧中检测到的对象，诸如对象725，被包括在图像数据中。
图8描绘了根据一个或多个实施方案的弱光图像增强的流程图。过程800涉及包括诸如智能眼镜802之类的可穿戴设备的车辆单元和包括图像增强单元的车辆单元803的操作。智能眼镜802包括图像拼接器器805、摄像头810和可穿戴通信模块815。车辆单元803包括车辆通信模块820、图像增强模块825、在线搜索模块830、速度检测模块835、GPS单元840、深度学习模块845和投影单元850。
过程800涉及智能眼镜802和车辆单元803的通信和操作的示例性流程。过程800可以从框801处的弱光检测开始。作为响应，图像拼接器805启用摄像头810，如851所示。速度检测模块835将车辆速度信息提供给摄像头810，如852所示。然后图像拼接器805设置摄像头810的帧速率(例如，每秒帧数)，如853所示。摄像头810向图像拼接器805提供视频流，如854所示。图像拼接器805向可穿戴通信模块815提供拼接的视频帧，如855所示。
可穿戴通信模块815向通信模块820传输视频，如856所示，通信模块820然后将数据传输到图像增强模块825，如857所示。过程800继续，图像增强模块825将图像数据提供给深度学习模块845，如858所示。
图像增强模块825的字典模块请求日光图像，如859所示。在线搜索模块830从速度检测模块835请求GPS数据，如860所示。GPS数据返回给在线搜索模块830，如861所示。接着将日光图像提供给图像增强模块825，如862所示。然后图像增强模块825将增强的图像数据投影到投影单元850，如863所示。
图9描绘了根据一个或多个实施方案的深度学习的图形表示。过程900是根据一个或多个实施方案的深度学习过程的图形表示。根据一个实施方案，将输入图像905提供给深度学习模块910。深度学习模块被配置用于对输入图像905执行一个或多个操作以输出具有感兴趣对象的识别的增强图像。在一个实施方案中，深度学习模块910输出与具有突显的感兴趣对象916的输出的增强图像有关的图像915。根据另一个实施方案，深度学习模块910输出与具有突显并着色的感兴趣对象921的输出的增强图像有关的图像920。如图9所示，图像915和920包括与图像905相比增加的亮度，这种亮度增加不仅仅是基于显示器的亮度设置。可以采用本文描述的一个或多个增强处理来改善捕获的图像数据以供显示和/或呈现由车辆的摄像头检测到的物体的显示。
图10描绘了根据一个或多个实施方案的深度学习的流程图。过程1000可以涉及根据一个或多个实施方案的深度学习模块的操作。过程1000可以通过在框1005处接收反转且增强的视频帧来开始。深度学习模块的示例性操作或功能总体示出为1010，其中深度学习模块可以提供处理图像数据的不同功能和阶段。
根据一个实施方案，深度学习模块包括卷积神经网络1015，卷积神经网络1015包括处理反转且增强的视频帧1005的一部分的多个层。卷积神经网络1015被配置用于分析图像帧并执行图像内容的机器学习，图像内容的机器学习包括像素比较以及帧重叠学习协议以区分对象。卷积神经网络1015可以被配置用于耕耘(till)图像集合的输出，使得输入区域重叠。可以采用图像的集合来生成回归层1020。然后可以针对反转且增强的视频帧1005生成原始图像的更好表示作为重建的图像1050。使用回归层，深度学习模块可以提高视频帧的质量，以更好地识别有待在驾驶员辅助系统中指示的对象和图像的部分，诸如道路。
根据另一个实施方案，深度学习模块可以显示图形元素作为对对象及其位置的指示。在一个实施方案中，深度学习模块为检测到对象呈现矩形轮廓或边界方框。卷积神经网络1015可以被配置用于接收反转且增强的视频帧1005并识别帧内的特征。对象分类层1030根据一个或多个对象类型，诸如要呈现的对象、要忽略的对象等，来检测对象和对其进行分类。对象检测层1035生成图形元素的显示属性和位置以表示和/或突显检测到的对象。根据一个实施方案，对象分类层1030输出检测到的对象类别，对象检测层1030利用边界方框模块1055为对象类别输出显示元素坐标(例如，方框坐标)。然后将边界方框添加到重建的图像1050以形成具有边界方框(例如彩色方框、图形元素等)的图像1060以指示检测到的对象。
根据另一个实施方案，深度学习模块可以修改图像的像素属性以为检测到的对象提供着色。例如，检测到的物体可以以经过颜色或图案，诸如明亮的颜色(例如，黄色、绿色等)，绘制的方式出现在驾驶员辅助系统的显示器中。着色可以帮助提供检测到的物体的大致轮廓和运动模式。卷积神经网络1015可以被配置用于接收反转且增强的视频帧1005并生成帧内的对象特征。逐像素分类层1045可以被配置用于输出根据检测到的对象分类的像素。在框1065处，可以标记图像内的每个像素。在某些实施方案中，标记包括向标记为与检测到的对象相关联的像素添加着色。然后将着色添加到图像1060以形成具有黄色边界方框和彩色像素的图像1070以指示检测到的对象。
尽管已经参考本公开的示例性实施方案具体示出和描述了本公开，但本领域技术人员将会理解，在不脱离所要求保护的实施方案的范围的情况下，可以在实施方案中进行形式和细节上的各种改变。

Claims (38)

1.一种用于由车辆驾驶员辅助模块进行图像呈现的方法，所述方法包括：
通过驾驶员辅助模块接收表示车辆的外部的图像数据；
通过所述驾驶员辅助模块反转所述图像数据以形成反转的图像数据；
通过所述驾驶员辅助模块对反转的图像数据进行去雾霾操作，以生成所述车辆的所述外部的增强的反转图像数据，其中所述去雾霾操作基于所述图像数据的场景辐射、介质透射和大气光；
通过所述驾驶员辅助模块反转所述增强的反转图像数据以生成增强的图像数据；
通过所述驾驶员辅助模块从所述增强的图像数据生成重建的图像数据，其中所述重建的图像数据通过以下操作生成：
执行所述增强的图像数据的稀疏表示以对所述增强的图像数据进行去噪，以及
执行学习操作以利用所述稀疏表示来识别和增强所述增强的图像数据中的感兴趣对象；以及
通过所述驾驶员辅助模块将所述重建的图像数据输出到所述车辆的显示单元。
2.根据权利要求1所述的方法，其中表示车辆的外部的所述图像数据包括由所述车辆的前置摄像头捕获的视频数据。
3.根据权利要求1所述的方法，其中反转包括所述图像数据的全部帧的逐像素反转。
4.根据权利要求1所述的方法，其中所述去雾霾操作包括基于对所述介质透射的调整参数来确定所述反转的视频数据的场景辐射。
5.根据权利要求1所述的方法，其中所述增强的图像数据的所述稀疏表示利用现有的或推断出形成原子字典的所述图像数据的帧的基本元素的组合来改变所述帧的基本元素的噪声水平。
6.根据权利要求1所述的方法，其中执行学习操作以利用所述稀疏表示来识别和增强所述增强的图像数据中的感兴趣对象包括识别帧中的对象、比较和调整帧中的对象，以及选择所述图像数据的帧中待识别的一个或多个对象。
7.根据权利要求1所述的方法，其中基于使用所述车辆的位置同与所述图像数据相关联的日光图像进行比较来执行所述稀疏表示和所述学习操作。
8.根据权利要求1所述的方法，其中基于所述增强的图像数据来生成重建的图像数据包括利用由学习模块识别出的对象来从所述稀疏表示拼接去噪的图像数据。
9.根据权利要求1所述的方法，其中输出所述重建的图像数据包括叠加与为所述重建的图像数据识别出的对象相关联的轮廓元素。
10.一种车辆驾驶员辅助设备，其包括
输入模块，用于接收表示车辆的外部的图像数据；
输出模块；以及
耦合到所述输入模块和所述输出模块的图像增强器模块，所述图像增强器模块包括处理器，所述处理器被配置用于：
反转所述图像数据以形成反转的图像数据；
对反转的图像数据进行去雾霾操作，以生成所述车辆的所述外部的增强后的反转图像数据，其中所述去雾霾操作基于所述图像数据的场景辐射、介质透射和大气光；
反转所述增强的反转图像数据以生成增强的图像数据；
从所述增强的图像数据生成重建的图像数据，其中所述重建的图像数据通过以下操作生成：
执行所述增强的图像数据的稀疏表示以对所述增强的图像数据进行去噪，以及
执行学习操作以利用所述稀疏表示来识别和增强所述增强的图像数据中的感兴趣对象；以及
控制所述输出模块将所述重建的图像数据输出到所述车辆的显示单元。
11.根据权利要求10所述的车辆驾驶员辅助设备，其中表示车辆的外部的所述图像数据包括由所述车辆的前置摄像头捕获的视频数据。
12.根据权利要求10所述的车辆驾驶员辅助设备，其中表示车辆的外部的所述图像数据包括由与所述车辆的操作者相关联的可佩戴设备捕获的视频数据。
13.根据权利要求10所述的车辆驾驶员辅助设备，其中反转包括所述图像数据的全部帧的逐像素反转。
14.根据权利要求10所述的车辆驾驶员辅助设备，其中所述去雾霾操作包括基于对所述介质透射的调节参数来确定所述反转的图像数据的场景辐射。
15.根据权利要求10所述的车辆驾驶员辅助设备，其中所述增强的图像数据的所述稀疏表示利用现有的或推断出形成原子字典的所述图像数据的帧的基本元素的组合来改变所述帧的基本元素的噪声水平。
16.根据权利要求10所述的车辆驾驶员辅助设备，其中执行学习操作以利用所述稀疏表示来识别和增强所述增强的图像数据中的感兴趣对象包括识别帧中的对象、比较和调整帧中的对象，以及选择所述图像数据的帧中待识别的一个或多个对象。
17.根据权利要求10所述的车辆驾驶员辅助设备，其中基于使用所述车辆的位置同与所述图像数据相关联的日光图像进行比较来执行所述稀疏表示和所述学习操作。
18.根据权利要求10所述的车辆驾驶员辅助设备，其中基于所述增强的图像数据生成重建的图像数据包括利用由学习模块识别出的对象来从所述稀疏表示拼接去噪的图像数据。
19.根据权利要求10所述的车辆驾驶员辅助设备，其中输出所述重建的图像数据包括叠加与为所述重建的图像数据识别出的对象相关联的轮廓元素。
20.一种用于由车辆驾驶员辅助模块进行图像呈现的方法，所述方法包括：
通过驾驶员辅助模块接收表示车辆的外部的图像数据，其中表示车辆的外部的所述图像数据包括由与所述车辆的操作者相关联的可佩戴设备捕获的图像数据；
通过所述驾驶员辅助模块反转所述图像数据以形成反转的图像数据；
通过所述驾驶员辅助模块对反转的图像数据进行去雾霾操作，以生成所述车辆的所述外部的增强的反转图像数据，其中所述去雾霾操作基于所述图像数据的场景辐射、介质透射和大气光；
通过所述驾驶员辅助模块反转所述增强的反转图像数据以生成增强的图像数据；
通过所述驾驶员辅助模块从所述增强的图像数据生成重建的图像数据，其中所述重建的图像数据通过以下操作生成：
执行所述增强的图像数据的稀疏表示以对所述增强的图像数据进行去噪，以及
执行学习操作以利用所述稀疏表示来识别和增强所述增强的图像数据中的感兴趣对象；以及
通过所述驾驶员辅助模块将所述重建的图像数据输出到所述车辆的显示单元。
21.根据权利要求20所述的方法，其中表示车辆的外部的所述图像数据被无线地传输给所述驾驶员辅助模块。
22.根据权利要求20所述的方法，其中所述可佩戴设备包括安装到眼镜架上的第一摄像头和第二摄像头。
23.根据权利要求22所述的方法，其中所述第一摄像头和第二摄像头提供实时视频捕获。
24.根据权利要求20所述的方法，其中所述将所述重建的图像数据输出包括检测到的对象类别和显示元素方框坐标中的至少一个以将边界方框添加到重建的图像。
25.根据权利要求20所述的方法，其中所述将所述重建的图像数据输出包括向标记为与检测到的对象相关联的像素添加着色。
26.一种车辆驾驶员辅助设备，其包括：
输入模块，用于接收表示车辆的外部的图像数据，其中表示车辆的外部的所述图像数据包括由与所述车辆的操作者相关联的可佩戴设备捕获的图像数据；
输出模块；以及
耦合到所述输入模块和所述输出模块的图像增强器模块，所述图像增强器模块包括处理器，所述处理器被配置用于：
反转所述图像数据以形成反转的图像数据；
对反转的图像数据进行去雾霾操作，以生成所述车辆的所述外部的增强后的反转图像数据，其中所述去雾霾操作基于所述图像数据的场景辐射、介质透射和大气光；
反转所述增强的反转图像数据以生成增强的图像数据；
从所述增强的图像数据生成重建的图像数据，其中所述重建的图像数据通过以下操作生成：
执行所述增强的图像数据的稀疏表示以对所述增强的图像数据进行去噪，以及
执行学习操作以利用所述稀疏表示来识别和增强所述增强的图像数据中的感兴趣对象；以及
控制所述输出模块将所述重建的图像数据输出到所述车辆的显示单元。
27.根据权利要求26所述的车辆驾驶员辅助设备，其中表示车辆的外部的所述图像数据被无线地传输给所述驾驶员辅助模块。
28.根据权利要求26所述的车辆驾驶员辅助设备，其中所述可佩戴设备包括安装到眼镜架上的第一摄像头和第二摄像头。
29.根据权利要求28所述的车辆驾驶员辅助设备，其中所述第一摄像头和第二摄像头提供实时视频捕获。
30.根据权利要求26所述的设备，其中将所述重建的图像数据输出包括叠加与为所述重建的图像数据识别出的对象相关联的轮廓元素。
31.根据权利要求26所述的车辆驾驶员辅助设备，其中所述将所述重建的图像数据输出包括检测到的对象类别和显示元素方框坐标中的至少一个以将边界方框添加到重建的图像。
32.根据权利要求26所述的车辆驾驶员辅助设备，其中所述将所述重建的图像数据输出包括向标记为与检测到的对象相关联的像素添加着色。
33.一种用于由车辆驾驶员辅助模块进行图像呈现的方法，所述方法包括：
通过驾驶员辅助模块接收表示车辆的外部的图像数据，其中表示车辆的外部的所述图像数据包括由与所述车辆的操作者相关联的可佩戴设备捕获的图像数据；
通过所述驾驶员辅助模块反转所述图像数据以形成反转的图像数据；
通过所述驾驶员辅助模块对反转的图像数据进行去雾霾操作，以生成所述车辆的所述外部的增强的反转图像数据，其中所述去雾霾操作基于所述图像数据的场景辐射、介质透射和大气光；
通过所述驾驶员辅助模块反转所述增强的反转图像数据以生成增强的图像数据；
通过所述驾驶员辅助模块从所述增强的图像数据生成重建的图像数据，其中所述重建的图像数据通过以下操作生成：
执行所述增强的图像数据的稀疏表示以对所述增强的图像数据进行去噪，以及
执行学习操作以利用所述稀疏表示来识别和增强所述增强的图像数据中的感兴趣对象；以及
通过所述驾驶员辅助模块将所述重建的图像数据输出到所述车辆的显示单元，其中将所述重建的图像数据输出包括叠加与为所述重建的图像数据识别出的对象相关联的轮廓元素。
34.根据权利要求33所述的方法，其中表示车辆的外部的所述图像数据被无线地传输给所述驾驶员辅助模块。
35.根据权利要求33所述的方法，其中表示车辆的外部的所述图像数据包括由与所述车辆的操作者相关联的可佩戴设备捕获的图像数据，并且其中所述可佩戴设备包括安装到眼镜架上的第一摄像头和第二摄像头。
36.根据权利要求35所述的方法，其中所述第一摄像头和第二摄像头提供实时视频捕获。
37.根据权利要求33所述的方法，其中所述将所述重建的图像数据输出包括检测到的对象类别和显示元素方框坐标中的至少一个以将边界方框添加到重建的图像。
38.根据权利要求33所述的方法，其中所述将所述重建的图像数据输出包括向标记为与检测到的对象相关联的像素添加着色。
CN201810105688.8A 2017-02-03 2018-02-02 车辆驾驶员辅助模块进行图像呈现的系统和方法 Active CN108460734B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/424,252 2017-02-03
US15/424,252 US10140690B2 (en) 2017-02-03 2017-02-03 System and method for image presentation by a vehicle driver assist module

Publications (2)

Publication Number Publication Date
CN108460734A CN108460734A (zh) 2018-08-28
CN108460734B true CN108460734B (zh) 2023-10-10

Family

ID=62910348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810105688.8A Active CN108460734B (zh) 2017-02-03 2018-02-02 车辆驾驶员辅助模块进行图像呈现的系统和方法

Country Status (3)

Country Link
US (2) US10140690B2 (zh)
CN (1) CN108460734B (zh)
DE (1) DE102018201054A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769453B2 (en) * 2017-05-16 2020-09-08 Samsung Electronics Co., Ltd. Electronic device and method of controlling operation of vehicle
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10528842B2 (en) * 2017-02-06 2020-01-07 Mediatek Inc. Image processing method and image processing system
US10607329B2 (en) 2017-03-13 2020-03-31 Adobe Inc. Illumination estimation from a single image
US10803323B2 (en) * 2017-05-16 2020-10-13 Samsung Electronics Co., Ltd. Electronic device and method of detecting driving event of vehicle
US10606767B2 (en) * 2017-05-19 2020-03-31 Samsung Electronics Co., Ltd. Ethernet-attached SSD for automotive applications
US10609286B2 (en) * 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
US10607122B2 (en) * 2017-12-04 2020-03-31 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
US10671896B2 (en) * 2017-12-04 2020-06-02 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review
CN108933930A (zh) * 2018-08-17 2018-12-04 成都跟驰科技有限公司 汽车便携式大视角成像监控系统
US10832046B1 (en) * 2018-10-23 2020-11-10 Architecture Technology Corporation Systems and methods for processing document images
US10757363B2 (en) * 2018-10-30 2020-08-25 GM Global Technology Operations LLC Method and system for reconstructing a vehicle scene at a cloud layer
DE102019201702A1 (de) 2019-02-11 2020-08-13 Conti Temic Microelectronic Gmbh Modulares inpainting Verfahren
TWI713365B (zh) * 2019-07-26 2020-12-11 瑞昱半導體股份有限公司 影像處理電路與相關的影像處理方法
CN110525342A (zh) * 2019-08-30 2019-12-03 的卢技术有限公司 一种基于深度学习的ar-hud车载辅助驾驶方法及其系统
DE102019219756A1 (de) * 2019-12-16 2021-06-17 Volkswagen Aktiengesellschaft Verfahren zur Erzeugung von künstlichen Fahrbahn-Merkmalen, Computerprogramm, Computerlesbarer Datenträger und Vorrichtung zur Erzeugung von künstlichen Fahrbahn-Merkmalen
TWI712011B (zh) 2019-12-18 2020-12-01 仁寶電腦工業股份有限公司 安全警示語音提示方法
US11380111B2 (en) 2020-09-29 2022-07-05 Ford Global Technologies, Llc Image colorization for vehicular camera images
CN112140998A (zh) * 2020-10-12 2020-12-29 华南师范大学 一种辅助机动车驾驶的视觉增强去雾系统
DE102020213270A1 (de) 2020-10-21 2022-04-21 Conti Temic Microelectronic Gmbh System zur Vermeidung von Unfällen durch Wildwechsel bei Dämmerung und Nacht
US11528435B2 (en) 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
GB202107132D0 (en) * 2021-05-19 2021-06-30 Agco Int Gmbh Residue spread monitoring
CN115706819A (zh) * 2021-08-17 2023-02-17 鸿富锦精密工业（深圳）有限公司 网页视频播放方法、装置、电子设备及存储介质
CN116824542B (zh) * 2023-06-13 2024-07-12 万基泰科工集团数字城市科技有限公司 一种基于深度学习的轻量级雾天车辆检测方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4427001B2 (ja) * 2005-05-13 2010-03-03 オリンパス株式会社 画像処理装置、画像処理プログラム
US7643659B2 (en) * 2005-12-31 2010-01-05 Arcsoft, Inc. Facial feature detection on mobile devices
WO2007083307A2 (en) * 2006-01-18 2007-07-26 Technion - Research & Development Foundation Ltd. System and method for correcting outdoor images for atmospheric haze distortion
KR100849845B1 (ko) * 2006-09-05 2008-08-01 삼성전자주식회사 영상 보정 방법 및 장치
CN101360187B (zh) * 2007-08-03 2010-06-02 鸿富锦精密工业（深圳）有限公司 图像处理方法及图像处理装置
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
US8350933B2 (en) * 2009-04-08 2013-01-08 Yissum Research Development Company Of The Hebrew University Of Jerusalem, Ltd. Method, apparatus and computer program product for single image de-hazing
US8401280B2 (en) * 2009-12-21 2013-03-19 Electronics And Telecommunications Research Institute Device for improving stereo matching results, method of improving stereo matching results using the device, and system for receiving stereo matching results
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US8340461B2 (en) * 2010-02-01 2012-12-25 Microsoft Corporation Single image haze removal using dark channel priors
WO2012150591A2 (en) * 2011-05-03 2012-11-08 Alon Atsmon Automatic content analysis method and system
US8582915B2 (en) * 2011-06-27 2013-11-12 Wuxi Jinnang Technology Development Ltd. Image enhancement for challenging lighting conditions
CN102968760B (zh) * 2011-08-30 2016-08-17 富士通株式会社 图像去雾方法和系统
US8755628B2 (en) * 2012-09-10 2014-06-17 Google Inc. Image de-hazing by solving transmission value
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
EP2892036B1 (en) * 2014-01-06 2017-12-06 Harman International Industries, Incorporated Alert generation correlating between head mounted imaging data and external device
KR101646449B1 (ko) * 2015-02-12 2016-08-05 현대자동차주식회사 시선 인식 시스템 및 방법
IL239129A0 (en) * 2015-06-01 2015-11-30 Brightway Vision Ltd Image improvements in car imaging systems

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Haichao Zhang,et al..Efficient sparse representation based image super resolution via dual dictionary learning.2011 IEEE International Conference on Multimedia and Expo.2011,全文. *
张惊雷 ; 高斌 ; .基于大气散射模型和曲波变换的交通图像增强研究.河北工业大学学报.2011,(第02期),全文. *
杨帆，王志陶，张华.《精通图像处理经典算法 MATLAB版》.北京航空航天大学出版社,2014,第70页. *

Also Published As

Publication number Publication date
US20190087944A1 (en) 2019-03-21
US20180225808A1 (en) 2018-08-09
US10140690B2 (en) 2018-11-27
US10504214B2 (en) 2019-12-10
CN108460734A (zh) 2018-08-28
DE102018201054A1 (de) 2018-08-09

Similar Documents

Publication Publication Date Title
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
JP4970516B2 (ja) 周囲確認支援装置
KR101579098B1 (ko) 스테레오 카메라, 이를 구비한 차량 운전 보조 장치, 및 차량
KR101631439B1 (ko) 카메라, 및 이를 구비한 차량
JP6729394B2 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
CN109409186B (zh) 用于对象检测和通知的驾驶员辅助系统和方法
KR20170115544A (ko) 환경적 장면 조건 검출
CN110651301A (zh) 用于自动为夜视图像着色的方法和系统
JP6939283B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US11970156B1 (en) Parking assistance using a stereo camera and an added light source
EP2723060A1 (en) Vehicle-mounted camera device
JP6750531B2 (ja) 表示制御装置及び表示制御プログラム
JP6669053B2 (ja) ヘッドアップディスプレイシステム
JPWO2019194256A1 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
US20220041105A1 (en) Rearview device simulation
JP2012027773A (ja) 擬似濃淡画像生成装置及びプログラム
US20190141310A1 (en) Real-time, three-dimensional vehicle display
JP2016196233A (ja) 車両用道路標識認識装置
JP2014015127A (ja) 情報表示装置、情報表示方法およびプログラム
JP2018106239A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP7103346B2 (ja) 制御装置、撮像装置、制御方法及びプログラム
US20210318560A1 (en) Information processing device, information processing method, program, and mobile object
Hautière et al. Free Space Detection for Autonomous Navigation in Daytime Foggy Weather.
WO2021192714A1 (ja) レンダリングシステム及び自動運転検証システム
US20240192313A1 (en) Methods and systems for displaying information to an occupant of a vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant