CN114842433A - 基于显著性的图像中对象的呈现 - Google Patents

基于显著性的图像中对象的呈现 Download PDF

Info

Publication number
CN114842433A
CN114842433A CN202111540809.XA CN202111540809A CN114842433A CN 114842433 A CN114842433 A CN 114842433A CN 202111540809 A CN202111540809 A CN 202111540809A CN 114842433 A CN114842433 A CN 114842433A
Authority
CN
China
Prior art keywords
image
saliency
user
region
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111540809.XA
Other languages
English (en)
Inventor
R.M.赫克特
Y.S.弗里德兰
A.特尔帕兹
D.利维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN114842433A publication Critical patent/CN114842433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种用于通知车辆用户的系统包括接收模块，该接收模块被配置为接收与车辆周围的环境相关的检测数据，该检测数据包括环境的至少一部分的图像。该系统还包括:分析模块，被配置为检测图像中的对象并确定该对象对用户的显著性水平；图像增强模块，被配置为将一个或多个显著性特征应用于与该对象相对应的图像区域，该一个或多个显著性特征包括对该区域中的图像属性的调整；该调整基于显著性水平，并且被配置为在不遮挡该区域的情况下将用户的注意力吸引到该区域；以及显示模块，被配置为向用户呈现包括图像和一个或多个显著性特征的显示。

Description

基于显著性的图像中对象的呈现
技术领域
本主题公开涉及图像分析和视觉信息呈现(presentation)的技术。更具体地，本主题公开涉及用于控制显示器的一个或多个区域的视觉属性的系统和方法。
背景技术
摄像机和/或其他成像设备和传感器越来越多地被包括在车辆中，以方便车辆操作、通知用户并控制车辆和其他系统的自动化行为。越来越多的数字显示器被集成到车辆中。例如，数字屏幕可以包含在控制台、后视镜和侧视镜以及平视显示器(HUD)中。这样的显示器可用于提醒或通知用户周围环境中的对象和特征。
发明内容
在一个示例性实施例中，一种用于通知车辆用户的系统包括接收模块，该接收模块被配置为从一个或多个传感器接收检测数据，该检测数据与车辆周围的环境相关，该检测数据包括环境的至少一部分的图像。该系统还包括:分析模块，其被配置为检测图像中的对象并确定检测到的对象对用户的显著性(salience)水平；图像增强模块，其被配置为将一个或多个显著性特征应用于与检测到的对象相对应的图像区域，该一个或多个显著性特征包括对该区域中的图像属性的调整，该调整基于显著性水平并且被配置为在不遮挡该区域的情况下将用户的注意力吸引到该区域；以及显示模块，其被配置为向用户呈现包括图像和一个或多个显著性特征的显示器。
除了这里描述的一个或多个特征之外，图像是由摄像机拍摄的光学图像，并且显示器是车辆中的数字显示器。
除了这里描述的一个或多个特征之外，图像属性选自颜色、亮度、聚焦水平和对比度中的至少一个。
除了这里描述的一个或多个特征之外，显著性水平基于以下至少一个:检测到的对象的检测中的不确定性、用户对检测到的对象的注意力(attentiveness)、检测到的对象的分类以及与检测到的对象相关联的风险值。
除了这里描述的一个或多个特征之外，基于显著性水平来选择调整的强度。
除了这里描述的一个或多个特征之外，一个或多个显著性特征包括多个显著性特征的组合。
除了这里描述的一个或多个特征之外，强度对应于相对于区域外部的图像中的属性值的选定属性值。
除了这里描述的一个或多个特征之外，当显著性水平改变时，应用于该区域的调整强度和显著性特征的数量中的至少一个在显示中逐渐改变。
在一个示例性实施例中，一种通知车辆用户的方法包括从一个或多个传感器接收检测数据，该检测数据与车辆周围的环境相关，该检测数据包括环境的至少一部分的图像，以及由分析模块检测图像中的对象，并确定检测到的对象对用户的显著性水平。该方法还包括由图像增强模块将一个或多个显著性特征应用于与检测到的对象相对应的图像区域，该一个或多个显著性特征包括对该区域中的图像属性的调整，该调整基于显著性水平并且被配置为在不遮挡该区域的情况下将用户的注意力吸引到该区域，并且向用户呈现包括图像和一个或多个显著性特征的显示器。
除了这里描述的一个或多个特征之外，图像是由摄像机拍摄的光学图像，并且显示器是车辆中的数字显示器。
除了这里描述的一个或多个特征之外，图像属性选自颜色、亮度、聚焦水平和对比度中的至少一个。
除了这里描述的一个或多个特征之外，显著性水平基于以下至少一个:检测到的对象的检测中的不确定性、用户对检测到的对象的注意力、检测到的对象的分类以及与检测到的对象相关联的风险值。
除了这里描述的一个或多个特征之外，基于显著性水平来选择调整的强度。
除了这里描述的一个或多个特征之外，一个或多个显著性特征包括多个显著性特征的组合。
除了这里描述的一个或多个特征之外，强度对应于相对于区域外部的图像中的属性值的选定属性值。
除了这里描述的一个或多个特征之外，当显著性水平改变时，应用于该区域的调整强度和显著性特征的数量中的至少一个在显示中逐渐改变。
在一个示例性实施例中，车辆系统包括具有计算机可读指令的存储器和用于执行计算机可读指令的处理设备，计算机可读指令控制处理设备执行以下操作:从一个或多个传感器接收检测数据，检测数据与车辆周围的环境相关，检测数据包括环境的至少一部分的图像，以及通过分析模块检测图像中的对象并确定检测到的对象对用户的显著性水平。所述指令还控制所述处理设备执行以下操作:由图像增强模块将一个或多个显著性特征应用于与检测到的对象相对应的图像区域，所述一个或多个显著性特征包括对所述区域中的图像属性的调整，所述调整基于显著性水平并且被配置为在不遮挡所述区域的情况下将用户的注意力吸引到所述区域，并且向用户呈现包括所述图像和所述一个或多个显著性特征的显示器。
除了这里描述的一个或多个特征之外，显著性水平基于以下至少一个:检测到的对象的检测中的不确定性、用户对检测到的对象的注意力、检测到的对象的分类以及与检测到的对象相关联的风险值。
除了这里描述的一个或多个特征之外，基于显著性水平来选择调整的强度，并且该强度对应于相对于区域之外的图像中的属性值的选定属性值。
除了这里描述的一个或多个特征之外，一个或多个显著性特征包括多个显著性特征的组合。
当结合附图时，根据以下详细描述，本公开的上述特征和优点以及其他特征和优点将变得显而易见。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，在附图中:
图1是根据示例性实施例的包括通知和显示系统的各方面的机动车辆的俯视图；
图2描绘了根据示例性实施例的被配置为执行检测和通知方面的计算机系统；
图3是示出通知用户和呈现基于显著性的显示的方法的各方面的流程图；
图4描绘了根据示例性实施例的从车辆的监控系统获取的图像的示例，该图像根据图3的方法显示；
图5描绘了根据现有技术从车辆的监控系统获取并显示的图像的示例；
图6是示出生成或选择显著性特征以应用于图像的方法的各方面的流程图；
图7描绘了根据图3的方法呈现的显示器的示例，包括对应于处于低风险条件下的检测到的对象的一个或多个显著性特征；
图8描绘了图7的显示器，包括对应于处于中等风险条件下的被检测对象的一个或多个显著性特征；和
图9描绘了图7和图8的显示器，包括对应于处于高风险条件下的检测到的对象的一个或多个显著性特征。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相似或相应的部件和特征。
根据一个或多个示例性实施例，提供了用于通知用户(例如，车辆的驾驶员或乘客)并显示车辆或其他系统周围环境的特征的方法和系统。通知和显示系统的实施例被配置为获取环境的图像(或其他视觉表示)，并且基于检测到对象(也称为目标)，将显著性特征或显著性特征集合应用于图像。“显著性特征”是对图像区域中的一个或多个图像属性(例如，颜色、亮度)的微妙操纵或调整，其用于以微妙的方式注入信息并增强或突出显示检测到的对象。操纵或调整是“微妙的”，因为操纵不添加任何不透明元素或其他元素(例如，不透明的线条或形状、附加图形、虚拟对象)，这些元素会遮挡图像的任何部分，强加视觉注意力捕捉(即，将用户的注意力吸引到一区域，使得用户对其他目标或区域不感兴趣，或者对图像的其他显著或重要区域不感兴趣)，减少图像传达的信息量，或者干扰图像分析。显著性特征的示例包括对图像区域的颜色调整、对区域的亮度调整以及可以覆盖在图像上的半透明线、轮廓和对象。
将显著性特征应用于图像，以强调图像中检测到的一个或多个对象，从而将用户(例如，驾驶员和/或乘客)的注意力吸引到图像中的特定区域或位置，并向用户传达一定量的重要性或显著性。在一实施例中，显著性特征对应于图像属性的调整，例如颜色、色调、阴影、亮度、对比度、焦点等。显著性特征可以通过调整单个图像属性或者通过调整图像属性的组合来应用于图像。应当理解，“显著性特征”或“显著性特征集”可以包括单个图像属性或多个属性的调整。
在一实施例中，基于对用户的显著性的水平或显著性水平，显著性特征被应用于检测到的对象的区域。显著性水平对应于对象的紧急性或重要性(即，对象与车辆操作和/或安全性的相关程度)。显著性水平可以对应于与对象相关联的风险水平、用户或车辆应该做出反应的紧急程度、与检测相关联的置信度水平或不确定性等。
显著性特征或特征组合可以在图像中变化，使得与对象相关联的显著性水平可以变化。可以基于各种条件或因素来调整或选择显著性水平。例如，显著性水平可以基于检测的置信度水平(例如，检测得分)、目标分类和/或风险或威胁水平。此外，当检测到的对象移动或改变时，或者当风险水平改变时，显著性水平可以动态调整。
一般来说，尽管本文在光学图像(即，由光学摄像机生成的图像)的上下文中描述了实施例，但是应当理解，实施例适用于任何形式的视觉表示(例如，由超声波生成的图像、基于雷达信息的图像、热图像、图形表示、视频、动画等)。例如，显著性特征或显著性特征的组合，例如颜色和亮度、闪烁或图像属性的交替调整(例如，使目标或区域在高亮度和低亮度之间交替，或在颜色之间交替)可以应用于地图显示或其他图形。
这里描述的实施例提供了许多优点。例如，实施例提供了向用户传达重要性或传达信息的有效手段，而不会过度分散用户的注意力或引入高认知成本。此外，这些实施例在对象的检测具有一定程度的不确定性的情况下是有用的。例如，在某些情况下，目标可能被错误地检测到(例如，误报警(第一类错误)或误检测(第二类错误))，因此可能希望呈现对象信息，而不需要进行明确的分类，或者对是否强调对象做出二元或二元式的决定。此外，显示系统可以逐渐调整显著性特征，以传达重要性或风险的变化(例如，对象正在接近车辆)，而不会给图像带来过多的认知成本、注意力捕获或混乱。
下面在车辆运行的背景下描述实施例。实施例不限于此，并且可以用在用户的情境意识是一因素的各种环境中的任何一种。因此，本文描述的实施例被理解为适用于各种环境中的任何一种(例如，电动工具、飞机、建筑活动、工厂机器(例如，机器人)等的操作)。
图1示出了机动车辆10的一实施例，其包括至少部分地限定乘员舱14的车身12。车身12还支持各种车辆子系统，包括发动机系统16(例如，燃烧、电气等)和其他子系统，以支持发动机系统16和其他车辆部件的功能，例如制动子系统、转向子系统等。
该车辆还包括监控系统18，其各方面可以结合在车辆10中或连接到车辆10。该实施例中的系统18包括一个或多个被配置成拍摄图像的光学摄像机20，图像可以是静止图像和/或视频图像。系统18中可以包括附加的设备或传感器，例如车辆10中包括的一个或多个雷达组件22。系统18不限于此，可以包括其他类型的传感器，例如红外摄像机。
车辆10和系统18还包括车载计算机系统30，其包括一个或多个处理设备32和用户界面34。用户界面34可以包括触摸屏、语音识别系统和/或各种按钮，用于允许用户与车辆的特征交互。用户界面34可以被配置成经由视觉通信(例如，文本和/或图形显示)、触觉通信或警报(例如，振动)和/或听觉通信与用户交互。车载计算机系统30还可以包括用于监视用户的设备，例如内部摄像机和图像分析组件，或者与这些设备通信。这样的设备可以并入驾驶员监控系统(DMS)。
除了用户界面34之外，车辆10可以包括能够与用户交互和/或向用户传递信息的其他类型的显示器和/或其他设备。例如，除此之外或替代地，车辆10可以包括结合到后视镜36和/或一个或多个侧镜38中的显示屏(例如，全显示镜或FDM)。在一实施例中，车辆10包括一个或多个平视显示器(HUD)。可以结合的其他设备包括指示灯、触觉设备、车内灯、听觉通信设备等。
各种显示器、触觉设备、灯和听觉设备被配置成以各种组合使用，以各种形式向用户(例如，驾驶员、操作员或乘客)呈现信息。这样的形式的示例包括文本、图形、视频、音频、触觉和/或其他形式，通过这些形式信息被传递给用户。例如，除了向用户呈现基于显著性的图像(例如，通过车辆中的数字显示器，例如集群显示器或增强现实显示器)，还可以使用其他形式的通信，例如触觉(例如，振动)、听觉警报来帮助提醒用户和/或吸引用户的注意力。
图2示出了计算机系统40的实施例的各方面，该计算机系统40与监控系统18通信或者是监控系统18的一部分，并且可以执行这里描述的实施例的各个方面。计算机系统40包括至少一个处理设备42，其通常包括一个或多个处理器，用于执行这里描述的图像采集和分析方法的各方面。处理设备42可以集成到车辆10中，例如作为车载处理设备32，或者可以是与车辆10分离的处理设备(非车载)，例如服务器、个人计算机或移动设备(例如，智能手机或平板电脑)。计算机系统40或其组件可以是这里讨论的通知和显示系统的一部分。
计算机系统40的组件包括处理设备42(例如一个或多个处理器或处理单元)、系统存储器44和将包括系统存储器44在内的各种系统组件联接到处理设备42的总线46。系统存储器44可以包括各种计算机系统可读介质。这样的介质可以是可由处理设备42访问的任何可用介质，并且包括易失性和非易失性介质，以及可移动和不可移动介质。
例如，系统存储器44包括诸如硬盘驱动器的非易失性存储器48，并且还可以包括诸如随机存取存储器(RAM)和/或高速缓冲存储器的易失性存储器50。计算机系统40还可以包括其他可移动/不可移动、易失性/非易失性计算机系统存储介质。
系统存储器44可以包括至少一个具有一组(例如，至少一个)程序模块的程序产品，这些程序模块被配置为执行这里描述的实施例的功能。例如，系统存储器44存储通常执行这里描述的实施例的功能和/或方法的各种程序模块。可以包括接收模块52，以执行与获取和处理来自传感器的接收图像和检测数据相关的功能，并且可以包括图像分析模块54，用于图像分析、对象检测和对象分类。还可以提供图像增强模块56，用于将显著性特征应用于图像，以生成基于显著性的图像。其他模块可以包括用于显示显著性增强图像的显示模块。系统40不限于此，因为可以包括其他模块。系统存储器44还可以存储各种数据结构，例如存储与成像和图像处理相关的数据的数据文件或其他结构。如此处所使用的，术语“模块”指的是处理电路，其可以包括专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。
处理设备42还可以与一个或多个外部设备58通信，例如键盘、定点设备和/或使处理设备42能够与一个或多个其他计算设备通信的任何设备(例如，网卡、调制解调器等)。此外，处理设备32可以与一个或多个设备，例如用于图像分析的摄像机20和雷达组件22，进行通信。处理设备32可以与一个或多个显示设备60(例如，车载触摸屏、集群(cluster)、中央堆栈、HUD、后视镜显示器(FDM)等)以及车辆控制设备或系统62(例如，用于部分自主(例如，驾驶员辅助)和/或完全自主车辆控制)通信。与各种设备的通信可以通过输入/输出接口64和65进行。
处理设备32还可以经由网络适配器68与一个或多个网络66通信，例如局域网(LAN)、通用广域网(WAN)和/或公共网络(例如，因特网)。应当理解，尽管未示出，但是其他硬件和/或软件组件可以与计算机系统40结合使用。示例包括但不限于:微码、设备驱动程序、冗余处理单元、外部磁盘驱动器阵列、RAID系统和数据存档存储系统等。
图3描绘了监控车辆环境、检测对象和通知用户的方法80的实施例，包括向用户呈现基于显著性的图像。车辆10、计算机系统40或其他处理设备或系统的方面可以用于执行方法80的各方面。结合框81-87讨论方法80。方法80不限于其中步骤的数量或顺序，因为由框81-87表示的一些步骤可以以不同于下面描述的顺序来执行，或者可以执行少于所有的步骤。
结合车辆10描述了这里讨论的方法，但是不限于此，并且可以结合各种车辆(例如，汽车、卡车、飞机)和/或其他系统(例如，建筑设备、制造系统、机器人等)使用。
在框81处，处理设备(例如，图1的车载处理器32)在车辆运行期间使用一个或多个各种监控设备来监控车辆周围环境或车辆环境。例如，处理设备可以使用光学摄像机、激光雷达、雷达、超声波和/或任何其他成像系统来监控车辆周围的环境。
在框82处，处理设备检测环境中是否有任何对象，或者获取或接收与检测到的对象相关的数据(例如，从另一个处理设备或系统)，并且确定任何检测到的对象是否与车辆操作(例如，手动和/或自动操作)相关或潜在相关。检测到的对象在这里可以称为“目标”。注意，对象的检测可能伴随着某种水平的不确定性，因此可能被认为是暂时的或假定的，因为系统在给定时间可能没有足够的信息来确认对象确实相关。
如果检测到的对象在某个位置和/或移动，使得该对象可能潜在地影响车辆的运行(例如，可能需要车辆执行机动以避开该对象)或存在安全风险，则该检测到的对象可以被认为是相关的。例如，如果检测到的对象在车辆10的预测路径中或与车辆10的预测路径相交，在距离车辆和/或预测路径的阈值距离内，处于易受攻击的位置(例如，在路上或横穿马路)，或者被确定或预测为构成威胁或风险，则检测到的对象被认为是相关的。
例如，处理设备执行摄像机图像的图像分析，潜在地结合雷达检测数据和/或其他传感器数据。指示所识别的目标的检测数据被输入到图像分析模块54，图像分析模块54生成检测图或其他数据结构，该检测图或其他数据结构指示表示检测到的一个或多个目标的图像的一个或多个区域。
例如，处理设备将目标识别为假定命中，这可以基于不确定性条件给出得分。不确定性可能是由于检测算法(例如，人工智能或机器学习算法)的不确定性、风险水平的不确定性、与潜在传感器故障相关的不确定性等因素。
例如，每个检测到的对象或假定命中被分配一置信度得分或一组置信度得分，指示对象检测中的不确定性。此外，可以根据对象类型对检测到的对象进行分类(例如，通过机器学习分类器)。
在框83处，原始图像和检测图被输入到图像增强模块56或其他合适的处理设备或处理单元。对于每个检测到的对象或目标，将一组(即，一个或多个)显著性特征应用于图像。如上所述，通过调整或操纵图像属性，或者添加(例如，叠加)属性，显著性特征被应用于图像。
显著性特征(或特征的组合)被应用于改善诸如外部视图数字显示器的显示器中的目标呈现。例如，可以基于掩模实例分割、语义分割或其他机器学习算法来选择图像区域。
可以应用各种类型的显著性特征中的任何一种。例如，可以通过调整所选区域的颜色，例如通过调整所选区域中像素的一个或多个颜色分量的强度值，将显著性特征应用于所选图像区域。在其他示例中，可以通过调整对象或区域的亮度、聚焦水平、对比度或其他属性来应用显著性特征。可以在所选区域内调整属性(例如，通过使区域变亮或者随着时间交替属性值以给出闪烁效果)，或者可以在相邻区域中调整属性(例如，通过操纵相邻区域以增加所选区域和相邻区域之间的对比度)。“对比度”可以指一个区域中的图像属性值与另一个区域相比的差异，或者指图像对比度(影响对象可分辨性的亮度或颜色差异)。
在一实施例中，方法80包括用于应用自适应显著性特征的步骤或阶段，其中基于用户条件来调整与显著性特征相关联的调整量或水平(也称为显著性特征的强度)。
例如，在框84处，使用例如驾驶员监控系统(DMS)获取用户检测数据。用户检测数据涉及收集或获取的指示驾驶员状况的任何数据。用户或驾驶员的状况的示例包括用户注意力(例如，驾驶员是否在看道路或看显示器，和/或驾驶员是否在看包括目标的显示器区域)、用户情绪状态(例如，驾驶员是否激动或情绪激动)等。用户检测数据可用于通过确定用户的注意力是否指向检测到的对象或表示该对象的图像区域来评估驾驶员的注意力。
在一实施例中，在框85处，估计用户状况(例如注意力)，并且将用户注意力得分或值输入到图像增强模块56。
用户或驾驶员注意力涉及对用户的注意力是否指向检测到的对象，或者检测到的对象位于或预期位于的区域或区域的评估。在一实施例中，如果用户数据(例如，来自DMS)指示用户正在注意给定的对象或区域，则用户被确定为“注意的”。注意力可以基于眼睛跟踪来确定，以确定用户凝视的方向。基于其他指示，例如用户的情绪状态(例如通过面部图像分析确定)和用户行为，可以将用户评估为注意的或不注意的。
在框86处，基于注意力得分来适配或调整在框83选择的显著性特征集合。例如，在显著性特征包括通过选择要应用于区域或目标中的像素的亮度值来调整区域或目标的亮度的情况下，如果用户的注意力得分低于阈值，则亮度值可以进一步增加。同样，如果用户注意力得分增加(例如，检测到用户的注视朝向该区域)，则亮度值可以降低。
驾驶员对检测到的对象的注意力可能会影响目标的视觉效果。通过交叉参考显示图像和驾驶员监控系统(DMS)中的信息，可以生成动态得分。
DMS可以生成一循环，其中系统引导驾驶员观察特定对象。
一旦DMS识别出已经观察到目标，对象的突出显示(例如，亮度水平)可能会稍微减弱。
在框87处，显著性特征集合(例如，直接来自框83或基于用户注意力得分进行调整)被应用于图像，以生成基于显著性的图像。基于显著性的图像被呈现给用户。
注意，显著性特征的集合可以基于环境的变化(例如，外部照明的水平或量的变化)、检测到的对象的变化、新对象的检测、用户注意力的变化和/或其他因素来动态改变。这允许处理设备动态调整检测到的对象对用户的显著性水平。
在一实施例中，显著性特征的集合通过包括选择“低水平”显著性特征(框83a)、导出每个低水平显著性特征的空间特征(框83b)以及如果选择了一个以上的显著性特征，则组合或聚集特征(框83c)的过程来生成。如下文进一步讨论的，低水平显著性特征是传达比另一显著性特征更低水平的显著性(重要性)的显著性特征。
图4描绘了包括一组显著性特征的基于显著性的显示器90的示例，该显著性特征是从从车辆的前向摄像机获取的摄像机图像中导出的，并且使用方法80生成。为了比较，图5描绘了基于相同摄像机图像但根据现有技术呈现的显示器110。
两个显示器都显示车辆前方道路的视图。如图所示，有许多易受伤害的道路用户，包括自行车手92、自行车手94和自行车96，所有这些都位于车辆前方的道路上。这些是检测到的对象或目标。
如图4所示，通过增加对应于每个目标的图像区域的相对亮度，显著性特征被应用于每个目标。可以通过使每个区域变亮或使区域周围的区域变暗来应用相对亮度。例如，为每个区域中的像素选择的亮度值高于原始图像的亮度值。这些区域显示为矩形，但不限于此，可以具有任何形状或尺寸。例如，一个或多个突出显示的区域可以具有遵循相应目标轮廓的形状，以使突出显示不那么突出。
在这个示例中，第一区域102围绕自行车手92，第二区域104围绕自行车手94，第三区域106围绕自行车96。可以看出，明亮区域用于突出自行车手92和94，并且还围绕自行车96，以吸引其用户的注意。明亮区域被突出显示，使得用户的注意力被吸引而不移除摄像机图像中的任何信息，不进行注意力捕捉(例如，不吸引用户的注意力而忽略其他目标)，并且不阻挡或遮挡图像的任何部分。
与图4的显示相反，现有技术的显示器110使用覆盖在图像上的边界框112突出显示自行车手92(和/或其他目标)。边界框112被添加到图像中以引起自行车手92的注意。尽管未示出，但是可以为其他目标添加附加的边界框。然而，边界框112不是微妙的，并且会导致过度的认知成本和注意力捕获，要求用户施加比所保证的更多的注意力，特别是如果目标是假定的或不确定的。此外，边界框112遮挡了图像的部分，这可能会遮挡其他潜在目标或威胁。此外，将注意力转移到边界框112周围的对象将更加困难，因为边界框112的注意力捕捉是如此强烈。此外，当识别多个目标并添加多个边界框时，这可能会导致不必要的混乱。
这里描述的实施例的优点包括强调目标的能力，而不需要对每个假定的命中(hit)或目标进行或显示显式分类或执行二分式决策(decision,决定，决策)。在一二分式的过程中，目标要么被突出显示，要么不被突出显示。这可能是一个问题，例如，如果目标只是暂时确定的，或者检测或风险水平存在一定程度的不确定性。这里描述的实施例通过提供以向用户传达重要性的方式微妙和/或逐渐突出目标的能力来解决这个问题，但是不引入二分式(dichotomic process)过程会引入的认知成本(注意力水平)。此外，如以上示例所示，这些实施例避免了目标标记扰乱图像或产生视觉注意力捕获的可能性，这可能危及另一个竞争目标的检测。
图6描绘了生成一组一个或多个显著性特征的方法的实施例。在该实施例中，该方法包括由框83a、83b和83c表示的步骤或阶段。如框83所示，该方法可以是方法80的一部分，或者可以是单独的方法。
在框83a处，选择低水平显著性特征以应用于图像区域。低水平显著性特征是以低于表示更高重要性或紧迫性的显著性特征的强度的选定强度而应用的显著性特征。
例如，选择低水平显著性特征作为对所选区域中的像素的颜色调整Mr。颜色调整可以通过在给定颜色模式下改变像素的一个或多个颜色分量的强度值来实现。例如，如果图像具有红绿蓝(RGB)颜色模式，则可以调整红绿和/或蓝颜色分量的强度。可以对其他颜色模式进行调整，例如灰度和青色-品红色-黄色-黑色(CMYK)。
在该示例中，确定红色或其他单色分量调整可能不理想。相反，可以通过调整颜色分量的组合来应用显著性特征。例如，调整Mr被应用于多个颜色分量，作为红色值与绿色和蓝色值的平均值之间的差值，由下式表示:
Mr＝r–((g+b)/2),
其中r表示红色分量的强度(值)，g表示绿色分量的强度，b表示蓝色分量的强度。
在框83b处，确定显著性增强区域的空间特征，并选择该区域的形状、位置和大小。分配给区域中每个像素的显著性特征或显著性特征集是相对于与该区域相邻的像素的值的。因此，可以通过增加该区域中像素的属性值和/或通过减少该区域之外的相邻和其他像素的属性值来应用强调来增加显著性。例如，可以通过增加区域中的亮度和/或通过降低区域外的亮度，或者通过降低区域外的焦点(模糊)或锐化/聚焦该区域来强调突出显示的区域。
例如，可以通过理解Mr值相对于相邻像素上的值来进一步提高Mr。因此，可以通过相对于相邻像素增加该像素处的Mr值，或者通过减少相邻像素的Mr值来强调该像素。
在框83c处，可以通过在图像区域中同时操纵或调整多个图像属性(或相应地操纵该区域外的图像)来增加显著性特征或特征集的显著性水平。这可以增加显著性水平，并且也提供了逐渐或随着环境变化增加显著性的方式。例如，除了操纵Mr，还可以通过同时增亮该区域中的像素(或使周围图像变暗)来增加显著性。
可以基于检测到的对象的分类和/或置信度来调整显著性水平。例如，当检测到对象时，基于置信度得分选择与检测到的对象相对应的区域，并且可以随着置信度得分的变化进行调整。
以下是低水平显著性特征和具有较高显著性水平的显著性特征的示例。低水平显著性特征的示例包括应用蓝色分量调整、红色分量调整和应用强度调整。
中水平显著性特征的示例包括检测到的对象的区域周围的图像的模糊区域。中水平显著性特征可以是模糊区域和低水平显著性特征的组合。可以通过添加进一步的调整或组合几个调整来生成高水平显著性特征，以实现高显著性效果。
图7-9描绘了基于经由车辆监控系统拍摄的光学摄像机图像呈现的显示器120的示例，并示出了包括应用显著性特征、动态调整显著性特征和应用显著性特征的组合的各方面。在这个示例中，图像是连续实时呈现的。
显示器120描绘了车辆前方的环境，在该示例中，车辆前方是娱乐设施附近的停车场。如图所示，有许多对象可能被识别为目标。这些对象包括行人122以及车辆124和126。
参考图7，在第一时间，行人122位于第一距离处，并且低水平显著性特征130被应用于显示器120的对应于行人122的区域。如图所示，显著性特征130被应用于围绕行人122的区域，并且至少部分地遵循行人122的轮廓。通过相对于周围图像区域将该区域变亮到选定的亮度水平或强度，来应用该示例中的低水平显著性特征。
参考图8，在第二时间，行人122更靠近车辆，从而代表风险水平或重要性的增加。通过进一步增加亮度和/或调整颜色分量来增加该区域中的红色水平，来应用中等水平的显著性特征集134。这以微妙的方式(并且不遮挡显示器的任何部分)向用户传达以传达重要性的增加。在这个示例中，区域中像素的红色分量的值增加，以将红色色调应用于行人，从而传达重要性或显著性的增加。
参考图9，在第三时间，行人甚至更靠近，因此可能代表更高的风险。此时，通过进一步增加红色水平来应用显著性特征136的高水平集合，以指示高水平的风险。
类似于行人，或者通过使用不同水平的显著性和/或显著性特征的不同组合，也可以突出显示显示器120中的其他对象。例如，车辆126和124可以通过亮度来强调(具有与行人相同的水平或较低的水平来表示较低的重要性)。随着行人的靠近和显著性的增加，如果车辆保持静止，它们的区域可以保持相同的亮度。
图8和图9还描述了一对象被错误地识别为目标的示例。在这样的情况下，地平线附近的区域140是强假警报。换句话说，车辆监控系统以高置信度将区域140检测为目标；然而，这个检测是一错误。如图8所示，通过增加亮度和/或调整颜色分量来增加区域140中的红色水平，来应用中等水平的显著性特征集142。如图9所示，通过进一步增加红色水平以指示高风险水平，显著性特征144的高水平集合被应用于区域140。
尽管应用于区域140的突出显示或强调是一错误，但是这样的微妙的强调不会导致注意力捕获，从而强调不会过度分散用户的注意力，并且不会显著妨碍对主要目标(行人122)的感知。相反，如果边界框或其他遮挡特征被添加到图像中，将会有大量的注意力捕获和潜在的混乱，因为区域140处的边界框将会争夺注意力。如图8和图9所示，与边界框和其他突出显示技术相比，使用这里描述的显著性特征减少了注意力捕获的量。此外，由于显著性特征不遮挡区域140的任何部分，因此用户相对容易看到区域140的内容并确定该区域不构成任何威胁或风险。
这里使用的术语仅用于描述特定实施例的目的，并不旨在限制本公开。如这里所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文清楚地另外指出。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但是不排除一个或多个其他特征、整数、步骤、操作、元件组件和/或其组合的存在或添加。
虽然已经参考示例性实施例描述了上述公开，但是本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变，并且等同物可以替代其元件。此外，在不脱离本公开的基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种用于通知车辆的用户的系统，包括:
接收模块，该接收模块被配置为从一个或多个传感器接收检测数据，该检测数据与车辆周围的环境相关，该检测数据包括环境的至少一部分的图像；
分析模块，该分析模块被配置为检测图像中的对象，并确定检测到的对象对用户的显著性水平；
图像增强模块，该图像增强模块被配置为将一个或多个显著性特征应用于与检测到的对象相对应的图像区域，该一个或多个显著性特征包括对该区域中的图像属性的调整，该调整基于显著性水平并且被配置为在不遮挡该区域的情况下将用户的注意力吸引到该区域；和
显示模块，该显示模块被配置为向用户呈现包括图像和一个或多个显著性特征的显示器。
2.根据权利要求1所述的系统，其中，所述图像是由摄像机拍摄的光学图像，并且所述显示器是车辆中的数字显示器。
3.根据权利要求1所述的系统，其中，所述图像属性选自颜色、亮度、聚焦水平和对比度中的至少一个。
4.根据权利要求1所述的系统，其中，显著性水平基于以下至少一个:检测到的对象的检测中的不确定性、用户对检测到的对象的注意力、检测到的对象的分类以及与检测到的对象相关联的风险值。
5.根据权利要求1所述的系统，其中，所述调整的强度是基于显著性水平来选择的。
6.根据权利要求1所述的系统，其中，所述一个或多个显著性特征包括多个显著性特征的组合。
7.根据权利要求5所述的系统，其中，所述强度对应于相对于所述区域之外的图像中的属性值的所选属性值。
8.一种通知车辆的用户的方法，包括:
从一个或多个传感器接收检测数据，该检测数据与车辆周围的环境相关，该检测数据包括环境的至少一部分的图像；
由分析模块检测图像中的对象，并确定检测到的对象对用户的显著性水平；
由图像增强模块将一个或多个显著性特征应用于与检测到的对象对应的图像的区域，该一个或多个显著性特征包括对该区域中的图像属性的调整，该调整基于显著性水平并且被配置为在不遮挡该区域的情况下将用户的注意力吸引到该区域；和
向用户呈现包括图像和一个或多个显著性特征的显示器。
9.根据权利要求8所述的方法，其中，所述调整的强度是基于显著性水平来选择的。
10.根据权利要求8所述的方法，其中，所述一个或多个显著性特征包括多个显著性特征的组合，并且随着显著性水平的变化，应用于所述区域的调整强度和显著性特征的数量中的至少一个在显示器中逐渐变化。
CN202111540809.XA 2021-02-02 2021-12-16 基于显著性的图像中对象的呈现 Pending CN114842433A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/165,162 US20220242433A1 (en) 2021-02-02 2021-02-02 Saliency-based presentation of objects in an image
US17/165,162 2021-02-02

Publications (1)

Publication Number Publication Date
CN114842433A true CN114842433A (zh) 2022-08-02

Family

ID=82403248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111540809.XA Pending CN114842433A (zh) 2021-02-02 2021-12-16 基于显著性的图像中对象的呈现

Country Status (3)

Country Link
US (1) US20220242433A1 (zh)
CN (1) CN114842433A (zh)
DE (1) DE102021130548A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11904906B2 (en) * 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
US11897391B1 (en) * 2023-04-11 2024-02-13 GM Global Technology Operations LLC Systems and methods for managing interior light illumination in a vehicle

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3764086B2 (ja) * 2001-10-29 2006-04-05 本田技研工業株式会社 車両用情報提供装置
DE102006047777A1 (de) * 2006-03-17 2007-09-20 Daimlerchrysler Ag Virtuelles Spotlight zur Kennzeichnung von interessierenden Objekten in Bilddaten
DE102009020328A1 (de) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung von unterschiedlich gut sichtbaren Objekten aus der Umgebung eines Fahrzeugs auf der Anzeige einer Anzeigevorrichtung
US9472023B2 (en) * 2014-10-06 2016-10-18 Toyota Jidosha Kabushiki Kaisha Safety system for augmenting roadway objects on a heads-up display
US9747812B2 (en) * 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
KR102393299B1 (ko) * 2017-08-09 2022-05-02 삼성전자주식회사 이미지 처리 방법 및 그에 따른 장치
JP7077616B2 (ja) * 2017-12-28 2022-05-31 トヨタ自動車株式会社 表示制御装置および表示制御方法
US10532697B2 (en) * 2018-06-14 2020-01-14 International Business Machines Corporation Augmented reality-based roadside content viewing within primary field of view
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법

Also Published As

Publication number Publication date
DE102021130548A1 (de) 2022-08-04
US20220242433A1 (en) 2022-08-04

Similar Documents

Publication Publication Date Title
US20220189307A1 (en) Presentation of dynamic threat information based on threat and trajectory prediction
US9139133B2 (en) Vehicle collision warning system and method
US20170269684A1 (en) Vehicle display device
US9826166B2 (en) Vehicular surrounding-monitoring control apparatus
CN114842433A (zh) 基于显著性的图像中对象的呈现
EP2894620B1 (en) Vehicle information display device and vehicle information display method
WO2011132388A1 (ja) 車両の周辺監視装置
EP3156768B1 (en) Methods and systems for displaying information on a heads-up display
US10866416B2 (en) Display control device and display control method
US20210155159A1 (en) Vehicle display apparatus
US11987122B2 (en) Display control device, display system, and display control method for controlling display of alert
US20220358840A1 (en) Motor Vehicle
US20200329192A1 (en) In-vehicle display control device, in-vehicle display system, in-vehicle display control method, and program
EP2784572A1 (en) Head-up display device and display method of head-up display device
CN109074685B (zh) 用于调整图像的方法、设备、系统和计算机可读存储介质
US10102826B2 (en) Method for operating a display device for a vehicle
Liu et al. Saliency difference based objective evaluation method for a superimposed screen of the HUD with various background
CN111071037A (zh) 设备控制方法、装置、车载平视显示设备及存储介质
JP2016131009A (ja) 表示制御装置、投影装置、表示制御方法、表示制御プログラム及び記録媒体
CN111557019A (zh) 用于避免针对对象的操作人员的视野干扰的方法、用于执行所述方法的装置以及交通工具和计算机程序
JP2005075081A (ja) 車両の表示方法及び表示装置
JP6754993B2 (ja) 車載映像表示装置、車載映像表示方法、およびプログラム
EP4304191A2 (en) Camera system, method for controlling the same, and computer program
US20220043509A1 (en) Gaze tracking
EP4286200A1 (en) A vehicle, a system and a method for reducing motion sickness for a passenger of a moving vehicle

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination