CN117465345A - 为被遮挡的后视镜和侧视镜提供替代视图的系统和方法 - Google Patents

为被遮挡的后视镜和侧视镜提供替代视图的系统和方法 Download PDF

Info

Publication number
CN117465345A
CN117465345A CN202310881334.3A CN202310881334A CN117465345A CN 117465345 A CN117465345 A CN 117465345A CN 202310881334 A CN202310881334 A CN 202310881334A CN 117465345 A CN117465345 A CN 117465345A
Authority
CN
China
Prior art keywords
vehicle
obstacle
camera
driver
mirror
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310881334.3A
Other languages
English (en)
Inventor
安德鲁·丹尼斯·莱万多夫斯基
基思·韦斯顿
J·巴雷特
布兰登·戴蒙德
M·A·麦克尼斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN117465345A publication Critical patent/CN117465345A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供了“为被遮挡的后视镜和侧视镜提供替代视图的系统和方法”。本公开总体上涉及用于自动检测内部遮挡的后视镜和侧视镜的系统和方法。一种用于检测障碍物的示例方法可以包括：经由车辆中的传感器检测阻止驾驶员观看与视镜相关联的感兴趣区域的障碍物；确定与所述障碍物相关联的持久性；以及当所述障碍物具有超过阈值的持久性时，切换到相机模式来代替所述视镜。

Description

为被遮挡的后视镜和侧视镜提供替代视图的系统和方法
技术领域
本公开总体上涉及车辆，并且更具体地，涉及用于检测和减轻被遮挡的后视镜和侧视镜的系统和方法。
背景技术
驾驶员通常可能在车辆中具有乘客或其他负载，由于乘客的内部移动、填充车辆中的所有可用空间的包裹等会模糊后视镜和侧视镜的能见度。不幸的是，这种模糊可能导致相对于后视镜和侧视镜的能见度显著降低。例如，如果驾驶员正在移动必然占用驾驶员视线水平内的空间的大型对象，则后视镜和侧视镜中的一些通常将被模糊。视镜被遮挡的潜在问题包括无法看到盲区中的车辆和对象、无法在完全能见度的情况下倒车或改变车道。如果车辆载有许多乘客，则可能存在相同的问题，因为优选视镜的内部遮挡可能导致能见度问题并且影响驾驶选择。
因此，期望提供解决对减轻内部遮挡的后视镜和侧视镜的需要的解决方案。
发明内容
就总体概述而言，本公开总体上涉及用于自动检测内部遮挡的后视镜和侧视镜的系统和方法，所述系统和方法包括经由车辆中的传感器检测阻止驾驶员观看与视镜相关联的感兴趣区域的障碍物，确定与所述障碍物相关联的持久性，并且当所述障碍物具有超过阈值的持久性时，切换到相机模式来代替所述视镜。
在一个或多个实施例中，检测障碍物包括经由车辆内部内的视线传感器检测障碍物，所述视线传感器检测车辆内与后视镜和侧视镜相关联的感兴趣区域的障碍物。
在一个或多个实施例中，切换到相机模式包括使用面向外部的相机代替视镜来显示视镜的感兴趣区域的视图。
在一个或多个实施例中，传感器包括监测和识别侧视镜和后视镜的障碍物的内部相机、驾驶员状态监测相机(DSMC)以及内部乘客和乘员相机、激光雷达(LiDAR)传感器、二维光谱平面中的雷达(RADAR)传感器、超声波传感器和超宽带(UWB)传感器。
在一个或多个实施例中，确定与障碍物相关联的持久性包括将障碍物的时间长度与预设阈值或用户配置文件中设置的阈值进行比较。
在一个或多个实施例中，确定与障碍物相关联的持久性包括应用机器学习以通过识别车辆内的乘客和对象并且将瞬态状态与被确定为瞬态的对象和所识别的乘客相关联来自适应地确定障碍物的持久性。
在一个或多个实施例中，检测障碍物发生在车辆从驻车挡换挡到行驶挡时。
在一个或多个实施例中，切换到相机模式来代替视镜包括经由数字视镜或车辆中的显示器显示被遮挡视图的相机视图。此外，在一个或多个实施例中，切换到相机模式包括代替视镜在车辆的挡风玻璃上提供感兴趣区域的抬头显示器(HUD)视图，或者在与集成的车载通信和娱乐系统相关联的显示器上提供感兴趣区域的视图。
在一个或多个实施例中，所述方法还包括在确定所述障碍物是持久性超过所述阈值时自动辅助车辆的驾驶员，包括在检测到特定视镜的视线被遮挡时，显示来自面向外部的相机的相机视图，以使得驾驶员能够监测车辆周围的被遮挡区域，在检测到车辆后面尾随时显示相机视图，并且如果检测到涉及紧急车辆(诸如警察和救护车)的紧急情况，则向所述驾驶员提供警报。
在一个或多个实施例中，自动辅助驾驶员包括：检测到驾驶员在视镜被遮挡时正在尝试操纵并且拒绝数字驾驶员辅助；以及通过提供负转向扭矩反馈、经由触觉座椅振动警告驾驶员、经由发出警报警告驾驶员以及通过收音机提供听觉警报来阻止所述操纵。
另一个实施例涉及一种用于车辆的系统，所述系统包括：车辆内的多个传感器；耦接到车辆的多个面向外部的相机；耦接到多个传感器和多个面向外部的相机的存储器，所述存储器存储计算机可执行指令；以及耦接到所述存储器的处理器，所述处理器被配置为访问所述存储器并且执行所述计算机可执行指令以通过车辆中的所述传感器来检测阻止驾驶员观看与车辆中的视镜相关联的感兴趣区域的障碍物，确定与所述障碍物相关联的持久性，并且当所述障碍物具有超过阈值的持久性时，切换到相机模式来代替所述视镜。
在一个或多个实施例中，所述处理器被配置为执行确定与障碍物相关联的持久性的指令，所述处理器还执行用于进行以下操作的指令：应用机器学习以通过识别车辆内的乘客和对象并且将瞬态状态与已知为瞬态的对象和所识别的乘客相关联来自适应地确定障碍物的持久性。
另一个实施例涉及一种车辆，所述车辆包括：底盘；耦接到所述底盘的马达；耦接到所述底盘的车载计算机，所述车载计算机包括存储器和耦接到所述存储器的处理器，所述处理器被配置为执行一个或多个指令，以经由车辆中的传感器检测阻止驾驶员观看与视镜相关联的感兴趣区域的障碍物，确定与所述障碍物相关联的持久性，并且当所述障碍物具有超过阈值的持久性时，切换到相机模式来代替视镜。
附图说明
下面参考附图阐述具体实施方式。使用相同的附图标记可以指示相似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。贯穿本公开，取决于背景，可以可互换地使用单数和复数术语。
图1示出了根据本公开的实施例的包括车辆的示例性系统。
图2示出了根据本公开的实施例的可以包括在车辆的系统中的一些示例性功能块。
图3示出了示出根据本公开的实施例的用于检测视镜的障碍物的示例性流程图的流程图。
图4示出了根据本公开的实施例的遮挡监测的示例性流程图。
图5示出了根据本公开的实施例的方法的流程图。
具体实施方式
下文将参考附图更全面地描述本公开，其中示出了本公开的示例性实施例。然而，本公开可以以许多不同形式来体现，并且不应被解释为受限于本文阐述的示例实施例。相关领域技术人员将理解，在不脱离本公开的精神和范围的情况下可对各种实施例作出形式和细节上的各种变化。因此，本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。以下描述是为了说明目的而呈现，并且不意图是详尽性的或受限于所公开的精确形式。应理解，替代实施方式可以以任何所期望的组合使用，以形成本公开的附加混合实施方式。例如，相对于特定装置或部件描述的功能中的任一者可以由另一个装置或部件执行。此外，尽管已经描述了具体的装置特性，但本公开的实施例可以涉及许多其他装置特性。此外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但应理解，本公开不一定受限于所描述的特定特征或动作。而是，将具体特征和动作公开为实施所述实施例的说明性形式。
还应理解，如本文使用的词语“示例”意图在本质上是非排他性的和非限制性的。此外，本文使用的某些词语和短语应被解释为指代本领域普通技术人员通常以各种形式和等效形式理解的各种对象和动作。例如，本文中关于诸如智能电话的移动装置使用的词语“应用程序”或短语“软件应用程序”是指安装在移动装置中的代码(通常是软件代码)。代码可经由诸如触摸屏的人机界面(HMI)来启动和操作。在本公开中，词语“动作”可以与诸如“操作”和“操纵”的词语互换使用。在一些情况下，“操纵”一词可以与“控制”一词可互换地使用。如本公开所使用的词语“车辆”可涉及各种类型的车辆中的任一种，诸如轿车、货车、运动型多用途车、卡车、电动车辆、汽油车辆、混合动力车辆和自主车辆。如在本公开中使用的诸如“自动车辆”、“自主车辆”和“部分自主车辆”的短语总体上是指能够在没有驾驶员坐在车辆内的情况下执行至少一些操作的车辆。
汽车工程师协会(SAE)限定范围从0级(完全手动)到5级(完全自主)的六个驾驶自动化级别。这些级别已经由美国交通部采用。0级(L0)车辆是没有驾驶相关自动化的手动控制的车辆。1级(L1)车辆结合一些特征，诸如巡航控制，但人类驾驶员保持对大部分驾驶和操纵操作的控制。2级(L2)车辆部分地自动化，其中由车辆计算机控制某些驾驶操作，诸如转向、制动和车道控制。驾驶员保持对车辆的某种级别的控制，并且可以超驰某些操作。3级(L3)车辆提供有条件的驾驶自动化，但在具有感测驾驶环境和某些驾驶情形的能力方面更智能。4级(L4)车辆可以在自动驾驶模式下操作，并且包括其中车辆计算机在某些类型的装备事件期间取得控制的特征。人为干预的水平非常低。5级(L5)车辆是不涉及人类参与的完全自主车辆。
图1示出了包括车辆102的示例性系统100。车辆102可以是带底盘的各种类型的车辆中的一者并且可以是汽油动力车辆、电动车辆、混合动力电动车辆或自主车辆，其被配置为2级或更高级别的自动化车辆或半自动化车辆。系统100可以多种方式实施，并且可以包括多种类型的装置。例如，示例性系统100可以包括作为车辆102的一部分的一些部件。可以作为车辆102的一部分的部件可以包括车辆车载计算机110以及耦接到显示器109和相机111的传感器系统112。因此，车载计算机110可以耦接到车辆102底盘，所述车载计算机至少包括存储器和处理器，诸如存储器122和耦接到存储器的处理器104，其中处理器104被配置为确定校正以稳定显示器109。
车辆车载计算机110可以执行各种功能，诸如控制发动机操作(燃料喷射、速度控制、排放控制、制动等)、管理气候控制(空气调节、加热等)、激活安全气囊以及发出警报(检查发动机灯、灯泡故障、轮胎气压低、车辆处于盲点等)。
在一个或多个实施例中，车辆车载计算机110可以用于支持诸如被动无钥匙操作、远程控制车辆操纵操作和远程车辆监测操作的特征。车辆车载计算机110还可以控制在自停放操作(在行业中称为远程停车辅助(RePA)操作)期间由车辆102执行的一些操纵。
车辆车载计算机110可以执行各种功能，诸如控制发动机操作(燃料喷射、速度控制、排放控制、制动等)、管理气候控制(空气调节、加热等)、激活安全气囊以及发出警报(检查发动机灯、灯泡故障、轮胎气压低、车辆处于盲点等)。在一个或多个实施例中，车辆车载计算机110可以启用自动驾驶汽车或提供驾驶员辅助。因此，车辆车载计算机110还可以包括高级驾驶员辅助系统(“ADAS”)系统124和ADAS增强系统125，作为一个实施例，所述ADAS增强系统还包括车辆102的可以被控制、激活、和/或由车辆通过ADAS增强系统125操作的各种部件。
在一种实施方式中，ADAS增强系统125可以是独立装置(例如，封闭在外壳中)。在另一种实施方式中，ADAS增强系统125的一些或所有部件可以与车辆车载计算机110一起容纳、合并或共享功能性。例如，将ADAS增强系统125的功能性相结合的集成单元可以由单个处理器和单个存储器装置操作。在所示的示例性配置中，ADAS增强系统125包括处理器104、输入/输出接口127和存储器122、ADAS增强系统模块177、数据库175和操作系统180。输入/输出接口127被配置为提供ADAS增强系统125与其他部件(诸如传感器150、车辆控制部件和任何信息娱乐系统(如果存在))之间的通信。作为非暂时性计算机可读介质的一个示例的存储器122可以用于存储操作系统(OS)180、数据库175和各种代码模块，诸如ADAS增强系统模块177。包括ADAS增强系统模块177的模块可以计算机可执行指令的形式提供，处理器104可执行这些指令以执行根据本公开的各种操作。
在一个或多个实施例中，通信网络140包括使得车辆102能够与网络140通信的蜂窝或Wi-Fi通信链路，所述网络可以包括根据本公开的用于传递数据的基于云的网络或源。
车辆102还可包括一组节点、传感器和相机150，诸如以允许车辆车载计算机110与诸如相机系统111和传感器系统112的装置通信并且收集数据的方式安装在车辆102上的雷达。示例可以包括能够检测对象、距离的传感器、雷达和/或发射器，诸如超声波雷达、激光雷达、相机等。在一个或多个实施例中，传感器/相机还可以包括启用的传感器或启用/>低功耗(BLE)的传感器、车轮转速传感器、加速度计、速率传感器、GPS传感器和方向盘传感器中的一者或多者。传感器150可以包括位于视镜可能所在的位置的面向外部的相机，诸如后视镜和侧视镜。还示出了位于车辆后部的传感器/相机。
参考图2，车辆车载计算机110示出为被配置为根据一个或多个实施例执行各种操作。
如图所示，在一个实施例中，车载计算机110包括诸如处理器202、收发器210和存储器204的部件，所述部件是非暂时性计算机可读介质的一个示例，可以用于存储操作系统(OS)240、数据库230和各种模块(诸如障碍物检测模块130)。呈计算机可执行指令的形式的一个或多个模块可以由处理器210执行以执行根据本公开的各种操作。更具体地，障碍物检测模块130可以由根据本公开的处理器210执行，以用于在检测到障碍物时确定是否应在显示器109上示出视镜视图。
返回参考图1，车辆102包括传感器系统112、面向外部的相机系统111和一个或多个显示器109，所述一个或多个显示器被耦接以从障碍物检测模块130接收信号。更具体地，根据实施例，障碍物检测模块130从传感器系统112和相机系统111接收输入，并且确定视镜障碍物是持久性的还是暂时的。例如，后视镜或侧视镜可能被遮挡超过阈值时间长度，这可以由显示器109上代替视镜的面向外部的相机视图来代替。在一个或多个实施例中，显示器109可以在遮挡的视镜、抬头显示器内或在车辆102内的仪表板上。视镜障碍物可能对驾驶员遮挡感兴趣的区域，包括视镜的视线区域或应在视镜中反射的区域，诸如车辆和车辆102外部的对象。
如图1上所示，用于车辆102内的传感器系统112的传感器150包括相机150，所述相机包括面向外部的相机和内部相机。在一个或多个实施例中，可以将由相机150接收的数据提供给模块130以确定障碍物是否是持久性的和/或是否需要相机视图来代替视镜。相机可以具有内部相机，所述内部相机包括图像识别以确定视线是否被遮挡。图像识别还可以包括与模块130协调地对更持久的状况作出反应以将显示器109更改为相机视图的图像识别。因此，例如，如果具有图像识别的内部相机在车辆挂挡之后确定有遮挡，则模块130可以自动提供相机视图而不是视镜视图。在一些实施例中，视镜可以包括显示器，所述显示器实现视镜可能所在之处的相机视图。在后视镜和/或侧视镜中不包括相机显示器的车辆中，其他显示器可以自动显示检测到的被遮挡的视镜的相机视图。
有利地，实施例包括在车辆102移动时从传感器150接收数据。例如，一旦车辆102处于行驶挡或挡位中，传感器150就可以检测将影响驾驶员眼睛注视不同视镜的内部车辆障碍物，并且用相机显示自动地作出响应。
现在参考图3，流程图300示出了由模块130接收的用于检测障碍物的步骤的图。当驾驶员在步骤304处将车辆102置于行驶挡时，行程在步骤302处开始。
如图所示，步骤304在步骤306中启动模块130，所述模块提供与不同的车辆传感器系统112(诸如盲点信息系统(BLIS)310、驾驶员状态监测相机(DSMC)320和乘员存在监测器(OPM)/乘客/内部监测系统(PIMS)330)交互，所述系统感测并且向车辆计算机110报告包括潜在遮挡的内部的不同状态。BLIS、DSMC和OPM/PIMS中的每一者可以包括在传感器系统112中以与障碍物检测模块130交互以提供用于显示被遮挡的视镜视图的指令。
流程图300继续进行步骤340和350，其中与侧视镜340或后视镜350交互，作为确定遮挡和确定遮挡持续性的结果。接下来的步骤370和360返回到框306以继续监测视镜的遮挡。例如，BLIS、DSMC或OPM/PIMS和其他传感器系统从传感器系统112和传感器/相机150捕获相机图像，例如从车辆102内的相机接收图像或视频。
在一个实施例中，传感器可以通过DSMC图像估计驾驶员或乘客的位置。然后，图像识别和视线计算(包括机器学习和用户配置文件数据)可以确定朝向视镜的视野的潜在遮挡以及视镜图像是否被内部遮挡物遮挡，从而阻止驾驶员观看视镜或阻止视镜能够向驾驶员反映适当且有用的信息。
现在参考图4，流程图示出了用于遮挡监测的方法。框402在识别出遮挡的情况下启动流程。例如，如上面关于图3所描述的，具有不同传感器的传感器系统112可以识别遮挡。接下来，判定框410提供确定遮挡是持久性的还是暂时的。如果是暂时的，则框412提供在不再存在遮挡时进行重置。如果是持久性的，则框420提供判定遮挡是被遮挡的侧视镜还是后视镜。如果侧视镜被遮挡，则框422指示警报并且应采取动作。更具体地，框424提供了如果汽车处于盲点中并且车辆102配备有BLIS，则模块130使用IPC、抬头显示器(HUD)和/或专有驾驶员信息系统(诸如由FORDTM汽车公司提供的SYNCTM)来自动显示图标。模块130可以自动提供车辆处于其盲点中的听觉/触觉(使一侧的座椅振动)警报。如果配备有外部侧视相机，则模块130可以在驾驶员请求时自动显示侧视图(指示侧视镜被遮挡的弹出窗口可以允许该选项)。如果配备有外部侧视相机，则模块130可以在启用转向指示器时自动打开相机并且显示侧视图。
如果后视镜被遮挡，则框432提供警报和动作，如框434中所示。如果配备有后视镜相机/数字后视镜，则模块130提供从后视相机/后视镜自动切换到“相机模式”。如果未配备后视镜相机/数字后视镜的组合，则模块130提供自动地允许相关的后视相机(诸如倒车相机、货厢相机等)进行显示，以便驾驶员可以监测车辆102后面。框434还规定，模块130还可以监测是否有另一个人尾随他们，并且如果他们要接近，则向驾驶员提供信息。此外，框434提供，由于关于紧急车辆(诸如警车/救护车)是否在车辆102后面的信息，模块130可以使用传感器/相机来使用面向外部的相机(诸如后视相机)识别此类紧急车辆，并且通知驾驶员。
接下来，判定框440询问驾驶员是否忽略在框424和框434中识别的任何反馈/警报。如果是，则框450提供使用负转向扭矩反馈来阻止变道，使用触觉座椅振动、响铃和蜂鸣器来警告驾驶员，并且使用语音反馈来使收音机静音并通知驾驶员在不使用额外的预防措施的情况下不要变道、倒车或执行另一操纵。
如果驾驶员没有忽略反馈/警报，则流程返回到框402。同样地，在如框450中所述向驾驶员提供警报之后，流程返回到框402。
现在参考图5，流程图示出了根据实施例的方法。如图所示，框510提供经由车辆中的传感器检测阻止驾驶员观看与视镜相关联的感兴趣区域的障碍物。例如，如上面关于图1所描述的，传感器系统112可以使用相机、传感器、雷达等来检测遮挡来自车辆102内的视镜视图的内部遮挡。
在一个或多个实施例中，确定障碍物可以包括经由多个传感器检测障碍物，所述多个传感器包括监测和识别车辆内的障碍物的内部相机、驾驶员状态监测相机(DSMC)和内部乘客和乘员相机、激光雷达传感器、在二维光谱平面中的雷达传感器、视线传感器、超声波传感器和超宽带(UWB)传感器，包括监测和识别侧视镜和后视镜的障碍物的内部相机、驾驶员状态监测相机(DSMC)以及内部乘客和乘员相机，激光雷达传感器、具有二维光谱平面的雷达传感器、超声波传感器和超宽带(UWB)传感器。如图1中所示，传感器系统112和相机系统111可以与驾驶员和乘客监测相机、盲点信息系统(BLIS)、SYNCTM系统和抬头显示器(HUD)系统等协作地与模块130交互，以检测驾驶员并且与驾驶员交互。
框520提供确定与障碍物相关联的持久性。例如，与传感器相关联的时间阈值可以指示持久性。在其他实施例中，内部相机可以配备有图像识别特征，所述图像识别特征可以确定对象是持久性的还是暂时的。例如，狗将是暂时的障碍物，因为狗通常不会待在同一个地方。狗舍内有狗将被认为是更持久性的障碍物。
在框520内是框5202，其提供将障碍物的时间长度与预设阈值或在用户配置文件中设置的阈值进行比较。例如，时间长度可以是几秒，诸如三至五秒，并且超过阈值的任何时间都可能决定障碍物是持久性的。在其他实施例中，例如，用户配置文件可以指示应基于用户自己的经验来应用更长或更短的阈值。
在其他实施例中，确定障碍物的持久性包括应用机器学习以通过识别车辆内的乘客和对象并且将瞬态状态与被确定为瞬态的对象和所识别的乘客相关联来自适应地确定障碍物的持久性。
在一个或多个实施例中，确定障碍物可以包括经由多个传感器检测障碍物，所述多个传感器包括监测和识别车辆内的障碍物的内部相机、驾驶员状态监测相机(DSMC)和内部乘客和乘员相机、激光雷达传感器、在二维光谱平面中的雷达传感器、视线传感器、超声波传感器和超宽带(UWB)传感器，包括监测和识别侧视镜和后视镜的障碍物的内部相机、驾驶员状态监测相机(DSMC)以及内部乘客和乘员相机，激光雷达传感器、具有二维光谱平面的雷达传感器、超声波传感器和超宽带(UWB)传感器。
当障碍物具有超过阈值的持久性时，框530提供切换到相机模式来代替视镜。例如，如果确定了持久性，则可以将视镜切换到该视镜的相机模式。在其他实施例中，如果确定了持久性，则相机模式可以包括使用不同的显示器，诸如HUD显示器、车辆102中的中央显示器或车辆内的其他位置。
框540提供使用面向外部的相机代替视镜来显示视镜的感兴趣区域的视图。例如，当使用相机模式时，模块130可以引导来自可以包括在传感器系统112或相机系统111的一部分中的面向外部的相机(诸如图1中所示的包括后视镜相机和面向后方的相机的传感器150)的馈送或成像，可以显示与在视镜未被遮挡的情况下将示出的相同的感兴趣区域。因此，在一些实施例中，可以显示与将被示出的相同的感兴趣区域。在其他实施例中，将显示对驾驶员有帮助的可用的最接近图像。例如，如果唯一面向外部的相机是中心定位的面向后方的相机，则将示出该视图。
框550提供在确定障碍物是持久性的超过阈值时自动辅助车辆的驾驶员。例如，如果图像识别、计时器或用户配置文件确定存在持久性障碍物，则将发生相机视图的自动显示。自动显示可以经由抬头显示器(HUD)、听觉警报或面向外部的相机的自动显示等进行。
框560提供在检测到特定视镜的视线被遮挡时显示来自面向外部的相机的相机视图。例如，如果确定侧视镜被乘客或遮挡驾驶员视线的箱子遮挡，则可以自动显示位于侧视镜的位置处的相机。同样地，如果后视镜由于超载车辆或乘客遮挡视野而被遮挡，则可以自动显示面向后方的相机。
如果检测到涉及紧急车辆的紧急情况，则框570提供向驾驶员提供警报。例如，如果车辆102包括具有图像识别或经由接收对紧急情况等的指示来识别紧急车辆的能力的传感器或相机，则可以自动发生听觉警报、触觉警报或通过显示器109显示的警报。
框580提供检测到在视镜被遮挡时驾驶员正在尝试操纵并且拒绝数字驾驶员辅助。例如，如果通过图像识别、机器学习、相机和传感器检测到视镜被遮挡，并且由于拒绝显示适合于有用视野的外部相机，驾驶员仍然看不到障碍物，则可以通过模块130自动实例化检测机制。
框580内的可选框5802提供通过提供负转向扭矩反馈来阻止操纵。例如，当模块130检测到驾驶员的操纵时，方向盘的自动负扭矩可以阻止驾驶员。
框580内的可选框5804提供用触觉座椅振动来警告驾驶员。例如，如果左侧存在危险，则模块130可以引导驾驶员座椅在座椅的左侧提供振动，以引导驾驶员注意车辆的左侧。振动也可以是满座振动，以阻止在车辆102正前方或后方的操纵。
可选的框5806提供经由发出警报并且通过收音机提供听觉警报来警告驾驶员。例如，如果基于检测到视镜的障碍物而检测到预测的操纵，则可以自动发生包括收音机的自动音量降低和听觉警报的自动警报。
在以上公开中，已参考形成以上公开的一部分的附图，附图示出了其中可实践本公开的具体实施方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实施方式，并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”、“示例性实施例”、“示例性实施方式”等的引用指示所描述的实施例或实施方式可以包括特定的特征、结构或特性，但每个实施例或实施方式不必包括特定的特征、结构或特性。此外，此类短语不一定指相同的实施例或实施方式。此外，当结合实施例或实施方式描述特定特征、结构或特性时，无论是否明确地描述，本领域技术人员都将认识到结合其他实施例或实施方式的此类特征、结构或特性。例如，上文关于自主停车操纵所描述的各种特征、方面和动作适用于各种其他自主操纵，并且必须相应地进行解释。
本文所公开的系统、设备、装置和方法的实施方式可以包括或利用包括硬件(诸如例如，如本文所讨论的一个或多个处理器和系统存储器)的一个或多个装置。本文公开的装置、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传输电子数据的一个或多个数据链路。当通过网络或另一种通信连接(硬连线、无线或者硬连线或无线的任何组合)向计算机传送或提供信息时，计算机适当地将所述连接视为传输介质。传输介质可以包括网络和/或数据链路，所述网络和/或数据链路可以用于携载呈计算机可执行指令或数据结构的形式的期望的程序代码装置，并且可以由通用或专用计算机访问。以上项的组合也应包括在非暂时性计算机可读介质的范围内。
计算机可执行指令包括例如在处理器处执行时致使处理器执行特定功能或功能组的指令和数据。计算机可执行指令可以为例如二进制代码、中间格式指令(诸如汇编语言)或者甚至源代码。尽管已经用特定于结构特征和/或方法动作的语言描述了本主题，但应理解，在所附权利要求中限定的主题不必限于上面描述的所述特征或动作。而是，所描述的特征和动作被公开作为实施权利要求的示例形式。
存储器装置可以包括任何一个存储器元件或易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))和非易失性存储器元件(例如，ROM、硬盘驱动器、磁带、CDROM等)的组合。此外，存储器装置可以并入有电子、磁性、光学和/或其他类型的存储介质。在本文件的背景下，“非暂时性计算机可读介质”可以是例如但不限于电子、磁性、光学、电磁、红外或半导体系统、设备或装置。计算机可读介质的更具体的示例(非详尽列表)将包括以下项：便携式计算机软磁盘(磁性)、随机存取存储器(RAM)(电子)、只读存储器(ROM)(电子)、可擦除可编程只读存储器(EPROM、EEPROM或快闪存储器)(电子)以及便携式压缩盘只读存储器(CD ROM)(光学)。应注意，计算机可读介质甚至可以是上面打印有程序的纸张或另一种合适的介质，因为可例如经由对纸张或其他介质的光学扫描来电子地捕获程序，随后进行编译、解译或另外在需要时以合适的方式进行处理，并且随后存储在计算机存储器中。
本领域技术人员将了解，本公开可在具有许多类型的计算机系统配置的网络计算环境中实践，所述计算机系统配置包括内置式车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、移动装置、多处理器系统、基于微处理器的或可编程的消费电子产品、网络PC、小型计算机、大型计算机、移动电话、PDA、平板计算机、寻呼机、路由器、交换机、各种存储装置等。本公开还可在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路与无线数据链路的任何组合)的本地和远程计算机系统两者都执行任务。在分布式系统环境中，程序模块可位于本地和远程存储器存储装置两者中。
此外，在适当的情况下，本文中描述的功能可在以下一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书以及权利要求使用的某些术语是指特定系统部件。如本领域技术人员将理解，部件可以通过不同的名称来指代。本文件不意图区分名称不同但功能相同的部件。
本公开的至少一些实施例涉及计算机程序产品，所述计算机程序产品包括(例如，以软件形式)存储在任何计算机可用介质上的此种逻辑。这种软件当在一个或多个数据处理装置中被执行时致使装置如本文所描述那样进行操作。
尽管上文已描述了本公开的各种实施例，但应理解，仅通过示例而非限制的方式呈现本公开的各种实施例。相关领域的技术人员将明白，在不脱离本公开的精神和范围的情况下可以进行形式和细节上的各种改变。因此，本公开的广度和范围不应受到上述示例性实施例中的任何一个限制，而是应仅根据所附权利要求和其等效物限定。已经出于说明和描述目的而呈现了前述描述。前述描述并不意图是详尽的或将本公开限制于所公开的精确形式。鉴于以上教导，许多修改和变化形式是可能的。此外，应注意，前述可选实施方式中的任一者或全部可按任何所期望的组合使用，以形成本公开的附加混合实施方式。例如，相对于特定装置或部件描述的功能中的任一者可以由另一个装置或部件执行。此外，尽管已经描述了具体装置特性，但本公开的实施例可能涉及许多其他装置特性。此外，尽管已用特定于结构特征和/或方法动作的语言描述了实施例，但应理解，本公开不一定受限于所描述的特定特征或动作。而是，将具体特征和动作公开为实施所述实施例的说明性形式。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可”或“可以”的条件语言通常意图表达某些实施例可包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言通常并不意图暗示一个或多个实施例无论如何都需要各特征、元件和/或步骤。
根据一个实施例，所述处理器被配置为执行用于进行以下操作的指令：应用机器学习以通过识别车辆内包括障碍物的乘客和对象并且将瞬态状态与其相关联来自适应地确定障碍物的持久性。
根据一个实施例，所述处理器被配置为执行用于进行以下操作的指令：基于车辆从驻车档换档到行驶档来检测障碍物。
根据一个实施例，所述处理器还执行用于进行以下操作的指令：在确定障碍物超出阈值时自动辅助车辆的驾驶员。
根据一个实施例，所述处理器被配置为执行用于进行以下操作的指令：检测到驾驶员已经拒绝驾驶员辅助并且在视镜被遮挡时正在尝试操纵车辆；以及通过提供负转向扭矩反馈、经由触觉座椅振动警告驾驶员、经由发出警报警告驾驶员，和/或通过收音机提供听觉听觉警报来阻止所述操纵。
根据本发明，提供了一种车辆，所述车辆具有：存储器和耦接到所述存储器的处理器，所述处理器被配置为执行一个或多个指令以：检测阻止驾驶员观看与车辆的视镜相关联的感兴趣区域的障碍物；确定与所述障碍物相关联的持久性；以及当所述持久性超过阈值时，切换到相机模式来代替视镜。

Claims (15)

1.一种用于车辆的方法，其包括：
经由所述车辆中的传感器检测阻止驾驶员观看与视镜相关联的感兴趣区域的障碍物；
确定与所述障碍物相关联的持久性；以及
当所述持久性超过阈值时，切换到相机模式来代替所述视镜。
2.如权利要求1所述的方法，其中检测所述障碍物包括：
经由所述车辆内的视线传感器检测所述障碍物，所述视线传感器被配置为检测所述车辆内的所述障碍物。
3.如权利要求1所述的方法，其还包括：
使用面向外部的相机显示与所述视镜相关联的所述感兴趣区域。
4.如权利要求2所述的方法，其中所述视线传感器包括内部相机、驾驶员状态监测相机(DSMC)、乘员相机、激光雷达传感器、雷达传感器、超声波传感器和/或超宽带(UWB)传感器。
5.如权利要求1所述的方法，其中所述阈值包括预设阈值或在用户配置文件中设置的阈值。
6.如权利要求1所述的方法，其中确定与所述障碍物相关联的所述持久性还包括：
应用机器学习以通过识别所述车辆内包括所述障碍物的乘客和对象并且将瞬态状态与其相关联来自适应地确定所述障碍物的所述持久性。
7.如权利要求1所述的方法，其中检测所述障碍物发生在所述车辆从驻车挡换挡到行驶挡时。
8.如权利要求1所述的方法，其中切换到所述相机模式来代替所述视镜还包括经由数字视镜或所述车辆中的显示器显示与所述视镜相关联的所述感兴趣区域的相机视图。
9.如权利要求1所述的方法，其中切换到所述相机模式包括：(i)提供与所述视镜相关联的所述感兴趣区域的抬头显示器(HUD)视图；和/或(ii)在集成的车载通信和娱乐系统的显示器上显示与所述视镜相关联的所述感兴趣区域。
10.如权利要求1所述的方法，其还包括在确定所述障碍物超过所述阈值时自动辅助所述车辆的所述驾驶员。
11.如权利要求10所述的方法，其还包括：
检测到所述驾驶员已经拒绝驾驶员辅助并且在所述视镜被遮挡时正在尝试操纵所述车辆；以及
通过提供负转向扭矩反馈、经由触觉座椅振动警告驾驶员、经由发出警报警告驾驶员和/或通过收音机提供听觉警报来阻止所述操纵。
12.一种用于车辆的系统，其包括：
所述车辆内的多个传感器；
耦接到所述车辆的多个面向外部的相机；
存储器，所述存储器存储计算机可执行指令；以及
处理器，所述处理器耦接到所述存储器，所述处理器被配置为访问所述存储器并且执行所述计算机可执行指令以：
检测阻止驾驶员观看与所述车辆的视镜相关联的感兴趣区域的障碍物；
确定与所述障碍物相关联的持久性；以及
当所述持久性超过阈值时，切换到相机模式来代替所述视镜。
13.如权利要求12所述的系统，其中所述多个传感器包括内部相机、驾驶员状态监测相机(DSMC)、乘员相机、激光雷达传感器、雷达传感器、超声波传感器和/或超宽带(UWB)传感器。
14.如权利要求12所述的系统，其中所述处理器还执行用于进行以下操作的指令：
使用来自所述多个面向外部的相机中的一者的图像显示所述视镜的所述感兴趣区域。
15.如权利要求12所述的系统，其中所述阈值包括预设阈值或在用户配置文件中设置的阈值。
CN202310881334.3A 2022-07-29 2023-07-18 为被遮挡的后视镜和侧视镜提供替代视图的系统和方法 Pending CN117465345A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/816,241 US20240034407A1 (en) 2022-07-29 2022-07-29 Systems and methods for providing alternative views for blocked rear and side view mirrors
US17/816,241 2022-07-29

Publications (1)

Publication Number Publication Date
CN117465345A true CN117465345A (zh) 2024-01-30

Family

ID=89508289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310881334.3A Pending CN117465345A (zh) 2022-07-29 2023-07-18 为被遮挡的后视镜和侧视镜提供替代视图的系统和方法

Country Status (3)

Country Link
US (1) US20240034407A1 (zh)
CN (1) CN117465345A (zh)
DE (1) DE102023119143A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230373504A1 (en) * 2022-05-18 2023-11-23 Ford Global Technologies, Llc Vision obstruction mitigation

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190389385A1 (en) * 2018-06-25 2019-12-26 Ford Global Technologies, Llc Overlay interfaces for rearview mirror displays

Also Published As

Publication number Publication date
US20240034407A1 (en) 2024-02-01
DE102023119143A1 (de) 2024-02-01

Similar Documents

Publication Publication Date Title
US10336323B2 (en) Predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
AU2016283002B2 (en) Augmented reality system for vehicle blind spot prevention
US20200062247A1 (en) Driving assistance apparatus for vehicle
US10124727B2 (en) Method for warning a driver of a vehicle of the presence of an object in the surroundings, driver assistance system and motor vehicle
CN108340866B (zh) 防撞系统和方法
WO2017068695A1 (ja) 駐車支援方法及び駐車支援装置
US10919449B2 (en) Driving support device and storage medium
US20110057782A1 (en) Methods and systems for displaying vehicle rear camera images in different modes
US11724641B2 (en) Hazard condition warning for package delivery operation
US20190118711A1 (en) Multiple camera control system and method for controlling output of multiple camera image
CN117465345A (zh) 为被遮挡的后视镜和侧视镜提供替代视图的系统和方法
US20140005886A1 (en) Controlling automotive functionality using internal- and external-facing sensors
US12036981B2 (en) Systems and methods to protect a side-view mirror of a vehicle
JP2021195016A (ja) 車両周囲監視装置
US11545029B2 (en) Distraction-sensitive traffic drive-off alerts
US11450116B2 (en) Systems and methods for sharing camera setting control among multiple image processing components in a vehicle
US20230331223A1 (en) Vehicle and control method thereof
CN116101273A (zh) 一种辅助驾驶方法、系统、车辆及存储介质
WO2021134101A1 (en) Vehicle cornering assistance systems and methods background
GB2570881A (en) Systems and methods for communicating information for a user of a vehicle
Jain et al. Automotive Electronics-A Boon for Safety

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication