CN114248689A - 用于机动车的摄像头监测系统 - Google Patents

用于机动车的摄像头监测系统 Download PDF

Info

Publication number
CN114248689A
CN114248689A CN202111064047.0A CN202111064047A CN114248689A CN 114248689 A CN114248689 A CN 114248689A CN 202111064047 A CN202111064047 A CN 202111064047A CN 114248689 A CN114248689 A CN 114248689A
Authority
CN
China
Prior art keywords
image
driver
image area
head
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111064047.0A
Other languages
English (en)
Other versions
CN114248689B (zh
Inventor
V·I·布朗特
D·A·加西亚
J·V·普拉纳斯
J·A·努内兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ficosa Adas SL
Original Assignee
Ficosa Adas SL
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ficosa Adas SL filed Critical Ficosa Adas SL
Publication of CN114248689A publication Critical patent/CN114248689A/zh
Application granted granted Critical
Publication of CN114248689B publication Critical patent/CN114248689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0019Side or rear panels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

本发明涉及用于机动车的摄像头监测系统。一种用于机动车(10)的摄像头监测系统包括:图像拍摄装置,其位于车辆(10)的安装组件上,用于车辆(10)的外部FOV,该外部FOV在车辆(10)外部侧向并向后扩展并且包括车辆(10)的外部部分的一部分;ECU,其连接至图像拍摄装置,获得拍摄图像(200);电子显示设备,其连接至ECU,位于车辆(10)内部并且将由驾驶员(11)使用;姿势检测器,其被配置为获得驾驶员身体的至少一个部位的至少一个位置,其中,ECU被配置为基于获得位置对FOV进行调整,并且显示设备被配置为在显示图像区域(210)中显示经调整的FOV,该显示图像区域(210)可以在拍摄图像(200)内移动。

Description

用于机动车的摄像头监测系统
技术领域
本发明应用于包括电子(内部和/或外部)后视镜组件的机动车的控制系统中。
本发明涉及一种摄像头监测系统(CMS),该CMS用于通过驾驶员姿势检测来管理显示给车辆驾驶员的来自一个或更多个后视镜的视野。
背景技术
机动车领域的现有技术的一个问题是在驾驶时调整视野。
US9073493B1公开了通过以下操作调整车辆内的视镜的方法和装置:(i)获得视镜的第一角度;(ii)拍摄驾驶员头部的图像;(iii)确定视镜的垂直距离;(iv)基于观察距离和垂直距离来计算视角;以及(v)将视镜从第一角度调整至第二角度。US9073493B1通过确定驾驶员的位置来解决在驾驶时调整视野的技术问题。然而,调整是通过使用致动器旋转侧镜来进行的。机械致动器意味着成本、复杂性和随时间推移损坏的可能性。
还发现驾驶员可能希望向前移动其头部,特别是在超车时,以减少盲点区域。在这样做时,为了获得盲点区域的放大视图,驾驶员增大他们的头部相对于图像拍摄装置(例如,车辆的常规镜子系统中的反射后视镜,或车辆的数字视觉系统中的摄像头)的相对角度。然而,在常规反射镜中,不幸的是,孔径角(aperture angle)(α)随着驾驶员头部相对于图像拍摄装置的相对角度的增大而减小。孔径角(α)可以定义为由图像装置拍摄的给定场景(所拍摄的图像区域)的角范围(从顶视图看)。孔径角(α)被转换成从驾驶员的视角拍摄的图像区域(在镜子或显示器上)的水平长度。
因此,非常期望提供一种具有对智能后视镜系统进行监测以在无需机械和手动致动且无需触摸任何显示器的情况下改变后视镜的视野的控制系统的机动车。更具体地,本发明的目的是通过提供具有至少一个外部后视镜的视觉系统来增强驾驶员对外部场景的可见性,该视觉系统允许通过移动驾驶员头部来调整外部视野。为了给驾驶员提供更好的视野,特别是在超车时最大限度地减少盲点区域,需要驾驶员车辆横向相邻区域的改善的视野。
发明内容
本发明通过提供一种用于机动车的摄像头监测系统(CMS)解决了上述问题并克服了先前解释的现有技术工作限制,该CMS提供至少一个显示设备,所述至少一个显示设备被配置为将从机动车的电子(外部和/或侧面)后视镜拍摄的图像显示到电子显示器。具体地,所提出的CMS能够基于用户身体的至少一个部位(例如,驾驶员头部)的位置来调整后视镜的视野(FOV),而无需触摸显示器。头部/身体移动(或头部/身体位置的变化)可以是由可以基于不同技术(超声波、图像、TOF:飞行时间、雷达等)的传感器检测的。电子显示器可以指屏幕(优选地,非触摸屏)或显示眼镜。
本发明的一个方面涉及一种用于机动车的摄像头监测系统,所述摄像头监测系统包括:
-安装在安装组件(例如,小翼(winglet)或鲨鱼鳍形件)上的图像拍摄装置(例如,摄像头),该安装组件位于车辆的外部部分。图像拍摄装置被配置为从车辆的外部视野拍摄图像,该视野(FOV)至少向后延伸(并且优选地也向侧向延伸)到车辆的外部并且包括车辆的外部部分的一部分(优选地,车辆的外部横向部分或侧面)。
-连接至图像拍摄装置的电子控制单元或ECU。ECU被配置为从由图像拍摄装置拍摄的图像中选择(外部FOV的)一个或更多个图像区域。由ECU选择的图像区域可以是整个拍摄图像,也可以比拍摄图像小(称为“裁切图(crop)”)(在这种情况下,优选地,ECU可以执行“数字平移”;即,可以在拍摄图像内移动所选择的图像区域)。
-至少一个电子显示设备,所述至少一个电子显示设备位于车辆内部并且将由驾驶员使用(因此,显示器位于驾驶员的可见区域中,例如,位于车门中)。显示设备连接至ECU并且被配置为显示外部FOV的由ECU选择的图像区域。
-另外,摄像头监测系统还包括姿势检测器,以获得/检测驾驶员身体的至少一个部位(例如,头部或面部)的位置,使得ECU可以基于由姿势检测器获得的位置来调整(如果配置了“平移”,则可选地移动)将由驾驶员电子显示设备显示的外部FOV的图像区域。
本发明的另一方面涉及一种机动车,所述机动车包括如上所述的两个摄像头监测系统(CMS),其中,一个CMS位于车辆的左侧(具有与左侧的外部后视镜相关联的图像拍摄装置),另一CMS位于车辆的右侧(具有与右侧的外部后视镜相关联的图像拍摄装置),并且还包括内部后视镜系统(IRMS),车辆的ECU是控制所有两个摄像头监测系统和内部后视镜系统的ECU。CMS和IRMS都利用由图像拍摄装置拍摄的来自车辆外部FOV的图像的对称图像工作,因此拍摄图像是指原始拍摄图像的对称图像。
对称图像可以通过以下项获得:(i)摄像头的图像传感器,(ii)摄像头的ISP,或(iii)车辆的ECU。由于硬件架构,所以选项(i)允许直接从摄像头获得拍摄图像。选项(ii)和(iii)涉及图像处理以获得可以通过姿势移动的图像区域内的拍摄图像。
针对拍摄(原始)拍摄图像的摄像头,在CMS的情况下,摄像头位于车辆的侧面(例如,位于“小翼”安装组件中);在IRMS的情况下,摄像头位于车顶(例如,位于“鲨鱼鳍形件”安装组件中);而在FOV监测用于停车的情况下,使用车辆后保险杠中的停车摄像头(这种类型的摄像头也称为倒车摄像头)。
本发明可以应用于控制机动车上的内部后视镜(IRMS)或任何其它电子镜。所提出的CMS可以通过使用姿势检测技术来管理后视镜的FOV,而无需触摸显示器(即,通过显示设备的非触摸屏)。非接触屏(例如,位于车辆的车门处)可以以不同方式实现,诸如:i)通过增加屏幕的容量敏感性(不使用摄像头),ii)通过使用摄像头,例如,基于图像分类器。
本发明可以应用于当驾驶员头部位置变化时控制车辆(左或右)侧的任何外部后视镜,而无需减小显示给驾驶员的FOV(图像区域)的孔径角(α)。这解决了现有技术中解释的常规反射镜或模拟常规反射镜的数字视觉系统的缺陷:孔径角(α)的减小导致盲点区域的视野的不期望的减小;孔径角(α)定义为显示FOV(即,显示图像区域(裁切图))的角度范围。为此,本发明至少被配置为:
(i)使图像区域的孔径角(α)保持固定,因此与驾驶员头部相对于与位于车辆驾驶员侧的外部后视镜(ERMS)相关联的图像拍摄装置的检测到的相对角度无关;或者
(ii)随着驾驶员头部相对于上述图像拍摄装置的相对角度的增大,增大图像区域的孔径角(α)。
根据本发明的第一实施方式,摄像头监测系统(CMS)被配置为仅选择一个单个图像区域(“裁切图”),使得可以基于头部/面部的位置变化或驾驶员身体(优选地,躯干、头部和/或手部)的任何移动来在拍摄图像内移动所选择的图像区域。从而调整显示器向驾驶员显示的电子后视镜的视野(FOV)。移动裁切图也称为“平移”或“数字平移”。根据该实施方式,CMS还被配置为保持所选择的图像区域的孔径角(α)固定,从而独立于驾驶员头部相对于CMS(即,显示设备)的检测到的相对角度。
优选地,由CMS的ECU选择的图像区域(“裁切图”)在拍摄图像上是偏离中心(不居中)的,而是位于拍摄图像的内侧、右侧或左侧:如果裁切图由位于车辆左部的显示设备(用于右行交通的驾驶员显示器)显示,则是图像的右侧;或者,如果裁切图由位于车辆右部的显示设备显示,则是左侧。因此,在显示器上为驾驶员提供了路径,以沿拍摄图像的水平轴向外移动所选择的图像区域,并且裁切图的非居中位置将最大化其可用路径,以能够在显示器上移动。更优选地,所述路径的长度是开始移动(即,位移)之前所选择的图像区域的长度的至少20%。更优选地,所述路径的长度是在所选择的区域(“裁切图”)的另一侧定义的空间长度的至少两倍长。本领域技术人员认识到,由图像拍摄装置(即,摄像头)拍摄的原始图像的大小可以是一种限制。图像区域的孔径角(α)可以取决于摄像头的镜头和图像传感器(即,成像器)。可以通过包括弯曲表面的镜头或增大图像传感器的尺寸来实现图像区域的更宽孔径角(α)。包括弯曲表面的镜头可能会导致失真的图像。可能需要图像处理来校正失真的图像。因此,特别有利的是,裁切图(图像区域)在拍摄图像上不居中,以最大化上述可用路径。
根据本发明的第二实施方式,摄像头监测系统的ECU被配置为选择两个图像区域(裁切图):拍摄图像的第一图像区域(即,第一裁切图)和作为附加扩展视图的第二图像区域(即,第二裁切图),其中,所述附加扩展视图位于第一图像区域(即,第一裁切图)旁边,从而形成定义为与第二裁切图连接的第一裁切图的总图像区域。第二裁切图还被配置为基于头部/面部的位置变化或驾驶员身体(优选地,躯干、头部和/或手部)的任何移动而扩展和/或收缩。因此,显示图像区域包括第一图像区域(即,第一裁切图)和作为附加扩展视图的第二图像区域(即,第二可扩展裁切图)。从而调整在显示器上的整个图像区域中向驾驶员显示的电子后视镜的视野(FOV)。根据该实施方式,CMS被配置为随着驾驶员头部相对于CMS的驾驶员摄像头的相对角度的增大,增大第二图像区域的孔径角(α),并因此增大整个图像区域的孔径角(α)。
根据第二实施方式并且优选地,两个裁切图中的第一裁切图(不可扩展裁切图)在拍摄图像上不居中,而是位于其右内侧或左内侧:i)针对在右行交通国家(例如,西班牙)销售的左手驾驶车辆,则是图像的右侧;ii)针对在左行交通国家(例如,英国)销售的右手驾驶车辆,则是图像的左侧。因此,在显示器上为驾驶员提供了路径,以沿拍摄图像的水平轴向外扩大第二裁切图。更优选地,所述路径的长度是开始移动(即,位移)之前所选择的图像区域的长度的至少20%。更优选地,所述路径的长度是在所选择的区域(“裁切图”)的另一侧定义的空间长度的至少两倍长。
根据第二实施方式的实现选项,根据驾驶方向上的所确定的驾驶员身体移动,第二图像区域(可扩展裁切图)在拍摄图像内至少水平向外地逐渐扩展其长度,并且其中,第一图像区域(“裁切图”)的大小和位置均保持不变。根据第二实施方式的另一实现选项,显示设备包括两个不同部分:显示第一裁切图的第一部分和显示附加扩展视图(第二裁切图)的第二部分。根据一个示例,显示设备是一个单个屏幕,优选地是触摸屏。根据另一示例,显示设备包括两个不同屏幕,其中,由ECU区分的第一部分可以在第一屏幕中实现,该第一屏幕可以是非触摸的则更便宜,第二部分可以在第二屏幕中实现,该第二屏幕可以是触敏的。
根据本发明的第三实施方式,摄像头监测系统的ECU被配置为选择两个图像区域(第一裁切图和第二裁切图)并使显示器根据取决于驾驶员头部移动的两种状态中的任何一种来工作:i)当检测到头部移动时,ECU按照第一工作状态进入显示器,其中,第二图像区域完全显示(即,打开)在显示器上或优选地在显示设备的第二部分上;ii)相反,当检测到驾驶员头部回到其初始位置时,ECU按照第二状态进入显示器,其中,根本不显示第二图像区域(即,关闭)。
另外,根据第四实施方式,本发明允许用户通过配置针对以下项的灵敏度来定制系统:(i)在拍摄图像内移动显示图像(如果仅存在一个由ECU选择的图像区域,则是“裁切图”,或者如果存在由ECU选择的两个裁切图形成的总图像区域,则是第一裁切图),或者(ii)扩大和/或收缩附加扩展视图(第二裁切图)。
根据第五实施方式,电子显示设备位于头戴式设备中。头戴式设备还可以应用于控制驾驶员的一副具有增强现实(AR)的眼镜。AR眼镜显示从机动车后视镜拍摄的图像;即,显示器至少是眼镜的一部分,而不是车辆驾驶室中的屏幕。优选地,在显示器是AR眼镜的一部分的情况下,传感器位于眼镜本身中。
头部/身体移动(或头部/身体位置的变化)是由传感器检测的,该传感器可以基于不同技术(超声波、图像、TOF:飞行时间、雷达等)。在显示器是车辆驾驶室中的屏幕(例如,位于驾驶员车门或IRMS中)的情况下,传感器位于车辆内部。在显示器是AR眼镜的一部分的情况下,传感器位于眼镜本身中。
本发明相对于现有技术具有许多优点,所述优点可以概括如下:
-本发明允许对固定在车身上的外部摄像头进行FOV调整,而无需这些摄像头上的致动器或机械移动,也无需触摸显示器。
-调整FOV的控制动作是由驾驶员姿势触发的,而不是按下显示图像顶部的数字按钮(叠加层),或者用手指触摸显示屏(这会弄脏屏幕),并且提供了更大的动作区域,也就是说,驾驶员可以在空中而不是在小/有限尺寸的屏幕上做出相关姿势(用他/她的头部或手指)。此外,该功能对于校准系统特别有用。也就是说,当ECU将(i)驾驶员头部的第一位置与“拍摄图像”内的裁切图的第一位置相关联;以及将(ii)头部的第二位置与“拍摄图像”内的裁切图的第二位置相关联时,系统可以使用所述“姿势检测”来检测头部移动并确定其上述位置以进行校准。
-本发明允许改善机动车外部横向侧的视野以减少盲点区域。也就是说,驾驶员可以通过不减小显示设备上显示的图像区域的孔径角来获得更好的盲点区域视野,特别是当驾驶员准备超车时。
-本发明允许仅通过驾驶员做出的相关姿势(优选地,驾驶员头部或面部移动)来进行FOV调整以进行驾驶操作(例如,超车或停车);即,显示图像区域不会因任何驾驶员姿势而不断移动,而只有在系统检测到的驾驶员姿势超过阈值时才会移动。
-本发明允许通过检测驾驶员相关姿势来调整FOV,并且所述检测是第一位置(“参考位置”)与第二位置(“当前位置”)之间的比较(由ECU进行)。两个位置都基于驾驶员身体的至少一个部位(优选地是面部/头部)的位置。参考位置是初始时刻的、驾驶员头部的检测位置,并且头部不是固定物体(诸如车辆的座椅、头枕或安全带),其在车辆中的位置可以从初始时刻开始变化。ECU确定驾驶员头部移动,当前时刻他/她的头部的位置是“当前位置”,所以“当前位置”仅取决于驾驶员头部并与“参考位置”进行比较,该“参考位置”也仅取决于头部(“头部对头部”比较,而不是“头部对座椅”比较)。也就是说,FOV调整使用的位置之间的比较仅取决于驾驶员,而不取决于驾驶员外部的要素。
-使用驾驶员身体的部位而不是另一要素(诸如车辆座椅的驾驶员头枕)的位置的优点是:如果参考位置是基于座椅的,则当座椅改变位置时(例如,驾驶员通常使用红色交通灯来调整其座椅或头枕的位置),参考位置丢失或应通过复杂的处理以及与车辆CAN总线的通信重新计算。此外,如果姿势检测器是例如雷达,则无法计算参考位置,因为无法检测到座椅的泡沫。此外,有些驾驶员会取下头枕或驾驶时戴一顶帽子从而盖住整个头枕,由此阻碍了对其(参考)位置的检测。
-本发明允许用户在开始驾驶之前,根据用户偏好校准/定制FOV调整的灵敏度。
根据本发明的详细描述,这些优点和其它优点将是显而易见的。
附图说明
出于帮助理解本发明的特征的目的,根据本发明的优选实际实施方式并为了对此说明进行补充,附上作为本发明的组成部分的、具有例示性和非限制性特征的以下附图:
图1示出了驾驶员头部向前移动以及相应显示图像的移动。
图2示出了驾驶员头部向上移动以及相应显示图像的移动。
图3示出了显示图像的移动与驾驶员头部移动之间的关系的图形表示。
图4示出了由位于驾驶员侧的摄像头拍摄的原始图像。
图5示出了由位于驾驶员侧的摄像头提供的拍摄图像和在拍摄图像内移动的显示图像的两个图片,在左侧图片中,所显示的拍摄图像的图像区域是针对驾驶员头部的第一位置的,并且在右侧图片中,是当驾驶员头部在驾驶方向上向前移动几毫米时的图像。
图6示出了当驾驶员头部在驾驶方向上进一步向前移动时,拍摄图像的显示图像区域水平向上移动至其整个长度。
图7示出了当驾驶员头部从驾驶员眼睛的第一位置移动至驾驶员眼睛的第二位置时,常规反射后视镜中反射的光线与由布置在机动车外侧上的摄像头拍摄的视野之间的比较。
图8示出了当驾驶员头部从驾驶员眼睛的第二位置移动至驾驶员眼睛的第三位置时,常规反射后视镜中反射的光线与由外侧摄像头拍摄的视野之间的比较。
图9示出了常规反射后视镜中反射的光线与由外侧摄像头拍摄的视野以及待显示的图像区域的FOV之间的比较。
图10示出了当驾驶员头部从驾驶员眼睛的第一位置移动至驾驶员眼睛的第二位置时,驾驶员眼睛相对于常规反射后视镜的相对角度与驾驶员眼睛相对于外侧摄像头的相对角度之间的比较。
图11示出了由位于车辆左侧的摄像头提供的拍摄图像以及当驾驶员头部在驾驶方向上向前移动几毫米时在拍摄图像内水平向外地扩大的显示图像的两个图片。
图12示出了从顶视图看,待显示的图像区域的FOV的孔径角随着超越另一车辆时驾驶员头部向前移动而增大。
图13示出了驾驶员头部向上移动几毫米例如以看到地面时垂直向下扩大的显示图像。
图14示出了提供具有两个不同部分的电子显示设备的CMS。
图15示出了具有电子显示器的两种状态(开启/关闭)操作的CMS,其中当检测到头部移动时,第二图像区域完全显示(开启)在第二部分上,并且相反地,当检测到驾驶员头部回到初始位置时,所述第二图像区域根本不显示(关闭)。
具体实施方式
提供在该详细描述中定义的事项以帮助全面理解本发明。因此,本领域的普通技术人员将认识到,在不脱离本发明的范围和精神的情况下,可以对本文描述的实施方式进行各种改变和修改。此外,为了清楚和简洁,省略了对众所周知的功能和元件的描述。
当然,本发明的实施方式可以在各种架构平台、操作系统和服务器系统、设备、系统或应用中实现。本文呈现的任何特定架构布局或实现方式仅提供用于例示和理解的目的,并不旨在限制本发明的各方面。
根据优选实施方式,CMS包括图像处理装置,该图像处理装置包括基本上指向后方并位于机动车(例如,汽车)的侧部(右侧和/或左侧)上的摄像头。所获得的拍摄图像至少包括汽车的横向/侧面部分和汽车后面的区域。ECU(电子控制单元)被配置为接收拍摄图像并执行图像处理,该图像处理至少包括选择拍摄图像的一部分并将所述部分发送至位于汽车驾驶室内部的显示器。图像拍摄装置可以固定地安装在车辆外部。
根据优选实施方式,CMS还包括姿势检测器,以允许驾驶员通过驾驶员头部或身体其它部位的移动(例如,眼睛移动或面部姿势)来命令CMS调整FOV。在使用姿势检测器的CMS的可能实施方式中,裁切和平移(crop-and-pan)功能可以由驾驶员头部移动触发。驾驶员头部移动可以由监视系统跟踪,该监视系统优选地位于车辆内,更优选地固定在(i)驾驶员前方,或(ii)内部后视镜中,或(iii)在CMS显示设备旁边。优选地,驾驶员监视系统可以包括摄像头。监视系统可能能够计算出驾驶员头部的位置和距离。因此,拍摄图像内的显示图像区域可以由驾驶员头部控制,当姿势检测器拍摄到该移动时向前移动。姿势检测器有四种可能的实现选项:
i)在可能实施方式中,可以在用户的图像中识别姿势,该图像由安装在用于CMS的外部组件(小翼)上的用于拍摄外部FOV的同一摄像头或通过车辆内部的(例如靠近驾驶员显示器)的附加摄像头(驾驶室内摄像头)或内部镜中的附加摄像头拍摄。内部摄像头可以利用可见光以及红外光工作。然后,ECU被配置为使用图像处理,以避免检测到的姿势中出现误报和漏报。
ii)在另一可能实施方式中,不需要额外摄像头,在不触摸显示器的情况下在显示器上执行姿势,并且通过简单地增大显示屏的屏幕的电容敏感性(capacity sensibility)来检测所述姿势。
iii)另外的可能实施方式是基于电近场(E-field)3D姿势控制器的,该E-field3D姿势控制器通过使用单芯片设备实现用户姿势检测和运动跟踪,其中嵌入式应用无需主机处理。因此,仅通过转动驾驶员头部或挥动一只手,CMS就会检测到驾驶员想要打开的(更大的)FOV,并因此增大外部摄像头的FOV。因此,该优选实施方式提供了多个可能位置,驾驶员可以从这些位置移动。
iv)用于占用检测的雷达传感器系统,其中,该雷达传感器系统可以包括被配置为生成传出雷达信号的天线系统,以及被配置为接收作为传出雷达信号的结果而反射的传感器信号的雷达传感器。可选地,该雷达传感器系统还可以包括加速度计,以获得加速度计数据值。该雷达传感器系统还可以包括通过将加速度计数据和偏移去除应用于所述传感器信号来生成改进信号的算法。
在另一优选实施方式中,显示器位于头戴式设备(即,用于驾驶员的近眼设备)内,优选地是一副具有增强现实AR的眼镜。AR眼镜已经存在,例如,谷歌眼镜和微软全息透镜。所述头戴式设备(例如,交互的一副AR眼镜)包括:i)光学组件,该光学组件被配置为显示虚拟内容并能够查看周围环境的至少一部分;ii)用于处理待显示的虚拟内容的集成处理器;以及iii)用于将虚拟内容引入光学组件的集成图像源。此外,头戴式设备可以包括通信设施,该通信设施被配置为将交互式头戴式设备连接至诸如摄像头监测系统(CMS)的ECU的外部设备。头戴式设备包括用于检测驾驶员视线的视线位置检测单元。所提出的使用头戴式设备的CMS(例如,利用AR眼镜作为驾驶员显示器,当驾驶员戴上该AR眼镜时,位于车辆内部)能够基于驾驶员头部的位置和/或他/她的视线方向生成在拍摄图像内移动裁切图(“数字平移”)的指令。拍摄图像可以包括原始拍摄图像的对称图像。由头戴式设备以电子方式检测到的头部移动与驾驶员眼睛/视线的方向一致,因此通信设施被配置为向ECU提供与头部移动和眼睛视线的方向一致的视频馈送。通过通信设施从ECU发送至头戴式显示器的视频馈送是丰富的视频流,所述视频流包括以下项中的至少一项的数据:(i)所显示的图像区域(裁切图);以及(ii)盲点检测。仅当检测到的驾驶员眼睛看向光学组件上的一个特定点时,才会显示所显示的图像区域(裁切图)。例如,AR眼镜的显示器是关闭的,除非驾驶员看向后视镜应该在的位置;在这种情况下,仅当“视线检测器”捕获到驾驶员看向所述特定点时,ECU才会生成信号以打开AR眼镜屏幕的显示器。
在优选实施方式中,FOV的调整涉及原始拍摄图像(该原始拍摄图像是由图像拍摄装置拍摄的初始图像)的对称性,以获得对称图像。对称图像可以直接由图像拍摄装置提供,但可以另选地由应用图像处理的ECU(更具体地,ISP)提供。具体地,当对称图像是由图像拍摄装置直接提供的时,可以通过图像传感器的硬件获得该对称图像,这有利地显著减少了图像处理(软件)的操作量。FOV的调整还意味着(i)在所述对称图像内移动裁切图;或(ii)在所述对称图像内扩大附加扩展视图。
图1示出了根据可能示例的、由传感器(姿势检测器)检测到的驾驶员头部(11)的移动(111)与拍摄图像(200)内的显示图像区域(210)或“裁切图”的移动(211)或“平移”之间的关系。在该示例中,驾驶员头部(11)沿驾驶方向的移动(111)被转换成(由ECU)处理的显示图像区域(210)在水平方向上的位移/移动(211)。因此,驾驶员(11)看到的视野FOV的变化是通过改变裁切图的位置间接执行的,这导致驾驶员(11)看到的新的FOV。
在可能实施方式中,ECU执行图像处理,以:
-获得拍摄图像(200),作为由图像拍摄装置拍摄的(原始)图像的对称图像,并且该对称图像可以通过ECU的图像处理获得(尽管对称性通常由图像拍摄装置的图像传感器或成像器直接执行);
-获得“裁切图”;即,拍摄图像(200)的图像区域(210)的选择,图像区域(210)小于拍摄图像(200);以及
-执行数字“平移”,从而在由图像拍摄装置拍摄的图像(的对称图像)内移动裁切图。
原始图像的对称性是关于其竖直轴执行的。不需要其它类型的图像处理,例如,诸如模拟常规后视镜。然而,在车辆(10)外侧的安装装置(即,小翼或鲨鱼鳍形件)的臂较短或不存在的情况下,可以有利于地执行用于改变视角(即,视角校正)的图像处理操作,例如,通过使用同质矩阵。重要的是要注意将单应性矩阵应用于:i)原始图像(400);ii)对称图像(200);或iii)图像区域(210)与模拟常规反射后视镜绝对不同或等效(equivalent)。这并不相同或等效,因为常规反射后视镜随着驾驶员头部与显示设备之间的相对角度的增大而减小反射图像的孔径角(α),这导致盲点区域视野的不期望的减少。
优选地,当所使用的图像拍摄装置位于车辆(10)的外侧时,拍摄图像(200)具有40°-60°范围内的FOV,而图像区域(210)具有拍摄图像(200)的长度的60%至80%之间的FOV。针对裁切图或图像区域(210),拍摄图像(200)的比率形状/几何形状保持相同。如果裁切时使用80%FOV,则裁切图的FOV是32°(按40°的80%计算);而如果裁切时使用60%的FOV,则裁切图的FOV是36°(按60°的60%计算)。根据另一非限制性示例,当所使用的图像拍摄装置与内部IRMS相关联时,拍摄图像的FOV是70°。
图2示出了根据另一可能示例的、驾驶员头部(11)的另一移动(112)与显示图像区域(210)的移动(212)之间的关系。在该示例中,当驾驶员头部(11)的移动(112)是向上的时,显示图像区域(210)的移动(212)在垂直方向上并向下。
裁切图或显示图像区域(210)根据预先建立的关系移位。预先建立的关系可以是线性的或非线性的(参见图3)。
下面的表1和图3例示了基于驾驶员头部沿驾驶方向向前的移动以及基于裁切图长度的裁切图水平移动。
向前头部定位变化(mm) 水平裁切图移动(%)
0 0
100 10
200 40
300 100
表1
如上表1的示例,当头部向前移动300mm时,根据裁切图长度的水平裁切图移动是100%,如果摄像头拍摄是60°并且裁切为摄像头的60%,则裁切图的FOV是36°,即,其还剩24°用于水平平移。
图4示出了由位于车辆(10)的对应于驾驶员侧的外侧的小翼上的图像拍摄装置拍摄的原始图像(400);在这种情况下,由位于车辆(10)左侧的图像拍摄装置(例如,外部摄像头)拍摄的原始图像(400)。包括车辆(10)的左侧的部分图像的该原始图像(400)是位于驾驶员(11)一侧的图像拍摄装置所看到的图像。外框对应于由所述图像拍摄装置拍摄的总FOV(例如,60度的FOV)的图像边界。
根据图4所示的原始图像(400),获得图5所示的拍摄图像(200),作为原始图像(400)关于其竖直轴的对称图像。因此,车辆(10)的部分图像出现在拍摄图像(200)的右侧。根据该示例,仅对称性是获得拍摄图像(200)所需的图像处理,但没有常规后视镜的仿真或其它图像处理。内框对应于被选择显示的裁切图或图像区域(210);即,在驾驶员(11)的显示器上向他/她显示的有效FOV(例如,36度的有效FOV)的边界。在图5和图6中,有效FOV示出了包含地平线的高速公路。
图5示出了当ECU将裁切图在拍摄图像(200)内水平移动(总裁切图移动的)40%时显示的裁切图或图像区域(210)。根据表1和图3,这对应于驾驶员将他/她的头部向前(即,在车辆(10)的驾驶方向上)移动200毫米的情况。
图6示出了当ECU将裁切图水平移动100%(这将达到拍摄图像的极限)时显示的裁切图或图像区域(210)。根据表1和图3,这对应于驾驶员将他/她的头部向前(即,在车辆(10)的驾驶方向上)移动300毫米的情况。例如,在图像拍摄装置位于左外部后视镜的安装组件处的情况下,当驾驶员头部处于通常驾驶位置时,裁切图或图像区域(210)优选地位于拍摄图像的右侧,而当头部向前移动时,图像区域(210)移动至左侧,如图6所示。即,图像区域(210)最初不居中,即,图像区域(210)在拍摄图像上偏离中心,但通常位于内右侧或内左侧:例如,右侧是针对右行交通国家的左侧驾驶车辆。因此,在显示器上为驾驶员提供了路径,以沿拍摄图像的长得多的水平轴移动裁切图。例如,转到图11,具体转到左边图片,显示图像区域或裁切图(210、210’)未居中,以在拍摄图像(200)内在其左侧留出未显示的空间。在开始在拍摄图像(200)内移动之前,所述空间的长度(L2)是图像区域(210、210’)的长度(L1)的至少20%。此外,裁切图(210、210’)可以在其右侧留出长度为(L3)的较小空间,如图11所示,L2≥L3。技术人员认识到由图像拍摄装置(即,摄像头)拍摄的原始图像(400)的大小可能是限制。图像区域(210)的孔径角(α)可以取决于摄像头的镜头和图像传感器(即,成像器)。图像区域(210)的更宽的孔径角(α)可以通过包括弯曲表面的镜头或增加图像传感器的尺寸来实现。包括弯曲表面的镜头可能导致失真的图像。可能需要图像处理来校正失真的图像。因此,特别有利的是,裁切图(图像区域)在拍摄图像(200)上不居中,以最大化上述可用路径。
可以针对驾驶员以及占据车辆前排乘客座椅的副驾驶员执行相同的裁切图移动,为此提供了CMS的另一摄像头。在常规后视镜的情况下,使用具有不同位置和/或尺寸的后视镜。然而,在CMS的情况下,可以使用用于调整FOV的相同值,从而保持车辆两侧的FOV对称性。
裁切图移动与驾驶员头部移动之间的关系可以是线性的,但可以存在其它另选方案,例如,针对不同驾驶场景,诸如:i)CMS FOV保持固定或变化非常小的死区,因为驾驶员在高速公路上独自右行,以及ii)裁切图位移需要更显著的另一区域,因为驾驶员正在并入高速公路或改变车道。
因此,裁切图的线性移动可以是垂直的、水平的,并且最终裁切图可以是斜向移动的。此外,可以可选地放大/缩小裁切图。缩小是增大裁切图(显示图像)的大小,而放大是减小裁切图(显示图像)的大小。此外,如果姿势检测器是摄像头,则可以检测到驾驶员的视线,即,驾驶员正在看着的点。因此,根据另外的可能示例,当存在头部移动时以及如果驾驶员正在看着显示器时,ECU可以执行数字平移。因此,根据该示例,如果存在头部移动但驾驶员没有看显示器,则不移动裁切图。因此,每次驾驶员移动他/她的头部时,显示图像并不总是移动,仅当检测到的姿势符合阈值或某些标准时才移动。
总结上一段,可以在x、y和z三个轴上检测驾驶员头部,其中驾驶轴(表示为x)是必不可少的,另外两个轴是可选的/附加的。ECU既可以处理头部的位置,也可以处理头部相对于驾驶员显示屏的相对角度(阿尔法角,如果从顶视图看)。如果驾驶员向前移动他/她的头部,则他/她正在增大阿尔法角并在根据水平轴x的直线方向上将裁切图移位至显示屏左侧。
ECU可以至少基于头部位置(由x、y、z坐标定义)的变化或至少基于头部的阿尔法角(顶视图)、贝塔角(横向视图)、伽马角来处理和移动裁切图。ECU可以基于由姿势检测器获得的以下数据(由传感器测量或从由摄像头拍摄的头部图像中提取)执行数字平移(移动裁切图):
-头部沿驾驶方向(车辆纵轴)的移动(位置变化)。
-仅考虑驾驶方向的情况下,头部的相对阿尔法角/贝塔角。这些角度的变化完全取决于头部位置的变化,因为驾驶员的显示设备是固定的。阿尔法角是从顶视图看到的、头部与摄像头之间的相对角度。
-头部沿驾驶方向和横向轴的移动(位置变化),该横向轴从一侧到一侧:从外部(驾驶员的)后视镜到另一(副驾驶员的)后视镜。
-考虑到驾驶方向及从一侧到一侧的横向轴的情况下,相对阿尔法角/贝塔角。
-沿驾驶方向、从一侧到一侧(从一个外部后视镜到另一外部后视镜)的横向轴以及头部相对于地面(车辆底板或路面)的高度的移动(位置变化)。
-头部相对于显示器的、从车辆侧面看到的相对角度,即,由头部相对于地面的高度确定的角度。
当驾驶员在后视镜前(没有任何相对角度)时,由后视镜反射的图像与显示器上显示的图像重合,即,两个图像完全相同。然而,如果驾驶员头部与后视镜(1000)之间存在相对角度或存在头部移动,则这些图像既不相同也不等效,如图7所示。头部向前移动时,驾驶员眼睛从第一位置(E51)到第二位置(E52):对应于驾驶员眼睛第一位置(E51)的、相对于反射后视镜(1000)的驾驶员视角(a1、a2)不同于对应于第二位置(E52)的驾驶员视角(b1、b2)。两个图像之间存在较大差异的情况是当头部按照与镜子(1000)相同的水平线向前移动时。拍摄图像只是覆盖外部FOV的(即,由与后视镜相关联的摄像头拍摄的)原始图像的对称图像,但是常规后视镜不会被所述拍摄图像模拟。因此,从计算上讲,这有利地不那么乏味。也就是说,来自反射镜的反射图像与通过图像处理(对称)加上由所提出的CMS执行的裁切+平移获得的显示图像既不相同也不在技术上等同。
图7示出了在常规反射后视镜(1000)中反射的光线(optical line)与由布置在机动车外侧的摄像头拍摄的视野之间的比较。当驾驶员头部从第一位置(E51)向前移动至第二位置(E52)时,反射光线(即,驾驶员通过镜子看到的东西)变得越来越平行。因此,对应于第二位置(E52)的第二角度(b1、b2)大于对应于第一位置(E51)的第一角度(a1、a2)。请注意,如果角度增大,则这意味着光线趋于平行,而当光线平行时,图像会失真。当驾驶员头部在前方很远时(几乎与镜子在同一水平线上),本发明的显示图像(即,图像区域(210))与驾驶员能够在常规后视镜(1000)中看到的东西非常不同。当驾驶员将他/她的头部向前移动接近镜子(1000)时(即,将头部移动至图7中的左侧时),由于头部位于更靠近常规反射镜(1000)的位置这一事实,所以常规反射镜(1000)实际是放大的。另外,根据图像区域(210)由单个裁切图形成的该特定实施方式,常规反射镜1000在驾驶员移动他/她的头部时改变所显示/所反射的视野,而由显示装置显示的、由外侧摄像头拍摄的视野始终是恒定的FOV。
在图8中添加了驾驶员眼睛的另一另外(第三)位置,使得可以示出驾驶员移动他/她的头部时光线的变化。镜子(1000)中的描绘正方形(1001)表示CMS摄像头的镜头,描绘三角形(1002)表示与后视镜(1000)相关联的所述CMS摄像头的FOV,即,等效于拍摄图像。图8示出了由与后视镜(1000)相关联的外侧摄像头拍摄的图像与常规反射后视镜的光线之间的比较。在图8的该示例中,可以清楚地观察到对应于第一位置(E61)、第二位置(E62)和第三位置(E63)的相应光线变得逐渐更加倾斜,所以当驾驶员眼睛移动接近镜子(1000)时,相对角度使得由反射镜(1000)观察到的图像与真实量级(magnitude)不一致(因此CMS图像(仅仅是对称图像)与反射图像之间的差异变得越来越突出)。重要的是要注意这两个图像(反射图像和显示图像)并不相同并且随着驾驶员头部位置越靠前(即,随着摄像头/镜子与驾驶员头部之间的相对角度变化)差异会更加突出。
图9示出了表示拍摄图像内的裁切图的三角形(1003),由另一三角形表示的拍摄图像是原始图像或其对称图像。图9示出了驾驶员使用常规镜子的反射图像感知的图像与驾驶员显示设备显示的图像之间的差异。当驾驶员头部位置改变时,显示FOV的孔径角(α)不会改变。更具体地,当CMS与驾驶员头部之间的相对角度改变时,孔径角(α)的值保持固定。相反,当驾驶员头部的位置改变(其相对角度阿尔法改变)时,显示FOV或裁切图(即,图像区域(210))确实改变,因为图像区域(210)在拍摄图像内移动。当驾驶员头部向前移动时,图像区域(210)的孔径角(α)保持固定,因为所述角度(α)与检测到的头部/身体位置无关,但是在图9中由三角形(1003)表示的图像区域(210)在拍摄图像内至少水平移动。拍摄图像仅仅是由CMS的图像拍摄装置拍摄的原始图像的对称图像。如果车辆(10)后面有一堵墙,则摄像头无法拍摄到墙后面的任何图像,因此三角形(1003)会被截断。三角形(1003)的孔径角(α)对于第一位置(E61)与对于第二位置(E62)和第三位置(E63)是相同的。
也就是说,待显示图像区域(210)包括固定的FOV孔径角(α)。
图10示出了常规反射后视镜(1000)的孔径角(a1’、a2’)(图10的上象限A)与本发明的优选实施方式的孔径角(C1、C2)(图10的下象限B)之间的比较。此外,图10例示了所获得的驾驶员身体部位(例如,驾驶员头部)的位置与以下项之间的相对角度(X1、X2):
(i)图像拍摄装置(例如,摄像头),如果图像拍摄装置位于车辆(10)的左侧或右侧(例如,与外部后视镜相关联的摄像头);
(ii)电子显示设备,如果图像拍摄装置(例如,与内部后视镜相关联的摄像头)位于车辆(10)的车顶上。
如图10所示,示出了驾驶员眼睛的第一位置(E11)和当头部向前移动时驾驶员眼睛的第二位置(E12)。对应于该第一位置(E11)的、相对于反射后视镜(1000)的驾驶员视角(a1’)(在图10左侧表示)大于对应于第二位置(E12)的驾驶员视角(a2’)(在图10右侧表示);即,a1’>a2’,如之前在图7中所解释的那样。图10还示出了光轴(E1、E2)作为三角形的平分线,该三角形分别表示第一位置(E11)和第二位置(E12)的FOV;在图10的上半部分(A)中表示的常规系统的情况下,FOV在反射后视镜(1000)中直接显示给驾驶员,根据在图10的下半部分(B)中表示的、本发明的优选实施方式,FOV显示为裁切图。在图10的示例中,当驾驶员眼睛从第一位置(E11)转到第二位置(E12)时:
-驾驶员眼睛与左侧外部后视镜(1000)的相对角度(X1、X2)增大,即,X2>X1;
-光轴(E1、E2)的角度(EO1、EO2)增大,即,EO2>EO1;
-相对于所述外部后视镜(1000)的驾驶员视角(a1’、a2’)减小,即,a1’>a2’,该驾驶员视角(a1’、a2’)定义了常规系统的后视镜(1000)中示出的FOV的孔径;
-针对第一位置(E11)和第二位置(E12)显示的裁切图或FOV的孔径角(C1、C2)保持不变,即,C1=C2。
因此,由于驾驶员眼睛位置从E11到E12的变化,所以相对于角度X1到X2的变化,裁切图的孔径保持不变,C1=C2。请注意,驾驶员眼睛与常规侧面外部后视镜(1000)之间的相对角度不是驾驶员眼睛与位于外侧并与外部后视镜相关联的摄像头之间的相对角度。例如,在汽车(通常不是卡车)中,反射镜被外部摄像头取代,该外部摄像头不必准确定位在其在镜子中的位置(例如,它可以稍微低一点并且对驾驶员不可见)。在卡车的情况下,后视镜很可能不会被外部摄像头取代,镜子和摄像头共存并以互补方式工作。
此外,还存在另一可变因素:驾驶员眼睛与后视镜之间的距离。在第二位置(E12),驾驶员头部更靠近后视镜,所以存在“放大”,该“放大”减少了单个裁切图的孔径角(C1、C2)。因此,显示FOV的角度(C1、C2)针对角度X1、X2的变化是恒定的,但在“放大/缩小”时改变。
此外,拍摄驾驶员图像并用作姿势检测器的车辆内部摄像头不仅可以感测他/她头部的位置/移动,还可以检测眼睛。然后,ECU可以可选地根据由所述内部摄像头(姿势检测器)提供的图像建立两眼之间的中点:可以将头部的检测建立为两眼之间的中点。另一选项是计算头部的轮廓。摄像头可以拍摄脸部的不同部位(耳朵、嘴巴/嘴唇、鼻子等)。
图11示出了另一(第二)实施方式,其中显示图像区域(210)包括由ECU选择的两个图像区域或裁切图:第一裁切图(210’)和对应于附加扩展视图(220)的第二裁切图。第一裁切图(210’)由电子控制单元ECU从拍摄图像(200)中选择并包含车辆(10)的外部部分的一部分。附加扩展视图(220)是由ECU从拍摄图像(200)中选择的第二裁切图,其中所述附加扩展视图(220)位于第一裁切图(210’)旁边。如图11所示,附加扩展视图(220)可以具体地位于第一裁切图(210’)旁边(即,与第一裁切图(210’)相邻),并且可以优选地具有与第一裁切图(210’)相同的高度。姿势检测器被配置为获得驾驶员身体的至少一个部位(例如,驾驶员头部)的至少一个位置,并且ECU被配置为在驾驶员头部与摄像头监测系统(i)针对ERMS的摄像头或ii)针对IRMS的显示器)之间的检测到的相对角度(X1、X2)增大时,基于至少一个获得位置,通过在长度上扩大附加扩展视图(220)来调整外部FOV的显示图像区域(210)。也就是说,当姿势检测器检测到相对角度(X1、X2)增大时(即,当驾驶员在超车前向前移动他/她的头部时),则ECU被配置为水平向外地拉长(即,扩大)附加扩展视图(220)。此外,当姿势检测器检测到相对角度(X1、X2)减小时,则ECU被配置为将附加扩展视图(220)水平向内缩短(即,收缩)回到初始情况。优选地,ECU被配置为随着相对角度(X1、X2)增大或减小而相应逐渐扩大或收缩。重要的是要注意所示示例随着驾驶员头部相对于CMS的相对角度的增大而增大图像区域(210)的孔径角(α)。因此,附加扩展视图(220)使得能够获得驾驶员车辆的外部横向相邻区域的改善视野,因为它减少了超车时的盲点区域。重要的是要注意,根据该示例,即使头部向前移动时,驾驶员也将始终始终看到车辆外侧的至少一部分。也就是说,无论驾驶员头部移动如何,第一裁切图(210’)都保持固定(即,不变)。
因此,对本发明的第一实施方式(其中,只存在一个由ECU选择的单个裁切图)和本发明的第二实施方式(其中,存在由ECU选择的两个裁切图)进行比较:
-在第一实施方式中,显示图像区域(210)的孔径角(α)相对于驾驶员头部与显示设备之间的相对角度的任何变化是固定的;
-在第二实施方式中,由第一裁切图(210’)和附加扩展视图(220)或第二裁切图形成的显示图像区域(210)的孔径角(α)随着驾驶员头部与显示设备之间的相对角度增大而增大。
优选地,至少当驾驶员向前移动他/她的头部时,增加附加扩展视图(220)的长度。由于驾驶员头部与显示设备之间的相对角度的增大/减小,附加扩展视图(220)逐渐增加/减少其水平长度;而无论驾驶员头部移动如何,第一裁切图(210’)都保持不变,以确保一直显示车辆的外部横向部分。曾经显示的第一裁切图(210’)小于显示设备。因此,显示设备足够大以显示两个裁切图(210’)和附加扩展视图(220)。
根据另一示例,如果未检测到头部移动(即,在正常驾驶情况期间,驾驶员没有超车),则可以关闭所述附加扩展视图(220)。随着驾驶员头部向前移动,驾驶员头部与显示设备之间的相对角度增大,因此当ECU检测到相对角度超过阈值时,ECU被配置为生成扩展视图(220)而不修改第一裁切图(210’)。根据可能实施方式,第一裁切图(210’)不显示在整个屏幕尺寸上。由于第一裁切图(210’)小于显示设备的实际尺寸,所以如图11所示,存在空间可用于显示并且随后可用于扩大附加扩展视图(220)。根据该示例,在驾驶时始终显示第一裁切图(210’),并且该第一裁切图在拍摄图像(200)内的位置以及大小和形状方面都是固定的(即,随时间推移恒定)。另一方面,附加扩展视图(220)可以不是固定的,因为它可以增加其长度。即,整个显示图像区域(210)的孔径角(α)基于相对角度(X1、X2)的检测到的增大而增大。
根据可能示例,图11还示出了由传感器(姿势检测器)检测到的驾驶员头部的移动与显示附加扩展视图(220)在拍摄图像200内的扩大之间的关系。在该示例中,驾驶员头部沿驾驶方向的移动被转换成显示附加扩展视图(220)的在水平方向上处理(由ECU)的增长。因此,驾驶员看到的视场FOV的变化(即,调整)是通过拉长第二裁切图(220)间接执行的,这导致驾驶员看到的新的FOV。
ECU执行图像处理,以:
-获得拍摄图像(200),作为由图像拍摄装置拍摄的(原始)图像的对称图像,并且该对称图像可以通过ECU的图像处理获得(尽管对称性通常由图像拍摄装置的图像传感器或成像器直接执行);
-获得小于拍摄图像200并且包含车辆10外侧的至少一部分的第一裁切图(210);以及
-对显示附加扩展视图(220)进行数字扩大,从而增加其长度。
显示附加扩展视图220的数字扩大可以是根据预先建立的关系的。预先建立的关系可以是线性的或非线性的(参见图3)。
例如,当车辆行驶时,一直显示第一裁切图(210’)。另一方面,ECU被配置为生成指令以至少将附加扩展视图(220)水平放大第一裁切图(210’)的总长度的40%。这对应于驾驶员将他/她的头部向前(即,在车辆(10)的驾驶方向上)移动200毫米的情况。
根据该所示实施方式,ECU被配置为水平扩大所显示的附加扩展视图(220),以达到拍摄图像(200)的极限。优选地,当驾驶员头部处于通常的驾驶位置时,第一裁切图(210’)位于拍摄图像的右侧,而当头部向前移动时,附加扩展视图(220)向左扩大,如图11所示。也就是说,第一裁切图(210’)最初在拍摄图像中不是居中的,而是通常位于右侧。因此,为驾驶员提供显示器上的路径,以增加附加扩展视图(220)沿拍摄图像的长得多的水平轴的长度。具体地,第一裁切图(210’)未居中,以在拍摄图像(200)内在其左侧留出未显示的可用空间。所述空间的长度(L2)至少是第一裁切图210’的长度(L1)的20%。此外,长度(L2)至少是从拍摄图像(200)的右边界起留出的最小长度(L3)的两倍长。
附加扩展视图的线性移动可以是垂直的、水平的,并且最终所述第二裁切图可以对角移动(未示出)。可选地,传感器可以被配置为在三维空间中对驾驶员身体的至少一个部位进行检测,并且其中,ECU可以被配置为选择挨着第一图像区域(210’)定位的附加扩展视图(220),其中,附加扩展视图(220)根据所确定的在垂直方向上的身体移动来在拍摄图像(200)内逐渐垂直向下扩展其高度,并且其中,第一图像区域(210’)保持固定(即,不变)(未示出)。
此外,可以可选地放大/缩小形成显示图像区域(210)的第一裁切图(210’)和第二裁切图(220)。缩小是增大两个裁切图(210’、220)中任一者的大小,而放大是减少所述裁切图(210’、220)中的任一者的大小。此外,如果姿势检测器是摄像头,则可以检测驾驶员视线,即,驾驶员正在看着的点。因此,根据另外的可能示例,当检测到头部移动时并且如果驾驶员还正在看着显示设备时,ECU可以执行附加扩展视图(220)的数字扩大。因此,根据该示例,如果存在头部移动但驾驶员没有看着显示器,则不显示附加扩展视图(220)。因此,并不总是在每次驾驶员移动他/她的头部时显示附加扩展视图(220),仅当检测到的姿势符合阈值或某些标准时才显示。
总结上述内容,可以在x、y和z三个轴上检测驾驶员头部,其中驾驶轴(表示为x)是必不可少的,另外两个轴是可选的/附加的。ECU既可以处理头部的位置,也可以处理头部相对于驾驶员显示屏的相对角度。如果驾驶员向前移动他/她的头部,则他/她正在增大阿尔法角并至少在根据水平轴x的直线方向上将附加扩展视图(220)扩大至显示屏左侧。
图12示出了从顶视图看,孔径角(α1、α2)随着超越另一车辆(10’)时驾驶员头部向前移动而增大。在驾驶员眼睛/头部的第一位置(E51),孔径角具有初始值(α1)。当车辆(10)的驾驶员开始超越另一车辆(10’)时,驾驶员头部转到第二位置(E52),并且孔径角取另一值(α2),其中α2>α1。这种孔径角增大转换成显示图像区域(210)的水平长度的增加,如图11所示,因为可扩展的第二裁切图(220)被添加至第一裁切图(210’)并水平向外地扩大。
图13示出了将可扩展的第二裁切图(220)添加至第一裁切图(210’)以形成显示图像区域(210)的另一选项,当驾驶员头部向上移动几毫米(例如,停车查看地面并检查任何路缘石或另一障碍物)时,这可以垂直向下扩大。
图14示出了CMS配备有具有两个不同部分的电子显示设备(500):显示第一裁切图210’的第一部分(5001)和显示附加扩展视图(220)的第二部分(5002)。根据一个示例,显示设备(500)是一个单个屏幕,优选地是触摸屏。根据另一示例,显示设备(500)包括两个不同屏幕。在具有两个屏幕的情况下,由ECU区分的第一部分(5001)可以在第一屏幕中实现,该第一屏幕可以是非触摸的则更便宜,第二部分(5002)可以在第二屏幕中实现,该第二屏幕可以是触敏的。第二部分(5002)优选地小于第一部分(5001)。一个技术优势是非触敏屏幕的成本。此外,驾驶员可以在第二部分(5002)中执行“触摸和拖动”操作,以移动显示图像区域(210)。当驾驶员即将开始驾驶时,对摄像头监测系统CMS进行初始校准可能是有利的。这样做的技术优势是第一部分(5001)不会变脏。此外,第二部分(5002)可以显示与第一部分(5001)的亮度和/或对比度和/或颜色相关的参数。如所解释的,当ECU确定必须显示附加扩展视图(220)时,第二屏幕仅显示附加扩展视图(220),而在车辆(10)的发动机运转时,第一屏幕一直显示第一裁切图(210’)。例如,驾驶员可以校准CMS,使得指示OK符号的驾驶员拇指移动可以打开附加扩展视图(220)。显示在第一屏幕上的第一裁切图(210’)是固定的(即,不因改变驾驶员头部位置而变化),因此确保了在发动机运转的任何时候显示车辆(10)外侧的至少一部分,即使驾驶员头部向前移动。
如图14所示,为了在显示设备(500)中实现上述两个部分(5001、5002),CMS还包括至少部分覆盖显示设备(500)的框架(300)。该框架(300)具有与显示设备(500)相同的尺寸或明显更大以至少覆盖整个显示设备(500)。框架(300)是盖,该盖优选地由塑料或玻璃制成,其还保护显示设备(500)免受冲击和损坏,因为触摸屏可能相对脆弱。框架(300)可以部分着色。优选地,着色是黑色。所述框架(300)不允许由显示设备(500)发出的所有光都可以通过。因此,驾驶员不会在框架被着色的位置(即,丝印位置)看到由显示器发出的光。例如,框架(300)被放置在触摸屏的顶部,因此用户看到的是“框架”,因为它被放置在屏幕与用户之间。
另选地,如图15所示,本发明的第三实施方式包括显示设备(500)的两种工作状态:第一状态对应于姿势检测器检测到所检测的驾驶员头部超过阈值时,例如,超车时,然后作为附加扩展视图(220)的第二图像区域被完整地显示(即,打开)在第二部分(5002)上,如图15的右图所示。第二状态对应于检测到驾驶员头部回到初始位置(即,正常驾驶)时根本不显示第二图像区域(220),即,第二部分(5002)关闭,如图15的左图所示。第二实施方式与第三实施方式的区别在于,第二实施方式的扩展视图是连续扩展或收缩的,而第三实施方式是整体显示(即,第一状态)或不显示(即,第二状态)。可选地,ECU可以针对第二状态生成黑色图像。本领域普通技术人员将认识到,如果在诸如OLED显示设备的LED屏幕中显示诸如黑色的深色,则具有低功耗。
如所解释的,由于实际上基于驾驶员头部的移动,如所解释的通过(i)移动图像区域(210)或裁切图或者另选地通过(ii)扩大和收缩附加扩展视图(220)正在改变(即,调整)FOV,所以另一另外的(第四)实施方式与灵敏度有关,即,改变FOV的速度(移动裁切图或增大附加扩展视图的大小的速度)。所提出的CMS允许用户校准所述灵敏度;例如,如果驾驶员移动他/她的头部10厘米,则裁切图移动10毫米;但如果驾驶员移动他/她的头部20厘米,则裁切图只移动10毫米。在另一示例中,通过将他/她的头部向前移动30厘米,第一驾驶员希望显示图像在拍摄图像内仅水平移动1厘米,而通过移动他/她的头部30厘米,第二驾驶员可能希望显示图像在拍摄图像内水平移动2厘米。也就是说,并非所有头部移动都会产生相同的裁切图位移,并且系统可以根据驾驶员偏好进行定制,以控制所述位移/移动(平移)的速度。该灵敏度校准也适用于第二实施方式,其中图像区域(210)的孔径(α)随着检测到的相对角度的增大而通过扩大(扩展/拉长)附加扩展视图而增大。
由传感器检测到的驾驶员身体部位的移动至少在车辆的驾驶方向上,相应地,平移至少是线性和水平的。优选地,所述移动也可以在垂直平面(垂直于地平面)内,并且相应地,平移移动是线性和垂直的,或者水平和垂直的组合,即,对角的。
基于头部移动的裁切图移动是通过将驾驶员头部的参考位置与其当前位置进行比较来执行的。可以针对驾驶员头部或驾驶员身体或头部的任何其它部分(优选地是面部)计算这两个位置。因此,参考位置不是相对于(汽车的)固定要素计算的,而是相对于驾驶员上半身的一部分。为了控制/定制移动裁切图时的系统灵敏度,在驾驶员开始驾驶之前对系统进行校准。该系统被配置为保存驾驶员的个人设置,以便检测各个用户并加载他/她的存储简档。因此,在驾驶时,显示图像的移动根据所述灵敏度定制(校准)而改变。也就是说,由于一些驾驶员(在驾驶时)经常移动其头部,所以FOV将发生一些变化,而其他驾驶员将需要更大的灵敏度,其中只需稍微移动其头部,FOV就会显著改变。用户可以校准(定制灵敏度)任何电子后视镜(内部和/或任何侧视镜)的摄像头监测或视觉系统(CMS)。
根据可能示例,所提出的系统的灵敏度的定制包括以下步骤:
-开始灵敏度校准:当驾驶员购买车辆或第一次驾驶车辆时,头部的某个(初始)位置与他/她想在显示器中看到的图像(显示图像(裁切图))相关联。这是在驾驶员移动他/她的头部并最终在他/她的头部处于通常驾驶位置时选择驾驶员想要显示的图像时执行的。可以使用显示设备的触摸屏来在显示器上选择图像,例如通过点击虚拟按钮或进行“触摸和拖动”。另选地并且非常有利地,可以使用能够检测驾驶员的手部/手指的位置的姿势检测器来执行与驾驶员头部的所述初始位置相关联的图像的选择,使得驾驶员不需要触摸显示设备的屏幕。姿势检测器的传感器能够拍摄驾驶员身体任何部位(包括手部)的姿势/移动。因此,姿势检测器将手指/手部的移动传输至ECU,该ECU移动裁切图,直到驾驶员在显示器上选择所确定的裁切图位置为止。
-一旦选择了与驾驶员头部的所述第一(初始)位置相关联的图像,驾驶员就将他/她的头部移动至第二位置。例如,当驾驶员想超车时头部所在的位置。和以前一样,驾驶员在显示器上移动裁切图(使用触摸屏、操纵杆,或者优选地是姿势检测器)。
-最后并且作为灵敏度校准的附加选项,驾驶员可以选择中间点的裁切图变化是否遵循线性(比例)关系,或者优选地是非线性关系(例如,表1)。
在实施方式中,姿势检测器被配置为执行“校准”,其中,针对初始“校准”,用户/驾驶员定制期望灵敏度。为此,姿势检测传感器检测(例如,头部的)第一位置和(头部的)第二位置。驾驶员选择/确定与第一位置相关联的FOV(确定裁切图的位置)和第二位置的第二FOV(确定裁切图的经调整的位置)。ECU确定显示图像/裁切图的位移。驾驶时,传感器检测驾驶员头部相对于初始参考位置的位置。基于参考位置(第一位置)与第二位置的比较,显示图像被移位(移动)。这两个位置都是动态的,它们不具有固定值,因为驾驶员可以改变他/她的头部的初始参考位置。驾驶员将第一位置与给定FOV相关联,并将第二位置与另一FOV相关联。
校准是可选的并且在驾驶前进行:用户坐在驾驶员座椅上并处于第一位置(例如,处于他/她的通常驾驶位置),选择要在显示器上看到的第一FOV(裁切图的位置)。然后,在第一位置与驾驶员在他/她处于所述位置时想要看到的相关联的第一FOV(裁切图的位置)之间建立关系。然后,驾驶员改变身体/头部的位置,例如,他/她将他/她的头部向前移动,处于对应于他/她即将变道以超过他/她前面的汽车(即,超车)时将占据的位置的第二位置。然后,当驾驶员处于所述第二位置时,他/她选择他/她想要在显示器上看到的第二FOV。因此,ECU至少有驾驶员身体/头部的两个位置,以及它们各自的第一FOV和第二FOV。此时,ECU基于驾驶员输入的这些位置建立(线性或非线性)关系,即,如果驾驶员在驾驶时处于中间位置,则裁切图(显示图像)在对应于第一FOV和第二FOV的位置之间的中间位置移动。如果该关系是线性的,则这意味着第一位置与第二位置之间的变化是成比例的,但也可以不是成比例的。
可以如下计算参考位置(第一位置):
i)驾驶员预先选择的位置,也就是说,定制校准。可选地,通过面部识别检测驾驶员并加载他/她的偏好/设置。
ii)在预先配置的时间段期间(例如,在前20秒内)的所测量的头部位置(例如,头部位置的均值或众数)。
iii)固定计算的头部位移(或众数)的平均值(均值),丢弃不太可能是参考位置的头部运动。也就是说,没有任何时间间隔来收集前一点中头部位置的测量值,而是在当前时间动态计算均值或众数(或任何其它等效统计参数)。如果当前时间的头部移动对应于驾驶操作的FOV调整(例如,头部向前移动),则针对参考位置的计算,丢弃所述头部移动,但将其视为“当前位置”。不稳定的或突然的头部移动、远离均值/众数的头部位移被丢弃。当检测到不稳定的头部位置时,可以增加每秒的头部检测次数。也就是说,当存在头部的突然移动或异常位置(远离均值/众数)时,增加检测次数,以确定参考位置。可选地,当存在所述突然移动时,所述突然移动将不被考虑用于计算参考位置。
总而言之,ECU有多种方法来确定裁切图的移动(数字平移):
(i)基于第二位置(当前位置)与第一位置(参考位置)之间的距离,ECU对存储检测位置的查找表进行查询。
(ii)ECU计算头部与显示器之间的相对角度差。ECU被配置为基于头部相对于显示器的角度的变化来在拍摄图像内移动显示图像/裁切图。
(iii)与预先配置的阈值进行比较:为移动裁切图,检测到的头部移动必须超过阈值。这使得仅当驾驶员实际上故意移动他/她的头部(例如,为了超越另一汽车)时才能够进行平移。因此,显示图像(裁切图)不会一直(即使只是一点点)四处移动。
(iv)基于驾驶员视线(即,考虑驾驶员正在看着哪个点)。也就是说,裁切图的移动不仅(仅)基于驾驶员头部的移动,而且还基于他/她是否正在看着显示屏。考虑到驾驶员视线,可以防止在例如因为驾驶员抓挠他/她的背部而发生驾驶员头部移动时改变FOV。此外,如果显示器位于头戴式设备(例如,AR眼镜)中,则必须考虑驾驶员视线。
例如,传感器或姿势检测器是摄像头(尽管它可以是雷达或另一技术)。理想的情况是,传感器或姿势检测器总是能够找到面部/身体的表示点。如果是摄像头,则传感器或姿势检测器可以检测任何面部表情,尤其是眼睛,因此它会找到两眼之间的中点。如果是雷达,则传感器或姿势检测器可以通过找到人脸轮廓然后找到中点(头部的高度除以二,头部的宽度除以二)来完成检测。
此外,裁切图的移动、这种移动的速度(灵敏度,如前所述)和/或裁切图的大小可以根据偏航角、俯仰角或滚动角、转向信号或方向盘的移动而改变。
所提出的摄像头监测系统CMS的最后示例包括:
-位于机动车(10)的外部安装组件处的图像拍摄装置,该图像拍摄装置用于从车辆(10)的外部FOV拍摄原始图像(400),所述外部FOV在车辆(10)外部至少向后扩展并且包括车辆(10)的外部部分的一部分的;优选地,图像拍摄装置至少包括与车辆(10)的左侧或右侧上的外部后视镜相关联的摄像头;
-连接至图像拍摄装置的电子控制单元ECU,ECU(500)从原始图像(400)获得拍摄图像(200);
-连接至ECU的电子显示设备,该电子显示设备用于显示包括外部FOV的至少一个图像区域(210)的图像,该至少一个图像区域(210)是由ECU从拍摄图像(200)中选择的,电子显示设备位于车辆(10)内部并且将由车辆(10)的驾驶员(11)使用;
并且CMS还包括姿势检测器,该姿势检测器被配置为获得驾驶员身体的至少一个部位的至少一个位置,其中,ECU被配置为基于至少一个获得位置对外部FOV的至少一个图像区域(210)进行调整,并且显示设备被配置为显示外部FOV的经调整的图像区域(210);
并且其中,来自原始图像(400)的所获得的拍摄图像(200)包括原始图像(400)关于竖直轴的对称图像;其中,
经调整的图像区域(210)包括定义为显示外部FOV的角度范围的孔径角(α、α1、α2),并且:
-孔径角(α)是固定的,与相对阿尔法角(X1、X2)无关;或者
-孔径角(α1、α2)随着相对阿尔法角(X1、X2)的增大而增大;
其中,相对角度(X1、X2)定义为驾驶员身体部位的位置与以下项之间的角度:
(i)图像拍摄装置,其中,所述图像拍摄装置是位于车辆(10)的左侧或右侧的;或者
(ii)电子显示设备。
经调整的图像区域(210)小于拍摄图像(200),并且可选地,在拍摄图像中不居中;相反,由电子显示设备显示的图像区域(210)位于拍摄图像的内侧、右侧或左侧,以在显示器上为驾驶员提供路径,以:
(i)在拍摄图像(200)内移动所选的图像区域(210);或者另选地,
(ii)根据所确定的在驾驶方向上的身体移动,沿拍摄图像(200)的水平轴向外扩展或收缩附加扩展视图(220)的长度;并且,在特定示例中,在开始在拍摄图像(200)内调整之前,所述路径的长度(L2)是图像区域(210、210’)的长度(L1)的至少20%,并且在开始在拍摄图像(200)内调整之前,所述路径的长度(L2)至少是在图像区域(210、210’)的另一侧定义的空间的长度(L3)的两倍长。
针对本申请中描述的所有示例,机动车(10)的用于从车辆(10)的外部视野拍摄原始图像(400)的图像拍摄装置可以至少按照每秒30帧、可选地至少按照每秒60帧工作。
请注意,在本文中,用语“包括(comprises)”及其派生词(诸如“包括(comprising)”等)不应被理解为排除意义的,也就是说,这些用语不应被解释为排除所描述和定义的可能性可以包括另外的要素、步骤等。

Claims (15)

1.一种用于机动车(10)的摄像头监测系统,所述摄像头监测系统包括:
-图像拍摄装置,所述图像拍摄装置位于所述机动车(10)的外部安装组件处,所述图像拍摄装置用于从所述机动车(10)的外部视野拍摄原始图像(400),其中,所述视野在所述机动车(10)外部至少向后扩展并且包括所述机动车(10)的外部部分的一部分;
-电子控制单元,所述电子控制单元连接至所述图像拍摄装置,所述电子控制单元(500)从所述原始图像(400)获得拍摄图像(200);
-电子显示设备,所述电子显示设备连接至所述电子控制单元,所述电子显示设备用于显示包括所述外部视野的至少一个图像区域(210)的图像,所述至少一个图像区域(210)是由所述电子控制单元从所述拍摄图像(200)中选择的,所述电子显示设备位于所述机动车(10)内部并且将由所述机动车(10)的驾驶员(11)使用;
其特征在于,所述摄像头监测系统还包括姿势检测器,所述姿势检测器被配置为获得驾驶员身体的至少一个部位的至少一个位置,其中,所述电子控制单元被配置为基于所获得的至少一个位置对所述外部视野的所述至少一个图像区域(210)进行调整,并且所述显示设备被配置为显示所述外部视野的经调整的图像区域(210)。
2.根据权利要求1所述的摄像头监测系统,其中,所述经调整的图像区域(210)小于所述拍摄图像(200),并且在所述拍摄图像(200)中不居中,其中,所述经调整的图像区域(210)位于所述拍摄图像(200)的内侧、右侧或左侧,如果所述机动车(10)用于右行交通,则所述经调整的图像区域(210)位于右内侧,或者如果所述机动车(10)用于左行交通,则所述经调整的图像区域(210)位于左内侧。
3.根据权利要求1或2所述的摄像头监测系统,其中,所述图像拍摄装置至少按照每秒30帧工作。
4.根据前述权利要求中任一项所述的摄像头监测系统,其中,所述图像拍摄装置包括图像传感器,并且其中,由所述电子控制单元获得的所述拍摄图像(200)包括所述原始图像(400)关于所述拍摄图像(200)的竖直轴对称的对称图像,所述对称图像是由所述图像传感器生成的。
5.根据前述权利要求中任一项所述的摄像头监测系统,其中,所述姿势检测器包括被配置为进行以下操作的传感器:
-检测所述驾驶员身体的所述至少一个部位的第一位置;并且
-检测所述驾驶员身体的所述至少一个部位的第二位置;
其中,所述第一位置是所述驾驶员身体的检测部位的所述第二位置之前的位置;
并且其中,所述电子控制单元被配置为选择一个单个图像区域(210),并且当X2大于X1时,在所述拍摄图像(200)内沿所述拍摄图像(200)的水平轴至少水平向外地移动所述单个图像区域(210),其中,X1是所述第一位置情况下所述驾驶员身体的所述检测部位与所述显示设备之间的相对角度,并且X2是所述第二位置情况下所述驾驶员身体的所述检测部位与所述显示设备之间的相对角度。
6.根据权利要求1所述的摄像头监测系统,其中,所述电子控制单元被配置为选择第一图像区域(210’)和附加扩展视图(220),并且其中,所述经调整的图像区域(210)包括所述第一图像区域(210’)和所述附加扩展视图(220),并且其中,所述显示设备被配置为在所述第一图像区域(210’)旁边显示所述附加扩展视图(220)。
7.根据权利要求6所述的摄像头监测系统,其中,所述电子控制单元被配置为根据所获得的所述驾驶员身体的部位的位置,通过逐渐扩展或收缩所述附加扩展视图(220)的长度来调整所述图像区域(210),而所述第一图像区域(210’)的大小和位置两者保持不变。
8.根据权利要求6所述的摄像头监测系统,其中,所述电子控制单元被配置为使所述电子显示设备根据以下两种状态中的一种工作:i)当所述电子控制单元检测到所获得的所述驾驶员身体的部位的位置变化时,以第一状态显示所述附加扩展视图(220);ii)当所述电子控制单元检测到所获得的所述驾驶员身体的部位的位置等于初始位置时,不显示所述附加扩展视图(220)。
9.根据权利要求7或8所述的摄像头监测系统,其中,所述电子控制单元被提供所述原始图像(400)关于竖直轴对称的对称图像,作为所述拍摄图像(200),所述对称图像是由以下项中的一者生成的:(i)所述图像拍摄装置的图像信号处理器;(ii)所述电子控制单元;以及(iii)由所述图像拍摄装置提供的摄像头的图像传感器。
10.根据前述权利要求中任一项所述的摄像头监测系统,其中,所述电子显示设备位于头戴式设备中。
11.根据前述权利要求中任一项所述的摄像头监测系统,其中,所述电子控制单元还被配置为通过执行以下步骤来确定所述摄像头监测系统的灵敏度:
-选择所述拍摄图像(200)内的所述图像区域(210)的与所述驾驶员身体的所述至少一个部位的第一位置相对应的第一位置;
-选择所述拍摄图像(200)内的所述图像区域(210)的与所述驾驶员身体的所述至少一个部位的第二位置相对应的第二位置;
-定义所述图像区域(210)的所选择的第一位置与所选择的第二位置之间的关系是线性关系或非线性关系;
-通过根据所定义的关系选择所述图像区域(210)的中间位置来确定所述灵敏度,所述中间位置对应于所述驾驶员身体的介于所述驾驶员身体的所述第一位置与所述驾驶员身体的所述第二位置中间的位置。
12.根据前述权利要求中任一项所述的摄像头监测系统,其中,所述图像拍摄装置至少包括与位于所述机动车(10)左侧或右侧的外部后视镜相关联的摄像头和/或至少包括与内部后视镜相关联的摄像头,其中,与所述外部后视镜相关联的视野还在所述机动车(10)外部至少侧向扩展并且包括所述机动车(10)的外部横侧部分的一部分。
13.一种显示用于机动车的摄像头监测系统的图像的方法,所述方法包括以下步骤:
-通过位于机动车的外部安装组件处的图像拍摄装置拍摄所述机动车(10)的外部视野的原始图像,其中,所述视野在所述机动车(10)外部至少向后扩展并且包括所述机动车(10)的外部部分的一部分;
-执行所述原始图像的对称图像;
-向电子控制单元提供所述对称图像;
-由所述电子控制单元选择至少一个图像区域(210),其中,所述至少一个图像区域(210)小于所述对称图像(200);
-通过电子显示器显示所述至少一个图像区域(210);
-通过姿势检测器获得驾驶员身体的至少一个部位的至少一个位置;
-基于所获得的至少一个位置来调整所述至少一个图像区域(210);以及
-显示经调整的所述图像区域(210)。
14.根据权利要求13所述的方法,其中,调整所述至少一个图像区域(210)的步骤包括:由所述电子控制单元基于所获得的所述驾驶员身体的至少一个位置,在所述对称图像(200)内至少水平地移动所述至少一个图像区域(210)。
15.一种确定摄像头监测系统的灵敏度的方法,所述方法包括以下步骤:
-通过位于机动车的外部安装组件处的图像拍摄装置拍摄所述机动车(10)的外部视野的原始图像,其中,所述视野在所述机动车(10)外部至少向后扩展并且包括所述机动车(10)的外部部分的一部分;
-向电子控制单元提供来自所述原始图像(400)的拍摄图像(200);
-由所述电子控制单元选择至少一个图像区域(210),其中,所述至少一个图像区域(210)小于所述拍摄图像(200);
-通过电子显示器显示所述至少一个图像区域(210);
-通过姿势检测器获得驾驶员身体的至少一个部位的至少一个位置;
-由所述电子控制单元选择所述拍摄图像(200)内的图像区域(210)的与所述驾驶员身体的所述至少一个部位的第一位置相对应的第一位置;
-由所述电子控制单元选择所述拍摄图像(200)内的所述图像区域(210)的与所述驾驶员身体的所述至少一个部位的第二位置相对应的第二位置;
-由所述电子控制单元定义所述图像区域(210)的所选择的第一位置与所选择的第二位置之间的关系是线性关系或非线性关系;以及
-通过由所述电子控制单元根据所定义的关系选择所述图像区域(210)的中间位置来确定所述灵敏度,所述中间位置对应于所述驾驶员身体的介于所述驾驶员身体的所述第一位置与所述驾驶员身体的所述第二位置中间的位置。
CN202111064047.0A 2020-09-11 2021-09-10 用于机动车的摄像头监测系统及其图像显示方法 Active CN114248689B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20382801.7 2020-09-11
EP20382801.7A EP3967552A1 (en) 2020-09-11 2020-09-11 Camera monitoring system for motor vehicles

Publications (2)

Publication Number Publication Date
CN114248689A true CN114248689A (zh) 2022-03-29
CN114248689B CN114248689B (zh) 2024-04-02

Family

ID=72709277

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111064047.0A Active CN114248689B (zh) 2020-09-11 2021-09-10 用于机动车的摄像头监测系统及其图像显示方法

Country Status (4)

Country Link
US (1) US11694448B2 (zh)
EP (1) EP3967552A1 (zh)
JP (1) JP2022047522A (zh)
CN (1) CN114248689B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112055963A (zh) * 2018-05-08 2020-12-08 索尼半导体解决方案公司 图像处理装置、移动装置、方法和程序
EP4304897A1 (en) * 2021-03-12 2024-01-17 Stoneridge, Inc. Vehicle camera mirror system with adjustable video feed

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278821A1 (en) * 2007-05-09 2008-11-13 Harman Becker Automotive Systems Gmbh Head-mounted display system
DE102007044536A1 (de) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
EP2743133A2 (en) * 2012-12-13 2014-06-18 Nissan Motor Manufacturing (UK) Ltd. Camera system
CN104604218A (zh) * 2012-07-24 2015-05-06 株式会社电装 车辆用视场辅助装置
CN105075247A (zh) * 2013-02-28 2015-11-18 爱信精机株式会社 车辆的控制装置及程序
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
CN106537903A (zh) * 2014-08-11 2017-03-22 精工爱普生株式会社 拍摄装置、拍摄显示装置以及车辆
CN106660485A (zh) * 2014-06-19 2017-05-10 依维柯股份公司 用于辅助车辆驾驶的后视系统
US20170166131A1 (en) * 2014-08-12 2017-06-15 Sony Corporation Signal processing device, signal processing method, and monitoring system
US20180050639A1 (en) * 2016-08-19 2018-02-22 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Reactive smart rear view display mirror
CN108394345A (zh) * 2017-02-08 2018-08-14 丰田自动车株式会社 图像显示装置
US20180304814A1 (en) * 2017-04-24 2018-10-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view mirror-like perspective change system and method
US20190075253A1 (en) * 2016-09-08 2019-03-07 JVC Kenwood Corporation Vehicular display control device, vehicular display system, vehicular display control method, and non-transitory storage medium
US20190197327A1 (en) * 2017-12-22 2019-06-27 Texas Instruments Incorporated Digital mirror systems for vehicles and methods of operating the same
US20200231091A1 (en) * 2019-01-23 2020-07-23 Honda Motor Co., Ltd. Display system, vehicle control apparatus, display control method, and storage medium for storing program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1804233A4 (en) * 2004-10-20 2009-05-27 Fujitsu Ten Ltd DISPLAY DEVICE
US9102269B2 (en) * 2011-08-09 2015-08-11 Continental Automotive Systems, Inc. Field of view matching video display system
US10946798B2 (en) * 2013-06-21 2021-03-16 Magna Electronics Inc. Vehicle vision system
US9073493B1 (en) 2014-04-10 2015-07-07 Qualcomm Incorporated Method and apparatus for adjusting view mirror in vehicle

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080278821A1 (en) * 2007-05-09 2008-11-13 Harman Becker Automotive Systems Gmbh Head-mounted display system
DE102007044536A1 (de) * 2007-09-18 2009-03-19 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung zum Überwachen der Umgebung eines Kraftfahrzeugs
CN104604218A (zh) * 2012-07-24 2015-05-06 株式会社电装 车辆用视场辅助装置
EP2743133A2 (en) * 2012-12-13 2014-06-18 Nissan Motor Manufacturing (UK) Ltd. Camera system
CN105075247A (zh) * 2013-02-28 2015-11-18 爱信精机株式会社 车辆的控制装置及程序
CN106660485A (zh) * 2014-06-19 2017-05-10 依维柯股份公司 用于辅助车辆驾驶的后视系统
CN106537903A (zh) * 2014-08-11 2017-03-22 精工爱普生株式会社 拍摄装置、拍摄显示装置以及车辆
US20170166131A1 (en) * 2014-08-12 2017-06-15 Sony Corporation Signal processing device, signal processing method, and monitoring system
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
US20180134217A1 (en) * 2015-05-06 2018-05-17 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
US20180050639A1 (en) * 2016-08-19 2018-02-22 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Reactive smart rear view display mirror
US20190075253A1 (en) * 2016-09-08 2019-03-07 JVC Kenwood Corporation Vehicular display control device, vehicular display system, vehicular display control method, and non-transitory storage medium
CN108394345A (zh) * 2017-02-08 2018-08-14 丰田自动车株式会社 图像显示装置
US20180304814A1 (en) * 2017-04-24 2018-10-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view mirror-like perspective change system and method
US20190197327A1 (en) * 2017-12-22 2019-06-27 Texas Instruments Incorporated Digital mirror systems for vehicles and methods of operating the same
US20200231091A1 (en) * 2019-01-23 2020-07-23 Honda Motor Co., Ltd. Display system, vehicle control apparatus, display control method, and storage medium for storing program

Also Published As

Publication number Publication date
US20220083794A1 (en) 2022-03-17
CN114248689B (zh) 2024-04-02
JP2022047522A (ja) 2022-03-24
US11694448B2 (en) 2023-07-04
EP3967552A1 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
US11034299B2 (en) Vehicular vision system with episodic display of video images showing approaching other vehicle
CN107444263B (zh) 车辆用显示装置
RU147024U1 (ru) Система заднего обзора для транспортного средства
KR101511587B1 (ko) 헤드업 디스플레이 정보 표시 장치 및 방법
JP5093611B2 (ja) 車両周辺確認装置
CN114248689B (zh) 用于机动车的摄像头监测系统及其图像显示方法
US11582425B2 (en) Driver monitoring system using camera with adjustable mirror
WO2014130049A1 (en) Systems and methods for augmented rear-view displays
US20210331622A1 (en) Vehicular around view monitoring system through adjustment of viewing angle of camera, and method thereof
JP2018118622A (ja) ヘッドアップディスプレイ装置および表示制御方法
KR102130059B1 (ko) 디지털 백미러 제어 유닛 및 방법
JP4849333B2 (ja) 車両用視覚補助装置
US20220185183A1 (en) Periphery-image display device and display control method
WO2018126257A1 (en) Automatic eye box adjustment
US10390001B2 (en) Rear view vision system for a vehicle
WO2019034916A1 (en) SYSTEM AND METHOD FOR PRESENTING AND CONTROLLING VIRTUAL CAMERA IMAGE FOR A VEHICLE
JP2017056909A (ja) 車両用画像表示装置
GB2402013A (en) Automatic focal length control
EP3184364B1 (en) Rear view device for a vehicle
KR102347876B1 (ko) 증강현실 헤드업 디스플레이의 표시 위치 제어 장치
JP7398637B2 (ja) 表示制御装置、車両及び表示制御方法
JP2006137209A (ja) 車両用防眩装置
JP6459071B2 (ja) 車両用表示装置
US20220292841A1 (en) Vehicle camera mirror system with adjustable video feed
JP7429865B2 (ja) 表示制御装置、車両及び表示制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant