CN109937158B - 具有眼睛跟踪的后视系统 - Google Patents

具有眼睛跟踪的后视系统 Download PDF

Info

Publication number
CN109937158B
CN109937158B CN201780068812.1A CN201780068812A CN109937158B CN 109937158 B CN109937158 B CN 109937158B CN 201780068812 A CN201780068812 A CN 201780068812A CN 109937158 B CN109937158 B CN 109937158B
Authority
CN
China
Prior art keywords
vehicle
image
mirror
view
rearview
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780068812.1A
Other languages
English (en)
Other versions
CN109937158A (zh
Inventor
小D·D·费斯特林
B·R·瑞琴加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gentex Corp
Original Assignee
Gentex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gentex Corp filed Critical Gentex Corp
Publication of CN109937158A publication Critical patent/CN109937158A/zh
Application granted granted Critical
Publication of CN109937158B publication Critical patent/CN109937158B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/04—Rear-view mirror arrangements mounted inside vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1223—Mirror assemblies combined with other articles, e.g. clocks with sensors or transducers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于车辆(12)的后视系统(10)，包括摄像头(14)，所述摄像头安装在车辆(12)上，并捕获所述车辆(12)后方的视场(16)；后视镜(20)，所述后视镜上包括显示基板(22)；和图像(30)传感器(24)，所述图像传感器指向所述车辆(12)的内部(26)，并被配置成捕获对象的图像(30)数据。所述系统(10)还包括控制器(28)，所述控制器与所述摄像头(14)通信，并接收与所述视场(16)对应的第一尺寸的第一视频图像(30)；与所述图像(30)传感器(24)通信以在所述图像(30)数据内确定所述对象的位置；以及与所述显示基板(22)通信以在其上呈现所述第一视频图像(30)的部分，所述部分具有比所述第一尺寸的小的尺寸。基于确定的所述对象的位置，选择所述第一视频图像(30)的部分以与所述视场(16)的预期部分对应。

Description

具有眼睛跟踪的后视系统
技术领域
本发明大体上涉及一种全显示镜系统，且更具体地涉及一种用于基于检测的驾驶员的眼睛的位置选择要显示的图像部分的控制方案。
背景技术
现有技术存在已知的全显示镜系统。然而，开发改进的全显示镜系统一直是本领域的目标。
发明内容
根据本公开的一个方面，用于车辆的后视系统包括：摄像头，所述摄像头安装在车辆上，并捕获所述车辆后方的第一区域的视场；后视镜，所述后视镜上包括显示基板；和图像传感器，所述图像传感器指向所述车辆的内部，并被配置成捕获对象的图像数据。所述系统还包括控制器，所述控制器与所述摄像头通信，并接收与所述视场对应的所述第一区域的第一视频图像，并与所述图像传感器通信以在所述图像数据内确定所述对象的位置。所述控制器还与所述显示基板通信以在所述显示基板上呈现所述第一区域的子区域。基于确定的所述对象的位置，选择所述子区域以模拟由所述基板从所述视场反射到所述对象的反射图像。
根据另一方面，用于车辆的后视系统包括：摄像头，所述摄像头安装在车辆上，并捕获所述车辆后方的第一区域的视场；显示基板，所述显示基板安装在所述车辆内部；和图像传感器，所述图像传感器指向所述车辆的内部，并定位成捕获对象的图像数据。所述系统还包括处理器，所述处理器与所述摄像头通信，并接收所述视场的第一视频图像，且与所述图像传感器通信以在所述图像数据内定位所述对象，并沿着距离所述基板的理论观察距离确定所述对象相对于预定二维坐标系的位置。所述控制器还与所述显示基板通信以在所述显示基板上呈现所述第一区域的子区域。基于所述理论观察距离与从所述后视镜到车辆后方的理论图像平面的预定估计图像距离之间的比例，选择所述子区域以将所述对象的位置与分配给所述第一区域的二维坐标系相关。
根据另一方面，车辆包括：摄像头，所述摄像头安装在车辆上，并捕获所述车辆后方的第一区域的视场；和后视镜，所述后视镜定位在所述车辆的内部。所述后视镜包括：显示基板，所述显示基板安装在所述车辆的内部；和图像传感器，所述图像传感器指向所述车辆的内部，并定位成捕获对象的图像数据。所述车辆还包括：控制器，所述控制器与所述摄像头通信，并接收所述视场的第一视频图像，且与所述图像传感器通信以在所述图像数据内定位所述对象，并沿着距离所述基板的理论观察距离确定所述对象相对于预定二维坐标系的位置。所述控制器还与所述显示基板通信以在所述显示基板上呈现所述第一区域的子区域。基于所述理论观察距离与从所述后视镜到车辆后方的理论图像平面的预定估计图像距离之间的比例，选择所述子区域以将所述对象的位置与分配给所述第一区域的二维坐标系相关。
总之，本发明在此公开了下述第1项和第14项的实施方案，其余各项为优选实施方案：
1.一种用于车辆的后视系统，包括：
摄像头，所述摄像头安装在车辆上，并且捕获所述车辆后方的第一区域的视场；
后视镜，所述后视镜上包括显示基板；
图像传感器，所述图像传感器指向所述车辆的内部，并且被配置成捕获对象的图像数据；以及
控制器：
与所述摄像头通信，并且接收与所述视场对应的所述第一区域的第一视频图像；
与所述图像传感器通信以在所述图像数据内确定所述对象的位置；并且
与所述显示基板通信以在所述显示基板上呈现所述第一视频图像的子区域，基于确定的所述对象的位置，选择所述子区域以模拟由所述显示基板从所述视场反射到所述对象的反射图像。
2.根据上述1所述的后视系统，其中，所述对象是所述车辆的驾驶员的一双眼睛。
3.根据上述1至2中任一项所述的后视系统，其中，通过基于所述对象从基线位置的移动相对于所述子区域遥摄所述第一视频图像，基于确定的所述对象的位置，选择所述第一视频图像的子区域以与估计的所述视场的子区域对应。
4.根据上述3所述的后视系统，其中，基于预定比例遥摄所述对象，以与从所述后视镜到所述对象的估计距离和从所述后视镜到所述车辆后方的理论图像平面的估计距离之间的比例相关。
5.根据上述4所述的后视系统，其中，从所述后视镜到所述对象的估计距离是固定的。
6.根据上述3或4所述的后视系统，其中，所述第一视频图像相对于部分的基线位置能够由用户调整。
7.根据上述1至6中任一项所述的后视系统，其中，所述图像传感器包括在所述后视镜内。
8.根据上述1至7中任一项所述的后视系统，还包括光源，所述光源指向所述车辆的内部，并且被配置成用于照射所述对象的一部分。
9.根据上述8所述的后视系统，其中，所述光源被配置成发射近红外(NIR)范围中的光。
10.根据上述1至9中任一项所述的后视系统，其中，所述子区域经缩放以大体上匹配由所述显示基板反射到所述对象的所述视场的理论反射图像的比例。
11.根据上述1至10中任一项所述的后视系统，其中，所述控制器还与所述图像传感器通信，以在所述图像数据内定位所述对象，并且沿着距所述显示基板的理论观察距离确定所述对象相对于预定二维坐标系的位置。
12.根据上述11所述的后视系统，其中，通过基于理论观察距离与从所述显示基板到所述车辆后方的理论图像平面的预定估计图像距离之间的比例，使所述对象的位置与分配给所述第一区域的二维坐标系相关，基于确定的所述对象的位置选择所述子区域以模拟由所述显示基板从所述视场反射到所述对象的反射图像。
13.根据上述12所述的后视系统，其中所述理论观察距离是固定的。
14.一种车辆，包括：
根据上述1至13中任一项所述的后视系统。
通过研究上述1-14项以及所附说明书和附图，所属领域的技术人员将进一步理解和了解本发明装置的这些和其它特征、优势和目标。
附图说明
图1是包括眼睛跟踪设备的显示镜系统组件的说明性视图；
图2是对应于车辆驾驶员的眼睛的各个位置的各种镜场的示意图；
图3是将镜场与投射在车辆后方摄像头的视场中的图像平面相关的示意图；
图4和图5是摄像头视场的部分与检测的车辆驾驶员的眼睛位置之间的相关性的示意图；
图6是包括眼睛跟踪设备的镜组件的说明性视图；
图7是图6的镜组件的示意图；以及
图8是包括根据本公开的设置在镜组件中的眼睛跟踪设备的后视系统的框图。
具体实施方式
出于本文中描述的目的，术语“上”、“下”、“右”、“左”、“后”、“前”、“垂直”、“水平”和其派生词应与如图1中定向的装置有关。然而，应理解，装置可采用各替代定向和步骤顺序，除非明确地指定为相反情况。还应理解，附图中所示且在下文说明书中描述的具体装置和过程仅仅是所附权利要求书中限定的本发明概念的示例性实施例。因此，除非权利要求书另外明确陈述，否则与本文中公开的实施例有关的具体尺寸和其它物理特性不应被视为限制性的。
现在参考图1，参考数字10指示车辆12(图2)的后视系统。系统10包括摄像头14和后视镜20，摄像头捕获车辆12的后方(例如，在后向方向18上)的视场16(图4)，后视镜上包括显示基板22。系统10还包括图像传感器24(图6)，该图像传感器指向车辆12的内部26，并被配置成捕获对象的图像数据，在一个实例中，对象可以包括车辆12的驾驶员的眼睛34或头部36(关于其各种识别位置大体上指示眼睛34和头部36两者，标示为眼睛34a、34b等和头部36a、36b等)。控制单元28与摄像头14通信以接收视场16的第一图像30(也关于其各种识别区域大体上指示，标示为图像30a、30b等)。控制单元28还与图像传感器24耦合以在图像数据内确定对象(例如，驾驶员的眼睛34或头部36)的位置，且还与显示基板22通信以在其上呈现子区域的视频图像30的一部分32(也关于各种识别部分大体上指示，标示为部分32a、32b等)，所述子区域比视场16的区域小。基于确定的对象的位置，选择子区域以模拟由显示基板22从视场16反射到对象的反射图像。
应注意，根据本文公开的方案，如本文中描述的控制单元28可以是在车辆12内或与该车辆相关联的任何合适的部件或结构，包括多个连接的部件或结构，其可从摄像头14接收图像30以在显示器22上呈现，检测对象的位置(例如，驾驶员的头部36或眼睛34)，并且在显示器22上呈现对应于对象位置的图像30的部分32。举例来说，控制单元28可以是或可以包括在车辆12车载计算机系统内的特定功能。另外，控制单元28可以包括专用计算机芯片(例如，专用集成电路)，所述专用计算机芯片分别与传感器24和摄像头14连接且还至少彼此通信。
参考图2，示出了示意图，其中显示了车辆12的驾驶员的头部36相对于“标准”后视镜40在各种位置36a、36b。如本文讨论的，这种标准后视镜40可被视为反射后视镜，驾驶员用它观察来自车辆12的后挡风玻璃42并且沿方向18在车辆12后方的反射图像。如图所示，驾驶员对车辆12的后方具有有限的对应于镜场44的视野，该镜场由从驾驶员的两眼34到标准镜40的反射表面的对应边缘得到的入射线和对应的反射线确定，且根据一般光学原理，对应的反射线与入射线关于正交于反射表面的平面成相等的角度。这样，可通过改变标准镜40本身的特定角度或者通过驾驶员移动其头部36从而改变从眼睛34到标准镜40的入射线的角度，来调整特定的镜场44和可通过标准镜40观察的车辆12后方的区域的附带部分。
在这种类型的布置中，当驾驶员的头部36处于舒适的中间就座位置时，通常驾驶员将标准镜40定位成与驾驶员希望使用标准镜40可获得的视野对应。驾驶期间，驾驶员可能希望在此中间镜场44之外观察对象或类似物，且因此可能移动其头部36，例如从图1中的位置36a移动到位置36b，以便通过调整的镜场44(诸如从镜场44a到镜场44b)本能地提供不同视图，这显示为已经水平和竖直地移动。这样，可以在不改变驾驶员在上述中间位置时具有的基线视野的情况下，改变使用标准镜40的车辆12后方的可视部分。
在上面描述的系统10中，标准后视镜40被替换或以其它方式伴随上述的“显示”镜20，如上文讨论的，控制单元28可被配置成重复调节显示器22上呈现的图像，以与驾驶员在相对于所示标准镜40移动其头部36时期望的调整对应，同时以预定比例保持图像，所述预定比例与基于对驾驶员位置和车辆12后方的视图的一般估计在理论反射中看到的匹配。如图3中所示，包括系统10的车辆12可包括定位在车辆12的后方上的摄像头14。在所说明的实例中，摄像头14定位在车辆12的升降门上，在其中包括的后挡风玻璃42下方。在替代性布置中，摄像头14可以定位在车辆12的内部中，例如沿着车辆12的顶蓬定位，其中摄像头14邻近后挡风玻璃42且向外指向。另外的其他布置是可行的，且可以示意性地类似于图3中的描绘。如图所示，摄像头14可被配置成使得其视场16比镜场44的通常大小更大(如果其为标准反射表面的话，则其对应于显示器22)。如图所示，视场16可以是例如90度或更大，包括至少120度等的角度。因此，控制单元28可以对由摄像头14拍摄的图像30进行剪裁，如图1所示，使得显示器22上展示的图像30的部分32大体上模仿反射图像出现的方式。这包括投影图像的大小和图像30的部分32的观察角。
如图3所示，示出了理论图像平面46，以表示由摄像头14拍摄的所描绘视场16的整体图像30。如还示出的，车辆12的驾驶员在显示器22上观察图像部分32时，可能期望当驾驶员的头部36移动时基于标准镜40的先前经验改变图像部分32。这样，系统10可通过相对于镜20跟踪驾驶员头部36的位置或具体地跟踪驾驶员的眼睛34的位置，适应驾驶员的预期，且相对于显示器22上所示的部分32遥摄(pan)图像30。这种适应情况在图3中示意性描绘，其中，图像平面46的部分32a、32b与示例性头部位置36a、36b对应，其由相对于显示器22眼睛34a、34b的位置确定，例如通过将确定的眼睛34a、34b的位置映射到二维坐标系，该二维坐标系统与可应用于图像30的类似坐标系相关，或者通过检测头部36的位置36a、36b基于图2中描绘的标准镜40的相同的光学原理对眼睛位置进行大致推断，这可使用针对图像运动的预定比例因子基于眼睛34a、34b的位置之间的距离来得到。
如图4和图5中所示，图像30相对于其在显示器22上显示的部分32的移动可与镜20的定位无关。反而，部分32可以基于可以被预定的且例如在制造时存储在存储器70(图8)中的基线图像。这样，例如在系统10激活时眼睛34的位置34a、34b或头部36的位置36a、36b可被确定，并与对应于例如在视场16内的正后方18视图的图像30的基线部分32a相关。在图1所示的实例中，例如，可提供输入54以允许驾驶员根据需要或期望调整基线图像。在另一实例中，这种基线图像可以与镜20的中间(即，与车辆12的纵向轴线对准)位置处的普通驾驶员的特定估计视场16对应。在这种实施例中，系统10可跟踪镜20自身的移动，将此类移动(或其绝对位置)传送到控制单元28，所述控制单元可基于此类移动以被确定以模拟反射镜的移动的方式调整图像30的显示部分32。此类跟踪可通过将标记定位在车辆12的内部26来完成，所述标记可使用传感器24(当包括在镜20中时)或使用嵌入镜20的安装结构中促进其移动的磁性或机械传感器来定位。在标记定位在车辆12的内部26中的一个实施例中，控制单元28能够使用头部36或眼睛34跟踪结合相对于图像传感器24的标记跟踪，以直接确定期望图像部分32。
如上文所论述的，系统10可继续跟踪头部36或眼睛34的位置，且可根据其移动相对于显示部分32遥摄图像30，以基于光学原理与预期运动对应。如所示，这种移动可以是水平的、竖直的，且可大体上与眼睛34的移动相反。此移动可被事先校准和/或可由驾驶员调整。在某些使用模式中，图5中所示的竖直跟踪可以呈现优于静态显示器的优点，至少部分归因于显示器22上呈现的图像30的部分32的短纵横比(由于显示器22通常宽度比高度宽)。例如，本文公开的跟踪功能可允许驾驶员向上移动或倾斜其头部36，诸如通过将其车辆12内的座椅升高。在此实例中，图像30的部分32可向下遥摄以允许驾驶员例如观察车辆12正后方的区域(例如邻近后保险杆)。注意，使用标准反射后视镜40可能无法看到这种位置，原因是取决于车辆类型，视野会被行李箱区域或后车身底板阻挡。为了进一步实现这种视点，可例如在后保险杆内或邻近车辆12的牌照处包括第二摄像头。当摄像头14邻近车辆12的顶蓬以去除畸变时，这种摄像头可能特别有用。在这种多摄像头布置中，控制单元28可以采用图像拼接函数、算法等等，以提供相应的摄像头图像之间的平滑转变，以仍然有效地呈现单个图像30以用于以上述方式摇摄。在任一实例中，当驾驶员的头部36或眼睛34向后朝向原来位置移动时，控制单元28将图像30的部分32摇摄回对应于中间观察位置的部分。
在图1所描绘的实施例中，传感器24可以包括在镜20中。在这种布置中，眼睛34的位置可取决于镜20的取向而变化。在各种实施例中，镜20可以具有覆盖显示器22的反射性的部分透明的表面，使得例如当显示器22不作用时，镜20可被用作标准镜40。这样，用户可以调整镜20，以在激活显示器22之前提供所需的基线视图，意味着预定基线图像以及由传感器24检测的眼睛34的位置可以紧密地对应于显示器22上呈现的图像30的预先选定部分32或其先前调整的变化。在另一实例中，显示器22的激活可以与显示器22的向上倾斜对应以减少实际反射图像的竞争。控制单元28可补偿在选择显示器22上呈现的图像30的部分32时的此类调整。
在一种变形中，传感器24可以位于车辆12中的其它地方，例如在邻近镜20等的顶置控制台中。在这种实施例中，基于检测的眼睛34位置选择的图像30的部分32可以与镜位置无关。因此，系统10还可以被配置成确定镜20的位置，具体是其显示器22的位置，以使图像30的部分32与检测的显示器22的位置相关。在一个实例中，如上文所论述，此跟踪可使用各种机械或磁传感器进行。这样，如上文讨论的，驾驶员能够物理地移动镜20以改变显示器22上呈现的图像30的基线部分32，因此不需要输入54。另外的变形也是可能的，其中镜20中可以包括传感器24，且还可以包括显示器22的位置的监测以提供类似调整和响应。
跟踪功能可利用可由传感器24观察的区域的红外照射。在一个实例中，控制单元28能够识别“斑点(blob)”，基于各种标准，所述斑点可以被合理地识别为驾驶员的头部36(即基于通常大小和位置标准)。如上文讨论的，可基于头部36位置推断眼睛34的位置，头部位置基于斑点检测而确定。再次，眼睛34位置可基于相对于识别的头部36的平均眼34位置，且可针对所检测到的斑点的大小进行比例缩放。或者，可基于与上文针对头部36识别所指示的斑点检测类似的特定反射模式和/或位置原理来具体识别驾驶员的眼睛34的虹膜。可优化此类照射的条件，从而实现近红外(NIR)范围中的高光学透射率。在一些实施例中，本公开可提供包括显示器22的面板，该显示器可具有在NIR范围中的高透光率，例如在光谱中沿其至少一部分范围从810nm到850nm的波长。另外，在一些实施方式中，镜20组件可包括被配置成照射车辆操作者的至少一个虹膜的多个光源58。
如图6中所示，为了提供跟踪功能，传感器24可邻近显示器22的后方(内部)表面设置。图像传感器24可对应于例如数字电荷耦合器件(CCD)或互补型金属氧化物半导体(CMOS)有源像素传感器，但并不意味着局限于这些示例性装置。在图示的实例中，传感器24可与至少一个光源58通信，所述至少一个光源可对应于一个或多个红外发射器，所述一个或多个红外发射器被配置成输出NIR范围中的光发射。在此配置中，控制单元28或传感器24可被配置成选择性地激活对应于至少一个光源58的一个或多个红外发射器以提供照射，使得可确定和/或监测头部36或眼睛34的瞬时位置。或者，传感器24可以是“无源”传感器，原因是其不需要照射。在一个实例中，传感器24可以是可用于跟踪驾驶员的头部36的热传感器。在这种实施例中，上文讨论的光源58可以不包括在系统10中。
在存在光源时，红外发射器或光源58可对应于多个红外发射器组60。红外发射器组60、62中的每一个可包括多个发光二极管，所述多个发光二极管可分组为矩阵或以其它方式分组，并被设置在显示器22的后表面后方。在一种实施方案中，多个光源58可对应于第一发射器组60和第二发射器组62。第一发射器组60可被配置成从显示器22的前(外)表面的第一侧部输出在NIR范围中的发射。第二发射器组62可被配置成从显示器22的前表面的第二侧部输出在NIR范围中的发射。在此配置中，系统10可被配置成照射驾驶员的眼睛34，使得传感器24可从传感器24接收的图像数据内辨别驾驶员的眼睛34。
在一种实施方案中，第一发射器组60和/或第二发射器组62中的每一个可对应于更多或更少的LED或LED组。在包括显示器22的变形的一些实施例中，所述显示器至少在覆盖发射器组60、62的部分中具有在NIR范围中的高透射率水平，系统10可利用较少或不太强的LED。在包括显示器22的变形的一些实施例中，所述显示器具有在NIR范围中的较低透射率水平，系统10可利用更大数目或更强的LED。
传感器24可设置在与控制单元28通信的电路56上，所述电路例如印刷电路板。控制单元28还可通过通信总线66或任何其它合适的通信接口与可并入于车辆12中的各种装置通信。控制单元28可对应于一个或多个处理器或电路，这些处理器或电路可被配置成处理从传感器24接收的图像数据。在此配置中，图像数据可从传感器24传送到控制单元28。控制单元28可利用一个或多个算法处理图像数据，所述一个或多个算法被配置成在图像数据内辨别或以其它方式识别驾驶员的眼睛34。参考图8论述控制单元28以及可与其通信的各种装置的进一步的详细讨论。
控制单元28还可以与显示器22通信。控制单元28可操作以显示从摄像头14接收的图像数据，如上文讨论的，使得驾驶员可观察从摄像头14接收的图像30的部分32。如上文还讨论的，显示器22可对应于部分显示镜或全显示镜，其被配置成通过镜组件20的至少一部分显示视频图像30的部分32。显示器22可利用各种技术进行构造，例如，LCD、LED、OLED、等离子体、DLP或其它显示技术。可用于本公开的显示组件的实例可包括名称为“Rearviewdisplay mirror(后视显示镜)”的第6,572,233号美国专利、名称为“Vehicular rearviewmirror assembly including integrated backlighting for a liquid crystaldisplay(LCD)(包括用于液晶显示器(LCD)的集成式背光的车辆后视镜组件)”的第8,237,909号美国专利、名称为“Multi-display mirror system and method for expanded viewaround a vehicle(多显示镜系统和用于扩大车辆周围视角的方法)”的第8,411,245号美国专利以及名称为“Vehicle rearview mirror assembly including a high intensitydisplay(包括高强度显示器的车辆后视镜组件)”的第8,339,526号美国专利，所述专利均通过引用全文并入本文中。
参考图8，示出了具有车辆12的总体控制系统的额外部件的系统10的框图。示出了控制单元28与包括传感器24(图6)和摄像头14的镜20通信，且还可通过车辆12的通信总线66与车辆控制模块64通信。通信总线66可被配置成将信号传送到控制单元28，从而识别各种车辆状态。举例来说，通信总线66可被配置成向控制单元28传送车辆的驾驶选择、点火状态、门打开或微开状态等。控制单元28可利用此类信息和控制信号来激活或调整系统10和/或镜组件20的各种状态和/或控制方案。
控制单元28可包括具有一个或多个电路的处理器68，所述一个或多个电路被配置成从通信总线66接收信号并控制系统10。处理器68可与存储器70通信，所述存储器被配置成存储指令以控制系统10的操作。举例来说，控制单元28可被配置成存储由控制单元28所利用的一个或多个特性或曲线以在图像数据内识别车辆12的驾驶员的眼睛34。
控制单元28还可与摄像头14通信。如上文还讨论的，控制单元28可从摄像头14接收图像数据。这样，基于对眼睛34的识别，控制单元28可以被配置成选择视频图像30的对应部分32以呈现在显示器22上，并且如果需要，相对于部分32平稳地遥摄图像30。控制单元28还可与仪表组74、音频/视频(A/V)系统76、信息娱乐系统78、媒体中心、车辆计算系统和/或车辆的各种其它装置或系统中的一个或多个通信。在各种实施例中，控制单元28还可以在装置74-78上显示来自摄像头14的视频图像30，包括未裁剪图像30。
在又一实施例中，控制单元28可对应于一个或多个处理器或电路，所述一个或多个处理器或电路可被配置成还处理从传感器24接收的图像数据。在此配置中，控制单元28可利用一个或多个算法来处理图像数据，所述一个或多个算法被配置成确定车辆操作者的身份。在已识别车辆的操作者或一个或多个乘客的身份的情况下，控制单元28还可操作以控制车辆的各种系统或功能，如在共同待决、共同受让的美国专利申请序列号15/372,875中进一步讨论的，所述申请的整个公开内容通过引用并入本文中。
控制单元28另外可与环境光传感器82通信。环境光传感器82可操作以传送例如接近车辆的环境光的等级亮度或强度的光条件。响应于环境光的水平，控制单元28可被配置成调整来自显示器22的光强输出。在此配置中，控制单元28的操作者可调整显示器22的亮度。
控制单元28另外可与接口84通信，该接口被配置成接收被配置成控制系统10的各方面的一个或多个输入。在一些实施例中，接口84可与车辆的一个或多个装置组合。举例来说，接口84可形成可通常用在机动车(例如转向开关、方向盘控件等)中的仪表组74、A/V系统76、信息娱乐系统78、显示控制台和/或各种输入/输出装置的一部分。以此方式，本公开提供将系统10用在车辆12中的各种控制方案。在一个实例中，图1中所描绘的输入54可以以图形方式呈现在这些装置中的一个上。
应理解，任何所描述的过程或所描述过程内的步骤可与公开的其它过程或步骤组合以形成属于本发明装置的范围内的结构。本文所公开的示例性结构和过程用于说明性目的，而不应理解为具有限制性。
还应当理解，在不脱离本发明装置的概念的情况下，可以对上述结构和方法做出变型和修改，且还应当理解，这样的概念旨在由所附权利要求涵盖，除非这些权利要求的措辞明确说明不是这样。
上面的描述仅被视作所示实施例的描述。所属领域的技术人员以及制作或使用所述装置的技术人员可对所述装置作出修改。因此，应理解，在图中示出且在上文描述的实施例仅用作说明的目的，并不旨在限制所述装置的范围，其范围由根据专利法的原则(包含等同原则)来解释的所附权利要求限定。

Claims (12)

1.一种用于车辆(12)的后视系统(10)，包括：
摄像头(14)，所述摄像头安装在车辆(12)上，并且捕获所述车辆(12)后方的第一区域的视场(16)；
后视镜(20)，所述后视镜上包括显示基板(22)；
图像传感器(24)，所述图像传感器指向所述车辆(12)的内部(26)，并且被配置成捕获对象的图像数据；以及
控制器(28)：
与所述摄像头(14)通信，并且接收与所述视场(16)对应的所述第一区域的第一视频图像；
与所述图像传感器(24)通信以在所述图像数据内确定所述对象的位置；并且
与所述显示基板(22)通信以在所述显示基板(22)上呈现所述第一视频图像的子区域(32)，基于确定的所述对象的位置，选择所述子区域(32)以模拟由所述显示基板(22)从所述视场(16)反射到所述对象的反射图像；
其中通过基于所述对象从基线位置的移动相对于所述子区域(32)遥摄所述第一视频图像，基于确定的所述对象的位置，选择所述第一视频图像的子区域(32)以与估计的所述视场(16)的子区域(32)对应；并且
其中基于预定比例遥摄所述第一视频图像，以与从所述后视镜(20)到所述对象的估计距离和从所述后视镜(20)到所述车辆(12)后方的理论图像平面的估计距离之间的比例相关。
2.根据权利要求1所述的后视系统(10)，其中，所述对象是所述车辆(12)的驾驶员的一双眼睛(34)。
3.根据权利要求1或2所述的后视系统(10)，其中，从所述后视镜(20)到所述对象的估计距离是固定的。
4.根据权利要求1或2所述的后视系统(10)，其中，所述第一视频图像相对于部分的基线位置能够由用户调整。
5.根据权利要求1或2所述的后视系统(10)，其中，所述图像传感器(24)包括在所述后视镜(20)内。
6.根据权利要求1或2所述的后视系统(10)，还包括光源(58)，所述光源指向所述车辆(12)的内部(26)，并且被配置成用于照射所述对象的一部分。
7.根据权利要求6所述的后视系统(10)，其中，所述光源(58)被配置成发射近红外(NIR)范围中的光。
8.根据权利要求1或2所述的后视系统(10)，其中，所述子区域(32)经缩放以大体上匹配由所述显示基板(22)反射到所述对象的所述视场(16)的理论反射图像的比例。
9.根据权利要求1或2所述的后视系统(10)，其中，所述控制器(28)还与所述图像传感器(24)通信，以在所述图像数据内定位所述对象，并且沿着距所述显示基板(22)的理论观察距离确定所述对象相对于预定二维坐标系的位置。
10.根据权利要求9所述的后视系统(10)，其中，通过基于理论观察距离与从所述显示基板(22)到所述车辆(12)后方的理论图像平面的预定估计图像距离之间的比例，使所述对象的位置与分配给所述第一区域的二维坐标系相关，基于确定的所述对象的位置选择所述子区域(32)以模拟由所述显示基板(22)从所述视场(16)反射到所述对象的反射图像。
11.根据权利要求10所述的后视系统(10)，其中所述理论观察距离是固定的。
12.一种车辆(12)，包括：
根据前述权利要求中任一项所述的后视系统(10)。
CN201780068812.1A 2016-12-27 2017-12-26 具有眼睛跟踪的后视系统 Active CN109937158B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662439181P 2016-12-27 2016-12-27
US62/439,181 2016-12-27
PCT/US2017/068427 WO2018125870A1 (en) 2016-12-27 2017-12-26 Rear vision system with eye-tracking

Publications (2)

Publication Number Publication Date
CN109937158A CN109937158A (zh) 2019-06-25
CN109937158B true CN109937158B (zh) 2022-03-22

Family

ID=62625458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780068812.1A Active CN109937158B (zh) 2016-12-27 2017-12-26 具有眼睛跟踪的后视系统

Country Status (6)

Country Link
US (1) US10525890B2 (zh)
EP (1) EP3562708B1 (zh)
JP (1) JP6906055B2 (zh)
KR (1) KR102464874B1 (zh)
CN (1) CN109937158B (zh)
WO (1) WO2018125870A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD845851S1 (en) * 2016-03-31 2019-04-16 Gentex Corporation Rearview device
EP3592613B1 (en) * 2017-03-10 2022-08-31 Gentex Corporation Imaging system and method for vehicle occupant indentification and monitoring
US11203295B2 (en) * 2017-04-14 2021-12-21 Panasonic Automotive Svstems Company of America, Division of Panasonic Corporation of North America Rearview head up display
US20180304814A1 (en) * 2017-04-24 2018-10-25 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Rear view mirror-like perspective change system and method
KR102570780B1 (ko) * 2018-05-08 2023-08-29 소니 세미컨덕터 솔루션즈 가부시키가이샤 화상 처리 장치, 이동 장치 및 방법, 그리고 프로그램
TWI637289B (zh) * 2018-05-18 2018-10-01 緯創資通股份有限公司 基於眼球追蹤的顯示控制系統
WO2020121174A1 (en) * 2018-12-10 2020-06-18 Gentex Corporation Scanning apparatus for reducing field of view search space
KR20220055541A (ko) 2020-10-26 2022-05-04 현대자동차주식회사 차량 및 그 제어방법
US20230256908A1 (en) * 2022-02-14 2023-08-17 Gentex Corporation Imaging system for a vehicle

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289321A (en) 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JP3286306B2 (ja) * 1998-07-31 2002-05-27 松下電器産業株式会社 画像生成装置、画像生成方法
US7581859B2 (en) * 2005-09-14 2009-09-01 Donnelly Corp. Display device for exterior rearview mirror
US20040027694A1 (en) 2002-08-06 2004-02-12 Mediaview Technologies Corporation Adjustable segmented dual function mirror with video display
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP4323377B2 (ja) * 2004-05-24 2009-09-02 オリンパス株式会社 画像表示装置
CN101479130B (zh) 2006-06-28 2012-05-30 约翰逊控制技术公司 车辆视觉系统
CN101164805B (zh) * 2007-06-06 2010-12-01 北京理工大学 汽车正视显示装置
JP5115136B2 (ja) 2007-10-16 2013-01-09 株式会社デンソー 車両後方監視装置
US20100020170A1 (en) * 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
JP2012195634A (ja) * 2011-03-15 2012-10-11 Panasonic Corp 車両後方視認装置
JP5645769B2 (ja) * 2011-08-01 2014-12-24 株式会社日立製作所 画像処理装置
US9242602B2 (en) 2012-08-27 2016-01-26 Fotonation Limited Rearview imaging systems for vehicle
KR101417383B1 (ko) * 2012-10-31 2014-07-08 현대자동차주식회사 룸미러 영상 제어 장치 및 방법
KR101655818B1 (ko) * 2014-12-11 2016-09-08 현대자동차주식회사 웨어러블 글래스, 그 제어 방법 및 차량 제어 시스템
JP2016149651A (ja) * 2015-02-12 2016-08-18 株式会社デンソー 表示制御装置及び表示システム
US20160297362A1 (en) * 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
US10589676B2 (en) * 2016-06-02 2020-03-17 Magna Electronics Inc. Vehicle display system with user input display

Also Published As

Publication number Publication date
KR20190102184A (ko) 2019-09-03
KR102464874B1 (ko) 2022-11-09
EP3562708A1 (en) 2019-11-06
EP3562708B1 (en) 2021-02-17
WO2018125870A1 (en) 2018-07-05
JP6906055B2 (ja) 2021-07-21
US10525890B2 (en) 2020-01-07
US20180178729A1 (en) 2018-06-28
EP3562708A4 (en) 2019-11-06
CN109937158A (zh) 2019-06-25
JP2020515449A (ja) 2020-05-28

Similar Documents

Publication Publication Date Title
CN109937158B (zh) 具有眼睛跟踪的后视系统
US11572017B2 (en) Vehicular vision system
US10257432B2 (en) Method for enhancing vehicle camera image quality
US10908417B2 (en) Vehicle vision system with virtual retinal display
US20190381938A1 (en) Rearview mirror assembly having automatic adjustment responsive to eye-tracking
RU147024U1 (ru) Система заднего обзора для транспортного средства
US8009977B2 (en) On-vehicle lighting apparatus
JP5983693B2 (ja) 表示機能付きミラー装置および表示切替方法
US11301678B2 (en) Vehicle safety system with no-control operation
US11930264B2 (en) Vehicular driver monitoring system with camera view optimization
JP2016055782A5 (zh)
JP2023536976A (ja) 運転者による後方視認のための電子画像ディスプレイを含む車両視認システム及び方法
JP6229769B2 (ja) 表示機能付きミラー装置および表示切替方法
US10432891B2 (en) Vehicle head-up display system
JP2018002152A (ja) 表示機能付きミラー装置および表示切替方法
US20240100946A1 (en) Occupant imaging device
US20230286441A1 (en) Vehicular overhead console integrated with interior mirror and electronic content
JP2018181025A (ja) 視線検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant