CN109791287B - 用于防止车辆事故的车辆安装式显示系统和方法 - Google Patents

用于防止车辆事故的车辆安装式显示系统和方法 Download PDF

Info

Publication number
CN109791287B
CN109791287B CN201780043016.2A CN201780043016A CN109791287B CN 109791287 B CN109791287 B CN 109791287B CN 201780043016 A CN201780043016 A CN 201780043016A CN 109791287 B CN109791287 B CN 109791287B
Authority
CN
China
Prior art keywords
driver
vehicle
pointing
efov
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780043016.2A
Other languages
English (en)
Other versions
CN109791287A (zh
Inventor
H·西博尼
L·兹鲁亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fusat Changzhou Automobile Technology Co ltd
Original Assignee
Fusat Changzhou Automobile Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fusat Changzhou Automobile Technology Co ltd filed Critical Fusat Changzhou Automobile Technology Co ltd
Publication of CN109791287A publication Critical patent/CN109791287A/zh
Application granted granted Critical
Publication of CN109791287B publication Critical patent/CN109791287B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026—Windows, e.g. windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0123—Head-up displays characterised by optical features comprising devices increasing the field of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于增强驾驶员的前向可视性的车辆安装式显示系统，该车辆安装式显示系统包括：安装在车辆内部的前向指向摄像头，用于对驾驶员的前向指向预期视野(EFOV)进行成像；图像生成器；以及处理单元，该处理单元与前向指向摄像头和图像生成器都进行数据通信。处理单元能操作成：监测指示驾驶员通过前挡风玻璃对车辆在运输操作期间行进的路的前向可视性的参数，并且在监测参数的值偏离车辆内部的预定参数值时命令图像生成器生成EFOV相关图像，该EFOV相关图像对驾驶员可见并且基于从前向指向摄像头接收的图像数据，以确保驾驶员在运输操作过程期间的前向可视性。

Description

用于防止车辆事故的车辆安装式显示系统和方法
技术领域
本发明涉及交通安全领域。更具体地，本发明涉及显示系统，用于避免易于由未沿着车辆的运动方向专注于道路上的驾驶员引起的车辆事故。
背景技术
许多交通事故是由于驾驶员的无意识造成的。如今，沿着道路有很多物体、例如广告吸引驾驶员的注意力。引起驾驶员注意力的方法是放置大型广告牌，这些广告牌即使在白天也很明显，因此，驾驶员并不总是专注于车辆的运动方向。这个问题在夜间当这些广告牌被强光照亮时甚至更加严重。
一些广告牌是计算机化的或者连接至具有广告服务器的数据网络，使得所显示的广告是动态的并且包括通告或短视频剪辑。这些种类的广告牌能更加长久地吸引驾驶者的注意力。因此，正常驾驶员的注意力及其对车辆运动方向的关注会受到几秒钟的强烈干扰，在此期间驾驶员不会意识到前方的交通状态。这当然增加了卷入事故的风险。
分心驾驶的另一个重要原因是使用移动电话。当驾驶员在发送短信或者甚至查看呼叫者的姓名的同时专注于其移动电话时，他显然无法适当地察觉危险或道路标志，并且有卷入事故的风险。
例如由暴风雪引起的较差的驾驶员可见性是导致交通事故的另一个影响因素。当较差的驾驶员可见性与诸如挡风玻璃刮水器或除霜器的可见性增强装置的故障相结合时，驾驶员可见性不足可能具有致命的后果。驾驶员可见性不足的另一种危险情况是在驾驶时不可改正，因此在诸如石头之类的坚硬物体从经过的卡车上坠落并粉碎前挡风玻璃时危及生命。
所有现有的方法都尚未对防止由于驾驶员没有沿着车辆的运动方向专注于道路而引起车辆之间或车辆与物体之间即将发生碰撞的问题提供令人满意的解决方案。
因此，本发明的目的是提供一种用于避免易于由驾驶员分心或可见性差引起的车辆事故的车辆安装式显示系统和方法。
本发明的其它目的和优点将随着描述的进行而变得明显。
发明内容
本发明涉及一种用于增强驾驶员的前向可视性的车辆安装式显示系统，该车辆安装式显示系统包括：安装在车辆内部的前向指向摄像头，该前向指向摄像头用于对驾驶员的前向指向预期视野(EFOV)进行成像；图像生成器；以及处理单元，该处理单元与所述前向指向摄像头和所述图像生成器进行数据通信，其中，所述处理单元能够操作成监测指示驾驶员通过前挡风玻璃对车辆在运输操作期间行进的道路的前向可视性的参数，并且在所述监测参数的值偏离车辆内部的预定参数范围时命令所述图像生成器生成对驾驶员可见并且基于从所述前向指向摄像头接收的图像数据的EFOV相关图像，以确保驾驶员在运输操作过程期间的前向可视性。
在一个实施方式中，显示系统还包括多个面部指向的摄像头，所述多个面部指向的摄像头与处理单元进行数据通信并且安装在车辆内部，以用于拍摄驾驶员面部的图像，其中，监测参数是驾驶员的瞬时观察方向，并且其中，处理单元能够操作成从所述多个面部指向的摄像头中的每个获取图像数据，并且从所述多个面部指向的摄像头中的每个获取的图像数据生成瞬时观察方向。
图像生成器可以是可重新定位的投影仪，其中，处理单元还能够操作成：当驾驶员的瞬时观察方向偏离预期前向指向视线多于预定值时将从前向指向摄像头接收的EFOV相关图像数据中的至少一部分传送至所述投影仪，并且命令重新定位和操作所述投影仪，以将EFOV相关图像中的至少一部分投影到与瞬时观察方向一致的车辆图像表面上。
在一个实施方式中，显示系统还包括在前挡风玻璃外部安装于车辆的支承元件上并与处理单元进行数据通信的前向指向摄像头，其中，处理单元能够操作成：当从安装在车辆内部的前向指向摄像头获取的图像数据指示前挡风玻璃已经变得模糊时，命令图像生成器生成EFOV相关图像，该EFOV相关图像基于从安装在前挡风玻璃外部的所述前向指向摄像头接收的图像数据。
本发明还涉及一种用于保持驾驶员的前向可视性的方法，该方法包括以下步骤：监测指示驾驶员通过前挡风玻璃对车辆在运输操作期间行进的道路的前向可视性的参数；以及如果监测参数值的值偏离预定参数范围，则执行改正动作，以在车辆内部显示EFOV相关图像，该EFOV相关图像将确保驾驶员在运输操作过程期间的前向可视性。
附图说明
在附图中：
图1是根据本发明的一个实施方式的用于防止车辆事故的车辆安装式显示系统的示意图；
图2示意性地示出了图1的显示系统的实施方案；
图3是图1的显示系统在安装于车辆的内部内时的示意图；
图4是与图1的显示系统结合使用的投影仪的示意图；
图5是根据本发明的实施方式的用于将拍摄的前向指向图像投影到车辆图像表面上的方法；
图6是根据本发明的实施方式的用于保持驾驶员的前向可视性的方法；以及
图7是根据本发明的另一实施方式的用于防止车辆事故的车辆安装式显示系统的示意图。
具体实施方式
本发明是一种用于在驾驶员分心或挡风玻璃模糊期间增强驾驶员的前向可视性的车辆安装式显示系统。
概括地说，图6中所示的方法用于保持驾驶员的前向可视性。在步骤62中，前向指向摄像头(即相对于车辆的运动方向)连续地对驾驶员的前向指向预期视野(EFOV)进行成像。例如，居中定位的前向指向摄像头可以覆盖关于驾驶员的预期前向指向视线(该预期前向指向视线与法向于下面的路面并且与前挡风玻璃重合的平面大致垂直)的80°±40°的前向指向扇区。
在步骤64中，连续地或间歇地监测指示驾驶员的前向可视性的参数。如果由于某种原因，在步骤66中发现驾驶员的前向可视性受损，例如当检测到的参数值偏离预定参数范围时，则在步骤68中显示系统执行如下文将描述的改正动作，以在车辆内部显示EFOV相关图像，EFOV相关图像将确保驾驶员在运输操作过程期间的前向可视性。
图1示意性地示出了根据本发明的一个实施方式的总体上以附图标记10表示的显示系统，通过该显示系统确定驾驶员的瞬时观察方向。
显示系统10包括一个或更多个光学传感器4，例如2D或3D摄像头，这些摄像头以不同的角度指向驾驶员33的面部。每个光学传感器4安装在车辆的内部并且能够在图像分析之后提供二维或三维数据。处理单元(PU)6获取由每个光学传感器4拍摄的图像，并根据存储在专用软件模块(SM)7中的指令对所获取的图像数据进行分析，以通过对驾驶员观察方向的方位角或三维角度进行计算来估算驾驶员在任意时间正在向哪个方向观察。另一摄像头5安装在车辆内并前向指向，使得该摄像头5连续地对驾驶员的前向指向EFOV进行成像。
在检测到驾驶员的瞬时观察方向(LD)偏离预期前向指向视线多于预定值时，处理单元6从由摄像头5拍摄的图像中裁剪一部分(例如，总前向指向视野中的60°的前向指向视野)并且将该裁剪部分(CP)经由信号(无论是有线信号还是无线信号)传送至也可以安装在车辆内的可旋转投影仪9。
投影仪9被配置成响应于驾驶员33的瞬时观察方向而自动地重新定位、例如围绕竖向轴线可枢转地重新定位，使得投影仪9在需要的情况下将裁剪部分或整个拍摄的前向指向图像(CFDI)17投影到车辆图像表面8上，例如投影到前挡风玻璃的一部分、侧窗或侧门上，当驾驶员的头部在瞬时观察方向上倾斜时可以看到车辆图像表面8。这样，即使驾驶员33的瞬时观察方向大体上偏离预期前向指向方向，他也总是能够沿着预期前向指向视野看到路。
车辆图像表面8可以设置有反射或偏光层，以增强投影图像的可见性，特别是在图像表面是透明或半透明时增强投影图像的可见性。替代性地，图像表面可以是专用表面，该专用表面粘附或附接至一个或更多个工厂制造的车辆表面中的每一个并且有益于投影图像的可见性。
图2示意性地示出了显示系统10的实施方案，以便防止由于作为驾驶员没有沿着车辆运动方向专注于道路上的结果的驾驶员分心而导致车辆之间或车辆与物体之间即将发生碰撞的危险情况。具有视野α0的单个前向指向摄像头5安装在沿着具有两个车道22a和22b的道路23的车道22b移动的车辆21上。
在这种情况下，车辆21沿着车道22b朝向路口11移动，通过臂14安装在固定支柱13上的交通灯12位于路口11中。交通灯12被视野α0覆盖。
通常，车辆21的驾驶员向前看并且应该察觉红灯。如果例如驾驶员因为朝向不同的方向观察而没有察觉红灯，则显示系统将检测到驾驶员的瞬时观察方向偏离预期前向指向视线多于预定值，并且将由扇区α0所覆盖的图像如图3所示的那样进行投影。
图3示出了根据本发明的实施方式的显示系统10在安装于车辆内部时的情况。指向驾驶员33的面部的多个2D(或3D)摄像头、例如摄像头30a至30f安装在车辆内部。每个面部指向的摄像头将2D(或3D)图像传送至处理单元6(图1)，处理单元6收集从若干方向拍摄的图像，并且通过专用图像处理软件对来自所有摄像头30a至30f的数据进行分析，并且通过对驾驶员的观察方向的方位角进行计算来估算驾驶员正在向哪个方向观察。该分析可以基于在驾驶员33的解剖学标志之间延伸并用作参考线的虚拟线的取向，并且基于下述假设：假设参考线保持在车辆地板上方的基本均匀的高度。由检测摄像头30a至30f拍摄的图像提供了驾驶员面部的若干方面，从这些方面可以计算出驾驶员的眼睛的空间位置。结果，可以导出驾驶员的观察方向的方位角。
第一面部指向摄像头可以拍摄第一解剖学标志，并且第二面部指向摄像头可以拍摄第二解剖学标志，第二解剖学标志通过概率或其他逻辑分析来补充第一标志。例如，第一摄像头拍摄右侧耳屏点和左侧耳屏点，或者耳朵前方的软骨切口，而第二摄像头的相对角度仅拍摄一个耳屏点。因此，处理单元能够从第一摄像头导出足够的数据以产生两个耳屏点之间的第一虚拟线，同时处理单元从第二摄像头导出足够的数据以产生右侧眼外角与左侧眼外角、或者眼睛的外角之间的第二虚拟线。然后，第一虚拟线与第二虚拟线中的每一者的法线产生并基于相对摄像头角度进行相关，以产生瞬时观察方向。
前向指向摄像头5安装在合适的车辆表面上，例如安装在仪表板上方的水平表面的顶部，并连续地对驾驶员的预期前向指向视线进行成像。
如果例如驾驶员33将其头部略微向右转，则检测摄像头和处理单元将检测到驾驶员的观察方向的方位角34a已从预期前向指向视线旋转。作为响应，专用软件应用程序将裁剪前向指向摄像头5的总视野的一部分(例如，50°至60°的视野)。该裁剪部分将被传送至安装在车辆内部例如靠近车顶的可旋转投影仪9。作为响应，可旋转投影仪9将所选择的裁剪部分在与驾驶员的瞬时观察方向一致的位置处投影到挡风玻璃上。结果，驾驶员将能够在挡风玻璃的右下侧看到第一CFDI 17a。如果驾驶员33将其头部进一步向右转，则检测摄像头和处理单元将检测到他的观察方向的方位角34b已经旋转至比预期前向指向视线更大的偏离。作为响应，专用软件应用程序将使可旋转投影仪9进一步旋转并将所选择的裁剪部分在与驾驶员的瞬时观察方向一致的位置处投影在右窗上。结果，驾驶员将能够在右窗的下侧看到第二CFDI17b。
这样，可旋转投影仪9将连续追踪驾驶员的观察方向的方位角，并将裁剪部分投影到与驾驶员的瞬时观察方向一致的车辆表面上。
如图4中示意性地示出，投影仪9包括投影系统15，例如发光二极管(LED)投影系统、微型数字光处理器(DLP)投影系统、基于激光的投影系统或本领域技术人员公知的任何其它投影系统。容纳控制部件的壳体16可移动地安装在对接装置11内，对接装置11固定至合适的车辆表面，例如乘客舱的天花板、连接至地板结构的支柱、或允许壳体16的充分移动以用于前向指向图像的受控投影的任何其它支撑结构。投影系统15可以容纳在连接至壳体16的中空的长附件26内并且设置有视频输入25，待投影的图像由图像处理单元6(图1)通过控制器19的思考而无线地或通过有线连接传送至视频输入25。
壳体16可以通过安装装置29可移动地安装在对接装置11内，安装装置29可以由轴和轴承单元实现以便于枢转运动或旋转运动，并且可选地另外通过振动最小化支架实现，或者替代性地通过陀螺稳定的万向平台实现。马达18与控制器19(例如步进马达)一起驱动安装装置29，使得投影图像将被引导至与驾驶员的瞬时观察方向一致的图像表面。替代性地，马达18驱动运动地连接到壳体16的部件。
控制器19通常通过短程收发器24(例如蓝牙收发器)与图像处理单元8进行数据通信，以便接收关于如何控制马达18的信息。由于CFDI可以被投影到不同的图像表面上，每个图像表面以距驾驶员的眼睛不同的距离且以与驾驶员的眼睛不同的角度定位，这取决于瞬时观察方向，因而投影系统15可以配备有自动聚焦透镜27以确保投影图像将在选定图像表面上聚焦。另外，投影系统15适于响应于要在其上投影的选定图像表面来调整图像的光学特性，例如亮度和对比度。控制器19可以借助于信号A来命令调节投影系统15和自动聚焦透镜27。自动聚焦透镜27的离散焦距可以存储在处理单元6的存储装置中，每个离散焦距对应于到将在其上投影图像的预定车辆图像表面和到投影系统15的受控处置的不同距离。
图5示出了根据本发明的实施方式的用于将CFDI投影到车辆图像表面上的方法，借此，响应于驾驶员的瞬时观察方向，可以控制在其上投影CFDI的图像表面相对于车辆地板的高度。
在该实施方式中，投影仪不仅能够绕竖向轴线旋转，而且能够绕俯仰轴线移置，使得可以控制图像表面相对于车辆地板的高度。例如，投影仪可以配置有允许投影仪表面绕竖向轴线旋转的第一马达并且配置有倒U形连接器，投影仪壳体通过相对的相应的第二马达可旋转地且传动地安装至倒U形连接器的两个末端端部，以用于使透镜绕俯仰轴线移置。
替代性地，可以通过调节透镜的焦距来选择和控制特定高度处的图像表面。
在步骤43中，给定车辆被映射为离线，以确定给定车辆的哪些表面适合用作图像表面。合适的选定表面是下述表面：该表面是连续的并且基本上没有任何从该表面突出的元件，以限制或完全防止由于投影到位于与透镜的不同焦距处的表面上而导致的图像失真。典型的合适内表面包括窗、门表面和地板表面。在步骤45中，可以将表面区域和相对于选定表面的参考位置的坐标存储在存储器中。还可以找到投影仪处置和适合于将CFDI投影到每个选定图像表面上的透镜焦距的组合并将该组合存储在存储器中。
在步骤47中，当驾驶员(他或她)第一次坐在车辆中时，或者在运输操作开始后不久时，驾驶员将驾驶员的瞬时观察方向对应于标称预期视野的指示，即在水平方向和竖向方向两者上偏离预期前向指向视线不多于预定值的指示比如通过合适的按钮输入至处理单元。在该驾驶员输入之后，在步骤49中，一个或更多个面部指向的摄像头拍摄驾驶员面部的图像，并且在步骤51中处理单元根据存储的图像处理指令响应于标称面部高度进行计算。标称面部高度通常是从下巴底部到发际线中点的颏部-发缘长度。如果颏部不明显、例如当驾驶员有胡须时，或者如果发缘不明显、例如当驾驶员有刘海时，可以使用不同的解剖学标志来计算另一种类型的面部高度。
替代性地，可以例如借助于面部指向的摄像头和处理单元做出驾驶员的瞬时观察方向对应于标称预期视野的自动指示。
在运输操作的过程期间，面部指向的摄像头继续拍摄驾驶员面部的图像。在步骤53中，如果驾驶员的瞬时观察方向在水平方向上偏离预期前向指向视线多于预定值，则将CFDI在与眼睛大致相同的高度处投影到与驾驶员的瞬时观察方向一致的车辆图像表面上。在步骤55中，如果因为面部的投影减小而发现计算的面部高度显著小于标称面部高度，则处理单元确定驾驶员的头部向下倾斜。然后在步骤57中，将CFDI投影到与驾驶员的瞬时观察方向一致且在眼睛的高度以下的车辆图像表面上。
图7示意性地示出了本发明的另一实施方式，显示系统70适于检测较差的可见性条件并且响应于表示驾驶员的预期视野的图像而显示，以允许车辆被安全地驾驶直到可见性得到改善为止。
显示系统70包括用于连续或间歇地对驾驶员通过车辆的前挡风玻璃72的前向指向EFOV进行成像的第一前向指向摄像头5、以及在前挡风玻璃72的外部安装于车辆的支承元件上的第二前向指向摄像头74。处理单元(PU)76通过有线或无线连接与第一摄像头5和第二摄像头74进行数据通信，经由信号B获取由第一摄像头5拍摄的图像并根据存储在专用软件模块(SM)77中的指令对所获取的图像数据进行分析。当从第一摄像头5获取的图像数据指示前挡风玻璃72已变得模糊时，处理单元76经由信号C获取从第二摄像头74获取的图像数据并命令图像生成器(IG)81基于与信号C相关联的图像数据生成EFOV相关图像，该EFOV相关图像能够在车辆内部显示。第二摄像头74可以仅在处理单元76确定前挡风玻璃72已经变得模糊之后操作，或者替代性地可以连续地或间歇地操作。
可以具有与第一摄像头5类似的视野的第二摄像头74可以足够小，以便安装在围绕车辆挡风玻璃的框架内。屏蔽件可以部分地或完全地围绕第二摄像头74，以防止第二摄像头的透镜被降水、特别是降雪冲击。如果需要，屏蔽件可以配置有电阻元件。
图像生成器81(该图像生成器81可以是安装在车辆的中央区域中或者安装在车辆的仪表板后面的任何区域中的投影仪)被配置为将EFOV相关图像投影到仪表板上、前挡风玻璃72的一部分上、或者车辆安装式媒体屏幕上。替代性地，图像生成器81被配置为将EFOV相关图像注入能够在媒体屏幕上显示或者与车载计算机集成的用户界面中，使得相应的图标将显示在仪表板上。
以这种方式，驾驶员能够继续驾驶，而不管例如由破碎的前挡风玻璃或快速下落的雪造成的生命危险、极端恶劣的可见性条件。
指示模糊的前挡风玻璃的参数可以是背景物体的锐度。由于这些背景对象通常是不变的，因此背景对象的锐度的突然减小表明前挡风玻璃已经变得模糊。背景对象的锐度可以通过分析与前景物体的对比度或通过任何其它合适的方法来确定。替代性地，指示模糊的前挡风玻璃的参数可以是折射指示参数。
当然，上述示例和描述仅用于说明的目的被提供，而不意在以任何方式限制本发明。如本领域技术人员将理解的，本发明可以以多种方式实施，采用上述技术中的一种技术实施，所有这些都不超出本发明的范围。

Claims (7)

1.一种用于增强驾驶员的前向可视性的车辆安装式显示系统，所述车辆安装式显示系统包括：
a)安装在车辆内部的前向指向摄像头，用于对驾驶员的前向指向预期视野EFOV进行成像；
b)可重新定位的投影仪；
c)处理单元，所述处理单元与所述前向指向摄像头和所述投影仪都进行数据通信；以及
d)多个面部指向摄像头，所述多个面部指向摄像头与所述处理单元进行数据通信并且安装在车辆内部，用于拍摄驾驶员面部的图像，
其中，所述处理单元能够操作成从所述多个面部指向摄像头中的每个获取面部相关图像数据，以从所述获取的面部相关图像数据生成瞬时观察方向，
并且所述处理单元能够操作成：监测驾驶员的所述瞬时观察方向，所述瞬时观察方向指示驾驶员通过前挡风玻璃对车辆在运输操作期间行进的道路的前向可视性，其中，所述处理单元还能够操作成：当驾驶员的所述瞬时观察方向偏离预期前向指向视线多于预定值时，将从所述前向指向摄像头接收的EFOV相关图像数据中的至少一部分传送至所述投影仪，并且命令重新定位和操作所述投影仪，以将所述EFOV相关图像中的至少一部分投影到选自与所述瞬时观察方向一致的侧门或地板表面的一部分的先前映射的车辆图像表面上，从而确保在运输操作过程期间驾驶员的前向可视性。
2.根据权利要求1所述的显示系统，其中，所述多个面部指向的摄像头中的每个是二维摄像头或三维摄像头。
3.根据权利要求1所述的显示系统，其中，所述处理单元还能够操作成从所述多个面部指向的摄像头中的每个获取的所述图像数据来确定驾驶员的头部向下倾斜，并且命令所述EFOV相关图像中的至少一部分投影到眼睛水平高度以下。
4.根据权利要求1所述的显示系统，还包括在所述前挡风玻璃外部安装于所述车辆的支承元件上并与所述处理单元进行数据通信的前向指向摄像头，其中，所述处理单元能够操作成：当从安装在所述车辆内部的前向指向摄像头获取的图像数据指示所述前挡风玻璃已经变得模糊时，命令所述投影仪生成EFOV相关图像，所述EFOV相关图像基于从前向安装在所述前挡风玻璃外部的所述前向指向摄像头接收的图像数据。
5.根据权利要求1所述的显示系统，其中，安装在所述车辆内部的所述前向指向摄像头是智能手机的摄像头。
6.根据权利要求1所述的显示系统，其中，安装在所述车辆内部的所述前向指向摄像头的所述EFOV在50°至60°的范围内。
7.一种用于保持驾驶员的前向可视性的方法，所述方法包括以下步骤：
a)通过安装在车辆内部的前向指向摄像头对车辆的驾驶员的前向指向预期视野EFOV进行成像；
b)监测驾驶员的瞬时观察方向，所述瞬时观察方向指示驾驶员通过前挡风玻璃对车辆在运输操作期间行进的路的前向可视性；以及
c)如果驾驶员的所述瞬时观察方向偏离预期前向指向视线多于预定值，则将从所述前向指向摄像头接收的EFOV相关图像数据中的至少一部分传送至投影仪，并且将所述传送的EFOV相关图像数据投影到选自与所述瞬时观察方向一致的侧门或地板表面的一部分的车辆图像表面上，以确保在所述运输操作过程期间驾驶员的前向可视性。
CN201780043016.2A 2016-06-08 2017-06-07 用于防止车辆事故的车辆安装式显示系统和方法 Active CN109791287B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IL246129A IL246129A0 (en) 2016-06-08 2016-06-08 A visual display system to prevent accidents with vehicles
IL246129 2016-06-08
PCT/IL2017/050639 WO2017212490A1 (en) 2016-06-08 2017-06-07 A vehicle-mounted display system and method for preventing vehicular accidents

Publications (2)

Publication Number Publication Date
CN109791287A CN109791287A (zh) 2019-05-21
CN109791287B true CN109791287B (zh) 2023-03-07

Family

ID=60578558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780043016.2A Active CN109791287B (zh) 2016-06-08 2017-06-07 用于防止车辆事故的车辆安装式显示系统和方法

Country Status (5)

Country Link
US (1) US11068731B2 (zh)
EP (1) EP3469415A4 (zh)
CN (1) CN109791287B (zh)
IL (2) IL246129A0 (zh)
WO (1) WO2017212490A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11453365B2 (en) * 2016-08-26 2022-09-27 NetraDyne, Inc. Recording video of an operator and a surrounding visual field
CN107527074B (zh) * 2017-09-05 2020-04-07 百度在线网络技术（北京）有限公司 用于车辆的图像处理方法和装置
US11527081B2 (en) 2020-10-20 2022-12-13 Toyota Research Institute, Inc. Multiple in-cabin cameras and lighting sources for driver monitoring

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460235A (zh) * 2001-03-30 2003-12-03 皇家菲利浦电子有限公司 用于监控驾驶员驾驶注意力的系统
JP2005207778A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2010018201A (ja) * 2008-07-11 2010-01-28 Fujitsu Ten Ltd 運転者支援装置、運転者支援方法および運転者支援処理プログラム
CN101915990A (zh) * 2009-04-02 2010-12-15 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的增强道路视觉
CN201736911U (zh) * 2010-03-18 2011-02-09 北汽福田汽车股份有限公司 一种车辆
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
EP2902747A1 (en) * 2014-01-30 2015-08-05 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, method of controlling a display control apparatus, display apparatus and display control program
CN105263757A (zh) * 2013-05-29 2016-01-20 罗伯特·博世有限公司 用于在使用可与车辆耦合的移动终端设备的情况下识别车辆和对象之间的碰撞的方法和设备
CN105376526A (zh) * 2014-08-07 2016-03-02 大陆汽车系统公司 动态校准的平视显示器

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
AU2559399A (en) * 1998-01-16 1999-08-02 Thresholds Unlimited, Inc. Head up display and vision system
FR2839933B1 (fr) * 2002-05-27 2005-02-04 Bernard Jean Francois C Roquet Dispositif d'aide a la conduite automobile en cas de mauvaise visibilite exterieure
AU2003280516A1 (en) * 2002-07-01 2004-01-19 The Regents Of The University Of California Digital processing of video images
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
US8233670B2 (en) * 2007-09-13 2012-07-31 Cognex Corporation System and method for traffic sign recognition
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
FR2933065B1 (fr) * 2008-06-30 2011-08-26 Airbus France Procede d'assemblage d'un plancher dans une structure de coque prealablement constituee d'un troncon de fuselage d'aeronef
JP2010070066A (ja) 2008-09-18 2010-04-02 Toshiba Corp ヘッドアップディスプレイ
US8629784B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Peripheral salient feature enhancement on full-windshield head-up display
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
JP5387763B2 (ja) 2010-05-25 2014-01-15 富士通株式会社 映像処理装置、映像処理方法及び映像処理プログラム
DE102010041961B4 (de) * 2010-10-05 2022-08-04 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug mit einer Vorrichtung zur Beeinflussung der Blickrichtung des Fahrers
US20130169679A1 (en) * 2011-12-30 2013-07-04 Automotive Research & Test Center Vehicle image display system and correction method thereof
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
CN202923497U (zh) * 2012-10-31 2013-05-08 长安大学 一种雨雾天气增强驾驶员视野的装置
TWI531495B (zh) 2012-12-11 2016-05-01 Automatic Calibration Method and System for Vehicle Display System
DE102013208971A1 (de) * 2013-05-15 2014-11-20 Robert Bosch Gmbh Vorrichtung und Verfahren zum Projizieren einer Bildinformation in ein Blickfeld eines Fahrzeuginsassen eines Fahrzeugs
CN103728727A (zh) * 2013-12-19 2014-04-16 财团法人车辆研究测试中心 自动调整可视范围的信息显示系统及其显示方法
US20150175068A1 (en) * 2013-12-20 2015-06-25 Dalila Szostak Systems and methods for augmented reality in a head-up display
DE102014206684A1 (de) * 2014-04-07 2015-10-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Nachführen eines Sichtbereichs eines Sichtfeldanzeigegeräts
KR101631963B1 (ko) * 2014-04-30 2016-06-20 엘지전자 주식회사 헤드 업 디스플레이 장치 및 이를 구비한 차량
CN104260669B (zh) * 2014-09-17 2016-08-31 北京理工大学 一种智能汽车抬头显示器
WO2016044820A1 (en) * 2014-09-19 2016-03-24 Kothari Ankit Enhanced vehicle sun visor with a multi-functional touch screen with multiple camera views and photo video capability
JP6394281B2 (ja) * 2014-10-29 2018-09-26 株式会社デンソー 車載注意喚起システム、報知制御装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1460235A (zh) * 2001-03-30 2003-12-03 皇家菲利浦电子有限公司 用于监控驾驶员驾驶注意力的系统
JP2005207778A (ja) * 2004-01-20 2005-08-04 Mazda Motor Corp 車両用画像表示装置、車両用画像表示方法及び車両用画像表示プログラム
JP2010018201A (ja) * 2008-07-11 2010-01-28 Fujitsu Ten Ltd 運転者支援装置、運転者支援方法および運転者支援処理プログラム
CN101915990A (zh) * 2009-04-02 2010-12-15 通用汽车环球科技运作公司 全挡风玻璃平视显示器上的增强道路视觉
CN201736911U (zh) * 2010-03-18 2011-02-09 北汽福田汽车股份有限公司 一种车辆
CN105263757A (zh) * 2013-05-29 2016-01-20 罗伯特·博世有限公司 用于在使用可与车辆耦合的移动终端设备的情况下识别车辆和对象之间的碰撞的方法和设备
CN103770733A (zh) * 2014-01-15 2014-05-07 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
EP2902747A1 (en) * 2014-01-30 2015-08-05 Panasonic Intellectual Property Management Co., Ltd. Display control apparatus, method of controlling a display control apparatus, display apparatus and display control program
CN105376526A (zh) * 2014-08-07 2016-03-02 大陆汽车系统公司 动态校准的平视显示器

Also Published As

Publication number Publication date
WO2017212490A1 (en) 2017-12-14
US20190188506A1 (en) 2019-06-20
EP3469415A1 (en) 2019-04-17
EP3469415A4 (en) 2020-07-29
US11068731B2 (en) 2021-07-20
IL263529B (en) 2022-04-01
CN109791287A (zh) 2019-05-21
IL263529A (en) 2019-01-31
IL246129A0 (en) 2016-08-31

Similar Documents

Publication Publication Date Title
US11022795B2 (en) Vehicle display control device
WO2018070193A1 (ja) ヘッドアップディスプレイ装置
US10427690B2 (en) Control system
WO2010029707A4 (ja) 画像照射システム及び画像照射方法
CN109791287B (zh) 用于防止车辆事故的车辆安装式显示系统和方法
US20160125631A1 (en) Apparatus for dynamically controlling hud (head-up display) information display position
JP2004030212A (ja) 車両用情報提供装置
KR101965881B1 (ko) 차량 운전 보조 장치 및 이를 구비한 차량
JP2008001182A (ja) 車両用視覚情報呈示装置及び車両用視覚情報呈示方法
JP7111582B2 (ja) ヘッドアップディスプレイシステム
KR101976106B1 (ko) 정보제공을 위한 차량용 통합 헤드업디스플레이장치
JP2005346177A (ja) 車両用情報提示装置
JP6232691B2 (ja) 車両用表示制御装置、車両用表示装置及び車両用表示制御方法
JP6979096B2 (ja) 注意喚起装置、及び注意喚起方法
JP2020201670A (ja) 認識装置、認識方法、およびプログラム
JP2023021123A (ja) 運転支援装置、運転状況情報取得システム、運転支援方法及びプログラム
JP6213300B2 (ja) 車両用表示装置
US20210268961A1 (en) Display method, display device, and display system
JP6947873B2 (ja) Ａｒ表示装置、ａｒ表示方法、およびプログラム
KR20150139540A (ko) 방향 오리엔테이션 네비게이션 시스템을 구비하는 시각적 포지셔닝
JP2008055942A (ja) 夜間前方情報提供装置
JP2018090121A (ja) 映像表示装置、及び映像表示方法
CN113401057A (zh) 一种场景随动的全息投影系统及其汽车
JP2005106663A (ja) 車両用情報提供装置、車両用情報提供方法及び車両用情報提供プログラム
US20210382377A1 (en) Proximity Awareness Management (PAM)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230221

Address after: 703-6, Floor 7, Building 10, Changzhou Innovation Park, Israel, China, No. 18-67, Changwu Middle Road, Wujin District, Changzhou City, Jiangsu Province

Applicant after: Fusat (Changzhou) Automobile Technology Co.,Ltd.

Address before: Israel: Ciaona

Applicant before: FORESIGHT AUTOMOTIVE Ltd.

GR01 Patent grant
GR01 Patent grant