CN107618438A - 用于观察车辆感知活动的抬头显示器 - Google Patents
用于观察车辆感知活动的抬头显示器 Download PDFInfo
- Publication number
- CN107618438A CN107618438A CN201710550454.XA CN201710550454A CN107618438A CN 107618438 A CN107618438 A CN 107618438A CN 201710550454 A CN201710550454 A CN 201710550454A CN 107618438 A CN107618438 A CN 107618438A
- Authority
- CN
- China
- Prior art keywords
- windshield
- occupant
- viewpoint
- vehicle
- hud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000008447 perception Effects 0.000 title claims abstract description 40
- 230000000694 effects Effects 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 32
- 230000000007 visual effect Effects 0.000 claims description 50
- 238000003860 storage Methods 0.000 claims description 29
- 230000008859 change Effects 0.000 claims description 8
- 239000011521 glass Substances 0.000 claims description 8
- 239000003550 marker Substances 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 abstract description 18
- 230000003287 optical effect Effects 0.000 abstract description 9
- 238000004590 computer program Methods 0.000 abstract description 3
- 230000015654 memory Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009472 formulation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Graphics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明扩展到用于观察车辆感知活动的抬头显示器的方法、系统和计算机程序产品。当车辆运行时，乘员可以通过挡风玻璃看到车辆外的对象。车辆传感器还检测车辆外的对象。车辆投影系统可以将对于检测到的对象的抬头显示器投影到挡风玻璃上。抬头显示器可以与驾驶员的视点对准，使得通过挡风玻璃观看时，投影在挡风玻璃上的图形元件覆盖与其对应的对象。因此，驾驶员(例如测试工程师)能够在驾驶时不必将视线离开道路来观看算法输出(例如感知算法输出)。因此，测试驾驶员辅助和自主驾驶特征是更安全和更有效的。抬头显示器也可以用作驾驶员辅助。
Description
技术领域
本发明总体上涉及车辆自动化领域，并且更具体地，涉及用于观察车辆感知活动的抬头显示器。
背景技术
车辆自动化工程师可以执行测试驾驶来验证自动化算法(例如，感知算法)是如何工作的。为了在测试驾驶期间验证算法功能，工程师通常希望看到显示算法输出的实时反馈。基于算法输出，工程师可以调整其驾驶情况，以研究和收集与遇到的任何问题有关的数据。
一些车辆内的测试环境包括安装在前仪表板中或在中控台上的屏幕。或者，可以两名工程师执行测试，当驾驶员工程师驾驶时，乘客工程师使用笔记本电脑查看算法输出。不过，这些安排都不理想。
当使用车载屏幕时，驾驶工程师不能同时驾驶又看屏幕上的算法输出。驾驶工程师只能在将视线离开路面看着屏幕时来观察算法输出。因此，驾驶工程师实质上必须在道路和屏幕之间来回查看，以尝试既安全地操作车辆又观察算法输出。由于不能一直观看屏幕，驾驶工程师可能会错过可能有助于排除算法的故障和收集更多相关数据的算法行为。
使用两名工程师进行的测试更安全，因为乘客工程师可以观察并将相关的算法输出传递给驾驶工程师。然而，由于驾驶工程师不能直接观察算法输出，驾驶工程师的测试经验仍然不是最佳的。此外，两个工程师的方法是昂贵的，因为它需要额外的人员来测试算法。
发明内容
根据本发明，提供一种用于车辆的方法，所述方法用于在挡风玻璃上呈现显示器，所述方法包括：
确定乘员透过挡风玻璃的视点；
使用车辆传感器检测车辆外部的环境；
形成环境中乘员视野内的关注对象的显示器；和
将所述显示器在挡风玻璃上的投影与乘员的视点对准。
根据本发明的一个实施例，其中，确定乘员透过挡风玻璃的视点包括，手动地确定乘员透过挡风玻璃的视点。
根据本发明的一个实施例，其中，确定乘员透过挡风玻璃的视点包括，使用所述车辆车厢内的传感器以自动地确定乘员透过挡风玻璃的视点。
根据本发明的一个实施例，其中，形成乘员视野内的关注对象的显示器包括，为所述环境中的道路上的一个或多个车道边界形成车道高亮；和
其中将所述显示器在挡风玻璃上的投影对准包括，将车道高亮在挡风玻璃上的显示与道路上的一个或多个车道边界对准，以当从乘员透过所述挡风玻璃的视点感知所述显示器时，车道高亮覆盖车道边界。
根据本发明的一个实施例，其中，形成乘员视野内的关注对象的显示器包括，为所述环境中的一个或多个对象形成边界矩形；和
将所述显示器在挡风玻璃上的投影对准包括，将边界矩形在挡风玻璃上的显示与所述环境中的一个或多个对象对准，以当从乘员透过所述挡风玻璃的视点感知所述显示器时，边界矩形围绕所述一个或多个对象的每一个。
根据本发明的一个实施例，其中，形成乘员视野内的关注对象的显示包括，对所述环境中的一个或多个对象进行分类；和
将所述显示器在挡风玻璃上的投影对准包括，将类别在挡风玻璃上的显示与所述环境中的所述一个或多个对象对准，以当从乘员透过所述挡风玻璃的视点感知所述显示器时，在所述一个或多个对象的每一个的旁边指示出类别。
根据本发明，提供一种在车辆上使用的方法，所述方式用于在车辆的挡风玻璃上显示抬头显示器，所述方法包括：
使用安装到车辆的多个传感器来检测挡风玻璃视野内的对象；
根据一种或多种感知算法处理来自所述多个传感器的数据，以识别所述视野内的关注对象；
制定视野的抬头显示器数据，包括制定与每个关注对象相对应的视觉指示；
根据抬头显示数据生成抬头显示器；
识别车辆乘员透过挡风玻璃看向视野的视点；和
基于车辆乘员的视点，将抬头显示器在挡风玻璃上的投影针对车辆乘员对准，包括将视觉指示投影到挡风玻璃上，以将视觉指示覆盖乘员对相应的关注对象的感知。
根据本发明的一个实施例，其中，根据一种或多种感知算法处理来自所述多个传感器的数据，以识别所述视野内的关注对象，包括：识别另一车辆、行人、交通标志、交通信号灯或道路标记中的一个或多个。
根据本发明的一个实施例，其中，识别车辆乘员透过挡风玻璃的视点包括，根据预先计算的设置识别车辆乘员的视点。
根据本发明的一个实施例，其中，识别车辆乘员透过挡风玻璃的视点包括，根据传感器数据识别车辆乘员的视点，所述传感器数据接收自面向乘员的摄像机。
根据本发明的一个实施例，其中，识别车辆乘员透过挡风玻璃的视点包括，根据传感器数据识别车辆乘员的视点的改变，所述传感器数据接收自面向乘员的摄像机。
根据本发明的一个实施例，其中识别车辆乘员透过挡风玻璃的视点包括，识别车辆驾驶员透过挡风玻璃的视点。
根据本发明的一个实施例，其中，将视觉指示投影到所述挡风玻璃上包括，将用于道路标记的高亮投影到所述挡风玻璃上。
根据本发明的一个实施例，其中，将视觉指示投影到所述挡风玻璃上包括，将用于关注对象的边界框投影到挡风玻璃上。
根据本发明，提供一种车辆，所述车辆包括：
挡风玻璃；
一个或多个外部安装的传感器，该外部安装的传感器用于检测挡风玻璃视野内的对象；
一个或多个处理器；
耦合到一个或多个处理器的系统存储器，所述系统存储器存储由所述一个或多个处理器执行的指令；
一个或多个处理器被配置为执行存储在系统存储器中的用于在挡风玻璃上显示抬头显示器的指令，所述指令包括以下指令：
根据一种或多种感知算法处理来自一个或多个外部安装的传感器的数据，以识别视野内的关注对象；
制定视野的抬头显示器数据，包括制定与每个关注对象相对应的视觉指示；
根据抬头显示器数据生成抬头显示器；
识别车辆乘员透过挡风玻璃看向视野的视点；和
基于车辆乘员的视点将抬头显示器在挡风玻璃上的投影针对车辆乘员对准，包括将视觉指示投影到挡风玻璃上，以将视觉指示覆盖乘员对相应的关注对象的感知。
根据本发明的一个实施例，其中所述一个或多个外部安装的传感器包括以下一个或多个：摄像机、激光雷达传感器、雷达传感器和超声波传感器。
根据本发明的一个实施例，其中，所述一个或多个处理器被配置为执行识别车辆乘员透过所述挡风玻璃的视点的指令包括：所述一个或多个处理器被配置为执行根据预先计算的设置来识别车辆乘客的视点的指令。
根据本发明的一个实施例，其中，所述一个或多个处理器被配置为执行识别车辆乘员透过所述挡风玻璃的视点的指令包括：所述一个或多个处理器被配置为执行根据传感器数据来识别车辆乘客的视点的指令，所述传感器数据接收自面向乘员的摄像机。
根据本发明的一个实施例，其中，所述一个或多个处理器被配置为执行将所述视觉指示投影到所述挡风玻璃上的指令包括：所述一个或多个处理器被配置为执行将道路标记的高亮投影到所述挡风玻璃上的指令。
根据本发明的一个实施例，其中，所述一个或多个处理器被配置为执行将所述视觉指示投影到所述挡风玻璃上的指令包括：所述一个或多个处理器被配置为执行将关注对象的边界框投影到挡风玻璃上的指令。
附图说明
关于以下描述和附图，将更好地理解本发明的具体特征、各方面和优点，其中：
图1示出了计算设备的示例框图。
图2示出了有助于呈现用于观察车辆感知活动的抬头显示器的示例环境。
图3示出了用于呈现用于观察车辆感知活动的抬头显示器的示例性方法的流程图。
图4A和4B示出了在挡风玻璃上为车辆乘员投影抬头显示器的示例。
具体实施方式
本发明延伸至用于观察车辆感知活动的抬头显示器的方法、系统和计算机程序产品。挡风玻璃抬头显示器允许车辆乘员(例如驾驶员或乘客)在观察道路的同时观察车辆感知活动。当车辆被驾驶时，乘客可以通过挡风玻璃看到车辆外的对象。安装在车辆上的传感器也可以检测车辆外的对象。车辆投影系统可以投影用于检测到的对象的抬头显示器到挡风玻璃上。
抬头显示器可以包括检测到的对象的边界框和类别。例如，抬头显示器可以包括识别车道边界和例如行人、小汽车、标志的其他对象以及驾驶员可以通过挡风玻璃看到的其他对象的图形元件。
抬头显示器可以提供宽视野，例如包括车辆的整个前挡风玻璃。
抬头显示器可以与乘员的视点对准，使得投影在挡风玻璃上的图形元件与透过挡风玻璃看到的对应对象重叠。当乘坐车辆时，乘员的视点可以随着他们看向不同方向、移动头、改变在车辆中的位置等而改变。投影系统可以通过校准抬头显示器(例如，在使用之前和/或甚至在使用期间)来补偿乘员的视点的变化，使得与乘员的视点保持对准。例如，可以将边界框投影到不同的位置以补偿乘员的眼睛的偏移。一方面，在使用期间，使用面向乘员的摄像头以及面部和瞳孔检测软件调整抬头显示器的对准。
因此，乘员(例如测试工程师驾驶员)能够观看算法输出(例如感知算法输出)，而不必将视线离开道路。在观看算法输出的同时将眼睛保持在道路上使乘员(例如驾驶员)更好的理解算法行为。因此，测试驾驶员辅助特征和自主驾驶特征是更安全和更有效的。
本发明的各方面可用于测试环境以及生产环境中。在测试环境中，测试工程师可以使用抬头显示器来测试算法行为。在生产环境中，驾驶员可以使用抬头显示器作为驾驶员辅助以例如在较低的可见度条件(例如雾、雪、雨、黄昏等)驾驶时进行辅助。车辆可以包括用于打开和关闭抬头显示器的开关。自主车辆中的乘客可以打开抬头显示器以获得对自主车辆使用的算法的信心。然后，当乘客确信自主车辆安全运行时，他们可以关闭抬头显示器。
本发明的各方面可以在各种不同类型的计算设备中实现。图1示出了计算设备100的示例框图。计算设备100可以用于执行各种过程，例如本文所讨论的过程。计算设备100可以用作服务器、客户端或任何其他计算实体。计算设备100可以执行如本文所述的各种通信和数据传输功能，并且可以执行一个或多个应用程序，例如本文所述的应用程序。计算设备100可以是诸如移动电话或其他移动设备、台式计算机、笔记本计算机、服务器计算机、手持计算机、平板计算机等各种各样的计算设备中的任何一种。
计算设备100包括一个或多个处理器102、一个或多个存储器104、一个或多个接口106、一个或多个大容量存储设备108、一个或多个输入/输出(I/O)设备110、以及显示设备130，所有这些设备耦合到总线112。处理器102包括执行存储在存储器104和/或大容量存储设备108中的指令的一个或多个处理器或控制器。处理器102还可以包括各种类型的计算机存储介质，诸如高速缓冲存储器。
存储器104包括各种计算机存储介质，诸如易失性存储器(例如随机存取存储器(RAM)114)和/或非易失性存储器(例如只读存储器(ROM)116))。存储器104还可以包括诸如闪存之类的可重写ROM。
大容量存储设备108包括各种计算机存储介质，诸如磁带、磁盘、光盘、固态存储器(例如闪存)等等。如图1所示，特定的大容量存储设备是硬盘驱动器124。也可以在大容量存储设备108中包括各种驱动器，以使得能够读取和/或写入各种计算机可读介质。大容量存储设备108包括可移动介质126和/或不可移动介质。
I/O设备110包括允许将数据和/或其他信息输入到计算设备100或从计算设备100调用的各种设备。示例I/O设备110包括光标控制设备、键盘、小键盘、条形码扫描器、麦克风、监视器或其他显示设备、扬声器、打印机、网络接口卡、调制解调器、摄像机、镜头，雷达、CCD(电荷耦合器件)或其他图像捕获设备等。
显示设备130包括能够向计算设备100的一个或多个用户显示信息的任何类型的设备。显示设备130的示例包括监视器、显示终端、视频投影设备等。
接口106包括允许计算设备100与其他系统、设备或计算环境以及人类交互的各种接口。示例接口106可以包括任何数量的不同的网络接口120，诸如到个人区域网络(PAN，personal area networks)、局域网(LANs，local area networks)、广域网(WAN，wide areanetworks)、无线网络(例如近场通信(NFC，near field communication)，蓝牙，Wi-Fi等网络)和互联网的接口。其他接口包括用户界面118和外围设备接口122。
总线112允许处理器102、存储器104、接口106、大容量存储设备108和I/O设备110彼此通信，以及与耦合到总线112的其他设备或组件通信。总线112表示几种类型的总线结构中的一种或多种，例如系统总线、PCI(部控制器接口)总线、IEEE 1394总线、USB(通用串行总线)总线等。
图2示出了便于用于观察车辆感知活动的抬头显示器的示例环境200。环境200包括车辆201，例如小汽车、卡车或公共汽车。车辆201可以包含一个或多个乘员，例如乘员232(其可以是驾驶员或乘客)。环境200还包括对象221A、221B和221C。对象221A、221B和221C中的每一个可以是以下之一：道路标记(例如车道边界)、行人、小汽车、标志或乘员232可以透过挡风玻璃234看到的任何其他对象。
车辆201包括外部传感器202、感知神经网络模块208、显示制定模块209、投影系统211、内部传感器213、乘员视线检测器214和挡风玻璃234。外部传感器202被外部安装在车辆201上。外部传感器202包括摄像机203、雷达传感器204和超声波传感器206。外部传感器202还可以包括其他类型的传感器(未示出)，例如声学传感器、LIDAR(激光雷达)传感器和电磁传感器。通常，外部传感器202可以在视野中监测对象。外部传感器202可以输出表示被监测对象的位置和光流(即方向和速度)的传感器数据。根据传感器数据，车辆201可以在挡风玻璃234上投影与车辆201的乘员的视点对准的与抬头显示器。
感知神经网络模块208可以接收视野内的对象的传感器数据。感知神经网络模块208可以处理传感器数据以识别视野内的关注对象。感知神经网络模块208可以使用一种或多种感知算法对对象进行分类。对象类别可以包括车道边界、交叉路口、标志、控制信号、小汽车、卡车、行人等。一些对象类别可以有子类别。例如，可以通过标志类型对标志进行分类，例如停车标志、避让标志、学校区域标志、限速标志等。感知神经网络模块208还可以确定视野内的对象的位置。如果对象正在移动，感知神经网络模块208还可以确定对象的可能路径。
感知神经网络模块208可以包括根据多层(或“深度”)模型构建的神经网络。多层神经网络模型可以包括输入层、多个隐藏层和输出层。多层神经网络模型还可以包括损耗层。对于传感器数据(例如图像)的类别，将传感器数据中的值(例如像素值)分配给输入节点，然后通过神经网络的多个隐藏层进行馈送。多个隐藏层可以执行多个非线性变换。在转换结束时，输出节点产生对应于对象的类别和位置(以及可能的移动路径)的值。
显示器制定模块209被配置为为视野内的关注对象制定抬头显示器数据。制定抬头显示器数据可以包括制定与视野内关注对象相对应的视觉指示。例如，显示器制定模块209可以为道路标记制定高亮显示以及为其他关注的对象制定边界框。
内部传感器213(例如摄像机)可以监测车辆201的乘员。内部传感器213可以向乘员视线检测器214发送传感器数据。一方面，乘员视线检测器214使用内部传感器数据(例如眼睛和/或头部跟踪数据)以确定车辆201的乘员的视点。当接收到更新的内部传感器数据时，乘员视线检测器214可以更新乘员的视点。例如，当乘员移动眼睛和/或将头部朝不同方向转动时，可以确定乘员的新视点。
另一方面，乘员视线检测器214使用预配置的设置来确定车辆201的乘员的视点。当车辆201缺少内部传感器(例如摄像机)时，所确定的视点可以保持恒定。例如，测试工程师可以预先配置整个测试中使用的视点。
另一方面，乘员视线检测器214使用预配置的设置来确定车辆201的乘员的初始视点。然后，乘员视线检测器214可以在接收到更新的内部传感器数据时更新乘员的视点。
投影系统211被配置为根据抬头显示器数据并基于乘员的视点来为车辆201的乘员创建抬头显示器。投影系统211可以包括用于在挡风玻璃234上投影抬头显示器的软件和硬件组件(例如投影仪)。对准模块212可以基于乘员看向视野的视点为乘员将抬头显示器对准投影。抬头显示器的对准投影可以包括将视觉指示投影到挡风玻璃234上以将视觉指示覆盖乘员的视野感知中的视觉指示。
投影系统211可以横跨整个挡风玻璃234投影抬头显示器。因此，抬头显示器可以增强乘员通过挡风玻璃234的整个视野，并且与乘员看向视野的视点对准。
测试工程师可以从挡风玻璃234上的抬头显示器观察感知神经网络208中的感知算法的行为。类似地，驾驶员可能能够在较低的可见度条件下更好地感知道路。
一方面，挡风玻璃234是车辆201的前挡风玻璃。另一方面，挡风玻璃234是车辆201的后挡风玻璃。在其它方面，挡风玻璃234是车辆201的窗口。
车辆201的组件可以通过网络(例如PAN、LAN、WAN、控制器区域网络(CAN，controller area network)总线、甚至互联网)相互连接，或者可以成为为网络的一部分。因此，车辆201的组件以及任何其他连接的计算机系统及其组件可以创建消息相关数据并交换与消息相关数据(例如近场通信(NFC)有效载荷、蓝牙分组、因特网协议(IP)数据报以及通过网络利用IP数据报(例如传输控制协议(TCP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)等)的其他更高层协议。
车辆201可以包括具有各种不同类型和数量的处理器的异构计算平台。例如，异构计算平台可以包括至少一个中央处理单元(CPU，Central Processing Unit)、至少一个图形处理单元(GPU，Graphical Processing Unit)和至少一个场可编程门阵列(FPGA，FieldProgrammable Gate Array)。可以跨越不同类型和数量的处理器实现本发明的各个方面。
图3示出了用于在车辆的挡风玻璃上显示抬头显示器的示例性方法300的流程图。将关于环境200的组件和数据描述方法300。
方法300包括使用安装到车辆的多个传感器来检测挡风玻璃视野内的对象(301)。例如，可以使用外部传感器202来检测挡风玻璃234的视野231内的对象221A、221B和221C。响应于检测到对象221A、221B和221C，外部传感器202可以生成外部传感器数据222。外部传感器数据222可以包括对象221A、221B和221C的对象特征(尺寸，形状等)、位置、速度、移动方向等。
方法300包括根据一种或多种感知算法来处理来自多个传感器的数据，以识别视野范围内的关注对象(302)。例如，感知神经网络模块208可以根据一种或多种感知算法处理外部传感器数据222，以识别视野231中的对象224。对象224包括视野231中的对象221A、221B和222C。感知神经网络模块208可以对每个对象进行分类并确定其每一个在视野231中的位置。例如，感知神经网络模块208可以为对象221A分配类别226A(例如小汽车)和位置227A，可以为对象221B分配类别226B(例如车道边界)和位置227B，以及可以为对象221C分配类别226C(例如行人)和位置227C。
方法300包括制定视野的抬头显示数据，包括制定对应于每个关注对象的视觉指示(303)。例如，显示器制定模块209可以制定视野231的抬头显示器数据223。制定抬头显示器数据223可以包括制定关于每个对象221A、221B和221C的视觉指示241。例如，视觉指示241可以包括对象221A(例如小汽车)和221C(例如行人)的边界框和对象221B的高亮显示(例如车道边界)。
方法300包括根据抬头显示器数据产生抬头显示器(304)。例如，投影系统211可以根据抬头显示器数据223生成抬头显示器228。
方法300包括识别车辆乘员的透过挡风玻璃看向视野的视点(305)。例如，乘员视线检测器214可以识别乘员232具有透过挡风玻璃234看向视野231的视点233。一方面，内部传感器213通过监测以下中的一个或多个来产生内部传感器数据237：乘员232的眼睛、乘员232的面部特征、乘员232的头部的方向、车辆201中的乘员232的位置以及乘员232的头部相对于挡风玻璃234的高度。乘员视线检测器214可以包括眼睛和/或面部跟踪软件，其使用内部传感器数据237以识别视点233。另一方面，乘员视线检测器214使用预先计算的设置238来识别视点233。
方法300包括基于车辆乘员的视点，将抬头显示器的投影针对车辆乘员对准到挡风玻璃上，包括将视觉指示投射到挡风玻璃上以将视觉指示覆盖乘员对对应的关注对象的感知(306)。例如，对准模块212可以基于视点233针对乘员232对准抬头显示器228。投影系统211可将对准的抬头显示器229投影236到挡风玻璃234上。投影对准的抬头显示器229可以包括投影视觉指示241以将视觉指示241覆盖乘员232对对象221A、221B和221C的感知。
图4A和4B示出了在挡风玻璃上为辆乘员投影抬头显示器的示例。图4A包括车辆401、边界线421、车道线422、人行横道423和停止标志424。车辆401和摩托车426可以在道路441上行驶接近停车标志424。当车辆401接近停车标志424时，前挡风玻璃437为乘员432(其可以是驾驶员和/或乘客)提供视野431。乘员432看着进入视野431的视点433。
当车辆401接近停车标志424时，安装在车辆401上的传感器可以检测边界线421、车道线422、人行横道423和停车标志424。可以使用车辆401内的面向乘员的摄像机结合面部和瞳孔检测软件来识别视点433。车辆401内的其他部件可以互操作以横跨挡风玻璃437投影抬头显示器。可以基于视点433针对乘员432对准抬头显示器。因此，用于边界线421、车道线422、人行横道423和停止标志424的视觉指示被投影到挡风玻璃437上。当乘员432透过挡风玻璃观看视野431时，视觉指示覆盖边界线421、车道线422、人行横道423和停车标志424。
转向图4B，图4B描绘了挡风玻璃437上的抬头显示器。投影系统411可以投影包括边界框461和462、车道边界高光463和464、以及人行横道高光466的抬头显示器。如图所示，边界框461围绕乘员432看到的摩托车426。类似地，边界框462围绕乘员432看到的停车标志424。车道边界高光463和464分别表示边界线421和车道线422。人行横道高亮466表示人行横道423。
乘客432可以使用投影到挡风玻璃437上的抬头显示器来评估车辆401中运行的感知算法的行为和/或用于驾驶员辅助目的。
一方面，一个或多个处理器被配置为执行指令(例如计算机可读指令、计算机可执行指令等)以执行多个描述的操作中的任何一个。一个或多个处理器可以从系统存储器访问信息和/或将信息存储在系统存储器中。一个或多个处理器可以转换不同格式之间的信息，例如传感器数据、识别的对象、对象类别、对象位置、抬头显示器数据、视觉指示、抬头显示器、对准的抬头显示器、乘员视点、预先计算的配置设置等。
系统存储器可以耦合到一个或多个处理器，并且可以存储由一个或多个处理器执行的指令(例如计算机可读指令、计算机可执行指令等)。系统存储器还可以被配置为存储由所描述的组件生成的多个其他类型的数据中的任何一个，例如传感器数据、识别的对象、对象类别、对象位置、抬头显示器数据、视觉指示、抬头显示器、对准的抬头显示器、乘员视点、预先计算的配置设置等。
在上述公开内容中，参考形成本公开的一部分的附图，并且附图中通过图示的方式示出了可以实践本公开的具体实施方式。应当理解，在不脱离本公开的范围的情况下，可以使用其他实施方式并且可以进行结构改变。说明书中提到的“一个实施例”、“实施例”、“示例性实施例”等表示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不一定包括特定特征、结构或特性。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，认为结合其他实施例改变这些特征、结构或特性，不论是否明确描述，都在本领域技术人员的知识范围内。
本文公开的系统、设备和方法的实现可以包括或利用包括计算机硬件的特殊或通用计算机，例如一个或多个处理器和系统存储器，如本文所讨论的。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM、ROM、EEPROM(可擦可编程只读存储器)、CD-ROM(只读光盘驱动器)、固态驱动器(“SSD”)(例如基于RAM)、闪存、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储设备，或可用于以计算机可执行指令或数据结构的形式存储所需程序代码的任何其他介质，并且可以由通用或专用电脑访问。
本文公开的设备、系统和方法的实现可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子设备之间传送电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线或硬连线或无线的组合)传输或提供给计算机时，计算机适时地将连接视为传输介质。传输媒体可以包括网络和/或数据链路，其可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码装置，并且可由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包括例如在处理器处执行时使通用计算机、专用计算机或专用处理装置执行某一功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件，诸如汇编语言的中间格式指令，甚至是源代码。应当理解的是，虽然主题已经用特定于结构特征和/或方法动作的语言描述，但是，所附权利要求中限定的主题不一定限于上述所描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实施，所述计算机系统配置包括：内置式或其它车载计算机、个人计算机、台式计算机，膝上型计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程消费电子产品、网络PC(个人计算机)、小型计算机、大型计算机、移动电话、PDA(个人数字助理)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式系统环境中实施，其中通过网络链接(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储设备中。
此外，在适当的情况下，本文描述的功能可以在硬件、软件、固件、数字组件或模拟组件中的一个或多个中执行。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文所述的一个或多个系统和过程。在整个描述和权利要求中使用某些术语来指代特定的系统组件。如本领域技术人员将理解的，组件可以由不同的名称引用。本文档不打算区分名称不同但功能相同的组件。
应当注意，上述传感器实施例可以包括计算机硬件、软件、固件或其任何组合，以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例性装置在本说明书的目的中提供，并不旨在限制。本公开的实施例可以在相关领域的技术人员已知的更多类型的设备中实现。
本公开的至少一些实施例针对包含存储在任何计算机可用介质上的这种逻辑(例如以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使设备如本文所述地操作。
虽然上面已经描述了本公开的各种实施例，但是应当理解，它们仅仅是作为示例而非限制性的。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应该由上述示例性实施例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的，呈现了前述描述。它不是穷举的，也不是将披露限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，可以以期望的任意组合方式使用上述替代实施例中的任何或全部，以形成本公开的另外的混合实施例。
Claims (15)
1.一种用于车辆的方法，所述方法用于在挡风玻璃上呈现显示器，所述方法包括：
确定乘员透过所述挡风玻璃的视点；
使用车辆传感器检测所述车辆外部的环境；
形成所述环境中所述乘员视野内的关注对象的显示器；和
将所述显示器在所述挡风玻璃上的投影与所述乘员的视点对准。
2.根据权利要求1所述的方法，其中，所述确定乘员透过所述挡风玻璃的视点包括：手动地确定所述乘员透过所述挡风玻璃的视点。
3.根据权利要求1所述的方法，其中，所述确定乘员透过所述挡风玻璃的视点包括：使用所述车辆的车厢内的传感器以自动地确定乘员透过所述挡风玻璃的视野。
4.根据权利要求1所述的方法，其中，所述形成所述乘员视野内的关注对象的显示器包括：为所述环境中的道路上的一个或多个车道边界形成车道高亮；和
其中，所述将所述显示器在所述挡风玻璃上的投影对准包括：将所述车道高亮在所述挡风玻璃上的显示与所述道路上的一个或多个车道边界对准，以当从所述乘员透过所述挡风玻璃的视点感知所述显示器时，所述车道高亮覆盖所述车道边界。
5.根据权利要求1所述的方法，其中，所述形成所述乘员视野内的关注对象的显示器包括：为所述环境中的一个或多个对象形成边界矩形；和
其中，所述将所述显示器在所述挡风玻璃上的投影对准包括：将所述边界矩形在所述挡风玻璃上的显示与所述环境中的一个或多个对象对准，以当从驾驶员透过所述挡风玻璃的视点感知所述显示器时，所述边界矩形围绕所述一个或多个对象的每一个。
6.根据权利要求1所述的方法，其中，所述形成所述乘员视野内的关注对象的显示器包括：对所述环境中的一个或多个对象进行分类；和
其中，所述将所述显示器在所述挡风玻璃上的投影对准包括：将类别在所述挡风玻璃上的显示与所述环境中的所述一个或多个对象对准，以当从所述乘员透过所述挡风玻璃的视点感知所述显示器时，在所述一个或多个对象的每一个的旁边指示出所述类别。
7.一种在车辆上使用的方法，所述方法用于在车辆的挡风玻璃上显示抬头显示器，所述方法包括：
使用安装到所述车辆的多个传感器来检测所述挡风玻璃的视野内的对象；
根据一种或多种感知算法处理来自所述多个传感器的数据，以识别所述视野内的关注对象；
制定所述视野的抬头显示器数据，包括制定与每个关注对象相对应的视觉指示；
根据所述抬头显示器数据生成所述抬头显示器；
识别车辆乘员透过所述挡风玻璃看向所述视野的视点；和
基于所述车辆乘员的视点，将所述抬头显示器在所述挡风玻璃上的投影针对所述车辆乘员对准，包括将视觉指示投影到所述挡风玻璃上，以将所述视觉指示覆盖所述乘员对相应的关注对象的感知。
8.根据权利要求7所述的方法，其中，根据一种或多种感知算法处理来自所述多个传感器的数据，以识别所述视野内的关注对象，包括：识别另一车辆、行人、交通标志、交通信号灯或道路标记中的一个或多个。
9.根据权利要求7所述的方法，其中，所述识别车辆乘员透过所述挡风玻璃的视点包括：根据传感器数据识别所述车辆乘员的视点的变化，所述传感器数据接收自面向乘员的摄像机。
10.根据权利要求7所述的方法，其中，所述识别车辆乘员透过所述挡风玻璃的视点包括：识别车辆驾驶员透过所述挡风玻璃的视点。
11.根据权利要求1所述的方法，其中，所述将视觉指示投影到所述挡风玻璃上包括将用于道路标记的高亮投影到所述挡风玻璃上或者将用于关注对象的边界框投影到所述挡风玻璃上中的一个或多个。
12.一种车辆，所述车辆包括：
挡风玻璃；
一个或多个外部安装的传感器，所述外部安装的传感器用于检测所述挡风玻璃视野内的对象；
一个或多个处理器；
耦合到所述一个或多个处理器的系统存储器，所述系统存储器存储可由所述一个或多个处理器执行的指令；
所述一个或多个处理器被配置为执行存储在所述系统存储器中的用于在所述挡风玻璃上显示抬头显示器的指令，所述指令包括以下指令：
根据一种或多种感知算法处理来自所述一个或多个外部安装的传感器的数据，以识别所述视野内的关注对象；
制定所述视野的抬头显示器数据，包括制定与每个关注对象相对应的视觉指示；
根据所述抬头显示器数据生成抬头显示器；
识别车辆乘员透过所述挡风玻璃看向所述视野的视点；和
基于所述车辆乘员的视点，将所述抬头显示器在所述挡风玻璃上的投影针对所述车辆乘员对准，包括将所述视觉指示投影到所述挡风玻璃上，以将所述视觉指示覆盖所述乘员对相应的关注对象的感知。
13.根据权利要求12所述的系统，其中所述一个或多个外部安装的传感器包括以下一个或多个：摄像机、激光雷达传感器、雷达传感器和超声波传感器。
14.根据权利要求12所述的系统，其中，所述一个或多个处理器被配置为执行识别车辆乘员透过所述挡风玻璃的视点的指令包括：所述一个或多个处理器被配置为执行根据预先计算的设置来识别车辆乘员的视点的指令。
15.根据权利要求12所述的系统，其中，所述一个或多个处理器被配置为执行识别车辆乘员透过所述挡风玻璃的视点的指令包括：所述一个或多个处理器被配置为执行根据传感器数据来识别车辆乘员的视点的指令，所述传感器数据接收自面向乘员的摄像机。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/209,181 US20180017799A1 (en) | 2016-07-13 | 2016-07-13 | Heads Up Display For Observing Vehicle Perception Activity |
| US15/209,181 | 2016-07-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107618438A true CN107618438A (zh) | 2018-01-23 |
Family
ID=59676635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710550454.XA Withdrawn CN107618438A (zh) | 2016-07-13 | 2017-07-07 | 用于观察车辆感知活动的抬头显示器 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20180017799A1 (zh) |
| CN (1) | CN107618438A (zh) |
| DE (1) | DE102017115318A1 (zh) |
| GB (1) | GB2553650A (zh) |
| MX (1) | MX2017009139A (zh) |
| RU (1) | RU2017124586A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109669311A (zh) * | 2019-02-02 | 2019-04-23 | 吉林工程技术师范学院 | 一种基于驻车使用的投影装置及其控制方法 |
| CN110696840A (zh) * | 2018-07-09 | 2020-01-17 | 福特全球技术公司 | 用于车辆显示器的乘员注视检测 |
| CN112829583A (zh) * | 2019-11-25 | 2021-05-25 | 深圳市大富科技股份有限公司 | 行驶信息的显示方法、行驶信息的显示装置以及存储介质 |
| CN114258358A (zh) * | 2019-08-20 | 2022-03-29 | 丹尼尔·图洛克 | 车辆的视觉辅助工具 |
| CN115065818A (zh) * | 2022-06-16 | 2022-09-16 | 南京地平线集成电路有限公司 | 一种抬头显示系统的投影方法和装置 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10460600B2 (en) | 2016-01-11 | 2019-10-29 | NetraDyne, Inc. | Driver behavior monitoring |
| EP3491358A4 (en) | 2016-07-31 | 2019-07-31 | Netradyne, Inc. | DETERMINING THE CAUSES OF TRANSPORT EVENTS AND PROMOTING GOOD DRIVING BEHAVIOR |
| US10427645B2 (en) * | 2016-10-06 | 2019-10-01 | Ford Global Technologies, Llc | Multi-sensor precipitation-classification apparatus and method |
| US11214280B2 (en) * | 2017-01-26 | 2022-01-04 | Ford Global Technologies, Llc | Autonomous vehicle providing driver education |
| US10000153B1 (en) * | 2017-08-31 | 2018-06-19 | Honda Motor Co., Ltd. | System for object indication on a vehicle display and method thereof |
| CN111095363B (zh) * | 2017-09-22 | 2024-02-09 | 麦克赛尔株式会社 | 显示系统和显示方法 |
| EP3687863A4 (en) | 2017-09-29 | 2020-12-02 | Netradyne, Inc. | MULTIPLE EXPOSURE EVENT DETERMINATION |
| EP4283575A3 (en) | 2017-10-12 | 2024-02-28 | Netradyne, Inc. | Detection of driving actions that mitigate risk |
| US11112498B2 (en) | 2018-02-12 | 2021-09-07 | Magna Electronics Inc. | Advanced driver-assistance and autonomous vehicle radar and marking system |
| FR3079803B1 (fr) * | 2018-04-09 | 2020-04-24 | Institut De Recherche Technologique Systemx | Procede d'avertissement, systeme d'avertissement, produit programme d'ordinateur et support lisible d'informations associes |
| DE102019202583A1 (de) * | 2019-02-26 | 2020-08-27 | Volkswagen Aktiengesellschaft | Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem |
| JP2022139951A (ja) * | 2021-03-12 | 2022-09-26 | 本田技研工業株式会社 | 注意喚起システム、及び注意喚起方法 |
| GB2613004A (en) * | 2021-11-19 | 2023-05-24 | Wayray Ag | System and method |
| WO2023119266A1 (en) * | 2021-12-20 | 2023-06-29 | Israel Aerospace Industries Ltd. | Display of augmented reality images using a virtual optical display system |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009051338A (ja) * | 2007-08-27 | 2009-03-12 | Mazda Motor Corp | 車両用運転支援装置 |
| CN101881885A (zh) * | 2009-04-02 | 2010-11-10 | 通用汽车环球科技运作公司 | 全挡风玻璃平视显示器上的外围突出特征增强 |
| US20120224060A1 (en) * | 2011-02-10 | 2012-09-06 | Integrated Night Vision Systems Inc. | Reducing Driver Distraction Using a Heads-Up Display |
| CN102910130A (zh) * | 2012-10-24 | 2013-02-06 | 浙江工业大学 | 一种现实增强型的驾驶辅助预警系统 |
| CN204736764U (zh) * | 2015-06-17 | 2015-11-04 | 广州鹰瞰信息科技有限公司 | 一种姿态自适应抬头显示器 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6859144B2 (en) * | 2003-02-05 | 2005-02-22 | Delphi Technologies, Inc. | Vehicle situation alert system with eye gaze controlled alert signal generation |
| TWI531495B (zh) * | 2012-12-11 | 2016-05-01 | Automatic Calibration Method and System for Vehicle Display System | |
| JP2016503741A (ja) * | 2012-12-21 | 2016-02-08 | ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー | 自動車用の入力装置 |
| US9047703B2 (en) * | 2013-03-13 | 2015-06-02 | Honda Motor Co., Ltd. | Augmented reality heads up display (HUD) for left turn safety cues |
| JP6346614B2 (ja) * | 2013-09-13 | 2018-06-20 | マクセル株式会社 | 情報表示システム |
| GB201406405D0 (en) * | 2014-04-09 | 2014-05-21 | Jaguar Land Rover Ltd | Apparatus and method for displaying information |
| US9690104B2 (en) * | 2014-12-08 | 2017-06-27 | Hyundai Motor Company | Augmented reality HUD display method and device for vehicle |
| US9786177B2 (en) * | 2015-04-10 | 2017-10-10 | Honda Motor Co., Ltd. | Pedestrian path predictions |
| US9760806B1 (en) * | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
-
2016
- 2016-07-13 US US15/209,181 patent/US20180017799A1/en not_active Abandoned
-
2017
- 2017-07-07 DE DE102017115318.7A patent/DE102017115318A1/de not_active Withdrawn
- 2017-07-07 CN CN201710550454.XA patent/CN107618438A/zh not_active Withdrawn
- 2017-07-10 GB GB1711093.3A patent/GB2553650A/en not_active Withdrawn
- 2017-07-11 RU RU2017124586A patent/RU2017124586A/ru not_active Application Discontinuation
- 2017-07-12 MX MX2017009139A patent/MX2017009139A/es unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009051338A (ja) * | 2007-08-27 | 2009-03-12 | Mazda Motor Corp | 車両用運転支援装置 |
| CN101881885A (zh) * | 2009-04-02 | 2010-11-10 | 通用汽车环球科技运作公司 | 全挡风玻璃平视显示器上的外围突出特征增强 |
| US20120224060A1 (en) * | 2011-02-10 | 2012-09-06 | Integrated Night Vision Systems Inc. | Reducing Driver Distraction Using a Heads-Up Display |
| CN102910130A (zh) * | 2012-10-24 | 2013-02-06 | 浙江工业大学 | 一种现实增强型的驾驶辅助预警系统 |
| CN204736764U (zh) * | 2015-06-17 | 2015-11-04 | 广州鹰瞰信息科技有限公司 | 一种姿态自适应抬头显示器 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110696840A (zh) * | 2018-07-09 | 2020-01-17 | 福特全球技术公司 | 用于车辆显示器的乘员注视检测 |
| CN109669311A (zh) * | 2019-02-02 | 2019-04-23 | 吉林工程技术师范学院 | 一种基于驻车使用的投影装置及其控制方法 |
| CN114258358A (zh) * | 2019-08-20 | 2022-03-29 | 丹尼尔·图洛克 | 车辆的视觉辅助工具 |
| CN112829583A (zh) * | 2019-11-25 | 2021-05-25 | 深圳市大富科技股份有限公司 | 行驶信息的显示方法、行驶信息的显示装置以及存储介质 |
| CN115065818A (zh) * | 2022-06-16 | 2022-09-16 | 南京地平线集成电路有限公司 | 一种抬头显示系统的投影方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| MX2017009139A (es) | 2018-01-12 |
| RU2017124586A (ru) | 2019-01-11 |
| US20180017799A1 (en) | 2018-01-18 |
| GB2553650A (en) | 2018-03-14 |
| GB201711093D0 (en) | 2017-08-23 |
| DE102017115318A1 (de) | 2018-01-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107618438A (zh) | 用于观察车辆感知活动的抬头显示器 | |
| Boloor et al. | Simple physical adversarial examples against end-to-end autonomous driving models | |
| US11465626B2 (en) | Virtualized driver assistance | |
| Tawari et al. | Looking-in and looking-out vision for urban intelligent assistance: Estimation of driver attentive state and dynamic surround for safe merging and braking | |
| US9047703B2 (en) | Augmented reality heads up display (HUD) for left turn safety cues | |
| US10293690B2 (en) | Vehicle information projecting system and vehicle information projecting method | |
| Gomes et al. | Making vehicles transparent through V2V video streaming | |
| JP2021536599A (ja) | 安全な距離でナビゲートするためのシステム及び方法 | |
| KR20190126416A (ko) | 차량의 항법을 위한 시스템 및 방법 | |
| JP2019535089A (ja) | 視覚配分管理を提供するシステムおよび方法 | |
| WO2010098449A1 (ja) | 移動軌跡生成装置 | |
| CN108028016A (zh) | 增强现实显示系统 | |
| JP2021534494A (ja) | 自律型車両用のカメラ評価技術 | |
| JP6906052B2 (ja) | 車両の方向転換時のバーチャネルカメラの向きを調整するための方法およびシステム | |
| JP6962604B2 (ja) | 極限状況でフォールトトレランス及びフラクチュエーションロバスト性のある、自動車間通信基盤の協業的なブラインドスポット警報方法及び装置 | |
| DE102013226336A1 (de) | Kommunikation zwischen autonomen Fahrzeugen und Menschen | |
| US20220164894A1 (en) | Virtual simulation for insurance | |
| US20230004154A1 (en) | Method for remotely controlled driving of a motor vehicle comprising a teleoperator, computer program product, and teleoperation driving system | |
| US20230343108A1 (en) | Systems and methods for detecting projection attacks on object identification systems | |
| DE102018221029A1 (de) | Anzeigevorrichtung, fahrzeug, das dieses aufweist, und steuerungsverfahren dafür | |
| US20220148094A1 (en) | Virtual Simulation for Insurance | |
| JP2009093341A (ja) | 認知再現装置及びプログラム並びに交通流シミュレーション装置及びプログラム | |
| JP5090891B2 (ja) | 安全運転教示システム | |
| Molloy et al. | Safety Assessment for Autonomous Systems' Perception Capabilities | |
| US20220261519A1 (en) | Rare event simulation in autonomous vehicle motion planning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20180123 |
|
| WW01 | Invention patent application withdrawn after publication |