CN102529811A - 全挡风玻璃平视显示器上的虚拟取景器 - Google Patents
全挡风玻璃平视显示器上的虚拟取景器 Download PDFInfo
- Publication number
- CN102529811A CN102529811A CN2011104496820A CN201110449682A CN102529811A CN 102529811 A CN102529811 A CN 102529811A CN 2011104496820 A CN2011104496820 A CN 2011104496820A CN 201110449682 A CN201110449682 A CN 201110449682A CN 102529811 A CN102529811 A CN 102529811A
- Authority
- CN
- China
- Prior art keywords
- user
- telltale
- graphic projection
- view finder
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012544 monitoring process Methods 0.000 claims abstract description 46
- 239000002245 particle Substances 0.000 claims description 30
- 230000008676 import Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 60
- 239000011159 matrix material Substances 0.000 description 21
- YKFRUJSEPGHZFJ-UHFFFAOYSA-N N-trimethylsilylimidazole Chemical compound C[Si](C)(C)N1C=CN=C1 YKFRUJSEPGHZFJ-UHFFFAOYSA-N 0.000 description 20
- 238000003384 imaging method Methods 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 210000003128 head Anatomy 0.000 description 10
- 239000000463 material Substances 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000005670 electromagnetic radiation Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000002105 nanoparticle Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
- B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Controls And Circuits For Display Device (AREA)
- Instrument Panels (AREA)
Abstract
本发明涉及全挡风玻璃平视显示器上的虚拟取景器。一种利用图形投影显示器在车辆驾驶场景上动态地标示取景器图形的方法包括：监测指示到图形投影显示器的一部分的使用者输入；基于监测的指示到图形投影显示器的所述部分的使用者输入产生轨迹；确定代表使用者定义的取景器的取景器图形，该使用者定义的取景器由所产生的轨迹限定；在对应于车辆驾驶场景的图形投影显示器上动态地标示取景器图形的位置；以及在图形投影显示器上显示取景器图形。
Description
技术领域
本公开涉及在对应于车辆的驾驶场景的图形投影显示器上显示围住使用者定义的取景器的取景器图形。
背景技术
这部分中的陈述仅提供与本公开有关的背景信息并且可能不构成现有技术。
车辆的占用者经常期望获取车辆驾驶场景上的物体或景色的图片。对于驾驶者来说希望获取驾驶者观看车辆外部的事物的图片或录制所述事物的视频。例如，山脉可能是驾驶者首次在西部旅行时会希望作为纪念的值得注目的图像。然而，捕获这种山脉的图像或录制该山脉的视频需要驾驶者从身体上使用摄像机或录像机来捕获山脉且同时操作车辆。这种动作是不安全的，因为其需要驾驶者将他/她的目光从道路移开以捕获图像或录制视频。
平视显示器将光投射在屏上并且光被转换成屏上的可视显示。已知平视显示器通过减少操作者的疲劳且同时允许操作者保持关注于驾驶从而以有效方式向车辆的操作者呈现信息。
发明内容
利用图形投影显示器在车辆的驾驶场景上动态地标示取景器图形的方法包括：监测指示到图形投影显示器的一部分的使用者输入；基于监测的指示到图形投影显示器的所述部分的使用者输入产生轨迹；确定代表使用者定义的取景器的取景器图形，该使用者定义的取景器由所产生的所述轨迹限定；在对应于车辆的驾驶场景的图形投影显示器上动态地标示取景器图形的位置；以及在图形投影显示器上显示取景器图形。
本发明还提供了以下技术方案。
方案1. 一种利用图形投影显示器在车辆的驾驶场景上动态地标示取景器图形的方法，包括：
监测指示到所述图形投影显示器的一部分的使用者输入；
基于监测的指示到所述图形投影显示器的所述部分的使用者输入产生轨迹；
确定代表使用者定义的取景器的取景器图形，该使用者定义的取景器由所产生的轨迹限定；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述取景器图形的位置；以及
在所述图形投影显示器上显示所述取景器图形。
方案2. 根据方案1所述的方法，其中所述图形投影显示器包括基本透明挡风屏平视显示器，该基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。
方案3. 根据方案1所述的方法，其中所述图形投影显示器包括触摸屏显示器、人机接口显示器、非透明部件和显示监视器中的一种。
方案4. 根据方案3所述的方法，还包括：
在所述图形投影显示器上投影对应于所述车辆的所述驾驶场景的景象的图像。
方案5. 根据方案1所述的方法，其中所述取景器图形包括突出框图形，并且所述使用者定义的取景器包括由该突出框图形框住的区域。
方案6. 根据方案1所述的方法，其中由所产生的轨迹限定的所述使用者定义的取景器捕获与包括所述使用者定义的取景器的区域内的所述驾驶场景相对应的静态图像。
方案7. 根据方案1所述的方法，其中由所产生的轨迹限定的所述使用者定义的取景器捕获与包括所述使用者定义的取景器的区域内的所述驾驶场景相对应的录制的视频。
方案8. 根据方案1所述的方法，还包括：
确定代表所产生的轨迹的轨迹图形；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述轨迹图形的位置；以及
在所述图形投影显示器上显示所述轨迹图形。
方案9. 根据方案8所述的方法，其中所述轨迹图形包括突出的虚线框。
方案10. 根据方案1所述的方法，还包括：
确定反馈图形，该反馈图形图示出所监测的被指示到所述图形投影显示器的所述部分的使用者输入的运动；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述反馈图形的位置；以及
在所述图形投影显示器上显示所述反馈图形。
方案11. 一种利用图形投影显示器在车辆的驾驶场景上动态地标示虚拟框架图形的方法，包括：
监测指示到所述图形投影显示器的一部分的使用者输入；
基于监测的指示到所述图形投影显示器的所述部分的使用者输入产生轨迹；
确定框住使用者定义的取景器的虚拟框架图形，该虚拟框架图形由所产生的轨迹限定；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述虚拟框架图形的位置；以及
在所述图形投影显示器上显示所述虚拟框架图形。
方案12. 根据方案11所述的方法，其中所述监测指示到所述图形投影显示器的所述部分的使用者输入包括：
利用监测使用者的手的位置和取向的成像装置；
基于监测的使用者的手的位置和取向来处理使用者手运动的光学图像；以及
其中所述手运动的光学图像提供用于产生所述轨迹的基于姿态的使用者接口。
方案13. 根据方案11所述的方法，其中所述监测指示到所述图形投影显示器的所述部分的使用者输入包括：
利用触摸屏输入模块，该触摸屏输入模块接收使用者的手在该触摸屏输入模块上的触摸姿态，所述触摸姿态被指示到所述图形投影显示器的所述部分；以及
其中所接收的使用者的手的触摸姿态提供用于产生所述轨迹的基于触摸的使用者接口。
方案14. 根据方案11所述的方法，其中所述监测指示到所述图形投影显示器的所述部分的使用者输入包括：
利用控制器装置，该控制器装置接收送至该控制器装置的使用者操控，送至该控制器装置的使用者操控被指示到所述图形投影显示器的所述部分；以及
其中所接收的送至该控制器装置的使用者操控提供用于产生所述轨迹的基于控制器的接口。
方案15. 根据方案11所述的方法，还包括监测占用者眼睛位置；以及
在对应于所述驾驶场景的所述图形投影显示器上动态地标示所述虚拟框架图形的位置基于所述占用者眼睛位置而定。
方案16. 根据方案11所述的方法，还包括：
监测框住显示在所述图形投影显示器上的所述使用者定义的取景器的所述虚拟框架图形；
监测指示到所述图形投影显示器的第二部分的第二使用者输入；
基于监测的指示到所述图形投影显示器的所述第二部分的第二使用者输入来操纵框住所述使用者定义的取景器的所述虚拟框架图形；
确定对应于所操纵的虚拟框架图形的第二虚拟框架图形，该第二虚拟框架图形框住第二使用者定义的取景器；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述第二虚拟框架图形的位置；以及
在所述图形投影显示器上显示所述第二虚拟框架图形。
方案17. 根据方案16所述的方法，其中操纵所述虚拟框架图形包括增大或减小所述虚拟框架图形的尺寸。
方案18. 根据方案16所述的方法，其中操纵所述虚拟框架图形包括将所述虚拟框架图形重新定位到所述图形投影显示器上的期望位置。
方案19. 根据方案11所述的方法，其中所述图形投影显示器包括基本透明挡风屏平视显示器，该基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。
方案20. 一种利用图形投影显示器在车辆的驾驶场景上动态地标示虚拟框架图形的系统，包括：
视觉增强系统系统管理器：
监测指示到所述图形投影显示器的一部分的使用者输入；
基于监测的指示到所述图形投影显示器的所述部分的使用者输入产生轨迹；
确定框住使用者定义的取景器的取景器图形，该使用者定义的取景器由所产生的轨迹限定；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述取景器图形的位置；
图形系统，其产生框住使用者定义的取景器的所述取景器图形；以及
图形投影系统，其与所述图形系统通信并且在所述图形投影显示器上显示描述所述使用者定义的取景器的所述取景器图形。
附图说明
现在将参考附图通过示例方式描述一种或更多种实施例，附图中：
图1示出了根据本公开装备有EVS系统的示例性车辆；
图2示出了根据本公开的图形投影显示器实施例，其中对应于车辆驾驶场景的景象的图像以及图形能够被显示在该显示器上；
图3示出了根据本公开的基本透明显示器；
图4示出了根据本公开的图1所示的示例性使用者输入模块；
图5示出了根据本公开用于利用图形投影显示器在驾驶场景上动态地标示图形的示例性信息流；
图6示出了根据本公开用于确定代表使用者定义的取景器的取景器图形的示例性信息流；以及
图7和图8示出了根据本公开的驾驶场景，其包括被动态地标示在车辆的图形投影显示器上的图形，其中图形投影显示器对应于车辆的驾驶场景。
具体实施方式
现在参考附图，其中这些图示仅为了示出某些示例性实施例的目的且不是为了限制性目的，图1示出了根据本公开装备有视觉增强系统（EVS）的示例性车辆。示例性EVS系统被公开于共同未决的美国申请号12/417,077，其并入本文以供参考。为了本公开的目的，术语“操作者”、“使用者”和“驾驶者”将在本文中被可交换地使用。车辆100包括：EVS系统管理器110；使用者输入模块（UIM）515；图形投影显示器250（示于图2）；车辆传感器系统，包括摄像机系统120和雷达系统125；车辆操作传感器，包括车辆速度传感器130；信息系统，包括GPS装置140和无线通信系统145；平视显示器（HUD）150；EVS图形系统155；图形投影系统158；以及占用者眼睛位置感测系统（occupant eye location sensing system）160。EVS系统管理器110包括可编程处理器，其包括程序以监测指示到图2所示图形投影显示器250的一部分的使用者输入、基于被监测的使用者输入产生轨迹（trace）并且确定代表使用者定义的取景器（user-defined view finder）的取景器图形（view finder graphic），其中该使用者定义的取景器由所产生的所述轨迹限定。显而易见的是，由所产生的所述轨迹限定的使用者定义的取景器能够被利用来捕获与使用者定义的取景器内的驾驶场景相对应的静止图像和/或录制的视频。EVS系统管理器能够直接与各种系统和部件通信，或者EVS系统管理器能够可替代地或附加地在LAN/CAN系统115上通信。EVS系统管理器利用基于使用者的指向图形投影显示器250的一部分的输入来确定代表使用者定义的取景器的取景器图形，并且随后利用诸如摄像机系统120的车辆传感器系统来捕获与使用者定义的取景器内的驾驶场景相对应的静止图像和/或录制的视频。参考图4更详细讨论的UIM 515接收被指示到图形投影显示器250（例如HUD 150）的一部分的使用者输入，其中所述使用者输入被EVS系统管理器110监测。摄像机系统120包括摄像机或图像捕获装置，其获取呈现车辆视野的周期性或次序性图像。摄像机系统120还能够被设置成记录呈现车辆视野的视频。摄像机系统120的摄像机或图像捕获装置优选地包括360度的覆盖度。雷达系统125包括本领域已知的利用电磁辐射来检测位于车辆附近的其他车辆或物体的装置。本领域中的大量已知车载传感器被用于车辆中以便监测车辆速度、发动机速度、车轮滑移和描述车辆操作的其他参数。车辆速度传感器130代表了一种这样的车载传感器，不过本公开的范围包括供EVS使用的任意这样的传感器。GPS装置140和无线通信系统145与车辆外部的资源通信，例如卫星系统180和蜂窝通信塔190。GPS装置140可以与3D地图数据库结合使用，该3D地图数据库包括与GPS装置140接收的全局坐标相关的关于车辆的当前位置的详细信息。来自车辆传感器系统和车辆操作传感器的信息能够被EVS系统管理器110用来监测车辆的当前取向。HUD 150包括挡风屏，该挡风屏装备有能够显示投影在其上的图像且同时保持透明或基本透明以使得车辆的占用者能够通过挡风屏清楚地观察车辆外部的特征。应该意识到虽然HUD 150包括在车辆前部的挡风屏，不过车辆内的其他表面也可以用于投影，包括侧窗和后窗。此外，在前挡风屏上的景象可以在车辆前“A-柱”上连续并且连续到侧窗上以作为连续图像。EVS图形引擎155包括显示软件或程序以便翻译请求从而以信息的图形图示的方式来显示来自EVS系统管理器110的信息。EVS图形引擎155包括程序以便补偿挡风屏的弯曲和倾斜的表面以及图形将在其上投影的任意其他表面（例如图2所示的非透明部件280）。EVS图形引擎155控制图形投影系统158，该图形投影系统158包括产生激发光以便投射图形图示的激光器或投影机装置。占用者眼睛位置感测系统160包括本领域已知的估测占用者的头部位置且进一步估测占用者的眼睛的取向或凝视位置的传感器。基于占用者眼睛位置感测系统160的输出、车辆100的当前位置和取向以及使用者输入位置，EVS系统管理器110能够准确地将图形图示动态地标示（register）到HUD 150（即图形投影显示器250），使得占用者通过挡风屏看到叠覆有可视图像的图像。将参考图5更详细地讨论图形的动态标示。
上述EVS包括眼睛感测和头部感测装置，其允许估计眼睛位置、允许在图形投影显示器250（例如HUD 150）上动态标示图像以使得图像对应于操作者的视野。不过，将意识到，能够通过大量方法来实现对于头和眼睛位置的估计。例如，在与调节后视镜类似的过程中，操作者能够在进入车辆时使用校准例程将图形对齐于被检测目标。在另一实施例中，在车辆中的纵向就坐位置能够被用于估计驾驶员头部的位置。在另一实施例中，对一个或多个后视镜的手动调节能够被用于估计操作者的眼睛位置。应该意识到，各方法的结合（例如就坐位置和镜调节角度的结合）能够被用于以改善的准确度估计操作者头部位置。可以想到实现在图形投影显示器250（例如HUD 150）上准确动态标示图形的许多方法，并且本公开不旨在受限于这里描述的具体实施例。
示例性EVS包括：宽视野全挡风屏HUD，即基本透明屏，其包括显示投影在其上的图形图像的功能；HUD图像引擎，其包括能够在挡风屏上投影图像的一个或多个激光器，其中所述挡风屏是下文图2中示出的图形投影显示器250的实施例；输入源，其获得与车辆的操作环境有关的数据；以及EVS系统管理器，其包括程序以便监测来自输入装置的输入、处理所述输入并且确定与操作环境相关的关键信息，并且产生针对要被HUD图像引擎产生的图形图像的请求。不过，将意识到这种示例性EVS仅是EVS能够采取的大量构造中的一种。例如，视觉或摄像机系统可用于将要讨论的各种EVS应用。不过，应该意识到示例性EVS系统能够在没有视觉系统的情况下运转，例如提供仅来自于GPS装置、3D地图数据库和车载传感器的可用信息。在替代方案中，应该意识到示例性EVS系统能够在不访问GPS装置或无线网络而是仅利用来自视觉系统和雷达系统的输入的情况下运转。许多构造可以用于所公开的系统和方法，并且本公开不旨在受限于这里描述的示例性实施例。
图2描述了图形投影显示器250。图形投影显示器250包括对应于车辆驾驶场景的景象的图像以及图形（即取景器图形或轨迹图形）能够被显示于其上的实施例。图形投影显示器250包括基本透平挡风屏HUD 150、触摸屏显示器260、具有显示器的人机接口（HMI）151、非透明部件280以及安装在车辆内部中的显示监视器270。应当理解，包括有图形投影显示器250的所有实施例都能够投影对应于车辆驾驶场景的景象的图像。驾驶场景的景象的图像不需要被投影在基本透明挡风屏HUD上，因为实际的驾驶场景可通过HUD 150看到。驾驶场景能够从摄像机系统120绘制。指示到对应于驾驶场景的图形投影显示器250的一部分的使用者输入将在图4中参考UIM 515更详细地讨论。将理解，车辆通常要求图形投影显示器250的实施例之一在其上显示对应于驾驶场景的景象。然而，图形投影显示器250可以包括车辆100所采用的实施例的组合。例如，对应于车辆驾驶场景的图像可以被显示在HMI 151和触摸屏显示器260二者上。
为了用作相关特征可以通过其被观察的介质且同时用作可以在其上显示图形图像的显示装置，车辆的挡风屏必须既透明又能够显示激发光源所投影的图像。图3示出了根据本公开的基本透明显示器。观察者10能够通过基体14看到任意物体（例如立方体12）。基体14可以是透明的或基本透明的。虽然观察者10通过基体14看到任意物体12，不过观察者也能够看到产生于基体14的图像（例如圆15和三角16）。基体14可以是车辆挡风玻璃、玻璃基体、塑料基体、聚合物基体或者本领域技术人员能意识到的其他透明（或基本透明）介质的一部分。其他基体可以补充基体14来提供着色、基体保护、滤光（例如过滤外部紫外光）以及其他功能。
图3示出了对基体14的照射，该基体14被来自由装置20示出的光源（例如投影机或激光器）的激发光（例如紫外光或红外光）照射。接收到的激发光可以被基体14处的发光材料吸收。当发光材料接收到激发光时，发光材料可以发出可见光。因此，可以通过使用激发光选择性地照射基体14在基体14处产生图像（例如圆15和三角16）。
在一种实施例中，激发光由包括投影机的装置20输出。投影机可以是数字投影机。投影机可以是微镜阵列（MMA）投影机（例如数字光处理（DLP）投影机）。输出紫外光的MMA投影机可类似于输出可见光的MMA投影机，只是色轮具有适合于紫外光谱的滤光器。投影机可以是液晶显示（LCD）投影机。投影机可以是硅基液晶显示（LCOS）投影机。投影机可以是模拟投影机（例如幻灯胶片投影机或电影胶片投影机）。本领域的技术人员将意识到可以用于将紫外光投射在基体14上的其他类型投影机。
在另一实施例中，激发光由装置20输出，该装置20包括激光器。从装置20输出的激光束的强度和/或运动可以被调制成在基体14中产生图像。在降频转换实施例中，来自激光器的输出可以是紫外光。在升频转换实施例中，来自激光器的输出可以是红外光。
图3示出了分布在基本透明基体内的发光材料（例如发光颗粒22）。当激发光被发光颗粒22吸收时，发光颗粒发出可见光。因此，在降频转换实施例中，当紫外光被发光颗粒22吸收时，可见光从发光颗粒发出。类似地，在升频转换实施例中，当红外光被发光颗粒22吸收时，可见光从发光颗粒发出。
图3示出了包括被分布在基本透明基体内的发光颗粒22的发光材料。这些发光颗粒22能够自始至终是基本类似的颗粒，或者如图2所示，颗粒的成分可以变化。当激发光被发光颗粒22吸收时，颗粒发出可见光。因此，在降频转换实施例中，当紫外光被发光颗粒吸收时，从发光颗粒发出可见光。类似地，在升频转换实施例中，当红外光被发光材料吸收时，从发光颗粒发出可见光。每个发光颗粒均可以是不同类型的发光材料，其响应不同波长范围的激发光（例如紫外或红外光）而发出不同波长范围的可见光。
发光颗粒22可以遍布于基体14。在替代方案中，如图3所示，颗粒可以被置于基体14的表面上。发光颗粒22可以通过被涂覆在基体14上而被整合到基体14中。发光材料可以是荧光材料，其响应于对电磁辐射（例如可见光、紫外光或红外光）的吸收而发出可见光，该电磁辐射具有与发出的可见光不同的波长。颗粒的尺寸可以小于可见光的波长，这可以减少或消除由颗粒散射的可见光。比可见光的波长小的颗粒的示例是纳米颗粒或分子。根据实施例，每种发光颗粒具有小于大约400纳米的直径。每种发光颗粒可具有小于大约300纳米的直径。根据实施例，每种发光颗粒具有小于大约200纳米、小于大约100纳米或者小于大约50纳米的直径。发光颗粒可以是单个分子。
在另一种实施例中，图形投影显示器250能够包括HMI装置151，该HMI装置151具有与其关联的用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示图形的显示器。HMI 151包括计算装置，其中车辆的操作者能够输入命令以便与HMI 151信号通信地控制车辆的各种系统并且接收所需信息。例如，利用HMI 151，使用者能够确定使用者定义的取景器，其用于在对应于驾驶场景的使用者定义的窗口区域内捕获图像和/或录制视频。在HMI显示器上的投影方法是本领域已知的并且本公开不意味着受限于任何一种投影方法。
在另一种实施例中，图形投影显示器250能够包括触摸屏显示器260，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示图形。触摸屏显示器能够是参考图4详细讨论的TSIM 149。触摸屏显示器260能够是与HMI装置151相关联的显示器或者可以是位于车辆内的独立显示器。在触摸屏显示器上的投影方法是本领域已知的并且本公开不意味着受限于任何一种投影方法。
在又一实施例中，图形投影显示器250能够包括显示监视器270，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示图形。显示监视器270能够被安装在车辆仪表板上或者位于车辆中便于操作者观察的位置。显示监视器270能够包括与警车中所用的计算机相关联的监视器。
在替代实施例中，图形投影显示器250能够包括非透明部件280，其用于接收对应于车辆驾驶场景的景象的投影图像并且在其上显示图形。非透明部件280能够包括仪表板、座椅、头靠、结构柱、车顶、遮阳板和方向盘。非透明部件280能够包括响应于激励投影机而起反应来显示图形的透明磷光膜（phosphor film）。通过引用并入本文的共同未决的美国申请号12/563,407公开了在非透明部件上投影图像。
参考图4，示出了根据本公开的示例性使用者输入模块（UIM）515，其用于接收指示到图形投影显示器250的一部分的使用者输入。使用者输入被EVS系统管理器110监测并且最终被用于对应于驾驶场景在图形投影显示器250（例如HUD 150）上显示图形。应意识到，UIM 515包括使用者输入装置和模块的实施例，并且示例性车辆可以仅包括被包括在UIM 515内的用于接收和监测指示到图形投影显示器250的一部分的使用者输入的输入装置和模块中的一种。然而，可想到各种实施例，在这些实施例中，车辆能够包括被包括在UIM 515内的使用者输入装置和模块的变型，并且选定的变型能够基于车辆使用者的偏好来启用。UIM 515包括成像装置161、触摸屏输入模块（TSIM）149和控制器装置153。
TSIM 149能够被设置成接收使用者的手或手指在该模块上的被指示到对应于驾驶场景的图形投影显示器的一部分的触摸姿态（touch gesture）。TSIM 149能够另外地包括对应于车辆驾驶场景并且被设置成动态地在其上标示图形的显示器。显而易见，所接收的使用者的手的触摸姿态提供了用于确定代表使用者定义的取景器的取景器图形的基于触摸的使用者接口（touch-based user interface）。
本领域中已知能够接收使用者的手或手指的触摸姿态的各种装置。TSIM 149能够是包括显示屏的触摸屏装置，该显示屏能够识别在显示区域内部的触摸的发生、位置和定位。显示器能够对应于车辆驾驶场景的景象。TSIM 149能够集成在HMI装置151（参见图2）、显示监视器270（参见图2）、个人数字助理（PDA）或移动电话内，所有这些装置都具有对应于车辆驾驶场景的显示器。因此，TSIM 149有助于使用者与显示在显示器（即驾驶场景）上的内容相互作用，而不是间接与鼠标或触垫相互作用，并且其允许使用者在不必使用这种中间装置的情况下完成触摸姿态。
此外，本领域中已知监测和接收使用者的手或手指的触摸姿态的各种方法。在非限制性实施例中，TSIM 149能够是由标准玻璃板构成的电阻触摸屏显示器，该标准玻璃板涂覆有薄的导电且电阻性金属板，其中电流在两个层之间行进并且监测两个层在相同位置彼此接触并且由此中断电流时的触摸姿态。在另一非限制性实施例中，TSIM 149能够是利用超声波来处理来自屏的使用者输入的表面波（surface wave）触摸屏显示器。换言之，表面波触摸屏显示器利用识别信号是否已经被任何运动时的触摸所改变的变换器，其中，当使用者在特定位置触摸显示器时，超声波流过整个屏。在又一非限制性实施例中，TSIM 149能够是由铟锡氧化物板构成的电容触摸屏显示器，该铟锡氧化物板存储电荷并且被定位在显示器的玻璃层上。当使用者的手或手指输入接触显示器时，少量电荷被传递到使用者的手或手指，并且电容板上的电荷量降低。与之相关联的处理器计算相比较的变化（comparative variation）并且确定触摸姿态出现的精确位置，该位置对应于车辆驾驶场景上的位置。在又一非限制性实施例中，TSIM 149能够包括红外触摸屏显示器。红外触摸屏显示器能够对红外波或热波（即热）产生反应。红外触摸屏显示器还能够利用围绕周边的竖直和水平红外传感器来创建格栅，从而精确定位显示屏已被使用者的手或手指触摸的准确位置。
TSIM 149不限于上文讨论的装置和方法中的任一种，并且不限于TSIM 149仅能够接收使用者的手或手指在模块149上且被指示到对应于驾驶场景的图形投影显示器250的一部分的触摸姿态，其中所接收的使用者的手的触摸姿态提供了用于确定代表使用者定义的取景器的取景器图形（即虚拟框架图形（virtual frame graphic））的基于触摸的使用者接口。
控制器装置153包括一种机构，例如操纵杆、鼠标、杠杆、触针、触垫或用于接收指示到图形投影显示器250（例如HUD 150）的一部分的使用者操控（user manipulation）的其他附件。显而易见，所接收的到达控制器装置153的使用者操控能够提供用于确定代表使用者定义的取景器的取景器图形（即虚拟框架图形）的基于控制器的接口（controller-based interface）。
上文描述的成像装置161包括捕获使用者的手的图像并且利用与其相关联的软件来监测使用者的手的位置和取向，从而提供光学图像。能够利用红外或紫外技术来捕获图像。光学图像能够被处理以产生使用者手运动的三维（3D）映射（mapping）。显而易见，手运动的光学图像提供了用于确定代表使用者定义的取景器的取景器图形（即虚拟框架图形）的基于姿态的使用者接口。因此，由成像装置161检测的使用者手运动（即姿态）能够代替诸如鼠标、杠杆、操纵杆、旋钮或其他附件的触觉接口元件来使用。成像装置161需要捕获一连串图像，其中针对每个图像监测使用者的手的位置和取向，从而提供使用者手运动的光学图像。与成像装置161相关联的软件能够通过合适的专用电路被集成在成像装置161内并且与EVS系统管理器110信号通信。另外，与成像装置161相关联的软件能够被集成在EVS系统管理器110内。
本领域中已知使用成像装置处理光学图像以产生目标的3D映射的各种方法，其中所述光学图像基于所监测的目标（即手）的位置和取向。通过引用并入本文的PCT国际公布WO 2007/043036公开了基于将激光斑纹图案（laser speckle pattern）投影到目标上且然后分析该图案在目标上的图像的方法和系统。通过引用并入本文的美国专利号6,100,517公开了使用脉冲调制以便测量光从目标到检测器的行进时间的方法，其中摄像机创建指示出到达场景中的物体上的点的距离的图像。通过引用并入本文的美国公开号2010/0020078 A1公开了用辐射束照射目标并且产生目标的基于强度的3D映射的方法。本公开不限于上文讨论的方法中的任一种，只要成像装置161能够监测使用者的手的位置和取向并且处理基于所监测的使用者的手的位置和取向的使用者手运动的光学图像即可，其中手运动的光学图像能够提供用于确定代表使用者定义的取景器的取景器图形（或虚拟框架图形）的基于姿态的使用者接口。
图5示出了根据本公开利用图形投影显示器250在驾驶场景上动态地标示图形的示例性信息流，图形投影显示器250包括EVS系统管理器110，EVS系统管理器110监测来自占用者眼睛位置感测系统160的输入、来自车辆位置和取向模块370的输入以及来自UIM 515的输入，从而产生显示需求330。图形能够包括代表使用者定义的取景器的取景器图形（即，虚拟框架图形）。图形还能够包括轨迹图形（trace graphic），该轨迹图形代表基于指示到对应于驾驶场景的景象的图形投影显示器的一部分的使用者输入所产生的轨迹。图形还能够包括反馈图形（例如光标），其图示出所监测的被指示到图形投影显示器的所述部分的输入的运动。换言之，反馈图形图示出所监测使用者输入的运动从而对齐使用者输入，以便在对应于驾驶场景的图形投影显示器上的期望位置处产生所述轨迹并且具有限定使用者定义的窗口的期望尺寸。
参考图1和图5，占用者眼睛位置感测系统160包括本领域已知的用于估测占用者头部位置且进一步估测占用者眼睛取向或凝视位置的传感器。占用者可以是车辆的操作者或者车辆内的乘客。头部和眼睛感测装置是本领域已知的并且在此不作更详细的讨论。为了本公开的目的，基于摄像机的装置与图像识别软件结合使用以便基于图像识别程序来估计能够与车辆坐标系相协调的车辆内的三维头部位置和占用者的凝视方向。眼睛位置输入360被输入到EVS系统管理器110。
能够通过本领域已知的方法来确定车辆的当前位置和取向，该方法例如但不限于监测与3D地图数据库和数字罗盘结合的GPS装置140，所述3D地图数据库和数字罗盘包括与GPS装置140接收到的全局坐标相关的关于车辆当前位置的详细信息。当前位置和取向还能够由车辆运动学确定，其包括至少车辆速度和偏航速率，这可通过监测车辆运转和/或监测加速表读数的传感器来获得。利用上述方法，车辆位置和取向模块370产生输入到EVS系统管理器110的车辆位置和取向输入371。
UIM 515能够被设置成监测指示到图形投影显示器的一部分的使用者输入位置。换言之，使用者输入的位置指的是对应于被监测的使用者输入所指向的驾驶场景的图形投影显示器上所指示部分的位置。使用者输入位置312被输入到EVS系统管理器110。
EVS系统管理器110因此监测眼睛位置输入360、车辆位置和取向输入371以及使用者输入位置312，从而产生用于在图形投影显示器上动态地标示图形的显示需求330。应意识到，如果图形包括反馈图形，则可能仅需要监测眼睛位置输入360和使用者输入位置371来产生用于在图形投影显示器250上动态地标示反馈图形的显示需求330。
因此，基于占用者眼睛位置、使用者输入位置以及车辆的当前位置和取向，操作者期望看到的驾驶场景上的目标和操作者眼睛之间的估计交点能够在显示器上被确定，从而使得图形图像能够被动态地标示到显示器上对应于车辆驾驶场景的位置，使得车辆的占用者能够看到驾驶场景上的目标以及代表使用者定义的取景器的取景器图形。
参考图6，示出了根据本公开用于确定代表使用者定义的取景器的取景器图形（即虚拟框架图形）的示例性信息流，其中取景器图形被动态地标示和显示在对应于车辆驾驶场景的图形投影显示器上。如前所述，对应于驾驶场景的景象的图像能够被投影在图形投影显示器上。信息流包括：监测来自各种来源的信息并且产生显示需求430的EVS系统管理器110；监测来自EVS系统管理器的显示需求430并且产生图形命令440的图形模块455；以及，将光投射在图形投影显示器250上的图形投影模块458。如前所述，图形投影显示器能够包括基本透明挡风屏平视显示器150、非透明部件280、车辆触摸屏260、HMI装置151、显示监视器270或者能够显示被投影的图形和对应于车辆道路场景的景象的图像的任何屏或显示器。应意识到，图形投影显示器250不意味着受限于上述显示器中的任一种。
EVS系统管理器110包括并且监测轨迹模块405和取景器模块407。监测该轨迹模块405包括：监测指示到图形投影显示器250的一部分的使用者输入512。使用者输入512由UIM 515产生，UIM 515能够包括成像装置161、TSIM 149或控制器装置153中的一种。在下文更详细地讨论来自成像装置161、TSIM 149和控制器装置153中每一者的使用者输入。轨迹模块405基于监测的使用者输入512产生轨迹输入409。轨迹输入409被输入到取景器模块407，其中取景器模块407确定由轨迹输入409定义的使用者定义的取景器420。
轨迹模块405确定对应于指示到图形投影显示器的所述部分的使用者输入的位置从而开始产生轨迹输入409，并且还基于监测的使用者输入512确定定义轨迹输入409的尺寸。因此，使用者能够产生对应于驾驶场景上的位置并且具有使用者所期望的尺寸的轨迹。轨迹输入409能够包括代表矩形的使用者输入，其中一旦完成图示的矩形，就能够确定使用者定义的取景器420。替代地，能够在使用者输入图示出矩形并且发起确定使用者定义的取景器420的命令之后确定使用者定义的取景器420。轨迹仅仅被产生用于限定使用者定义的取景器420。因此，由轨迹输入409定义的使用者定义的取景器420包括轨迹尺寸和在对应于驾驶场景的图形投影显示器上使用者所期望的位置。显而易见，使用者定义的取景器420能够与摄像机装置120结合使用来捕获与使用者定义的取景器420的区域内的驾驶场景相对应的静态图像，和/或捕获与使用者定义的取景器420的区域内的驾驶场景相对应的视频。
图形模块455（其利用由EVS系统管理器110产生的并且基于使用者定义的取景器420的显示需求430）产生将使用者定义的取景器420呈现为送至图形投影模块458的图形命令440的取景器图形（即虚拟框架图形）。应意识到，显示需求包括：在对应于车辆驾驶场景的图形投影显示器上动态地标示取景器图形（即虚拟框架图形）的位置。图形投影模块458利用图形投影显示器250将图形显示到车辆的驾驶场景上。还应意识到，当图形投影显示器250包括基本透明挡风屏平视显示器150或非透明部件280之一时，图形模块455和图形投影模块458分别对应于EVS图形引擎155和图形投影系统158。
想到的实施例包括：包括突出框图形（highlighted box graphic）的取景器图形，其中使用者定义的取景器包括由突出框图形框住的区域。换言之，突出框图形指示出被投影在图形投影显示器上的虚拟框架图形，使得突出框图形内的区域能够被设置成结合图1所示的摄像机系统120或其他图像捕获装置来捕获对应于驾驶场景的图像（或录制视频）。
想到的另外的实施例包括：确定描述所产生的轨迹409的轨迹图形。在该实施例中，由轨迹模块405产生的轨迹输入409除了被输入到取景器模块407之外还能够绕过取景器模块407并且被EVS系统管理器112直接监测，从而确定与轨迹输入409相关联的显示需求430。图形模块455（其利用由EVS系统管理器110产生的并且基于轨迹输入409的显示需求430）产生将轨迹输入409描述为送至图形投影模块458的图形命令440的轨迹图形。
想到的实施例包括：所述轨迹图形包括基于监测的指示到图形投影显示器250的所述部分的使用者输入而定的微弱发光的框图形。轨迹图形还能够包括突出的虚线框图形。因为所述轨迹仅仅被确定用于限定使用者定义的取景器，因此理想的是所述图形不要过于分散注意力，并且理想的是该图形可与取景器图形区分开。还应意识到，能够基于使用者输入512实时地动态标示、确定和显示轨迹图形。因此，在使用者向UIM 515输入时，轨迹图形能够被实时地确定和显示。举例来说并且在非限制性示例中，当图形投影显示器250包括基本透明挡风屏平视显示器150时，图形投影系统158（即图形投影模块458）模拟使用者输入512的运动并且相应地基于指示到挡风屏平视显示器150的所述部分的使用者输入实时地投影轨迹图形。
在替代性实施例中，能够基于指示到图形投影显示器250的第二部分的第二使用者输入来监测且随后操纵框住显示在图形投影显示器上的使用者定义的取景器的虚拟框架图形。能够对应于所操纵的取景器图形来确定第二取景器图形（即第二虚拟框架图形），其中第二取景器图形框住第二使用者定义的取景器窗口。因此，如果车辆的使用者对显示在图形投影显示器250上的取景器的尺寸或位置不满意，则使用者可以操纵框住使用者定义的取景器的取景器图形（即虚拟框架图形）来确定框住第二使用者定义的取景器的第二虚拟框架图形。因此，使用者能够基于使用者输入512通过将取景器图形操纵至增大的尺寸或减小的尺寸来调整取景器图形的大小。类似地，使用者能够通过将取景器图形操纵至图形投影显示器上的不同位置来改变取景器图形的位置。例如，抓-拉（grab-and-drag）功能可以重新定位取景器图形并且随后捕获框住取景器图形且对应于驾驶场景的区域内的感兴趣目标的图像。
在示例性实施例中，监测的指示到图形投影显示器的所述部分的使用者输入512包括：利用成像装置161，从而监测使用者的手或手指的位置和取向并且基于所监测的使用者的手或手指的位置和取向来处理使用者的手或手指运动的光学图像。手或手指运动的光学图像能够提供用于产生所述轨迹的基于姿态的使用者接口。例如，使用者能够以指示到图形投影显示器的所述部分的方式在成像装置附近挥动手或手指来产生所述轨迹。应当理解，一旦所产生的轨迹包括指示出矩形的形状，就能够确定使用者定义的取景器并且确定框住使用者定义的取景器的虚拟框架图形，使得能够获得使用者定义的取景器的区域内的驾驶场景的静态图像或录制的视频。在替代性非限制性示例中，使用者能够发起基于成像装置161附近范围内的手或手指运动的命令，从而一旦产生轨迹就发起对使用者定义的窗口的确定。还应当理解，反馈图形能够被利用来将使用者输入配准到图形投影显示器的被指示部分以用于产生所述轨迹。
在另一示例性实施例中，监测的指示到图形投影显示器的所述部分的使用者输入512包括：利用TSIM 149来接收使用者的手或手指在TSIM 149的显示器上的触摸姿态。TSIM 149能够包括显示器，该显示器包括对应于驾驶场景的景象的图像。所接收的触摸姿态被指示到图形投影显示器的一部分，其中使用者的手或手指的触摸姿态能够提供用于产生所述轨迹的基于触摸的使用者接口。因此，TSIM 149能够允许使用者将轨迹直接产生到驾驶场景的期望位置，因为驾驶场景被显示在TSIM的显示器上。应意识到，反馈图形可能不会有实用性，因为基于触摸的接口允许手或手指将使用者输入直接配准到图形投影显示器的被指示部分以用于产生所述轨迹。
在又一示例性实施例中，监测的指示到图形投影显示器的所述部分的使用者输入512包括：利用控制器装置153来接收送至控制器装置或者在该控制器装置上的使用者操控。应意识到，控制器装置153与图形投影显示器信号通信。在非限制性示例中，控制器装置153能够与HMI装置151（其包括与之相关联的显示器）结合使用或者被集成在HMI装置151内。例如，当控制器装置153包括由使用者操控且与显示器直接接触的触针时，显示器能够识别使用者输入。在另一非限制性示例中，包括操纵杆的控制器装置153能够引导被指示到对应于驾驶场景的图形投影显示器的一部分的使用者输入。应意识到，监测被监测使用者输入的运动的反馈图形对于包括操纵杆、鼠标、触垫或旋钮的基于控制器的接口来说将是有益的，但是对于诸如触针的基于控制器的接口来说将不具有任何应用。
参考图7，在车辆的图形投影显示器250上图示出了驾驶场景700。如果图形投影显示器250包括基本透明挡风屏平视显示器，则通过该基本透明挡风屏平视显示器图示出驾驶场景700。否则，对应于驾驶场景的景象的图像被投影在图形投影显示器上。利用上文所述的方法，基于监测的指示到图形投影显示器250的一部分且对应于驾驶场景的景象的使用者输入来产生轨迹710。具体地，突出的虚线框的轨迹图形代表了所产生的轨迹710。包括光标图形的反馈图形720图示出监测的使用者输入的运动。在该非限制性示例中，轨迹710被用来限定随后确定的包括使用者所期望的尺寸和位置的使用者定义的取景器，在该取景器中使用者能够捕获与所述轨迹区域内的驾驶场景相对应的图像和/或录制相对应的视频。
参考图8，在车辆的图形投影显示器250上图示出了驾驶场景800。如果图形投影显示器250包括基本透明挡风屏平视显示器，则通过该基本透明挡风屏平视显示器图示出驾驶场景800。否则，对应于驾驶场景的景象的图像被投影在图形投影显示器上。利用上文所述的方法，绘制了代表使用者定义的取景器的取景器图形810。具体地，使用者定义的取景器由图7中所产生的轨迹710限定。一旦图7中所产生的轨迹710包括矩形形状，就能够确定和显示取景器图形810。替代地，能够基于在产生所述轨迹之后的使用者命令来确定和产生取景器图形810。取景器图形810由指示出虚拟框架图形的突出框图形来绘制。在该非限制性示例中，使用者定义的取景器能够结合摄像机装置被用来捕获与使用者定义的取景器（即取景器图形810）区域内的驾驶场景相对应的静态图像或录制相对应的视频。
本公开内容已经描述了特定优选实施例及其变型。当阅读并理解说明书时可以意识到其他变型和改变。因此，本公开内容不旨在限于被公开作为构想成实现本公开内容的最佳模式的具体实施例，而是本公开内容将包括落入所附权利要求范围内的所有实施例。
Claims (10)
1.一种利用图形投影显示器在车辆的驾驶场景上动态地标示取景器图形的方法，包括：
监测指示到所述图形投影显示器的一部分的使用者输入；
基于监测的指示到所述图形投影显示器的所述部分的使用者输入产生轨迹；
确定代表使用者定义的取景器的取景器图形，该使用者定义的取景器由所产生的轨迹限定；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述取景器图形的位置；以及
在所述图形投影显示器上显示所述取景器图形。
2.根据权利要求1所述的方法，其中所述图形投影显示器包括基本透明挡风屏平视显示器，该基本透明挡风屏平视显示器包括在所述挡风屏的预定区域上允许发光显示且允许通过其可视的发光颗粒或微结构中的一种。
3.根据权利要求1所述的方法，其中所述图形投影显示器包括触摸屏显示器、人机接口显示器、非透明部件和显示监视器中的一种。
4.根据权利要求3所述的方法，还包括：
在所述图形投影显示器上投影对应于所述车辆的所述驾驶场景的景象的图像。
5.根据权利要求1所述的方法，其中所述取景器图形包括突出框图形，并且所述使用者定义的取景器包括由该突出框图形框住的区域。
6.根据权利要求1所述的方法，其中由所产生的轨迹限定的所述使用者定义的取景器捕获与包括所述使用者定义的取景器的区域内的所述驾驶场景相对应的静态图像。
7.根据权利要求1所述的方法，其中由所产生的轨迹限定的所述使用者定义的取景器捕获与包括所述使用者定义的取景器的区域内的所述驾驶场景相对应的录制的视频。
8.根据权利要求1所述的方法，还包括：
确定代表所产生的轨迹的轨迹图形；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述轨迹图形的位置；以及
在所述图形投影显示器上显示所述轨迹图形。
9.一种利用图形投影显示器在车辆的驾驶场景上动态地标示虚拟框架图形的方法，包括：
监测指示到所述图形投影显示器的一部分的使用者输入；
基于监测的指示到所述图形投影显示器的所述部分的使用者输入产生轨迹；
确定框住使用者定义的取景器的虚拟框架图形，该虚拟框架图形由所产生的轨迹限定；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述虚拟框架图形的位置；以及
在所述图形投影显示器上显示所述虚拟框架图形。
10.一种利用图形投影显示器在车辆的驾驶场景上动态地标示虚拟框架图形的系统，包括：
视觉增强系统系统管理器：
监测指示到所述图形投影显示器的一部分的使用者输入；
基于监测的指示到所述图形投影显示器的所述部分的使用者输入产生轨迹；
确定框住使用者定义的取景器的取景器图形，该使用者定义的取景器由所产生的轨迹限定；
在对应于所述车辆的所述驾驶场景的所述图形投影显示器上动态地标示所述取景器图形的位置；
图形系统，其产生框住使用者定义的取景器的所述取景器图形；以及
图形投影系统，其与所述图形系统通信并且在所述图形投影显示器上显示描述所述使用者定义的取景器的所述取景器图形。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US12/980,522 US8605011B2 (en) | 2010-12-29 | 2010-12-29 | Virtual viewfinder on full windshield head-up display |
| US12/980522 | 2010-12-29 | ||
| US12/980,522 | 2010-12-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102529811A true CN102529811A (zh) | 2012-07-04 |
| CN102529811B CN102529811B (zh) | 2015-01-14 |
Family
ID=46338242
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110449682.0A Active CN102529811B (zh) | 2010-12-29 | 2011-12-29 | 全挡风玻璃平视显示器上的虚拟取景器 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US8605011B2 (zh) |
| CN (1) | CN102529811B (zh) |
| DE (1) | DE102011121747A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063116A (zh) * | 2013-03-19 | 2014-09-24 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
| CN104090366A (zh) * | 2014-07-23 | 2014-10-08 | 占舒婷 | 一种汽车驾驶眼镜 |
| CN104760541A (zh) * | 2015-04-20 | 2015-07-08 | 洪莲 | 一种实现非透明驾驶的汽车 |
| CN105376526A (zh) * | 2014-08-07 | 2016-03-02 | 大陆汽车系统公司 | 动态校准的平视显示器 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8330673B2 (en) * | 2009-04-02 | 2012-12-11 | GM Global Technology Operations LLC | Scan loop optimization of vector projection display |
| US8629784B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Peripheral salient feature enhancement on full-windshield head-up display |
| US8606430B2 (en) | 2010-10-08 | 2013-12-10 | GM Global Technology Operations LLC | External presentation of information on full glass display |
| US8686872B2 (en) | 2010-12-29 | 2014-04-01 | GM Global Technology Operations LLC | Roadway condition warning on full windshield head-up display |
| US8633979B2 (en) | 2010-12-29 | 2014-01-21 | GM Global Technology Operations LLC | Augmented road scene illustrator system on full windshield head-up display |
| US8924150B2 (en) | 2010-12-29 | 2014-12-30 | GM Global Technology Operations LLC | Vehicle operation and control system for autonomous vehicles on full windshield display |
| US9057874B2 (en) | 2010-12-30 | 2015-06-16 | GM Global Technology Operations LLC | Virtual cursor for road scene object selection on full windshield head-up display |
| US9008904B2 (en) | 2010-12-30 | 2015-04-14 | GM Global Technology Operations LLC | Graphical vehicle command system for autonomous vehicles on full windshield head-up display |
| DE102011010594A1 (de) * | 2011-02-08 | 2012-08-09 | Daimler Ag | Verfahren, Vorrichtung und Computerprogrammprodukt zum Ansteuern einer Funktionseinheit eines Fahrzeugs |
| US8818708B2 (en) | 2011-12-02 | 2014-08-26 | GM Global Technology Operations LLC | Optimum driving path on full windshield display |
| US8781170B2 (en) | 2011-12-06 | 2014-07-15 | GM Global Technology Operations LLC | Vehicle ghosting on full windshield display |
| US9443429B2 (en) | 2012-01-24 | 2016-09-13 | GM Global Technology Operations LLC | Optimum gaze location on full windscreen display |
| US20140095294A1 (en) * | 2012-09-28 | 2014-04-03 | Cornelius V. Vick | Mechanism for facilitating context-aware broadcast and virtual visualization of advertisements |
| US9477315B2 (en) * | 2013-03-13 | 2016-10-25 | Honda Motor Co., Ltd. | Information query by pointing |
| US9613459B2 (en) * | 2013-12-19 | 2017-04-04 | Honda Motor Co., Ltd. | System and method for in-vehicle interaction |
| US20190143905A1 (en) * | 2017-11-15 | 2019-05-16 | Toyota Research Institute, Inc. | Image capture with a vehicle object sensor device based on user input |
| US10761535B2 (en) | 2018-08-21 | 2020-09-01 | GM Global Technology Operations LLC | Intelligent vehicle navigation systems, methods, and control logic for multi-lane separation and trajectory extraction of roadway segments |
| US11454813B2 (en) | 2019-11-07 | 2022-09-27 | GM Global Technology Operations LLC | Holographic display systems with polarization correction and distortion reduction providing enhanced image quality |
| US11685262B2 (en) | 2020-12-03 | 2023-06-27 | GM Global Technology Operations LLC | Intelligent motor vehicles and control logic for speed horizon generation and transition for one-pedal driving |
| US11752881B2 (en) | 2021-01-20 | 2023-09-12 | GM Global Technology Operations LLC | Intelligent vehicles and control logic for brake torque request estimation for cooperative brake system control |
| US11880036B2 (en) | 2021-07-19 | 2024-01-23 | GM Global Technology Operations LLC | Control of ambient light reflected from pupil replicator |
| US12024025B2 (en) | 2022-02-11 | 2024-07-02 | GM Global Technology Operations LLC | Intelligent motor systems and control logic for creating heat with constant offset torque in stationary vehicles |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6847336B1 (en) * | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
| JP2005138755A (ja) * | 2003-11-07 | 2005-06-02 | Denso Corp | 虚像表示装置およびプログラム |
| US20070241936A1 (en) * | 2006-04-13 | 2007-10-18 | U.S.A. As Represented By The Administrator Of The National Aeronautics And Space Administration | Multi-Modal Cockpit Interface For Improved Airport Surface Operations |
| US20100253593A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Enhanced vision system full-windshield hud |
Family Cites Families (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL114278A (en) | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
| US7090355B2 (en) | 2003-05-19 | 2006-08-15 | Superimaging, Inc. | System and method for a transparent color image display utilizing fluorescence conversion of nano particles and molecules |
| EP1680708A4 (en) | 2003-11-03 | 2008-03-05 | Superimaging Inc | ELECTROLUMINESCENT MATERIAL INTEGRATED WITH SUBSTRATE SENSIBLY TRANSPARENT |
| WO2005043233A2 (en) | 2003-11-03 | 2005-05-12 | Superimaging, Inc. | Microstructures integrated into a transparent substrate which scatter incident light to display an image |
| GB0401991D0 (en) * | 2004-01-30 | 2004-03-03 | Ford Global Tech Llc | Touch screens |
| US7213923B2 (en) | 2004-04-19 | 2007-05-08 | Superimaging, Inc. | Emission of visible light in response to absorption of excitation light |
| US7460951B2 (en) | 2005-09-26 | 2008-12-02 | Gm Global Technology Operations, Inc. | System and method of target tracking using sensor fusion |
| CN101288105B (zh) | 2005-10-11 | 2016-05-25 | 苹果公司 | 用于物体重现的方法和系统 |
| US20080158510A1 (en) | 2007-01-02 | 2008-07-03 | Gm Global Technology Operations, Inc. | Apparatus And Method For Displaying Information Within A Vehicle Interior |
| WO2008087652A2 (en) | 2007-01-21 | 2008-07-24 | Prime Sense Ltd. | Depth mapping using multi-beam illumination |
| US8917904B2 (en) | 2008-04-24 | 2014-12-23 | GM Global Technology Operations LLC | Vehicle clear path detection |
| JP2010145861A (ja) * | 2008-12-19 | 2010-07-01 | Brother Ind Ltd | ヘッドマウントディスプレイ |
| US20100253595A1 (en) | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Virtual controls and displays by laser projection |
| US8912978B2 (en) | 2009-04-02 | 2014-12-16 | GM Global Technology Operations LLC | Dynamic vehicle system information on full windshield head-up display |
| US8317329B2 (en) | 2009-04-02 | 2012-11-27 | GM Global Technology Operations LLC | Infotainment display on full-windshield head-up display |
| US8269652B2 (en) | 2009-04-02 | 2012-09-18 | GM Global Technology Operations LLC | Vehicle-to-vehicle communicator on full-windshield head-up display |
| US8629784B2 (en) | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Peripheral salient feature enhancement on full-windshield head-up display |
| US8547298B2 (en) | 2009-04-02 | 2013-10-01 | GM Global Technology Operations LLC | Continuation of exterior view on interior pillars and surfaces |
| US8704653B2 (en) | 2009-04-02 | 2014-04-22 | GM Global Technology Operations LLC | Enhanced road vision on full windshield head-up display |
| US8384532B2 (en) | 2009-04-02 | 2013-02-26 | GM Global Technology Operations LLC | Lane of travel on windshield head-up display |
| US8830141B2 (en) | 2009-04-02 | 2014-09-09 | GM Global Technology Operations LLC | Full-windshield head-up display enhancement: anti-reflective glass hard coat |
| US8358224B2 (en) | 2009-04-02 | 2013-01-22 | GM Global Technology Operations LLC | Point of interest location marking on full windshield head-up display |
| US8427395B2 (en) | 2009-04-02 | 2013-04-23 | GM Global Technology Operations LLC | Full-windshield hud enhancement: pixelated field of view limited architecture |
| US8817090B2 (en) | 2009-04-02 | 2014-08-26 | GM Global Technology Operations LLC | Luminance uniformity compensation of vector projection display |
| US8350724B2 (en) | 2009-04-02 | 2013-01-08 | GM Global Technology Operations LLC | Rear parking assist on full rear-window head-up display |
| US8344894B2 (en) | 2009-04-02 | 2013-01-01 | GM Global Technology Operations LLC | Driver drowsy alert on full-windshield head-up display |
| US8395529B2 (en) | 2009-04-02 | 2013-03-12 | GM Global Technology Operations LLC | Traffic infrastructure indicator on head-up display |
| US7924146B2 (en) | 2009-04-02 | 2011-04-12 | GM Global Technology Operations LLC | Daytime pedestrian detection on full-windscreen head-up display |
| US8482486B2 (en) | 2009-04-02 | 2013-07-09 | GM Global Technology Operations LLC | Rear view mirror on full-windshield head-up display |
| US8330673B2 (en) | 2009-04-02 | 2012-12-11 | GM Global Technology Operations LLC | Scan loop optimization of vector projection display |
| US8072686B2 (en) * | 2009-04-02 | 2011-12-06 | GM Global Technology Operations LLC | UV laser beamlett on full-windshield head-up display |
| US8384531B2 (en) | 2009-04-02 | 2013-02-26 | GM Global Technology Operations LLC | Recommended following distance on full-windshield head-up display |
| US8564502B2 (en) | 2009-04-02 | 2013-10-22 | GM Global Technology Operations LLC | Distortion and perspective correction of vector projection display |
| US8164543B2 (en) | 2009-05-18 | 2012-04-24 | GM Global Technology Operations LLC | Night vision on full windshield head-up display |
| US8977489B2 (en) | 2009-05-18 | 2015-03-10 | GM Global Technology Operations LLC | Turn by turn graphical navigation on full windshield head-up display |
| US8606430B2 (en) | 2010-10-08 | 2013-12-10 | GM Global Technology Operations LLC | External presentation of information on full glass display |
| US8098170B1 (en) | 2010-10-08 | 2012-01-17 | GM Global Technology Operations LLC | Full-windshield head-up display interface for social networking |
| US8514099B2 (en) | 2010-10-13 | 2013-08-20 | GM Global Technology Operations LLC | Vehicle threat identification on full windshield head-up display |
| US8098171B1 (en) | 2010-12-28 | 2012-01-17 | GM Global Technology Operations LLC | Traffic visibility in poor viewing conditions on full windshield head-up display |
| US8633979B2 (en) | 2010-12-29 | 2014-01-21 | GM Global Technology Operations LLC | Augmented road scene illustrator system on full windshield head-up display |
| US8924150B2 (en) | 2010-12-29 | 2014-12-30 | GM Global Technology Operations LLC | Vehicle operation and control system for autonomous vehicles on full windshield display |
| US8686872B2 (en) | 2010-12-29 | 2014-04-01 | GM Global Technology Operations LLC | Roadway condition warning on full windshield head-up display |
| US9057874B2 (en) | 2010-12-30 | 2015-06-16 | GM Global Technology Operations LLC | Virtual cursor for road scene object selection on full windshield head-up display |
| US9008904B2 (en) | 2010-12-30 | 2015-04-14 | GM Global Technology Operations LLC | Graphical vehicle command system for autonomous vehicles on full windshield head-up display |
-
2010
- 2010-12-29 US US12/980,522 patent/US8605011B2/en active Active
-
2011
- 2011-12-20 DE DE102011121747A patent/DE102011121747A1/de active Pending
- 2011-12-29 CN CN201110449682.0A patent/CN102529811B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6847336B1 (en) * | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
| JP2005138755A (ja) * | 2003-11-07 | 2005-06-02 | Denso Corp | 虚像表示装置およびプログラム |
| US20070241936A1 (en) * | 2006-04-13 | 2007-10-18 | U.S.A. As Represented By The Administrator Of The National Aeronautics And Space Administration | Multi-Modal Cockpit Interface For Improved Airport Surface Operations |
| US20100253593A1 (en) * | 2009-04-02 | 2010-10-07 | Gm Global Technology Operations, Inc. | Enhanced vision system full-windshield hud |
| CN101872069A (zh) * | 2009-04-02 | 2010-10-27 | 通用汽车环球科技运作公司 | 增强视觉系统全挡风玻璃hud |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063116A (zh) * | 2013-03-19 | 2014-09-24 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
| CN104063116B (zh) * | 2013-03-19 | 2019-01-11 | 联想(北京)有限公司 | 一种信息处理的方法及电子设备 |
| CN104090366A (zh) * | 2014-07-23 | 2014-10-08 | 占舒婷 | 一种汽车驾驶眼镜 |
| CN105376526A (zh) * | 2014-08-07 | 2016-03-02 | 大陆汽车系统公司 | 动态校准的平视显示器 |
| CN105376526B (zh) * | 2014-08-07 | 2019-10-15 | 大陆汽车系统公司 | 动态校准的平视显示器 |
| CN104760541A (zh) * | 2015-04-20 | 2015-07-08 | 洪莲 | 一种实现非透明驾驶的汽车 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120169572A1 (en) | 2012-07-05 |
| CN102529811B (zh) | 2015-01-14 |
| DE102011121747A1 (de) | 2012-07-05 |
| US8605011B2 (en) | 2013-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102529811B (zh) | 全挡风玻璃平视显示器上的虚拟取景器 | |
| CN102566051B (zh) | 全挡风玻璃平视显示器上的强调道路场景图示系统 | |
| CN102589565B (zh) | 全挡风玻璃显示器上自主式车辆的车辆操作和控制系统 | |
| US9057874B2 (en) | Virtual cursor for road scene object selection on full windshield head-up display | |
| CN102529973B (zh) | 基于从车辆的使用者输入到图形投影显示器的使用者输入来控制车辆的操作的方法和设备 | |
| CN102447731B (zh) | 用于社会化网络的全挡风屏平视显示界面 | |
| CN107554425B (zh) | 一种增强现实车载平视显示器ar-hud | |
| US20130076787A1 (en) | Dynamic information presentation on full windshield head-up display | |
| KR101409846B1 (ko) | 3차원 증강현실 기반 헤드 업 디스플레이 장치 | |
| CN102555908A (zh) | 全挡风玻璃平视显示器上在恶劣观察条件中的交通可见性 | |
| CN102568231A (zh) | 全挡风玻璃平视显示器上的道路情况警报 | |
| US9159301B2 (en) | Slanted map | |
| Yoshida et al. | Transparent cockpit: Visual assistance system for vehicle using retro-reflective projection technology | |
| CN208207372U (zh) | 增强现实眼镜和系统 | |
| WO2019131296A1 (ja) | ヘッドアップディスプレイ装置 | |
| CN110297325A (zh) | 增强现实眼镜和系统及增强现实眼镜显示车上信息的方法 | |
| CN110347241B (zh) | 一种可正位实景显示的ar抬头显示光学系统 | |
| Nakatsura et al. | Image overlay on optical see-through displays for vehicle navigation | |
| US20240242644A1 (en) | Integrated vehicle dynamics in campfire display | |
| Husár et al. | Comparison of the Principles of Head-Up Display Technologies forthe Implementation of Augmented Reality in the Automotive Industry: AStudy | |
| KR20240019423A (ko) | 차량의 필러 디스플레이 장치 및 이의 동작 방법 | |
| Husár et al. | Comparison of the Principles of Head-Up Display Technologies for the Implementation of Augmented Reality in the Automotive Industry: A Study | |
| CN118330882A (zh) | 具有增强现实显示器的篝火显示 | |
| CN116684565A (zh) | 显示方法、设备、交通工具及存储介质 | |
| CN106982353A (zh) | 车载摄像系统及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |