CN110869901B - 车辆用的用户界面装置和车辆 - Google Patents
车辆用的用户界面装置和车辆 Download PDFInfo
- Publication number
- CN110869901B CN110869901B CN201880045649.1A CN201880045649A CN110869901B CN 110869901 B CN110869901 B CN 110869901B CN 201880045649 A CN201880045649 A CN 201880045649A CN 110869901 B CN110869901 B CN 110869901B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- processor
- unit
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims abstract description 210
- 230000003190 augmentative effect Effects 0.000 claims abstract description 6
- 230000008859 change Effects 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 32
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000000694 effects Effects 0.000 claims description 21
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 description 49
- 239000010410 layer Substances 0.000 description 48
- 238000010586 diagram Methods 0.000 description 15
- 239000000758 substrate Substances 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000005286 illumination Methods 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 8
- 239000000725 suspension Substances 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000000844 transformation Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000000446 fuel Substances 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010047571 Visual impairment Diseases 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000003776 cleavage reaction Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003195 fascia Anatomy 0.000 description 1
- 239000002803 fossil fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000007017 scission Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
- G01P15/02—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
- G01P15/08—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0181—Adaptation to the pilot/driver
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Computer Graphics (AREA)
- Traffic Control Systems (AREA)
Abstract
一种车辆用的用户界面装置,包括:接口单元;显示单元,被配置为将增强现实(AR)图形对象投射到屏幕上;至少一个处理器;以及耦接到所述至少一个处理器的计算机可读介质,在计算机可读介质中存储有指令,当所述指令在由所述至少一个处理器执行时,所述指令使所述至少一个处理器执行以下操作:通过所述接口单元获取前视图像信息和车辆运动信息;基于所述前视图像信息,生成所述AR图形对象;以及基于所述车辆运动信息,扭曲所述AR图形对象。
Description
技术领域
本公开涉及车辆用的车辆用户界面装置和车辆。
背景技术
车辆是被配置为在用户的期望方向上移动用户的装置。车辆的代表性示例可以是汽车。
可以在车辆中设置各种类型的传感器和电子设备,以增强用户的便利性。例如,可以设置平视显示器(HUD)以使用增强现实(AR)技术来显示图形对象。此外,正在积极开发高级驾驶员辅助系统(ADAS)以增强用户的驾驶便利性和安全性。此外,正在积极开发自动行驶汽车。
发明内容
技术问题
在一个方面中,车辆用的用户界面装置包括:接口单元;显示单元,被配置为将增强现实(AR)图形对象投射到屏幕上;至少一个处理器;以及耦接到所述至少一个处理器的计算机可读介质,在所述计算机可读介质中存储有指令,当所述指令由所述至少一个处理器执行时,所述指令使所述至少一个处理器执行以下操作:通过所述接口单元获取前视图像信息和车辆运动信息;基于所述前视图像信息,生成所述AR图形对象;以及基于所述车辆运动信息,扭曲所述AR图形对象。
技术方案
实施方式可以包括以下特征中的一个或更多个。例如,获取前视图像信息和车辆运动信息包括:从所述车辆的第一相机接收所述前视图像信息,并且所述操作还包括:基于所述前视图像信息,生成与所述车辆的第一运动相关联的第一运动信息,第一运动信息相对于第一坐标系被限定。
在一些实施方式中,操作包括:通过所述接口单元从所述车辆的惯性测量单元(IMU)接收车辆运动感测信息;以及基于所述车辆运动感测信息,生成与所述车辆的第二运动相关联的第二运动信息,所述第二运动信息相对于不同于所述第一坐标系的第二坐标系被限定。
在一些实施方式中,扭曲AR图形对象包括:将所述第二运动信息转换为相对于所述第一坐标系被限定;以及基于经转换的第二运动信息来补偿所述第一运动信息。
在一些实施方式中,基于转换后的所述第二运动信息来补偿所述第一运动信息包含:在第一运动信息中抵消车辆的第二运动。
在一些实施方式中,扭曲AR图形对象包括:基于补偿后的所述第一运动信息通过所述显示单元改变投射到所述屏幕上的所述AR图形对象的位置。
在一些实施方式中,基于补偿后的所述第一运动信息改变投射到所述屏幕上的所述AR图形对象的位置包括:基于补偿后的所述第一运动信息来确定所述车辆的第一运动方向;以及在与车辆的第一运动方向相反的方向上改变AR图形对象的位置。
在一些实施方式中,基于补偿后的所述第一运动信息改变投射到所述屏幕上的所述AR图形对象的位置包括:基于补偿后的所述第一运动信息来确定所述车辆的第一位移幅度;以及与车辆的第一位移幅度对应地改变AR图形对象的位置。
在一些实施方式中,所述操作包括:基于所述车辆运动信息来确定所述车辆的运动的变化;以及基于对车辆的运动变化的确定来向AR图形对象添加图形效果。
在一些实施方式中,所述图形效果包括淡出效果或模糊效果中的一个或更多个。
在一些实施方式中,所述操作包括:通过所述接口单元来获取与所述车辆的俯仰的变化相关联的车辆俯仰信息;以及基于所述车辆俯仰信息来扭曲所述AR图形对象。
在一些实施方式中,所述操作包括:通过所述接口单元来获取与所述车辆的横摆变化相关联的车辆横摆信息,所述车辆的横摆变化在方向盘旋转时产生;以及基于所述车辆横摆信息来扭曲所述AR图形对象。
在一些实施方式中,所述用户界面装置还包括第二相机,所述第二相机被配置为捕获所述车辆的用户的眼睛的图像,所述操作包括:基于所捕获的图像,检测所述用户的眼睛;响应于所述车辆的运动来跟踪所述用户的所述眼睛的位置的变化;以及基于所跟踪的用户的眼睛的位置的变化来扭曲AR图形对象。
在一些实施方式中,所述操作包括:基于所述前视图像信息,生成与位于所述车辆前方的对象相关联的正面对象信息;确定与所述车辆到达在所述对象处的估计时间相对应的第一时间;以及基于第一时间通过显示单元改变投射到屏幕上的AR图形对象的位置。
在一些实施方式中,所述操作包括:确定所述对象是隆起;基于确定所述对象为隆起,获取所述隆起的高度信息;以及基于所述高度信息,在所述第一时间内生成与所述车辆在所述隆起处的第一预期运动相关联的第一预期运动信息。
在一些实施方式中,所述操作包括:通过所述接口单元从惯性测量单元(IMU)接收与所述隆起相关联的车辆运动感测信息;基于所述车辆运动感测信息,生成与所述碰撞相关联的第二运动信息;以及基于所述第二运动信息来补偿所述第一预期运动信息。
在一些实施方式中,所述操作包括:确定所述对象是弯道部;基于确定所述对象为弯道部,获取所述弯道部的曲率信息;以及基于所述曲率信息,在所述第一时间内生成与所述车辆在所述弯道部的第二预期运动相关联的第二预期运动信息。
在一些实施方式中,所述显示单元包括:成像单元,被配置为输出所述AR图形对象;平面镜,被配置为反射所述AR图形对象;以及凹面镜,被配置以将由所述平面镜反射的所述AR图形对象朝向所述屏幕反射。
在一些实施方式中,显示单元还包括被配置为调节平面镜的位置的平面镜驱动单元,并且操作包括:通过经由所述平面镜驱动单元调整所述平面镜的位置来扭曲所述AR图形对象。
在另一方面,车辆包括:多个车轮;动力源,被配置为驱动所述多个车轮中的至少一个;以及所述用户界面装置。
发明效果
在一些场景中,根据本公开的一些实施方式,可以实现以下效果中的一个或更多个。
首先,在存在车辆移动的情况下,可以改善所显示的AR图形对象与真实对象的空间对应关系。这样,可以改善用户所感知的真实感。
其次,通过改进后的空间对应关系,可以以更准确的方式向用户提供信息。
本发明的效果不应限于上述效果,并且本领域技术人员从权利要求中将清楚地理解其它未提及的效果。在附图和以下描述中阐述了一个或更多个实施方式的细节。根据说明书和附图以及权利要求,其它特征将是显而易见的。下面的描述和具体示例仅作为说明给出,并且各种改变和修改将是显而易见的。
附图说明
图1是示出车辆外部的示例的图;
图2是示出了处于各种角度的车辆的示例的图;
图3和图4是示出车辆的示例的内部的视图;
图5和图6是示出与行驶相关的对象的示例的参考视图;
图7是示出车辆的示例的子系统的框图;
图8a是示出根据本公开的实施方式的车辆用户界面装置的框图;
图8b是根据本公开的实施方式的用户界面装置的示例操作的流程图;
图9a及图9b为说明根据本公开的实施方式的显示单元的实例配置的图;
图10是示出根据本公开的实施方式的图像输出单元的操作的图;
图11是示出根据本公开的实施方式的可变焦距透镜的操作的图;
图12是示出根据本公开的实施方式的从驾驶员座椅向前看时的车辆的用户界面装置的操作的图;
图13a至图13c是示出根据本公开的实施方式的当车辆经过隆起时车辆用的用户界面装置的操作的图;
图14a至图14c是示出根据本公开的实施方式的当车辆进入弯道部时车辆用的用户界面装置的操作的图;以及
图15a至图15c是示出根据本公开的实施方式的AR图形对象的扭曲的图。
具体实施方式
在常规平视显示器(HUD)中,用户可以感知到在存在车辆移动时增强现实(AR)对象与对应的真实对象偏离。因此,本文公开了在存在车辆移动时可以改善所显示的AR图形对象与真实对象的空间对应的实施方式。
本说明书中描述的车辆可以包括汽车和摩托车。在下文中,将基于汽车进行描述。
本说明书中描述的车辆可以包括:包括将发动机作为动力源的内燃机车辆、包括将发动机和电动机作为动力源的混合动力汽车、以及包括将电动机作为动力源的电动汽车。
在以下描述中,“车辆的左侧”是指沿车辆的向前行驶方向的左侧,“车辆的右侧”是指沿车辆的向前行驶方向的右侧。
图1是示出车辆外部的示例的图。图2是示出了处于各种角度的车辆的示例的图。图3和图4是示出车辆的示例的内部的视图。图5和图6是示出与行驶相关的对象的示例的参考视图。图7是示出车辆的示例的子系统的框图。
参考图1至图7,车辆100可以包括由动力源旋转的多个车轮、以及用于控制车辆100的行驶方向的转向输入设备510。
车辆100可以是自主车辆。
车辆100可以响应于用户输入而切换到自主行驶模式或手动模式。
例如,响应于通过用户界面装置200接收的用户输入,车辆100可以从手动模式切换到自主行驶模式,反之亦然。
车辆100可以基于行驶情况信息切换到自主行驶模式或手动模式。
行驶情况信息可以包括以下各项中的至少一项:关于位于车辆100外部的对象的信息、导航信息和车辆状态信息。
例如,车辆100可以基于由对象检测装置300生成的行驶情况信息从手动模式切换到自主行驶模式,或反之亦然。
例如,车辆100可以基于通过通信装置400接收的行驶情况信息从手动模式切换到自主行驶模式,或反之亦然。
车辆100可以基于从外部设备提供的信息、数据和信号从手动模式切换到自主行驶模式,或者反之亦然。
当车辆100在自主行驶模式下进行操作时,自主车辆100可以基于车辆行进系统700来操作。
例如,自主车辆100可以基于由行驶系统710、泊出系统740和停车系统750生成的信息、数据或信号来操作。
当在手动模式下操作时,自主车辆100可以通过行驶操纵装置500接收用于行驶车辆100的用户输入。响应于通过行驶操纵装置500接收的用户输入,车辆100可以操作。
术语“整体长度”是指从车辆100的前端到后端的长度,术语“整体宽度”是指车辆100的宽度,术语“整体高度”是指从车轮的底部到车顶的高度。在以下描述中,术语“整体长度方向L”可以表示用于测量车辆100的整体长度的参考方向,术语“整体宽度方向W”可以表示用于测量车辆100的整体宽度的参考方向,术语“整体高度方向H”可以表示用于测量车辆100的整体高度的参考方向。
如图7所示,车辆100可以包括用户界面装置200、对象检测装置300、通信装置400、行驶操纵装置500、车辆行驶装置600、车辆行进系统700、导航系统770、感测单元120、接口130、存储器140、控制器170、以及电源单元190。
在一些实施方式中,除了上述部件之外,车辆100还可以包括其他部件,或者可以不包括上述部件中的一些部件。
用户界面装置200设置为支持车辆100与用户之间的通信。用户界面装置200可以接收用户输入,并且向用户提供在车辆100中生成的信息。车辆100可以通过用户界面装置200启用用户界面(UI)或用户体验(UX)。
用户界面装置200可以包括输入单元210、内部相机220、生物识别感测单元230、输出单元250及处理器270。
在一些实施方式中,除了上述部件之外,用户界面装置200还可以包括其他部件,或者可以不包括上述部件中的一些部件。
输入单元210被配置为从用户接收信息,并且在输入单元210中收集的数据可以由处理器270分析然后被处理成用户的控制命令。
输入单元210可以设置在车辆100内。例如,输入单元210可以设置在方向盘的区域、仪表板的区域、座椅的区域、每个柱的区域、门的区域、中央控制台的区域、顶板的区域、遮阳板的区域、挡风玻璃的区域、或窗的区域中。
输入单元210可以包括语音输入单元211、手势输入单元212、触摸输入单元213和机械输入单元214。
语音输入单元211可以将用户的语音输入转换成电信号。转换后的电信号可以被提供给处理器270或控制器170。
语音输入单元211可以包括一个或更多个麦克风。
手势输入单元212可以将用户的手势输入转换成电信号。转换后的电信号可以被提供给处理器270或控制器170。
手势输入单元212可以包括从用于感测用户的手势输入的图像传感器和红外传感器中选择的至少一个。
在一些实施方式中,手势输入单元212可以感测用户的三维(3D)手势输入。为此,手势输入单元212可以包括用于输出红外光的多个发光单元或多个图像传感器。
手势输入单元212可通过使用飞行时间(TOF)方案、结构化光方案或视差方案来感测3D手势输入。
触摸输入单元213可以将用户触摸输入转换为电信号。转换后的电信号可以被提供给处理器270或控制器170。
触摸输入单元213可以包括用于感测用户的触摸输入的触摸传感器。
在一些实施方式中,触摸输入单元210可以与显示单元251一体形成以实现触摸屏。触摸屏可以提供车辆100与用户之间的输入界面和输出界面。
机械输入单元214可以包括从按钮、弹片开关、滚轮和拨动开关中选择的至少一个。由机械输入单元214产生的电信号可以被提供给处理器270或控制器170。
机械输入单元214可以位于方向盘、中央仪表板、中央控制台、行驶舱模块、门等上。
内部相机220可以获取车辆100的内部的图像。处理器270可以基于车辆100的内部的图像感测用户的环境状况。处理器270可以获取关于用户的眼睛注视的信息。处理器270可以从车辆100的内部的图像感测用户的手势。
生物识别感测单元230可以获取用户的生物识别信息。生物识别感测单元230可以包括用于获取用户的生物识别信息的传感器,且可利用传感器来获取用户的指纹信息、心率信息等。生物识别信息可用于用户认证。
输出单元250被配置为生成视觉、音频或触觉输出。
输出单元250可以包括从显示单元251、声音输出单元252和触觉输出单元253中选择的至少一个。
显示单元251可以显示对应于各种类型的信息的图形对象。
显示单元251可以包括从液晶显示器(LCD)、薄膜晶体管-液晶显示器(TFT LCD)、有机发光二极管(OLED)、柔性显示器、3D显示器和电子墨水显示器中选择的至少一个。
显示单元251可以与触摸输入单元213一起形成层间结构,或者可以与触摸输入单元213一体地形成以实现触摸屏。
显示单元251可以以平视显示器(HUD)来实现。当以HUD来实现时,显示单元251可以包括投射仪模块,以便通过投射在挡风玻璃或窗上的图像来输出信息。
显示单元251可以包括透明显示器。透明显示器可以附接在挡风玻璃或窗户上。
透明显示器可以显示具有预定透明度的预定屏幕。为了实现透明度,透明显示器可以包括从透明薄膜电致发光(TFEL)显示器、有机发光二极管(OLED)显示器、透明液晶显示器(LCD)、透射透明显示器和透明发光二极管(LED)显示器中选择的至少一个。透明显示器的透明度可以调节。
在一些实施方式中,用户界面装置200可以包括多个显示单元251a至251g。
显示单元251可以设置在方向盘的区域、仪表板的区域251a、251b或251e、座椅的区域251d、每个柱的区域251f、门的区域251g、中央控制台的区域、顶板的区域、遮阳板的区域、挡风玻璃的区域251c或窗的区域251h。
声音输出单元252将来自处理器270或控制器170的电信号转换为音频信号,并输出音频信号。为此,声音输出单元252可以包括一个或更多个扬声器。
触觉输出单元253生成触觉输出。例如,触觉输出单元253可以操作以使方向盘、安全带和座椅110FL、110FR、110RL和110RR振动,以便允许用户识别输出。
处理器270可以控制用户界面装置200的每个单元的整体操作。
在一些实施方式中,用户界面装置200可以包括多个处理器270或者可以不包括处理器270。
在用户界面装置200不包括处理器270的情况下,用户界面装置200可以在控制器170或车辆100内部的不同设备的处理器的控制下操作。
在一些实施方式中,用户界面装置200可以被称为车辆用的显示设备。
用户界面装置200可以在控制器170的控制下操作。
对象检测装置300被配置为检测车辆100外部的对象。对象检测装置300可以基于感测数据生成关于对象的信息。
关于对象的信息可以包括关于对象的存在的信息、对象的位置信息、关于车辆100与对象之间的距离的信息以及关于车辆100相对于对象的移动速度的信息。
对象可以包括与车辆100的行驶有关的各种对象。
参考图5和图6,对象o可以包括车道OB10、附近车辆OB11、行人OB12、两轮车辆OB13、交通信号OB14和OB15、灯、道路、构造体、隆起、地理特征、动物等。
车道OB10可以是车辆100行驶的车道、紧邻车辆100行驶的车道的车道、或不同车辆在相反方向上行驶的车道。车道OB10可以包括限定车道的左线和右线。车道可以包括例如十字路口。
附近的车辆OB11可以是在车辆100附近行驶的车辆。附近的车辆OB11可以是距车辆100预定距离内的车辆。例如,附近的车辆OB11可以是在车辆100之前或之后的车辆。
行人OB12可以是位于车辆100附近的人。行人OB12可以是距车辆100预定距离内的人。例如,行人OB12可以是人行道上或道路上的人。
两轮车辆OB13是位于车辆100附近并且用两个车轮移动的车辆。两轮车辆OB13可以是在距车辆100预定距离内具有两个车轮的车辆。例如,两轮车辆OB13可以是在人行道或道路上的摩托车或自行车。
交通信号可以包括交通信号灯OB15、交通标志板OB14、以及涂装在路面上的图案或文本。
光可以是由附近车辆中提供的灯产生的光。该光可以是由街灯产生的光。该光可以是太阳光。
道路可以包括路面、转弯和诸如上坡和下坡的斜坡。
该构造体可以是在被固定到地面上的状态下位于道路周围的主体。例如,该构造体可以包括街灯、路旁树、建筑物、交通灯和桥梁。
地理特征可以包括山和丘陵。
在一些实施方式中,可以将对象分类为可移动对象或静止对象。例如,可移动对象可以包括例如移动的附近车辆和移动的行人。例如,静止对象可以包括例如交通信号、道路、构造体、停止的附近车辆和停止的行人。
对象检测装置300可以包括相机310、雷达320、激光雷达330、超声波传感器340、红外传感器350和处理器370。
在一些实施方式中,对象检测装置300还可以包含除前述部件之外的其它部件,或可以不包含前述部件中的一些部件。
相机310可以位于车辆100外部的适当位置,以便获取车辆100的外部的图像。相机310可以是单目相机、立体相机310a、周围视图监测(AVM)相机310B或360度相机。
使用各种图像处理算法,相机310可以获取对象的位置信息、关于到对象的距离的信息、以及关于相对于对象的速度的信息。
例如,基于获取的图像中对象的大小随时间的变化,相机310可以获取关于到对象的距离的信息以及关于相对于对象的速度的信息。
例如,相机310可以通过使用针孔模型(pin hole model)或通过绘制路面来获取关于到对象的距离的信息和关于相对于对象的速度的信息。
举例来说,相机310可以基于关于由立体相机310a获取的立体图像中的视差的信息来获取关于到对象的距离的信息及关于相对于对象的速度的信息。
例如,相机310可以设置在车辆100中的前挡风玻璃附近,以便获取车辆100的前部的图像。可替代地,相机310可以围绕前保险杠或散热器格栅设置。
在另一示例中,相机310可以被布置在车辆100中的后玻璃附近,以便获取车辆100的后部的图像。可替代地,相机310可以设置在后保险杠、行李箱或尾门的周围。
在又一示例中,相机310可以被布置在车辆100中的侧窗中的至少一个附近,以便获取车辆100的侧面的图像。可替代地,相机310可以设置在侧镜、挡泥板或门周围。
相机310可以向处理器370提供获取的图像。
雷达320可以包括电磁波发射单元和电磁波接收单元。取决于电子波的发射原理,雷达320可以以脉冲雷达或连续波雷达来实现。另外,取决于信号的波形,雷达320可以以调频连续波(FMCW)型雷达或频移键控(FSK)型雷达来实现。
雷达320可以通过使用飞行时间(TOF)方案或相移方案来检测通过电磁波的介质的对象,并且可以检测被检测对象的位置、到被检测对象的距离、以及相对于被检测对象的速度。
雷达320可以位于车辆100外部的适当位置,以便感测位于车辆100前方的对象、位于车辆100后方的对象、或位于车辆100的侧面的对象。
激光雷达330可以包括激光发送单元和激光接收单元。激光雷达330可以由TOF方案或相移方案来实现。
激光雷达330可以以驱动型激光雷达或非驱动型激光雷达来实现。
当以驱动型激光雷达来实现时,激光雷达300可以由电机旋转并且检测车辆100附近的对象。
当以非驱动型激光雷达来实现时,激光雷达300可以利用光转向技术来检测位于距车辆100预定距离内的对象。车辆100可以包括多个非驱动型激光雷达330。
激光雷达330可以通过使用TOF方案或相移方案来检测通过激光介质的对象,并且可以检测被检测对象的位置、到被检测对象的距离、以及相对于被检测对象的速度。
激光雷达330可以位于车辆100外部的适当位置,以便感测位于车辆100前方的对象、位于车辆100后方的对象、或位于车辆100的侧面的对象。
超声波传感器340可以包括超声波发送单元和超声波接收单元。超声波传感器340可以基于超声波来检测对象,且可检测被检测对象的位置、到被检测对象的距离及相对于被检测对象的速度。
超声波传感器340可以位于车辆100外部的适当位置,以便检测位于车辆100前方的对象、位于车辆100后方的对象以及位于车辆100的侧面的对象。
红外传感器350可以包括红外光发射单元和红外光接收单元。红外传感器340可以基于红外光检测对象,并且可以检测被检测对象的位置、到被检测对象的距离、以及相对于被检测对象的速度。
红外传感器350可以位于车辆100外部的适当位置,以感测位于车辆100前方的对象、位于车辆100后方的对象或位于车辆100的侧面的对象。
处理器370可以控制对象检测装置300的每个单元的整体操作。
处理器370可以通过将预先存储的数据与由相机310、雷达320、激光雷达330、超声波传感器340和红外传感器350感测的数据进行比较来对对象进行检测或分类。
处理器370可以基于所获取的图像来检测和跟踪对象。处理器370可以例如计算到对象的距离和相对于对象的速度。
例如,处理器370可以基于所获取图像中的对象的大小随时间的变化而获取到对象的距离的信息及相对于对象的速度的信息。
例如,处理器370可通过使用针孔模型或通过绘制路面来获取关于到对象的距离的信息或关于相对对象的速度的信息。
举例来说,处理器370可以基于从立体相机310a获取的立体图像中的视差的信息来获取关于到对象的距离的信息及关于相对于对象的速度的信息。
处理器370可以基于由于对象反射传输电磁波而形成的反射电磁波来检测和跟踪对象。基于电磁波,处理器370可以例如计算到对象的距离和相对于对象的速度。
处理器370可以基于由于对象反射传输激光而形成的反射激光来检测和跟踪对象。基于激光,处理器370可以例如计算到对象的距离和相对于对象的速度。
处理器370可以基于由于对象反射传输超声波而形成的反射超声波来检测和跟踪对象。基于超声波,处理器370可以例如计算到对象的距离和相对于对象的速度。
处理器370可以基于由于对象反射传输红外光而形成的反射红外光来检测和跟踪对象。基于红外光,处理器370可以例如计算到对象的距离和相对于对象的速度。
在一些实施方式中,对象检测装置300可以包括多个处理器370或可以不包括处理器370。例如,相机310、雷达320、激光雷达330、超声波传感器340和红外传感器350中的每一个可以包括其自身的处理器。
在对象检测装置300不包括处理器370的情况下,对象检测装置300可以在车辆100内部的处理器或控制器170的控制下进行操作。
对象检测装置300可以在控制器170的控制下进行操作。
通信装置400被配置为执行与外部设备的通信。这里,外部设备可以是附近的车辆、移动终端或服务器。
为了执行通信,通信装置400可以包括从发射天线、接收天线、能够实现各种通信协议的射频(RF)电路以及RF设备中选择的至少一个。
通信装置400可以包括短距离通信单元410、位置信息单元420、V2X通信单元430、光通信单元440、广播发送和接收单元450、智能传输系统(ITS)通信单元460和处理器470。
在一些实施方式中,除了上述部件之外,通信装置400还可以包括其他部件,或者可以不包括上述部件中的一些部件。
短距离通信单元410被配置为执行短距离通信。短距离通信单元410可以使用从蓝牙TM、射频识别(RFID)、红外线数据协会(IrDA)、超宽带(UWB)、ZigBee、近场通信(NFC)、无线保真(Wi-Fi)、Wi-Fi直连和无线USB(无线通用串行总线)中选择的至少一种来支持短距离通信。
短距离通信单元410可以形成无线区域网络以执行车辆100与至少一个外部设备之间的短距离通信。
位置信息单元420被配置为获取车辆100的位置信息。例如,位置信息单元420可以包括全球定位系统(GPS)模块或差分全球定位系统(DGPS)模块。
V2X通信单元430被配置为执行车辆和服务器之间的无线通信(即,车辆与基础网(V2I)通信)、车辆与附近车辆之间的无线通信(即,车辆到车辆(V2V)通信)、或车辆与行人之间的无线通信(即,车辆到行人(V2P)通信)。
光通信单元440被配置为通过光介质与外部设备执行通信。光通信单元440可以包括将电信号转换为光信号并将光信号传输到外部的发光单元、以及将接收的光信号转换为电信号的光接收单元。
在一些实施方式中,发光单元可以与设置在车辆100中的灯一体地形成。
广播发送和接收单元450被配置为从外部广播管理服务器接收广播信号,或者通过广播信道将广播信号发送到广播管理服务器。广播信道可以包括卫星信道和地面信道。广播信号可以包括电视广播信号、无线电广播信号和数据广播信号。
ITS通信单元460可以与交通系统交换信息、数据或信号。ITS通信单元460可以向交通系统提供所获取的信息或数据。ITS通信单元460可从交通系统接收信息、数据或信号。例如,ITS通信单元460可以接收来自交通系统的交通量信息并将交通量信息提供给控制器170。在另一示例中,ITS通信单元460可以从交通系统接收控制信号,并且向设置在车辆100中的处理器或控制器170提供控制信号。
处理器470可以控制通信装置400的每个单元的整体操作。
在一些实施方式中,通信装置400可以包括多个处理器470,或者可以不包括处理器470。
在通信装置400不包括处理器470的情况下,通信装置400可以在控制器170或车辆100内部的设备的处理器的控制下操作。
在一些实施方式中,通信装置400可以与用户界面装置200一起实现车辆显示设备。在这种情况下,车辆显示设备可以被称为远程信息处理设备或音频视频导航(AVN)设备。
通信装置400可以在控制器170的控制下操作。
行驶操纵装置500被配置为接收用于行驶车辆100的用户输入。
在手动模式中,车辆100可以基于由行驶操纵装置500提供的信号来操作。
行驶操纵装置500可以包括转向输入设备510、加速输入设备530和制动输入设备570。
转向输入设备510可以接收关于车辆100的行进方向的用户输入。转向输入设备510可以采取方向盘的形式,以通过其旋转实现转向输入。在一些实施方式中,转向输入设备可以作为触摸屏、触摸板或按钮被提供。
加速输入设备530可以接收用于车辆100的加速的用户输入。制动输入设备570可以接收用于车辆100的减速的用户输入。加速输入设备530和制动输入设备570中的每一个可以采取踏板的形式。在一些实施方式中,加速输入设备或制动输入设备可以被配置为触摸屏、触摸板或按钮。
行驶操纵装置500可以在控制器170的控制下操作。
车辆行驶装置600被配置为对车辆100的各种设备的操作进行电控制。
车辆行驶装置600可以包括动力传动驱动单元610、底盘驱动单元620、门/窗驱动单元630、安全装置驱动单元640、灯驱动单元650和空调驱动单元660。
在一些实施方式中,除了上述部件之外,车辆行驶装置600还可以包括其他部件,或者可以不包括上述部件中的一些部件。
在一些实施方式中,车辆行驶装置600可以包括处理器。车辆行驶装置600的每个单元可以包括其自身的处理器。
动力传动驱动单元610可以控制动力传动系的操作。
动力传动驱动单元610可以包括动力源驱动单元611和变速器驱动单元612。
动力源驱动单元611可以控制车辆100的动力源。
在基于化石燃料的发动机作为动力源的情况下,动力源驱动单元611可以执行发动机的电子控制。这样,动力源驱动单元611可以控制例如发动机的输出扭矩。动力源驱动单元611可以在控制器170的控制下调节发动机的输出扭矩。
在电动机为动力源的情况下,动力源驱动单元611可以控制电动机。动力源驱动单元611可以在控制器170的控制下控制例如电动机的RPM和转矩。
变速器驱动单元612可以控制变速器。
变速器驱动单元612可以调节变速器的状态。变速器驱动单元612可以将变速器的状态调节至驱动(D)、倒档(R)、空档(N)或驻车(P)状态。
在发动机为动力源的情况下,变速器驱动单元612可以将齿轮接合状态调节至驱动位置D。
底盘驱动单元620可以控制底盘的操作。
底盘驱动单元620可以包括转向驱动单元621、制动驱动单元622和悬架驱动单元623。
转向驱动单元621可以执行设置在车辆100内的转向装置的电子控制。转向驱动单元621可以改变车辆100的行进方向。
制动驱动单元622可以执行设置在车辆100内的制动装置的电子控制。例如,制动驱动单元622可以通过控制位于车轮处的制动器的操作来降低车辆100的移动速度。
在一些实施方式中,制动驱动单元622可以单独控制多个制动器。制动驱动单元622可向每个车轮施加不同的制动力。
悬架驱动单元623可以执行车辆100内部的悬架装置的电子控制。例如,当路面不平时,悬架驱动单元623可以控制悬架装置,以便减小车辆100的振动。
在一些实施方式中,悬架驱动单元623可以单独控制多个悬架。
门/窗驱动单元630可以执行车辆100内的门装置或窗装置的电子控制。
门/窗驱动单元630可以包括门驱动单元631和窗驱动单元632。
门驱动单元631可以控制门装置。门驱动单元631可以控制在车辆100中包括的多个门的打开或关闭。门驱动单元631可以控制行李箱或尾门的打开或关闭。门驱动单元631可以控制天窗的打开或关闭。
窗驱动单元632可以执行窗装置的电子控制。窗驱动单元632可以控制在车辆100中包括的多个车窗的打开或关闭。
安全装置驱动单元640可以执行设置在车辆100内部的各种安全装置的电子控制。
安全装置驱动单元640可以包括气囊驱动单元641、安全带驱动单元642和行人保护装置驱动单元643。
气囊驱动单元641可以执行车辆100内部的气囊装置的电子控制。例如,在检测到危险情况时,气囊驱动单元641可以控制气囊进行展开。
安全带驱动单元642可以执行车辆100内的安全带装置的电子控制。例如,在检测到危险情况时,安全带驱动单元642可以控制乘客用安全带固定到座椅110FL、110FR、110RL和110RR上。
行人保护装置驱动单元643可以执行对发动机罩把手(hood lift)和行人气囊的电子控制。例如,在检测到与行人的碰撞时,行人保护装置驱动单元643可以控制发动机罩把手和行人安全气囊进行部署。
灯驱动单元650可以执行设置在车辆100内的各种灯装置的电子控制。
空调驱动单元660可以执行车辆100内的空调的电子控制。例如,当车辆100的内部温度高时,空调驱动单元660可以操作空调以向车辆100的内部供应冷空气。
车辆行驶装置600可以包括处理器。车辆行驶装置600的每个单元可以包括其自身的处理器。
车辆行驶装置600可以在控制器170的控制下操作。
车辆行进系统700是用于控制车辆100的整体行驶操作的系统。车辆行进系统700可以在自主行驶模式下操作。
车辆行进系统700可以包括行驶系统710、泊出系统740和停车系统750。
在一些实施方式中,除了上述部件之外,车辆行进系统700还可以包括其他部件,或者可以不包括上述部件中的一些部件。
在一些实施方式中,车辆行进系统700可以包括处理器。车辆行进系统700的每个单元可以包括其自身的处理器。
在一些实施方式中,在车辆行进系统700作为软件实施时,车辆行进系统700可以由控制器170实施。
在一些实施方式中,车辆行进系统700可以包括例如从用户界面装置270、对象检测装置300、通信装置400、行驶操纵装置500、车辆行驶装置600、导航系统770、感测单元120以及控制器170中选择的至少一个。
行驶系统710可以执行车辆100的行驶。
行驶系统710可以通过基于来自导航系统770的导航信息向车辆行驶装置600提供控制信号来执行车辆100的行驶。
行驶系统710可以通过基于从对象检测装置300接收的关于对象的信息向车辆行驶装置600提供控制信号来执行车辆100的驱动。
行驶系统710可以通过基于经由通信装置400的来自外部设备的信号向车辆行驶装置600提供控制信号来执行车辆100的驱动。
行驶系统710可以是包括用户界面装置270、对象检测装置300、通信装置400、行驶操纵装置500、车辆行驶装置600、导航系统770、感测单元120和控制器170中的至少一个并且执行车辆100的行驶的系统。
行驶系统710可以被称为车辆行驶控制装置。
泊出系统740可以执行将车辆100泊出停车位的操作。
泊出系统740可以通过基于来自导航系统770的导航信息向车辆行驶装置600提供控制信号来执行将车辆100泊出停车位的操作。
泊出系统740可以通过基于从对象检测装置300接收的关于对象的信息向车辆行驶装置600提供控制信号来执行将车辆100泊出停车位的操作。
泊出系统740可以通过基于从外部设备接收的信号向车辆行驶装置600提供控制信号来执行将车辆100泊出停车位的操作。
泊出系统740可以是包括用户界面装置270、对象检测装置300、通信装置400、行驶操纵装置500、车辆行驶装置600、导航系统770、感测单元120和控制器170中的至少一个并且执行将车辆100泊出停车位的操作的系统。
泊出系统740可以被称为车辆泊出控制装置。
停车系统750可以执行将车辆100停在停车位中的操作。
停车系统750可以通过基于来自导航系统770的导航信息向车辆行驶装置600提供控制信号来执行将车辆100停在停车位中的操作。
停车系统750可以通过基于从对象检测装置300接收的关于对象的信息向车辆行驶装置600提供控制信号来执行将车辆100停在停车位中的操作。
停车系统750可以通过基于来自外部设备的信号向车辆行驶装置600提供控制信号来执行将车辆100停在停车位中的操作。
停车系统750可以是包括用户界面装置270、对象检测装置300、通信装置400、行驶操纵装置500、车辆行驶装置600、导航系统770、感测单元120和控制器170中的至少一个并且执行停放车辆100的操作的系统。
停车系统750可以被称为车辆停车控制装置。
导航系统770可提供导航信息。导航信息可以包括从地图信息、关于设定目的地的信息、关于到设定目的地的路线的信息、关于沿着路线的各种对象的信息、车道信息以及关于车辆的当前位置的信息中选择的至少一个。
导航系统770可以包括存储器和处理器。存储器可以存储导航信息。处理器可以控制导航系统770的操作。
在一些实施方式中,导航系统770可以通过经由通信装置400从外部设备接收信息来更新预先存储的信息。
在一些实施方式中,导航系统770可以被分类为用户界面装置200的元件。
感测单元120可以感测车辆的状态。感测单元120可以包括惯性测量单元(IMU)传感器、碰撞传感器、车轮传感器、速度传感器、梯度传感器、重量传感器、航向传感器、位置模块、车辆前进/后退移动传感器、电池传感器、燃料传感器、轮胎传感器、基于方向盘的旋转的转向传感器、车内温度传感器、车内湿度传感器、超声波传感器、照明传感器、加速器踏板位置传感器和制动器踏板位置传感器。
IMU传感器可以包括加速度计、陀螺仪传感器和磁传感器中的至少一个。
感测单元120可以获取关于如下信息的感测信号,例如车辆姿态信息、车辆运动信息、车辆横摆信息、车辆侧倾信息、车辆俯仰信息、车辆碰撞信息、车辆行驶方向信息、车辆位置信息(GPS信息)、车辆角度信息、车辆速度信息、车辆加速信息、车辆倾斜信息、车辆前进/后退移动信息、电池信息、燃料信息、轮胎信息、车灯信息、车内温度信息、车内湿度信息、方向盘转角信息、车辆外照明信息、以及关于施加到加速器踏板的压力的信息以及关于施加到制动踏板的压力的信息。
感测单元120还可以包括例如加速器踏板传感器、压力传感器、发动机速度传感器、空气流速传感器(AFS)、空气温度传感器(ATS)、水温传感器(WTS)、节气门位置传感器(TPS)、上止点(TDC)传感器和曲柄角度传感器(CAS)。
感测单元120可以基于感测数据生成车辆状态信息。车辆状态信息可以是基于由车辆100内提供的各种传感器感测的数据生成的信息。
例如,车辆状态信息可以包括车辆位置信息、车辆速度信息、车辆倾斜信息、车辆重量信息、车辆方向信息、车辆电池信息、车辆燃料信息、车辆轮胎压力信息、车辆转向信息、车内温度信息,车内湿度信息、踏板位置信息、车辆发动机温度信息等。
接口130可以用作连接到车辆100的各种类型的外部设备的通道。例如,接口130可以具有可连接到移动终端的端口并且可以经由端口连接到移动终端。在这种情况下,接口130可以与移动终端交换数据。
在一些实施方式中,接口130可以用作用于向连接到其的移动终端供应电能的通道。当移动终端电连接到接口130时,接口130可以在控制器170的控制下向移动终端提供从电源单元190供应的电能。
存储器140电连接到控制器170。存储器140可以存储每个单元的基本数据、用于每个单元的操作控制的控制数据以及输入/输出数据。存储器140可以是各种硬件存储设备中的任一种,诸如ROM、RAM、EPROM、闪存驱动器和硬盘驱动器。存储器140可以存储用于车辆100的整体操作的各种数据,诸如用于控制器170的处理或控制的程序。
在一些实施方式中,存储器140可以与控制器170一体地形成,或者可以被设置作为控制器170的元件。
控制器170可以控制车辆100内部的每个单元的整体操作。控制器170可以被称为电子控制器(ECU)。
电压单元190可以在控制器170的控制下提供操作每个部件所需的电力。具体地,电源单元190可以从例如车辆100内部的电池接收电力。
在车辆100中包括的至少一个处理器和控制器170可以使用从专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器和用于实现其他功能的电气单元中选择的至少一个来实现。
图8a示出了根据本公开的实施方式的车辆用户界面。
参考图8a,车辆用户界面200可以包括输入单元210、内部相机220、生物识别感测单元230、存储器240、接口单元245、输出单元250、诸如处理器270的至少一个处理器以及电源单元290。
在一些实施方式中,用户界面装置200还可以包括上述部件之外的其他部件,或者可以省略上述部件中的一些部件。
图8a所示的车辆用户界面装置200包括图7所示的车辆用户界面装置200的部件。在下文中,省略以上参照图7提供的相同描述。
参考图7提供的描述可应用于输入单元210和生物识别感测单元230。
内部相机220可以获取车辆100的内部的图像。
由内部相机220获取的车辆100的内部的图像可以被传送到处理器270。
存储器240电连接到处理器270。存储器240可以存储每个单元的基本数据、用于控制每个单元的操作的控制数据、以及输入/输出数据。存储器240可以是各种硬件存储设备中的任一种,诸如ROM、RAM、EPROM、闪存驱动器和硬盘驱动器。存储器240可以存储用于用户界面200的整体操作的各种数据,诸如用于处理器270的处理或控制的程序。
在一些实施方式中,存储器240可以与处理器270集成,或者可以是处理器270的元件。
接口单元245可以与车辆100中包括的不同设备交换信息、数据或信号。接口单元245可以向处理器270发送所接收的信息、数据或信号。接口单元245可以将由处理器270生成或处理的信息、数据或信号发送到在车辆100中包括的不同设备。接口单元245可以从在车辆100中包括的不同设备接收信息、数据或信号。
接口单元245可以从对象检测装置300接收前视图像信息。
接口单元245可以接收行驶情况信息。
接口单元245可以从对象检测装置300接收关于位于车辆100外部的对象的信息。
例如,接口单元245可以接收关于位于车辆100前方的对象的信息。
接口单元245可以从导航系统770接收导航信息。
接口单元245可以从感测单元120接收车辆状态信息。
例如,接口单元245可以从感测单元120接收关于车辆100的运动的信息。
由接口单元245接收的信息、数据或信号可以被提供给处理器270。
输出单元250可以包括显示单元251、声音输出单元252和触觉输出单元253。
上文参考图7所描述的描述可应用于输出单元250。在下文中,提供主要关于显示单元251的描述。
显示单元251可以在处理器270的控制下操作。
显示单元251可以将图形对象投射到屏幕上。
例如,显示单元251可以将增强现实(AR)图形对象投射到屏幕上。
屏幕可以由透明材料形成。
屏幕可以是挡风玻璃的一个区域或整个区域。
屏幕可以是设置在车辆100内部的组合器。
处理器270可以控制用户界面装置200的每个单元的整体操作。
处理器270可以通过接口单元245获取前视图像信息。
前视图像信息可以包括前视图像数据、基于车辆的前视图像获取的对象信息、以及基于车辆的前视图像获取的车辆运动信息。
处理器270可以通过接口单元245从安装在车辆100的相机310(参见图7)接收前视图像信息。
如果相机310是立体相机,则处理器270可以接收基于视差信息的三维(3D)信息。
处理器270可以获取车辆100相对于第一坐标系的第一运动的信息,该信息基于车辆图像信息生成。
例如,第一坐标系可以是世界坐标系。
在一些实施方式中,第一运动的信息可由对象检测装置300生成。附加地或替代地,第一运动信息可以由用户界面装置200的处理器270生成。
处理器270可以通过接口单元245获取车辆100的运动的信息。
车辆100的运动的信息可以包括关于车辆100的移动是否已经发生的信息、关于车辆100的移动的位移(幅度)的信息、关于车辆100的移动方向的信息、关于车辆100的移动速度的信息以及车辆姿态信息。
处理器270可以通过接口单元245从安装在车辆100中的IMU传感器接收感测信息。感测信息可以包括惯性感测信息和陀螺仪感测信息。
处理器270可以基于感测信息来获取车辆100相对于第二坐标系的第二运动的信息。
例如,第二坐标系可以是IMU传感器的局部坐标系。
在一些实施方式中,关于第二运动的信息可以由感测单元120生成。替代地或附加地,第二运动信息可以由用户界面装置200的处理器270生成。
处理器270可以基于前视图像信息生成AR图形对象。
处理器270可以将所生成的AR图形对象投射到屏幕上。
例如,处理器270可以将AR图形对象投射到位于连接用户的眼睛和对象的虚拟线上的屏幕上。在这种情况下,当用户朝向对象观看时,用户能够看到对应于对象的AR图形对象。从用户的角度来看,所显示的AR图形对象可与对象重叠、环绕对象、或以其它方式与对象相关联地显示。
处理器270可以基于车辆运动信息来扭曲AR图形对象。AR图形对象的扭曲可被称为视觉补偿。处理器270可以基于车辆运动信息对AR图形对象来执行视觉补偿。
AR图形对象的扭曲可以包括应用各种数学变换以补偿用户的视差。用户体验到的视差可指AR图形对象与对应真实对象之间的割裂感、缺乏对应性或不协调。数学变换的示例包括仿射变换、射影变换、线性变换和非线性变换。
基于车辆运动信息,处理器270可以控制显示单元251以改变要投射在屏幕上的AR图形对象的位置。
例如,基于车辆运动信息,处理器270可以控制成像单元910或平面镜920(参见图9a和图9b)以改变要被投射在屏幕上的AR图形对象的位置。
处理器270可以将车辆100相对于第二坐标系的第二运动的信息转换为相对于第一坐标系。
处理器270可以基于第二运动的转换后的信息来校正关于车辆100的第一运动的信息。
在一些实施方式中,来自IMU传感器的关于第二运动的信息可以比来自相机310的关于第一运动的信息更快地获取。
例如,相机310首先获取前视图像,其不直接提供与车辆的移动有关的信息。根据获取的前视图像,相机可以生成关于第一动作的信息,例如,通过对获取的前视图像进行对象检测处理并通过确定对象的明显的移动来确定车辆的第一运动。然而,第一运动信息的这种生成是间接处理,其涉及首先获取两个或更多个图像,然后处理所获取的图像。执行这些步骤需要花费时间,这导致第一运动信息的生成产生延迟。此外,可能无法准确地将移动对象的移动与汽车的运动区分开。
另一方面,IMU可以通过执行车辆运动的直接和实时测量来生成第二运动信息。因此,第二运动信息可以比第一运动信息更快地提供给处理器。此外,由于第二运动信息可以实时地或接近实时地生成,因此第二运动信息可用于补偿第一运动信息。
因此,如果基于在车辆100行驶期间关于第一运动的信息来移动AR图形对象,则AR图形对象的移动可能延迟。在这种情况下,AR图形对象可能使用户感觉到不协调的感觉。
如果基于关于第二运动的信息来对关于第一运动的信息进行了校正并且基于关于第一运动的校正后的信息来使AR图形对象移动,则可以减少与AR图形对象的移动相关联的延迟。在这种情况下,AR图形对象可以向用户提供逼真的AR体验。
在一些实施方式中,关于第一运动的信息和关于第二运动的信息可以基于不同的参考坐标系。
第一处理器270可以匹配关于第一运动的信息和关于第二运动的信息的参考坐标系。
具体地,处理器270可以将作为关于第二运动的信息的参考的第二坐标系转换为作为关于第一运动的信息的参考的第一坐标系。
例如,处理器270可以将关于第二运动的相对于局部坐标系的信息转换为相对于世界坐标系,该世界坐标系是关于第一运动的信息的参考。这种转换可以例如使用数学坐标转换来执行。
处理器270可以按照比例将关于第一运动的信息与关于第二运动的信息彼此进行匹配。
处理器270可以将基于关于第二运动的信息而确定的车辆100的运动变化反映到关于第一运动的信息。例如,可以在第一运动信息中抵消车辆的第二运动。例如,这样的抵消可以降低车辆的第二运动对用户对AR图形对象的视觉感知的影响。
在一些实施方式中,如果基于关于第二运动的信息确定的车辆100的移动的变化等于或大于参考值,则处理器270可以在第一运动的信息中反映车辆100的移动的变化。
处理器270可以基于要被投射到屏幕上的关于第一运动的校正后的信息来改变AR图形对象的位置。
例如,处理器270可以控制显示单元251,使得AR图形对象的位置在与基于关于第一运动的校正后的信息而确定的车辆100的移动方向相反的方向上改变。
例如,处理器270可以控制显示单元251,使得AR图形对象的位置与基于关于第一运动的校正后的信息而确定的车辆100的移动的位移(例如,幅度)相对应地改变。例如,位置可以与位移成比例地改变。
例如,处理器270可以控制显示单元251,使得AR图形对象的位置与基于关于第一运动的校正后的信息而确定的车辆100的移动速度成比例地改变。
例如,处理器270可以控制显示单元251,使得AR图形对象的位置以比基于关于第一运动的校正后的信息而确定的车辆100的移动速度更慢的速度改变。在这种情况下,通过为用户的眼睛提供足够的时间来适应AR图形对象的移动,可以减少或消除用户的不协调的感觉。
在一些实施方式中,处理器270可以在不校正第一运动的信息的情况下,基于关于第二运动的信息来控制显示单元251,以改变要投射到屏幕上的AR图形对象的位置。
例如,处理器270可以控制显示单元251,使得AR图形对象的位置在与基于关于第二运动的信息确定的车辆100的移动方向相反的方向上改变。
例如,处理器270可以控制显示单元251,使得AR图形对象的位置与基于关于第二运动的信息确定的车辆100的移动的位移成比例地改变。
例如,处理器270可以控制显示单元251,使得AR图形对象的位置与基于关于第二运动的信息确定的车辆的移动速度成比例地改变。
例如,处理器270可以控制显示单元251,使得AR图形对象的位置以比基于关于第二运动的信息而确定的车辆100的移动速度更慢的速度进行改变。
如果基于车辆运动信息确定存在车辆100的移动变化,则处理器270可以将图形效果添加到AR图形对象。
车辆运动信息可以是关于第一运动的校正后的信息或关于第二运动的信息。
例如,图形效果可以是淡出效果或模糊效果。
随着图形效果被添加到AR图形对象,AR图形对象更平滑地移动,从而向用户提供更平滑的观看体验。
通过接口单元245,处理器270可以获取关于车辆100的俯仰变化的信息,该信息是当车辆100的车轮经过隆起(例如,减速带)或坑(例如,坑洞)时生成的信息。
例如,处理器270可以从对象检测装置300获取关于车辆100经过隆起或坑的情况的信息。
例如,处理器270可以从IMU传感器获取俯仰变化信息作为车辆运动信息。
基于俯仰变化信息,处理器270可以控制显示单元251,使得AR图形对象被扭曲。
处理器270可以通过接口单元245获取响应于方向盘的旋转而生成的车辆100的横摆变化信息。
例如,处理器270可以从感测单元120获取关于方向盘的旋转的信息。
例如,处理器270可以从IMU传感器获取横摆变化信息作为车辆运动信息。
处理器270可以基于横摆变化信息来控制显示单元251,使得整个AR图形对象被扭曲。
处理器270可以基于从内部相机220获取的车辆100的内部的图像来检测用户的眼睛。
处理器270可以响应于车辆100的运动来跟踪用户的眼睛的位置的变化。
处理器270可以控制显示单元251,使得AR图形对象进一步基于用户的眼睛的位置的跟踪变化而扭曲。
例如,当车辆100移动时,车辆100中的用户或乘员的眼睛的位置移动。考虑伴随车辆100的移动的用户眼睛位置的变化,可以更准确地扭曲AR图形对象。
处理器270可以基于前视图像获取关于位于车辆100前方的对象的信息。
例如,处理器270可以通过接口单元245从对象检测装置300获取关于车辆100前方的对象的信息。
对象可以是静止对象或移动对象。
例如,对象可以是隆起、坑、弯道部或斜坡部。
例如,对象可以是路面上的障碍物。
处理器270可以获取关于车辆100预期何时遇到对象的时间信息。
例如,处理器270可以通过接口单元245从对象检测装置300获取车辆100预期何时遇到对象的时间信息。
例如,处理器270可以通过基于关于对象的信息确定车辆100预期遇到该对象的时间点来生成时间信息。
此外,基于时间信息,处理器270可以控制显示单元251,使得要被投射到屏幕上的AR图形对象的位置被改变。
例如,如果对象是隆起,则处理器270可以通过接口单元245从对象检测装置300获取关于隆起的高度的信息。
在车辆100经过隆起的时间点之前,处理器170可以基于关于隆起的高度的信息来获取关于车辆100的第一运动的信息。在这种情况下,关于第一运动的信息是预期信息,并且第一运动可以被称为第一预期运动。然后,处理器270可以基于关于第一预期运动的信息来扭曲AR图形对象。
当车辆100经过隆起时,接口单元245、处理器270可以从安装在车辆100中的IMU传感器接收感测信息。
基于感测信息,处理器270可以获取关于车辆100的第二运动的信息。
基于关于第二运动的信息,处理器270可以校正关于第一预期运动的信息。
例如,如果对象是弯道部,则处理器270可以通过接口单元245从对象检测装置300或导航系统700获取弯道部的曲率信息。
在车辆100进入弯道部之前的时间点之前,处理器270可以基于曲率信息获取关于车辆100的第一运动的信息。关于第一运动的信息是预期信息,并且第一运动可以被称为第一预期运动。然后,处理器270可以基于关于第一预期运动的信息来扭曲AR图形对象。
当车辆100进入弯道部时,处理器270可以通过接口单元245从安装在车辆100中的IMU传感器接收感测信息。
处理器270可以基于感测信息获取关于车辆100的第二运动的信息。
处理器270可以基于关于第二运动的信息来校正关于第一预期运动的信息。
在处理器270的控制下,电源单元290可以提供每个部件的操作所需的电力。特别地,电源单元290可以从设置在车辆100内部的电池接收电力。
图8b是根据本公开的实施方式的用户界面装置的示例操作的流程图。
参考图8b,在S810中,处理器270可接收前视图像信息。
在S820中,处理器270可以基于车辆图像信息生成AR图形对象。
在S830中,处理器270可以将所生成的AR图形对象投射到屏幕上。
在S840中,处理器270可以获取关于车辆100的第一运动的信息。
关于车辆100的第一运动的信息可以是例如关于车辆100相对于第一坐标系的运动的信息、或基于前视图像信息生成的信息。
在S845中,处理器270可以获取关于第二运动的信息。
关于车辆100的第二运动的信息可以是例如关于车辆100相对于第二坐标系的运动的信息、或基于IMU感测信息生成的信息。
处理器270可以基于关于第二运动的信息来校正关于第一运动的信息。
例如,处理器270可以将作为关于第二运动的信息的参考的第一坐标系转换为作为关于第一运动的信息的参考的第二坐标系。
例如,处理器270可以将关于第二运动的信息的比例转换为关于第一运动的信息的比例。
在S860中,处理器270可以基于关于第一运动的校正后的信息来扭曲AR图形对象。
例如,处理器270可以基于关于第一运动的校正后的信息来控制显示单元251,以便改变投射到屏幕上的AR图形的位置。
在一些实施方式中,处理器270可以基于关于第二运动的信息来扭曲AR图形对象。
在S870中,处理器270可以将扭曲后的图形对象投射到屏幕上。
图9a及图9b说明根据本公开的实施方式的显示单元的示例配置。
参考附图,显示单元251可以包括成像单元910、平面镜920和凹面镜930。
成像单元910可以基于来自处理器270的控制信号生成和输出图像。成像单元910可以投射所生成的图像。由成像单元910生成的图像可投射到平面镜920中。
成像单元910可以生成AR图形对象并输出AR图形对象。
成像单元910可以包括一个或更多个图像输出单元。成像单元910可以包括多个图像输出单元911、912及913,其数量对应于多显示层的数量。
例如,成像单元910可以包括第一图像输出单元911、第二图像输出单元912和第三图像输出单元913。
附图示出了其中成像单元910包括三个图像输出单元的示例,但是成像单元910可以包括一个或两个图像输出单元。在另一示例中,成像单元910可以包括四个或更多个图像输出单元。
平面镜920可以将由成像单元910生成和投射的图像朝向凹面镜930反射。
平面镜920可以将由成像单元910生成和投射的AR图形对象朝向凹面镜930反射。
平面镜920可以包括一个或更多个反射镜921、922和923。平面镜920可以包括多个反射镜921、922和923,其数量对应于多显示层的数量。
例如,平面镜920可以包括第一反射镜921、第二反射镜922和第三反射镜923。
该图示出了一个示例,其中平面镜920包括三个反射镜,但是平面镜920可以包括一个或两个反射镜。在另一示例中,平面镜920可以包括四个或更多个反射镜。
如图9b所示,平面镜920可以移动以调整反射角度。
例如,显示单元251还可以包括平面镜驱动单元。平面镜驱动单元可以包括马达、致动器或螺线管。
平面镜驱动单元可以基于来自处理器270的控制信号来调整平面镜920的位置。
可以基于平面镜920的位置的调整来改变虚拟距离。具体地,随着平面镜920的位置被调整,可以改变投射到挡风玻璃902上的虚拟图像的位置。由于投射到挡风玻璃902上的虚拟图像的位置改变,显示层的虚拟距离950会改变。
处理器270可以控制平面镜驱动单元,从而调整平面镜920的位置以扭曲AR图形对象。
例如,处理器270可以控制平面镜驱动单元,从而调整平面镜920的位置以使得AR图形对象在屏幕上移动。
该图示出了其中调整第二反射镜922的位置,但是甚至可以调整第一反射镜921和第三反射镜923的位置的示例。
凹面镜930可以将由平面镜920反射的图像朝向屏幕902反射。
凹面镜930可以再次将由平面镜920反射的AR图形对象朝向屏幕902(例如,挡风玻璃)反射。
在这种情况下,由凹面镜930反射的图像可以被投射到挡风玻璃902上。投射到挡风玻璃902上的图像是虚拟图像。在一些实施方式中,由凹面镜930反射的图像可以被投射到组合器上。
用户901可以将投射到挡风玻璃902上的图像识别为位于挡风玻璃902前面。
虚拟图像可以形成在位于挡风玻璃902前面的虚拟平面的一个区域中。显示层940可以被限定为虚拟平面的一个区域,在其上形成虚拟图像。在这种情况下,虚拟距离950可以被限定为从用户的眼睛901到显示层940的距离。
可以基于平面镜920的位置的调整来改变虚拟距离950。例如,当虚拟距离950具有第一值并且平面镜920处于第一位置时,处理器270可以控制平面镜驱动单元以将平面镜的位置调节到第二位置。在这种情况下,虚拟距离920可以具有第二值。
显示层940可以是单层。
可替换地,显示层940可以是多显示层940。
多显示层940可以包括第一显示层941、第二显示层942及第三显示层943。
由第一图像输出单元911生成的图像被第一反射镜921反射,再次从凹面镜930反射,然后投射到挡风玻璃902上。投射到挡风玻璃902上的图像可以被实现为形成在第一显示层上的虚拟图像。在这种情况下,第一显示层941可以具有第一虚拟距离951。
由第二图像输出单元912生成的图像被第二反射镜922反射,再次从凹面镜930反射,然后投射到挡风玻璃902上。投射到挡风玻璃902上的图像可以被实现为形成在第二显示层942上的虚拟图像。在这种情况下,第二显示层942可以具有第二虚拟距离952。
由第三图像输出单元913生成的图像被第三反射镜923反射,再次从凹面镜930反射,然后投射到挡风玻璃902上。投射到挡风玻璃902上的图像可以被实现为形成在第三显示层943上的虚拟图像。在这种情况下,第三显示层943可以具有第三虚拟距离953。
图10示出了根据本公开的实施方式的图像输出单元的操作。
参照图10,将主要描述第一图像输出单元911。应当理解,第二图像输出单元912和第三图像输出单元913具有与参照图10描述的第一图像输出单元911相同的配置。
第一图像输出单元911可以包括背光单元1010、准直透镜1020、照明透镜1040和1050、蝇眼透镜(FEL)1030、成像面板1060和可变焦距透镜1070。
背光单元1010可以包括一或更多个光源。例如,背光单元1010可以包括一个或更多个发光二极管(LEDs)。
背光单元1010可输出白光。
准直透镜1020可设置在背光单元1010与FEL1030之间。
准直透镜1020可使从背光单元1010输出的光平行行进。穿过准直透镜1020的光可以不规则地分布。
照明透镜1040和1050可以将穿过FEL1030的光聚焦在成像面板1050处。
照明透镜1040和1050可以包括第一照明透镜1040和第二照明透镜1050。
第一照明透镜1040可以将在穿过FEL1030之后分布的光聚焦在第二照明透镜1050处。
第二照明透镜1050可以将穿过第一照明透镜1040且具有不同入射角的光聚焦在成像面板1060处。
FEL1030可以将不规则分布的光转换为规则分布的光。
FEL1030可以包括多个单元。FEL1030可以将从背光单元1010提供给至少一些单元的光扩展到预定大小,使得可以向成像面板1060提供均匀的光。
FEL1030可以设置在准直透镜1020和成像面板1060之间。
成像面板1060可以基于从背光单元1010提供的光来形成图像。例如,成像面板1060可以包括液晶显示器(LCD)面板。
可变焦距透镜1070可以基于来自处理器270的控制信号来改变焦距。
可变焦距透镜1070可以包括液晶。根据液晶的布置,可变焦距透镜1070可以基于所生成的图像来改变虚拟图像将要形成的位置。
处理器270可以控制可变焦距透镜1070以改变显示层940的虚拟距离950。
图11示出了根据本公开的实施方式的可变焦距透镜的操作。
可变焦距透镜1070可以包括第一衬底1210、第二衬底1220和液晶层1230。
第一衬底1210可以包括第一基础衬底1211、多个第一电极1212和绝缘层1213。
多个第一电极1212可形成于第一基础衬底1211上。多个第一电极1212间隔开预定距离。在处理器270的控制下,可以向多个第一电极1212施加电压。例如,在处理器270的控制下,可以向第一电极1212中的每一个施加不同电平的电压。
在一些实施方式中,多个第一电极1212可为透明电极。例如,多个第一电极1212可以是氧化铟锡(ITO)透明电极。由于第一电极1212形成为透明电极,因此它们可以不阻挡视觉。
绝缘层1213可以形成在第一基础衬底1211上以覆盖多个第一电极1212。
第二衬底1220可设置成面向第一衬底1210。第二衬底1220可以包括第二基础衬底1221和第二电极1222。
第二电极1222可形成于第二基础衬底1221上。第二电极1222可以设置为面向多个第一电极1212。在处理器的控制下,可以将电压施加到第二电极1222。在处理器270的控制下,可以将恒定电平的电压施加到第二电极1222。
在一些实施方式中,第二电极1222可为透明电极。例如,第二电极1222可以是ITO透明电极。由于第二电极1222形成为透明电极,因此其可以不阻挡视觉。
液晶层1230可设置在第一衬底1210与第二衬底1220之间。液晶层1231可以包括多个液晶分子1231。可驱动多个液晶分子1231以从水平方向到垂直方向形成预定角度以对应于所提供电压的大小。由于多个液晶分子1231根据处理器270的控制具有预定角度,可变焦距透镜1070的焦点可以改变。
可变焦距透镜1070还可以包括第一透明板和第二透明板。第一透明板可设置在第一衬底1210的外部。第二透明板可设置在第二衬底1220的外部。透明板可指玻璃。
图12示出了根据本公开的实施方式的从驾驶员座椅向前看的车辆用的用户界面装置的操作。
参考图12,显示单元251可以实施多显示层941、942和943。
显示单元251可以实施第一显示层941、第二显示层942及第三显示层943。
第一显示层941可以具有第一虚拟距离。
第二显示层942可以具有第二虚拟距离。第二虚拟距离可以大于第三虚拟距离。
第三显示层943可以具有第三虚拟距离。第三虚拟距离可以大于第二虚拟距离。
处理器270可以基于行驶情况信息单独地调整多显示层941、942和943中的每一个的虚拟距离。
处理器270可以在多显示层941、942和943上显示AR图形对象。
AR图形对象可以基于行驶情况信息。在另一示例中,AR图形对象可以基于存储在存储器240中的数据。在又一示例中,AR图形对象可以基于通过通信装置400和接口单元245从外部设备接收的数据。
处理器270可以控制显示单元251以在多显示层941、942和943中的每一个上显示不同的AR图形对象。
处理器270可以控制显示单元251以在第一显示层941上显示第一AR图形对象。
处理器270可以控制显示单元251以在第二显示层942上显示第二图形对象。
处理器270可以控制显示单元251以在第三显示层943上显示第三AR图形对象。
处理器270可以控制显示单元251以重叠的方式显示第一、第二和第三AR图形对象中的两个或更多个。
多显示层941、942和943中的每一个可以具有虚拟距离可变范围。
例如,第一显示层941可以具有在第一距离值和第二距离值之间的虚拟距离。
例如,第二显示层942可以具有在第二距离值和第三距离值之间的虚拟距离。
例如,第三显示层943可以具有第三距离值与第四距离值之间的虚拟距离。
处理器270可以控制显示单元251,使得相同的AR图形对象以时间间隔被显示在多显示层941、942和942上。
处理器270可以控制显示单元251在第一时间段内在第三显示层941上显示第一AR图形对象。在这种情况下,处理器270可以改变在其上显示第一AR图形对象的第三显示层943的虚拟距离。
处理器270可以控制显示单元251在第二时间段内在第二显示层上显示第一AR图形对象。第二时间段可以是接续第一时间段的时间段。在这种情况下,处理器270可以改变在其上显示第一AR图形对象的第二显示层942的虚拟距离。
处理器270可以控制显示单元251在第三时间段内在第一显示层941上显示第一AR图形对象。第三时间段可以是与第二时间段连续的时间段。在这种情况下,处理器270可以执行控制动作以改变在其上显示第一AR图形对象的第一显示层941的虚拟距离。
通过这样做,有可能使第一AR图形对象在第一时间段到第三时间段内在第一距离值和第四距离值之间的范围内逐渐靠近用户移动。因此,其可以产生用户的更真实的深度/空间感知。
图13a至图13c示出了根据本公开的实施方式的在各种情况下的用户界面装置的操作。
参考附图,处理器270可以从相机310接收前视图像信息。
处理器270可以从对象检测装置300获取关于第一对象1310的信息。
关于第一对象1310的信息可以包括关于第一对象1310的存在的信息、关于第一对象1310的位置的信息、关于车辆100与第一对象1310之间的距离的信息、以及关于车辆100相对于第一对象1310的移动速度的信息。
基于处理器270的前视图像,处理器270可以生成对应于第一对象1310的AR图形对象1330。
处理器270可以将AR图形对象1330投射到挡风玻璃上,使得AR图形对象1330与对象1310重叠地显示或显示在对象1310的周围环境中。
第一对象1310可以是以上参考图5和图6描述的对象o。
第一对象1310可以是静止对象或移动对象。
例如,第一对象可以是移动中的附近车辆或移动中的行人。
例如,第一对象可以是交通信号、道路、构造体、停止的附近车辆或停止的行人。
处理器270可以从对象检测装置300获取关于第二对象1320、1420、1520或1620的信息。
第二对象1320可以是引起车辆100移动的对象。
第二对象1320可以是隆起、洞、弯道、斜坡或路面中的障碍物。
图13a至图13c是示出根据本公开的实施方式的当车辆经过隆起时车辆用的用户界面装置的操作的图。
车辆100可以经过隆起1320。
隆起1320可以包括减速带。
如图13a所示,处理器270可以从对象检测装置300接收关于隆起1320的信息作为关于第二对象的信息。
关于隆起1320的信息可以包括关于隆起的位置的信息、关于隆起的高度的信息、关于隆起的长度的信息、关于隆起的宽度的信息、关于车辆100与隆起之间的距离的信息、以及预期车辆100何时遇到隆起的时间信息。
如图13b所示,当车辆100的前轮与隆起1320碰撞时,车辆100的前端升高。
在这种情况下,从用户的角度看,第一对象1310看起来向下移动。
在这种情况下,除非AR图形对象1330的投射到屏幕上的位置被相应地调整,否则AR图形对象1330与第一对象1310不匹配。
如图13c所示,处理器270可通过扭曲AR图形对象1330来将AR图形对象1330与第一对象1310匹配。
处理器270可以获取车辆运动信息。
车辆运动信息可以包括关于车辆100的移动的发生的信息、关于车辆100的移动的位移的信息、关于车辆100的移动方向的信息、关于车辆100的移动速度的信息、以及关于车辆100的位置的信息。
处理器270可以获取关于车辆100相对于世界坐标系的第一运动的信息,该信息可以基于前视图像信息来生成。
处理器270可以获取关于相对于局部坐标系的第二运动的信息,该信息可以基于IMU传感器的感测信息来生成。
处理器270可以基于关于第二运动的信息来校正关于第一运动的信息。
处理器270可以基于关于第一运动的校正后的信息来扭曲AR图形对象。
在一些实施方式中,处理器270可以基于关于第二运动的信息来扭曲AR图形对象。
如先前所描述,关于第一动作的信息可以相对于关于第二动作的信息更慢地被获取。
如果仅基于关于第一运动的未校正的信息扭曲AR图形,则AR图形对象的移动被延迟。在这种情况下,用户会在车辆100经过第二对象1320、1420、1520或1620之后看到移动的AR图形对象。
如果AR图形对象基于关于第一运动的校正后的信息或关于第二运动的信息而被扭曲,那么AR图形对象的移动的延迟可忽略不计。在这种情况下,即使当车辆100正在通过第二对象1320、1420、1520或1620时,用户也可以看到AR图形1330与第一对象1310匹配。
图14a至图14c示出了根据本公开的实施方式的当车辆进入弯道部时车辆用的用户界面装置的操作。
车辆100可进入弯道部1420。
如图14a所示,处理器270可从对象检测装置300或导航系统770接收关于弯道部1420的信息作为关于第二对象的信息。
关于弯道部1420的信息可以包括弯道部1420的曲率信息、关于车辆100与弯道部1420之间的距离的信息、以及关于预期车辆100何时进入弯道部1420的时间信息。
如图14b所示,当进行转向输入时,车辆100可以被引导朝向转向的方向。
例如,如图中所示,当车辆100在车辆100的前进方向上朝向右侧转向时,车辆100可以被引导到右侧。
例如,如果车辆100在车辆100的前进方向上朝向左侧转向时,车辆100可以被引导到左侧。
在这种情况下,第一对象1310可以在与从用户的视角的转向方向相反的方向上相对移动。
在这种情况下,除非AR图形对象1330的投射到屏幕上的位置不被调整,否则AR图形对象1330和第一对象1310不彼此匹配。
例如,如果弯道的曲率等于或大于参考值,则AR图形对象1330和第一对象1310可以被认为彼此不匹配。
例如,如果每单位时间的转向度等于或大于参考值,则AR图形对象1330和第一对象1310会被认为彼此不匹配。
如图14c中所说明,处理器270可通过扭曲AR图形对象1330而将AR图形对象1330与第一对象1310匹配。
扭曲AR图形对象1330与参考图13c所描述的相同。
图15a至图15c示出了根据本公开的实施方式的AR图形对象的扭曲。
参看附图,处理器270可以基于前视图像信息产生对应于第一对象1310的AR图形对象。
处理器270可以将AR图形对象1330投射到屏幕上,使得AR图形对象1330从用户的角度来看与第一对象1310匹配。
在这种情况下,基于从由内部相机220获取的车辆100的内部的图像检测到的关于用户的眼睛的信息,处理器270可以确定屏幕中投射AR图形对象1330的区域。
如图15a所示,当车辆100经过隆起时可能发生车辆100的移动。在这种情况下,如图15b或图15c所示,处理器270可以基于车辆运动信息来扭曲AR图形对象。
可以基于IMU传感器的感测信息或前视图像信息来生成车辆运动信息。
处理器270可以基于车辆运动信息来控制显示单元251,以改变投射到屏幕上的AR图形对象1330的位置。
处理器270可以控制显示单元251,使得AR图形对象1330的位置在与基于车辆运动信息确定的车辆100的移动方向相反的方向上改变。
处理器270可以控制显示单元251,使得AR图形对象1330的位置与基于车辆运动信息确定的车辆100的移动的位移成比例地改变。
处理器270可以控制显示单元251,使得AR图形对象1330的位置与基于车辆运动信息确定的车辆100的移动速度成比例地改变。
例如,当车辆100的前端随着车辆100的前轮与隆起1320碰撞而从地面升高时,可能发生俯仰变化。关于俯仰变化的信息可以作为车辆运动信息被获取。
处理器270可以控制显示单元251,使得AR图形对象1330的位置在与车辆100的俯仰变化的方向相反的方向上改变。
处理器270可以控制显示单元251,使得AR图形对象以与车辆100的俯仰变化的位移成比例的位移移动。
处理器270可以控制显示单元251,使得AR图形对象1330以与车辆100的俯仰变化的速度成比例的速度移动。
如图15b或图15c所示,处理器270可以控制显示单元251,使得AR图形对象1330在屏幕上沿从地面向下的方向、以与车辆100的俯仰变化的位移成比例的位移并且以与车辆100的俯仰变化的速度成比例的速度移动。
当扭曲AR图形对象1330时,处理器270可以将图形效果添加到AR图形对象1330。
例如,如图15b所示,当扭曲AR图形对象1330时,处理器270可以向AR图形对象1330添加淡出效果。
处理器270可以控制显示单元251,使得当移动时,AR图形对象1330在AR图形对象1330被显示的区域中被逐渐地模糊。
例如,如图15c所示,当扭曲AR图形对象1330时,处理器270可以向AR图形对象1330添加模糊效果。
处理器270可以控制显示单元251,使得当AR图形对象1330移动时,AR图形对象1330的余像在AR图形对象1330被显示的区域中被逐渐地模糊。处理器270可以控制显示单元251,使得在经过特定时间段之后,模糊的余像变得透明直到消失。
如上所述的本公开可以被实现为可以被写在计算机可读介质上并由计算机读取的代码,在计算机可读介质记录有程序。计算机可读介质包括以计算机可读方式存储数据的所有种类的记录设备。计算机可读记录介质的示例可以包括硬盘驱动器(HDD)、固态磁盘(SSD)、硅盘驱动器(SDD)、只读存储器(ROM)、随机存取存储器(RAM)、光盘只读存储器(CD-ROM)、磁带、软盘和光学数据存储设备。另外,计算机可读介质可以被实现为载波(例如,通过互联网的数据传输)。此外,计算机可以包括处理器或控制器。因此,以上详细描述不应被解释为在所有方面都限于在此阐述的实施方式,而应被认为是示例。本公开的范围应当通过所附权利要求的合理解释来确定,并且本公开的等效范围内的所有改变旨在被包括在本公开的范围内。
虽然已经参考多个说明性实施方式描述了实施方式,但是应当理解,本领域技术人员可以设计落入本公开的原理的精神和范围内的许多其他修改和实施方式。更具体地,在本公开内容、附图和所附权利要求的范围内的主题组合布置的组成部分和/或布置中,各种变化和修改是可能的。除了组成部分和/或布置的变化和修改之外,替代使用对于本领域技术人员也将是显而易见的。
Claims (15)
1.一种车辆用的用户界面装置,包括:
接口单元;
显示单元,被配置为将增强现实AR图形对象投射到屏幕上;
至少一个处理器;以及
耦接到所述至少一个处理器的计算机可读介质,在所述计算机可读介质中存储有指令,当所述指令在由所述至少一个处理器执行时,所述指令使所述至少一个处理器执行以下操作:
通过所述接口单元从所述车辆的对象检测装置获取前视图像信息;
基于所述前视图像信息,生成所述AR图形对象;
通过所述接口单元从所述车辆的惯性测量单元IMU接收车辆运动感测信息;以及
基于所述车辆运动感测信息,改变投射到所述屏幕上的所述AR图形对象的位置。
2.根据权利要求1所述的用户界面装置,其中,所述操作包括:
基于所述车辆运动感测信息,生成与所述车辆的运动相关联的运动信息,所述运动信息相对于坐标系被限定,
其中,改变投射到所述屏幕上的所述AR图形对象的位置包括:基于所述运动信息改变投射到所述屏幕上的所述AR图形对象的位置。
3.根据权利要求2所述的用户界面装置,其中,基于所述运动信息改变投射到所述屏幕上的所述AR图形对象的位置包括:
基于所述运动信息来确定所述车辆的运动方向;以及
在与所述车辆的所述运动方向相反的方向上改变所述AR图形对象的位置。
4.根据权利要求2所述的用户界面装置,其中,基于所述运动信息改变投射到所述屏幕上的所述AR图形对象的位置包括:
基于所述运动信息来确定所述车辆的位移幅度;以及
与所述车辆的所述位移幅度对应地改变所述AR图形对象的位置。
5.根据权利要求2所述的用户界面装置,其中,所述操作包括:
基于所述运动信息来确定所述车辆的运动的变化;以及
基于对所述车辆的运动的变化的确定来向所述AR图形对象添加图形效果。
6.根据权利要求5所述的用户界面装置,其中,所述图形效果包括淡出效果或模糊效果中的一个或更多个。
7.根据权利要求1所述的用户界面装置,其中,所述操作包括:
通过所述接口单元来获取与所述车辆的俯仰的变化相关联的车辆俯仰信息;以及
基于所述车辆俯仰信息来改变所述AR图形对象的所述位置。
8.根据权利要求1所述的用户界面装置,其中,所述操作包括:
通过所述接口单元来获取与所述车辆的横摆的变化相关联的车辆横摆信息,所述车辆的横摆的变化在方向盘旋转时产生;以及
基于所述车辆横摆信息来改变所述AR图形对象的所述位置。
9.根据权利要求1所述的用户界面装置,还包括:相机,所述相机被配置为捕获所述车辆的用户的眼睛的图像,
其中,所述操作包括:
基于所捕获的图像,检测所述用户的眼睛;
响应于所述车辆的运动来跟踪所述用户的所述眼睛的位置的变化;以及
基于所跟踪的用户的眼睛的位置的变化来改变所述AR图形对象的所述位置。
10.根据权利要求1所述的用户界面装置,其中,所述操作包括:
基于所述前视图像信息,生成与位于所述车辆前方的对象相关联的正面对象信息;
确定与所述车辆到达所述对象处的估计时间相对应的第一时间;以及
基于所述第一时间,通过所述显示单元改变投射到所述屏幕上的所述AR图形对象的所述位置。
11.根据权利要求10所述的用户界面装置,其中,所述操作包括:
确定所述对象是隆起;
基于确定所述对象为隆起,获取所述隆起的高度信息;以及
基于所述高度信息,在所述第一时间内生成与所述车辆在所述隆起处的第一预期运动相关联的第一预期运动信息。
12.根据权利要求10所述的用户界面装置,其中,所述操作包括:
确定所述对象是弯道部;
基于确定所述对象为弯道部,获取所述弯道部的曲率信息;以及
基于所述曲率信息,在所述第一时间内生成与所述车辆在所述弯道部的第二预期运动相关联的第二预期运动信息。
13.根据权利要求1所述的用户界面装置,其中,所述显示单元包括:
成像单元,被配置为输出所述AR图形对象;
平面镜,被配置为反射所述AR图形对象;以及
凹面镜,被配置为将由所述平面镜反射的所述AR图形对象朝向所述屏幕反射。
14.根据权利要求13所述的用户界面装置,其中,所述显示单元还包括:
平面镜驱动单元,被配置为调整所述平面镜的位置,
其中,所述操作包括:
通过经由所述平面镜驱动单元调整所述平面镜的位置来改变所述AR图形对象的所述位置。
15.一种车辆,包括:
多个车轮;
动力源,被配置为驱动所述多个车轮中的至少一个;以及
根据权利要求1所述的用户界面装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020170057451A KR20180123354A (ko) | 2017-05-08 | 2017-05-08 | 차량용 사용자 인터페이스 장치 및 차량 |
KR10-2017-0057451 | 2017-05-08 | ||
PCT/KR2018/003443 WO2018208006A1 (en) | 2017-05-08 | 2018-03-23 | User interface apparatus for vehicle and vehicle |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110869901A CN110869901A (zh) | 2020-03-06 |
CN110869901B true CN110869901B (zh) | 2024-01-09 |
Family
ID=64014195
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880045649.1A Active CN110869901B (zh) | 2017-05-08 | 2018-03-23 | 车辆用的用户界面装置和车辆 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10997759B2 (zh) |
KR (1) | KR20180123354A (zh) |
CN (1) | CN110869901B (zh) |
WO (1) | WO2018208006A1 (zh) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180123354A (ko) * | 2017-05-08 | 2018-11-16 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
DE102018203121B4 (de) * | 2018-03-02 | 2023-06-22 | Volkswagen Aktiengesellschaft | Verfahren zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm |
US20190049950A1 (en) * | 2018-09-17 | 2019-02-14 | Intel Corporation | Driving environment based mixed reality for computer assisted or autonomous driving vehicles |
EP3666594B1 (en) | 2018-12-12 | 2022-08-10 | Ningbo Geely Automobile Research & Development Co. Ltd. | System and method for warning a driver of a vehicle of an object in a proximity of the vehicle |
CN109668575A (zh) * | 2019-01-29 | 2019-04-23 | 苏州车萝卜汽车电子科技有限公司 | 用于增强现实抬头显示装置的导航信息处理方法及装置、设备、系统 |
US20220103789A1 (en) * | 2019-01-31 | 2022-03-31 | Lg Electronics Inc. | Method for sharing images between vehicles |
UA120581C2 (uk) * | 2019-03-15 | 2019-12-26 | Апостера Гмбх | Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти) |
US11615599B2 (en) | 2019-03-15 | 2023-03-28 | Harman International Industries, Incorporated | Apparatus of shaking compensation and method of shaking compensation |
US20210054690A1 (en) * | 2019-08-23 | 2021-02-25 | Victor Ramirez | Systems and methods for tintable car windows having display capabilities |
US11783444B1 (en) * | 2019-11-14 | 2023-10-10 | Apple Inc. | Warping an input image based on depth and offset information |
KR20210096449A (ko) | 2020-01-28 | 2021-08-05 | 삼성전자주식회사 | Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템 |
CN111323042B (zh) * | 2020-02-20 | 2023-10-10 | 华为技术有限公司 | 目标物体的预警方法、装置和电子设备 |
CN111541888A (zh) * | 2020-05-07 | 2020-08-14 | 青岛跃迁科技有限公司 | 一种基于显示面的ar实现方法 |
CN112118436A (zh) * | 2020-09-18 | 2020-12-22 | 联想(北京)有限公司 | 一种基于增强现实装置的图像呈现方法、装置及系统 |
DE102020212520B3 (de) | 2020-10-05 | 2021-10-21 | Volkswagen Aktiengesellschaft | Horizontale Positionsfestlegung für das Einblenden virtueller Objekte bei einer Head-Up-Displayeinrichtung |
US11971548B1 (en) | 2023-03-23 | 2024-04-30 | Microchip Technology Incorporated | Markers for objects seen through a windscreen |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009250827A (ja) * | 2008-04-08 | 2009-10-29 | Panasonic Corp | ナビゲーション装置、方法及びプログラム |
CN103946732A (zh) * | 2011-09-26 | 2014-07-23 | 微软公司 | 基于对透视、近眼显示器的传感器输入的视频显示修改 |
CN104115198A (zh) * | 2011-12-14 | 2014-10-22 | 罗伯特·博世有限公司 | 车辆合流辅助系统和方法 |
JP2015226304A (ja) * | 2014-05-30 | 2015-12-14 | 日本精機株式会社 | 車両用投影装置及びヘッドアップディスプレイシステム |
CN105894733A (zh) * | 2014-05-15 | 2016-08-24 | Lg电子株式会社 | 驾驶员监控系统 |
CN106167045A (zh) * | 2015-05-21 | 2016-11-30 | Lg电子株式会社 | 驾驶人员辅助装置及其控制方法 |
JP2017013590A (ja) * | 2015-06-30 | 2017-01-19 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
CN106537290A (zh) * | 2014-05-09 | 2017-03-22 | 谷歌公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010042063B4 (de) * | 2010-10-06 | 2021-10-28 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs |
JP5674032B2 (ja) | 2011-03-25 | 2015-02-18 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
JP2017151491A (ja) | 2014-07-07 | 2017-08-31 | 株式会社リコー | 画像表示装置、画像処理システム、画像処理方法及び画像処理プログラム |
GB2532954A (en) * | 2014-12-02 | 2016-06-08 | Ibm | Display control system for an augmented reality display system |
KR20180123354A (ko) * | 2017-05-08 | 2018-11-16 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
-
2017
- 2017-05-08 KR KR1020170057451A patent/KR20180123354A/ko not_active Application Discontinuation
- 2017-12-27 US US15/854,932 patent/US10997759B2/en active Active
-
2018
- 2018-03-23 CN CN201880045649.1A patent/CN110869901B/zh active Active
- 2018-03-23 WO PCT/KR2018/003443 patent/WO2018208006A1/en active Application Filing
-
2021
- 2021-04-06 US US17/223,924 patent/US11341700B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009250827A (ja) * | 2008-04-08 | 2009-10-29 | Panasonic Corp | ナビゲーション装置、方法及びプログラム |
CN103946732A (zh) * | 2011-09-26 | 2014-07-23 | 微软公司 | 基于对透视、近眼显示器的传感器输入的视频显示修改 |
CN104115198A (zh) * | 2011-12-14 | 2014-10-22 | 罗伯特·博世有限公司 | 车辆合流辅助系统和方法 |
CN106537290A (zh) * | 2014-05-09 | 2017-03-22 | 谷歌公司 | 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法 |
CN105894733A (zh) * | 2014-05-15 | 2016-08-24 | Lg电子株式会社 | 驾驶员监控系统 |
JP2015226304A (ja) * | 2014-05-30 | 2015-12-14 | 日本精機株式会社 | 車両用投影装置及びヘッドアップディスプレイシステム |
CN106167045A (zh) * | 2015-05-21 | 2016-11-30 | Lg电子株式会社 | 驾驶人员辅助装置及其控制方法 |
JP2017013590A (ja) * | 2015-06-30 | 2017-01-19 | 日本精機株式会社 | ヘッドアップディスプレイ装置 |
Also Published As
Publication number | Publication date |
---|---|
US10997759B2 (en) | 2021-05-04 |
WO2018208006A1 (en) | 2018-11-15 |
CN110869901A (zh) | 2020-03-06 |
US11341700B2 (en) | 2022-05-24 |
US20210225055A1 (en) | 2021-07-22 |
KR20180123354A (ko) | 2018-11-16 |
US20180322673A1 (en) | 2018-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110869901B (zh) | 车辆用的用户界面装置和车辆 | |
US10611293B2 (en) | Lamp for vehicle | |
EP3571084B1 (en) | User interface apparatus for vehicle and vehicle | |
EP3450255A1 (en) | Around view monitoring apparatus for vehicle, and vehicle | |
CN111183063A (zh) | 用于车辆的侧镜 | |
US11237391B2 (en) | Head-up display device for vehicle | |
CN107380056A (zh) | 车辆用照明装置以及车辆 | |
US10977983B2 (en) | Head-up display device for vehicle | |
EP3441725B1 (en) | Electronic device for vehicle and associated method | |
US20200202535A1 (en) | Driver assistance apparatus and vehicle | |
EP4083931A1 (en) | Display device linked to vehicle and operating method thereof | |
US10750164B2 (en) | User interface apparatus for vehicle, and vehicle | |
EP4258223A1 (en) | Route guidance device and route guidance system | |
KR20190038088A (ko) | 차량에 구비된 차량 제어 장치 | |
US20210323469A1 (en) | Vehicular around view image providing apparatus and vehicle | |
KR101859042B1 (ko) | 차량용 사용자 인터페이스 장치 및 차량 | |
KR101858701B1 (ko) | 차량용 헤드 업 디스플레이 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |