CN110834583A - 车辆用显示系统及车辆 - Google Patents
车辆用显示系统及车辆 Download PDFInfo
- Publication number
- CN110834583A CN110834583A CN201910733077.2A CN201910733077A CN110834583A CN 110834583 A CN110834583 A CN 110834583A CN 201910733077 A CN201910733077 A CN 201910733077A CN 110834583 A CN110834583 A CN 110834583A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- light pattern
- image
- control unit
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000008859 change Effects 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 22
- 238000004891 communication Methods 0.000 abstract description 38
- 230000000007 visual effect Effects 0.000 abstract description 10
- 230000001133 acceleration Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 28
- 230000015654 memory Effects 0.000 description 26
- 238000012545 processing Methods 0.000 description 22
- 238000005286 illumination Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 238000006073 displacement reaction Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 229910052710 silicon Inorganic materials 0.000 description 4
- 239000010703 silicon Substances 0.000 description 4
- 101001093748 Homo sapiens Phosphatidylinositol N-acetylglucosaminyltransferase subunit P Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
- B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
- B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/0017—Devices integrating an element dedicated to another function
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
- B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
- B60Q1/04—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments the devices being headlights
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q2400/00—Special features or arrangements of exterior signal lamps for vehicles
- B60Q2400/50—Projected symbol or information, e.g. onto the road or car body
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
- B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
本发明的目的在于提供乘客能够正确地识别车辆于对象物之间的视觉上的交流的车辆用显示系统及车辆。设于车辆(1)的车辆用显示系统(4)具备:路面描绘装置(42),其构成为朝向车辆(1)外部的路面射出光图案;HUD(43),其构成为位于车辆(1)的内部,并对表示从上面观察的光图案的图像进行显示。
Description
技术领域
本发明涉及车辆用显示系统及具备该车辆用显示系统的车辆。
背景技术
(第一方面)
已知的有如下的车辆用显示系统,通过向路面上照射(描绘)图形、文字等光图案,而将车辆的信息通知、警告给驾驶员(乘客)本身或步行者、对向车等其他物体(对象物)(专利文献1)。通过在路面显示的光图案而向步行者等对象物视觉上提示车辆信息,而能够实现车辆与对象物之间的视觉上的交流。
(第二方面)
已知一种车辆用显示系统(专利文献1),其通过将图形、文字等光图案照射(描绘)在路面上,而将车辆的信息通知或警告给驾驶员(乘员)本身或步行者、对向车等其他物体(对象物)。
专利文献1:(日本)特开2016-55691号公报
(第一方面)
但是,在朝向对象物显示光图案的情况下,在考虑对象物的视点的基础上在路面上显示光图案。
由于乘客的视点和对象物的视点相互不同,由于从乘客视觉辨识的光图案的形状与从对象物视觉辨识的光图案的形状不同。因此,乘客有时无法正确识别相对于对象物提示什么样的光图案。
(第二方面)
此外,通过显示光图案,而向对象物通知或警告车辆的存在或车辆的规定动作,但有时对象物未注意到光图案。在对象物存在于从乘员的视角脱离的区域的情况下,有时乘员也无法认识到对象物的存在,且无法通过其他方法进行通知或警告。
发明内容
发明所要解决的技术问题
本发明的第一目的在于,提供乘客能够正确地识别车辆和对象物之间的视觉上的交流的车辆用显示系统及具备该车辆用显示系统的车辆。
本发明的第二目的在于,提供能够通过比较简单的方法将对象物的存在提示给乘员的车辆用显示系统及具备该车辆用显示系统的车辆。
用于解决技术问题的技术手段
(第一方面)
本发明的一方式的车辆用显示系统为设于车辆的车辆用显示系统,其具备:第一显示装置,其构成为朝向所述车辆外部的路面射出光图案;第二显示装置,其构成为位于所述车辆的内部,并对表示从上面观察的所述光图案的图像进行显示。
根据上述结构,第一显示装置朝向路面射出光图案,第二显示装置对表示从上面观察的光图案的图像进行显示。因此,乘客能够正确地识别在路面上描绘的光图案的形状。这样,能够提供车辆用显示系统,其为乘客能够正确地识别车辆与对象物之间的视觉上的交流。
另外,所述表示从上面观察的光图案的图像可以为,通过设于所述车辆的至少一个相机对所述光图案进行摄像而得到的图像。
根据上述结构,第二显示装置对通过设于车辆的至少一个相机摄像的光图案的图像进行显示。因此,乘客能够识别朝向对象物的光图案的、实际上显示的形状。
另外,所述表示从上面观察的光图案的图像可以为,表示假想地从上面观察所述光图案的假想对象的计算机图形(CG)图像。
根据上述结构,第二显示装置对表示假想地从上面观察光图案的假想对象的CG图像进行显示。因此,乘客通过CG图像能够更加容易地识别朝向对象物的光图案的形状。
另外,所述第二显示装置可以对表示假想地从上面观察所述车辆的假想对象的CG图像进行显示。
根据上述结构,与表示从上面观察的光图案的图像一起,第二显示装置对表示假想地从上面观察车辆的假想对象的CG图像进行显示。因此,乘客能够对车辆与光图案之间的位置关系进行把握。
另外,可以是,所述光图案包含朝向所述车辆外部的对象物的光图案,所述第二显示装置对表示所述对象物的假想对象的CG图像进行显示。
根据上述结构,与表示从上面观察光图案的图像一起,第二显示装置对表示对象物的假想对象的CG图像进行显示。因此,乘客能够把握对象物与光图案之间的位置关系、对象物相对于光图案的视点方向。
另外,可以提供具备上述车辆用显示系统的车辆。
根据上述结构,能够提供乘客能够正确识别车辆与对象物之间的视觉上的交流的车辆用显示系统。
发明效果
根据本发明,能够提供乘客能够正确识别车辆与对象物之间的视觉上的交流的车辆用显示系统以及具备该车辆用显示系统的车辆。
(第二方面)
本发明的另一方式的车辆用显示系统为在车辆设置的车辆用显示系统,
该车辆用显示系统具备:
第一显示装置,其构成为朝向所述车辆外部的路面射出光图案;
判定部,其构成为基于对由所述第一显示装置射出的光图案进行摄像而得到的图像,判定所述光图案是否因对象物而发生了变化;
输出部,其构成为根据所述判定部的判定结果,而朝向所述车辆的乘员输出规定的消息。
根据上述结构,根据朝向路面射出的光图案是否因对象物而发生了变化的判定结果,朝向乘员输出规定的消息。例如,在光图案因对象物的存在而发生了变化的情况下,能够向乘员通知对象物的存在。这样,能够提供通过比较简单的方法将对象物的存在提示给乘员的车辆用显示系统。
另外,所述第一显示装置可以构成为,朝向所述车辆的周边的路面射出所述光图案。
根据上述结构,朝向车辆的周边的路面射出光图案。因此,乘员能够因光图案的变化认识到在车辆的周边存在的对象物。
另外,所述光图案可以为包围车辆的周边的光图案。
根据上述结构,光图案射出到车辆的周围。因此,乘员能够认识到在光图案发生变化的地方存在对象物。
另外,所述光图案可以为射出到车辆的后方区域的光图案。
根据上述结构,光图案射出到车辆的后方区域。因此,乘员能够认识到在从视角脱离的后方区域存在的对象物。
另外,可以是,所述输出部位于所述车辆的内部,并具备以显示所述车辆的信息的方式构成的第二显示装置,所述规定的消息显示于所述第二显示装置。
根据上述结构,规定消息显示于第二显示装置。因此,乘员能够视觉上认识规定的消息。
另外,可以是,所述输出部位于所述车辆的内部,并具备输出规定的报知音的音输出装置,所述规定的消息作为报知音从所述音输出装置输出。
根据上述结构,规定的消息作为报知音从音输出装置输出。因此,乘员能听觉上认识规定的消息。
另外,所述第二显示装置可以构成为,将所述规定的消息作为报知音输出。
根据上述结构,第二显示装置也将规定的消息作为报知音输出。因此,乘员能够在听觉上认识规定的消息。
另外,所述判定部可以是,基于对由所述第一显示装置射出的光图案进行摄像而得到的图像以及所述车辆的信息,判定所述光图案是否因所述对象物而发生了变化。
根据上述结构,判定部基于朝向路面射出的光图案的摄像图像和车辆的信息,判定光图案是否因对象物而发生了变化。由此,例如,能够区别由对象物引起的光图案的变化和由对象物以外的原因引起的光图案的变化。这样,能够通过更加正确的方法将对象物的存在提示给乘员。
另外,所述判定部基于在经过规定时间前进行摄像而得到的所述光图案的图像,计算该摄像图像的光图案相对于参照用光图案的变化的比例,基于在经过规定时间后进行摄像而得到的所述光图案的图像,计算该摄像图像的光图案相对于所述参照用光图案的变化的比例,比较经过所述规定时间前及经过所述规定时间后被摄像的所述摄像图像的光图案相对于所述参照用光图案的所述变化的比例,
所述输出部根据所述判定部的比较结果,朝向所述车辆的乘员更新并输出规定的消息。
根据上述结构,基于经过规定时间前及经过规定时间后被摄像的摄像图像的光图案相对于参照用光图案的变化的比例的比较结果,而更新并输出规定的消息。由此,车辆的乘员能够确认对象物的移动方向。
另外,可以提供具备上述车辆用显示系统和以对由所述第一显示装置射出的光图案进行摄像的方式构成的至少一个相机的车辆。
根据上述结构,能够提供具备能够通过比较简单的方法将对象物的存在提示给乘员的车辆用显示系统的车辆。
发明效果
根据本发明,能够提供能够通过比较简单的方法将对象物的存在提示给乘员的车辆用显示系统及具备该车辆用显示系统的车辆。
附图说明
(第一方面)
图1是搭载了车辆系统的车辆的主视图。
图2是车辆系统的框图。
图3是用于说明本发明的第一实施方式的显示控制部的显示控制的一个例子的流程图。
图4A是用于说明第一实施方式的路面描绘的一个例子的图。
图4B是用于说明对第一实施方式的被路面描绘的光图案的摄像图像进行显示的HUD的一个例子的图。
图5是用于说明本发明的第二实施方式的显示控制部的显示控制的一个例子的流程图。
图6A是用于说明对第二实施方式的被路面描绘的光图案的CG图像进行显示的HUD的一个例子的图。
图6B是用于说明对第二实施方式的被路面描绘的光图案的CG图像进行显示的HUD的其他例子的图。
图7A是用于说明本发明的第三实施方式的路面描绘的一个例子的图。
图7B是用于说明对第三实施方式的被路面描绘的光图案的摄像图像进行显示的HUD的一个例子的图。
图8A是用于说明本发明的第四实施方式的路面描绘的一个例子的图。
图8B是用于说明对第四实施方式的被路面描绘的光图案的CG图像进行显示的HUD的其他例子的图。
(第二方面)
图9是车辆系统的框图。
图10是用于说明本发明的第一实施方式的显示控制部40的显示控制的一个例子的流程图。
图11A是用于说明第一实施方式的路面描绘的一个例子的图。
图11B是用于说明第一实施方式的路面描绘的一个例子的图。
图11C是用于说明第一实施方式的路面描绘的一个例子的图。
图11D是用于说明第一实施方式的路面描绘的一个例子的图。
图12A是用于说明第一实施方式的显示于HUD的消息的一个例子的图。
图12B是用于说明第一实施方式的显示于HUD的消息的一个例子的图。
图13是用于说明本发明的第二实施方式的显示控制部的显示控制的一个例子的流程图。
图14是用于说明本发明的第三实施方式的显示控制部的显示控制的一个例子的流程图。
附图标记说明
(第一方面)
1 车辆
2 车辆系统
3 车辆控制部
4 车辆用显示系统
5 传感器
6、6L、6R 相机
7 雷达
10 无线通信部
11 存储装置
12 转向促动器
13 转向装置
14 制动促动器
15 制动装置
16 加速促动器
17 加速装置
20L 左侧前照灯
20R 右侧前照灯
40 显示控制部
41 照明装置
42,42L,42R 路面描绘装置
43 平视显示器(HUD)
100 挡风玻璃
101 步行者
102 后续车
(第二方面)
1 车辆
2 车辆系统
3 车辆控制部
4 车辆用显示系统
5 传感器
6 相机
7 雷达
8 HMI
9 GPS
10 无线通信部
11 存储装置
12 转向促动器
13 转向装置
14 制动促动器
15 制动装置
16 加速促动器
17 加速装置
40 显示控制部
41 照明装置
42 路面描绘装置
43 平视显示器(HUD)
44 音输出装置
具体实施方式
(第一方面)
(第一实施方式)
以下,参照附图对本发明的第一实施方式(以下,称为第一实施方式。)进行说明。为了说明方便,存在本附图所示的各部材的尺寸与实际的各部材的尺寸不同的情况。
另外,在本实施方式的说明中,为了说明方便,适当提及“左右方向”、“上下方向”、“前后方向”。这些方向是对图1所示的车辆1设定的相对性的方向。在此,“左右方向”是包含“左方”及“右方”的方向。“上下方向”是包含“上方”及“下方”的方向。“前后方向”是包含“前方”及“后方”的方向。在图1中没有表示前后方面,前后方面是与左右方向及上下方向正交的方向。
首先,参照图1及图2,在下面对本实施方式的车辆系统2进行说明。图1是搭载了车辆系统2的车辆1的主视图。图2是车辆系统2的框图。车辆1是能够以自动驾驶模式行驶的车辆(汽车)。
如图2所示,车辆系统2具备:车辆控制部3、车辆用显示系统4(以下,仅称为“显示系统4”。)、传感器5、相机6、雷达7。而且,车辆系统2具备:HMI(Human Machine Interface,人机界面)8、GPS(Global Positioning System,全球定位系统)9、无线通信部10、存储装置11。而且,车辆系统2具备:转向促动器12、转向装置13、制动促动器14、制动装置15、加速促动器16、加速装置17。
车辆控制部3构成为,对车辆1的行驶进行控制。车辆控制部3由例如至少一个电子控制单元(ECU:Electronic Control Unit,电子控制单元)构成。电子控制单元包含:包含一个以上处理器和一个以上存储器的计算机系统(例如,SoC(System on a Chip,片上系统)等)、和由晶体管等有源元件及无源元件构成的电子电路。处理器例如是CPU(CentralProcessing Unit,中央处理器)、MPU(Micro Processing Unit,微处理器)、GPU(GraphicsProcessing Unit,图形处理器)和/或TPU(Tensor Processing Unit,张量处理器)。CPU可以由多个CPU核构成。GPU也可以由多个GPU核构成。存储器包含:ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机读取存储器)。可以在ROM中存储车辆控制程序。例如,车辆控制程序可以包含自动驾驶用的人工智能(AI)程序。AI程序是由使用多层的神经网络的有教师或无教师的机械学习(特别是,深度学习)构筑的程序。在RAM中可以暂时存储车辆控制程序、车辆控制数据和/或表示车辆周边环境的周边环境信息。处理器可以将从存储于ROM的各种车辆控制程序指定的程序在RAM上展开,与RAM协同工作而执行各种处理。另外,计算机系统可以由ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)等非诺依曼型计算机构成。而且,计算机系统也可以由诺依曼型计算机和非诺依曼型计算机的组合构成。
显示系统4具备:显示控制部40、照明装置41、路面描绘装置42、平视显示器(HUD)43。路面描绘装置42是第一显示装置的一个例子。HUD43是第二显示装置的一个例子。
照明装置41构成为,朝向车辆1外部射出光。照明装置41可以具备:左侧前照灯20L、右侧前照灯20R。照明装置41除了前照灯20L、20R之外,可以具备:在车辆1的前部设置的位置灯、在车辆1的后部设置的后组合灯、在车辆的前部或侧部设置的转向信号灯、向步行者或其他车辆的驾驶员通知本车辆的状况的各种灯等。
路面描绘装置42构成为,朝向车辆1的外部的路面射出光图案。路面描绘装置42具备两个路面描绘装置(左侧路面描绘装置42L以及右侧路面描绘装置42R)。如图1所示,左侧路面描绘装置42L搭载于左侧前照灯20L,右侧路面描绘装置42R搭载于右侧前照灯20R内。在以后的说明中,有时将左侧路面描绘装置42L以及右侧路面描绘装置42R称为路面描绘装置42L、42R,或者仅称为路面描绘装置42。
路面描绘装置42例如具备:以射出激光的方式构成的激光光源、以将从激光光源射出的激光进行偏向的方式构成的光偏转装置、和激光等光学系部件。激光光源例如是以分别射出红色激光、绿色激光、蓝色激光的方式构成的RGB激光光源。光偏向装置例如是,MEMS(Micro Electro Mechanical Systems,微机电系统)反射镜、检流计反射镜、多面反射体等。路面描绘装置42构成为,通过扫描激光而在路面上描绘光图案M0(参照图4A)。在激光光源为RGB激光光源的情况下,路面描绘装置42能够在路面上描绘各种颜色的光图案。路面描绘装置42L、42R可以在路面上分别描绘不同的光图案,也可以通过将各自的光图案合成而在路面上描绘一个光图案。
需要说明的是,在本实施方式中,路面描绘装置42具备在前照灯20L、20R内搭载的路面描绘装置42L、42R,路面描绘装置42只要能够在路面上描绘光图案,对路面描绘装置42的数量、配置场所以及形状不作特别限定。例如,路面描绘装置42L、42R可以配置在前照灯附近。另外,路面描绘装置42L、42R可以搭载于左侧后组合灯(未图示)及右侧后组合灯(未图示)内、或者左侧后组合灯及右侧后组合灯的附近。在路面描绘装置42的数量为一个的情况下,也可以配置在车架上的前侧或后侧的正中央。在路面描绘装置42的数量为四个的情况下,可以在左侧前照灯20L、右侧前照灯20R、左侧后组合灯(未图示)及右侧后组合灯(未图示)内或左侧后组合灯及右侧后组合灯的附近各配置一个路面描绘装置42。
另外,路面描绘装置42的描绘方式可以为DLP(Digital Light Processing,数字光处理)方式或LCOS(Liquid Crystal on Silicon,液晶覆硅)方式。该情况下,使用LED代替激光作为光源。
HUD43设置在车辆1的车内的规定位置。例如,如图4B所示,HUD43设置在车辆1的仪表板上。需要说明的是,对HUD43的设置位置不作特别限定。HUD43作为车辆1与乘客之间的视觉界面发挥功能。特别是,HUD43构成为,将与车辆1的驾驶相关的信息(例如,与自动驾驶关联的信息等)、步行者信息视觉上提示给乘客。例如,HUD43构成为,对通过车辆1与其他车辆之间的车车间通信和/或车辆1与基础设施设备(信号机等)之间的路车间通信而得到的信息进行显示。在这一点上,HUD43构成为,对从其他车辆和/或基础设施设备发送的消息进行显示。车辆1的乘客通过观察由HUD43显示的消息,而能够把握其他车辆的意图等。另外,例如,HUD43构成为,对从传感器5和/或相机6得到的信息进行显示。车辆1的乘客通过观察由HUD43显示的消息,而能够把握车辆1的行驶状态和/或步行者信息等。
另外,HUD43构成为,将从上面观察的由路面描绘装置42在路面上描绘的光图案的图像视觉上提示给乘客。车辆1的乘客通过观察由HUD43显示的光图案的图像,而能够正确地(例如,从对象物的视点)识别朝向对象物描绘的光图案的形状。例如,HUD43构成为,显示通过设于车辆1的至少一个相机6(在本实施方式中,为相机6L、6R)对光图案进行摄像而得到的图像。车辆1的乘客通过观察由HUD43显示的光图案的摄像图像,而能够对朝向对象物的光图案的、实际上显示的形状进行识别。
另外,例如,HUD43构成为,对表示假想地从上面观察光图案的假想对象的计算机图形(CG)图像进行显示。在以后的说明中,有时将表示假想地从上面观察光图案的假想对象的计算机图形(CG)图像仅称为光图案的CG图像。车辆1的乘客通过观察由HUD43显示的光图案的CG图像,而能够更加容易地识别朝向对象物的光图案的形状。
另外,HUD43也可以构成为,与光图案的摄像图像或CG图像一起对表示假想地从上面观察车辆1的假想对象的CG图像、或表示对象物的假想对象的CG图像进行显示。车辆1的乘客能够对车辆1或对象物与光图案的位置关系、或对象物相对于光图案的视点方向进行把握。在以后的说明中,有时将表示假想地从上面观察车辆1的假想对象的CG图像以及表示对象物的假想对象的CG图像仅称为车辆的CG图像以及对象物的CG图像。
由HUD43显示的信息以重叠在车辆1的前方的现实空间的方式视觉上提示给车辆1的乘客。这样,HUD43作为AR(Augmented Reality,增强现实)显示器发挥作用。
HUD43具备:图像生成单元、和显示由图像生成单元生成的图像的透明屏。在HUD43的描绘方式为激光投影的方式的情况下,图像生成单元例如具备:以射出激光的方式构成的激光光源、以使从激光光源射出的激光偏向的方式构成的光偏向装置、和透镜等光学系部件。激光光源例如是以分别射出红色激光、绿色激光、蓝色激光的方式构成的RGB激光光源。光偏向装置例如是MEMS反射镜。需要说明的是,HUD43的描绘方式可以为DLP(DigitalLight Processing数字光处理)方式或LCOS(Liquid Crystal on Silicon,液晶覆硅)方式。该情况下,使用LED代替激光作为光源。
另外,HUD43可以具备透明屏。该情况下,由图像生成单元生成的图像可以在车辆1的挡风玻璃100上显示。
显示控制部40构成为,对控制照明装置41的驱动进行控制。例如,显示控制部40基于与车辆1关联的信息或与车辆1的周边环境关联的信息,以射出规定光的方式控制照明装置41。另外,显示控制部40构成为,对路面描绘装置42及HUD43的驱动进行控制。例如,显示控制部40基于与车辆1关联的信息或与车辆1的周边环境关联的信息,以朝向对象物(其他车辆或步行者)提示规定的光图案的方式对路面描绘装置42进行控制。另外,显示控制部40基于与车辆1关联的信息或与车辆1的周边环境关联的信息,以朝向乘客提示规定的信息的方式控制HUD43。
显示控制部40由电子控制单元(ECU)构成,与未图示的电源电连接。电子控制单元包含:包含一个以上处理器及一个以上存储器的计算机系统(例如,SoC等)、由晶体管等有源元件及无源元件构成的模拟处理电路。模拟处理电路具备以对照明装置41的灯的驱动进行控制的方式构成的灯驱动电路(例如,LED驱动程序等)。另外,模拟处理电路包含:以对路面描绘装置42的激光光源的驱动进行控制的方式构成的第一激光光源控制电路、以对路面描绘装置42的光偏向装置的驱动进行控制的方式构成的第一光偏向装置控制电路。另外,模拟处理电路包含:以对HUD43的激光光源的驱动进行控制的方式构成的第二激光光源控制电路、以对HUD43的光偏向装置的驱动进行控制的方式构成的第二光偏向装置控制电路。处理器例如是CPU、MPU、GPU和/或TPU。存储器包含ROM、RAM。另外,计算机系统可以由AS IC、FPGA等非诺依曼型计算机构成。
需要说明的是,在本实施方式中,针对照明装置41、路面描绘装置42及HUD43设置共同的显示控制部40,但也可以针对各自设置个别的显示控制部。另外,在本实施方式中,车辆控制部3和显示控制部40设为个别的结构,但车辆控制部3和显示控制部40也可以一体构成。在这一点上,显示控制部40和车辆控制部3可以由单个电子控制单元构成。该情况下,车辆用显示系统4为也包含车辆控制部3的结构。
例如,显示控制部40的计算机系统基于从车辆控制部3发送的指示信号,特定向车辆1的外部照射的光图案,在此基础上,将表示该特定的光图案的信号发送至第一激光光源控制电路及第一光偏向装置控制电路。第一激光光源控制电路基于表示光图案的信号,生成用于对激光光源的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至路面描绘装置42的激光光源。另一方面,第一光偏向装置控制电路基于表示光图案的信号,生成用于对光偏向装置的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至路面描绘装置42的光偏向装置。这样,显示控制部40能够对路面描绘装置42的驱动进行控制。
另外,显示控制部40的计算机系统基于从车辆控制部3发送的指示信号,特定在HUD43显示的图像信息(例如,文字、图形的信息),在此基础上,将表示该特定的图像信息的信号发送至第二激光光源控制电路及第二光偏向装置控制电路。第二激光光源控制电路基于表示图像信息的信号,生成对激光光源的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至HUD43的激光光源。另一方面,第二光偏向装置控制电路基于表示图像信息的信号,生成用于控制光偏向装置的驱动的控制信号,在此基础上,将该生成的控制信号发送至HUD43的光偏向装置。这样,显示控制部40能够对HUD43的驱动进行控制。
另外,显示控制部40的计算机系统将表示上述特定的光图案的信号发送至第一激光光源控制电路及第一光偏向装置控制电路之后,从车辆控制部3取得由相机6摄像的光图案的摄像图像信息,将表示该光图案的摄像图像信息的信号发送至第二激光光源控制电路及第二光偏向装置控制电路。第二激光光源控制电路基于表示光图案的摄像图像信息的信号,生成用于对激光光源的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至HUD43的激光光源。另一方面,第二光偏向装置控制电路基于表示光图案的摄像图像信息的信号,生成用于对光偏向装置的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至HUD43的光偏向装置。
另外,显示控制部40的计算机系统将表示上述特定的光图案的信号发送至第一激光光源控制电路及第一光偏向装置控制电路,与此同时或在发送之后,从存储器取得该光图案的CG图像信息,将表示光图案的CG图像信息的信号发送至第二激光光源控制电路及第二光偏向装置控制电路。第二激光光源控制电路基于表示光图案的CG图像信息的信号,生成用于对激光光源的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至HUD43的激光光源。另一方面,第二光偏向装置控制电路基于表示光图案的CG图像信息的信号,生成用于对光偏向装置的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至HUD43的光偏向装置。需要说明的是,CG图像信息可以不存储于显示控制部40的存储器,而存储于存储装置11,显示控制部40可以经由车辆控制部3取得该CG图像信息。
传感器5具备:加速度传感器、速度传感器及陀螺仪传感器等。传感器5构成为,检测车辆1的行驶状态,并将行驶状态信息输出至车辆控制部3。传感器5可以还具备:检测驾驶员是否落座于驾驶席的落座传感器、检测驾驶员的脸的方向的脸朝向传感器,检测外部天气状态的外部天气传感器及检测在车内是否有人的人感传感器等。
相机6例如是包含CCD(Charge-Coupled Device,电荷耦合器件)、CMOS(互补型MOS)等摄像元件的相机。相机6构成为,在取得表示车辆1的周边环境的图像数据的基础上,将该图像数据发送至车辆控制部3。车辆控制部3基于发送的图像数据,取得周边环境信息。在此,周边环境信息可以包含与在车辆1的外部存在的对象物(步行者、其他车辆、标识等)相关的信息。例如,周边环境信息还可以包含与在车辆1的外部存在的对象物的属性相关的信息、和与对象物相对于车辆1的距离、位置相关的信息。相机6可以由单目相机构成,也可以由立体相机构成。
在本实施方式中,车辆系统2作为用于对在路面上描绘的光图案进行摄像的相机6,具备:左侧相机6L、右侧相机6R。在以后的说明中,有时将左侧相机6L和右侧相机6R称为相机6L、6R或仅称为相机6。相机6L、6R构成为,在取得表示在路面上描绘的光图案的图像数据的基础上,将该图像数据发送至车辆控制部3。需要说明的是,如图1所示,在本实施方式中,相机6L、6R在车架上配置于前侧的左右方向的两端部,只要相机6能够对在路面上描绘的光图案进行摄像,对相机6的数量、配置场所以及形状不作特别限定。例如,相机6L、6R可以配置于比车架更低的位置。在相机6的数量为一个的情况下,可以配置在车架上的前侧或后侧中的左右方向的正中央。在相机6的数量为四个的情况下,可以分别在车架的四角(左前角、右前角、左后角以及右后角)搭载一个相机6。另外,可以不另外设置光图案摄像专用的相机6L、6R,而利用用于其他目的的相机(例如,后视监视器用相机、用于对其他车辆1的周边环境进行摄像的相机等)。该情况下,根据需要,进行从摄像图像抽取光图案的图像的图像处理等。
雷达7是毫米波雷达、微米波雷达和/或激光-雷达(例如,LiDAR单元)等。例如,LiDAR单元构成为,检测车辆1的周边环境。特别是,LiDAR单元构成为,在取得表示车辆1的周边环境的3D映射数据(点阵数据)的基础上,将该3D映射数据发送至车辆控制部3。车辆控制部3基于发送的3D映射数据,特定周边环境信息。
HMI8由接受来自驾驶员的输入操作的输入部、和将行驶信息等向驾驶员输出的输出部构成。输入部包含:方向盘、加速踏板、制动踏板、切换车辆1的驾驶模式的驾驶模式切换开关等。输入部以及输出部可以包含触摸板,该触摸板能够接受输入操作,且能够向乘客显示图像。另外,输入部可以包含光图案图像选择开关,该光图案图像选择开关对将CG图像和摄像图像的哪一方作为从由路面描绘装置42描绘的光图案的上面观察的图像进行选择。车辆1的乘客能够经由该输入部选择摄像图像和CG图像的哪一方。GPS9构成为,取得车辆1的当前位置信息,将该取得的当前位置信息输出至车辆控制部3。当前位置信息包含车辆1的GPS坐标(纬度和经度)。
无线通信部10构成为,从其他车辆接收与在车辆1的周围存在的其他车辆相关的信息(例如,行驶信息等),并将与车辆1相关的信息(例如,行驶信息等)发送至其他车辆(车车间通信)。另外,无线通信部10构成为,从信号机、标识灯等基础设施设备接收基础设施信息,并将车辆1的行驶信息发送至基础设施设备(路车间通信)。另外,无线通信部10构成为,从步行者携带的携带型电子机器(智能电话、平板、可穿戴器件等)接收与步行者相关的信息,并将车辆1的本车行驶信息发送至携带型电子机器(步车间通信)。车辆1可以通过点对点(ad-Hoc)模式与其他车辆、基础设施设备、携带型电子机器直接通信,也可以经由访问接入点而通信。而且,车辆1可以经由因特网等通信网络与其他车辆、基础设施设备或携带型电子机器通信。无线通信规格例如是,Wi-Fi(注册商标),Bluetooth(注册商标),ZigBee(注册商标)、LPWA、DSRC(注册商标)或Li-Fi。另外,车辆1也可以使用第5代移动通信系统(5G)与其他车辆、基础设施设备或携带型电子机器通信。
存储装置11是硬盘驱动器(HDD)、SSD(Solid State Drive,固态驱动器)等外部存储装置。在存储装置11中存储有2D或3D的地图信息和/或车辆控制程序。例如,3D地图信息可以由点阵数据构成。存储装置11构成为,根据来自车辆控制部3的要求,将地图信息、车辆控制程序输出至车辆控制部3。地图信息、车辆控制程序可以经由无线通信部10和因特网等通信网络进行更新。另外,存储装置11可以存储通过路面描绘装置42描绘的光图案的CG图像信息。另外,存储装置11还可以存储对象物(步行者、其他车辆)、本车辆的CG图像信息。
车辆1能够以自动驾驶模式和手动驾驶模式行驶。车辆控制部3能够选择性地执行自动驾驶模式和手动驾驶模式。
在自动驾驶模式中,车辆控制部3根据取得车辆1的外部信息的外部传感器(相机6、雷达7、GPS9、无线通信部10等的至少一个)的输出自动地生成转向控制信号、加速控制信号以及制动控制信号。车辆控制部3与检测出用户能够操作的操作件的位移的传感器5的输出无关,根据外部传感器的输出自动地生成转向控制信号、加速控制信号以及制动控制信号。
例如,在自动驾驶模式中,车辆控制部3基于相机6取得的车辆1的前方的周边环境信息、GPS9的当前位置信息和存储于存储装置11的地图信息等,自动地生成转向控制信号、加速控制信号以及制动控制信号。在自动驾驶模式中,不依赖用户地驾驶车辆1。
在手动驾驶模式中,就车辆控制部3而言,在通常情况下,与外部传感器的输出无关地生成转向控制信号、加速控制信号以及制动控制信号。即,在手动驾驶模式中,就车辆控制部3而言,在通常情况下,与外部传感器的输出无关地基于用户对方向盘的操作而生成转向控制信号。就车辆控制部3而言,在通常情况下,与外部传感器的输出无关地基于用户对加速踏板的操作而生成加速控制信号。就车辆控制部3而言,与外部传感器的输出无关地基于用户的制动踏板操作而生成制动控制信号。在手动驾驶模式中,在通常情况下,由用户驾驶车辆1。
需要说明的是,在手动驾驶模式中,车辆控制部3例如可以根据传感器5即车轮速度传感器的输出,执行对制动控制信号进行控制的防锁制动控制。另外,在手动驾驶模式中,车辆控制部3可以根据传感器5即操舵角传感器、车轮速度传感器、角速度传感器的输出,执行对转向控制信号、加速控制信号、制动控制信号的至少一个进行控制的侧滑防止控制(Electric Stability Control,电子稳定系统)、牵引力控制等。
或者,在手动驾驶模式中,车辆控制部3可以在紧急情况下,根据相机6等外部传感器的输出而执行将转向控制信号、制动控制信号生成的预碰撞控制、碰撞避免控制。这样,在手动驾驶模式中,车辆控制部3在紧急情况下,根据外部传感器的输出而生成转向控制信号、加速控制信号以及制动控制信号的至少一个。
在手动驾驶模式中,在通常情况下,生成转向控制信号、加速控制信号以及制动控制信号的触发器是,用户操作的方向盘、加速踏板、制动踏板所谓的操作件的位移。在手动驾驶模式中,车辆控制部3可以在通常情况下,根据传感器5、外部传感器的输出,而对因操作件的位移所生成的转向控制信号、加速控制信号以及制动控制信号所谓的信号进行控制(加工)。在本实施方式中,根据传感器5、外部传感器的输出而辅助用户驾驶的所谓的辅助驾驶模式是手动驾驶模式的一种方式。
按照2018年时已知的自动驾驶模式的等级0~5的定义,本实施方式的自动驾驶模式相当于等级3~5(除了紧急情况等),本实施方式的手动驾驶模式相当于等级0~2。
接着,主要参照图3到图4B对第一实施方式的显示控制部40的显示控制的一个例子进行说明。图3是用于说明第一实施方式的显示控制部40的显示控制的一个例子的流程图。图4A是用于说明第一实施方式的路面描绘的一个例子的图。图4B是用于说明对第一实施方式的被路面描绘的光图案的摄像图像进行显示的HUD的一个例子的图。
第一实施方式的显示控制部40使路面描绘装置42朝向路面射出光图案,使由相机6对该光图案进行摄像所得到的图像显示在HUD43上。
如图3所示,在步骤S1中,显示控制部40基于从车辆控制部3取得的周边环境信息等,以射出规定的光图案的方式对路面描绘装置42进行控制。接着,在步骤S2中,显示控制部40从车辆控制部3取得图像数据,该图像数据是通过相机6对路面描绘装置42所描绘的光图案进行摄像而得到的。在步骤S3中,显示控制部40以显示光图案的摄像图像的方式控制HUD43。
例如,如图4A所示,车辆1通过路面描绘装置42描绘光图案M0。光图案M0是表示朝向从前方左侧走近的步行者101描绘的“停止”消息的光图案。在本实施方式中,如图4B所示,车辆1通过相机6对光图案M0进行摄像,通过HUD43向车辆1的乘客显示光图案M0的摄像图像M2。需要说明的是,在图4B中,配合车辆1的乘客方向地以相机6的摄像图像旋转了90度的状态显示在HUD43上。这样,通过配合车辆1的乘客方向地、使相机6的摄像图像数据旋转规定的角度,而车辆1的乘客能够容易地把握光图案。需要说明的是,也可以使相机6的摄像图像以保持不变的方向显示在HUD43上。
另外,在图4B中,除了光图案M0的摄像图像M2以外,步行者信息M1也显示在HUD43上。步行者信息M1是由表示步行者101行进方向的向左的箭头、表示步行者101的标记、和表示到步行者101的距离的文字构成的CG图像。这样,通过一起显示对象物(例如,步行者)信息,而车辆1的乘客能够对到对象物的距离、对象物的行进方向、对象物的属性(其他车辆或步行者)等进行把握。需要说明的是,步行者信息M1的构成不限于图4B的构成。另外,步行者信息M1也可以不显示在HUD43上。步行者信息M1存储于显示控制部40的存储器或存储装置11,显示控制部40基于通过相机6、传感器5(LiDAR等)检测出的对象物的位置等信息,而使对象物信息显示在HUD43上。需要说明的是,代替步行者信息,也可以使后述的本车辆信息显示在HUD43上。
这样,显示控制部40使路面描绘装置42朝向路面射出光图案,使表示从上面观察的光图案的图像显示在HUD43上。因此,车辆1的乘客能够从对象物的视点识别朝向对象物的光图案的形状。这样,乘客能够正确地识别车辆与对象物之间的视觉上的交流。
另外,显示控制部40从车辆控制部3取得由至少一个相机6进行摄像的光图案的图像数据作为表示从上面观察的光图案的图像。因此,车辆1的乘客能够识别朝向对象物的光图案的、实际上显示的形状。
另外,与光图案的摄像图像一起,显示控制部40对表示对象物的假想对象的CG图像也进行显示。因此,车辆1的乘客能够对对象物的属性、对象物的行进方向、到对象物的距离等进行把握。
(第二实施方式)
接着,主要参照图5、6A以及6B对本发明的第二实施方式(以下,称为第二实施方式。)的显示控制部40的显示控制的一个例子进行说明。图5是用于说明本发明的第二实施方式的显示控制部的显示控制的一个例子的流程图。图6A是用于说明对第二实施方式的被路面描绘的光图案的CG图像进行显示的HUD的一个例子的图。图6B是用于说明对第二实施方式的被路面描绘的光图案的CG图像进行显示的HUD的其他例子的图。需要说明的是,在第二实施方式的说明中,为了说明方便,对具有与在第一实施方式的说明中已说明的部件相同的参照标记的部件省略说明。
第一实施方式的显示控制部40使在HUD43显示由相机6摄像的光图案的图像。对此,第二实施方式的显示控制部40使HUD43对表示假想地从上面观察在路面上描绘的光图案的假想对象的CG图像进行显示。
如图5所示,在步骤S11中,显示控制部40基于从车辆控制部3取得的周边环境信息等,以射出规定的光图案的方式对路面描绘装置42进行控制。接着,在步骤S12中,显示控制部40以对表示假想地从上面观察由路面描绘装置42描绘的光图案的假想对象的CG图像进行显示的方式控制HUD43。表示假想地从上面观察路面描绘装置42所描绘的光图案的假想对象的CG图像存储于显示控制部40的存储器或存储装置11。显示控制部40从存储器或存储装置11取得由路面描绘装置42描绘的光图案的CG图像,并使其显示HUD43上。
例如,如图4A所示,车辆1通过路面描绘装置42描绘光图案M0。光图案M0是表示朝向从前方左侧走近的步行者101所描绘的“停止”消息的光图案。在本实施方式中,如图6A所示,车辆1从显示控制部40的存储器或存储装置11取得光图案M0的CG图像M11,通过HUD43向车辆1的乘客显示光图案M0的CG图像M11。需要说明的是,在图6A中,配合车辆1的乘客方向,对CG图像M11的朝向进行调整并将其显示,但不限于此。另外,在图6A中,除了光图案M0的CG图像M11以外,在HUD43上还显示步行者信息M22。步行者信息M12由表示假想地从上面观察步行者101的假想对象的CG图像、和到步行者101的距离的文字的CG图像构成。步行者101的CG图像表示步行者朝向CG图像M11的光图案的一方的状态。这样,通过也一起显示对象物(步行者)信息,而车辆1的乘客能够对到对象物的距离、对象物与光图案之间的位置关系、对象物的属性(其他车辆或步行者)、对象物相对于光图案的视点方向等进行把握。需要说明的是,步行者信息M22的构成不限于图6A的构成。另外,也可以在HUD43上不显示步行者信息M22。例如,如图6B所示,可以与光图案M0的CG图像M21一起显示本车辆信息M22。本车辆信息M22由表示假想地从上面观察本车辆1的假想对象的CG图像、和表示从本车辆1到光图案M0的距离以及方向的文字以及箭头的CG图像构成。需要说明的是,本车辆信息M22不限于图7B的构成。本车辆信息M22存储于显示控制部40的存储器或存储装置11,显示控制部40基于由相机6、传感器5(Li DAR等)检测出的对象物、光图案位置等信息,而使本车辆信息显示在HUD43上。
这样,显示控制部40使路面描绘装置42朝向路面射出光图案,且使表示从上面观察的光图案的图像显示在HUD43上。因此,车辆1的乘客能够从对象物的视点识别朝向对象物的光图案的形状。这样,乘客能够正确地识别车辆与对象物之间的视觉上的交流。
另外,显示控制部40从存储器或存储装置11取得表示假想地从上面观察光图案的假想对象的CG图像作为表示从上面观察的光图案的图像。因此,车辆1的乘客能够更加容易地识别朝向对象物的光图案的形状。
另外,显示控制部40与光图案的CG图像一起,显示表示车辆1、对象物的假想对象的CG图像。因此,车辆1的乘客能够对到对象物或光图案的距离等进行把握。
(第三实施方式)
接着,主要参照图7A以及7B对本发明的第三实施方式(以下,称为第三实施方式。)的显示控制部40的显示控制的一个例子进行说明。图7A是用于说明第三实施方式的路面描绘的一个例子的图。图7B是用于说明对第三实施方式的被路面描绘的光图案的摄像图像进行显示的HUD的一个例子的图。需要说明的是,在第三实施方式的说明中,为了说明方便,对具有与在第一、第二实施方式的说明中已说明的部件相同的参照标记的部件省略说明。另外,显示控制部40的显示控制流程与第一实施方式相同,故省略其说明。
第一、第二实施方式的显示控制部40使摄像图像或CG图像显示在HUD43上,该摄像图像或CG图像为在车辆1的前侧配置的路面描绘装置42朝向车辆1的前方路面射出的光图案的图像。对此,第三实施方式的显示控制部40使朝向车辆1的后方路面射出的光图案的摄像图像显示在HUD43上。
例如,如图7A所示,车辆1通过路面描绘装置42描绘光图案M10。光图案M10是朝向后续的车辆102描绘的、表示“减速中”的消息的光图案。在本实施方式中,如图7B所示,车辆1通过相机6对光图案M10进行摄像,通过HUD43而朝向车辆1的乘客显示光图案M10的摄像图像M32。需要说明的是,除了光图案M10的摄像图像M32之外,在HUD43还显示本车辆1的CG图像M31以及后续车102的CG图像M33作为本车辆信息以及对象物信息。本车辆1的CG图像M31以及后续车102的CG图像M33是分别表示从上面观察的假想对象的CG图像。这样,通过一起显示本车辆1、后续车102的CG图像,而车辆1的乘客能够把握本车辆1、后续车102与光图案之间的位置关系等。需要说明的是,本车辆信息以及对象物信息不限于图7B的构成。另外,也可以不显示本车辆信息以及对象物信息。对象物信息、本车辆信息存储于显示控制部40的存储器或存储装置11,显示控制部40基于用相机6、传感器5(LiDAR等)检测出的对象物、光图案的位置等信息,使对象物信息、本车辆信息显示在HUD43上。
需要说明的是,在第三实施方式中,在HUD43上显示由相机6摄像的光图案的摄像图像作为表示从上面观察的光图案的图像,也可以如第二实施方式那样显示光图案的CG图像作为表示从上面观察的光图案的图像。
(第四实施方式)
接着,主要参照图8A以及8B,对本发明的第四实施方式(以下,称为第四实施方式。)的显示控制部40的显示控制的一个例子进行说明。图8A是用于说明第四实施方式的路面描绘的一个例子的图。图8B是用于说明对第四实施方式的被路面描绘的光图案的CG图像进行显示的HUD的一个例子的图。需要说明的是,在第四实施方式的说明中,为了说明方便,对具有与在第一到第三实施方式的说明中已说明的部件相同的参照标记的部件省略说明。另外,显示控制部40的显示控制流程与第二实施方式相同,故省略其说明。
第一至三实施方式的显示控制部40使朝向车辆1的前方或后方的路面射出的光图案的摄像图像或CG图像显示在HUD43上。对此,第四实施方式的显示控制部40使朝向车辆1附近的路面射出的光图案的CG图像显示条HUD43上。
例如,如图8A所示,车辆1通过路面描绘装置42描绘光图案M20。朝向车辆102的周围描绘光图案M20。例如,光图案M20是用于将暂时停止的消息通知给周围的光图案。在本实施方式中,如图8B所示,车辆1从显示控制部40的存储器或存储装置11取得光图案M20的CG图像M44,通过HUD43向车辆1的乘客显示光图案M20的CG图像M44。需要说明的是,在图8A中,与光图案M20的CG图像M44一起显示CG图像,该CG图像为表示假想地从上面观察本车辆1的假想对象的图像。这样,通过也一起显示本车辆信息,而车辆1的乘客能够把握本车辆与光图案之间的位置关系等。
需要说明的是,在第四实施方式中,虽然在HUD43上显示光图案的CG图像作为表示从上面观察的光图案的图像,但也可以与本车辆1的CG图像一起显示通过在车辆的周围配置的多个相机6而摄像的光图案的摄像图像。
以上,虽然对本发明的实施方式进行了说明,但理所应当的是,本发明的技术范围不应根据本实施方式的说明进行限定性解释。本实施方式只是一个例子,本领域技术人员应该理解的一点是,在专利的权利要求的范围记载的发明范围内,能够进行各种实施方式的变更。本发明的技术范围应基于在专利的权利要求的范围记载的发明范围及其均等的范围而确定的。
需要说明的是,在上述实施方式中,虽然对对车辆1的前方、后方或包围车辆的光图案进行了描述,但不限于此。例如,也能够在HUD上显示向车辆的左侧或右侧射出的光图案的该光图案的摄像图像、CG图像。
另外,在上述实施方式中,使表示从上面观察的光图案的图像显示在HUD上,但不限于此。例如,在车辆1具备车辆导航系统(未图示)的情况下,可以在车辆导航系统的画面上显示表示从上面观察的光图案的图像。
另外,在上述实施方式中,虽然对车辆用显示系统4具有能够显示光图案的摄像图像以及CG图像双方的结构、车辆1的乘客通过HMI8选择光图案的摄像图像或CG图像的某一方作为在HUD43上显示的光图案的图像的情况进行了描述,但不限于此。车辆用显示系统4可以为能够显示光图案的摄像图像以及CG图像的某一方的结构。例如,车辆1可以不具备光图案摄像专用的相机6L、6R,车辆用显示系统4为在HUD43仅显示光图案的CG图像的系统。
(第二方面)
(第一实施方式)
以下,参照附图对本发明的第一实施方式(以下,称为第一实施方式。)进行说明。为了说明方便,存在本附图所示的各部材的尺寸与实际的各部材的尺寸不同的情况。
另外,在本实施方式的说明中,为了说明方便,适当提及“左右方向”、“上下方向”、“前后方向”。这些方向是从车辆的乘员观察的相对性的方向。在此,“左右方向”是包含“左方”及“右方”的方向。“上下方向”是包含“上方”及“下方”的方向。“前后方向”是包含“前方”及“后方”的方向。左右方向是与上下方向正交的方向。前后方向是与左右方向及上下方向正交的方向。
首先,参照图1,在下面对本实施方式的车辆系统2进行说明。车辆系统2搭载于车辆(未图示)。图1是车辆系统2的框图。车辆是能够以自动驾驶模式行驶的车辆(汽车)。
如图1所示,车辆系统2具备:车辆控制部3、车辆用显示系统4(以下,仅称为“显示系统4”。)、传感器5、相机6、雷达7。而且,车辆系统2具备:HMI(Human Machine Interface,人机界面)8、GPS(Global Positioning System,全球定位系统)9、无线通信部10、存储装置11。而且,车辆系统2具备:转向促动器12、转向装置13、制动促动器14、制动装置15、加速促动器16、加速装置17。
车辆控制部3构成为,对车辆的行驶进行控制。车辆控制部3由例如至少一个电子控制单元(ECU:Electronic Control Unit,电子控制单元)构成。电子控制单元包含:包含一个以上处理器和一个以上存储器的计算机系统(例如,SoC(System on a Chip,片上系统)等)、和由晶体管等有源元件及无源元件构成的电子电路。处理器例如是CPU(CentralProcessing Unit,中央处理器)、MPU(Micro Processing Unit,微处理器)、GPU(GraphicsProcessing Unit,图形处理器)和/或TPU(Tensor Processing Unit,张量处理器)。CPU可以由多个CPU核构成。GPU也可以由多个GPU核构成。存储器包含:ROM(Read Only Memory,只读存储器)、RAM(Random Access Memory,随机读取存储器)。可以在ROM中存储车辆控制程序。例如,车辆控制程序可以包含自动驾驶用的人工智能(AI)程序。AI程序是由使用多层的神经网络的有教师或无教师的机械学习(特别是,深度学习)构筑的程序。在RAM中可以暂时存储车辆控制程序、车辆控制数据和/或显示车辆周边环境的周边环境信息。处理器可以将从存储于ROM的各种车辆控制程序指定的程序在RAM上展开,与RAM协同工作而执行各种处理。另外,计算机系统可以由ASIC(Application Specific Integrated Circuit,专用集成电路)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)等非诺依曼型计算机构成。而且,计算机系统也可以由诺依曼型计算机和非诺依曼型计算机的组合构成。
传感器5具备:加速度传感器、速度传感器及陀螺仪传感器等。传感器5构成为,检测车辆的行驶状态,并将行驶状态信息输出至车辆控制部3。传感器5可以还具备:检测驾驶员是否落座于驾驶席的落座传感器、检测驾驶员的脸的方向的脸朝向传感器,检测外部天气状态的外部天气传感器及检测在车内是否有人的人感传感器等。
相机6例如是包含CCD(Charge-Coupled Device,电荷耦合器件)、CMOS(互补型MOS)等摄像元件的相机。相机6构成为,在取得显示车辆的周边环境的图像数据的基础上,将该图像数据发送至车辆控制部3。车辆控制部3基于发送的图像数据,取得周边环境信息。在此,周边环境信息可以包含与在车辆的外部存在的对象物(步行者、其他车辆、标识等)相关的信息。例如,周边环境信息还可以包含与在车辆的外部存在的对象物的属性相关的信息、和与对象物相对于车辆的距离、位置相关的信息。相机6可以由单目相机构成,也可以由立体相机构成。
另外,相机6构成为,在取得表示在路面上描绘的光图案的图像数据的基础上,将该图像数据发送至车辆控制部3。作为对该光图案进行摄像的相机,可以设置专用的相机,也可以利用用于其他目的的相机(例如,后视监视器用相机、用于对其他车辆1的周边环境进行摄像的相机等)。只要相机6能够对在路面上描绘的光图案进行摄像,对相机6的数量、配置场所以及形状不作特别限定。
雷达7是毫米波雷达、微米波雷达和/或激光-雷达(例如,LiDAR单元)等。例如,LiDAR单元构成为,检测车辆的周边环境。特别是,LiDAR单元构成为,在取得表示车辆的周边环境的3D映射数据(点阵数据)的基础上,将该3D映射数据发送至车辆控制部3。车辆控制部3基于发送的3D映射数据,特定周边环境信息。
HMI8由接受来自驾驶员的输入操作的输入部、和将行驶信息等向驾驶员输出的输出部构成。输入部包含:方向盘、加速踏板、制动踏板、切换车辆的驾驶模式的驾驶模式切换开关等。输入部及输出部可以包含触摸板,该触摸板能够接受输入操作,且能够向乘客显示图像。GPS9构成为,取得车辆的当前位置信息,将该取得的当前位置信息输出至车辆控制部3。当前位置信息包含车辆的GPS坐标(纬度和经度)。
无线通信部10构成为,从其他车辆接收与在车辆的周围存在的其他车辆相关的信息(例如,行驶信息等),并将与车辆相关的信息(例如,行驶信息等)发送至其他车辆(车车间通信)。另外,无线通信部10构成为,从信号机、标识灯等基础设施设备接收基础设施信息,并将车辆的行驶信息发送至基础设施设备(路车间通信)。另外,无线通信部10构成为,从步行者携带的携带型电子机器(智能电话、平板、可穿戴器件等)接收与步行者相关的信息,并将车辆的本车行驶信息发送至携带型电子机器(步车间通信)。车辆可以通过点对点(ad-Hoc)模式与其他车辆、基础设施设备、携带型电子机器直接通信,也可以经由访问接入点而通信。而且,车辆可以经由因特网等通信网络与其他车辆、基础设施设备或携带型电子机器通信。无线通信规格例如是,Wi-Fi(注册商标),Bluetooth(注册商标),ZigBee(注册商标)、LPWA、DSRC(注册商标)或Li-Fi。另外,车辆1也可以使用第5代移动通信系统(5G)与其他车辆、基础设施设备或携带型电子机器通信。
存储装置11是硬盘驱动器(HDD)、SSD(Solid State Drive,固态驱动器)等外部存储装置。在存储装置11中存储有2D或3D的地图信息和/或车辆控制程序。例如,3D地图信息可以由点阵数据构成。存储装置11构成为,根据来自本车辆控制部3的要求,将地图信息、车辆控制程序输出至车辆控制部3。地图信息、车辆控制程序可以经由无线通信部10以及因特网等通信网络进行更新。另外,存储装置11还可以存储对象物(步行者、其他车辆等)或表示本车辆的假想对象的CG图像信息。另外,存储装置11还可以存储在显示控制部40的判定处理中使用的参照用光图案的图像信息。
车辆能够以自动驾驶模式和手动驾驶模式行驶。车辆控制部3能够选择性地执行自动驾驶模式和手动驾驶模式。
在自动驾驶模式中,车辆控制部3根据取得车辆的外部信息的外部传感器(相机6、雷达7、GPS9、无线通信部10等中的至少一个)的输出自动地生成转向控制信号、加速控制信号及制动控制信号。车辆控制部3与将用户能够操作的操作件的位移检测出的传感器5的输出无关,根据外部传感器的输出自动地生成转向控制信号、加速控制信号及制动控制信号。
例如,在自动驾驶模式中,车辆控制部3基于相机6取得的车辆前方的周边环境信息、GPS9的当前位置信息、和存储于存储装置11的地图信息等,自动地生成转向控制信号、加速控制信号及制动控制信号。在自动驾驶模式中,不依赖用户地驾驶车辆。
在手动驾驶模式中,就车辆控制部3而言,在通常情况下,与外部传感器的输出无关地生成转向控制信号、加速控制信号及制动控制信号。即,在手动驾驶模式中,就车辆控制部3而言,在通常情况下,与外部传感器的输出无关地基于用户对方向盘的操作而生成转向控制信号。就车辆控制部3而言,在通常情况下,与外部传感器的输出无关地基于用户对加速踏板的操作而生成加速控制信号。就车辆控制部3而言,与外部传感器的输出无关地基于用户的制动踏板操作而生成制动控制信号。在手动驾驶模式中,在通常情况下,由用户驾驶车辆。
需要说明的是,在手动驾驶模式中,车辆控制部3例如可以根据传感器5即车轮速度传感器的输出,执行对制动控制信号进行控制的防锁制动控制。另外,在手动驾驶模式中,车辆控制部3可以根据传感器5即操舵角传感器、车轮速度传感器、角速度传感器的输出,执行对转向控制信号、加速控制信号、制动控制信号中的至少一个进行控制的侧滑防止控制(Electric Stability Control,电子稳定系统)、牵引力控制等。
或者,在手动驾驶模式中,车辆控制部3可以在紧急情况下,根据相机6等外部传感器的输出而执行将转向控制信号和制动控制信号生成的预碰撞控制或碰撞避免控制。这样,在手动驾驶模式中,车辆控制部3在紧急情况下,根据外部传感器的输出而生成转向控制信号、加速控制信号及制动控制信号中的至少一个。
在手动驾驶模式中,在通常情况下生成转向控制信号、加速控制信号及制动控制信号的触发器是,用户操作的方向盘、加速踏板、制动踏板所谓的操作件的位移。在手动驾驶模式中,车辆控制部3可以在通常情况下,根据传感器5或外部传感器的输出,而对因操作件的位移所生成的转向控制信号、加速控制信号及制动控制信号等信号进行控制(加工)。在本实施方式中,根据传感器5或外部传感器的输出而辅助用户驾驶的所谓的辅助驾驶模式是手动驾驶模式的一种方式。
按照2018年时已知的自动驾驶模式的等级0~5的定义,本实施方式的自动驾驶模式相当于等级3~5(除了紧急情况等),本实施方式的手动驾驶模式相当于等级0~2。
显示系统4具备:显示控制部40、照明装置41、路面描绘装置42、平视显示器(HUD)43、音输出装置44。显示控制部40是判定部的一个例子。路面描绘装置42是第一显示装置的一个例子。HUD43是输出部以及第二显示装置的一个例子。音输出装置44是输出部的一个例子。
照明装置41构成为,朝向车辆外部射出光。照明装置41例如具备:在车辆的前部设置的前照灯或位置灯、在车辆的后部设置的后组合灯、在车辆的前部或侧部设置的转向信号灯、向步行者或其他车辆的驾驶员通知本车辆的状况的各种灯等。
路面描绘装置42构成为,朝向车辆外部的路面射出光图案。路面描绘装置42例如具备:以射出激光的方式构成的激光光源、以将从激光光源射出的激光进行偏向的方式构成的光偏转装置、和激光等光学系部件。激光光源例如是以分别射出红色激光、绿色激光、蓝色激光的方式构成的RGB激光光源。光偏向装置例如是,MEMS(Micro ElectroMechanical Systems,微机电系统)反射镜、检流计反射镜、多面反射体等。路面描绘装置42构成为,通过扫描激光而在路面上描绘光图案M0、M1(参照图4A)。在激光光源为RGB激光光源的情况下,路面描绘装置42能够在路面上描绘各种颜色的光图案。
路面描绘装置42只要能够在路面上描绘光图案,对路面描绘装置42的数量、配置场所以及形状不作特别限定。例如,在路面描绘装置42的数量为一个的情况下,也可以配置在车架上的前侧或后侧的正中央。另外,在路面描绘装置42的数量为两个的情况下,可以在左侧前照灯(未图示)及右侧前照灯(未图示)或左侧前照灯及右侧前照灯的附近、或者左侧后组合灯(未图示)及右侧后组合灯(未图示)内或左侧后组合灯及右侧后组合灯的附近各搭载一个路面描绘装置42。另外,在路面描绘装置42的数量为四个的情况下,可以在左侧前照灯(未图示)、右侧前照灯20R(未图示)、左侧后组合灯(未图示)及右侧后组合灯(未图示)内或者它们的附近各配置一个路面描绘装置42。
另外,路面描绘装置42的描绘方式可以为DLP(Digital Light Processing,数字光处理)方式或LCOS(Liquid Crystal on Silicon,液晶覆硅)方式。该情况下,使用LED代替激光作为光源。
HUD43设置在车辆的车内的规定位置。例如,如图4A所示,HUD43设置在车辆的仪表板上。需要说明的是,对HUD43的设置位置不作特别限定。HUD43作为车辆与乘客之间的视觉界面发挥功能。特别是,HUD43构成为,将与车辆的驾驶相关的信息(例如,与自动驾驶关联的信息等)以及步行者信息视觉上提示给乘客。例如,HUD43构成为,对通过车辆与其他车辆之间的车车间通信和/或车辆与基础设施设备(信号机等)之间的路车间通信而得到的信息进行显示。在这一点上,HUD43构成为,对从其他车辆和/或基础设施设备发送的消息进行显示。在这一点上,HUD43构成为,对从传感器5和/或相机6得到的信息进行显示。车辆的乘客通过观察由HUD43显示的消息,而能够把握其他车辆的意图等。另外,例如,HUD43构成为,对从传感器5和/或相机6得到的信息进行显示。车辆的乘客通过观察由HUD43显示的消息,而能够把握车辆的行驶状态和/或步行者信息。
另外,HUD43构成为,在基于对由路面描绘装置42射出的光图案进行摄像而得到图像而判断为光图案因对象物(步行者、其他车辆等)而发生了变化的情况下,朝向车辆的乘员输出规定的消息。车辆乘员通过观察由HUD43显示的规定的消息,而能够确认对象物的存在。
由HUD43显示的信息以重叠在车辆前方的现实空间的方式视觉上提示给车辆1的乘客。这样,HUD43作为AR(Augmented Reality,增强现实)显示器发挥作用。
HUD43具备:图像生成单元、和显示由图像生成单元生成的图像的透明屏。在HUD43的描绘方式为激光投影式的情况下,图像生成单元例如具备:以射出激光的方式构成的激光光源、以将从激光光源射出的激光进行偏向的方式构成的光偏向装置、和透镜等光学系部件。激光光源例如是以分别射出红色激光、绿色激光、蓝色激光的方式构成的RGB激光光源。光偏向装置例如是MEMS反射镜。需要说明的是,HUD43的描绘方式可以为DLP(DigitalLight Processing数字光处理)方式或LCOS(Liquid Crystal on Silicon,液晶覆硅)方式。该情况下,使用LED代替激光作为光源。
另外,HUD43可以具备透明屏。该情况下,由图像生成单元生成的图像可以在车辆的前面玻璃上显示。
显示控制部40构成为,对控制照明装置41的驱动进行控制。例如,显示控制部40基于与车辆关联的信息或与车辆的周边环境关联的信息,以射出规定光的方式控制照明装置41。另外,显示控制部40构成为,对路面描绘装置42及HUD43的驱动进行控制。例如,显示控制部40基于与车辆关联的信息或与车辆的周边环境关联的信息,以朝向对象物(其他车辆、步行者等)提示规定的光图案的方式对路面描绘装置42进行控制。另外,显示控制部40基于与车辆关联的信息或与车辆的周边环境关联的信息,以朝向乘客提示规定的消息的方式控制HUD43。
显示控制部40由电子控制单元(ECU)构成,与未图示的电源电连接。电子控制单元包含:包含一个以上处理器及一个以上存储器的计算机系统(例如,SoC等)、由晶体管等有源元件及无源元件构成的模拟处理电路。模拟处理电路具备以对照明装置41的灯的驱动进行控制的方式构成的灯驱动电路(例如,LED驱动程序等)。另外,模拟处理电路包含:以对路面描绘装置42的激光光源的驱动进行控制的方式构成的第一激光光源控制电路、以对路面描绘装置42的光偏向装置的驱动进行控制的方式构成的第一光偏向装置控制电路。另外,模拟处理电路包含:以对HUD43的激光光源的驱动进行控制的方式构成的第二激光光源控制电路、以对HUD43的光偏向装置的驱动进行控制的方式构成的第二光偏向装置控制电路。处理器例如是CPU、MPU、GPU和/或TPU。存储器包含ROM和RAM。另外,计算机系统可以由ASIC、FPGA等非诺依曼型计算机构成。
需要说明的是,在本实施方式中,针对照明装置41、路面描绘装置42及HUD43设置共同的显示控制部40,但也可以针对各自设置个别的显示控制部。另外,在本实施方式中,车辆控制部3和显示控制部40设为个别的结构,但车辆控制部3和显示控制部40也可以一体构成。在这一点上,显示控制部40和车辆控制部3可以由单个电子控制单元构成。该情况下,车辆用显示系统4为也包含车辆控制部3的结构。
例如,显示控制部40的计算机系统基于从车辆控制部3发送的指示信号,特定向车辆外部照射的光图案,在此基础上,将表示该特定的光图案的信号发送至第一激光光源控制电路及第一光偏向装置控制电路。第一激光光源控制电路基于表示光图案的信号,生成用于对激光光源的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至路面描绘装置42的激光光源。另一方面,第一光偏向装置控制电路基于表示光图案的信号,生成用于对光偏向装置的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至路面描绘装置42的光偏向装置。这样,显示控制部40能够对路面描绘装置42的驱动进行控制。
另外,显示控制部40的计算机系统基于从车辆控制部3发送的指示信号,特定在HUD43显示的图像信息(例如,文字、图形的信息),在此基础上,将表示该特定的图像信息的信号发送至第二激光光源控制电路及第二光偏向装置控制电路。第二激光光源控制电路基于表示图像信息的信号,生成对激光光源的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至HUD43的激光光源。另一方面,第二光偏向装置控制电路基于表示图像信息的信号,生成用于控制光偏向装置的驱动的控制信号,在此基础上,将该生成的控制信号发送至HUD43的光偏向装置。这样,显示控制部40能够对HUD43的驱动进行控制。
另外,显示控制部40的计算机系统从车辆控制部3取得用相机6摄像的光图案的摄像图像信息,基于该光图案的摄像图像信息而判定光图案是否因对象物而发生了变化。例如,显示控制部40在判断为摄像图像的光图案的形状与参照用光图案的形状不同的情况下,判定为光图案因对象物而发生了变化。在判定为光图案因对象物而发生了变化的情况下,显示控制部40的计算机系统特定在HUD43上显示的规定的消息的图像信息(例如,文字或图形的信息),在此基础上,将表示该特定的图像信息的信号发送至第二激光光源控制回路及第二光偏向装置控制回路。第二激光光源控制回路基于表示图像信息的信号,生成用于对激光光源的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至HUD43的激光光源。另一方面,第二光偏向装置控制回路基于表示图像信息的信号,生成用于对光偏向装置的驱动进行控制的控制信号,在此基础上,将该生成的控制信号发送至HUD43的光偏向装置。另外,显示控制部40的计算机系统除了基于光图案的摄像图像信息之外,还可以基于车辆信息判定光图案是否因对象物而发生了变化。另外,显示控制部40的计算机系统可以对经过规定时间前以及经过规定时间后的摄像图像的光图案相对于参考用图案的变化的比例进行计算以及比较,基于比较结果更新在HUD43上显示的规定的消息。
接着,主要参照图2到图4B对第一实施方式的显示控制部40的显示控制的一个例子进行说明。图2是用于说明第一实施方式的显示控制部40的显示控制的一个例子的流程图。图3A到图3D是用于说明第一实施方式的路面描绘的一个例子的图。图3A到3D表示从上方观察的情况下的车辆1以及在路面上描绘的光图案M10、M20、M30、M40。图4A以及4B是用于说明第一实施方式的显示于HUD的消息的一个例子的图。
第一实施方式的显示控制部40基于通过相机6对由路面描绘装置42射出的光图案进行摄像而得到的图像,判定光图案是否因对象物(步行者、其他车辆等)而发生了变化。并且,显示控制部40根据判定结果,使规定的消息显示在HUD43上。
如图2所示,在步骤S1中,显示控制部40基于从车辆控制部3取得的周边环境信息等,以朝向路面射出规定的光图案的方式对路面描绘装置42进行控制。图3A到3D表示朝向车辆1的周边的路面射出的光图案的一个例子。例如,图3A表示将车辆1整体连续地包围的光图案M10。作为包围车辆1整体的光图案可以是,如图3B所示的将车辆1整体非连续地包围的光图案M20、或者如图3C所示的将车辆1整体包围的椭圆形的光图案M30。这些包围车辆1整体的光图案用于例如向周围通知暂时停止或出发的消息。朝向车辆1的周边的路面射出的光图案不限于如图3A到图3C所示的包围车辆1整体的光图案。例如可以是,如图3D所示,在车辆1的后方区域描绘的光图案M40。该在车辆1的后方区域描绘的光图案用于例如向周围通知后退的消息。需要说明的是,在路面上描绘的光图案不限于以上的例子。
接着,在步骤S2中,显示控制部40从车辆控制部3取得通过相机6对在路面上描绘的光图案进行摄像而得到的图像数据。
接着,在步骤S3中,显示控制部40基于用相机6摄像而得到的图像数据,判定光图案是否因对象物(步行者、其他车辆等)而发生了变化。例如,在朝向车辆的周边的路面射出光图案的情况下,如果步行者接近车辆,则光图案的至少一部分被步行者的身体的至少一部分遮挡。并且,射出到路面上的光图案的一部分照射到步行者的身体上。其结果是,用相机6摄像而得到的摄像图像的光图案的形状在光图案被步行者遮挡的前后发生变化。显示控制部40从存储器取得参照用光图案,将用相机6摄像的摄像图像的光图案的形状与参照用光图案的形状进行比较。并且,显示控制部40在判断为用相机6摄像的摄像图像的光图案的形状与参照用光图案的形状不同的情况下,判定为光图案因对象物而发生了变化。需要说明的是,参照用光图案可以不存储于显示控制部40的存储器,而存储于存储装置11,显示控制部40可以经由车辆控制部3取得参照用光图案。
作为参照用光图案,例如可以是在车辆出货前通过将各个光图案照射到试验用的路面上并进行摄像而得到的摄像图像的光图案。另外,可以将在射出新的光图案之时最先进行摄像的光图案的摄像图像作为参照用光图案。另外,还可以在每当用相机6进行摄像时存储于存储器,将刚刚得到的摄像图像的光图案作为参照用光图案。
在步骤S3中判定为光图案因对象物而发生了变化的情况下(步骤S3的YES),在步骤S4中,显示控制部40以显示规定的消息的方式控制HUD43。在步骤S3中,可以在判定为光图案没有因对象物变化的情况下(步骤S3的NO),显示控制部40返回至步骤S2的控制。
在步骤S4中显示的消息例如是如图4A所示,由表示警告的文字(WARNING!)的CG图像、和作为对象物信息的表示对象物的属性及位置的文字(步行者左斜后方)的CG图像构成。需要说明的是,在HUD43上显示的消息不限于图4A的构成。例如,如图4B所示,作为对象物信息,可以由表示本车辆和对象物的属性及位置的CG图像构成。另外,消息可以是,仅表示对象物存在于照射了光图案的区域的消息。
另外,直到经过规定的时间为止,可以在HUD43上显示消息。另外,可以通过由HMI8的输入部等进行的乘员的操作而不显示消息。另外,继续取得通过相机摄像的图像数据以及继续判定光图案的变化而直到光图案不再因对象物而发生变化(直到遮挡光图案的对象物远离等)为止,可以显示消息。
这样,显示控制部40基于通过相机6对由路面描绘装置42射出的光图案进行摄像而得到的图像,判定光图案是否因对象物而发生了变化。并且,显示控制部40根据判定结果,以朝向车辆的乘员显示规定的消息的方式控制HUD43。由此,例如,在光图案因对象物的存在而发生了变化的情况下,能够向乘员通知对象物的存在。
另外,在光图案射出到车辆的周边的路面上的情况下,乘员能够通过光图案的变化认识到在车辆的周边存在的对象物。例如,如图3A至3C所示,在为将车辆的周边包围的光图案的情况下,乘员能够认识到对象物存在于光图案发生了变化的地方。另外,如图3D所示,在为朝向车辆的后方区域射出的光图案的情况下,能够认识到在从视角脱离的后方区域存在的对象物。
(第二实施方式)
接着,主要参照图5对本发明的第二实施方式(以下,称为第二实施方式。)的显示控制部40的显示控制的一个例子进行说明。图5是用于说明本发明的第二实施方式的显示控制部的显示控制的一个例子的流程图。需要说明的是,在第二实施方式的说明中,为了说明方便,对具有与在第一实施方式的说明中已说明的部件相同的参照标记的部件省略说明。
第一实施方式的显示控制部40将通过相机6对由路面描绘装置42射出的光图案进行摄像而得到的摄像图像的光图案、与参照用光图案进行比较,基于比较结果,判定光图案是否因对象物而发生了变化。对此,第二实施方式的显示控制部40在基于比较结果判断为用相机6摄像而得到的摄像图像的光图案与参照用光图案不同的情况下,基于车辆的信息来判断该原因是对象物(步行者、其他车辆等)还是其他原因。并且,显示控制部40基于判断结果,判定光图案是否因对象物而发生了变化。车辆的信息包含车辆的走行信息以及车辆的周边环境信息。另外,其他原因例如是道路的形状(凸凹等)。
本实施方式中,对如下情况进行说明,即,显示控制部40在判断为用相机6摄像而得到的摄像图像的光图案与参照用光图案不同、且车辆为停止中的情况下,判定为光图案因对象物而发生了变化。
如图5所示,在步骤S11中,显示控制部40基于从车辆控制部3取得的周边环境信息等,以朝向路面射出规定的光图案的方式控制路面描绘装置42。例如,在路面上描绘如图3A~3D所示的光图案。
接着,在步骤S12中,显示控制部40从车辆控制部3取得通过相机6对在路面上描绘的光图案进行摄像而得到的图像数据。
接着,在步骤S13中,显示控制部40基于用相机6摄像而得到的图像数据,判定光图案是否发生了变化。例如,显示控制部40从存储器取得参照用光图案,对用相机6摄像的摄像图像的光图案的形状与参照用光图案的形状进行比较。并且,显示控制部40在判断为用相机6摄像的摄像图像的光图案的形状与参照用光图案的形状不同的情况下,判定为光图案发生了变化。
在步骤S13中,在判定为光图案发生了变化的情况下(步骤S13的YES),在步骤S14中,显示控制部40判断车辆是否为停止中。例如,显示控制部40从车辆控制部3获取车辆的信息,在光图案发生了变化时,判断车辆是否为停止中。在当光图案发生了变化时车辆为停止中的情况下,在步骤S15中,显示控制部40判定光图案的变化是由对象物引起的。并且,在步骤S16中,显示控制部40以显示如图4A、图4B所示的规定的消息的方式控制HUD43。
在步骤S13中,在判定为光图案未变化的情况下(步骤S13的NO),显示控制部40返回到步骤S12的控制。另外,在步骤S14中,在判断为车辆不在停止中的情况下(步骤S14的NO),显示控制部40判断光图案的变化不是由对象物引起的,而是由其他原因引起的,例如,由道路的形状等引起的,返回到步骤S12的控制。
这样,显示控制部40基于通过相机6对由路面描绘装置42射出的光图案进行摄像而得到的图像以及车辆的信息,判定光图案是否因对象物而发生了变化。在路面上描绘的光图案不只因对象物发生变化,也因道路的形状等发生变化。由此,能够更加正确地判定光图案的变化是否是由对象物引起的变化。
需要说明的是,在本实施方式中,在步骤S14中,根据车辆是否为停止中,判断光图案的变化是否是由对象物引起的,但不限于此。例如,即使是在行驶中,也可以获取车辆的周边环境信息(例如,道路信息),并基于道路信息,判断图案变化是否是由对象物引起的。
(第三实施方式)
接着,主要参照图6对本发明的第三实施方式(以下,称为第三实施方式。)的显示控制部40的显示控制的一个例子进行说明。图6是用于说明第三实施方式的显示控制部的显示控制的一个例子的流程图。需要说明的是,在第三实施方式的说明中,为了说明方便,对具有与在第一以及第二实施方式的说明中已说明的部件相同的参照标记的部件省略说明。
在判定为光图案因对象物(步行者、其他车辆等)而发生了变化的情况下,第一以及第二实施方式的显示控制部40在HUD43上显示规定的消息。对此,第三实施方式的显示控制部40在使规定的消息显示于HUD43之后,基于对象物的移动方向更新消息,并将更新后的消息显示在HUD43上。
在本实施方式中,对显示控制部40基于摄像图像的光图案相对于参照用光图案的变化的比例来判断对象物的移动方向的情况进行说明。
如图6所示,在步骤S21中,显示控制部40基于从车辆控制部3取得的周边环境信息等,以朝向路面射出规定的光图案的方式控制路面描绘装置42。接着,在步骤S22中,显示控制部40从车辆控制部3取得通过相机6对在路面上描绘的光图案进行摄像而得到的图像数据。接着,在步骤S23中,显示控制部40基于用相机6摄像而得到的图像数据,判定光图案是否因对象物而发生了变化。
在步骤S23中,在判定为光图案发生了变化的情况下(步骤S23的YES),在步骤S24中,显示控制部40以显示例如如图4A以及图4B所示的规定的消息的方式控制HUD43。在步骤S23中,在判定为光图案未变化的情况下(步骤S23的NO),显示控制部40返回到步骤S22的控制。从步骤S21到S24,除了在步骤S23中进行下述追加的处理以外,与第一实施方式的步骤S1到S4相同,因此,省略详细的说明。
在本实施方式中,在步骤S23中,显示控制部40计算摄像图像的光图案相对于参照用光图案的变化的比例(以下,称为摄像图像的光图案的变化的比例。),并存储于显示控制部40的存储器。需要说明的是,摄像图像的光图案的变化的比例也可以存储于存储装置11。
接着,在步骤S25中,显示控制部40从车辆控制部3取得通过相机6对经过规定时间后在路面上描绘的光图案进行摄像而得到的图像数据。
在步骤S26中,显示控制部40计算经过规定时间后的摄像图像的光图案的变化的比例,比较经过规定时间后的摄像图像的光图案的变化的比例、和存储于显示控制部40的存储器的经过规定时间前的摄像图像的光图案的变化的比例。显示控制部40在判断为经过规定时间后的摄像图像的光图案的变化的比例比经过规定时间前的摄像图像的光图案的变化的比例大的情况下(步骤S26的YES),判断对象物接近车辆。并且,在步骤S27中,显示控制部40将显示在HUD43上的对象物信息的消息更新并显示为对象物接近中的消息,并使其显示在HUD43上。
在步骤S26中,在判断为经过规定时间后的摄像图像的光图案的变化的比例比经过规定时间前的摄像图像的光图案的变化的比例小或者是相等的情况下(步骤S26的NO),显示控制部40使在HUD43上显示的对象物信息的消息保持不变地继续显示。需要说明的是,在步骤S26中,显示控制部40在判断为经过规定时间后的摄像图像的光图案的变化的比例比经过规定时间前的摄像图像的光图案的变化的比例小的情况下,可以使“对象物离开”的消息更新并显示在HUD43上。
这样,显示控制部40基于通过相机6对由路面描绘装置42射出的光图案进行摄像而得到的图像,判定光图案是否因对象物而发生了变化。并且,显示控制部40根据判定结果,以朝向车辆的乘员显示规定的消息的方式控制HUD43。由此,例如,在光图案因对象物的存在而发生了变化的情况下,能够相乘员通知对象物的存在。
另外,显示控制部40对经过规定时间前及经过规定时间后被摄像的摄像图像的光图案的变化的比例进行计算并比较。并且,显示控制部40基于比较结果,更新在HUD43上显示的消息。由此,车辆的乘员能够确认对象物的移动方向。
需要说明的是,在本实施方式中,与第一实施方式一样地,基于通过相机6对射出到路面上的光图案进行摄像而得到的图像,判定光图案是否因对象物而发生了变化,但不限于此。例如,与第二实施方式一样地,可以基于通过相机6对射出到路面上的光图案进行摄像而得到的图像以及车辆的信息,判定光图案是否因对象物而发生了变化。
另外,在本实施方式中,基于经过规定时间前以及经过规定时间后的摄像图像的光图案的变化的比例来判断对象物的移动方向,但不限于此。
以上,虽然对本发明的实施方式进行了说明,但理所应当的是,本发明的技术范围不应根据本实施方式的说明进行限定性解释。本实施方式只是一个例子,本领域技术人员应该理解的一点是,在权利要求的范围记载的发明的范围内,能够进行各种实施方式的变更。本发明的技术范围应基于在权利要求的范围记载的发明范围及其均等的范围而确定的。
另外,在上述本实施方式中,使规定的消息显示在HUD上,但不限于此。例如,在车辆具备车辆导航系统(未图示)的情况下,可以将表示规定的消息的图像显示在车辆导航系统的画面上。
另外,在上述本实施方式中,视觉上显示规定的消息,但不限于此。也可以听觉上显示规定的消息。例如,可以从在车辆的内部设置的音输出装置(例如,扬声器等)输出规定的报知音。可以从HUD或车辆导航系统的扬声器输出报知音。
Claims (16)
1.一种车辆用显示系统,其为在车辆设置的车辆用显示系统,所述车辆用显示系统的特征在于,
所述车辆用显示系统具备:
第一显示装置,其构成为朝向所述车辆的外部的路面射出光图案;
第二显示装置,其构成为位于所述车辆的内部,并对表示从上面观察的所述光图案的图像进行显示。
2.根据权利要求1所述的车辆用灯具,其特征在于,
所述表示从上面观察的光图案的图像为,通过利用设于所述车辆的至少一个相机对所述光图案进行摄像而得到的图像。
3.根据权利要求1所述的车辆用灯具,其特征在于,
所述表示从上面观察的光图案的图像为,表示假想地从上面观察所述光图案的假想对象的计算机图形图像。
4.根据权利要求1~3中的任一项所述的车辆用显示系统,其特征在于,
所述第二显示装置对表示假想地从上面观察所述车辆的假想对象的计算机图形图像进行显示。
5.根据权利要求1~3中的任一项所述的车辆用显示系统,其特征在于,
所述光图案包含朝向所述车辆外部的对象物的光图案,
所述第二显示装置对表示所述对象物的假想对象的计算机图形图像进行显示。
6.一种车辆,其特征在于,
具备根据权利要求1~5中的任一项所述的车辆用显示系统。
7.一种车辆用显示系统,其为在车辆设置的车辆用显示系统,所述车辆用显示系统的特征在于,
该车辆用显示系统具备:
第一显示装置,其构成为朝向所述车辆外部的路面射出光图案;
判定部,其构成为基于对由所述第一显示装置射出的光图案进行摄像而得到的图像,判定所述光图案是否因对象物而发生了变化;
输出部,其构成为根据所述判定部的判定结果,而朝向所述车辆的乘员输出规定的消息。
8.根据权利要求7所述的车辆用显示系统,其特征在于,
所述第一显示装置构成为,朝向所述车辆的周边的路面射出所述光图案。
9.根据权利要求8所述的车辆用显示系统,其特征在于,
所述光图案为包围车辆的周边的光图案。
10.根据权利要求7或8所述的车辆用显示系统,其特征在于,
所述光图案为射出到车辆的后方区域的光图案。
11.根据权利要求7~10中的任一项所述的车辆用显示系统,其特征在于,
所述输出部位于所述车辆的内部,并具备以显示所述车辆的信息的方式构成的第二显示装置,
所述规定的消息显示于所述第二显示装置。
12.根据权利要求7~10中的任一项所述的车辆用显示系统,其特征在于,
所述输出部位于所述车辆的内部,并具备输出规定的报知音的音输出装置,
所述规定的消息作为报知音从所述音输出装置输出。
13.根据权利要求11所述的车辆用显示系统,其特征在于,
所述第二显示装置构成为,将所述规定的消息作为报知音输出。
14.根据权利要求7所述的车辆用显示系统,其特征在于,
所述判定部基于对由所述第一显示装置射出的光图案进行摄像而得到的图像以及所述车辆的信息,判定所述光图案是否因所述对象物而发生了变化。
15.根据权利要求7所述的车辆用显示系统,其特征在于,
所述判定部基于在经过规定时间前进行摄像而得到的所述光图案的图像,计算该摄像图像的光图案相对于参照用光图案的变化的比例,基于在经过规定时间后进行摄像而得到的所述光图案的图像,计算该摄像图像的光图案相对于所述参照用光图案的变化的比例,比较经过所述规定时间前及经过所述规定时间后被摄像的所述摄像图像的光图案相对于所述参照用光图案的所述变化的比例,
所述输出部根据所述判定部的比较结果,而朝向所述车辆的乘员更新并输出规定的消息。
16.一种车辆,其特征在于,具备:
根据权利要求7~15中的任一项所述的车辆用显示系统;
至少一个相机,其构成为,对由所述第一显示装置射出的光图案进行摄像。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-152959 | 2018-08-15 | ||
JP2018152959 | 2018-08-15 | ||
JP2018-152958 | 2018-08-15 | ||
JP2018152958 | 2018-08-15 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110834583A true CN110834583A (zh) | 2020-02-25 |
CN110834583B CN110834583B (zh) | 2023-05-12 |
Family
ID=69525538
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910733077.2A Active CN110834583B (zh) | 2018-08-15 | 2019-08-09 | 车辆用显示系统及车辆 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11584298B2 (zh) |
JP (1) | JP7309724B2 (zh) |
CN (1) | CN110834583B (zh) |
WO (1) | WO2020036108A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3858668B1 (en) * | 2018-09-28 | 2024-03-20 | Koito Manufacturing Co., Ltd. | Lamp system |
CN115151444A (zh) * | 2020-02-17 | 2022-10-04 | 株式会社小糸制作所 | 灯具系统 |
JP7517161B2 (ja) * | 2021-01-15 | 2024-07-17 | オムロン株式会社 | 情報提示システム、端末装置およびプログラム |
JP2023014606A (ja) * | 2021-07-19 | 2023-01-31 | 株式会社小糸製作所 | 車両の制御装置 |
JP2023021484A (ja) * | 2021-08-02 | 2023-02-14 | 株式会社小糸製作所 | 車両の表示装置 |
JP7487714B2 (ja) * | 2021-08-31 | 2024-05-21 | トヨタ自動車株式会社 | 表示制御装置、表示システム、表示方法及び表示プログラム |
WO2023171700A1 (ja) * | 2022-03-09 | 2023-09-14 | 株式会社小糸製作所 | 路面描画装置 |
US20230349109A1 (en) * | 2022-04-27 | 2023-11-02 | Caterpillar Paving Products Inc. | System and method for controlling alignment of machines during operations |
US20240064273A1 (en) * | 2022-08-17 | 2024-02-22 | Honeywell International Inc. | System gateway analysis |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003231450A (ja) * | 2002-02-07 | 2003-08-19 | Toyota Motor Corp | 移動体用安全装置 |
JP2005297863A (ja) * | 2004-04-14 | 2005-10-27 | Bunpei Sono | 自動車の安全システム |
JP2006244143A (ja) * | 2005-03-03 | 2006-09-14 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
JP2011105084A (ja) * | 2009-11-16 | 2011-06-02 | Fujitsu Ten Ltd | 車載照明装置、画像処理装置及び画像表示システム |
CN102149574A (zh) * | 2008-09-12 | 2011-08-10 | 株式会社东芝 | 图像照射系统及图像照射方法 |
US20170253177A1 (en) * | 2016-03-07 | 2017-09-07 | Toyota Jidosha Kabushiki Kaisha | Vehicle lighting system |
JP2017159698A (ja) * | 2016-03-07 | 2017-09-14 | トヨタ自動車株式会社 | 車両用照明装置 |
CN107264399A (zh) * | 2016-03-31 | 2017-10-20 | 株式会社斯巴鲁 | 车辆周围监视装置 |
CN107380056A (zh) * | 2016-05-16 | 2017-11-24 | Lg电子株式会社 | 车辆用照明装置以及车辆 |
CN211032356U (zh) * | 2018-08-15 | 2020-07-17 | 株式会社小糸制作所 | 车辆用显示系统及车辆 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2816264B1 (fr) * | 2000-11-09 | 2003-02-21 | Thomas Bleiner | Dispositif de signalisation visuelle adaptable a un vehicule |
DE102012206691A1 (de) * | 2012-04-24 | 2013-10-24 | Zumtobel Lighting Gmbh | Straßen- und Wegbeleuchtungssystem |
EP2740632A1 (en) * | 2012-12-07 | 2014-06-11 | Urs Nüssli | Lateral rearview mirror system for a vehicle, method for projecting an image to the environment of the vehicle and corresponding application program product |
JP6746270B2 (ja) | 2014-09-08 | 2020-08-26 | 株式会社小糸製作所 | 車両用表示システム |
JP6277999B2 (ja) * | 2015-05-21 | 2018-02-14 | 株式会社デンソー | 運転アシスト制御装置及び運転アシスト制御方法 |
JP6593803B2 (ja) * | 2017-03-10 | 2019-10-23 | 株式会社Subaru | 画像表示装置 |
TWI657409B (zh) * | 2017-12-27 | 2019-04-21 | 財團法人工業技術研究院 | 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法 |
-
2019
- 2019-08-07 US US17/268,576 patent/US11584298B2/en active Active
- 2019-08-07 WO PCT/JP2019/031121 patent/WO2020036108A1/ja active Application Filing
- 2019-08-07 JP JP2020537428A patent/JP7309724B2/ja active Active
- 2019-08-09 CN CN201910733077.2A patent/CN110834583B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003231450A (ja) * | 2002-02-07 | 2003-08-19 | Toyota Motor Corp | 移動体用安全装置 |
JP2005297863A (ja) * | 2004-04-14 | 2005-10-27 | Bunpei Sono | 自動車の安全システム |
JP2006244143A (ja) * | 2005-03-03 | 2006-09-14 | Aisin Aw Co Ltd | 運転支援方法及び運転支援装置 |
CN102149574A (zh) * | 2008-09-12 | 2011-08-10 | 株式会社东芝 | 图像照射系统及图像照射方法 |
JP2011105084A (ja) * | 2009-11-16 | 2011-06-02 | Fujitsu Ten Ltd | 車載照明装置、画像処理装置及び画像表示システム |
US20170253177A1 (en) * | 2016-03-07 | 2017-09-07 | Toyota Jidosha Kabushiki Kaisha | Vehicle lighting system |
JP2017159698A (ja) * | 2016-03-07 | 2017-09-14 | トヨタ自動車株式会社 | 車両用照明装置 |
CN107264399A (zh) * | 2016-03-31 | 2017-10-20 | 株式会社斯巴鲁 | 车辆周围监视装置 |
CN107380056A (zh) * | 2016-05-16 | 2017-11-24 | Lg电子株式会社 | 车辆用照明装置以及车辆 |
CN211032356U (zh) * | 2018-08-15 | 2020-07-17 | 株式会社小糸制作所 | 车辆用显示系统及车辆 |
Also Published As
Publication number | Publication date |
---|---|
WO2020036108A1 (ja) | 2020-02-20 |
JP7309724B2 (ja) | 2023-07-18 |
US11584298B2 (en) | 2023-02-21 |
US20210162927A1 (en) | 2021-06-03 |
CN110834583B (zh) | 2023-05-12 |
JPWO2020036108A1 (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110834583B (zh) | 车辆用显示系统及车辆 | |
US10602331B2 (en) | Inter-vehicle communication system, vehicle system, vehicle illumination system and vehicle | |
CN110803019B (zh) | 车辆用显示系统及车辆 | |
CN110803100B (zh) | 车辆用显示系统以及车辆 | |
JP7470230B2 (ja) | 車両用表示システム、車両システム及び車両 | |
US12083957B2 (en) | Vehicle display system and vehicle | |
CN114302828A (zh) | 车辆用显示系统及车辆 | |
CN211032356U (zh) | 车辆用显示系统及车辆 | |
JP2021037916A (ja) | 表示制御装置及び表示制御プログラム | |
JP2023141162A (ja) | 画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |