CN115086623A - 车载投影系统的投影方法、装置、存储介质及电子设备 - Google Patents
车载投影系统的投影方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN115086623A CN115086623A CN202110277916.1A CN202110277916A CN115086623A CN 115086623 A CN115086623 A CN 115086623A CN 202110277916 A CN202110277916 A CN 202110277916A CN 115086623 A CN115086623 A CN 115086623A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- projection
- image
- module
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000003190 augmentative effect Effects 0.000 claims abstract description 51
- 238000004891 communication Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 7
- 230000000875 corresponding effect Effects 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 230000009471 action Effects 0.000 claims description 6
- 230000015572 biosynthetic process Effects 0.000 claims description 6
- 238000003786 synthesis reaction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000008447 perception Effects 0.000 abstract description 10
- 230000000007 visual effect Effects 0.000 abstract description 7
- 230000003993 interaction Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 239000005441 aurora Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0816—Indicating performance data, e.g. occurrence of a malfunction
- G07C5/0825—Indicating performance data, e.g. occurrence of a malfunction using optical means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Instrument Panels (AREA)
Abstract
本公开涉及一种车载投影系统的投影方法、装置、存储介质及电子设备，解决现有车辆的多媒体显示模块不能满足不同用户的视觉需求的技术问题。本方法包括：基于车辆上的图像采集模块获取真实环境图像；获取所述车辆的状态数据，所述状态数据包括通过车载远程通信盒子从汽车远程服务器获取到的云端状态分析数据、以及通过V2X终端获取到的V2X检测状态数据；根据所述状态数据生成虚拟状态显示图像；将所述虚拟状态显示图像叠加在所述真实环境图像上得到增强现实场景图像。通过投影模组将所述增强现实场景图像投影到车辆内部的投影面上进行展示。利用增强现实技术实现全息投影，增加了用户对车辆状态和外界信息的感知，降低了安全事故发生的机率。
Description
技术领域
本公开涉及车辆系统领域，具体地，涉及一种车载投影系统的投影方法、装置、存储介质及电子设备。
背景技术
伴随着5G技术的发展，智能网联汽车技术的兴起，汽车娱乐的需求不断增加，如多屏交互、大屏显示、增强现实显示、健康安全实时报警，以及将显示内容实时投射到驾驶员希望显示的位置等。
现有车辆上的多媒体显示模块，并不能随着用户视觉需求做出变化，在用户使用车辆上的多媒体显示模块时，需要用户低头在多媒体显示模块上进行操作，且多媒体显示模块的显示的位置，以及显示范围固定不能满足不同用户的视觉需求。
发明内容
本公开的目的是提供一种车载投影系统的投影方法、装置、存储介质及电子设备，解决现有车辆的多媒体显示模块不能满足不同用户的视觉需求的技术问题。
为了实现上述目的，根据本公开实施例的第一方面，本公开提供一种车载投影系统的投影方法，所述方法包括：
基于车辆上的图像采集模块获取真实环境图像；
获取所述车辆的状态数据，所述状态数据包括通过车载远程通信盒子从汽车远程服务器获取到的云端状态分析数据、以及通过V2X终端获取到的V2X检测状态数据；
根据所述状态数据生成虚拟状态显示图像；
将所述虚拟状态显示图像叠加在所述真实环境图像上得到增强现实场景图像；
通过投影模组将所述增强现实场景图像投影到车辆内部的投影面上进行展示。
可选的，所述方法还包括：
从与所述车辆关联的移动终端获取终端数据；
通过所述投影模组将所述终端数据投影到车辆内部的投影面上进行展示。
可选的，所述方法还包括：
所述移动终端包括驾驶员穿戴的智能穿戴设备，所述终端数据包括：心跳检测数据、皮肤温度数据、疲劳驾驶检测数据中的一者或多者。
可选的，所述根据所述状态数据生成虚拟状态显示图像，包括：
判断所述状态数据是否满足预设的预警条件，所述预警条件包括以下的一者或多者：紧急制动预警条件、超车预警条件、变道预警条件、交叉路口预警条件、车辆失控预警条件、紧急车辆优先预警条件；
在所述状态数据满足所述预警条件的情况下，生成对应的预警提醒图像，所述虚拟状态显示图像包括所述预警提醒图像。
可选的，所述方法还包括：
响应于传感器检测到用户的虚拟输入操作，根据所述虚拟输入操作执行相应的动作，所述虚拟输入操作包括手势操作，和/或用户针对虚拟键盘的输入操作。
可选的，所述方法还包括：
根据车载音响设备采集用户的语音；
对所述语音解析，得到语音指令，并执行所述语音指令对应的动作。
可选的，所述车载音响设备与智能家居设备相关联，相应地，执行所述语音指令对应的动作包括：
执行所述语音指令控制所述智能家居设备执行对应的动作；
所述方法还包括：
接收所述智能家居设备发送的反馈信息，通过所述投影模组将所述反馈信息投影到车辆内部的投影面上进行展示。
可选地，所述状态数据还包括以下中的一者或多者：通过传感器模组获取到的传感器数据、导航数据、空调状态数据、多媒体数据；
所述传感器模组包括加速度计、陀螺仪、指南针中的一者或多者。
可选的，所述车辆内部的投影面包括以下一者或多者：挡风玻璃、车窗、车顶、座椅靠背。
根据本公开实施例的第二方面，本公开提供一种车载投影系统，所述系统包括：
增强现实模块、V2X终端、车载远程通信盒子、传感器模组、图像采集模块；所述V2X终端、所述车载远程通信盒子、所述传感器模组、所述图像采集模块均与所述增强现实模块连接；
其中，所述车载远程通信盒子用于与汽车远程服务器通信；
所述增强现实模块用于，通过所述图像采集模块获取真实环境图像，并基于从所述车载远程通信盒子、所述传感器模组、所述V2X终端获取到的状态数据生成虚拟状态显示图像；
通过图像合成处理器将所述虚拟状态显示图像叠加在所述真实环境图像上得到增强现实场景图像，并通过投影模组将所述增强现实场景图像投影到车辆内部的投影面进行展示。
根据本公开实施例的第三方面，本公开提供一种计算机可读存储介质，该计算机程序被处理器执行时实现第一方面所述的车载投影系统的投影方法的步骤。
根据本公开实施例的第四方面，本公开提供一种电子设备，所述电子设备包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面所述的车载投影系统的投影方法的步骤。
通过上述技术方案，本公开的实施例提供的技术方案可以包括以下有益效果：本公开基于车辆上的图像采集模块获取真实环境图像；获取车辆的状态数据，根据状态数据生成虚拟状态显示图像；将虚拟状态显示图像叠加在真实环境图像上得到增强现实场景图像；通过投影模组将增强现实场景图像投影到车辆内部的投影面上进行展示。利用增强现实技术实现全息投影，增加了用户对车辆状态和外界信息的感知，降低了安全事故发生的机率，避免用户在使用多媒体显示模块时需低头操作，驾驶员注意力分散，提高了驾驶的安全性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1是根据一示例性实施例示出的一种车载投影系统的投影方法的流程图。
图2是根据一示例性实施例示出的一种车载投影系统与移动终端和智能家居设备通信连接的示意图。
图3是根据一示例性实施例示出的一种车载投影系统的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
附图标记说明
车载投影系统20 移动终端30 智能家居设备40
增强现实模块201 V2X终端202 车载远程通信盒子203
传感器模组204 图像采集模块205 图像合成处理器206
投影模组207
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
需要说明的是，在本公开中，说明书和权利要求书以及附图中的术语“S101”、“S102”等用于区别步骤，而不必理解为按照特定的顺序或先后次序执行方法步骤。
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
在介绍本公开实施例提供的一种车载投影系统的投影方法、装置、存储介质及电子设备之前，首先对本公开的应用场景进行介绍，本公开提供的车载投影系统的投影方法可以应用于车辆。
伴随着5G技术的发展，智能网联汽车技术的兴起，汽车娱乐的需求不断增加，如多屏交互、大屏显示、增强现实显示、健康安全实时报警，以及将显示内容实时投射到驾驶员希望显示的位置等。
但现有车辆上的多媒体显示模块存在多种安装方式，如内嵌、悬浮、旋转、翻盖等，屏幕尺寸不同，如5寸、7寸、10.4寸等，即多媒体显示模块的显示的位置固定，显示范围固定，现有车辆的多媒体显示模块并不能随着用户视觉需求做出变化，在用户使用车辆上的多媒体显示模块时，需要用户低头在多媒体显示模块上进行操作，使得现有车辆不能满足不同用户的视觉需求。若车厂对不同的配置的车辆不断的开发新的平台，会导致开发周期增长，开发成本增加，使得用户购买车辆的成本随之增加，且随着用户需求的变化，同一种配置车辆的多媒体显示模块并不能长时间满足用户的视觉需求。
为了解决上述技术问题，本公开提供一种车载投影系统的投影方法，以该方法应用于车辆为例，图1是根据一示例性实施例示出的一种车载投影系统的投影方法的流程图，如图1所示，该方法包括以下步骤。
在步骤S101中，基于车辆上的图像采集模块205获取真实环境图像。
在步骤S102中，获取车辆的状态数据，状态数据包括通过车载远程通信盒子203从汽车远程服务器获取到的云端状态分析数据、以及通过V2X(Vehicle To Everything，车用无线通信技术)终端202获取到的V2X检测状态数据。
在步骤S103中，根据状态数据生成虚拟状态显示图像。
在步骤S104中，将虚拟状态显示图像叠加在真实环境图像上得到增强现实场景图像。
在步骤S105中，通过投影模组207将增强现实场景图像投影到车辆内部的投影面上进行展示。
本公开的车载投影系统的投影方法通过车辆上的图像采集模块获取真实环境图像；获取车辆的状态数据，根据状态数据生成虚拟状态显示图像；将虚拟状态显示图像叠加在真实环境图像上得到增强现实场景图像；通过投影模组将增强现实场景图像投影到车辆内部的投影面上进行展示。利用增强现实技术实现全息投影，增加了用户对车辆状态和外界信息的感知，降低了安全事故发生的机率，无需用户低头操作车载投影系统，避免了驾驶员注意力分散，提高了驾驶员对危险的感知力，提高了驾驶的安全性。
具体的，在步骤S101中，图像采集模块205可以为摄像机，本公开对此不作具体限定。
可选的，在步骤S102中，状态数据还可以包括以下中的一者或多者：
通过传感器模组204获取到的传感器数据、导航数据、空调状态数据、多媒体数据；
传感器模组204包括加速度计、陀螺仪、指南针中的一者或多者。
其中，加速度计可以获取车辆行驶的加速度，陀螺仪可以获取车辆行驶的转弯数据，指南针可以获取车辆的行驶方向，本公开对加速度计、陀螺仪、指南针的具体型号不作具体限定。
具体的，在步骤S102中，车载远程通信盒子203具体可以为TBOX(远程信息处理器，Telematics BOX)；汽车远程服务器具体可以为TSP服务器(车载信息服务供应商，Telematics Service Provider)。本公开对此不作具体限定。
其中，5G/4G-TBOX用于和后台系统/手机APP通信，实现手机APP的车辆信息显示与控制；TSP集合了位置服务、Gis(Geographic Information Science，地理信息科学)服务和通信服务等现代计算机技术，可以为车主和个人提供强大的服务，如导航、娱乐、资讯、安防、SNS(Social Networking Services，社交网络服务)、远程保养等，实现了车云交互；V2X终端202是用于车辆对外界的信息交换，使得车与车、车与基站、基站与基站之间能够通信。从而使得车载投影系统20可获得实时路况、道路信息、行人信息等一系列交通信息，从而提高驾驶安全性、减少拥堵、提高交通效率、提供车载娱乐信息等，实现了车车交互、车物交互。
举例说明，V2X终端202设置在交通信号灯上时，车载投影系统20可以获取交通信号灯的信号灯状态；V2X终端202设置在其他车辆上时，车载投影系统20获取其他车辆的行驶车速、行驶方向等；V2X终端202设置在道路的监控设备上时，车载投影系统20可以获取该条道路上的道路信息，如道路指示标志、路况信息、行人的移动状态以及车辆移动状态等。
具体的，云端状态分析数据获取的方式可以包括：车辆的各类控制器将各自的状态数据发送到TSP，TSP根据接收到的状态数据分析车辆状态，如加速行驶状态、减速行驶状态、车辆转弯状态等，得到云端状态分析数据，车载投影系统20通过5G/4G-TBOX从TSP上获取云端状态分析数据。
具体的，车辆的各类控制器包括：VCU(Vehicle Control Unit，整车控制器)、HCU(Hybrid Control Unit，混合动力控制器)、TCU(Transmission Control Unit，自动变速箱控制器)、MCU(Micro Controller Uni，微控制单元)等。
举例说明，车辆处于80km/h匀速行驶的状态，VCU将它采集到的车辆的加速踏板信号、制动踏板信号及其他部件信号，以及车辆当前的驱动力矩、制动能量的优化、整车的能量、CAN网络状态等状态数据发送给TSP，TSP根据接收到的状态数据分析车辆状态，得到车辆当前处于80km/h匀速行驶的状态，车载投影系统20通过5G/4G-TBOX从TSP上获取车辆的加速踏板信号、制动踏板信号及其他部件信号，以及车辆当前的驱动力矩、制动能量的优化、整车的能量、CAN网络状态等状态数据。
具体的，在与车辆蓝牙连接的手机上的导航应用处于工作状态，车载投影系统20将手机上的导航界面投影在车辆内的投影面上的情况下，车载投影系统20根据通过V2X终端202获取到的道路指示标志、路况信息、行人的移动状态以及车辆移动状态等信息对投影面上的导航界面进行优化。
例如，在获取到前方道路因山体滑坡无法通行的路况信息时，手机上的导航应用重新规划路线，车载投影系统20对投影面上的原有导航界面进行优化得到重新规划路线后的导航界面，和/或弹出信息提醒驾驶员前方道路发生山体滑坡。例如，在获取到前方有车辆正在向我方行驶，且前方道路即将转弯时，车载投影系统20对投影面上的原有导航界面进行优化得到包含前方车辆以及道路转弯的导航界面，和/或弹出信息提醒驾驶员即将进入弯道、前方来车。
可选的，在步骤S103中，根据状态数据生成虚拟状态显示图像，可以包括：
判断状态数据是否满足预设的预警条件，预警条件包括以下的一者或多者：紧急制动预警条件、超车预警条件、变道预警条件、交叉路口预警条件、车辆失控预警条件、紧急车辆优先预警条件；
在状态数据满足预警条件的情况下，生成对应的预警提醒图像，虚拟状态显示图像包括所述预警提醒图像。
具体的，紧急制动预警条件、超车预警条件、变道预警条件、交叉路口预警条件、车辆失控预警条件、紧急车辆优先预警条件可以根据实际驾驶场景进行预设，本公开对此不作具体限定。
具体的，在步骤S104中，通过图像合成处理器206将虚拟状态显示图像叠加在真实环境图像上以得到增强现实场景图像。
举例说明，车载投影系统20在状态数据满足交叉路口预警条件的情况下，根据状态数据生成包括交叉路口的虚拟状态显示图像，通过图像合成处理器206将虚拟状态显示图像叠加在真实环境图像上，得到对应交叉路口预警条件的增强现实场景图像，并通过投影模组207将该增强现实场景图像投影到车辆内部的投影面上进行展示。
可选的，在步骤S105中，车辆内部的投影面包括以下一者或多者：挡风玻璃、车窗、车顶、座椅靠背；车辆内部的投影面还可以为空气显示屏。本公开对此不作限定。
具体的，车辆内部的投影面支持追踪和感应手指操作。
具体的，本公开中采用增强型全息投影，可以将任意空间和平面作为可触摸的空气显示屏。空气显示屏可根据用户的使用习惯在车内空间的任意位置进行空间投影，实现了全息投影。
具体的，车载投影系统20还可以根据用户的历史投影信息对当前投影界面进行优化，以使投影界面符合用户使用习惯。例如，在驾驶员多次投影均以车辆内部的挡风玻璃作为投影面，以对增强现实图像进行展示，则车载投影系统20在投影过程中默认车辆内部的挡风玻璃为投影面；在驾驶员多次投影均以车辆内部的挡风玻璃前的空气显示屏作为投影面，以对增强现实图像进行展示，则车载投影系统20在投影过程中默认车辆内部的挡风玻璃前的空气显示屏为投影面。
具体的，在步骤S105中，投影模组207可以采用DLP(Digital Light Procession，数字光处理)投影技术进行显示，车载投影系统20可以通过蓝牙、WiFi、5G来获取移动终端30的终端数据，本公开对此不作限定。
可选的，该方法还可以包括：
通过车载投影系统20的终端数据获取模块从与车辆关联的移动终端30获取终端数据；
通过投影模组207将终端数据投影到车辆内部的投影面上进行展示。
具体的，终端数据可以包括终端的视频数据、天气数据以及应用程序等，如手机视频会议中的视频数据、天气软件中的天气数据以及微信等周边服务，本公开对此不作具体限定。
其中，移动终端30可以通过蓝牙/WiFi/5G与车辆通信连接，实现移动终端30与车辆的关联，具体的关联方式本公开对此不作限定。
举例说明，如图2所示，车载投影系统20在车辆处于驾驶状态的情况下，通过终端数据获取模块从与车辆蓝牙连接的手机的导航应用中获取导航信息，通过投影模组207将导航信息投影到车辆的挡风玻璃上进行展示；车载投影系统20还可以获取与车辆关联的手机的屏幕和应用页面，如手机视频会议，并通过投影模组207将获取到的手机视频会议数据投影到车辆内部的空气显示屏上进行展示。
可选的，该方法还可以包括：
在移动终端30包括驾驶员穿戴的智能穿戴设备的情况下，终端数据包括：心跳检测数据、皮肤温度数据、疲劳驾驶检测数据中的一者或多者。
具体的，智能穿戴设备用于采集驾驶员的心跳检测数据、皮肤温度数据、疲劳驾驶检测数据中的一者或多者，智能穿戴设备可以为心率带、智能温度监测仪、智能手表等，本公开智能设备的具体型号和类型不作具体限定。
举例说明，车载投影系统20在驾驶员穿戴心率带和智能温度检测仪的情况下，通过终端数据获取模块从与车辆WiFi连接的心率带中获取驾驶员的心跳检测数据、从与车辆WiFi连接的智能温度监测仪获取驾驶员的皮肤温度数据作为终端数据；在车载投影系统20根据终端数据确定驾驶员已经饮酒的情况下，生成驾驶员当前不适于驾驶车辆的信息，并通过投影模组207将驾驶员不适于酒驾的信息投影到车辆内部的空气显示屏上进行展示，以提醒驾驶员不能酒驾，以避免安全事故的发生。
可选的，该方法还可以包括：
响应于传感器检测到用户的虚拟输入操作，根据虚拟输入操作执行相应的动作，虚拟输入操作包括手势操作，和/或用户针对虚拟键盘的输入操作。
具体的，通过传感器模组204检测用户在空气显示屏上的手势操作，和/或用户针对虚拟键盘的输入操作，车载投影系统20根据检测到的虚拟操作执行相应的动作。
其中的，该传感器模组204可以包括深度和运动追踪智能传感器，通过该深度和运动追踪智能传感器检测投影面上用户的虚拟输入操作，如用户在虚拟键盘上的输入操作、用户在空气显示屏上的手势操作等，用户可以通过虚拟键盘或者空气显示屏输入投影指令，也可以对投影面中显示的内容进行操作，如放大、缩小等。以实现人车交互。
其中，不同的输入操作对应不同的预设指令，如两个手指同时向相反的方向滑动的输入手势对应的预设指令为放大指令、两个手指同时向相同的方向滑动的输入手势对应的预设指令为缩小指令等。本公开对不同的输入操作不作具体限定。
举例说明，用户通过虚拟键盘输入导航指令，车载投影系统20根据该导航指令，获取与车辆蓝牙连接的手机的导航信息，并根据该导航信息生成虚拟状态显示图像，将该虚拟状态显示图像叠加在真实环境图像上，得到导航信息对应的增强现实场景图像，通过投影模组207将该增强现实场景图像投影到车辆内的空气显示屏上进行展示；在用户用两个手指在空气显示屏上同时向相反的方向滑动的情况下，车载投影系统20对正在投影的增强现实场景图像进行放大处理。
可选的，该方法还可以包括：
车载投影系统20还包括车载音响设备和信息处理模块；
车载投影系统20根据车载音响设备采集用户的语音；
通过信息处理模块对该语音解析，得到语音指令，并执行语音指令对应的动作。用户可通过车载音响设备实现人车交互。
其中，车载音响设备可以为麦克风阵列，麦克风阵列可对获取的语音进行物理降噪处理，本公开车载音响设备的类别不作具体限定。
举例说明，麦克风阵列采集用户的语音“播放音乐欧若拉”，车载投影系统20对“播放音乐欧若拉”进行解析，得到“播放音乐，音乐为欧若拉”的语音指令，根据“播放音乐，音乐为欧若拉”的语音指令自动打开车辆的音乐播放器，播放音乐欧若拉，并将音乐播放界面在车内的空气显示屏上进行展示；在投影面上正在投影音乐播放界面的情况下，麦克风阵列采集用户的语音“开启导航，目的地为天安门”，车载投影系统20对“开启导航，目的地为天安门”进行解析，得到“打开导航，导航目的地为天安门”的语音指令，根据“打开导航，导航目的地为天安门”的语音指令自动打开与车辆蓝牙连接的手机的导航应用，以天安门作为目的地进行导航，并将导航界面在车内的投影面上进行展示。
可选的，车载投影系统20通过车载音响设备与智能家居设备40通信连接，实现车载音响车载投影系统20相关联，相应地，车载投影系统20执行语音指令对应的动作可以包括：
车载投影系统20执行语音指令控制智能家居设备40执行对应的动作；
该方法还可以包括：
车载投影系统20接收智能家居设备40发送的反馈信息，并通过投影模组207将反馈信息投影到车辆内部的投影面上进行展示，实现了车物交互。
其中，智能家居设备40可以为智能照明控制系统、智能空调、智能冰箱等，本公开对此不作具体限定。
举例说明，如图2所示，车载投影系统20通过麦克风阵列与智能空调通过4G/5G通信连接实现与智能空调相关联，麦克风阵列采集用户的语音“打开客厅的空调”；车载投影系统20对“打开客厅的空调”进行解析，得到“控制客厅的智能空调处于工作状态”的语音指令，根据“控制客厅的智能空调处于工作状态”的语音指令，控制客厅的智能空调处于工作状态，并接收智能空调反馈的已经处于工作状态的信息，控制投影模组207将已经处于工作状态的信息以文字形式投影到车辆内部的空气显示屏上进行展示。
图3是根据一示例性实施例示出的一种车载投影系统的框图，如图3所示，该车载投影系统20包括：增强现实模块201、V2X终端202、车载远程通信盒子203、传感器模组204、图像采集模块205；V2X终端202、车载远程通信盒子203、传感器模组204、图像采集模块205均与增强现实模块201连接；
其中，车载远程通信盒子203用于与汽车远程服务器通信；
增强现实模块201用于，通过图像采集模块205获取真实环境图像，并基于从车载远程通信盒子203、传感器模组204、V2X终端202获取到的状态数据生成虚拟状态显示图像；
通过图像合成处理器206将虚拟状态显示图像叠加在真实环境图像上得到增强现实场景图像，并通过投影模组207将增强现实场景图像投影到车辆内部的投影面进行展示。
本公开的车载投影系统通过车辆上的图像采集模块获取真实环境图像；获取车辆的状态数据，根据状态数据生成虚拟状态显示图像；将虚拟状态显示图像叠加在真实环境图像上得到增强现实场景图像；通过投影模组将增强现实场景图像投影到车辆内部的投影面上进行展示。利用增强现实技术实现全息投影，增加了用户对车辆状态和外界信息的感知，降低了安全事故发生的机率，无需用户低头操作车载投影系统，避免了驾驶员注意力分散，提高了驾驶员对危险的感知力，提高了驾驶的安全性。
可选的，增强现实模块201包括判断子模块以及图像生成子模块，判断子模块被配置成用于判断所述状态数据是否满足预设的预警条件，预警条件包括以下的一者或多者：紧急制动预警条件、超车预警条件、变道预警条件、交叉路口预警条件、车辆失控预警条件、紧急车辆优先预警条件；
图像生成子模块被配置成用于在状态数据满足预警条件的情况下，生成对应的预警提醒图像，虚拟状态显示图像包括所述预警提醒图像。
可选的，传感器模组204被配置成获取传感器数据、导航数据、空调状态数据、多媒体数据的一者或多者作为状态数据。
其中，传感器模组204包括加速度计、陀螺仪、指南针中的一者或多者。
可选的，该传感器模组204还被配置成用于响应于传感器检测到用户的虚拟输入操作，虚拟输入操作包括手势操作，和/或用户针对虚拟键盘的输入操作。
可选的，车辆内部的投影面包括以下一者或多者：挡风玻璃、车窗、车顶、座椅靠背。
可选的，该车载投影系统20还包括终端数据获取模块，终端数据获取模块被配置成用于从与车辆关联的移动终端30获取终端数据，以使投影模组207将终端数据投影到车辆内部的投影面上进行展示。
可选的，移动终端30包括驾驶员穿戴的智能穿戴设备，终端数据包括：心跳检测数据、皮肤温度数据、疲劳驾驶检测数据中的一者或多者。
可选的，该车载投影系统20还包括车载音响设备和信息处理模块，车载音响设备具体被配置成用于采集用户的语音；
信息处理模块具体被配置成对语音解析，得到语音指令，并执行语音指令对应的动作。
具体的，车载投影系统20与智能家居设备40通信连接，以使车载投影系统20执行语音指令控制智能家居设备40执行对应的动作；以及，以使车载投影系统20接收智能家居设备40发送的反馈信息，并将反馈信息投影到车辆内部的投影面上进行展示。
可选的，车载投影系统20通过车载音响设备与智能家居设备40的通信连接，实现与智能家居设备40的关联，车载投影系统20还被配置成用于执行语音指令控制智能家居设备40执行对应的动作，以及接收智能家居设备40发送的反馈信息，通过投影模组将反馈信息投影到车辆内部的投影面上进行展示。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现本公开提供的一种车载投影系统的投影方法的步骤。
具体的，该计算机可读存储介质可以是闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘、服务器等。
关于上述实施例中的计算机可读存储介质，其上存储的计算机程序被执行时的车载投影系统的投影方法步骤已将在有关该方法的实施例中进行了详细描述，此处不做详细阐述。
本公开还提供一种电子设备，该电子设备包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现上述的车载投影系统的投影方法的步骤。
本公开的电子设备通过车辆上的图像采集模块获取真实环境图像；获取车辆的状态数据，根据状态数据生成虚拟状态显示图像；将虚拟状态显示图像叠加在真实环境图像上得到增强现实场景图像；通过投影模组将增强现实场景图像投影到车辆内部的投影面上进行展示。利用增强现实技术实现全息投影，增加了用户对车辆状态和外界信息的感知，降低了安全事故发生的机率，无需用户低头操作车载投影系统，避免了驾驶员注意力分散，提高了驾驶员对危险的感知力，提高了驾驶的安全性。
图4是根据一示例性实施例示出的一种电子设备700的框图。如图4所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(I/O)接口704，以及通信组件705中的一者或多者。
其中，处理器701用于控制该电子设备700的整体操作，以完成上述的车载投影系统的投影方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G、4G或5G，NB-IOT(Narrow Band Internet of Things，窄带物联网)，或者它们中一种或者多种的组合，因此相应的该通信组件705可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal Processing Device，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的车载投影系统的投影方法。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的车载投影系统的投影方法的代码部分。
本公开还提供一种车辆，该车辆包括上述的车载投影系统20。
本公开的车辆基于车载投影系统通过车辆上的图像采集模块获取真实环境图像；获取车辆的状态数据，根据状态数据生成虚拟状态显示图像；将虚拟状态显示图像叠加在真实环境图像上得到增强现实场景图像；通过投影模组将增强现实场景图像投影到车辆内部的投影面上进行展示。利用增强现实技术实现全息投影，增加了用户对车辆状态和外界信息的感知，降低了安全事故发生的机率，无需用户低头操作车载投影系统，避免了驾驶员注意力分散，提高了驾驶员对危险的感知力，提高了驾驶的安全性。
关于上述实施例中的车辆上车载投影系统的投影方法步骤已将在有关该方法的实施例中进行了详细描述，此处不做详细阐述。
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。
Claims (10)
1.一种车载投影系统的投影方法，其特征在于，所述方法包括：
基于车辆上的图像采集模块获取真实环境图像；
获取所述车辆的状态数据，所述状态数据包括通过车载远程通信盒子从汽车远程服务器获取到的云端状态分析数据、以及通过V2X终端获取到的V2X检测状态数据；
根据所述状态数据生成虚拟状态显示图像；
将所述虚拟状态显示图像叠加在所述真实环境图像上得到增强现实场景图像；
通过投影模组将所述增强现实场景图像投影到车辆内部的投影面上进行展示。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
从与所述车辆关联的移动终端获取终端数据；
通过所述投影模组将所述终端数据投影到车辆内部的投影面上进行展示。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
所述移动终端包括驾驶员穿戴的智能穿戴设备，所述终端数据包括：心跳检测数据、皮肤温度数据、疲劳驾驶检测数据中的一者或多者。
4.根据权利要求1所述的方法，其特征在于，所述根据所述状态数据生成虚拟状态显示图像，包括：
判断所述状态数据是否满足预设的预警条件，所述预警条件包括以下的一者或多者：紧急制动预警条件、超车预警条件、变道预警条件、交叉路口预警条件、车辆失控预警条件、紧急车辆优先预警条件；
在所述状态数据满足所述预警条件的情况下，生成对应的预警提醒图像，所述虚拟状态显示图像包括所述预警提醒图像。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
响应于传感器检测到用户的虚拟输入操作，根据所述虚拟输入操作执行相应的动作，所述虚拟输入操作包括手势操作，和/或用户针对虚拟键盘的输入操作。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
根据车载音响设备采集用户的语音；
对所述语音解析，得到语音指令，并执行所述语音指令对应的动作。
7.根据权利要求1-4中任一项所述的方法，其特征在于，所述车辆内部的投影面包括以下一者或多者：挡风玻璃、车窗、车顶、座椅靠背。
8.一种车载投影系统，其特征在于，所述系统包括：
增强现实模块、V2X终端、车载远程通信盒子、传感器模组、图像采集模块；所述V2X终端、所述车载远程通信盒子、所述传感器模组、所述图像采集模块均与所述增强现实模块连接；
其中，所述车载远程通信盒子用于与汽车远程服务器通信；
所述增强现实模块用于，通过所述图像采集模块获取真实环境图像，并基于从所述车载远程通信盒子、所述传感器模组、所述V2X终端获取到的状态数据生成虚拟状态显示图像；
通过图像合成处理器将所述虚拟状态显示图像叠加在所述真实环境图像上得到增强现实场景图像，并通过投影模组将所述增强现实场景图像投影到车辆内部的投影面进行展示。
9.一种车辆，其特征在于，所述车辆包括权利要求8所述的车载投影系统。
10.一种电子设备，其特征在于，所述电子设备包括：
存储器，其上存储有计算机程序；
处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述的车载投影系统的投影方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110277916.1A CN115086623A (zh) | 2021-03-15 | 2021-03-15 | 车载投影系统的投影方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110277916.1A CN115086623A (zh) | 2021-03-15 | 2021-03-15 | 车载投影系统的投影方法、装置、存储介质及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115086623A true CN115086623A (zh) | 2022-09-20 |
Family
ID=83240865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110277916.1A Pending CN115086623A (zh) | 2021-03-15 | 2021-03-15 | 车载投影系统的投影方法、装置、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115086623A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204367988U (zh) * | 2014-12-22 | 2015-06-03 | 深圳市航盛电子股份有限公司 | 一种车载安全信息提示装置 |
| JP2015219632A (ja) * | 2014-05-15 | 2015-12-07 | 株式会社リコー | 表示装置、プログラム、移動体 |
| CN105513389A (zh) * | 2015-11-30 | 2016-04-20 | 小米科技有限责任公司 | 增强现实的方法及装置 |
| CN106740114A (zh) * | 2017-01-15 | 2017-05-31 | 上海云剑信息技术有限公司 | 基于增强现实技术的智能汽车人机交互系统 |
| CN108613683A (zh) * | 2018-06-26 | 2018-10-02 | 威马智慧出行科技（上海）有限公司 | 车载导航装置、方法和汽车 |
| CN110926487A (zh) * | 2018-09-19 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
| CN111487842A (zh) * | 2020-05-29 | 2020-08-04 | 电装天研究开发(天津)有限公司 | 一种车载后排投影显示系统 |
| CN111731101A (zh) * | 2020-08-21 | 2020-10-02 | 宁波均联智行科技有限公司 | 一种融合v2x信息的ar-hud显示方法和系统 |
-
2021
- 2021-03-15 CN CN202110277916.1A patent/CN115086623A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015219632A (ja) * | 2014-05-15 | 2015-12-07 | 株式会社リコー | 表示装置、プログラム、移動体 |
| CN204367988U (zh) * | 2014-12-22 | 2015-06-03 | 深圳市航盛电子股份有限公司 | 一种车载安全信息提示装置 |
| CN105513389A (zh) * | 2015-11-30 | 2016-04-20 | 小米科技有限责任公司 | 增强现实的方法及装置 |
| CN106740114A (zh) * | 2017-01-15 | 2017-05-31 | 上海云剑信息技术有限公司 | 基于增强现实技术的智能汽车人机交互系统 |
| CN108613683A (zh) * | 2018-06-26 | 2018-10-02 | 威马智慧出行科技（上海）有限公司 | 车载导航装置、方法和汽车 |
| CN110926487A (zh) * | 2018-09-19 | 2020-03-27 | 阿里巴巴集团控股有限公司 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
| CN111487842A (zh) * | 2020-05-29 | 2020-08-04 | 电装天研究开发(天津)有限公司 | 一种车载后排投影显示系统 |
| CN111731101A (zh) * | 2020-08-21 | 2020-10-02 | 宁波均联智行科技有限公司 | 一种融合v2x信息的ar-hud显示方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10867510B2 (en) | Real-time traffic monitoring with connected cars | |
| US11205340B2 (en) | Networked vehicle control systems to facilitate situational awareness of vehicles | |
| US20200226395A1 (en) | Methods and systems for determining whether an object is embedded in a tire of a vehicle | |
| US10559196B2 (en) | Method and system for vehicular-related communications | |
| CN111052771B (zh) | 用于将中继消息发送到外部车辆的电子设备及其方法 | |
| CN216232014U (zh) | 车载投影系统及车辆 | |
| Shirazi et al. | Looking at intersections: a survey of intersection monitoring, behavior and safety analysis of recent studies | |
| CN103116399B (zh) | 基于推断的交通工具状态提供用户接口体验的方法和装置 | |
| US20220114778A1 (en) | Vehicular telematic systems and methods for generating interactive animated guided user interfaces | |
| EP3067827A1 (en) | Driver distraction detection system | |
| KR20240074777A (ko) | 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 | |
| CN108235780A (zh) | 用于向车辆传送消息的系统和方法 | |
| KR20180034268A (ko) | V2v 센서 공유 방법에 기초한 동적 교통 안내 | |
| JP2022512114A (ja) | 運転手の疲労を検出し、動的に緩和するためのシステムおよび方法 | |
| JP2019535566A (ja) | 不測のインパルス変化衝突検出器 | |
| KR20240067906A (ko) | 차량 탑승자 보조를 위한 차량 및 모바일 디바이스 인터페이스 | |
| US10424203B2 (en) | System and method for driving hazard estimation using vehicle-to-vehicle communication | |
| US11636633B2 (en) | Vehicular telematic systems and methods for generating interactive animated guided user interfaces | |
| Rosenbloom et al. | The travel and mobility needs of older people now and in the future | |
| WO2021241189A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JPWO2020100585A1 (ja) | 情報処理装置、および情報処理方法、並びにプログラム | |
| US20210232281A1 (en) | Vehicular telematic systems and methods for generating interactive animated guided user interfaces | |
| Visconti et al. | Arduino-based solution for in-carabandoned infants' controlling remotely managed by smartphone application | |
| JP2022058611A (ja) | 運転者及び乗客用の車載音響監視システム | |
| EP4425478A1 (en) | Information processing device, information processing method, program, and information processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |