CN116312294A - 全息投影的控制方法、装置、车辆及介质 - Google Patents
全息投影的控制方法、装置、车辆及介质 Download PDFInfo
- Publication number
- CN116312294A CN116312294A CN202211468061.1A CN202211468061A CN116312294A CN 116312294 A CN116312294 A CN 116312294A CN 202211468061 A CN202211468061 A CN 202211468061A CN 116312294 A CN116312294 A CN 116312294A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- projection
- information
- signal
- projected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004044 response Effects 0.000 claims description 37
- 238000004891 communication Methods 0.000 claims description 17
- 230000005236 sound signal Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 abstract description 8
- 239000000725 suspension Substances 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 15
- 238000003745 diagnosis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000295 fuel oil Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F19/00—Advertising or display means not otherwise provided for
- G09F19/12—Advertising or display means not otherwise provided for using special optical effects
- G09F19/18—Advertising or display means not otherwise provided for using special optical effects involving the use of optical projection means, e.g. projection of images on clouds
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Accounting & Taxation (AREA)
- Mechanical Engineering (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种全息投影的控制方法、装置、车辆及介质。该方法包括:获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;对多媒体数据进行分析,确定使用者的投影使用需求;根据投影使用需求,确定投影使用需求对应的待投影信号;基于车辆姿态信息,对待投影信号进行全息投影。通过对多媒体数据进行分析,确定投影使用需求,进而获取访问其他域控制器获得相关服务信息,形成待投影信号,根据车辆姿态信息实时确定全息投影的投影角度,对待投影信号进行全息投影。解决了与使用者交互方式单一的问题,满足了使用者多样化的投影使用需求,实现了全息投影相对位置的动态调整,给使用者悬浮体验,提升了使用者的体验感。
Description
技术领域
本发明涉及全息投影技术领域,尤其涉及全息投影的控制方法、装置、车辆及介质。
背景技术
随着汽车行业的发展,与汽车连接的外设设备的种类越来越多。车载全息投影仪作为一种常用的车载外设设备越来越多地出现在人们的生活之中。
目前车载全息投影技术,与用户交互方式单一,仅通过座舱单元控制输出固定图像,不能输出变化或者定制化图像,各控制器之间仍以CAN网络或者百兆车载以太网为主,不能保证大量原始数据的实时传输,无法实现多域信息融合,进而无法根据用户需求,投影显示网联服务内容,全息投影不能实时调整投影位置,降低了用户体验。
发明内容
本发明提供了一种全息投影的控制方法、装置、车辆及介质,以实现车载全息投影的动态控制。
根据本发明的一方面,提供了一种全息投影的控制方法,所述方法包括:
获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;
对所述多媒体数据进行分析,确定使用者的投影使用需求;
根据所述投影使用需求,确定所述投影使用需求对应的待投影信号;
基于所述车辆姿态信息,对所述待投影信号进行全息投影。
根据本发明的第二方面,提供了一种全息投影的控制装置,所述装置包括:
获取模块,用于获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;
第一确定模块,用于对所述多媒体数据进行分析,确定使用者的投影使用需求;
第二确定模块,用于根据所述投影使用需求,确定所述投影使用需求对应的待投影信号;
投影模块,用于基于所述车辆姿态信息,对所述待投影信号进行全息投影。
根据本发明的第三方面,提供了一种车辆,所述车辆包括:
至少一个控制器;以及
与所述至少一个控制器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个控制器执行的计算机程序,所述计算机程序被所述至少一个控制器执行,以使所述至少一个控制器能够执行本发明任一实施例所述的全息投影的控制方法。
根据本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使控制器执行时实现本发明任一实施例所述的全息投影的控制方法。
本发明实施例的技术方案,通过获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;对多媒体数据进行分析,确定使用者的投影使用需求;根据投影使用需求,确定投影使用需求对应的待投影信号;基于车辆姿态信息,对待投影信号进行全息投影。通过对多媒体数据进行分析,确定投影使用需求,进而获取访问其他域控制器获得相关服务信息,形成待投影信号,根据车辆姿态信息实时确定全息投影的投影角度,对待投影信号进行全息投影。解决了与使用者交互方式单一的问题,满足了使用者多样化的投影使用需求,实现了全息投影相对位置的动态调整,给使用者悬浮体验,提升了使用者的体验感。
应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种全息投影的控制方法的流程图;
图2是根据本发明实施例二提供的一种全息投影的控制方法的流程图;
图3是根据本发明实施例三提供的一种全息投影的控制装置的结构示意图;
图4是实现本发明实施例的车辆的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种全息投影的控制方法的流程图,本实施例可适用于车载全息投影的控制情况,该方法可以由全息投影的控制装置来执行,该全息投影的控制装置可以采用硬件和/或软件的形式实现,该全息投影的控制装置可配置于车辆中,优选的,可以配置于车辆中的座舱控制域,以使座舱控制域对应的控制器执行所述方法。
如图1所示,该方法的步骤可以包括:
S110、获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据。
在本实施例中,自身车辆可以理解为配置有全息投影装置的车辆。车辆姿态信息可以理解为自身车辆的车身倾角情况对应的信息。多媒体数据采集装置可以理解为采集自身车辆内部的声音、视频等数据的装置,如麦克风、摄像头等。多媒体数据可以理解为声音或视频等数据。
具体的,自身车辆中可以配置有惯性测量单元传感器,惯性测量单元传感器内部包括陀螺仪和加速度器,传感器可以以周期的形式进行信号采集,通过惯性测量单元采集车身动态倾角、加速度等信息,作为车辆姿态信息传送至控制器。自身车辆中还可以配置有多媒体数据采集装置,如麦克风、摄像头等,通过麦克风可以采集车辆中驾驶员或者乘客的语音信息,通过摄像头可以采集驾驶员或乘客的手势信息和面部信息,可以通过低电压差分信号传送至控制器。控制器可以通过各传感器或采集装置传送的信息中,获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据。
S120、对多媒体数据进行分析,确定使用者的投影使用需求。
在本实施例中,使用者可以理解为车辆中的驾驶员或乘客。投影使用需求可以理解为车辆配备的功能需要以全息投影的形式进行展示的需求。
具体的,控制器可以通过预先设定的人工智能模块对多媒体数据进行分析,对多媒体数据中包括的语音信息和图像信息进行识别,确定其中包括的与投影使用需求相关的语音字段或图像信息中的手势及面部信息等。可以通过对这些语音字段、手势或面部信息进行分析,可以通过预先设定与车辆具备的功能相关的字段、手势及面部信息库,通过分析即可确定这些语音字段、手势或面部信息对应为投影使用需求或为与投影无关的信息,即可以确定出使用者的投影使用需求。自身车辆还可以包括显示设备,如中控显示屏等,通过显示设备提供相应投影使用控制功能展示,使用者可以点击相应的按钮或开关以形成相应的信号传送至控制器,控制器可以接收信号并对信号进行分析,确定使用者的投影使用需求。
S130、根据投影使用需求,确定投影使用需求对应的待投影信号。
在本实施例中,待投影信号可以理解为输出相关信息的信号。
具体的,控制器可以根据投影使用需求,确定出可以满足投影使用需求的相关器件或控制域,这些器件及控制域可以通过车载以太网等通信形式与控制器建立通信连接,控制器可以根据投影使用需求形成相应的控制指令,并将控制指令传送至其对应的器件或控制域,以使该器件或控制域按照控制指令进行控制,确定要投影的内容,并将要投影的内容传送回控制器,确定投影使用需求对应的待投影信号。
S140、基于车辆姿态信息,对待投影信号进行全息投影。
具体的,全息投影是一种悬浮投影于车辆内部的技术,由于车辆可以是处于行进状态的,在行进的过程中可能会出现路面颠簸等情况,在该情况下全息投影始终投影于一个位置会导致使用者的观感不好,则需要根据车身变化幅度、角度等情况,对投影的位置进行控制,使投影画面的角度可以随着车身的变化而变化,保持同步。为了获取车身的变化情况,则需要根据实时采集的车辆姿态信息确定出车身的变化情况,进而按照此时车身的变化情况对待投影信号的输出角度等信息进行调整。其中,待投影信号中可能包括视频信号及音频信号,可以将待投影信号中的视频信号及音频信号进行拆分传送至相应的全息投影设备及音频播放设备,全息投影设备可以在进行全息投影前将待投影信号中的视频信号进行内部视频编解码处理,按照实时确定的输出角度等信息输出处理后的全息投影图像,相应的音频播放设备可以接收待投影信号中的音频信号,配合全息投影图像实时进行输出。
本发明实施例的技术方案,通过获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;对多媒体数据进行分析,确定使用者的投影使用需求;根据投影使用需求,确定投影使用需求对应的待投影信号;基于车辆姿态信息,对待投影信号进行全息投影。通过对多媒体数据进行分析,确定投影使用需求,进而获取访问其他域控制器获得相关服务信息,形成待投影信号,根据车辆姿态信息实时确定全息投影的投影角度,对待投影信号进行全息投影。解决了与使用者交互方式单一的问题,满足了使用者多样化的投影使用需求,实现了全息投影相对位置的动态调整,给使用者悬浮体验,提升了使用者的体验感。
作为本实施例一的第一可选实施例,在上述实施例的基础上,进一步优化包括:
当满足车辆预警条件时,根据采集的自身车辆的行驶状态信息,确定车辆预警信息对应的待投影信号。
在本实施例中,车辆预警条件可以理解为车辆继续行驶可能会出现危险、拥堵等情况,如转弯或前车遮挡驾驶员看不清路等情况。行驶状态信息可以理解为行驶路线、周边车辆等信息。车辆预警信息可以理解为对已发生的碰撞事件、道路情况进行预警的信息。
具体的,控制器可以实时接收相应传感器采集的信号或规划的路径等信息,确定出自身车辆的行驶情况,将行驶情况与预设的车辆预警条件进行比对,从而可以确定当前自身车辆的行驶情况是否满足车辆预警条件,当满足车辆预警条件时,控制器可以获取自身车辆的行驶状态信息,如规划的车辆行驶路径、周边车辆情况等信息,控制器可以根据行驶状态信息确定出需要进行通信连接的周边车辆及器件,以通过这些车辆及器件确定自身车辆是否可以继续行驶,或行驶路线中的已发生的碰撞或拥堵等情况,从而确定出车辆预警信息,即控制器可以确定出车辆预警信息对应的待投影信号。
进一步的,在上述实施例的基础上,根据采集的自身车辆的行驶状态信息,确定车辆预警信息对应的待投影信号的步骤可以包括:
a1、根据行驶状态信息,确定满足互联通信条件的目标路侧单元及目标车辆。
在本实施例中,互联通信条件可以理解为具有车联的无线通信功能,如是否具备车联的无线通信功能(Vehicle-to-Everything,V2X)。目标路测单元可以理解为与自身车辆建立通信连接的对车辆进行识别的装置。目标车辆可以理解为与自身车辆建立通信连接的所处位置周边的车辆。
具体的,控制器可以根据行驶状态信息确定出行驶路线,可以向天线发送一条查找指令,控制天线进行查找,确定出自身车辆所处位置周边具备V2X功能的车辆及路侧单元,即为满足互联通信条件的目标路测单元及目标车辆。
b1、根据目标路侧单元及目标车辆传送的路况信息,确定车辆预警信息。
在本实施例中,路况信息可以理解为目标车辆的情况及目标路侧单元识别出的车辆分布情况形成的信息。
具体的,控制器可以通过V2X互联技术,将自身车辆与目标路测单元或目标车辆进行互联通信,接收目标路侧单元及目标车辆传送的路况信息,如目标车辆当前位置、是否发生碰撞等信息、目标路侧单元探测出的车辆密度信息等信息,根据路况信息,控制器可以确定出相应的车辆预警信息,如交叉路况碰撞提醒、道路拥堵提醒、前车碰撞提醒、高速道路情况等。
示例性的,当自身车辆转弯时,可能路边停的车辆遮挡了前方道路,自身车辆无法得知是否可以转弯,此时满足车辆预警条件,则可以通过V2X技术接收周边车辆的位置信息或路侧单元的车辆位置信息,确定出自身车辆即将行驶的路线中是否有车辆,当通过路况信息确定出有车辆在即将行驶的路线时,则可以生成一条车辆预警信息,提示驾驶员转弯处有车辆。
c1、根据车辆预警信息,确定待投影信号。
具体的,控制器可以将车辆预警信息进行信号转换,转换为低电压差分信号形式,从而确定出待投影信号。
本实施例一的第一可选实施例,通过实时监控车辆所处的状态,确定当车辆满足预警条件时,与具有互联通信功能路侧单元及车辆进行信息的交互,以确定车辆预警信息对应的待投影信号。为车辆提供了网联功能,实现了危险情况的自动预警,提升了车辆的安全性。
实施例二
图2为本发明实施例二提供的一种全息投影的控制方法的流程图,本实施例是在上述实施例的基础上的进一步细化。如图2所示,该方法包括:
S210、获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据。
S220、如果多媒体数据中包括音频信号,则对音频信号进行语音识别,确定使用者的语义信息。
在本实施例中,音频信号可以理解为自身车辆中的声音对应的信号。语义信息可以理解为使用者说出词语、句子等信息。
具体的,控制器可以对多媒体数据进行分析,当确定出多媒体数据中包括音频信号时,由于自身车辆行驶过程中可能包括音乐等其他声音,为了精准识别出使用者说的话,可以通过预先设定的人工智能模块对音频信号进行语音识别,确定出音频信号中使用者所说的词语、句子等信息作为语义信息。
S230、如果多媒体数据中包括视频信号,则对视频信号进行图像识别,确定使用者的动作信息。
在本实施例中,视频信号可以理解为包含使用者手势等信息的信号。动作信息可以理解为使用者的手势等信息。
具体的,控制器可以对多媒体数据进行分析,当确定出多媒体数据中包括视频信号时,可以对视频信号进行拆分,形成每一帧的图像信息,可以通过预先设定的人工智能模块对图像信息进行图像识别,对图像中包括的使用者的手势动作及面部动作进行识别,确定出使用者的动作信息。
S240、根据语义信息及动作信息,确定投影使用需求。
具体的,控制器可以通过人工智能模块对语义信息及动作信息进行识别,可以提取出语义信息或动作信息中的与投影使用需求相关的关键词信息,可以动作信息中的与投影使用需求相关的提取出关键动作,从而确定出关键词信息或关键动作对应的投影使用需求。
S250、根据投影使用需求,确定投影使用需求对应的投影响应方式。
在本实施例中,投影响应方式可以理解为对投影使用需求进行响应的器件等。
其中,投影响应方式包括:通过自身车辆的云端后台进行投影响应、通过自身车辆的自动驾驶域进行投影响应,以及通过相应的响应设备进行投影响应。其中,云端后台可以理解为提供网联服务的后台。自动驾驶域可以理解为控制自动驾驶功能相关的器件。响应设备可以理解为车辆中的采集设备等。
具体的,可以预先建立投影使用需求与响应设备的关联关系,控制器可以根据投影使用需求在关联关系中进行查找,确定投影使用需求对应的响应设备,进而确定相应的设备及其对应的投影响应方式。
S260、基于投影响应方式进行投影响应,确定待投影信号。
具体的,首先当投影响应方式为通过自身车辆的云端后台进行投影响应时,控制器可以通过天线与云端后台建立通讯连接,控制器通过天线提供的网络讯号将投影使用需求以控制指令的形式转发至云端后台,通过云端后台提供的网联服务进行投影响应,确定待投影信号,如通过5G大带宽、低时延技术,云端后台可以根据投影使用需求对导航位置、天气预报、票务等信息进行查询,还可以对OTA升级等。
进一步的,当投影响应方式为通过自身车辆的自动驾驶域进行投影响应时,控制器可以将投影使用需求以控制指令的形式转发至自动驾驶域,自动驾驶域接收到控制指令后进行响应形成相应的信号,控制器可以接收到自动驾驶域的信号,形成待投影信号。其中,自动驾驶域可以与外部传感器、动力控制域及区域控制单元通讯连接。首先,自动驾驶域可以与外部传感器连接,外部传感器可以包括毫米波雷达、激光雷达等传感器,通过千兆车载以太网将车辆周围传感信息输入自动驾驶域,自动驾驶域将传感器原始数据进行处理,将外部感知结果通过千兆车载以太网传送给控制器,如:外部感知显示图像或报警信息,将外部感知结果确定为待投影信号。其次,自动驾驶域还可以与动力控制域连接,动力控制域负责车辆电驱动力控制、燃油动力控制、底盘控制和整车信息管理等主要功能,可以通过千兆车载以太网与自动驾驶域连接,整车管理部分功能可对用户开放,通过动力控制域可以得到车辆动力信息、里程信息、车主身份管理、检查OTA软件版本等重要信息,解决以往车主检查车辆信息困难的问题。最后,自动驾驶域还可以与区域控制单元连接,区域控制单元主要负责网络通信、智能配电和本地IO驱动等功能,区域控制单元可以通过千兆车载以太网与自动驾驶域连接,区域控制单元可以查询区域控制单元中的网络诊断、负载诊断、电源诊断等重要诊断信息,当区域控制单元诊断问题发生时,区域控制单元可以通过车载以太网自动将诊断结果推送至自动驾驶域,控制器可以接收到自动驾驶域发送的诊断结果,将诊断结果确定为待投影信号。
进一步的,当投影响应方式为通过相应的响应设备进行投影响应时,控制器可以将投影使用需求以控制指令的形式转发至相应的响应设备。其中,响应设备可以为外部摄像头,当投影使用需求对应为采集车外图像时,控制器可以将投影使用需求以控制指令的形式发送至外部摄像头,外部摄像头根据控制指令采集车外实时图像信息,包括环视、泊车、前视、夜视等图像,并将图像传送回控制器,经过AI模块图像识别处理,形成待投影信号。响应设备还可以为S270、根据车辆姿态信息,确定待投影信号的画面输出角度。
S270、根据车辆姿态信息,确定待投影信号的画面输出角度。
在本实施例中,画面输出角度可以理解为进行全息投影的角度。
具体的,通过接收的车身姿态信息,控制器可以经过内部位置角度计算,可以在车辆通过颠簸路面或道路倾斜路面等时,通过座舱内相对的倾斜角度,实时计算出进行全息投影时待投影信号的相对于车舱的画面输出角度。
S280、基于画面输出角度,对待投影信号进行全息投影。
具体的,控制器可以基于画面输出角度对全息投影的输出角度进行实时控制,待投影信号可以将其中的视频信号以每一帧画面的形式进行投影,由于车辆处于行驶状态,经过的路面可能颠簸情况不同,则控制器可以实时计算出画面输出角度,则可以每一帧画面对应着不同的画面输出角度,在对待投影信号进行全息投影使,控制器可以将每一帧信号以对应时刻下的画面输出角度进行全息投影,控制器可以将待投影信号中的音频信号传送至相应的音频播放设备,配合全息投影图像进行实时输出。
本发明实施例的技术方案,通过对多媒体数据中的视频信号及音频信号进行分析,确定使用者的语音、手势等对应的投影使用需求,通过对需求的自动分析确定其对应的投影响应方式,能够访问其他域控制器获得相关服务信息,并确定出待投影信号。通过接收的车辆姿态信息,实现了动态确定待投影信号的画面输出角度,基于画面输出角度进行待投影画面的输出。实现了人车交互的多样化,提供了车辆中多个系统域的融合,为使用者提供了更多的信息,满足了使用者的全息投影需求,提升了使用者的体验感。
实施例三
图3为本发明实施例三提供的一种全息投影的控制装置的结构示意图。如图3所示,该装置包括:获取模块31、第一确定模块32、第二确定模块33及投影模块34。其中,
获取模块31,用于获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据。
第一确定模块32,用于对多媒体数据进行分析,确定使用者的投影使用需求。
第二确定模块33,用于根据投影使用需求,确定投影使用需求对应的待投影信号。
投影模块34,用于基于车辆姿态信息,对待投影信号进行全息投影。
本发明实施例的技术方案,通过获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;对多媒体数据进行分析,确定使用者的投影使用需求;根据投影使用需求,确定投影使用需求对应的待投影信号;基于车辆姿态信息,对待投影信号进行全息投影。通过对多媒体数据进行分析,确定投影使用需求,进而获取访问其他域控制器获得相关服务信息,形成待投影信号,根据车辆姿态信息实时确定全息投影的投影角度,对待投影信号进行全息投影。解决了与使用者交互方式单一的问题,满足了使用者多样化的投影使用需求,实现了全息投影相对位置的动态调整,给使用者悬浮体验,提升了使用者的体验感。
可选的,第一确定模块32具体用于:
如果多媒体数据中包括音频信号,则对音频信号进行语音识别,确定使用者的语义信息;
如果多媒体数据中包括视频信号,则对视频信号进行图像识别,确定使用者的动作信息;
根据语义信息及动作信息,确定投影使用需求。
可选的,第二确定模块33具体用于:
根据投影使用需求,确定投影使用需求对应的投影响应方式;
基于投影响应方式进行投影响应,确定待投影信号。
其中,投影响应方式可以包括:
通过自身车辆的云端后台进行投影响应、通过自身车辆的自动驾驶域进行投影响应,以及通过相应的响应设备进行投影响应。
可选的,投影模块34具体用于:
根据车辆姿态信息,确定待投影信号的画面输出角度;
基于画面输出角度,对待投影信号进行全息投影。
可选的,该装置还可以包括:
第三确定模块,用于当满足车辆预警条件时,根据采集的自身车辆的行驶状态信息,确定车辆预警信息对应的待投影信号。
进一步的,第三确定模块具体用于:
根据行驶状态信息,确定满足互联通信条件的目标路侧单元及目标车辆;
根据目标路测单元及目标车辆传送的路况信息,确定车辆预警信息;
根据车辆预警信息,确定待投影信号。
本发明实施例所提供的全息投影的控制装置可执行本发明任意实施例所提供的全息投影的控制方法,具备执行方法相应的功能模块和有益效果。
实施例四
图4为本发明实施例四提供的一种车辆的结构示意图,如图4所示,该车辆包括控制器41、存储器42、输入装置43和输出装置44,控制器41和存储器42的数量可以是一个或多个,图4中以一个控制器41和一个存储器42为例;车辆中的控制器41、存储器42可以通过总线或其他方式连接,图4中以通过总线连接为例。其中,控制器是指本发明实施例中的执行主体的控制器。
存储器42作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的全息投影的控制方法对应的程序指令/模块(例如,全息投影的控制装置中的获取模块31、第一确定模块32、第二确定模块33及投影模块34)。控制器41通过运行存储在存储器42中的软件程序、指令以及模块,从而执行车辆的各种功能应用以及数据处理,即实现上述的全息投影的控制方法。
存储器42可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器42可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器42可进一步包括相对于控制器41远程设置的存储器,这些远程存储器可以通过网络连接至车辆。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收数字或字符信息,以及产生与车辆用户设置以及功能控制有关的键信号输入。
输出装置44可包括显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机控制器执行时用于全息投影的控制方法,该方法包括:
获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;
对所述多媒体数据进行分析,确定使用者的投影使用需求;
根据所述投影使用需求,确定所述投影使用需求对应的待投影信号;
基于所述车辆姿态信息,对所述待投影信号进行全息投影。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的全息投影的控制方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述全息投影的控制装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
Claims (10)
1.一种全息投影的控制方法,其特征在于,所述方法包括:
获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;
对所述多媒体数据进行分析,确定使用者的投影使用需求;
根据所述投影使用需求,确定所述投影使用需求对应的待投影信号;
基于所述车辆姿态信息,对所述待投影信号进行全息投影。
2.根据权利要求1所述的方法,其特征在于,所述对所述多媒体数据进行分析,确定使用者的投影使用需求,包括:
如果所述多媒体数据中包括音频信号,则对所述音频信号进行语音识别,确定所述使用者的语义信息;
如果所述多媒体数据中包括视频信号,则对所述视频信号进行图像识别,确定所述使用者的动作信息;
根据所述语义信息及所述动作信息,确定所述投影使用需求。
3.根据权利要求1所述的方法,其特征在于,所述根据所述投影使用需求,确定所述投影使用需求对应的待投影信号,包括:
根据所述投影使用需求,确定所述投影使用需求对应的投影响应方式;
基于所述投影响应方式进行投影响应,确定所述待投影信号。
4.根据权利要求3所述的方法,其特征在于,所述投影响应方式包括:
通过所述自身车辆的云端后台进行投影响应、通过所述自身车辆的自动驾驶域进行投影响应,以及通过相应的响应设备进行投影响应。
5.根据权利要求1所述的方法,其特征在于,所述基于所述车辆姿态信息,对所述待投影信号进行全息投影,包括:
根据所述车辆姿态信息,确定所述待投影信号的画面输出角度;
基于所述画面输出角度,对所述待投影信号进行全息投影。
6.根据权利要求1所述的方法,其特征在于,还包括:
当满足车辆预警条件时,根据采集的所述自身车辆的行驶状态信息,确定车辆预警信息对应的待投影信号。
7.根据权利要求6所述的方法,其特征在于,所述根据采集的所述自身车辆的行驶状态信息,确定车辆预警信息对应的待投影信号,包括:
根据所述行驶状态信息,确定满足互联通信条件的目标路侧单元及目标车辆;
根据所述目标路测单元及所述目标车辆传送的路况信息,确定车辆预警信息;
根据所述车辆预警信息,确定所述待投影信号。
8.一种全息投影的控制装置,其特征在于,所述装置包括:
获取模块,用于获取自身车辆的车辆姿态信息及多媒体数据采集装置采集的多媒体数据;
第一确定模块,用于对所述多媒体数据进行分析,确定使用者的投影使用需求;
第二确定模块,用于根据所述投影使用需求,确定所述投影使用需求对应的待投影信号;
投影模块,用于基于所述车辆姿态信息,对所述待投影信号进行全息投影。
9.一种车辆,其特征在于,所述车辆包括:
至少一个控制器;以及
与所述至少一个控制器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个控制器执行的计算机程序,所述计算机程序被所述至少一个控制器执行,以使所述至少一个控制器能够执行权利要求1-7中任一项所述的全息投影的控制方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使控制器执行时实现权利要求1-7中任一项所述的全息投影的控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211468061.1A CN116312294A (zh) | 2022-11-22 | 2022-11-22 | 全息投影的控制方法、装置、车辆及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211468061.1A CN116312294A (zh) | 2022-11-22 | 2022-11-22 | 全息投影的控制方法、装置、车辆及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116312294A true CN116312294A (zh) | 2023-06-23 |
Family
ID=86817326
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211468061.1A Pending CN116312294A (zh) | 2022-11-22 | 2022-11-22 | 全息投影的控制方法、装置、车辆及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116312294A (zh) |
-
2022
- 2022-11-22 CN CN202211468061.1A patent/CN116312294A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10540557B2 (en) | Method and apparatus for providing driver information via audio and video metadata extraction | |
CN108269424B (zh) | 用于车辆拥堵估计的系统和方法 | |
JP7263233B2 (ja) | 車両衝突を検出するための方法、システム及びプログラム | |
CN113226884B (zh) | 用于检测和动态地减轻驾驶员疲劳的系统和方法 | |
WO2017130482A1 (ja) | 報知制御装置及び報知制御方法 | |
WO2018183870A1 (en) | Method and system for providing predictions via artificial intelligence (ai) models using a distributed system | |
US11873007B2 (en) | Information processing apparatus, information processing method, and program | |
EP3626585A1 (en) | Driver assistance system and method for displaying traffic information | |
WO2021090897A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
US12097892B2 (en) | System and method for providing an RNN-based human trust model | |
CN111137212A (zh) | 后视镜装置及车辆 | |
CN115720229A (zh) | 用于与视觉和听觉受损的车辆乘员通信的系统和方法 | |
US10891502B1 (en) | Apparatuses, systems and methods for alleviating driver distractions | |
US20220277556A1 (en) | Information processing device, information processing method, and program | |
US20240069564A1 (en) | Information processing device, information processing method, program, and mobile apparatus | |
CN113401071B (zh) | 显示控制装置、显示控制方法以及计算机可读取存储介质 | |
CN116312294A (zh) | 全息投影的控制方法、装置、车辆及介质 | |
WO2021241261A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、学習方法 | |
CN114291113A (zh) | 风险阈值确定方法、装置、设备以及存储介质 | |
US20200218263A1 (en) | System and method for explaining actions of autonomous and semi-autonomous vehicles | |
WO2023228781A1 (ja) | 処理システム及び情報提示装置 | |
US20240025437A1 (en) | Driver assistance system for vehicle | |
US11853741B2 (en) | Federated learning for connected camera | |
WO2024225024A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20240025432A1 (en) | Driver assistance system for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |