CN111565226A - 一种车载全息影像自定义系统 - Google Patents

一种车载全息影像自定义系统 Download PDF

Info

Publication number
CN111565226A
CN111565226A CN202010347393.9A CN202010347393A CN111565226A CN 111565226 A CN111565226 A CN 111565226A CN 202010347393 A CN202010347393 A CN 202010347393A CN 111565226 A CN111565226 A CN 111565226A
Authority
CN
China
Prior art keywords
vehicle
image
control unit
mobile phone
model data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010347393.9A
Other languages
English (en)
Inventor
孟庆贺
节忠海
李振龙
于振勇
李志刚
黄竟成
于昊
姜杨阳
刘思琪
徐晓勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FAW Bestune Car Co Ltd
Original Assignee
FAW Bestune Car Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FAW Bestune Car Co Ltd filed Critical FAW Bestune Car Co Ltd
Priority to CN202010347393.9A priority Critical patent/CN111565226A/zh
Publication of CN111565226A publication Critical patent/CN111565226A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Abstract

本发明涉及一种车载全息影像自定义系统，该系统的手机APP根据2D图像生成3D人物模型数据，并将3D人物模型数据上传到云端管理平台；所述的云端管理平台存储手机APP与车辆的账号信息,接收手机APP发送的3D人物模型数据并将其通过车载互联终端单元下发到对应车辆上的全息影像控制单元；全息影像控制单元中包含了各ID编号对应的3D场景动作模型数据；音响控制单元发出ID指令，使全息影像控制单元将3D人物模型数据与ID编号对应的3D场景动作模型数据合成为自定义形象及对应ID动作，并将其以全息形式显示。本发明以场景为主线，用户能够定制自己喜欢的形象，在车内以声音、视觉联动形式相伴于旅途，提供个性化用户体验。

Description

一种车载全息影像自定义系统
技术领域
本发明涉及汽车智能网联技术领域，涉及一种车载全息影像自定义系统。
背景技术
汽车人机交互系统是信息化技术发展的产物，该系统实现了人与车之间的对话功能。车主可通过该系统，轻松把握车辆状态信息(车速、里程、当前位置、车辆保养信息等)、路况信息、定速巡航设置、蓝牙免提设置、空调及音响的设置。
传统模式下，人车交互主要以物理触控、语音通讯为主，车辆反馈被动且内容单调，交互冰冷生硬、情感温度缺失。
发明内容
本发明要解决的技术问题是提供一种车载全息影像自定义系统，该系统能够使平面形象能够以全息立体的效果呈现，增加个性化用户体验。
为了解决上述技术问题，本发明的车载全息影像自定义系统包括手机APP，云端管理平台,整车端的车载互联终端单元、音响控制单元、全息影像控制单元；所述的手机APP由其中的形象管理模块根据2D图像生成3D人物模型数据，并将3D人物模型数据上传到云端管理平台；所述的云端管理平台存储手机APP与车辆的账号信息,接收手机APP发送的3D人物模型数据并将其通过车载互联终端单元下发到对应车辆上的音响控制单元；全息影像控制单元中包含了各ID编号对应的3D场景动作模型数据；音响控制单元发出ID指令，使全息影像控制单元将3D人物模型数据与ID编号对应的3D场景动作模型数据合成为自定义形象及对应的动作，并将其以全息形式显示。
所述的云端管理平台通过4G网络与手机APP、车载互联终端单元通信；车载互联终端单元通过以太网与音响控制单元通信，通过USB接口与全息影像控制单元通信；音响控制单元通过CAN总线与全息影像控制单元通信。
所述的云端管理平台还可以将3D人物模型数据通过车载互联终端单元下发到对应车辆上的音响控制单元。
所述的音响控制单元包含有HU底层及HU应用层；HU应用层提供自定义形象预览展示界面、车载场景--ID编号—场景动作的对应关系；HU应用层接收云端下发的2D预览图,并将自定义2D预览图展示在HU应用层界面。
所述的HU应用层还提供供手机与车辆绑定的车辆二维码。
所述的全息影像控制单元包括3D投影仪和透明棱锥体；3D投影仪集成于汽车仪表板内部，透明棱锥体设置在3D投影仪的上方；3D投影仪合成的3D自定义形象投影到透明棱锥体进行全息成像。
所述的手机APP中的2D图像通过手机拍摄获取或者从手机相册获取。
所述的手机APP还包括账户管理模块，用于用户注册及登录。
所述的手机APP还包括形象管理模块，用于2D图像获取、形象编辑、形象管理、形象保存及形象重塑。
所述的手机APP还包括车辆管理模块，用于手机APP与车辆的绑定、解绑和车型选择。
本发明在“手机端-云端-车端”的通信架构模式下，用户通过手机端应用上传定制的形象数据，之后云端会将其下发到车内音响娱乐控制单元，用户通过音响系统的应用界面进行自定义形象切换选择，配合语音指令触发对应的动作技能，最终在车内全息影像单元进行呈现，实现全新的车内交互方式，通过车载全息影像硬件单元使屏幕内的平面形象能够以全息立体的效果投射到棱锥结构内。用户可通过拍照或相册选取等方式，任意设置自己喜欢的形象进行呈现，通过用户不同的语音指令控制，触发车载全息影像单元展示对应指令的全息人物动作，从而实现个性化的全息交互。本发明融合人工智能、图像处理、语音交互、OTA、信息安全等技术，以场景为主线，让用户能够定制自己喜欢的形象，在车内以声音、视觉的联动形式相伴于旅途，提供场景化、个性化用户体验。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细说明。
图1是本发明的总体结构示意图。
具体实施方式
名词解释：
3D人物模型数据：由2D人物图像生成的3D模型数据。
车载场景：当前环境场景，如雨天、晴天、阴天、查看导航、语音指令等。
3D场景动作模型数据：与当前车载场景对应的3D动作模型数据，例如对应雨天为打雨伞动作，对应晴天为打阳伞或带遮阳帽动作，对应雾霾天气为戴口罩动作等。
如图1所示，本发明的车载全息影像自定义系统包括手机端的手机APP，云端的云端管理平台,整车端的车载互联终端单元(T-BOX)、音响控制单元(HU)、全息影像控制单元(3D)；云端管理平台通过4G网络与手机APP、车载互联终端单元通信；车载互联终端单元通过以太网与音响控制单元通信，通过USB接口与全息影像控制单元通信；音响控制单元通过CAN总线与全息影像控制单元通信。
所述的手机APP拍摄2D图像或者从手机相册获取2D图像，由其中的形象管理模块根据2D图像生成3D人物模型数据，并将3D人物模型数据通过4G网络上传到云端管理平台。
所述的手机APP包括账户管理、形象管理、车辆管理、帮助、手机客户端升级，以及3D人物模型数据生成等功能模块。
账户管理模块：用于用户注册及登录；
形象管理模块：用于2D图像获取、形象编辑、形象管理、形象保存、形象重塑、形象生成；
车辆管理模块：用于手机APP与车辆的绑定、解绑和车型选择，以根据不同车型，体现不同功能。
帮助模块：用于常见问题解答，存储和调取操作指南；
手机客户端升级模块：用于云端升级及手机客户端版本升级推送。
3D模型数据生成模块：根据2D图像生成3D人物模型数据。
手机APP功能列表见表1。
表1
Figure BDA0002470628000000041
Figure BDA0002470628000000051
所述的云端管理平台存储手机APP与车辆的账号信息,通过4G网络接收并存储手机APP发送的3D人物模型数据，将3D人物模型数据通过车载互联终端单元下发到对应车辆上的音响控制单元和全息影像控制单元。
所述的车载互联终端单元(Tbox)提供网络服务，并进行以太网和USB之间的协议转换，使音响总成控制单元→车载互联终端单元(以太网协议)、车载互联终端总成单元→全息影像控制单元(USB协议)这三种设备、两种协议之间可以直接通信。
所述的音响控制单元包含有HU底层及HU应用层；
HU应用层提供提供供手机与车辆绑定的车辆二维码、自定义形象预览展示界面、车载场景--ID编号—场景动作的对应关系；HU应用层接收云端下发的2D预览图,并将自定义2D预览图展示在HU应用层界面。HU底层与全息影像控制单元的3D投影仪建立Socket服务，通过CAN总线进行通信，作为全息影像控制单元的指令控制端。
当用户根据某一车载场景发出语音指令时，HU应用层通过语音技术解析此指令并将其对应为关联的ID编号，并且HU底层通过CAN总线将ID编号发给全息影像控制单元的3D投影仪，实现全息形象场景动作、技能动作的切换控制。
所述的全息影像控制单元包括3D投影仪和透明棱锥体；3D投影仪集成于汽车仪表板内部，透明棱锥体设置在3D投影仪的上方；投影仪的处理器中包含了各ID编号对应的3D场景动作模型数据，可将云端管理平台下发的3D人物模型数据、3D场景动作模型数据合成为3D自定义形象，投影到透明棱锥体进行全息成像。
所述的全息影像控制单元还可以采用其他现有的方式进行全息成像。
当用户自定义全息形象时，首先登录手机端APP应用完成帐号注册，并通过扫描HU应用界面上的车辆二维码完成手机APP与车辆的绑定，之后按APP内的提示分别进行拍照或相册选取2D图像，对图像进行形象编辑、形象保存、生成3D人物模型数据，并将3D人物模型数据上传至云端管理平台。云端管理平台根据手机与车辆的帐号绑定关系，将手机APP上传的3D人物模型数据同步到对应的车辆的音响控制单元和全息影像控制单元，音响控制单元将3D人物模型数据自定义形象预览图在HU应用界面进行展示。根据HU→T-box→3D间的协议机制(基于Rsync协议，HU应用层做Server、全息影像控制单元做Client，车载互联终端单元作为HU应用层与3D投影仪间的路由)，音响控制单元通过CAN总线发出ID指令，使3D投影仪中的处理器将3D人物模型数据与ID编号对应的3D场景动作模型数据合成为自定义形象，并将其以全息形式显示在透明棱锥体内，实现全息交互体验。

Claims (10)

1.一种车载全息影像自定义系统，其特征在于包括手机APP，云端管理平台,整车端的车载互联终端单元、音响控制单元、全息影像控制单元；所述的手机APP由其中的形象管理模块根据2D图像生成3D人物模型数据，并将3D人物模型数据上传到云端管理平台；所述的云端管理平台存储手机APP与车辆的账号信息,接收手机APP发送的3D人物模型数据并将其通过车载互联终端单元下发到对应车辆上的音响控制单元；全息影像控制单元中包含了各ID编号对应的3D场景动作模型数据；音响控制单元发出自定义形象使用指令，将3D人物模型数据发送至全息影像控制单元端；音响控制单元发出ID指令，使全息影像控制单元将3D人物模型数据与ID编号对应的3D场景动作模型数据合成为自定义形象及对应ID动作，并将其以全息形式显示。
2.根据权利要求1所述的车载全息影像自定义系统，其特征在于所述的云端管理平台通过4G网络与手机APP、车载互联终端单元通信；车载互联终端单元通过以太网与音响控制单元通信，通过USB接口与全息影像控制单元通信；音响控制单元通过CAN总线与全息影像控制单元通信。
3.根据权利要求1所述的车载全息影像自定义系统，其特征在于所述的云端管理平台还将3D人物模型数据及对应的2D预览图通过车载互联终端单元下发到对应车辆上的音响控制单元。
4.根据权利要求3所述的车载全息影像自定义系统，其特征在于所述的音响控制单元包含有HU底层及HU应用层；HU应用层提供自定义形象预览展示界面、车载场景--ID编号—场景动作的对应关系；HU应用层接收云端下发的2D预览图,并将自定义2D预览图展示在应用层界面。
5.根据权利要求4所述的车载全息影像自定义系统，其特征在于所述的HU应用层还提供供手机与车辆绑定的车辆二维码。
6.根据权利要求1所述的车载全息影像自定义系统，其特征在于所述的全息影像控制单元包括3D投影仪和透明棱锥体；3D投影仪集成于汽车仪表板内部，透明棱锥体设置在3D投影仪的上方；3D投影仪合成的3D自定义形象投影到透明棱锥体进行全息成像。
7.根据权利要求1所述的车载全息影像自定义系统，其特征在于所述的手机APP中的2D图像通过手机拍摄获取或者从手机相册获取。
8.根据权利要求1所述的车载全息影像自定义系统，其特征在于所述的手机APP还包括账户管理模块，用于用户注册及登录。
9.根据权利要求1所述的车载全息影像自定义系统，其特征在于所述的手机APP还包括形象管理模块，用于2D图像获取、形象编辑、形象管理、形象保存及形象重塑。
10.根据权利要求1所述的车载全息影像自定义系统，其特征在于所述的手机APP还包括车辆管理模块，用于手机APP与车辆的绑定、解绑和车型选择。
CN202010347393.9A 2020-04-28 2020-04-28 一种车载全息影像自定义系统 Pending CN111565226A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010347393.9A CN111565226A (zh) 2020-04-28 2020-04-28 一种车载全息影像自定义系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010347393.9A CN111565226A (zh) 2020-04-28 2020-04-28 一种车载全息影像自定义系统

Publications (1)

Publication Number Publication Date
CN111565226A true CN111565226A (zh) 2020-08-21

Family

ID=72070552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010347393.9A Pending CN111565226A (zh) 2020-04-28 2020-04-28 一种车载全息影像自定义系统

Country Status (1)

Country Link
CN (1) CN111565226A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043939A (zh) * 2021-11-09 2022-02-15 东风汽车集团股份有限公司 一种使用全息投影技术的车载中控系统及控制方法
CN114205346A (zh) * 2021-12-10 2022-03-18 安徽酷哇机器人有限公司 数据自动存储与上传装置、系统及方法
CN114327705A (zh) * 2021-12-10 2022-04-12 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
CN114385225A (zh) * 2022-01-14 2022-04-22 重庆长安汽车股份有限公司 一种车机形象远程配置方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104691444A (zh) * 2013-12-09 2015-06-10 奇点新源国际技术开发(北京)有限公司 一种基于电动汽车的车载终端和车载终端系统
CN105136151A (zh) * 2015-09-16 2015-12-09 王占奎 3d全息车联网交互显示终端
WO2016150047A1 (zh) * 2015-03-20 2016-09-29 京东方科技集团股份有限公司 车载显示系统和汽车
WO2018040729A1 (zh) * 2016-08-29 2018-03-08 广州小鹏汽车科技有限公司 一种车载系统应用账号信息管控方法及系统
CN108810521A (zh) * 2018-04-12 2018-11-13 中国第汽车股份有限公司 3d全息投影智能机器人
CN109466448A (zh) * 2018-09-30 2019-03-15 上海友衷科技有限公司 车载全息投影装置、车载全息投影系统及其全息投影方法
CN109774601A (zh) * 2018-04-23 2019-05-21 长城汽车股份有限公司 一种全息投影方法、系统及汽车
CN110871684A (zh) * 2018-09-04 2020-03-10 比亚迪股份有限公司 车内投影方法、装置、设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104691444A (zh) * 2013-12-09 2015-06-10 奇点新源国际技术开发(北京)有限公司 一种基于电动汽车的车载终端和车载终端系统
WO2016150047A1 (zh) * 2015-03-20 2016-09-29 京东方科技集团股份有限公司 车载显示系统和汽车
CN105136151A (zh) * 2015-09-16 2015-12-09 王占奎 3d全息车联网交互显示终端
WO2018040729A1 (zh) * 2016-08-29 2018-03-08 广州小鹏汽车科技有限公司 一种车载系统应用账号信息管控方法及系统
CN108810521A (zh) * 2018-04-12 2018-11-13 中国第汽车股份有限公司 3d全息投影智能机器人
CN109774601A (zh) * 2018-04-23 2019-05-21 长城汽车股份有限公司 一种全息投影方法、系统及汽车
CN110871684A (zh) * 2018-09-04 2020-03-10 比亚迪股份有限公司 车内投影方法、装置、设备和存储介质
CN109466448A (zh) * 2018-09-30 2019-03-15 上海友衷科技有限公司 车载全息投影装置、车载全息投影系统及其全息投影方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114043939A (zh) * 2021-11-09 2022-02-15 东风汽车集团股份有限公司 一种使用全息投影技术的车载中控系统及控制方法
CN114205346A (zh) * 2021-12-10 2022-03-18 安徽酷哇机器人有限公司 数据自动存储与上传装置、系统及方法
CN114327705A (zh) * 2021-12-10 2022-04-12 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
CN114327705B (zh) * 2021-12-10 2023-07-14 重庆长安汽车股份有限公司 车载助手虚拟形象自定义方法
CN114385225A (zh) * 2022-01-14 2022-04-22 重庆长安汽车股份有限公司 一种车机形象远程配置方法

Similar Documents

Publication Publication Date Title
CN111565226A (zh) 一种车载全息影像自定义系统
JP7143443B2 (ja) 車両の搭乗者及び遠隔ユーザのための共有環境
CN108446310B (zh) 虚拟街景地图生成方法、装置和客户端设备
CN106157359B (zh) 一种虚拟场景体验系统的设计方法
CN107878311A (zh) 用于在车辆上投放主观消息的系统和方法
CN106683197A (zh) 一种融合vr和ar技术的楼盘展示系统及其方法
CN104691444A (zh) 一种基于电动汽车的车载终端和车载终端系统
CN106412495A (zh) 使用大范围移动延时摄影视频的车辆和社交网络
WO2020151431A1 (zh) 一种智能看车的数据处理方法及系统
CN111134496B (zh) 一种基于mr的产品展示实现系统及实现方法
US20200294414A1 (en) Driving simulator
CN109831499A (zh) 智能车载语言传输交互系统
CN110979202B (zh) 改变汽车风格的方法、装置以及系统
CN111016787B (zh) 驾驶中防止视觉疲劳的方法、装置、存储介质及电子设备
CN114043939B (zh) 一种使用全息投影技术的车载中控系统及控制方法
CN110634190A (zh) 一种远程摄像vr体验系统
US20230386138A1 (en) Virtual environments for autonomous vehicle passengers
CN209112050U (zh) 一种具有移动天眼功能的电动汽车
CN105679209A (zh) 一种车内3d全息投影装置
CN112420045A (zh) 一种汽车车载语音交互系统及方法
KR20180000010A (ko) 가상현실기술을 활용한 미니어처세상탐험 방법
WO2023060528A1 (zh) 一种显示方法、显示设备、方向盘和车辆
CN117416296A (zh) 车辆座舱的控制方法、装置、设备及存储介质
JP2023070295A (ja) 映像表示システム
CN116923303A (zh) 驾驶舱氛围营造的方法、车机系统及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200821

RJ01 Rejection of invention patent application after publication