CN115604455A - 基于虚拟现实的全景显示方法、装置、设备及介质 - Google Patents

基于虚拟现实的全景显示方法、装置、设备及介质 Download PDF

Info

Publication number
CN115604455A
CN115604455A CN202211216119.3A CN202211216119A CN115604455A CN 115604455 A CN115604455 A CN 115604455A CN 202211216119 A CN202211216119 A CN 202211216119A CN 115604455 A CN115604455 A CN 115604455A
Authority
CN
China
Prior art keywords
vehicle
virtual reality
information
display
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211216119.3A
Other languages
English (en)
Inventor
何叶素
董莉娜
黄灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Changan Automobile Co Ltd
Original Assignee
Chongqing Changan Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Changan Automobile Co Ltd filed Critical Chongqing Changan Automobile Co Ltd
Priority to CN202211216119.3A priority Critical patent/CN115604455A/zh
Publication of CN115604455A publication Critical patent/CN115604455A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/378Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种基于虚拟现实的全景显示方法、装置、设备及介质,该方法包括:获取车辆周围的视频图像以及车辆内监控图像;分别对所述视频图像、所述监控图像进行识别,得到所述车辆的环境信息与所述车辆内用户转向信息,并确定所述车辆当前状态信息;将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像;基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;利用微调显示角度后的虚拟现实装置来显示所述540°全景影像,通过上述方式,不仅解决了用户盲区,提高了车辆的安全性能,还避免了用户查看全景影像所带来的晕眩问题。

Description

基于虚拟现实的全景显示方法、装置、设备及介质
技术领域
本申请涉及车辆全景显示领域,具体涉及一种基于虚拟现实的全景显示方法、装置、设备及介质。
背景技术
目前,随着私家车的日益普及,交通状况日益复杂,车辆间的剐蹭、相撞等现象时有发生,造成这些现象的一个主要原因在于:当驾驶员坐在汽车内部时,其视角相对固定,因此,很难真实地观察到汽车外部的情况。为了尽可能真实地展示出汽车外部的情况,一些车辆已经推出了全景显示功能,通过该功能可以在车内显示器上展示外部的全景图像,以便于副驾驶、后座直观地感受外部的路况。
目前,车辆上的全景显示主要为了实现全景泊车功能。然而,针对非驾驶员的其他乘客(即,用户)来讲,缺乏一种针对车辆乘客实现基于虚拟现实交互的全景显示方式,进而,导致整个车辆的娱乐单一,也无法通过接入消费类电子,丰富汽车的娱乐项目。
申请内容
鉴于以上所述现有技术的缺点,本申请提供一种基于虚拟现实的全景显示方法、装置、设备及介质产品,以解决上述基于虚拟现实的全景显示无法满足用户需求的问题。
在第一方面,本申请提供的一种基于虚拟现实的全景显示方法,包括:
获取车辆周围的视频图像以及车辆内监控图像,所述视频图像包括当前车辆前侧、后侧、顶部、左侧与右侧所对应的图像;
分别对所述视频图像、所述监控图像进行识别,得到所述车辆的环境信息与所述车辆内用户转向信息,并确定所述车辆当前状态信息;
将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像;
基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;
利用微调显示角度后的虚拟现实装置来显示所述540°全景影像。
于本申请的一实施例中,将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像,包括:
实时采集车辆外的图像画面信息,将所述图像画面信息进行格式转换,得到预设格式的图像信息;
将预设格式的所述图像信息按照车辆当前所处的环境信息进行拼接,通过连续多帧拼接后图像得到车辆四周与车顶环境所形成的540°全景影像。
于本申请的一实施例中,所述车辆当前状态信息至少包括车速信息、里程信息以及地图数据。
于本申请的一实施例中,基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度,还包括:
基于面向虚拟现实装置的所述用户转向信息切换虚拟现实的显示角度,以使基于虚拟现实方式的显示角度正面朝向用户人脸;结合所述车辆当前的车速信息、里程信息以及地图数据的转向信息进行微调,调节所述虚拟现实相对用户的显示角度。
于本申请的一实施例中,利用加速度传感器和三轴陀螺仪识别车辆内用户头部转向与躯体移动坐标,根据所述头部转向与躯体移动坐标确定所述用户转向信息。
于本申请的一实施例中,根据微调显示角度后的虚拟现实装置来显示所述540°全景影像之后,还包括:若监测通过虚拟现实显示540°全景影像时接收到用户手势操作,接收并识别所述手势操作得到操作指令,基于所述操作指令进行响应。
于本申请的一实施例中,利用微调显示角度后的虚拟现实装置来显示所述540°全景影像之前,还包括:
利用预设语音指令对全景显示功能进行唤醒,若接收到预设语音指令,开启全景显示功能,将所述540°全景影像输入虚拟现实装置进行展示,并存储所述540°全景影像。
在第二方面,本申请提供的一种基于虚拟现实的全景显示装置,包括:
获取模块,用于获取车辆周围的视频图像以及车辆内监控图像,所述视频图像包括当前车辆前侧、后侧、顶部、左侧与右侧所对应的图像;
识别模块,用于分别对所述视频图像、所述监控图像进行识别,得到所述车辆的环境信息与所述车辆内用户转向信息,并确定所述车辆当前状态信息;
拼接模块,用于将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像;
角度调节模块,基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;
全景显示模块,利用微调显示角度后的虚拟现实装置来显示所述540°全景影像。
在第三方面,本申请提供的一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述的基于虚拟现实的全景显示方法。
在第四方面,本申请提供的一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行上述的基于虚拟现实的全景显示方法。
本申请的有益效果:本申请基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;利用微调显示角度后的虚拟现实装置来显示所述540°全景影像,不仅解决了用户盲区,提高了车辆的安全性能,还避免了用户查看全景影像所带来的晕眩问题。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术者来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请的一示例性实施例示出的基于虚拟现实的全景显示方法流程图;
图2是本申请的一示例性实施例示出的基于虚拟现实的全景显示系统结构框图;
图3是本申请的一示例性实施例示出的基于虚拟现实的全景显示方法的另一流程图;
图4是本申请的一示例性实施例示出的基于虚拟现实的全景显示装置的结构框图;
图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下将参照附图和优选实施例来说明本申请的实施方式,本领域技术人员可由本说明书中所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。应当理解,优选实施例仅为了说明本申请,而不是为了限制本申请的保护范围。
需要说明的是,以下实施例中所提供的图示仅以示意方式说明本申请的基本构想,遂图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
在下文描述中,探讨了大量细节,以提供对本申请实施例的更透彻的解释,然而,对本领域技术人员来说,可以在没有这些具体细节的情况下实施本申请的实施例是显而易见的,在其他实施例中,以方框图的形式而不是以细节的形式来示出公知的结构和设备,以避免使本申请的实施例难以理解。
请参阅图1,为本申请的一示例性实施例示出的基于虚拟现实的全景显示方法的流程图,详述如下:
步骤S110,获取车辆周围的视频图像以及车辆内监控图像,所述视频图像包括当前车辆前侧、后侧、顶部、左侧与右侧所对应的图像;
具体地,利用安装于车辆前侧、后侧、顶部、左侧与右侧所对应的摄像头(全景摄像头)采集相应的视频图像(即,图像);同时,车辆内部设有采集用户头部与躯体的摄像头,这样,就可以获取车辆内监控图像。
步骤S120,分别对所述视频图像、所述监控图像进行识别,得到所述车辆的环境信息与所述车辆内用户转向信息,并确定所述车辆当前状态信息;
具体地,所述车辆当前状态信息至少包括车速信息、里程信息以及地图数据。
其中,对车辆外的视频图像进行识别,得到车辆外部的环境信息,同时,对车辆内部的监控图像进行识别,得到车辆内部用户转向信息。
步骤S130,将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像;
具体地,实时采集车辆外的图像画面信息,将所述图像画面信息进行格式转换,得到预设格式的图像信息;
将预设格式的所述图像信息按照车辆当前所处的环境信息进行拼接,通过连续多帧拼接后图像得到车辆四周与车顶环境所形成的540°全景影像。
步骤S140,基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;
具体地,利用加速度传感器和三轴陀螺仪识别车辆内用户头部转向与躯体移动坐标,根据所述头部转向与躯体移动坐标确定所述用户转向信息。
例如,基于面向虚拟现实装置的所述用户转向信息切换虚拟现实的显示角度,以使基于虚拟现实方式的显示角度正面朝向用户人脸;结合所述车辆当前的车速信息、里程信息以及地图数据的转向信息进行微调,调节所述虚拟现实相对用户的显示角度。
其中,虚拟现实技术(英文名称:Virtual Reality,缩写为VR),又称虚拟实境或灵境技术,是一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术,其基本实现方式是以计算机技术为主,利用并综合三维图形技术、多媒体技术、仿真技术、显示技术、伺服技术等多种高科技的最新发展成果,借助计算机等设备产生一个逼真的三维视觉、触觉、嗅觉等多种感官体验的虚拟世界,从而使处于虚拟世界中的人产生一种身临其境的感觉。
步骤S150,根据微调显示角度后的虚拟现实装置来显示所述540°全景影像。
具体地,通过微调显示角度后的虚拟现实(VR)装置来显示540°全景影像,能够更贴合用户。
在本实施例中,基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;利用微调显示角度后的虚拟现实装置来显示所述540°全景影像,不仅解决了用户盲区,提高了车辆的安全性能,还避免了用户查看全景影像所带来的晕眩问题。
在另一些实施例中,根据微调显示角度后的虚拟现实装置来显示所述540°全景影像之后,还包括:
若监测通过虚拟现实显示540°全景影像时接收到用户手势操作,接收并识别所述手势操作得到操作指令,基于所述操作指令进行响应。
通过获取用户指定于全景影像的手势操作,识别针对于指定区域的手势操作得到操作指令,进而,响应于该操作指令,一方面,这样可在车辆中提高与用户交互的能力,另一方面,通过手势交互即使处于后排座椅的用户也能够正常交互,也避免一定需要用户按动某个按钮,这样,确保了车辆行驶的安全。
在另一些实施例中,利用微调显示角度后的虚拟现实装置来显示所述540°全景影像之前,还包括:
利用预设语音指令对全景显示功能进行唤醒,若接收到预设语音指令,开启全景显示功能,将所述540°全景影像输入虚拟现实装置进行展示,并存储所述540°全景影像。
其中,需要说明的是,由于副驾驶与后排座椅上的用户可能在车辆行驶中,无法对中控台的控制按钮进行控制,因此,使用语音识别特定预设语音指令的方式,对全景显示功能进行唤醒,例如,类似苹果手机的“siri”一样,开启苹果手机的语音采集及识别功能。而本申请通过唤醒全景显示功能,可将车辆周围形成的40°全景影像输入虚拟现实装置进行展示,一方面,基于虚拟现实交互的全景显示方式,可接入消费类电子,丰富汽车的娱乐项目;另一方面,也提高了车内乘客乘坐该车辆的智能体验感与娱乐丰富性。
请参阅图2,为本申请的一示例性实施例示出的基于虚拟现实的全景显示系统结构框图;
通过车外摄像头传感器,监控车内实时画面;车载控制系统进行格式转化和图像拼接;VR显示模块(即,虚拟现实装置)进行信息的显示。
VR显示系统包括摄像头模块、车载控制模块、VR显示模块。
所述信息监控模块用于监控获得汽车车外实时图像画面信息。
所述车载控制器模块用于将上述信息进行图像格式转化及完成图像拼接,实时输出拼接过后的图像显示;同时接收整车上的车速/里程/地图信息进行数据转化传输;
所述VR显示模块用于将车外全景图像在VR里面进行显示,同时结合车速/里程/导航信息解决汽车晕眩,同时界面叠加重要信息显示。
以下具体通过实施例详细说明。
如图2所示,VR全景显示控制系统组成具体包括1、车外摄像头(前向)2、车外摄像头(侧向)3、车外摄像头(后向)4、车顶摄像头5、车载控制器模块6、VR显示模块。其中车外前向摄像头实现车前方实时画面拍摄,车外侧向布置在车辆两侧实现车辆两侧的实时画面拍摄,车外后向摄像头实现车辆后侧的实时画面拍摄,车顶摄像头实现车顶画面实时拍摄。5个摄像头通过同轴线束传输RGB(RGB色彩模式是工业界的一种颜色标准)或者YUV(颜色编码)格式的视频信号。车载控制器通过同轴接收到视频信号,进行算法运算,同时通过整车网络接收其他车辆信号(CAN或者以太网接收整车车速/里程等信号),通过WIFI(WirelessFidelity,无线通信)协议或者USB(niversal Serial Bus,通用串行总线)协议传输给VR显示模块。
请参阅图3,为本申请的一示例性实施例示出的基于虚拟现实的全景显示方法的另一流程图;
如图3所示,控制流程1:车载控制模块通过WIFI协议或者USB(数据接口协议)连接VR显示模块,连接成功后,如果用户在VR显示模块画面或者车载控制模块中选择切换540车外画面显示,则车载控制模块控制摄像头上电,进行实时传输车外画面。车载控制模块接收到5个摄像头RGB格式或者YUV格式的显示视频,通过拼接算法对5个摄像头实时画面进行算法画面拼接,拼接成540度画面显示。通过WIFI协议或USB协议传输整车信号(车速、里程、地图)和540度拼接完成视频画面。VR显示模块通过无线WIFI协议或者有线USB协议接收信号,经过算法处理,在VR显示模块中显示全景实时画面,画面移动和实际车速一致。在视频显示上同时叠加显示里程和导航转向等信息。VR显示模块同时结合加速度传感器和三轴陀螺仪识别用户的头部转向和身体移动的坐标,自动跟随切换视频显示画面,实现实时车外全景视频显示。
综上所述,本发明提供的基于VR实现的汽车全景显示的方法,通过结合整车摄像头/车速/里程信息,同时结合VR显示模块内部传感器信息,实现实时显示车外画面,自动切换画面视角显示功能,为乘车者提供全新的视觉体验,实现车辆和消费类电子的完美融合,实现汽车上娱乐的多样化。
图4是本申请的一示例性实施例示出的基于虚拟现实的全景显示装置的结构框图。该装置可以配置在智能终端。该装置也可以适用于其它的示例性实施环境,并具体配置在其它设备中,本实施例不对该装置所适用的实施环境进行限制。
如图4所示,该示例性的基于虚拟现实的全景显示装置包括:
获取模块401,用于获取车辆周围的视频图像以及车辆内监控图像,所述视频图像包括当前车辆前侧、后侧、顶部、左侧与右侧所对应的图像;
识别模块402,用于分别对所述视频图像、所述监控图像进行识别,得到所述车辆的环境信息与所述车辆内用户转向信息,并确定所述车辆当前状态信息;
拼接模块403,用于将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像;
角度调节模块404,基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;
全景显示模块405,用于根据微调显示角度后的虚拟现实装置来显示所述540°全景影像。
在该示例性的基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;利用微调显示角度后的虚拟现实装置来显示所述540°全景影像,不仅解决了用户盲区,提高了车辆的安全性能,还避免了用户查看全景影像所带来的晕眩问题。
需要说明的是,上述实施例所提供的基于虚拟现实的全景显示装置与上述实施例所提供的基于虚拟现实的全景显示方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。上述实施例所提供的基于虚拟现实的全景显示装置在实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能,本处也不对此进行限制。
本申请的实施例还提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现上述各个实施例中提供的基于虚拟现实的全景显示方法。
图5示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是,图5示出的电子设备的计算机系统500仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示,计算机系统500包括中央处理单元(Central Processing Unit,CPU)501,其可以根据存储在只读存储器(Read-Only Memory,ROM)502中的程序或者从储存部分508加载到随机访问存储器(Random Access Memory,RAM)503中的程序而执行各种适当的动作和处理,例如执行上述实施例中所述的方法。在RAM503中,还存储有系统操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(Input/Output,I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分507;包括硬盘等的储存部分508;以及包括诸如LAN(Local Area Network,局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入储存部分508。
特别地,根据本申请的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的系统中限定的各种功能。
需要说明的是,本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
本申请的另一方面还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前所述的基于虚拟现实的全景显示方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的,也可以是单独存在,而未装配入该电子设备中。
上述实施例仅示例性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,但凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于虚拟现实的全景显示方法,其特征在于,包括:
获取车辆周围的视频图像以及车辆内监控图像,所述视频图像包括当前车辆前侧、后侧、顶部、左侧与右侧所对应的图像;
分别对所述视频图像、所述监控图像进行识别,得到所述车辆的环境信息与所述车辆内用户转向信息,并确定所述车辆当前状态信息;
将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像;
基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;
利用微调显示角度后的虚拟现实装置来显示所述540°全景影像。
2.根据权利要求1所述的方法,其特征在于,将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像,包括:
实时采集车辆外的图像画面信息,将所述图像画面信息进行格式转换,得到预设格式的图像信息;
将预设格式的所述图像信息按照车辆当前所处的环境信息进行拼接,通过连续多帧拼接后图像得到车辆四周与车顶环境所形成的540°全景影像。
3.根据权利要求1所述的方法,其特征在于,所述车辆当前状态信息至少包括车速信息、里程信息以及地图数据。
4.根据权利要求3所述的方法,其特征在于,基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度,还包括:
基于面向虚拟现实装置的所述用户转向信息切换虚拟现实的显示角度,以使基于虚拟现实方式的显示角度正面朝向用户人脸;结合所述车辆当前的车速信息、里程信息以及地图数据的转向信息进行微调,调节所述虚拟现实相对用户的显示角度。
5.根据权利要求4所述的方法,其特征在于,利用加速度传感器和三轴陀螺仪识别车辆内用户头部转向与躯体移动坐标,根据所述头部转向与躯体移动坐标确定所述用户转向信息。
6.根据权利要求1至5任一所述的方法,其特征在于,根据微调显示角度后的虚拟现实装置来显示所述540°全景影像之后,还包括:若监测通过虚拟现实显示540°全景影像时接收到用户手势操作,接收并识别所述手势操作得到操作指令,基于所述操作指令进行响应。
7.根据权利要求6所述的方法,其特征在于,利用微调显示角度后的虚拟现实装置来显示所述540°全景影像之前,还包括:
利用预设语音指令对全景显示功能进行唤醒,若接收到预设语音指令,开启全景显示功能,将所述540°全景影像输入虚拟现实装置进行展示,并存储所述540°全景影像。
8.一种基于虚拟现实的全景显示装置,其特征在于,所述装置包括:
获取模块,用于获取车辆周围的视频图像以及车辆内监控图像,所述视频图像包括当前车辆前侧、后侧、顶部、左侧与右侧所对应的图像;
识别模块,用于分别对所述视频图像、所述监控图像进行识别,得到所述车辆的环境信息与所述车辆内用户转向信息,并确定所述车辆当前状态信息;
拼接模块,用于将各所述图像按照所述车辆的环境信息进行拼接,得到540°全景影像;
角度调节模块,基于所述用户转向信息切换虚拟现实的显示角度,结合所述车辆当前状态信息的转向信息微调所述虚拟现实相对用户的显示角度;
全景显示模块,利用微调显示角度后的虚拟现实装置来显示所述540°全景影像。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行权利要求1至7中任一项所述的方法。
CN202211216119.3A 2022-09-30 2022-09-30 基于虚拟现实的全景显示方法、装置、设备及介质 Pending CN115604455A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211216119.3A CN115604455A (zh) 2022-09-30 2022-09-30 基于虚拟现实的全景显示方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211216119.3A CN115604455A (zh) 2022-09-30 2022-09-30 基于虚拟现实的全景显示方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115604455A true CN115604455A (zh) 2023-01-13

Family

ID=84845554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211216119.3A Pending CN115604455A (zh) 2022-09-30 2022-09-30 基于虚拟现实的全景显示方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115604455A (zh)

Similar Documents

Publication Publication Date Title
EP3794851B1 (en) Shared environment for vehicle occupant and remote user
US9108642B2 (en) Mobile object, system, and storage medium
CN212353623U (zh) 一种基于汽车智能座舱的显示系统
CN114416000B (zh) 一种应用于智能汽车的多屏互动方法、多屏互动系统
US11410634B2 (en) Information processing apparatus, information processing method, display system, and mobile object
US11610342B2 (en) Integrated augmented reality system for sharing of augmented reality content between vehicle occupants
KR20190130517A (ko) Ar 디스플레이 유닛 상에 내비게이션 경로를 표시하기 위한 증강 현실 페이드 인을 계산하기 위한 방법, 이 방법을 수행하기 위한 장치 및 자동차 그리고 컴퓨터 프로그램
CN110015236B (zh) 一种车辆显示装置、方法及车辆
CN112172705A (zh) 一种基于智能座舱的车载智能硬件管控方法和智能座舱
CN114764319A (zh) 智能座舱多屏互动系统、方法及可读存储介质
CN109484328A (zh) 车辆的用户接口装置
CN113386562A (zh) 基于智能座舱的车机ai投屏的方法、控制设备和车辆
CN115604455A (zh) 基于虚拟现实的全景显示方法、装置、设备及介质
CN212828163U (zh) 一种车载娱乐装置及汽车
CN113409646A (zh) 虚拟驾驶与现实驾驶的实时切换装置和系统
KR20220010655A (ko) 주행모드 및 사용자 제어모션에 따른 자율주행 차량의 동적 칵핏 제어 시스템
CN219266904U (zh) 一种车载混合现实体验拓展系统
CN111557019A (zh) 用于避免针对对象的操作人员的视野干扰的方法、用于执行所述方法的装置以及交通工具和计算机程序
CN111932687B (zh) 车内混合现实显示方法及装置
CN112738447B (zh) 一种基于智能座舱的视频会议方法和智能座舱
WO2023241139A1 (zh) 智能座舱控制方法、控制器、智能座舱以及存储介质
KR102519134B1 (ko) Avm 화면 및 차량주행정보를 제공하는 디지털 클러스터 및 디지털 클러스터의 통합주행정보 디스플레이 방법
CN218006393U (zh) 一种实现车载视频感知集中化处理的电路结构
CN116149480A (zh) 一种车载混合现实体验拓展系统及方法
CN112339560B (zh) 一种交互方法及车载导航端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination