CN212115515U - 一种全景环视显示系统 - Google Patents

Abstract

本申请实施例公开了一种全景环视显示系统。本申请实施例提供的技术方案通过图像处理模块对车辆四周的摄像头回传的实时视频进行解码得到车辆周向图像，并由主处理模块对车辆周向头像进行融合得到车辆环境图像，再将车辆图像融合到车辆环境图像中，得到车辆全景环视图像，并将车辆全景环视图像保存在存储模块中，在移动显示终端需要显示车辆全景图像时，移动显示终端通过蓝牙连接方式连接蓝牙收发模块并发送全景图像调用指令，主处理模块响应于全景图像调用指令从存储模块中调用车辆全景图像并经蓝牙收发模块发送给移动显示终端，由终端对车辆全景图像进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。

Description

一种全景环视显示系统

技术领域

本申请实施例涉及汽车安全领域，尤其涉及一种全景环视显示系统。

背景技术

随着科技的进步，各种车载辅助驾驶系统得到很大的发展，例如360全景环视系统。

360全景环视系统将同一时刻采集到的多路视频影像处理成一幅车辆周边 360度的车身俯视图，最后在中控台的屏幕上显示，让驾驶员清楚查看车辆周边是否存在障碍物并了解障碍物的相对方位与距离。

目前，360全景环视系统一般配备在高配版的汽车上，或者是为一些专门的车辆特别定制，如大巴车等。因360全景环视系统在使用时需要与车辆的中控系统共用一个显示屏，在使用时会与车辆原先的系统显示方案存在冲突，影响车辆使用体验。

实用新型内容

本申请实施例提供一种全景环视显示系统，以将车辆全景环视图像发送至移动显示终端进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。

本申请实施例提供了一种全景环视显示系统，包括主处理模块、图像处理模块、存储模块和蓝牙收发模块，所述图像处理模块、所述存储模块和所述蓝牙收发模块均通信连接于所述主处理模块，其中：

图像处理模块，用于接收设置于车辆四周的摄像头回传的实时视频，对所述实时视频进行解码以得到车辆周向图像，并向所述主处理模块发送所述车辆周向图像；

主处理模块，用于对不同方向的摄像头对应的车辆周向图像进行边缘融合，生成车辆环境图像，并将所述车辆环境图像与车辆图像进行融合，以得到车辆全景环视图像，并将所述车辆全景环视图像发送至存储模块，响应于全景图像调用指令从所述存储模块调取所述车辆全景环视图像并向所述蓝牙收发模块发送；

存储模块，用于存储所述车辆全景环视图像；

蓝牙收发模块，用于建立处理模块与移动显示终端的蓝牙连接，向所述主处理模块传递移动显示终端发出的全景图像调用指令，并向移动显示终端发送车辆全景环视图像，以使移动显示终端显示所述车辆全景环视图像。

进一步的，所述全景环视显示系统还包括通信连接于所述主处理模块的IO 模块，所述IO模块用于接收车辆的IO信号，并向所述主处理模块发送所述IO 信号。

进一步的，所述全景环视显示系统还包括通信连接于所述IO模块的车辆状态检测模块，所述车辆状态检测模块用于检测车辆状态，生成车辆状态信息，并通过所述IO模块向所述主处理模块发送车辆状态信息，所述主处理模块将所述车辆状态信息与所述车辆全景环视图像进行融合。

进一步的，所述全景环视显示系统还包括通信连接于所述IO模块的车辆姿态检测模块，所述车辆姿态检测模块用于检测车辆姿态，生成车辆姿态信息，并通过所述IO模块向所述主处理模块发送车辆姿态信息，所述主处理模块根据所述车辆姿态信息确定车辆全景环视图像中车辆图像的姿态。

进一步的，所述车辆姿态检测模块包括三轴加速度传感器、三轴陀螺仪和三轴磁力传感器中的一种或多种的组合。

进一步的，所述摄像头包括可见光摄像头和红外摄像头，所述可见光摄像头和所述红外摄像头通过视频选通模块连接于所述主处理模块和所述图像处理模块，所述主处理模块通过所述视频选通模块控制与所述图像处理模块进行连接的摄像头。

进一步的，所述视频选通模块包括视频多路复用芯片，所述视频多路复用芯片的视频输入端分别连接所述可见光摄像头和所述红外摄像头的视频输出端，所述视频多路复用芯片的视频输出端连接于所述图像处理模块，所述视频多路复用芯片的控制端连接于所述主处理模块，所述主处理模块通过控制视频多路复用芯片选择连接于所述图像处理模块的摄像头的类型。

进一步的，所述主处理模块连接有选用指示模块，所述选用指示模块用于向所述主处理模块发出视频选用信息，所述主处理模块根据所述视频选用信息控制视频多路复用芯片选择连接的摄像头的类型。

进一步的，所述选用指示模块包括光照强度传感器，所述光照强度传感器用于检测车辆周围光照强度并生成光强信息，所述主处理模块根据所述光强信息控制视频多路复用芯片选择连接的摄像头的类型。

进一步的，所述选用指示模块包括通道选择按钮，所述主处理模块根据所述通道选择按钮的状态控制视频多路复用芯片选择连接的摄像头的类型。

本申请实施例通过图像处理模块对车辆四周的摄像头回传的实时视频进行解码得到车辆周向图像，并由主处理模块对车辆周向头像进行融合得到车辆环境图像，再将车辆图像融合到车辆环境图像中，得到车辆全景环视图像，并将车辆全景环视图像保存在存储模块中，在移动显示终端需要显示车辆全景图像时，移动显示终端通过蓝牙连接方式连接蓝牙收发模块并发送全景图像调用指令，主处理模块响应于全景图像调用指令从存储模块中调用车辆全景图像并经蓝牙收发模块发送给移动显示终端，由终端对车辆全景图像进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。

附图说明

图1是本申请实施例一提供的一种全景环视显示系统的结构示意图；

图2是本申请实施例二提供的一种全景环视显示系统的结构示意图；

图3是本申请实施例三提供的一种全景环视显示系统的结构示意图；

图4是本申请实施例三提供的视频选通模块与主处理模块的电路连接示意图。

附图标记：1、主处理模块；2、图像处理模块；3、存储模块；4、蓝牙收发模块；5、移动显示终端；6、IO模块；7、车辆状态检测模块；8、车辆姿态检测模块；9、可见光摄像头；10、红外摄像头；11、视频选通模块；12、视频多路复用芯片；13、选用指示模块；14、光照强度传感器；15、通道选择按钮。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。

在本申请实施例的描述中，除非另有明确的规定和限定，术语“相连”、“连接”、“固定”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

一种全景环视显示系统，图1给出了本申请实施例一提供的一种全景环视显示系统的结构示意图。如图1所示，该全景环视显示系统包括主处理模块1、图像处理模块2、存储模块3、蓝牙收发模块4和IO模块6，其中图像处理模块 2、存储模块3、蓝牙收发模块4和IO模块6均通信连接于主处理模块1。进一步的，主处理模块1、图像处理模块2、存储模块3、蓝牙收发模块4和IO模块 6均安装在车载主机上。

其中主处理模块1可以是单片机、PLC等处理器，蓝牙收发模块4用于建立移动显示终端5和主处理器之间的蓝牙连接，并实现主处理器和移动显示终端5之间的数据通信。移动显示终端5应理解为带有显示屏且具有蓝牙功能的移动设备(例如手机、平板电脑等)。

进一步的，在车辆的四周安装有多个摄像头，并且摄像头背向车辆设置，从而对车辆外侧环境进行拍摄，得到能反映车辆摄像头所在一侧的环境的车辆周向图像。同时，相邻的摄像头拍摄得到的车辆周向图像的(水平)边缘之间应存在重合部分，使得所有摄像头拍摄的车辆周向图像能无缝合成能反映车辆四周各个方向的环境的车辆环境图像。

可以理解的是，在完成摄像头的安装后，对摄像头进行标定得到摄像头的内外参数，基于摄像头的内外参数可对拍摄得到的车辆周向图像进行融合拼接得到车辆环境图像。

在本实施例中，以在车辆的前后左右四个位置各设置一个摄像头为例进行描述(例如，前视摄像头位置设置在车标附近的位置，左右摄像头设置在倒车镜附近，后视摄像头设置在车牌上方的位置)，并且摄像头优选为广角鱼眼镜头，使得相邻的摄像头拍摄所得的车辆周向图像存在重合部分。

其中图像处理模块2包括视频处理芯片(例如TVP5150视频处理芯片)。各个摄像头的视频输出接口通信连接于图像处理模块2，以将拍摄生成的视频流 (实时视频)回传到图像处理模块2。进一步的，图像处理模块2接收设置于车辆四周的摄像头回传的实时视频，对视频流进行处理(解码、降噪、矫正)得到图像帧(车辆周向图像)，并向主处理模块1发送车辆周向图像。

进一步的，主处理模块1在接收到车辆周向图像后，对不同方向的摄像头对应的车辆周向图像进行边缘融合，生成车辆环境图像。进一步的，在生成车辆环境图像后，主处理模块1通过内置的图像处理软件将车辆图像与车辆环境图像进行融合(将俯视状态的车辆图像贴到车辆环境图像中)，得到车辆全景环视图像。

可以理解的是，图像融合技术基于现有图像边缘融合拼接软件进行即可，可参考现有360全景环视系统使用的图像处理软件，即在主处理模块1中配置相应软件，软件在接收车辆周向图像后，基于图像和成算法将各路视频图像进行融合拼接。

主处理模块1在生成车辆全景环视图像后，将车辆全景图像发送至存储模块3，由存储模块3对车辆全景图像进行保存。

进一步的，蓝牙收发模块4还用于向主处理模块1传递移动显示终端5发出的全景图像调用指令。主处理模块1在接收到全景图像调用指令后，将车辆全景环视图像发送到蓝牙收发模块4，并由蓝牙收发模块4发送到对应移动显示终端5上，由移动显示终端5对车辆全景环视图像进行显示。可选的，可在移动显示终端5的全景图像显示软件上设置全景图像调用按钮，通过点击全景图像调用按钮可生成全景图像调用指令并向蓝牙收发模块4发送。

其中，车辆全景图像可以是在发送至存储模块3的同时转发给移动显示终端5，也可以在保存至存储模块3后再从存储模块3调取并转发给移动显示终端 5。

进一步的，IO模块6用于接收车辆的IO信号，并向主处理模块1发送IO 信号。其中IO信号由车辆上设置的车辆检测模块(例如车速检测模块、车门开关状态检测模块、温度检测模块等)发出，并可通过主处理模块1上设置的OSD (On-Screen-Display，屏幕菜单式调节方式)处理软件将IO信号叠加在车辆全景图像上。

上述，通过图像处理模块2对车辆四周的摄像头回传的实时视频进行解码得到车辆周向图像，并由主处理模块1对车辆周向头像进行融合得到车辆环境图像，再将车辆图像融合到车辆环境图像中，得到车辆全景环视图像，并将车辆全景环视图像保存在存储模块3中，在移动显示终端5需要显示车辆全景图像时，移动显示终端5通过蓝牙连接方式连接蓝牙收发模块4并发送全景图像调用指令，主处理模块1响应于全景图像调用指令从存储模块3中调用车辆全景图像并经蓝牙收发模块4发送给移动显示终端5，由终端对车辆全景图像进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。

实施例二

一种全景环视显示系统，图2给出了本申请实施例二提供的一种全景环视显示系统的结构示意图。如图2所示，本实施例提供的全景环视显示系统在实施例一提供的全景环视显示系统的基础上进一步设置。

具体的，该全景环视系统还包括通信连接于IO模块6的车辆状态检测模块 7和车辆姿态检测模块8。

其中车辆状态检测模块7用于检测车辆状态，生成车辆状态信息。示例性的，车辆状态检测模块7可以是车辆各种功能模块(如空调、安全带、车门开关、照明系统)的一种或多种的组合，并根据功能模块的状态反馈生成对应的车辆状态信息。

进一步的，车辆状态检测模块7通过IO模块6向主处理模块1发送车辆状态信息，主处理模块1将车辆状态信息与车辆全景环视图像进行融合，再对融合后的车辆全景图像进行保存或转发。可选的，可对不同的车辆状态信息对应的显示图像进行关联，根据实时接收到的车辆状态信息，确定对应的显示图像并与车辆全景环视图像进行融合，得到可反映车辆状态的车辆全景环视图像。

车辆姿态检测模块8用于检测车辆姿态，生成车辆姿态信息。示例性的，车辆姿态检测模块8可以是三轴加速度传感器、三轴陀螺仪和三轴磁力传感器中的一种或多种的组合。

进一步的，车辆姿态检测模块8通过IO模块6向主处理模块1发送车辆姿态信息，主处理模块1将车辆姿态信息与车辆全景环视图像进行融合，再对融合后的车辆全景图像进行保存或转发。主处理模块1根据车辆姿态信息确定车辆当前姿态(如车辆当前的水平倾角)，根据车辆当前姿态确定合适的车辆姿态图像(可对不同的车辆姿态图像设置对应的车辆姿态信息范围)。

上述，通过图像处理模块2对车辆四周的摄像头回传的实时视频进行解码得到车辆周向图像，并由主处理模块1对车辆周向头像进行融合得到车辆环境图像，再将车辆图像融合到车辆环境图像中，得到车辆全景环视图像，并将车辆全景环视图像保存在存储模块3中，在移动显示终端5需要显示车辆全景图像时，移动显示终端5通过蓝牙连接方式连接蓝牙收发模块4并发送全景图像调用指令，主处理模块1响应于全景图像调用指令从存储模块3中调用车辆全景图像并经蓝牙收发模块4发送给移动显示终端5，由终端对车辆全景图像进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。同时，对车辆的状态和姿态进行显示，方便用户及时了解车辆的实时运行状态及姿态。

实施例三

一种全景环视显示系统，图3给出了本申请实施例三提供的一种全景环视显示系统的结构示意图。如图3所示，本实施例提供的全景环视显示系统在上述实施例提供的全景环视显示系统的基础上进一步设置。

具体的，本实施例提供的摄像头包括可见光摄像头9和红外摄像头10，即在车辆的前后左右四个方向均设置有可见光摄像头9和红外摄像头10。同一侧的可见光摄像头9和红外摄像头10的视频输出端通过视频选通模块11连接于图像处理模块2(图中以一侧的摄像头为例进行展示，另外三路摄像头未示出)，并且视频选通模块11的控制端连接于主处理模块1，主处理模块1通过视频选通模块11控制与图像处理模块2进行连接的摄像头(可见光摄像头9或红外摄像头10)。通过控制接入图像处理模块2的摄像头，选择车辆周向图像的成像类型(彩色图像或红外图像)，在合成车辆全景环视图像时得到对应的成像类型，可适应不同光亮环境的使用要求。

具体的，视频选通模块11包括视频多路复用芯片12(例如AD8180芯片、 AD8182芯片、MAX440芯片等)，视频多路复用芯片12的视频输入端分别连接可见光摄像头9和红外摄像头10的视频输出端，视频多路复用芯片12的视频输出端连接于图像处理模块2，视频多路复用芯片12的控制端连接于主处理模块1，主处理模块1通过控制视频多路复用芯片12选择连接于图像处理模块2的摄像头的类型。

进一步的，主处理模块1连接有选用指示模块13，选用指示模块13用于向主处理模块1发出视频选用信息，主处理模块1根据视频选用信息控制视频多路复用芯片12选择连接的摄像头的类型。

图4为本申请实施例三提供的视频选通模块11与主处理模块1的电路连接示意图。如图4所示，本实施例以AD8180芯片作为视频选通模块11为例进行描述，视频选通模块11的第一视频输入端(1号引脚，IN0)连接于可见光摄像头9的视频输出端，视频选通模块11的第二视频输入端(3号引脚，IN1)连接于红外摄像头10的视频输出端，视频选通模块11的输出端(6号引脚，OUT) 连接于图像处理模块2的输入选，视频选通模块11的使能端(7号引脚，ENABLE)连接于主处理模块1的一个信号输出端，视频选通模块11的通道选择端(8号引脚，SELECT)连接于主处理模块1的一个信号输出端。

其中，视频选通模块11的使能端低电平有效，主处理模块1向视频选通模块11的通道选择端发送选通信号，从而控制视频选通模块11连通于视频输出端的视频输入端。具体的，主处理模块1根据选用指示模块13的输出的视频选用信息确定选用的摄像头类型。

进一步的，选用指示模块13包括光照强度传感器14和通道选择按钮15，光照强度传感器14和通道选择按钮15均电连接于主处理模块1。光照强度传感器14和通道选择按钮15可根据需要进行选择，本方案以光照强度传感器14和通道选择按钮15的组合为例进行描述。

具体的，光照强度传感器14用于检测车辆周围光照强度并生成光强信息并作为视频选用信息，主处理模块1根据光强信息控制视频多路复用芯片12选择连接的摄像头的类型。例如设置一个切换阈值，在光强信息反映的光照强度达到切换阈值时，确定选择的摄像头类型为可见光摄像头9，否则，确定选择的摄像头类型的红外摄像头10。

进一步的，主处理模块1根据通道选择按钮15的状态(将选择按钮的状态作为视频选用信息)控制视频多路复用芯片12选择连接的摄像头的类型。本实施例提供的通道选择按钮15为复位按钮，在检测到复位按钮连通时，主处理模块1将当前确定的摄像头类型切换为另一个摄像头类型(例如通过0和1作为状态值记录当前选择的摄像头类型，并响应于复位按钮的连通进行翻转)，可根据使用需要主动进行摄像头类型的切换。在其他实施例中，还可将自保持的开关作为通道选择按钮15，并根据通道选择按钮15的开关状态确定选用的摄像头类型。

上述，通过图像处理模块2对车辆四周的摄像头回传的实时视频进行解码得到车辆周向图像，并由主处理模块1对车辆周向头像进行融合得到车辆环境图像，再将车辆图像融合到车辆环境图像中，得到车辆全景环视图像，并将车辆全景环视图像保存在存储模块3中，在移动显示终端5需要显示车辆全景图像时，移动显示终端5通过蓝牙连接方式连接蓝牙收发模块4并发送全景图像调用指令，主处理模块1响应于全景图像调用指令从存储模块3中调用车辆全景图像并经蓝牙收发模块4发送给移动显示终端5，由终端对车辆全景图像进行显示，减少与车辆原先的系统显示方案的冲突，优化车辆使用体验。同时，根据当前光亮环境或者是使用需要切换摄像头类型，保证不同环境下的图像显示效果，优化用户体验，提高行车安全。

上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例，对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此，虽然通过以上实施例对本申请进行了较为详细的说明，但是本申请不仅仅限于以上实施例，在不脱离本申请构思的情况下，还可以包括更多其他等效实施例，而本申请的范围由权利要求的范围决定。

Claims (10)

1.一种全景环视显示系统，其特征在于，包括主处理模块(1)、图像处理模块(2)、存储模块(3)和蓝牙收发模块(4)，所述图像处理模块(2)、所述存储模块(3)和所述蓝牙收发模块(4)均通信连接于所述主处理模块(1)，其中：

图像处理模块(2)，用于接收设置于车辆四周的摄像头回传的实时视频，对所述实时视频进行解码以得到车辆周向图像，并向所述主处理模块(1)发送所述车辆周向图像；

主处理模块(1)，用于对不同方向的摄像头对应的车辆周向图像进行边缘融合，生成车辆环境图像，并将所述车辆环境图像与车辆图像进行融合，以得到车辆全景环视图像，并将所述车辆全景环视图像发送至存储模块(3)，响应于全景图像调用指令从所述存储模块(3)调取所述车辆全景环视图像并向所述蓝牙收发模块(4)发送；

存储模块(3)，用于存储所述车辆全景环视图像；

蓝牙收发模块(4)，用于建立处理模块与移动显示终端(5)的蓝牙连接，向所述主处理模块(1)传递移动显示终端(5)发出的全景图像调用指令，并向移动显示终端(5)发送车辆全景环视图像，以使移动显示终端(5)显示所述车辆全景环视图像。

2.根据权利要求1所述的全景环视显示系统，其特征在于，所述全景环视显示系统还包括通信连接于所述主处理模块(1)的IO模块(6)，所述IO模块(6)用于接收车辆的IO信号，并向所述主处理模块(1)发送所述IO信号。

3.根据权利要求2所述的全景环视显示系统，其特征在于，所述全景环视显示系统还包括通信连接于所述IO模块(6)的车辆状态检测模块(7)，所述车辆状态检测模块(7)用于检测车辆状态，生成车辆状态信息，并通过所述IO模块(6)向所述主处理模块(1)发送车辆状态信息，所述主处理模块(1)将所述车辆状态信息与所述车辆全景环视图像进行融合。

4.根据权利要求2所述的全景环视显示系统，其特征在于，所述全景环视显示系统还包括通信连接于所述IO模块(6)的车辆姿态检测模块(8)，所述车辆姿态检测模块(8)用于检测车辆姿态，生成车辆姿态信息，并通过所述IO模块(6)向所述主处理模块(1)发送车辆姿态信息，所述主处理模块(1)根据所述车辆姿态信息确定车辆全景环视图像中车辆图像的姿态。

5.根据权利要求4所述的全景环视显示系统，其特征在于，所述车辆姿态检测模块(8)包括三轴加速度传感器、三轴陀螺仪和三轴磁力传感器中的一种或多种的组合。

6.根据权利要求1-5任一项所述的全景环视显示系统，其特征在于，所述摄像头包括可见光摄像头(9)和红外摄像头(10)，所述可见光摄像头(9)和所述红外摄像头(10)通过视频选通模块(11)连接于所述主处理模块(1)和所述图像处理模块(2)，所述主处理模块(1)通过所述视频选通模块(11)控制与所述图像处理模块(2)进行连接的摄像头。

7.根据权利要求6所述的全景环视显示系统，其特征在于，所述视频选通模块(11)包括视频多路复用芯片(12)，所述视频多路复用芯片(12)的视频输入端分别连接所述可见光摄像头(9)和所述红外摄像头(10)的视频输出端，所述视频多路复用芯片(12)的视频输出端连接于所述图像处理模块(2)，所述视频多路复用芯片(12)的控制端连接于所述主处理模块(1)，所述主处理模块(1)通过控制视频多路复用芯片(12)选择连接于所述图像处理模块(2)的摄像头的类型。

8.根据权利要求7所述的全景环视显示系统，其特征在于，所述主处理模块(1)连接有选用指示模块(13)，所述选用指示模块(13)用于向所述主处理模块(1)发出视频选用信息，所述主处理模块(1)根据所述视频选用信息控制视频多路复用芯片(12)选择连接的摄像头的类型。

9.根据权利要求8所述的全景环视显示系统，其特征在于，所述选用指示模块(13)包括光照强度传感器(14)，所述光照强度传感器(14)用于检测车辆周围光照强度并生成光强信息，所述主处理模块(1)根据所述光强信息控制视频多路复用芯片(12)选择连接的摄像头的类型。

10.根据权利要求8所述的全景环视显示系统，其特征在于，所述选用指示模块(13)包括通道选择按钮(15)，所述主处理模块(1)根据所述通道选择按钮(15)的状态控制视频多路复用芯片(12)选择连接的摄像头的类型。

Images