CN109525810A - 一种高清动态3d交互式全景环视系统 - Google Patents

一种高清动态3d交互式全景环视系统 Download PDF

Info

Publication number
CN109525810A
CN109525810A CN201811403810.6A CN201811403810A CN109525810A CN 109525810 A CN109525810 A CN 109525810A CN 201811403810 A CN201811403810 A CN 201811403810A CN 109525810 A CN109525810 A CN 109525810A
Authority
CN
China
Prior art keywords
vehicle
image
image processing
processing module
processor module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811403810.6A
Other languages
English (en)
Inventor
龙伟
陈建良
曾宪玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Roadpassion Electronic Technology Co Ltd
Original Assignee
Guangzhou Roadpassion Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Roadpassion Electronic Technology Co Ltd filed Critical Guangzhou Roadpassion Electronic Technology Co Ltd
Priority to CN201811403810.6A priority Critical patent/CN109525810A/zh
Publication of CN109525810A publication Critical patent/CN109525810A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种高清动态3D交互式全景环视系统，包括四个摄像头、图像处理模块、CAN总线系统和处理器模块，四个摄像头分别与图像处理模块相连接，图像处理模块、处理器模块、CAN总线系统和车辆的车载主机依次连接；图像处理模块用于处理摄像头拍摄的视频图像，并将处理后的视频图像发送到处理器模块，由处理器模块通过CAN总线系统将视频图像数据传送到车载主机显示屏上显示出来。本发明提供的高清动态3D交互式全景环视系统，能够快速处理摄像头拍摄的视频图像，精度高、清晰度高、可操作性强，操作方便，可靠性高，在车辆辅助驾驶和车辆安全方面的性能表现极佳，可以很好地满足实际应用的需要。

Description

一种高清动态3D交互式全景环视系统
技术领域
本发明属于车辆设备技术领域，具体涉及一种高清动态3D交互式全景环视系统。
背景技术
随着经济的发展和社会的进步，车辆已经成为人们日常生活不可或缺的交通工具之一，人们对车辆性能要求越来越高，各种车辆设备也越来越先进。随着车辆电子的蓬勃发展，视频技术在车载设备上的应用越来越成熟。全景环视系统为车辆驾驶提供更为直观的辅助驾驶图像信息，在车辆辅助驾驶和车辆安全上有着非常好的应用前景。全景环视系统对于大体积的车辆来说可以明显减少停车入位时造成的剐蹭事故。此外，对于拥挤的都市驾驶也能起到辅助的作用。目前，各种360度环视辅助系统层出不出，各个厂家从自身实际出发，推出了各种版本的360度全景环视系统，精度、清晰度、可操作性均不理想，不能很好地满足实际应用的需要。现在亟待研发一种精度高、清晰度高、可操作性强的全景环视系统。
发明内容
针对上述现有技术中存在的问题，本发明的目的在于提供一种可避免出现上述技术缺陷的高清动态3D交互式全景环视系统。
为了实现上述发明目的，本发明提供的技术方案如下：
一种高清动态3D交互式全景环视系统，包括四个摄像头、图像处理模块、CAN总线系统和处理器模块，四个摄像头分别与图像处理模块相连接，图像处理模块、处理器模块、CAN总线系统和车辆的车载主机依次连接；图像处理模块用于处理摄像头拍摄的视频图像，并将处理后的视频图像发送到处理器模块，由处理器模块通过CAN总线系统将视频图像数据传送到车载主机显示屏上显示出来。
进一步地，所述摄像头为模拟高清摄像头，采用1/3成像CMOS，输出图像清晰度为1280*960像素，拍摄速率为每秒钟30帧。
进一步地，所述摄像头拍摄的视频图像传送到图像处理模块，图像处理模块对所述视频图像进行图像处理，然后将处理后的视频图像数据发送到处理器模块，所述图像处理方法包括：
将每秒拍摄的30帧图像作为一个整体进行处理，将图像中的每一个像素对应到(x,y,z)坐标系中，每一帧图像用p表示，将整体30帧图像表示为P；
在每一帧图像中，去掉边沿的像素点，从p中计算画面不失真的最大像素矩阵Xmax，用Xmax代替整体P，用中间清晰的像素去填充缺省的像素值，对整体图像进行处理的计算公式如下：
i为整数，且1≤i≤30；
一种全景环视系统与车辆的交互方法，包括以下步骤：
1)车载主机启动，对本全景环视系统进行CAN信息注册机；
2)判断车辆当前状态，看车辆是否需要休眠，如果不需要，车载主机通过CAN总线系统与处理器模块进行信息交互或过滤，处理器模块解析CAN总线系统传送来的信息；获取到CAN总线系统传送来的信息后，通过车载主机控制本系统，并在车载主机显示器上显示经过图像处理模块处理后的视图。
进一步地，所述全景环视系统与车辆的交互方法还包括：
3)处理器模块判断车载主机是否休眠；如果车载主机休眠，本系统获取车辆当前状态信息，并判断当前状态，根据判断结果决定CAN总线系统保持正常交互或者改为数据过滤转发方式以及是否进入CAN总线系统休眠状态。
进一步地，车载主机显示器上显示经过图像处理模块处理后的视图，图像处理模块采用上述的图像处理方法对视频图像进行图像处理。
本发明提供的高清动态3D交互式全景环视系统，能够快速处理摄像头拍摄的视频图像，精度高、清晰度高、可操作性强，操作方便，可靠性高，在车辆辅助驾驶和车辆安全方面的性能表现极佳，可以很好地满足实际应用的需要。
附图说明
图1为本发明的全景环视系统与车辆的交互方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种高清动态3D交互式全景环视系统，安装在车辆上使用，该系统包括四个摄像头、图像处理模块、CAN总线系统和处理器模块，四个摄像头分别与图像处理模块相连接，图像处理模块(GPU模块)、处理器模块、CAN总线系统和车辆的车载主机依次连接。图像处理模块用于处理摄像头拍摄的视频图像，并将处理后的视频图像发送到处理器模块，由处理器模块通过CAN总线系统将视频图像数据传送到车载主机显示屏上显示出来。四个摄像头、图像处理模块分别受处理器模块的控制。处理器模块通过CAN总线系统与车载主机进行交互。
摄像头为模拟高清(AHD)摄像头，能提供清晰的视频流，采用索尼IC，采用1/3成像CMOS，输出图像清晰度为1280*960像素，拍摄速率为每秒钟30帧。
摄像头拍摄的视频图像传送到图像处理模块，图像处理模块对所述视频图像进行图像处理，然后将处理后的视频图像数据发送到处理器模块，所述图像处理方法包括：
将每秒拍摄的30帧图像作为一个整体进行处理，将图像中的每一个像素对应到(x,y,z)坐标系中，每一帧图像用p表示，将整体30帧图像表示为P；
在每一帧图像中，去掉边沿的像素点，从p中计算画面不失真的最大像素矩阵Xmax，用Xmax代替整体P,用中间比较清晰的像素去填充缺省的像素值，从而实现了在保证清晰度的情况下降低计算复杂度，对整体图像进行处理的计算公式如下：
i为整数，且1≤i≤30；
Xmax＝＝P。
经过处理器模块处理后的视频图像能够在车载主机显示屏上显示出来，而且是高清动态3D图像。
参照图1所示，一种全景环视系统与车辆的交互方法，包括以下步骤：
首先，车载主机启动，对本全景环视系统进行CAN信息注册，告诉本系统，车载主机是可用的、合法的主机；
其次，判断车辆当前状态，看车辆是否需要休眠，如果不需要，车载主机通过CAN总线系统与处理器模块进行信息交互或是过滤，处理器模块解析CAN总线系统传送来的信息，比如哪些信息是档位信息、哪些是车门信息以及车载主机所处的状态等；获取到CAN总线系统传送来的信息后，通过车载主机控制本系统的打开、关闭，选择视图，并在车载主机显示器上显示经过图像处理模块处理后的视图(图像处理方法如前文所述)，调用高清动态3D全景视频并显示等功能；
最后，采用CAN总线系统数据过滤及交互方法，对车辆按键进行复用，以此提供本系统的打开或者关闭功能，而且对车辆按键的复用可以更好的优化行车体验，提供360度智能辅助环境；处理器模块判断车载主机是否休眠；如果车载主机休眠，本系统能获取车辆当前状态信息，并判断当前状态，根据判断结果决定车辆总线系统保持正常交互或者改为数据过滤转发方式以及是否进入CAN总线系统休眠状态，防止车辆漏电，同时节能，不影响车辆任何功能，可靠性高。
本发明提供的高清动态3D交互式全景环视系统，能够快速处理摄像头拍摄的视频图像，精度高、清晰度高、可操作性强，操作方便，可靠性高，在车辆辅助驾驶和车辆安全方面的性能表现极佳，可以很好地满足实际应用的需要。
以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (6)

1.一种高清动态3D交互式全景环视系统，其特征在于，包括四个摄像头、图像处理模块、CAN总线系统和处理器模块，四个摄像头分别与图像处理模块相连接，图像处理模块、处理器模块、CAN总线系统和车辆的车载主机依次连接；图像处理模块用于处理摄像头拍摄的视频图像，并将处理后的视频图像发送到处理器模块，由处理器模块通过CAN总线系统将视频图像数据传送到车载主机显示屏上显示出来。
2.根据权利要求1所述的高清动态3D交互全景环视系统，其特征在于，所述摄像头为模拟高清摄像头，采用1/3成像CMOS，输出图像清晰度为1280*960像素，拍摄速率为每秒钟30帧。
3.根据权利要求1所述的高清动态3D交互全景环视系统，其特征在于，所述摄像头拍摄的视频图像传送到图像处理模块，图像处理模块对所述视频图像进行图像处理，然后将处理后的视频图像数据发送到处理器模块，所述图像处理方法包括：
将每秒拍摄的30帧图像作为一个整体进行处理，将图像中的每一个像素对应到(x,y,z)坐标系中，每一帧图像用p表示，将整体30帧图像表示为P；
在每一帧图像中，去掉边沿的像素点，从p中计算画面不失真的最大像素矩阵Xmax，用Xmax代替整体P，用中间清晰的像素去填充缺省的像素值，对整体图像进行处理的计算公式如下：
i为整数，且1≤i≤30；
4.一种全景环视系统与车辆的交互方法，其特征在于，包括以下步骤：
1)车载主机启动，对本全景环视系统进行CAN信息注册机；
2)判断车辆当前状态，看车辆是否需要休眠，如果不需要，车载主机通过CAN总线系统与处理器模块进行信息交互或过滤，处理器模块解析CAN总线系统传送来的信息；获取到CAN总线系统传送来的信息后，通过车载主机控制本系统，并在车载主机显示器上显示经过图像处理模块处理后的视图。
5.根据权利要求1-4所述的全景环视系统与车辆的交互方法，其特征在于，所述全景环视系统与车辆的交互方法还包括：
3)处理器模块判断车载主机是否休眠；如果车载主机休眠，本系统获取车辆当前状态信息，并判断当前状态，根据判断结果决定CAN总线系统保持正常交互或者改为数据过滤转发方式以及是否进入CAN总线系统休眠状态。
6.根据权利要求4或5所述的全景环视系统与车辆的交互方法，其特征在于，车载主机显示器上显示经过图像处理模块处理后的视图，图像处理模块采用权利要求3所述的图像处理方法对视频图像进行图像处理。
CN201811403810.6A 2018-11-23 2018-11-23 一种高清动态3d交互式全景环视系统 Pending CN109525810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811403810.6A CN109525810A (zh) 2018-11-23 2018-11-23 一种高清动态3d交互式全景环视系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811403810.6A CN109525810A (zh) 2018-11-23 2018-11-23 一种高清动态3d交互式全景环视系统

Publications (1)

Publication Number Publication Date
CN109525810A true CN109525810A (zh) 2019-03-26

Family

ID=65778963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811403810.6A Pending CN109525810A (zh) 2018-11-23 2018-11-23 一种高清动态3d交互式全景环视系统

Country Status (1)

Country Link
CN (1) CN109525810A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1830321A2 (en) * 2006-03-02 2007-09-05 Hitachi, Ltd. Obstacle detection system
US20140172519A1 (en) * 2012-08-06 2014-06-19 Cloudparc, Inc. Controlling Use of Parking Spaces Using Cameras and Smart Sensors
CN105946719A (zh) * 2016-06-17 2016-09-21 安徽理工大学 一种汽车全景环视辅助安全系统
CN106696827A (zh) * 2016-12-30 2017-05-24 广州路派电子科技有限公司 一种智能倒车轨迹及影像辅助的方法
CN108288252A (zh) * 2018-02-13 2018-07-17 北京旷视科技有限公司 图像批处理方法、装置及电子设备
CN108819895A (zh) * 2018-05-23 2018-11-16 浙江吉利汽车研究院有限公司 一种车载全景影像系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1830321A2 (en) * 2006-03-02 2007-09-05 Hitachi, Ltd. Obstacle detection system
US20140172519A1 (en) * 2012-08-06 2014-06-19 Cloudparc, Inc. Controlling Use of Parking Spaces Using Cameras and Smart Sensors
CN105946719A (zh) * 2016-06-17 2016-09-21 安徽理工大学 一种汽车全景环视辅助安全系统
CN106696827A (zh) * 2016-12-30 2017-05-24 广州路派电子科技有限公司 一种智能倒车轨迹及影像辅助的方法
CN108288252A (zh) * 2018-02-13 2018-07-17 北京旷视科技有限公司 图像批处理方法、装置及电子设备
CN108819895A (zh) * 2018-05-23 2018-11-16 浙江吉利汽车研究院有限公司 一种车载全景影像系统

Similar Documents

Publication Publication Date Title
CN202966138U (zh) 基于车联网的车辆周围360°环境重构系统
CN101523481B (zh) 用于使显示具有不同帧速率的视频数据的窗口迭加的图像处理设备
CN105118027B (zh) 一种图像的去雾方法
CN113850367B (zh) 网络模型的训练方法、图像处理方法及其相关设备
CN104704810A (zh) 图像捕获加速器
US20150206347A1 (en) Reduction of glare in augmented reality
CN106097483B (zh) 一种基于智能后视镜的录像处理方法及系统
CN115359105B (zh) 景深扩展图像生成方法、设备及存储介质
CN105574819A (zh) 一种实时图像去雾处理的方法及装置
CN116863861A (zh) 基于非显性点判断的图像处理方法、设备及可读存储介质
CN114338958B (zh) 一种图像处理的方法及相关设备
CN109525810A (zh) 一种高清动态3d交互式全景环视系统
WO2023169121A1 (zh) 图像处理方法、游戏渲染方法、装置、设备、程序产品及存储介质
CN111510629A (zh) 数据显示方法、图像处理器、拍摄装置和电子设备
CN107087153B (zh) 3d图像生成方法、装置及vr设备
Guo et al. An FPGA implementation of multi-channel video processing and 4K real-time display system
CN114037794A (zh) 显示方法、装置、设备及存储介质
CN205490862U (zh) 一种低照度环境下车载摄像头图像处理装置
CN104202573A (zh) 一种智能交通视频监控系统
CN110493564A (zh) 一种带中控主机功能的360度全景环视avm控制系统
CN117173056B (zh) 用于解决信息丢失的图像处理方法、设备及可读存储介质
CN211731213U (zh) 一种车载信息娱乐系统及车辆
CN207184717U (zh) Vr设备
CN202413643U (zh) 具有投影功能的车载信息系统
CN115131409B (zh) 一种基于深度学习的亲密矩阵视点合成方法、应用及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190326