CN109509153A - 一种拖挂车图像的全景拼接方法及系统 - Google Patents

一种拖挂车图像的全景拼接方法及系统 Download PDF

Info

Publication number
CN109509153A
CN109509153A CN201910066196.7A CN201910066196A CN109509153A CN 109509153 A CN109509153 A CN 109509153A CN 201910066196 A CN201910066196 A CN 201910066196A CN 109509153 A CN109509153 A CN 109509153A
Authority
CN
China
Prior art keywords
image data
image
data
stitching
towed vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910066196.7A
Other languages
English (en)
Inventor
冯洋
王涛涛
张亚彬
严肃
石振恒
魏衍伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dachuan Technology Co ltd
Erich Jaeger GmbH
Original Assignee
Beijing Chuan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Chuan Technology Co Ltd filed Critical Beijing Chuan Technology Co Ltd
Priority to CN201910066196.7A priority Critical patent/CN109509153A/zh
Publication of CN109509153A publication Critical patent/CN109509153A/zh
Priority to EP20153267.8A priority patent/EP3686835A1/en
Priority to US16/751,481 priority patent/US10931873B2/en
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/604—Rotation of whole images or parts thereof using coordinate rotation digital computer [CORDIC] devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明提供的拖挂车图像的全景拼接方法及系统，涉及图像处理技术领域，通过第一车载设备实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据，利用opencv算法分别对第一图像数据、第二图像数据及第三图像数据进行分析，得到相机的内参、外参及畸变参数，利用尺度不变算法分别获取第七图像数据、第八图像数据及第九图像数据的特征点，得到特征点集合，根据特征点集合对第一图像数据、第二图像数据及第三图像数据进行拼接，生成第一拼接图像，利用H.264算法，实现了拖挂车图像的全景拼接，提高了驾驶员驾驶拖挂车的安全性。

Description

一种拖挂车图像的全景拼接方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种拖挂车图像的全景拼接方法及系统。
背景技术
拖挂车一般包括车头和车厢两个部分，目前市面上的360°全景环视系统要求几个摄像头之间保持相对静止状态，拖挂车在正常行驶和转弯过程中，车头和车厢之间的相对位置是时刻在变化的，车头和车厢之间会存在盲区，而这些盲区很难被摄像头获取，这样给驾驶员带来很多不便，和拖挂车一起行驶的车辆及行人都会有很大的风险。
发明内容
为解决现有技术的不足，本发明实施例提供了一种拖挂车图像的全景拼接方法及系统。
第一方面，本发明实施例提供了一种拖挂车图像的全景拼接方法，该方法包括以下步骤：
Step11、实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；
Step12、利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；
Step13、根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；
Step14、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
Step15、根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；
Step16、利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；
Step17、利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。
进一步地，所述方法还包括：
实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。
第二方面，本发明实施例提供了另一种拖挂车图像的全景拼接方法，该方法包括以下步骤：
Step21、实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据；
Step22、利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数；
Step23、根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据；
Step24、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
Step25、根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据；
Step26、利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像；
Step27、接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码；
Step28、利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行拼接并融合，生成360°全景图像；
Step29、利用opengles纹理映射技术显示所述360°全景图像。
进一步地，所述方法还包括：
实时接收所述第一车载设备发送的车厢运动数据及设置于拖挂车车头内的第二角速度传感器发送的车头运动数据，其中，所述车头运动数据包括车头的运动方向、速度及所在位置；
根据所述车厢运动方向数据及所述车头运动方向数据，实时计算所述车头与所述车厢之间的角度，生成角度差数据。
进一步地，所述方法还包括：
利用图像融合技术，将所述角度差数据、所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像。
第三方面，本发明实施例提供了一种拖挂车图像的全景拼接系统，该系统包括：
第一接收模块，用于实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；
第一分析模块，用于利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；
第一校正模块，用于根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；
第一建立模块，用于根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
第一变换模块，用于根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；
第一拼接模块，用于利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；
发送模块，用于利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。
进一步地，所述第一接收模块还用于：
实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。
第四方面，本发明实施例提供了另一种拖挂车图像的全景拼接系统，该系统包括：
第二接收模块，用于实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据；
第二分析模块，用于利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数；
第二校正模块，用于根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据；
第二建立模块，用于所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
第二变换模块，用于根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据；
第二拼接模块，用于利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像；
所述第二接收模块，还用于接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码；
融合模块，用于利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行拼接并融合，生成360°全景图像；
显示模块，用于利用opengles纹理映射技术显示所述360°全景图像。
进一步地，所述第二接收模块还用于：
实时接收所述第一车载设备发送的车厢运动数据及设置于拖挂车车头内的第二角速度传感器发送的车头运动数据，其中，所述车头运动数据包括车头的运动方向、速度及所在位置；
根据所述车厢运动方向数据及所述车头运动方向数据，实时计算所述车头与所述车厢之间的角度，生成角度差数据。
进一步地，所述融合模块还用于：
利用图像融合技术，将所述角度差数据、所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像。
本发明实施例提供的拖挂车图像的全景拼接方法及系统，具有以下有益效果：
解决了在拖挂车正常行驶及转弯过程中，车头和车厢之间存在的盲区不能被相机获取的问题，实现了拖挂车图像的全景拼接，提高了驾驶员驾驶拖挂车的安全性。
附图说明
图1是本发明实施例提供的拖挂车图像的全景拼接方法的流程示意图；
图2是本发明实施例提供的另一拖挂车图像的全景拼接方法的流程示意图；
图3是本发明实施例提供的拖挂车图像的全景拼接系统的结构示意图；
图4是本发明实施例提供的另一拖挂车图像的全景拼接系统的结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明作具体的介绍
参照图1，本发明实施例提供的一种拖挂车图像的全景拼接方法包括以下步骤：
S101、实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据。
作为一个具体的实施例，第一图像数据、第二图像数据及第三图像数据均为大小为1280×720的图像。
S102、利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数。
S103、根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据。
S104、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数。
S105、根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据。
S106、利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像。
作为一个具体的实施例，将三张1280×720的图像拼接成一张大小为1280×720的270°全息图像。
S107、利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。
作为一个具体的实施例，对第一拼接图像进行编码，减少了第一拼接图像所占用的空间，便于后续第一拼接图像的传输。
可选地，所述方法还包括：
实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。
参照图2，本发明实施例提供的另一种拖挂车图像的全景拼接方法包括以下步骤：
S201、实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据。
S202、利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数。
S203、根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据。
S204、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数。
S205、根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据。
S206、利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像。
S207、接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码。
S208、利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像。
特别地，拼接后的图像的拼接处会有一条明显的缝隙，融合是通过算法将缝隙两端的图像做融合处理以消除缝隙。
S209、利用opengles纹理映射技术显示所述360°全景图像。
可选地，所述方法还包括：
实时接收所述第一车载设备发送的车厢运动数据及设置于拖挂车车头内的第二角速度传感器发送的车头运动数据，其中，所述车头运动数据包括车头的运动方向、速度及所在位置；
根据所述车厢运动方向数据及所述车头运动方向数据，实时计算所述车头与所述车厢之间的角度，生成角度差数据。
可选地，所述方法还包括：
利用图像融合技术，将所述角度差数据、所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像。
作为一个具体的实施例，通过陀螺仪实时获取车头与车厢之间的相对角度值，最后在屏幕上体现出前后车实时图像，且图像上能够体现出车头车厢实时的角度差，当车辆在左拐或者右拐时，司机能够在图像上直观地看到拖挂车的车头及车厢的转向。
参照图3，本发明实施例提供的拖挂车图像的全景拼接系统包括：
第一接收模块，用于实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；
第一分析模块，用于利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；
第一校正模块，用于根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；
第一建立模块，用于根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
第一变换模块，用于根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；
第一拼接模块，用于利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；
发送模块，用于利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。
进一步地，所述第一接收模块还用于：
实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。
参见图4，本发明实施例提供的另一种拖挂车图像的全景拼接系统，该系统包括：
第二接收模块，用于实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据；
第二分析模块，用于利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数；
第二校正模块，用于根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据；
第二建立模块，用于所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
第二变换模块，用于根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据；
第二拼接模块，用于利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像；
所述第二接收模块，还用于接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码；
融合模块，用于利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行拼接并融合，生成360°全景图像；
显示模块，用于利用opengles纹理映射技术显示所述360°全景图像。
进一步地，所述第二接收模块还用于：
实时接收所述第一车载设备发送的车厢运动数据及设置于拖挂车车头内的第二角速度传感器发送的车头运动数据，其中，所述车头运动数据包括车头的运动方向、速度及所在位置；
根据所述车厢运动方向数据及所述车头运动方向数据，实时计算所述车头与所述车厢之间的角度，生成角度差数据。
进一步地，所述融合模块还用于：
利用图像融合技术，将所述角度差数据、所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像。
本发明实施例提供的拖挂车图像的全景拼接方法及系统，通过第一车载设备实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据，利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数，根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据，根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数，根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据，利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备，通过第二车载设备实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据，利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数，根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据，根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数，根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据，利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像，接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码，利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像，利用opengles纹理映射技术显示所述360°全景图像，解决了在拖挂车正常行驶及转弯过程中，车头和车厢之间存在的盲区不能被相机获取的问题，实现了拖挂车图像的全景拼接，提高了驾驶员驾驶拖挂车的安全性。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种拖挂车图像的全景拼接方法，适用于设置于拖挂车车厢内的第一车载设备，其特征在于，包括：
Step11、实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；
Step12、利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；
Step13、根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；
Step14、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
Step15、根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；
Step16、利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；
Step17、利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。
2.根据权利要求1所述的全景拼接方法，其特征在于，所述方法还包括：
实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。
3.一种拖挂车图像的全景拼接方法，适用于设置于拖挂车车厢头的第二车载设备，其特征在于，包括：
Step21、实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据；
Step22、利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数；
Step23、根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据；
Step24、根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
Step25、根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据；
Step26、利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像；
Step27、接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码；
Step28、利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像；
Step29、利用opengles纹理映射技术显示所述360°全景图像。
4.根据权利要求3所述的全景拼接方法，其特征在于，所述方法还包括：
实时接收所述第一车载设备发送的车厢运动数据及设置于拖挂车车头内的第二角速度传感器发送的车头运动数据，其中，所述车头运动数据包括车头的运动方向、速度及所在位置；
根据所述车厢运动方向数据及所述车头运动方向数据，实时计算所述车头与所述车厢之间的角度，生成角度差数据。
5.根据权利要求4所述的全景拼接方法，其特征在于，所述方法还包括：
利用图像融合技术，将所述角度差数据、所述第一拼接图像及所述第二拼接图像进行拼接并融合，生成360°全景图像。
6.一种拖挂车图像的全景拼接系统，适用于设置于拖挂车车厢内的第一车载设备，其特征在于，包括：
第一接收模块，用于实时接收设置于车厢左方的相机发送的第一图像数据、设置于车厢右方的相机发送的第二图像数据及设置于车厢后方的相机发送的第三图像数据；
第一分析模块，用于利用opencv算法分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行分析，得到所述相机的内参、外参及畸变参数；
第一校正模块，用于根据所述畸变参数及线性插值算法，分别对所述第一图像数据、所述第二图像数据及所述第三图像数据进行校正，生成第四图像数据、第五图像数据及第六图像数据；
第一建立模块，用于根据所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
第一变换模块，用于根据所述透视变换参数，分别对所述第四图像数据、所述第五图像数据及所述第六图像数据做透视变换，生成第七图像数据、第八图像数据及第九图像数据；
第一拼接模块，用于利用尺度不变算法分别获取所述第七图像数据、所述第八图像数据及所述第九图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第一图像数据、所述第二图像数据及所述第三图像数据进行拼接，生成第一拼接图像，其中，所述第一拼接图像为270°全息图像；
发送模块，用于利用H.264算法，对所述第一拼接图像进行编码后，将所述第一拼接图像发送至设置于拖挂车车厢头的第二车载设备。
7.根据权利要求6所述的全景拼接系统，其特征在于，所述第一接收模块还用于：
实时接收设置于拖挂车车厢内的第一角速度传感器发送的车厢运动方向数据并将所述车厢运动数据发送至设置于拖挂车车厢头的第二车载设备，其中，所述车厢运动数据包括车厢的运动方向、速度及所在位置。
8.一种拖挂车图像的全景拼接系统，适用于设置于拖挂车车厢头的第二车载设备，其特征在于，包括：
第二接收模块，用于实时接收设置于车头左方的相机发送的第十图像数据、设置于车头右方的相机发送的第十一图像数据及设置于车头前方的相机发送的第十二图像数据；
第二分析模块，用于利用opencv算法分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行分析，得到所述相机的内参、外参及畸变参数；
第二校正模块，用于根据所述畸变参数及线性插值算法，分别对所述第十图像数据、所述第十一图像数据及所述第十二图像数据进行校正，生成第十三图像数据、第十四图像数据及第十五图像数据；
第二建立模块，用于所述内参及所述外参，建立世界坐标系及图像坐标系，对所述世界坐标系及图像坐标系做投影变换，得到透视变换参数；
第二变换模块，用于根据所述透视变换参数，分别对所述第十三图像数据、所述第十四图像数据及所述第十五图像数据做透视变换，生成第十六图像数据、第十七图像数据及第十八图像数据；
第二拼接模块，用于利用尺度不变算法分别获取所述第十六图像数据、所述第十七图像数据及所述第十八图像数据的特征点，得到特征点集合，根据所述特征点集合对所述第十六图像数据、所述第十七图像数据及所述第十八图像数据进行拼接，生成第二拼接图像，其中，所述第二拼接图像为270°全息图像；
所述第二接收模块，还用于接收设置于拖挂车车厢内的第一车载设备发送的第一拼接图像并利用H.264算法对所述第一拼接图像进行解码；
融合模块，用于利用图像融合技术，将所述第一拼接图像及所述第二拼接图像进行拼接并融合，生成360°全景图像；
显示模块，用于利用opengles纹理映射技术显示所述360°全景图像。
9.根据权利要求8所述的全景拼接系统，其特征在于，所述第二接收模块还用于：
实时接收所述第一车载设备发送的车厢运动数据及设置于拖挂车车头内的第二角速度传感器发送的车头运动数据，其中，所述车头运动数据包括车头的运动方向、速度及所在位置；
根据所述车厢运动方向数据及所述车头运动方向数据，实时计算所述车头与所述车厢之间的角度，生成角度差数据。
10.根据权利要求9所述的全景拼接系统，其特征在于，所述融合模块还用于：
利用图像融合技术，将所述角度差数据、所述第一拼接图像及所述第二拼接图像进行融合，生成360°全景图像。
CN201910066196.7A 2019-01-24 2019-01-24 一种拖挂车图像的全景拼接方法及系统 Pending CN109509153A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910066196.7A CN109509153A (zh) 2019-01-24 2019-01-24 一种拖挂车图像的全景拼接方法及系统
EP20153267.8A EP3686835A1 (en) 2019-01-24 2020-01-23 Method and system for panorama stitching of trailer images
US16/751,481 US10931873B2 (en) 2019-01-24 2020-01-24 Method and system for panorama stitching of trailer images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910066196.7A CN109509153A (zh) 2019-01-24 2019-01-24 一种拖挂车图像的全景拼接方法及系统

Publications (1)

Publication Number Publication Date
CN109509153A true CN109509153A (zh) 2019-03-22

Family

ID=65757668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910066196.7A Pending CN109509153A (zh) 2019-01-24 2019-01-24 一种拖挂车图像的全景拼接方法及系统

Country Status (3)

Country Link
US (1) US10931873B2 (zh)
EP (1) EP3686835A1 (zh)
CN (1) CN109509153A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184545A (zh) * 2019-07-05 2021-01-05 杭州海康威视数字技术股份有限公司 车载环视图生成方法、装置及系统
JP2022020066A (ja) * 2020-12-22 2022-01-31 北京百度網訊科技有限公司 遠隔制御における画像処理方法、装置、機器及びプログラム製品
CN114018135A (zh) * 2021-09-29 2022-02-08 盛视科技股份有限公司 拖挂车转动角度检测机构及全景拼接系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112348741A (zh) * 2020-11-03 2021-02-09 明见（厦门）技术有限公司 全景图像拼接方法、设备及存储介质和显示方法及系统
CN112738382B (zh) * 2021-01-25 2022-07-12 广州敏视数码科技有限公司 一种车辆车头与车身全景环视图像拼接方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106573577A (zh) * 2014-08-18 2017-04-19 捷豹路虎有限公司 显示系统和方法
CN108052910A (zh) * 2017-12-19 2018-05-18 深圳市保千里电子有限公司 一种车辆全景成像系统的自动调整方法、装置及存储介质
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法
US20180204072A1 (en) * 2017-01-13 2018-07-19 Denso International America, Inc. Image Processing and Display System for Vehicles

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9049396B2 (en) * 2004-09-29 2015-06-02 Hewlett-Packard Development Company, L.P. Creating composite images based on image capture device poses corresponding to captured images
US10313584B2 (en) * 2017-01-04 2019-06-04 Texas Instruments Incorporated Rear-stitched view panorama for rear-view visualization

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106573577A (zh) * 2014-08-18 2017-04-19 捷豹路虎有限公司 显示系统和方法
US20180204072A1 (en) * 2017-01-13 2018-07-19 Denso International America, Inc. Image Processing and Display System for Vehicles
CN108052910A (zh) * 2017-12-19 2018-05-18 深圳市保千里电子有限公司 一种车辆全景成像系统的自动调整方法、装置及存储介质
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
J. JAVIER YEBES ET AL.: "Surrounding View for Enhancing Safety on Vehicles", 《PROCEEDINGS OF THE 2012 IEEE INTELLIGENT VEHICLES SYMPOSIUM WORKSHOPS》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184545A (zh) * 2019-07-05 2021-01-05 杭州海康威视数字技术股份有限公司 车载环视图生成方法、装置及系统
JP2022020066A (ja) * 2020-12-22 2022-01-31 北京百度網訊科技有限公司 遠隔制御における画像処理方法、装置、機器及びプログラム製品
JP7383680B2 (ja) 2020-12-22 2023-11-20 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 遠隔制御における画像処理方法、装置、機器及びコンピュータプログラム
CN114018135A (zh) * 2021-09-29 2022-02-08 盛视科技股份有限公司 拖挂车转动角度检测机构及全景拼接系统
CN114018135B (zh) * 2021-09-29 2023-01-10 盛视科技股份有限公司 拖挂车转动角度检测机构及全景拼接系统

Also Published As

Publication number Publication date
EP3686835A1 (en) 2020-07-29
US10931873B2 (en) 2021-02-23
US20200322531A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
CN109509153A (zh) 一种拖挂车图像的全景拼接方法及系统
US11967162B2 (en) Method and apparatus for 3-D auto tagging
US10958891B2 (en) Visual annotation using tagging sessions
US10284794B1 (en) Three-dimensional stabilized 360-degree composite image capture
CN107646126B (zh) 用于移动设备的相机姿态估计
Buehler et al. Non-metric image-based rendering for video stabilization
US10002640B2 (en) Hyper-lapse video through time-lapse and stabilization
CN106296598B (zh) 三维姿态处理方法、系统及拍摄终端
US8817079B2 (en) Image processing apparatus and computer-readable recording medium
US20200296348A1 (en) Virtual Reality Parallax Correction
US6526166B1 (en) Using a reference cube for capture of 3D geometry
CN110119679B (zh) 物体三维信息估计方法及装置、计算机设备、存储介质
CN108805979A (zh) 一种动态模型三维重建方法、装置、设备和存储介质
CN104661010A (zh) 三维立体模型的建立方法和装置
US10848741B2 (en) Re-cinematography for spherical video
CN107545222A (zh) 在虚拟现实场景中显示目标图像的方法及其系统
CN114616586A (zh) 图像标注方法、装置、电子设备及计算机可读存储介质
CN208638479U (zh) 全景图像采集装置及移动机器人
CN112389459A (zh) 基于全景环视的人机交互方法及装置
CN116188668B (zh) 一种基于ios平台的阴影渲染的方法、介质及电子设备
CN111028357B (zh) 增强现实设备的软阴影处理方法和装置
CN117760428B (zh) 一种基于多立体视觉惯性紧耦合的自主定位方法
CN116109758B (zh) 一种光源投影位置定位、场景渲染的方法及装置
Wu et al. Automatic image interpolation using homography
Bertel et al. Image-Based Scene Representations for Head-Motion Parallax in 360° Panoramas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191106

Address after: 100000 Beijing Haidian District Zhongguancun South Street No. 12 Courtyard No. 1 Building 9 Floor 1009

Applicant after: BEIJING DACHUAN TECHNOLOGY CO.,LTD.

Applicant after: Erich Jaeger GmbH & Co.KG

Address before: 100000 Beijing Haidian District Zhongguancun South Street No. 12 Courtyard No. 1 Building 9 Floor 1009

Applicant before: BEIJING DACHUAN TECHNOLOGY CO.,LTD.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190322