CN111798375A - 环视图像拼接方法、系统、装置、存储介质和搅拌车 - Google Patents
环视图像拼接方法、系统、装置、存储介质和搅拌车 Download PDFInfo
- Publication number
- CN111798375A CN111798375A CN202010647076.9A CN202010647076A CN111798375A CN 111798375 A CN111798375 A CN 111798375A CN 202010647076 A CN202010647076 A CN 202010647076A CN 111798375 A CN111798375 A CN 111798375A
- Authority
- CN
- China
- Prior art keywords
- image
- image acquisition
- stitching
- splicing
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000005457 optimization Methods 0.000 claims abstract description 42
- 230000009466 transformation Effects 0.000 claims description 46
- 239000011159 matrix material Substances 0.000 claims description 42
- 230000003993 interaction Effects 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 11
- 238000002156 mixing Methods 0.000 description 7
- 101100118004 Arabidopsis thaliana EBP1 gene Proteins 0.000 description 6
- 101150052583 CALM1 gene Proteins 0.000 description 6
- 102100025580 Calmodulin-1 Human genes 0.000 description 6
- 101100459256 Cyprinus carpio myca gene Proteins 0.000 description 6
- 101150091339 cam-1 gene Proteins 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000003702 image correction Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 238000003756 stirring Methods 0.000 description 3
- 238000012897 Levenberg–Marquardt algorithm Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种环视图像拼接方法、系统、装置、存储介质和搅拌车。环视图像拼接方法包括：对图像采集装置的图像采集结果进行离线标定，生成拼接查找表；根据拼接查找表，对图像采集装置的位姿关系进行在线优化；根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。本发明的环视图像拼接方法尤其适用于搅拌车，其能够提高搅拌车的驾驶安全程度。
Description
技术领域
本发明涉及车辆工程的技术领域，具体而言，涉及环视图像拼接方法、系统、装置、存储介质和搅拌车。
背景技术
在相关技术中，出于提高驾驶安全程度的目的，需要在车辆之上安装有一个或多个车载摄像头，以便在车辆驾驶时全方位、多角度地获取车辆影像，供驾驶人员进行参考。尤其，在进行转弯、倒车或超车时，准确获取车辆影像对保证驾驶安全有着至关重要的意义。
目前的车载摄像头的环视拼接方法都仅适用于普通的乘用车，相关技术中缺少能够对搅拌车的车载摄像头进行环视拼接的有效方法，导致了搅拌车的驾驶安全程度不够理想。
发明内容
本发明旨在解决上述技术问题的至少之一。
为此，本发明的第一目的在于提供一种用于搅拌车的环视图像拼接方法。
本发明的第二目的在于提供一种用于搅拌车的环视图像拼接系统。
本发明的第三目的在于提供一种用于搅拌车的环视图像拼接装置。
本发明的第四目的在于提供一种计算机可读存储介质。
本发明的第五目的在于提供一种搅拌车。
为实现本发明的第一目的，本发明的实施例提供了一种用于搅拌车的环视图像拼接方法，搅拌车包括至少两个的图像采集装置，环视图像拼接方法包括：对图像采集装置的图像采集结果进行离线标定，生成拼接查找表；根据拼接查找表，对图像采集装置的位姿关系进行在线优化；根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。
本实施例在搅拌车上添加多个图像采集装置，并采用离线标定和外参在线优化相结合的方法来提高拼接精度。通过离线标定获取拼接查找表，在线拼接时根据拼接查找表先验进行位姿关系在线优化。因此，采用本实施例的搅拌车不仅具备环视拼接功能，并且其能够解决搅拌车盲区大、驾驶安全系数低的问题，通过提供准确、完整的俯视全景拼接图像，提高搅拌车的驾驶安全程度。
另外，本发明上述实施例提供的技术方案还可以具有如下附加技术特征：
上述技术方案中，对图像采集装置的图像采集结果进行离线标定，生成拼接查找表，具体包括：对图像采集装置进行内外参标定，获取图像采集装置的内参数、外参数、畸变系数和两个图像采集装置之间的相对位姿关系；根据内参数和畸变系数对图像采集装置的图像采集结果进行畸变校正；根据内参数、畸变系数和两个图像采集装置之间的相对位姿关系，获取单应性矩阵系数；根据原图和俯视图的4个图像匹配点对，获取俯视变换矩阵系数；对内参数、畸变系数、相对位姿关系、单应性矩阵系数和俯视变换矩阵系数进行保存，生成拼接查找表。
采用本实施例的搅拌车驾驶安全程度高，即使搅拌车在运输过程中搅拌筒不停地转动和车身抖动剧烈导致图像采集装置的相对位姿关系会发生变化，本实施例仍能获得完整、准确的俯视全景拼接图像。
上述任一技术方案中，根据拼接查找表，对图像采集装置的位姿关系进行在线优化，具体包括：对拼接查找表进行解析；根据内参数和畸变系数，获取经过畸变校正后的图像采集结果与原始的图像采集结果的映射关系，根据映射关系对原始的图像采集结果进行畸变校正；根据单应性矩阵对图像采集结果进行变换，获取初始匹配点对；提取图像采集装置的重叠区域的局部二值模式特征，并对局部二值模式特征进行最小化处理；在初始匹配点对的半径范围内，搜索获取目标匹配点对；根据拼接查找表的先验知识，建立关于目标匹配点对的目标函数，重新获取图像采集装置的外部参数，以对图像采集装置的位姿关系进行在线优化。
本实施例基于离线拼接查找表的先验知识，获取初始匹配点对，提取匹配点对的局部二值模式特征，在初始匹配点半径r范围内搜索最佳匹配点对，根据最佳匹配点对和拼接查找表先验，采用Levenberg-Marquardt非线性优化方法优化摄像头相对位姿关系。局部二值模式特征维度低，具有灰度不变性和旋转不变性，计算简单，鲁棒性好。并且本实施例搜索成本低，其求解外参时由基于拼接查找表的内参数、畸变系数等建立目标函数进行求解，精度会更高。
上述任一技术方案中，根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像，具体包括：采用曝光补偿算法对待拼接的图像采集结果进行亮度均衡处理；通过加权平均融合对待拼接的图像采集结果进行拼接缝合，获得全景图像；根据俯视变换矩阵系数，对全景图像进行俯视变换，得到俯视全景拼接图像。
本实施例在获取匹配点对后，采用曝光补偿算法对待拼接图像进行亮度均衡处理，采用加权平均融合方法对待拼接图像进行拼接缝合。进而，本实施例根据俯视变换矩阵系数，对全景图像进行俯视变换，得到俯视全景拼接图像。
为实现本发明的第二目的，本发明的实施例提供了一种用于搅拌车的环视图像拼接系统，包括：至少两个的图像采集装置，图像采集装置用于获取图像采集结果；标定单元，标定单元对来自图像采集装置的图像采集结果离线标定，生成拼接查找表；在线拼接单元，在线拼接单元根据来自标定单元的拼接查找表，对图像采集装置的位姿关系进行在线优化，根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。
采用本实施例的搅拌车不仅具备环视拼接功能，并且其能够解决搅拌车盲区大、驾驶安全系数低的问题，通过提供准确、完整的俯视全景拼接图像，提高搅拌车的驾驶安全程度。
另外，本发明上述实施例提供的技术方案还可以具有如下附加技术特征：
上述技术方案中，用于搅拌车的环视图像拼接系统还包括：控制单元，控制单元向人机交互单元发出控制命令；人机交互单元，人机交互单元根据控制命令对来自在线拼接单元的俯视全景拼接图像进行切换。
人机交互单元在车辆档位更换和转向时，可接收从控制单元发送来控制命令，联动档位传感器信号以及用户输入信号，解析信号指令后作出判断，切换不同视角图像。
上述任一技术方案中，用于搅拌车的环视图像拼接系统还包括：显示装置，显示装置与人机交互单元通讯连接，以对来自人机交互单元的俯视全景拼接图像进行显示。
显示装置与人机交互单元相连，将全景图像和单视图输出到显示装置的显示屏上，直观显示车辆四周视野。
为实现本发明的第三目的，本发明的实施例提供了一种用于搅拌车的环视图像拼接装置，包括：存储器，存储有计算机程序；处理器，执行计算机程序；其中，处理器在执行计算机程序时，实现如本发明任一实施例的环视图像拼接方法的步骤。
本实施例提供的环视图像拼接装置实现如本发明任一实施例的用于搅拌车的环视图像拼接方法的步骤，因而其具有如本发明任一实施例的环视图像拼接方法的全部有益效果。
为实现本发明的第四目的，本发明的实施例提供了一种计算机可读存储介质，包括：计算机可读存储介质存储有计算机程序，计算机程序被执行时，实现如本发明任一实施例的环视图像拼接方法的步骤。
本实施例提供的计算机可读存储介质实现如本发明任一实施例的用于搅拌车的环视图像拼接方法的步骤，因而其具有如本发明任一实施例的环视图像拼接方法的全部有益效果。
为实现本发明的第五目的，本发明的实施例提供了一种搅拌车，采用用于搅拌车的如本发明任一实施例的环视图像拼接方法获取搅拌车的俯视全景拼接图像。
本实施例提供的搅拌车采用如本发明任一实施例的环视图像拼接方法的步骤，因而其具有如本发明任一实施例的环视图像拼接方法的全部有益效果。
本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明一个实施例的用于搅拌车的环视图像拼接方法的步骤流程图之一；
图2为本发明一个实施例的用于搅拌车的环视图像拼接方法的步骤流程图之二；
图3为本发明一个实施例的用于搅拌车的环视图像拼接方法的步骤流程图之三；
图4为本发明一个实施例的用于搅拌车的环视图像拼接方法的步骤流程图之四；
图5为本发明一个实施例的搅拌车的立体结构示意图；
图6为本发明一个实施例的环视图像拼接系统的组成示意图之一；
图7为本发明一个实施例的环视图像拼接系统的组成示意图之二；
图8为本发明一个实施例的环视图像拼接装置的组成示意图；
图9为本发明一个实施例的用于搅拌车的环视图像拼接方法的步骤流程图之五；
图10为本发明一个实施例的环视图像拼接系统的组成示意图之三；
图11为本发明一个实施例的用于搅拌车的环视图像拼接方法的步骤流程图之六；
图12为本发明一个实施例的第一标定板和第二标定板的关系示意图。
其中，图5至图8和图10中附图标记与部件名称之间的对应关系为：
10：搅拌车，100：环视图像拼接系统，110：图像采集装置，112：前视图像采集装置，114：后视图像采集装置，116：第一侧视图像采集装置，118：第二侧视图像采集装置，120：标定单元，130：在线拼接单元，140：控制单元，150：人机交互单元，160：显示装置，200：环视图像拼接装置，210：存储器，220：处理器，300：搅拌筒，402：标定模块，404：拼接查找表模块，406：采集模块，408：6路鱼眼摄像头，410：用户输入模块，412：在线拼接模块，414：图像校正模块，416：投影变换模块，418：图像拼接模块，420：人机交互模块，422：显示模块，424：显示屏，426：车辆控制模块，428：档位转向控制模块。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
下面参照图1至图12描述本发明一些实施例的用于搅拌车的环视图像拼接方法、用于搅拌车的环视图像拼接系统100、用于搅拌车的环视图像拼接装置200、计算机可读存储介质和搅拌车10。
实施例1：
如图1所示，本实施例提供了一种用于搅拌车的环视图像拼接方法，搅拌车包括至少两个的图像采集装置，环视图像拼接方法包括：
步骤S102，对图像采集装置的图像采集结果进行离线标定，生成拼接查找表；
步骤S104，根据拼接查找表，对图像采集装置的位姿关系进行在线优化；
步骤S106，根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。
相关技术中的车载环视拼接技术主要分类两大类：一类是自标定方法，其通过在线特征提取、特征匹配、估计单应性矩阵获取图像变换关系，此方法实时性较差，且在重叠区域较小和/或无特征区域的场景下，拼接会失效。另一类是采用离线标定和在线拼接方法，采用固定姿态参数，即在摄像头安装固定后，采用离线标定方法获取拼接查找表，在线拼接时直接调用拼接查找表进行拼接缝合。此类方法满足高速处理的要求，适用于乘用车等相对位姿关系不易发生变化的车型，不适用于摄像头的相对位姿关系发生变化的场景，采用静止状态下的姿态参数拼接会引起拼接质量降低，例如拼接错位、重叠等问题。
比如，相关技术中公开了一种车载多目摄像机环视系统的在线标定处理方法，其车载环视拼接方法主要分为两部分。其一是离线标定，即：获取拼接查找表。其二是在线拼接，即：根据拼接查找表在线拼接。该方法还同时增加了外参在线标定方法。然而，该方法只能用于乘用车环视拼接，其针对车辆姿态在车辆经久变化、以及载人载物的重量分布出现变化时的相对位置的信息出现变化的外参进行在线标定，该变化发生的概率低。实际上，搅拌车不同于乘用车，搅拌车在工作时抖动明显会引起例如摄像头的图像采集装置的相对位姿关系发生变化，该变化发生概率频繁。因此，相关技术中的车载多目摄像机环视系统以及方法不适用于搅拌车。此外，相关技术中的车载多目摄像机环视系统根据车辆俯角和水平偏角可能的变化范围，求取最佳图像变换矩阵时，需进行N次图像变换、N次特征量提取、N次特征匹配，该方法采用穷尽搜索方式，时间成本高，不适用实时在线拼接。
对于搅拌车而言，其属于一种用于运输混凝土的工程车辆，在运输过程中需要保持车上的搅拌筒不停地转动，以免混凝土凝固。搅拌车车身长、车体高，在转弯、倒车时视线盲区大，相关技术中的搅拌车不带有环视拼接系统，其驾驶安全系数较低。此外，由于在运输过程中需要保持车上的搅拌筒不停地转动，在搅拌车运动时，车身抖动剧烈，搅拌车上例如摄像头的图像采集装置的相对位姿关系会发生变化。因此，对于搅拌车而言，采用静止状态下标定拼接查找表拼接，拼接精度会降低。此外，搅拌车的镜头安装位置有限，引起摄像头的重叠区域会有限，摄像头的外参标定精度具有挑战性。
比如对于图5所示的搅拌车10而言，其搅拌车10的搅拌筒300不停旋转，其图像采集装置110包括前视图像采集装置112、后视图像采集装置114、第一侧视图像采集装置116和第二侧视图像采集装置118。前视图像采集装置112、后视图像采集装置114、第一侧视图像采集装置116和第二侧视图像采集装置118分别为鱼眼摄像头。前视图像采集装置112和后视图像采集装置114距离长达10m，其重叠区域小，给图像采集装置110的外参标定和拼接精度带来了挑战。
为此，本实施例提供了一种专门适用于搅拌车10的环视图像拼接方法。本实施例中，图像采集装置设置在搅拌车之上，多个图像采集装置相互配合，其能够对搅拌车在各个方向上进行图像采集，本实施例的环视图像拼接方法可将各个图像采集装置获得的图像采集结果进行拼接，以便全方位准确地获得搅拌车的俯视全景拼接图像。
为了实现上述目的，本实施例在搅拌车上添加多个图像采集装置，并采用离线标定和外参在线优化相结合的方法来提高拼接精度。通过离线标定获取拼接查找表，在线拼接时根据拼接查找表先验进行位姿关系在线优化。因此，采用本实施例的搅拌车不仅具备环视拼接功能，并且其能够解决搅拌车盲区大、驾驶安全系数低的问题，通过提供准确、完整的俯视全景拼接图像，提高搅拌车的驾驶安全程度。
实施例2：
如图2所示，本实施例提供了一种用于搅拌车的环视图像拼接方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征。
对图像采集装置的图像采集结果进行离线标定，生成拼接查找表，具体包括：
步骤S202，对图像采集装置进行内外参标定，获取图像采集装置的内参数、外参数、畸变系数和两个图像采集装置之间的相对位姿关系；
步骤S204，根据内参数和畸变系数对图像采集装置的图像采集结果进行畸变校正；
步骤S206，根据内参数、畸变系数和两个图像采集装置之间的相对位姿关系，获取单应性矩阵系数；
步骤S208，根据原图和俯视图的4个图像匹配点对，获取俯视变换矩阵系数；
步骤S210，对内参数、畸变系数、相对位姿关系、单应性矩阵系数和俯视变换矩阵系数进行保存，生成拼接查找表。
具体而言，本实施例通过如下方式对图像采集装置的图像采集结果进行离线标定，生成拼接查找表。本实施例的图像采集装置具体为鱼眼摄像头，在步骤S202中，鱼眼摄像头标定时，不同于单标定板模型的相关技术，本实施例采用双标定板模型进行标定，其标定图像采集更简单，单双目标定可共用标定板图像，从而解决因重叠区域小引起的外参标定精度低的问题。此外，本实施例采用采图工具与采集模块建立连接，采集双标定板的图像。双标定板指：第一标定板和第二标定板，二者的相对位置关系已知。进而，本实施例通过摄像头单目标定，获取单个鱼眼镜头的内外参数和畸变系数。在建立两个鱼眼摄像头位姿关系标定的坐标系时，如图12所示，第一标定板、第二标定板分别以左上角为原点建立空间坐标系，第一标定板和第二标定板之间的空间关系用T0＝(Tx，0，0)表示，两个鱼眼摄像头之间的空间关系用R、T表示，第一标定板与拍摄该标定板的鱼眼镜头之间的关系用R1、T1表示，第二标定板与拍摄该标定板的鱼眼镜头之间用R2、T2表示。在初始估计两个鱼眼镜头之间的位姿关系参数R、T时，设定空间中一点P，在第一标定板和第二标定板的坐标为P1、P2，P1、P2满足如下关系式：P2＝P1-T0，P1、P2在左、右鱼眼镜头坐标系下的坐标为X1、X2，X1、X2转换关系满足如下关系式：
P2＝P1-T0；
X1＝R1×P1+T1；
X2＝R2×P2+T2；
消除P1、P2可得，X2＝R2×R1 -1×X1-R2×T0+T2-R2×P1 -1×T1；
进而可推得：R＝R2×R1 -1，T＝-R2×T0+T2-R2×P1 -1×T1。
最后，本实施例估计畸变条件下鱼眼镜头内外参数以及两个鱼眼镜头位姿关系。设定两个鱼眼镜头的内参数为K1、K2，畸变系数为D1、D2，外参数即标定板坐标系与摄像头坐标系的旋转矩阵R1、R2和平移向量T1、T2，建立以重投影误差为最小化的目标函数，利用Levenberg-Marquardt算法进行摄像机参数优化，优化函数如下：
其中
表示第一标定板的特征点
使用畸变模型重投影到图像坐标系下的第j个特征点在左摄像头的第i幅图像上的坐标，
是第一标定板上特征点
在左摄像头下第i幅图像的对应特征点图像坐标。
是第二标定板上特征角点
在右摄像头下第i幅图像的对应特征点图像坐标，
表示第二标定板的特征点
使用畸变模型重投影到图像坐标系下的第j个特征点在右摄像头的第i幅图像上的坐标。
在步骤S204中，根据内参数和畸变系数对图像采集装置的图像采集结果进行畸变校正具体是指：根据鱼眼摄像头内参数、畸变系数，对鱼眼摄像头进行畸变校正。
在步骤S206中的单应性矩阵计算是指：根据摄像头内参数、畸变系数和两个图像采集装置之间的相对位姿关系，获取左右图像坐标系的映射关系。
在步骤S208中，通过俯视变换计算，可获取俯视变换矩阵系数。即：设定原图像4个顶点的图像坐标和俯视变换后4个顶点的图像坐标，根据图像匹配点对，求俯视变换矩阵系数。
在步骤S210中，生成拼接查找表的方式为：将鱼眼摄像头的内参数、畸变系数、相对位姿关系、单应性矩阵系数以及俯视变换矩阵系数，保存到yml文件中，生成拼接查找表。
实施例3：
如图3所示，本实施例提供了一种用于搅拌车的环视图像拼接方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征。
根据拼接查找表，对图像采集装置的位姿关系进行在线优化，具体包括：
步骤S302，对拼接查找表进行解析；
步骤S304，根据内参数和畸变系数，获取经过畸变校正后的图像采集结果与原始的图像采集结果的映射关系，根据映射关系对原始的图像采集结果进行畸变校正；
步骤S306，根据单应性矩阵对图像采集结果进行变换，获取初始匹配点对；
步骤S308，提取图像采集装置的重叠区域的局部二值模式特征，并对局部二值模式特征进行最小化处理；
步骤S310，在初始匹配点对的半径范围内，搜索获取目标匹配点对；
步骤S312，根据拼接查找表的先验知识，建立关于目标匹配点对的目标函数，重新获取图像采集装置的外部参数，以对图像采集装置的位姿关系进行在线优化。
具体而言，本实施例提供了根据拼接查找表，对图像采集装置的位姿关系进行在线优化的具体步骤，其首先通过步骤S302加载和解析离线标定获取的拼接查找表，以供在线拼接。进而，本实施例通过步骤S304根据例如摄像头的图像采集装置的内参数、畸变系数，获取畸变校正后的图像与原图像的映射关系，根据映射关系，调用remap函数对输入的原图像进行畸变校正。随后，本实施例通过步骤S306根据单应性矩阵对图像进行投影变换，假设获取初始匹配点对。具体地，将CAM1图像坐标系变换到CAM0图像坐标系，变换公式如下：X0＝H01×X1其中，X0是CAM0的图像坐标，X1是CAM1的图像坐标,H01表示CAM1图像坐标到CAM0图像坐标的单应性矩阵。
本实施例中，外参数在线优化的方式为：提取重叠区域的LBP(英文名称，LocalBinary Pattern，即：局部二进制模式)特征，对LBP特征进行最小化处理。在初始匹配点的半径r范围内，搜索最佳匹配点对(即：目标匹配点对)。根据摄像头的内参、畸变系数等先验知识，建立关于匹配点对的目标函数，基于Levenberg-Marquardt非线性优化方法，重新估计摄像头的外参。
其中n表示重叠区域的LBP特征点数，
表示左摄像头的第i个图像坐标点，
表示与
匹配的右摄像头图像坐标点
的投影变换点。
LBP特征维度小、具有旋转不变性和灰度不变性，计算简单，鲁棒性好。在满足实时处理的前提下，本实施例可进一步提高拼接精度。具体而言，本实施例基于离线拼接查找表的先验知识，获取初始匹配点对，提取匹配点对的LBP特征，在初始匹配点半径r范围内搜索最佳匹配点对，根据最佳匹配点对和拼接查找表先验，采用Levenberg-Marquardt非线性优化方法优化摄像头相对位姿关系。LBP特征维度低，具有灰度不变性和旋转不变性，计算简单，鲁棒性好。并且本实施例搜索成本低，其求解外参时由基于拼接查找表的内参数、畸变系数等建立目标函数进行求解，精度会更高。
实施例4：
如图4所示，本实施例提供了一种用于搅拌车的环视图像拼接方法，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征。
根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像，具体包括：
步骤S402，采用曝光补偿算法对待拼接的图像采集结果进行亮度均衡处理；
步骤S404，通过加权平均融合对待拼接的图像采集结果进行拼接缝合，获得全景图像；
步骤S406，根据俯视变换矩阵系数，对全景图像进行俯视变换，得到俯视全景拼接图像。
本实施例在获取匹配点对后，采用曝光补偿算法对待拼接图像进行亮度均衡处理，采用加权平均融合方法对待拼接图像进行拼接缝合。进而，本实施例根据俯视变换矩阵系数，对全景图像进行俯视变换，得到俯视全景拼接图像。
实施例5：
如图6所示，本实施例提供了一种用于搅拌车10的环视图像拼接系统100，包括：至少两个的图像采集装置110，图像采集装置110用于获取图像采集结果；标定单元120，标定单元120对来自图像采集装置110的图像采集结果离线标定，生成拼接查找表；在线拼接单元130，在线拼接单元130根据来自标定单元120的拼接查找表，对图像采集装置110的位姿关系进行在线优化，根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。
本实施例中，环视图像拼接系统100包括图像采集装置110、标定单元120和在线拼接单元130。图像采集装置110提供多路180度鱼眼摄像头视频同步采集，其作为在线拼接单元130的输入。图像采集装置110包括但不限于4路或6路鱼眼摄像头。标定单元120用于离线静止状态下标定，获取拼接查找表，其作为在在线拼接单元130的输入。在线拼接单元130根据拼接查找表将多路鱼眼摄像头输入图像进行畸变校正、投影变换、图像拼接缝合成全景图像。
实施例6：
如图7所示，本实施例提供了一种用于搅拌车10的环视图像拼接系统100，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征。
用于搅拌车10的环视图像拼接系统100还包括：控制单元140，控制单元140向人机交互单元150发出控制命令；人机交互单元150，人机交互单元150根据控制命令对来自在线拼接单元130的俯视全景拼接图像进行切换。
本实施例中，在线拼接单元130将成全景图像。输出到人机交互单元150。人机交互单元150在车辆档位更换和转向时，接收从例如CAN总线的控制单元140发送来控制命令，联动档位传感器信号以及用户输入信号，解析信号指令后作出判断，切换不同视角图像。例如：前进时显示全景环视拼接图像，左转弯显示左侧单视图，右转弯时显示右侧单视图，倒车时显示后视图。
实施例7：
如图7所示，本实施例提供了一种用于搅拌车10的环视图像拼接系统100，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征。
用于搅拌车10的环视图像拼接系统100还包括：显示装置160，显示装置160与人机交互单元150通讯连接，以对来自人机交互单元150的俯视全景拼接图像进行显示。
显示装置160与人机交互单元150通过HDMI接口相连，将全景图像和单视图输出到显示装置160的显示屏上，直观显示车辆四周视野。
实施例8：
如图8所示，本实施例提供了一种用于搅拌车10的环视图像拼接装置200，包括：存储器210，存储有计算机程序；处理器220，执行计算机程序；其中，处理器220在执行计算机程序时，实现如本发明任一实施例的环视图像拼接方法的步骤。本实施例提供的环视图像拼接装置200实现如本发明任一实施例的环视图像拼接方法的步骤，因而其具有如本发明任一实施例的环视图像拼接方法的全部有益效果。
实施例9：
本实施例提供了一种计算机可读存储介质，包括：计算机可读存储介质存储有计算机程序，计算机程序被执行时，实现如本发明任一实施例的环视图像拼接方法的步骤。本实施例提供的计算机可读存储介质实现如本发明任一实施例的环视图像拼接方法的步骤，因而其具有如本发明任一实施例的环视图像拼接方法的全部有益效果。
实施例10：
本实施例提供了一种搅拌车10，采用如本发明任一实施例的环视图像拼接方法获取搅拌车10的俯视全景拼接图像。本实施例提供的搅拌车10采用如本发明任一实施例的环视图像拼接方法的步骤，因而其具有如本发明任一实施例的环视图像拼接方法的全部有益效果。
具体实施例
本实施例提供了一种环视图像拼接方法、环视图像拼接系统。
本实施例提出了离线标定和外参在线优化相结合的方法来提高拼接精度。其通过离线标定获取拼接查找表，在线拼接时根据拼接查找表先验进行位姿关系在线优化。如图9所示，本实施例的位姿在线优化的算法流程如下：
步骤S502，拼接查找表先验，获取初始匹配点；
步骤S504，提取重叠区域的LBP特征；
步骤S506，初始匹配点的半径r内搜索最佳匹配点；
步骤S508，基于LM非线性优化重新估计位姿。
在上述步骤中，LBP特征即：局部二值模式特征，LM非线性优化即：Levenberg-Marquardt非线性优化。LBP特征维度小、具有旋转不变性和灰度不变性，计算简单，鲁棒性高。在满足实时处理的前提下，能够提高位姿关系估计精度，从而提高本实施例的环视图像拼接方法的环视拼接精度。
如图7所示，在本实施例的部分实施方式中，环视图像拼接系统包括：至少两个的图像采集装置110、标定单元120、在线拼接单元130、控制单元140、人机交互单元150和显示装置160。图像采集装置110用于获取图像采集结果。标定单元120对来自图像采集装置110的图像采集结果离线标定，生成拼接查找表。在线拼接单元130根据来自标定单元120的拼接查找表，对图像采集装置110的位姿关系进行在线优化，根据在线优化的结果，对各个图像采集装置的图像采集结果进行在线拼接，获取搅拌车的俯视全景拼接图像。控制单元140向人机交互单元150发出控制命令。人机交互单元150根据控制命令对来自在线拼接单元130的俯视全景拼接图像进行切换。显示装置160与人机交互单元150通讯连接，以对来自人机交互单元150的俯视全景拼接图像进行显示。在车辆档位更换和转向时，人机交互单元150接收从CAN总线发送来控制命令，联动档位传感器信号以及用户输入信号，解析信号指令后作出判断，切换不同视角图像，例如前进时显示全景环视拼接图像，左转弯显示左侧单视图，右转弯时显示右侧单视图，倒车时显示后视图。显示装置160与人机交互单元150通过HDMI接口相连，将全景图像和单视图输出到显示屏上，直观显示车辆四周视野。
如图10所示，在本实施例的部分实施方式中，环视图像拼接系统包括：标定模块402、采集模块406、在线拼接模块412、人机交互模块420、显示模块422、用户输入模块410和车辆控制模块426。其中，标定模块402中设有拼接查找表模块404。采集模块406中设有6路鱼眼摄像头408，在线拼接模块412中包括图像校正模块414、投影变换模块416和图像拼接模块418。显示模块422中设有显示屏424。车辆控制模块426中设有档位转向控制模块428。6路鱼眼摄像头408获取图像采集结果。拼接查找表模块404对图像采集结果进行离线标定，生成拼接查找表。图像校正模块414对图像畸变进行校正，投影变换模块416对图像进行投影变换。图像拼接模块418对图像采集结果进行在线拼接，获取所述搅拌车的俯视全景拼接图像。进而，用户输入模块410获取用户指示。人机交互模块420进行根据档位转向控制模块428的指令对拼接后的俯视全景拼接图像进行切换。显示屏424对俯视全景拼接图像进行显示。
如图11所示，在本实施例的部分实施方式中，本实施例的环视图像拼接方法包括如下步骤：
步骤S602，判定是否标定图像；
其中，判定结果为是则执行步骤S604，判定结果为否则执行步骤S614；
步骤S604，摄像头标定，保存标定参数；
步骤S606，矫正图像畸变；
步骤S608，单应性矩阵求解；
步骤S610，俯视变换矩阵求解；
步骤S612，生成查找表；
其中，在执行步骤S612后，重新执行步骤S602；
步骤S614，加载拼接查找表；
步骤S616，校正图像畸变；
步骤S618，图像变换；
步骤S620，位姿在线优化；
步骤S622，图像拼接缝合；
步骤S624，俯视变换。
在本实施例的部分实施方式中，本实施例提供了一种适用于搅拌车的环视图像拼接方法。其中具体步骤如下：首先，对图像采集装置的图像采集结果进行离线标定。进而进行在线拼接，其中，拼接时加载和解析离线标定获取拼接查找表，以用于在线拼接。
离线标定的具体实施过程如下：
首先，进行鱼眼摄像头(即：图像采集装置)内外参标定，获取摄像头的内外参数和畸变系数，以及两个鱼眼摄像头的相对位姿关系。特别地，鱼眼摄像头标定时，不同于单标定板模型，本实施例采用双标定板模型进行标定，标定图像采集更简单，单双目标定可共用标定板图像，可解决因重叠区域小引起的外参标定精度低的问题。具体而言，本实施例采用采图工具与采集模块建立连接，采集双标定板(第一标定板和第二标定板，相对位置关系已知)图像。本实施例进行摄像头单目标定，获取单个鱼眼镜头的内外参数和畸变系数。本实施例建立两个鱼眼摄像头位姿关系标定的坐标系。如图12所示，第一标定板、第二标定板分别以左上角为原点建立空间坐标系，第一标定板和第二标定板之间的空间关系用T0＝(TX,0,0)表示，两个鱼眼摄像头之间的空间关系用R、T表示，第一标定板与拍摄该标定板的鱼眼镜头之间的关系用R1、T1表示，第二标定板与拍摄该标定板的鱼眼镜头之间用R2、T2表示。在初始估计两个鱼眼镜头之间的位姿关系参数R、T时，设定空间中一点P，在第一标定板和第二标定板的坐标为P1、P2，P1、P2满足如下关系式：P2＝P1-T0，P1、P2在左、右鱼眼镜头坐标系下的坐标为X1、X2，X1、X2转换关系满足如下关系式：
P2＝P1-T0；
X1＝R1×P1+T1；
X2＝R2×P2+T2；
消除P1、P2可得，X2＝R2×R1 -1×X1-R2×T0+T2-R2×P1 -1×T1；
进而可推得：R＝R2×R1 -1，T＝-R2×T0+T2-R2×P1 -1×T1。
最后，本实施例估计畸变条件下鱼眼镜头内外参数以及两个鱼眼镜头位姿关系。设定两个鱼眼镜头的内参数为K1、K2，畸变系数为D1、D2，外参数即标定板坐标系与摄像头坐标系的旋转矩阵R1、R2和平移向量T1、T2，建立以重投影误差为最小化的目标函数，利用Levenberg-Marquardt算法进行摄像机参数优化，优化函数如下：
其中
表示第一标定板的特征点
使用畸变模型重投影到图像坐标系下的第j个特征点在左摄像头的第i幅图像上的坐标，
是第一标定板上特征点
在左摄像头下第i幅图像的对应特征点图像坐标。
是第二标定板上特征角点
在右摄像头下第i幅图像的对应特征点图像坐标，
表示第二标定板的特征点
使用畸变模型重投影到图像坐标系下的第j个特征点在右摄像头的第i幅图像上的坐标。
在进行鱼眼摄像头内外参标定，获取摄像头的内外参数和畸变系数，以及两个鱼眼摄像头的相对位姿关系后，进行图像畸变校正。即：根据摄像头内参、畸变系数，对摄像头进行畸变校正。
在完成图像畸变校正后，进行单应性矩阵计算。即：根据摄像头内参数、畸变系数和两个图像采集装置之间的相对位姿关系，获取左右图像坐标系的映射关系。
在完成单应性矩阵计算后，进行俯视变换计算，获取俯视变换矩阵系数。设定原图像4个顶点的图像坐标和俯视变换后4个顶点的图像坐标，根据图像匹配点对，求俯视变换矩阵系数。
在完成俯视变换计算后，生成拼接查找表。将摄像头内参、畸变系数、相对位姿关系、单应性矩阵系数以及俯视变换矩阵系数，保存到yml文件中，生成拼接查找表。
在线拼接的具体实施过程如下：
首先解析拼接查找表。
进而进行矫正图像畸变。即：根据摄像头的内参、畸变系数，获取畸变校正后的图像与原图像的映射关系，根据映射关系，调用remap函数对输入的原图像进行畸变校正。
在完成矫正图像畸变后，进行投影变换，即：根据单应性矩阵对图像进行变换，假设获取初始匹配点对。具体地，CAM1图像坐标系变换到CAM0图像坐标系，变换公式如下：X0＝H01X1；其中，X0是CAM0的图像坐标，X1是CAM1的图像坐标,H01表示CAM1图像坐标到CAM0图像坐标的单应性矩阵。
在进行投影变换后，进行外参在线优化。即：提取重叠区域的局部二进制模式特征，对局部二进制模式特征进行最小化处理。在初始匹配点的半径r范围内，搜索最佳匹配点对。根据摄像头的内参、畸变系数等先验知识，建立关于匹配点对的目标函数，基于Levenberg-Marquardt非线性优化方法，重新估计摄像头的外参。在目标函数min
中，n表示重叠区域的LBP特征点数，
表示左摄像头的第i个图像坐标点，
表示与
匹配的右摄像头图像坐标点
的投影变换点。局部二进制模式特征维度小、具有旋转不变性和灰度不变性，计算简单，鲁棒性好。在满足实时处理的前提下，提高拼接精度。
在进行外参在线优化后，实施图像拼接缝合。即：获取匹配点对后，采用曝光补偿算法对待拼接图像进行亮度均衡处理，采用加权平均融合方法对待拼接图像进行拼接缝合。
在完成图像拼接缝合后，进行图像俯视变换。即：根据俯视变换矩阵系数，对全景图像进行俯视变换，得到俯视全景拼接图像。
本实施例上述实施方式的环视拼接系统以及方法接入6路180度鱼眼摄像头，离线标定获取拼接查找表、以及联动档位传感器信号以及用户输入信号，对搅拌车四周(即：前、后、左、右四个面)安装6路鱼眼摄像头，在线实时拼接成环视全景图像，并生成全景俯视图在中控屏上实时刷新显示。极大降低了事故发生率，极大提升搅拌车驾驶安全性。此外，本实施例提出的位姿在线优化方法，可以消除搅拌车运动抖动对拼接精度造成的影响，提高拼接精度。
综上，本发明实施例的有益效果为：
1.本发明的实施例的用于搅拌车的环视图像拼接方法不仅具备环视拼接功能，并且其能够解决搅拌车盲区大、驾驶安全系数低的问题，通过提供准确、完整的俯视全景拼接图像，提高搅拌车的驾驶安全程度。
2.本发明的实施例基于离线拼接查找表的先验知识，获取初始匹配点对，提取匹配点对的局部二值模式特征，在初始匹配点半径范围内搜索最佳匹配点对，根据最佳匹配点对和拼接查找表先验，采用Levenberg-Marquardt非线性优化方法优化摄像头相对位姿关系。局部二值模式特征维度低，具有灰度不变性和旋转不变性，计算简单，鲁棒性好。并且本实施例搜索成本低，其求解外参时由基于拼接查找表的内参数、畸变系数等建立目标函数进行求解，精度会更高。
在本发明中，术语“第一”、“第二”、“第三”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本发明的限制。
在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于搅拌车的环视图像拼接方法，其特征在于，所述搅拌车包括至少两个的图像采集装置，所述环视图像拼接方法包括：
对所述图像采集装置的图像采集结果进行离线标定，生成拼接查找表；
根据所述拼接查找表，对所述图像采集装置的位姿关系进行在线优化；
根据所述在线优化的结果，对所述各个所述图像采集装置的图像采集结果进行在线拼接，获取所述搅拌车的俯视全景拼接图像。
2.根据权利要求1所述的用于搅拌车的环视图像拼接方法，其特征在于，所述对所述图像采集装置的图像采集结果进行离线标定，生成拼接查找表，具体包括：
对所述图像采集装置进行内外参标定，获取所述图像采集装置的内参数、外参数、畸变系数和两个所述图像采集装置之间的相对位姿关系；
根据所述内参数和所述畸变系数对所述图像采集装置的图像采集结果进行畸变校正；
根据所述内参数、所述畸变系数和两个所述图像采集装置之间的相对位姿关系，获取单应性矩阵系数；
根据原图和俯视图的4个图像匹配点对，获取俯视变换矩阵系数；
对所述内参数、所述畸变系数、所述相对位姿关系、所述单应性矩阵系数和所述俯视变换矩阵系数进行保存，生成所述拼接查找表。
3.根据权利要求2所述的用于搅拌车的环视图像拼接方法，其特征在于，所述根据所述拼接查找表，对所述图像采集装置的位姿关系进行在线优化，具体包括：
对所述拼接查找表进行解析；
根据所述内参数和所述畸变系数，获取经过畸变校正后的所述图像采集结果与原始的所述图像采集结果的映射关系，根据所述映射关系对原始的所述图像采集结果进行畸变校正；
根据单应性矩阵对所述图像采集结果进行变换，获取初始匹配点对；
提取所述图像采集装置的重叠区域的局部二值模式特征，并对所述局部二值模式特征进行最小化处理；
在所述初始匹配点对的半径范围内，搜索获取目标匹配点对；
根据所述拼接查找表的先验知识，建立关于所述目标匹配点对的目标函数，重新获取所述图像采集装置的外部参数，以对所述图像采集装置的位姿关系进行在线优化。
4.根据权利要求2或3所述的用于搅拌车的环视图像拼接方法，其特征在于，所述根据所述在线优化的结果，对所述各个所述图像采集装置的图像采集结果进行在线拼接，获取所述搅拌车的俯视全景拼接图像，具体包括：
采用曝光补偿算法对待拼接的所述图像采集结果进行亮度均衡处理；
通过加权平均融合对待拼接的所述图像采集结果进行拼接缝合，获得全景图像；
根据所述俯视变换矩阵系数，对所述全景图像进行俯视变换，得到所述俯视全景拼接图像。
5.一种用于搅拌车的环视图像拼接系统，其特征在于，包括：
至少两个的图像采集装置，所述图像采集装置用于获取图像采集结果；
标定单元，所述标定单元对来自所述图像采集装置的所述图像采集结果离线标定，生成拼接查找表；
在线拼接单元，所述在线拼接单元根据来自所述标定单元的所述拼接查找表，对所述图像采集装置的位姿关系进行在线优化，根据所述在线优化的结果，对所述各个所述图像采集装置的图像采集结果进行在线拼接，获取所述搅拌车的俯视全景拼接图像。
6.根据权利要求5所述的用于搅拌车的环视图像拼接系统，其特征在于，还包括：
控制单元，所述控制单元向人机交互单元发出控制命令；
所述人机交互单元，所述人机交互单元根据所述控制命令对来自所述在线拼接单元的所述俯视全景拼接图像进行切换。
7.根据权利要求6所述的用于搅拌车的环视图像拼接系统，其特征在于，还包括：
显示装置，所述显示装置与所述人机交互单元通讯连接，以对来自所述人机交互单元的所述俯视全景拼接图像进行显示。
8.一种用于搅拌车的环视图像拼接装置，其特征在于，包括：
存储器，存储有计算机程序；
处理器，执行所述计算机程序；
其中，所述处理器在执行所述计算机程序时，实现如权利要求1至4中任一项所述的用于搅拌车的环视图像拼接方法的步骤。
9.一种计算机可读存储介质，其特征在于，包括：
所述计算机可读存储介质存储有计算机程序，所述计算机程序被执行时，实现如权利要求1至4中任一项所述的用于搅拌车的环视图像拼接方法的步骤。
10.一种搅拌车，其特征在于，采用如权利要求1至4中任一项所述的用于搅拌车的环视图像拼接方法获取所述搅拌车的俯视全景拼接图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010647076.9A CN111798375A (zh) | 2020-07-07 | 2020-07-07 | 环视图像拼接方法、系统、装置、存储介质和搅拌车 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010647076.9A CN111798375A (zh) | 2020-07-07 | 2020-07-07 | 环视图像拼接方法、系统、装置、存储介质和搅拌车 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111798375A true CN111798375A (zh) | 2020-10-20 |
Family
ID=72810004
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010647076.9A Pending CN111798375A (zh) | 2020-07-07 | 2020-07-07 | 环视图像拼接方法、系统、装置、存储介质和搅拌车 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111798375A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308987A (zh) * | 2020-11-03 | 2021-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN114227934A (zh) * | 2021-11-25 | 2022-03-25 | 三一专用汽车有限责任公司 | 协同作业系统、搅拌站及搅拌车 |
| CN114268765A (zh) * | 2021-11-08 | 2022-04-01 | 合肥湛达智能科技有限公司 | 一种用于警用摩托车的环视系统去抖动方法 |
| CN114418862A (zh) * | 2022-03-31 | 2022-04-29 | 苏州挚途科技有限公司 | 侧向图像的拼接方法、装置和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447850A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 一种基于多视点图像的全景图拼接合成方法 |
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
| CN109435852A (zh) * | 2018-11-08 | 2019-03-08 | 湖北工业大学 | 一种针对大型卡车的全景式辅助驾驶系统及方法 |
| CN111098785A (zh) * | 2019-12-20 | 2020-05-05 | 天津市航天安通电子科技有限公司 | 一种驾驶辅助系统、特种车辆及方法 |
| CN111179168A (zh) * | 2019-12-12 | 2020-05-19 | 郑州嘉晨电器有限公司 | 一种车载360度全景环视监控系统及方法 |
-
2020
- 2020-07-07 CN CN202010647076.9A patent/CN111798375A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447850A (zh) * | 2015-11-12 | 2016-03-30 | 浙江大学 | 一种基于多视点图像的全景图拼接合成方法 |
| CN109064404A (zh) * | 2018-08-10 | 2018-12-21 | 西安电子科技大学 | 一种基于多相机标定的全景拼接方法、全景拼接系统 |
| CN109435852A (zh) * | 2018-11-08 | 2019-03-08 | 湖北工业大学 | 一种针对大型卡车的全景式辅助驾驶系统及方法 |
| CN111179168A (zh) * | 2019-12-12 | 2020-05-19 | 郑州嘉晨电器有限公司 | 一种车载360度全景环视监控系统及方法 |
| CN111098785A (zh) * | 2019-12-20 | 2020-05-05 | 天津市航天安通电子科技有限公司 | 一种驾驶辅助系统、特种车辆及方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112308987A (zh) * | 2020-11-03 | 2021-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN112308987B (zh) * | 2020-11-03 | 2024-02-02 | 豪威科技(武汉)有限公司 | 车载图像拼接方法、系统以及装置 |
| CN114268765A (zh) * | 2021-11-08 | 2022-04-01 | 合肥湛达智能科技有限公司 | 一种用于警用摩托车的环视系统去抖动方法 |
| CN114227934A (zh) * | 2021-11-25 | 2022-03-25 | 三一专用汽车有限责任公司 | 协同作业系统、搅拌站及搅拌车 |
| CN114418862A (zh) * | 2022-03-31 | 2022-04-29 | 苏州挚途科技有限公司 | 侧向图像的拼接方法、装置和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111798375A (zh) | 环视图像拼接方法、系统、装置、存储介质和搅拌车 | |
| US10434945B2 (en) | Method and device for displaying an image of the surroundings of a vehicle combination | |
| CN110341597B (zh) | 一种车载全景视频显示系统、方法及车载控制器 | |
| CN107888894B (zh) | 一种立体车载环视方法、系统及车载中控装置 | |
| JP4257356B2 (ja) | 画像生成装置および画像生成方法 | |
| CN107792179B (zh) | 一种基于车载环视系统的泊车引导方法 | |
| WO2015043507A1 (zh) | 用于汽车的图像处理方法与装置、生成汽车环视图像的方法和汽车环视系统 | |
| EP1850595B1 (en) | Periphery supervising device, and periphery supervising method | |
| EP2009590B1 (en) | Drive assistance device | |
| CN105306805B (zh) | 用于校正车辆用相机的影像失真的装置和方法 | |
| US10007853B2 (en) | Image generation device for monitoring surroundings of vehicle | |
| JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
| CN111223038A (zh) | 一种车载环视图像的自动拼接方法及显示装置 | |
| CN112348741B (zh) | 全景图像拼接方法、设备及存储介质和显示方法及系统 | |
| JP2009044730A (ja) | 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置 | |
| CN112070886B (zh) | 矿用自卸车的影像监控方法及相关设备 | |
| CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
| US10453173B2 (en) | Panel transform | |
| CN108364263B (zh) | 一种标清输入高清输出的车载图像处理方法 | |
| CN110689506A (zh) | 一种全景拼接方法、一种车用全景拼接方法及其全景系统 | |
| CN110651295A (zh) | 图像处理设备、图像处理方法和程序 | |
| EP3326146B1 (en) | Rear cross traffic - quick looks | |
| JP4682830B2 (ja) | 車載画像処理装置 | |
| JP2009267602A (ja) | 車両周辺監視装置およびこれに適用されるカメラ取り付け位置・姿勢情報の設定修正方法 | |
| CN108765499B (zh) | 一种车载非gpu渲染360度立体环视实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |