CN110636263B - 全景环视图生成方法、车载设备及车载系统 - Google Patents
全景环视图生成方法、车载设备及车载系统 Download PDFInfo
- Publication number
- CN110636263B CN110636263B CN201910892238.2A CN201910892238A CN110636263B CN 110636263 B CN110636263 B CN 110636263B CN 201910892238 A CN201910892238 A CN 201910892238A CN 110636263 B CN110636263 B CN 110636263B
- Authority
- CN
- China
- Prior art keywords
- ring view
- vehicle
- view
- transformation matrix
- ring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000009466 transformation Effects 0.000 claims abstract description 137
- 239000011159 matrix material Substances 0.000 claims abstract description 127
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 53
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 34
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 230000001131 transforming effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 11
- 238000013519 translation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G06T3/147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Abstract
本发明涉及一种全景环视图生成方法、车载设备和车载系统。该方法包括：获取车辆周围区域的图像、方向盘转角信息和车速信息；变换拼接生成与时间相关联的环视图，使用ORB算法提取特征点；利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，在当前时刻环视图中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配；计算仿射变换矩阵并进行仿射变换，与当前时刻环视图进行加权融合并保存；重复上述步骤，获得连续更新的全景环视图。该方法、设备和系统能够消除车底盲区，实现全景透视，并且计算快速，准确度高。
Description
技术领域
本发明涉及机器视觉领域，特别是涉及全景环视图生成方法、车载设备及车载系统。
背景技术
随着图像和计算机视觉技术的快速发展，目前越来越多的车辆上开始搭载全景环视系统。现有的全景环视系统一般包括成像装置和图像处理装置。成像装置包括能够覆盖车辆周边所有视场范围的多个摄像头，例如，分别安装在车辆的车头、车尾、左右后视镜等处的具有宽广视野的鱼眼摄像头。这些摄像头对车辆的周围环境进行成像，并将获取的图像传送至图像处理装置。图像处理装置将接收到的图像与时间相关联，对来自多个摄像头的同一时刻的图像进行处理，例如，图像变换和图像拼接，以获得全景环视图，即车辆周边360度的车身俯视图。
但是这样的全景环视系统无法捕捉到车底区域的图像，导致在全景环视图中无法显示车底区域，形成车底区域的显示盲区，影响驾乘人员对车底区域路况的分析以及车辆行驶过程中的位置判断。
发明内容
基于此，有必要针对在现有技术生成的全景环视图中无法显示车底区域的问题，提供能够实现车辆透视从而显示车底区域的全景环视图生成方法、车载设备及车载系统。
一种全景环视图生成方法，包括以下步骤：
从安装在车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；
将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图，并保存所述当前时刻环视图；
将所述当前时刻环视图与已保存的上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；
利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；
重复上述步骤，获得连续更新的全景环视图。
上述全景环视图生成方法，使用ORB算法分别提取上一时刻环视图的特征点和当前时刻环视图的特征点，然后利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，从而在当前时刻环视图的特征点中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配，能够有效地减少特征点匹配的计算量，并且提高特征点匹配的精确度。之后再计算出上一时刻环视图和当前时刻环视图之间的仿射变换矩阵，利用该仿射变换矩阵实现全景环视图，从而能够消除环视图中车底区域的显示盲区，使得驾乘人员能够实时地了解车底区域路况，准确地分析和判断车辆行驶中的位置和状况，提高了驾驶的安全性。
在其中一个实施例中，在所述配准计算中，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵。
在其中一个实施例中，所述利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置包括：利用所述第一变换矩阵确定所述上一时刻环视图的特征点在所述当前时刻环视图中的位置。
在其中一个实施例中，所述计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵包括：
根据提取的所述上一时刻环视图的特征点以及所述当前时刻环视图提取的特征点，利用RANSAC算法计算第二变换矩阵；
计算所述第二变换矩阵和所述第一变换矩阵的相似度，当所述相似度小于预设阈值,使用所述第一变换矩阵为所述仿射变换矩阵，而当所述相似度大于或等于所述预设阈值，使用所述第二变换矩阵为所述仿射变换矩阵。
在其中一个实施例中，所述第一变换矩阵为：
其中(Px,Py)为车辆运动的旋转圆心的坐标，θ为上一时刻至当前时刻车辆的旋转角度，(u0,v0)为在所述上一时刻环视图的特征点在所述上一时刻环视图中的坐标，(u1,v1)为所述上一时刻环视图的特征点在所述当前时刻环视图中的坐标。
在其中一个实施例中，所述使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点包括：
构造改进的四叉树来表示实际提取的特征点，所述四叉树的每个节点拥有自身占有的物理空间和所述节点内包含的关键点；
根据所述物理空间对所述关键点等大小进行一分四分裂，同时将原有的所述关键点划分给其所在的子节点，直至所述四叉树的节点数量大于等于目标关键点数量时，或所述四叉树的节点数量不再变化时，所述四叉树停止分裂；
当所述四叉树的节点具有的关键点数量大于1时，选取其中评分最高的特征点作为提取的特征点。
在其中一个实施例中，在所述将从所述多个摄像头获取的图像通过变换和拼接得到当前时刻环视图，并保存所述当前时刻环视图之前，还包括根据标定得到的所述多个摄像头的内部参数、外部参数信息，对从所述多个摄像头获取的图像进行畸变校正、透视变换。
一种车载设备，其搭载在车辆上，包括：
数据获取装置，用于从安装在所述车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；
图像变换装置，用于将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图；
图像存储装置，用于存储所述当前时刻环视图和上一时刻环视图；
图像处理装置，用于将所述当前时刻环视图与所述上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；根据连续的时刻，生成连续更新的全景环视图。
上述车载设备，通过数据获取装置获取摄像头图像以及车辆运动信息，图像处理装置利用获取的方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，从而在当前时刻环视图中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配，能够有效地减少特征点匹配的计算量，并且提高特征点匹配的精确度。之后再计算出上一时刻环视图和当前时刻环视图之间的仿射变换矩阵，利用该仿射变换矩阵实现全景环视图，从而能够消除车身俯视图中车底区域的显示盲区，使得驾乘人员能够实时地了解车底区域路况，准确地分析和判断车辆行驶中的位置和状况，提高了驾驶的安全性。
在其中一个实施例中，所述图像处理装置还用于利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵。
在其中一个实施例中，所述图像处理装置还用于利用所述第一变换矩阵确定所述上一时刻环视图的特征点在所述当前时刻环视图中的位置。
在其中一个实施例中，所述图像处理装置还用于根据提取的所述上一时刻环视图的特征点以及所述当前时刻环视图的特征点，利用RANSAC算法计算第二变换矩阵；计算所述第二变换矩阵和所述第一变换矩阵的相似度，当所述相似度小于预设阈值,使用所述第一变换矩阵为所述仿射变换矩阵，而当所述相似度大于或等于所述预设阈值，使用所述第二变换矩阵为所述仿射变换矩阵。
在其中一个实施例中，所述图像处理装置还用于构造改进的四叉树来表示实际提取的特征点，所述四叉树的每个节点拥有自身占有的物理空间和所述节点内包含的特征点；根据所述物理空间对所述特征点等大小进行一分四分裂，同时将原有的所述特征点划分给其所在的子节点，直至所述四叉树的节点数量大于等于目标关键点数量时，或所述四叉树的节点数量不再变化时，所述四叉树停止分裂；当所述四叉树的节点具有的关键点数量大于1时，选取其中评分最高的特征点作为提取的特征点。
一种车载系统，其搭载在车辆上，包括安装在所述车辆上的多个摄像头，以上所述的车载设备，以及显示装置，所述显示装置用于显示所述车载设备生成的全景环视图。
上述车载系统，通过摄像头捕获图像信息，车载设备获取该图像以及车辆运动信息并进行处理和变换，生成全景环视图，该全景环视图经由显示装置显示，从而能够及时显示包括车底区域的全景环视图，方便驾乘人员实时地了解车底区域路况，准确地分析和判断车辆行驶中的位置和状况，提高了驾驶的安全性。
附图说明
图1为根据本申请一实施例的全景环视图生成方法的流程图；
图2为图1所示实施例的全景环视图生成方法的配准计算的子流程图；
图3A-图3E为根据本申请一实施例的全景环视图生成方法的效果示意图；
图4A和图4B为根据本申请一实施例的全景环视图生成方法的上一时刻环视图和当前时刻环视图的比较示意图；
图5为根据本申请的一实施例的全景环视图生成方法的子流程图；
图6为根据本申请的一实施例的全景环视图生成方法的子流程图；
图7为根据本申请的一实施例的全景环视图生成方法的车辆运动模型的坐标示意图；
图8为根据本申请的一实施例的全景环视图生成方法的子流程图；
图9A-图9C为图8所示实施例的改进的ORB算法的示意图；
图10A和图10B为图9A-图9C所示的改进的ORB算法的效果比较示意图；
图11为根据本申请的一实施例的全景环视图生成方法的子流程图；
图12为根据本申请一实施例的车载设备的结构框图；
图13为根据本申请一实施例的车载系统的结构框图。
具体实施方式
请结合图1至图4，图1为本申请一实施例的全景环视图生成方法的流程图，图2为图1所示实施例的全景环视图生成方法的配准计算的子流程图，图3为根据本申请一实施例的全景环视图生成方法的效果示意图，图4A和图4B为根据本申请一实施例的全景环视图生成方法的上一时刻环视图和当前时刻环视图的比较示意图。
如图1所示，该全景环视图生成方法包括以下步骤。
S100：从安装在车辆上的多个摄像头获取车辆周围区域的图像，并且从车辆获取方向盘转角信息和车速信息。在车辆运动过程中，通过设置在车辆车头、车尾、左后视镜以及右后视镜的摄像头，例如鱼眼摄像头，实时获取车辆周围区域的图像，并可通过车辆中的车辆控制系统获取方向盘转角信息和车速信息。也可以是通过经由车载网络连接的服务器获取相关数据。例如，服务器具有存储环视摄像头数据的环视库，以及存储方向盘转角信息和车速信息等的车辆信息数据库。
S300：将从多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图，并保存当前时刻环视图。该得到的环视图包含时间信息，可以根据其包含的时间信息，确定当前时刻环视图、上一时刻环视图。此时由于摄像头无法捕捉车底区域，因此得到的环视图中车底部分为黑色区域(参见图3)。从而驾乘人员无法知晓车底状况，成为驾乘盲区，存在一定隐患。
S500：将当前时刻环视图与已保存的上一时刻环视图进行配准计算。参见图3A和图3B，图3A为已保存的上一时刻环视图,图3B为当前时刻环视图，图中阴影部分为车底部分，A、B、C分别为选取的参考点。在上一时刻环视图中，A点和B点均可见，随着车辆的行驶，在当前时刻环视图中A点被车体挡住，进入车底盲区。
如果为初始时刻，不存在上一时刻的环视图，则将保存的当前时刻环视图保存为初始图像。
参见图2，其中配准计算S500包括：
S510：使用ORB算法分别提取上一时刻环视图的特征点和当前时刻环视图的特征点。一般情况下，特征点的数量不少于三个。快速特征点提取和描述算法ORB(OrientedFAST and Rotated BRIEF)算法是基于FAST角点检测算法和BRIEF描述子的算法。利用ORB算法对特征点进行提取运算量小，运算效率更高。
S530：利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，在当前时刻环视图的特征点中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配。参见图4A和图4B，图4A为上一时刻环视图，图4B为当前时刻环视图，对图4A和图4B分别使用ORB算法计算得到特征点集合{a1,a2,...,am}和{b1,b2,...,bn}，对于特征点ai，在图4A中坐标为(ui,vi)，利用获得的方向盘转角信息和车速信息可以计算它在图像B中的位置为(u′i,v′i)，选取在(u′i,v′i)附近的特征点，作为与ai最可能匹配的特征点，因此先从{b1,b2,...,bn}中选出位于(u′i,v′i)附近的特征点，参与匹配。用这样的方法对{a1,a2,...,am}中的每一个特征点ai，分别计算它与集合{b1,b2,...,bn}中每个特征点的匹配度。这样能够减少计算量，而且减少了错误匹配的情况，提高了匹配精确度。在数据量比较大时可以通过FLANN(Fast Library for ApproximateNearest Neighbor)匹配，在数据量较小时可以使用暴力匹配算法，当然也可以使用其它算法进行匹配。
S550：计算上一时刻环视图以及当前时刻环视图之间的仿射变换矩阵。
S700：利用仿射变换矩阵对上一时刻环视图进行仿射变换，并与当前时刻环视图进行加权融合，生成更新的环视图，并保存更新的环视图。如图3A至图3C所示，利用仿射变换矩阵对上一时刻环视图(图3A)进行仿射变换，并与当前时刻环视图(图3B)进行加权融合后可以得到更新后的当前时刻环视图(图3C)。在图3C中，即使被车体遮挡(阴影所示)，也能基于上一时刻环视图仿射变换并与当前时刻环视图加权融合后对该被遮挡部分可视，比如，此时A点在图3C中可视。从而消除了车底盲区，实现了对车底区域的可视化。
S900：重复上述步骤S100至S700，获得连续更新的全景环视图。参见图3C至图3E，车辆继续行驶，获得当前时刻环视图(图3D)，B点开始被车体遮挡，此时图3C为上一时刻环视图，此时选取C点对齐，推算出B点在当前时刻环视图中的位置，再利用仿射变换矩阵对上一时刻环视图(图3C)进行仿射变换，并与当前时刻环视图(图3D)进行加权融合，从而得到更新后的当前时刻环视图(图3E)。在图3E中，被车体遮挡的车底部分A点、B点均可视。因此，重复上述步骤，能够获得连续更新的全景环视图，在行驶过程中实现车底区域的连续可视化。
该全景环视图生成方法，使用ORB算法分别提取上一时刻环视图的特征点以及当前时刻环视图的特征点，然后利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，从而在当前时刻环视图中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配，能够有效的减少匹配的计算量，并且提高匹配的精确度。之后再计算出上一时刻环视图和当前时刻环视图之间的仿射变换矩阵，利用该仿射变换矩阵实现全景环视图，从而能够消除车身俯视图中车底区域的显示盲区，使得驾乘人员能够实时地了解车底区域路况，准确地分析和判断车辆行驶中的位置和状况，提高了驾驶的安全性。
请参见图5，为本申请一实施例的子流程，在S500将当前时刻环视图与已保存的上一时刻环视图进行配准计算中还包括S501利用方向盘转角信息和车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵。如图3B虚线所示，虽然A点在当前时刻环视图中不可见，但是可以利用第一变换矩阵，对齐B点，然后根据上一时刻环视图中A点的位置推算出在当前时刻环视图中A点的位置，即使该A点在当前时刻环视图中被车体遮挡显示不了，也能确定其位置。这样能够通过第一变换矩阵获得上一时刻环视图和当前时刻环视图的对应关系，方便计算出上一时刻环视图中的位置点在当前时刻环视图中的位置。
在其中一个实施例中，S530中利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置包括：利用第一变换矩阵确定上一时刻环视图的特征点在当前时刻环视图中的位置。通过第一变换矩阵作为指导信息，能够提高特征点的匹配效率，加快运算速度。
参见图6，为本申请一实施例的子流程图。在该实施例中，S550计算上一时刻环视图以及当前时刻环视图之间的仿射变换矩阵的步骤还包括：
S551：根据提取的上一时刻环视图的特征点以及当前时刻环视图的特征点，利用RANSAC算法计算第二变换矩阵。RANSAC(Random Sample Consensus)算法为随机采样一致性算法，是利用一组包含异常数据的样本数据集计算得到数学模型参数的方法。利用该算法获得的第二变换矩阵，其噪声对于求解结果的影响比较小。
S553：计算第二变换矩阵和第一变换矩阵的相似度，当相似度小于预设阈值,使用第一变换矩阵为仿射变换矩阵，而当相似度大于或等于预设阈值，使用第二变换矩阵为仿射变换矩阵。在该实施例中，可以将第一变换矩阵和第二变换矩阵分别拆分为旋转分量矩阵和平移分量矩阵，再分别比较该旋转分量矩阵和平移分量矩阵。比如可以是将旋转分量矩阵和平移分量矩阵分别展开为向量，计算第一变换矩阵和第二变换矩阵分别对应的向量间的乘积再除以模长，得到旋转分量相似度D1和平移分量相似度D2，此时第一变换矩阵和第二变换矩阵的相似度D可以通过以下公式获得：
D＝|a×D1+b×D2|；
其中a和b为预设的系数。第一变换矩阵和第二变换矩阵相似度越高，则相似度D就越大，第一变换矩阵和第二变换矩阵相似度越低，相似度D就越小。将该相似度和预设的阈值比较，如果该相似度小于预设阈值时，即第一变换矩阵和第二变换矩阵相似度较低，则认为第二变换矩阵计算可信度较低，这时将使用第一变换矩阵作为仿射变换矩阵。如果该相似度大于或等于该预设阈值时，即第一变换矩阵和第二变换矩阵相似度较高，则第二变换矩阵可信度较高，此时使用第二变换矩阵作为仿射变换矩阵。该预设阈值的选取可以根据实验测试获得，或者根据能够接受或容忍的差异范围确定。由于在实际数据的获取中，存在一些客观因素，比如运动模型误差、采集数据误差、车辆打滑等，使得第一变换矩阵的计算可能存在误差，而第二变换矩阵为经过一系列算法，通过提取特征值进行匹配后计算得到，一般较为可靠，但也会存在计算错误的风险。因此本申请的该实施例通过比较第一变换矩阵和第二变换矩阵之间的相似度，来确定仿射变换矩阵，能够摒除明显错误的结果，提高了计算的准确性和可靠性。
在其中一个实施例中，车辆运动模型可以为基于自行车模型的车辆运动模型，其忽略了车辆在垂直方向的运动，且假设车辆的两个前轮具有相同的角度和转速，两个后轮亦然，这样可以在二维平面内描述车辆的运动，如图7所示。在二维坐标系OXY中，(Xr,Yr)和(Xf,Yf)分别为车轮后轴和前轴轴心坐标，
为车辆的航向角，逆时针为正，δf为前轮偏角，vr为车辆后轴中心速度，vf为车辆前轴中心速度，L为轴距。则此刻车辆运动模型为：
再结合图4A和图4B，在某个瞬间，车辆在绕圆心P转动，圆心P可通过计算半径R得到，转动的角速度为w。相对的，车辆周围的物体在做逆向运动，也就是说在绕圆心P以角速度-w在运动。在时刻t0，获得环视图4A，此时车辆的行驶速度为v0，横摆角为δ0；运行至时刻t1，获得环视图4B，根据上述车辆运动模型可以计算环视图4A和环视图4B之间的变换矩阵，即第一变换矩阵为：
其中(Px,Py)为车辆运动旋转圆心的坐标，θ为上一时刻至当前时刻车辆的旋转角度，(u0,v0)为在上一时刻环视图的特征点在上一时刻环视图中的坐标，(u1,v1)为该上一时刻环视图的特征点在当前时刻环视图中的坐标。使用该第一变换矩阵，即可将环视图4A变换至环视图4B并进行对齐。
参见图8，为本申请一实施例的子流程图。请结合图9A至图9C，在该实施例中，在S510使用ORB算法分别提取上一时刻环视图的特征点和当前时刻环视图的特征点的步骤中，还包括：
S511：构造改进的四叉树来表示实际提取的关键点，该四叉树的每个节点拥有自身占有的物理空间和该节点内包含的关键点。如图9A所示，其中圆点代表关键点。
S513：根据物理空间对关键点等大小进行一分四分裂，同时将原有的关键点划分给其所在的子节点，直至四叉树的节点数量大于等于目标关键点数量时，或四叉树的节点数量不再变化时，四叉树停止分裂。在本实施例中，如图9A所示，原有关键点10个，假设目标关键点数量为6，由于目标关键点数小于原始关键点数，则对原始空间做均匀等大小的四等分，生成四个空间节点，如图9B所示。此时空间节点II和空间节点III内特征点数量均只有1，则不再对该空间节点II和空间节点III进行划分。由于空间节点I和空间节点IV中特征点数量均大于1，分别为6和2，则对空间节点I和空间节点IV进行第二次均匀等大小划分为四等分，如图9C所示。此时包含关键点的空间节点数量为8，大于目标关键点数量6，则停止分裂。
S515：当四叉树的节点具有的关键点数量大于1时，选取其中评分最高的特征点作为提取的特征点。在本实施例中，此时把当前节点按照包含特征点的数量降序排列，选取前6个作为目标特征点所在的空间节点。对于具有大于1个特征点的空间节点，根据这些特征点的评分选取最优的特征点作为该节点的代表关键点。该特征点的评分也即特征点的“显著”性的评分，其和特征点的提取方法有关，比如ORB算法中使用的是FAST特征点，其评分就是计算某像素点和它周围16个像素点的灰度值差异的绝对值的和，这个值越大表明特征点越“显著”。
参见图10A和图10B，由于实际工作时场景多变，常常会遇到特征点相对集中，其余部分相对平坦的情况。在这种情况下，常规的ORB算法检测到的特征点也会比较集中，如图10A中圆圈所示。而利用本实施例的改进的ORB算法，能够使得检测到的特征点分布更加均匀，如图10B所示，从而有利于后续的特征点匹配和计算，提高匹配的精确度以及计算的效率。
在其中一个实施例中，参见图11，在S300在将从多个摄像头获取的图像通过变换和拼接得到当前时刻环视图，并保存当前时刻环视图之前，还包括根据标定得到的多个摄像头的内部参数、外部参数信息，对从该多个摄像头获取的图像进行畸变校正、透视变换。这样能够对获取的摄像头数据进行变换处理，提高后续图像拼接变换的精确度和有效性。
请参见图12为本发明一实施例的车载设备的结构框图。如图所示，该车载设备100包括数据获取装置110、图像变换装置120、图像存储装置130和图像处理装置140。其中数据获取装置110用于从安装在车辆上的多个摄像头获取车辆周围区域的图像，并且从车辆获取方向盘转角信息和车速信息。图像变换装置120，用于将从多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图。图像存储装置130，用于存储当前时刻环视图和上一时刻环视图。图像处理装置140，用于将当前时刻环视图与上一时刻环视图进行配准计算，其中配准计算包括：使用ORB算法分别提取上一时刻环视图的特征点和当前时刻环视图的特征点；利用方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，在当前时刻环视图的特征点中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配；计算上一时刻环视图以及当前时刻环视图之间的仿射变换矩阵；利用仿射变换矩阵对上一时刻环视图进行仿射变换，并与当前时刻环视图进行加权融合，生成更新的环视图，并保存更新的环视图；根据连续的时刻，生成连续更新的全景环视图。
这种车载设备，通过数据获取装置获取摄像头图像以及车辆运动信息，图像处理装置利用该获取的方向盘转角信息和车速信息，根据车辆运动模型计算上一时刻环视图的特征点在当前时刻环视图中的位置，从而在当前时刻环视图中选取位于该位置附近的特征点与上一时刻环视图的特征点进行匹配，能够有效地减少特征点匹配的计算量，并且提高匹配的精确度。之后再计算出上一时刻环视图和当前时刻环视图之间的仿射变换矩阵，利用该仿射变换矩阵实现全景环视图，从而能够消除车身俯视图中车底区域的显示盲区，使得驾乘人员能够实时地了解车底区域路况，准确地分析和判断车辆行驶中的位置和状况，提高了驾驶的安全性。
在其中一个实施例中，图像处理装置140还用于利用方向盘转角信息和车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵。从而能够通过第一变换矩阵获得上一时刻环视图和当前时刻环视图的对应关系，方便计算出上一时刻环视图中的位置点在当前时刻环视图中的位置。
在其中一个实施例中，图像处理装置140还用于利用该第一变换矩阵确定上一时刻环视图的特征点在当前时刻环视图中的位置。这样能够进一步优化匹配效率和精确度。
在其中一个实施例中，图像处理装置140还用于根据提取的上一时刻环视图的特征点以及当前时刻环视图的特征点，利用RANSAC算法计算第二变换矩阵；计算第二变换矩阵和第一变换矩阵的相似度，当相似度小于预设阈值,使用第一变换矩阵为仿射变换矩阵，而当相似度大于或等于预设阈值，使用第二变换矩阵为仿射变换矩阵。这样本实施例的图像处理装置通过比较第一变换矩阵和第二变换矩阵之间的相似度，来确定仿射变换矩阵，提高了计算的准确性。
在其中一个实施例中，该图像处理装置140还用于构造改进的四叉树来表示实际提取的特征点，四叉树的每个节点拥有自身占有的物理空间和该节点内包含的特征点；根据物理空间对特征点等大小进行一分四分裂，同时将原有的特征点划分给其所在的子节点，直至四叉树的节点数量大于等于目标关键点数量时，或四叉树的节点数量不再变化时，四叉树停止分裂；当四叉树的节点具有的关键点数量大于1时，选取其中评分最高的特征点作为提取的特征点。图像处理装置利用该改进的ORB算法，能够使得检测到的特征点分布更加均匀，有利于后续的特征点匹配和计算，提高匹配的精确度以及计算的效率。
请参见图13，为本发明一实施例的车载系统的结构框图。该车载系统200搭载在车辆上，包括安装在车辆上的多个摄像头210，如上所述的车载设备100，以及显示装置220，该显示装置220用于显示车载设备100生成的全景环视图，方便车乘人员及时查看。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种全景环视图生成方法，其特征在于，包括以下步骤：
从安装在车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；
将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图，并保存所述当前时刻环视图；
将所述当前时刻环视图与已保存的上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；
所述配准计算，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵；
所述计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵包括：根据提取的所述上一时刻环视图的特征点以及所述当前时刻环视图的特征点，利用RANSAC算法计算第二变换矩阵；计算所述第二变换矩阵和所述第一变换矩阵的相似度，当所述相似度小于预设阈值,使用所述第一变换矩阵为所述仿射变换矩阵，而当所述相似度大于或等于所述预设阈值，使用所述第二变换矩阵为所述仿射变换矩阵；
利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；
重复上述步骤，获得连续更新的全景环视图。
2.根据权利要求1所述的全景环视图生成方法，其特征在于，所述配准计算，还包括：利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵；所述利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置包括：利用所述第一变换矩阵确定所述上一时刻环视图的特征点在所述当前时刻环视图中的位置。
3.根据权利要求1或2所述的全景环视图生成方法，其特征在于，所述第一变换矩阵为：
其中(Px,Py)为车辆运动旋转圆心的坐标，θ为上一时刻至当前时刻车辆的旋转角度，(u0,v0)为在所述上一时刻环视图的特征点在所述上一时刻环视图中的坐标，(u1,v1)为所述上一时刻环视图的特征点在所述当前时刻环视图中的坐标。
4.根据权利要求1至2任意一项所述的全景环视图生成方法，其特征在于，所述使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点包括：
构造改进的四叉树来表示实际提取的特征点，所述四叉树的每个节点拥有自身占有的物理空间和所述节点内包含的关键点；
根据所述物理空间对所述关键点等大小进行一分四分裂，同时将原有的所述关键点划分给其所在的子节点，直至所述四叉树的节点数量大于等于目标关键点数量时，或所述四叉树的节点数量不再变化时，所述四叉树停止分裂；
当所述四叉树的节点具有的关键点数量大于1时，选取其中评分最高的特征点作为提取的特征点。
5.一种车载设备，其搭载在车辆上，其特征在于，包括：
数据获取装置，用于从安装在所述车辆上的多个摄像头获取所述车辆周围区域的图像，并且从所述车辆获取方向盘转角信息和车速信息；
图像变换装置，用于将从所述多个摄像头获取的图像通过变换和拼接生成与时间相关联的环视图，将当前时刻生成的环视图用作当前时刻环视图；
图像存储装置，用于存储所述当前时刻环视图和上一时刻环视图；
图像处理装置，用于将所述当前时刻环视图与所述上一时刻环视图进行配准计算，其中所述配准计算包括：使用ORB算法分别提取所述上一时刻环视图的特征点和所述当前时刻环视图的特征点；利用所述方向盘转角信息和所述车速信息，根据车辆运动模型计算所述上一时刻环视图的特征点在所述当前时刻环视图中的位置，在所述当前时刻环视图的特征点中选取位于所述位置附近的特征点与所述上一时刻环视图的特征点进行匹配；计算所述上一时刻环视图以及所述当前时刻环视图之间的仿射变换矩阵；利用所述仿射变换矩阵对所述上一时刻环视图进行仿射变换，并与所述当前时刻环视图进行加权融合，生成更新的环视图，并保存所述更新的环视图；根据连续的时刻，生成连续更新的全景环视图；
所述图像处理装置还用于利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵；根据提取的所述上一时刻环视图的特征点以及所述当前时刻环视图的特征点，利用RANSAC算法计算第二变换矩阵；计算所述第二变换矩阵和所述第一变换矩阵的相似度，当所述相似度小于预设阈值,使用所述第一变换矩阵为所述仿射变换矩阵，而当所述相似度大于或等于所述预设阈值，使用所述第二变换矩阵为所述仿射变换矩阵。
6.根据权利要求5所述的车载设备，其特征在于，所述图像处理装置还用于利用所述方向盘转角信息和所述车速信息，根据车辆运动模型得到上一时刻至当前时刻图像坐标系的第一变换矩阵；所述图像处理装置还用于利用所述第一变换矩阵确定所述上一时刻环视图的特征点在所述当前时刻环视图中的位置。
7.根据权利要求5至6任意一项所述的车载设备，其特征在于，所述图像处理装置还用于构造改进的四叉树来表示实际提取的特征点，所述四叉树的每个节点拥有自身占有的物理空间和所述节点内包含的特征点；根据所述物理空间对所述特征点等大小进行一分四分裂，同时将原有的所述特征点划分给其所在的子节点，直至所述四叉树的节点数量大于等于目标关键点数量时，或所述四叉树的节点数量不再变化时，所述四叉树停止分裂；当所述四叉树的节点具有的关键点数量大于1时，选取其中评分最高的特征点作为提取的特征点。
8.一种车载系统，其搭载在车辆上，包括安装在所述车辆上的多个摄像头，根据权利要求5至7中任意一项所述的车载设备，以及显示装置，所述显示装置用于显示所述车载设备生成的全景环视图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910892238.2A CN110636263B (zh) | 2019-09-20 | 2019-09-20 | 全景环视图生成方法、车载设备及车载系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910892238.2A CN110636263B (zh) | 2019-09-20 | 2019-09-20 | 全景环视图生成方法、车载设备及车载系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110636263A CN110636263A (zh) | 2019-12-31 |
| CN110636263B true CN110636263B (zh) | 2022-01-11 |
Family
ID=68971875
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910892238.2A Active CN110636263B (zh) | 2019-09-20 | 2019-09-20 | 全景环视图生成方法、车载设备及车载系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110636263B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113837936A (zh) * | 2020-06-24 | 2021-12-24 | 上海汽车集团股份有限公司 | 一种全景图像的生成方法和装置 |
| CN111949173B (zh) * | 2020-07-31 | 2022-02-15 | 广州启量信息科技有限公司 | 一种全景vr画面切换方法、装置、终端设备及存储介质 |
| CN111968035B (zh) * | 2020-08-05 | 2023-06-20 | 成都圭目机器人有限公司 | 基于损失函数的图像相对旋转角计算方法 |
| CN112085669A (zh) * | 2020-08-17 | 2020-12-15 | 广州市安晓科技有限责任公司 | 一种360环视全景的车底去黑块方法 |
| CN112381726B (zh) * | 2020-10-29 | 2023-05-23 | 浙江吉利控股集团有限公司 | 一种地下车库全局图的构建方法及装置 |
| CN113449582A (zh) * | 2021-03-04 | 2021-09-28 | 同致电子科技（厦门）有限公司 | 一种车底盲区填充方法、装置、系统、存储介质及计算机程序产品 |
| CN113222862A (zh) * | 2021-06-04 | 2021-08-06 | 黑芝麻智能科技(上海)有限公司 | 图像畸变校正方法、装置、电子设备和存储介质 |
| CN113436164B (zh) * | 2021-06-23 | 2024-03-15 | 三一专用汽车有限责任公司 | 车底路况检测方法、装置及车辆 |
| CN114312577B (zh) * | 2022-02-17 | 2022-11-29 | 镁佳(北京)科技有限公司 | 一种车辆底盘透视方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103886569A (zh) * | 2014-04-03 | 2014-06-25 | 北京航空航天大学 | 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法 |
| WO2015056826A1 (ko) * | 2013-10-18 | 2015-04-23 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
| CN108257092A (zh) * | 2018-01-18 | 2018-07-06 | 维森软件技术（上海）有限公司 | 一种车身环视图像底部显示方法 |
| CN110084248A (zh) * | 2019-04-23 | 2019-08-02 | 陕西理工大学 | 一种orb特征均匀化提取方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103226831B (zh) * | 2013-05-02 | 2014-09-24 | 天津大学 | 利用分块布尔运算的图像匹配方法 |
| CN105551022B (zh) * | 2015-12-07 | 2018-03-30 | 北京大学 | 一种基于形状交互矩阵的图像错误匹配检验方法 |
-
2019
- 2019-09-20 CN CN201910892238.2A patent/CN110636263B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015056826A1 (ko) * | 2013-10-18 | 2015-04-23 | 주식회사 이미지넥스트 | 카메라의 영상 처리 장치 및 방법 |
| CN103886569A (zh) * | 2014-04-03 | 2014-06-25 | 北京航空航天大学 | 连续帧多特征点无人机侦察图像并行与匹配精度约束的拼接方法 |
| CN108257092A (zh) * | 2018-01-18 | 2018-07-06 | 维森软件技术（上海）有限公司 | 一种车身环视图像底部显示方法 |
| CN110084248A (zh) * | 2019-04-23 | 2019-08-02 | 陕西理工大学 | 一种orb特征均匀化提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110636263A (zh) | 2019-12-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110636263B (zh) | 全景环视图生成方法、车载设备及车载系统 | |
| CN112292711B (zh) | 关联lidar数据和图像数据 | |
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| US11216673B2 (en) | Direct vehicle detection as 3D bounding boxes using neural network image processing | |
| CN111442776B (zh) | 顺序地面场景图像投影合成与复杂场景重构的方法及设备 | |
| CN108638999B (zh) | 一种基于360度环视输入的防碰撞预警系统及方法 | |
| Gandhi et al. | Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps | |
| CN110910453B (zh) | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 | |
| EP2757527A1 (en) | System and method for distorted camera image correction | |
| KR102338665B1 (ko) | 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법 | |
| CN111414794A (zh) | 计算一拖车挂接点位置的方法 | |
| EP3716145A1 (en) | Object detection device and method | |
| US11910092B2 (en) | Panoramic look-around view generation method, in-vehicle device and in-vehicle system | |
| CN103186771A (zh) | 用于检测障碍物的方法和驾驶员辅助系统 | |
| CN114913506A (zh) | 一种基于多视角融合的3d目标检测方法及装置 | |
| EP3002709A1 (en) | Method for detecting an object in an environmental region of a motor vehicle, driver assistance system and motor vehicle | |
| US20230410363A1 (en) | Camera pose estimation techniques | |
| EP3259732B1 (en) | Method and device for stabilization of a surround view image | |
| JP2007280387A (ja) | 物体移動の検出方法及び検出装置 | |
| JP2008003696A (ja) | 画像処理装置及び画像処理方法 | |
| CN116385997A (zh) | 一种车载障碍物精确感知方法、系统及存储介质 | |
| US11420855B2 (en) | Object detection device, vehicle, and object detection process | |
| CN110677491B (zh) | 用于车辆的旁车位置估计方法 | |
| JP2015001966A (ja) | 物体検出装置 | |
| Klappstein | Optical-flow based detection of moving objects in traffic scenes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |