CN111860270A - 一种基于鱼眼相机的障碍物检测方法及装置 - Google Patents
一种基于鱼眼相机的障碍物检测方法及装置 Download PDFInfo
- Publication number
- CN111860270A CN111860270A CN202010667900.7A CN202010667900A CN111860270A CN 111860270 A CN111860270 A CN 111860270A CN 202010667900 A CN202010667900 A CN 202010667900A CN 111860270 A CN111860270 A CN 111860270A
- Authority
- CN
- China
- Prior art keywords
- top view
- camera
- fisheye
- sub
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 51
- 238000000034 method Methods 0.000 claims abstract description 56
- 238000003384 imaging method Methods 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims abstract description 9
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 238000013519 translation Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 abstract description 8
- 230000000694 effects Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于鱼眼相机的障碍物检测方法，该方法具体包括以下步骤：获取具有交叠视角的鱼眼图像A和鱼眼图像B，计算得到俯视图a和俯视图b，获取俯视图a与俯视图b所在相机坐标系的相对位置关系，对俯视图a进行子块划分，对俯视图a划分后的每一子块，结合俯视图b，求出h的值，判断俯视图a中的每一子块是否属于障碍物，对于所有判断为障碍物的子块进行聚类，标记，输出标记结果。本发明另外提供一种基于鱼眼相机的障碍物检测装置。本发明通过俯视图转换，解决了鱼眼相机成像形变问题，并保留了鱼眼相机的成像视角；本发明可适用于任意类型目标物的检测，不容易造成障碍物的漏检，检测效果好。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于鱼眼相机的障碍物检测方法及装置。
背景技术
障碍物检测，指的是对高出地面一定高度的对自车行驶构成威胁的物体进行检测。在汽车辅助驾驶、自动驾驶等领域，障碍物检测具有重要应用前景。通过获得自车周围场景中的障碍物信息，可以进一步实现自车行驶轨迹规划，碰撞避免等应用。和固定类别的目标物检测相比，障碍物检测可以实现，对安全驾驶构成威胁的任意种类物体的检测，更适合于泊车辅助、自动泊车等应用。
鱼眼相机安装于汽车车身位置，如可安装于车身前后保险杠、左右后视镜等位置，用于检测车辆周边不同区域范围内出现的障碍物。鱼眼相机和普通平面相机相比，成像视角更大，检测范围更广，目前已经成为许多中高端汽车的标准配置。基于鱼眼相机的障碍物检测更具有应用前景和实用价值。
现有的障碍物检测相关技术主要有：1、基于机器学习训练目标物检测器的方法，该类方法需要收集待检测目标物图像样本进行训练，较不适用于任意类型目标物的检测；2、基于IPM变换的方法，该类方法通过对图像进行运动补偿，比较补偿图像和真实图像之间的差异信息检测障碍物，需要对差异信息进行阈值设定，区分障碍物和地面物，该方法可以实现对任意类别的目标物进行检测，但是阈值容易受到场景影响不易确定，对于地面强纹理容易造成误识别，弱纹理的障碍物容易造成漏检；3、基于几何约束的方法，该类方法通过计算本质矩阵，对极约束等，重建图像特征点的三维位置，利用三维位置信息，区分障碍物和地面物，但是对于一些缺乏特征点的障碍物，容易漏检，对于特征点匹配错误的图像区域，容易造成误识别，鱼眼相机，由于存在较大的成像形变，特征点的检测及匹配效果变差，也会使得该类方法的障碍物检测效果变差。
综上，现有技术的障碍物检测方法，存在适用目标物类别局限、存在较多的漏检和误检的技术问题。
发明内容
本发明的目的在于提供一种基于鱼眼相机的障碍物检测方法，解决了现有技术存在的上述问题。
本发明的上述目的通过以下技术方案实现：
一种基于鱼眼相机的障碍物检测方法，具体包括以下步骤：
S1、获取具有交叠视角的鱼眼图像A和鱼眼图像B；
S2、计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；
S3、获取俯视图a与俯视图b所在相机坐标系的相对位置关系；
S4、对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；
S5、对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；
S6、判断俯视图a中的每一子块是否属于障碍物；
S7、对于所有判断为障碍物的子块，根据步骤S5计算得到的子块真实高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；
S8、聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物区域上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；
S9、输出标记结果，作为最终的障碍物检测结果。
进一步地，所述步骤S1中的鱼眼图像A和鱼眼图像B来源于同一单目相机不同时刻拍摄或者来源于相邻相机同一时刻拍摄。
进一步地，所述步骤S2具体包括：
采用转换俯视图方法对鱼眼相机拍摄的鱼眼图像进行形变处理，得到相应的俯视图，所述转换俯视图方法具体包括：
以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；
利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴；
在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)，计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；
在鱼眼相机中，对于鱼眼相机坐标系中一空间点(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，
其中，
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法得到，在算法实施过程中，为已知参数；
俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；
对鱼眼图像A和鱼眼图像B，都进行上述俯视图转换，生成对应的俯视图a和俯视图b。
进一步地，所述步骤S3的相对位置关系包括俯视图a与俯视图b各自所在的相机坐标系之间的旋转矩阵和平移向量。
进一步地，所述步骤S5对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系中具有近似相同的真实高度h，结合俯视图b，求出h值的过程具体包括：
对于俯视图a中的任意一子块k中的任意一点(ua,va)，假设其对应的空间区域的真实高度为h，根据公式(5)可以求出点(xb,yb,zb)，再通过求解公式(6)，可以计算出其在俯视图b中的投影点坐标(ub,vb)
其中，RAB和TAB分别表示旋转矩阵和平移向量，为由所述步骤S3获取的俯视图a与俯视图b所在相机坐标系的相对位置关系；对子块k中的每一个点都进行上述计算，可以求出与子块k对应的在俯视图b中的区域kb，然后计算，这两个区域的像素差异ek，
其中，n表示子块k中像素点个数；i表示子块中的第i个像素；k(ua,i,va,i)表示俯视图a中，坐标位置(ua,i,va,i)的像素值；kb(ub,i,vb,i)表示俯视图b中，坐标位置(ub,i,vb,i)的像素值；
给定一个h值可以求出相应的ek，遍历h值，当ek最小时，对应的h值，确定为子块k对应的真实高度值。
进一步地，所述步骤S6具体包括：
对于俯视图a中的每一子块求出的真实高度h，判断真实高度h与相机安装高度H的差异程度是否小于第一预设经验阈值T1，若小于第一预设经验阈值T1，则认为该子块位于地面上，是地面物体；
对于俯视图a中的每一子块求出的真实高度h，判断高度h与相机安装高度H的差异程度是否大于第二预设经验阈值T2，若大于第二预设经验阈值T2，则认为该子块来自于非地面区域，属于障碍物。
本发明另外提供一种基于鱼眼相机的障碍物检测装置，包括：
第一获取模块，用于获取具有交叠视角的鱼眼图像A和鱼眼图像B；
第一计算模块，用于计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；
第二获取模块，用于获取俯视图a与俯视图b所在相机坐标系的相对位置关系；
子块划分模块，用于对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；
第二计算模块，用于对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；
判断模块，用于检测俯视图a中的每一子块是否属于障碍物；
聚类模块，用于对于所有判断为障碍物的子块，根据计算得到的子块高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；
标记模块，用于聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；
输出模块，用于输出标记结果，作为最终的障碍物检测结果。
进一步地，所述第一计算模块包括：
车身坐标系建立子模块，用于以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
鱼眼相机坐标系建立子模块，用于以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；
鱼眼相机坐标系校正子模块，用于利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴；
第一计算子模块，用于在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；
在鱼眼相机中，对于鱼眼相机坐标系中一空间点P(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，
其中，
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法得到，在算法实施过程中，为已知参数；
俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；
进一步地，所述第二计算模块包括：
第二计算子模块，用于对于俯视图a中的任意一子块k中的任意一点(ua,va)，假设其对应的空间区域的真实高度为h，根据公式(5)可以求出点(xb,yb,zb)，再通过求解公式(6)，可以计算出其在俯视图b中的投影点坐标(ub,vb)
其中，RAB和TAB分别表示旋转矩阵和平移向量，为由所述步骤S3获取的俯视图a与俯视图b所在相机坐标系的相对位置关系；对子块k中的每一个点都进行上述计算，可以求出与子块k对应的在俯视图b中的区域kb，然后计算，这两个区域的像素差异ek，
其中，n表示子块k中像素点个数；i表示子块中的第i个像素；k(ua,i,va,i)表示俯视图a中，坐标位置(ua,i,va,i)的像素值；kb(ub,i,vb,i)表示俯视图b中，坐标位置(ub,i,vb,i)的像素值；
第一确定子模块，用于给定一个h值可以求出相应的ek，遍历h值，当ek最小时，对应的h值，确定为子块k对应的真实高度值。
进一步地，所述判断模块包括：
第一判断子模块，用于对于俯视图a中的每一子块求出的真实高度h，判断真实高度h与相机安装高度H的差异程度是否小于第一预设经验阈值T1，若小于第一预设经验阈值T1，则认为该子块位于地面上，是地面物体；
第二判断子模块，用于对于俯视图a中的每一子块求出的真实高度h，判断高度h与相机安装高度H的差异程度是否大于第二预设经验阈值T2，若大于第二预设经验阈值T2，则认为该子块来自于非地面区域，属于障碍物。
本发明的有益效果在于：本发明通过俯视图转换，解决了鱼眼相机成像形变问题，并保留了鱼眼相机的成像视角；通过对鱼眼相机俯视图的图像子块进行多个高度假设，并进行子块补偿求取高度的方式，检测障碍物子块，最终获得障碍物检测结果。该方法可适用于任意类型目标物的检测，不容易造成障碍物的漏检，检测效果好。本发明的检测方法利用鱼眼相机拍摄图像的交叠区域，进行障碍物检测，这里的交叠区域，可以是同一个相机，在不同时刻、不同位置拍摄的图像；也可以是不同相机在不同位置、同一时刻拍摄的图像，也就是说，本发明方法即可用于单目相机，也可应用于有交叠图像区域的双目相机。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明的一种基于鱼眼相机的障碍物检测方法流程示意图；
图2为倒车时，安装于后保险杠位置的单目相机，利用不同时刻拍摄的图像构成交叠区域示意图；
图3为安装于车头保险杠位置的相邻相机，同一时刻拍摄的图像构成的交叠区域示意图；
图4为安装于车头保险杠位置和车身侧面的相邻相机，同一时刻拍摄的图像构成的交叠区域示意图；
图5为相机坐标系校正前后示意图；
图6为对俯视图a采用等大小、无重叠方式进行子块划分的示意图；
图7为对俯视图a采用等大小、有重叠方式进行子块划分的示意图
图8为对俯视图a中子块k拍摄的场景，进行高度假设，并根据假设高度将其投影到俯视图b中的示意图；
图9为本发明的本发明的一种基于鱼眼相机的障碍物检测装置的结构框图；
具体实施方式
下面结合附图及具体实施例进一步说明本发明的详细内容及其具体实施方式。
实施例1
参照图1，一种基于鱼眼相机的障碍物检测方法，具体包括以下步骤：
S1、获取具有交叠视角的鱼眼图像A和鱼眼图像B；
本发明利用鱼眼相机拍摄图像的交叠区域，进行障碍物检测，具体实施时，鱼眼图像A和鱼眼图像B可来源于同一单目相机不同时刻拍摄或者来源于相邻相机同一时刻拍摄。
如图2所示，为倒车时，安装于后保险杠位置的单目相机，利用不同时刻(t-1时刻和t时刻)拍摄的图像构成交叠区域示意图；
如图3所示，为安装于车头保险杠位置的相邻相机，同一时刻拍摄的图像构成的交叠区域示意图；
如图4所示，为安装于车头保险杠位置和车身侧面的相邻相机，同一时刻拍摄的图像构成的交叠区域示意图；
S2、计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；
具体实施时，采用转换俯视图方法对鱼眼相机的鱼眼图像进行形变处理，得到相应的俯视图，所述转换俯视图方法具体包括：
以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；
利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴，相机坐标系校正前后示意图如图5所示；
在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；
在鱼眼相机中，对于鱼眼相机坐标系中一空间点P(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，
其中，
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法(现有技术，参照KANNALA J and BRANDT S S.Ageneric camera model and calibration method forconventional,wide-angle,and fish-eye lenses[J].IEEE Transactions on PatternAnalysis and Machine Intelligence,2006,28(8):1335-1340.)得到，在算法实施过程中，为已知参数；
俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；
对鱼眼图像A和鱼眼图像B，都进行上述俯视图转换，生成对应的俯视图a和俯视图b。
S3、获取俯视图a与俯视图b所在相机坐标系的相对位置关系；
本发明将校正后的坐标系O_XYZ定义为俯视图所在的相机坐标系。俯视图a与俯视图b所在的相机坐标系的相对位置关系，即为俯视图a与俯视图b各自所在的相机坐标系(校正坐标系)之间的旋转矩阵和平移向量；
如果俯视图a与俯视图b来源于同一个相机，不同时刻拍摄(如图2所示)，可以通过相机运动参数估计方法计算相机运动参数，再由相机运动参数写出俯视图a与俯视图b所在的相机坐标系之间的旋转矩阵和平移向量，为现有技术(参照于红绯,刘威,袁淮,赵宏.基于鱼眼相机的自运动参数异步估计,电子学报,2013,41(9):1831～1835.)，也可以通过其他传感器获取相机相邻时刻的运行参数。
如果俯视图a与俯视图b来源于不同相机，相同时刻拍摄(如图3或图4所示)，相机固定在车体上，两个相机相对位置关系不变，可以通过离线外参标定方法，标定出俯视图a与俯视图b所在的相机坐标系之间的旋转矩阵和平移向量，也为现有技术，不再进行赘述。
S4、对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；
子块划分可以采用等大小、无重叠的子块划分方式(参照图6)，将图像划分为等大小无重叠的栅格，或采用有重叠的子块划分方式(例如可以设置子块的步长为子块边长的一半，参照图7)，将图像划分为有重叠的栅格，划分的每一个栅格，即为一个子块。本实施例中，接下来的计算过程均以图6所示的等大小、无重叠的子块划分方式进行描述(有重叠的子块划分方式后续计算过程与等大小、无重叠的子块划分方式计算过程相同，不再赘述)。
S5、对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；
具体实施过程：
由于真实场景中，景物具有一定的空间连续性，对于俯视图a中的任意一子块k，我们假设其所拍摄的真实场景区域，在俯视图a所在的相机坐标系中，具有近似相等的空间高度值(即近似相等的Y坐标)，我们可以进一步的通过高度遍历的方式，求出该高度值。
如图8所示，为了便于区分，在图8中，俯视图a和俯视图b所在坐标系原点分别用OA和OB表示，具体计算过程如下：对于俯视图a中的任意一子块k中的任意一点(ua,va)，假设其对应的空间区域的真实高度为h，根据公式(5)可以求出点(xb,yb,zb)，再通过求解公式(6)，可以计算出其在俯视图b中的投影点坐标(ub,vb)
其中，RAB和TAB分别表示旋转矩阵和平移向量，为由所述步骤S3获取的俯视图a与俯视图b所在相机坐标系的相对位置关系；对子块k中的每一个点都进行上述计算，可以求出与子块k对应的在俯视图b中的区域kb，然后计算，这两个区域的像素差异ek，
其中，n表示子块k中像素点个数；i表示子块中的第i个像素；k(ua,i,va,i)表示俯视图a中，坐标位置(ua,i,va,i)的像素值；kb(ub,i,vb,i)表示俯视图b中，坐标位置(ub,i,vb,i)的像素值；
给定一个h值可以求出相应的ek，遍历h值，当ek最小时，对应的h值，确定为子块k对应的真实高度值。
注意本实施例上述通过公式(7)计算像素差异ek来衡量俯视图a子块k与子块k在俯视图b中的kb两个区域相似程度的计算方法，也可以采用其他的衡量子块相似的方法，如计算两个子块的NC相关值(NC相关值的计算方法为现有技术，不再赘述)，不同的是，求出NC相关值后遍历h值，当NC相关值最大时，对应的h值，确定为子块k对应的真实高度值。
S6、障碍物子块检测：检测俯视图a中的每一子块是否属于障碍物；
具体检测过程为：
对于俯视图a中的每一子块求出的真实高度h，判断真实高度h与相机安装高度H的差异程度是否小于第一预设经验阈值T1，若小于第一预设经验阈值T1，即满足公式(8)，则认为该子块位于地面上，是地面物体；
对于俯视图a中的每一子块求出的真实高度h，判断高度h与相机安装高度H的差异程度是否大于第二预设经验阈值T2，若大于第二预设经验阈值T2，即满足公式(9)，则认为该子块来自于非地面区域，属于障碍物。
其中，h为子块的计算高度，H为相机安装高度(已知值)，T1和T2为预设经验阈值。T1和T2(本实施例中，T1＝0.1，T2＝0.2)可以由本领域技术人员根据实际要求自主设置，T1和T2的具体数值不影响本申请的实现。
S7、对于所有判断为障碍物的子块，根据步骤S5计算得到的子块真实高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；
S8、聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物区域上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；换算方法与所述步骤S2中的俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法相同，即首先利用公式(4)，然后利用公式(2)(3)(1)计算；
S9、输出标记结果，作为最终的障碍物检测结果。
本发明另外提供一种基于鱼眼相机的障碍物检测装置，包括：
第一获取模块100，用于获取具有交叠视角的鱼眼图像A和鱼眼图像B；
第一计算模块200，用于计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；
所述第一计算模块200包括：
车身坐标系建立子模块，用于以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
鱼眼相机坐标系建立子模块，用于以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；
鱼眼相机坐标系校正子模块，用于利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴；
第一计算子模块，用于在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；
在鱼眼相机中，对于鱼眼相机坐标系中一空间点P(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，
其中，
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法得到，在算法实施过程中，为已知参数；
俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；
对鱼眼图像A和鱼眼图像B，都进行上述俯视图转换，生成对应的俯视图a和俯视图b。
第二获取模块300，用于获取俯视图a与俯视图b所在相机坐标系的相对位置关系；
子块划分模块400，用于对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；
第二计算模块500，用于对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；
所述第二计算模块500包括：
第二计算子模块，用于对于俯视图a中的任意一子块k中的任意一点(ua,va)，假设其对应的空间区域的真实高度为h，根据公式(5)可以求出点(xb,yb,zb)，再通过求解公式(6)，可以计算出其在俯视图b中的投影点坐标(ub,vb)
其中，RAB和TAB分别表示旋转矩阵和平移向量，为由所述步骤S3获取的俯视图a与俯视图b所在相机坐标系的相对位置关系；对子块k中的每一个点都进行上述计算，可以求出与子块k对应的在俯视图b中的区域kb，然后计算，这两个区域的像素差异ek，
其中，n表示子块k中像素点个数；i表示子块中的第i个像素；k(ua,i,va,i)表示俯视图a中，坐标位置(ua,i,va,i)的像素值；kb(ub,i,vb,i)表示俯视图b中，坐标位置(ub,i,vb,i)的像素值；
第一确定子模块，用于给定一个h值可以求出相应的ek，遍历h值，当ek最小时，对应的h值，确定为子块k对应的真实高度值。
判断模块600，用于判断俯视图a中的每一子块是否属于障碍物；
所述判断模块600包括：
第一判断子模块，对于俯视图a中的每一子块求出的真实高度h，判断真实高度h与相机安装高度H的差异程度是否小于第一预设经验阈值T1，若小于第一预设经验阈值T1，则认为该子块位于地面上，是地面物体；
对于俯视图a中的每一子块求出的真实高度h，判断高度h与相机安装高度H的差异程度是否大于第二预设经验阈值T2，若大于第二预设经验阈值T2，则认为该子块来自于非地面区域，属于障碍物。
聚类模块700，用于对于所有判断为障碍物的子块，根据计算得到的子块高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；
标记模块800，用于聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物区域上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；
输出模块900，用于输出标记结果，作为最终的障碍物检测结果。
本发明的检测方法及检测装置，虽然主要应用于智能车，并以智能车为例进行描述，但也可用于安装了相机的移动机器人等移动平台。可用于车辆防碰撞、车辆轨迹规划等功能。
本发明的鱼眼相机，也可以由广角相机，或平面相机来替代，检测方法同样适用。
以上所述仅为本发明的优选实例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于鱼眼相机的障碍物检测方法，具体包括以下步骤：
S1、获取具有交叠视角的鱼眼图像A和鱼眼图像B；
S2、计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；
S3、获取俯视图a与俯视图b所在相机坐标系的相对位置关系；
S4、对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；
S5、对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；
S6、判断俯视图a中的每一子块是否属于障碍物；
S7、对于所有判断为障碍物的子块，根据步骤S5计算得到的子块真实高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；
S8、聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物区域上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；
S9、输出标记结果，作为最终的障碍物检测结果。
2.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S1中的鱼眼图像A和鱼眼图像B来源于同一单目相机不同时刻拍摄或者来源于相邻相机同一时刻拍摄。
3.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S2具体包括：
采用转换俯视图方法对鱼眼相机拍摄的鱼眼图像进行形变处理，得到相应的俯视图，所述转换俯视图方法具体包括：
以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；
利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴；
在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)，计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；
在鱼眼相机中，对于鱼眼相机坐标系中一空间点(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，
其中，
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法得到，在算法实施过程中，为已知参数；
俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；
对鱼眼图像A和鱼眼图像B，都进行上述俯视图转换，生成对应的俯视图a和俯视图b。
4.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S3的相对位置关系包括俯视图a与俯视图b各自所在的相机坐标系之间的旋转矩阵和平移向量。
5.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S5对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系中具有近似相同的真实高度h，结合俯视图b，求出h值的过程具体包括：
对于俯视图a中的任意一子块k中的任意一点(ua,va)，假设其对应的空间区域的真实高度为h，根据公式(5)可以求出点(xb,yb,zb)，再通过求解公式(6)，可以计算出其在俯视图b中的投影点坐标(ub,vb)
其中，RAB和TAB分别表示旋转矩阵和平移向量，为由所述步骤S3获取的俯视图a与俯视图b所在相机坐标系的相对位置关系；对子块k中的每一个点都进行上述计算，可以求出与子块k对应的在俯视图b中的区域kb，然后计算，这两个区域的像素差异ek，
其中，n表示子块k中像素点个数；i表示子块中的第i个像素；k(ua,i,va,i)表示俯视图a中，坐标位置(ua,i,va,i)的像素值；kb(ub,i,vb,i)表示俯视图b中，坐标位置(ub,i,vb,i)的像素值；
给定一个h值可以求出相应的ek，遍历h值，当ek最小时，对应的h值，确定为子块k对应的真实高度值。
6.如权利要求1所述的一种基于鱼眼相机的障碍物检测方法，其特征在于，所述步骤S6具体包括：
对于俯视图a中的每一子块求出的真实高度h，判断真实高度h与相机安装高度H的差异程度是否小于第一预设经验阈值T1，若小于第一预设经验阈值T1，则认为该子块位于地面上，是地面物体；
对于俯视图a中的每一子块求出的真实高度h，判断高度h与相机安装高度H的差异程度是否大于第二预设经验阈值T2，若大于第二预设经验阈值T2，则认为该子块来自于非地面区域，属于障碍物。
7.一种基于鱼眼相机的障碍物检测装置，其特征在于，包括：
第一获取模块，用于获取具有交叠视角的鱼眼图像A和鱼眼图像B；
第一计算模块，用于计算得到鱼眼图像A和鱼眼图像B分别对应的俯视图a和俯视图b；
第二获取模块，用于获取俯视图a与俯视图b所在相机坐标系的相对位置关系；
子块划分模块，用于对俯视图a进行子块划分，将俯视图a划分为若干个子块区域；
第二计算模块，用于对俯视图a划分后的每一子块，假设子块像素点在其所在的相机坐标系具有近似相同的真实高度h，结合俯视图b，求出h的值；
判断模块，用于检测俯视图a中的每一子块是否属于障碍物；
聚类模块，用于对于所有判断为障碍物的子块，根据计算得到的子块高度h，计算子块中心像素点对应的三维空间点坐标，再根据三维空间点坐标值，按照欧式距离，进行聚类；
标记模块，用于聚类后，位于同一类的子块，确定为同一障碍物区域，在俯视图a中标记同一障碍物上的子块，或将俯视图a中的标记结果利用鱼眼相机成像公式换算后标记在鱼眼图像A中；
输出模块，用于输出标记结果，作为最终的障碍物检测结果。
8.如权利要求7所述的一种基于鱼眼相机的障碍物检测装置，其特征在于，所述第一计算模块包括：
车身坐标系建立子模块，用于以车身位于水平地面时，鱼眼相机安装于车身，车身几何中心位置在地面的投影点为原点，建立车身坐标系Ow_XwYwZw，其中，OwYw轴垂直指向地面，OwZw轴指向车头，OwXw轴指向车身侧面；
鱼眼相机坐标系建立子模块，用于以鱼眼相机光心为原点，光轴为Z’轴，建立鱼眼相机坐标系O_X’Y’Z’；
鱼眼相机坐标系校正子模块，用于利用离线标定好的相机外参数，对鱼眼相机坐标系进行校正，得到校正后的相机坐标系O_XYZ中，OY轴平行于车身坐标系的OwYw轴；
第一计算子模块，用于在校正后的鱼眼相机坐标系O_XYZ中，对鱼眼图像像素点进行俯视图投影，得到地面俯视图，俯视图的图像平面坐标系为o_uv，校正过程通过反查表进行，即对俯视图中的每一个像素坐标(u,v)计算其对应鱼眼图像中的像素点坐标(u’,v’)，并将鱼眼图像中坐标点(u’,v’)的像素亮度值，赋值给俯视图中的坐标点(u,v)；
在鱼眼相机中，对于鱼眼相机坐标系中一空间点P(Xc,Yc,Zc)，其在鱼眼相机中的成像点像素坐标为(u’,v’)，成像公式可以描述为，
其中，
r(θ)＝k1θ+k3θ3+k5θ5+k7θ7+k9θ9 (3)
k1,k3,k5,k7,k9,u0’,v0’,fx,fy为相机内参，可由离线内参标定算法得到，在算法实施过程中，为已知参数；
俯视图坐标(u,v)到鱼眼图像坐标(u’,v’)的计算方法为，首先根据式(4)计算(xc,yc,zc)，
式(4)中R为由相机的外参数构成的坐标系O_X’Y’Z’与坐标系O_XYZ之间的旋转矩阵，R可以通过离线外参标定方法获得，u0，v0，ax，ay为虚拟俯视图相机的内参数，可由用户根据实际需要自行设定，再利用公式(2)和(3)计算θ，
r(θ)；
最后，将计算好的θ，
r(θ)代入公式(1)，求出鱼眼图像中坐标点(u’,v’)；
对鱼眼图像A和鱼眼图像B，都进行上述俯视图转换，生成对应的俯视图a和俯视图b。
9.如权利要求7所述的一种基于鱼眼相机的障碍物检测装置，其特征在于，所述第二计算模块包括：
第二计算子模块，用于对于俯视图a中的任意一子块k中的任意一点(ua,va)，假设其对应的空间区域的真实高度为h，根据公式(5)可以求出点(xb,yb,zb)，再通过求解公式(6)，可以计算出其在俯视图b中的投影点坐标(ub,vb)
其中，RAB和TAB分别表示旋转矩阵和平移向量，为由所述步骤S3获取的俯视图a与俯视图b所在相机坐标系的相对位置关系；对子块k中的每一个点都进行上述计算，可以求出与子块k对应的在俯视图b中的区域kb，然后计算，这两个区域的像素差异ek，
其中，n表示子块k中像素点个数；i表示子块中的第i个像素；k(ua,i,va,i)表示俯视图a中，坐标位置(ua,i,va,i)的像素值；kb(ub,i,vb,i)表示俯视图b中，坐标位置(ub,i,vb,i)的像素值；
第一确定子模块，用于给定一个h值可以求出相应的ek，遍历h值，当ek最小时，对应的h值，确定为子块k对应的真实高度值。
10.如权利要求7所述的一种基于鱼眼相机的障碍物检测装置，其特征在于，所述判断模块包括：
第一判断子模块，用于对于俯视图a中的每一子块求出的真实高度h，判断真实高度h与相机安装高度H的差异程度是否小于第一预设经验阈值T1，若小于第一预设经验阈值T1，则认为该子块位于地面上，是地面物体；
第二判断子模块，用于对于俯视图a中的每一子块求出的真实高度h，判断高度h与相机安装高度H的差异程度是否大于第二预设经验阈值T2，若大于第二预设经验阈值T2，则认为该子块来自于非地面区域，属于障碍物。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667900.7A CN111860270B (zh) | 2020-07-13 | 2020-07-13 | 一种基于鱼眼相机的障碍物检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010667900.7A CN111860270B (zh) | 2020-07-13 | 2020-07-13 | 一种基于鱼眼相机的障碍物检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860270A true CN111860270A (zh) | 2020-10-30 |
| CN111860270B CN111860270B (zh) | 2023-05-12 |
Family
ID=72983304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010667900.7A Active CN111860270B (zh) | 2020-07-13 | 2020-07-13 | 一种基于鱼眼相机的障碍物检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860270B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270311A (zh) * | 2020-11-25 | 2021-01-26 | 武汉理工大学 | 一种基于车载环视逆投影的近目标快速检测方法及系统 |
| CN113537161A (zh) * | 2021-09-13 | 2021-10-22 | 苏州魔视智能科技有限公司 | 一种障碍物的识别方法、系统及装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101980537A (zh) * | 2010-10-21 | 2011-02-23 | 北京航空航天大学 | 一种基于对象和分形的双目立体视频压缩编解码方法 |
| CN102243764A (zh) * | 2010-05-13 | 2011-11-16 | 东软集团股份有限公司 | 运动特征点检测方法及装置 |
| CN102592144A (zh) * | 2012-01-06 | 2012-07-18 | 东南大学 | 一种基于多摄像机无重叠视域行人匹配方法 |
| CN105138982A (zh) * | 2015-08-21 | 2015-12-09 | 中南大学 | 一种基于多特征聚类及分类的人群异常检测与评估方法 |
| CN105718888A (zh) * | 2016-01-22 | 2016-06-29 | 北京中科慧眼科技有限公司 | 障碍物预警方法和障碍物预警装置 |
| CN106056625A (zh) * | 2016-05-25 | 2016-10-26 | 中国民航大学 | 一种基于地理同名点配准的机载红外运动目标检测方法 |
| WO2018133641A1 (en) * | 2017-01-19 | 2018-07-26 | Zhejiang Dahua Technology Co., Ltd. | A locating method and system |
| CN108805801A (zh) * | 2018-05-24 | 2018-11-13 | 北京华捷艾米科技有限公司 | 一种全景图像校正方法及系统 |
| US20190281319A1 (en) * | 2016-09-30 | 2019-09-12 | Interdigital Vc Holdings, Inc. | Method and apparatus for rectified motion compensation for omnidirectional videos |
| US20200090371A1 (en) * | 2018-09-18 | 2020-03-19 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for positioning an object |
| CN111311656A (zh) * | 2020-02-21 | 2020-06-19 | 辽宁石油化工大学 | 一种适用于车载鱼眼相机的运动目标检测方法和装置 |
-
2020
- 2020-07-13 CN CN202010667900.7A patent/CN111860270B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102243764A (zh) * | 2010-05-13 | 2011-11-16 | 东软集团股份有限公司 | 运动特征点检测方法及装置 |
| CN101980537A (zh) * | 2010-10-21 | 2011-02-23 | 北京航空航天大学 | 一种基于对象和分形的双目立体视频压缩编解码方法 |
| CN102592144A (zh) * | 2012-01-06 | 2012-07-18 | 东南大学 | 一种基于多摄像机无重叠视域行人匹配方法 |
| CN105138982A (zh) * | 2015-08-21 | 2015-12-09 | 中南大学 | 一种基于多特征聚类及分类的人群异常检测与评估方法 |
| CN105718888A (zh) * | 2016-01-22 | 2016-06-29 | 北京中科慧眼科技有限公司 | 障碍物预警方法和障碍物预警装置 |
| CN106056625A (zh) * | 2016-05-25 | 2016-10-26 | 中国民航大学 | 一种基于地理同名点配准的机载红外运动目标检测方法 |
| US20190281319A1 (en) * | 2016-09-30 | 2019-09-12 | Interdigital Vc Holdings, Inc. | Method and apparatus for rectified motion compensation for omnidirectional videos |
| WO2018133641A1 (en) * | 2017-01-19 | 2018-07-26 | Zhejiang Dahua Technology Co., Ltd. | A locating method and system |
| CN108805801A (zh) * | 2018-05-24 | 2018-11-13 | 北京华捷艾米科技有限公司 | 一种全景图像校正方法及系统 |
| US20200090371A1 (en) * | 2018-09-18 | 2020-03-19 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for positioning an object |
| CN111311656A (zh) * | 2020-02-21 | 2020-06-19 | 辽宁石油化工大学 | 一种适用于车载鱼眼相机的运动目标检测方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 于红绯等: ""基于子块运动补偿的运动目标检测"", 《电子学报》 * |
| 常睿等: ""泊车中小型障碍物检测技术研究"", 《电子测量与仪器学报》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112270311A (zh) * | 2020-11-25 | 2021-01-26 | 武汉理工大学 | 一种基于车载环视逆投影的近目标快速检测方法及系统 |
| CN112270311B (zh) * | 2020-11-25 | 2023-12-19 | 武汉理工大学 | 一种基于车载环视逆投影的近目标快速检测方法及系统 |
| CN113537161A (zh) * | 2021-09-13 | 2021-10-22 | 苏州魔视智能科技有限公司 | 一种障碍物的识别方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860270B (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107577988B (zh) | 实现侧方车辆定位的方法、装置及存储介质、程序产品 | |
| CN107738612B (zh) | 基于全景视觉辅助系统的自动泊车停车位检测与识别系统 | |
| EP1394761B1 (en) | Obstacle detection device and method therefor | |
| JP5926228B2 (ja) | 自律車両用の奥行き検知方法及びシステム | |
| Suhr et al. | Automatic free parking space detection by using motion stereo-based 3D reconstruction | |
| CN107843251B (zh) | 移动机器人的位姿估计方法 | |
| US10909395B2 (en) | Object detection apparatus | |
| US11887336B2 (en) | Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle | |
| WO2012043045A1 (ja) | 画像処理装置及びそれを用いた撮像装置 | |
| CN105059190B (zh) | 基于视觉的汽车开门碰撞预警装置及方法 | |
| KR20180112010A (ko) | 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
| CN111862210B (zh) | 一种基于环视相机的目标物检测定位方法及装置 | |
| CN111860270B (zh) | 一种基于鱼眼相机的障碍物检测方法及装置 | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| GB2513703B (en) | Method and apparatus for three-dimensional imaging of at least a partial region of a vehicle environment | |
| JP7311407B2 (ja) | 姿勢推定装置、および、姿勢推定方法 | |
| CN113296516A (zh) | 一种自动托举汽车的机器人控制方法 | |
| Yang | Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method | |
| Gandhi et al. | Motion based vehicle surround analysis using an omni-directional camera | |
| Gehrig et al. | 6D vision goes fisheye for intersection assistance | |
| JP7232005B2 (ja) | 車両の走行環境検出装置及び走行制御システム | |
| Gandhi et al. | Vehicle mounted wide FOV stereo for traffic and pedestrian detection | |
| CN115797405A (zh) | 一种基于车辆轴距的多镜头自适应跟踪方法 | |
| KR20230067242A (ko) | 긴급 제동 시스템의 성능평가 장치 및 방법 | |
| Iida et al. | High-accuracy Range Image Generation by Fusing Binocular and Motion Stereo Using Fisheye Stereo Camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |