CN105138999B - 基于阴影的夜间物体单目定位装置及方法 - Google Patents

基于阴影的夜间物体单目定位装置及方法 Download PDF

Info

Publication number
CN105138999B
CN105138999B CN201510589696.0A CN201510589696A CN105138999B CN 105138999 B CN105138999 B CN 105138999B CN 201510589696 A CN201510589696 A CN 201510589696A CN 105138999 B CN105138999 B CN 105138999B
Authority
CN
China
Prior art keywords
video camera
picture
shade
night
scaling board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510589696.0A
Other languages
English (en)
Other versions
CN105138999A (zh
Inventor
曾曙光
唐庆波
朱田
杨双千
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xinchu Power Group Co ltd
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN201510589696.0A priority Critical patent/CN105138999B/zh
Publication of CN105138999A publication Critical patent/CN105138999A/zh
Application granted granted Critical
Publication of CN105138999B publication Critical patent/CN105138999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

基于阴影的夜间物体单目定位装置及方法，包括固定框、放置在地面上的标定板，所述标定板建立有世界坐标系，所述固定框上安装有照明灯、摄像机，摄像机连接计算机。本发明一种基于阴影的夜间物体单目定位装置及方法，充分利用路面的平坦性以及阴影的易识别性来实现夜间物体的精确定位。通过拍摄夜间物体图片、对图片进行预处理、提取物体阴影等步骤得到了夜间物体与相机间的准确距离。

Description

基于阴影的夜间物体单目定位装置及方法
技术领域
本发明一种基于阴影的夜间物体单目定位装置及方法，属于计算机视觉技术领域。
背景技术
夜间路面物体的准确定位是汽车自动驾驶、机器人自动行走等应用中必须面对的问题。传统的道路上障碍物的识别与定位通常是利用双目视觉等原理实现的。双目视觉方法需要两个摄像机来成像，并且需要图像匹配算法来实现障碍物的识别与定位。由于道路一般是一个理想的平面，可以采用单目视觉技术来实现物体的识别与定位。相比于双目视觉技术，单目视觉具有结构简单、易于标定、运用灵活等特点，已经广泛用于机器人导航、无人机控制以及工业测量等诸多领域。
相对于白天，夜间的道路是一种较为不同的环境。夜间的道路主要依赖路灯、汽车前照灯等人工光源的照射。路面上的物体在这些较强的人工光源照射下往往会留下较浓的阴影。阴影颜色单一，且一般会在同一平面上。因此，对于夜间的道路，与其直接对路面上色彩不一、形状各异的三维物体进行定位，不如改为利用物体的阴影来实现定位。这就涉及到物体和其阴影的分割问题。传统上，将物体与阴影分离出来的方法主要有颜色不变法、纹理不变法、区域亮度变化法等。但这些算法一般只适用于某一较理想环境，受摄像头自动增益引起的失真、量化失真以及电子噪声等干扰影响以及场景变化的影响，导致定位准确度不高。本专利采用基于图像灰度值的方法进行阴影检测，即通过设定阈值来检测阴影，具有适应性强、计算速度快的优点。物体的阴影检测出来以后，采用单目定位技术即可实现夜间物体定位。
与以往技术中直接定位物体不同，本发明通过定位物体的阴影来实现夜间物体的定位，充分利用到了路面的平坦性以及阴影的易识别性。该方法不仅简单易行、准确度高，还能实现自动化运行。可以推广到汽车的夜间路面障碍物定位、机器人夜间行走等方面。
发明内容
本发明提供一种基于阴影的夜间物体单目定位装置及方法，充分利用路面的平坦性以及阴影的易识别性来实现夜间物体的精确定位。通过拍摄夜间物体图片、对图片进行预处理、提取物体阴影等步骤得到了夜间物体与相机间的准确距离。本发明采用基于图像灰度值的方法进行阴影检测，即通过设定阈值来检测阴影。
本发明所采用的技术方案是：
基于阴影的夜间物体单目定位装置，包括固定框、放置在地面上的标定板，所述标定板建立有世界坐标系，所述固定框上安装有照明灯、摄像机，摄像机连接计算机。
基于阴影的夜间物体单目定位方法，包括以下步骤：
步骤一：计算摄像机的内参数，建立世界坐标系得到外参数和基础矩阵；
步骤二：测量出摄像机的在地面平面上的投影点C的世界坐标；
步骤三：根据定位要求，拍摄图片；
步骤四：对图片进行线性灰度拉伸变换，利用大津法分割得到图片中的阴影，最后利用物体阴影边缘点数和面积识别，并且分割出物体阴影；
步骤五：取出图片中所需定位物体的点P；
步骤六：计算出取出点P的世界坐标，计算出世界坐标系点P沿地面至摄像机中心投影点C的距离，其中取出的点P和计算出的距离，分别为定位点和定位距离。
通过以上步骤实现物体实时定位。
定位装置启动前，固定摄像机。在平坦的路面上于摄像机视角范围内放置一个标定板，通过摄像机获取多张含有各个角度的标定板清晰成像的图片，再运用Matlab中的toolbox_calib工具箱计算得到摄像机的内参数。
选取标定板一个格点为坐标原点O点，建立世界坐标系OXYZ，其中X轴平行于定位装置运动方向，Y轴垂直于定位装置运动方向，Z轴垂直于路面平面，在后续过程中保持摄像机的位置不变。测量出摄像机中心投影在路面平面上(C)点的世界坐标(XC,YC,0)。
对摄像机获取的图像分帧处理，分离含有标定板的图片并保存下来；结合第二步中建立的世界坐标系，再次利用Matlab中的toolbox_calib工具箱计算出摄像机外参数和基础矩阵：
取走标定板，通过摄像机获取含有物体的图片；然后对图片进行线性灰度拉伸以增强背景与物体的对比度。
在摄像机视角范围内，运用大津法分割图片并产生一个二值化的图片。利用Matlab中的brareaopen函数对图像中“缝隙”、“孔洞”进行去除。利用Matlab中的imclose函数进行闭运算对大区域中的缝隙进行填充，同时平滑边界。
利用Matlab中的bwboundaries函数得到得到元胞数组，其数组中包含所有阴影边缘的坐标，并算出每个连通域的边长和面积。设置合适的边长阈值和面积阈值得到摄像机中含有物体的目标物体阴影的边缘信息。
运用Matlab中的max函数找到像素坐标系中横坐标最大的点，并通过find函数确定对应点的像素坐标(s,t)。
摄像机成像平面像素坐标系与世界坐标系的映射关系为：
其中u、v是图像中某一点的像素坐标；ρ是缩放因子；H是基础矩阵；XW、YW是图像中该点对应在传送带平面上的世界坐标。
根据所求出的物体阴影中在世界坐标系中横坐标XP值可计算出摄像机和物体的水平距离L，即可实现夜间物体的实时定位：
L＝XP-XC
其中XC是摄像机中心的在传送带平面上的投影点(C)的X轴坐标。
本发明一种基于阴影的夜间物体单目定位装置及方法，与有技术技术相比，有如下的有益效果：
1)、本发明的方法采用单目视觉系统进行平面标定和测距，实现夜间物体的定位。整个系统只需要一个标定板，一台计算机和一台摄像机就可以完成目标产品的定位，避免了双目视觉中三维立体匹配的困难。具有环境适应性好、设备简单，代价较低、测量过程快捷和测量数据比较客观的优点。
2)、本发明充分利用路面的平坦性以及阴影的易识别性来实现夜间物体定位。与以往技术中直接定位物体不同，本发明通过定位物体的阴影来实现夜间物体的定位。采用基于张正友的平面标定方法，并通过数字图像处理技术实现了在夜间物体的准确定位。该方法不仅简单易行、准确度高，还能实现自动化运行。可以推广到汽车的夜间路面障碍物定位、机器人夜间行走等方面。
附图说明
图1为本发明的整体结构示意图。
图2为本发明中定位示意图。
图3为本发明中经过图像分割后含有物体阴影的图片。
图4为本发明提取到的物体阴影。
图中：1-照明灯，2-摄像头，3-物体，4-计算机，5-物体阴影，6-地面，7-固定框，“→”表示装置运动方向。
具体实施方式
如图1所示，基于阴影的夜间物体单目定位装置，包括固定框7、放置在地面6上的标定板，所述标定板建立有世界坐标系，所述固定框7上安装有照明灯1、摄像机2，摄像机2连接计算机4。
如图2中所示，在地面6内放置有标定板。通过标定板建立世界坐标系，实现精确定位。
基于阴影的夜间物体单目定位方法，包括以下步骤：
步骤一：计算摄像机2的内参数，建立世界坐标系得到外参数和基础矩阵；
步骤二：测量出摄像机2的在地面平面上的投影点C的世界坐标；
步骤三：根据定位要求，拍摄图片；
步骤四：对图片进行线性灰度拉伸变换，利用大津法分割得到图片中的阴影，如图3所示。最后利用物体阴影5边缘点数和面积识别，并且分割出物体阴影5，如图4所示。
步骤五：取出图片中所需定位物体3的点P，如图4所示。
步骤六：计算出取出点P的世界坐标，计算出世界坐标系点P沿地面6至摄像机2中心投影点C的距离，其中取出的点P和计算出的距离，分别为定位点和定位距离。
通过以上步骤实现物体实时定位。
定位装置启动前，固定摄像机。在平坦的路面上于摄像机视角范围内放置一个标定板，通过摄像机获取多张含有各个角度的标定板清晰成像的图片，再运用Matlab中的toolbox_calib工具箱计算得到摄像机的内参数。
选取标定板一个格点为坐标原点O点，建立世界坐标系OXYZ，其中X轴平行于定位装置运动方向，Y轴垂直于定位装置运动方向，Z轴垂直于路面平面，在后续过程中保持摄像机的位置不变。测量出摄像机中心投影在路面平面上C点的世界坐标(XC,YC,0)。
对摄像机获取的图像分帧处理，分离含有标定板的图片并保存下来；结合第二步中建立的世界坐标系，再次利用Matlab中的toolbox_calib工具箱计算出摄像机外参数和基础矩阵：
取走标定板，通过摄像机获取含有物体的图片；然后对图片进行线性灰度拉伸以增强背景与物体的对比度。
在摄像机视角范围内，运用大津法分割图片并产生一个二值化的图片。利用Matlab中的brareaopen函数对图像中“缝隙”、“孔洞”进行去除。利用Matlab中的imclose函数进行闭运算对大区域中的缝隙进行填充，同时平滑边界。
利用Matlab中的bwboundaries函数得到得到元胞数组，其数组中包含所有阴影边缘的坐标，并算出每个连通域的边长和面积。设置合适的边长阈值和面积阈值得到摄像机中含有物体的目标物体阴影的边缘信息。
运用Matlab中的max函数找到像素坐标系中横坐标最大的点，并通过find函数确定对应点的像素坐标(s,t)。
摄像机成像平面像素坐标系与世界坐标系的映射关系为：
其中u、v是图像中某一点的像素坐标；ρ是缩放因子；H是基础矩阵；XW、YW是图像中该点对应在传送带平面上的世界坐标。
根据所求出的物体阴影中在世界坐标系中横坐标XP值可计算出摄像机和物体的水平距离L，即可实现夜间物体的实时定位：
L＝XP-XC
其中XC是摄像机中心的在传送带平面上的投影点C的X轴坐标。
本发明采用Matlab软件进行了图像处理运算。本领域技术人员应该了解的，采用其他的具有相同或类似功能的计算软件，也能够实现本发明的目的。因此，采用所述的其他的具有相同或类似功能的计算软件进行图像处理运算，也属于本发明的保护范围。
本发明方法基于张正友的平面标定方法，并采用数字图像处理技术实现了在夜间物体的准确定位。通过图像增强、大津阈值分割、形态学处理等技术提取出阴影，并利用世界坐标与相机坐标系的关系计算出物体离相机的距离。实现该方法的装置包括数码照相机、相机固定架、标定板、固定式石英灯一盏、笔记本电脑、卷尺等。本发明的方法能有效地实现夜间物体的定位。

Claims (4)

1.基于阴影的夜间物体单目定位装置的物体单目定位方法，其特征在于：基于阴影的夜间物体单目定位装置包括固定框(7)、放置在地面(6)上的标定板，所述标定板建立有世界坐标系，所述固定框(7)上安装有照明灯(1)、摄像机(2)，摄像机(2)连接计算机(4)；
所述夜间物体单目定位方法包括以下步骤：
步骤一：计算摄像机(2)的内参数，建立世界坐标系得到外参数和基础矩阵；
步骤二：测量出摄像机(2)的在地面平面上的投影点C的世界坐标；
步骤三：根据定位要求，拍摄图片；
步骤四：对图片进行线性灰度拉伸变换，利用大津法分割得到图片中的阴影，最后利用物体阴影(5)边缘点数和面积识别，并且分割出物体阴影(5)；
步骤五：取出图片中所需定位物体(3)的点P；
步骤六：计算出取出点P的世界坐标，计算出世界坐标系点P沿地面(6)至摄像机(2)中心投影点C的距离，其中取出的点P和计算出的距离，分别为定位点和定位距离；
通过以上步骤实现物体实时定位；
所述定位装置启动前，固定摄像机(2)，在平坦的路面上于摄像机(2)视角范围内放置一个标定板，通过摄像机(2)获取多张含有各个角度的标定板清晰成像的图片，再运用计算得到摄像机(2)的内参数；
选取标定板一个格点为坐标原点O点，建立世界坐标系OXYZ，其中X轴平行于定位装置运动方向，Y轴垂直于定位装置运动方向，Z轴垂直于路面平面，在后续过程中保持摄像机(2)的位置不变；
测量出摄像机(2)中心投影在路面平面上C点的世界坐标(XC、YC、0)；
对摄像机(2)获取的图像分帧处理，分离含有标定板的图片并保存下来；结合步骤二中建立的世界坐标系，再次利用Matlab计算出摄像机(2)外参数和基础矩阵：
取走标定板，通过摄像机(2)获取含有物体(3)的图片；然后对图片进行线性灰度拉伸以增强背景与物体(3)的对比度。
2.根据权利要求1所述物体单目定位方法，其特征在于，在摄像机(2)视角范围内，运用大津法分割图片并产生一个二值化的图片，利用Matlab中的brareaopen函数对图像中“缝隙”、“孔洞”进行去除，利用Matlab中的imclose函数进行闭运算对大区域中的缝隙进行填充，同时平滑边界。
3.根据权利要求1所述物体单目定位方法，其特征在于，利用Matlab中的bwboundaries函数得到得到元胞数组，其数组中包含所有阴影边缘的坐标，并算出每个连通域的边长和面积；设置合适的边长阈值和面积阈值得到摄像机(2)中含有物体(3)的目标物体阴影的边缘信息。
4.根据权利要求1所述物体单目定位方法，其特征在于，运用Matlab中的max函数找到像素坐标系中横坐标最大的点，并通过find函数确定对应点的像素坐标(s,t)。
CN201510589696.0A 2015-09-16 2015-09-16 基于阴影的夜间物体单目定位装置及方法 Active CN105138999B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510589696.0A CN105138999B (zh) 2015-09-16 2015-09-16 基于阴影的夜间物体单目定位装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510589696.0A CN105138999B (zh) 2015-09-16 2015-09-16 基于阴影的夜间物体单目定位装置及方法

Publications (2)

Publication Number Publication Date
CN105138999A CN105138999A (zh) 2015-12-09
CN105138999B true CN105138999B (zh) 2019-03-15

Family

ID=54724343

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510589696.0A Active CN105138999B (zh) 2015-09-16 2015-09-16 基于阴影的夜间物体单目定位装置及方法

Country Status (1)

Country Link
CN (1) CN105138999B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109520706B (zh) * 2018-11-21 2020-10-09 云南师范大学 一种汽车保险丝盒的螺孔坐标提取方法
CN115018908B (zh) * 2022-06-01 2024-04-26 中国人民解放军63660部队 一种基于阴影的飞行器落点单目测量方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551230A (zh) * 2009-05-26 2009-10-07 上海理工大学 吻合器抵钉座检测装置及其检测方法
CN103247053A (zh) * 2013-05-16 2013-08-14 大连理工大学 基于双目显微立体视觉的零件精确定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8984665B2 (en) * 2010-02-02 2015-03-24 Wilcox Industries Corp. Helmet mounting system and mounting shoe interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551230A (zh) * 2009-05-26 2009-10-07 上海理工大学 吻合器抵钉座检测装置及其检测方法
CN103247053A (zh) * 2013-05-16 2013-08-14 大连理工大学 基于双目显微立体视觉的零件精确定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于机器视觉的道路检测与车辆检测算法研究;龚树峰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110315;第6页至第45页

Also Published As

Publication number Publication date
CN105138999A (zh) 2015-12-09

Similar Documents

Publication Publication Date Title
CN109166077B (zh) 图像对齐方法、装置、可读存储介质及计算机设备
US10899014B2 (en) Multiple lens-based smart mechanical arm and positioning and assembly method thereof
CN111783820B (zh) 图像标注方法和装置
US10194135B2 (en) Three-dimensional depth perception apparatus and method
CN107423729B (zh) 一种面向复杂视觉场景下的远距离类脑三维步态识别系统及实现方法
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
US8831280B2 (en) 3D motion recognition method and apparatus
KR101913168B1 (ko) 에고모션 추정 시스템 및 방법
CN107843251B (zh) 移动机器人的位姿估计方法
CN109035309A (zh) 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN110189375B (zh) 一种基于单目视觉测量的图像目标识别方法
CN111160291B (zh) 基于深度信息与cnn的人眼检测方法
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN111721259A (zh) 基于双目视觉的水下机器人回收定位方法
CN104760812B (zh) 基于单目视觉的传送带上产品实时定位系统和方法
CN110209184A (zh) 一种基于双目视觉系统的无人机避障方法
CN103886107A (zh) 基于天花板图像信息的机器人定位与地图构建系统
CN106952262B (zh) 一种基于立体视觉的船板加工精度分析方法
CN108171753A (zh) 基于形心特征点与邻域灰度互相关性的立体视觉定位方法
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN105138999B (zh) 基于阴影的夜间物体单目定位装置及方法
CN110909571B (zh) 一种高精度面部识别空间定位方法
CN111435429B (zh) 一种基于双目立体数据动态认知的手势识别方法及系统
CN111161219A (zh) 一种适用于阴影环境的鲁棒单目视觉slam方法
CN111047636A (zh) 基于主动红外双目视觉的避障系统和避障方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231206

Address after: 430000, No.2, 7th floor, R & D building, 4-03, phase 3.3, optical core center, 303 Guanggu Avenue, Donghu Development Zone, Wuhan City, Hubei Province

Patentee after: Wuhan Xinchu Power Group Co.,Ltd.

Address before: 443002 No. 8, University Road, Yichang, Hubei

Patentee before: CHINA THREE GORGES University