CN108920996A - 一种基于机器人视觉的小目标检测方法 - Google Patents

Abstract

本发明公开了一种基于机器人视觉的小目标检测方法，采用小波变换的检测方法对小目标进行检测，在小波变换后，水平子图和垂直子图的能量乘上了低频子图，并通过加权处理增强了目标信号，同时抑制了噪声信号，得到了清晰的图像，在一定程度上避免了噪音的干扰，能够清晰的检测到小目标物体，在通过中值滤波技术对活的的小目标图像进行处理。

Description

一种基于机器人视觉的小目标检测方法

背景技术

机器人的发明是用来帮助人类解决和处理一些危险度高和伤害高的事情，可以代替我们从事复杂，劳动强度高的工作，减轻我们的负担，目前小目标检测还存在一定的局限性，机器人对小目标的检测和判断缺少自主性，得到的图像往往会受到噪音等的干扰。

发明内容

为了解决上述问题本发明提供了一种能够精确检测到小目标、同时能够对得出的图片进行处理，减小外界的干扰的检测方法。

为了达到上述目的本发明通过以下技术方案来实现的：

本发明是一种基于机器人视觉的小目标检测方法，包括具有双目立体视觉和传输功能的机器人、图像处理系统、所述机器人具有两台摄像机和照明装置，检测方法包括如下步骤：

步骤1：利用照明装置和摄像机对图像进行采集；

步骤2：建立图像像素坐标系、图像物理坐标系、摄像机坐标系和世界坐标系，图像像素坐标系，采集好的图像信息利用传感器将其转化成数字信号，在计算机中，数字图像的表达形式是 M×N 二维数组，其中图像像素点由数组里的元素代表，元素值即为像素值，代表图像亮度，对于图像建立坐标系， _O点是坐标系的坐标原点,对于横轴u而言，取水平向右为轴的正方向,轴v与u轴互相垂直，方向向下,坐标系的单位是像素，坐标（u,v）表示的是像素的坐标，即像素位于第u列、第v行；图像物理坐标系，建立图像物理坐标系O'- x y来表达像素点的实际物理位置，O是坐标系的原点，是光轴和成像平面的垂直交点，像素坐标系和物理坐标系的关系如式（3-1）表示：

（3-1）

用齐次矩阵来表示上式则为：

（3-2）

摄像机坐标系，摄像机坐标系是三维直角坐标系O_C_X_CY_CZ_C-,以摄像机光心为基准，并将其作为此三维坐标系的原点Z_C轴为摄像机光轴，X_C轴与Y_C轴分别平行于坐标系O'- xy 的x轴和y轴，正方向取摄像机指出的方向，垂直于成像面。OcO'为摄像机的焦距f；

世界坐标系，能够展示物体的空间位置，表达出物体的三维信息，用O_W_X_WY_WZ_W表示;

步骤3、活的数字图像，根据小孔成像的原理，建立小孔成像模型，将成像平面上的感光元件把采集的光信号转换成电信号，然后再将信号放大。将图像的方向变换的与景物的方向一致，成像平面的倒实像转变成数字图像，设P1点的坐标为（x₁,y₁,z₁），P2的坐标为（x₂,y₂,z₂），根据相似三角形原理，有如下关系式：

（3-3）

f表示的是光心与成像平面之间的距离；

步骤4、摄像机内外参模型，为了使物体在摄像机坐标系中的位置信息能够完全的转换到图像像素坐标系中，通过定义一个摄像机的内参数矩阵，

（3-4）

其中，（u, v）是点在数字图像上位置，摄像机内参数矩阵是3×3矩阵A，通常像素坐标系原点定义在图像左上角，光轴中心线和像平面的交点坐标是（u0,v0）。从像平面生成数字图像要经过信号放大的过程，如下：

(3-5)

其中α_x，与α_y分别是像平面水平与竖直方向上的增益。将式（3-3）代入式（3-5），得到

(3-6)

令kx=α_xf，ky=α_yf,就构成了式（3-4）的内参数矩阵。实际中由于成像单元的两边有夹角，不可能完全垂直，因此像点在图像中的实际坐标（u, v）应为：

(3-7)

其中，（u', v'）为理想的无倾斜图像坐标，

得到修正后的内参数矩阵为:

(3-8)

对于实际存在的镜头径向畸变的情况，使用二阶径向畸变模型为:

(3-9)

其中，图像的实际坐标为（u, v），（u”, v”）是理想图像坐标，（u₀,v₀）为参考点， r为理想图像点到参考点的距离，

对于世界坐标系和摄像机坐标系之间映目标一一相对映得关系，可以对摄像机的外参数进行定义，使物体可以在相机坐标系下完整地反映其在世界坐标系下的信息，外参数矩阵为：

（3-10）

步骤5、采用一般双目视觉模型得出小目标的三维信息，假设（u₁,v₁）为P1点，（u₂,v₂）为P2点，P点在世界坐标系下的描述为（X_W，Y_W，Z_W），左右摄像机的投影矩阵分别为H和J，因此存在下列等式：

（3-11）

（3-12）

将（2-11）和（2-12）联立，可得下述等式：

(3-13)

式（3-13）是含有四个线性方程的方程组，有唯一解，因此通过式（3-13）可解得P点在世界坐标系下的位置（X_W，Y_W，Z_W），

步骤6、采用小波技术，确定小目标检测算法，算法设计包括图像信息集合、滤波、灰度信息、奇异点提取、聚类分析和获得目标。

步骤7、采用中值滤波技术对图像进行处理。

本发明的有益效果是：在小波变换后，水平子图和垂直子图的能量乘上了低频子图，并通过加权处理增强了目标信号，同时抑制了噪声信号，得到了清晰的图像，在一定程度上避免了噪音的干扰，能够清晰的检测到小目标物体，在通过中值滤波技术对活的的小目标图像进行处理。

附图说明

图1是仿真实验的原始图像。

图2是高通滤波后得到的图像

图3是小波滤波后的图像。

图4是被噪声污染的图像。

图5是中值滤波处理处理过的图像。

具体实施方式

为了加强对本发明的理解，下面将结合附图和实施例对本发明作进一步的详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。

本发明是一种基于机器人视觉的小目标检测方法，包括具有双目立体视觉和传输功能的机器人、图像处理系统、所述机器人具有两台摄像机和照明装置，检测方法包括如下步骤：步骤1：利用照明装置和摄像机对图像进行采集；

步骤2：建立图像像素坐标系、图像物理坐标系、摄像机坐标系和世界坐标系，图像像素坐标系，采集好的图像信息利用传感器将其转化成数字信号，在计算机中，数字图像的表达形式是 M×N 二维数组，其中图像像素点由数组里的元素代表，元素值即为像素值，代表图像亮度，对于图像建立坐标系，点是坐标系的坐标原点,对于横轴u而言，取水平向右为轴的正方向,轴v与u轴互相垂直，方向向下,坐标系的单位是像素，坐标（u,v）表示的是像素的坐标，即像素位于第u列、第v行；图像物理坐标系，建立图像物理坐标系O'- x y来表达像素点的实际物理位置，O是坐标系的原点，是光轴和成像平面的垂直交点，像素坐标系和物理坐标系的关系如式（3-1）表示：

（3-1）

用齐次矩阵来表示上式则为：

（3-2）

摄像机坐标系，摄像机坐标系是三维直角坐标系O_C_X_CY_CZ_C-,以摄像机光心为基准，并将其作为此三维坐标系的原点Z_C轴为摄像机光轴，X_C轴与Y_C轴分别平行于坐标系O'- xy 的x轴和y轴，正方向取摄像机指出的方向，垂直于成像面。OcO'为摄像机的焦距f；

世界坐标系，能够展示物体的空间位置，表达出物体的三维信息，用O_W_X_WY_WZ_W表示;

步骤3、活的数字图像，根据小孔成像的原理，建立小孔成像模型，将成像平面上的感光元件把采集的光信号转换成电信号，然后再将信号放大。将图像的方向变换的与景物的方向一致，成像平面的倒实像转变成数字图像，设P1点的坐标为（x₁,y₁,z₁），P2的坐标为（x₂,y₂,z₂），根据相似三角形原理，有如下关系式：

（3-3）

f表示的是光心与成像平面之间的距离；

步骤4、摄像机内外参模型，为了使物体在摄像机坐标系中的位置信息能够完全的转换到图像像素坐标系中，通过定义一个摄像机的内参数矩阵，

（3-4）

其中，（u, v）是点在数字图像上位置，摄像机内参数矩阵是3×3矩阵A，通常像素坐标系原点定义在图像左上角，光轴中心线和像平面的交点坐标是（u0,v0）。从像平面生成数字图像要经过信号放大的过程，如下：

(3-5)

其中，α_x与α_y分别是像平面水平与竖直方向上的增益。将式（3-3）代入式（3-5），得到

(3-6)

令kx=α_xf，ky=α_yf,就构成了式（3-4）的内参数矩阵。实际中由于成像单元的两边有夹角，不可能完全垂直，因此像点在图像中的实际坐标（u, v）应为：

(3-7)

其中，（u', v'）为理想的无倾斜图像坐标，

得到修正后的内参数矩阵为:

(3-8)

对于实际存在的镜头径向畸变的情况，使用二阶径向畸变模型为:

(3-9)

其中，图像的实际坐标为（u, v），（u”, v”）是理想图像坐标，（u₀,v₀）为参考点， r为理想图像点到参考点的距离，

对于世界坐标系和摄像机坐标系之间映目标一一相对映得关系，可以对摄像机的外参数进行定义，使物体可以在相机坐标系下完整地反映其在世界坐标系下的信息，外参数矩阵为：

（3-10）

步骤5、采用一般双目视觉模型得出小目标的三维信息，假设（u₁,v₁）为P1点，（u₂,v₂）为P2点，P点在世界坐标系下的描述为（X_W，Y_W，Z_W），左右摄像机的投影矩阵分别为H和J，因此存在下列等式：

（3-11）

（3-12）

将（2-11）和（2-12）联立，可得下述等式：

(3-13)

式（3-13）是含有四个线性方程的方程组，有唯一解，因此通过式（3-13）可解得P点在世界坐标系下的位置（X_W，Y_W，Z_W），

步骤6、采用小波技术，确定小目标检测算法，算法设计包括图像信息集合、滤波、灰度信息、奇异点提取、聚类分析和获得目标。

步骤7、采用中值滤波技术对图像进行处理。

Claims (1)

1.一种基于机器人视觉的小目标检测方法，其特征在于：包括具有双目立体视觉和传输功能的机器人、图像处理系统、所述机器人具有两台摄像机和照明装置，检测方法包括如下步骤：步骤1：利用照明装置和摄像机对图像进行采集；

步骤2：建立图像像素坐标系、图像物理坐标系、摄像机坐标系和世界坐标系，图像像素坐标系，采集好的图像信息利用传感器将其转化成数字信号，在计算机中，数字图像的表达形式是 M×N 二维数组，其中图像像素点由数组里的元素代表，元素值即为像素值，代表图像亮度，对于图像建立坐标系， _O点是坐标系的坐标原点,对于横轴u而言，取水平向右为轴的正方向,轴v与u轴互相垂直，方向向下,坐标系的单位是像素，坐标（u,v）表示的是像素的坐标，即像素位于第u列、第v行；图像物理坐标系，建立图像物理坐标系O'- x y来表达像素点的实际物理位置，O是坐标系的原点，是光轴和成像平面的垂直交点，像素坐标系和物理坐标系的关系如式（3-1）表示：

（3-1）

用齐次矩阵来表示上式则为：

（3-2）

摄像机坐标系，摄像机坐标系是三维直角坐标系O_C_X_CY_CZ_C-,以摄像机光心为基准，并将其作为此三维坐标系的原点Z_C轴为摄像机光轴，X_C轴与Y_C轴分别平行于坐标系O'- xy 的x轴和y轴，正方向取摄像机指出的方向，垂直于成像面，

OcO'为摄像机的焦距f；

世界坐标系，能够展示物体的空间位置，表达出物体的三维信息，用O_W_X_WY_WZ_W表示;

步骤3、活的数字图像，根据小孔成像的原理，建立小孔成像模型，将成像平面上的感光元件把采集的光信号转换成电信号，然后再将信号放大：

将图像的方向变换的与景物的方向一致，成像平面的倒实像转变成数字图像，设P1点的坐标为（x₁,y₁,z₁），P2的坐标为（x₂,y₂,z₂），根据相似三角形原理，有如下关系式：

（3-3）

f表示的是光心与成像平面之间的距离；

步骤4、摄像机内外参模型，为了使物体在摄像机坐标系中的位置信息能够完全的转换到图像像素坐标系中，通过定义一个摄像机的内参数矩阵，

（3-4）

其中，（u, v）是点在数字图像上位置，摄像机内参数矩阵是3×3矩阵A，通常像素坐标系原点定义在图像左上角，光轴中心线和像平面的交点坐标是（u0,v0）：

从像平面生成数字图像要经过信号放大的过程，如下：

(3-5)

其中，α_x与α_y分别是像平面水平与竖直方向上的增益：

将式（3-3）代入式（3-5），得到

(3-6)

令kx=α_xf，ky=α_yf,就构成了式（3-4）的内参数矩阵：

实际中由于成像单元的两边有夹角，不可能完全垂直，因此像点在图像中的实际坐标（u, v）应为：

(3-7)

其中，（u', v'）为理想的无倾斜图像坐标，

得到修正后的内参数矩阵为:

(3-8)

对于实际存在的镜头径向畸变的情况，使用二阶径向畸变模型为:

(3-9)

其中，图像的实际坐标为（u, v），（u”, v”）是理想图像坐标，（u₀,v₀）为参考点， r为理想图像点到参考点的距离，

对于世界坐标系和摄像机坐标系之间映目标一一相对映得关系，可以对摄像机的外参数进行定义，使物体可以在相机坐标系下完整地反映其在世界坐标系下的信息，外参数矩阵为：

（3-10）

步骤5、采用一般双目视觉模型得出小目标的三维信息，假设（u₁,v₁）为P₁点，（u₂,v₂）为P2点，P点在世界坐标系下的描述为（X_W，Y_W，Z_W），左右摄像机的投影矩阵分别为H和J，因此存在下列等式：

（3-11）

（3-12）

将（2-11）和（2-12）联立，可得下述等式：

(3-13)

式（3-13）是含有四个线性方程的方程组，有唯一解，因此通过式（3-13）可解得P点在世界坐标系下的位置（），

步骤6、采用小波技术，确定小目标检测算法，算法设计包括图像信息集合、滤波、灰度信息、奇异点提取、聚类分析和获得目标。

步骤7、采用中值滤波技术对图像进行处理。