CN110766170A - 基于图像处理的多传感器融合和人员定位的方法 - Google Patents

基于图像处理的多传感器融合和人员定位的方法 Download PDF

Info

Publication number
CN110766170A
CN110766170A CN201910837843.XA CN201910837843A CN110766170A CN 110766170 A CN110766170 A CN 110766170A CN 201910837843 A CN201910837843 A CN 201910837843A CN 110766170 A CN110766170 A CN 110766170A
Authority
CN
China
Prior art keywords
image
coordinate
laser
camera
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910837843.XA
Other languages
English (en)
Other versions
CN110766170B (zh
Inventor
王铭民
许栋栋
陈曦
申亮
李诗华
张力
于洪洲
卢华兵
张康
李泊锋
王磊
孟祥宇
李雪峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI V+KING COMMUNICATION TECHNOLOGY Co Ltd
Weikun Intelligent Technology Shanghai Co Ltd
State Grid Jiangsu Electric Power Co Ltd
Original Assignee
SHANGHAI V+KING COMMUNICATION TECHNOLOGY Co Ltd
Weikun Intelligent Technology Shanghai Co Ltd
State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI V+KING COMMUNICATION TECHNOLOGY Co Ltd, Weikun Intelligent Technology Shanghai Co Ltd, State Grid Jiangsu Electric Power Co Ltd filed Critical SHANGHAI V+KING COMMUNICATION TECHNOLOGY Co Ltd
Priority to CN201910837843.XA priority Critical patent/CN110766170B/zh
Publication of CN110766170A publication Critical patent/CN110766170A/zh
Application granted granted Critical
Publication of CN110766170B publication Critical patent/CN110766170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像处理的多传感器融合和人员定位的方法，包括以下步骤：S1：获取三通道RGB彩色图像及一通道多线激光测距图像；S2：将RGB彩色图像的摄像机光学坐标投射成激光点云坐标，激光点云坐标投射成360°环形全景坐标；S3：利用深度学习的图像识别技术，针对事先训练过的目标进行目标检测框选定，得到目标检测边界框分布图像及物体类别分布图像；S4：寻找目标检测框中心点的激光点云坐标，作为目标的激光测距值；S5：通过目标检测框，计算出摄像机的单目测距数值；S6：将激光测距值和单目测距值进行卡尔曼滤波，即得到最终目标的距离值。本发明方法简单，实时性高，能够快速准确地实现变电站人员定位。

Description

基于图像处理的多传感器融合和人员定位的方法
技术领域
本发明涉及变电站人员定位领域，特别是涉及一种基于图像处理的多传感器融合和人员定位的方法。
背景技术
变电站是电力系统稳定运行的重要环节，在变电站中分布着各中重要的变电设备，虽然现有的变电站一般为封闭区域，外来人员不能够进入到变电站内，但是对于变电站内的工作人员来说，对于工作人员的行为却难以得到有效管控，尤其是在变电站内的某些区域来说，采用现有的摄像监控难以准确监控，并且摄像监控存在着盲区，更为重要的是，变电设备种类多、结构不固定，与线路相比检修作业环境更复杂，检修作业过程更繁琐，作业人员位置若无监视则容易因疏忽或其他方面原因误入带电间隔(误碰带电设备)容易引发安全事故，因此应规范检修作业过程中人员、机具与设备的安全距离。
目前对变电站运维人员的定位多采用摄像头拍摄、激光雷达定位等技术，对拍摄的图像采用人工检测进行人员识别，费时费力，或采用图像处理的方法进行人员定位，但存在的问题是摄像机和激光雷达均为球形镜头，但两者的坐标刻度线截然不同，导致的桶形畸变方向也不一样。在传统的图像处理中，一般是将桶形畸变图像转成无畸变的图像。但该处理方法计算复杂，实时性差，同时在整张图像上进行单图层的人员定位跟踪及目标距离检测工作量巨大，定位效果差，距离测算准确率低。
因此亟需提供一种新型的基于图像处理的人员定位方法来解决上述问题。
发明内容
本发明所要解决的技术问题是提供一种基于图像处理的多传感器融合和人员定位的方法，能够快速准确地实现变电站人员定位。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于图像处理的多传感器融合和人员定位的方法，包括以下步骤：
S1：获取三通道RGB彩色图像及一通道多线激光测距图像；
S2：将RGB彩色图像的摄像机光学坐标投射成激光点云坐标，激光点云坐标投射成360°环形全景坐标；
S3：利用深度学习的图像识别技术，针对事先训练过的目标进行目标检测框选定，得到目标检测边界框分布图像及物体类别分布图像；
S4：寻找目标检测框中心点的激光点云坐标，作为目标的激光测距值；
S5：通过深度学习的目标检测框，计算出摄像机的单目测距数值；
S6：将激光测距值和单目测距值进行卡尔曼滤波，即得到最终目标的距离值。
在本发明一个较佳实施例中，在步骤S1中，所述三通道RGB彩色图像通过摄像机原始图像获取，所述一通道多线激光测距图像通过获取激光点云信息后生成独立图层得到。
在本发明一个较佳实施例中，在步骤S2中，将摄像机坐标投射成激光点云坐标的具体步骤包括：
S201：创建3D临时贴图，贴图坐标为激光坐标，贴图大小为单个摄像头贴图转换为激光点云坐标后的宽度和高度；
S202：计算贴图下个像素的激光坐标，包括将激光坐标转换成摄像机镜头坐标，再将镜头坐标转换成摄像机像素坐标，最后将对应摄像机像素读取到贴图；
S203：判断下个像素是否为贴图的结尾像素，若不是则重复步骤S202，若是则进行下一步骤；
S204：将八个摄像机贴图合并，拼接生成激光坐标下的360度全景图。
在本发明一个较佳实施例中，在步骤S2中，将激光点云坐标投射成环形全景坐标的具体步骤包括：
S211：创建一个激光点阵图层，大小为1920*1080，左右边缘角度为0—360°，上下角度为-15°—15°，左右边缘角度、上下角度均匀铺展拉伸；
S212：读取一列激光点阵存储区数据；
S213：计算打印图像的像素角度；
S214：计算像素位置，将对应数据赋值到打印的图层；
S215：判断当前读取的激光点阵存储区数据是否为数据的结尾，若不是则重复步骤S212—S214，若是则生成图像结束。
在本发明一个较佳实施例中，在步骤S3中，事先训练过的目标包括目标人员、工作服、安全帽。
在本发明一个较佳实施例中，步骤S5的计算过程包括：
已知物体中心像素位于原始图像的横坐标为x,纵坐标为y；原始图像的高度为high,宽度为width；相机最大可视角度为viewMax；镜头中心距离地面的高度为H,镜头朝下偏移弧度为direct；
设光学镜头的旋转弧度坐标为alpha,偏离中心点弧度坐标为beta；
设物体中心像素相对于镜头中心的纬度弧度为latitude,经度弧度为longitude；
设实物的地面坐标(以镜头为原点(0,0))为(x,y)；实物的单目测距值为r；
Alpha的计算公式为:
第一像限：
alpha＝arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第二像限：
alpha＝pi-arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第三像限：
alpha＝pi+arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第四像限：
alpha＝2*pi-arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
beta的计算公式为:
beta＝sqrt(x^2+y^2)*viewMax/sqrt(high^2+width^2)；
latitude的计算公式为:
latitude＝arctan(sin(alpha)*tan(beta))；
longitude的计算公式为:
longitude＝arctan(cos(alpha)*tan(beta))；
r＝H/sin(pi/2-latitude-direct)；
x＝sin(longitude)*r；
y＝sqrt(tan(pi/2-latitude-direct)*H-x^2)。
本发明的有益效果是：
(1)本发明基于多传感器实现七通道图像的映射融合，在传统的RGBD四通道图像的基础上，增加了三通道来源于目标检测的物体类别分布图像、目标检测边界框分布图像及单目测距图像，为实现快速准确的目标人员定位及距离检测提供了精准的图像处理基础；
(2)本发明在单镜头光学坐标到激光坐标再到360度环形全景坐标的转换过程中，通过设计曲面对曲面的转换方式，直接将曲面的图像投射到曲面的激光坐标上去，无需进行畸变图像到无畸变图像的转换，实时性更高；
(3)与传统的激光雷达的目标分割和跟踪方法不同，本发明利用了深度学习进行目标分割和跟踪，然后激光点投影到深度学习的检测目标框内，不但可以获取定位信息，也可以获取物体的类别信息，而且实用性好，在大部分场合下，激光点云是稀疏的，而图像是稠密的，所以点云获取的成本代价非常高，而图像获取的成本代价相对低，将目标分割和跟踪放在图像处理中能够极大的减少对激光点云的依赖，降低成本。
附图说明
图1是本发明基于图像处理的多传感器融合和人员定位的方法的流程图；
图2是多图层投影示意图；
图3是步骤S2中将摄像机坐标投射成激光点云坐标的流程示意图；
图4是步骤S2中将激光点云坐标投射成环形全景坐标的流程示意图；
图5是基于深度学习目标检测的单目摄像头测距示意图；
图6是计算目标距离值的示意图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1，本发明实施例包括：
一种基于图像处理的多传感器融合和人员定位的方法，主要应用在变电站安监巡检机器人上，通过深度学习的目标检测，和实时激光点云的融合，完成现场的人员个体定位，其包括以下步骤：
S1：获取三通道RGB彩色图像及一通道多线激光测距图像；
所述三通道RGB彩色图像通过摄像机原始图像获取，所述一通道多线激光测距图像通过获取激光点云信息后生成独立图层得到，激光点云信息为16线360°激光的深度图像，由雷达直接读取获得。各图像的定义和数据编码为：
(1)彩色图像R：摄像机原始图像红色通道，灰度0-255；
(2)彩色图像G：摄像机原始图像绿色通道，灰度0-255；
(3)彩色图像B：摄像机原始图像蓝色通道，灰度0-255；
(4)多线激光测距图像：本实施例中采用16线激光测距灰度图像，灰度1-255，其中纯黑色0表示没有意思，1-255表示距离。
S2：将RGB彩色图像的摄像机光学坐标投射成激光点云坐标，激光点云坐标投射成360°环形全景坐标；结合图2，该步骤中通过设计曲面对曲面的转换方式，直接将曲面的图像投射到曲面的激光坐标上去，无需进行畸变图像到无畸变图像的转换，实时性更高，全部转换公式分为两个步骤：
(1)RGB彩色图像的摄像机光学坐标到16线激光点云坐标的投射，结合图3，具体包括以下步骤：
S201：创建3D临时贴图，贴图坐标为激光坐标，贴图大小为单个摄像头贴图(转换为激光坐标下的彩色图像)转换为激光点云坐标后的宽度和高度；
S202：计算贴图下个像素的激光坐标，包括将激光坐标转换成摄像机镜头坐标，实际上是将镜头中的像素位置(物理位置)标定到激光坐标中，采用激光坐标的每个像素“读取”镜头对应位置的数据，显示效果更均匀；再将镜头坐标转换成摄像机像素坐标，最后将对应摄像机像素读取到贴图；
S203：判断下个像素是否为贴图的结尾像素，若不是则重复步骤S202，若是则进行下一步骤；
S204：将八个摄像机贴图合并，拼接生成激光坐标下的360度全景图。
该步采用的转换公式为：
已知16线激光图像的横坐标(经度弧度)为longitude,纵坐标(纬度弧度)为latitude；输出图像的像素高度为high,宽度为width；相机最大可视角度(弧度)为viewMax；
设光学镜头的旋转弧度坐标为alpha,偏离中心点弧度坐标为beta；
设相机原始图像的像素横坐标为imageX,纵坐标为imageY；
求alpha:
第一像限:
alpha＝arctan(tan(latitude)/sin(longitude))；
第二,三像限:
alpha＝arctan(tan(latitude)/sin(longitude))+pi；其中pi＝3.1415926；
第四像限:
alpha＝arctan(tan(latitude)/sin(longitude))+2*pi；其中
90度:alpha＝0.5*pi；
270度:alpha＝1.5*pi；
原点:alpha＝0；
求beta:
beta＝arccos(cos(longitude)*cos(latitude))；
求imageX:
imageX＝width/2+cos(alpha)*sqrt((high/2)^2+(width/2)^2)*beta/(viewMax/2)；求imageY:
imageY＝high/2-sin(alpha)*sqrt((high/2)^2+(width/2)^2)*beta/(viewMax/2)；
(2)16线激光点云坐标到360°环形全景坐标的投射，结合图4，具体包括以下步骤：
S211：创建一个激光点阵图层，大小为1920*1080，左右边缘角度为0—360°，上下角度为-15°—15°，左右边缘角度、上下角度均匀铺展拉伸；
S212：读取一列激光点阵存储区数据；
S213：计算打印图像的像素角度，计算过程为：
已知当前激光点的序列号No,顶边(第1线)和底边(第16线)的角度差angleMax,线的数量为number；设当前激光点的纬度(角度)为latitude，则
latitude＝angleMax/2-(No-1)*angleMax/(number-1)；
经度(角度)longitude直接读取；
S214：计算像素位置，将对应数据赋值到打印的图层，计算过程为：
已知图像原点(0,0)位于左上角,激光原点(0,0)位于中心；激光纬度为latitude,经度为longitude；激光贴图上下边缘角度差latitudeMax,左右边缘角度差longitudeMax；贴图像素高度最大值为high,宽度最大值为width；
设当前点打印像素横坐标为x,纵坐标为y；
求x,y:
x＝width*longitude/longitudeMax+width/2；
y＝high/2-high*latitude/latitudeMax；
S215：判断当前读取的激光点阵存储区数据是否为数据的结尾，若不是则重复步骤S212—S214，若是则生成图像结束。
S3：利用深度学习的图像识别技术，针对事先训练过的目标进行目标检测框选定，得到目标检测边界框分布图像及物体类别分布图像；
其中，事先训练过的目标包括目标人员、工作服、安全帽。与传统的激光雷达的目标分割和跟踪方法不同，本发明利用了深度学习进行目标分割和跟踪，然后激光点投影到深度学习的检测目标框内，不但可以获取定位信息，也可以获取物体的类别信息，而且实用性好，在大部分场合下，激光点云是稀疏的，而图像是稠密的，所以点云获取的成本代价非常高，而图像获取的成本代价相对低，将目标分割和跟踪放在图像处理中能够极大的减少对激光点云的依赖，降低成本。
所述目标检测边界框分布图像及物体类别分布图像的定义和数据编码为：
目标检测边界框分布图像：255表示边界像素，0表示非边缘像素；
物体类别分布图像：边界框内填充类别1-255，边界框外类别0；
单目测距图像：灰度1-255，其中纯黑色0表示没有意思，1-255表示距离。
S4：寻找目标检测框中心点的激光点云坐标，作为目标的激光测距值；
S5：通过深度学习的目标检测框，计算出摄像机的单目测距数值；结合图5，图中外部方框表示为目标检测分布图，内部小方框为目标和地面重合点像素，右上角为摄像机，左下角为目标人员，具体计算过程为：
已知物体中心像素位于原始图像的横坐标为x,纵坐标为y；原始图像的高度为high,宽度为width；相机最大可视角度为viewMax；镜头中心距离地面的高度为H,镜头朝下偏移弧度为direct；
设光学镜头的旋转弧度坐标为alpha,偏离中心点弧度坐标为beta；
设物体中心像素相对于镜头中心的纬度弧度为latitude,经度弧度为longitude；
设实物的地面坐标(以镜头为原点(0,0))为(x,y)；实物的单目测距值为r；
Alpha的计算公式为:
第一像限：
alpha＝arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第二像限：
alpha＝pi-arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第三像限：
alpha＝pi+arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第四像限：
alpha＝2*pi-arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
beta的计算公式为:
beta＝sqrt(x^2+y^2)*viewMax/sqrt(high^2+width^2)；
latitude的计算公式为:
latitude＝arctan(sin(alpha)*tan(beta))；
longitude的计算公式为:
longitude＝arctan(cos(alpha)*tan(beta))；
r＝H/sin(pi/2-latitude-direct)；
x＝sin(longitude)*r；
y＝sqrt(tan(pi/2-latitude-direct)*H-x^2)。
S6：将激光测距值和单目测距值进行卡尔曼滤波，即得到最终目标的距离值。
结合图6，A点为激光测距所得的目标坐标，B点为单目测距所得的坐标。将A点和B点进行卡尔曼滤波计算，结果即为所得的目标距离值。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种基于图像处理的多传感器融合和人员定位的方法，包括以下步骤：
S1：获取三通道RGB彩色图像及一通道多线激光测距图像；
S2：将RGB彩色图像的摄像机光学坐标投射成激光点云坐标，激光点云坐标投射成360°环形全景坐标；
S3：利用深度学习的图像识别技术，针对事先训练过的目标进行目标检测框选定，得到目标检测边界框分布图像及物体类别分布图像；
S4：寻找目标检测框中心点的激光点云坐标，作为目标的激光测距值；
S5：通过深度学习的目标检测框，计算出摄像机的单目测距数值；
S6：将激光测距值和单目测距值进行卡尔曼滤波，即得到最终目标的距离值。
2.根据权利要求1所述的基于图像处理的多传感器融合和人员定位的方法，其特征在于，在步骤S1中，所述三通道RGB彩色图像通过摄像机原始图像获取，所述一通道多线激光测距图像通过获取激光点云信息后生成独立图层得到。
3.根据权利要求1所述的基于图像处理的多传感器融合和人员定位的方法，其特征在于，在步骤S2中，将摄像机坐标投射成激光点云坐标的具体步骤包括：
S201：创建3D临时贴图，贴图坐标为激光坐标，贴图大小为单个摄像头贴图转换为激光点云坐标后的宽度和高度；
S202：计算贴图下个像素的激光坐标，包括将激光坐标转换成摄像机镜头坐标，再将镜头坐标转换成摄像机像素坐标，最后将对应摄像机像素读取到贴图；
S203：判断下个像素是否为贴图的结尾像素，若不是则重复步骤S202，若是则进行下一步骤；
S204：将八个摄像机贴图合并，拼接生成激光坐标下的360度全景图。
4.根据权利要求1所述的基于图像处理的多传感器融合和人员定位的方法，其特征在于，在步骤S2中，将激光点云坐标投射成环形全景坐标的具体步骤包括：
S211：创建一个激光点阵图层，大小为1920*1080，左右边缘角度为0—360°，上下角度为-15°—15°，左右边缘角度、上下角度均匀铺展拉伸；
S212：读取一列激光点阵存储区数据；
S213：计算打印图像的像素角度；
S214：计算像素位置，将对应数据赋值到打印的图层；
S215：判断当前读取的激光点阵存储区数据是否为数据的结尾，若不是则重复步骤S212—S214，若是则生成图像结束。
5.根据权利要求1所述的基于图像处理的多传感器融合和人员定位的方法，其特征在于，在步骤S3中，事先训练过的目标包括目标人员、工作服、安全帽。
6.根据权利要求1所述的基于图像处理的多传感器融合和人员定位的方法，其特征在于，步骤S5的计算过程包括：
已知物体中心像素位于原始图像的横坐标为x,纵坐标为y；原始图像的高度为high,宽度为width；相机最大可视角度为viewMax；镜头中心距离地面的高度为H,镜头朝下偏移弧度为direct；
设光学镜头的旋转弧度坐标为alpha,偏离中心点弧度坐标为beta；
设物体中心像素相对于镜头中心的纬度弧度为latitude,经度弧度为longitude；
设实物的地面坐标(以镜头为原点(0,0))为(x,y)；实物的单目测距值为r；
Alpha的计算公式为:
第一像限：
alpha＝arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第二像限：
alpha＝pi-arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第三像限：
alpha＝pi+arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
第四像限：
alpha＝2*pi-arcsin((high/2-y)/sqrt((x-width/2)^2+(high/2-y)^2))；
beta的计算公式为:
beta＝sqrt(x^2+y^2)*viewMax/sqrt(high^2+width^2)；
latitude的计算公式为:
latitude＝arctan(sin(alpha)*tan(beta))；
longitude的计算公式为:
longitude＝arctan(cos(alpha)*tan(beta))；
r＝H/sin(pi/2-latitude-direct)；
x＝sin(longitude)*r；
y＝sqrt(tan(pi/2-latitude-direct)*H-x^2)。
CN201910837843.XA 2019-09-05 2019-09-05 基于图像处理的多传感器融合和人员定位的方法 Active CN110766170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910837843.XA CN110766170B (zh) 2019-09-05 2019-09-05 基于图像处理的多传感器融合和人员定位的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910837843.XA CN110766170B (zh) 2019-09-05 2019-09-05 基于图像处理的多传感器融合和人员定位的方法

Publications (2)

Publication Number Publication Date
CN110766170A true CN110766170A (zh) 2020-02-07
CN110766170B CN110766170B (zh) 2022-09-20

Family

ID=69330432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910837843.XA Active CN110766170B (zh) 2019-09-05 2019-09-05 基于图像处理的多传感器融合和人员定位的方法

Country Status (1)

Country Link
CN (1) CN110766170B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347950A (zh) * 2020-11-11 2021-02-09 湖北大学 基于深度学习的pcb板镭射标靶识别方法及系统
CN113673399A (zh) * 2021-08-12 2021-11-19 新疆爱华盈通信息技术有限公司 区域监测的方法、装置、电子设备及可读存储介质
CN113674421A (zh) * 2021-08-25 2021-11-19 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN113888401A (zh) * 2021-12-09 2022-01-04 深圳佑驾创新科技有限公司 图像转换方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101825442A (zh) * 2010-04-30 2010-09-08 北京理工大学 一种基于移动平台的彩色激光点云成像系统
CN109283538A (zh) * 2018-07-13 2019-01-29 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112347950A (zh) * 2020-11-11 2021-02-09 湖北大学 基于深度学习的pcb板镭射标靶识别方法及系统
CN112347950B (zh) * 2020-11-11 2024-04-05 湖北大学 基于深度学习的pcb板镭射标靶识别方法及系统
CN113673399A (zh) * 2021-08-12 2021-11-19 新疆爱华盈通信息技术有限公司 区域监测的方法、装置、电子设备及可读存储介质
CN113674421A (zh) * 2021-08-25 2021-11-19 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN113674421B (zh) * 2021-08-25 2023-10-13 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN113888401A (zh) * 2021-12-09 2022-01-04 深圳佑驾创新科技有限公司 图像转换方法及装置
CN113888401B (zh) * 2021-12-09 2022-04-05 深圳佑驾创新科技有限公司 图像转换方法及装置

Also Published As

Publication number Publication date
CN110766170B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN110766170B (zh) 基于图像处理的多传感器融合和人员定位的方法
CN111473739B (zh) 一种基于视频监控的隧道塌方区围岩变形实时监测方法
CN112767391B (zh) 融合三维点云和二维图像的电网线路部件缺陷定位方法
CN102917171B (zh) 基于像素的小目标定位方法
CN109685855B (zh) 一种道路云监控平台下的摄像机标定优化方法
CN103226838A (zh) 地理场景中移动监控目标的实时空间定位方法
CN109859269B (zh) 岸基视频辅助定位无人机大范围流场测量方法及装置
CN113469178B (zh) 一种基于深度学习的电力表计识别方法
CN113223087B (zh) 一种基于视频监控的目标物体地理坐标定位方法和装置
CN108761271A (zh) 一种电网树障检测方法及系统
CN105894511A (zh) 标定靶设置方法、装置及停车辅助系统
CN112013830A (zh) 一种输电线路无人机巡检影像检测缺陷的精确定位方法
US10713527B2 (en) Optics based multi-dimensional target and multiple object detection and tracking method
CN108362205A (zh) 基于条纹投影的空间测距方法
CN114066985B (zh) 一种输电线隐患距离的计算方法及终端
CN116630267A (zh) 基于无人机与激光雷达数据融合的路基沉降监测方法
CN116447979A (zh) 一种基于无人机的双目视觉边坡位移监测方法及装置
CN113723389B (zh) 一种支柱式绝缘子定位方法及装置
CN104786227A (zh) 基于高压带电作业机器人的跌落开关更换控制系统及方法
CN112665523B (zh) 一种复杂型面的联合测量方法
CN112258633B (zh) 一种基于slam技术的场景高精度重建方法及装置
CN103260008A (zh) 一种影像位置到实际位置的射影转换方法
CN112488022A (zh) 一种环视全景监控方法、装置及系统
CN105303580A (zh) 一种全景环视多相机标定棒的识别系统和方法
CN104858877A (zh) 高压线路跌落开关自动更换控制系统及控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant