CN111522020A - 一种园区活动要素混合定位系统及方法 - Google Patents

一种园区活动要素混合定位系统及方法 Download PDF

Info

Publication number
CN111522020A
CN111522020A CN202010577793.9A CN202010577793A CN111522020A CN 111522020 A CN111522020 A CN 111522020A CN 202010577793 A CN202010577793 A CN 202010577793A CN 111522020 A CN111522020 A CN 111522020A
Authority
CN
China
Prior art keywords
target
data
processor
park
active element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010577793.9A
Other languages
English (en)
Inventor
王红华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Yibei Data Technology Co ltd
Original Assignee
Shandong Yibei Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Yibei Data Technology Co ltd filed Critical Shandong Yibei Data Technology Co ltd
Priority to CN202010577793.9A priority Critical patent/CN111522020A/zh
Publication of CN111522020A publication Critical patent/CN111522020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种园区活动要素混合定位系统及方法，该系统包括管理平台和若干终端；终端，包括通信模块，第一处理器，时钟模块，存储模块，第二处理器，激光雷达和摄像头，用于采集进入园区的活动要素的距离、点云数据和图像数据。该方法包括：将园区区域栅格化，确定系统中所有终端的栅格坐标；终端对出现在视野中的雷达数据进行快速处理，计算目标运动参数；采用可见光图像对多目标情况下的活动要素进行分割；将可见光图像的多目标分割结果与雷达数据结合，分离出各活动要素目标，实现活动要素的混合定位。本发明能够用于园区内人员、机动车和非机动车等活动要素同时运动或互相遮挡时的精准定位，具备无限多目标同时定位能力，且成本低、定位精度高。

Description

一种园区活动要素混合定位系统及方法
技术领域
本申请涉及计算机领域，特别涉及一种园区活动要素混合定位系统及方法。
背景技术
随着工业4.0的发展，各类园区的信息化和智能化程度不断提升，涵盖了生产流程以及伴随生产活动的管理过程等。在有限范围的园区内，进行智能化管理的一个前提是对人员、机动车、非机动车等活动要素进行定位。现有技术通过GPS、UWB等手段，通过在活动要素上安装或携带定位终端，实现对活动要素在园区范围内的定位，这类技术手段对于内场相对固定的活动要素比较有效，但对于业务量大，外部活动要素来往频繁的园区而言，现有技术很难实现经济高效的活动要素定位。
发明内容
本发明提供一种园区活动要素混合定位系统及方法，可实现在园区等有限范围内对行人、机动车、非机动车等活动要素的精准定位，不依赖于定位终端，且解决了活动要素互相遮挡时雷达易误识别的问题。
为实现上述目的，本发明采取的技术方案为，提供一种园区活动要素混合定位系统，包括：管理平台和若干终端；所述管理平台，用于对所述终端进行管理和定位信息应用；所述终端包括通信模块、第一处理器、时钟模块、存储模块、第二处理器、激光雷达和摄像头；
所述激光雷达，用于对活动要素进行测距和产生点云数据，并将产生的距离和点云数据发送到第二处理器；
所述摄像头，用于采集活动要素的可见光图像数据，并将产生的图像数据发送到第二处理器；
所述第二处理器，用于对所述激光雷达和所述摄像头采集的数据进行运算和处理，生成定位信息，并能够与所述第一处理器进行数据交互；
所述第一处理器，用于接收所述第二处理器发送的定位信息，并从所述时钟模块中读取当前时间信息，将所述时间信息与所述定位信息打包后，通过所述通信模块广播给所述管理平台及所有的终端，同时所述第一处理器将打包后的所述定位信息储存到存储模块；
所述第一处理器，还用于接收系统广播的所述定位信息包并将数据解析后存储到存储模块中。
本申请的第二方面，提供一种园区活动要素混合定位方法，应用于所述的园区活动要素混合定位系统，包括：
S10将园区区域栅格化，确定系统中所有终端的栅格坐标；
S20所述终端对出现在视野中的雷达数据进行快速处理，计算目标运动参数；
S30采用可见光图像对多目标情况下的活动要素进行分割；
S40将可见光图像的多目标分割结果与雷达点云数据结合，分离出各活动要素目标，实现活动要素的混合定位。
进一步的，所述步骤S20中所述终端对出现在视野中的雷达数据进行快速处理，计算目标运动参数的具体方法，包括：
对于活动要素目标
Figure DEST_PATH_IMAGE001
(
Figure 872921DEST_PATH_IMAGE001
表示活动要素目标的计数，
Figure 790062DEST_PATH_IMAGE001
≥1)，记激光雷达采集到的目标
Figure 632116DEST_PATH_IMAGE001
的运动参数为
Figure DEST_PATH_IMAGE002
，其中
Figure DEST_PATH_IMAGE003
表示目标
Figure 89642DEST_PATH_IMAGE001
在时刻
Figure DEST_PATH_IMAGE004
到终端的距离，
Figure DEST_PATH_IMAGE005
表示目标
Figure 966331DEST_PATH_IMAGE001
在时刻
Figure 851110DEST_PATH_IMAGE004
时相对于终端的速度，
Figure DEST_PATH_IMAGE006
表示目标
Figure 171671DEST_PATH_IMAGE001
在时刻
Figure 370572DEST_PATH_IMAGE004
与终端的水平角度，则活动要素目标
Figure 39450DEST_PATH_IMAGE001
在时刻
Figure 95131DEST_PATH_IMAGE004
的坐标为（
Figure DEST_PATH_IMAGE007
,
Figure DEST_PATH_IMAGE008
）；在先后相邻两个时刻
Figure DEST_PATH_IMAGE009
和
Figure DEST_PATH_IMAGE010
，活动要素目标
Figure 974094DEST_PATH_IMAGE001
的坐标分别为（
Figure DEST_PATH_IMAGE011
,
Figure DEST_PATH_IMAGE012
）, （
Figure DEST_PATH_IMAGE013
,
Figure DEST_PATH_IMAGE014
），以栅格为单位，定义栅格矩阵，活动要素目标
Figure 835740DEST_PATH_IMAGE001
所处位置矩阵元素为1，其余矩阵元素为0，则有
Figure 359125DEST_PATH_IMAGE009
时刻的栅格矩阵
Figure DEST_PATH_IMAGE015
，
Figure 851286DEST_PATH_IMAGE010
时刻的栅格矩阵
Figure DEST_PATH_IMAGE016
，在激光雷达的毫秒级采样周期内，活动要素目标
Figure 155229DEST_PATH_IMAGE001
的线位移近似等于采样周期内两个时刻的栅格矩阵的2-范数，因此有
Figure DEST_PATH_IMAGE017
，
Figure DEST_PATH_IMAGE018
为活动要素目标
Figure 495599DEST_PATH_IMAGE001
在采样周期内两个时刻内的线位移；进而，活动要素目标
Figure 201387DEST_PATH_IMAGE001
的线速度
Figure DEST_PATH_IMAGE019
,(
Figure DEST_PATH_IMAGE020
为激光雷达的采样周期)；综上，活动要素目标
Figure 598870DEST_PATH_IMAGE001
的运动参数
Figure DEST_PATH_IMAGE021
，即位置和线速度。
进一步的，所述步骤S30中采用可见光图像对多目标情况下的活动要素进行分割的实现方法，包括：
记摄像头在时刻
Figure 390108DEST_PATH_IMAGE004
采集到的图像为
Figure DEST_PATH_IMAGE022
，首先对图像进行灰度处理：
Figure DEST_PATH_IMAGE023
，其中
Figure DEST_PATH_IMAGE024
、
Figure DEST_PATH_IMAGE025
、
Figure DEST_PATH_IMAGE026
为图像的三通道数值，
Figure DEST_PATH_IMAGE027
、
Figure DEST_PATH_IMAGE028
、
Figure DEST_PATH_IMAGE029
分别为
Figure 655874DEST_PATH_IMAGE024
、
Figure 216168DEST_PATH_IMAGE025
、
Figure 987815DEST_PATH_IMAGE026
三通道的占比；
得到灰度图像后，利用梯度方向计算，获取直方图特征：
①梯度计算
Figure DEST_PATH_IMAGE030
Figure DEST_PATH_IMAGE031
Figure DEST_PATH_IMAGE032
其中，
Figure DEST_PATH_IMAGE033
和
Figure DEST_PATH_IMAGE034
分别是像素点
Figure DEST_PATH_IMAGE035
处水平和垂直方向的梯度，
Figure DEST_PATH_IMAGE036
表示像素点
Figure 128334DEST_PATH_IMAGE035
的灰度值；
②根据梯度划分区间，得到统计直方图，对块直方图归一化，得到归一化的各直方图区间的梯度直方图特征：
Figure DEST_PATH_IMAGE037
其中，
Figure DEST_PATH_IMAGE038
是直方图第
Figure DEST_PATH_IMAGE039
个区间的值，
Figure 135473DEST_PATH_IMAGE039
≥1，
Figure DEST_PATH_IMAGE040
是常数（
Figure DEST_PATH_IMAGE041
0.1）；
至此，将多个活动要素目标的图像分割转变为采用支持向量机，利用核函数将梯度直方图对应的待分类数据映射到高维空间来实现超平面分割，可将可见光图像中的多目标分割出来，分割后的分类数即为活动要素目标的个数。
进一步的，所述核函数如下：
Figure DEST_PATH_IMAGE042
Figure DEST_PATH_IMAGE043
其中，
Figure DEST_PATH_IMAGE044
表示核函数的自变量，
Figure DEST_PATH_IMAGE045
是转置符号，
Figure DEST_PATH_IMAGE046
是权值向量，
Figure DEST_PATH_IMAGE047
是对应于图像直方图各区间值的矩阵，
Figure DEST_PATH_IMAGE048
是直方图区间的数量，
Figure DEST_PATH_IMAGE049
是
Figure DEST_PATH_IMAGE050
的复共轭转置矩阵，
Figure DEST_PATH_IMAGE051
是正则化参数，
Figure DEST_PATH_IMAGE052
是单位矩阵，
Figure DEST_PATH_IMAGE053
是期望分类值；支持向量机的最优解设置为核函数值与期望的均方差为最小，即
Figure DEST_PATH_IMAGE054
，
Figure DEST_PATH_IMAGE055
。
进一步的，所述步骤S40中将可见光图像的多目标分割结果与雷达点云数据结合，分离出各活动要素目标，实现活动要素的混合定位的方法，包括：
令在时刻
Figure 864788DEST_PATH_IMAGE004
激光雷达识别到的一个活动要素目标
Figure 869653DEST_PATH_IMAGE001
坐标为（
Figure 307587DEST_PATH_IMAGE007
,
Figure 790521DEST_PATH_IMAGE008
），而同一时刻经S30步骤，可见光图像分割出
Figure DEST_PATH_IMAGE056
个目标，则雷达点云数据的目标
Figure 263091DEST_PATH_IMAGE056
分割后，活动要素目标
Figure 438857DEST_PATH_IMAGE001
的坐标为（
Figure DEST_PATH_IMAGE057
,
Figure 426405DEST_PATH_IMAGE008
+
Figure DEST_PATH_IMAGE058
），其中
Figure DEST_PATH_IMAGE059
表示分割步长，
Figure DEST_PATH_IMAGE060
(
Figure 713030DEST_PATH_IMAGE059
取整数)；这样可将在遮挡情况下，激光雷达识别到的一个活动要素目标分割为实际目标数量；雷达点云数据分割为
Figure 663992DEST_PATH_IMAGE056
个目标后，循环进行S20步骤，即可获得
Figure 948343DEST_PATH_IMAGE056
个目标的运动参数（坐标和线速度）。
与现有技术相比，本发明的技术方案至少具有以下有益效果：
（1）本发明的园区定位系统及方法，采用“区域栅格化确定终端左坐标；通过雷达数据计算目标运动参数；再采用可见光图像对多目标情况下的活动要素进行分割；进而将可见光图像的多目标分割结果与雷达点云数据结合，分离出各活动要素目标”的技术方案，无需在活动要素上安装或携带定位终端，即可对进入园区的人员、机动车和非机动车等活动要素进行定位，具有很好的经济性，且定位准确度高，解决了当活动要素互相遮挡时，雷达误识别为一个目标的问题，且具备无限多目标同时定位能力。
（2）本发明采用基于2-范数的方法计算目标运动参数，提升了计算实时性，在固有计算资源的基础上，大大提高多目标的运动参数计算能力，节省大量的角参数计算量，极大提高了计算效率。
（3）本发明通过采用“在时刻
Figure 423187DEST_PATH_IMAGE004
雷达识别到的一个活动要素目标
Figure 451185DEST_PATH_IMAGE001
坐标为（
Figure 695085DEST_PATH_IMAGE007
,
Figure 884758DEST_PATH_IMAGE008
），而同一时刻可见光图像分割出
Figure 846898DEST_PATH_IMAGE056
个目标，基于此数据
Figure 413008DEST_PATH_IMAGE056
对雷达数据进行分割，活动要素目标
Figure 776993DEST_PATH_IMAGE001
的坐标为（
Figure 137568DEST_PATH_IMAGE057
,
Figure 587004DEST_PATH_IMAGE008
+
Figure 956805DEST_PATH_IMAGE058
），其中
Figure 847401DEST_PATH_IMAGE059
表示分割步长，
Figure 706772DEST_PATH_IMAGE060
(
Figure 315608DEST_PATH_IMAGE059
取整数)”以及“雷达点云数据分割为
Figure 551417DEST_PATH_IMAGE056
个目标后，循环进行S20步骤”的技术手段，即可获得
Figure 562099DEST_PATH_IMAGE056
个目标的运动参数（坐标和线速度），实现了当活动要素成群出现时，激光雷达的波束不会将多个互相遮挡的活动要素识别为一个目标，提高了定位精准度。
附图说明
图1 为本发明的一种园区活动要素混合定位系统框图
图2为本发明的终端结构框图
图3 为本发明的活动要素混合定位方法流程图
图4 为本发明的园区区域栅格化示例图。
具体实施例
下面将结合说明书附图和具体实施例来详细说明本发明所述的园区活动要素混合定位系统。
参照图1所述园区活动要素混合定位系统，包括：管理平台10和终端20。
所述管理平台10，由服务器和运行于服务器中的管理软件组成，主要用于对终端20进行管理和定位信息应用。
所述终端20，分布于园区各地点。主要用于采集进入园区的活动要素的距离、点云数据和图像数据。
参照图2，所述终端20包括：通信模块201，第一处理器202，时钟模块203，存储模块204，第二处理器205，激光雷达206和摄像头207。
所述通信模块201，主要用于终端20与管理平台10或园区内的其它终端20进行数据通信，所述通信包括但不限于网线、电缆、光纤等有线通信以及wifi、蜂窝通信、微波、射频等无线通信。通信模块201通过数据总线连接有第一处理器202。
所述第一处理器202，用于对通信模块201传来的数据进行处理；第一处理器202还用于与时钟模块203进行数据交换，以完成终端校时和精准时间信息的获取；第一处理器202还用于从存储模块204中存储或读取数据；第一处理器202还用于与第二处理器205进行数据交互。所述第一处理器202通过数据总线连接有时钟模块203、存储模块204和第二处理器205。
所述时钟模块203，用于系统中所有终端的校时和产生精准时间信息。
所述存储模块204，用于终端20存储和读取数据。
所述第二处理器205上，运行有处理程序，用于对激光雷达和摄像头207采集的数据进行运算和处理。所述第二处理器205通过数据总线连接有激光雷达206和摄像头207。
所述激光雷达206，用于对活动要素进行测距和产生点云数据。
所述摄像头207，用于采集活动要素的可见光图像数据。
作为本发明所述系统校时的一个实施例：
管理平台10向系统所有终端20广播时间信息，终端的通信模块201接收到所述时间信息后，发送给时钟模块203，时钟模块将接收到的时间信息作为校正点，并以校正点为初始，继续计时。
作为本发明混合定位的一个实施例：
系统初始化时，将园区区域栅格化，栅格的精度越高，定位精度越高，在使用中结合定位精度需求和计算资源综合选定栅格精度。本发明采用如下方法：记定位精度需求为
Figure DEST_PATH_IMAGE061
（
Figure DEST_PATH_IMAGE062
），则栅格化的精度为
Figure DEST_PATH_IMAGE063
。例如，若定位精度需求为1.5米，选取
Figure DEST_PATH_IMAGE064
则栅格化的精度为0.5米，即采用边长为0.5米的正方形栅格，将园区区域栅格化。结合GIS地图和终端20安装位置的RTK（Real - time kinematic，实时动态）定位，确定系统中所有终端的栅格坐标。
激光雷达206检测到有活动要素，将活动要素的三维点云、方位及距离数据发送给第二处理器205；同时摄像头207将采集到的可见光图像数据也发送给第二处理器205，第二处理器205中运行有可处理雷达和摄像头所采集数据的混合定位处理程序，所述混合定位处理程序的混合定位处理方法详见S10-S40步骤，所述混合定位处理方法可根据雷达数据和摄像头207的可见光图像实现对活动要素定位，并生成定位信息。第二处理器205将定位信息发送给第一处理器202，第一处理器202从时钟模块203中读取当前时间信息，将时间信息与活动要素的定位信息打包后，通过通信模块201广播给系统中所有的终端20及管理平台10，同时第一处理器202也会将打包后的定位信息储存到存储模块204。终端20的通信模块201接收到系统广播的定位信息包后，发送给第一处理器202，第一处理器202将数据解析后存储到存储模块204中。
第二处理器205中的混合定位处理程序在接收到激光雷达数据和可见光图像数据后，进行混合定位处理，参照图3，生成活动要素定位信息的具体处理步骤如下：
S10 在系统初始化时获得的区域栅格中，确定系统中所有终端的栅格坐标；
以区域栅格的最下角为坐标原点，以终端所处的栅格的列数和行数为坐标，确定终端的栅格坐标（以下简称“坐标”），方法如下：
参照图4，将园区区域的GIS图层上，叠加栅格层，根据终端20的RTK定位信息确定终端20在GIS图层的精准位置，进而可确定终端20在栅格层的坐标，记为
Figure DEST_PATH_IMAGE065
（
Figure DEST_PATH_IMAGE066
表示终端的计数，1≤
Figure 719935DEST_PATH_IMAGE066
≤
Figure DEST_PATH_IMAGE067
，
Figure 878384DEST_PATH_IMAGE067
为系统中终端总数）。
终端20对出现在视野中的雷达数据进行快速处理，计算目标运动参数；
为提升计算实时性，在固有计算资源的基础上，大大提高多目标的运动参数计算能力，本发明采用基于2-范数的方法，可节省大量的角参数计算量，极大提高计算效率。
对于活动要素目标
Figure 589988DEST_PATH_IMAGE001
(
Figure 455176DEST_PATH_IMAGE001
表示活动要素目标的计数，
Figure 656350DEST_PATH_IMAGE001
≥1)，记激光雷达206采集到的目标
Figure 239778DEST_PATH_IMAGE001
的运动参数为
Figure 489494DEST_PATH_IMAGE002
，其中
Figure 537084DEST_PATH_IMAGE003
表示目标
Figure 846843DEST_PATH_IMAGE001
在时刻
Figure 979884DEST_PATH_IMAGE004
到终端20的距离，
Figure 33291DEST_PATH_IMAGE005
表示目标
Figure 873071DEST_PATH_IMAGE001
在时刻
Figure 416047DEST_PATH_IMAGE004
时相对于终端20的速度，
Figure 708489DEST_PATH_IMAGE006
表示目标
Figure 630833DEST_PATH_IMAGE001
在时刻
Figure 325119DEST_PATH_IMAGE004
与终端20的水平角度，根据三角函数关系，活动要素目标
Figure 976680DEST_PATH_IMAGE001
在时刻
Figure 84314DEST_PATH_IMAGE004
的坐标为（
Figure 479523DEST_PATH_IMAGE007
,
Figure 28316DEST_PATH_IMAGE008
）。因此，在先后相邻两个时刻
Figure 178675DEST_PATH_IMAGE009
和
Figure 445708DEST_PATH_IMAGE010
，活动要素目标
Figure 706925DEST_PATH_IMAGE001
的坐标分别为（
Figure 110224DEST_PATH_IMAGE011
,
Figure 369167DEST_PATH_IMAGE012
）, （
Figure 185814DEST_PATH_IMAGE013
,
Figure 922826DEST_PATH_IMAGE014
），以栅格为单位，定义栅格矩阵，活动要素目标
Figure 446211DEST_PATH_IMAGE001
所处位置矩阵元素为1，其余矩阵元素为0，则有
Figure 938372DEST_PATH_IMAGE009
时刻的栅格矩阵
Figure 914418DEST_PATH_IMAGE015
，
Figure 517438DEST_PATH_IMAGE010
时刻的栅格矩阵
Figure 160909DEST_PATH_IMAGE016
，在雷达的毫秒级采样周期内，活动要素目标
Figure 558392DEST_PATH_IMAGE001
的线位移近似等于采样周期内两个时刻的栅格矩阵的2-范数，因此有
Figure 287314DEST_PATH_IMAGE017
，
Figure 366128DEST_PATH_IMAGE018
为活动要素目标
Figure 929352DEST_PATH_IMAGE001
在采样周期内两个时刻内的线位移。进而，活动要素目标
Figure 435420DEST_PATH_IMAGE001
的线速度
Figure 651638DEST_PATH_IMAGE019
,(
Figure 596460DEST_PATH_IMAGE020
为激光雷达的采样周期)。
综上，活动要素目标
Figure 948944DEST_PATH_IMAGE001
的运动参数
Figure 953809DEST_PATH_IMAGE021
，即位置和线速度。
采用可见光图像对多目标情况下的活动要素进行分割；
记摄像头207在时刻
Figure 391743DEST_PATH_IMAGE004
采集到的图像为
Figure 812361DEST_PATH_IMAGE022
，首先对图像进行灰度处理：
Figure 347247DEST_PATH_IMAGE023
，其中
Figure 195117DEST_PATH_IMAGE024
、
Figure 120348DEST_PATH_IMAGE025
、
Figure 406973DEST_PATH_IMAGE026
为图像的三通道数值，
Figure 734049DEST_PATH_IMAGE027
、
Figure 80717DEST_PATH_IMAGE028
、
Figure 493244DEST_PATH_IMAGE029
分别为
Figure 255663DEST_PATH_IMAGE024
、
Figure 499563DEST_PATH_IMAGE025
、
Figure 954815DEST_PATH_IMAGE026
三通道的占比；
得到灰度图像后，利用梯度方向计算，获取直方图特征：
①梯度计算
Figure 854638DEST_PATH_IMAGE030
Figure 483065DEST_PATH_IMAGE031
Figure 519154DEST_PATH_IMAGE032
其中，
Figure 145308DEST_PATH_IMAGE033
和
Figure 585954DEST_PATH_IMAGE034
分别是像素点
Figure 690177DEST_PATH_IMAGE035
处水平和垂直方向的梯度，
Figure 908668DEST_PATH_IMAGE036
表示像素点
Figure 705723DEST_PATH_IMAGE035
的灰度值。
②根据梯度划分区间，得到统计直方图，对块直方图归一化，得到归一化的各直方图区间的梯度直方图特征：
Figure 314559DEST_PATH_IMAGE037
其中，
Figure 550368DEST_PATH_IMAGE038
是直方图第
Figure 561050DEST_PATH_IMAGE039
个区间的值，
Figure 529006DEST_PATH_IMAGE039
≥1，
Figure 687455DEST_PATH_IMAGE040
是常数（
Figure 133479DEST_PATH_IMAGE041
0.1）。
至此，将多个活动要素目标的图像分割转变为采用支持向量机，利用核函数将梯度直方图对应的待分类数据映射到高维空间来实现超平面分割，分割后的分类数即为活动要素目标的个数。核函数采用如下：
Figure 264246DEST_PATH_IMAGE042
Figure 465421DEST_PATH_IMAGE043
其中，
Figure 48849DEST_PATH_IMAGE044
表示核函数的自变量，
Figure 360881DEST_PATH_IMAGE045
是转置符号，
Figure 346155DEST_PATH_IMAGE046
是权值向量，
Figure 655913DEST_PATH_IMAGE047
是对应于图像直方图各区间值的矩阵，
Figure 788955DEST_PATH_IMAGE048
是直方图区间的数量，
Figure 842361DEST_PATH_IMAGE049
是
Figure 744458DEST_PATH_IMAGE050
的复共轭转置矩阵，
Figure 225118DEST_PATH_IMAGE051
是正则化参数，
Figure 517559DEST_PATH_IMAGE052
是单位矩阵，
Figure 439903DEST_PATH_IMAGE053
是期望分类值；支持向量机的最优解设置为核函数值与期望的均方差为最小，即
Figure 134190DEST_PATH_IMAGE054
，
Figure 848068DEST_PATH_IMAGE055
。
具体计算过程，可借助matlab的SVM工具包来完成。
经上述计算，可将可见光图像中的多目标分割出来。
将可见光图像的多目标分割结果与雷达点云数据结合，分离出各活动要素目标，实现活动要素的混合定位。
在活动要素
Figure DEST_PATH_IMAGE068
阻挡了活动要素
Figure 893384DEST_PATH_IMAGE026
的情况下，激光雷达206的波束会将两个活动要素识别为一个目标，在活动要素成群出现时，遮挡现象更为明显，极大影响定位精准性。为解决该问题，本发明采用以下处理：
经S30步骤，可见光图像分割出
Figure 350910DEST_PATH_IMAGE056
个目标，则将分割结果与雷达点云数据结合，并将雷达点云数据的采集目标分为
Figure 899703DEST_PATH_IMAGE056
个。雷达点云数据的目标分割方法如下：
在时刻
Figure 50062DEST_PATH_IMAGE004
雷达识别到的一个活动要素目标
Figure 317095DEST_PATH_IMAGE001
坐标为（
Figure 250416DEST_PATH_IMAGE007
,
Figure 981612DEST_PATH_IMAGE008
），而同一时刻可见光图像分割出
Figure 240555DEST_PATH_IMAGE056
个目标，基于此数据
Figure 729305DEST_PATH_IMAGE056
对雷达数据进行分割，则雷达点云数据的目标
Figure 794213DEST_PATH_IMAGE056
分割后，活动要素目标
Figure 317598DEST_PATH_IMAGE001
的坐标为（
Figure 544180DEST_PATH_IMAGE057
,
Figure 785806DEST_PATH_IMAGE008
+
Figure 326509DEST_PATH_IMAGE058
），其中
Figure 766717DEST_PATH_IMAGE059
表示分割步长，
Figure 367463DEST_PATH_IMAGE060
(
Figure 830805DEST_PATH_IMAGE059
取整数)。这样可将在遮挡情况下，雷达识别到的一个活动要素目标分割为实际目标数量。
雷达点云数据分割为
Figure 240445DEST_PATH_IMAGE056
个目标后，循环进行S20步骤，即可获得
Figure 738423DEST_PATH_IMAGE056
个目标的运动参数（坐标和线速度）。
综上便实现了本发明所述园区活动要素混合定位系统。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种园区活动要素混合定位系统，其特征在于，包括，管理平台和若干终端；所述管理平台，用于对所述终端进行管理和定位信息应用；所述终端包括通信模块、第一处理器、时钟模块、存储模块、第二处理器、激光雷达和摄像头；
所述激光雷达，用于对活动要素进行测距和产生点云数据，并将产生的距离和点云数据发送到第二处理器；
所述摄像头，用于采集活动要素的可见光图像数据，并将产生的图像数据发送到第二处理器；
所述第二处理器，用于对所述激光雷达和所述摄像头采集的数据进行运算和处理，生成定位信息，并能够与所述第一处理器进行数据交互；
所述第一处理器，用于接收所述第二处理器发送的定位信息，并从所述时钟模块中读取当前时间信息，将所述时间信息与所述定位信息打包后，通过所述通信模块广播给所述管理平台及所有的终端，同时所述第一处理器将打包后的所述定位信息储存到存储模块；
所述第一处理器，还用于接收系统广播的所述定位信息包，并将数据解析后存储到存储模块中。
2.一种园区活动要素混合定位方法，应用于如权利要求1所述的园区活动要素混合定位系统，其特征在于，包括：
S10将园区区域栅格化，确定园区中所有终端的栅格坐标；
S20所述终端对出现在视野中的雷达数据进行快速处理，计算目标运动参数；
S30采用可见光图像对多目标情况下的活动要素进行分割；
S40将可见光图像的多目标分割结果与雷达点云数据结合，分离出各活动要素目标，实现活动要素的混合定位。
3.根据权利要求2所述的园区活动要素混合定位方法，其特征在于，所述步骤S20中所述终端对出现在视野中的雷达数据进行快速处理，计算目标运动参数的具体方法，包括：
对于活动要素目标
Figure 424821DEST_PATH_IMAGE001
(
Figure 843164DEST_PATH_IMAGE001
表示活动要素目标的计数，
Figure 401184DEST_PATH_IMAGE001
≥1)，记激光雷达采集到的目标
Figure 992702DEST_PATH_IMAGE001
的运动参数为
Figure 890251DEST_PATH_IMAGE002
，其中
Figure 479496DEST_PATH_IMAGE003
表示目标
Figure 259233DEST_PATH_IMAGE001
在时刻
Figure 90660DEST_PATH_IMAGE004
到终端的距离，
Figure 905033DEST_PATH_IMAGE005
表示目标
Figure 727495DEST_PATH_IMAGE001
在时刻
Figure 932211DEST_PATH_IMAGE004
时相对于终端的速度，
Figure 131112DEST_PATH_IMAGE006
表示目标
Figure 737673DEST_PATH_IMAGE001
在时刻
Figure 731037DEST_PATH_IMAGE004
与终端的水平角度，则活动要素目标
Figure 423050DEST_PATH_IMAGE001
在时刻
Figure 425641DEST_PATH_IMAGE004
的坐标为（
Figure 388174DEST_PATH_IMAGE007
,
Figure 552439DEST_PATH_IMAGE008
）；在先后相邻两个时刻
Figure 731748DEST_PATH_IMAGE009
和
Figure 272450DEST_PATH_IMAGE010
，活动要素目标
Figure 588025DEST_PATH_IMAGE001
的坐标分别为（
Figure 188771DEST_PATH_IMAGE011
,
Figure 589796DEST_PATH_IMAGE012
）, （
Figure 934190DEST_PATH_IMAGE013
,
Figure 602807DEST_PATH_IMAGE014
），以栅格为单位，定义栅格矩阵，活动要素目标
Figure 374453DEST_PATH_IMAGE001
所处位置矩阵元素为1，其余矩阵元素为0，则有
Figure 262775DEST_PATH_IMAGE009
时刻的栅格矩阵
Figure 82963DEST_PATH_IMAGE015
，
Figure 435447DEST_PATH_IMAGE010
时刻的栅格矩阵
Figure 315679DEST_PATH_IMAGE016
，在激光雷达的毫秒级采样周期内，活动要素目标
Figure 753613DEST_PATH_IMAGE001
的线位移近似等于采样周期内两个时刻的栅格矩阵的2-范数，因此有
Figure 896536DEST_PATH_IMAGE017
，
Figure 103526DEST_PATH_IMAGE018
为活动要素目标
Figure 154659DEST_PATH_IMAGE001
在采样周期内两个时刻内的线位移；进而，活动要素目标
Figure 79889DEST_PATH_IMAGE001
的线速度
Figure 304197DEST_PATH_IMAGE019
,(
Figure 568957DEST_PATH_IMAGE020
为激光雷达的采样周期)；综上，活动要素目标
Figure 587728DEST_PATH_IMAGE001
的运动参数
Figure 937938DEST_PATH_IMAGE021
，即位置和线速度。
4.根据权利要求2所述的园区活动要素混合定位方法，其特征在于，所述步骤S30中采用可见光图像对多目标情况下的活动要素进行分割的实现方法，包括：
记摄像头在时刻
Figure 965937DEST_PATH_IMAGE004
采集到的图像为
Figure 583738DEST_PATH_IMAGE022
，首先对图像进行灰度处理：
Figure 38990DEST_PATH_IMAGE023
，其中
Figure 610917DEST_PATH_IMAGE024
、
Figure 177027DEST_PATH_IMAGE025
、
Figure 416379DEST_PATH_IMAGE026
为图像的三通道数值，
Figure 42532DEST_PATH_IMAGE027
、
Figure 101755DEST_PATH_IMAGE028
、
Figure 471556DEST_PATH_IMAGE029
分别为
Figure 66879DEST_PATH_IMAGE024
、
Figure 863934DEST_PATH_IMAGE025
、
Figure 410453DEST_PATH_IMAGE026
三通道的占比；
得到灰度图像后，利用梯度方向计算，获取直方图特征：
①梯度计算
Figure 318366DEST_PATH_IMAGE030
Figure 266730DEST_PATH_IMAGE031
Figure 234686DEST_PATH_IMAGE032
其中，
Figure 268502DEST_PATH_IMAGE033
和
Figure 980106DEST_PATH_IMAGE034
分别是像素点
Figure 845293DEST_PATH_IMAGE035
处水平和垂直方向的梯度，
Figure 420369DEST_PATH_IMAGE036
表示像素点
Figure 3797DEST_PATH_IMAGE035
的灰度值；
②根据梯度划分区间，得到统计直方图，对块直方图归一化，得到归一化的各直方图区间的梯度直方图特征：
Figure 456775DEST_PATH_IMAGE037
其中，
Figure 176470DEST_PATH_IMAGE038
是直方图第
Figure 423911DEST_PATH_IMAGE039
个区间的值，
Figure 494635DEST_PATH_IMAGE039
≥1，
Figure 485725DEST_PATH_IMAGE040
是常数（
Figure 325505DEST_PATH_IMAGE041
0.1）；
至此，将多个活动要素目标的图像分割转变为采用支持向量机，利用核函数将梯度直方图对应的待分类数据映射到高维空间来实现超平面分割，可将可见光图像中的多目标分割出来，分割后的分类数即为活动要素目标的个数。
5.根据权利要求4所述的园区活动要素混合定位方法，其特征在于，所述核函数如下：
Figure 239454DEST_PATH_IMAGE042
Figure 797474DEST_PATH_IMAGE043
其中，
Figure 326675DEST_PATH_IMAGE044
表示核函数的自变量，
Figure 20962DEST_PATH_IMAGE045
是转置符号，
Figure 875785DEST_PATH_IMAGE046
是权值向量，
Figure 655523DEST_PATH_IMAGE047
是对应于图像直方图各区间值的矩阵，
Figure 988415DEST_PATH_IMAGE048
是直方图区间的数量，
Figure 802787DEST_PATH_IMAGE049
是
Figure 61468DEST_PATH_IMAGE050
的复共轭转置矩阵，
Figure 328501DEST_PATH_IMAGE051
是正则化参数，
Figure 465085DEST_PATH_IMAGE052
是单位矩阵，
Figure 133963DEST_PATH_IMAGE053
是期望分类值；支持向量机的最优解设置为核函数值与期望的均方差为最小，即
Figure 65010DEST_PATH_IMAGE054
，
Figure 819340DEST_PATH_IMAGE055
。
6.根据权利要求2所述的园区活动要素混合定位方法，其特征在于，所述步骤S40中将可见光图像的多目标分割结果与雷达点云数据结合，分离出各活动要素目标，实现活动要素的混合定位的方法，包括：
令在时刻
Figure 494035DEST_PATH_IMAGE056
激光雷达识别到的一个活动要素目标
Figure 17420DEST_PATH_IMAGE057
坐标为（
Figure 886412DEST_PATH_IMAGE058
,
Figure 128038DEST_PATH_IMAGE059
），而同一时刻经S30步骤，可见光图像分割出
Figure 340844DEST_PATH_IMAGE060
个目标，则雷达点云数据的目标
Figure 984315DEST_PATH_IMAGE060
分割后，活动要素目标
Figure 257165DEST_PATH_IMAGE057
的坐标为（
Figure 986086DEST_PATH_IMAGE061
,
Figure 2584DEST_PATH_IMAGE059
+
Figure 500561DEST_PATH_IMAGE062
），其中
Figure 708426DEST_PATH_IMAGE063
表示分割步长，
Figure 659065DEST_PATH_IMAGE064
(
Figure 541570DEST_PATH_IMAGE063
取整数)；这样可将在遮挡情况下，激光雷达识别到的一个活动要素目标分割为实际目标数量；雷达点云数据分割为
Figure 831737DEST_PATH_IMAGE060
个目标后，循环进行S20步骤，即可获得
Figure 774285DEST_PATH_IMAGE060
个目标的运动参数（坐标和线速度）。
CN202010577793.9A 2020-06-23 2020-06-23 一种园区活动要素混合定位系统及方法 Pending CN111522020A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010577793.9A CN111522020A (zh) 2020-06-23 2020-06-23 一种园区活动要素混合定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010577793.9A CN111522020A (zh) 2020-06-23 2020-06-23 一种园区活动要素混合定位系统及方法

Publications (1)

Publication Number Publication Date
CN111522020A true CN111522020A (zh) 2020-08-11

Family

ID=71913005

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010577793.9A Pending CN111522020A (zh) 2020-06-23 2020-06-23 一种园区活动要素混合定位系统及方法

Country Status (1)

Country Link
CN (1) CN111522020A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113919631A (zh) * 2021-09-01 2022-01-11 广州云硕科技发展有限公司 一种智慧园区综合运营管理方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242284A1 (en) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC METHODS AND APPARATUS OF FUSING RADAR/CAMERA OBJECT DATA AND LiDAR SCAN POINTS
CN104142496A (zh) * 2014-04-30 2014-11-12 电子科技大学 基于连通域划分的统计mimo雷达多目标定位方法
CN104408400A (zh) * 2014-10-28 2015-03-11 北京理工大学 一种基于单幅图像频域信息的不可分辨多目标检测方法
CN108519075A (zh) * 2018-03-22 2018-09-11 北京控制工程研究所 一种空间多目标位姿测量方法
CN108872977A (zh) * 2018-05-02 2018-11-23 成都理工大学 基于单通道超宽带雷达的生命体双站协同探测方法
CN109186625A (zh) * 2018-10-24 2019-01-11 北京奥特贝睿科技有限公司 智能车辆利用混合采样滤波进行精确定位的方法及系统
US20190018131A1 (en) * 2015-10-21 2019-01-17 Waymo Llc Methods and Systems for Clearing Sensor Occlusions
CN109443345A (zh) * 2018-10-29 2019-03-08 温州大学 用于监控导航的定位方法及系统
CN109544568A (zh) * 2018-11-30 2019-03-29 长沙理工大学 目标图像分割方法、装置及设备
US20190384309A1 (en) * 2018-06-18 2019-12-19 Zoox, Inc. Occlusion aware planning
CN111045000A (zh) * 2018-10-11 2020-04-21 阿里巴巴集团控股有限公司 监测系统和方法
WO2020088165A1 (zh) * 2018-10-30 2020-05-07 上海禾赛光电科技有限公司 一种摄像头与激光雷达融合系统
CN112396650A (zh) * 2020-03-30 2021-02-23 青岛慧拓智能机器有限公司 一种基于图像和激光雷达融合的目标测距系统及方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130242284A1 (en) * 2012-03-15 2013-09-19 GM Global Technology Operations LLC METHODS AND APPARATUS OF FUSING RADAR/CAMERA OBJECT DATA AND LiDAR SCAN POINTS
CN104142496A (zh) * 2014-04-30 2014-11-12 电子科技大学 基于连通域划分的统计mimo雷达多目标定位方法
CN104408400A (zh) * 2014-10-28 2015-03-11 北京理工大学 一种基于单幅图像频域信息的不可分辨多目标检测方法
US20190018131A1 (en) * 2015-10-21 2019-01-17 Waymo Llc Methods and Systems for Clearing Sensor Occlusions
CN108519075A (zh) * 2018-03-22 2018-09-11 北京控制工程研究所 一种空间多目标位姿测量方法
CN108872977A (zh) * 2018-05-02 2018-11-23 成都理工大学 基于单通道超宽带雷达的生命体双站协同探测方法
US20190384309A1 (en) * 2018-06-18 2019-12-19 Zoox, Inc. Occlusion aware planning
CN111045000A (zh) * 2018-10-11 2020-04-21 阿里巴巴集团控股有限公司 监测系统和方法
CN109186625A (zh) * 2018-10-24 2019-01-11 北京奥特贝睿科技有限公司 智能车辆利用混合采样滤波进行精确定位的方法及系统
CN109443345A (zh) * 2018-10-29 2019-03-08 温州大学 用于监控导航的定位方法及系统
WO2020088165A1 (zh) * 2018-10-30 2020-05-07 上海禾赛光电科技有限公司 一种摄像头与激光雷达融合系统
CN109544568A (zh) * 2018-11-30 2019-03-29 长沙理工大学 目标图像分割方法、装置及设备
CN112396650A (zh) * 2020-03-30 2021-02-23 青岛慧拓智能机器有限公司 一种基于图像和激光雷达融合的目标测距系统及方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
LAMBDA: "图像特征：方向梯度直方图 HOG", 《CSDN》 *
徐伟等: "视觉和毫米波雷达信息融合行人识别算法", 《同济大学学报(自然科学版)》 *
曾杰: "基于视觉与雷达信息融合的车辆检测算法研究", 《中国优秀硕士学位论文全文数据库，工程科技Ⅱ辑》 *
杨涛等: "一种基于贪心搜索的实时多目标遮挡处理算法", 《自动化学报》 *
杨飞等: "基于三维激光雷达的动态障碍实时检测与跟踪", 《浙江大学学报(工学版)》 *
金立生等: "基于毫米波雷达和机器视觉的夜间前方车辆检测", 《汽车安全与节能学报》 *
钱慧佳等: "一种基于激光雷达和视觉的行人检测方法", 《上海交通大学学报》 *
陆峰等: "基于多传感器数据融合的障碍物检测与跟踪", 《军事交通学院学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113919631A (zh) * 2021-09-01 2022-01-11 广州云硕科技发展有限公司 一种智慧园区综合运营管理方法及系统
CN113919631B (zh) * 2021-09-01 2022-08-02 广州云硕科技发展有限公司 一种智慧园区综合运营管理方法及系统

Similar Documents

Publication Publication Date Title
Huang et al. Bevdet: High-performance multi-camera 3d object detection in bird-eye-view
CN111210429B (zh) 点云数据划分方法及装置、障碍物检测方法及装置
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN108205135A (zh) 基于无插值融合快速后向投影的雷达视频成像方法
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN114648640B (zh) 一种目标物单体化方法、装置、设备及存储介质
CN113034586B (zh) 道路倾角检测方法和检测系统
CN104978743A (zh) 一种多核并行sar图像变化信息实时提取方法及装置
CN113569958B (zh) 激光点云数据聚类方法、装置、设备及介质
US20230274466A1 (en) Point cloud polar coordinate coding method and device
CN114088099A (zh) 基于已知地图的语义重定位方法、装置、电子设备及介质
CN114556442A (zh) 三维点云分割方法和装置、可移动平台
WO2023247827A1 (en) Method and system for processing point-cloud data
EP3994665A1 (en) Digital image processing system for object location and facing
CN110738223A (zh) 一种激光雷达的点云数据聚类方法及装置
CN111611900A (zh) 一种目标点云识别方法、装置、电子设备和存储介质
CN111522020A (zh) 一种园区活动要素混合定位系统及方法
CN115100616A (zh) 点云目标检测方法、装置、电子设备及存储介质
CN111862208B (zh) 一种基于屏幕光通信的车辆定位方法、装置及服务器
CN115267722A (zh) 一种角点提取方法、装置及存储介质
CN116467848B (zh) 一种毫米波雷达点云仿真的方法和装置
CN114492676B (zh) 一种目标检测模型的构建方法、装置和电子设备
CN110706288A (zh) 目标检测的方法、装置、设备及可读存储介质
CN110910435B (zh) 建筑物点云提取方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200811